CN102073985A - 基于像素点匹配的缩放图像的客观质量评价方法和装置 - Google Patents

基于像素点匹配的缩放图像的客观质量评价方法和装置 Download PDF

Info

Publication number
CN102073985A
CN102073985A CN 201010604747 CN201010604747A CN102073985A CN 102073985 A CN102073985 A CN 102073985A CN 201010604747 CN201010604747 CN 201010604747 CN 201010604747 A CN201010604747 A CN 201010604747A CN 102073985 A CN102073985 A CN 102073985A
Authority
CN
China
Prior art keywords
pixel
image
evaluated
centerdot
coupling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010604747
Other languages
English (en)
Other versions
CN102073985B (zh
Inventor
刘永进
罗曦
张俊彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201010604747XA priority Critical patent/CN102073985B/zh
Publication of CN102073985A publication Critical patent/CN102073985A/zh
Application granted granted Critical
Publication of CN102073985B publication Critical patent/CN102073985B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于像素点匹配的缩放图像的客观质量评价方法和装置，通过首先输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，建立原图像和待评价图像之间的像素对应关系，计算每个像素对之间的相似度，为每一幅图像都计算一个显著图，所述显著图中的显著值与对应图像中的像素点一一对应，将显著值作为像素点的权值，所有像素对之间的相似度的加权平均和即为缩放图像的客观质量评价结果。

Description

基于像素点匹配的缩放图像的客观质量评价方法和装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于像素点匹配的缩放图像的客观质量评价方法和装置。
背景技术
图像缩放是将原图像调整到任意大小的一种技术，但在缩放的过程中我们总希望保持原图像中重要的内容。现在的图像缩放技术的基本思想是找到输入图像的重要性图，然后通过改变不重要的区域对图像进行缩放，通过这种方法，人们会觉得缩放后的图像没有发生太大的变化。与传统缩放技术相比，如今的图像缩放技术较好的保留了图像中的显著区域和整体结构。最近人们提出的图像缩放技术，包括1D和2D扭曲扩散方法，同胚和非同胚网格变换方法以及图标签方法。有了这么多的图像缩放方法，这使得开发一种评价图像缩放质量的方法变得极其重要。人们可以通过自己的视觉来进行评估，但这样很耗费时间。这就更需要一种客观评价方法来评价图像缩放质量。已有的图像质量客观评价技术主要分为三类：全参照，局部参照，不参照。全参照需要完全的原始图像信息；局部参照只需要原图像的部分信息；不参照不需要原图像的信息就可以评价缩放质量。全参照和局部参照要求原图像和待评价的图像有相同的大小，而不参照则丢弃了原图像的信息。
对于缩放图像来说，缩放图像的大小往往与原图像的大小不一样，因而无法利用已有的图像质量客观评价技术来进行评价。虽然不参照类的图像质量客观评价技术不要求待评价图像与原图像有相同的大小，但我们希望缩放图像所保留的原图像重要的内容越多则质量越高。不参照类的图像质量客观评价技术不适合用来评价缩放图像。
因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种新的适用于缩放图像的客观质量评价方法，以解决现有技术中存在的问题，从而实现对缩放图像的客观评价。
发明内容
本发明所要解决的技术问题是提供一种基于像素点匹配的缩放图像的客观质量评价方法和装置，用以对缩放图像做出客观评价。
为了解决上述问题，本发明公开了一种基于像素点匹配的缩放图像的客观质量评价方法，所述方法包括：
获取原图像和待评价的图像；
建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
计算像素对的相似度加权平均和。
优选的，所述建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集，具体包括以下子步骤：
使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
建立图像和
Figure BDA0000040255440000026
像素之间的对应关系，获得图像
Figure BDA0000040255440000027
和
Figure BDA0000040255440000028
之间的像素点匹配对集；
根据图像
Figure BDA0000040255440000029
和
Figure BDA00000402554400000210
之间的像素点匹配对集，获取图像
Figure BDA00000402554400000211
和
Figure BDA00000402554400000212
之间的像素点匹配对集；
依次根据图像
Figure BDA00000402554400000213
和
Figure BDA00000402554400000214
之间的像素点匹配对集，获得图像
Figure BDA00000402554400000215
和之间的像素点匹配对集，直到图像
Figure BDA00000402554400000217
和
Figure BDA00000402554400000218
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
优选的，所述建立图像
Figure BDA00000402554400000219
和
Figure BDA00000402554400000220
像素之间的对应关系，获得图像
Figure BDA00000402554400000221
和
Figure BDA00000402554400000222
之间的像素点匹配对集，具体包括以下子步骤：
分别在图像
Figure BDA00000402554400000223
和
Figure BDA00000402554400000224
中寻找符合预设要求的像素点集作为特征点集；
计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
对于图像
Figure BDA0000040255440000031
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure BDA0000040255440000032
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure BDA0000040255440000033
中其他未匹配像素点的像素点匹配对；
所获取的所有像素点匹配对构成图像
Figure BDA0000040255440000034
和之间的像素点匹配对集。
优选的，所述方法还包括：
将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
优选的，所述根据图像
Figure BDA0000040255440000036
和
Figure BDA0000040255440000037
之间的像素点匹配对集，获得图像
Figure BDA0000040255440000038
和之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
本发明还公布了一种基于像素点匹配的缩放图像的客观质量评价装置，所述装置包括：
获取模块，用于获取原图像和待评价的图像；
建立模块，用于建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
第一计算模块，用于分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
第二计算模块，用于计算像素对的相似度加权平均和。
优选的，所述建立模块具体包括以下子模块：
第一建立子模块，用于使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
第二建立子模块，用于建立图像
Figure BDA00000402554400000314
和
Figure BDA00000402554400000315
像素之间的对应关系，获得图像和之间的像素点匹配对集；
第一获取子模块，用于根据图像和之间的像素点匹配对集，获取图像
Figure BDA00000402554400000320
和
Figure BDA00000402554400000321
之间的像素点匹配对集；
第二获取子模块，用于依次根据图像
Figure BDA00000402554400000322
和
Figure BDA00000402554400000323
之间的像素点匹配对集，获得图像
Figure BDA00000402554400000324
和
Figure BDA00000402554400000325
之间的像素点匹配对集，直到图像
Figure BDA00000402554400000326
和
Figure BDA00000402554400000327
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
优选的，所述第二建立子模块具体包括以下单元：
第一寻找单元，用于分别在图像
Figure BDA0000040255440000041
和
Figure BDA0000040255440000042
中寻找符合预设要求的像素点集作为特征点集；
第二寻找单元，用于计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；获取单元，用于对图像
Figure BDA0000040255440000043
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure BDA0000040255440000044
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure BDA0000040255440000045
中其他未匹配像素点的像素点匹配对；
处理单元，用所获取的所有像素点匹配对构成图像
Figure BDA0000040255440000046
和
Figure BDA0000040255440000047
之间的像素点匹配对集。
优选的，所述装置还包括：
处理模块，用于将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
优选的，所述根据图像
Figure BDA0000040255440000048
和
Figure BDA0000040255440000049
之间的像素点匹配对集，获得图像
Figure BDA00000402554400000410
和
Figure BDA00000402554400000411
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
与现有技术相比，本发明具有以下优点：
本发明通过首先输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，建立原图像和待评价图像之间的像素对应关系，计算每个像素对之间的相似度，为每一幅图像都计算一个显著图，所述显著图中的显著值与对应图像中的像素点一一对应，将显著值作为像素点的权值，所有像素对之间的相似度的加权平均和即为缩放图像的客观质量评价结果。
附图说明
图1是本发明实施例一所述的一种基于像素点匹配的缩放图像的客观质量评价方法流程图；
图2(a)是本发明实施例一所述的自上而下的方式进行像素点匹配的示意图；
图2(b)是本发明实施例一所述的通过SSIM准则寻找一个相似度最大的像素点的示意图；
图3是本发明实施例二所述的一种基于像素点匹配的缩放图像的客观质量评价装置结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一：
参照图1，示出了本发明的一种基于像素点匹配的缩放图像的客观质量评价方法流程图，所述方法具体包括：
步骤S101，获取原图像和待评价的图像；
在实际应用中，输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，也即这里所介绍获取原图像和待评价的图像。
步骤S102，建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
优选的，所述步骤S102具体包括以下子步骤：
步骤S1，使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
为了便于介绍，这里假设原始图像和待评价图像分别为Io和Ir，使用相同的高斯卷积核建立两个尺度空间SP(Io)，SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } ,
SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } ,
其中
Figure BDA0000040255440000057
Figure BDA0000040255440000058
是通过先对图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，
Figure BDA00000402554400000510
Figure BDA00000402554400000511
是通过先对图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，n＝min(log2min(w(Io)，h(Io))，log2min(w(Ir)，h(Ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度。
步骤S2，建立图像
Figure BDA0000040255440000061
和
Figure BDA0000040255440000062
像素之间的对应关系，获得图像
Figure BDA0000040255440000063
和
Figure BDA0000040255440000064
之间的像素点匹配对集；
优选的，所述步骤S2具体包括以下子步骤：
步骤S11，分别在图像
Figure BDA0000040255440000065
和
Figure BDA0000040255440000066
中寻找符合预设要求的像素点集作为特征点集；
步骤S12，计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
利用SIFT特征匹配算法在图像
Figure BDA0000040255440000067
和
Figure BDA0000040255440000068
中寻找特征点匹配对集，该匹配算法首先从图像和
Figure BDA00000402554400000610
中分别寻找符合设定要求的像素点集作为特征点集，并计算所述特征点集中每一个特征点的SIFT特征，然后再寻找这两个特征点集中的匹配对，从而得到一个特征点匹配对集，也即：计算所述特征点集中每一个特征点的SIFT特征，对于图像
Figure BDA00000402554400000611
所对应的特征点集中的某个特征点Fo，通过计算Fo和图像
Figure BDA00000402554400000612
所对应的特征点集中的每一个特征点Fr之间的SIFT特征距离，选择距离最小值对应的像素点Fr作为Fo的匹配特征点，获取一个特征点匹配对，并按照同样的方法获得特征点集中的其他未匹配特征点的特征点匹配对，所述特征点对应一个像素点，所以所述特征点匹配对集对应一个像素点匹配对集。
步骤S13，对于图像
Figure BDA00000402554400000613
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure BDA00000402554400000614
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure BDA00000402554400000615
中其他未匹配像素点的像素点匹配对；
步骤S14，所获取的所有像素点匹配对构成图像
Figure BDA00000402554400000616
和之间的像素点匹配对集。
对于图像
Figure BDA00000402554400000618
中每一个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，从中选择相似度最大值对应的像素点Pr作为Po的匹配像素点，从而得到一个像素点匹配对，所有的特征点匹配对集和像素点匹配对构成图像
Figure BDA0000040255440000072
和
Figure BDA0000040255440000073
之间的一个像素点匹配对集。
其中，所述SSIM准则是在一个9×9的窗口内计算两个像素点P1和P2之间的相似度SSIM(P1，P2)，在应用SSIM准则之前将图像变换到lab颜色空间，L表示照度(Luminosity)，相当于亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，SSIM(P1，P2)的计算公式如下：
Sim = δ xy δ x δ y 2 x ‾ y ‾ ( x ‾ ) 2 + ( y ‾ ) 2 2 δ x δ y δ x 2 + δ y 2
SSIM(P1，P2)＝(Siml+Sima+Simb)/3
其中Sim计算的是在某一通道上的相似度，x，y分别是两个窗口矩阵中某一通道上的信号值，δx和δy是方差，
Figure BDA0000040255440000075
和
Figure BDA0000040255440000076
是均值，δxy是协方差，Siml、Sima、Simb分别是在l、a、b通道上的相似度；
步骤S3，根据图像
Figure BDA0000040255440000077
和
Figure BDA0000040255440000078
之间的像素点匹配对集，获取图像
Figure BDA0000040255440000079
和
Figure BDA00000402554400000710
之间的像素点匹配对集；
优选的，所述根据图像
Figure BDA00000402554400000711
和
Figure BDA00000402554400000712
之间的像素点匹配对集，获得图像和
Figure BDA00000402554400000714
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
具体的，利用所述SIFT特征匹配算法在图像
Figure BDA00000402554400000715
和
Figure BDA00000402554400000716
中寻找特征点匹配对集，对于图像
Figure BDA00000402554400000717
和
Figure BDA00000402554400000718
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像
Figure BDA00000402554400000719
和
Figure BDA00000402554400000720
中的两个像素点P′o和P′r，像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的5×5的窗口中的每一个像素，通过SSIM准则在以P′r为中心的5×5的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对，所有的特征点匹配对和像素点匹配对构成图像
Figure BDA00000402554400000721
和
Figure BDA00000402554400000722
之间的一个像素点匹配对集；
步骤S4，依次根据图像和
Figure BDA00000402554400000724
之间的像素点匹配对集，获得图像和
Figure BDA00000402554400000726
之间的像素点匹配对集，直到图像
Figure BDA00000402554400000727
和
Figure BDA00000402554400000728
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
首先，获得当层图像
Figure BDA0000040255440000081
和
Figure BDA0000040255440000082
之间的特征点匹配对集，然后，再根据上一层图像
Figure BDA0000040255440000083
和之间的像素点匹配对集，获得当层图像和之间的像素点匹配对集，从而，最终得到图像
Figure BDA0000040255440000087
和
Figure BDA0000040255440000088
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
步骤S103，分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
优选的，所述方法还包括：
步骤S105，将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
为原图像和待评价的图像分别计算显著图，显著图中的显著值与相应图像中的像素点一一对应，显著值越高，说明该像素点越重要，并且，将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
步骤S104，计算像素对的相似度加权平均和。
通过前面的介绍，假设所获取的像素点匹配对集中的每一个像素点匹配对，相应的两个像素点Po，Pr，对应的显著值分别为wo，wr，根据SSIM准则计算它们的相似度(wo+wr)SSIM(Po，Pr)，所有的像素点匹配对的相似度的加权平均和即为两幅图像的相似度，公式为如下：
Sim ( I o , I r ) = Σ i ∈ M ( w o i + w r i ) SSIM ( P o i , P r i ) Σ i ∈ M ( w o i + w r i )
其中M为所述像素点匹配对集，
Figure BDA00000402554400000810
指的是所述像素点匹配对集中第i个匹配对所对应原图像中的像素点，
Figure BDA00000402554400000811
指的是所述像素点匹配对集中第i个匹配对所对应待评测图像中的像素点，
Figure BDA00000402554400000812
为像素点对应的权值，为像素点
Figure BDA00000402554400000815
对应的权值。
通过计算像素对的相似度加权平均和，获知两幅图像的相似度，并将相似度作为缩放图像客观质量的评价结果。
进一步的，通过下述实例对本实施例所述的方法做进一步介绍：
首先输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，并建立原图像与待评价图像的像素对应关系，计算两幅图像的相似度，并将相似度作为缩放图像客观质量的评价结果，为原图像和待评价的图像分别计算显著图，显著图中的每一个显著值与相应图像中的每一个像素点一一对应，显著值越高，说明该像素点越重要，具体的计算显著图的算法详见【L.Itti，C.Koch，E.Niebur.A model of saliency-based visual attention for rapid scene analysis.IEEE Trans.On Pattern Analysis and Machine Intelligence，20(11)：1254-1259，1998】。其中，将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
更进一步的，本发明实施例中采用自上而下的方式进行像素点匹配的，这里对其做进一步介绍，如图2所示为本发明实施例中的自上而下的像素点匹配示意图。为原始图像和待评价图像分别建立尺度空间，尺度空间的每一层的图像都是由下一层的图像经过高斯卷积，再进行下采样获得的(每一层图像的长与宽是下一层图像的长与宽的一半)，如图2(a)所示，最上层为In，最下层为Io。首先建立两个尺度空间中最上一层(这一层的图像大小是整个尺度空间中图像最小的)的两个图像中像素的对应关系，即图像和中像素之间的对应关系，然后根据上一层像素的对应关系逐步找出下一层图像中像素之间的对应关系。
假设原始图像和待评价图像分别为Io和Ir，使用相同的高斯卷积核建立两个尺度空间SP(Io)，SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n }
SP ( I r ) = { I r 0 , I r 1 , · · · , I r n }
其中
Figure BDA0000040255440000095
Figure BDA0000040255440000096
是通过先对
Figure BDA0000040255440000097
图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，
Figure BDA0000040255440000098
Figure BDA0000040255440000099
是通过先对
Figure BDA00000402554400000910
图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，n＝min(log2min(w(Io)，h(Io))，log2min(w(Ir)，h(Ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度。
首先建立图像
Figure BDA00000402554400000911
和
Figure BDA00000402554400000912
像素之间的对应关系，获得一个图像
Figure BDA00000402554400000913
和
Figure BDA00000402554400000914
的像素点匹配对集：
利用SIFT特征匹配算法在图像
Figure BDA0000040255440000101
和
Figure BDA0000040255440000102
中寻找特征点匹配对集，该匹配算法首先从图像
Figure BDA0000040255440000103
和
Figure BDA0000040255440000104
中分别寻找符合设定要求的像素点集作为特征点集，并计算所述特征点集中每一个特征点的SIFT特征，然后再寻找这两个特征点集中的匹配对，从而得到一个特征点匹配对集，具体的SIFT特征匹配算法详见【D.G.Lowe.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision，60(2)：91-110，2004】。
对于图像
Figure BDA0000040255440000105
中每一个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure BDA0000040255440000106
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，从中选择相似度最大值对应的像素点Pr作为Po的匹配像素点，从而得到一个像素点匹配对，所有的特征点匹配对集和像素点匹配对构成图像
Figure BDA0000040255440000107
和
Figure BDA0000040255440000108
之间的一个像素点匹配对集；
所述SSIM准则是在一个9×9的窗口内计算两个像素点P1和P2之间的相似度SSIM(P1，P2)，在应用SSIM准则之前将图像变换到lab颜色空间，L表示照度(Luminosity)，相当于亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，SSIM(P1，P2)的计算公式如下：
Sim = δ xy δ x δ y 2 x ‾ y ‾ ( x ‾ ) 2 + ( y ‾ ) 2 2 δ x δ y δ x 2 + δ y 2
SSIM(P1，P2)＝(Siml+Sima+Simb)/3
其中Sim计算的是在某一通道上的相似度，x，y分别是两个窗口矩阵中某一通道上的信号值，δx和δy是方差，
Figure BDA00000402554400001010
和
Figure BDA00000402554400001011
是均值，δxy是协方差，Siml、Sima、Simb分别是在l、a、b通道上的相似度，具体SSIM准则详见【Z.Wang，A.C.Bovik，H.R.Sheikh，E.P.Simoncelli.Image quality assessment：from error visibility to structural similarity.IEEE Trans.On Image Processing，13(4)：600-612，2004】。
利用所述SIFT特征匹配算法在图像
Figure BDA00000402554400001012
和
Figure BDA00000402554400001013
中寻找特征点匹配对集。如图2(b)所示，对于图像
Figure BDA00000402554400001014
和
Figure BDA00000402554400001015
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像
Figure BDA00000402554400001016
和中的两个像素点P′o和P′r，像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的5×5的窗口中的每一个像素，通过SSIM准则在以P′r为中心的5×5的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对，所有的特征点匹配对和像素点匹配对构成图像
Figure BDA0000040255440000111
和
Figure BDA0000040255440000112
之间的一个像素点匹配对集；
实施例二：
参照图3，示出了本发明的一种基于像素点匹配的缩放图像的客观质量评价装置结构图，所述装置具体包括：
获取模块301，用于获取原图像和待评价的图像；
建立模块302，用于建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
优选的，所述建立模块302具体包括以下子模块：
第一建立子模块3021，用于使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
第二建立子模块3022，用于建立图像
Figure BDA0000040255440000117
和
Figure BDA0000040255440000118
像素之间的对应关系，获得图像
Figure BDA0000040255440000119
和
Figure BDA00000402554400001110
之间的像素点匹配对集；
优选的，所述第二建立子模块3022具体包括以下单元：
第一寻找单元30221，用于分别在图像
Figure BDA00000402554400001111
和
Figure BDA00000402554400001112
中寻找符合预设要求的像素点集作为特征点集；
第二寻找单元30222，用于计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
获取单元30223，用于对图像
Figure BDA00000402554400001113
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure BDA00000402554400001114
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure BDA00000402554400001115
中其他未匹配像素点的像素点匹配对；
处理单元30224，用所获取的所有像素点匹配对构成图像
Figure BDA0000040255440000121
和
Figure BDA0000040255440000122
之间的像素点匹配对集。
第一获取子模块3023，用于根据图像
Figure BDA0000040255440000123
和
Figure BDA0000040255440000124
之间的像素点匹配对集，获取图像
Figure BDA0000040255440000125
和之间的像素点匹配对集；
第二获取子模块3024，用于依次根据图像和
Figure BDA0000040255440000128
之间的像素点匹配对集，获得图像
Figure BDA0000040255440000129
和之间的像素点匹配对集，直到图像
Figure BDA00000402554400001211
和
Figure BDA00000402554400001212
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
第一计算模块303，用于分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
第二计算模块304，用于计算像素对的相似度加权平均和。
优选的，所述装置还包括：
处理模块305，用于将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
优选的，所述根据图像
Figure BDA00000402554400001213
和
Figure BDA00000402554400001214
之间的像素点匹配对集，获得图像
Figure BDA00000402554400001215
和之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本发明所提供的一种基于像素点匹配的缩放图像的客观质量评价方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于像素点匹配的缩放图像的客观质量评价方法，其特征在于，所述方法包括：
获取原图像和待评价的图像；
建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
计算像素对的相似度加权平均和。
2.根据权利要求1所述的方法，其特征在于，所述建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集，具体包括以下子步骤：
使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
建立图像
Figure FDA0000040255430000015
和
Figure FDA0000040255430000016
像素之间的对应关系，获得图像和
Figure FDA0000040255430000018
之间的像素点匹配对集；
根据图像
Figure FDA0000040255430000019
和
Figure FDA00000402554300000110
之间的像素点匹配对集，获取图像和
Figure FDA00000402554300000112
之间的像素点匹配对集；
依次根据图像
Figure FDA00000402554300000113
和
Figure FDA00000402554300000114
之间的像素点匹配对集，获得图像
Figure FDA00000402554300000115
和
Figure FDA00000402554300000116
之间的像素点匹配对集，直到图像
Figure FDA00000402554300000117
和
Figure FDA00000402554300000118
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
3.根据权利要求2所述的方法，其特征在于，所述建立图像
Figure FDA00000402554300000119
和
Figure FDA00000402554300000120
像素之间的对应关系，获得图像和
Figure FDA00000402554300000122
之间的像素点匹配对集，具体包括以下子步骤：
分别在图像和
Figure FDA00000402554300000124
中寻找符合预设要求的像素点集作为特征点集；
计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
对于图像
Figure FDA00000402554300000125
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure FDA00000402554300000126
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure FDA0000040255430000021
中其他未匹配像素点的像素点匹配对；
所获取的所有像素点匹配对构成图像
Figure FDA0000040255430000022
和
Figure FDA0000040255430000023
之间的像素点匹配对集。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
5.根据权利要求3所述的方法，其特征在于：
所述根据图像
Figure FDA0000040255430000024
和
Figure FDA0000040255430000025
之间的像素点匹配对集，获得图像
Figure FDA0000040255430000026
和之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
6.一种基于像素点匹配的缩放图像的客观质量评价装置，其特征在于，所述装置包括：
获取模块，用于获取原图像和待评价的图像；
建立模块，用于建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
第一计算模块，用于分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
第二计算模块，用于计算像素对的相似度加权平均和。
7.根据权利要求6所述的装置，其特征在于，所述建立模块具体包括以下子模块：
第一建立子模块，用于使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
第二建立子模块，用于建立图像
Figure FDA00000402554300000212
和
Figure FDA00000402554300000213
像素之间的对应关系，获得图像
Figure FDA00000402554300000214
和之间的像素点匹配对集；
第一获取子模块，用于根据图像和
Figure FDA00000402554300000217
之间的像素点匹配对集，获取图像和
Figure FDA00000402554300000219
之间的像素点匹配对集；
第二获取子模块，用于依次根据图像
Figure FDA00000402554300000220
和
Figure FDA00000402554300000221
之间的像素点匹配对集，获得图像
Figure FDA00000402554300000222
和
Figure FDA00000402554300000223
之间的像素点匹配对集，直到图像
Figure FDA00000402554300000224
和
Figure FDA00000402554300000225
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
8.根据权利要求7所述的装置，其特征在于，所述第二建立子模块具体包括以下单元：
第一寻找单元，用于分别在图像
Figure FDA0000040255430000031
和中寻找符合预设要求的像素点集作为特征点集；
第二寻找单元，用于计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
获取单元，用于对图像
Figure FDA0000040255430000033
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure FDA0000040255430000034
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像中其他未匹配像素点的像素点匹配对；
处理单元，用所获取的所有像素点匹配对构成图像和之间的像素点匹配对集。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
处理模块，用于将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
10.根据权利要求9所述的装置，其特征在于：
所述根据图像和
Figure FDA0000040255430000039
之间的像素点匹配对集，获得图像
Figure FDA00000402554300000310
和
Figure FDA00000402554300000311
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
CN201010604747XA 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置 Expired - Fee Related CN102073985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010604747XA CN102073985B (zh) 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010604747XA CN102073985B (zh) 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置

Publications (2)

Publication Number Publication Date
CN102073985A true CN102073985A (zh) 2011-05-25
CN102073985B CN102073985B (zh) 2012-05-09

Family

ID=44032516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010604747XA Expired - Fee Related CN102073985B (zh) 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置

Country Status (1)

Country Link
CN (1) CN102073985B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294813A (zh) * 2013-06-07 2013-09-11 北京捷成世纪科技股份有限公司 一种敏感图片搜索方法和装置
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN106657817A (zh) * 2016-12-28 2017-05-10 杭州趣维科技有限公司 一种应用于手机平台的自动制作相册mv的处理方法
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
CN107346529A (zh) * 2016-05-07 2017-11-14 浙江大学 一种数字图像质量评价方法及装置
CN107784645A (zh) * 2016-08-26 2018-03-09 广州康昕瑞基因健康科技有限公司 图像清晰度评价方法及系统、自动聚焦方法
CN107871305A (zh) * 2016-09-27 2018-04-03 深圳正品创想科技有限公司 一种图片质量评级方法、装置及终端设备
CN107945151A (zh) * 2017-10-26 2018-04-20 宁波大学 一种基于相似性变换的重定位图像质量评价方法
CN108009983A (zh) * 2017-11-30 2018-05-08 天津天地基业科技有限公司 一种基于图像分析定位像素点对应原图的方法
CN109978858A (zh) * 2019-03-27 2019-07-05 华南理工大学 一种基于前景检测的双框架缩略图像质量评价方法
CN110858394A (zh) * 2018-08-20 2020-03-03 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243970A (zh) * 2013-11-14 2014-12-24 同济大学 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103378A (zh) * 2005-01-10 2008-01-09 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
CN101329762A (zh) * 2008-08-04 2008-12-24 清华大学 基于内容相关图像尺寸调整的保真度评测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103378A (zh) * 2005-01-10 2008-01-09 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
CN101329762A (zh) * 2008-08-04 2008-12-24 清华大学 基于内容相关图像尺寸调整的保真度评测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《计算机辅助设计与图形学学报》 20090731 马奇，张立明 快速注意力选择计算及其在图像质量评价中的应用 P973-P983 1,6 第21卷, 第7期 2 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN104123529B (zh) * 2013-04-25 2018-04-10 株式会社理光 人手检测方法及系统
CN103294813A (zh) * 2013-06-07 2013-09-11 北京捷成世纪科技股份有限公司 一种敏感图片搜索方法和装置
CN109874303A (zh) * 2016-05-07 2019-06-11 浙江大学 一种数字图像质量评价方法及装置
CN107346529A (zh) * 2016-05-07 2017-11-14 浙江大学 一种数字图像质量评价方法及装置
CN109874303B (zh) * 2016-05-07 2021-01-12 浙江大学 一种数字图像质量评价方法及装置
CN107784645A (zh) * 2016-08-26 2018-03-09 广州康昕瑞基因健康科技有限公司 图像清晰度评价方法及系统、自动聚焦方法
CN107871305A (zh) * 2016-09-27 2018-04-03 深圳正品创想科技有限公司 一种图片质量评级方法、装置及终端设备
CN106657817A (zh) * 2016-12-28 2017-05-10 杭州趣维科技有限公司 一种应用于手机平台的自动制作相册mv的处理方法
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
CN107945151A (zh) * 2017-10-26 2018-04-20 宁波大学 一种基于相似性变换的重定位图像质量评价方法
CN108009983A (zh) * 2017-11-30 2018-05-08 天津天地基业科技有限公司 一种基于图像分析定位像素点对应原图的方法
CN108009983B (zh) * 2017-11-30 2021-05-25 天地伟业技术有限公司 一种基于图像分析定位像素点对应原图的方法
CN110858394A (zh) * 2018-08-20 2020-03-03 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN109978858A (zh) * 2019-03-27 2019-07-05 华南理工大学 一种基于前景检测的双框架缩略图像质量评价方法
CN109978858B (zh) * 2019-03-27 2021-02-19 华南理工大学 一种基于前景检测的双框架缩略图像质量评价方法

Also Published As

Publication number Publication date
CN102073985B (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
CN102073985B (zh) 基于像素点匹配的缩放图像的客观质量评价方法和装置
CN102006425B (zh) 一种基于多摄像机的视频实时拼接方法
US8120665B2 (en) Image processing method and apparatus, digital camera, and recording medium recording image processing program
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN102938145B (zh) 一种拼接类全景图的一致性调整方法及系统
CN106803257B (zh) 一种作物病害叶片图像中病斑的分割方法
CN106548169B (zh) 基于深度神经网络的模糊文字增强方法及装置
CN107844795A (zh) 基于主成分分析的卷积神经网络特征提取方法
CN103824272B (zh) 基于k近邻重识别的人脸超分辨率重建方法
DE102009036467A1 (de) Mustermodell-Positionierungsverfahren bei Bildverarbeitung, Bildverarbeitungsvorrichtung, Bildverarbeitsprogamm und computerlesbares Aufzeichnungsmedium
CN104376548A (zh) 一种基于改进型surf算法的图像快速拼接方法
DE102009036474A1 (de) Bilddaten-Kompressionsverfahren, Mustermodell-Positionierungsverfahren bei Bildverarbeitung, Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und computerlesbares Aufzeichnungsmedium
CN107633482A (zh) 一种基于序列图像的超分辨率重建方法
CN103778616A (zh) 基于区域的对比度金字塔图像融合方法
CN108038486A (zh) 一种文字检测方法
CN108961227A (zh) 一种基于空域和变换域多特征融合的图像质量评价方法
CN107507158A (zh) 一种图像处理方法和装置
CN114120051A (zh) 一种胶条边缘点的筛选方法
Zhong et al. Learning Image Demoiréing from Unpaired Real Data
CN116612385A (zh) 基于深度高分辨率关系图卷积的遥感影像多类信息提取方法与系统
CN103106647A (zh) 基于四元数小波和区域分割的多焦点图像融合方法
Klančar et al. Robust and efficient vision system for group of cooperating mobile robots with application to soccer robots
CN109255754A (zh) 一种大场景多相机图像拼接与真实展现的方法和系统
CN109146778A (zh) 用于工件尺寸测量的图像拼接方法
CN103971365A (zh) 一种图像显著图提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120509

Termination date: 20211223

CF01 Termination of patent right due to non-payment of annual fee