CN102073985B - 基于像素点匹配的缩放图像的客观质量评价方法和装置 - Google Patents

基于像素点匹配的缩放图像的客观质量评价方法和装置 Download PDF

Info

Publication number
CN102073985B
CN102073985B CN201010604747XA CN201010604747A CN102073985B CN 102073985 B CN102073985 B CN 102073985B CN 201010604747X A CN201010604747X A CN 201010604747XA CN 201010604747 A CN201010604747 A CN 201010604747A CN 102073985 B CN102073985 B CN 102073985B
Authority
CN
China
Prior art keywords
pixel
image
coupling
similarity
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010604747XA
Other languages
English (en)
Other versions
CN102073985A (zh
Inventor
刘永进
罗曦
张俊彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201010604747XA priority Critical patent/CN102073985B/zh
Publication of CN102073985A publication Critical patent/CN102073985A/zh
Application granted granted Critical
Publication of CN102073985B publication Critical patent/CN102073985B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提供了一种基于像素点匹配的缩放图像的客观质量评价方法和装置，通过首先输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，建立原图像和待评价图像之间的像素对应关系，计算每个像素对之间的相似度，为每一幅图像都计算一个显著图，所述显著图中的显著值与对应图像中的像素点一一对应，将显著值作为像素点的权值，所有像素对之间的相似度的加权平均和即为缩放图像的客观质量评价结果。

Description

基于像素点匹配的缩放图像的客观质量评价方法和装置
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于像素点匹配的缩放图像的客观质量评价方法和装置。
背景技术
图像缩放是将原图像调整到任意大小的一种技术，但在缩放的过程中我们总希望保持原图像中重要的内容。现在的图像缩放技术的基本思想是找到输入图像的重要性图，然后通过改变不重要的区域对图像进行缩放，通过这种方法，人们会觉得缩放后的图像没有发生太大的变化。与传统缩放技术相比，如今的图像缩放技术较好的保留了图像中的显著区域和整体结构。最近人们提出的图像缩放技术，包括1D和2D扭曲扩散方法，同胚和非同胚网格变换方法以及图标签方法。有了这么多的图像缩放方法，这使得开发一种评价图像缩放质量的方法变得极其重要。人们可以通过自己的视觉来进行评估，但这样很耗费时间。这就更需要一种客观评价方法来评价图像缩放质量。已有的图像质量客观评价技术主要分为三类：全参照，局部参照，不参照。全参照需要完全的原始图像信息；局部参照只需要原图像的部分信息；不参照不需要原图像的信息就可以评价缩放质量。全参照和局部参照要求原图像和待评价的图像有相同的大小，而不参照则丢弃了原图像的信息。
对于缩放图像来说，缩放图像的大小往往与原图像的大小不一样，因而无法利用已有的图像质量客观评价技术来进行评价。虽然不参照类的图像质量客观评价技术不要求待评价图像与原图像有相同的大小，但我们希望缩放图像所保留的原图像重要的内容越多则质量越高。不参照类的图像质量客观评价技术不适合用来评价缩放图像。
因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种新的适用于缩放图像的客观质量评价方法，以解决现有技术中存在的问题，从而实现对缩放图像的客观评价。
发明内容
本发明所要解决的技术问题是提供一种基于像素点匹配的缩放图像的客观质量评价方法和装置，用以对缩放图像做出客观评价。
为了解决上述问题，本发明公开了一种基于像素点匹配的缩放图像的客观质量评价方法，所述方法包括：
获取原图像和待评价的图像；
建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
计算像素对的相似度加权平均和，将所述加权平均和作为两幅图像的相似度，并将所述相似度作为缩放图像客观质量的评价结果；
其中，所述建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集，具体包括以下子步骤：
使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
建立图像
Figure GDA0000123272330000025
和
Figure GDA0000123272330000026
像素之间的对应关系，获得图像
Figure GDA0000123272330000027
和
Figure GDA0000123272330000028
之间的像素点匹配对集；
根据图像
Figure GDA0000123272330000029
和
Figure GDA00001232723300000210
之间的像素点匹配对集，获取图像
Figure GDA00001232723300000211
和
Figure GDA00001232723300000212
之间的像素点匹配对集；
依次根据图像
Figure GDA00001232723300000213
和之间的像素点匹配对集，获得图像
Figure GDA00001232723300000215
和之间的像素点匹配对集，直到图像
Figure GDA00001232723300000217
和之间的像素点匹配对集，即原图像与待评价图像的像素对应关系；
其中，n＝min(log2 min(w(Io)，h(Io))，log2 min(w(Ir)，h(Ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度；
所述建立图像
Figure GDA00001232723300000219
和
Figure GDA00001232723300000220
像素之间的对应关系，获得图像
Figure GDA00001232723300000221
和之间的像素点匹配对集，具体包括以下子步骤：
分别在图像
Figure GDA0000123272330000031
和
Figure GDA0000123272330000032
中寻找符合预设要求的像素点集作为特征点集；
计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
对于图像
Figure GDA0000123272330000033
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure GDA0000123272330000034
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure GDA0000123272330000035
中其他未匹配像素点的像素点匹配对；
所获取的所有像素点匹配对构成图像
Figure GDA0000123272330000036
和
Figure GDA0000123272330000037
之间的像素点匹配对集；
所述根据图像
Figure GDA0000123272330000038
和
Figure GDA0000123272330000039
之间的像素点匹配对集，获取图像
Figure GDA00001232723300000310
和之间的像素点匹配对集，具体包括以下子步骤：
利用所述SIFT特征匹配算法在图像
Figure GDA00001232723300000312
和
Figure GDA00001232723300000313
中寻找特征点匹配对集；
对于图像和
Figure GDA00001232723300000315
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像
Figure GDA00001232723300000316
和
Figure GDA00001232723300000317
中的两个像素点P′o和P′r，像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的窗口中的每一个像素，通过SSIM准则在以P′r为中心的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对；
所有的特征点匹配对和像素点匹配对构成图像
Figure GDA00001232723300000318
和
Figure GDA00001232723300000319
之间的一个像素点匹配对集。
优选的，所述方法还包括：
将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
优选的，所述根据图像
Figure GDA00001232723300000320
和
Figure GDA00001232723300000321
之间的像素点匹配对集，获得图像
Figure GDA00001232723300000322
和
Figure GDA00001232723300000323
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
本发明还公布了一种基于像素点匹配的缩放图像的客观质量评价装置，所述装置包括：
获取模块，用于获取原图像和待评价的图像；
建立模块，用于建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
第一计算模块，用于分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
第二计算模块，用于计算像素对的相似度加权平均和，将所述加权平均和作为两幅图像的相似度，并将所述相似度作为缩放图像客观质量的评价结果；
其中，所述建立模块具体包括以下子模块：
第一建立子模块，用于使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
第二建立子模块，用于建立图像
Figure GDA0000123272330000045
和
Figure GDA0000123272330000046
像素之间的对应关系，获得图像
Figure GDA0000123272330000047
和之间的像素点匹配对集；
第一获取子模块，用于根据图像
Figure GDA0000123272330000049
和
Figure GDA00001232723300000410
之间的像素点匹配对集，获取图像
Figure GDA00001232723300000411
和
Figure GDA00001232723300000412
之间的像素点匹配对集；利用所述SIFT特征匹配算法在图像
Figure GDA00001232723300000413
和
Figure GDA00001232723300000414
中寻找特征点匹配对集；对于图像
Figure GDA00001232723300000415
和
Figure GDA00001232723300000416
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像和
Figure GDA00001232723300000418
中的两个像素点P′o和P′r，像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的窗口中的每一个像素，通过SSIM准则在以P′r为中心的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对；所有的特征点匹配对和像素点匹配对构成图像
Figure GDA00001232723300000419
和
Figure GDA00001232723300000420
之间的一个像素点匹配对集；
第二获取子模块，用于依次根据图像
Figure GDA00001232723300000421
和
Figure GDA00001232723300000422
之间的像素点匹配对集，获得图像
Figure GDA00001232723300000423
和
Figure GDA00001232723300000424
之间的像素点匹配对集，直到图像
Figure GDA00001232723300000425
和
Figure GDA00001232723300000426
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系；
其中，n＝min(log2 min(w(Io)，h(Io))，log2 min(w(Ir)，h(Ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度；
所述第二建立子模块具体包括以下单元：
第一寻找单元，用于分别在图像
Figure GDA00001232723300000427
和中寻找符合预设要求的像素点集作为特征点集；
第二寻找单元，用于计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
获取单元，用于对图像
Figure GDA0000123272330000051
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure GDA0000123272330000053
中其他未匹配像素点的像素点匹配对；
处理单元，用所获取的所有像素点匹配对构成图像
Figure GDA0000123272330000054
和
Figure GDA0000123272330000055
之间的像素点匹配对集。
优选的，所述装置还包括：
处理模块，用于将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
优选的，所述根据图像
Figure GDA0000123272330000056
和
Figure GDA0000123272330000057
之间的像素点匹配对集，获得图像和
Figure GDA0000123272330000059
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
与现有技术相比，本发明具有以下优点：
本发明通过首先输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，建立原图像和待评价图像之间的像素对应关系，计算每个像素对之间的相似度，为每一幅图像都计算一个显著图，所述显著图中的显著值与对应图像中的像素点一一对应，将显著值作为像素点的权值，所有像素对之间的相似度的加权平均和即为缩放图像的客观质量评价结果。
附图说明
图1是本发明实施例一所述的一种基于像素点匹配的缩放图像的客观质量评价方法流程图；
图2(a)是本发明实施例一所述的自上而下的方式进行像素点匹配的示意图；
图2(b)是本发明实施例一所述的通过SSIM准则寻找一个相似度最大的像素点的示意图；
图3是本发明实施例二所述的一种基于像素点匹配的缩放图像的客观质量评价装置结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一：
参照图1，示出了本发明的一种基于像素点匹配的缩放图像的客观质量评价方法流程图，所述方法具体包括：
步骤S101，获取原图像和待评价的图像；
在实际应用中，输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，也即这里所介绍获取原图像和待评价的图像。
步骤S102，建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
优选的，所述步骤S102具体包括以下子步骤：
步骤S1，使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
为了便于介绍，这里假设原始图像和待评价图像分别为Io和Ir，使用相同的高斯卷积核建立两个尺度空间SP(Io)，SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n }
SP ( I r ) = { I r 0 , I r 1 , · · · , I r n }
其中
Figure GDA0000123272330000067
Figure GDA0000123272330000068
是通过先对
Figure GDA0000123272330000069
图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，
Figure GDA00001232723300000610
Figure GDA00001232723300000611
是通过先对
Figure GDA00001232723300000612
图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，n＝min(log2 min (w(Io)，h(Io))，log2 min(w(Ir)，H(Ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度。
步骤S2，建立图像和
Figure GDA0000123272330000072
像素之间的对应关系，获得图像
Figure GDA0000123272330000073
和
Figure GDA0000123272330000074
之间的像素点匹配对集；
优选的，所述步骤S2具体包括以下子步骤：
步骤S11，分别在图像
Figure GDA0000123272330000075
和
Figure GDA0000123272330000076
中寻找符合预设要求的像素点集作为特征点集；
步骤S12，计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
利用SIFT特征匹配算法在图像
Figure GDA0000123272330000077
和
Figure GDA0000123272330000078
中寻找特征点匹配对集，该匹配算法首先从图像
Figure GDA0000123272330000079
和
Figure GDA00001232723300000710
中分别寻找符合设定要求的像素点集作为特征点集，并计算所述特征点集中每一个特征点的SIFT特征，然后再寻找这两个特征点集中的匹配对，从而得到一个特征点匹配对集，也即：计算所述特征点集中每一个特征点的SIFT特征，对于图像
Figure GDA00001232723300000711
所对应的特征点集中的某个特征点Fo，通过计算Fo和图像
Figure GDA00001232723300000712
所对应的特征点集中的每一个特征点Fr之间的SIFT特征距离，选择距离最小值对应的像素点Fr作为Fo的匹配特征点，获取一个特征点匹配对，并按照同样的方法获得特征点集中的其他未匹配特征点的特征点匹配对，所述特征点对应一个像素点，所以所述特征点匹配对集对应一个像素点匹配对集。
步骤S13，对于图像
Figure GDA00001232723300000713
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure GDA00001232723300000714
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure GDA00001232723300000715
中其他未匹配像素点的像素点匹配对；
步骤S14，所获取的所有像素点匹配对构成图像
Figure GDA00001232723300000716
和之间的像素点匹配对集。
对于图像
Figure GDA00001232723300000718
中每一个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure GDA00001232723300000719
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，从中选择相似度最大值对应的像素点Pr作为Po的匹配像素点，从而得到一个像素点匹配对，所有的特征点匹配对集和像素点匹配对构成图像和之间的一个像素点匹配对集。
其中，所述SSIM准则是在一个9×9的窗口内计算两个像素点P1和P2之间的相似度SSIM(P1，P2)，在应用SSIM准则之前将图像变换到lab颜色空间，L表示照度(Luminosity)，相当于亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，SSIM(P1，P2)的计算公式如下：
Sim = δ xy δ x δ y 2 x ‾ y ‾ ( x ‾ ) 2 + ( y ‾ ) 2 2 δ x δ y δ x 2 + δ y 2
SSIM(P1，P2)＝(Siml+Sima+Simb)/3
其中Sim计算的是在某一通道上的相似度，x，y分别是两个窗口矩阵中某一通道上的信号值，δx和δy是方差，
Figure GDA0000123272330000082
和
Figure GDA0000123272330000083
是均值，δxy是协方差，Siml、sima、simb分别是在l、a、b通道上的相似度；
步骤S3，根据图像
Figure GDA0000123272330000084
和
Figure GDA0000123272330000085
之间的像素点匹配对集，获取图像
Figure GDA0000123272330000086
和之间的像素点匹配对集；
优选的，所述根据图像
Figure GDA0000123272330000088
和
Figure GDA0000123272330000089
之间的像素点匹配对集，获得图像
Figure GDA00001232723300000810
和
Figure GDA00001232723300000811
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
具体的，利用所述SIFT特征匹配算法在图像
Figure GDA00001232723300000812
和
Figure GDA00001232723300000813
中寻找特征点匹配对集，对于图像
Figure GDA00001232723300000814
和
Figure GDA00001232723300000815
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像
Figure GDA00001232723300000816
和
Figure GDA00001232723300000817
中的两个像素点P′o和P′r，像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的5×5的窗口中的每一个像素，通过SSIM准则在以P′r为中心的5×5的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对，所有的特征点匹配对和像素点匹配对构成图像
Figure GDA00001232723300000818
和
Figure GDA00001232723300000819
之间的一个像素点匹配对集；
步骤S4，依次根据图像
Figure GDA00001232723300000820
和
Figure GDA00001232723300000821
之间的像素点匹配对集，获得图像和
Figure GDA00001232723300000823
之间的像素点匹配对集，直到图像
Figure GDA00001232723300000824
和
Figure GDA00001232723300000825
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
首先，获得当层图像
Figure GDA00001232723300000826
和
Figure GDA00001232723300000827
之间的特征点匹配对集，然后，再根据上一层图像
Figure GDA00001232723300000828
和
Figure GDA00001232723300000829
之间的像素点匹配对集，获得当层图像
Figure GDA00001232723300000830
和
Figure GDA00001232723300000831
之间的像素点匹配对集，从而，最终得到图像
Figure GDA0000123272330000091
和
Figure GDA0000123272330000092
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
步骤S103，分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
优选的，所述方法还包括：
步骤S105，将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
为原图像和待评价的图像分别计算显著图，显著图中的显著值与相应图像中的像素点一一对应，显著值越高，说明该像素点越重要，并且，将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
步骤S104，计算像素对的相似度加权平均和。
通过前面的介绍，假设所获取的像素点匹配对集中的每一个像素点匹配对，相应的两个像素点Po，Pr，对应的显著值分别为wo，wr，根据SSIM准则计算它们的相似度(wo+wr)SSIM(Po，Pr)，所有的像素点匹配对的相似度的加权平均和即为两幅图像的相似度，公式为如下：
Sim ( I o , I r ) = Σ i ∈ M ( w o i + w r i ) SSIM ( P o i , P r i ) Σ i ∈ M ( w o i + w r i )
其中M为所述像素点匹配对集，
Figure GDA0000123272330000094
指的是所述像素点匹配对集中第i个匹配对所对应原图像中的像素点，
Figure GDA0000123272330000095
指的是所述像素点匹配对集中第i个匹配对所对应待评测图像中的像素点，
Figure GDA0000123272330000096
为像素点对应的权值，
Figure GDA0000123272330000098
为像素点对应的权值。
通过计算像素对的相似度加权平均和，获知两幅图像的相似度，并将相似度作为缩放图像客观质量的评价结果。
进一步的，通过下述实例对本实施例所述的方法做进一步介绍：
首先输入两幅图像，一幅是原图像，另一幅是原图像经过缩放后的待评价的图像，并建立原图像与待评价图像的像素对应关系，计算两幅图像的相似度，并将相似度作为缩放图像客观质量的评价结果，为原图像和待评价的图像分别计算显著图，显著图中的每一个显著值与相应图像中的每一个像素点一一对应，显著值越高，说明该像素点越重要，具体的计算显著图的算法详见【L.Itti，C.Koch，E.Niebur.A model of saliency-based visual attention for rapidscene analysis.IEEE Trans.On Pattern Analysis and MachineIntelligence，20(11)：1254-1259，1998】。其中，将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
更进一步的，本发明实施例中采用自上而下的方式进行像素点匹配的，这里对其做进一步介绍，如图2所示为本发明实施例中的自上而下的像素点匹配示意图。为原始图像和待评价图像分别建立尺度空间，尺度空间的每一层的图像都是由下一层的图像经过高斯卷积，再进行下采样获得的(每一层图像的长与宽是下一层图像的长与宽的一半)，如图2(a)所示，最上层为In，最下层为I0。首先建立两个尺度空间中最上一层(这一层的图像大小是整个尺度空间中图像最小的)的两个图像中像素的对应关系，即图像
Figure GDA0000123272330000101
和
Figure GDA0000123272330000102
中像素之间的对应关系，然后根据上一层像素的对应关系逐步找出下一层图像中像素之间的对应关系。
假设原始图像和待评价图像分别为Io和Ir，使用相同的高斯卷积核建立两个尺度空间SP(Io)，SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n }
SP ( I r ) = { I r 0 , I r 1 , · · · , I r n }
其中
Figure GDA0000123272330000106
是通过先对
Figure GDA0000123272330000107
图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，
Figure GDA0000123272330000108
Figure GDA0000123272330000109
是通过先对图像用高斯滤波器进行卷积，然后拒绝偶数的行与列进行下采样获得的图像，n＝min(log2 min(w(Io)，h(Io))，log2 min(w(lr)，h(ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度。
首先建立图像
Figure GDA00001232723300001011
和
Figure GDA00001232723300001012
像素之间的对应关系，获得一个图像
Figure GDA00001232723300001013
和的像素点匹配对集：
利用SIFT特征匹配算法在图像
Figure GDA00001232723300001015
和
Figure GDA00001232723300001016
中寻找特征点匹配对集，该匹配算法首先从图像
Figure GDA00001232723300001017
和中分别寻找符合设定要求的像素点集作为特征点集，并计算所述特征点集中每一个特征点的SIFT特征，然后再寻找这两个特征点集中的匹配对，从而得到一个特征点匹配对集，具体的SIFT特征匹配算法详见【D.G.Lowe.Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision，60(2)：91-110，2004】。
对于图像
Figure GDA0000123272330000111
中每一个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure GDA0000123272330000112
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，从中选择相似度最大值对应的像素点Pr作为Po的匹配像素点，从而得到一个像素点匹配对，所有的特征点匹配对集和像素点匹配对构成图像
Figure GDA0000123272330000113
和
Figure GDA0000123272330000114
之间的一个像素点匹配对集；
所述SSIM准则是在一个9×9的窗口内计算两个像素点P1和P2之间的相似度SSIM(P1，P2)，在应用SSIM准则之前将图像变换到lab颜色空间，L表示照度(Luminosity)，相当于亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，SSIM(P1，P2)的计算公式如下：
Sim = δ xy δ x δ y 2 x ‾ y ‾ ( x ‾ ) 2 + ( y ‾ ) 2 2 δ x δ y δ x 2 + δ y 2
SSIM(P1，P2)＝(Siml+Sima+Simb)/3
其中Sim计算的是在某一通道上的相似度，x，y分别是两个窗口矩阵中某一通道上的信号值，δx和δy是方差，
Figure GDA0000123272330000116
和
Figure GDA0000123272330000117
是均值，δxy是协方差，Siml、Sima、Simb分别是在l、a、b通道上的相似度，具体SSIM准则详见【Z.Wang，A.C.Bovik，H.R.Sheikh，E.P.Simoncelli.Image quality assessment：fromerror visibility to structural similarity.IEEE Trans.On ImageProcessing，13(4)：600-612，2004】。
利用所述SIFT特征匹配算法在图像
Figure GDA0000123272330000118
和
Figure GDA0000123272330000119
中寻找特征点匹配对集。如图2(b)所示，对于图像
Figure GDA00001232723300001110
和
Figure GDA00001232723300001111
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像和
Figure GDA00001232723300001113
中的两个像素点P′o和P′r，像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的5×5的窗口中的每一个像素，通过SSIM准则在以P′r为中心的5×5的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对，所有的特征点匹配对和像素点匹配对构成图像
Figure GDA00001232723300001114
和
Figure GDA00001232723300001115
之间的一个像素点匹配对集；
实施例二：
参照图3，示出了本发明的一种基于像素点匹配的缩放图像的客观质量评价装置结构图，所述装置具体包括：
获取模块301，用于获取原图像和待评价的图像；
建立模块302，用于建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
优选的，所述建立模块302具体包括以下子模块：
第一建立子模块3021，用于使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
第二建立子模块3022，用于建立图像和
Figure GDA0000123272330000126
像素之间的对应关系，获得图像
Figure GDA0000123272330000127
和之间的像素点匹配对集；
优选的，所述第二建立子模块3022具体包括以下单元：
第一寻找单元30221，用于分别在图像
Figure GDA0000123272330000129
和
Figure GDA00001232723300001210
中寻找符合预设要求的像素点集作为特征点集；
第二寻找单元30222，用于计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
获取单元30223，用于对图像
Figure GDA00001232723300001211
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure GDA00001232723300001212
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure GDA00001232723300001213
中其他未匹配像素点的像素点匹配对；
处理单元30224，用所获取的所有像素点匹配对构成图像
Figure GDA00001232723300001214
和
Figure GDA00001232723300001215
之间的像素点匹配对集。
第一获取子模块3023，用于根据图像和
Figure GDA0000123272330000132
之间的像素点匹配对集，获取图像和
Figure GDA0000123272330000134
之间的像素点匹配对集；
第二获取子模块3024，用于依次根据图像
Figure GDA0000123272330000135
和
Figure GDA0000123272330000136
之间的像素点匹配对集，获得图像
Figure GDA0000123272330000137
和
Figure GDA0000123272330000138
之间的像素点匹配对集，直到图像和
Figure GDA00001232723300001310
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系。
第一计算模块303，用于分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
第二计算模块304，用于计算像素对的相似度加权平均和。
优选的，所述装置还包括：
处理模块305，用于将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
优选的，所述根据图像
Figure GDA00001232723300001311
和之间的像素点匹配对集，获得图像
Figure GDA00001232723300001313
和
Figure GDA00001232723300001314
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本发明所提供的一种基于像素点匹配的缩放图像的客观质量评价方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于像素点匹配的缩放图像的客观质量评价方法，其特征在于，所述方法包括：
获取原图像和待评价的图像；
建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
计算像素对的相似度加权平均和，将所述加权平均和作为两幅图像的相似度，并将所述相似度作为缩放图像客观质量的评价结果；
其中，所述建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集，具体包括以下子步骤：
使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
建立图像和
Figure FDA0000128611530000016
像素之间的对应关系，获得图像
Figure FDA0000128611530000017
和
Figure FDA0000128611530000018
之间的像素点匹配对集；
根据图像和
Figure FDA00001286115300000110
之间的像素点匹配对集，获取图像
Figure FDA00001286115300000111
和
Figure FDA00001286115300000112
之间的像素点匹配对集；
依次根据图像
Figure FDA00001286115300000113
和
Figure FDA00001286115300000114
之间的像素点匹配对集，获得图像和之间的像素点匹配对集，直到图像
Figure FDA00001286115300000117
和之间的像素点匹配对集，即原图像与待评价图像的像素对应关系；
其中，n＝min(log2min(w(Io)，h(Io))，log2min(w(Ir)，h(Ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度；
所述建立图像
Figure FDA00001286115300000119
和像素之间的对应关系，获得图像
Figure FDA00001286115300000121
和
Figure FDA00001286115300000122
之间的像素点匹配对集，具体包括以下子步骤：
分别在图像
Figure FDA00001286115300000123
和
Figure FDA00001286115300000124
中寻找符合预设要求的像素点集作为特征点集；
计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
对于图像中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像
Figure FDA0000128611530000022
中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure FDA0000128611530000023
中其他未匹配像素点的像素点匹配对；
所获取的所有像素点匹配对构成图像
Figure FDA0000128611530000024
和之间的像素点匹配对集；
所述根据图像
Figure FDA0000128611530000026
和
Figure FDA0000128611530000027
之间的像素点匹配对集，获取图像
Figure FDA0000128611530000028
和
Figure FDA0000128611530000029
之间的像素点匹配对集，具体包括以下子步骤：
利用所述SIFT特征匹配算法在图像
Figure FDA00001286115300000210
和
Figure FDA00001286115300000211
中寻找特征点匹配对集；
对于图像和
Figure FDA00001286115300000213
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像
Figure FDA00001286115300000214
和
Figure FDA00001286115300000215
中的两个像素点P′o和P′r，像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的窗口中的每一个像素，通过SSIM准则在以P′r为中心的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对；
所有的特征点匹配对和像素点匹配对构成图像和
Figure FDA00001286115300000217
之间的一个像素点匹配对集。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
3.根据权利要求1所述的方法，其特征在于：
所述根据图像
Figure FDA00001286115300000218
和
Figure FDA00001286115300000219
之间的像素点匹配对集，获得图像和
Figure FDA00001286115300000221
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
4.一种基于像素点匹配的缩放图像的客观质量评价装置，其特征在于，所述装置包括：
获取模块，用于获取原图像和待评价的图像；
建立模块，用于建立原图像和待评价图像之间的像素对应关系，形成像素匹配对集；
第一计算模块，用于分别计算原图像和待评价图像的显著图；所述显著图中显著值作为相应图像中的像素点的权重值；
第二计算模块，用于计算像素对的相似度加权平均和，将所述加权平均和作为两幅图像的相似度，并将所述相似度作为缩放图像客观质量的评价结果；
其中，所述建立模块具体包括以下子模块：
第一建立子模块，用于使用相同的高斯卷积核分别建立原始图像Io和待评价图像Ir的尺度空间SP(Io)和SP(Ir)，分别为：
SP ( I o ) = { I o 0 , I o 1 , · · · , I o n } , SP ( I r ) = { I r 0 , I r 1 , · · · , I r n } , 其中 I o 0 = I o , I r 0 = I r ;
第二建立子模块，用于建立图像
Figure FDA0000128611530000035
和
Figure FDA0000128611530000036
像素之间的对应关系，获得图像
Figure FDA0000128611530000037
和之间的像素点匹配对集；
第一获取子模块，用于根据图像
Figure FDA0000128611530000039
和
Figure FDA00001286115300000310
之间的像素点匹配对集，获取图像
Figure FDA00001286115300000311
和
Figure FDA00001286115300000312
之间的像素点匹配对集；利用SIFT特征匹配算法在图像
Figure FDA00001286115300000313
和
Figure FDA00001286115300000314
中寻找特征点匹配对集；对于图像
Figure FDA00001286115300000315
和
Figure FDA00001286115300000316
之间的像素点匹配对集中的每一个像素点匹配对中两个像素点Po和Pr，这两个像素点分别对应于图像
Figure FDA00001286115300000317
和
Figure FDA00001286115300000318
中的两个像素点P′o和P′r像素点P′o和P′r的坐标分别是Po和Pr的坐标的两倍减去1，对于存在于以P′o为中心的窗口中的每一个像素，通过SSIM准则在以P′r为中心的窗口中寻找一个相似度最大的像素点，从而形成一个像素点匹配对；所有的特征点匹配对和像素点匹配对构成图像
Figure FDA00001286115300000319
和
Figure FDA00001286115300000320
之间的一个像素点匹配对集；
第二获取子模块，用于依次根据图像
Figure FDA00001286115300000321
和
Figure FDA00001286115300000322
之间的像素点匹配对集，获得图像
Figure FDA00001286115300000323
和
Figure FDA00001286115300000324
之间的像素点匹配对集，直到图像
Figure FDA00001286115300000325
和
Figure FDA00001286115300000326
之间的像素点匹配对集，即原图像与待评价图像的像素对应关系；
其中，n＝min(log2min(w(Io)，h(Io))，log2min(w(Ir)，h(Ir)))-2，w(Io)和h(Io)分别表示图像Io的宽度与高度，w(Ir)和h(Ir)分别表示图像Ir的宽度与高度；
所述第二建立子模块具体包括以下单元：
第一寻找单元，用于分别在图像
Figure FDA00001286115300000327
和
Figure FDA00001286115300000328
中寻找符合预设要求的像素点集作为特征点集；
第二寻找单元，用于计算所述特征点集中每一个特征点的SIFT特征，寻找这两个特征点集中的匹配对，获取一个特征点匹配对集；并按照同样的方法获得特征点匹配对集中的其它特征点匹配对所对应的像素点匹配对；
获取单元，用于对图像
Figure FDA0000128611530000041
中某个未匹配的像素点Po，通过SSIM准则计算像素点Po和图像中的每一个未匹配的像素点Pr之间的相似度SSIM(Po，Pr)，选择相似度最大值对应的像素点Pr作为Po的匹配像素点，获取一个像素点匹配对，并按照同样的方法获得图像
Figure FDA0000128611530000043
中其他未匹配像素点的像素点匹配对；
处理单元，用所获取的所有像素点匹配对构成图像和
Figure FDA0000128611530000045
之间的像素点匹配对集。
5.根据权利要求4所述的装置，其特征在于，所述装置还包括：
处理模块，用于将显著图中的显著值归一化到0至255的区间中，并将所有低于100的显著值赋值为0。
6.根据权利要求5所述的装置，其特征在于：
所述根据图像
Figure FDA0000128611530000046
和
Figure FDA0000128611530000047
之间的像素点匹配对集，获得图像和
Figure FDA0000128611530000049
之间的像素点匹配对集时，所采用的窗口为5×5的窗口。
CN201010604747XA 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置 Expired - Fee Related CN102073985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010604747XA CN102073985B (zh) 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010604747XA CN102073985B (zh) 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置

Publications (2)

Publication Number Publication Date
CN102073985A CN102073985A (zh) 2011-05-25
CN102073985B true CN102073985B (zh) 2012-05-09

Family

ID=44032516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010604747XA Expired - Fee Related CN102073985B (zh) 2010-12-23 2010-12-23 基于像素点匹配的缩放图像的客观质量评价方法和装置

Country Status (1)

Country Link
CN (1) CN102073985B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243970A (zh) * 2013-11-14 2014-12-24 同济大学 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123529B (zh) * 2013-04-25 2018-04-10 株式会社理光 人手检测方法及系统
CN103294813A (zh) * 2013-06-07 2013-09-11 北京捷成世纪科技股份有限公司 一种敏感图片搜索方法和装置
CN107346529A (zh) * 2016-05-07 2017-11-14 浙江大学 一种数字图像质量评价方法及装置
CN107784645A (zh) * 2016-08-26 2018-03-09 广州康昕瑞基因健康科技有限公司 图像清晰度评价方法及系统、自动聚焦方法
CN107871305B (zh) * 2016-09-27 2020-04-21 深圳正品创想科技有限公司 一种图片质量评级方法、装置及终端设备
CN106657817A (zh) * 2016-12-28 2017-05-10 杭州趣维科技有限公司 一种应用于手机平台的自动制作相册mv的处理方法
CN107122787A (zh) * 2017-02-14 2017-09-01 北京理工大学 一种基于特征融合的图像缩放质量评价方法
CN107945151B (zh) * 2017-10-26 2020-01-21 宁波大学 一种基于相似性变换的重定位图像质量评价方法
CN108009983B (zh) * 2017-11-30 2021-05-25 天地伟业技术有限公司 一种基于图像分析定位像素点对应原图的方法
CN110858394B (zh) * 2018-08-20 2021-03-05 深圳云天励飞技术有限公司 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN109978858B (zh) * 2019-03-27 2021-02-19 华南理工大学 一种基于前景检测的双框架缩略图像质量评价方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103378A (zh) * 2005-01-10 2008-01-09 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
CN101329762A (zh) * 2008-08-04 2008-12-24 清华大学 基于内容相关图像尺寸调整的保真度评测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103378A (zh) * 2005-01-10 2008-01-09 汤姆森许可贸易公司 用于创建图像的显著图的设备和方法
CN101329762A (zh) * 2008-08-04 2008-12-24 清华大学 基于内容相关图像尺寸调整的保真度评测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马奇，张立明.快速注意力选择计算及其在图像质量评价中的应用.《计算机辅助设计与图形学学报》.2009,第21卷(第7期),P973-P983. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243970A (zh) * 2013-11-14 2014-12-24 同济大学 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法

Also Published As

Publication number Publication date
CN102073985A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
CN102073985B (zh) 基于像素点匹配的缩放图像的客观质量评价方法和装置
CN102006425B (zh) 一种基于多摄像机的视频实时拼接方法
US8120665B2 (en) Image processing method and apparatus, digital camera, and recording medium recording image processing program
CN104376548B (zh) 一种基于改进型surf算法的图像快速拼接方法
CN111428781A (zh) 遥感影像地物分类方法及系统
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN106446952B (zh) 一种乐谱图像识别方法及装置
CN106803257B (zh) 一种作物病害叶片图像中病斑的分割方法
DE102009036467A1 (de) Mustermodell-Positionierungsverfahren bei Bildverarbeitung, Bildverarbeitungsvorrichtung, Bildverarbeitsprogamm und computerlesbares Aufzeichnungsmedium
CN110263813B (zh) 一种基于残差网络和深度信息融合的显著性检测方法
CN103679636A (zh) 基于点、线双重特征的快速图像拼接方法
DE102009036474A1 (de) Bilddaten-Kompressionsverfahren, Mustermodell-Positionierungsverfahren bei Bildverarbeitung, Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und computerlesbares Aufzeichnungsmedium
CN103327220B (zh) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN103077511A (zh) 基于字典学习和结构相似的图像超分辨率重建方法
CN102592281B (zh) 图像匹配方法
CN104036468A (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN108961227B (zh) 一种基于空域和变换域多特征融合的图像质量评价方法
CN107633482A (zh) 一种基于序列图像的超分辨率重建方法
CN103778616A (zh) 基于区域的对比度金字塔图像融合方法
CN103354617B (zh) 一种基于dct域的边缘强度压缩的图像质量客观评价方法
CN103813095B (zh) 测试图及其使用方法
CN105761292A (zh) 一种基于颜色转移和修正的图像着色方法
CN114120051A (zh) 一种胶条边缘点的筛选方法
CN107665347A (zh) 基于滤波优化的视觉显著性目标检测方法
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120509

Termination date: 20211223

CF01 Termination of patent right due to non-payment of annual fee