CN103003841B - 数字图像的保真度测量 - Google Patents

数字图像的保真度测量 Download PDF

Info

Publication number
CN103003841B
CN103003841B CN201180034520.9A CN201180034520A CN103003841B CN 103003841 B CN103003841 B CN 103003841B CN 201180034520 A CN201180034520 A CN 201180034520A CN 103003841 B CN103003841 B CN 103003841B
Authority
CN
China
Prior art keywords
image file
digital image
fragment
value
converting vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180034520.9A
Other languages
English (en)
Other versions
CN103003841A (zh
Inventor
M·尼古拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics Grenoble 2 SAS
Original Assignee
STMicroelectronics Grenoble 2 SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics Grenoble 2 SAS filed Critical STMicroelectronics Grenoble 2 SAS
Publication of CN103003841A publication Critical patent/CN103003841A/zh
Application granted granted Critical
Publication of CN103003841B publication Critical patent/CN103003841B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于测量数字图像文件(IF1,IF2,IF2-z)的部分的相似度的方法,包括步骤:计算第一数字图像文件(IF1)的第一片段(BIF1a)中的像素值与该第一文件(IF1)的第二片段(BIF1b)中的像素值之间的相似度的第一改变值,该第一文件的该第一片段和第二片段被第一转换向量(td1)空间分隔;计算第二数字图像文件(IF2,IF2-z)的第一片段(BIF2a)中的像素值与该第二文件(IF2,IF2-z)的第二片段(BIF2b)中的像素值之间的相似度的第二改变值(v),该第二文件的该第一片段和第二片段被第二转换向量(td2)空间分隔;其中该第一文件的第一片段与该第二文件的第一片段基本上对应于该图像的相同部分,并且其中该第一文件的第二片段与该第二文件的第二片段基本上对应于该图像的相同部分;以及计算用于指示该第一改变与该第二改变之间的相似度的结构演变值。

Description

数字图像的保真度测量
技术领域
本发明涉及数字图像的保真度测量,具体而言涉及在对图像执行变换之前和之后对图像进行保真度测量。
背景技术
在许多情况中,用于测量一个数字图像与另一个数字图像的相似度的方法是有用的。特别是当第二图像是对第一图像执行变换的结果时。希望从这两个数字图像的直接测量获得保真度的价值的数值度量或数字。
通常由包括像素的矩形矩阵的文件来表示数字图像。像素的数量通常被称为分辨率。该术语可以被用作沿给定轴或者图像文件作为整体的分辨率。
图1表示可能必须对数字图像文件执行的一些可能的操作。可以对像素宽度为M0、像素高度为N0的数字图像文件IF1进行操作以产生文件IF2。IF2可能仍然具有M0xN0的格式。这些操作可以包括压缩、噪声降低、色彩调整以及许多其他的可能。
或者,可以执行类似缩放的操作,产生分辨率为M1xN1的文件IF2-zoom。图像格式的改变也是可能的,如从4/3到16/9,在该情况中IF2-reformat将具有分辨率M2xN0。M2、M1和N1的值可以大于或小于M0和N0。
分辨率的改变涉及增加或减少像素,这需要内插计算。存在各种用于执行这些操作的算法,并且这些算法在误差和制品方面的特性可变并且可能依赖于图像的实际内容。
因此希望提供一种用于测量一个图像文件到另一个图像文件的保真度的技术,该技术可以处理包括像素数量改变在内的变换。
发明内容
在一个方面,本发明提供了一种用于测量第一数字图像文件与第二数字图像文件的部分的相似度的方法,包括步骤:计算该第一数字图像文件的第一片段中的像素值与该第一数字图像文件的第二片段中的像素值之间的相似度的第一改变值,该第一数字图像文件的第一片段和第二片段被第一转换向量空间分隔;计算该第二数字图像文件的第一片段中的像素值与该第二数字图像文件的第二片段中的像素值之间的相似度的第二改变值,该第二数字图像文件的第一片段和第二片段被第二转换向量空间分隔;其中该第一数字图像文件的第一片段与该第二数字图像文件的第一片段基本上对应于该图像的相同部分,并且其中该第一数字图像文件的第二片段与该第二数字图像文件的第二片段基本上对应于该图像的相同部分;以及计算用于指示该第一改变与该第二改变之间的相似度的结构演变值。这样,可以比较分辨率不同的区域的结构相似度。
根据一个实施方式,通过包括应用于该第一数字图像文件的分辨率改变操作的处理产生该第二数字图像文件。
根据一个实施方式,还提供一种方法,其中该第一转换向量和该第二转换向量分别与相应的第一数字图像文件和第二数字图像文件的边界正交。
根据一个实施方式,还提供一种方法,其中该第一转换向量和该第二转换向量中的至少一个与相应的第一数字图像文件和第二数字图像文件的边界不正交。
根据一个实施方式,还提供一种方法,其中该第一转换向量和该第二转换向量具有相同的大小。
根据一个实施方式,该方法还包括步骤:使用等式
校准因子=(F.zoom-G).zoom+1-F+G
来计算校准因子,其中F是在-0.5到+3之间的数字,G是在-3到+7之间的数字,并且zoom是用于表示第一图像文件与第二图像文件之间的分辨率的改变的数字。
根据一个实施方式,该第二转换向量的大小与该第一转换向量的大小乘以沿它的方向的分辨率的改变成正比。
根据一个实施方式,该转换向量的大小与在该数字图像文件中存在的周期性图案的重复距离基本上相同。
根据一个实施方式,使用像素值的协方差来估计改变值。
根据一个实施方式,计算该结构演变值作为使用在一个方向中的转换向量所测量的结构演变值与使用在另一个方向中的转换向量所测量的结构演变值的乘积。
根据一个实施方式,该方法还包括步骤:根据该第一数字图像文件的第一片段中的像素值和该第二数字图像文件的第一片段中的像素值的平均来计算平均值的差。
根据一个实施方式,该方法还包括步骤:根据该第一数字图像文件的第一片段中的像素值和该第二数字图像文件的第一片段中的像素值的标准差来计算对比度的差值。
根据一个实施方式,该方法还包括步骤:根据所述平均值的差、所述对比度的差值和所述结构演变值来计算保真度度量。
根据一个实施方式,该第一数字图像文件和该第二数字图像文件中的至少一个是通过应用遮罩函数从另一个数字图像文件得到的。
根据一个实施方式,从像素的分量值的值中的至少一个值获得像素值。
根据一个实施方式,该像素值表示亮度。
根据一个实施方式,此外提供了一种适于执行根据任意一个前述权利要求所述的方法的电子设备。
附图说明
为了更完整地理解本发明和它的优点,现在将参考结合附图进行的下文的描述,其中:
图1表示可以对数字图像文件执行的一些操作。
图2表示用于通过直接比较来测量两个图像文件的保真度的方法。
图3表示用于执行图2的方法的操作的流程。
图4表示用于通过直接比较来测量具有不同的像素数量的有可能分辨率不同的两个图像文件的保真度的方法。
图5表示用于执行图4的方法的操作的流程。
具体实施方式
下文详细地讨论当前优选实施方式的产生和使用。但是应该明白,本发明提供可以被实现在各种具体环境中的许多可应用的创造性构思。所讨论的具体实施方式仅仅是用于生产和使用本发明的示例性的具体方式。
为了清楚起见,在附图中始终使用相同的附图标记来指示相同的元素,除非另有指示。并且,已经描述过的特征不再进一步详述。下标1和2的使用表示分别涉及图像文件IF1和IF2的数据。下标‘1/2’指示该公式应用于两个文件中的一个或另一个或者这二者。
图2表示用于将尺寸都为MxN个像素的图像文件IF1与另一个图像文件IF2直接比较的方法,被称为SSIM。
分别从图像文件IF1和图像文件IF2选择像素块BIF1和BIF2。两个像素块BIF1和BIF2被选择为基本上对应于实际图像的相同的部分。为了使得该块对应,已经校准了该图像文件。对于本领域技术人员而言,用于该校准步骤的各种方法是已知的,本领域技术人员将知道如何选择最合适的方法。BIF1和BIF2的尺寸都是AxB个像素。
向计算引擎10(calc)提供各个像素的亮度值。计算引擎对两个块BIF1和BIF2进行比较,其输出构成所讨论的像素块的保真度度量(11)(度量)。可以存储该保真度度量并且通常根据希望重复该操作。
可以使用不同的分量来表示彩色图像,每个分量的值被存储在每个像素中。色彩分量的给定的集合通常被称为色彩空间。如何存储亮度信息依赖于使用哪个色彩空间。在使用YCbCr或类似的方案的情况中,亮度或更正确而言“luma”在Y分量中直接可用,并且这适合应用本文所示的方法。否则,本领域的熟练技术人员将能够选择用于将图像文件IF1、IF2的色彩空间转换到YCbCr或一些其他合适的方案的合适的方法。
图3表示由计算引擎执行的步骤的流程。在步骤S0(选择BIF1和BIF2),选择校准的块BIF1和BIF2。
在步骤S1(计算平均亮度BIF1和BIF2),根据
Y ‾ x = 1 A . B Σ i = 1 A . B Y xi - - - [ 1 ]
分别计算块BIF1和BIF2中的所有像素上的亮度的对应的平均值,其中,Yxi是所讨论的块中的像素i(见图2)的亮度值,并且下标‘x’根据所关注的是块BIF1和BIF2中的哪一个而取值1或2。
在步骤S2(比较平均亮度),使用等式
l ( BIF 1 , BIF 2 ) = 2 Y ‾ 1 Y ‾ 2 + C l Y ‾ 1 2 + Y ‾ 2 2 + C l - - - [ 2 ]
来获得平均亮度的测量结果的比较值l(BIF1,BIF2)。
引入常数Cl以避免当项非常接近零时的不稳定性。可以使用
Cl=(k1L)2[3]
来计算它的可能值,其中常数k远小于1并且L是亮度的动态范围。
在步骤S3(计算标准差亮度BIF1和BIF2),根据
σ x = ( 1 A . B Σ i = 1 A . B ( Y xi - Y x ‾ ) 2 ) 1 2 - - - [ 4 ]
计算两个块BIF1和BIF2中的亮度的相应的标准差,
其中,下标‘x’如前文一样根据所关注的是块BIF1或BIF2中的哪一个而取值1或2。
在步骤S4(比较对比度),使用以下等式
c ( BIF 1 , BIF 2 ) = 2 . σ 1 . σ 2 + C c σ 1 2 + σ 2 2 + C c - - - [ 5 ]
通过将相应的值除以方差之和来归一化相应的值,以便计算对比度的程度的比较的值,
其中,引入常数Cc以避免当项非常接近零时的不稳定性。可以使用
Cc=(k2L)2[6]
来计算Cc,其中k2远小于1。
在步骤S5(计算协方差BIF1-BIF2),计算两个块BIF1和BIF2之间的亮度值(改变值)的相关性。这是通过计算两个块的值的协方差来完成的。这可以根据等式
来完成,其中,Y1i表示块BIF1(见图2)中的像素i的值,Y2i表示块BIF2中的像素i的值。
在步骤S6(比较结构),根据等式
s ( BIF 1 , BIF 2 ) = v 12 + C s σ 1 σ 2 + C s - - - [ 8 ]
从协方差v12和两个标准偏差σ1和σ2,来估计两个块BIF1和BIF2的结构相似度(结构演变值)。
像前面一样,存在常数Cs以避免当其他分母项接近零时的不稳定性并且可以使用
Cs=(k3L)2[9]
来确定常数Cs,其中常数k3远小于1。
然后可以根据
M(BIF1,BIF2)=l(BIF1,BIF2)α.c(BIF1,BIF2)β.s(BIF1,BIF2)γ[10]
将3个比较值组合成单个保真度度量,其中,α、β和γ是用于调整项的权重的非零参数。
该方法从两个图像文件的直接比较产生保真度度量。但是,其依赖于块BIF1和BIF2具有相同的尺寸,特别是对于协方差的计算,因为这涉及对相同间隔上的两个协方差的乘积求和。这因而假设图像在水平和垂直方向中都具有基本上相同的分辨率。否则两个块BIF1和BIF2将包括实际图像的实质上不同的部分并且因此相关性将受损。
图4表示用于将具有M1xN1个像素的分辨率的图像文件IF1与具有M2xN2个像素的分辨率的另一个图像文件IF2-z进行直接比较的方法。
如同图2中的方法一样,分别从图像文件IF1和IF2-z中选择块BIF1和BIF2。将这些块校准,即它们集中于在该图像的基本上相同的部分。BIF1a的尺寸为A1xB1个像素,BIF2a的尺寸为A2xB2个像素,其中
A 2 = M 2 M 1 . A 1 - - - [ 11 ]
并且
B 2 = N 2 N 1 . B 1 - - - [ 12 ]
这些比率有可能产生非整数的块尺寸,这将意味着必须处理子像素元素和结果准确性问题。虽然可以设想特定的滤波,但是简单的舍入将能够给出可接受的结果。通过应用向下取整函数
A 2 = floor ( M 2 M 1 . A 1 + 0.5 ) - - - [ 13 ]
B 2 = floor ( N 2 N 1 . B 1 + 0.5 ) - - - [ 14 ]
给出舍入的一个可能的版本。
分别利用向量td1和td2对块BIF2a和BIF2b进行转换而得出其他块BIF1b和BIF2b。块BIF1b与块BIF1a具有相同的尺寸,块BIF2b与块BIF2a具有相同的尺寸。向量td1和td2可以与构成图像文件IF1和IF2的像素阵列的一个或另一个边界平行。当与实际图像的水平轴平行时这可以被称为水平,当与实际图像的垂直轴平行时这可以被称为垂直。典型地,向量td1和td2将都相对于实际图像具有相同的方向,但是也有可能是除了这种情况之外的其他情况。
计算引擎50(calc)将来自块BIF1a的平均亮度数据与来自块BIF2a的平均亮度数据进行比较。其进一步将来自块BIF1a的对比度数据与来自块BIF1b的对比度数据进行比较。最后将块BIF1a的数据中的结构特性与块BIF1b的数据中的结构特性进行比较,并且将块BIF2a中的数据与块BIF2b中的数据进行比较。组合这些保真度测量的结果,以产生保真度度量51(度量)。
图5表示由计算引擎50执行的步骤的流程。在步骤S10(选择BIF1a和BIF2a),分别从图像文件IF1和IF2-z选择第一对校准块BIF1a和BIF2a。下文中,下标中的‘a’指示涉及块BIF1a和BIF2a的参数。
在步骤S11(计算平均亮度BIF1a和BIF2a),根据等式
Y 1 a ‾ = 1 A 1 . B 1 Σ i = 1 A 1 . B 1 Y 1 ai - - - [ 15 ]
Y 2 a ‾ = 1 A 2 . B 2 Σ i = 1 A 2 . B 2 Y 2 ai - - - [ 16 ]
计算相应的像素亮度的算术均值,其中Y1ai是块BIF1a中的像素1i(见图4)的亮度值,Y2ai是块BIF2a中的像素2i的亮度值。
在步骤S12(比较平均亮度BIF1a-BIF2a),根据等式
l ( BIF 1 a , BIF 2 a ) = 2 Y ‾ 1 a Y ‾ 2 a + C l Y ‾ 1 a 2 + Y ‾ 2 a 2 + C l - - - [ 17 ]
将块BIF1a的平均亮度与BIF2a的平均亮度进行比较。
常数C1与如前所述的C1具有相同的功能并且可以由等式3计算。
在步骤S13(计算标准差亮度BIF1aBIF2a),根据
σ 1 a = ( 1 A 1 . B 1 Σ i = 1 A 1 . B 1 ( Y 1 ai - Y ‾ 1 a ) 2 ) 1 2 - - - [ 18 ]
σ 2 a = ( 1 A 2 . B 2 Σ i = 1 A 2 . B 2 ( Y 2 ai - Y ‾ 2 a ) 2 ) 1 2 - - - [ 19 ]
计算两个块BIF1a和BIF2a之中的亮度的相应的标准差。
在步骤S14(比较对比度BIF1a-BIF2a),使用以下等式
c ( BIF 1 a , BIF 2 a ) = 2 . σ 1 a . σ 2 a + C c σ 1 a 2 + σ 2 a 2 + C c - - - [ 20 ]
通过将相应的值除以方差之和来归一化相应的值,以便计算对比度的比较值,其中,Cc如等式6那样。
在步骤S15,选择两个其他块BIF1b和BIF2b。这些块集中于移位了向量td1和td2的位置上。下文中,下标中的‘b’指示涉及块BIF1b或BIF2b的值。
在步骤S16(计算标准差亮度BIF1b和BIF2b),根据下列等式
Y 1 b ‾ = 1 A 1 . B 1 Σ i = 1 A 1 . B 1 Y 1 bi - - - [ 21 ]
Y 2 b ‾ = 1 A 2 . B 2 Σ i = 1 A 2 . B 2 Y 2 bi - - - [ 22 ]
计算平均亮度值,其中Y1bi表示块BIF1b中的像素1i的亮度值,Y2bi表示块BIF2b中的像素2i的亮度值。
在步骤S17(计算标准差亮度BIF1b和BIF2b),根据以下等式
σ 1 b = ( 1 A 1 . B 1 Σ i = 1 A 1 . B 1 ( Y 1 bi - Y ‾ 1 b ) 2 ) 1 2 - - - [ 23 ]
σ 2 b = ( 1 A 2 . B 2 Σ i = 1 A 2 . B 2 ( Y 2 bi - Y ‾ 2 b ) 2 ) 1 2 - - - [ 24 ]
计算亮度值的标准差。
在步骤S18(计算协方差亮度BIF1a-BIF1b,BIF2a-BIF2b),计算块BIF1a和BIF1b之间的亮度分布的相关性。这是通过根据等式
计算这两个块的值的协方差来完成的。并且计算块BIF2a和BIF2b之间的亮度分布的相关性。这是通过根据等式
计算这两个块的值的协方差来完成的。
在步骤S19(将结构演变BIF1a-BIF2a与结构演变BIF2a-BIF2b进行比较),估计两个块BIF1a和BIF1b之间的结构的改变。这可以通过根据等式
s ( BIF 1 a , BIF 1 b ) = 2 . v 1 ab + C s σ 1 a σ 1 b + C s - - - [ 27 ]
使用协方差v1ab和两个标准差σ1a和σ1b来执行。并且估计两个块BIF2a和BIF2b之间的结构的改变,这可以通过根据等式
s ( BIF 2 a , BIF 2 b ) = 2 . v 2 ab + C s σ 2 a σ 2 b + C s - - - [ 28 ]
使用协方差v2ab和两个标准差σ2a和σ2b来执行。
常数Cs如前文等式9中所述。
因为对尺寸相同的块执行结构项的计算并且图像文件之间的保真度测量基于结构参数s(BIF1a/b,BIF2a/b)的演变,所以可以进行不同分辨率的图像文件之间的保真度测量。
在沿两个方向缩放的情况中,执行沿两个轴的测量方法可能是有用的。这给出垂直结构演变vs(BIF1a/b,BIF2a/b)和水平结构演变hs(BIF1a/b,BIF2a/b)。
能够使用具有相同大小的向量td1和td2,而不管文件IF1和文件IF2-z具有不同分辨率的事实。这是可能的,因为结构的大幅改变通常分散在多个像素上。因此,能够对两个图像文件IF1和IF2-z中的位置进行小的偏移并且使得各对块BIF1a-BIF2a和BIF1b-BIF2b对应于图像中的相同特征的相似部分。优选地转换向量td1和td2的大小相对于图像中特征发生改变的距离来说较小。
在该情况中,可以将校准应用于来自IF2-z的结果以助于保真度测量。因此,对于垂直转换,校准结构演变值变成
vscal(BIF2a,BIF2b)=1-verweight.(1-s(BIF2a,BIF2b))[29]
其中,由
verweight=(F.horzoom-G).horzoom+1-F+G[30]
给出ver_weight,
其中,hor_zoom是沿水平方向的缩放因子,并且用于水平转换的校准结构演变变成
hscal(BIF2a,BIF2b)=1-horweight(1-s(BIF2a,BIF2b))[31]
其中,由
horweight=(F.verzoom-G).verzoom+1-F+G[32]
给出hor-weight。
使用每个缩放因子来确定与之垂直的方向的校准因子的原因在于沿任意一个方向的缩放就制品而言在垂直方向上具有它的最大影响。
项F和G是常数。F和G的将在许多情况中给出满意的结果的典型值分别是0.8306和0.1107。但是可以使用在-0.5到+3之间的F值和-3到+7之间的G值。可以发现给出最好结果的实际值依赖于图像内容和所使用的缩放算法。
还有可能相对于td1的大小来调整td2的大小。可以例如将其设置为td1乘以在相关方向中分辨率的改变(或缩放因子)。在该情况中,可能不需要校准。
可以通过
hs ( BIF 1 , BIF 2 ) = 2 . hs ( BIF 1 a , BIF 1 b ) . hs cal ( BIF 2 a , BIF 2 b ) + C s hs ( BIF 1 a , BIF 1 b ) 2 + hs cal ( BIF 2 a , BIF 2 b ) 2 + C s - - - [ 33 ]
vs ( BIF 1 , BIF 2 ) = 2 . vs ( BIF 1 a , BIF 1 b ) . vs cal ( BIF 2 a , BIF 2 b ) + C s vs ( BIF 1 a , BIF 1 b ) 2 + vs cal ( BIF 2 a , BIF 2 b ) 2 + C s - - - [ 33 ]
计算在图像文件IF1和IF2之间的垂直结构演变vs(BIF2,BIF2)和水平结构演变vs(BIF2,BIF2)。
在未使用校准的情况中,将分别用项hs(BIF2a,BIF2b)和vs(BIF2a,BIF2b)来替代项hscal(BIF2a,BIF2b)和vscal(BIF2a,BIF2b)以及等式33和34。常数Cs如前所述。
从vs(BIF2,BIF2)和vs(BIF2,BIF2)中去除下标‘a’和‘b’以反映两个结构演变已被组合成单个结果的事实。
可以通过
s(BIF1,BIF2)=hs(BIF2,BIF2).vs(BIF1,BIF2)[35]
将水平和垂直结构演变组合成总结构演变。
最终,可以组合3个测量分量,以如下产生保真度度量M(BIF1,BIF2)
M(BIF1,BIF2)=l(BIF1,BIF2)α.c(BIF1,BIF2)β.s(BIF1,BIF2)γ[36]
其中α、β和γ是用于调整项的权重的参数。通过将α和β中的任意一个或两个设置为零并且从而仅使用结构比较s(BIF1,BIF2)来建立保真度度量,可以得到可接受的结果。
在图像具有强的周期性图案的情况中,特定缩放算法可能引起实际影响该图案的周期性的误差。希望使得保真度测量对于该影响特别敏感。如前所述,td1的大小通常可以是1个像素。但是将该大小设置为接近该周期性图案的重复距离的值可以具有使得保真度测量对于周期性中的误差更敏感的好处。其还可用于降低校准的量。
应该理解,在前文的讨论中其他形式的等式是可能的。事实上,用于群体中的变化可能有其他定义,并且因此可以由其他变化来代替标准差公式和对于协方差给出的公式。等式33和34的其他形式也是有可能的并且可以节约计算量。本领域的熟练技术人员将能够进行该改编。
在前文的讨论中,已经使用像素的亮度值进行了图像文件IF1和IF2-z之间的保真度测量。建立各个色彩分量的保真度度量并且在结果之间进行选择,例如采取最差情况,可能是有用的。另一个可能性是将该方法应用于通过组合色彩分量所获得的值。
存在一些情况,其中缩放变换引入被更强地链接到图像的实际内容的制品的情况。通常被称为“感兴趣区域”(ROI)的这种区域在这些情况中需要更加注意。通过对每个像素应用数学操作,可以“选择”ROI以进行相对于其他区域的特殊处理。该操作通常被称为遮罩(mask)。
例如人的皮肤区域可以是ROI。在图像包括大量人的皮肤的情况中,用于创建被增加到缩放图像中的内插像素的算法有时候产生不正确的色彩。这通常围绕皮肤区域的边界,例如人脸的边缘。
能够估计给定像素有多接近理想肤色并且创建遮罩来选择该区域。遮罩的简单版本可以是计算实际像素与理想值之间的色彩分量的值的差。更复杂的版本也是可能的,如包括总亮度以及色彩信息的那些版本。可以逐像素地、作为遮罩地、将该计算应用于整个图像以产生导出图像。
在卡通图像的情况中,误差可能集中在强的轮廓上,因为大的统一色块可以通过缩放变换算法来可接受地处理。因此,按照与肤色情况类似的方式,可以应用用于选择轮廓的遮罩来产生导出图像文件IF1’和IF2-z’。可以应用图4和5的保真度测量方法,但是是以降低的计算量。
其他ROI的实例是草地区域和天空区域以及宽阔的沙地。对于缩放算法会产生特定问题的是流动的水。
在当前情况中,可以将相同的遮罩应用于图像文件IF1和IF2-z来产生导出图像文件IF1’和IF2-z’。然后可以将以上参考图4和5所述的保真度测量方法应用于导出图像文件IF1’和IF2-z’,从而产生对于缩放变换对肤色的失真影响特别敏感的保真度测量。
上述方法的其他变形是可能的。例如,向量td1和td2可以处于除了与像素阵列边界正交的方向之外的方向中。
根据不同的图像区域来调整向量的大小可能是有用的。例如对于统一的图像区域可以应用较大的大小以便降低计算时间。
可以在正确地编程的计算机上操作上述方法。建议其具有足够的资源例如存储器以便计算和具有对于数值使用高精度的表示的能力。还有可能为此目的制造定制设备如包括集成电路的设备。在这里,将有可能使其适应存储器和高精度数字的需求。
在如此描述了本发明的至少一个示例性实施方式之后,本领域的熟练技术人员将容易想到各种替换、修改和改进。该替换、修改和改进都意图落在本发明的精神和范围中。因此,前文的描述仅仅是示例性的而不意味着限制。本发明仅受所附权利要求和它的等同形式的限制。

Claims (32)

1.一种用于测量第一数字图像文件(IF1)与第二数字图像文件(IF2,IF2-z)的部分的相似度的方法,包括步骤:
计算所述第一数字图像文件(IF1)的第一片段(BIF1a)中的像素值与所述第一数字图像文件(IF1)的第二片段(BIF1b)中的像素值之间的相似度的第一改变值,所述第一数字图像文件的第一片段和第二片段被第一转换向量(td1)空间分隔;
计算所述第二数字图像文件(IF2,IF2-z)的第一片段(BIF2a)中的像素值与所述第二数字图像文件(IF2,IF2-z)的第二片段(BIF2b)中的像素值之间的相似度的第二改变值,所述第二数字图像文件的第一片段和第二片段被第二转换向量(td2)空间分隔;
其中所述第一数字图像文件的第一片段与所述第二数字图像文件的第一片段基本上对应于所述图像的相同部分,并且其中所述第一数字图像文件的第二片段与所述第二数字图像文件的第二片段基本上对应于所述图像的相同部分;以及
计算用于指示所述第一改变值与所述第二改变值之间的相似度的结构演变值(s)。
2.如权利要求1所述的方法,其中通过包括应用于所述第一数字图像文件(IF1)的分辨率改变操作的处理产生所述第二数字图像文件(IF2-z)。
3.如权利要求1所述的方法,其中所述第一转换向量(td1)和所述第二转换向量(td2)分别与相应的第一数字图像文件和第二数字图像文件的边界正交。
4.如权利要求1所述的方法,其中所述第一转换向量(td1)和所述第二转换向量(td2)中的至少一个与相应的第一数字图像文件和第二数字图像文件的边界不正交。
5.如权利要求4所述的方法,其中所述第一转换向量和所述第二转换向量具有相同的大小。
6.如权利要求5所述的方法,还包括步骤:使用等式
校准因子=(F.zoom-G).zoom+1-F+G
来计算校准因子,
其中F是在-0.5到+3之间的数字,G是在-3到+7之间的数字,并且zoom是用于表示第一图像文件与第二图像文件之间的分辨率的改变的数字。
7.如权利要求1所述的方法,其中所述第二转换向量的大小与所述第一转换向量的大小乘以沿所述第一转换向量的方向的分辨率的改变成正比。
8.如权利要求1所述的方法,其中所述转换向量的大小与在所述数字图像文件中存在的周期性图案的重复距离基本上相同。
9.如权利要求1所述的方法,其中使用像素值的协方差来估计相应的改变值。
10.如权利要求1所述的方法,其中计算所述结构演变值作为使用在一个方向中的转换向量所测量的结构演变值与使用在另一个方向中的转换向量所测量的结构演变值的乘积。
11.如权利要求1所述的方法,还包括步骤:根据所述第一数字图像文件的第一片段中的像素值和所述第二数字图像文件的第一片段中的像素值的平均来计算平均值的差。
12.如权利要求11所述的方法,还包括步骤:根据所述第一数字图像文件的第一片段中的像素值和所述第二数字图像文件的第一片段中的像素值的标准差来计算对比度的差值。
13.如权利要求12所述的方法,还包括步骤:根据所述平均值的差(1)、所述对比度的差值(c)和所述结构演变值(s)来计算保真度度量。
14.如权利要求1所述的方法,其中所述第一数字图像文件和所述第二数字图像文件中的至少一个是通过应用遮罩函数从另一个数字图像文件得到的。
15.如权利要求1所述的方法,其中从像素的分量值的值中的至少一个值获得所述像素值。
16.如权利要求1所述的方法,其中所述像素值表示亮度。
17.一种用于测量第一数字图像文件(IF1)与第二数字图像文件(IF2,IF2-z)的部分的相似度的设备,包括:
用于计算所述第一数字图像文件(IF1)的第一片段(BIF1a)中的像素值与所述第一数字图像文件(IF1)的第二片段(BIF1b)中的像素值之间的相似度的第一改变值的装置,所述第一数字图像文件的第一片段和第二片段被第一转换向量(td1)空间分隔;
用于计算所述第二数字图像文件(IF2,IF2-z)的第一片段(BIF2a)中的像素值与所述第二数字图像文件(IF2,IF2-z)的第二片段(BIF2b)中的像素值之间的相似度的第二改变值的装置,所述第二数字图像文件的第一片段和第二片段被第二转换向量(td2)空间分隔;
其中所述第一数字图像文件的第一片段与所述第二数字图像文件的第一片段基本上对应于所述图像的相同部分,并且其中所述第一数字图像文件的第二片段与所述第二数字图像文件的第二片段基本上对应于所述图像的相同部分;以及
用于计算用于指示所述第一改变值与所述第二改变值之间的相似度的结构演变值(s)的装置。
18.如权利要求17所述的设备,其中通过包括应用于所述第一数字图像文件(IF1)的分辨率改变操作的处理产生所述第二数字图像文件(IF2-z)。
19.如权利要求17所述的设备,其中所述第一转换向量(td1)和所述第二转换向量(td2)分别与相应的第一数字图像文件和第二数字图像文件的边界正交。
20.如权利要求17所述的设备,其中所述第一转换向量(td1)和所述第二转换向量(td2)中的至少一个与相应的第一数字图像文件和第二数字图像文件的边界不正交。
21.如权利要求20所述的设备,其中所述第一转换向量和所述第二转换向量具有相同的大小。
22.如权利要求21所述的设备,还包括用于使用等式
校准因子=(F.zoom-G).zoom+1-F+G
来计算校准因子的装置,
其中F是在-0.5到+3之间的数字,G是在-3到+7之间的数字,并且zoom是用于表示第一图像文件与第二图像文件之间的分辨率的改变的数字。
23.如权利要求17所述的设备,其中所述第二转换向量的大小与所述第一转换向量的大小乘以沿所述第一转换向量的方向的分辨率的改变成正比。
24.如权利要求17所述的设备,其中所述转换向量的大小与在所述数字图像文件中存在的周期性图案的重复距离基本上相同。
25.如权利要求17所述的设备,其中使用像素值的协方差来估计相应的改变值。
26.如权利要求17所述的设备,其中计算所述结构演变值作为使用在一个方向中的转换向量所测量的结构演变值与使用在另一个方向中的转换向量所测量的结构演变值的乘积。
27.如权利要求17所述的设备,还包括用于根据所述第一数字图像文件的第一片段中的像素值和所述第二数字图像文件的第一片段中的像素值的平均来计算平均值的差的装置。
28.如权利要求27所述的设备,还包括用于根据所述第一数字图像文件的第一片段中的像素值和所述第二数字图像文件的第一片段中的像素值的标准差来计算对比度的差值的装置。
29.如权利要求28所述的设备,还包括用于根据所述平均值的差(1)、所述对比度的差值(c)和所述结构演变值(s)来计算保真度度量的装置。
30.如权利要求17所述的设备,其中所述第一数字图像文件和所述第二数字图像文件中的至少一个是通过应用遮罩函数从另一个数字图像文件得到的。
31.如权利要求17所述的设备,其中从像素的分量值的值中的至少一个值获得所述像素值。
32.如权利要求17所述的设备,其中所述像素值表示亮度。
CN201180034520.9A 2010-07-16 2011-07-13 数字图像的保真度测量 Expired - Fee Related CN103003841B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10305789A EP2407928A1 (en) 2010-07-16 2010-07-16 Fidelity measurement of digital images
EP10305789.9 2010-07-16
PCT/EP2011/061986 WO2012007519A1 (en) 2010-07-16 2011-07-13 Fidelity measurement of digital images

Publications (2)

Publication Number Publication Date
CN103003841A CN103003841A (zh) 2013-03-27
CN103003841B true CN103003841B (zh) 2015-11-25

Family

ID=43313876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180034520.9A Expired - Fee Related CN103003841B (zh) 2010-07-16 2011-07-13 数字图像的保真度测量

Country Status (4)

Country Link
US (1) US9129351B2 (zh)
EP (2) EP2407928A1 (zh)
CN (1) CN103003841B (zh)
WO (1) WO2012007519A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3016989B1 (fr) 2014-01-29 2016-01-15 St Microelectronics Grenoble 2 Procede de transformation combinee de l'echelle et du rapport d'aspect d'une image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479910A (zh) * 2001-10-22 2004-03-03 ���ṫ˾ 信号处理方法及设备
CN1711558A (zh) * 2002-12-11 2005-12-21 精工爱普生株式会社 相似图像提取装置、相似图像提取方法以及相似图像提取程序
CN1926575A (zh) * 2004-03-03 2007-03-07 日本电气株式会社 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6848087B2 (en) * 2001-05-30 2005-01-25 Credence Systems Corporation Sub-resolution alignment of images
US6996291B2 (en) * 2001-08-06 2006-02-07 Mitutoyo Corporation Systems and methods for correlating images in an image correlation system with reduced computational loads
AU2007240236A1 (en) * 2007-12-11 2009-06-25 Canon Kabushiki Kaisha Correlatability analysis for sparse alignment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479910A (zh) * 2001-10-22 2004-03-03 ���ṫ˾ 信号处理方法及设备
CN1711558A (zh) * 2002-12-11 2005-12-21 精工爱普生株式会社 相似图像提取装置、相似图像提取方法以及相似图像提取程序
CN1926575A (zh) * 2004-03-03 2007-03-07 日本电气株式会社 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序

Also Published As

Publication number Publication date
WO2012007519A1 (en) 2012-01-19
US20130243333A1 (en) 2013-09-19
CN103003841A (zh) 2013-03-27
EP2407928A1 (en) 2012-01-18
EP2593923A1 (en) 2013-05-22
US9129351B2 (en) 2015-09-08
EP2593923B1 (en) 2015-06-17

Similar Documents

Publication Publication Date Title
US8189959B2 (en) Image blending using multi-splines
CN102918562B (zh) 用于生成增强图像的方法和系统
US8232944B2 (en) Display device
JP5294313B2 (ja) ベジェ曲線描画装置、ベジェ曲線描画方法およびプログラム
US7903112B2 (en) Drawing processing apparatus, texture processing apparatus, and tessellation method
US20110150364A1 (en) Image transform method for obtaining expanded image data, image processing apparatus and image display device therefor
CN102473293B (zh) 图像处理设备和图像处理方法
CN101213574A (zh) 静态图像、视频以及影片基于内容的高斯降噪
CN106709890A (zh) 用于低照度视频图像处理的方法及装置
JP5152203B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像補正装置
CN103003841B (zh) 数字图像的保真度测量
US8861850B2 (en) Digital image color correction
CN104933687A (zh) 一种考虑变化区域的接缝线多尺度羽化算法
CN112562053B (zh) 一种pbr材质贴图生成方法及装置
CN108694030A (zh) 处理高动态范围图像的方法和装置
CN116245736B (zh) 图像块的正交位置编码表示方法及上采样模块实现方法
US9401005B2 (en) Image processing circuit, image processing method, and display device using the same
Forrest Colour histogram equalisation of multichannel images
US7139427B2 (en) Method for detecting pattern-like images and method for enhancing images while suppressing undesirable artifacts caused by pattern-like images
CN116843555B (zh) 图像插值方法、装置、电子设备及存储介质
JP5447614B2 (ja) 画像処理装置および画像処理プログラム
Maeder et al. A colour importance measure for colour image analysis
CN103945090B (zh) 噪声估测装置及其方法
Muratov et al. Scaling of Depth Map for Stereo Vision Tasks
EP4441706A2 (en) Iterative graph-based image enhancement using object separation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

CF01 Termination of patent right due to non-payment of annual fee