CN102034113A

CN102034113A - 基于l1差距量度来测量局部图像相似度的方法

Info

Publication number: CN102034113A
Application number: CN2010102942165A
Authority: CN
Inventors: 法尔罕·A·巴卡伊; 西尾研一; 董晓刚; 松下伸行; 松井启; 贵取二郎
Original assignee: Sony Corp; Sony Electronics Inc
Current assignee: Sony Corp; Sony Electronics Inc
Priority date: 2009-09-25
Filing date: 2010-09-25
Publication date: 2011-04-27
Also published as: US20110075935A1; TW201137791A; JP2011070681A; EP2317473A1; KR20110033801A

Abstract

公开了一种基于L₁差距量度来测量局部图像相似度的方法。基于L₁差距量度来适应性地测量局部图像相似度的方法被描述。差距量度间的关系被用来估计用于各个碎片尺寸的阈值。对碎片尺寸的选择取决于图像中所包含的劣化和应用。相似度量度间的关系是利用用于各个碎片尺寸的L₁差距的分布来建立的。对于较大的劣化，具有较大碎片尺寸的相似度量度被采用。对于较少的瑕疵，较小的碎片尺寸产生可接受的结果。为了保持计算开销可管理，采用给出所希望图像质量的最小碎片尺寸。

Description

基于L1差距量度来测量局部图像相似度的方法

技术领域

本发明涉及图像处理领域。更具体地，本发明涉及局部图像相似度测量。

背景技术

局部图像相似度估计是图像处理中的重要问题。从概念上讲，如GregShakhnarovich在“Learning Task-Specific Similarity，PhD Thesis”(2005年，麻省理工学院，电子工程和计算机科学系，该论文通过引用被结合于此)中描述的，图像相似度可被分类为3类，包括：1)低水平相似度。如果某种差距量度(distance measure)(例如，p-norm，EarthMovers，Mahalanobis)在某一阈值范围内，则碎片(patch)被认为是相似的；2)中等水平相似度。这里碎片共享某一简单的语意特性；和3)高水平相似度。在这种情况下，相似度主要通过语意来定义。使得两个碎片相似的特性是不可见的，但是它们可从诸如姿态(gesture)之类的可见信息推断出来。

在大多数单一传感器颜色成像系统中，每一像素仅一种颜色被测量。其余成分必须被估计以完成每个位置处的颜色信息。该处理称为去马赛克(demosaicking)。滤色阵列(CFA)的若干配置可被使用。最流行的CFA是如B.E.Bayer在“Color Imaging Array”(US专利3,971,065，1976年7月20日，该专利通过引用被结合于此)中描述的Bayer模式，其由三种颜色构成(25％红色，50％绿色和25％蓝色像素)。近来，为了获得更好的颜色准确度和/或更高的图像保真度，已经提出了其他的CFA。例如，如T.Mizukura等人在“Image pick-up device and image pick-up methodadapted with image pick-up sensitivity”(US专利7,489,346，2009年2月10日，该专利通过引用被结合于此)中描述的，四色CFA改善了颜色再现准确度，如Yoshihara等人在“A 1/1.8-inch 6.4Mpixel 60frames/s COMSImage Sensor With Seamless Mode Change”(IEEE J.Solid-State Circuits，第41卷，第12号，2006年12月，第2998-3006页，此文通过引用被结合于此)中描述的，以Z字形布置而非矩形阵列来布置Bayer颜色改善了填充因数和像素灵敏度，并且如F.Baqai在“Identifying optimal colors forcalibration and color filter array design”(美国专利申请20070230774，2007年10月4日，该专利通过引用被结合于此)中描述的机器学习方法统计地估计了最佳CFA颜色。去马赛克算法是基于如下的观察而被断言的：颜色通道中的高频信息是高度相关的。由于CFA中的绿色像素通常在数量上比其他颜色多许多，所以去马赛克算法在给定的像素位置处，将来自绿色通道的高频信息拷贝到未知的其他颜色通道。为了有效地进行此操作，去马赛克算法需要通过识别共享相似局部几何形状的像素集合或区域集合来推断局部图像结构。

与去马赛克相似，去噪也是一个估计问题。目的在于从劣化(degrade)的观察中估计出无噪声的像素值。为了取得好的估计，共享相似局部结构的像素集合需要在劣化的图像内被找出。经过去噪的值通常是相似像素集合中像素的加权平均。可以多种方式来确定权重，比如接近度、相似度、噪声水平或其组合。例如，参见2008年9月18日递交的美国专利申请序列号12/284,055的F.Baqai的“System and method fordenoising using signal dependent adaptive weights”，该专利申请通过引用被整体结合于此。

有趣的是注意到对于去马赛克和去噪二者，估计出的像素值都是相似像素集合的加权组合。权重用于不同目的。在去噪时，权重被选择以平滑掉不希望的振动；而在去马赛克时，权重被选择以使得在未知像素估计中高频信息被保留。某些方法致力于通过首先估计基本结构然后迭代地精细调节结果来使去马赛克和去噪相接合，如A.Buades等人在“Self-similaritydriven color demosaicking”(IEEE TIP，第18卷，第6号，2009年6月，第1192-1202页)中和K.Hirakawa和T.Parks在“Joint demosaicing anddenoising”(IEEE TIP，第15卷，第8号，2006年8月，第2146-2157页)中所描述的，这两篇文章都通过引用而被结合于此。对于所有这些情形，共同的问题是在存在诸如模糊、失真和噪声之类的劣化的情况下找出相似的图像结构。

在文献记载中，低水平图像相似度具有许多表现形式。例如，像素间的基于欧几里得差距(L₂norm)的相似度是十分常见的，如C.Tomasi和R.Manduchi在“Bilateral Filtering for Gray and Color Images”(关于计算机视觉的IEEE国际会议文集，第841-846页，1998年，该文章通过引用被结合于此)中所描述的。该量度对采光条件和噪声十分敏感。它并不比较局部图像结构。为了使得该量度更健壮(robust)并且可修改来估计局部几何形状，基于碎片的欧几里得差距已经在以上引用的“Self-similaritydriven color demosaicking”中被提出。

相似度量度的关键部分是像素或图像碎片被认为相似时的阈值。阈值是依应用而定的。它需要基于对图像中劣化程度、相似度标准和差距量度(L₁、L₂及其他)的估计来调节。如果阈值被不正确地选择，则相似度量度将或者包括不相似的像素或者不产生相似像素的在统计上有意义的数目。这引起若干挑战。例如，如果对局部几何形状的估计不正确，则诸如拉链效应(zipper effect)、模糊和虚假色彩之类的若干假象可能出现在去马赛克后的图像中。类似地，去噪可能不充分地去除噪声(平滑不足)，或者它可能模糊了边缘和纹理(平滑过度)。

还要注意的重要一点是计算复杂度与碎片中的像素数目成正比。例如，针对3×3的碎片计算相似像素的计算开销是1×1的碎片的计算复杂度的9倍，并且5×5的碎片的计算开销是1×1的碎片的25倍。很清楚地，随着碎片尺寸增大，计算开销迅速增长。因此，希望采用实现所希望结构相似度的最小的碎片尺寸。

发明内容

描述了利用各个碎片尺寸的基于碎片的相似度量度间的关系来测量低水平图像相似度的方法。各个碎片尺寸的相似度量度间的关系是通过使用针对任意的碎片尺寸的L₁差距的概率分布来建立的。碎片尺寸取决于应用和/或诸如采光、照明、光圈、聚焦、曝光和相机增益之类的成像条件。例如，如果图像大幅劣化，则可能需要较大的碎片尺寸来有效地测量局部图像相似度。在存储很小劣化的一些情形中，1×1(仅一个像素)的碎片尺寸可能是足够的。类似地，对于分割和对象检测，较大的碎片可能是需要保证的。

在一个方面中，一种在设备上实现的用于对图像中的局部相似度进行测量的方法包括以下步骤：获得成像条件；确定适当的碎片尺寸；选择阈值；以及测量局部图像相似度。所述成像条件是从包括采光、照明、曝光时间、光圈、场景类别和相机增益的组中选出的。所述适当的碎片尺寸是基于所述成像条件确定的。所述阈值来自被存储在查找表中的阈值集合。选择阈值是基于所希望的相似度比率、成像条件、碎片尺寸实现方式间的转变无缝性中的至少一个的。该方法还包括在碎片尺寸间适应性地(adaptively)进行切换。所述切换是自动的。所述碎片尺寸是从包括1×1、3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片尺寸的组中选出的。所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、视频播放器、DVD记录器/播放器、电视和家用娱乐系统的组中选出的。

在另一方面中，一种在设备上实现的用于对图像中的局部相似度进行测量的系统包括：被配置为利用1×1的碎片尺寸的第一模块；可操作地耦合到该模块的被配置为利用更大碎片尺寸的第二模块；以及可操作地耦合到所述第一模块和所述第二模块的切换模块，该切换模块被配置为在所述第一模块和所述第二模块之间进行切换以测量各种碎片尺寸的局部相似度。所述切换包括不论碎片尺寸如何都维持相同的相似度比率。所述切换是自动的。所述更大碎片尺寸是从包括3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片的组中选出的。所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、

视频播放器、DVD记录器/播放器、电视和家用娱乐系统的组中选出的。

在另一方面中，一种设备包括：用于存储应用的存储器，该应用被配置为针对该应用和/或成像条件确定适当的碎片尺寸，在图像劣化低于阈值的情况下使用较小的碎片尺寸并且随着劣化水平的增长来逐渐增大碎片尺寸；以及耦合到所述存储器的处理部件，该处理部件被配置为对所述应用进行处理。该设备还包括适应性地切换碎片尺寸。切换碎片尺寸包括不论碎片尺寸如何都维持相同的相似度比率。所述切换是自动的。所述碎片是从包括1×1、3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片的组中选出的。所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、

附图说明

图1示出1×1的碎片的概率密度。

图2示出3×3的碎片的概率密度。

图3示出5×5的碎片的概率密度。

图4示出针对1×1的碎片的用于0.5的相似度比率的阈值。

图5示出针对3×3的碎片的用于0.5的相似度比率的阈值。

图6示出用于测量局部图像相似度的方法的流程图。

图7示出针对1×1和3×3的碎片的相似度量度。

图8示出被配置为实现局部图像相似度测量方法的示例性计算设备的框图。

具体实施方式

这里使用的相似度量度基于L₁差距，而不是常见的L₂差距。对于该选择，存在若干理由。自然图像具有重尾(heavy tailed)分布，并且使图像变差的噪声特性可能是非高斯的。L₁差距更适用于这样的数据，因为如P.Howarth和S.Ruger在“Fractional distance measures for content-basedimage retrieval”(Lecture notes in computer science ISSN 0302-9743，第3408卷，2005年，第447-456页，本文通过引用被结合于此)中所描述的，L₁差距不像L₂差距或其他分数差距(fractional distance)那样受到非正常值(outlier)的影响。L₁差距给予所有组分相同的加权。其次，与L₂差距(即使不考虑平方根，它仍是差的平方和)相比，计算绝对差值(L₁差距)在计算方面简单得多。

图7示出针对碎片尺寸1×1和3×3的相似度量度。当碎片尺寸是1×1时，所考虑像素P_m被与其他像素进行比较。例如，如果绝对差值小于阈值τ₁，则P_n与P_m相似，这可被写作|P_n-P_m|＜τ₁。对于3×3的碎片，如果P_n和P_m周围3×3的区域内的9个像素的SAD小于9×τ₃(其中τ₃是针对3×3碎片的阈值)，则P_n与P_m相似。等同地，如果平均的绝对差距小于τ₃，则P_n与P_m相似。相似地，对于5×5的碎片，如果平均的绝对差值小于τ₅(其中τ₅是针对5×5碎片的阈值)，则P_n与P_m相似。

在许多图像处理应用中，存在测量局部图像相似度的需求。这些应用包括但不限于图像修复(restoration)、分类、分割和检测。两个修复问题得到了解决：作为描述本发明的手段的去马赛克和去噪；其他应用当然是可能的。在去马赛克和去噪方面，所考虑像素的邻域(neighborhood)中的相似像素被用来估计丢失或劣化的像素值。作为结果得到的图像质量是相似像素集合中的像素与所考虑像素或图像区域的结构相似程度的直接函数。适当选择的相似像素集合产生具有明显更好外观并且具有较少或不具有假象的图像。

取决于诸如亮度、照明、光圈、聚焦、曝光和相机增益之类的图像条件，不同碎片尺寸对于测量相似的局部几何形状可能是必需的。如果劣化较小，则较小的碎片尺寸可被使用。然而，如果图像大幅劣化，如经由消费者蜂窝电话相机在较少采光的条件下获得的图像，则较小的碎片尺寸不产生令人满意的结果。对于这些情形，可能需要更大的碎片尺寸。碎片的尺寸(1×1、3×3、5×5及其他)取决于劣化水平、计算资源和应用。挑战在于在维持相似的性能的同时确保各个碎片尺寸间的无缝转变。此外，方法应当是快速且准确的。

这里描述的基于L₁差距量度来估计局部图像相似度的方法和系统遇到了这些挑战。提出了如下的适应性方法：基于L₁差距，针对任意尺寸的相似度量度，自动估计任一劣化水平处的阈值。当图像劣化较小时采用较小的碎片尺寸，并且随着图像劣化变大则逐渐地转变到更大的碎片尺寸。这是在维持相似的性能的同时完成的，相似的性能是通过在碎片尺寸间来回移动的同时保持恒定的相似度比率来维持的。出于此目的，基于L₁差距在各个碎片尺寸的相似度量度间得出了新的关系。对于1×1的碎片尺寸，L₁差距具有被称作对折正态分布(也称为半正态分布)的相对未知的分布，如由Leone等人在他们的文章“The folded-normal distribution”(Technometrics，3(4)，1961年11月，第543-550页，该文章的全部内容通过引用被结合于此)中描述的那样)；而对于更大的碎片尺寸(3×3及以上，L₁差距具有正态分布。通过使用这两种分布的特性，得出针对任意碎片尺寸的L₁相似度量度间的关系。通过该关系，在维持相似的性能的同时实现了针对各个碎片尺寸的来回的无缝转变。

当尝试估计或修复图像中劣化了的像素时，该像素周围的区域被利用。区域中相似的像素被用来确定对丢失或劣化的像素的估计。使用不相似的像素将引入不希望的假象，比如拉链效应、虚假色彩和边缘以及平滑的外观；这些将使得图像劣化。可用于确定相似像素的量度(例如，欧几里得(L₂)、Mahalanobis、分数差距及其他)是计算量庞大的。其次，不存在用于针对各个碎片尺寸自动确定阈值的任何清楚的机制。绝对差值的和(SAD)(也称为L₁差距)被用于确定相似像素或区域的差距。

如果图像劣化较小，则1×1的碎片尺寸可良好地工作。在这种情况下，通过确定绝对差值然后将绝对差值与阈值进行比较来估计相似度。如果绝对差值低于阈值，则像素是相似的，并且如果绝对差值等于或大于阈值，则像素是不相似的。然后，相似像素可被用于找出对丢失或劣化像素的估计。

如果图像瑕疵较大，则包括所讨论像素周围的相邻像素在内的像素大幅度地劣化。这里，1×1的碎片不能很好地工作。作为替代，需要更大的碎片尺寸来有效地比较局部几何形状。在此情形中，不是比较个体像素，而是比较像素的碎片(例如，3×3的碎片)。为了执行碎片到碎片的比较，使用SAD。在图像中存在严重劣化的情况下，对于比较结构相似度而言，这是更健壮的。在获得了SAD之后，将其与阈值比较来确定碎片是否足够相似。如果SAD低于阈值，则像素是相似的，并且如果SAD等于或大于阈值，则像素是不相似的。取决于碎片尺寸，可存在不同的阈值。再一次地，相似像素能够被用来找出对丢失或劣化像素的估计。

如上所述，当图像劣化较低时，任一碎片尺寸都将良好地工作。然而，由于更大碎片的更高复杂度，较小的碎片尺寸是有利的。对于更高的劣化，更大的碎片尺寸提供更好的比较并因此提供更好的图像质量。为了确保图像在碎片尺寸间进行切换时看起来相似，阈值被适当设定。具体地，希望当在碎片尺寸间适应性地切换时图像外观保持相似。在一些实施例中，这意味着，对于任意的碎片尺寸，相似像素的数目应当是相同的。确保像素数目相同的一种方式是确定各个碎片尺寸的阈值间的关系。

考虑到信号模型将是局部恒定的，相似像素集合中的像素应当具有相同的均值(mean)μ但是从具有标准差(standard deviation)σ的概率分布得到的不同噪声水平。阈值控制相似程度，并且如之前所指出的其取决于所讨论像素的劣化水平和相似度量度。劣化可能是由相机光学系统引入的模糊、由于照明所致的偏色、针对高动态范围图像的曝光补偿、来自信号和电路的噪声、用来补偿低采光的增益和在相机流水线上引入的假象，以及其他劣化。通常，噪声被认为是正态分布的，其中通过噪声模型计算了依非线性信号而定的方差(variance)。噪声方差对于每个像素而言不是恒定的；它取决于信号值，所以每个像素能够具有不同的噪声水平。

假设相似像素X、Y是根据具有均值(μ)和标准差σ的正态分布的随机变量：X，Y～N(μ，σ)。针对1×1碎片的阈值基于随机变量Z＝|X-Y|。针对更大碎片(3×3及以上)的阈值基于随机变量Q＝mean(Z_i)；其中i＝1、...ω，并且ω是碎片中像素的数目。为了理解针对1×1碎片尺寸的阈值与针对更大碎片尺寸的阈值之间的关系，分析Z和Q的分布。

Z的分布

差值X-Y具有正态分布：

X - Y ~ N (0, \sqrt{2} σ)

Z＝|X-Y|具有对折正态分布N_f，其具有均值：

μ_{z} = \frac{2}{\sqrt{π}} σ = 1.1284 σ

因为E{z²)＝2σ²；σ_z ²＝E{z²}-μ_z ²＝2σ²(1-2/π)，所以：

σ_{z} = \sqrt{2 (1 - \frac{2}{π})} σ = 0.8525 σ

因此，

Z ~ N_{f} (\frac{2}{\sqrt{π}} σ, \sqrt{2 (1 - \frac{2}{π})} σ) = N_{f} (1.1284 σ, 0.8525 σ)

Q的分布

随机变量Q可被写作：

Q = \frac{1}{ω} Σ_{i = 1}^{ω} Z_{i}

假设Z_i是独立的并且相同地分布为(Z_i～N_f(μ_Z，σ_Z))是合理的。统计学方面的中心极限定理陈述了：独立且相同地分布的随机变量(Z₁，...，Z_ω)的和接近正态分布：

N (ω μ_{z}, \sqrt{ω} σ_{z})

因此，Q可被认为是正态分布的：

Q ~ N (μ_{z}, \frac{σ_{z}}{\sqrt{ω}})

Q ~ N (\frac{2}{\sqrt{π}} σ, \frac{\sqrt{2 (1 - \frac{2}{π})}}{\sqrt{ω}} σ) = N (1.1284 σ, \frac{0.8525}{\sqrt{ω}} σ)

1×1的碎片尺寸具有不对称的对折正态(也称作半正态)分布。对于碎片尺寸＞1×1(3×3及以上)的情况，从若干个1×1的差距的和来获得差距，例如，就3×3碎片而言，存在被加总的9个绝对差值，并且就5×5碎片而言，存在被加总的25个绝对差值。基于中心极限定理，如果随机变量具有独立的相同的分布，则和的分布是高斯分布。因为针对大于1×1的碎片尺寸的差距涉及对具有相同的对折正态分布的随机变量进行加总，所以其分布是高斯分布。这也可以在下表1中看到。针对1×1的碎片尺寸的差距具有不对称的对折正态分布，而针对3×3及更大的碎片尺寸的差距具有对称的正态分布。

表1.针对各个碎片尺寸的概率分布

Z具有均值为1.1284σ且标准差为0.8525σ的对折正态分布，Q具有均值为1.1284σ且标准差为

的正态分布，其中，ω是碎片中像素的数目(例如，对于3×3的碎片是9而对于5×5的碎片是25)。图1、2和3分别示出碎片尺寸1×1、3×3和5×5的概率分布图。注意到均值和标准差取决于噪声水平σ是很重要的。对噪声水平的准确估计是实质性的。噪声水平取决于传感器特性以及数字相机流水线上的要应用去噪方法的点。更多信息可在Baqai等人的“Method of and apparatus for analyzingnoise in a signal processing system”(美国专利申请序列号2008/0240203，2008年10月2日公开，该美国专利申请被整体结合于此)中找到。当将碎片尺寸从1×1切换到更大时，L₁差距量度的分布从对折正态变为正态。虽然针对各个碎片尺寸的阈值是相关的，但是其影响是不同的，如可从图1、2和3注意到的。碎片尺寸1×1的差距具有对折正态分布。更大的碎片尺寸产生具有逐渐减小的标准差的正态分布。这暗示了随着碎片尺寸的增大阈值范围将变小。这也在表2中示出。

表2.基于碎片尺寸的均值和标准差

碎片尺寸	均值(×σ)	标准差(×σ)
			1×1	1.1284	0.8525
3×3	1.1284	0.2842
			5×5	1.1284	0.1705
7×7	1.1284	0.1218
			9×9	1.1284	0.0947
11×11	1.1284	0.0775
			13×13	1.1284	0.0656
15×15	1.1284	0.0568

17×17

1.1284

0.0501

阈值选择

虽然不同碎片尺寸具有不同的分布，但是它们的均值是相同的并且它们的标准差是相关的。正态分布的差距(碎片尺寸＞1×1)具有等于中值的均值。如果阈值被选择为在均值(1.1284σ)处，则产生0.5的像素相似度比率。然而，当碎片尺寸是1×1时的L₁差距具有对折正态分布，其是(不对称的)。因此，中值不等于均值。为了得到0.5的像素相似度比率，阈值应当在作为中值的0.9539σ处。因此，对于碎片尺寸1×1，0.9539σ的阈值对应于针对3×3碎片的1.1284σ的阈值。两种情况都产生0.5的相似度比率。换言之，为了获得相同的相似度比率，阈值应当被选择为使得无论碎片尺寸如何，差距量度的低尾概率都是相同的。图4和5针对碎片尺寸1×1和3×3而示出这一点。

以下，针对碎片尺寸＞1×1得出阈值间的关系。因为针对碎片尺寸＞1×1的相似度量度的分布(Q)是高斯分布所以能够按照其均值μ_q＝1.1284σ和标准差

来写出阈值：

C_{i} σ = μ_{q} + α σ_{q} = (1.1284 + α \frac{0.8525}{\sqrt{ω}}) σ

注意α＝0产生0.5的像素相似度，α＜0使得相似度比率＜0.5，并且α＞0意味着相似度比率＞0.5。在不失一般性的情况下，针对所希望的相似度比率≥0.5，用于碎片尺寸＞1×1的阈值间的关系被取得。以类似的方式，比率＜0.5能够被处理。因此，

C_{i} = (1.1284 + α \frac{0.8525}{\sqrt{ω}})

重新整理各项，α能够被写作：

α = \frac{(C_{i} - 1.1284) \sqrt{ω}}{0.8525}

只要α保持不变，则与碎片尺寸无关的恒定相似度比率将被实现。

因此，通过上述关系，碎片尺寸间的切换能够实现。对于单个图像，图像中的比其他方面劣化更多的方面被以较大的碎片尺寸处理并且劣化较少的方面被利用较小的碎片尺寸处理。类似地，可根据诸如平滑度、纹理和结构之类的区域特性来使用不同的碎片尺寸。

阈值范围

高斯分布下的95％的面积落入均值附近的两个标准差的范围内。考虑该范围来确定阈值上限和下限。针对碎片尺寸1×1，对折正态分布的95％的区域产生0.0089到2.772的阈值范围。用于更大碎片尺寸(＞1×1)的阈值范围是μ_q±2σ_q。随着碎片尺寸增大，碎片中的像素数目ω增大，因此标准差减小(记起)。因此，如表3所示，阈值范围变得更窄。

表3.用于各个碎片尺寸的阈值范围

碎片尺寸	阈值范围
		1	0.0089-2.772
3	0.56-1.70
		5	0.79-1.47
7	0.89-1.37
		9	0.94-1.32
11	0.97-1.28
		13	1.00-1.26
15	1.02-1.24
		17	1.03-1.23

因为复杂度随碎片尺寸而增大，所以在一些实施例中，优选使用实现所希望质量的最小碎片尺寸。

图6示出用于测量图像中的局部相似度的方法的流程图。在第一步骤中，获得诸如采光、照明、曝光时间、光圈、场景类别和相机增益之类的成像条件。基于这些因素，适当的碎片尺寸被确定。从查找表(LUT)中选择相应的阈值。LUT中的阈值条目可基于若干因素，这些因素包括但不限于所希望的相似度比率、成像条件和各个碎片尺寸实现方式间的无缝转变。例如，取决于应用，碎片的尺寸能够处于从1×1到17×17或更大的范围内的任一尺寸处。处理针对图像中的所有像素或区域而重复。该局部图像相似度量度可被用于包括而不限于修复、分类、分割和检测的应用。

图8示出被配置为实现局部相似度估计方法的示例性计算设备500的框图。计算设备500可被用来获取、存储、计算、传送和/或显示诸如图像和视频之类的信息。例如，计算设备500中存储图像，然后基于图像条件，方法能够以比先前方法更有效的方式和更好的质量来针对各个应用识别图像内的局部相似度。通常，适于实现计算设备500的硬件结构包括网络接口502、存储器504、处理器506、(一个或多个)I/O设备508、总线510和存储设备512。对处理器的选择不是关键的，只要选择具有足够速度的适当处理器即可。存储器504可以是本领域已知的任何传统的计算机存储器。存储设备512可包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、闪存卡或任何其他的存储设备。计算设备500可包括一个或多个网络接口502。网络接口的示例包括连接到以太网或其他类型LAN的网卡。(一个或多个)I/O设备508可包括如下各项的一个或多个：键盘、鼠标、监视器、显示器、打印机、调制解调器、触摸屏、按钮接口和其他设备。用于执行相似度测量的(一个或多个)局部相似度应用530可能被存储在存储设备512和存储器504中，并且像应用通常被处理的那样被处理。比图5中示出的组件更多或更少的组件可被包括在计算设备500中。在一些实施例中，相似度测量硬件520被包括。虽然图5中的计算设备500包括用于相似度测量的应用530和硬件520，但是方法能够以硬件、固件、软件或其任意组合被实现在计算设备上。

在每个像素或图像区域上，找到对使得图像劣化的劣化的估计是重要的。这些劣化包括由相机光学系统引入的模糊、由于照明所致的偏色、针对高动态范围图像的曝光补偿、来自信号和电路的噪声、用来补偿低采光的增益和在相机流水线上由诸如去马赛克之类的操作引入的假象。在一些实施例中，这些信息被存储在查找表中。

在一些实施例中，(一个或多个)局部相似度估计应用530包括若干应用和/或模块。在一些实施例中，(一个或多个)局部相似度估计应用530包括被配置为利用1×1的碎片估计相似度的模块532，被配置为通过使用更大的碎片尺寸(＞1×1)来进行相似度测量的模块534，和被配置为在碎片尺寸间进行切换的切换模块536。

合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、

视频播放器、DVD记录器/播放器、电视、家用娱乐系统或任何其他合适的计算设备。

为了利用用于测量局部图像相似度的方法和系统，图像被获取。取决于对图像执行的广泛应用，根据该应用的方案在适当的时间识别出相似的区域或像素。例如，在修复方案中，局部相似度测量方法识别相似区域以消除劣化，从而改善图像质量。在一些实施例中，修复在系统上自动发生，并且在一些实施例中，用户可通过选择诸如按下按钮、触摸屏幕或任何其他输入机制之类的输入来发起修复。

在操作中，用于基于L₁差距量度来估计局部图像相似度的方法和系统确定图像中劣化的程度。在一些实施例中，逐个像素地来确定劣化，而在其他实施例中，图像的更大的部分被用来确定劣化。差距量度碎片尺寸取决于应用。在一些实施例中，通过针对不同的碎片尺寸实现方式适当选择阈值来维持恒定的相似度比率。

虽然图像处理一直是描述的主要关注点，但是这里描述的方法和系统可被应用于其他类型的处理，比如语音或视频处理。

这里描述的系统和方法可应用于计算机视觉、机器学习和图像修复应用，例如超级分辨率、绘制(in-painting)、纹理合成、分割和对象/场景/纹理分类以及其他的实现方式。

示例性实现方式

1.一种在设备上实现的用于测量图像中的局部相似度的方法，包括以下步骤：

a.获得成像条件；

b.确定适当的碎片尺寸；

c.选择阈值；以及

d.测量局部图像相似度。

2.根据第1项所述的方法，其中，所述成像条件是从包括采光、照明、曝光时间、光圈、场景类别和相机增益的组中选出的。

3.根据第1项所述的方法，其中，所述适当的碎片尺寸是基于所述成像条件确定的。

4.根据第1项所述的方法，其中，所述阈值来自被存储在查找表中的阈值集合。

5.根据第1项所述的方法，其中，选择阈值是基于所希望的相似度比率、成像条件、碎片尺寸实现方式间的转变无缝性中的至少一个的。

6.根据第1项所述的方法，还包括在碎片尺寸间适应性地进行切换。

7.根据第6项所述的方法，其中，所述切换是自动的。

8.根据第1项所述的方法，其中，所述碎片尺寸是从包括1×1、3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片尺寸的组中选出的。

9.根据第1项所述的方法，其中，所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、

10.一种在设备上实现的用于测量图像中的局部相似度的系统，包括：

a.被配置为利用1×1的碎片尺寸的第一模块；

b.可操作地耦合到该模块的被配置为利用更大碎片尺寸的第二模块；以及

c.可操作地耦合到所述第一模块和所述第二模块的切换模块，该切换模块被配置为在所述第一模块和所述第二模块之间进行切换以测量各种碎片尺寸的局部相似度。

11.根据第10项所述的系统，其中，所述切换包括不论碎片尺寸如何都维持相同的相似度比率。

12.根据第10项所述的系统，其中，所述切换是自动的。

13.根据第10项所述的系统，其中，所述更大碎片尺寸是从包括3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片的组中选出的。

14.根据第10项所述的系统，其中，所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、

15.一种设备，包括：

a.用于存储应用的存储器，该应用被配置为针对该应用和/或成像条件确定适当的碎片尺寸，在图像劣化低于阈值的情况下使用较小的碎片尺寸并且随着劣化水平的增长来逐渐增大碎片尺寸；以及

b.耦合到所述存储器的处理部件，该处理部件被配置为对所述应用进行处理。

16.根据第15项所述的设备，还包括适应性地切换碎片尺寸。

17.根据第16项所述的设备，其中适应性地切换碎片尺寸包括不论碎片尺寸如何都维持相同的相似度比率。

18.根据第17项所述的设备，其中，所述切换是自动的。

19.根据第15项所述的设备，其中，所述碎片是从包括1×1、3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片的组中选出的。

20.根据第15项所述的设备，其中，所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、

已经根据具体实施例描述了本发明，这些具体实施例包含细节以帮助理解本发明的构造和操作原理。这里对具体实施例及其细节的这样的提及并非意欲限制随附于此的权利要求的范围。本领域普通技术人员容易理解，可在被选择用于进行说明的实施例中做出各种其他修改，而不背离如权利要求所定义的本发明的精神和范围。

Claims

a.获得成像条件；

b.确定适当的碎片尺寸；

c.选择阈值；以及

d.测量局部图像相似度。

2.根据权利要求1所述的方法，其中，所述成像条件是从包括采光、照明、曝光时间、光圈、场景类别和相机增益的组中选出的。

3.根据权利要求1所述的方法，其中，所述适当的碎片尺寸是基于所述成像条件确定的。

4.根据权利要求1所述的方法，其中，所述阈值来自被存储在查找表中的阈值集合。

5.根据权利要求1所述的方法，其中，选择阈值是基于所希望的相似度比率、成像条件、碎片尺寸实现方式间的转变无缝性中的至少一个的。

6.根据权利要求1所述的方法，还包括在碎片尺寸间适应性地进行切换。

7.根据权利要求6所述的方法，其中，所述切换是自动的。

8.根据权利要求1所述的方法，其中，所述碎片尺寸是从包括1×1、3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片尺寸的组中选出的。

9.根据权利要求1所述的方法，其中，所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、

10.一种设备，包括：

a.用于存储应用的存储器，该应用被配置为针对该应用和/或成像条件来确定适当的碎片尺寸，在图像劣化低于阈值的情况下使用较小的碎片尺寸并且随着劣化水平的增长来逐渐增大碎片尺寸；以及

11.根据权利要求10所述的设备，还包括适应性地切换碎片尺寸。

12.根据权利要求11所述的设备，其中适应性地切换碎片尺寸包括不论碎片尺寸如何都维持相同的相似度比率。

13.根据权利要求12所述的设备，其中，所述切换是自动的。

14.根据权利要求10所述的设备，其中，所述碎片是从包括1×1、3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17的碎片的组中选出的。

15.根据权利要求10所述的设备，其中，所述设备是从包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能家电、游戏机、数字相机、数字摄录机、相机电话、视频播放器、DVD记录器/播放器、电视和家用娱乐系统的组中选出的。