CN100388279C

CN100388279C - 测量视觉相似性的设备和方法

Info

Publication number: CN100388279C
Application number: CNB2004100619677A
Authority: CN
Inventors: 贝特朗·许波; 利昂内尔·瓦瑟; 弗朗索瓦·勒克莱尔
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2003-07-01
Filing date: 2004-06-29
Publication date: 2008-05-14
Anticipated expiration: 2024-06-29
Also published as: US20050002568A1; FR2857130A1; EP1494136A1; CN1577392A; KR20050004044A; JP2005025746A

Abstract

本发明涉及测量两个图像之间视觉相似性的设备和方法。一个图像(Q)称为模板，一个图像(T)称为目标，方法包括分割图像为区域(Q_i，T_i)的前期步骤(E2)，各区域关联代表区域的至少一个特征的至少一个属性(F)。而且包括步骤，计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性(E3)；选择其相似性大于第一固定阈值(ε)的区域对(Q_i，T_i)的某一数目(E4)；基于选择的区域对(Q_i，T_i)，计算两个图像之间的全局相似性(E9)。根据本发明，计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性的步骤(E3)考虑匹配的区域(Q_i，T_i)的属性(F)之间的距离(D(Q_i，T_i))和匹配的区域(Q_i，T_i)的面积。

Description

测量视觉相似性的设备和方法

技术领域

本发明涉及通过静止图像数据库的视觉相似性基于内容的图像索引和查找。

背景技术

传统上，通过关键词手动的给数据库编索引。由于通讯通过量和存储设备容量的加速增长，海量数字数据的累积使得必须研发通过它们的内容自动注释图像的增强的工具。

在基于相似性查找的典型应用中，用户依靠例子图像阐明其请求，系统给他发回一组假设视觉上是很相同的图像，并以增加的距离排列。所用的距离是从图像自动提取的属性之间的距离(这是为什么通过它们的内容论及图像的索引)。

所用的属性具有“低的水平”，相对于根据对象和事件，景物的“语义的”解释是更像图像信号(颜色，纹理，小波变换等)。由机器计算的视觉相似性有时与用户希望的语义的相似性不一致，这构成这些基于内容的索引和查找系统的局限性。

第一代基于内容的查找系统使用“全局”属性，即这些是在整个图像上计算的。呈现在图像中颜色的直方图是其典型的例子。考虑到在图像中物体的空间位置的概念，第二代划分图像为区域并对各区域附加“局域”描述符。

图像的任意分割，如方格，十分明显的与构成图像的各种物体的边界不一致。因此更精确的描述存在于对通过分割算法获得的对任何形状的区域附加的局域描述符，这相应于物体或它们的子部分。因此人们希望获得更接近人类观察者感到的直觉的相似性的视觉相似性的自动计算，这使得即使相似的物体比例不是相同的，不在同一位置并只由部分景物组成，仍有可能识别两个图像是相似的。

差不多由关于方格的局域描述符描述的两个图像之间的距离的计算是准即时的，全局距离是关联有同样空间坐标的块的局域属性之间的距离的平均，然而当两个图像分割为任何形状的区域时，解答远非是直觉的。

在1999年6月费城的国际会议“数据管理的ACM SIGMOD国际会议”上，由A.Natsev，R.Rasogi和K.Shim Walrus公开的论文：图像数据库的相似性检索算法”提出测量在两个分割为任何形状的区域的图像之间的视觉相似性，并假设在两个局域属性之间的基本距离是已知的。

在此方法中，如果区域的属性(F₁，F₂)两个之间的距离小于阈值ε，那么，分别属于两个不同图像(Q，T)的两个区域(Q_i，T_i)是相似的。图像Q的区域至多与T的一个区域匹配，反之亦然。在所有可能的相似区域对中，根据下面的公式选择是最大化相似性准则的一个：

E (Q, T) = \frac{area (\cup_{i = 1}^{p} Q_{i}) + area (\cup_{i = 1}^{p} T_{i})}{area (Q) + area (T)}

P是图像Q和T之间相似的区域数目。

因此，这个方法使得通过由匹配的区域组成的两个图像的表面积的片段测量视觉相似性成为可能。

当前技术提议的方法提出不是最理想的解决方案，在此方法中，重复地匹配最大区域的候选区域对。

然而，此方法中非常依赖于阈值ε。当因为它们的属性之间的距离小于阈值ε，则宣布两个区域视觉相似性时，在余下的计算中不再重新估价此二元选择。太低的阈值导致两个图像之间全局相似性的再估价，固定的太高的阈值导致在同一水平处理非常相似或相反的非常不相似的区域。

而且，当实现量度时，不考虑在两个图像中匹配的区域的各自的大小(面积)。根据它们的相似性按照属性的唯一基础，这使得可能增强比例的变化(即缩放因数)，但导致非常小的区域与整个图像匹配的相当不希望的状况。此外，由最大化匹配表面积的全局准则此结构是最为有利的。

发明内容

考虑确定匹配的区域对的序列最大化相似性的全局准则中属性之间的距离，本发明提出测量视觉相似性的方法。在此方法中，本发明能更好的测量两个图像之间的相似性，并能基于测量的视觉相似性用于图像查找应用。

因此，本发明提出测量两个图像之间视觉相似性的方法，一个图像称为模板，一个图像称为目标，包括，分割图像为区域的前期步骤，各区域关联代表区域的至少一个特征的至少一个属性，包括步骤

-计算两个图像的可能区域对之间的视觉相似性，

-选择相似性大于第一固定阈值的某些区域对数目，

-基于选择的区域对，计算两个图像之间的全局相似性。

根据本发明，计算两个图像的可能区域对之间的视觉相似性的步骤考虑匹配的区域的属性之间的距离和匹配的区域覆盖的面积与图像的总面积之比。

根据实践的优选模式，方法还包括在选择步骤后和计算全局相似性步骤前的排除步骤，如果区域对的面积之间的比值大于第二阈值或小于第二阈值的倒数，则把选择的区域对从区域队列表中排除。

在此方法中，不考虑以前选择的区域对是可能的，因为变面积在尺寸上是很不同的。

根据实践的优选模式，计算两个图像的所有可能的区域对之间的视觉相似性的步骤包括计算匹配的区域的属性之间的距离和匹配的区域覆盖的面积与图像的总面积之间的加权和。

根据实践的优选模式，对模板图像的所有区域，计算两个图像的可能的区域对之间的视觉相似性步骤和选择其相似性大于第一固定阈值的某一区域对数的步骤包括子步骤：

-选择模板图像的区域，

-测量模板图像的选择区域和目标图像的区域之间的视觉相似性，

-选择表现模板图像的选择区域的最大视觉相似性的目标图像的区域。

事实上这相应于使得降低计算在所有可能的区域之间相似性的复杂性的次最佳的解决方案，模板图像的所有可能的区域与目标图像的所有可能区域的匹配，并且在计算时间上区域对其后的决定是很昂贵的。提出的实践的优选模式取模板图像的区域，由测量此区域和目标图像的所有区域之间的视觉相似性，并选择表现与模板图像的区域最大相似性的目标图像的区域，使得最小化计算成为可能。因此形成的区域对其后不再重新估价，只要余下一些区域我们移动到模板图像的另一区域。

根据实践的优选模式，根据表面积的升序，选择模板图像的区域的子步骤选择模板图像的区域。

在此方式中，有大的表面积的区域有查找表现视觉相似性的区域的优选权。

本发明也提出有前述优点的视觉相似性设备。

本发明也提出包括当程序在计算机上运行时，能实现本发明方法的程序代码指令的计算机程序产品。

附图说明

参考附图，以完全非限制的方式，以实践有利的例子模式和实例模式，更好的了解和说明本发明，其中：

图1表示图像分解为任何形状的区域；

图2表示本发明设备的运行流程的实践模式。

具体实施方式

图1表示分解称为分解的模板图像Q为Q区域Q_i的例子。图像Q表示提交到根据本发明的设备的例子图像，对此设备必须返回同样的图像。

与划分成方格相反，图像Q是划分成任意形状区域的图像。划分成区域Q_i相当于表示在图像上的物体划分，或根据这些物体的子部分划分。通过由本领域技术人员通常使用的分割算法获得这些子部分。

称为目标图像的图像T表示数据库的图像，其包括要查找的与选择的图像Q视觉相似性的图像。用如图像Q同样的分割方法，数据库的图像如T也分解为区域。

图像Q可以是由用户或从数据库发出的并由用户选择的图像本身提出的。因此，当图像提送到本发明的设备时图像Q分解成区域Q_i，或图像先分解成区域并存储在数据库中，它的区域划分与此关联。

各区域关联至少一个属性F，用非限制的说明方式，从纹理，颜色，F是选择的图像的特征的代表。用作为选择的方式，可以取小波变换的主要系数作为属性。

计算关联图像的各区域的属性F，并与各图像存储在数据库中。当设备使用图像时，也可计算它们，但这会相当大的减慢测量处理。

存在各种计算属性的方法并为本领域技术人员熟知。

提出的方法计算图像Q的区域Q_i和图像T的T_i的属性F之间的距离。

作为说明计算的距离D可能是欧几里得型距离。在下面的公式中，假设距离D返回0和1之间的归一化值。

图2说明本发明的实践的优选模式计算图像Q和目标图像T之间的相似性。

在步骤E1中，用户选择图像Q，希望发现显示视觉相似性的图像。

下一步，在步骤E2中，图像Q分割为区域Q_i。Q_i的数目依赖于图像的内容，区域可能对应存在于图像的物体或这些物体的子部分。对各图像区域Q_i，也可计算代表此图像的视觉内容的属性。这些属性可以代表颜色，纹理，或对应于离散余弦分解或小波变换的系数。

当图像Q是要查找相似性图像的数据库的图像时，图像Q早已被分割，与该区域关联的属性也早已被计算，并同样的存储在数据库中。在此情况中，步骤E2是可选的，我们可以直接从步骤E1到步骤E3。

在步骤E3中，作为说明用下面的公式计算图像Q的所有区域和候选T图像的所有区域之间的可能的相似性E。

E (Q_{i}, T_{i}) = w * (1 - D (Q_{i}, T_{i})) + (1 - W) * \frac{area (Q_{i}) + area (T_{i})}{area (Q) + area (T)}

其中，

W是权重因数，

D(Q_i，T_i)表示区域Q_i和T_i的属性F之间的距离，

区域(Q_i)和区域(T_i)表示区域Q_i和T_i各自的面积，以像素表示，

面积(Q)和面积(T)表示以像素表示的图像Q和T各自的面积。

在实践的优选模式中，权重因数W固定在值1/3。

由匹配图像Q的所有区域Q_i和图像T的所有区域T_i，由区域覆盖的面积与图像的总面积之比，计算的相似性考虑图像Q的区域和图像T的区域的属性F之间的距离D。

考虑其属性之间的距离，权重因数W使对匹配的区域的面积给予更多的重要性成为可能。这是与前面描述的考虑面积而在区域上预先选择的Natsev方法对比是不同的。

下一步，在步骤E4中，执行选择最相似的区域对(Q_i，T_i)。仅选择其相似性大于预先确定的阈值ε的区域对。

E(Q_i，T_i)≥ε

在实践的优选模式中，阈值ε是固定在值0.7。

当不选择这些对时，然后前进到步骤E6，在其中称这些对为非选择的，因此可能与其它区域匹配，然后到步骤E3。

然后，在选择的区域对的外面，排除其放大/缩小因数太大的某些对。由两个区域的表面积之比表示放大/缩小因数。例如，考虑两个区域Q_i，T_i，然后放大/缩小因数R表示为：

R = \frac{area (Q_{i})}{area (T_{i})}

当此比例R大于值α或小于值1/α时，排除区域对(Q_i，T_i)(步骤E6)。

在实践的优选模式中，值α固定在4。

在实践的优选模式中，相继地选择区域Q_i，在发现表现与区域Q_i最大相似性的相应区域T_i后，我们从一个区域到另一区域。

在实践的另一模式中，在所有的区域之间计算所有可能的相似性是可想象的，此后选择优化图像的总相似性的对。

在实践的另一模式中，只要优选的发现对最大区域表现优化的相似性的区域，以升序的大小贯穿区域Q_i是可想象的。

在步骤E7中，选择对(Q_i，T_i)并放在一边，例如在存储装置中，随后不再是可选择的。

如果已匹配所有的对(Q_i，T_i)(步骤E8)，然后我们回到步骤E3，否则到步骤E9。

在此步骤中，为了计算图像Q和候选图像T之间的全局相似性，根据下面的公式计算图像Q和T之间的全局相似性：

Sim (Q, T) = \frac{Σ_{i = 1}^{p} (1 - D (Q_{i}, T_{i}))}{p} * \frac{area (\cup_{i = 1}^{p} Q_{i}) + area (\cup_{i = 1}^{p} T_{i})}{area (Q) + area (T)}

其中p表示其相似性大于阈值ε，并在前面的排除步骤中没有排除的区域数目。

作为例子给出此公式，但根据任何其它考虑属性之间的距离，和考虑对它们加权时匹配的区域的面积的公式，计算相似性也是可能的。

Claims

1.一种在两个图像(Q，T)之间测量视觉相似性的方法，一个图像Q称为模板，一个图像T称为目标，包括分割图像为区域(Q_i，T_i)的前期步骤E2，各区域与代表至少一个区域特征的至少一个属性F关联，包括步骤，

计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性步骤E3；

选择其相似性大于第一固定阈值ε的某些区域对(Q_i，T_i)的数目的步骤E4；

基于选择的区域对(Q_i，T_i)，计算两个图像之间的全局相似性的步骤E9，

其特征在于计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性的步骤E3考虑匹配的区域(Q_i，T_i)的属性F之间的距离D(Q_i，T_i)和匹配的区域(Q_i，T_i)覆盖的面积与图像的总面积之比。

2.根据权利要求1所述的方法，其特征在于还包括在选择步骤E4后和在计算全局相似性的步骤E9前的排除步骤E5，如果区域对的面积之间的比大于第二阈值α或小于第二阈值的倒数1/α，则把选择的区域对(Q_i，T_i)从区域对(Q_i，T_i)的列表中排除。

3.根据权利要求1所述的方法，其特征在于计算两个图像的可能区域对之间的视觉相似性的步骤E3包括计算匹配的区域(Q_i，T_i)的属性F之间的距离和匹配的区域覆盖的面积与图像的总面积之间的加权和。

4.根据权利要求2所述的方法，其特征在于在计算两个图像的可能区域对之间的视觉相似性的步骤E3包括计算匹配的区域(Q_i，T_i)的属性F之间的距离和匹配的区域覆盖的面积与图像的总面积之间的加权和。

5.根据权利要求1所述的方法，其特征在于计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性的步骤E3和选择其相似性大于第一固定阈值ε的区域对(Q_i，T_i)的某一数目的步骤E4包括子步骤：对所有模板图像Q的区域，

选择模板图像的区域，

测量模板图像的选择区域和目标图像区域之间的视觉相似性，

选择表现模板图像的选择区域的最大视觉相似性的目标图像的区域。

6.根据权利要求2所述的方法，其特征在于计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性的步骤E3和选择其相似性大于第一固定阈值ε的区域对(Q_i，T_i)的某一数目的步骤E4包括子步骤：对所有模板图像Q的区域，

选择模板图像的区域，

7.根据权利要求3所述的方法，其特征在于计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性的步骤E3和选择其相似性大于第一固定阈值ε的区域对(Q_i，T_i)的某一数目的步骤E4包括子步骤：对所有模板图像Q的区域，

选择模板图像的区域，

8.根据权利要求4所述的方法，其特征在于计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性的步骤E3和选择其相似性大于第一固定阈值ε的区域对(Q_i，T_i)的某一数目的步骤E4包括子步骤：对所有模板图像Q的区域，

选择模板图像的区域，

9.根据前述权利要求之一所述的方法，其特征在于选择模板图像的区域子步骤根据表面积的升序选择模板图像的区域。

10.一种测量在两个图像之间视觉相似性的设备，包括分割图像为区域的装置，各区域与代表至少一个区域特征的至少一个属性关联，包括：

装置，用于计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性；

装置，用于选择相似性大于第一固定阈值ε的某一区域对(Q_i，T_i)的数目；

装置，基于选择的区域对(Q_i，T_i)，计算两个图像(Q，T)之间的全局相似性，

其特征在于：

计算两个图像(Q，T)的可能区域对(Q_i，T_i)之间的视觉相似性的装置能考虑匹配的区域(Q_i，T_i)的属性F之间的距离D和匹配的区域(Q_i，T_i)覆盖的面积与图像的总面积之比，所述设备适合于实现权利要求1到5之一所述的方法。