CN104392439B

CN104392439B - 确定图像相似度的方法和装置

Info

Publication number: CN104392439B
Application number: CN201410641909.5A
Authority: CN
Inventors: 汪萌; 于魁飞
Original assignee: Beijing Zhigu Ruituo Technology Services Co Ltd
Current assignee: Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date: 2014-11-13
Filing date: 2014-11-13
Publication date: 2019-01-11
Anticipated expiration: 2034-11-13
Also published as: CN104392439A

Abstract

本申请的实施例公开了一种确定图像相似度的方法，包括：确定第一图像对应于至少一类别的置信度；提取所述第一图像的至少一第一视觉特征；提取第二图像的至少一第二视觉特征；至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度。本发明实施例还公开了一种确定图像相似度的装置。本申请实施例所述的确定图像相似度的方法和装置，能够避免现有技术中特征提取缺少针对性的问题，提高了确认图像相似度的效率和精确度。

Description

确定图像相似度的方法和装置

技术领域

本申请涉及图像处理领域，尤其涉及一种确定图像相似度的方法和装置。

背景技术

随着计算机和网络技术的普及和飞速发展，互联网上以图像为代表的多媒体数据呈现爆炸式增长。日常生活中，人们已经习惯于利用图像搜索引擎去搜索感兴趣目标的视觉图像。然而，如何快速有效地从海量图像数据中检索到用户所希望得到的图像却是一道富有挑战力的难题。因此，图像检索技术正吸引着来自学术界和工业界不同领域研究者的广泛关注。

现有的图像检索技术主要可以分为两类：基于文本的图像检索方法和基于内容的图像检索方法。

基于文本的图像检索方法通常利用文本信息来描述图像内容，使用简短的注释或者文本标签来对数据库中的图像进行索引，是当前一种应用比较广泛的图像检索方法。但是，文本标注本身主要依靠人工标注，缺乏统一的标准，带有一定的人为主观性；而且对海量图像进行文本标注效率极其低下。

基于内容的图像检索方法是一种“以图搜图”的方法，通过提取图像的诸如颜色、纹理、形状等信息作为图像的特征，然后在图像数据库中根据特征查找相似的图像。但是，现有“以图搜图”的方法在使用图像特征进行对比的时候，并不考虑图像中的具体内容是什么，因此，图像特征的使用缺少针对性，确认图像相似度时效率和精确度都比较低。

发明内容

本申请的目的是：提供一种确定图像相似度的方法和装置。

根据本申请至少一个实施例的一个方面，提供了一种确定图像相似度的方法，包括：

确定第一图像对应于至少一类别的置信度；

提取所述第一图像的至少一第一视觉特征，其中，所述至少一类别中的每一个与所述至少一第一视觉特征中的至少一个对应；

提取第二图像的至少一第二视觉特征，其中，所述至少一类别中的每一个与所述至少一第二视觉特征中的至少一个对应；

至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度。

根据本申请至少一个实施例的另一个方面，提供一种确定图像相似度的装置，包括：

置信度确定模块，用于确定第一图像对应于至少一类别的置信度；

第一处理模块，用于提取所述第一图像的至少一第一视觉特征，其中，所述至少一类别中的每一个与所述至少一第一视觉特征中的至少一个对应；

第二处理模块，用于提取第二图像的至少一第二视觉特征，其中，所述至少一类别中的每一个与所述至少一第二视觉特征中的至少一个对应；

相似度确定模块，用于至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度。

本申请实施例所述的确定图像相似度的方法和装置，分别提取第一图像和第二图像对应于不同类别的视觉特征，并结合第一图像归属于不同类别的置信度，确定第一图像和第二图像的相似度，能够避免现有技术中特征使用缺少针对性的问题，提高了确认图像相似度的效率和精确度。

附图说明

图1是本申请一个实施例所述的确定图像相似度的方法流程图；

图2是本申请另一个实施例所述的确定图像相似度的方法流程图；

图3是本申请另一个实施例所述的确定图像相似度的方法流程图；

图4是本申请另一个实施例所述的确定图像相似度的方法流程图；

图5是本申请一个实施例所述的确定图像相似度的装置结构示意图；

图6是本申请另一个实施例所述的确定图像相似度的装置结构示意图；

图7是本申请另一个实施例所述的确定图像相似度的装置结构示意图；

图8是本申请另一个实施例所述的确定图像相似度的装置结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员理解，在本发明的实施例中，下述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本发明中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

图1是本申请一个实施例所述确定图像相似度的方法的流程图，如图1所示，所述方法可以包括：

S100：确定第一图像对应于至少一类别的置信度；

S120：提取所述第一图像的至少一第一视觉特征，其中，所述至少一类别中的每一个与所述至少一第一视觉特征中的至少一个对应；

S140：提取第二图像的至少一第二视觉特征，其中，所述至少一类别中的每一个与所述至少一第二视觉特征中的至少一个对应；

S160：至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度。

本申请实施例所述的确定图像相似度的方法，分别提取第一图像和第二图像对应于不同类别的视觉特征，并结合第一图像归属于不同类别的置信度，确定第一图像和第二图像的相似度，能够避免现有技术中特征使用缺少针对性的问题，提高了确认图像相似度的效率和精确度。

示例性的，在本发明的实施例中，所述至少一类别可以包括人、物体、以及风景。当然，还可以包括其他类别，例如：文字，本发明的实施例对此不作限定。

在一个可选的实施方式中，如图2所示，上述S100中确定第一图像对应于至少一类别的置信度，可以包括：

S101：提取所述第一图像的至少一分类特征；

S102：根据所述至少一分类特征，通过一分类器确定所述第一图像对应于所述至少一分类的置信度。

在本发明的实施例中，可以预先通过图像样本，对上述分类器进行训练，例如，可以从互联网上获取一定数量的图像样本，图像样本分为人、物体和风景三类。根据不同的特征提取方法，对图像样本进行分类特征提取，上述分类特征包括但不限于：根据图像样本中检测出的人脸个数提取的特征；根据在图像样本中检测出的人脸区域的面积占所述图像样本面积的比例提取的特征；根据在图像样本中检测出的人脸区域的宽度提取的特征；根据图像样本中检测出的人脸区域的长度提取的特征；根据在图像样本中检测出的人脸区域的中心点坐标提取的特征；根据在图像样本中检测出的显著性区域的面积占所述图像样本面积的比例提取的特征；根据在图像样本中检测出的显著性区域的宽度提取的特征；根据在图像样本中检测出的显著性区域的长度提取的特征；根据在图像样本中检测出的显著性区域的中心点坐标提取的特征；根据图像样本的颜色提取的特征；和/或根据图像样本的纹理提取的特征。

经过训练的分类器，就能够像图像样本那样提取出第一图像的分类特征，输出第一图像分别对应于“人”类别的置信度c₁、对应于“物体”类别的置信度c₂和对应于“风景”类别的置信度c₃，即：该图像归属于人、物体或风景的概率。

在另一个可选的实施方式中，如图3所示，上述S160中至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度，可以包括：

S161：根据所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的距离。

在本发明的实施例中，上述至少一第一视觉特征是从第一图像中提取出来的特征。仍以“人、物体、风景”三类别为例，上述至少一视觉特征可以包括：适用于人物图像匹配的人物视觉特征p和q，如采用局部二值模式(Local Binary Pattern，LBP)提取出的人脸区域的局部特征；适用于物体图像匹配的物体视觉特征r，如采用视觉词袋(Bag of VisualWord，BoVW)提取出的特征；以及适用于风景图像匹配的风景视觉特征s，如根据图像颜色提取出的颜色直方图特征。因此，上述“人”类别与至少一第一视觉特征中的p和q对应，“物体”类别与至少一第一视觉特征中的r对应，“风景”类别与至少一第一视觉特征中的s对应。

类似的，上述至少一第二视觉特征是从第二图像中提取出来的特征，包括：与“人”类别对应的人物视觉特征P和Q，与“物体”类别对应的物体视觉特征R，以及与“风景”类别对应的风景视觉特征S。

根据上述至少一第一视觉特征和至少一第二视觉特征，就可以确定第一图像与第二图像的距离。其中，上述距离是描述像素间关系的一个参数，可用于描述图像与图像间的相似度。较为常见的如二值图像距离，灰度图像距离，马氏距离以及巴氏距离等等。

本发明的实施例后续描述中，主要以灰度图像距离为例进行说明。例如，从“人”类别来看，第一图像与第二图像的灰度图像距离为(||p-P||²+||q-Q||²)^1/2；从“物体”类别来看，第一图像与第二图像的灰度图像距离为(||r-R||²)^1/2；从“物体”类别来看，第一图像与第二图像的灰度图像距离为(||s-S||²)^1/2。特别要说明的是，为简化计算，也可以用||p-P||²+||q-Q||²表示从“人”类别来看，第一图像与第二图像的灰度图像距离；用||r-R||²表示从“物体”类别来看，第一图像与第二图像的灰度图像距离；用||s-S||²表示从“物体”类别来看，第一图像与第二图像的灰度图像距离。

可以理解，其他的距离也是适用的，本发明的实施例对此不作具体限定。

当然，上述提取的视觉特征数量仅仅是示例。针对每一类别，也可以仅提取一个视觉特征；或者每个类别都提取多个特征。本发明的实施例对此不作具体限定。

在另一可选的实施方式中，如图4所示，上述S160中至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度，还可以包括：

S162：根据所述第一图像对应于所述至少一类别的置信度以及所述第一图像与所述第二图像的距离，确定所述第一图像与所述第二图像的相似度；或者

S163：根据所述第一图像对应于所述至少一类别的置信度、置信度的修正值以及所述第一图像与所述第二图像的距离，确定所述第一图像与所述第二图像的相似度。

在本发明的实施例中，并非直接将第一图像归入某一特定的类别，而是得到第一图像可能归属于若干个类别的概率，即上述置信度，因此，在确定相似度的时候，可以对图像在不同类别中计算得到的距离做加权处理。例如，可以采用下列公式一计算第一图像和第二图像的相似度：

d＝c₁(||p-P||²+||q-Q||²)+c₂||r-R||²+c₃||s-S||²…………公式一

其中，所述c₁表示对应于“人”类别的置信度，c₂表示对应于“物体”类别的置信度，c₃表示对应于“风景”类别的置信度，||p-P||²+||q-Q||²表示从“人”类别来看，第一图像与第二图像的距离，||r-R||²表示从“物体”类别来看，第一图像与第二图像的距离；||s-S||²表示从“物体”类别来看，第一图像与第二图像的距离。

可选的，在分类器确定上述置信度之后，还可以根据实际情况，对上述置信度进行修正，例如，可以提供一交互式的界面，用户可以通过该交互式界面，对置信度进行修正。因此，在对图像在不同类别中计算得到的距离做加权处理时，可以将修正值Δc的考虑进来。例如，可以采用下列公式二计算第一图像和第二图像的相似度：

d＝(c₁+Δc₁)(||p-P||²+||q-Q||²)+(c₂+Δc₂)||r-R||²+(c₃+Δc₃)||s-S||²………公式二

其中，Δc₁表示对应于“人”类别的置信度修正值，Δc₂表示对应于“物体”类别的置信度修正值，Δc₃表示对应于“风景”类别的置信度修正值。

图5是本申请一个实施例所述确定图像相似度的装置的模块结构示意图。如图5所示，所述装置可以包括：

置信度确定模块500，用于确定第一图像对应于至少一类别的置信度；

第一处理模块520，用于提取所述第一图像的至少一第一视觉特征，其中，所述至少一类别中的每一个与所述至少一第一视觉特征中的至少一个对应；

第二处理模块540，用于提取第二图像的至少一第二视觉特征，其中，所述至少一类别中的每一个与所述至少一第二视觉特征中的至少一个对应；

相似度确定模块560，用于至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度。

本申请实施例所述的确定图像相似度的装置，分别提取第一图像和第二图像对应于不同类别的视觉特征，并结合第一图像归属于不同类别的置信度，确定第一图像和第二图像的相似度，能够避免现有技术中特征使用缺少针对性的问题，提高了确认图像相似度的效率和精确度。

参见图6，在一种可选的实施方式中，所述置信度确定模块500可以包括：

特征提取子模块501，用于提取所述第一图像的至少一分类特征；

分类子模块502，用于根据所述至少一分类特征，确定所述第一图像对应于所述至少一分类的置信度。

示例性的，上述分类子模块502可以是一分类器。

参见图7，在一种可选的实施方式中，所述相似度确定模块560可以包括：

图像距离确定子模块561，用于根据所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的距离。

参见图8，在一种可选的实施方式中，所述相似度确定模块560还可以包括：

第一相似度计算子模块562，用于根据所述第一图像对应于所述至少一类别的置信度以及所述第一图像与所述第二图像的距离，确定所述第一图像与所述第二图像的相似度；和/或

第二相似度计算子模块563，用于根据所述第一图像对应于所述至少一类别的置信度、置信度的修正值以及所述第一图像与所述第二图像的距离，确定所述第一图像与所述第二图像的相似度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的确定图像相似度的装置具体工作过程，可以参考本发明前述方法实施例的对应过程描述，在此不再赘述。

为更好的突出本发明的优点，下面结合“以图搜图”的应用场景，对本发明的实施例做详细介绍。

在本场景中，上述第一图像是一幅待检索的图像I，上述第二图像是图像集G中的第i幅图像(i＝1,2,……，Max)，其中，Max表示图像集中包含的图像总数。

针对待检索图像I，通过一分类器，得到其归属于“人”、“物体”以及“风景”的置信度。并分别提取对应于“人”的视觉特征、对应于“物体”的视觉特征以及对应于“风景”的视觉特征。

针对图像集G中的第i幅图像，也分别提取对应于“人”的视觉特征、对应于“物体”的视觉特征以及对应于“风景”的视觉特征。

然后根据本发明上述实施例描述的技术方案，计算待检索图像I与图像集G中第i幅图像的相似度d_i。

如果计算出待检索图像I与图像集G中的每一幅图像的相似度(d₁，d₂，d₃，d₄，……，d_Max)，就可以按照相似度，确定出图像集G中与待检索图像I最相似的前n幅图像，其中，n为不大于Max的自然数。

确定出最相似的前n幅图像后，可以根据实际情况，将这前n幅图像输出，在一显示界面上向用户展示；或者也可以将这前n幅图像的文字注释信息输出，在一显示界面上向用户展示。

采用本发明实施例的技术方案，由于分别提取第一图像和第二图像对应于不同类别的视觉特征，并结合第一图像归属于不同类别的置信度，确定第一图像和第二图像的相似度，因此能够避免现有技术中特征使用缺少针对性的问题，提高了“以图搜图”的效率和精确度。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，控制器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种确定图像相似度的方法，其特征在于，包括：

确定第一图像对应于至少一类别的置信度；

至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度；

所述确定所述第一图像与所述第二图像的相似度包括：

根据所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的距离；

根据所述第一图像对应于所述至少一类别的置信度以及所述第一图像与所述第二图像的距离，对所述距离做加权处理，确定所述第一图像与所述第二图像的相似度。

2.如权利要求1所述的方法，其特征在于，所述确定第一图像对应于至少一类别的置信度，包括：

提取所述第一图像的至少一分类特征；

根据所述至少一分类特征，通过一分类器确定所述第一图像对应于所述至少一分类的置信度。

3.如权利要求2所述的方法，其特征在于，所述至少一分类特征包括以下特征中的一种或多种：

根据在所述第一图像中检测出的人脸个数提取的特征；

根据在所述第一图像中检测出的人脸区域的面积占所述第一图像面积的比例提取的特征；

根据在所述第一图像中检测出的人脸区域的宽度提取的特征；

根据在所述第一图像中检测出的人脸区域的长度提取的特征；

根据在所述第一图像中检测出的人脸区域的中心点坐标提取的特征；

根据在所述第一图像中检测出的显著性区域的面积占所述第一图像面积的比例提取的特征；

根据在所述第一图像中检测出的显著性区域的宽度提取的特征；

根据在所述第一图像中检测出的显著性区域的长度提取的特征；

根据在所述第一图像中检测出的显著性区域的中心点坐标提取的特征；

根据所述第一图像的颜色提取的特征；

根据所述第一图像的纹理提取的特征。

4.如权利要求1所述的方法，其特征在于，所述至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度，还包括：

或者，根据所述第一图像对应于所述至少一类别的置信度、置信度的修正值以及所述第一图像与所述第二图像的距离，确定所述第一图像与所述第二图像的相似度。

5.如权利要求1至4中任一所述的方法，其特征在于，所述至少一类别包括：

人、物体以及风景。

6.一种确定图像相似度的装置，其特征在于，包括：

相似度确定模块，用于至少根据所述第一图像对应于所述至少一类别的置信度、所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的相似度；

所述相似度确定模块包括：

图像距离确定子模块，用于根据所述至少一第一视觉特征以及所述至少一第二视觉特征，确定所述第一图像与所述第二图像的距离；

第一相似度计算子模块，用于根据所述第一图像对应于所述至少一类别的置信度以及所述第一图像与所述第二图像的距离，对所述距离做加权处理，确定所述第一图像与所述第二图像的相似度。

7.如权利要求6所述的装置，其特征在于，所述置信度确定模块包括：

特征提取子模块，用于提取所述第一图像的至少一分类特征；

分类子模块，用于根据所述至少一分类特征，确定所述第一图像对应于所述至少一分类的置信度。

8.如权利要求7所述的装置，其特征在于，所述相似度确定模块还包括：

和/或，第二相似度计算子模块，用于根据所述第一图像对应于所述至少一类别的置信度、置信度的修正值以及所述第一图像与所述第二图像的距离，确定所述第一图像与所述第二图像的相似度。