CN104484869B

CN104484869B - 面向排序测度特征的图像匹配方法及系统

Info

Publication number: CN104484869B
Application number: CN201410646014.0A
Authority: CN
Inventors: 张冬明; 靳国庆; 代锋; 张勇东; 李锦涛
Original assignee: Institute of Computing Technology of CAS
Current assignee: Zhongke Xingyun Wulian Technology Beijing Co ltd
Priority date: 2014-11-14
Filing date: 2014-11-14
Publication date: 2017-02-22
Anticipated expiration: 2034-11-14
Also published as: CN104484869A

Abstract

本发明提供一种面向排序测度特征的图像匹配方法，该方法首先获取待检测图像的排序测度特征和采样特征序列；对待检测图像的采样特征序列进行哈希，并基于哈希的结果来从图像库的哈希表中选择多个候选图像；然后通过计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度，来确定与该待检测图像匹配的图像。该方法对于图像的排序测度特征采用分级匹配的方法，提高了排序测度特征的匹配速度，使得该特征用于大规模图像匹配成为可能。而且可以通过控制采样分块的数目，调整排序测度特征哈希表的所需的内存开销，使之能用于不同内存大小的计算平台。

Description

面向排序测度特征的图像匹配方法及系统

技术领域

本发明涉及基于内容的图像视频检索技术，尤其涉及基于排序测度特征的图像匹配方法。

背景技术

互联网图像和视频等视觉信息的迅速增长，给信息的组织与管理带来了巨大挑战，对海量图像视频进行内容分析与检测的需求越来越大，图像视频拷贝检测技术应运而生。图像视频拷贝检测主要是通过匹配待检测图像与图像库中所有图像的排序测度(Ordinal Measure，OM)特征来进行检测的。排序测度反映的是一幅图像的相对密度分布，利用图像子块的灰度均值排序关系作为图像的特征。通常排序测度特征可通过下面的方式来提取的：首先对视频帧或图像分块并对每个分块编号，进而计算每个分块的灰度均值，再按照灰度均值从高到底(或从低到高)对分块排序，将排序后每个分块的编号串联形成一个编号序列(即排序测度)，作为该视频帧或图像的特征。由于其只提取分块灰度值的高低信息，而与灰度值、灰度差值大小无关，因而该特征对于亮度变化有较好的鲁棒性。

然而，由于排序测度本质是一个字串序列，所以在进行检测时，需要依次计算待检测图像与图像库中所有图像的排序测度序列的相似度。然而随着图像库中图像数量的增加，其匹配速度会呈线性下降，即计算复杂度为O(n)，其中n为图像库中图像数量。该方式难以应用于图像库中数量规模较大的情况。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种面向排序测度特征的快速的图像匹配方法。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种面向排序测度特征的图像匹配方法，包括：

步骤1，对于待检测图像，获取其排序测度特征和采样特征序列，其中，每个图像的采样特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行下采样，从中抽取多个分块并依次进行编号，然后对所抽取的多个分块按照其灰度均值进行排序，以排序后的各分块编号构成的编号序列作为该图像的采样特征序列；

步骤2，根据设定的哈希函数对待检测图像的采样特征序列进行哈希，并基于哈希的结果来从图像库的哈希表中选择多个候选图像，其中，在所述图像库的哈希表中，图像库中各个图像的采样特征序列根据所述哈希函数映射到相应的哈希值；

步骤3，计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度，以确定所述图像库中与该待检测图像匹配的图像。

上述方法中，在获取图像的采样特征序列时，可按照多种下采样方式来对于图像的排序测度特征对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列。

上述方法中，还可以对按照同一种下采样方式获取的图像库中的各图像的采样特征序列构建哈希表。

上述方法中，在步骤2可根据设定的哈希函数对待检测图像的多个采样特征序列分别进行哈希，并基于哈希的结果来从图像库的多个哈希表中选择候选图像。

上述方法中，所述哈希函数表示分块编号1至M的序列的M！种不同排列方式与在[1,M！]内的整数之间的一一对应关系，其中M表示在获取图像的采样特征序列时，对图像的排序测度特征对应的分块组进行下采样所抽取的多个分块的数量。

又一方面，本发明提供了一种面向排序测度特征的图像匹配系统，包括

用于对于待检测图像，获取其排序测度特征和采样特征序列的装置，其中，每个图像的采样特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行下采样，从中抽取多个分块并依次进行编号，然后对所抽取的多个分块按照其灰度均值进行排序，以排序后的各分块编号构成的编号序列作为该图像的采样特征序列；

用于根据设定的哈希函数对待检测图像的采样特征序列进行哈希，并基于哈希的结果来从图像库的哈希表中选择多个候选图像的装置，其中，在所述图像库的哈希表中，图像库中各个图像的采样特征序列根据所述哈希函数映射到相应的哈希值；

用于计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度，以确定所述图像库中与该待检测图像匹配的图像的装置。

上述系统中，在获取图像的采样特征序列时，可按照多种下采样方式来对于图像的排序测度特征对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列。

上述系统中，还可包括用于对按照同一种下采样方式获取的图像库中的各图像的采样特征序列构建哈希表的装置。

上述系统中，所述哈希函数表示分块编号1至M的序列的M！种不同排列方式与在[1,M！]内的整数之间的一一对应关系，其中M表示在获取图像的采样特征序列时，对图像的排序测度特征对应的分块组进行下采样所抽取的多个分块的数量。

与现有技术相比，本发明的优点在于：

对于图像的排序测度特征采用分级匹配的方法，提高了排序测度特征的匹配速度，使得OM特征用于大规模图像匹配成为可能。而且可以通过控制采样分块的数目，调整OM特征哈希表的所需的内存开销，使之能用于不同内存大小的计算平台。此外，通过使用多种不同采样方式，可以确保所提出的图像匹配方法不会导致相似OM特征被遗漏，具有较高的召回率。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1(a)-(b)给出了提取图像的排序测度特征的过程示意图；

图2(a)-(f)为根据本发明实施例的基于图像的排序测度特征获取图像的采样特征序列的过程示意图；

图3(a)-(b)为根据本发明实施例的对图像分块进行下采样的示意图；

图4为根据本发明实施例的面向排序测度特征的图像匹配方法的流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1(a)和图1(b)给出了提取图像的排序测度特征的过程示意图。如图1(a)所示，首先对待提取OM特征的图像进行分块，假设将图像分为N＝R*C(R为行数，C为列数)个块。接着如图1(b)所示，按之字形自上而下，自左而右对分块进行编号，编号分别记为1、2、...、N；并计算每个分块的灰度均值，将该灰度均值作为该分块的属性值，记为<M₁,M₂,...,M_N>；其中M₁表示编号为1的分块的灰度均值，依次类推，M_N表示编号为N的分块的灰度均值。然后对这N个分块按照其属性值进行排序，也就是按照其灰度均值或从低到高(或从高到底)对分块进行排序，将排序后的分块编号串联形成一个编号序列<O₁,O₂,…,O_N>，作为该图像的排序测度特征。以图1(b)提供的灰度值为例，按灰度值从低到高排序得到的灰度值序列为<72,81,86,98,121,126,127,133,159,171,172>，则排序后的分块的编号序列为<1,2,4,3,8,6,7,5,12,11,9,10>,即图1(a)所示的图像的排序测度特征。同时也可以看出，图像的排序测度特征有其对应的分块组及分块数量。

如上文所讨论的，现有的基于排序测度特征的图像检测方法需要依次计算待检测图像与图像库中所有图像的排序测度特征之间的相似度，随着图像库中图像数量的增加，其匹配的速度急剧下降。因此在本发明的实施例中，采用了对图像的排序测度特征进行分级匹配的方式，对于用来检索的图像库中的各个图像，基于图像的排序测度特征获取图像的采样特征序列，并基于图像的采样特征序列来构建图像库的哈希表。这样在进行图像匹配时，先基于哈希表获取其采样特征序列与待检测图像相似的候选图像的集合，然后将各个候选图像的排序测度特征与待检测图像的排序测度特征进行匹配，从而有效降低了检索范围，提高了图像匹配的速度和效率。

图2给出了根据本发明实施例的基于图像的排序测度特征获取图像的采样特征序列的过程示意图。对于图2(a)示出的图像，在获取该图像的排序测度特征时会对该图像进行分块，如图2(b)所示，对图像按4行、5列进行分块，从而得到了与该图像的排序测度特征对应的分块组，如图2(c)所示，共20个分块。对图像的排序测度特征对应的分块组进行下采样，从中抽取多个分块，如图2(d)所示，每隔一个分块采样一次，以斜方块底纹背景的分块代表OM特征采样分块，共采样了10个分块。接着如图2(e)所示对于所采样的分块并依次进行编号为1、2、3、4、5、6、7、8、9、10，并且这些分块对应的灰度均值如图2(f)所示分别为61、75、63、53、54、67、55、66、70、59。最后对所抽取的多个分块按照其灰度均值进行排序，以排序后的各分块编号构成的编号序列{4，5，7，10，1，3，8，6，9，2}作为该图像的采样特征序列。可以看出，下采样实际上就是抽取原序列的子序列，例如，对于一个样本序列间隔几个样本取样一次。这样得到新序列就是原序列的下采样，实际上就是得到一组数据量更少的样本。上文仅是对下采样进行举例说明，本发明并不对下采样的方式进行限制，可以采用各种下采样方式来对该图像的排序测度特征对应的分块组。例如，在其他实施例中，可以采用如图3(a)或图3(b)中所示的下采样方式从图像的排序测度特征对应的分块组中抽取多个分块。在一个优选的实施例中，可以采用不同的下采样方式对图像的排序测度特征对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列，从而避免采用单一采样方式可能遗漏OM特征的问题。

对用于检测/检索的图像库中每个图像都按照上述的方法和设定的采样方式，基于该图像的排序测度特征获取图像的采样特征序列。然后基于各个图像的采样特征序列构建该图像库的哈希表，也就是按照某种哈希函数将图像库中各个图像的采样特征序列映射到相应的哈希值。在一个实施例中，假设每次下采样的分块数为M，即从图像的排序测度特征对应的分块组(例如共N块)中抽取M个分块，其中M大于4并且小于N，那么图像的采样特征序列可以视为M个编号(即1至M)的某种特定排列。因此，可以将哈希函数设置为反映编号1至M的序列的M！种不同排列方式与在[1,M！]内的整数之间的一一对应关系，该一一对应关系是可以自定义的，只要保证不同的排列方式映射到不同的整数即可，例如，表1所示的对应关系的一个示例：

表1

哈希值	采样特征序列
		1	{1,2,3,4,5,6,7,8,9,10}
2	{1,2,3,4,5,6,7,8,10,9}
		3	{1,2,3,4,5,6,7,9,8,10}
4	{1,2,3,4,5,6,7,9,10,8}

…	…
		430401	{2,3,8,5,9,7,4,6,1,10}
…	…
		1234119	{4,5,7,10,1,3,8,6,9,2}
…	…
		3628799	{10,9,8,7,6,5,4,3,1,2}
3628800	{10,9,8,7,6,5,4,3,2,1}

可见，通过该哈希函数可以将图像的采样特征序列映射为在[1,M！]内的某个整数，该映射关系是可以自定义的，只要保证不同的采样特征序列映射到不同的整数即可。例如，还可以采用直接寻址法、数字分析法、平方取中法、折叠法、随机数法和除留余数法等来建立这样的映射关系。这样，基于设定的哈希函数为该图像库构建哈希表，该哈希表中，按照所述哈希函数将图像库中各个图像的采样特征序列映射到相应的哈希值，即[1,M！]内的某个整数。根据上述示例的对应关系，以图2的图像的采样特征序列{4，5，7，10，1，3，8，6，9，2}为例，其对应的哈希值为1234119。在建立哈希表时，如果出现散列冲突问题，则可以采用现有的开放寻址或链表方式来解决。

在一个优选的实施例中，可以采用不同的下采样方式图像库中每个图像进行多次下采样，从而得到同一图像的多个采样特征序列。接着对按照同一种下采样方式获取的图像库中的各图像的采样特征序列构建哈希表，这样可以得到图像库的多个哈希表，每个哈希表对应于不同的采样方式。这样，可以确保在进行图像匹配时不会导致相似OM特征被遗漏，具有较高的召回率。

图4给出了根据本发明的一个实施例中面向排序测度特征的图像匹配方法，该方法主要包括以下步骤：

步骤401，对于待检测图像，获取其排序测度特征和采样特征序列。在一个实施例中，在获取待检测图像的采样特征序列时，可采用多种下采样方式来对于该图像的排序测度特征对应的分块组进行多次下采样，得到该图像的多个采样特征序列，从而尽量避免遗漏特征，以提高匹配的准确性。

步骤403，根据设定的哈希函数对待检测图像的采样特征序列进行哈希，得到该待检测图像的采样特征序列的哈希值，基于该哈希值从图像库的一个或多个哈希表中进行检索，选出该哈希值匹配的图像作为该检测图像的候选图像。

步骤405，计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度，从而确定所述图像库中与该待检测图像匹配的图像。其中图像的排序测度特征之间的相似度可以采用现有的各种排序测度特征相似度计算方法来得到，例如参考文献1(D.Bhat and S.Nayar,"Ordinal measures for image correspondence,"in IEEETrans.on Pattern Analysis and Machine Intelligence,20 Issue:4,pp.415-423,April 1998.)中提供的方法。

在本发明的又一个实施例中，还提供了一种面向排序测度特征的图像匹配系统，所述系统包括：

用于对于待检测图像，获取其排序测度特征和采样特征序列的装置；

用于采用上文所述的哈希函数对待检测图像的采样特征序列进行哈希，并基于哈希的结果来从图像库的哈希表中选择多个候选图像的装置；

用于计算该待检测图像的排序测度特征和各个候选图像的排序测度特征的相似度，以确定所述图像库中与该待检测图像匹配的图像的装置；

其中，按照上文介绍的方法来获取每个图像的采样特征序列，在所述图像库的哈希表中，按照上文所述的哈希函数将图像库中各个图像的采样特征序列映射到相应的哈希值。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims

1.一种面向排序测度特征的图像匹配方法，所述图像匹配方法包括：

步骤1，对于待检测图像，获取其排序测度特征和采样特征序列，其中，每个图像的采样特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行下采样，从中抽取多个分块并依次进行编号；然后对所抽取的多个分块按照其灰度均值进行排序，以排序后的各分块编号构成的编号序列作为该图像的采样特征序列；

2.根据权利要求1所述的面向排序测度特征的图像匹配方法，其中在获取图像的采样特征序列时，按照多种下采样方式来对于图像的排序测度特征对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列。

3.根据权利要求2所述的面向排序测度特征的图像匹配方法，还包括对按照同一种下采样方式获取的图像库中的各图像的采样特征序列构建哈希表。

4.根据权利要求3所述的面向排序测度特征的图像匹配方法，在步骤2根据设定的哈希函数对待检测图像的多个采样特征序列分别进行哈希，并基于哈希的结果来从图像库的多个哈希表中选择候选图像。

5.根据权利要求1所述的面向排序测度特征的图像匹配方法，其中所述哈希函数表示分块编号1至M的序列的M！种不同排列方式与在[1,M！]内的整数之间的一一对应关系，其中M表示在获取图像的采样特征序列时，对图像的排序测度特征对应的分块组进行下采样所抽取的多个分块的数量。

6.一种面向排序测度特征的图像匹配系统，所述系统包括：

用于对于待检测图像，获取其排序测度特征和采样特征序列的装置，其中，每个图像的采样特征序列是通过下面的方式获取的：对该图像的排序测度特征对应的分块组进行下采样，从中抽取多个分块并依次进行编号；然后对所抽取的多个分块按照其灰度均值进行排序，以排序后的各分块编号构成的编号序列作为该图像的采样特征序列；

7.根据权利要求6所述的面向排序测度特征的图像匹配系统，其中在获取图像的采样特征序列时，按照多种下采样方式来对于图像的排序测度特征对应的分块组进行多次下采样，从而得到同一图像的多个采样特征序列。

8.根据权利要求7所述的面向排序测度特征的图像匹配系统，还包括用于对按照同一种下采样方式获取的图像库中的各图像的采样特征序列构建哈希表的装置。

9.根据权利要求6所述的面向排序测度特征的图像匹配系统，其中所述哈希函数表示分块编号1至M的序列的M！种不同排列方式与在[1,M！]内的整数之间的一一对应关系，其中M表示在获取图像的采样特征序列时，对图像的排序测度特征对应的分块组进行下采样所抽取的多个分块的数量。