CN104408092B - 基于排序测度特征的图像检索方法及系统 - Google Patents

Abstract

本发明提供一种基于排序测度特征的图像检索方法，该方法基于分块属性值相似度和位置相似度对待检测图像的排序测度特征进行置换以得到该图像的多个排序测度特征，从图像库中检索出其排序测度特征与待检测图像的任一排序测度特征相同的图像。该方法不需要计算排序测度特征之间的相似度，而是以定长字符串的比较方式匹配排序测度特征，提高了比对和检索的速度，适用于大规模图像检索。而且基于分块属性值相似度和位置相似度来对排序测度特征进行置换，这种置换考虑的属性值大小的分布，弥补了原OM特征仅考虑属性值高低而不考虑属性值差别大小的不足。

Description

基于排序测度特征的图像检索方法及系统

技术领域

本发明涉及基于内容的图像视频检索技术，尤其涉及基于排序测度特征的图像检索方法。

背景技术

互联网图像和视频等视觉信息的迅速增长，给信息的组织与管理带来了巨大挑战，对海量图像视频进行内容分析与检测的需求越来越大，图像视频拷贝检测、视频索引和视频搜索引擎等技术应运而生。目前这些技术中通常使用排序测度(Ordinal Measure,OM)特征作为对视频/图像内容的特征描述。排序测度特征反应了一幅图像的相对密度分布，它利用图像子块灰度均值的排序关系作为图像的索引特征。通常排序测度特征可通过下面的方式来提取的：首先对视频帧或图像分块并对每个分块编号，进而计算每个分块的灰度均值，再按照灰度均值从高到底(或从低到高)对分块排序，将排序后每个分块的编号串联形成一个编号序列(即排序测度)，作为该视频帧或图像的特征。OM特征并不强调两个度量之间的大小差别，而是强调它们之间的顺序关系。

基于测度排序特征的图像检索方法的本质就是计算待检测图像与图像库中图像的排序测度序列的相似度。排序测度特征的相似度的计算方法可参见文献1(D.Bhat andS.Nayar,"Ordinal measures for image correspondence,"in IEEE Trans.on PatternAnalysis and Machine Intelligence,20Issue:4,pp.415-423,April 1998.)。然而，由于排序测度特征本质是一个字串序列，因此难以对OM特征直接建立索引，所以在进行图像检索时，需要依次计算待检测图像与图像库中所有图像的排序测度序列的相似度，将所计算的相似度与设定的阈值进行比较来判定是否相似。随着图像库中图像数量的增加，其匹配速度会会明显下降。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于排序测度特征的快速的图像检索方法。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种基于排序测度特征的图像检索方法，包括：

步骤1，将待检测图像分成多个子块并对子块进行编号，以按子块属性值排序后的子块的编号序列作为所述待检测图像的初始的排序测度特征；

步骤2，对于按子块属性值排序后的每两个相邻的子块，根据这两个子块的属性值相近程度和这两个子块在排序前的位置相邻程度来判断是否可以置换，如果可以置换，则在初始的排序测度特征中交换这两个子块编号的位置，得到所述待检测图像的又一个排序测度特征；

步骤3，从用于检索的图像库中，选出其排序测度特征与所述待检测图像的任一排序测度特征相同的图像作为检索结果。

上述方法中，所述子块属性值可以为子块的灰度均值、子块的梯度或子块的信息熵。

上述方法中，所述步骤2中判定是否可以发生置换的步骤可包括：

对于按子块属性值排序后的每两个相邻的子块，通过对这两个子块的属性值相近程度和这两个子块在排序前的位置相邻程度进行线性加权，来计算所选出相邻子块对发生置换的可能性；

其发生置换的可能性大于设定的置换阈值的相邻子块对或其发生置换的可能性大的前若干相邻子块对判定为可以发生置换。

上述方法中，所述步骤2中判定是否可以发生置换的步骤可包括：

按子块属性值排序后两个相邻子块的属性值相近程度，选出其属性值相近程度大于设定的属性阈值的相邻子块对；

对于所选出的相邻子块对，计算排序后两个相邻子块在排序前的位置相邻程度；

对所选出的相邻子块对，将其属性值相近程度和位置相近程度进行线性加权，计算所选出相邻子块对发生置换的可能性；

其发生置换的可能性大于设定的置换阈值的相邻子块对或其发生置换的可能性大的前若干相邻子块对判定为可以发生置换。

上述方法中，所述步骤2中所述两个相邻子块属性值的相近程度可以下面的方式进行计算：按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度S_i＝1－(M_b2–M_b1)*2*100％/(M_b2+M_b1)，其中1≤i<N，M_b1和M_b2分别为这两个子块对应属性值。

上述方法中，所述步骤2中所述两个相邻子块属性值的相近程度可以下面的方式进行计算：

按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度S_i＝1－(M_b2^2–M_b1^2)*100％/(M_b2^2+M_b1^2),其中1≤i<N，M_b1和M_b2分别为这两个子块对应属性值。

上述方法中，所述步骤2中所述两个相邻子块在排序前的位置相邻程度可以下面的方式进行计算：

按子块属性值排序后的子块序列中第i和i+1个子块在排序前的位置相近程度L_i＝1-D_i/D_max*100％，其中1≤i<N，D_i＝max((R_i+1-R_i),(C_i+1-C_i))，D_max＝(max(R,C)-1)，R和C代表对图像进行分块后的行数和列数，R_i与C_i、R_i+1与C_i+1分别表示第i和i+1个子块在分块后图像中所处的行号和列号。

上述方法中，所述步骤2中所述两个相邻子块在排序前的位置相邻程度可以下面的方式进行计算：

按子块属性值排序后的子块序列中第i和i+1个子块在排序前的位置相近程度L_i＝1-D_i/(R+C)*100％，其中1≤i<N，D_i＝max((R_i+1-R_i),(C_i+1-C_i))，R和C代表对图像进行分块后的行数和列数，R_i与C_i、R_i+1与C_i+1分别表示第i和i+1个子块在分块后图像中所处的行号与列号。

又一方面，本发明提供了一种基于排序测度特征的图像检索系统，包括：

分块装置，用于将待检测图像分成多个子块并对子块进行编号，以按子块属性值排序后的子块的编号序列作为所述待检测图像的初始的排序测度特征；

置换装置，用于对于按子块属性值排序后的每两个相邻的子块，根据这两个子块的属性值相近程度和这两个子块在排序前的位置相邻程度来判断是否可以置换，如果可以置换，则在初始的排序测度特征中交换这两个子块编号的位置，得到所述待检测图像的又一个排序测度特征；

检索装置，用于从用于检索的图像库中，选出其排序测度特征与所述待检测图像的任一排序测度特征相同的图像作为检索结果。

上述系统中，所述子块属性值可以为子块的灰度均值、子块的梯度或子块的信息熵。

与现有技术相比，本发明的优点在于：

对待检测图像的排序测度特征进行置换以得到该图像的多个OM特征，从而在检索图像时，不需要计算排序测度特征之间的相似度，而是通过采用定长字符串的比较方式来判定是否存在其特征与待检测图像的任一OM特征相同的图像，从而提高了比对和检索的速度，适用于大规模图像检索。而且基于分块属性值相似度和位置相似度来对排序测度特征进行置换，这种置换考虑的属性值大小的分布，弥补了原OM特征仅考虑属性值高低而不考虑属性值差别大小的不足。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的基于排序测度特征的图像检索方法的流程示意图；

图2(a)-(b)给出了提取图像的排序测度特征的过程示意图；

图2(c)给出了提取图像子块的二维坐标示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1给出了根据本发明一个实施例的基于排序测度特征的图像检索方法的流程示意图。概括说来，该方法对待检测图像的排序测度特征进行置换以得到该图像的多个排序测度特征，从图像库中选出其排序测度特征与待检测图像的任一排序测度特征相同的图像作为检索结果。该方法将两个排序测度特征之间相似度的计算转化为多个定长字符串的比对，提高了大规模图像检索的速度和效率。如图1所示，该方法主要包括下列步骤：

在步骤101，将待检测图像分成多个子块并对子块进行编号，以按子块属性值排序后的子块的编号序列作为待检测图像的初始的排序测度特征。

图2(a)-(b)给出了提取图像的排序测度特征的过程示意图。以图2(a)所示的图像为例，首先对待检测的图像进行分块，假设将图像分为N＝R*C(R为行数，C为列数)个子块。接着按照一定的方式对子块进行编号。例如，如图2(b)所示的按之字形自上而下，自左而右对子块进行编号，编号分别记为1、2、...、N。然后计算每个子块的属性值。在一个实施例中，以子块的灰度均值作为子块属性值。在其他实施例中，以子块的梯度或子块的信息熵作为子块的属性值。在本发明的实施例中，不对此进行限制。以图2(b)为例，将子块的灰度均值作为该子块的属性值，记为<M₁,M₂,...,M_N>；其中M₁表示编号为1的子块的灰度均值，依次类推，M_N表示编号为N的子块的灰度均值。然后对这N个子块按照其属性值进行排序，也就是按照其灰度均值或从低到高(或从高到底)对分块进行排序，将排序后的子块编号串联形成一个编号序列<O₁,O₂,…,O_N>，作为该图像的排序测度特征。以图2(b)提供的灰度值为例，按灰度值从低到高排序得到的灰度值序列为<72,81,86,98,121,126,127,133,159,171,172>，则排序后的子编号序列为<1,2,4,3,8,6,7,5,12,11,9,10>,即图2(a)示出的图像的初始的排序测度特征。

继续参考图1，在步骤103，对于按子块属性值排序后的每两个相邻的子块，判断是否可以置换，如果可以置换，则在初始的排序测度特征中交换这两个子块编号的位置，得到待检测图像的又一个排序测度特征。

其中，根据排序后两个相邻子块的属性值相近程度和这两个子块在排序前的位置相邻关系来判定相邻的两个子块是否可以发生置换。也就是当排序后相邻两个子块的属性值相近且这两个子块在排序前的位置也相近，那么就可以对这两个子块进行置换，例如图2(b)中编号为9和10的子块，编号为6和7的子块，编号为9和11的子块。

在一个实施例中，按子块属性值排序后两个相邻子块的属性值相近程度通过下面的方式来计算：

按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度S_i＝1－(M_b2–M_b1)*2*100％/(M_b2+M_b1)(1≤i<N)，其中M_b1和M_b2分别为这两个子块对应属性值。

在又一个实施例中，按子块属性值排序后两个相邻子块的属性值相近程度通过下面的方式来计算：

按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度S_i＝1－(M_b2-M_b1)^2*100％/(M_b2+M_b1)^2(1≤i<N)，其中M_b1和M_b2分别为这两个子块对应属性值。

在又一个实施例中，按子块属性值排序后两个相邻子块的属性值相近程度通过下面的方式来计算：

按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度S_i＝1－(M_b2^2–M_b1^2)*100％/(M_b2^2+M_b1^2)(1≤i<N)，其中M_b1和M_b2分别为这两个子块对应属性值。

可以看出，两个子块的属性值越接近，则二者之间的相近度也越大。

在又一个实施例中，排序后两个相邻子块在排序前的位置相邻关系通过下面的方式来计算：

首先，按子块属性值排序后的子块序列中第i和i+1个子块的对应编号按照对排序前对图像进行分块的行数R和列数C转换为二维坐标，例如，图2(c)给出了各个子块排序前的二维坐标，其中R＝3，C＝4，例如编号为6的子块的二维坐标为(2，2)，编号为7的子块的二维坐标为(2，3)，坐标的基本单位为子块数。接着计算二者距离D_i＝max((R_i+1-R_i),(C_i+1-C_i))，其中距离以间隔分块数为基本单位，比如图2(c)中块(6)_(2，2)和(7)(2，3)的距离为1，块(9)_(3，1)和(4)_(1，4)的距离为3，因而分块间最大距离D_max＝(max(R,C)-1)。则排序后两个相邻子块在排序前的位置相近程度L_i＝1-D_i/D_max*100％，其中1≤i<N。

在又一个实施例中，按子块属性值排序后的子块序列中第i和i+1个子块在排序前的距离为D_i＝|R_i+1-R_i|+|C_i+1-C_i|，其中距离以间隔分块数为基本单位，则排序后这两个相邻子块在排序前的位置相近程度L_i＝1-D_i/(R+C)*100％，其中1≤i<N。

在又一个实施例中，按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度和这两个子块在排序前的位置相近度进行综合来判定相邻的两个子块发生置换的可能性P_i。例如，可以采用线性加权的方式，P_i＝a*S_i+b*L_i，其中a+b＝1且a∈(0,1],b∈[0,1)。其中a,b的值根据属性相似度为主，位置相邻为辅的原则来设置，即a>b。例如a可设为0.75，b可设为0.25，或者例如a可设为0.8，b可设为0.2，等等。在获取相邻的两个子块发生置换的可能性P_i之后，可选择发生置换的可能性大于设定的置换阈值的一对或多对两个相邻子块来分别进行置换。或者也可选择其发生置换的可能性大的前k个相邻子块对来分别进行置换。此处置换阈值或k的取值的设定可以根据实际需求和系统环境来设置，如果置换阈值设置得较大或k设置得较小，则计算量小，召回率会低。而如果置换阈值设置得较小或k设置得较大，则发生的置换多，计算量大，同时召回率也高。

在又一个实施例中，首先按子块属性值排序后两个相邻子块的属性值相近度，选出其属性值相近度大于设定属性阈值的相邻子块对。然后，对于所选出的相邻子块对，计算排序后两个相邻子块在排序前的位置相近度，然后按上文线性加权的方式，计算所选出相邻子块对发生置换的可能性。应理解，此处属性阈值的设定可以根据实际需求和系统环境来设置，如果属性阈值设置得较大，则计算量小，召回率会低。而如果属性阈值设置的较小，则发生的置换多，计算量大，同时召回率也高。

最后，选择其发生置换的可能性大于设定的置换阈值的一对或多对两个相邻子块进行置换，在初始的排序测度特征中交换这两个子块编号的位置，得到待检测图像的多个排序测度特征。与上文属性阈值类似，此处置换阈值的设定可以根据实际需求和系统环境来设置，如果置换阈值设置得较大，则计算量小，召回率会低。而如果置换阈值设置的较小，则发生的置换多，计算量大，同时召回率也高。

仍以图2(b)为例，对该图像的多个子块按子块属性值排序后得到<72,81,86,98,121,126,127,133,159,171,172,172>，则该图像的初始的排序测度特征为<1,2,4,3,8,5,6,7,12,11,9,10>。排序后相邻的第6和第7个子块的属性值127和126非常相近且这两个子块在排序前的位置(参考图2(b)中)为6和7也相邻，因此将二者在初始的排序测度特征中的编号位置进行交换得到一个新的排序测度特征<1,2,4,3,8,5,7,6,12,11,9,10>，其对应的子块属性值排列为<72,81,86,98,121,127,126,133,159,171,172,172>。排序后相邻的第10和第11个子块的属性值171和172非常相近且这两个子块在排序前的位置(参考图2(b)中)为11和9也接近，因此将二者在初始的排序测度特征中的编号位置进行交换得到又一个排序测度特征<1,2,4,3,8,5,6,7,12,9,11,10>，其对应的子块属性值排列为<72,81,86,98,121,126,127,133,159,172,171,172>。排序后相邻的第11和第12个子块的属性值172和172非常相近且这两个子块在排序前的位置(参考图2(b)中)为9和10也相邻，因此将二者在初始的排序测度特征中的编号位置进行交换得到又一个排序测度特征<1,2,4,3,8,5,6,7,12,11,10,9>，其对应的子块属性排列为<72,81,86,98,121,126,127,133,159,171,172,172>。

回到图1，在经上述置换得到待检测图像的多个排序测度特征之后，在步骤105，判定用于检索的图像库是否存在其排序测度特征与待检测图像的多个排序测度特征中任一个相同的图像，如果有，则将其作为检索结果，这样就可以从图像库中选出与待检测图像相似或匹配的图像。从上文可知，排序测度本质是字串序列，可以采用现有的各种定长字符串比较方法来判断两个排序测度特征是否相同。以图2(a)给出的待检测图像为例，将该图像的4个排序测度特征<1,2,4,3,8,5,6,7,12,11,9,10>、<1,2,4,3,8,5,7,6,12,11,9,10>、<1,2,4,3,8,5,6,7,12,9,11,10>、<1,2,4,3,8,5,6,7,12,11,10,9>依次与图像库中各图像的排序测度特征进行比较，图像库中其排序测度特征与上述4个排序测度特征中任意一个相同的图像都被判定为与该待检测图像相似的图像。

在本发明的又一个实施例中，还提供了一种基于排序测度特征的图像检索系统，其包括分块装置、置换装置和检索装置。其中，分块装置，用于将待检测图像分成多个子块并对子块进行编号，以按子块属性值排序后的子块的编号序列作为所述待检测图像的初始的排序测度特征。置换装置用于对于按子块属性值排序后的每两个相邻的子块，根据这两个子块的属性值相近程度和这两个子块在排序前的位置相邻关系来判断是否可以置换，如果可以置换，则在初始的排序测度特征中交换这两个子块编号的位置，得到所述待检测图像的又一个排序测度特征。检索装置用于从用于检索的图像库中，选出其排序测度特征与所述待检测图像的任一排序测度特征相同的图像作为检索结果。

通过上述的实施例可以看出，通过对待检测图像的OM特征进行置换后，无需计算相似度再根据设定阈值确定是否相似，而只需要判定是否存在与待检测图像的多个OM特征完全相同的序列，即可判定图像库中是否存在与待检测图像相似的图像。直接通过定长字符串直接比对来判断图像的相似性，有效提高了比对速度和图像的检索效率，使得使用OM特征直接建立索引成为可能，可用于海量图像库匹配和检索。同时在置换过程考虑了属性值分布范围，弥补了原OM特征仅考虑属性值高低不考虑属性值差别大小的不足，使得特征具有更高鲁棒性。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (10)

1.一种基于排序测度特征的图像检索方法，所述图像检索方法包括：

步骤1，将待检测图像分成多个子块并对子块进行编号，以按子块属性值排序后的子块的编号序列作为所述待检测图像的初始的排序测度特征；

步骤2，对于按子块属性值排序后的每两个相邻的子块，根据这两个子块的属性值相近程度和这两个子块在排序前的位置相邻程度来判断是否可以置换，如果这两个子块的属性值相近且这两个子块在排序前的位置也相近，则在初始的排序测度特征中交换这两个子块编号的位置，得到所述待检测图像的又一个排序测度特征；

步骤3，从用于检索的图像库中，选出其排序测度特征与所述待检测图像的任一排序测度特征相同的图像作为检索结果。

2.根据权利要求1所述的图像检索方法，其中所述子块属性值为子块的灰度均值、子块的梯度或子块的信息熵。

3.根据权利要求1所示的图像检索方法，所述步骤2中判定是否可以发生置换的步骤包括：

对于按子块属性值排序后的每两个相邻的子块，通过对这两个子块的属性值相近程度和这两个子块在排序前的位置相邻程度进行线性加权，来计算这两个相邻的子块发生置换的可能性；

其发生置换的可能性大于设定的置换阈值的两个相邻子块或其发生置换的可能性大的前若干相邻子块对判定为可以发生置换。

4.根据权利要求1所述的图像检索方法，所述步骤2中判定是否可以发生置换的步骤包括：

按子块属性值排序后两个相邻子块的属性值相近程度，选出其属性值相近程度大于设定的属性阈值的相邻子块对；

对于所选出的相邻子块对，计算排序后两个相邻子块在排序前的位置相邻程度；

对所选出的相邻子块对，将其属性值相近程度和位置相近程度进行线性加权，计算所选出相邻子块对发生置换的可能性；

其发生置换的可能性大于设定的置换阈值的相邻子块对或其发生置换的可能性大的前若干相邻子块对判定为可以发生置换。

5.根据权利要求1-4中任一项所述的图像检索方法，所述步骤2中所述两个相邻子块属性值的相近程度以下面的方式进行计算：按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度S_i＝1－(M_b2–M_b1)*2*100％/(M_b2+M_b1)，其中1≤i<N，M_b1和M_b2分别为这两个子块对应属性值，N表示子块的数量。

6.根据权利要求1-4中任一项所述的图像检索方法，所述步骤2中所述两个相邻子块属性值的相近程度以下面的方式进行计算：

按子块属性值排序后的子块序列中第i和i+1个子块的属性值相近度S_i＝1－(M_b2^2–M_b1^2)*100％/(M_b2^2+M_b1^2),其中1≤i<N，M_b1和M_b2分别为这两个子块对应属性值，N表示子块的数量。

7.根据权利要求1-4中任一项所述的图像检索方法，所述步骤2中所述两个相邻子块在排序前的位置相邻程度以下面的方式进行计算：

按子块属性值排序后的子块序列中第i和i+1个子块在排序前的位置相近程度L_i＝1-D_i/D_max*100％，其中1≤i<N，D_i＝max((R_i+1-R_i),(C_i+1-C_i))，D_max＝(max(R,C)-1)，R和C代表对图像进行分块后的行数和列数，R_i与C_i、R_i+1与C_i+1分别表示第i和i+1个子块在分块后图像中所处的行号和列号，N表示子块的数量。

8.根据权利要求1-4中任一项所述的图像检索方法，所述步骤2中所述两个相邻子块在排序前的位置相邻程度以下面的方式进行计算：

按子块属性值排序后的子块序列中第i和i+1个子块在排序前的位置相近程度L_i＝1-D_i/(R+C)*100％，其中1≤i<N，D_i＝max((R_i+1-R_i),(C_i+1-C_i))，R和C代表对图像进行分块后的行数和列数，R_i与C_i、R_i+1与C_i+1分别表示第i和i+1个子块在分块后图像中所处的行号与列号，N表示子块的数量。

9.一种基于排序测度特征的图像检索系统，所述图像检索系统包括：

分块装置，用于将待检测图像分成多个子块并对子块进行编号，以按子块属性值排序后的子块的编号序列作为所述待检测图像的初始的排序测度特征；

置换装置，用于对于按子块属性值排序后的每两个相邻的子块，根据这两个子块的属性值相近程度和这两个子块在排序前的位置相邻程度来判断是否可以置换，如果这两个子块的属性值相近且这两个子块在排序前的位置也相近，则在初始的排序测度特征中交换这两个子块编号的位置，得到所述待检测图像的又一个排序测度特征；

检索装置，用于从用于检索的图像库中，选出其排序测度特征与所述待检测图像的任一排序测度特征相同的图像作为检索结果。

10.根据权利要求9所述的图像检索系统，其中所述子块属性值为子块的灰度均值、子块的梯度或子块的信息熵。