CN1916906A - 基于信息突变的图像检索算法 - Google Patents

Abstract

一种基于图像突变的图像检索方法，涉及图像检索领域。目前，复杂背景下图像的自动分割方法过于简单，且容易破坏图像内部语义的相关性。本发明的首先将用户上传的样例图像的颜色数据从GRB空间转换到HSV空间，并归一化处理；然后根据像素间的相关性和信息突变特性，对图像进行初始分割，并根据分割后的像素块间的相似性，进行循环合并，将图像分割为3×3子块；分别抽取9个区域的特征向量，即HSV颜色直方图、分块主色以及中心矩；由用户从9个区域中选取感兴趣区域，与待检索图像进行的进行相似性比较，得到进行图像检索结果。本发明在图像的检索过程中兼顾检索算法的低复杂度与图像语义贴合性，检索结果与人类认知具有良好的一致性。

Description

基于信息突变的图像检索算法

技术领域

本发明涉及图像检索领域，设计和实现了一种基于信息突变的图像检索算法。

背景技术

随着互联网上大规模图像数据的激增，传统的文本搜索引擎已远不能满足人们信息检索的需求，基于内容的检索技术逐渐成为目前多媒体信息检索、人工智能、数据库等领域中一个新的研究热点。

基于内容的图像检索方法涉及到两个关键技术：图像特征的提取、表示方式以及检索算法中相似性度量准则的设定。目前，基于内容的图像特征提取、表示多是从图像的颜色、形状、纹理等底层特征入手，利用颜色直方图、共生矩阵、形状不变矩等对图像进行描述与存储，但这些方法都有其固有的缺陷。颜色直方图计算简单，但丧失了图像的空间信息；共生矩阵虽然兼顾了颜色和空间两方面的信息，却带来了算法复杂度的增加。为解决以上问题，一些检索系统，如BlobWorld系统和Netra系统等，在特征提取前对图像进行预分割，获得图像不同的目标区域，然后再基于图像区域抽取特征，由此获得了比基于全局图像特征更好的检索结果。

目前，复杂背景下图像的自动分割还是一个难点问题，而且即使得到这样的区域，要想对其正确表征需要抽取多维特征。对于大型图像数据库而言，高维向量的存储，以及高维空间中距离的计算，将导致算法复杂度成数量级增加。基于此，许多学者提出了一种提取图像的粗略区域的方法。其传统做法为：对图像进行固定子块的划分，提取各个子块的特征并进行检索。这种做法虽然考虑了图像的空间位置信息，但其分割方法过于简单，且容易破坏图像内部语义的相关性。因此，研究如何兼顾特征抽取、存储，检索算法的低复杂度与图像语义贴合性两方面的因素，将是一个有意义的尝试。

发明内容

本发明的目的是充分利用图像中所蕴含的丰富的颜色和空间信息，提出一种基于信息突变的图像检索方法。它根据图像特征制定相应的策略，通过粗略区域划分获得有意义的分割结果，并在此基础上抽取区域特征和设计相应的相似性度量算法，从而实现基于内容的图像检索。人类观察一幅图像时，总是依其颜色分布和目标物体形状进行识别。而目标物体边缘的局部小区域内往往对应着颜色信息的突变，因此，本发明把图像划分的关注点聚焦到颜色信息的突变上，并在此基础上制定相应的判别准则实现彩色图像自适应分割的目的。然后，分别抽取图像各个区域的HSV颜色直方图、分块主色以及中心矩，对图像区域特征进行刻画；在此基础上，本发明以直方图交叉距离为依据，利用分块主色对其进行加权后作为分子，用中心矩的差的平方作为分母，制定了图像的加权直方图距离实现对两幅图像进行相似性度量的目的。

本发明的技术思路特征为：

1.在图像分割过程中，利用图像的目标物体边缘的局部小区域内对应颜色信息突变的特点，对图像进行初始分割。

2.在每一次块搜索的过程中，利用当前像素块与相邻行、列像素之间有相关性的特点，通过垂直、水平拓展(见图1)，得到一个衡量颜色信息突变程度的拓展像素块，分别计算两者的颜色均值，相减后得到信息残差。

3.根据以上得到的信息残差，与一经验阈值相比较(该阈值取值为8，是由大量实验获得的)，若大于阈值则表示拓展像素块中存在颜色信息突变，本次块搜索结束，返回下一次块搜索的初始像素，重新开始块搜索；否则将继续进行本次块搜索，即继续向外拓展。

4.在一个方向(图像的横向或竖向)上利用块搜索规则反复进行块搜索，直到到达图像边界(图像的宽或高)，这样，将得到若干尺寸不等的像素块，将这样一次搜索定义为一次方向搜索(根据搜索方向不同分为横向搜索或竖向搜索)。根据这些得到的像素块，分别取其中具有最大或最小尺寸的像素块，将其对应尺寸作为本次方向搜索的最终分割的尺寸(见图2)。

5.在横、竖两个方向上分别反复进行方向搜索，直到到达图像边界，最终得到图像的初始分割方案(见图3(a))。

6.在垂直、水平两个方向分别对图像的初始分割区域进行合并，不断合并区域距离最小的两个区域，直到图像被划分为3×3子块，即9个区域(见图3(b))。

7.根据图像分割结果，分别抽取图像各个区域的HSV颜色直方图、分块主色以及中心矩，对区域特征进行刻画。

8.在检索过程中，本发明以利用主色进行加权后的直方图交叉距离为分子，用中心矩的差的平方作为分母，制定了图像的加权直方图距离，实现对两幅图像进行相似性度量的目的。

9.综合考虑，本发明在图像分割、区域特征提取以及图像检索的各个环节都充分考虑到图像颜色和空间信息的综合利用。通过检测颜色信息突变的方法对图像进行分割处理，区分出图像的目标区域和背景，得到符合人类视觉感知的图像区域；加权颜色直方图距离的制定充分利用图像分割和区域特征提取所获得的信息，大幅提高了图像的查准率，具有很好的检索效果。

本发明的技术方案流程图参见图4、图5。图4是本发明图像最大行距横向搜索方法的流程图，图5是本发明的整个检索方法的流程图。

一种基于信息突变的图像检索算法，其特征在于，包括下述步骤：

1)读入用户从外接数码相机中上传的或者读入计算机里储存的样例图像Sample，将其从RBG转换到HSV颜色空间，并将其中的色调H、饱和度S、亮度V三个分量按照公式(1)计算得到归一化分量L后，将L作为像素的颜色值；

                  L＝16H+4S+V                  (1)

2)将图像左上角的像素P₀(0，0)作为初始种子点，分别向下、向右扩展一行、一列像素，得到一正方形区域，计算该正方形区域内所有像素的颜色值的平均值，然后计算其与初始种子点颜色值的差值Dif，将Dif与阈值Thred＝8相比较，若Dif＞Thred则表示该区域中存在颜色信息突变；否则，仍以图像左上角的像素P₀(0，0)为初始种子点，以刚搜索完的区域为基础，再分别向下、向右扩展一行、一列像素，得到一新的正方形区域，计算该区域的颜色均值arg(new)，然后计算其与扩展前正方形区域的颜色均值arg(origin)的差值Dif，如(2)式所示：

           Dif＝arg(origin)-arg(new)             (2)

式中： $\arg \left(\mathrm{origin}\right)=\frac{1}{(k-1-\mathrm{br})(s-1-\mathrm{bc})}\underset{i=\mathrm{br}}{\overset{i=k-1}{\mathrm{\Σ}}}\underset{j=\mathrm{bc}}{\overset{j=s-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}---\left(3\right)$

$\arg \left(\mathrm{new}\right)=\frac{1}{(k-\mathrm{br})(s-\mathrm{bc})}\underset{i=\mathrm{br}}{\overset{i=k}{\mathrm{\Σ}}}\underset{j=\mathrm{bc}}{\overset{j=s}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}---\left(4\right)$

其中，br是初始种子的行号、bc是其列号，它们的初始值都为0；k和s分别代表新得到的正方形区域的右下角像素的行号、列号；P_ij表示第i行、第j列像素的颜色特征向量L的值；

再将Dif与阈值Thred相比较，直至Dif＞Thred即该区域中存在颜色信息突变时，本次搜索结束，将刚搜索过的区域定义为一个块，将对该块的搜索定义为一个块搜索；

3)以2)为基础对图像进行多方位、多尺寸的方向搜索，搜索分4次进行，分别为最大行距横向搜索、最小行距横向搜索、最大列距竖向搜索及最小列距竖向搜索；

横向搜索：

a1、重新定义2)中得到的块的右上角点的像素P_l(i，j)为新的初始种子点；

b1、以新定义的初始种子点为起点，分别向下、向右扩展一行、一列像素，得到一正方形区域，计算该正方形区域的颜色均值，然后计算其与新的初始种子点颜色值的差值Dif，将Dif与阈值Thred相比较，若Dif＞Thred则表示该区域中存在颜色信息突变；否则，仍以新定义的初始种子点为初始种子点，以刚搜索完的区域为基础，再向外扩展一行、一列像素，得到一新的正方形区域，计算该区域的颜色均值，然后计算其与未扩展前正方形区域的颜色均值的差值Dif，直至Dif＞Thred即该区域中存在颜色信息突变时，本次搜索结束；

c1、重新定义b1中得到的块的右上角点的像素P_l(i，j)为新的初始种子点；

d1、重复过程b1、c1，直至新定义的初始种子点超越图像的右边界，本次横向搜索结束，找出本次横向搜索过程中尺寸最大的像素块和尺寸最小的像素块，分别以它们的尺寸作为本次横向搜索的行间距，得到最大行距搜索区域和最小行距搜索区域；

e1、将得到的最大行距搜索区域和最小行距搜索区域的左下角分别作为下次横向搜索的初始种子点，按照b1至d1的步骤分别开始下次的横向搜索，得到新的最大行距搜索区域和最小行距搜索区域，如此往复，直至新定义的初始种子点超越图像的下边界，横向搜索结束；

在搜索的过程中，最大行距搜索和最小行距搜索是分别独立进行的，以M表示经过最大行距搜索和最小行距搜索后得到的总的行搜索区域的数目；在搜索的过程中，每次新搜索的开始都是以刚得到的分割后区域的左下角像素作为初始种子点；

纵向搜索：

a2、重新定义2)中得到的块的左下角点的像素P_ll(i，j)为新的初始种子点；

b2、以新定义的初始种子点为起点，分别向下、向右扩展一行、一列像素，得到一正方形区域，计算该正方形区域的颜色均值，然后计算其与新的初始种子点颜色值的差值Dif，将Dif与阈值Thred相比较，若Dif＞Thred则表示该区域中存在颜色信息突变；否则，仍以新定义的初始种子点为初始种子点，以刚搜索完的区域为基础，再分别向下、向右扩展一行、一列像素，得到一新的正方形区域，计算该区域的颜色均值，然后计算其与扩展前正方形区域的颜色均值的差值Dif，直至Dif＞Thred即该区域中存在颜色信息突变时，本次搜索结束；

c2、重新定义b2中得到的块的左下角点的像素P_l(i，j)为新的初始种子点；

d2、重复b2、c2的过程，直至新定义的初始种子点超越图像的下边界，本次纵向搜索结束，找出本次纵向搜索过程中尺寸最大的像素块和尺寸最小的像素块，分别以它们的尺寸作为本次纵向搜索的列间距，得到最大列距搜索区域和最小列距搜索区域；

e2、将得到的最大列距搜索区域和最小列距搜索区域的右上角的像素分别作为下次搜索的初始种子点，按照b2至d2的步骤，分别开始下次的纵向搜索，如此往复，直至新定义的初始种子点超越图像的右边界，列搜索结束；

在搜索的过程中，最大列距搜索和最小列距搜索是分别独立进行的，以N表示经过最大列距搜索和最小列距搜索后得到的总的列搜索区域的数目；在搜索的过程中，每次新搜索的开始都是以刚得到的分割后区域的右上角像素作为初始种子点；

4)经过2)和3)，任意一幅图像Sample在空间上被分割成M×N个子块，对分割结果进行区域合并，合并分别在垂直和水平方向上进行：

垂直方向的合并：

根据公式(5)循环计算相邻的两个行搜索区域的区域距离，得到M-1个区域距离Dis，即：从第一个区域开始，计算第一个区域与第二个区域的区域距离、第二个区域与第三个区域的区域距离、第三个区域与第四个区域的区域距离，如此往复，直至计算出第M-1个区域与第M个区域的区域距离；

$\mathrm{Dis}=\frac{n_i\×n_j}{n_i+n_j}\×|{\arg }_i-{\arg }_j|---\left(5\right)$

式中，arg_i，arg_j分别表示两个区域的颜色均值，n_i，n_j分别表示两个区域的总像素数；

从M-1个计算结果中选取最小值，并将该最小值对应的两个行区域合并，从而得到M-1个合并后的区域；对新得到的所有行区域再次循环计算新合并后的相邻行区域的区域距离Dis，从计算结果中选取新的最小值，并将该新的最小值对应的两个行区域合并，从而进一步得到M-2个行区域；如此往复，直到图像在垂直方向上被划分为3个区域；

水平列方向的合并：

根据公式(5)循环计算相邻的两个列搜索区域的区域距离，得到N-1个区域距离Dis，即：从第一个区域开始，计算第一个区域与第二个区域的区域距离、第二个区域与第三个区域的区域距离、第三个区域与第四个区域的区域距离，如此往复，直至计算出第N-1个区域与第N个区域的区域距离；从N-1个计算结果中选取最小值，并将该最小值对应的两个列区域合并，从而得到N-1个合并后的区域；对新得到的所有列区域再次循环计算新合并后的相邻列区域的区域距离Dis，从计算结果中选取新的最小值，并将该新的最小值对应的两个列区域合并，从而进一步得到N-2个列区域；如此往复，直到图像在水平方向上被划分为3个区域；

经过垂直方向的合并与水平方向的合并后，整个图像被划分为3×3子块；

5)分别抽取图像各个子块的HSV颜色直方图His＝{p_t|0≤t＜72}、分块主色M_c(c＝1，2，3)以及中心矩σ，其中，分块主色M_c表示区域颜色概率值位于前三位最大值的三种颜色；区域的中心矩σ定义如下：

$\mathrm{\σ}=\frac{1}{n}\underset{q=0}{\overset{n-1}{\mathrm{\Σ}}}{(P_q-\mathrm{arv})}^2---\left(6\right)$

式中，P_q表示该区域内某一点像素的颜色值，n表示该区域内的像素的总数，arv表示该区域内所有像素的颜色的平均值；

6)由用户从9个子块中任意选取一块感兴趣区域A，设其颜色直方图为His_A＝{p_t|0≤t＜72}，分块主色为M_Ac(c＝1，2，3)，中心矩为σ_A；

7)从待检索的图像数据库中任取某一幅图像S，设其9个分割区域中的任意一个为B，其颜色直方图为His_B＝{p_t|0≤t＜72}，分块主色为M_Bc(c＝1，2，3)，中心矩为σ_B，根据下式计算A与B的相似距离D(A，B)，

$D(A,B)=\frac{1}{{({\mathrm{\σ}}_A-{\mathrm{\σ}}_B)}^2}\×\mathrm{WHis}---\left(7\right)$

其中，

$\mathrm{WHis}=\frac{\underset{c=1}{\overset{c=3}{\mathrm{\Σ}}}{W}_c\×\min (A_{t=M_{\mathrm{Ac}}},B_{t=M_{\mathrm{Ac}}})+\underset{t=0,t\≠M_{A1},M_{A2},M_{A3}}{\overset{t=71}{\mathrm{\Σ}}}\min (A_t,B_t)}{W_1+W_2+W_3}---\left(8\right)$

公式(8)表示以直方图交叉距离为依据，对感兴趣区的分块主色进行加权；

在分子中，A_t，B_t分别表示A与B的72维颜色直方图中某一种颜色t的颜色分布概率值，min(A_t，B_t)表示将A与B的72个颜色概率值全部进行对应求最小值处理， $\min (A_{t=M_{\mathrm{Ac}}},B_{t=M_{\mathrm{Ac}}})$ 表示与A的三个分块主色值相等的3个颜色值所求得的最小值，在此基础上，用W_c进行加权，权值分别为W₁＝2.5，W₂＝2，W₃＝1.5，即如公式(8)中分子的前半部分所示；而对于A与B的72维颜色直方图中与A的三个分块主色值不相等的69个颜色值在进行对应求最小值处理后，对所得的最小值进行累加求和，而不进行加权，即如公式(8)中分子的后半部分所示；

8)循环计算图象S的9个区域与样例图像Sample的感兴趣区A的相似距离，取相似距离最大区域的相似距离作为S与Sample的距离；

9)按照7)至8)计算数据库中所有图像与Sample的相似距离；

10)将所有相似距离按从大到小排序，返回检索结果。

本发明的原理为：通过对实际情况的考察，发现用户对一幅图像的关注点一般集中在图像的目标物体上，因此对检索效果的评价也以其是否更好地体现出目标物体为准。基于这个原因，可以考虑首先对图像进行处理，将目标物体从背景中划分出来，然后在此基础上基于用户的感兴趣区进行图像检索。

在进行图像处理的过程中，通过观察发现，对于一般的图像，其目标物体边缘的局部小区域内往往对应着颜色信息的突变，通过探测这些信息的突变可以将图像的目标物体与背景分割开。本发明中，基于这一原理对图像进行图像分割，然后基于区域对图像进行特征的提取。不仅如此，本发明在特征提取和相似性度量因子的制定上都充分考虑了图像的颜色和空间信息，把图像的综合特征运用于图像的检索过程中。实验结果表明，该方法能有效的利用图像的颜色和空间特征，检索结果与人类认知具有良好的一致性。

附图说明

图1是图像块搜索示意图；图中1：原像素块；2：拓展像素块；

图2是图像最大行距横向搜索示意图(其它三种搜索方式同理)；图中3：经过一次最大行距横向搜索后得到的分割区域；4：经过第二次最大行距横向搜索后得到的分割区域；5：经过第三次最大行距横向搜索后得到的分割区域；

图3(a)是图像经过初始分割后的分割结果示意图；(b)是区域合并后的分割结果示意图；

图4是本发明采用的最大行距横向搜索的分割方法的流程图(其它三种方式同理)；

图5是本发明采用的整个图像检索方法的流程图；

图6是用户上传的样例图像sample；

图7(a)(b)(c)(d)分别是sample经过最大行距横向分割、最小行距横向分割、最大列距竖向分割以及最小列距竖向分割后得到的分割结果；

图8(a)是sample经过图像的初始分割后得到的分割结果；(b)是初始分割结果再经过区域合并后得到的最终的图像分割结果；

图9是用户从sample的9个分割区域中选取的感兴趣区域；

图10是图像的检索结果；(a)为利用本发明提出的方法得到的检索结果；(b)为利用传统的基于全局颜色直方图的方法得到的检索结果。

具体实施方式

在实际的使用当中，首先是由用户上传一幅样例图像sample(见图6)。

具体实施中，在计算机中完成以下程序：

第一步：读入用户上传的样例图像。

第二步：将原始图像的颜色数据从RBG空间转换到HSV空间，并从其中提取L分量作为像素颜色值。

第三步：对图像分别进行最大行距横向分割(见图7(a))、最小行距横向分割(见图7(b))、最大列距竖向分割(见图7(c))以及最小列距竖向分割(见图7(d))。

第四步：根据初始分割结果(见图8(a))在垂直与水平方向分别进行图像合并，直到图像被划分成3×3区域(见图8(b))。

第五步：由用户从这9个区域中选取某一感兴趣区域A(见图9)。

第六步：读入用户选取的感兴趣区A，提取其HSV颜色直方图、分块主色以及中心矩。

第七步：按顺序取出图像数据库中的图像。

第八步：将库中图像的9个区域分别与感兴趣区域A进行相似性的度量，并将其中的最大值作为该图像与样例图像的相似距离。

第九步：依次计算图像数据库中所有图像与样例图像的相似距离，并按相似距离从大到小将数据库中图像排序，作为最终的检索结果返回给用户。

为了验证本发明所提出的方法的性能，在一个由1000余幅各类古建筑风景图像组成的图像数据库上进行了大量试验，并将检索效果与一些经典算法进行了比较。这些图像的背景细节均较丰富，并且多存在目标物体与背景物体相互遮挡的情况。同时，为了增加实验的客观性，首先将这1000余幅图像根据其表现内容不同手工划分为不同的类别，包含：碑、塔、殿等。在比较中，主要从实际检索结果、检索准确度两个方面比较。实验条件如下：主机为P42.4CPU，512M内存，编码采用JAVA语言，JDK1.4。检索结果如图10所示((a)为利用本发明提出的方法得到的检索结果；(b)为利用传统的基于全局颜色直方图的方法得到的检索结果)，检索准确度如表1。

从图10中可看出，对于感兴趣区域面积较小的图像，本发明的方法的检索效果要明显优于传统的基于全局颜色直方图的方法的检索效果。本发明中提出的图像自动分割算法通过对图像预处理，可以较精确的将图像中的目标物体与背景分割开，并通过提取相应的直方图、主色等特征对其进行标记。又由于在检索中对分块主色进行了加权，且通过遍历性匹配方式增加了方法的鲁棒性，因此，检索结果与样例图像的语义相关性很好。从表1可看出，本发明所提出的方法在检索的准确度上明显优于传统方法。

从实验结果中可以看出，本发明的方法与传统经典方法比较，整体检索效果最优，证明了本发明的有效性。

表1、检索准确度比较

图像类别	全局颜色直方图法	固定分块颜色直方图法	本发明提出的方法
				殿	71.1％	69.2％	83.6％
寺庙	72.6％	75.3％	82.8％
				河湖	89.4％	88.5％	92.1％
树木	85.3％	87.6％	88.2％

Claims (1)

1.一种基于信息突变的图像检索算法，其特征在于，包括下述步骤：

1)读入用户从外接数码相机中上传的或者读入计算机里储存的样例图像Sample，将其从RBG转换到HSV颜色空间，并将其中的色调H、饱和度S、亮度V三个分量按照公式(1)计算得到归一化分量L后，将L作为像素的颜色值；

L＝16H+4S+V                    (1)

2)将图像左上角的像素P₀(0，0)作为初始种子点，分别向下、向右扩展一行、一列像素，得到一正方形区域，计算该正方形区域内所有像素的颜色值的平均值，然后计算其与初始种子点颜色值的差值Dif，将Dif与阈值Thred＝8相比较，若Dif＞Thred则表示该区域中存在颜色信息突变；否则，仍以图像左上角的像素P₀(0，0)为初始种子点，以刚搜索完的区域为基础，再分别向下、向右扩展一行、一列像素，得到一新的正方形区域，计算该区域的颜色均值arg(new)，然后计算其与扩展前正方形区域的颜色均值arg(origin)的差值Dif，如(2)式所示：

Dif＝arg(origin)-arg(new)                (2)

式中： $\arg \left(\mathrm{origin}\right)=\frac{1}{(k-1-\mathrm{br})(s-1-\mathrm{bc})}\underset{i=\mathrm{br}}{\overset{i=k-1}{\mathrm{\Σ}}}\underset{j=\mathrm{bc}}{\overset{j=s-1}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}---\left(3\right)$

$\arg \left(\mathrm{new}\right)=\frac{1}{(k-\mathrm{br})(s-\mathrm{bc})}\underset{i=\mathrm{br}}{\overset{i=k}{\mathrm{\Σ}}}\underset{j=\mathrm{bc}}{\overset{j=s}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}---\left(4\right)$

其中，br是初始种子的行号、bc是其列号，它们的初始值都为0；k和s分别代表新得到的正方形区域的右下角像素的行号、列号；P_ij表示第i行、第j列像素的颜色特征向量L的值；

再将Dif与阈值Thred相比较，直至Dif＞Thred即该区域中存在颜色信息突变时，本次搜索结束，将刚搜索过的区域定义为一个块，将对该块的搜索定义为一个块搜索；

3)以2)为基础对图像进行多方位、多尺寸的方向搜索，搜索分4次进行，分别为最大行距横向搜索、最小行距横向搜索、最大列距竖向搜索及最小列距竖向搜索；

横向搜索：

a1、重新定义2)中得到的块的右上角点的像素P₁(i，j)为新的初始种子点；

b1、以新定义的初始种子点为起点，分别向下、向右扩展一行、一列像素，得到一正方形区域，计算该正方形区域的颜色均值，然后计算其与新的初始种子点颜色值的差值Dif，将Dif与阈值Thred相比较，若Dif＞Thred则表示该区域中存在颜色信息突变；否则，仍以新定义的初始种子点为初始种子点，以刚搜索完的区域为基础，再向外扩展一行、一列像素，得到一新的正方形区域，计算该区域的颜色均值，然后计算其与未扩展前正方形区域的颜色均值的差值Dif，直至Dif＞Thred即该区域中存在颜色信息突变时，本次搜索结束；

c1、重新定义b1中得到的块的右上角点的像素P₁(i，j)为新的初始种子点；

d1、重复过程b1、c1，直至新定义的初始种子点超越图像的右边界，本次横向搜索结束，找出本次横向搜索过程中尺寸最大的像素块和尺寸最小的像素块，分别以它们的尺寸作为本次横向搜索的行间距，得到最大行距搜索区域和最小行距搜索区域；

e1、将得到的最大行距搜索区域和最小行距搜索区域的左下角分别作为下次横向搜索的初始种子点，按照b1至d1的步骤分别开始下次的横向搜索，得到新的最大行距搜索区域和最小行距搜索区域，如此往复，直至新定义的初始种子点超越图像的下边界，横向搜索结束；

在搜索的过程中，最大行距搜索和最小行距搜索是分别独立进行的，以M表示经过最大行距搜索和最小行距搜索后得到的总的行搜索区域的数目；在搜索的过程中，每次新搜索的开始都是以刚得到的分割后区域的左下角像素作为初始种子点；

纵向搜索：

a2、重新定义2)中得到的块的左下角点的像素P_.11(i，j)为新的初始种子点；

b2、以新定义的初始种子点为起点，分别向下、向右扩展一行、一列像素，得到一正方形区域，计算该正方形区域的颜色均值，然后计算其与新的初始种子点颜色值的差值Dif，将Dif与阈值Thred相比较，若Dif＞Thred则表示该区域中存在颜色信息突变；否则，仍以新定义的初始种子点为初始种子点，以刚搜索完的区域为基础，再分别向下、向右扩展一行、一列像素，得到一新的正方形区域，计算该区域的颜色均值，然后计算其与扩展前正方形区域的颜色均值的差值Dif，直至Dif＞Thred即该区域中存在颜色信息突变时，本次搜索结束；

c2、重新定义b2中得到的块的左下角点的像素P₁(i，j)为新的初始种子点；

d2、重复b2、c2的过程，直至新定义的初始种子点超越图像的下边界，本次纵向搜索结束，找出本次纵向搜索过程中尺寸最大的像素块和尺寸最小的像素块，分别以它们的尺寸作为本次纵向搜索的列间距，得到最大列距搜索区域和最小列距搜索区域；

e2、将得到的最大列距搜索区域和最小列距搜索区域的右上角的像素分别作为下次搜索的初始种子点，按照b2至d2的步骤，分别开始下次的纵向搜索，如此往复，直至新定义的初始种子点超越图像的右边界，列搜索结束；

在搜索的过程中，最大列距搜索和最小列距搜索是分别独立进行的，以N表示经过最大列距搜索和最小列距搜索后得到的总的列搜索区域的数目；在搜索的过程中，每次新搜索的开始都是以刚得到的分割后区域的右上角像素作为初始种子点；

4)经过2)和3)，任意一幅图像Sample在空间上被分割成M×N个子块，对分割结果进行区域合并，合并分别在垂直和水平方向上进行：

垂直方向的合并：

根据公式(5)循环计算相邻的两个行搜索区域的区域距离，得到M-1个区域距离Dis，即：从第一个区域开始，计算第一个区域与第二个区域的区域距离、第二个区域与第三个区域的区域距离、第三个区域与第四个区域的区域距离，如此往复，直至计算出第M-1个区域与第M个区域的区域距离；

$\mathrm{Dis}=\frac{n_i\×n_j}{n_i+n_j}\×|{\arg }_i-{\arg }_j|---\left(5\right)$

式中，arg_i，arg_j分别表示两个区域的颜色均值，n_i，n_j分别表示两个区域的总像素数；

从M-1个计算结果中选取最小值，并将该最小值对应的两个行区域合并，从而得到M-1个合并后的区域；对新得到的所有行区域再次循环计算新合并后的相邻行区域的区域距离Dis，从计算结果中选取新的最小值，并将该新的最小值对应的两个行区域合并，从而进一步得到M-2个行区域；如此往复，直到图像在垂直方向上被划分为3个区域；

水平列方向的合并：

根据公式(5)循环计算相邻的两个列搜索区域的区域距离，得到N-1个区域距离Dis，即：从第一个区域开始，计算第一个区域与第二个区域的区域距离、第二个区域与第三个区域的区域距离、第三个区域与第四个区域的区域距离，如此往复，直至计算出第N-1个区域与第N个区域的区域距离；从N-1个计算结果中选取最小值，并将该最小值对应的两个列区域合并，从而得到N-1个合并后的区域；对新得到的所有列区域再次循环计算新合并后的相邻列区域的区域距离Dis，从计算结果中选取新的最小值，并将该新的最小值对应的两个列区域合并，从而进一步得到N-2个列区域；如此往复，直到图像在水平方向上被划分为3个区域；

经过垂直方向的合并与水平方向的合并后，整个图像被划分为3×3子块；

5)分别抽取图像各个子块的HSV颜色直方图His＝{p_t|0≤t＜72}、分块主色M_c(c＝1，2，3)以及中心矩σ，其中，分块主色M_c表示区域颜色概率值位于前三位最大值的三种颜色；区域的中心矩σ定义如下：

$\mathrm{\σ}=\frac{1}{n}\underset{q=0}{\overset{n-1}{\mathrm{\Σ}}}{(P_q-\mathrm{arv})}^2---\left(6\right)$

式中，P_q表示该区域内某一点像素的颜色值，n表示该区域内的像素的总数，arv表示该区域内所有像素的颜色的平均值；

6)由用户从9个子块中任意选取一块感兴趣区域A，设其颜色直方图为His_A＝{p_t|0≤t＜72}，分块主色为M_Ac(c＝1，2，3)，中心矩为σ_A；

7)从待检索的图像数据库中任取某一幅图像S，设其9个分割区域中的任意一个为B，其颜色直方图为His_B＝{p_t|0≤t＜72}，分块主色为M_Bc(c＝1，2，3)，中心矩为σ_B，根据下式计算A与B的相似距离D(A，B)，

$D(A,B)=\frac{1}{{\left({\mathrm{\σ}}_A{-\mathrm{\σ}}_B\right)}^2}\×\mathrm{WHis}---\left(7\right)$

其中，

$\mathrm{WHis}=\frac{\underset{c=1}{\overset{c=3}{\mathrm{\Σ}}}{W}_c\×\min (A_{t=M_{\mathrm{Ac}}},B_{t=M_{\mathrm{Ac}}})+\underset{t=0,t\≠M_{A1},M_{A2},M_{A3}}{\overset{t=71}{\mathrm{\Σ}}}\min (A_t,B_t)}{W_1+W_2+W_3}---\left(8\right)$

公式(8)表示以直方图交叉距离为依据，对感兴趣区的分块主色进行加权；

在分子中，A_t，B_t分别表示A与B的72维颜色直方图中某一种颜色t的颜色分布概率值，min(A_t，B_t)表示将A与B的72个颜色概率值全部进行对应求最小值处理，min(A_t＝MAc，B_t＝MAc)表示与A的三个分块主色值相等的3个颜色值所求得的最小值，在此基础上，用W_c进行加权，权值分别为W₁＝2.5，W₂＝2，W₃＝1.5，即如公式(8)中分子的前半部分所示；而对于A与B的72维颜色直方图中与A的三个分块主色值不相等的69个颜色值在进行对应求最小值处理后，对所得的最小值进行累加求和，而不进行加权，即如公式(8)中分子的后半部分所示；

8)循环计算图象S的9个区域与样例图像Sample的感兴趣区A的相似距离，取相似距离最大区域的相似距离作为S与Sample的距离；

9)按照7)至8)计算数据库中所有图像与Sample的相似距离；

10)将所有相似距离按从大到小排序，返回检索结果。

Images