CN102156888A - 基于特征点局部颜色及分布特征的图像拣出方法 - Google Patents

Abstract

本发明公开了一种基于特征点局部颜色及分布特征的图像拣出方法，主要解决现有技术中图像特征描述的有效性不够以及图像理解歧义性问题。该方法的步骤为：首先，对图像进行尺度归一化和旋转归一化，并检测特征点；接着，将归一化后的图像按照特征点的分布划分成一系列面积不等的扇形子区域，提取每个子区域内特征点局部颜色及空间分布特征，生成特征向量进行相似性度量并排序；然后，将图像看作为多示例包，采用多示例学习算法获得目标图像特征；最后，重新计算相似度，并输出拣出结果。本发明不仅提高了图像特征描述的有效性，而且缩小了图像拣出过程中的歧义性，从而实现了对互联网图像更为准确的拣出，可用于对互联网中图像信息的查找。

Description

基于特征点局部颜色及分布特征的图像拣出方法

技术领域

本发明涉及图像处理技术领域，具体的说是一种图像拣出方法，可用于对互联网中图像信息的查找。

背景技术

计算机技术和互联网技术的飞速发展使得人们可以很方便地实现资源共享，以数字图像、音/视频为代表的多媒体信息在互联网上的广泛传播，如何从海量图像数据库中快速、高效地检测出用户所需图像是一个具有挑战性的问题。基于内容的图像拣出通过对图像进行特征提取并和图像库中的图像做相似性度量来拣出图像，是近些年多媒体领域一个备受关注的研究热点。传统的方法使用图像的全局特征进行拣出，但是由于全局特征计算量大，而且很多时候用户只是对图像中某一对象感兴趣。为此，很多学者提出利用局部特征对图像建立特征描述和拣出。基于局部特征的图像拣出方法大致可以分为以下两类：

(1)基于图像分割的方法。基于图像分割的拣出方法通过图像分割算法获得感兴趣目标的轮廓或区域，再提取目标特征进行拣出。如Fei Li，Qionghai Dai，Wenli Xu，et al.Multilabel neighborhood propagation for region-based image retrieval.IEEE Trans.on Multimedia，Vol.10，No.8，2008，pp：1592-1604.以及文献ByoungChul Ko，Hyeran Byun.FRIP：A region-based image retrieval tool using automatic image segmentation and stepwise Boolean and matching.IEEE Trans.on Multimedia，Vol.7，No.1，2005，pp：105-113.所述。这种方法符合观察者对图像的理解，然而图像分割一直是一个亟待突破的关键环节，目前很难找到一种通用的分割算法将目标完整地与背景分割开，而且目标易受部分缺损、背景混杂、仿射变换、光照等因素的干扰，导致拣出准确率下降。

(2)基于特征点的方法。基于特征点的图像拣出方法通过特征点的检测对图像视觉特征变化大的区域进行定位，利用局部描述子对特征点周围的局部区域进行特征提取，最后进行相似度匹配。由于特征点检测算法比起图像分割算法具有更好的通用性和稳定性，因此吸引了越来越多的学者研究基于特征点的图像拣出。文献C.Wol，J.Jolion，W.Kropatsch，et al.Content based image retrieval using interest points and texture features，Proc.of 15th International Conference on Pattern Recognition.Barcelona：IAPR，2000，pp：234-237.所述，使用特征点局部Gabor特征拣出的方法，根据各个不同尺度和方向的最大幅值生成一系列直方图来表示图像进行拣出。文献Zheng Xia，ZhouMingQuan，Wang XingCe.Interest point based medical image retrieval，Lecture Notes in Computer Science.Beijing：Springer Verlag，2008，pp：118-124所述，对图像的每个区域检测出特征点，结合特征点的不变量和边缘类型直方图进行拣出。文献Muwei Jian，Shi Chen Image retrieval based on clustering of salient points，Proc.of 2008 2nd International Symposium on Intelligent Information Technology Application.Shanghai：Inst.of Elec.and Elec.Eng.Computer Society，2008，pp：347-351.所述，使用基于密度的聚类算法对特征点聚类，然后对各类特征点使用颜色矩和Gabor特征作为特征向量进行拣出。上述基于特征点的图像拣出方法存在两个问题：(1)所提取的图像特征主要反映了特征点的局部特性，较少的考虑特征点的空间分布结构，因此图像特征描述的有效性不够；(2)由于图像的底层视觉特征和用户丰富的语义特征之间存在差异，导致图像拣出的结果出现歧义性。这二者均影响了图像拣出的准确性。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于特征点局部颜色及分布特征的图像拣出方法，以提高图像特征描述的有效性，缩小图像拣出过程中的歧义性，实现对互联网图像进行更为准确的拣出。

本发明的目的是这样实现的：

本发明的技术方案是：先利用特征点的局部颜色及空间分布特征生成特征向量，进行相似性度量并排序，然后将图像看作为多示例包，采用多示例学习算法获得目标图像特征，重新计算相似度，并输出拣出结果。具体拣出步骤包括如下：

(1)先对一幅指定的目标图像Q进行尺度归一化和旋转归一化，得到归一化后的目标图像Q₁，然后对归一化后的目标图像Q₁采用Harris角点检测器检测特征点；

(2)将归一化后的目标图像Q₁按照特征点的分布划分成J个同心不等面积的扇形子区域；

(3)对每个扇形子区域，选取其中所有特征点δ邻域内的像素，统计它们的色调、饱和度和亮度空间的颜色直方图H_k(1≤k≤J)，用以表示每个扇形子区域内特征点局部像素的颜色特征；

(4)对每个扇形子区域，选取其中所有特征点像素，计算特征点的空间分布离散度，用以表示每个扇形子区域内特征点空间分布的疏密程度；

(5)初始化拣出次数为α＝1，进行第α次图像拣出，对图像库中的每一幅图像I按照步骤(1)-(4)提取图像特征，按下式计算目标图像Q所提取特征与图像库中每一幅图像I所提取特征的相似度S：

S＝ω_cS_c(Q，I)+ω_dS_d(Q，I)

其中，ω_c是特征点局部颜色特征的权值，ω_d是特征点空间分布特征的权值，满足ω_c+ω_d＝1，

S_c(Q，I)表示目标图像Q与图像库中一幅图像I的特征点局部色调、饱和度和亮度空间的颜色直方图相似度，表示为：

S_d(Q，I)表示目标图像Q与图像库中一幅图像I的特征点空间分布离散度相似度，表示为：

式中，H_k(Q)为目标图像Q的第k个扇形子区域内特征点局部色调、饱和度和亮度空间的颜色直方图，H_k(I)为图像库中图像I的第k个扇形子区域内特征点局部色调、饱和度和亮度空间的颜色直方图，D_k(Q)为目标图像Q的第k个扇形子区域内特征点的空间分布离散度，D_k(I)为图像库中图像I的第k个扇形子区域内特征点的空间分布离散度；

(6)将图像库中的图像按照相似度由大到小的顺序排序拣出；

(7)将各扇形子区域特征与多示例学习中示例的概念相对应，使目标图像Q与图像库中的每一幅图像I成为包含示例的包，从第α次拣出结果中选取排序最靠前的5幅正例图像和5幅反例图像作为训练集进行多示例学习，通过EM-DD算法获得用户期望的目标图像特征，计算目标图像特征和第α次拣出结果中各图像包中最相似示例间距离作为图像包含目标图像特征的概率S_M；

(8)将步骤(5)中的相似度S和步骤(7)中的图像包含目标图像特征的概率S_M相加，以此计算目标图像Q和第α次拣出结果中各图像之间新的相似度S′：

S′＝S+S_M

并按新的相似度由大到小的顺序，将拣出的图像重新排序输出；

(9)令α＝α+1，重复步骤(7)-(8)，获得更好的图像拣出结果。

本发明具有如下效果：

(1)本发明由于在使用Harris角点检测器检测特征点之前先对图像进行了尺度归一化和旋转归一化，使得在此基础上提取出的图像特征具有旋转、平移和缩放不变性，可以有效地将那些是目标图像发生旋转、平移和缩放变换的图像从图像库中拣出。

(2)本发明由于对图像进行了扇形子区域划分，简单、有效地表示了特征点从中心向四周各方向辐射分布的情况，使得在此基础上提取出的图像特征可以反映出特征点的空间分布情况，从而更准确地实现对图像的描述。

(3)本发明由于根据各扇形子区域内具有相同数量的特征点来对图像进行非等面积扇形子区域划分，因此它能够避免等面积划分可能导致的两幅不同图像对应的扇形子区域具有相同的归一化颜色直方图的情况，从而可以更准确地提取图像特征。

(4)本发明由于在对图像进行扇形子区域划分前先对图像进行了旋转归一化，因此能够克服两幅相似图像发生不同程度旋转时相似的图像内容被划分到不同序号的扇形子区域中所引起的匹配误差，从而可以更准确地拣出目标图像。

(5)本发明由于将图像和各扇形子区域特征分别与多示例学习中包和示例的概念相对应，采用多示例学习算法获得体现图像语义的目标图像特征，从而缩小了图像拣出过程中的歧义性，使得基于特征点的图像拣出方法获得了更高的拣出准确率。

附图说明

图1为本发明的总流程图；

图2为用本发明对一幅图像进行特征点检测的结果图；

图3为本发明中扇形子区域的生成子流程图；

图4为用本发明对一幅目标图像进行拣出的仿真实例图。

具体实施方式

以下参照附图对本发明作进一步详细的描述。

参照图1，本发明的图像拣出步骤如下：

步骤1，对一幅指定的目标图像归一化及检测特征点。

(1.1)目标图像的尺度归一化

将目标图像Q(x，y)按如下的公式进行尺度归一化：

Q′(x，y)＝Q(x/a，y/a)

其中，Q′(x，y)为尺度归一化后的目标图像，(x，y)表示图像像素的坐标，表示缩放因子，β是一个常数，

为Q(x，y)的0阶几何矩。

(1.2)目标图像的旋转归一化

计算尺度归一化后的目标图像Q′(x，y)的旋转归一化角度θ：

θ＝arctan(-t¹/t²)

其中，t¹和t²是两个张量，t¹＝μ₁₂+μ₃₀，t²＝μ₂₁+μ₀₃，

μ₁₂、μ₃₀、μ₂₁、μ₀₃是Q′(x，y)的4个3阶中心矩，其中，

${\mathrm{\μ}}_{12}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}(x-\stackrel{\‾}{x}){(y-\stackrel{\‾}{y})}^2{Q}^{\′}(x,y),$

${\mathrm{\μ}}_{30}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(x-\stackrel{\‾}{x})}^3{Q}^{\′}(x,y),$

${\mathrm{\μ}}_{21}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(x-\stackrel{\‾}{x})}^2(y-\stackrel{\‾}{y})Q^{\′}(x,y),$

${\mathrm{\μ}}_{03}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{(y-\stackrel{\‾}{y})}^3{Q}^{\′}(x,y),$

为尺度归一化后的目标图像Q′(x，y)的质心，

$\stackrel{\‾}{x}=m_{10}/{m_{00}}^{\′},$ $\stackrel{\‾}{y}=m_{01}/{m_{00}}^{\′},$

m₁₀、m₀₁是Q′(x，y)的2个1阶几何矩，其中，

$m_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}x{Q}^{\′}(x,y),$

$m_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}y{Q}^{\′}(x,y),$

${m_{00}}^{\′}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{Q}^{\′}(x,y)$ 为Q′(x，y)的0阶几何矩；

从旋转归一化角度θ公式可知旋转归一化角度存在相差180度的两个解，比方说φ和φ+π。为了得到一个唯一的归一化角度，定义另外一个张量t³：

t³＝-t¹sinφ+t²cosφ

通过使t³＞0则可以确定一个唯一的归一化角度φ，如果t³＜0，则令φ＝φ+π。有了归一化角度φ，只需要以质心为基准将尺度归一化后的目标图像Q′(x，y)旋转φ角度，即可得到尺度、旋转归一化后的目标图像Q₁(x，y)。

(1.3)利用Harris角点检测器对归一化后的目标图像检测特征点

首先，利用下式计算归一化后的目标图像Q₁(x，y)的梯度图像：

$\left\{\begin{array}{c}X(x,y)=Q_1(x,y)\⊗(-\mathrm{1,0,1})\\ Y(x,y)=Q_1(x,y)\⊗{(-\mathrm{1,0,1})}^T\end{array}\right.$

其中，X(x，y)表示归一化后的目标图像Q₁(x，y)水平方向的梯度图像，Y(x，y)表示归一化后的目标图像Q₁(x，y)垂直方向的梯度图像，

表示卷积；

接着，按下式构造自相关矩阵C：

$C=w\⊗\left[\begin{array}{cc}X{(x,y)}^2& X(x,y)Y(x,y)\\ X(x,y)Y(x,y)& Y{(x,y)}^2\end{array}\right]$

其中，

为高斯平滑窗函数，σ为该函数的宽度参数；

然后，通过下式检测特征点：

F＝detC-K·trace²C

其中，F为检测响应函数，detC＝λ₁λ₂，traceC＝λ₁+λ₂，λ₁和λ₂为自相关矩阵C的两个特征值，K取值为0.04-0.06，将F与一个阈值进行比较，大于该阈值则认定为是特征点并提取，反之，不是特征点，故不做处理，该阈值由所要检测的特征点数目设置。

对一幅如图2(a)所示的花卉原图像，利用上述Harris角点检测器检测出的特征点如图2(b)所示。

步骤2，对归一化后的目标图像进行扇形子区域划分。

设(x′，y′)是归一化后的目标图像Q₁(x，y)中的一个特征点，N为检测出的特征点总数，Ω为特征点集合，

为特征点的质心，其中

和分别为：

$\stackrel{\‾}{x^{\′}}=\frac{1}{N}\underset{(x^{\′},y^{\′})\∈\mathrm{\Ω}}{\mathrm{\Σ}}{x}^{\′},$ $\stackrel{\‾}{y^{\′}}=\frac{1}{N}\underset{(x^{\′},y^{\′})\∈\mathrm{\Ω}}{\mathrm{\Σ}}{y}^{\′}$

以O为圆心，以距该圆心最远处的特征点到该圆心的距离为半径R，生成圆形区域，R按下式计算得到：

$R={\max }_{(x^{\′},y^{\′})\∈\mathrm{\Ω}}\sqrt{{(x^{\′}-\stackrel{\‾}{x^{\′}})}^2+{(y^{\′}-\stackrel{\‾}{y^{\′}})}^2}$

设将该圆形区域划分成J个扇形子区域，每个扇形子区域具有

个特征点，J取使L为整数的整数。本发明的仿真实例中，设N＝240，J＝8，L＝30。划分方法如图3所示，从水平向右的初始半径R₀开始，沿逆时针方向，以第L个特征点所在位置确定第一个扇形子区域A₁的边界半径R₁，若初始半径R₀上存在特征点，不计入第一个扇形子区域A₁，若边界半径R₁上除了存在第L个特征点外，还存在其他特征点，则将距离圆心O最近的特征点计入第一个扇形子区域A₁，其他特征点则计入第二个扇形子区域A₂；

以边界半径R₁作为第二个扇形子区域A₂的初始半径，沿逆时针方向，以第L个特征点所在位置确定第二个扇形子区域A₂的边界半径R₂，若边界半径R₂上除了存在第L个特征点外，还存在其他特征点，将距离圆心O最近的特征点计入第二个扇形子区域A₂，其他特征点则计入第三个扇形子区域A₃；

以此类推，确定第3、4、...、J个扇形子区域A₃、A₄、...、A_J。

步骤3，扇形子区域内特征点的局部颜色特征提取。

首先，将归一化后的目标图像Q₁(x，y)由红色r、绿色g和蓝色b的三基色颜色空间转换成色调h、饱和度s和亮度v的颜色空间，其转换公式为：

v＝v′/255其中，v′＝max(r，g，b)

$s=\frac{v^{\′}-\min (r,g,b)}{v^{\′}}$

h＝h′×60

其中，

$r^{\′}=\frac{v^{\′}-r}{v^{\′}-\min (r,g,b)}$

$g^{\′}=\frac{v^{\′}-g}{v^{\′}-\min (r,g,b)}$

$b^{\′}=\frac{v^{\′}-b}{v^{\′}-\min (r,g,b)}$

接着，根据人眼对色调h、饱和度s和亮度v的感知原理，将这3个分量进行非等间隔的量化，量化后的色调h₁、饱和度s₁和亮度v₁分别如下：

$h_1=\left\{\begin{array}{c}0,\mathrm{if}..h\∈\left[\mathrm{316,20}\right]\\ 1,\mathrm{if}..h\∈\left[\mathrm{21,40}\right]\\ 2,\mathrm{if}..h\∈\left[\mathrm{41,75}\right]\\ 3,\mathrm{if}..h\∈\left[\mathrm{76,155}\right]\\ 4,\mathrm{if}..h\∈\left[\mathrm{156,190}\right]\\ 5,\mathrm{if}..h\∈\left[\mathrm{191,270}\right]\\ 6,\mathrm{if}..h\∈\left[\mathrm{271,295}\right]\\ 7,\mathrm{if}..h\∈\left[\mathrm{296,315}\right]\end{array}\right.$

$s_1=\left\{\begin{array}{c}0,\mathrm{if}..s\∈\left[\mathrm{0,0.2}\right]\\ 1,\mathrm{if}..s\∈\left[\mathrm{0.2,0.7}\right]\\ 2,\mathrm{if}..s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.$

$v_1=\left\{\begin{array}{c}0,\mathrm{if}..v\∈\left[\mathrm{0,0.2}\right]\\ 1,\mathrm{if}..v\∈\left[\mathrm{0.2,0.7}\right]\\ 2,\mathrm{if}..v\∈\left[\mathrm{0.7,1}\right]\end{array}\right.$

将量化后的色调h₁、饱和度s₁和亮度v₁3个分量按下式合成为一个一维颜色特征矢量l：

l＝9h₁+3s₁+v₁

根据上述的非等间隔量化方法可知，l的取值范围为[0，1，...，71]，即将整个颜色空间量化为72种颜色；

然后，对每个扇形子区域，选取其中所有特征点δ邻域内的像素，按下式计算颜色直方图H_k：

H_k＝{h_k ^l}

其中，h_k ^l为第k个扇形子区域内所有特征点δ邻域内的像素中颜色为l的像素所占的百分比，它定义为：h_k ^l＝num_k ^l/num_k，num_k ^l是第k个扇形子区域内所有特征点δ邻域内的像素中颜色为l的像素数目，num_k是第k个扇形子区域内所有特征点δ邻域内像素的总数。

步骤4，扇形子区域内特征点的空间分布特征提取。

对每个扇形子区域，采用特征点的空间分布离散度表示该区域内特征点空间分布的疏密程度，第k个扇形子区域内特征点的空间分布离散度D_k的计算公式为：

$D_k=\frac{1}{R}\sqrt{\frac{1}{L}\underset{(x^{\′},y^{\′})\∈{\mathrm{\Ω}}_k}{\mathrm{\Σ}}{(x^{\′}-\stackrel{\‾}{{x_k}^{\′}})}^2+{(y-\stackrel{\‾}{{y_k}^{\′}})}^2}$

其中，Ω_k为第k个扇形子区域内的特征点集合，

为第k个扇形子区域内的特征点质心。

步骤5，相似性度量。

初始化拣出次数为α＝1，进行第α次图像拣出，对图像库中的每一幅图像I按照步骤(1)-(4)提取图像特征，按下式计算目标图像Q所提取特征与图像库中每一幅图像I所提取特征的相似度S：

S＝ω_cS_c(Q，I)+ω_dS_d(Q，I)

其中，ω_c是特征点局部颜色特征的权值，ω_d是特征点空间分布特征的权值，满足ω_c+ω_d＝1；

S_c(Q，I)表示目标图像Q与图像库中一幅图像I的特征点局部色调、饱和度和亮度空间的颜色直方图相似度，表示为：

S_d(Q，I)表示目标图像Q与图像库中一幅图像I的特征点空间分布离散度相似度，表示为：

式中，H_k(Q)为目标图像Q的第k个扇形子区域内特征点局部色调、饱和度和亮度空间的颜色直方图，H_k(I)为图像库中图像I的第k个扇形子区域内特征点局部色调、饱和度和亮度空间的颜色直方图，D_k(Q)为目标图像Q的第k个扇形子区域内特征点的空间分布离散度，D_k(I)为图像库中图像I的第k个扇形子区域内特征点的空间分布离散度。

步骤6，根据实际应用的需要确定一个阈值S_t，将图像库中那些相似度S大于该阈值S_t的图像按照相似度S由大到小的顺序输出，作为第α次图像拣出的结果，或者确定待拣出的图像数目N′，将图像库中所有图像按照相似度S由大到小排序后的前N′幅图像输出，作为第α次图像拣出的结果。本发明的仿真实例中，设定待拣出的图像数目为30。

步骤7，使用多示例学习方法对第α次图像拣出的各图像计算包含目标图像特征的概率。

(7.1)示例的表示

将各扇形子区域特征与多示例学习中示例的概念相对应，使目标图像Q与图像库中的每一幅图像I成为包含示例的包。这里，将各扇形子区域特征采用特征点局部色调、饱和度和亮度颜色空间的9个颜色矩和1个特征点空间分布离散度表示，即每个示例作为10维向量空间中的一点。其中，特征点局部色调、饱和度和亮度颜色空间的9个颜色矩的计算公式为：

${P_k}^i=\underset{j=1}{\overset{{\mathrm{num}}_k}{\mathrm{\Σ}}}\frac{1}{{\mathrm{num}}_k}{p}_{\mathrm{ij}}$

${U_k}^i=\sqrt{(\frac{1}{{\mathrm{num}}_k}\underset{j=1}{\overset{{\mathrm{num}}_k}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-{P_k}^i)}^2}$

${V_k}^i=\sqrt[3]{(\frac{1}{{\mathrm{num}}_k}\underset{j=1}{\overset{{\mathrm{num}}_k}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-{P_k}^i)}^3}$

式中，i表示颜色通道对应的序号，i＝1，2，3分别对应色调、饱和度和亮度，P_k ⁱ表示第k个扇形子区域内特征点局部像素的第i个颜色通道的一次矩，U_k ⁱ表示第k个扇形子区域内特征点局部像素的第i个颜色通道的二次矩，V_k ⁱ表示第k个扇形子区域内特征点局部像素的第i个颜色通道的三次矩，p_ij表示第k个扇形子区域内所有特征点δ邻域内的像素中第j个像素的第i个颜色通道的颜色值；

(7.2)计算目标图像特征

从第α次拣出结果中选取排序最靠前的5幅正例图像和5幅反例图像组成训练集，正例图像对应正包，反例图像对应反包，通过EM-DD算法进行多示例学习，获得用户期望的目标图像特征q，其步骤为：

(7.2.1)将训练集里所有正包中的示例都作为初始假设目标图像特征q′；

(7.2.2)对训练集里每个包B_e，选取最靠近q′的示例ε_e：

${\mathrm{\ϵ}}_e=\arg \underset{B_{\mathrm{ef}}\∈B_e}{\max }\exp (-\underset{z=1}{\overset{10}{\mathrm{\Σ}}}{(B_{\mathrm{efz}}-{q^{\′}}_z)}^2)$

其中，B_ef表示第e个包的第f个示例，B_efz表示第e个包的第f个示例的第z个分量的值，q′_z表示假设目标图像特征q′的第z个分量的值；

(7.2.3)通过下式估算出一个新的目标图像特征q″：

$q^{\′\′}=\arg \underset{q^{\′}}{\max }\underset{e}{\mathrm{\Π}}\mathrm{Pr}\left(q^{\′}\right|{\mathrm{\ϵ}}_e)$

其中，Pr(q′|ε_e)＝1-|γ_e-Pr(ε_e∈q′)|，

γ_e是对训练集里每个包B_e的标记，B_e为正包时，γ_e＝1，

B_e为反包时，γ_e＝0，

$\mathrm{Pr}({\mathrm{\ϵ}}_e\∈q^{\′})=\underset{B_{\mathrm{ef}}\∈B_e}{\max }\exp (-\underset{z=1}{\overset{10}{\mathrm{\Σ}}}{(B_{\mathrm{efz}}-{q^{\′}}_z)}^2);$

(7.2.4)令q′＝q″，重复步骤(7.2.2)和步骤(72.3)直到收敛为止，得到目标图像特征q＝q′；

(7.3)计算图像包含目标图像特征的概率

获得用户期望的目标图像特征q后，计算目标图像特征和第α次拣出结果中各图像包中最相似示例间距离作为图像包含目标图像特征的概率，即

$S_M=\underset{f}{\max }\left\{\exp (-\underset{z}{\mathrm{\Σ}}{(W_{\mathrm{fz}}-q_z)}^2)\right\}$

其中，S_M表示第α次拣出结果中的一幅图像W包含目标图像特征的概率，W_fz表示第α次拣出结果中的一幅图像W的第f个示例的第z个分量的值，q_z表示目标图像特征q的第z个分量的值。

步骤8，将步骤(5)中的相似度S和步骤(7)中的图像包含目标图像特征的概率S_M相加，以此计算目标图像Q和第α次拣出结果中各图像之间新的相似度S′：

S′＝S+S_M

并按新的相似度由大到小的顺序，将拣出的图像重新排序输出。

步骤9，令α＝α+1，重复步骤(7)-(8)，获得更好的图像拣出结果。

本发明的效果可通过以下仿真进一步说明：

使用Visual C++6.0搭建仿真实验平台；将互联网上Corel图像数据库中的一个包含1000幅图像的子图像库，作为仿真实验的图像数据库，这些图像分属10个类，每类100幅，内容包括非洲土著居民、海滩、建筑、公共汽车、恐龙、大象、花卉、马、山川和食物。实验时，从图像数据库中选择一幅图像作为目标图像，以下述的拣出准确率η评价图像拣出的效果：

η＝n/G

其中，n为拣出结果中和目标图像类别相同的图像数目，G为拣出的总图像数目。

选择一幅花卉图像作为目标图像，设定待拣出图像数目为30，用本发明方法进行图像拣出的实验结果如图4所示，在拣出的30幅图像中，全部是花卉图像，没有出现其他类别的图像，拣出准确率为100％。

从图4可以看出，本发明由于利用了图像特征点局部颜色特征及空间分布特征，并引入了多示例学习，得到了令人满意的图像拣出结果。

Claims (7)

1.一种基于特征点局部颜色及分布特征的图像拣出方法，包括：

(1)先对一幅指定的目标图像Q进行尺度归一化和旋转归一化，得到归一化后的目标图像Q₁，然后对归一化后的目标图像Q₁采用Harris角点检测器检测特征点；

(2)将归一化后的目标图像Q₁按照特征点的分布划分成J个同心不等面积的扇形子区域；

(3)对每个扇形子区域，选取其中所有特征点δ邻域内的像素，统计它们的色调、饱和度和亮度空间的颜色直方图H_k(1≤k≤J)，用以表示每个扇形子区域内特征点局部像素的颜色特征；

(4)对每个扇形子区域，选取其中所有特征点像素，计算特征点的空间分布离散度，用以表示每个扇形子区域内特征点空间分布的疏密程度；

(5)初始化拣出次数为α＝1，进行第α次图像拣出，对图像库中的每一幅图像I按照步骤(1)-(4)提取图像特征，按下式计算目标图像Q所提取特征与图像库中每一幅图像I所提取特征的相似度S：

S＝ω_cS_c(Q，I)+ω_dS_d(Q，I)

其中，ω_c是特征点局部颜色特征的权值，ω_d是特征点空间分布特征的权值，满足ω_c+ω_d＝1，

S_c(Q，I)表示目标图像Q与图像库中一幅图像I的特征点局部色调、饱和度和亮度空间的颜色直方图相似度，表示为：

S_d(Q，I)表示目标图像Q与图像库中一幅图像I的特征点空间分布离散度相似度，表示为：

式中，H_k(Q)为目标图像Q的第k个扇形子区域内特征点局部色调、饱和度和亮度空间的颜色直方图，H_k(I)为图像库中图像I的第k个扇形子区域内特征点局部色调、饱和度和亮度空间的颜色直方图，D_k(Q)为目标图像Q的第k个扇形子区域内特征点的空间分布离散度，D_k(I)为图像库中图像I的第k个扇形子区域内特征点的空间分布离散度；

(6)将图像库中的图像按照相似度由大到小的顺序排序拣出；

(7)将各扇形子区域特征与多示例学习中示例的概念相对应，使目标图像Q与图像库中的每一幅图像I成为包含示例的包，从第α次拣出结果中选取排序最靠前的5幅正例图像和5幅反例图像作为训练集进行多示例学习，通过EM-DD算法获得用户期望的目标图像特征，计算目标图像特征和第α次拣出结果中各图像包中最相似示例间距离作为图像包含目标图像特征的概率S_M；

(8)将步骤(5)中的相似度S和步骤(7)中的图像包含目标图像特征的概率S_M相加，以此计算目标图像Q和第α次拣出结果中各图像之间新的相似度S′：

S′＝S+S_M

并按新的相似度由大到小的顺序，将拣出的图像重新排序输出；

(9)令α＝α+1，重复步骤(7)-(8)，获得更好的图像拣出结果。

2.根据权利要求1所述的图像拣出方法，其特征在于步骤(2)所述的将归一化后的目标图像Q₁按照特征点的分布划分成J个同心不等面积的扇形子区域，其步骤如下：

(2.1)设N为检测出的特征点总数，计算特征点集合Ω的质心O，以O作为圆心，以距该圆心最远处的特征点到该圆心的距离为半径R，生成圆形区域；

(2.2)将生成的圆形区域，从水平向右的初始半径R₀开始，沿逆时针方向，以第

个特征点所在位置确定第一个扇形子区域A₁的边界半径R₁，若初始半径R₀上存在特征点，不计入第一个扇形子区域A₁，若边界半径R₁上除了存在第L个特征点外，还存在其他特征点，则将距离圆心O最近的特征点计入第一个扇形子区域A₁，其他特征点则计入第二个扇形子区域A₂；

(2.3)以边界半径R₁作为第二个扇形子区域A₂的初始半径，沿逆时针方向，以第L个特征点所在位置确定第二个扇形子区域A₂的边界半径R₂，若边界半径R₂上除了存在第L个特征点外，还存在其他特征点，将距离圆心O最近的特征点计入第二个扇形子区域A₂，其他特征点则计入第三个扇形子区域A₃；

(2.4)以此类推，确定第3、4、...、J个扇形子区域A₃、A₄、...、A_J。

3.根据权利要求1所述的图像拣出方法，其特征在于步骤(3)所述的对每个扇形子区域，选取其中所有特征点δ邻域内的像素，统计它们的色调、饱和度和亮度空间的颜色直方图H_k(1≤k≤J)，其步骤如下：

(3.1)将图像由三基色颜色空间转换成色调、饱和度和亮度颜色空间，采用非等间隔量化方法，将色调、饱和度和亮度颜色空间量化为72种颜色；

(3.2)对每个扇形子区域，选取其中所有特征点δ邻域内的像素，计算色调、饱和度和亮度空间的颜色直方图H_k：

$H_k=\left\{{h_k}^l\right|0\≤l\≤71\}$

其中，h_k ^l为第k个扇形子区域内所有特征点δ邻域内的像素中颜色为l的像素所占的百分比，它定义为：h_k ^l＝num_k ^l/num_k，

num_k ^l是第k个扇形子区域内所有特征点δ邻域内的像素中颜色为l的像素数量，num_k是第k个扇形子区域内所有特征点δ邻域内像素的总数。

4.根据权利要求1所述的图像拣出方法，其特征在于步骤(4)所述的对每个扇形子区域，选取其中所有特征点像素，计算特征点的空间布离散度，其计算公式为：

$D_k=\frac{1}{R}\sqrt{\frac{1}{L}\underset{(x^{\′},y^{\′})\∈{\mathrm{\Ω}}_k}{\mathrm{\Σ}}{(x^{\′}-\stackrel{\‾}{{x_k}^{\′}})}^2+{(y-\stackrel{\‾}{{y_k}^{\′}})}^2}$

其中，D_k为第k个扇形子区域内特征点的空间分布离散度，Ω_k为第k个扇形子区域内的特征点集合，为第k个扇形子区域内的特征点质心。

5.根据权利要求1所述的图像拣出方法，其特征在于步骤(7)所述的将各扇形子区域特征与多示例学习中示例的概念相对应，使目标图像Q与图像库中的每一幅图像I成为包含示例的包，是将各扇形子区域特征采用特征点局部色调、饱和度和亮度颜色空间的9个颜色矩和1个特征点空间分布离散度表示，其中，特征点局部色调、饱和度和亮度颜色空间的9个颜色矩的计算公式为：

${P_k}^i=\underset{j=1}{\overset{{\mathrm{num}}_k}{\mathrm{\Σ}}}\frac{1}{{\mathrm{num}}_k}{p}_{\mathrm{ij}}$

${U_k}^i=\sqrt{(\frac{1}{{\mathrm{num}}_k}\underset{j=1}{\overset{{\mathrm{num}}_k}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-{P_k}^i)}^2}$

${V_k}^i=\sqrt[3]{(\frac{1}{{\mathrm{num}}_k}\underset{j=1}{\overset{{\mathrm{num}}_k}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-{P_k}^i)}^3}$

式中，i表示颜色通道对应的序号，i＝1，2，3分别对应色调、饱和度和亮度，P_k ⁱ表示第k个扇形子区域内特征点局部像素的第i个颜色通道的一次矩，U_k ⁱ表示第k个扇形子区域内特征点局部像素的第i个颜色通道的二次矩，V_k ⁱ表示第k个扇形子区域内特征点局部像素的第i个颜色通道的三次矩，p_ij表示第k个扇形子区域内所有特征点δ邻域内的像素中第j个像素的第i个颜色通道的颜色值。

6.根据权利要求1所述的图像拣出方法，其特征在于步骤(7)所述的通过EM-DD算法获得用户期望的目标图像特征，其步骤为：

(7.1)将所有正包示例都作为初始假设目标图像特征q′；

(7.2)从训练集的每个示例包中选出最靠近q′的示例组成一个集合Ω_M；

(7.3)利用集合Ω_M，采用梯度搜索法估算出一个新的目标图像特征q″；

(7.4)令q′＝q″，重复步骤(7.2)和步骤(7.3)，直到收敛为止，得到目标图像特征q＝q′。

7.根据权利要求1所述的图像拣出方法，其特征在于步骤(7)所述的计算目标图像特征和第α次拣出结果中各图像包中最相似示例间距离作为图像包含目标图像特征的概率S_M，是通过如下公式计算：

$S_M=\underset{f}{\max }\left\{\exp (-\underset{z}{\mathrm{\Σ}}{(W_{\mathrm{fz}}-q_z)}^2)\right\}$

其中，S_M表示第α次拣出结果中的一幅图像W包含目标图像特征的概率，W_fz表示第α次拣出结果中的一幅图像W的第f个示例的第z个分量的值，q_z表示目标图像特征q的第z个分量的值。

Images