CN102662949A - 一种基于多特征融合的指定目标检索方法及系统 - Google Patents

Abstract

本发明提供一种基于多特征融合的指定目标检索方法及系统，包括以下步骤：获取待检索图像；通过将待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果颜色相似度超过设定的阈值则进入下一步骤；将待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，辅助特征包括纹理特征和形状特征中的至少一项；最后进行综合判定，得出待检索图像中的检索目标与指定目标的综合相似度。也可从待检索图像的匹配区域中提取辅助特征与指定目标的样例图像进行比对。本发明通过级联的方式，可以从粗到精逐步精确确定样例图像和待检索图像中的相似区域，达到了快速和高效准确检索的效果，节省了人力物力。

Description

一种基于多特征融合的指定目标检索方法及系统

技术领域

本发明涉及图像处理与信息检索技术领域，尤其涉及一种基于多特征融合的指定目标检索方法及系统。

背景技术

随着“平安城市”和“智慧城市”等大型安防监控系统的建设，监控视频的数据量日益庞大，如何从海量的图像和视频数据中快速、准确的检索出需要的图像和视频成为一个日益重要的问题。

例如，随着全国公路交通建设的快速发展和机动车辆的普及，与道路和机动车辆相关的刑事和治安案件逐年上升，特别是经由城际公路网进行的肇事逃逸、盗抢机动车辆、车辆走私等更是日益猖獗，这不仅给社会治安造成了极大的威胁，同时也破坏了安定团结的政治局面，因而引起了国家有关部委的高度重视，建立一个跨部门、跨地区的嫌疑车辆智能查控综合应用系统是公安信息系统建设发展的必然趋势。

基于内容的图像和视频检索技术通过提取图像中用户感兴趣的特征，包括颜色、纹理、形状等一些视觉特征，对用户输入的图像在海量图像中进行检索，实现了真正的图像视觉内容特征的检索，这种方式是对以关键字检索的重大突破，提高了工作科技含量、改进了管理方式、加强了执法监督、提高了治安防范水平，例如中国专利：一种综合多特征图像检索方法(公开号：CN101551823，公开日：2009-10-07)将得到的颜色、纹理和形状特征通过加权相加合成总的相似度；一种多特征融合的外观设计专利图像检索方法(公开号：CN101847163A，公开日：2010-09-29)将各个特征归一化后的距离加权融合，得到最终的图像间相似度。

现有的图像和视频检索主要有以下几点不足：

1、速度慢：现有多特征融合技术都是针对图像和图像之间的比较，随着视频逐步高清化的趋势，采有这种方法，速度极慢，不能应用到视频的实时检索当中。

2、目标的缩放和旋转等变化误检率极高：现有技术多采用HSV颜色、边缘和纹理的组合来检索，由于这三种特征对目标的缩放和旋转等变化误检率极高，很难实用。

3、现有技术都是针对图像和图像之间的比较，不能针对图像中的指定目标(比如车辆、行人和动物等)进行精确比对。

4、现有的多特征融合技术是将颜色、边缘和纹理通过并联的方式，采用加权求和来得到最终置信度，由于颜色、边缘和纹理不具有可比性，这种加权求和的方式会产生极大的误差。

发明内容

本发明的方面和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。

为克服现有多特征融合检索方法中存在的速度慢、将各个特征不利因素累加、误检率高等问题，本发明提供了一种基于多特征融合的指定目标检索方法及系统，通过级联的方式充分利用各个特征的优势，从粗到精逐步确定检索的目标，可以逐步精确确定指定目标样例图像和待检索图像中的相似区域，而不再是两副图像之间的直接对比，达到了快速和高效准确检索的效果，节省了人力物力。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种基于多特征融合的指定目标检索方法，其包括以下步骤：

S1.获取待检索图像；

S2.通过将所述待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入下一步骤；否则，结束对所述待检索图像的检索；

S3.将待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

S4.在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。

根据本发明的一个优选实施例，在所述步骤S2中，同时利用基于颜色的模板匹配来确定所述待检索图像中和样例图像最相似的匹配区域；在所述步骤S3中，通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。

根据本发明的一个优选实施例，在所述步骤S2中，先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。

根据本发明的一个优选实施例，在所述步骤S2中，通过颜色直方图进行所述基于颜色的模板匹配。

根据本发明的一个优选实施例，在所述步骤S3中，所述辅助特征采用纹理特征，所述纹理特征包括下列特征中的一项或多项：灰度共生矩阵的纹理特征、旋转缩放不变纹理特征。

根据本发明的一个优选实施例，在所述步骤S4中，进行综合判定的方法如下：

如果所述纹理特征相似度大于设定的纹理特征相似度阈值，则所述综合相似度由纹理特征相似度决定或以纹理特征相似度为主；否则，综合相似度中颜色相似度所占的比重提高；

如果综合相似度大于设定的综合相似度阈值，则认为所述待检索图像中包含与所述指定目标相似的检索目标，否则不包含。

根据本发明的另一个方面，提供一种基于多特征融合的指定目标检索系统，其包括检索模块，所述检索模块包括：

图像接收模块，用于获取待检索图像；

颜色比对模块，用于通过将所述待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入辅助特征比对模块进行处理；

辅助特征比对模块，用于将所述待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

综合判定模块，用于在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。

根据本发明的一个优选实施例，所述颜色比对模块设置为同时利用基于颜色的模板匹配来确定所述待检索图像中和所述样例图像最相似的匹配区域；所述辅助特征比对模块设置为通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。

优选地，所述颜色比对模块设置为先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。

当然，所述检索模块还可设置为执行上述基于多特征融合的指定目标检索方法特征中的其它一项或多项步骤。

本发明克服了现有多特征融合检索方法中存在的将各个特征不利因素累加的问题，通过级联的方式充分利用各个特征的优势，从粗到精逐步确定检索的目标，同时通过级联检索的方法可以逐步精确确定样例图像和要检索图像中的相似区域，而不再是两副图像之间的直接对比，达到了快速和高效准确检索的效果，节省了人力物力。

具体而言，相对于现有技术，本发明可带来如下有益效果：

1、本发明通过级联检索的方法，可以使检索速度大大提高。

2、利用本发明，可以去掉形状特征(如边缘特征)而采用纹理特征作为辅助特征，采用更健壮、对缩放和旋转变化有很好检测的SIFT(或SURF)算法，准确度可大大提高。

3、本发明通过基于颜色的模板匹配方法首先从图像中获取目标的大致区域，然后再采用更为精确的辅助特征(可采用纹理特征，如旋转缩放不变特征)对目标区域精确比对，从而获得目标的精确相似度。

4、本发明可通过将颜色、辅助特征通过串联、并联相结合的级联方式，最后根据两个相似度是否大于设定的阈值来取最终的置信度，不但大大提高了检索速度，同时避免了现有技术对颜色、边缘和纹理等不具有可比性的特征直接采用加权求和所导致的误差。

本发明的基于多特征融合的指定目标级联检索技术，主要应用于图像和视频检索技术中，可应用于公安刑侦破案，解决海量视频数据检索的问题，减轻人工检索工作量。

通过阅读说明书，本领域普通技术人员将更好地了解这些实施例和其它实施例的特征和方面。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1为根据本发明一个实施例的多特征融合级联检索方法的总流程图。

图2为图1中的粗检索流程图。

图3为根据本发明一个实施例的检索模块的结构示意图。

具体实施方式

本发明提供一种基于多特征融合的指定目标(比如车辆、行人和动物等)检索系统，该检索系统可以是一台主机或专门的设备，也可以是一个网络系统，或者是可以安装于主机或专门设备中的软件系统，关键是其包括检索模块，如图3所示，检索模块包括：

图像接收模块，用于获取待检索图像；

颜色比对模块，用于通过将待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果颜色相似度超过设定的颜色相似度阈值则进入辅助特征比对模块进行处理；

辅助特征比对模块，用于将待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，辅助特征包括纹理特征和形状特征中的至少一项；

综合判定模块，用于在颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与指定目标的综合相似度。

在优选实施例中，颜色比对模块设置为同时利用基于颜色的模板匹配来确定待检索图像中和样例图像最相似的匹配区域；辅助特征比对模块设置为通过从待检索图像的匹配区域中提取辅助特征与样例图像的辅助特征进行比对，来确定辅助特征相似度。颜色比对模块可设置为先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。

在下面的实施例中，以辅助特征采用纹理特征为例进行说明，当然本领域普通技术人员也可以采用形状特征(例如边缘特征)作为辅助特征，也可以同时采用纹理特征和形状特征作为辅助特征，这些都在本发明的范围之内。

如图1和图2所示，本发明通过图像或视频数据输入获取待检索图像后，通过颜色分层并得到分层后的颜色直方图和其它颜色特征进行第一级粗检索，通过粗检索获取最相似的目标区域作为下一级细检索的目标区域，可以排除大部分颜色特征相差极大的目标，同时由于条件并不苛刻，所以不会漏检目标造成累积误差；在粗检索的基础上结合辅助特征(以纹理特征为例)进行细检索，细检索是进一步的确认，并不是对粗检索的直接否定；在粗检索和细检索的基础上，通过粗检索和细检索分别得到的相似度，进行综合判定，得出待检索图像中的检索目标与指定目标的综合置信度。如果综合置信度大于一定的阈值则认为是相似的检索目标，否则不是。其具体步骤如下：

1、获取图像或视频数据；

2、色彩空间转换和色彩分层计算；

3、第一级粗检索(采用基于颜色的模板匹配技术)：在色彩分层的基础上，通过颜色直方图和其它特征进行粗匹配，确定和指定目标最相似的可能区域(匹配区域)；如果颜色相似度超过设定的颜色相似度阈值则进入下一步骤；否则，结束对当前待检索图像的检索。

4、第二级细检索：提取纹理特征进行精确匹配，通过从待检索图像的匹配区域中提取纹理特征与指定目标样例图像的纹理特征进行比对，来确定纹理特征相似度；

5、第三级综合判定：结合粗检索和细检索依据一定的规则进行综合判定，得出综合置信度；

如果综合置信度大于设定的阈值则给出置信度，提示工作人员注意，如果小于设定的阈值则认为不可能是指定目标。

该方法的流程图详见图1和图2，如图1所示的具体实施例中，检索模块的处理流程包括下列步骤：

101.图像或视频数据输入；

102.结合输入的检索参数，进行色彩空间转换；

103.进行色彩分层计算；

104.与样例图像进行颜色比对(即粗检索)；

105.从待检索图像中进行纹理特征的提取；

106.与样例图像进行纹理特征比对(即细检索)；

107.进行颜色和纹理特征的融合判定；

108.判断是否符合置信度要求，如果是则给出综合置信度，否则退出。

如图2所示的具体实施例中，粗检索的处理流程包括下列步骤：

201.分层图像输入；

202.结合输入的检索参数，将图像按照样例图像的大小划分；

203.取出一块图像区域；

204.计算HSV(色调、饱和度、亮度)颜色直方图；

205.HSV直方图匹配；

206.将相似度排序保存；

207.判断是否为最后一块图像区域；

208.如果是，则取出最相似的匹配区域，否则回到步骤203，重复进行下一块图像区域的匹配。

下面对本实施例的几个步骤依次进行详细描述：

第一步、获取图像或视频数据；

1)自动查找相对应解码组件对图像或视频进行解码；

2)视频：根据解码组件自动构建完整的解码链路进行解码，视频解码和播放装置将解码产生的每一帧发送到检索模块(或分析模块)；

3)图像：将目录下面的图片依次解码发送到检索模块(或分析模块)。

第二步、色彩空间转换和色彩分层计算

1)色彩空间转换；

由于需要在HSV(色调、饱和度、亮度)颜色空间来对颜色分层，所以首先将图像从RGB(红、绿、蓝)颜色空间转换到HSV颜色空间：

$H=\left\{\begin{array}{c}\arccos \frac{(R-G)+(R-B)}{2\sqrt{(R-G)*(R-G)+(R-B)*(G-*B)}}(B\≤G)\\ 2\mathrm{\π}-\arccos \frac{(R-G)+(R-B)}{2\sqrt{(R-G)*(R-G)+(R-B)*(G-*B)}}(B>G)\end{array}\right.---\left(1\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---\left(\text{2}\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

2)色彩分层计算

色彩分层就是将颜色空间映射到一定的子集中，从而提高图像检索速度。一般的图像颜色系统大约有2²⁴种颜色，而人眼能够真正辨别的颜色有限，因此在进行图像处理时，需要对颜色空间进行分层，分层的维数大小非常重要，分层维数越高，检索精度就越高，但是检索速度会随之下降。

色彩分层分为等量间距颜色分层和非等量间距颜色分层，由于等量间距分层的维数如果过低，则精度会大大下降，如果过高又会造成计算复杂，经过分析和实验，本实施例选用非等量间距颜色分层，步骤如下：

根据人的感知能力，把色调H分成8份，饱和度S和亮度V分成3份，根据颜色空间以及人对颜色的主观感知特性进行量化分层，公式如下：

$H=\left\{\begin{array}{ccc}0& \mathrm{if}& h\∈\left[\mathrm{316,20}\right]\\ 1& \mathrm{if}& h\∈\left[\mathrm{21,40}\right]\\ 2& \mathrm{if}& h\∈\left[\mathrm{41,75}\right]\\ 3& \mathrm{if}& h\∈\left[\mathrm{76,155}\right]\\ 4& \mathrm{if}& h\∈\left[\mathrm{156,190}\right]\\ 5& \mathrm{if}& h\∈\left[\mathrm{191,270}\right]\\ 6& \mathrm{if}& h\∈\left[\mathrm{271,195}\right]\\ 7& \mathrm{if}& h\∈\left[\mathrm{296,315}\right]\end{array}\right.---\left(4\right)$

$S=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.---\left(5\right)$

$V=\left\{\begin{array}{ccc}0& \mathrm{if}& v\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& v\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& v\∈\left[\mathrm{0.7,1}\right]\end{array}\right.---\left(6\right)$

根据以上方法将颜色空间划分为72种颜色。

第三步、第一级粗检索：在色彩分层的基础上，通过颜色直方图进行粗匹配，确定和指定目标最相似的可能区域

1)检索图像区域划分；

针对指定目标的检索，为了使样例目标和要检索图像中的目标更好的匹配，我们在第一级将检索图像划分为一块块和样例目标差不多大小的区域，水平和垂直移动的步长可以根据检索精度的要求设定，要精度高一点可以将步长设定的小一点，要速度快一些，可以将步长设定的大一些。

2)颜色模板和特征匹配

对每一个划分的图像区域，根据分割得到的颜色区域，计算样例颜色区域与待检索区域的相似性，这里采用绝对值距离法。

设两个颜色区域分别为I、Q，用同心矩形划分方法对图像进行划分，得到一个n个同心矩形，根据前面分层得到的72维HSV直方图，对应部分的距离D_i为：

$D_i=\underset{j=0}{\overset{71}{\mathrm{\Σ}}}\left(\right|h_i\left(j\right)-h_q\left(j\right)\left|\right)---\left(7\right)$

其中，h_i(j)、h_q(j)分别对应颜色区域I、Q在第j维直方图的值，对计算结果排序，找出最相似的区域作为匹配区域。

第四步、细检索：提取辅助特征(以纹理特征为例)进行精确匹配

纹理特征可包括下列特征中的一项或多项：灰度共生矩阵的纹理特征、旋转缩放不变纹理特征(如SIFT特征)。

1)灰度共生矩阵的纹理特征

首先将彩色图像转换成灰度图像，对于灰度为N级的图像，共生矩阵为N*N维矩阵，即

其中，位于(h，k)的元素m_hk的值表示相距(h，k)的灰度为h，而另一个灰度为k的像素对出现的次数。

由纹理共生矩阵提取的四个特征量为：

反差： $\mathrm{CON}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{(h-k)}^2{m}_{\mathrm{hk}}---\left(8\right)$

能量： $\mathrm{ASM}=\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\left(m_{\mathrm{hk}}\right)}^2---\left(9\right)$

熵： $\mathrm{ENT}=-\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{m}_{\mathrm{hk}}\lg \left(m_{\mathrm{hk}}\right)---\left(10\right)$

相关： $\mathrm{COR}=[\underset{h}{\mathrm{\Σ}}\underset{k}{\mathrm{\Σ}}{\mathrm{hkm}}_{\mathrm{hk}}-{\mathrm{\μ}}_x{\mathrm{\μ}}_y]/{\mathrm{\σ}}_x{\mathrm{\σ}}_y---\left(11\right)$

其中，是矩阵M中每列元素之和；

是每行元素之和；μ_x、μ_y、σ_x、σ_y分别是m_x、m_y的均值和标准差。

在本实施例中的具体步骤如下：

A、将图像的灰度分为64个灰度等级；

B、构造四个方向灰度共生矩阵：M(1，0)，M(0，1)，M(1，1)，M(1，-1)

C、分别计算每个共生矩阵上的四个纹理特征量；

以各特征量的均值和标准差：μ_CON、σ_CON、μ_ASM、σ_ASM、μ_ENT、σ_ENT、μ_COR、σ_COR作为纹理特征的八个分量。

2)SIFT(尺度不变特征转换)特征

SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。

其主要检测步骤如下：

a)检测尺度空间极值点；

b)精确定位极值点；

c)为每个关键点指定方向参数；

d)关键点描述子的生成

●尺度空间的生成

尺度空间理论目的是模拟图像数据的多尺度特征，高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，yσ)*I(x，y)    (12)

其中G(x，y，σ)是尺度可变高斯函数。

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2---\left(13\right)$

(x，y)是空间坐标，σ是尺度坐标。

为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图像卷积生成。

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)    (14)

图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到，O和S由用户设定。

●空间极值点检测

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

●构建尺度空间需确定的参数

σ-尺度空间坐标

O-octave坐标

S-sub-level坐标

σ和O、S的关系σ(o，s)＝σ₀2^o+s/S，o∈o_min+[0，...，O-1]，s∈[0，...，S-1]其中σ₀是基准层尺度。

空间坐标x是组octave的函数，设x₀是0组的空间坐标，则

x＝2^ox₀，o∈Z，x₀∈[0，...，N₀-1]×[0，...，M₀-1]

如果(M₀，N₀)是基础组o＝0的分辨率，则其他组的分辨率由下式获得：

一般使用如下的参数：

σ_n＝0.5，σ₀＝1.6·2^1/S，o_min＝-1，S＝3

在组o＝-1，图像用双线性插值扩大一倍(对于扩大的图像σ_n＝1)。

●精确确定极值点位置

通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

边缘响应的去除

一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2的Hessian矩阵H求出：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(16\right)$

导数由采样点相邻差估计得到。

D的主曲率和H的特征值成正比，令α为最大特征值，β为最小的特征值，则

T_r(H)＝D_xx+D_yy＝α+β    (17)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ    (18)

令α＝γβ，则：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{{\mathrm{r\β}}^2}=\frac{{(r+1)}^2}{r}---\left(19\right)$

(r+1)²/r的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}---\left(20\right)$

一般取r＝10。

●关键点方向分配

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(21\right)$

$\mathrm{\&theta;}(x,y)=\sqrt{\mathrm{\&alpha;}\tan 2((L(x,y+1)-L(x,y-1))/\left((L(x+1,y)-L(x-1,y))\right)}---\left(\text{22}\right)$

上两式为(x，y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。

在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

在梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向(一个主方向，一个以上辅方向)，这可以增强匹配的鲁棒性。

至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。

●特征点描述子生成

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。

接下来以关键点为中心取8×8的窗口，中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。

实际计算过程中，为了增强匹配的稳健性，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取样例图中的某个关键点，并找出其与检索图中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

3)综合特征

利用单一特征进行图像检索有各自的优点，为了提高检索的准确性，本发明结合纹理特征，构造一个结构化特征进行图像检索。

由于颜色和纹理特征的物理意义不相同，不具有直接可比性，需要对几种特征做规一化处理，公式如下：

D＝w₁d₁+w₂d₂    (23)

其中，d₁、d₂分别表示2幅图像的颜色特征量、纹理特征量之间的距离；w₁、w₂为特征量的权值(0≤w₁≤1，且w₁+w₂＝1)。

第五步、综合判定：结合粗检索和细检索依据一定的规则进行综合判定，得出综合置信度

综合判定的规则是这样的：

a)如果粗检索和细检索都有极高的相似度，那么肯定是相似的检索目标，综合置信度计算时以纹理特征(如SIFT特征)相似度为主；

b)如果粗检索的相似度一般，但是细检索的相似度极高，由于SIFT特征的稳定性，综合置信度计算时以纹理特征相似度为主，但是颜色相似度的比重提高；

c)如果粗检索的相似度极高，而细检索的相似度一般，综合置信度计算时两种相似度的比重相差不大，根据实际情况确定；

d)如果两种相似度都很低，那么认为不是相似目标。

本实施例中方法的实现主要是通过级联的检索方式，从粗到精逐步确定，包括三部分：第一级粗检索、第二级细检索和第三级综合判定；粗检索根据颜色分层后的颜色直方图通过模板匹配的方法来确定可能包括嫌疑目标的大致区域；细检索主要是通过获取纹理特征，在粗检索的基础上进一步确定；综合判定是根据颜色的粗检索和纹理特征的细检索得到的独立相似度，得出综合相似度(或综合置信度)。

采用本发明所述方法，与现有技术相比，克服现有多特征融合检索方法中存在的一些不足，通过对指定目标采用级联检索的方式充分利用各个特征的优势，从粗到精逐步确定检索的目标，提供一种多特征融合的指定目标级联检索方法，同时通过级联检索的方法可以逐步精确确定样例图像和要检索图像中的相似区域，而不再是两副图像之间的直接对比，达到了快速和高效准确检索的效果，节省了人力物力。

由于本发明采用基于颜色的模板匹配方法，使得本发明不但能够应用在对静态图片的检索中，同时也可以应用在视频检索当中。

以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (10)

1.一种基于多特征融合的指定目标检索方法，其特征在于，包括以下步骤：

S1.获取待检索图像；

S2.通过将所述待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入下一步骤；

S3.将所述待检索图像与所述样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

S4.在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。

2.根据权利要求1所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S2中，同时利用基于颜色的模板匹配来确定所述待检索图像中和所述样例图像最相似的匹配区域；在所述步骤S3中，通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。

3.根据权利要求1或2所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S2中，先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。

4.根据权利要求1或2所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S2中，通过颜色直方图进行所述基于颜色的模板匹配。

5.根据权利要求1所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S3中，所述辅助特征采用纹理特征，所述纹理特征包括下列特征中的一项或多项：灰度共生矩阵的纹理特征、旋转缩放不变纹理特征。

6.根据权利要求5所述的基于多特征融合的指定目标检索方法，其特征在于，在所述步骤S4中，进行综合判定的方法如下：

如果所述纹理特征相似度大于设定的纹理特征相似度阈值，则所述综合相似度由纹理特征相似度决定或以纹理特征相似度为主；否则，综合相似度中颜色相似度所占的比重提高。

7.根据权利要求6所述的基于多特征融合的指定目标检索方法，其特征在于，如果综合相似度大于设定的综合相似度阈值，则认为所述待检索图像中包含与所述指定目标相似的检索目标，否则不包含。

8.一种基于多特征融合的指定目标检索系统，其特征在于，包括检索模块，所述检索模块包括：

图像接收模块，用于获取待检索图像；

颜色比对模块，用于通过将所述待检索图像与包含指定目标的样例图像进行基于颜色的模板匹配，来确定颜色相似度，如果所述颜色相似度超过设定的颜色相似度阈值则进入辅助特征比对模块进行处理；

辅助特征比对模块，用于将所述待检索图像与样例图像进行辅助特征比对，确定辅助特征相似度，所述辅助特征包括纹理特征和形状特征中的至少一项；

综合判定模块，用于在所述颜色相似度和辅助特征相似度的基础上，进行综合判定，得出待检索图像中的检索目标与所述指定目标的综合相似度。

9.根据权利要求8所述的基于多特征融合的指定目标检索系统，其特征在于，所述颜色比对模块设置为同时利用基于颜色的模板匹配来确定所述待检索图像中和所述样例图像最相似的匹配区域；所述辅助特征比对模块设置为通过从所述待检索图像的所述匹配区域中提取辅助特征与所述样例图像的辅助特征进行比对，来确定所述辅助特征相似度。

10.根据权利要求8或9所述的基于多特征融合的指定目标检索系统，其特征在于，所述颜色比对模块设置为先对待检索图像进行色彩空间转换和色彩分层计算，然后再进行所述基于颜色的模板匹配。

Images