CN103714181A - 一种层级化的特定人物检索方法 - Google Patents

Abstract

本发明公开了一种层级化的特定人物检索方法，包括以下步骤：计算查询对象全局颜色直方图特征和多个检索对象全局颜色直方图特征的相似性，设置相似性度量的阈值进行底层粗检测，获取多个满足阈值限制的检索图像作为底层粗检测的结果；对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割块；对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集；计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹配的度量；设置查询实例与底层粗检测结果的最近邻之和的度量阈值，进行匹配图像提纯，将提纯后结果作为顶层精检测结果输出。本方法提高了特征的鲁棒性，降低了对人物稳定特征提取的影响。

Description

一种层级化的特定人物检索方法

技术领域

本发明涉及人物检索领域，特别涉及一种层级化的特定人物检索方法。

背景技术

在监控视频中进行特定人物检索涉及图像处理、模式识别、计算机视觉等领域，属于实例检索的一个特例。实例检索是指根据给定的查询对象，在大量的视频或图像数据中检索出给定查询对象的所有出现。因而，特定人物检索的目的就在于查找给定人物在监控视频中的不同时间、地点的所有出现。

目前，人物检索方法可以简单的分为三类：一是基于人脸识别技术的人物检索，另一是基于衣服颜色的人物检索，以及基于人物属性的检索方法。基于人脸识别的检索方法通过对人物进行人脸检测从而达到人物检索的目的[1]。但由于人脸角度、环境光照等变化往往导致人脸检测方法的失效，从而影响人物检索的准确性。基于衣服颜色的检索方法主要使用人物的衣服颜色作为特征，在此基础上计算人物之间的相似度[2]。因为人物衣服颜色的近似或者遮挡等问题，导致此方法常常产生误判。基于人物属性的检索方法则在前两种方法的基础上，充分利用了人物属性的多样性，增强了特征的表征力，是目前研究的热点。

在监控视频中进行特定人物检索主要面临以下挑战：1.人物检测的准确性。监控视频的一帧图像中通常包含一个或多个人物，人物通常只是图像内容的一部分，准确地提取图像中的人物部分是人物实例检索的首要前提。将包含检测到的人物的矩形区域定义为矩形框。由于人物检测的不同算法以及人体多姿态和遮挡等因素，检测到的矩形框中可能存在没有人物、包含部分人物和包含人物整体三种情况。只有包含整体人物的矩形框能够准确描述人物，其他两种人物检测结果的出现会导致人物实例检索返回错误或不相关的检索结果。2.人物的视觉特征表示的有效性。在返回检测结果的矩形框中，不仅包含人物，还含有一部分背景信息。在监控视频尤其是定点监控视频中，这部分背景信息具有很大的相似性。在对矩形框提取视觉特征时，这部分相似性很高的背景信息会对相似度计算造成很大偏差，使得计算得到的矩形框之间的相似度不能代表真正的人物之间的相似度。

面对这些挑战，Liu等人[3]使用RGB-D摄像机来获取视频的RGB-D信息，并根据此信息来分割人物区域，随后提取人物的生物属性、外表属性以及运动属性来表征人物，通过人物属性检索出符合描述的人物，但人物分割增加了算法的复杂度；且在监控视频中，由于光照、遮挡、姿势变化等原因，同一个人物会呈现出不同的外表。这对人物特征的提取及相似度的计算都带来了很大的难度，而该方法解决不了人物外表的多样性问题。

Yuk等人[4]首先使用卡尔曼滤波进行人物检测，然后对检测到的每个人物通过追踪技术得到一个个的人物集合。对于每个人物集合，对集合中的每个人物计算其主色和边缘直方图，然后将计算得到的特征进行平均，用平均后的特征来表征这一集合的人物。本方法虽然用平均后的特征在一定程序上解决了上述的人物外表的多样性问题，但过于依赖人物检测和追踪，当检测和追踪失效时，此方法得到的人物集合中会包含不一致的人物或错误的矩形框，此时集合的平均描述子将不能稳定表示人物，同时在计算过程中引入了更多的错误信息。

发明内容

本发明提供了一种层级化的特定人物检索方法，本发明降低了计算的复杂度，提高了人物检索的精度，且解决了人物外表的多样性问题，详见下文描述：

一种层级化的特定人物检索方法，所述方法包括以下步骤：

（1）对监控摄像头获取的原始视频序列进行图像去噪和图像增强的预处理，获取预处理后视频序列；

（2）根据所述预处理后视频序列获取人物检索数据库；

（3）在所述预处理后视频序列中用矩形框选定要查询的人物A，以此图像A_m×n作为查询实例输入；

（4）对已获得的人物检索数据库中的每一图像和查询实例A_m×n分别进行全局颜色直方图特征提取，获取查询实例对应的查询对象全局颜色直方图特征、人物检索数据库中每一图像相应的检索对象全局颜色直方图特征；

（5）计算查询对象全局颜色直方图特征和多个检索对象全局颜色直方图特征的相似性，设置相似性度量的阈值进行底层粗检测，获取多个满足阈值限制的检索图像作为底层粗检测的结果；

（6）对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割块；

（7）对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集；

（8）计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹配的度量；

（9）设置查询实例与底层粗检测结果的最近邻之和的度量阈值，进行匹配图像提纯，将提纯后结果作为顶层精检测结果输出。

所述对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割块的操作具体为：

1）将m×n大小的图像划分为W个超像素；

2）利用W个超像素重新构造图像，将图像中的超像素聚为C类，按聚类结果划分为C个彼此相连的区域；

3）根据相邻区域的差异度对C个区域进行区域合并处理，最后将图像分割为C'个分割块。

所述对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集的操作具体为：

1）计算每一分割块所包含的超像素在Labxy空间中的颜色均值作为该分割块的3维颜色特征f₁；

2）利用局部二元模式算子提取每一分割块的51维纹理特征f₂；

3）提取每一分割块的方向梯度直方图特征f₃；

4）将上述三种特征串联形成描述每一分割块的90维局部综合显著特征；

5）将一个图像所有部分的90维局部综合显著特征构成该图像的局部显著特征集。

所述计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹配的度量的操作具体为：

1）选择查询实例中任一分割块，利用其90维特征在底层粗检测结果的分割块中进行Kd-树查询，得到此分割块在该底层粗检测结果中的最近邻分割块；

2）求一分割块与其最近邻分割块之间的欧氏距离，作为分割块与此底层粗检测结果的最近邻距离；

3）重复1）-2），直至查询实例中每一分割块都与此底层粗检测结果得到最近邻距离；

4）计算查询实例与该底层粗检测结果的最近邻之和，作为其匹配程度的度量。

本发明提供的技术方案的有益效果是：本方法在定点监控视频序列中进行运动信息检测，获取视频序列中可能出现人物的区域，构建人物检索数据库。随后选取可疑的待查询人物作为查询实例输入，根据查询实例和人物检索数据库中各图像的全局颜色直方图特征进行底层粗检测，保留相似度满足一定阈值要求的图像作为底层粗检测结果。在此层检测的基础上，利用超像素分割图像，提取图像各分割块的局部综合显著特征构成图像局部显著特征集，计算该特征集的相似度进行图像匹配，得到较为准确的顶层精检测结果。本方法利用目标的颜色特性进行统计得到的直方图特征，提高了特征的鲁棒性，利用目标的超像素信息进行区域分割之后提取图像局部显著特征集，降低了监控视频中光照、噪声、姿势、遮挡以及设备分辨率低等原因对人物稳定特征提取的影响，解决了人物外表多样性问题，在不增加特征提取的复杂度的基础上，分层的检索结果进一步提高了检索的准确性，得到了较好的人物检索结果。

附图说明

图1为一种层级化的特定人物检索方法的流程图；

图2为区域合并前、合并后的示意图；

图3a为输入的查询实例的示意图；

图3b为采用本方法和对比文件对一帧图像进行检索的结果；

图3c为采用本方法和对比文件对另一帧图像进行检索的结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了降低计算的复杂度，提高监控视频中人物检索的精度，且解决了人物外表的多样性问题，本发明实例提供了一种层级化的特定人物检索方法，参见图1，详见下文描述：

101：对监控摄像头获取的原始视频序列X={x₁,x₂,…x_n}进行图像去噪和图像增强的预处理，获取预处理后视频序列X'={x'₁,x'₂,…x'_n}，其中x_i(i=1,2,…n)是长度为n帧的原始视频序列中的帧图像，x'_i(i=1,2,…,n)是预处理后视频序列中的帧图像；

该步骤目的是去除无用信息，提高后续算法效率和处理速度。在选用图像预处理的算法时，需要慎重权衡处理效果和运算时间两个方面。从实时性的角度考虑，图像预处理的时间应当尽可能压缩。

本方法首先对输入的原始视频序列进行降噪处理。在视频序列获取和传输的过程中会发生帧图像退化，从而引入噪声，可以把这样的帧图像表示为

其中(a,b)为帧图像中的点，

是原始无噪声帧图像，h(a,b)是退化函数，η(a,b)为图像噪声。采用自适应的高斯滤波器G对视频序列帧图像进行降噪处理[5]，得到去噪后的帧图像g_i(a,b)=x_i(a,b)*G。

接着通过亮度变换进行图像增强处理，将每一帧图像中的每一个像素点的亮度变换成另一数值，使得图像信息对比度提高[6]。定义亮度变换函数为dst(x'_i(a,b))=T(src(g_i(a,b)))，其中src(g_i(a,b))为去噪后帧图像在点(a,b)处的亮度值，dst(x'_i(a,b))是变换后对应的亮度值，T为选定的变换函数。通常T包括线性、指数、对数、幂次、分段等几种函数形式，本方法中考虑成像器件的原因，选取对数函数作为变换函数。

在对每一帧图像进行上述处理后得到预处理后视频序列X'={x'₁,x'₂,…x'_n}。

102：根据预处理后视频序列X'={x'₁,x'₂,…x'_n}获取人物检索数据库D={d₁,d₂,…,d_N}；

对监控视频进行运动目标检测，获得人物检索的数据库。考虑到监控视频为定点监控所得到的，背景不会有明显改变，利用背景差分法（如混合高斯模型背景差法[7]）检测到运动目标，构建人物检索数据库，N为正整数，表示数据库中图像总数。

103：在预处理后视频序列中用矩形框选定要查询的人物A，其图像大小为m乘n。以此图像A_m×n作为查询实例输入；

104：对已获得的人物检索数据库中的每一图像d_j(j=1,2,…N)和查询实例A_m×n分别进行全局颜色直方图特征提取，获取查询实例对应的查询对象全局颜色直方图特征

人物检索数据库中每一图像相应的检索对象全局颜色直方图特征

由监控摄像头采集的视频序列图像本身是以RGB颜色空间模式存储的，考虑到实时性对处理速度的要求，不对视频序列图像进行颜色空间转换，直接采用每个图像的R、G、B通道颜色信息分别统计各个通道的颜色直方图特征。每一通道的颜色变化区间都为[0，255]，进一步将颜色区间分组量化，每16个变化等级分为一组，则每一通道可量化为16个量化颜色。对于查询实例和人物检索数据库中的图像，可根据公式

计算每一通道中第k个颜色的柱值大小，其中

h(a,b)∈[1,16]表示大小为m×n的图像(a,b)处的量化颜色。从而对每一个图像而言，每一通道可以得到16维的颜色直方图特征，将三个通道的颜色直方图特征连接起来得到3×16=48维的全局颜色直方图特征。

105：计算查询对象全局颜色直方图特征和多个检索对象全局颜色直方图特征的相似性，设置相似性度量的阈值进行底层粗检测，获取多个满足阈值限制的检索图像作为底层粗检测的结果{R₁,…,R_z}，z为正整数且z≤N；

选择直方图相交距离作为全局颜色直方图特征的相似性度量。步骤104中获得的查询对象全局颜色直方图特征可以表示为

每个检索对象全局颜色直方图特征可以表示为

从而根据公式

计算查询对象全局颜色直方图特征和第j个检索对象全局颜色直方图特征之间的相交距离（min函数表示取两者中的较小值）。

对相交距离进行归一化处理，得到查询图像和人物检索数据库中第j个候选图像之间的相似度

根据实际应用中的需要设定相似度筛选阈值（本方法中设置相似度筛选阈值为0.62），当相似度高于此筛选阈值时，将此候选图像作为底层粗检测结果之一，最终得到多个满足条件的底层粗检测结果{R₁,…,R_z}，z为正整数且z≤N。

通过上述操作得到了与查询实例一致的人物检索结果，但其中会混杂与查询实例不一致的错误结果。为了进一步提高人物检索的准确率，将底层粗检测结果作为后续检索的备选图像。

106：对查询实例和步骤105提供的底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割块；

超像素是几个颜色或强度上一致的像素点的组合。超像素的划分可以较好地描述物体的边缘，获得较好的图像分割结果，同时数量远小于图像的实际像素点，降低了计算的复杂度，提高了特征提取的准确度。本方法中对每个图像进行超像素图分割主要分为以下步骤：

1）将m×n大小的图像划分为W个超像素。具体操作可以采用现有技术中的通用方法，考虑处理速度，本方法采用N-SLIC方法[8]提取超像素，每个超像素SP_t(t∈[1,W])由Labxy空间（L表示亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，x表示横坐标位置，y表示纵坐标位置）中的5维矢量表示为SP_t=[l_t a_t b_t x_t y_t]。

2）利用W个超像素重新构造图像，对图像中的超像素采用频谱聚类技术[9]将其聚为C类，从而每个图像可以按聚类结果划分为C个彼此相连的区域，每个区域表示为RG_u(u∈[1,C])。

3）根据相邻区域的差异度Df(RG_u,RG_v)(u∈[1,C],v∈[1,C])对C个区域进行区域合并处理。

在本方法中，为了更好地考虑帧图像中物体边缘的显著性，采用相邻区域边界上的超像素来计算。假定两个相邻区域RG_u和RG_v的相邻边界上分别有P个和Q个超像素，则定义这样的分属两个区域的任意两个超像素SP_p(p∈[1,P])、SP_q(q∈[1,Q])之间的欧氏距离为 $E_{p,q}=\sqrt{{(l_p-l_q)}^2+{(a_p-a_q)}^2+{(b_p-b_q)}^2},$ 其中(l_p,a_p,b_p)和(l_q,a_q,b_q)分别是超像素SP_p、SP_q在Labxy空间中的颜色均值。

将两个相邻区域边界上的所有超像素之间的欧式距离构造集合S(u,v)，|S(u,v)|表示集合中距离的个数，则这两个相邻区域的差异度定义为

当两个区域不相邻时则定义其差异度为∞。按照上述方法求图像中各个区域之间的差异度，根据实际应用需要设置合并阈值th（本方法中设置th=42.5），当两区域之间的差异度小于此合并阈值时将这两个区域进行合并，最后将图像分割为C'个分割块。

例如：图像分为6个区域，用No.1-No.6分别表示，根据公式计算两个区域之间的差异度列表如下：

Df	No.1	No.2	No.3	No.4	No.5	No.6
							No.1	0	24.6	53.1	16.7	∞	∞
No.2	24.6	0	65.2	∞	∞	21.8
							No.3	53.1	65.2	0	45.3	18	∞
No.4	16.7	∞	45.3	0	47.1	∞
							No.5	∞	∞	18	47.1	0	59.4
No.6	∞	21.8	∞	∞	59.4	0

根据合并阈值th=42.5，则No.1和No.2、No.4、No.6合并，No.3和No.5合并，最终图像6个区域分为两个分割块，参见图2。

107：对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集F_90×C'；

在图像分割之后，利用局部特征进一步表征图像，减少了全局特征所带来的背景信息的干扰，增强了特征的鲁棒性。对于一个图像的局部显著特征集构建具体步骤如下：

1）计算每一分割块所包含的超像素在Labxy空间中的颜色均值作为该分割块的3维颜色特征f₁；

2）利用局部二元模式算子（LBP）[10]提取每一分割块的51维纹理特征f₂；

3）提取每一分割块的方向梯度直方图（HOG）特征f₃，此36维特征能够很好地描述局部区域的形状。本方法中对于提取HOG特征的方法不做限制，可以参见文献[11]；

4）将上述三种特征串联（f₁+f₂+f₃），形成描述每一分割块的90维局部综合显著特征；

5）将一个图像所有部分的90维局部综合显著特征构成该图像的局部显著特征集F_90×C'，即得到查询实例的局部显著特征集为

底层粗检测结果的局部显著特征集为

108：计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹配的度量；

查询实例有C'_A个分割块，底层粗检测结果R_k(k∈[1,z])对应有

个分割块。将查询实例的每个分割块在各底层粗检测结果的分割块中查找最近邻，计算分割块和其最近邻分割块的距离作为该分割块和此底层粗检测结果的最近邻距离，最后计算查询实例各个分割块与底层粗检测结果的最近邻之和作为特征匹配的度量。该步骤具体包括：

1）选择查询实例中任一分割块，利用其90维特征在底层粗检测结果的分割块中进行Kd-树查询[12]，得到此分割块在该底层粗检测结果中的最近邻分割块；

例如：查询实例A分为A₁、A₂和A₃三个分割块，一个底层粗检测结果R_B有B₁和B₂两个分割块。选取A₁在R_B的两个分割块中进行Kd-树查询，得到其对应的最近邻分割块为B₂。

2）求查询实例的这一分割块和其最近邻分割块之间的欧氏距离作为查询实例该分割块与此底层粗检测结果的最近邻距离，其中和

分别表示查询实例的一个分割块和其最近邻分割块的90维局部综合显著特征，

例如：上步得到A₁对应的最近邻分割块为B₂，利用公式计算两者之间的欧氏距离为5，则A₁与底层粗检测结果R_B的最近邻距离为5。

3）重复1）-2），直至查询实例中每一分割块都与此底层粗检测结果得到最近邻距离

例如：查询得A₂在底层粗检测结果R_B中对应的最近邻分割块为B₂，二者间欧氏距离为4.8，则A₂与底层粗检测结果R_B的最近邻距离为4.8；继续查询得A₃在底层粗检测结果R_B中对应的最近邻分割块为B₁，二者间欧氏距离为5.6，则A₃与底层粗检测结果R_B的最近邻距离为4.8。在查询实例中的各个分割块都求得与底层粗检测结果R_B之间的最近邻距离后此步结束。

4）利用公式

计算查询实例与该底层粗检测结果的最近邻之和

作为其匹配程度的度量；

例如：查询实例A和底层粗检测结果R_B之间的最近邻之和为5+4.8+5.6=15.4，则二者之间的匹配程度为15.4。

109：设置查询实例与底层粗检测结果的最近邻之和的度量阈值Tt，进行匹配图像提纯，将提纯后结果作为顶层精检测结果输出。

根据实际应用设置度量阈值Tt（本实例应用中Tt=1.34），当查询实例与底层粗检测结果的最近邻之和

大于此阈值时，认为此底层粗检测结果与查询实例不匹配，从底层粗检测结果库中删除此图像；若

小于此阈值则保留此备选图像，最终将所有保留图像最为最终检索结果输出。

下面采用PETS基准数据集验证本方法的可行性。在数据集中选择同一视角下不同录制时间的三段视频进行测试。视频序列时长35s左右，帧速为20帧/s，序列共有780帧图像，图像分辨率为768×576。首先进行运动目标检测，共获得1352个矩形框作为人物检索数据库。接着，框选一个人体区域作为查询实例，并基于全局颜色直方图特征得到底层粗检测结果。最后通过超像素分割后提取的图像局部显著特征集匹配进行顶层精检测获得检索结果反馈给用户。

统计本方法最后得到的检索结果的准确率（包含查询图像中给出的人物的图像占结果总数的百分比），可以达到98%以上，基本能把查询图像在序列中对应的所有出现都找到。而其他方法在相同视频序列上进行测试则只能找到查询图像的一部分出现，且因为人物外表的改变经常出现错误的检索结果。图3(a)是在视频序列中选择的查询实例，图3(b)和(c)给出了序列任意两帧图像中的检索结果，椭圆形框表示的是本方法检索的结果，矩形框表示对比方法的检索结果。从图3(b)和(c)中可见当人体随着运动发生形态、外表的改变时，本方法依然能够获得较为准确的检索结果。

通过实验结果可见，层级化的特定人物检索方法在提高目标检索的准确率上有一定作用，用基于全局颜色直方图特征的粗检测来选取一定数量的备选图像，排除了大范围场景中的大量图像对顶层精检测的干扰，保证了检测准确率的提高。利用目标的超像素信息进行区域分割之后提取图像局部显著特征集，降低了监控视频中光照、噪声、姿势、遮挡以及设备分辨率低等原因对人物稳定特征提取的影响，解决了人物外表多样性问题，在不增加特征提取的复杂度的基础上，得到了较好的人物检索结果，进一步提高了检索的准确性。

参考文献：

[1]Bauml M.,Bemardin K.,Fischer M.,Ekenel H.K.,and Stiefelhagen R.,“Multi-pose facerecognition for person retrieval in camera networks”.Proc.7*International Conference onAdvanced Video and Signal-Based Surveillance,2010.

[2]Weber M.,and Bauml M.,“Part-based Clothing Segmentation for Person Retrieval”.Proc.IEEE International Conference on Advanced Video and Signal-Based Surveillance,pp.361-366,2011.

[3]Liu W.,Xia T.,Wan J.,Zhang Y.and Li J.,“RGB-D Based Multi-Attribute People Search inIntelligent Visual Surveillance”.Proc.Advances in Multimedia Modeling,pp.750-760,2012.

[4]Yuk J.,Wong K.Y.,Chung R.,Chow K.,Chin R.and Tsang K.,“Object-based surveillancevideo retrieval system with real-time indexing methodology”.Proc.Image Analysis andRecognition,pp.626-637,2007.

[5]Deng G,Cahill L W.“An adaptive Gaussian filter for noise reduction and edgedetection[C]”.Nuclear Science Symposium and Medical Imaging Conference,1993.,1993IEEE Conference Record.IEEE,1993:1615-1619.

[6]张洪刚,陈光,郭军.图像处理与识别[M].北京邮电大学出版社,2006.

[7]Stauffer C,Grimson WEL,“Adaptive Background Mixture Models for Real-Time Tracking”.In Proc.Computer Vision and Pattern Recognition1999(CVPR'99),June1999:78-86.

[8]Achanta,R.,Shaji,A.,Smith,K.,Lucchi,A.,Fua,P.,Susstrunk,S.“SLIC SuperpixelsCompared to State-of-the-art Superpixel Methods”.IEEE Transactions on Pattern Analysisand Machine Intelligence34(11),2274–2282(2012).

[9]Chen,W.Y.,Song,Y.,Bai,H.,Lin,C.J.,Chang,E.Y.“Parallel Spectral Clustering inDistributed Systems”.IEEE Transactions on Pattern Analysis and Machine Intelligence33(3),568–586(2011)

[10]Ojala T,Pietikainen M,Maenpaa T.“Multiresolution gray-scale and rotation invarianttexture classification with local binary patterns[J]”.Pattern Analysis and MachineIntelligence,IEEE Transactions on,2002,24(7):971-987.

[11]Dalal N,Triggs B.“Histograms of Oriented Gradients for Human Detection[C]”.IEEEComputer Society Conference on Computer Vision and PatternRecognition(CVPR):[s.1][s.n.].2005：886—893.

[12]王永明,王贵锦.图像局部不变性特征与描述[M].国防工业出版社,2010.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种层级化的特定人物检索方法，其特征在于，所述方法包括以下步骤：

（1）对监控摄像头获取的原始视频序列进行图像去噪和图像增强的预处理，获取预处理后视频序列；

（2）根据所述预处理后视频序列获取人物检索数据库；

（3）在所述预处理后视频序列中用矩形框选定要查询的人物A，以图像A_m×n作为查询实例输入；

（4）对已获得的人物检索数据库中的每一图像和查询实例A_m×n分别进行全局颜色直方图特征提取，获取查询实例对应的查询对象全局颜色直方图特征、人物检索数据库中每一图像相应的检索对象全局颜色直方图特征；

（5）计算查询对象全局颜色直方图特征和多个检索对象全局颜色直方图特征的相似性，设置相似性度量的阈值进行底层粗检测，获取多个满足阈值限制的检索图像作为底层粗检测的结果；

（6）对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割块；

（7）对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集；

（8）计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹配的度量；

（9）设置查询实例与底层粗检测结果的最近邻之和的度量阈值，进行匹配图像提纯，将提纯后结果作为顶层精检测结果输出。

2.根据权利要求1所述的一种层级化的特定人物检索方法，其特征在于，所述对查询实例和底层粗检测结果分别进行超像素图分割，将每个图像分为多个分割块的操作具体为：

1）将m×n大小的图像划分为W个超像素；

2）利用W个超像素重新构造图像，将图像中的超像素聚为C类，按聚类结果划分为C个彼此相连的区域；

3）根据相邻区域的差异度对C个区域进行区域合并处理，最后将图像分割为C'个分割块。

3.根据权利要求1所述的一种层级化的特定人物检索方法，其特征在于，所述对每个分割块提取局部综合显著特征，构造每个图像的局部显著特征集的操作具体为：

1）计算每一分割块所包含的超像素在Labxy空间中的颜色均值作为该分割块的3维颜色特征f₁；

2）利用局部二元模式算子提取每一分割块的51维纹理特征f₂；

3）提取每一分割块的方向梯度直方图特征f₃；

4）将上述三种特征串联形成描述每一分割块的90维局部综合显著特征；

5）将一个图像所有部分的90维局部综合显著特征构成该图像的局部显著特征集。

4.根据权利要求1所述的一种层级化的特定人物检索方法，其特征在于，所述计算查询实例和每个底层粗检测结果的局部显著特征集的最近邻之和作为特征匹配的度量的操作具体为：

1）选择查询实例中任一分割块，利用其90维特征在底层粗检测结果的分割块中进行Kd-树查询，得到此分割块在该底层粗检测结果中的最近邻分割块；

2）求一分割块与其最近邻分割块之间的欧氏距离，作为分割块与此底层粗检测结果的最近邻距离；

3）重复1）-2），直至查询实例中每一分割块都与此底层粗检测结果得到最近邻距离；

4）计算查询实例与该底层粗检测结果的最近邻之和，作为其匹配程度的度量。

Images