CN103853794B - 一种基于部件关联的行人检索方法 - Google Patents

Abstract

一种基于部件关联的行人检索方法是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。本发明的优点在于：通过对行人提取用头部、躯干、左臂、右臂、左腿和右腿六个部件，并对所述六个部件进行特征分析，通过提取行人图像中关联的部件，结合部件之间的关系进行行人的检索，以解决现有技术中无法通过行人的部件属性在海量视频中进行检索的问题，达到快速定位的目的，有效的在海量视频中检索到相似的行人，适用于刑侦、智能监控等领域。

Description

一种基于部件关联的行人检索方法

技术领域

本发明涉及智能监控领域，尤其涉及一种基于部件关联的行人检索方法。

背景技术

随着监控摄像头的广泛安装，每天产生数以万计的监控视频数据，如何在海量的数据中找到需要的内容和目标是一项具有挑战性的任务。传统的基于内容的视频检索的一个前提就是：建立以视频帧中视觉内容为单位的索引，以便于在海量视频中快速查找与定位。这就要求将视频帧中待检索内容在视频背景中完美的分割出来并提取其特征，而分割效果的好坏将直接影响检索的精度，因此，得到一个好的目标前景与背景的分割非常重要。

对于监控视频来说，由于其具有低分辨率、高噪声、光照变化大等特点，对于视频库中在不同时间、不同场景下出现的同一物体来说，它的尺度、方向、光照甚至分辨率都会发生变化，在这种情况下，如何选取合适的视觉特征描述子来对视频内容进行描述，就显得尤为重要。目前常用的基于视觉描述的特征主要包括颜色、形状和纹理，这些特征在图片检索领域得到了广泛的应用，取得了良好的效果。然而，由于监控视频具有上述特点，必须找到一种能够对尺度、方向、光照变化等具有较好鲁棒性的视觉特征描述子。

现有的特征描述方法主要是针对局部特征来描述的，忽略了视觉内容上下文之间的关系。比如，视频监控中的行人由头部、躯干和下肢三部分组成，局部描述只能局部的描述各个部分自身的特征，然后将这些特征拼接用于检索。这种方法对于具有复杂形状的视觉内容，不能得到令人满意的效果。

由于监控视频通常是海量的，一般都以TB为单位来度量，而其中所包含的待检索内容也是海量的。当对监控视频中的视觉内容提取特征之后，如何存储这些特征使得基于内容的检索能够快速、高效的进行，依然是一个值得探索的问题。目前常用的索引方法是建立倒排表。把包含同一特征的视觉内容列成一个表，表的开头是某个视觉特征向量，表的后面依次连接着包含该特征向量的视觉内容的位置。当我们得到一个待检索视觉内容时，可以先提取其特征向量，然后利用这些特征向量在倒排表中快速定位视觉内容的位置。该方法在视频规模较小的时候计算效率很高，但是当视频规模扩大时，特征向量的个数就会快速增长。在海量的特征向量中寻找匹配项，将会耗费大量时间。因此，亟需一种快速、高效的索引定位方法。

发明内容

本发明是针对现有技术的不足，提出的一种基于部件关联的行人检索方法，用以解决现有技术中无法通过行人的部件属性在海量视频中进行检索的问题，达到快速定位的目的。

一种基于部件关联的行人检索方法是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。

进一步的，一种基于部件关联的行人检索方法提取分析关联部件特征点的步骤包括前景和轨迹提取、行人部件关系描述、基于部件索引和存储和基于部件的行人检索四个部分。

对视频中的行人前景和轨迹提取方式为：

第一步：采用帧间差分法得到监控视频的前景图像；对前景目标采用最近邻方法进行跟踪，从而得到目标的轨迹；运用高斯滤波的方法去除噪声点，使区域边缘平滑；

第二步：通过给检测区域面积设置一个最大和最小阈值的方法，排除不符合条件的区域，得到合理的帧间差图像；

第三步：把帧间差的二值图像看作原图像对于前景的掩码，并在原图像中提取出前景图像。

对行人部件关系描述的方法为：将图像的前景和背景分离，然后对行人进行部件划分，将行人分成头部、躯干、左臂、右臂、左腿和右腿六个部件，对于每个部件提取局部特征点，用不同的部件之间的特征点的共生关系来对部件进行建模。

进一步的，所述的建模方式为：从任意两个部件中分别选择M个局部特征点，利用个特征点的组合作为所述两个部件的视觉描述，记做，同时采用传统的词频和词频倒数（TF-IDF）进行相似性度量。

对于基于部件的索引和存储方法为：

首先采用基于部件的索引结构，建立特征点树，所述的特征点树的第一层为行人整体，特征点树的第二层为头部、躯干、左臂、右臂、左腿和右腿六个基本部件，同时将属于每个部件的特征点都量化到每个部件下属的子节点中；

然后对提取的特征点采用分层次的均值聚类(hierarchical K-means)方法分别聚类得到视觉码本；将属于每个部件的视觉码本按照层次关系映射到特征点树结构中，同时剔除不属于部件的特征点；

其次对视觉码本采用倒排索引的存储结构进行存储，将属于头部、躯干、左臂、右臂、左腿和右腿六个部件的特征点的词频用7个比特进行存储。

对于基于部件关联的检索方法为：

首先，输入的行人图片同时通过前景和轨迹提取进行目标提取和跟踪，同时采用了高斯平滑的方法对帧间差图像进行滤波，即便在分辨率较低的监控视频中也能得到较好的目标分割和跟踪结果；

其次，对于分割得到的行人，采用的是基于潜在变量的支持向量机的方法对部件进行检测，然后对每个部件提取局部特征点，并对特征点按照特征点树存储结构进行量化，对每个特征点到数据库中检索具有相同特征点的部件，将能够找到匹配的部件数记做P（0≤P≤7）；

对于P个部件，在其中任意选择两个部件的组合数为，依次遍历两个部件的所有特征点的任意组合并统计它们出现的次数作为关系描述，然后将基于部件的关系描述进行二次检索，采用传统的词频和词频倒数（TF-IDF）计算它的相似性，并将所有组合的检索的相似性相加，得到最终的检索结果。

进一步的，计算相似性列表的公式为：

其中：

输入检索图q和数据库的图像I的相似性

为第k个部件中的第i个特征点；

为的词频；

是的词频倒数。

本发明的的优点在于：通过对行人提取用头部、躯干、左臂、右臂、左腿和右腿六个部件，并对所述六个部件进行特征分析，通过提取行人图像中关联的部件，结合部件之间的关系进行行人的检索，以解决现有技术中无法通过行人的部件属性在海量视频中进行检索的问题，达到快速定位的目的，有效的在海量视频中检索到相似的行人，适用于刑侦、智能监控等领域。

附图说明

图1为基于部件关联的行人检索方法数据流程示意图；

图2为基于部件关联的行人检索方法的行人部件划分示意图；

图3为基于部件关联的行人检索方法的行人关联描述示意图；

图4为基于部件关联的行人检索方法的基于部件的树形存储结构示意图；

图5为基于部件关联的行人检索方法的检索过程示意图。

具体实施方式

本发明通过提取行人图像中关联的部件，结合部件之间的关系进行行人的检索，用以解决现有技术中无法通过行人的部件属性在海量视频中进行检索的问题。本发明所述的基于部件关联的行人检索方法数据流程示意图如图1所示，图像获取装置获取图像后，对图像进行前景和轨迹提取，然后对行人进行部件描述，建立基于部件的索引并进行存储，，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。

对图像装置获取的图像进行前景和轨迹提取的方式为：首先采用帧间差法得到前景图像，然后对前景目标采用最近邻方法进行跟踪，从而得到目标的轨迹。帧间差法的原理是计算前后两帧图像之间的像素差，通过设置阈值得到帧间差图像。帧间差图像是一个二值掩码图像，“1”代表前景，“0”代表背景。此时的帧间差图像还非常粗糙，存在很多噪声点，即非运动物体区域判断为运动物体区域，或者一些异常的运动物体区域。此时运用高斯滤波的方法去除噪声点，使区域边缘平滑；通过给检测区域面积设置一个最大和最小阈值的方法，排除不符合条件的区域，得到较满意的帧间差图像。然后，可以把帧间差的二值图像看作原图像对于前景的掩码，从而在原图像中提取出前景图像。帧间差法不需要复杂的计算，并且只用到了前后两帧的信息，因此计算效率非常高。

如图3所示，行人部件关系描述单的方法为：首先将图像的前景和背景分离，然后对行人进行部件划分，如图2所示，将行人分成头部、躯干、左臂、右臂、左腿和右腿等六个部件，对于每个部件提取局部特征点，如SIFT点，用不同的部件之间的特征点的共生关系来对部件进行建模。我们从任意两个部件中分别选择M个局部特征点，这 个特征点的组合作为这两个部件的视觉描述，记做 。通常情况下我们选择 。 如①③、②④、②③和①④是左臂和右臂4个视觉描述，而⑤⑦、⑥⑦、⑥⑧和⑤⑧是左腿和右腿的4个视觉描述，通过这种有效地部件特征点组合，作为部件之间的关系的一种综合描述，采用传统的词频和词频倒数（TF-IDF）进行相似性度量。这种关系模型可以有效地提高对行人的描述能力，从而保障检索的准确性。

基于部件的索引和存储的方式为：对于海量的视频数据，加快检索的速度至关重要。本发明采用基于部件的索引结构，建立如图4所示特征点树，特征点树的第二层为六个基本部件，属于每个部件的特征点都量化到每个部件下属的子节点中。首先，对于提取的特征点采用分层次的均值聚类(hierarchical K-means)方法分别聚类得到视觉码本；然后将属于每个部件的码本按照层次关系映射到如图4的树形结构中；同时剔除不属于部件的特征点，这样可以有效减少码本的数目，建立基于树形结构的部件关系索引。本专利采用倒排索引的存储结构，其存储的结构示意图如图4所示。对于六个部件：头部、躯干、左臂、右臂、左腿和右腿，将属于每个部件的特征点的词频用7个比特进行存储，这种存储结构有利于基于部件的快速查询。

基于部件关联的检索方式为：在输入的行人图片同时，首先通过前景和轨迹提取单元进行目标提取和跟踪，同时采用了高斯平滑的方法对帧间差图像进行滤波，即便在分辨率较低的监控视频中也能得到较好的目标分割和跟踪结果。

对于分割得到的行人，对部件进行检测，这里采用的是基于潜在变量的支持向量机的方法（P. Felzenszwalb, R. Girshick, D. McAllester, D. Ramanan ObjectDetection with Discriminatively Trained Part Based Models,IEEE Transactionson Pattern Analysis and Machine Intelligence, Vol. 32, No. 9, Sep. 2010），然后对每个部件提取局部特征点，并对特征点按照树形存储结构进行量化。对每个特征点到数据库中检索具有相同特征点的部件，能够找到匹配的部件数记做P（0≤P≤7）。

对于P个部件，在其中任意选择两个部件的组合数为。依次遍历两个部件的所有特征点并计算它们的关系描述。然后基于部件的关系描述进行二次检索，采用传统的词频和词频倒数（TF-IDF）来计算它的相似性，并将所有组合的检索的相似性相加，得到最终的检索结果。

如图5所示，检索过程如下，对于属于不同部件的两个特征点组成一个视觉单词，对每一个单词在倒排表中进行查询，得到相似性（TF-IDF）值。然后将一个部件的检索出来所有视觉单词的相似性相加，得到部件的相似性，然后对于行人的所有部件的相似性相加并进行排序，根据最终的相似性分数排序，得到检索的结果。

Claims (1)

1.一种基于部件关联的行人检索方法，是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的；提取分析关联部件特征点的步骤包括前景和轨迹提取、行人部件关系描述、基于部件索引和存储和基于部件的行人检索四个部分；其中，

对视频中的行人前景和轨迹提取方式为：

第一步：采用帧间差分法得到监控视频的前景图像；对前景目标采用最近邻方法进行跟踪，从而得到目标的轨迹；运用高斯滤波的方法去除噪声点，使区域边缘平滑；

第二步：通过给检测区域面积设置一个最大和最小阈值的方法，排除不符合条件的区域，得到合理的帧间差图像；

第三步：把帧间差的二值图像看作原图像对于前景的掩码，并在原图像中提取出前景图像；

对行人部件关系描述的方法为：将图像的前景和背景分离，然后对行人进行部件划分，将行人分成头部、躯干、左臂、右臂、左腿和右腿六个部件，对于每个部件提取局部特征点，用不同的部件之间的特征点的共生关系来对部件进行建模；

所述的建模方式为：从任意两个部件中分别选择M个局部特征点，利用M×2个特征点的组合作为所述两个部件的视觉描述，记做θ，同时采用传统的词频和词频倒数(TF-IDF)进行相似性度量；其特征在于：

采用基于部件的索引结构，建立特征点树，所述的特征点树的第一层为行人整体，特征点树的第二层为头部、躯干、左臂、右臂、左腿和右腿六个基本部件，同时将属于每个部件的特征点都量化到每个部件下属的子节点中；对提取的特征点采用分层次的均值聚类(hierarchical K-means)方法分别聚类得到视觉码本；将属于每个部件的视觉码本按照层次关系映射到特征点树结构中，同时剔除不属于部件的特征点；对视觉码本采用倒排索引的存储结构进行存储，将属于头部、躯干、左臂、右臂、左腿和右腿六个部件的特征点的词频用7个比特进行存储；

所述基于部件关联的行人检索方法的具体步骤为：

首先，输入的行人图片同时通过前景和轨迹提取进行目标提取和跟踪，同时采用高 斯平滑的方法对帧间差图像进行滤波，即便在分辨率较低的监控视频中也能得到较好的目标分割和跟踪结果；

其次，对于分割得到的行人，采用的是基于潜在变量的支持向量机的方法对部件进行检测，然后对每个部件提取局部特征点，并对特征点按照特征点树存储结构进行量化，对每个特征点到数据库中检索具有相同特征点的部件，将能够找到匹配的部件数记做P，其中P大于等于0且小于等于7；

对于P个部件，在其中任意选择两个部件的组合数为依次遍历两个部件的所有特征点的任意组合并统计它们出现的次数作为关系描述，然后将基于部件的关系描述进行二次检索，采用传统的词频和词频倒数(TF-IDF)计算它的相似性，并将所有组合的检索的相似性相加，得到最终的检索结果。