CN109271932A - 基于颜色匹配的行人再识别方法 - Google Patents

Abstract

本发明公开了一种基于颜色匹配的行人再识别方法，包括以下步骤：检测视频中的运动区域，得到行人候选区域；对行人候选区域利用头肩检测器得到初步行人区域，采用DPM模型进行行人精检；对检测到的行人进行跟踪，得到目标跟踪序列，将行人区域划分为躯干和腿部，并采用本文提出的颜色量化方法得到行人颜色特征描述符，将目标序列信息存入数据库；对查询目标采用直方图的交方法与数据库中的行人序列计算相似度，并按相似度降序返回查询结果。本发明提出的方法可在不同背景环境以及不同监控相机下稳定检测并跟踪行人，提出的颜色量化方法可有效应对不同行人姿态、分辨率和光照影响，实现跨相机搜索与查询行人相似的目标序列。

Description

基于颜色匹配的行人再识别方法

技术领域

本发明属于智能监控视频技术领域，具体涉及一种跨相机的基于颜色匹配的行人再识别方法。

背景技术

目前，对监控视频中的目标进行智能分析得到越来越多的重视。对于大部分的监控系统来说，监控视频中出现的人都是其重要关注对象，因此智能监控系统需要拥有对其进行检测、跟踪、识别的能力，以便进一步对行人目标的行为进行分析，行人再识别技术就是其核心步骤之一。行人再识别就是将不同摄像头中出现的同一个行人再次识别出来，它主要是在大区域的多摄像头视频监控网络中，可以实现对行人目标跨相机轨迹跟踪、轨迹预测等。通过对特定行人的行踪以及其它行为的分析，可以发现他们之间的行为方式以及相互关系，这对于特定事件的分析非常有帮助。因此，行人再识别技术是计算机视觉领域内的一个研究热点，同时在现实中具有十分重要的应用价值。

目前有很多针对行人再识别技术的算法，主要分为三大类：基于外观特征、结合生物特征和结合图像序列的空间关系。由于监控视频的清晰度问题，使得人脸识别不能在此情况下应用，转而分析行人的穿着，如衣服、裤子的颜色特征，从而可以过滤掉大部分不相关的目标，实现相关目标的快速检索。

由于颜色特征是在图像检索中应用最为广泛的视觉特征，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，具有较高的鲁棒性。因此通过提取行人躯干、腿部等外观颜色信息，可以有效地实现搜索视频中相关的目标行人，但是现有的技术还没有涉及到这方面的研究，故，需要一个新的技术方案来实现突破。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种行人再识别方法和再识别系统，通过得到鲁棒的颜色特征，快速检索相关的行人目标。

技术方案：为实现上述目的，本发明的技术方案如下：

一种基于颜色匹配的行人再识别方法，包括以下步骤：

1)检测视频中的运动区域，从而得到行人候选区域；

2)对得到的行人候选区域，利用头肩检测器来进一步得到初步行人区域，再采用DPM模型进行行人精检；

3)对检测到的行人进行跟踪，得到一个目标的跟踪序列，将跟踪到的行人区域划分为躯干和腿部，并采用颜色量化方法，得到行人特征描述符，将其特征存入数据库；

4)对于输入的查询目标，采用直方图的交方法和数据库中的行人序列计算相似度，并按相似度从大到小排序返回查询结果。

进一步地，所述步骤1中检测视频中的运动区域，从而得到行人候选区域，具体包括：

1.1)采用ViBe背景建模算法检测视频中的运动区域，得到每一帧图片的前景区域；

1.2)对前景区域采用相关处理手段得到运动区域，从而形成行人候选区域。

进一步地，所述步骤2具体流程如下：

2.1)采用HOG+SVM训练头肩检测器，采用DPM模型训练行人检测器；

2.2)根据步骤1得到的运动区域，首先采用头肩检测器快速定位行人头肩，然后根据头肩位置和大小在头肩附近得到初步行人区域；

2.3)再采用训练好的DPM模型在此区域内进行行人精检，从而可以获得准确的行人矩形框。

进一步地，所述步骤3中的颜色量化方法具体为：

3.1)采用产生式颜色表构建方法，将HSV空间划分出各颜色所属的空间区域，颜色表的构建策略具体如下：

3.1.1)采用亮色分离策略，首先按照V分量的值将HSV颜色空间分成若干类V_i(i＝1,2,3…,n)；

3.1.2)对每个V_i类别按照S分量的值将其分成若干类别

3.1.3)在空间中按照H分量的值依次生成一系列颜色块，通过人眼观察，并进行投票表决出每个颜色块属于每种颜色的概率，选择概率最高且大于一定阈值的颜色块；

3.1.4)通过上述3个步骤即可确定出各颜色的H、S、V三分量的取值范围。经过上述步骤，可以确定当V<V_th时，彩色已无法区分，通过观察将其判定为黑色；当饱和度S<S_th时，彩色也无法区分，通过观察将其判定为白色。

3.1.5)经过大量的人工筛选，生成颜色对照表。

3.2)对HSV空间进行非线性划分，划分为常见的8种颜色，各颜色以及对应的编码如下所示：

通过颜色量化可以得到一个HSV空间到8种索引颜色的映射，利用此映射可以对图像进行编码。

对于某一个点(H、S、V)值，具体查表流程如下：

A)判断V所属区域，查询颜色对照表，如果V>V_th，转第2步，否则该点属于黑色，结束；

B)对于V所属的区域，通过查颜色对照表判断S所属的区域，如果S>S_th，转第 3步，否则该点属于白色，结束；

C)查看H是否属于某个区间，如果是，则该点就是对应区间的颜色，否则转第4 步；

D)用隶属度公式判断该点属于的颜色，隶属度公式如下：

其中，h_*为间断区间[h₁,h₂]中的一点，当sigh<sth时，h_*属于h₁所属颜色，否则属于h₂所属颜色，sth为阈值参数。

进一步地，所述步骤3中的行人特征描述符的具体形成过程为：

利用颜色量化能够将每幅图像同每种颜色类别都进行关联，并得到属于每一种颜色的概率。

a)行人躯干颜色特征描述符的构建流程如下：

a.1)确定行人的躯干部分，划分成n个size×size大小的正方形blocks；

a.2)针对每个block计算H、S、V这3通道的均值并根据步骤3查表法获得该均值下的颜色编码；

a.3)统计n个blocks中属于每种颜色的频数，得到颜色频数直方图，归一化得到颜色特征描述符。

b)在进行腿部的颜色直方图提取时，需要加入消弱背景色处理。该处理过程如下：

b.1)将腿部提取到的主色区域求取颜色频数直方图，此时直方图纵轴为颜色c对应的频数n_c，频数之和为N；

b.2)提取行人框底部，除去主颜色区间的其他区域的频数直方图，找到频数最大且满足：的对应的颜色c^*；

b.3)执行以下公式，更新A中得到的频数总和N，及颜色c^*对应的频数

b.4)按照C中更新得到的重新计算裤子主颜色区域的颜色直方图，得到腿部颜色特征描述符。

对每个前景区域，进行行人检测，并规定视频每隔5帧进行一次行人检测，在这5帧之间对行人进行跟踪，得到一个目标序列，该目标序列包括相机位置，以及起始时间和结束时间；将跟踪到的行人序列缩放到64*128大小，并按比例选取躯干和腿部区域；采用本发明内容步骤a和步骤b所述的方法，得到行人躯干和腿部的颜色特征量，分别记为f₁和f₂，并将特征存入数据库。

进一步地，所述步骤4对于输入的查询目标，采用直方图的交方法和数据库中的行人序列计算相似度，具体的行人匹配过程为：

4.1)对于两个向量的相似度计算，采用直方图的交方法，其计算公式如下：

其中，H₁,H₂为归一化的向量，L为两个向量的长度。

4.2)记查询的行人图片的躯干和腿部特征为f₁和f₂，记第i个行人目标序列的第j帧的躯干和腿部特征分别为和

4.3)查询图片和数据库中的一个目标序列相似度计算公式如下：

其中j＝1,2,…,m_i，m_i表示第i个行人目标序列的帧数；i＝1,2,…,n，n表示数据库中的目标序列的个数；w₁表示躯干匹配时的权重，w₂表示腿部匹配时的权重，且w₁+ w₂＝1。

4.4)最后对相似度simⁱ按照从大到小进行排序，返回查询视频。

有益效果：本发明与现有技术相比，本发明提出的方法可在不同背景环境以及不同监控相机下稳定检测并跟踪行人，提出的颜色量化方法可有效应对不同行人姿态、分辨率和光照影响，实现跨相机搜索与查询行人相似的目标序列。

附图说明

图1是本发明实施例一所提供的行人再识别系统示意图；

图2是本发明实施例一所提供的检测到的运动前景；

图3是本发明实施例一所提供的检测到的行人；

图4是本发明实施例一所提供的行人颜色特征描述符；

图5是本发明实施例一所提供的行人查询结果示意；

图6是本发明实施例二所提供的相似度分布图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

实施例一：

图1是本发明实施例一所提供的行人再识别系统示意图，参照图1，本实施例的具体方法步骤如下：

1)检测视频中的运动区域，从而得到行人候选区域：

图2是确定视频中的运动区域，参照图2，形成行人检测的候选区域，具体包括

1.1)采用ViBe背景建模算法检测视频中的运动区域，得到每一帧图片的前景区域；

1.2)对前景区域采用膨胀、腐蚀等处理手段得到运动区划，从而形成行人候选区域。

2)对得到的行人候选区域，利用头肩检测器来进一步得到初步行人区域，再采用DPM模型进行行人精检：

图3是在步骤1的基础上，通过头肩检测器和行人检测器对候选区域的行人进行精检，参照图3，具体包括如下步骤：

2.1)采用HOG+SVM训练头肩检测器，采用DPM模型训练行人检测器；

2.2)根据步骤1得到的运动区域，首先采用头肩检测器快速定位行人头肩，然后根据头肩位置和大小在头肩附近得到初步行人区域；

2.3)再采用训练好的DPM模型在此区域内进行行人精检，从而可以获得准确的行人矩形框。

3)对检测到的行人进行跟踪，得到一个目标的跟踪序列，将跟踪到的行人区域划分为躯干和腿部，并采用颜色量化方法，得到行人特征描述符，将其特征存入数据库；

4)对于输入的查询目标，采用直方图的交方法和数据库中的行人序列计算相似度，并按相似度从大到小排序返回查询结果。

本实施例步骤3中颜色量化方法具体为：

3.1)采用产生式颜色表构建方法，将HSV空间划分出各颜色所属的空间区域，颜色表的构建策略具体如下：

3.1.1)采用亮色分离策略，首先按照V分量的值将HSV颜色空间分成若干类V_i(i＝1,2,3…,n)；

3.1.2)对每个V_i类别按照S分量的值将其分成若干类别

3.1.3)在空间中按照H分量的值依次生成一系列颜色块，通过人眼观察，并进行投票表决出每个颜色块属于每种颜色的概率，选择概率最高且大于一定阈值的颜色块；

3.1.4)通过上述3个步骤即可确定出各颜色的H、S、V三分量的取值范围。经过上述步骤，可以确定当V<V_th时，彩色已无法区分，通过观察将其判定为黑色；当饱和度S<S_th时，彩色也无法区分，通过观察将其判定为白色。

3.1.5)经过大量的人工筛选，生成如表1所示的颜色对照表。

表1

3.2)对HSV空间进行非线性划分，划分为常见的8种颜色，各颜色以及对应的编码如下所示：

通过颜色量化可以得到一个HSV空间到8种索引颜色的映射，利用此映射可以对图像进行编码。

对于某一个点(H、S、V)值，具体查表流程如下：

A)判断V所属区域，查询颜色对照表，如果V>V_th，转第2步，否则该点属于黑色，结束；

B)对于V所属的区域，通过查颜色对照表判断S所属的区域，如果S>S_th，转第 3步，否则该点属于白色，结束；

C)查看H是否属于某个区间，如果是，则该点就是对应区间的颜色，否则转第4 步；

D)用隶属度公式判断该点属于的颜色，隶属度公式如下：

其中，h_*为间断区间[h₁,h₂]中的一点，当sigh<sth时，h_*属于h₁所属颜色，否则属于h₂所属颜色，sth为阈值参数。

所述步骤3中利用查表法构建行人躯干颜色直方图，其具体步骤如下：

利用颜色直方图能够将每幅图像I同8种颜色类别都进行关联，并得到属于每一种颜色的概率u(I)＝{u₁(I),u₂(I),…,u₈(I)}。

a)行人躯干颜色特征描述符的构建流程如下：

a.1)确定行人的躯干部分，划分成n个size×size大小的正方形blocks；

a.2)针对每个block计算H、S、V这3通道的均值并根据步骤3查表法获得该均值下的颜色编码；

a.3)统计n个blocks中属于每种颜色的频数，得到颜色频数直方图，归一化得到颜色特征描述符。

通过上述步骤a的三个步骤后，可以获得行人躯干的颜色特征描述符，具体可如图4所示，图4中，5个行人从左到右躯干颜色依次为红色、绿色、黄色、黑色和白色，每个行人对应的下方为颜色频数直方图(纯黑色代表黑色，棋盘格代表白色，横纹代表红色，波浪纹代表黄色，竖纹代表绿色，斜纹代表天蓝色，稀疏点代表深蓝色，密点代表紫色)。

b)在进行腿部的颜色直方图提取时，需要加入消弱背景色处理。该处理过程如下：

b.1)将腿部提取到的主色区域求取颜色频数直方图，此时直方图纵轴为颜色c对应的频数n_c，频数之和为N；

b.2)提取行人框底部，除去主颜色区间的其他区域的频数直方图，找到频数最大且满足：的对应的颜色c^*；

b.3)执行以下公式，更新A中得到的频数总和N，及颜色c^*对应的频数

b.4)按照C中更新得到的重新计算裤子主颜色区域的颜色直方图，得到腿部颜色特征描述符。

对每个前景区域，进行行人检测，并规定视频每隔5帧进行一次行人检测，在这5帧之间对行人进行跟踪，得到一个目标序列，该目标序列包括相机位置，以及起始时间和结束时间；将跟踪到的行人序列缩放到64*128大小，并按比例选取躯干和腿部区域；采用本实施例中步骤a和步骤b所述的方法，得到行人躯干和腿部的颜色特征量，分别记为f₁和f₂，并将特征存入数据库。

所述步骤4中，对于输入的查询目标，采用直方图的交方法和数据库中的行人序列计算相似度，具体的行人匹配过程为：

4.1)对于两个向量的相似度计算，采用直方图的交方法，其计算公式如下：

其中，H₁,H₂为归一化的向量，L为两个向量的长度。

4.2)记查询的行人图片的躯干和腿部特征为f₁和f₂，记第i个行人目标序列的第j帧的躯干和腿部特征分别为和

4.3)查询图片和数据库中的一个目标序列相似度计算公式如下：

其中j＝1,2,…,m_i，m_i表示第i个行人目标序列的帧数；i＝1,2,…,n，n表示数据库中的目标序列的个数；w₁表示躯干匹配时的权重，w₂表示腿部匹配时的权重，且w₁+ w₂＝1。

4.4)最后对相似度simⁱ按照从大到小进行排序，返回查询视频，具体可参照图5所示，图5中，左侧的查询图片的行人躯干颜色从上往下依次为黑色、白色和黄色，在查询结果的3行中从上往下也依次显示了黑色、白色和黄色躯干颜色的众多行人(由于不能提供彩色图片，图5中行人躯干颜色实际为第一行黑色，第二行白色，第三行黄色)。

实施例二：

为验证查表量化法得到颜色特征描述符的性能，进行了实验。实验数据为在现实环境中采集的行人图像，这些图像来自不同视场、不同时间和不同光照条件下的监控视频，图像约5000张行人图片，来自十多个监控点，行人衣着颜色各不相同。

将同一类颜色的行人图片两两计算相似度，不同类颜色的行人两两计算相似度(采用实施例五中直方图的交计算向量相似度)，得到如图6所示的相似度阈值分布图。其中右半部点纹部分代表同一类颜色相似度分布，左半部斜纹部分表示不同类颜色的相似度分布。从图中可知，同类颜色间的行人相似度较高，聚集在右边，不同类颜色间的行人相似度较低，聚集在左边，说明基于颜色量化的行人匹配方法可以较好地区分复杂条件下不同颜色衣着的行人。

实施例三：

以颜色描述符作为特征，分别在数据集中检索某一种颜色，按相似度排名。理想的检索效果是同类颜色对象排名在前，不同类颜色对象排名靠后。本实施例使用平均正确率均值mAP作为衡量指标，实验结果如表2所示，表2是本实施例所提供的各颜色的平均准确率。

表2。

Claims (8)

1.基于颜色匹配的行人再识别方法，其特征在于：包括以下步骤：

1)检测视频中的运动区域，从而得到行人候选区域；

2)对得到的行人候选区域，利用头肩检测器来进一步得到初步行人区域，再采用DPM模型进行行人精检；

3)对检测到的行人进行跟踪，得到一个目标的跟踪序列，将跟踪到的行人区域划分为躯干和腿部，并采用颜色量化方法，得到行人特征描述符，将其特征存入数据库；

4)对于输入的查询目标，采用直方图的交方法和数据库中的行人序列计算相似度，并按相似度从大到小排序返回查询结果。

2.根据权利要求1所述的基于颜色匹配的行人再识别方法，其特征在于：所述步骤1中检测视频中的运动区域，从而得到行人候选区域，具体包括：

1.1)采用ViBe背景建模算法检测视频中的运动区域，得到每一帧图片的前景区域；

1.2)对前景区域采用相关处理手段得到运动区域，从而形成行人候选区域。

3.根据权利要求1所述的基于颜色匹配的行人再识别方法，其特征在于：所述步骤2具体流程如下：

2.1)采用HOG+SVM训练头肩检测器，采用DPM模型训练行人检测器；

2.2)根据步骤1得到的运动区域，首先采用头肩检测器快速定位行人头肩，然后根据头肩位置和大小在头肩附近得到初步行人区域；

2.3)再采用训练好的DPM模型在此区域内进行行人精检，从而可以获得准确的行人矩形框。

4.根据权利要求1所述的基于颜色匹配的行人再识别方法，其特征在于：所述步骤3中的颜色量化方法具体为：

3.1)采用产生式颜色表构建方法，将HSV空间划分出各颜色所属的空间区域，颜色表的构建策略具体如下：

3.1.1)采用亮色分离策略，首先按照V分量的值将HSV颜色空间分成若干类V_i(i＝1，2，3...，n)；

3.1.2)对每个V_i类别按照S分量的值将其分成若干类别

3.1.3)在空间中按照H分量的值依次生成一系列颜色块，通过人眼观察，并进行投票表决出每个颜色块属于每种颜色的概率，选择概率最高且大于一定阈值的颜色块；

3.1.4)通过上述3个步骤即可确定出各颜色的H、S、V三分量的取值范围。经过上述步骤，可以确定当V＜V_th时，彩色已无法区分，通过观察将其判定为黑色；当饱和度S＜S_th时，彩色也无法区分，通过观察将其判定为白色。

3.1.5)经过大量的人工筛选，生成颜色对照表。

3.2)对HSV空间进行非线性划分，划分为若干种颜色，并且对每种颜色进行编码，通过颜色量化可以得到一个HSV空间到这些索引颜色的映射，利用此映射可以对图像进行编码。

5.根据权利要求4所述的基于颜色匹配的行人再识别方法，其特征在于：所述步骤3中对于某一个点(H、S、V)值，具体查表流程如下：

A)判断V所属区域，查询颜色对照表，如果V＞V_th，转第2步，否则该点属于黑色，结束；

B)对于V所属的区域，通过查颜色对照表判断S所属的区域，如果S＞S_th，转第3步，否则该点属于白色，结束；

C)查看H是否属于某个区间，如果是，则该点就是对应区间的颜色，否则转第4步；

D)用隶属度公式判断该点属于的颜色，隶属度公式如下：

其中，h_*为间断区间[h₁，h₂]中的一点，当sigh＜sth时，h_*属于h₁所属颜色，否则属于h₂所属颜色，sth为阈值参数。

6.根据权利要求5所述的基于颜色匹配的行人再识别方法，其特征在于：所述步骤3中的行人特征描述符的具体形成过程为：

利用颜色量化能够将每幅图像同每种颜色类别都进行关联，并得到属于每一种颜色的概率。

a)行人躯干颜色特征描述符的构建流程如下：

a.1)确定行人的躯干部分，划分成n个size×size大小的正方形blocks；

a.2)针对每个block计算H、S、V这3通道的均值并根据步骤3查表法获得该均值下的颜色编码；

a.3)统计n个blocks中属于每种颜色的频数，得到颜色频数直方图，归一化得到颜色特征描述符。

b)在进行腿部的颜色直方图提取时，需要加入消弱背景色处理。该处理过程如下：

b.1)将腿部提取到的主色区域求取颜色频数直方图，此时直方图纵轴为颜色c对应的频数n_c，频数之和为N；

b.2)提取行人框底部，除去主颜色区间的其他区域的频数直方图，找到频数最大且满足：的对应的颜色c^*；

b.3)执行以下公式，更新A中得到的频数总和N，及颜色c^*对应的频数

b.4)按照C中更新得到的重新计算裤子主颜色区域的颜色直方图，得到腿部颜色特征描述符。

7.根据权利要求6所述的基于颜色匹配的行人再识别方法，其特征在于：所述步骤3具体包括：对行人进行跟踪，得到一个目标序列，该目标序列包括相机位置、起始时间和结束时间；将跟踪到的行人序列缩放到64*128大小，并按比例选取躯干和腿部区域；采用步骤a和步骤b中提出的方法，得到行人躯干和腿部的颜色特征量，分别记为f₁和f₂，并将特征存入数据库。

8.根据权利要求1所述的基于颜色匹配的行人再识别方法，其特征在于：所述步骤4对于输入的查询目标，采用直方图的交方法和数据库中的行人序列计算相似度，具体为：

4.1)对于两个向量的相似度计算，采用直方图的交方法，其计算公式如下：

其中，H₁，H₂为归一化的向量，L为两个向量的长度。

4.2)记查询的行人图片的躯干和腿部特征为f₁和f₂，记第i个行人目标序列的第j帧的躯干和腿部特征分别为和

4.3)查询图片和数据库中的一个目标序列相似度计算公式如下：

其中j＝1，2，...，m_i，m_i表示第i个行人目标序列的帧数；i＝1，2，...，n，n表示数据库中的目标序列的个数；w₁表示躯干匹配时的权重，W₂表示腿部匹配时的权重，且w₁+W₂＝1。

4.4)最后对相似度simⁱ按照从大到小进行排序，返回查询视频。