CN103984915B - 一种监控视频中行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于人体对称性与结构化特征稀疏表示的监控视频中行人重识别方法。该方法利用待识别行人的多帧图像作为训练，先进行行人检测和行人轮廓的提取，后根据人体对称性把行人的轮廓分为头部、左躯干、右躯干、左腿和右腿五个感兴趣区域。通过选取适当的特征对这五个感兴趣区域进行特征提取，并输入线性模型中，可得到待重识别的结果。本发明贴切实际情况，可有效地解决视频监控网络中行人重识别准确率低的问题。

Description

一种监控视频中行人重识别方法

技术领域

本发明属于智能监控领域，具体涉及一种监控视频中行人重识别方法。

背景技术

安全是一个社会和企业赖以生存和发展的基础，尤其是在现代化技术高度发展的今天，犯罪更趋智能化，手段更隐蔽，加强现代化的安防技术就显得更为重要。例如，如何在机场、车站、码头、宾馆、商场等口岸或公共场所的人群中发现特定的目标。安全部门、公安部门以往的做法只能是靠人工布控、蹲守。这种方式除了耗费大量的警力以外，还往往因为有关人员的疏忽而造成特定目标漏网；犯罪嫌疑人在被控制以后，不愿意透露自己的真实身份，而且身上没有任何可以证明身份的线索。公安人员往往因为无从确认其身份而不得不将其释放。在受害人身份确认方面同样也存在类似的难题；在出入境管理方面，常常有受控人员使用假的身份证件而成功逃脱有关部门的监控。

智能监控技术对于维护国家安全和社会稳定、打击各类犯罪活动具有十分重大的意义。在新兴的信息安全应用领域，行人重识别技术提供了一种更为安全可靠易用的身份鉴别手段，从而提升了整个网络信息系统的安全性能，有效地遏止各类网络违法犯罪活动。同时，行人重识别技术在传统的安防领域可以便捷的与原有技术实现紧密的结合，大大提升原有系统的智能化程度、安全性及易用性，拓展了原有系统的应用领域，从而促进了传统产业的技术升级。

发明内容

为了解决整个国家、社会的安全防范水平，达到威慑犯罪、惩治罪犯、维护社会稳定、保障国家安全的目的，本发明提供一种监控视频中行人重识别方法，可以较好地满足公安部门对安全的需求，包括步骤：

步骤(1)行人轮廓提取：分别提取地点A监控视频中出现的行人轮廓，及其他地点监控视频中的行人轮廓；

步骤(2)行人特征提取：基于人体对称性，把行人的轮廓分为头部、左躯干、右躯干、左腿和右腿五个感兴趣区域，并分别提取每个感兴趣区域的特征，选用特征为：颜色、纹理、形状。

步骤(3)行人重识别：行人重识别是指：从地点B的监控视频中找出地点A监控视频中出现的某些行人。假设地点A待识别行人有c个，每个行人p_ζ有多帧图像，ξ为c个 行人中的一个，ξ≤c，每个人的每一帧作为一个样本，x_i是该样本的特征向量，i为其中一个样本，且该行人对应的标签为y_ζ。同时，也得到地点B重识别候选行人的样本特征x′_i。构建基于结构化特征稀疏表示的线性回归模型学习的代价函数，建立行人重识别线性回归模型。将x，y，x′一起输入到模型中，即可得到相应的预测值，再通过自适应阈值最终得到人重识别的结果。

进一步的，所述步骤(2)中对行人特征提取具体为：

1)把提取出来的行人轮廓通过人体对称性分成五个局部，分别为头部、左躯干、右躯干、左腿和右腿。头部分割公式：其中 上下体分割公式：其中左右躯干分割：左右腿分割：d(.，.)是欧氏距离，α是纵坐标，β是横坐标，B(.，.)是区域，δ＝I/4。

2)采用颜色相关图特征c_κ提取行人的颜色信息、灰度共生矩阵特征t_κ提取感兴趣区域的纹理和边界特征s_κ来获取图像的形状参数，其中κ为对应感兴趣区域，这三种特征分别对行人的五个感兴趣区域进行特征提取。每提取一个行人轮廓设定为一个独立样本，x_i是该样本的特征向量，i为其中一个样本，即x_j＝[c₁ c₂ c₃ c₄ c₅t₁ t₂ t₃ t₄ t₅ s₁ s₂ s₃ s₄s₅]^T，所以总体样本的特征矩阵为X＝[x₁，x₂，...，x_n]∈R^d×n，d为特征向量的维数，n为样本总数。

进一步的，所述步骤(3)中构建基于结构化特征稀疏表示的线性回归模型学习的代价函数具体为：

1)构建线性回归函数为Y＝X^TW+1_nb^T，X∈R^d×n是训练样本，

Y∈R^n×c是行人身份信息，W∈R^d×c是投影矩阵；1_n∈Rⁿ定义为有n个全为1的列向量。

b∈R^c×1是偏置量，W是为了特征选择从X到Y的映射矩阵。模型的代价函数可定义为： loss(W)是一个逻辑损失函数，γ是正则化参数；

2)采用拉普拉斯特征映射的流形学习方法，损失函数最小化定义为：定义了一个拉普拉斯矩阵为：L＝D-K，其中D是一个对角矩阵，定义式为：K是权值函数，与x_i和x_j的关系是：

3)为了提高重识别符合度，即在测试过程中，定义一个预测矩阵为：F＝[f₁，f₂，...，f_n]^T∈R^n×c，此F是待重识别行人的预测矩阵，满足F＝X^TW+1_nb^T，使预测的结果F更匹配原始信息Y：优化项为：Tr((F-Y)^TU(F-Y))，定义了一个对角矩阵U，其中若x_i有标签，则U_ii＝∞，若没有标签，则U_ii＝1；

4)由式Y＝X^TW+1_nb^T，即最小二乘表达式可写为：

其中X_i和Y_i表示有标签的行人特征和对应原始真实标签；

5)由于训练数据量较大，所以，为有效的表示行人信息就要用较少的数据来捕获感兴趣目标，所采用稀疏表示来优化代价函数，||W||_2，1的定义如下：

6)综上所述，优化后的基于结构化特征稀疏表示的线性回归模型学习的代价函数表达式为：

附图说明

图1是本发明的监控视频中行人重识别方法流程图；

图2是该监控视频中行人重识别方法前景提取示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，本发明的监控视频中行人重识别方法，包括如下步骤：

步骤(1)行人轮廓提取：分别提取地点A监控视频中出现的行人轮廓，及其他地点监控视 频中的行人轮廓；

步骤(2)行人特征提取：基于人体对称性，把行人的轮廓分为头部、左躯干、右躯干、左腿和右腿五个感兴趣区域，并分别提取每个感兴趣区域的特征，选用特征为：颜色、纹理、形状。

步骤(3)行人重识别：行人重识别是指：从地点B的监控视频中找出地点A监控视频中出现的某些行人。假设地点A待识别行人有c个，每个行人p_ζ有多帧图像，ξ为c个行人中的一个，ξ≤c，每个人的每一帧作为一个样本，x_i是该样本的特征向量，i为其中一个样本，且该行人对应的标签为y_ζ。同时，也得到地点B重识别候选行人的样本特征x′_i。构建基于结构化特征稀疏表示的线性回归模型学习的代价函数，建立行人重识别线性回归模型。将x，y，x′一起输入到模型中，即可得到相应的预测值，再通过自适应阈值最终得到人重识别的结果。

进一步的，所述步骤(1)中行人轮廓提取具体为：

1)把地点A和地点B的视频采用基于HOG+SVM的行人检测方法对每张图片中的行人进行检测，检测出来的行人用大小I×J的方框框起来；

2)对检测出来的行人区域利用高斯混合模型的方法提取每一帧图片的行人轮廓；

进一步的，所述步骤(2)中对行人特征提取具体为：

3)把提取出来的行人轮廓通过人体对称性分成五个局部，分别为头部、左躯干、右躯干、左腿和右腿。头部分割公式：其中上下体分割公式：其中左右躯干分割：左右腿分割：d(.，.)是欧氏距离，α是纵坐标，β是横坐标，B(.，.)是区域，δ＝I/4。

4)采用颜色相关图特征c_κ提取行人的颜色信息、灰度共生矩阵特征t_κ提取感兴趣区域的纹理和边界特征s_κ来获取图像的形状参数，其中κ为对应感兴趣区域，这三种特征分别对行人的五个感兴趣区域进行特征提取。每提取一个行人轮廓设定为一个独立样本，x_i是该 样本的特征向量，i为其中一个样本，即x_j＝[c₁ c₂ c₃ c₄ c₅ t₁ t₂ t₃ t₄ t₅ s₁ s₂ s₃s₄ s₅]^T，所以总体样本的特征矩阵为X＝[x₁，x₂，...，x_n]∈R^d×n，d为特征向量的维数，n为样本总数。

进一步的，所述步骤(3)中行人重识别具体为：

7)把所选取的行人做好相应的标签标记，即每一个样本对应一个标签，每个人有多个样本。标签矩阵定义为Y＝[y₁，y₂，...，y_n]^T∈{0，1}^n×c，Y中包含了所有样本的身份信息，c是行人的人数，每个人会被收集到多个样本，若x_i是该j人，则Y_ij＝1，否则为零；

8)构建线性回归函数为Y＝X^TW+1_nb^T，X∈R^d×n是训练样本，

Y∈R^n×c是行人身份信息，W∈R^d×c是投影矩阵；1_n∈Rⁿ定义为有n个全为1的列向量。

b∈R^c×1是偏置量，W是为了特征选择从X到Y的映射矩阵。模型的代价函数可定义为： loss(W)是一个逻辑损失函数，γ是正则化参数；

9)定义一个预测矩阵为：F＝[f₁，f₂，...，f_n]^T∈R^n×c，此F是待重识别行人的预测矩阵，满足F＝X^TW+1_nb^T；

10)采用拉普拉斯特征映射的流形学习方法，损失函数最小化定义为：定义了一个拉普拉斯矩阵为：L＝D-K，其中D是一个对角矩阵，定义式为：K是权值函数，与x_i和x_j的关系是：

11)为了提高重识别符合度，即在测试过程中，使预测的结果F更匹配原始信息Y：优化项为：Tr((F-Y)^TU(F-Y))，定义了一个对角矩阵U，其中若x_i有标签，则U_ii＝∞，若没有标签，则U_ii＝1；

12)由于训练数据量较大，所以，为有效的表示行人信息就要用较少的数据来捕获感兴趣目标，所采用稀疏表示来优化代价函数，||W||_2，1的定义如下：

13)综上所述，优化后的基于结构化特征稀疏表示的线性回归模型学习的代价函数表达 式为：第j个人预测值的均值为ε_j是第j行人的帧数，ω是行人总数，最后一项是约束被测行人的ε帧图像有相同的标签；

14)代价函数表达式中所用参数有k、η、γ，其中参数γ和μ可从{10^-3，10^-2，10^-1，1，10，10²，10³}中通过实验测试选取，k可通过实验测得最优解得到。

15)通过迭代法求解上述的最优化问题，得到矩阵W、F、b。

16)选择自适应阈值T，定义T＝μ±3σ，对F进行阈值处理，即得检测图像的标签Z。通过阈值后所得的标签Z为：

其中，n*为检测的样本数。

Claims (1)

1.一种基于人体对称性与结构化特征稀疏表示的监控视频中行人重识别方法，包括步骤：

步骤（1）行人轮廓提取：分别提取地点A监控视频中出现的行人轮廓，及其他地点监控视频中的行人轮廓；

步骤（2）行人特征提取：基于人体对称性，把行人的轮廓分为头部、左躯干、右躯干、左腿和右腿五个感兴趣区域，并分别提取每个感兴趣区域的特征，选用特征为：颜色、纹理、形状；

步骤（3）行人重识别：行人重识别是指：从地点B的监控视频中找出地点A监控视频中出现的某些行人；

假设地点A待识别行人有个，每个行人有多帧图像，为个行人中的一个，，每个人的每一帧作为一个样本，是该样本的特征向量，为其中一个样本，且该行人对应的标签为；

同时，也得到地点B重识别候选行人的样本特征；构建基于结构化特征稀疏表示的线性回归模型学习的代价函数，建立行人重识别线性回归模型；将一起输入到模型中，即可得到相应的预测值，再通过自适应阈值最终得到人重识别的结果；所述步骤（1）中行人轮廓提取具体为：

把地点A和地点B的视频采用基于HOG+SVM的行人检测方法对每张图片中的行人进行检测，检测出来的行人用大小的方框框起来；

对检测出来的行人区域利用高斯混合模型的方法提取每一帧图片的行人轮廓；

所述步骤（2）中对行人特征提取具体为：

把提取出来的行人轮廓通过人体对称性分成五个局部，分别为头部、左躯干、右躯干、左腿和右腿；

头部分割公式：，其中是使达到最小值时的值，，是在图像前景区域，以纵坐标为轴的对称区域的归一化面积差，上下体分割公式：,其中，是在图像前景区域,以纵坐标为轴的对称区域的颜色特征距离，左右躯干分割：；左右腿分割：，、是使图像前景区域颜色和面积差值最小的值；是欧氏距离，是纵坐标，是横坐标，是区域，；

采用颜色相关图特征提取行人的颜色信息、灰度共生矩阵特征提取感兴趣区域的纹理和边界特征来获取图像的形状参数, 其中为对应感兴趣区域，这三种特征分别对行人的五个感兴趣区域进行特征提取；

每提取一个行人轮廓设定为一个独立样本，是该样本的特征向量，为其中一个样本，即，所以总体样本的特征矩阵为，为特征向量的维数，为样本总数；

所述步骤（3）中行人重识别具体为：

把所选取的行人做好相应的标签标记，即每一个样本对应一个标签，每个人有多个样本；

标签矩阵定义为，中包含了所有样本的身份信息，是行人的人数，每个人会被收集到多个样本，若是第人，则，否则为零；

构建线性回归函数为，是训练样本，

是行人身份信息， 是投影矩阵； 定义为有n个全为1的列向量；

是偏置量，是为了特征选择从到的映射矩阵；

模型的代价函数可定义为：，是一个逻辑损失函数，是正则化参数；

定义一个预测矩阵为：，此是待重识别行人的预测矩阵，满足；

采用拉普拉斯特征映射的流形学习方法，损失函数最小化定义为：，定义了一个拉普拉斯矩阵为： ，其中是一个对角矩阵，定义式为：，是权值函数，与和的关系是：

，其中中的元素是由和之间的相似度决定的；

为了提高重识别符合度，即在测试过程中，使预测的结果更匹配原始信息：优化项为：，定义了一个对角矩阵，其中若有标签，则，若没有标签，则；

由于训练数据量较大，所以，为有效的表示行人信息就要用较少的数据来捕获感兴趣目标，所采用稀疏表示来优化代价函数，的定义如下： ；

综上所述，优化后的基于结构化特征稀疏表示的线性回归模型学习的代价函数表达式为：，F_ij第j人的第i个样本的预测输出，第个人预测值的均值为，是第j行人的帧数,是行人总数，最后一项是约束被测行人的帧图像有相同的标签；

代价函数表达式中所用参数有、、，其中参数和可从中通过实验测试选取，可通过实验测得最优解得到；

通过迭代法求解上述的最优化问题，得到矩阵、、b；

选择自适应阈值，定义,对进行阈值处理，即得检测图像的标签；

通过阈值后所得的标签为：

其中，，为检测的样本数。