CN105160319B - 一种在监控视频下实现行人再识别的方法 - Google Patents

Abstract

本发明提供一种在监控视频下实现行人再识别的方法。本发明只针对用去除背景的前景区域进行行人检测，可以有效地去除非行人区域，减少误差，行人匹配标准可以有效地对判断两个行人是否属于同一个行人进行反复验证，减少使用单一判断带来的误差。本发明的创新点在于，在匹配行人上，本文不只是行人特征训练分类器来判断行人对，还结合检测到的行人与行人图像库中每个行人每个状态下的所有结果，相比于传统的行人再识别方法的发明，对在监控视频下的应用具有更高的实时性和鲁棒性。本发明可以快速有效地对监控视频下的行人进行跟踪和多次匹配，能应用于同时监控多个摄像头的情况，识别出在多个摄像头中都出现过的行人。

Description

一种在监控视频下实现行人再识别的方法

技术领域

本发明涉及视频识别技术。

背景技术

对于视频监控系统，在行人检测技术的基础上，分析某个特定的人是否在监控视频中出现过，利用已经存在的人体目标图像库，当场景或者时间变化的时候，首先检测出监控视频中的行人，搜索图库，将检测到的行人与目标图像库进行匹配，再次识别和确认当前查找的行人的身份。我们将这种技术成为智能视频监控系统中行人再识别技术。

行人再识别技术是在行人检测技术的基础上发展而来，在行人检测的基础上，对特定人群进行跟踪和再次识别，适用于大区域的多摄像头视频监控，对不同摄像头下的行人进行长期远距离的监控，不同于传统的单个摄像头的行人检测算法，行人再识别技术可以对不同环境和不同摄像头参数下的行人进行长期的跟踪，亦可分析特定的人群在多个摄像头下的不同的行为，分析其间存在的关系，这对特定事件的分析具有重大的帮助意义。

目前有很多针对行人再识别技术的算法，主要分为三大类：基于外观特征、结合生物特征和结合图像序列的空间关系。由于监控视频的清晰度的问题，研究人员大多放弃对行人人脸和行人姿态的提取，转而分析行人的外貌如衣服、裤子、包，或者将行人分解为头部、躯干和腿部，但是这种研究方式是基于短时间内行人自身的外貌穿着不发生变化的情况下，这种方法称为基于外貌的行人再识别检测技术。

基于外貌的行人再识别检测技术主要分为三类：基本类特征法、中层特征法、测度类方法。基本特征类方法过度依赖于特征选取的优劣；测度类算法对于训练的时间和空间的复杂度都较高；中层特征法对特征的设计要求较高。算法越复杂的方法一般情况下所需要花费的时间都较长，不能达到实时。

现有的行人再识别算法是在公共图像库中进行验证，目标图像库是固定的，通过匹配两个摄像头下采集到的行人图像来计算再识别的精度。传统的行人再识别算法不能直接应用于监控视频下，不仅因为监控视频下的目标图像库是随着时间的增加而慢慢建立的，而且传统的算法不能达到实时性，也没有考虑到监控视频系统下行人检测和行人跟踪对行人再识别精度的影响。

发明内容

本发明所要解决的技术问题是，提供一种在监控视频下实现实时检测的行人再识别方法。

本发明为解决上述技术问题锁采用的技术方案是，一种在监控视频下实现行人再识别的方法：

1)训练步骤：

搜集训练行人图像对，每一训练行人图像对由两张训练行人图像组成，标记图像对中两图像中的行人是否属于同一个人，当属于同一个人标记为1，否则标记为0；

提取每张行人图像的行人特征；

图像对中两幅图像的特征相减得到的绝对值作为该图像对的特征；

利用图像对的特征与标记训练支持向量机SVM分类器得到图像对分类器；

2)识别步骤：

针对每个监控视频系统，建立背景模型与一个本地行人图像库，间隔N帧进行一次行人检测，提取当前状态下的前景区域进行行人检测，在N帧之间对检测到的行人进行跟踪；

对每次检测到的行人，提取当前行人特征，对当前行人特征进行行人匹配；

行人匹配包括本地匹配与异地匹配：

本地匹配步骤：将当前行人特征与该摄像头下本地行人图像库中的每个行人特征进行匹配，判断是否存在相同的行人，若存在，则放弃当前行人身份编号，保留之前的行人身份编号，同时保留当前行人特征作为该行人的一个状态特征，若不存在，则进行异地匹配；

异地匹配步骤：将当前行人特征与其它摄像头下行人图像库中的每个行人进行匹配，判断是否存在相同的行人，若存在，则放弃当前行人身份编号，保留该行人另一个摄像头下的行人身份编号，并且保存当前行人特征作为该行人的一个状态特征到另一个摄像头的行人图像库中，若不存在，则该行人即为新出现的行人，保存当前行人特征作为一个新的行人的状态特征和当前行人身份编号到本地行人图像库中；

所述行人匹配的具体方法为：将当前行人特征与待比较的行人下的状态特征相减得到的绝对值输入图像对分类器，若当前行人与行人图像库中某个行人每个状态特征对应的图像对分类器输出结果中1的个数与0的个数的比值大于阈值时，即当前行人与该行人图像库中的该行人匹配，属于同一人。

本发明只针对用去除背景的前景区域进行行人检测，可以有效地去除非行人区域，减少误差，行人匹配标准可以有效地对判断两个行人是否属于同一个行人进行反复验证，减少使用单一判断带来的误差。本发明的创新点在于，在匹配行人上，本文不只是行人特征训练分类器来判断行人对，还结合检测到的行人与行人图像库中每个行人每个状态下的所有结果，相比于传统的行人再识别方法的发明，对在监控视频下的应用具有更高的实时性和鲁棒性。

进一步的，采用的颜色和纹理特征可以在复杂环境下对行人的匹配具有鲁棒性。

本发明的有益效果是，可以快速有效地对监控视频下的行人进行跟踪和多次匹配，能应用于同时监控多个摄像头的情况，识别出在多个摄像头中都出现过的行人。

附图说明

图1：本发明学习行人对分类器的流程图

图2：实施例行人再识别算法的流程图

具体实施方式

实施例以同时监控两个摄像头为例，依照该实施例也完成能实现同时监控更多摄像头的情况。

本发明主要可以分为学习行人图像对的分类器和行人再识别：

学习行人对的分类器可以分为6个步骤，如图1所示：

步骤一、首先构建一个数据库，从两个不同摄像头下搜集大量的行人训练图像，每幅图像的选取都是行人所在的矩形区域，其中一部分包含了比较复杂的场景，如行人重叠、房屋。

步骤二、针对每一张训练图像，对图像大小进行归一化处理，将图像的高度设为128像素，宽度设为48像素，采用手工标定的方式将图像中不属于行人部分的区域删去，只保留行人本身的部分，若两幅图像中的行人属于同一人，则将此行人对标记为正样本，若两幅图像中的行人不属于同一人，则将此行人对标记为负样本。

步骤三、训练纹理特征的聚类中心。在训练分类器的过程中，首先得到纹理特征的聚类中心，具体的方法是，针对每幅训练图像，提取图像的纹理特征，先将图像分为很多个规则大小的小区域，本实施例将图像分为4*4的小区域，每个区域之间的采样间距为4个像素，针对每个区域，提取其LBP特征；从训练图像所有小区域对应的LBP特征汇中选出多个特征，本实施例从训练图像所有区域的LBP特征中选取20万个特征，再用Kmeans聚类算法对选取出来的特征进行聚类，聚类个数为200，最终得到LBP特征的聚类中心。

步骤四、提取训练图像的颜色特征。对去除背景的行人图像，提取其RGB颜色直方图，将每个颜色通道量化到8个等级，只统计行人部分的像素点，采用核函数的方式，对离行人中心较远的像素给予小权值，离行人中心较近的像素给予大权值：

其中，r为该像素点到行人中心的距离。

步骤五、提取训练图像的纹理特征。对每幅训练图像，将该图像分为4*4的小区域，每个小区域的采样间距为4个像素，对每个小区域，提取其LBP特征，找到与该LBP特征最靠近的LBP聚类中心，用该聚类中心来表示其LBP特征，统计图像内LBP特征聚类中心出现的次数，计算其直方图。

步骤六、将步骤四得到的RGB颜色直方图与步骤五得到的LBP聚类中心直方图串联起来作为训练图像的特征，将每个行人对中两幅图像的特征进行相减，得到的绝对值作为该行人对的特征与标记一起训练SVM分类器用作行人对的分类。

行人再识别步骤如图2所示：

步骤一、将两个监控设备放在不同的地方，针对每个监控系统，建立背景模型，得到每个状态下的前景区域，腐蚀膨胀后删除掉噪声点。

步骤二、对每个前景区域，进行行人检测，并规定视频每隔30帧进行一次行人检测，在这30帧之间用行人跟踪的方式对检测到的行人进行跟踪。

步骤三、对每个监控系统建立一个行人身份库，对检测到的行人用学习分类器中步骤四和步骤五的方式对其进行提取特征，并对行人身份进行编号，将行人特征和行人身份保存到这个行人身份库中。

步骤四、将每次检测到的行人与该摄像头下的行人身份库中的每个行人进行匹配。方法是将检测到的行人特征与行人库中的每个行人特征进行相减，得到的绝对值作为这个行人对的特征，用之前训练好的行人对的SVM分类器对该图像对进行分类，用1表示该行人对属于同一个人，用0表示该行人对不属于同一个人，把检测到的行人与该摄像头下行人身份库中的所有行人的每个状态都进行匹配，若该行人与行人身份库中某个行人的每个状态的匹配结果中1的个数与0的个数的比值大于0.5，则该行人与此行人匹配，属于同一人，并保留此行人的身份，同时保存当前状态下该行人的特征到该摄像头下的行人身份库中。若不匹配，则进行步骤五。

其中，count1代表该行人与行人身份库中某个行人的每个状态的匹配结果中1的个数，count0代表该行人与行人身份库中某个行人的每个状态的匹配结果中0的个数。

步骤五、将检测到的行人与另一个摄像头下的行人身份库中每个行人进行匹配。方法同步骤四，若找到匹配的行人，则保留此行人的身份，同时保存当前状态下的该行人的特征到另一个摄像头下的行人身份库中；若没有找到匹配的行人，则该行人为新出现的行人，对其身份进行新的编号，并保存该行人特征和身份到该行人对应出现的摄像头下的行人身份库中。

Claims (3)

1.一种在监控视频下实现行人再识别的方法，其特征在于，包括以下步骤：

1)训练步骤：

搜集训练行人图像对，每一训练行人图像对由两张行人训练图像组成，标记图像对中两图像中的行人是否属于同一个人，当属于同一个人标记为1，否则标记为0；

提取每张行人图像的行人特征；

图像对中两幅图像的特征相减得到的绝对值作为该图像对的特征；

利用图像对的特征与标记训练支持向量机SVM分类器得到图像对分类器；

2)识别步骤：

针对每个监控视频系统，建立背景模型与一个本地行人图像库，间隔N帧进行一次行人检测，提取当前状态下的前景区域进行行人检测，在N帧之间对检测到的行人进行跟踪；

对每次检测到的行人，提取当前行人特征，对当前行人特征进行行人匹配；

行人匹配包括本地匹配步骤与异地匹配步骤：

本地匹配步骤：将当前行人特征与摄像头下本地行人图像库中的每个行人特征进行匹配，判断是否存在相同的行人，若存在，则保留之前的行人身份编号，同时保留当前行人特征作为该行人的一个状态特征，若不存在，则进行异地匹配；

异地匹配步骤：将当前行人特征与其它摄像头下行人图像库中的每个行人特征进行匹配，判断是否存在相同的行人，若存在，则保留该行人在另一个摄像头下的行人身份编号，并且保存当前行人特征作为该行人的一个状态特征到另一个摄像头的行人图像库中，若不存在，则该行人即为新出现的行人，给该行人一个新的行人身份编号，保存当前行人特征作为一个新的行人的状态特征和当前行人身份编号到本地行人图像库中；

将当前行人特征与本地人图像库或其它摄像头下行人图像库中的每个行人特征进行匹配的具体方法为：将当前行人特征与待比较的行人下的所有状态特征相减得到的绝对值输入图像对分类器，若当前行人与行人图像库中某个行人每个状态特征对应的所有图像对分类器输出结果中1的个数与0的个数的比值大于阈值时，即当前行人与该行人图像库中的该行人匹配，属于同一人。

2.如权利要求1所述一种在监控视频下实现行人再识别的方法，其特征在于，训练步骤中，提取每张行人图像的RGB颜色直方图特征与局部二值模式LBP聚类中心直方图特征，将RGB颜色直方图特征与LBP聚类中心直方图特征级联作为该图像的行人特征；

识别步骤中，对每次检测到的行人，提取检测出的行人区域的RGB颜色直方图特征与LBP聚类中心直方图特征级联作为当前行人特征。

3.如权利要求1所述一种在监控视频下实现行人再识别的方法，其特征在于，提取局部二值模式LBP聚类中心直方图特征的具体方法是：

1)将行人图像分为多个规则大小的小区域，针对每个小区域提取局部二值模式LBP特征，从所有小区域对应的LBP特征中选出多个特征，再用Kmeans聚类算法对选取出来的特征进行聚类，得到LBP特征的聚类中心；

2)再将行人图像重新分为多个规则大小的小区域，对每个小区域提取LBP特征，找到与该LBP特征最靠近的LBP聚类中心，用该聚类中心来代表小区域的LBP特征，统计图像中LBP聚类中心出现过的次数，计算直方图得到LBP聚类中心直方图特征。