CN114821795B - 一种基于ReID技术的人员跑动检测和预警方法及系统 - Google Patents

Abstract

本发明提供了一种基于ReID技术的人员跑动检测和预警方法及系统，包括：提取出视频中每帧图像中所有人员区域，并利用重识别模型对所有人员区域进行人体特征信息提取；根据人体特征信息，对人员进行跟踪和校正，得到跟踪结果；根据跟踪结果，判断人员是否跑动，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息；通过重识别模型，对每一个检测到的人员进行特征信息提取，并通过对人体特征进行遮挡重构优化，有利于提升人员跟踪效果，减少人员遮挡对跟踪的影响，且基于特征信息对跟踪器进行校正，提高跟踪准确率，通过根据跟踪结果对人员跑动进行精确分析，保证能够有效的检测出跑动人员，及时给出预警，具有高鲁棒性，高实时性的优点。

Description

一种基于ReID技术的人员跑动检测和预警方法及系统

技术领域

本发明涉及计算机识别技术领域，特别涉及一种基于ReID技术的人员跑动检测和预警方法及系统。

背景技术

随着经济社会的迅速发展以及城市化的加速，现代城市人口数量日趋增长，公共场所的安全事故频繁发生。为了遏制安全事故的发生，世界各国的监管机构均在公共场所安装大量的监控视频，用于监测及预防突发事件，以保障公共场所的安全，维持社会的长治久安，而人体奔跑行为常伴随着打架、抢劫、偷窃等犯罪行为，及时发现人体奔跑行为有助于降低行为危害，对维护他人生命财产安全及社会稳定有积极意义。

传统的人员识别大多通过人脸检测来进行识别，但由于摄像头的距离比较远，所以人的图像都比较模糊，得到的识别精度不高，不能对人员进行有效识别，同时在检测人员跑动情况时，在人员密集的区域，容易受到遮挡造成难以检测跟踪，也无法确定人员的运动状态，不能有效检测出跑动人员。

发明内容

本发明提供一种基于ReID技术的人员跑动检测和预警方法及系统，本发明能有效的检测出跑动人员，及时给出预警，具有高鲁棒性，高实时性的优点。

一种基于ReID技术的人员跑动检测和预警方法，包括：

步骤1：提取出视频中每帧图像中所有人员区域，利用重识别模型对所有人员区域进行人体特征信息提取，并基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息；

步骤2：根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果；

步骤3：根据跟踪结果，判断人员是否跑动，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息。

在一种可能实现的方式中，步骤1中，提取出视频中每帧图像中所有人员区域包括：

根据深度学习目标检测算法，利用预先标注的包含标准人体框的训练样本，训练得到网络模型；

对视频进行连续抽帧获取图像，并输入所述网络模型中，输出所述图像中所有人员区域的位置信息，记录所述位置信息，并对所述图像进行裁剪得到所述所有人员区域。

在一种可能实现的方式中，步骤1中，利用重识别模型对所有人员区域进行人体特征信息提取包括：

从每帧图像中提取出所述所有人员区域，统一缩放到规定尺度，并输入到所述重识别模型的网络中，得到所述每个人员区域的第一网络特征向量；

利用多粒度网络将缩放后的每个人员区域划分为3个子区域，将所述3个子区域分别输入所述重识别模型的网络中，得到3组局部特征向量，分别将所述3组局部特征向量进行拼接得到所述每个人员区域的第二网络特征向量；

根据网络多尺度融合算法，将所述每个人员区域对应的第一网络特征向量和第二网络特征向量进行融合，得到多尺度特征信息，即所有人员区域的人体特征信息。

在一种可能实现的方式中，步骤2中，根据所述目标人体特征信息，对人员进行跟踪前，包括：确定动态跟踪框，其过程如下：

根据所述目标人体特征信息，确定每个人员在预设采集周期内的坐标点集合，即实际坐标；

利用所述坐标点集合构造出坐标点序列，结合卡尔曼滤波器的状态预测方程得到初始的预测坐标，并基于滤波增益矩阵对所述初始预测坐标进行修正，得到所述每个人员在t时刻的实际预测坐标；

根据所述每个人员在t时刻的实际坐标，基于匈牙利算法将所述预测坐标和实际坐标进行匹配，根据匹配结果和更新策略，建立动态跟踪框。

在一种可能实现的方式中，根据匹配结果和更新策略，建立动态跟踪框包括：

根据更新前预测坐标与更新后的预设坐标之间的差异，确定更新策略；

基于所述更新策略的更新幅度，对初始跟踪框的尺寸进行调整，得到最优尺寸，基于所述根据更新策略的更新幅度，对初始跟踪框的跟踪算法进行修正，得到动态跟踪框。

在一种可能实现的方式中，步骤1中，基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息包括：

获取所述所有人员区域的位置信息，得到第一数据集合，获取所述所有人员区域的像素信息，得到第二数据集合；

基于所述第一数据集合、第二数据集合对所述所有人员区域进行区域划分，得到多个子区域，并基于预设人体整体特征，对所述多个子区域进行分类，得到多个单个人员区域；

基于所述多个单个人员区域，将所述人体特征信息进行划分，得到多个单个人体特征信息，获取在不同帧图像下的单个人体特征信息；

从所述不同帧图像中选取第一帧图像中的第一单个人体特征信息，提取所述第一单个人体特征信息的形态特征和轮廓特征；

获取所述形态特征对应的预设可能轮廓集合，基于所述轮廓特征，判断所述单个人体特征信息是否匹配所述预设可能轮廓集合；

若是，判断第一单个人体不存在遮挡；

否则，判断第一单个人体存在遮挡；

在所述第一单个人体存在遮挡时，提取所述第一单个人体特征信息的颜色特征，从剩余帧图像中获取与所述颜色特征匹配的第一单个人员区域，得到第一单个人员区域集合；

当所述剩余帧图像中任一张剩余帧图像对应多个第一单个人员区域时，则将本次检测的剩余帧图像的对应多个第一单个人员区域从所述第一单个人员区域集合中剔除；

从所述第一单个人员区域集合中选取与所述第一单个人体特征的匹配度大于预设整体匹配度的第二单个人员区域，组成第二单个人员区域集合；

将所述第二单个人员区域集合对应的第二单个人体特征对所述重识别模型的重构层进行训练，获取与所述重识别模型收敛匹配的特征重构层；

将所述第一人体特征信息输入所述特征重构层，对所述第一人体特征信息进行重构得到重构特征；

在所述不同帧图像下获取单个人体特征包含所述重构特征的比例大于预设比例所对应的人员区域，并对所述人员区域进行统一标记，并对标记的人员区域的人体特征信息基于所述重构特征进行优化，得到优化后的人体特征信息。

在一种可能实现的方式中，步骤2中，根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果包括：

获取前后相邻两帧图像对应的目标人体特征信息，并基于所述目标人体特征信息的位置信息，为第一帧图像中的每个人员生成一个跟踪器，且为所述跟踪器赋予标识ID，且确定第二帧图像中的每个人员的实际位置信息，作为人员检测结果；

根据所述第一帧图像的目标人体特征信息的位置信息，使用卡尔曼滤波预测出在所述第一帧图像中的每个人员出现在第二帧图像的预测位置信息，作为人员预测结果；

根据所述第二帧图像的人员检测结果、人员预测结果，分别计算每个人员预测结果和第二帧图像的每个人员检测结果的马氏距离，并根据所述马氏距离，确定预测框和检测框的运动关联度，当所述马氏距离小于指定阈值t1时，设置为运动状态关联成功，否则，设置为运动状态关联失败，得到运动状态关联信息；

基于所述目标人体特征信息的外观信息，确定每个人员的外观特征向量，计算所述第二帧图像中人员检测结果中每个人员对应的外观特征向量与第一帧图像中每个跟踪器维护的外观特征向量的余弦距离，并选取最小余弦距离作为第一帧图像中人员检测区域和第二帧图像中人员检测区域之间的外观信息关联度，当所述最小余弦距离小于指定阈值t2时，设置为外观信息关联成功，否则，设置为外观信息关联失败，得到外观关联信息；

当所述马氏距离或最小余弦距离未关联成功时，不进行线性加权和融合度量阶段；

当所述马氏距离、最小余弦距离对应的运动状态、外观信息均关联成功后，将所述马氏距离、最小余弦距离进行线性加权和融合，得到融合度量信息；

获取所有跟踪器在前后相邻两帧图像被匹配到的频率，按照所述频率为所述所有跟踪器设置优先匹配等级，按照所述优先匹配等级，并结合运动状态信息、外观关联信息、融合度量信息，利用匈牙利算法得到跟踪结果；

获取未匹配的跟踪器和未匹配的人员检测区域，利用重叠度匹配进行校正后，进行再一次匹配跟踪。

在一种可能实现的方式中，步骤3中，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息包括：

基于视频的连续帧图像，确定所述跑动人员的跑动范围区域；

将所述跑动范围区域与预设设置的多个感兴趣区域进行比较，判断重叠率是否大于预设重叠率；

若是，判定所述跑动人员相对于所述多个感兴趣区域跑动有效，并将所述跑动人员的坐标信息推送至后台服务器；

否则，判定所述跑动人员相对于所述多个感兴趣区域跑动无效。

一种基于ReID技术的人员跑动检测和预警系统，包括：

人员重识模块：用于提取出视频中每帧图像中所有人员区域，利用重识别模型对所有人员区域进行人体特征信息提取，并基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息；

人员跟踪模块：用于根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果；

人员跑动分析预警模块：用于根据跟踪结果，判断人员是否跑动，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于ReID技术的人员跑动检测和预警方法的流程图；

图2为本发明实施例中的另一流程图；

图3为本发明实施例中一种基于ReID技术的人员跑动检测和预警系统的结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，如图1所示，包括：

步骤1：提取出视频中每帧图像中所有人员区域，利用重识别模型对所有人员区域进行人体特征信息提取，并基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息；

步骤2：根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果；

步骤3：根据跟踪结果，判断人员是否跑动，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息。

在该实施例中，所述跟踪结果为对跟踪器进行校正后的对人员的跟踪情况。

在该实施例中，ReID技术也称行人重识别技术，是指利用计算机视觉的算法来进行跨摄像头的追踪，也就是找到不同摄像头下的同一个人，重识别模型的核心技术为ReID技术。

在该实施例中，提取出视频中每帧图像中所有人员区域具体为1.采用了YOLOv5目标检测算法实现人员的实时检测。模型推理时输出当前帧图像中所有人员的位置信息，即包含了人员的矩形框[x1,y1,x2,y2]，x1:左上角横坐标，y1：左上角纵坐标，x2：右下角横坐标，y2：右下角纵坐标。

在该实施例中，所述重识别模型采用多粒度网络(MGN)识别人员特征提取。以检测模块输出的坐标在原始图像上截取对应区域作为MGN的输入，网络会提取出人体不同区域的8个256维向量，然后拼接为一个2048维特征向量。

在该实施例中，采用卡尔曼滤波器和匈牙利算法实现人员的实时跟踪。在检测阶段，卡尔曼滤波器根据人员检测结果为每一个人员预测下一个时刻的坐标，然后使用匈牙利算法将卡尔曼滤波器预测的人员坐标和实际检测出的坐标进行匹配关联，为了减少由于遮挡或其他原因导致的跟踪丢失问题，最后使用人体特征计算相似度，对跟踪器进行校正，提高跟踪准确率。

在该实施例中，根据跟踪结果，判断人员是否跑动具体为先设置预警线、速度阈值和跑动方向3个先验值。系统会保留每一个被跟踪人员在一段时间内的具体坐标信息，在图片区域设置有1个或多个预警线，当被跟踪人员穿越预警线时就会找到该人员的最靠近预警线但是还没穿越预警线时的坐标，两个坐标组成一个向量L，然后进行向量分解，获取该向量L在设置的跑动方向上的分量，利用该分量的模和两个时间间隔计算人员的速度v，当v大于设定的速度阈值，则判断该人员为奔跑。

上述设计方案的有益效果为：通过重识别模型，每一个检测到的人员进行特征提取，并通过对人体特征进行遮挡重构优化，有利于提升人员跟踪效果，减少人员遮挡对跟踪的影响，通过对跟踪器进行校正，提高跟踪准确率，通过根据跟踪结果对人员跑动进行精确分析，保证能够有效的检测出跑动人员，及时给出预警，具有高鲁棒性，高实时性的优点。

实施例2

基于实施例1的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，步骤1中，提取出视频中每帧图像中所有人员区域包括：

根据深度学习目标检测算法，利用预先标注的包含标准人体框的训练样本，训练得到网络模型；

对视频进行连续抽帧获取图像，并输入所述网络模型中，输出所述图像中所有人员区域的位置信息，记录所述位置信息，并对所述图像进行裁剪得到所述所有人员区域。

在该实施例中，所述网络模型为具有通过随机缩放等手段，识别出目标区域，并输出目标区域的位置信息。

在该实施例中，所述位置信息为所述所有人员区域的像素坐标信息，对帧图像进行裁剪得到所述所有人员区域即1.包含了人员的矩形框[x1,y1,x2,y2]，x1:左上角横坐标，y1：左上角纵坐标，x2：右下角横坐标，y2：右下角纵坐标。

上述设计方案的有益效果是：通过利用深度学习目标检测算法，提高了网络模型的识别精度，从而保证获取得到所有人员区域的精确性。

实施例3

基于实施例1的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，步骤1中，利用重识别模型对所有人员区域进行人体特征信息提取包括：

从每帧图像中提取出所述所有人员区域，统一缩放到规定尺度，并输入到所述重识别模型的网络中，得到所述每个人员区域的第一网络特征向量；

利用多粒度网络将缩放后的每个人员区域划分为3个子区域，将所述3个子区域分别输入所述重识别模型的网络中，得到3组局部特征向量，分别将所述3组局部特征向量进行拼接得到所述每个人员区域的第二网络特征向量；

根据网络多尺度融合算法，将所述每个人员区域对应的第一网络特征向量和第二网络特征向量进行融合，得到多尺度特征信息，即所有人员区域的人体特征信息。

在该实施例中，所述多组第一网络特征向量为所述所有人员区域在该网络层的全局特征，全局特征会做特征均匀化，范围广，可以得到人员的整体特征，一些不显著的细节将忽略。

在该实施例中，利用多粒度网络将所述所有人员区域划分为n个子区域例如可以将所有人员区域划分为8个256维向量，最后拼接得到一个2048维特征向量，即为第二网络特征。

在该实施例中，所述多组第二网络特征向量为所述所有人员区域在该网络层的局部特征，局部特征的管制点会更加集中一点，亮度分布也会比全局特征更加清晰，有层次，可以更好地表征局部特征。

上述设计方案的有益效果是：通过根据重识别模型对所有人员区域进行人体特征提取，将全局特征和局部特征进行融合处理，得到所有人员区域的人体特征，保证了对人体特征提取的准确性，为人员跟踪提供数据基础。

实施例4

基于实施例1的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，步骤1中，基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息包括：

获取所述所有人员区域的位置信息，得到第一数据集合，获取所述所有人员区域的像素信息，得到第二数据集合；

基于所述第一数据集合、第二数据集合对所述所有人员区域进行区域划分，得到多个子区域，并基于预设人体整体特征，对所述多个子区域进行分类，得到多个单个人员区域；

基于所述多个单个人员区域，将所述人体特征信息进行划分，得到多个单个人体特征信息，获取在不同帧图像下的单个人体特征信息；

从所述不同帧图像中选取第一帧图像中的第一单个人体特征信息，提取所述第一单个人体特征信息的形态特征和轮廓特征；

获取所述形态特征对应的预设可能轮廓集合，基于所述轮廓特征，判断所述单个人体特征信息是否匹配所述预设可能轮廓集合；

若是，判断第一单个人体不存在遮挡；

否则，判断第一单个人体存在遮挡；

在所述第一单个人体存在遮挡时，提取所述第一单个人体特征信息的颜色特征，从剩余帧图像中获取与所述颜色特征匹配的第一单个人员区域，得到第一单个人员区域集合；

当所述剩余帧图像中任一张剩余帧图像对应多个第一单个人员区域时，则将本次检测的剩余帧图像的对应多个第一单个人员区域从所述第一单个人员区域集合中剔除；

从所述第一单个人员区域集合中选取与所述第一单个人体特征的匹配度大于预设整体匹配度的第二单个人员区域，组成第二单个人员区域集合；

将所述第二单个人员区域集合对应的第二单个人体特征对所述重识别模型的重构层进行训练，获取与所述重识别模型收敛匹配的特征重构层；

将所述第一人体特征信息输入所述特征重构层，对所述第一人体特征信息进行重构得到重构特征；

在所述不同帧图像下获取单个人体特征包含所述重构特征的比例大于预设比例所对应的人员区域，并对所述人员区域进行统一标记，并对标记的人员区域的人体特征信息基于所述重构特征进行优化，得到目标人体特征信息。

在该实施例中，所述不同帧图像来自同一视频或不同视频。

在该实施例中，例如所述形态特征确定为侧面站立，则对应的可能轮廓集合为搜集到的侧面站立的所有轮廓。

在该实施例中，由于视频拍摄角度的问题和人员密集等问题，可能存在人员相互遮挡或被其他物体遮挡的情况，此时需要对单个人体特征进行重构，得到完整的特征，便于对人员的识别。

在该实施例中，在根据颜色特征确定在不同帧图像下的同一人物时，可能因为人员穿着的相似性，得到多个人员，为了保证重构层的精度，此时将不能以所述帧图像对应的单个人员特征作为重构层的训练集，而需要利用重构特征层获取完整的重构特征后，从当前的帧图像中精确识别与第一单个人员特征相匹配的人员区域。

在该实施例，所述重识别模型收敛情况可根据实际情况，如视频的像素等，预先设定。

在该实施例中，所述重构特征包含了对应人员的基本全部特征，当所述单个人体特征中所占的重构特征的比例大于预设比例时，可确定所述单个人体特征对应的人员与所述重构特征对应的人员为同一个人。

上述设计方案的有益效果是：通过根据对人体特征进行分析和重构，使得在人员存在遮挡的情况下，也可以以重构特征为基准，对遮挡人员的特征信息进行重构优化，有利于提升人员跟踪效果，减少人员遮挡对跟踪的影响，为确定人员的跑动提供基础。

实施例5

基于实施例1的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，如图2所示，步骤2中，根据所述目标人体特征信息，对人员进行跟踪前，包括：确定动态跟踪框，其过程如下：

步骤21：根据所述目标人体特征信息，确定每个人员在预设采集周期内的坐标点集合，即实际坐标；

步骤22：利用所述坐标点集合构造出坐标点序列，结合卡尔曼滤波器的状态预测方程得到初始的预测坐标，并基于滤波增益矩阵对所述初始预测坐标进行修正，得到所述每个人员在t时刻的实际预测坐标；

步骤23：根据所述每个人员在t时刻的实际坐标，基于匈牙利算法将所述预测坐标和实际坐标进行匹配，根据匹配结果和更新策略，建立动态跟踪框。

在该实施例中，所述状态方程是指刻画坐标序列和状态关系的表达式。

在该实施例中，所述卡尔曼滤波器是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。

在该实施例中，匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法。

在该实施例中，所述更新策略由更新前的预测坐标与更新前的预测坐标之间的差异决定。

上述设计方案的有益效果是：通过人员检测结果，利用卡尔曼滤波器预测人员的坐标，根据预测坐标和实际坐标的差异，利用匈牙利算法确定动态跟踪框，实现对人员的精确跟踪，提高跟踪准确率。

实施例6

基于实施例5的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，根据匹配结果和更新策略，建立动态跟踪框包括：

根据更新前预测坐标与更新后的预设坐标之间的差异，确定更新策略；

基于所述更新策略的更新幅度，对初始跟踪框的尺寸进行调整，得到最优尺寸，基于所述根据更新策略的更新幅度，对初始跟踪框的跟踪算法进行修正，得到动态跟踪框。

在该实施例中，所述初始跟踪框的尺寸和跟踪算法都为预先设定好的。

在该实施例中，所述更新幅度与更新前的预测坐标与更新前的预测坐标之间的波动差异有关，波动差异越大，更新幅度越大。

上述设计方案的有益效果为：通过更新前的预测坐标与更新前的预测坐标之间的差异，为初始跟踪框的尺寸和跟踪算法进行修正，保证了获取动态跟踪框的跟踪精度，实现对人员的精确跟踪。

实施例7

基于实施例1的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，步骤2中，根据人体特征信息，对人员进行跟踪和校正，得到跟踪结果包括：

获取前后相邻两帧图像对应的人体特征信息，并基于所述人体特征信息的位置信息，为第一帧图像中的每个人员生成一个跟踪器，且为所述跟踪器赋予标识ID，且确定第二帧图像中的每个人员的实际位置信息，作为人员检测结果；

根据所述第一帧图像的人体特征信息的位置信息，使用卡尔曼滤波预测出在所述第一帧图像中的每个人员出现在第二帧图像的预测位置信息，作为人员预测结果；

根据所述第二帧图像的人员检测结果、人员预测结果，分别计算每个人员预测结果和第二帧图像的每个人员检测结果的马氏距离，疾病根据所述马氏距离，确定预测框和检测框的运动关联度，当所述马氏距离小于指定阈值t1时，设置为运动状态关联成功，否则，设置为运动状态关联失败，得到运动状态关联信息；

基于所述人体特征信息的外观信息，确定每个人员的外观特征向量，计算所述第二帧图像中人员检测结果中每个人员对应的外观特征向量与第一帧图像中每个跟踪器维护的外观特征向量的余弦距离，并选取最小余弦距离作为第一帧图像和第二帧图像之间的外观信息关联度，当所述最小余弦距离小于指定阈值t2时，设置为外观信息关联成功，否则，设置为外观信息关联失败，得到外观关联信息；

当所述马氏距离或最小余弦距离未关联成功时，不进行线性加权和融合度量阶段；

当所述马氏距离、最小余弦距离对应的运动状态、外观信息均关联成功后，将所述马氏距离、最小余弦距离进行线性加权和融合，得到融合度量信息；

获取所有跟踪器在前后相邻两帧图像被匹配到的频率，按照所述频率为所述所有跟踪器设置优先匹配等级，按照所述优先匹配等级，并结合运动状态信息和、观关联信息、融合度量信息，利用匈牙利算法得到跟踪结果；

获取未匹配的跟踪器和未匹配的人员检测区域，利用重叠度匹配进行校正后，进行再一次匹配跟踪。

在该实施例中，获取前后相邻两帧图像对应的人体特征信息为优化后的人体特征信息。

在该实施例中，所述第一帧图像为所述前后相邻两帧图像中的前一帧图像，第二帧图像为所述后相邻两帧图像中的后一帧图像。

上述设计方案的有益效果是：通过根据人体特征，从运动状态、外观特征以及融合度量信息方面，确定跟踪结果，并根据重叠度匹配对跟踪器进行校正，缓解人员区域遮挡或突变导致的跟踪效果不好的问题，减少了由于遮挡或其他原因导致的跟踪丢失问题，提高跟踪准确率，保证对跟踪人员的精确识别，从而保证预警信息的准确性。

实施例8

基于实施例1的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，步骤3中，根据跟踪结果，判断人员是否跑动包括：

在所述视频中每帧图像中设置一条或多条警戒线，基于所述跟踪结果，当检测有跟踪人员穿过所述警戒线时，确定所述跟踪人员穿过所述警戒线的第二帧图像，以及靠近但是还没穿越所述预警线的第一帧图像；

预先设定跑动方向，对所述第一帧图像、第二帧图像进行分析，确定所述跟踪人员穿过所述警戒线时在所述警戒线方向上的分量值；

根据如下公式计算所述跟踪人员穿过所述警戒线时在跑动方向上的分量值G；

其中，Δx表示所述跟踪人员所述警戒线前后的水平距离值，l_x2表示所述跟踪人员在所述第二帧图像的横坐标，l_x1表示所述跟踪人员在所述第一帧图像的横坐标，f₁表示所述第一帧图像的帧数，f₂表示所述第二帧图像的帧数，Δy表示所述跟踪人员所述警戒线前后的竖直距离值，l_y2表示所述跟踪人员在所述第二帧图像的纵坐标，l_y1表示所述跟踪人员在所述第一帧图像的纵坐标，α表示在所述在第一帧图像中预测所述跟踪人员穿过所述警戒线时与所述跑动方向方向之间的角度，β表示所述在第二帧图像中所述跟踪人员穿过所述警戒线时与所述跑动方向之间的角度；

根据所述第一帧图像、第二帧图像之间的帧数差，确定间隔时间，基于所述间隔时间、在跑动方向上的分量值，确定所述跟踪人员的跑动速度；

判断所述跑动速度是否大于预设速度阈值；

若是，表明所述跟踪人员处于跑动状态；

否则，表明所述跟踪人员处于非跑动状态。

在该实施例中，所述警戒线、跑动反向、速度阈值可根据实际情况与经验预先设置。

在该实施例中，由于所述第一帧图像、第二帧图像的拍摄时间的不同，所述述第一帧图像、第二帧图像之间的坐标位置存在差异，需要对其进行标准化，使两个坐标位置处于同一标准下，才能精确计算两者之间的距离，公式中

和

即对第一帧图像的坐标位置与第二帧图像的坐标位置进行统一，同样在跑动方向上也存在差异，需要统一得到与跑动方向之间的角度。

在该实施例中，对于公式

例如可以是，l_x2＝15，l_x1＝5，f₂＝40，f₁＝20，则Δx＝6。

在该实施例中，

例如可以是l_y2＝20，l_y1＝10，则Δy＝-2。

在该实施例中，对于

例如可以是α＝30度，β＝15度，则G＝6.3。

上述设计方案的有益效果是：通过预先设定预警线、速度阈值和跑动方向，并考虑在不同帧图像下的差异，对位置坐标、角度进行统一化后，再计算距离、速度，保证了对跟踪人员跑动检测的准确性。

实施例9

基于实施例1的基础上，本发明实施例提供一种基于ReID技术的人员跑动检测和预警方法，步骤3中，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息包括：

基于视频的连续帧图像，确定所述跑动人员的跑动范围区域；

将所述跑动范围区域与预设设置的多个感兴趣区域进行比较，判断重叠率是否大于预设重叠率；

若是，判定所述跑动人员相对于所述多个感兴趣区域跑动有效，并将所述跑动人员的坐标信息推送至后台服务器；

否则，判定所述跑动人员相对于所述多个感兴趣区域跑动无效。

在该实施例中，所述多个感兴趣区域例如可以是路口、密集区域等。

上述设计方案的有益效果是：通过再确定跟踪人员在存在跑动行为时，对其跑动范围进行分析，在确定其跑动范围处于感兴趣区域时，再进行预警，方便了工作人员对跑动人员的管理。

一种基于ReID技术的人员跑动检测和预警系统，如图3所示，包括：

人员重识模块：用于提取出视频中每帧图像中所有人员区域，利用重识别模型对所有人员区域进行人体特征信息提取，并基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息；

人员跟踪模块：用于根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果；

人员跑动分析预警模块：用于根据跟踪结果，判断人员是否跑动，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于ReID技术的人员跑动检测和预警方法，其特征在于，包括：

步骤1：提取出视频中每帧图像中所有人员区域，利用重识别模型对所有人员区域进行人体特征信息提取，并基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息；

步骤2：根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果；

步骤3：根据跟踪结果，判断人员是否跑动，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息；

步骤1中，基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息包括：

获取所述所有人员区域的位置信息，得到第一数据集合，获取所述所有人员区域的像素信息，得到第二数据集合；

基于所述第一数据集合、第二数据集合对所述所有人员区域进行区域划分，得到多个子区域，并基于预设人体整体特征，对所述多个子区域进行分类，得到多个单个人员区域；

基于所述多个单个人员区域，将所述人体特征信息进行划分，得到多个单个人体特征信息，获取在不同帧图像下的单个人体特征信息；

从所述不同帧图像中选取第一帧图像中的第一单个人体特征信息，提取所述第一单个人体特征信息的形态特征和轮廓特征；

获取所述形态特征对应的预设可能轮廓集合，基于所述轮廓特征，判断所述单个人体特征信息是否匹配所述预设可能轮廓集合；

若是，判断第一单个人体不存在遮挡；

否则，判断第一单个人体存在遮挡；

在所述第一单个人体存在遮挡时，提取所述第一单个人体特征信息的颜色特征，从剩余帧图像中获取与所述颜色特征匹配的第一单个人员区域，得到第一单个人员区域集合；

当所述剩余帧图像中任一张剩余帧图像对应多个第一单个人员区域时，则将本次检测的剩余帧图像的对应多个第一单个人员区域从所述第一单个人员区域集合中剔除；

从所述第一单个人员区域集合中选取与所述第一单个人体特征的匹配度大于预设整体匹配度的第二单个人员区域，组成第二单个人员区域集合；

将所述第二单个人员区域集合对应的第二单个人体特征对所述重识别模型的重构层进行训练，获取与所述重识别模型收敛匹配的特征重构层；

将所述第一单个人体特征信息输入所述特征重构层，对所述第一单个人体特征信息进行重构得到重构特征；

在所述不同帧图像下获取单个人体特征包含所述重构特征的比例大于预设比例所对应的人员区域，并对所述人员区域进行统一标记，并对标记的人员区域的人体特征信息基于所述重构特征进行优化，得到目标人体特征信息。

2.根据权利要求1所述的一种基于ReID技术的人员跑动检测和预警方法，其特征在于，步骤1中，提取出视频中每帧图像中所有人员区域包括：

根据深度学习目标检测算法，利用预先标注的包含标准人体框的训练样本，训练得到网络模型；

对视频进行连续抽帧获取图像，并输入所述网络模型中，输出所述图像中所有人员区域的位置信息，记录所述位置信息，并对所述图像进行裁剪得到所述所有人员区域。

3.根据权利要求1所述的一种基于ReID技术的人员跑动检测和预警方法，其特征在于，步骤1中，利用重识别模型对所有人员区域进行人体特征信息提取包括：

从每帧图像中提取出所述所有人员区域，统一缩放到规定尺度，并输入到所述重识别模型的网络中，得到每个人员区域的第一网络特征向量；

利用多粒度网络将缩放后的每个人员区域划分为3个子区域，将所述3个子区域分别输入所述重识别模型的网络中，得到3组局部特征向量，分别将所述3组局部特征向量进行拼接得到所述每个人员区域的第二网络特征向量；

根据网络多尺度融合算法，将所述每个人员区域对应的第一网络特征向量和第二网络特征向量进行融合，得到多尺度特征信息，即所有人员区域的人体特征信息。

4.根据权利要求1所述的一种基于ReID技术的人员跑动检测和预警方法，其特征在于，步骤2中，根据所述目标人体特征信息，对人员进行跟踪前，包括：确定动态跟踪框，其过程如下：

根据所述目标人体特征信息，确定每个人员在预设采集周期内的坐标点集合，即实际坐标；

利用所述坐标点集合构造出坐标点序列，结合卡尔曼滤波器的状态预测方程得到初始预测坐标，并基于滤波增益矩阵对所述初始预测坐标进行修正，得到所述每个人员在t时刻的实际预测坐标；

根据所述每个人员在t时刻的实际坐标，基于匈牙利算法将所述预测坐标和实际坐标进行匹配，根据匹配结果和更新策略，建立动态跟踪框。

5.根据权利要求4所述的一种基于ReID技术的人员跑动检测和预警方法，其特征在于，根据匹配结果和更新策略，建立动态跟踪框包括：

根据更新前预测坐标与更新后的预设坐标之间的差异，确定更新策略；

基于所述更新策略的更新幅度，对初始跟踪框的尺寸进行调整，得到最优尺寸，基于所述根据更新策略的更新幅度，对初始跟踪框的跟踪算法进行修正，得到动态跟踪框。

6.根据权利要求1所述的一种基于ReID技术的人员跑动检测和预警方法，其特征在于，步骤2中，根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果包括：

获取前后相邻两帧图像对应的目标人体特征信息，并基于所述目标人体特征信息的位置信息，为第一帧图像中的每个人员生成一个跟踪器，且为所述跟踪器赋予标识ID，且确定第二帧图像中的每个人员的实际位置信息，作为人员检测结果；

根据所述第一帧图像的目标人体特征信息的位置信息，使用卡尔曼滤波预测出在所述第一帧图像中的每个人员出现在第二帧图像的预测位置信息，作为人员预测结果；

根据所述第二帧图像的人员检测结果、人员预测结果，分别计算每个人员预测结果和第二帧图像的每个人员检测结果的马氏距离，并根据所述马氏距离，确定预测框和检测框的运动关联度，当所述马氏距离小于指定阈值t1时，设置为运动状态关联成功，否则，设置为运动状态关联失败，得到运动状态关联信息；

基于所述目标人体特征信息的外观信息，确定每个人员的外观特征向量，计算所述第二帧图像中人员检测结果中每个人员对应的外观特征向量与第一帧图像中每个跟踪器维护的外观特征向量的余弦距离，并选取最小余弦距离作为第一帧图像中人员检测区域和第二帧图像中人员检测区域之间的外观信息关联度，当所述最小余弦距离小于指定阈值t2时，设置为外观信息关联成功，否则，设置为外观信息关联失败，得到外观关联信息；

当所述马氏距离或最小余弦距离未关联成功时，不进行线性加权和融合度量阶段；

当所述马氏距离、最小余弦距离对应的运动状态、外观信息均关联成功后，将所述马氏距离、最小余弦距离进行线性加权和融合，得到融合度量信息；

获取所有跟踪器在前后相邻两帧图像被匹配到的频率，按照所述频率为所述所有跟踪器设置优先匹配等级，按照所述优先匹配等级，并结合运动状态信息、外观关联信息、融合度量信息，利用匈牙利算法得到跟踪结果；

获取未匹配的跟踪器和未匹配的人员检测区域，利用重叠度匹配进行校正后，进行再一次匹配跟踪。

7.根据权利要求1所述的一种基于ReID技术的人员跑动检测和预警方法，其特征在于，步骤3中，根据跟踪结果，判断人员是否跑动包括：

在所述视频中每帧图像中设置一条或多条警戒线，基于所述跟踪结果，当检测有跟踪人员穿过所述警戒线时，确定所述跟踪人员穿过所述警戒线的第二帧图像，以及靠近但是还没穿越所述警戒线的第一帧图像；

预先设定跑动方向，对所述第一帧图像、第二帧图像进行分析，确定所述跟踪人员穿过所述警戒线时在所述警戒线方向上的分量值；

根据所述第一帧图像、第二帧图像之间的帧数差，确定间隔时间，基于所述间隔时间、在跑动方向上的分量值，确定所述跟踪人员的跑动速度；

判断所述跑动速度是否大于预设速度阈值；

若是，表明所述跟踪人员处于跑动状态；

否则，表明所述跟踪人员处于非跑动状态。

8.根据权利要求1所述的一种基于ReID技术的人员跑动检测和预警方法，其特征在于，步骤3中，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息包括：

基于视频的连续帧图像，确定所述跑动人员的跑动范围区域；

将所述跑动范围区域与预先设置的多个感兴趣区域进行比较，判断重叠率是否大于预设重叠率；

若是，判定所述跑动人员相对于所述多个感兴趣区域跑动有效，并将所述跑动人员的坐标信息推送至后台服务器；

否则，判定所述跑动人员相对于所述多个感兴趣区域跑动无效。

9.一种基于ReID技术的人员跑动检测和预警系统，其特征在于，包括：

人员重识模块：用于提取出视频中每帧图像中所有人员区域，利用重识别模型对所有人员区域进行人体特征信息提取，并基于人体特征信息，对遮挡人体特征进行重构优化，得到目标人体特征信息；

人员跟踪模块：用于根据所述目标人体特征信息，对人员进行跟踪和校正，得到跟踪结果；

人员跑动分析预警模块：用于根据跟踪结果，判断人员是否跑动，当检测到有人员跑动时，向后台服务器推送跑动人员的坐标信息；

所述人员重识模块，还用于：

获取所述所有人员区域的位置信息，得到第一数据集合，获取所述所有人员区域的像素信息，得到第二数据集合；

基于所述第一数据集合、第二数据集合对所述所有人员区域进行区域划分，得到多个子区域，并基于预设人体整体特征，对所述多个子区域进行分类，得到多个单个人员区域；

基于所述多个单个人员区域，将所述人体特征信息进行划分，得到多个单个人体特征信息，获取在不同帧图像下的单个人体特征信息；

从所述不同帧图像中选取第一帧图像中的第一单个人体特征信息，提取所述第一单个人体特征信息的形态特征和轮廓特征；

获取所述形态特征对应的预设可能轮廓集合，基于所述轮廓特征，判断所述单个人体特征信息是否匹配所述预设可能轮廓集合；

若是，判断第一单个人体不存在遮挡；

否则，判断第一单个人体存在遮挡；

在所述第一单个人体存在遮挡时，提取所述第一单个人体特征信息的颜色特征，从剩余帧图像中获取与所述颜色特征匹配的第一单个人员区域，得到第一单个人员区域集合；

当所述剩余帧图像中任一张剩余帧图像对应多个第一单个人员区域时，则将本次检测的剩余帧图像的对应多个第一单个人员区域从所述第一单个人员区域集合中剔除；

从所述第一单个人员区域集合中选取与所述第一单个人体特征的匹配度大于预设整体匹配度的第二单个人员区域，组成第二单个人员区域集合；

将所述第二单个人员区域集合对应的第二单个人体特征对所述重识别模型的重构层进行训练，获取与所述重识别模型收敛匹配的特征重构层；

将第一人体特征信息输入所述特征重构层，对所述第一人体特征信息进行重构得到重构特征；

在所述不同帧图像下获取单个人体特征包含所述重构特征的比例大于预设比例所对应的人员区域，并对所述人员区域进行统一标记，并对标记的人员区域的人体特征信息基于所述重构特征进行优化，得到目标人体特征信息。

Images