CN113313090A - 一种被遗弃可疑行李的遗弃人检测追踪方法 - Google Patents

Abstract

本发明属于智能识别检测追踪技术领域，具体涉及一种被遗弃可疑行李的遗弃人检测追踪方法，包括数据集收集整理步骤、模型训练步骤、检测识别步骤和遗弃行李人追踪步骤，基于监控视频数据、通过机器网络学习模型自动化进行人和行李的检测，配合距离检测算法及时发现并定位被遗弃的行李、并调用跟踪识别算法方案对遗弃人进行追踪，实现了一个无人值守的目标监测的功能，可以部署在监控平台系统，为安检工作提供高度智能化的服务。

Description

一种被遗弃可疑行李的遗弃人检测追踪方法

技术领域

本发明属于智能识别检测追踪技术领域，具体涉及一种被遗弃可疑行李的遗弃人检测追踪方法。

背景技术

现如今，社会上依然存在一些不稳定的因素，暴恐事件仍然时有发生，对广大民众的生命财产安全始终都是极大的威胁。随着安保维稳工作的推进，暴恐分子开始采用更为隐秘的手段实施其暴恐行为，其中一种方法是制造自爆炸装置并将其部署在人口密集地区，如在机场、地铁、车站等场所，犯罪嫌疑人将这些装置藏在背包、行李箱、袋子等普通包裹中然后在人群聚集区域进行遗弃，离开后进行引爆造成损害。

因此，出于安全稳定的考量，在如机场、地铁、车站等场所，必须要定期处理这些行李，并且，为了更好的进行防恐防暴工作，还应该对这些行李的遗弃人进行追踪以便进行溯源。

在目前的技术环境下，在机场、地铁、车站等人群聚集场所中都安装有视频监控系统，监控摄像头可以记录人群聚集场所中的情况，能够监控到大多数无人看管的行李，但是这类的视频监控系统主要目的还是在于进行实时大环境中人员的监控，而在现有技术中，如机场中还设置有专门用于对行李进行检查的设备，如公开号为CN112934728A，名称为“一种机场行李安检状态踪溯系统及方法”的中国发明专利文献，公开了一种机场行李安检状态踪溯系统及方法，基于可编程控制控制器对行李的位置进行跟踪，采集行李的标签信息、行李的安检状态信息，建立关联并存储，实现了行李安全状态的精确跟踪、快速追溯以及无误处理。行李的安全追踪过程不仅包括了行李安检状态的正向跟踪，也包括了跟踪迷失的行李安检状态的反向追溯，使后场行李、尤其是问题行李的安全处理前置化、主动化、在线化，处理时效性显著提高，但是上述的现有技术方案，要么是针对于人的监控、要么是单独针对于行李本身的监控，因此，现有技术中缺乏一种高效的从摄像机每时每刻捕捉到的大量视频信息中提取与事件相关的视频时段并跟踪遗弃行李的人员行迹，这已经成了亟待解决的问题，如果采用手动筛选分析无人看管行李事件的发生是极其繁琐和繁重的，非常消耗人力和时间。

发明内容

为了克服上述现有技术中存在的问题和不足，本发明旨在于提出一种通过机器视角角度、有效识别无人看管的行李以及放置行李的嫌疑人，并跟踪此人的轨迹的车站可疑遗弃行李的检测追踪方法。

本发明的目的是通过以下技术方案实现的：

一种被遗弃可疑行李的遗弃人检测追踪方法，包括以下步骤：

数据集收集整理步骤，采用包括人、背包、手提包、手提箱类数据的COCO数据集，即 数据集只选择会直接影响进行行李检测追踪的类，丢弃常规COCO数据集中其他无关的类别 以减少数据处理量，将COCO数据集中的背包、手提包、手提箱均归类为行李类，则行李类的 COCO数据集中的数据特征集合可表示为

和

表示所有数据类别索引的集合，

、

代表第n、 第m个样本的数据特征，

、

代表第n、第m个样本所属的类别索引，即，我们后续要进 行识别的就只有人和行李这两个类别了；COCO数据集是一个大型的、丰富的物体检测、分割 和字幕数据集。COCO通过大量使用Amazon Mechanical Turk来收集数据，这个数据集以 scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的 segmentation进行位置的标定，图像包括91类目标，包含28000的影像和2500000个label， 可以说，COCO数据集是目前为止有语义分割的最大数据集，提供的类别有80类，有超过33万 张图片，其中20万张有标注，整个数据集中个体的数目超过150万个，因此，本方法中使用 COCO数据集作为模型训练的基础数据，一方面可以有限理由资源，另一方面则可以降低模 型训练的工作量。

模型训练步骤，将所述数据集收集整理步骤中行李类的COCO数据集进行整理，按比例划分为训练集和测试集，将训练集输入到Mask Rcnn网络中、利用批量梯度下降法（BGD）求出最优模型进行模型训练，然后将测试集输入到训练后的模型进行检查和调整，得到训练好的检测模型；Mask Rcnn网络中是在Faster Rcnn网络中的基础上添加了一个预测分割mask的分支，将RoI Pooling层替换成了RoI Align层，添加了并列的FCN层（mask层），现目前，Mask Rcnn网络已经属于最成功的图像检测分割网络，将Mask Rcnn网络运用在模型训练过程中，可以达到最优的效果；梯度下降法作为机器学习中较常使用的优化算法，在其求解过程中，只需要求解损失函数的一阶导数，计算的代价比较小，梯度下降法的基本思想可以理解为：我们从山上的某一点出发，找一个最抖的坡走一步（也就是找梯度方向），到达一个点之后，再找最陡的坡，再走一步，直到不断的走，走到最低点（最小花费函数收敛点）。

优选地，所述模型训练步骤中，按照3：7的比例将行李类的COCO数据集随机分为测试集和训练集，即训练集占整个行李类的COCO数据集的7/10，测试集占整个行李类的COCO数据集的3/10，训练集用于完成对模型的训练，测试集则用于对训练的模型进行验证和调优。

具体的，所述模型训练步骤中批量梯度下降法（BGD）

其中，

是每个特征的权重，t代表批量梯度下降法中权重更新的次数，t为当前更新的次数、t+1为下一次更新，η是学习率，

是预测结果值，batch-size是样本数据的数量，i代表行训练集中的第i批样本数据特征，j指样本数据的数量batch-size中样本

所对应的维度，模型训练完成后可以检测到人和行李类。

检测识别步骤，通过车站视频监控系统对车站内的实时视频数据进行采集，并将采集到的实时视频数据输入至所述模型训练步骤得到的检测模型中，检测模型将实时视频数据中的移动对象识别为行李和携带行李的人；

具体的，所述检测识别步骤中，检测模型将实时视频数据中的移动对象识别为行李和携带行李的人，是将从实时视频数据中若干帧图像中识别出的行李和人的图像按照特征向量相似度的降序进行排序，然后使用欧氏距离来计算相似性

，这里计算的相似性就是计算图像中人与行李间的距离，其中，

是所要查询行李的特征向量，

是携带行李的人的特征向量，N是特征向量的大小；之后对欧氏距离计算结果进行排序，图像中与行李间欧氏距离最短的人为携带行李的人。

更为优选地，所述检测识别步骤中，检测模型将实时视频数据中的移动对象识别为行李的特征向量

，从视频数据中识别出携带行李的人的特征向量为

，然后行李和携带行李的人的特征的特征向量按照特征向量相似度的降序进行排序、使用欧氏距离来计算相似性。

遗弃行李人追踪步骤，当车站视频监控系统的实时视频数据中出现遗弃行李时，则通过匹配识别找到所述检测识别步骤的识别结果中被遗弃行李的图像，并找到对应携带行李的人为遗弃人，然后采用摄像头拼接画面以及目标跟踪的方法进行遗弃人的轨迹跟踪。

所述遗弃行李人追踪步骤中，采用的摄像头拼接画面方法为基于SIFT算法的画面拼接算法，SIFT特征是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性，SIFT特征独特性好、信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配，并且SIFT特征的多量性保证了即使只有少数的几个物体图像也可以产生大量SIFT特征向量，SIFT算法速度相对较快，经优化的SIFT匹配算法甚至可以达到实时的要求，SIFT算法的可扩展性强，可以很方便的与其他形式的特征向量进行联合；所述目标跟踪方法为基于Deepsort算法的目标跟踪算法。Deepsort算法利用强大的CNN检测器的检测结果来进行多目标跟踪、使用基于卡尔曼滤波（Kalman filter）与匈牙利算法（Hungarian algorithm）的方法来进行跟踪，并且Deepsort算法开源了代码，为MOT领域提供一个新的baseline。

优选地，所述遗弃行李人追踪步骤中，判断出现遗弃行李，具体的：

当车站视频监控系统的实时视频数据中出现静止的行李，且静止的行李与周边所有被识别出的人之间的距离超过设定的安全阈值、并且距离超过设定阈值的时长也超过警戒时间阈值的，则将该静止的行李判定为遗弃行李；

当所述检测识别步骤中，识别出的行李与携带行李的人之间的距离超过设定的安全阈值、并且距离超过设定阈值的时长也超过警戒时间阈值的，则将该静止的行李判定为遗弃行李。

有益效果：

与现有技术方案相比，本发明所提供的这种技术方案的有益效果如下：

1、本发明所提供的这种技术方案，基于监控视频数据、通过机器网络学习模型自动化进行人和行李的检测，配合距离检测算法及时发现并定位被遗弃的行李、并调用跟踪识别算法方案对遗弃人进行追踪，实现了一个无人值守的目标监测的功能，可以部署在监控平台系统，为安检工作提供高度智能化的服务。

2、本发明所提供的这种技术方案，完全基于自动化功能实现，将遗弃行李的识别、行李遗弃人的识别与现有的人脸识别、人员跟踪系统结合，有效克服了人工筛查视频的繁重工作量，且耗时大的的缺点，实现了全天24h监测，解决了人工分析视频跟踪嫌疑人中工作量大、时效性差、难以跟踪嫌疑人轨迹的问题。

附图说明

本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：

图1为本发明一种优选方案的基本流程示意图，

图2为本发明Mask rcnn的模型结构示意图。

具体实施方式

下面通过几个具体的实施例来进一步说明实现本发明目的技术方案，需要说明的是，本发明要求保护的技术方案包括但不限于以下实施例。

本实施例提供了一种被遗弃可疑行李的遗弃人检测追踪方法，如图1所述，大体可以理解为包括数据集收集整理步骤、模型训练步骤、检测识别步骤和遗弃行李人追踪步骤，基于监控视频数据、通过机器网络学习模型自动化进行人和行李的检测，配合距离检测算法及时发现并定位被遗弃的行李、并调用跟踪识别算法方案对遗弃人进行追踪，实现了一个无人值守的目标监测的功能，可以部署在监控平台系统，为安检工作提供高度智能化的服务。

具体的，所述数据集收集整理步骤，采用包括人、背包、手提包、手提箱类数据的COCO数据集，即数据集只选择会直接影响进行行李检测追踪的类，丢弃常规COCO数据集中其他无关的类别以减少数据处理量，COCO数据集是一个大型的、丰富的物体检测、分割和字幕数据集。COCO通过大量使用Amazon Mechanical Turk来收集数据，这个数据集以sceneunderstanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定，图像包括91类目标，包含28000的影像和2500000个label，可以说，COCO数据集是目前为止有语义分割的最大数据集，提供的类别有80类，有超过33万张图片，其中20万张有标注，整个数据集中个体的数目超过150万个，因此，本方法中使用COCO数据集作为模型训练的基础数据，一方面可以有限理由资源，另一方面则可以降低模型训练的工作量。

接着，将COCO数据集中的背包、手提包、手提箱均归类为行李类，则行李类的COCO 数据集中的数据特征集合可表示为

、

表示所有数据类别索引的集合，其中，

、

代表 第n、第m个样本的数据特征，

、

代表第n、第m个样本所属的类别索引，即，我们后续 要进行识别的就只有人和行李这两个类别了。

所述模型训练步骤，将所述数据集收集整理步骤中行李类的COCO数据集进行整理，按比例划分为训练集和测试集，优选地，按照3：7的比例将行李类的COCO数据集随机分为测试集和训练集，即训练集占整个行李类的COCO数据集的7/10，测试集占整个行李类的COCO数据集的3/10，训练集用于完成对模型的训练，测试集则用于对训练的模型进行验证和调优。

接着，如图2，将训练集输入到Mask Rcnn网络中、利用批量梯度下降法（BGD）求出最优模型进行模型训练，然后将测试集输入到训练后的模型进行检查和调整，得到训练好的检测模型；Mask Rcnn网络中是在Faster Rcnn网络中的基础上添加了一个预测分割mask的分支，将RoI Pooling层替换成了RoI Align层，添加了并列的FCN层（mask层），现目前，Mask Rcnn网络已经属于最成功的图像检测分割网络，将Mask Rcnn网络运用在模型训练过程中，可以达到最优的效果；梯度下降法作为机器学习中较常使用的优化算法，在其求解过程中，只需要求解损失函数的一阶导数，计算的代价比较小，梯度下降法的基本思想可以理解为：我们从山上的某一点出发，找一个最抖的坡走一步（也就是找梯度方向），到达一个点之后，再找最陡的坡，再走一步，直到不断的走，走到最低点（最小花费函数收敛点）。

更为具体的，所述模型训练步骤中批量梯度下降法（BGD）

其中，

是每个特征的权重，t代表批量梯度下降法中权重更新的次数，t为当前更新的次数、t+1为下一次更新，η是学习率，

是预测结果值，batch-size是样本数据的数量，i代表行训练集中的第i批样本数据特征，j指样本数据的数量batch-size中样本

所对应的维度，模型训练完成后可以检测到人和行李类。

所述检测识别步骤，通过车站视频监控系统对车站内的实时视频数据进行采集，并将采集到的实时视频数据输入至所述模型训练步骤得到的检测模型中，检测模型将实时视频数据中的移动对象识别为行李和携带行李的人；更进一步的，检测模型将实时视频数据中的移动对象识别为行李和携带行李的人，将实时视频数据中的移动对象识别为行李的特征向量

，从视频数据中识别出携带行李的人的特征向量为

，然后将从实时视频数据中若干帧图像中识别出的行李和人的图像按照特征向量相似度的降序进行排序，然后使用欧氏距离来计算相似性

，这里计算的相似性就是计算图像中人与行李间的距离，其中，

是所要查询行李的特征向量，

是携带行李的人的特征向量，N是特征向量的大小；之后对欧氏距离计算结果进行排序，图像中与行李间欧氏距离最短的人为携带行李的人。

所述遗弃行李人追踪步骤，当车站视频监控系统的实时视频数据中出现遗弃行李时，则通过匹配识别找到所述检测识别步骤的识别结果中被遗弃行李的图像，并找到对应携带行李的人为遗弃人。

然后采用基于SIFT算法的画面拼接算法进行遗弃人的轨迹跟踪，SIFT特征是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性，SIFT特征独特性好、信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配，并且SIFT特征的多量性保证了即使只有少数的几个物体图像也可以产生大量SIFT特征向量，SIFT算法速度相对较快，经优化的SIFT匹配算法甚至可以达到实时的要求，SIFT算法的可扩展性强，可以很方便的与其他形式的特征向量进行联合。

同时，也采用基于Deepsort算法的目标跟踪算法进行遗弃人的轨迹跟踪，Deepsort算法利用强大的CNN检测器的检测结果来进行多目标跟踪、使用基于卡尔曼滤波（Kalman filter）与匈牙利算法（Hungarian algorithm）的方法来进行跟踪，并且Deepsort算法开源了代码，为MOT领域提供一个新的baseline。

优选地，所述遗弃行李人追踪步骤中，判断出现遗弃行李，具体的：

当车站视频监控系统的实时视频数据中出现静止的行李，且静止的行李与周边所有被识别出的人之间的距离超过设定的安全阈值、并且距离超过设定阈值的时长也超过警戒时间阈值的，则将该静止的行李判定为遗弃行李；

当所述检测识别步骤中，识别出的行李与携带行李的人之间的距离超过设定的安全阈值、并且距离超过设定阈值的时长也超过警戒时间阈值的，则将该静止的行李判定为遗弃行李。

更为具体的，例如，在车站的候车大厅中，出现若干携带行李的人员，通过监控视频系统采集监控数据，输入至训练好的检测模型中，检测模型对监控数据中的人和行李进行识别，并通过对行李与人的举例计算绑定出携带行李的人，然后，根据距离阈值判定出有遗弃行李出现后，对应通过机器视觉匹配的方式，从检测模型的检测结果中匹配出行李对应的携带人，然后以匹配的携带人结果为基础，调用追踪系统实现对嫌疑人的路径追踪，找到嫌疑人，从而解决了现在无法自动化、智能化完成对遗弃行李的追踪定位以及对应遗弃人追踪的问题，极大的提高了安全性。

Claims (7)

1.一种被遗弃可疑行李的遗弃人检测追踪方法，其特征在于，包括以下步骤：

数据集收集整理步骤，采用包括人、背包、手提包、手提箱类数据的COCO数据集，将COCO 数据集中的背包、手提包、手提箱均归类为行李类，则行李类的COCO数据集中的数据特征集 合可表示为和表示所有 数据类别索引的集合，其中，

、

代表第n、第m个样本的数据特征，

、

代表 第n、第m个样本所属的类别索引；

模型训练步骤，将所述数据集收集整理步骤中行李类的COCO数据集进行整理，按比例划分为训练集和测试集，将训练集输入到Mask Rcnn网络中、利用批量梯度下降法求出最优模型进行模型训练，然后将测试集输入到训练后的模型进行检查和调整，得到训练好的检测模型；

检测识别步骤，通过车站视频监控系统对车站内的实时视频数据进行采集，并将采集到的实时视频数据输入至所述模型训练步骤得到的检测模型中，检测模型将实时视频数据中的移动对象识别为行李和携带行李的人；

遗弃行李人追踪步骤，当车站视频监控系统的实时视频数据中出现遗弃行李时，则通过匹配识别找到所述检测识别步骤的识别结果中被遗弃行李的图像，并找到对应携带行李的人为遗弃人，然后采用摄像头拼接画面以及目标跟踪的方法进行遗弃人的轨迹跟踪。

2.如权利要求1所述的一种被遗弃可疑行李的遗弃人检测追踪方法，其特征在于：所述模型训练步骤中，按照3：7的比例将行李类的COCO数据集随机分为测试集和训练集，即训练集占整个行李类的COCO数据集的7/10，测试集占整个行李类的COCO数据集的3/10。

3.如权利要求1或2所述的一种被遗弃可疑行李的遗弃人检测追踪方法，其特征在于：所述模型训练步骤中批量梯度下降法

，其中，

是每个特征的权重，t代表批量梯度下降法中权重更新的次数，t为当前更新的次数、t+1为下一次更新，η是学习率，

是预测结果值，batch-size是样本数据的数量，i代表行训练集中的第i批样本数据特征，j指样本数据的数量batch-size中样本

所对应的维度，模型训练完成后可以检测到人和行李类。

4.如权利要求1所述的一种被遗弃可疑行李的遗弃人检测追踪方法，其特征在于：所述检测识别步骤中，检测模型将实时视频数据中的移动对象识别为行李和携带行李的人，是将从实时视频数据中若干帧图像中识别出的行李和人的图像按照特征向量相似度的降序进行排序，然后使用欧氏距离来计算相似性

，其中，

是所要查询行李的特征向量，

是携带行李的人的特征向量，N是特征向量的大小；之后对欧氏距离计算结果进行排序，图像中与行李间欧氏距离最短的人为携带行李的人。

5.如权利要求1或4所述的一种被遗弃可疑行李的遗弃人检测追踪方法，其特征在于：所述检测识别步骤中，检测模型将实时视频数据中的移动对象识别为行李的特征向量

，从视频数据中识别出携带行李的人的特征向量为

，然后行李和携带行李的人的特征的特征向量按照特征向量相似度的降序进行排序、使用欧氏距离来计算相似性。

6.如权利要求1所述的一种被遗弃可疑行李的遗弃人检测追踪方法，其特征在于：所述遗弃行李人追踪步骤中，采用的摄像头拼接画面方法为基于SIFT算法的画面拼接算法，所述目标跟踪方法为基于Deepsort算法的目标跟踪算法。

7.如权利要求1所述的一种被遗弃可疑行李的遗弃人检测追踪方法，其特征在于，所述遗弃行李人追踪步骤中，判断出现遗弃行李，具体的：

当车站视频监控系统的实时视频数据中出现静止的行李，且静止的行李与周边所有被识别出的人之间的距离超过设定的安全阈值、并且距离超过设定阈值的时长也超过警戒时间阈值的，则将该静止的行李判定为遗弃行李；

当所述检测识别步骤中，识别出的行李与携带行李的人之间的距离超过设定的安全阈值、并且距离超过设定阈值的时长也超过警戒时间阈值的，则将该静止的行李判定为遗弃行李。

Images