CN112016445B - 一种基于监控视频的遗留物检测方法 - Google Patents

Abstract

本发明提供一种基于监控视频的公共场所遗留物检测方法，首先，通过图像采集设备获取视频流，然后，根据视频帧中游客与其携带物的关系，匹配游客及其携带物，再对游客及其携带物使用卡尔曼滤波与表观建模的级联匹配方法进行目标跟踪，根据跟踪结果与游客及其携带物的综合距离度量，最后判断游客携带物是否离开游客，若携带物独立停留时间超过阈值，则判定为遗留物并报警。本发明通过综合距离度量判断遗留物是否离开游客，能更好应对传统IOU方法无法应对的情形；同时，使用卡尔曼滤波与表观建模的级联匹配方法对目标物体进行跟踪，增强了多目标跟踪任务的鲁棒性，对公共场所的遗留物检测具有较强的针对性，准确率高。

Description

一种基于监控视频的遗留物检测方法

技术领域

本发明设涉及图像处理技术领域领域，具体涉及一种多目标检测跟踪方法。

背景技术

公共场合游客遗失随身携带物是非常常见的状况，遗失的携带物小至钱包、手机，大至旅行箱包。能够及时发现遗留物体并采取相关措施，就能够有效保障游客的财产安全，减少游客再次返回寻找的时间成本。

在判定某携带物是否属于特定游客方面，传统的遗留物检测方法使用IOU进行判定，但针对游客身后拖拽行李箱等情况，游客与其携带物仅存在松散连接，即人体与物体检测框很可能距离较近，但完全没有重叠，IOU为0，无法准确判断游客与其携带物的关联性。

同时，传统的基于卡尔曼滤波的跟踪算法着重考量游客及其携带物的运动信息，当出现物体遮挡的情况时，重新出现在画面中的物体会被误认为是第一次出现在画面中，对遗留物的判定造成很大的困难。

发明内容

为解决上述问题，本发明采用神经网络对检测目标的表观特征进行建模，并将特征向量保留一段时间，再对卡尔曼滤波跟踪失败的目标采用相同的神经网络提取其表观特征，并以余弦距离方式度量其相似度，由此解决遮挡目标重识别的问题，有效提升算法的准确度。

针对传统IOU方法无法检测游客与其携带物仅存在松散连接的情况，本发明采用综合距离度量判定游客与其携带物的关联性，提升了算法的稳定性。

为实现上述目的，本申请采用以下技术方案予以实现：

一种基于监控视频的遗留物检测方法，该方法包括以下步骤：

S1：通过图像采集设备，获取视频流；

S2：匹配游客及其携带物，其具体包括以下步骤：

S21：使用YOLOv4网络，检测第N帧游客人体及其携带物，并将携带物作为目标物体；

S22：利用综合距离度量对多个目标物体及其对应游客人体进行匹配，其表达式如下：

其中P为YOLOv4网络检测到的人体检测框，P_c为其中心点；O为携带物检测框，O_c为其中心点；S为检测框O与P的最小凸集，S_d为其对角线长度；ρ²(·)为欧氏距离；考虑到某些随身携带物离身体较远，如拖行的行李箱，使用传统的IOU作为特征无法准确反映其匹配关系；该方式可以度量两个不重合或部分重合的检测框的距离关联；当目标物体与人体的综合距离dist(P,O)大于阈值T1时，则确定其关联关系；S3：对游客及其携带物进行目标跟踪，其具体包括以下步骤：

S31：利用神经网络对多个目标进行表观建模；

使用如图所示的神经网络，将目标的表观特征提取为128维向量r_j，对最后的输出结果应用批量归一化与L2正则化，保证||r_j||＝1；

S32：使用递归卡尔曼滤波预测第N+1帧中多个目标物体的位置P；

S33：检测第N+1帧中的多个目标物体D；

S34：利用步骤S31中的神经网络，生成N+1帧中多个目标物体的表观特征；

S35：利用卡尔曼滤波预测结果与表观建模，对连续两帧中的多个目标物体进行级联匹配，实现目标物体的实时跟踪，级联匹配流程如下：

S351：使用马氏距离，对目标物体的卡尔曼滤波预测结果P与YOLOv4检测结果D进行运动信息关联，其公式如下：

其中D_j表示第j个检测框的位置，P_i表示第i个预测框的位置，Σ_i表示检测位置与平均预测位置间的协方差矩阵；如果某对检测框与预测框的马氏距离d_m小于阈值T2，则判定其关联成功；

S352：当存在遮挡时，马氏距离的可靠性降低，此时对检测对象的表观特征进行匹配；对步骤S351中被成功关联的检测框使用S31中的神经网络进行表观特征提取，并逐帧将提取到的128维特征向量放置在跟踪器r⁽ⁱ⁾中；提取当前帧所有检测框特征向量r_j，对当前帧第j个检测结果与第i个追踪器中最近100个关联成功的特征集，求取其最小余弦距离，即：

其中R_i为所有跟踪器的集合，若某对检测框与预测框的表观特征具有最小余弦距离d_c，且d_c小于阈值T3，则判定其关联成功；

S4：实现对每个游客及其携带物的跟踪后，根据某游客与其携带物的综合距离度量，判定是否为疑似遗留物体，当综合距离度量小于阈值T1时，判定游客离开了他的携带物，携带物被标记为疑似遗留物体；

S5：若疑似遗留物体的独立停留时间超过阈值T5，则判定为遗留物并报警。

与现有技术相比，该方法使用综合距离度量改进传统IOU方法对游客及其携带物关联性的判断，同时纳入神经网络考量跟踪目标的表观特征，改进基于卡尔曼滤波的跟踪手段，增强了目标跟踪的稳定性，能准确有效地对遗留携带物进行检测。

附图说明

图1为基于监控视频的公共场所遗留物检测方法流程图；

图2为用于表观建模的神经网络结构图；

图3为正常情况下的视频帧；

图4为发现遗留物的视频帧。

具体实施方式

为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式，对上述技术方案进行详细的说明。应当理解，此处所描述的具体实施方式仅用于解释本发明，并不用于限定本发明。

实施例：

如图1所示，一种基于监控视频的遗留物检测方法包括如下步骤：

S1：通过图像采集设备，获取视频流；

S2：匹配游客及其携带物，其具体包括以下步骤：

S21：使用YOLOv4网络，检测第N帧游客人体及其携带物，并将携带物作为目标物体；

S22：利用综合距离度量对多个目标物体及其对应游客人体进行匹配，其表达式如下：

其中P为YOLOv4网络检测到的人体检测框，P_c为其中心点；O为携带物检测框，O_c为其中心点；S为检测框O与P的最小凸集，S_d为其对角线长度；ρ²(·)为欧氏距离。考虑到某些随身携带物离身体较远，如拖行的行李箱，使用传统的IOU作为特征无法准确反映其匹配关系。该方式可以度量两个不重合或部分重合的检测框的距离关联。当目标物体与人体的综合距离dist(P,O)大于阈值T1时，则确定其关联关系。本例中，T1＝0.55。

S3：对游客及其携带物进行目标跟踪，其具体包括以下步骤：

S31：利用神经网络对多个目标进行表观建模；

使用如图所示的神经网络，其具有2个卷积层，1个最大池化层，与6个残差卷积层，保证训练效果，最终将目标的表观特征提取为128维向量r_j，并对最后的输出结果应用批量归一化与L2正则化，保证||r_j||＝1；

S32：使用递归卡尔曼滤波预测第N+1帧中多个目标物体的位置P；

S33：检测第N+1帧中的多个目标物体D；

S34：利用步骤S31中的神经网络，生成N+1帧中多个目标物体的表观特征；

S35：利用卡尔曼滤波预测结果与表观建模，对连续两帧中的多个目标物体进行级联匹配，实现目标物体的实时跟踪，跟踪结果如图3所示，其中蓝色框体表示检测框D_j，青色框体表示预测框P_i，级联匹配流程如下：

S351：使用马氏距离，对目标物体的卡尔曼滤波预测结果P与YOLOv4检测结果D进行运动信息关联，其公式如下：

其中D_j表示第j个检测框的位置，P_i表示第i个预测框的位置，Σ_i表示检测位置与平均预测位置间的协方差矩阵。如果某对检测框与预测框的马氏距离d_m小于阈值T2，则判定其关联成功。在本例中T2＝9.4877。

S352：当存在遮挡时，马氏距离的可靠性降低，此时对检测对象的表观特征进行匹配。对步骤S351中被成功关联的检测框使用S31中的神经网络进行表观特征提取，并逐帧将提取到的128维特征向量放置在跟踪器r⁽ⁱ⁾中。提取当前帧所有检测框特征向量r_j，对当前帧第j个检测结果与第i个追踪器中最近100个关联成功的特征集，求取其最小余弦距离，即：

其中R_i为所有跟踪器的集合，若某对检测框与预测框的表观特征具有最小余弦距离d_c，且d_c小于阈值T3，则判定其关联成功。在本例中，T3＝1.21。

S4：实现对每个游客及其携带物的跟踪后，根据某游客与其携带物的综合距离度量，判定是否为疑似遗留物体，当综合距离度量小于阈值T1时，判定游客离开了他的携带物，携带物被标记为疑似遗留物体；

S5：若疑似遗留物体的独立停留时间超过阈值T5，则判定为遗留物并报警。如图4所示，图中检测框D_j与运动预测框P_i基本重合，表示跟踪物体停止运动，同时与其匹配的游客综合距离度量超过阈值T1，即发生报警。在本例中，T5＝3。

Claims (3)

1.一种基于监控视频的遗留物检测方法，该方法包括以下步骤：

S1：通过图像采集设备，获取视频流；

S2：匹配游客及其携带物

S21：使用YOLOv4网络，检测第N帧游客人体及其携带物，并将携带物作为目标物体；

S22：利用综合距离度量对多个目标物体及其对应游客人体进行匹配；

S3：对游客及其携带物进行目标跟踪，其具体包括以下步骤：

S31：利用神经网络对多个目标物体进行表观建模；

S32：使用递归卡尔曼滤波预测第N+1帧中多个目标物体的位置；

S33：检测第N+1帧中的多个目标物体；

S34：利用步骤S31中的神经网络，生成N+1帧中多个目标物体的表观特征；

S35：利用卡尔曼滤波预测结果与表观建模，对连续两帧中的多个目标物体进行级联匹配，实现目标物体的实时跟踪；

S4：针对每个目标物体，根据其与对应游客的综合距离度量，判定是否为疑似遗留物体；

S5：若疑似遗留物体的停留时间超过阈值T5，则判定为遗留物。

2.根据权利要求1所述一种基于监控视频的遗留物检测方法，其主要特征在于：所述步骤S22利用综合距离度量方式，对多个目标物体及其对应游客人体进行匹配，其表达式如下：

其中P为YOLOv4网络检测到的人体检测框，P_c为其中心点；O为携带物检测框，O_c为其中心点；S为检测框O与P的最小凸集，S_d为其对角线长度；ρ²(·)为欧氏距离；当目标物体与人体的综合距离dist(P,O)大于阈值T1时，则确定其关联关系。

3.根据权利要求1所述一种基于监控视频的遗留物检测方法，其主要特征在于：步骤S35所述的级联匹配过程，其具有如下两个步骤：

S351：使用马氏距离，对目标物体的卡尔曼滤波预测结果P与YOLOv4检测结果D进行运动信息关联，其公式如下：

其中D_j表示第j个检测框的位置，P_i表示第i个预测框的位置，Σ_i表示检测位置与平均预测位置间的协方差矩阵；如果某对检测框与预测框的马氏距离d_m小于阈值T2，则判定其关联成功；

S352：当存在遮挡时，马氏距离的可靠性降低，此时对检测对象的表观特征进行匹配；对步骤S351中被成功关联的检测框使用S31中的神经网络进行表观特征提取，并逐帧将提取到的128维特征向量放置在跟踪器r⁽ⁱ⁾中；提取当前帧所有检测框特征向量r_j，对当前帧第j个检测结果与第i个追踪器中最近100个关联成功的特征集，求取其最小余弦距离，即：

其中R_i为所有跟踪器的集合，若某对检测框与预测框的表观特征具有最小余弦距离d_c，且d_c小于阈值T3，则判定其关联成功。

Images