CN114067437A - 一种基于定位和视频监控数据的脱管检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于定位和监控视频数据的脱管检测方法及系统，该模型由第一阶段的基于定位数据的互监小组检测算法和第二阶段的基于视频监控数据的yolov5目标检测算法组成；第一阶段的互监小组检测算法为两阶段阈值法，为每个互监小组中的人计算其与其他人之间的距离，与两阶阈值进行比较，并结合白名单机制判断是否出现单人脱管或多人脱管，计算量小，推理速度快；第二阶段的yolov5目标检测算法融合了卷积块注意力机制，并采用新的Seq‑Bbox Matching后处理方式，提高了检测精度，使系统具有充分的实用性。

Description

一种基于定位和视频监控数据的脱管检测方法及系统

技术领域

本发明涉及一种基于定位和视频监控数据的脱管检测方法及系统，属于深度学习、信号处理技术领域。

背景技术

在某些众多人员存在的特定场所，被监管人员单独脱管很容易导致一些危害性比较大的极端行为发生，受人力资源的限制，监管者无法24小时监控被监管者。可采用互监小组的方式对被监管人员进行更为高效和精准的管理，互监视组内成员互相监督，共同参与各项活动，两两之间的距离不得超过预先设定的阈值。互监小组通常包含奇数人员，如果组员太多，行动的一致性难以控制，如果组员太少，小组人员容易同时发生脱管，一般设定为三人或五人。在五人互监小组中，如果有一人或者两人与其他人之间的间距超出了距离阈值，则意味者他们可能发生了脱管行为。采用物联终端采集被监管人员的实时定位数据，计算互监小组内成员之间的相对距离，可及时发现可能的脱管人员。

对图像及视频中的目标进行精准识别是神经网络一直努力解决的问题，yolov5是一款经典的一阶段目标检测网络，在网络参数量相似的情况下相比原来的yolo网络能够达到更快的检测速度和检测精度，是一种能够很好满足实际使用需要的目标检测网络。

基于单定位数据对互监小组成员进行脱管检测，存在的最大问题是只能判断有成员脱离了互监小组的范围，而不能明确是否发生了脱管。如果监管人员安排被监管人员去执行某项任务，此时虽然被监管人员脱离了互监小组，但是在其周围存在监管人员，则不属于脱管行为。或者被监管人员被许可进入某个特定区域完成特定任务，暂时脱离互监小组是被允许的，通过白名单制度可以避免系统误报。为了降低误判率，提升脱管行为检测的准确率，有必要结合监控视频进行综合研判，检测疑似脱管人员的周边是否存在监管者。采用yolov5网络进行目标识别的最大问题在于，其本身是一阶段的目标检测网络，检测精度不如经典的二阶段目标检测网络，所以可能在基于视频的目标检测中发生误判，从而影响系统对脱管的判断。所以，如何综合采用定位数据和监控视频，提升脱管行为检测的准确率，是提升监管安全的关键问题。

目前针对被监管人员的脱管行为检测方法，主要集中在监管人员紧盯监控视频进行识别，极易引发疲劳，在多个监控视频中很难及时发现脱管人员，容易发生异常行为，一般事后调取监控视频进行证据留存。因此，亟需采集被监管人员的定位数据，并结合监控视频，智能实时研判被监管人员是否发生脱管行为，并及时报警处置。

发明内容

本发明提供了一种全新的基于定位信息和监控视频的人员脱管检测方法及系统；

本发明包括二阶段联合检测机制和白名单制度，提高了脱管检测的准确率，同时降低了误报率。首先，采用定位数据实时筛选疑似脱管人员，然后，确定覆盖疑似脱管位置且距离最近的摄像头，调取监控视频流，实时检测监控范围内是否存在监管者，如果不存在监管者则认为发生了脱管行为，系统及时发出声光警报，并显示脱管人员的信息和位置。通过基于定位信息的互监小组方式及基于视频的目标检测技术来对特定场所被监管人员进行有效的管控，实现对被监管人员脱管行为的精准检测。

传统的基于单监控视频进行脱管检测的方法需要采集多路摄像头的监控视频流，实时研判是否发生人员脱管，计算量大且准确率低，对算力要求高且能耗大，并且难以确定脱管人员的身份。本发明采用轻量级的定位数据筛选疑似脱管人员，只对疑脱管人员采用监控视频进行核实，具有计算量小、推理速度快、准确率高且误报率低的优点，同时能够确定脱管人员的身份及位置信息，满足系统的实用性要求。

本发明的技术方案如下：

一种基于定位和视频监控数据的脱管检测方法，包括步骤如下：

步骤1：基于定位数据的互监小组离群算法判定是否疑似发生脱管；设定第一阶阈值和第二阶阈值，步骤包括：

A、通过第一阶阈值检测一人或多人是否疑似发生脱管，当通过第一阶阈值判定一人或多人疑似发生脱管时，进入步骤B，否则返回步骤1；

B、通过第二阶阈值检测步骤A判定疑似发生脱管且位于白名单中被监管人员的人员是否疑似发生脱管，如果判定疑似发生脱管，进入步骤2；否则，返回步骤1；

步骤2：基于改进yolov5的目标检测算法，判断监控视频中是否存在监管者，如果存在监管者，则不存在脱管行为，否则存在脱管行为。

根据本发明优选的，步骤1中，将所有的被监管人员按照一定的规则划分为n个互监小组，每个互监小组包括m人；基于合理理由暂时离开所在的互监小组的被监管人员实时计入白名单中；设定第一阈值为T1，第二阈值为T2；当出现以下情况之一时，判定疑似发生脱管，具体包括：

(1)如果某个被监管人员与互监小组内其他任一被监管人员之间的距离都大于设定好的第一阈值，且该被监管人员不在该时段的白名单中，则初步判断该被监管人员在当前位置上疑似发生脱管；

(2)如果某个被监管人员与互监小组内其他任一被监管人员之间的距离都大于设定好的第一阈值，且该被监管人员在该时段的白名单中，且以该被监管人员位置为圆心、以第二阶阈值为半径的圆域内不存在其他任一被监管人员，则初步判断该人员在当前位置上疑似发生脱管；

(3)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且该a个被监管人员都不在该时间段的白名单中，则初步判断该a个被监管人员在相应位置上疑似发生脱管；

(4)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且该a个被监管人员都在该时间段的白名单中，且以该a个被监管人员的中间位置为圆心、以第二阶阈值为半径的圆域内不存在其他任一被监管人员，则初步判断该a个被监管人员在相应位置上疑似发生脱管；

(5)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且a个被监管人员中若干个被监管人员在该时间段的白名单中，则初步判断未在当前时间段白名单中的被监管人员在当前位置上疑似发生脱管；

(6)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且a个被监管人员中若干个被监管人员在该时间段的白名单中，且以该若干个被监管人员的中间位置为圆心、以第二阶阈值为半径的圆域内，除了与若干个被监管人员距离小于第一阈值但不在白名单中的同组人员之外无其他被监管人员，则初步判断若干个被监管人员在当前位置上疑似发生脱管。

进一步优选的，T1为10米，T2为20米。

根据本发明优选的，通过被监管人员佩戴物联终端，在特定场景安装多定位基站，实时采集被监管人员的定位数据。

根据本发明优选的，提前获取特定场景中所有监控摄像头的编号、位置及其覆盖的范围，步骤2的具体实现过程包括：

根据步骤1判定的脱管人员的位置及方位信息，确定能够覆盖该脱管人员位置且距离最近的摄像头，获取该摄像头的监控视频流；将该摄像头的监控视频流输入训练好的网络模型中，基于改进yolov5的目标检测算法，实时判断该监控范围内是否存在监管人员，以核实是否真正发生脱管行为，如果在监控摄像头的覆盖范围内存在监管者，则不认为发生了脱管；如果在监控摄像头的覆盖范围内不存在监管者，则认为发生了脱管，发出声音和闪光报警，并显示脱管人员的身份和位置信息，以及距离脱管人员最近的几个摄像头的编号，此时监管人员查看监控视频，并做出相应的处理。

根据本发明优选的，网络模型的构建及训练过程如下：

A、构建网络模型：

该网络模型包括输入端input、骨干网络、neck部分和输出端；

在输入端input，输入图像进行数据预处理，包括自适应锚框计算和自适应图片缩放等，在训练阶段采用Mosaic数据增强用于丰富数据集、提升网络训练速度和推理速度，除此之外，在原有数据增强基础上还添加了Mixup数据增强策略，用于从数据层面解决过拟合，提高网络的泛化能力。

在骨干网络，骨干网络包括一系列的CMBL和CSP1-X，通过一系列的CMBL操作和不同尺寸的CSP1-X操作反复对时空特征进行提取，通过SPP空间金字塔池化将特征图展开成neck部分所需要的特定大小的特征映射，以便neck部分进行多尺度特征融合；

CMBL包括卷积层、卷积块注意力机制、批归一化层和Leaky Relu激活函数；

CSP1-X将输入特征图分为两路，一路直接进行卷积操作，另一路经过一系列CMBL、X个ResUnit、卷积操作，将两路的结果连接起来，截断提取信息；

neck部分包括FPN特征金字塔和PAN路径聚合网络，FPN特征金字塔通过上采样提取不同尺度的特征图并进行特征融合，通过不同尺度的特征进行预测；PAN路径聚合网络在FPN特征金字塔的基础上，融合了自底向上和自顶向下两条路径的方式增强了网络特征的表征能力，用于送入最终的输出端；

在输出端，对检测出的很多重复框用NMS非极大值抑制来滤除，通过seqbbox-matching后处理方法通过过去预测出的框和当前的预测进行一个相似度打分，检测出一些原来检测不出的结果。

B、构建数据集：获取摄像头的监控视频流，并对每帧视频图片进行标注，包括是否有监管者；

C、将构建的数据集输入至网络模型中进行训练，得到训练好的网络模型。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于定位和视频监控数据的脱管检测方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于定位和视频监控数据的脱管检测方法的步骤。

一种基于定位和视频监控数据的脱管检测系统，包括定位数据采集和处理单元、基于位置信息的疑似脱管初筛单元、监控视频处理和脱管检测单元、综合服务单元、前端交互单元、系统管理单元；

所述定位数据采集和处理单元用于：通过互联网或者接入点无线传输方式采集被监管人员的位置参数，并进行预处理；

所述基于位置信息的疑似脱管初筛单元用于：实时采集被监管人员的位置信息，计算被监管人员与互监小组内其他成员的距离，采用一阶阈值和基于白名单的二阶阈值判断疑似发生脱管的人员；

所述监控视频处理和脱管检测单元用于：基于第一阶段筛选出的疑似发生脱管的人员的位置信息，调用能够覆盖疑似脱管位置且距离最近的摄像头监控视频流，并对监控视频进行分帧处理，实时研判监控范围内是否存在监管者，判断是否发生人员脱管行为；

所述综合服务单元用于：收集定位数据采集和处理单元、基于位置信息的疑似脱管初筛单元和监控视频处理和脱管检测单元中的过程性和结果性数据，是数据库存放的位置，并为前端交互单元和系统管理单元提供服务；

所述前端交互单元用于：直观显示被监管人员的位置信息，同时显示发生脱管的人员信息，并采用声音和闪光灯的方式报警，监管人员通过点击相应脱管人员的信息，直接调取附近的监控视频进行查看；

所述系统管理单元：包括注册和登陆功能，提供安全认证和身份鉴权机制；用于管理人员配置系统参数，包括互监小组成员之间的距离阈值；用于管理人员录入白名单，即因为某种原因在某个时段在某个位置上可脱离互监小组的被监管人员；用于构建并管理被监管人员的位置参数数据库。

本发明的有益效果为：

1、本发明提出了一种全新的基于定位和视频的两阶段脱管检测方法及系统，基于位置信息实时筛选脱离互监小组的疑似人员，采用监控视频核实脱管位置附近是否存在监管者。由于基于定位数据的人员相对位置计算速度快，且只有在发现疑似脱管人员时启动监控视频分析，因此，本方法运行时内存占用低，脱管检测速度快，能够实时运行，能够在大范围存在众多人员的场景下得到实际应用。

2、本发明方法引入了白名单制度，设置了双阈值的疑似脱管人员筛选办法。针对所有人员首先采用一阶阈值研判是否发生了潜在的脱管行为。当某些被监管人员被安排去完成某些任务时，则可能离开互监小组，此时，监管人员将这些人员加入白名单中。通过设置白名单人员与其他被监管人员之间所允许的二阶阈值，减少了脱管行为的误报率，能够更加贴近应用实际。

3、对yolov5一阶段目标检测算法进行改进，在训练过程中加入Mixup数据增强，用于在数据层面解决神经网络模型过拟合的问题，提高网络的泛化能力，并把分类损失函数替换为focal loss，能够很好解决一阶段目标检测网络中正负样本比例严重失衡的问题；在网络结构上，在骨干网络CSPDarknet53和neck网络FPN+PAN中都加入了卷积块注意力，以便更好地提取特征，并加入了seq-Bbox后处理方法，提高原来的静态图像检测器用于视频目标检测中的效果，提升了网络检测的准确率。

附图说明

图1为本发明基于定位和视频监控数据的脱管检测方法原理示意图；

图2为本发明基于定位和视频监控数据的脱管检测方法的工作流程图；

图3为本发明网络模型的神经网络架构示意图；

图4为本发明基于定位和视频监控数据的脱管检测系统的结构框图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于定位和视频监控数据的脱管检测方法，如图2所示，该方法由两阶段算法组成，其中第一阶段算法是由基于定位数据的互监小组离群算法，该算法设定两阶阈值，第一阶阈值用于检测一人或两人是否发生脱管，第二阶阈值用于检测超出一阶阈值且位于白名单中的人员是否发生脱管。当第一阶段算法初步判断出有人在位置上脱管时，则触发第二阶段的改进yolov5目标检测算法，该算法结合了卷积块注意力机制和Seq-BboxMatching后处理方法，提高了yolov5的检测精确度，用于判断监控视频中是否存在监管者，为第一阶段算法提供补充，既满足了低计算量实时运行的要求，也能够通过二阶段算法保证检测的精确度。如图1所示，具体包括步骤如下：

步骤1：实时运行第一阶段的互监小组监管算法，通过定位数据检测互监小组内任何两人之间的相对距离，判断每个人的位置是否脱离了互监小组的活动范围；

步骤2：若各被监管人员的位置满足互监小组成员之间的距离要求，则返回步骤1；若某个或某两个被监管人员与互监小组内其他人员之间的距离超出预先设定的阈值，则认为疑似发生脱管行为，进入步骤3作进一步检测；

步骤3：当被监管人员发生位置异常，脱离互监小组的聚集范围时，将根据疑似脱管人员的位置信息确定周围的摄像头编号，调取实时监控视频，并调用第二阶段的目标检测算法；

步骤4：由第二阶段的目标检测算法来判定该监控视频中是否存在监管者。若疑似脱管者周边存在监管者，则不是脱管；若疑似脱管者周边不存在监管者，则判定为脱管。对于判定为脱管的行为，需要在服务器上发出声音和闪光警报，并返回对应的摄像头编号；

步骤5：监管人员可根据返回的摄像头信息查看摄像头，并作出相应的处理，然后返回步骤1。

将所有的被监管人员按照一定的规则划分为互监小组，每个小组包含五人。

为被监管人员佩戴物联终端，比如手环，通过在特定场景中部署多个定位基站，实时采集被监管人员的定位数据。在某些时间段，监管人员可能安排被监管人员去执行某项任务，被监管人员需要暂时离开所在的互监小组，此时需要将离组人员加入白名单中。

根据人员定位数据和分组情况，实时计算每个组内任意两人之间的间距。具体的疑似发生脱管行为分为以下六种情况：

(1)如果某人与组内其他人员之间的距离都大于设定好的一阶阈值，比如10米，且该人员不在该时段的白名单中，则初步判断该人员在当前位置上疑似发生脱管；

(2)如果某人与组内其他人员之间的距离都大于设定好的一阶阈值，且该人员在该时段的白名单中，但是以该人员位置为圆心，以二阶阈值(比如20米)为半径的圆域内不存在其他被监管人员，则初步判断该人员在当前位置上疑似发生脱管；

(3)五人小组中出现两人之间的距离小于一阶阈值，但是该二人与其他三人之间的距离均大于一阶阈值，且该二人都不在该时间段的白名单中，则初步判断该二人在相应位置上疑似发生脱管；

(4)五人小组出现两人之间的距离小于一阶阈值，并且该二人与其他三人之间的距离均大于一阶阈值，但是该二人都在该时间段的白名单中，以该二人的中间位置为圆心，以二阶阈值为半径的圆域内不存在其他被监管人员，则初步判断该二人在各自位置上疑似发生脱管；

(5)五人小组出现两人之间的距离小于一阶阈值，并且该二人与其他三人之间的距离均大于一阶阈值，但是只有一人在该时间段的白名单中，则初步判断未在当前时段白名单中者在当前位置上疑似发生脱管；

(6)五人小组出现两人之间的距离小于一阶阈值，并且该二人与其他三人之间的距离均大于一阶阈值，但是只有一人在该时间段的白名单中，以在白名单中者的位置为圆心，以二阶阈值为半径的圆域内除了与该人距离小于一阶阈值但不在白名单中的同组人员之外无其他被监管人员，则初步判断该人在当前位置上疑似发生脱管。

步骤1中，按照一定的频率采集所有被监管人员的位置信息，根据人员的定位数据和分组情况，实时计算每个互监小组内任意两人之间的间距。若互监小组内某人与其他任意四人之间的距离只与一人或两人大于一阶阈值的，则认为没有发生人员脱管行为，重复执行该步骤。如果某个被监管人员与组内其他四人之间中有三个甚至四个距离超出一阶阈值，且符合以上六种可能的脱管情况，则标记为疑似脱管人员，进入步骤2做进一步的核实。

由于第一阶段的互监小组监管算法是基于两阶阈值法和白名单制度来判定互监小组内的单人和双人脱管情况，所以计算量很小，推理速度快，可轻松支持上千人的规模同时检测，实时筛选出疑似脱管人员。

实施例2

根据实施例1所述的一种基于定位和视频监控数据的脱管检测方法，其区别在于：

提前获取特定场景中所有监控摄像头的编号、位置及其覆盖的范围，步骤2的具体实现过程包括：

根据步骤1判定的脱管人员的位置及方位信息，确定能够覆盖该脱管人员位置且距离最近的摄像头，获取该摄像头的监控视频流；将该摄像头的监控视频流输入训练好的网络模型中，基于改进yolov5的目标检测算法，实时判断该监控范围内是否存在监管人员，以核实是否真正发生脱管行为，如果在监控摄像头的覆盖范围内存在监管者，则不认为发生了脱管；如果在监控摄像头的覆盖范围内不存在监管者，则认为发生了脱管，在服务器上发出声音和闪光报警，并显示脱管人员的身份和位置信息，以及距离脱管人员最近的几个摄像头的编号，此时监管人员查看监控视频，并做出相应的处理。

基于改进yolov5的目标检测算法采用卷积块注意力机制和Seq-Bbox Matching后处理方法，对yolov5的检测结果进行处理，采用卷积块注意力机制和Seq-Bbox Matching后处理方法将原来基于静态图像的yolov5目标检测算法进行改进，使其在监控视频的目标检测中能有更好的效果，判断监控区域内是否存在监管者，从而得出最终的检测结果。

为了避免仅仅依靠定位数据可能存在的不足与精确度问题，第二阶段的目标检测算法采用了基于视频的改进yolov5目标检测算法，其中卷积块注意力能够增强特征图中的目标区域，使得特征分布更具有表现力，而seq-bbox matching则可以通过之前的预测框和后续的预测框进行相似度打分，补充未检出的检测框，从而提高了算法检测的精确度。通过改进后的yolov5算法来判定脱管位置附近监控视频中是否存在监管者，防止出现误判的情况，提高系统检测的准确率。只在发生了被监管人员位置异常才会调用视频检测算法，既保证了检测速度，又合理使用了计算资源，故有很好的实用性。第一阶段筛选出疑似脱管人员，确定能够覆盖疑似脱管人员位置的摄像头编号，将监控视频输入改进后的yolov5算法中，判断监控区域内是否存在监管者。因为监管者和被监管者身穿不同的制服，并且监管者可能佩戴一定的装备，因此可以采用监控视频判断是否存在监管者。算法会调用硬盘录像机中相应视频录像过去10秒的视频，假设帧率为30，若其中有150帧检测出了监管者，则认为该监管区域存在监管者，否则认为该区域不存在监管者。若存在监管者则认为没有发生脱管行为；若不存在监管者，则认为发生了脱管行为，系统需要发出声光警报，并显示脱管人员的身份和位置信息，及周围摄像头的编号。

本发明的算法在对疑似脱管人员进行步骤2的视频检测时，需同时进行步骤1中基于定位信息的人员相对位置计算，实时筛选疑似脱管人员。

网络模型的构建及训练过程如下：

A、构建网络模型：

如图3所示，该网络模型包括输入端input、骨干网络(backbone网络)、neck部分和输出端；

在输入端input，输入图像进行数据预处理，包括自适应锚框计算和自适应图片缩放等，在训练阶段采用Mosaic数据增强用于丰富数据集、提升网络训练速度和推理速度，除此之外，在原有数据增强基础上还添加了Mixup数据增强策略，用于从数据层面解决过拟合，提高网络的泛化能力。

在骨干网络，骨干网络包括一系列的CMBL和CSP1-X，通过一系列的CMBL操作和不同尺寸的CSP1-X操作反复对时空特征进行提取，通过SPP空间金字塔池化将特征图展开成neck部分所需要的特定大小的特征映射，以便neck部分进行多尺度特征融合；

CMBL包括卷积层(Conv)、卷积块注意力机制(CBAM)、批归一化层(BN)和LeakyRelu激活函数；在普通的卷积操作之后加入卷积块注意力机制从空间维和通道维同时对特征分布进行调整，使得网络能更好的提取特征；批归一化层的加入使得数据在中间层进行归一化，使得深层网络模型更加稳定，目前几乎成了所有卷积神经网络的标配技巧；由于relu激活函数在输入值为负的时候输出和一阶导数均为0，导致神经元不能更新参数，所以采用Leak Relu激活函数，在Relu的负半区间引入一个泄露(Leaky)值，效果比Relu函数好。

在神经网络优化的过程中许多梯度信息的重复导致了神经网络在推理过程中计算量过高的问题，CSP1-X将输入特征图分为两路，一路直接进行卷积操作(Conv)，另一路经过一系列CMBL、X个ResUnit、卷积操作，将两路的结果连接(concat)起来，截断提取信息；从而不会重复使用梯度信息，最终降低了计算量的同时增强了神经网络的学习能力。

ResUnit是一个经典的残差结构，通过跨层连接对特征信息进行补充，并解决训练过程中梯度爆炸和梯度消失的问题，不同的是本发明中将普通的卷积操作替换为CMBL操作。

SPP通过多尺度的最大池化，进行空间金字塔池化操作，可以忽略输入特征图的尺寸，并将输入特征图展开成neck部分所需要的特定大小的特征映射，并且在不同尺寸上对特征的进行提取的操作可以提高识别的精准度。

neck部分包括FPN特征金字塔和PAN路径聚合网络，FPN特征金字塔通过上采样提取不同尺度的特征图并进行特征融合，通过不同尺度的特征进行预测，能够在增加极小计算量的情况下处理好物体检测中的多尺度变化问题；PAN路径聚合网络在FPN特征金字塔的基础上，融合了自底向上和自顶向下两条路径的方式增强了网络特征的表征能力，用于送入最终的输出端；值得一提的是，在FPN和PAN中对特征的操作也使用了CBAM卷积块注意力，从通道维和空间维对特征图同时进行调整，在加强特征融合能力的基础上得到更好的特征表达。

在输出端，对检测出的很多重复框用NMS非极大值抑制来滤除，通过seqbbox-matching后处理方法通过过去预测出的框和当前的预测进行一个相似度打分，检测出一些原来检测不出的结果。对提升静态图像检测器在视频目标检测的应用上有很好的效果，能够提升检测的精确度。

B、构建数据集：获取摄像头的监控视频流，并对每帧视频图片进行标注，包括是否有监管者；

C、将构建的数据集输入至网络模型中进行训练，得到训练好的网络模型。

实施例3

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1或2基于定位和视频监控数据的脱管检测方法的步骤。

实施例4

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1或2基于定位和视频监控数据的脱管检测方法的步骤。

实施例5

一种基于定位和视频监控数据的脱管检测系统，用于运行实施例1或2所述的基于定位和视频监控数据的脱管检测方法，如图4所示，包括定位数据采集和处理单元、基于位置信息的疑似脱管初筛单元、监控视频处理和脱管检测单元、综合服务单元、前端交互单元、系统管理单元；

定位数据采集和处理单元用于：通过互联网或者接入点无线传输方式采集被监管人员的位置参数，并进行预处理；被监管人员的位置参数包括经度、纬度；预处理是指：如果所采集的位置参数存在噪声干扰，则采用数字滤波的方式，比如卡尔曼滤波去除噪音，如果所采集的位置参数发生了部分数据点丢失或者超出正常数值范围的现象，则采用线性拟合的方式插补缺失值或者修正异常点。在预处理过程中，记录异常数据出现的次数，在一定时间内出现较多的异常信息，则需要及时告警。基于位置信息的疑似脱管初筛单元用于：实时采集被监管人员的位置信息，计算被监管人员与互监小组内其他成员的距离，采用一阶阈值和基于白名单的二阶阈值判断疑似发生脱管的人员；监控视频处理和脱管检测单元用于：基于第一阶段筛选出的疑似发生脱管的人员的位置信息，调用能够覆盖疑似脱管位置且距离最近的摄像头监控视频流，并对监控视频进行分帧处理，实时研判监控范围内是否存在监管者，判断是否发生人员脱管行为；综合服务单元用于：收集定位数据采集和处理单元、基于位置信息的疑似脱管初筛单元和监控视频处理和脱管检测单元中的过程性和结果性数据，是数据库存放的位置，并为前端交互单元和系统管理单元提供服务；前端交互单元用于：直观显示被监管人员的位置信息，同时显示发生脱管的人员信息，并采用声音和闪光灯的方式报警，监管人员通过点击相应脱管人员的信息，直接调取附近的监控视频进行查看；系统管理单元：构建一个管理页面，包括注册和登陆功能，提供安全认证和身份鉴权机制；用于管理人员配置系统参数，包括互监小组成员之间的距离阈值；用于管理人员录入白名单，即因为某种原因在某个时段在某个位置上可脱离互监小组的被监管人员；用于构建并管理被监管人员的位置参数数据库。对发生脱管的人员进行搜索归类、打印报表等。

以一个5人互监小组为例，定位数据采集和处理单元实时采集数据并将数据存入综合服务单元，并传给基于位置信息的疑似脱管初筛单元，基于位置信息的疑似脱管初筛单元根据定位数据计算相互之间的距离，假设同时出现两人之间距离小于一阶阈值(假设为10米)，而与其他三人的距离均大于10米，则此时需要查看该两人是否在白名单当中，若都不在，则初步认为两人同时在位置上疑似发生脱管；在本案例中假设两人中只有一人A在白名单中，而另外一人B不在白名单中，此时则首先可以初步判断B在位置上疑似发生脱管，需要调用附近的监控进行视频检测与分析；对于A，则需要查看以他自身位置为圆心，周围以二阶阈值(假设为20米)为直径的圆域内，是否存在除B以外其他组的被监管人员，假设存在，则不认为A在位置上疑似发生脱管，在本案例中假设其周围不存在除B以外的其他组的被监管人员，则初步判定A在位置上疑似发生脱管；此时A和B同时在位置上疑似发生脱管，此时需要将位置脱管人员A和B的编号以及他们的定位数据发送给综合服务单元，由综合服务单元根据定位数据分别返回每个人员附近的摄像头编号和流地址，并将流地址发送给监控视频处理和脱管检测单元，监控视频处理和脱管检测单元对该视频流地址调用改进的yolov5视频目标检测算法进行实时的检测与分析：

视频分帧传入时，在网络模型的输入端进行数据预处理，包括自适应锚框计算和自适应图片缩放等操作，比如，使输入端数据成为608*608*3的数据维度，并输入骨干网络即CSPDarknet53中；骨干网络(backbone网络)通过focus操作将切片为304*304*32的输入，经过128个大小为3*3步长为2的卷积核得到分辨率152*152*128的特征图，经过CSP1-1之后用256个上述尺寸的卷积核得到76*76*256的特征图；然后经过CSP1-3之后，该输出接入FPN特征金字塔的多尺度特征融合，并且经过512个上述卷积核，得到38*38*512的特征图；经过CSP1-3之后的输入特征也接入FPN特征金字塔，同时再通过1024个卷积核，获得19*19*1024的特征图；该特征输入SPP空间金字塔池化后，送入FPN特征金字塔的最后一个分支中；在neck部分中对FPN特征金字塔和PAN路径聚合网络多尺度输出的特征图分别加入卷积块注意力来调整特征分布，使提取出的各尺度特征都更具有表现力，最终送到输出端；在输出端，在原有非极大值抑制NMS的基础上加入了seqbbox-matching方法，用之前的预测框和后续的预测结果进行相似度打分，可以减少漏检的情况，提高检测的精确度。

由改进后的视频目标检测算法yolov5调取硬盘录像机中过去10秒的数据，假设每秒帧率为30，若其中有150帧检测出有监管者，则认为该监控区域存在监管者，否则认为该监控区域不存在监管者。若监控视频处理单元调用算法后发现相应的监控区域内并未出现监管者，则认为该人员确实出现了脱管，并将人员编号、位置等相关信息发送到前端交互单元进行报警，防止脱管人员做出极端性、破坏性行为，造成更加严重的后果。

Claims (9)

1.一种基于定位和视频监控数据的脱管检测方法，其特征在于，包括步骤如下：

步骤1：基于定位数据的互监小组离群算法判定是否疑似发生脱管；设定第一阶阈值和第二阶阈值，步骤包括：

A、通过第一阶阈值检测一人或多人是否疑似发生脱管，当通过第一阶阈值判定一人或多人疑似发生脱管时，进入步骤B，否则返回步骤1；

B、通过第二阶阈值检测步骤A判定疑似发生脱管且位于白名单中被监管人员的人员是否疑似发生脱管，如果判定疑似发生脱管，进入步骤2；否则，返回步骤1；

步骤2：基于改进yolov5的目标检测算法，判断监控视频中是否存在监管者，如果存在监管者，则不存在脱管行为，否则存在脱管行为。

2.根据权利要求1所述的一种基于定位和视频监控数据的脱管检测方法，其特征在于，步骤1中，将所有的被监管人员划分为n个互监小组，每个互监小组包括m人；基于合理理由暂时离开所在的互监小组的被监管人员实时计入白名单中；设定第一阈值为T1，第二阈值为T2；当出现以下情况之一时，判定疑似发生脱管，具体包括：

(1)如果某个被监管人员与互监小组内其他任一被监管人员之间的距离都大于设定好的第一阈值，且该被监管人员不在该时段的白名单中，则初步判断该被监管人员在当前位置上疑似发生脱管；

(2)如果某个被监管人员与互监小组内其他任一被监管人员之间的距离都大于设定好的第一阈值，且该被监管人员在该时段的白名单中，且以该被监管人员位置为圆心、以第二阶阈值为半径的圆域内不存在其他任一被监管人员，则初步判断该人员在当前位置上疑似发生脱管；

(3)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且该a个被监管人员都不在该时间段的白名单中，则初步判断该a个被监管人员在相应位置上疑似发生脱管；

(4)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且该a个被监管人员都在该时间段的白名单中，且以该a个被监管人员的中间位置为圆心、以第二阶阈值为半径的圆域内不存在其他任一被监管人员，则初步判断该a个被监管人员在相应位置上疑似发生脱管；

(5)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且a个被监管人员中若干个被监管人员在该时间段的白名单中，则初步判断未在当前时间段白名单中的被监管人员在当前位置上疑似发生脱管；

(6)互监小组中出现a个被监管人员之间的距离均小于第一阈值，且这a个被监管人员与剩余的m-a个被监管人员之间的距离均大于第一阈值，且a个被监管人员中若干个被监管人员在该时间段的白名单中，且以该若干个被监管人员的中间位置为圆心、以第二阶阈值为半径的圆域内，除了与若干个被监管人员距离小于第一阈值但不在白名单中的同组人员之外无其他被监管人员，则初步判断若干个被监管人员在当前位置上疑似发生脱管。

3.根据权利要求2所述的一种基于定位和视频监控数据的脱管检测方法，其特征在于，T1为10米，T2为20米。

4.根据权利要求2所述的一种基于定位和视频监控数据的脱管检测方法，其特征在于，通过被监管人员佩戴物联终端，在特定场景安装多定位基站，实时采集被监管人员的定位数据。

5.根据权利要求1所述的一种基于定位和视频监控数据的脱管检测方法，其特征在于，提前获取特定场景中所有监控摄像头的编号、位置及其覆盖的范围，步骤2的具体实现过程包括：

根据步骤1判定的疑似脱管人员的位置及方位信息，确定能够覆盖该脱管人员位置且距离最近的摄像头，获取该摄像头的监控视频流；将该摄像头的监控视频流输入训练好的网络模型中，基于改进yolov5的目标检测算法，实时判断该监控范围内是否存在监管人员，以核实是否真正发生脱管行为，如果在监控摄像头的覆盖范围内存在监管者，则不认为发生了脱管；如果在监控摄像头的覆盖范围内不存在监管者，则认为发生了脱管，发出声音和闪光报警，并显示脱管人员的身份和位置信息，以及距离脱管人员最近的几个摄像头的编号，此时监管人员查看监控视频，并做出相应的处理。

6.根据权利要求5所述的一种基于定位和视频监控数据的脱管检测方法，其特征在于，网络模型的构建及训练过程如下：

A、构建网络模型：

该网络模型包括输入端input、骨干网络、neck部分和输出端；

骨干网络包括若干CMBL和CSP1-X，通过一系列的CMBL操作和不同尺寸的CSP1-X操作反复对时空特征进行提取，通过SPP空间金字塔池化将特征图展开成neck部分所需要的特定大小的特征映射，以便neck部分进行多尺度特征融合；

CMBL包括卷积层、卷积块注意力机制、批归一化层和Leaky Relu激活函数；

CSP1-X将输入特征图分为两路，一路直接进行卷积操作，另一路经过一系列CMBL、X个ResUnit、卷积操作，将两路的结果连接起来，截断提取信息；

neck部分包括FPN特征金字塔和PAN路径聚合网络，FPN特征金字塔通过上采样提取不同尺度的特征图并进行特征融合，通过不同尺度的特征进行预测；PAN路径聚合网络在FPN特征金字塔的基础上，融合了自底向上和自顶向下两条路径的方式增强了网络特征的表征能力，用于送入最终的输出端；

输出端对检测出的很多重复框用NMS非极大值抑制来滤除，通过seqbbox-matching后处理方法通过过去预测出的框和当前的预测进行一个相似度打分，检测出一些原来检测不出的结果；

B、构建数据集：获取摄像头的监控视频流，并对每帧视频图片进行标注，包括是否有监管者；

C、将构建的数据集输入至网络模型中进行训练，得到训练好的网络模型。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一所述的基于定位和视频监控数据的脱管检测方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一所述的基于定位和视频监控数据的脱管检测方法的步骤。

9.一种基于定位和视频监控数据的脱管检测系统，其特征在于，包括定位数据采集和处理单元、基于位置信息的疑似脱管初筛单元、监控视频处理和脱管检测单元、综合服务单元、前端交互单元、系统管理单元；

所述定位数据采集和处理单元用于：通过互联网或者接入点无线传输方式采集被监管人员的位置参数，并进行预处理；

所述基于位置信息的疑似脱管初筛单元用于：实时采集被监管人员的位置信息，计算被监管人员与互监小组内其他成员的距离，采用一阶阈值和基于白名单的二阶阈值判断疑似发生脱管的人员；

所述监控视频处理和脱管检测单元用于：基于第一阶段筛选出的疑似发生脱管的人员的位置信息，调用能够覆盖疑似脱管位置且距离最近的摄像头监控视频流，并对监控视频进行分帧处理，实时研判监控范围内是否存在监管者，判断是否发生人员脱管行为；

所述综合服务单元用于：收集定位数据采集和处理单元、基于位置信息的疑似脱管初筛单元和监控视频处理和脱管检测单元中的过程性和结果性数据，是数据库存放的位置，并为前端交互单元和系统管理单元提供服务；

所述前端交互单元用于：直观显示被监管人员的位置信息，同时显示发生脱管的人员信息，并采用声音和闪光灯的方式报警，监管人员通过点击相应脱管人员的信息，直接调取附近的监控视频进行查看；

所述系统管理单元：包括注册和登陆功能，提供安全认证和身份鉴权机制；用于管理人员配置系统参数，包括互监小组成员之间的距离阈值；用于管理人员录入白名单，即因为某种原因在某个时段在某个位置上可脱离互监小组的被监管人员；用于构建并管理被监管人员的位置参数数据库。

Images