CN111797802B - 一种基于ai视觉的扶梯不安全行为实时预警方法 - Google Patents

Abstract

本发明提供了安全监控技术领域的一种基于AI视觉的扶梯不安全行为实时预警方法，包括：步骤S10、获取不安全行为的原始图像集；步骤S20、利用生成式对抗网络对原始图像集进行扩充，生成扩充图像集；步骤S30、标注出图像集的不安全行为的类别、位置，生成标注图像集；步骤S40、创建目标检测模型，利用标注图像集对目标检测模型进行训练；步骤S50、获取实时监控视频解码后输入目标检测模型进行检测，找到跟踪目标；步骤S60、利用核相关滤波算法对跟踪目标进行验证，生成跟踪目标轨迹；步骤S70、基于跟踪目标轨迹与实时监控视频生成预警视频进行预警。本发明的优点在于：实现对扶梯不安全行为进行自动识别并预警，进而极大的减少了扶梯安全事故。

Description

一种基于AI视觉的扶梯不安全行为实时预警方法

技术领域

本发明涉及安全监控技术领域，特别指一种基于AI视觉的扶梯不安全行为实时预警方法。

背景技术

自动扶梯是公共场所运送乘客最典型的设备之一，广泛应用于人流量密集的地铁、机场以及商场等公共场所。近年在城镇化、老龄化的推动下，在国家规范对建筑项目配备要求下，扶梯行业将迎来一片市场蓝海。但随着自动扶梯的广泛使用，由于使用人员复杂、安全意识薄弱，单个老人或小孩在自动扶梯上摔倒、头部探出扶手带、扶梯上逆行、将物品放在扶手带上从而发生物品掉落砸人等安全事故层出不穷，造成大量的人员伤亡和经济纠纷案件，因此加强公共场所的扶梯安全管理迫在眉睫。

然而，传统的视频监控系统仅提供视频的获取、存储和回放等简单的功能，无法对扶梯不安全行为起到预警和报警的作用。若要实时监控扶梯不安全行为并及时采取有效措施，需要监控人员时刻监看视频，然而监控人员容易疲惫，尤其面对多路监控视频时，往往目不暇接，很难及时对异常情况做出反应。

因此，如何提供一种基于AI视觉的扶梯不安全行为实时预警方法，实现对扶梯不安全行为进行自动识别并预警，进而减少扶梯安全事故，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于AI视觉的扶梯不安全行为实时预警方法，实现对扶梯不安全行为进行自动识别并预警，进而减少扶梯安全事故。

本发明是这样实现的：一种基于AI视觉的扶梯不安全行为实时预警方法，包括如下步骤：

步骤S10、获取扶梯不安全行为的原始图像集；

步骤S20、利用自注意力生成式对抗网络对所述原始图像集进行扩充，生成扩充图像集；

步骤S30、标注出所述原始图像集以及扩充图像集的不安全行为的类别以及位置，生成标注图像集；

步骤S40、创建一目标检测模型，利用所述标注图像集对目标检测模型进行训练；

步骤S50、获取实时监控视频成图像帧后输入训练后的所述目标检测模型进行检测，找到存在扶梯不安全行为的跟踪目标，生成目标框并判断不安全行为类别；

步骤S60、利用核相关滤波算法对所述跟踪目标进行验证后，生成跟踪目标轨迹；

步骤S70、基于所述跟踪目标轨迹与实时监控视频生成预警视频，播放所述预警视频进行实时预警。

进一步地，所述步骤S10中，所述原始图像集的类别至少包括跌倒、逆行、越界、将物品放在扶手带上以及携带宠物不规范。

进一步地，所述步骤S20具体为：

将所述原始图像集中的各类图像分别输入自注意力生成式对抗网络，分别生成特征一致的高分辨率图像集，即扩充图像集。

进一步地，所述步骤S30具体为：

对所述原始图像集以及扩充图像集进行图像信息增强的预处理后，利用标注工具标注出所述原始图像集以及扩充图像集的不安全行为的类别以及位置，生成标注图像集。

进一步地，所述步骤S40具体包括：

步骤S41、创建一目标检测模型、一平均检漏率阈值、一准确率阈值以及一每秒检测帧数阈值区间；所述目标检测模型为YOLOv4；

步骤S42、将所述标注图像集拆分为训练集与测试集，将所述训练集输入目标检测模型进行训练，判断平均检漏率是否小于平均检漏率阈值，准确率是否大于准确率阈值，每秒检测帧数是否处于每秒检测帧数阈值区间，若是，则进入步骤S43；若否，则结束流程；

步骤S43、将所述测试集输入目标检测模型进行验证，判断不安全行为的类别以及位置是否检测正确，若是，则进入步骤S50；若否，则进入步骤S42。

进一步地，所述步骤S50具体为：

利用FFmpeg从监控摄像头获取实时监控视频，并输入Nginx服务器，利用Nginx服务器对获取的实时监控视频进行解码后，输入训练后的所述目标检测模型进行检测，找到存在扶梯不安全行为的跟踪目标，生成目标框并判断不安全行为类别。

进一步地，所述步骤S60具体包括：

步骤S61、设定一重叠率阈值；

步骤S62、利用核相关滤波算法，找到所述实时监控视频中存在扶梯不安全行为的第二跟踪目标；

步骤S63、判断所述跟踪目标与第二跟踪目标的重叠率是否大于重叠率阈值，若是，则验证通过，生成跟踪目标轨迹，将所述跟踪目标轨迹存储至数据库，并进入步骤S70；若否，则验证不通过，进入步骤S40。

本发明的优点在于：

1、通过获取扶梯不安全行为的原始图像集，并利用生成对抗网络对所述原始图像集进行扩充以及标注后输入创建的目标检测模型进行训练，利用训练过的目标检测模型对实时监控视频进行检测，找到存在扶梯不安全行为的跟踪目标，利用核相关滤波算法对所述跟踪目标进行验证后，生成跟踪目标轨迹，并将所述跟踪目标轨迹叠加显示于实时监控视频上进行实时预警，实现对扶梯不安全行为进行自动识别并预警，且鲁棒性强、时延少、适用范围广，极大的减少了扶梯安全事故，极大的减少了监控人员的工作量。

2、通过核相关滤波算法对所述跟踪目标进行匹配验证，极大的提升了扶梯不安全行为识别的精度。

3、通过FFmpeg和Nginx服务器获取实时监控视频，几乎囊括了现存的视音频编码标准，解决了传统上实时监控视频获取延时高以及网段限制的问题。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种基于AI视觉的扶梯不安全行为实时预警方法的流程图。

图2是生成式对抗网络示意图。

图3是YOLOv4模型与其他主流模型的比较图。

图4是扶梯不安全行为检测系统流程图。

图5是跟踪模块流程图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：通过获取扶梯不安全行为的原始图像集，并对所述原始图像集进行扩充以及标注后输入创建的目标检测模型进行训练，利用训练过的目标检测模型对实时监控视频进行检测，找到存在扶梯不安全行为的跟踪目标，利用核相关滤波算法对所述跟踪目标进行验证后，生成跟踪目标轨迹，并将所述跟踪目标轨迹叠加显示于实时监控视频上，实现对扶梯不安全行为进行自动识别并预警，进而减少扶梯安全事故。

请参照图1至图5所示，本发明一种基于AI视觉的扶梯不安全行为实时预警方法的较佳实施例，包括如下步骤：

步骤S10、获取大量扶梯不安全行为的五类原始图像集；

步骤S20、利用自注意力生成式对抗网络(SAGAN，Self-Attention GenerativeAdversarial Networks)对所述原始图像集进行扩充，生成扩充图像集；

步骤S30、标注出所述原始图像集以及扩充图像集的不安全行为的类别以及位置，生成标注图像集；

步骤S40、创建一目标检测模型，利用所述标注图像集对目标检测模型进行训练和优化，以提高所述目标检测模型的泛化能力；

步骤S50、获取实时监控视频成图像帧后输入训练后的所述目标检测模型进行检测，找到存在扶梯不安全行为的跟踪目标，生成目标框并判断不安全行为类别；

步骤S60、利用核相关滤波算法对所述跟踪目标进行验证后，生成跟踪目标轨迹；即利用核相关滤波算法对所述跟踪目标进行匹配纠正，防止重复预警；

步骤S70、基于所述跟踪目标轨迹与实时监控视频生成预警视频，即将所述跟踪目标轨迹叠加于实时监控视频上，播放所述预警视频进行实时预警。当检测到不安全行为时，可通过监控软件进行发声示警。

可将所述预警方法编译为一套通用视频图像分析的预警软件包，具有与现有监视软件良好的兼容性和可调用性。

所述步骤S10中，所述原始图像集的类别至少包括跌倒、逆行、越界、将物品放在扶手带上以及携带宠物不规范(没有抱着)。

所述步骤S20具体为：

将所述原始图像集中的各类图像分别输入自注意力生成式对抗网络，分别生成特征一致的高分辨率图像集，即扩充图像集，将所述原始图像集扩大到原来的2～3倍。

原始图像集的规模是深度学习模型精度的基石，数据量越大，可以带来更高的检测准确度。本发明采用自注意力生成式对抗网络模型来扩大不安全行为的原始图像集，该模型将频谱归一化应用于生成式对抗网络(GAN，Generative Adversarial Networks)模型的生成器和判别器中，可以生成特征一致的高分辨率图像。

如图2所示，生成式对抗网络由生成器网络和对抗器网络组成，生成器网络(generator network)以一个随机向量(潜在空间中的一个随机点)作为输入，并将其解码为一张合成图像；判别器网络(discriminator network)以训练集的一张图像(真实的或合成的图像)作为输入，并预测该图像是来自训练集还是由生成器网络创建。训练生成器网络的目的是使其能够欺骗判别器网络，因此随着训练的进行，它能够逐渐生成越来越逼真的图像，即看起来与真实图像无法区分的人造图像，以至于判别器网络无法区分二者。与此同时，判别器网络也在不断适应生成器网络逐渐提高的能力，为生成图像的真实性设置了很高的标准。训练完毕后，生成器网络就能够将其输入空间中的任何点转换为一张可信图像。

使用采集到的原始图像集训练SAGAN网络的判别器网络，然后开始判别器网络和生成器网络的博弈，最终生成背景、风格略有不同的不安全行为图像。

所述步骤S30具体为：

对所述原始图像集以及扩充图像集进行图像信息增强的预处理后，利用标注工具LabelImg标注出所述原始图像集以及扩充图像集的不安全行为的类别以及位置，生成标注图像集。图像信息增强可采用线性灰度增强法。

所述步骤S40具体包括：

步骤S41、创建一目标检测模型、一平均检漏率阈值、一准确率阈值以及一每秒检测帧数阈值区间；所述目标检测模型为YOLOv4；所述平均检漏率阈值优选为10％，所述准确率阈值优选为90％，所述每秒检测帧数阈值区间优选为5帧至10帧；

如图3所示，YOLOv4模型在大致相同的AP表现下，目标检测速度比EfficientDet快2倍。相比之前的YOLOv3模型，AP和FPS分别提升了10％和12％。

步骤S42、将所述标注图像集拆分为训练集与测试集，将所述训练集输入目标检测模型进行训练，判断平均检漏率是否小于平均检漏率阈值，准确率是否大于准确率阈值，每秒检测帧数是否处于每秒检测帧数阈值区间，若是，则进入步骤S43；若否，则结束流程；所述训练集与测试集的拆分比例优选为8：2；平均漏检率与准确率的公式如下：

其中TP指实际为正例且被分类器划分为正例的实例数；FP指实际为负例但被分类器划分为正例的实例数；FN指实际为正例但被分类器划分为负例的实例数；TN指实际为负例且被分类器划分为负例的实例数。

步骤S43、将所述测试集输入目标检测模型进行验证，判断不安全行为的类别以及位置是否检测正确，若是，则进入步骤S50；若否，则进入步骤S42。

可利用疏化处理算法对所述目标检测模型进行轻量化处理，在不影响精度的情况下，减少模型的计算量。采用基于体对称性和局部化的直接非参数深度特征增强方法，将YOLOv4的三个不同尺度预测模块分别嵌入非参数的对称平均池和局部归一化层以提高不安全行为的识别能力。

所述步骤S50具体为：

如图4所示，利用FFmpeg从监控摄像头获取实时监控视频，并输入Nginx服务器，利用Nginx服务器对获取的实时监控视频进行解码后，输入训练后的所述目标检测模型进行检测，找到存在扶梯不安全行为的跟踪目标，生成目标框并判断不安全行为类别。Nginx服务器可有效解决检测系统与监控摄像头存在的网段不同的问题。

即利用音视频流解决方案FFmpeg的nginx-rtmp-module模块，从监控摄像头推出实时监控视频。推出的实时监控视频传入Nginx服务器，再使用FFmpeg将实时监控视频拆成图像帧。考虑到系统的性能，将图像的格式设置为jpeg格式，每秒的帧数设置为10，再将每秒10帧的实时监控图像送入所述目标检测模型，进行不安全行为的检测。

所述步骤S60具体包括：

步骤S61、设定一重叠率阈值；

步骤S62、利用基于核相关滤波算法的自适应颜色属性的目标跟踪算法，找到所述实时监控视频中存在扶梯不安全行为的第二跟踪目标；

步骤S63、如图5所示，判断所述跟踪目标与第二跟踪目标的目标框的重叠率是否大于重叠率阈值，若是，则验证通过，生成跟踪目标轨迹，将所述跟踪目标轨迹存储至MySQL数据库，并进入步骤S70；若否，则验证不通过，进入步骤S40。将所述跟踪目标轨迹存储至数据库中，便于后期核对。

综上所述，本发明的优点在于：

1、通过获取扶梯不安全行为的原始图像集，并利用生成对抗网络对所述原始图像集进行扩充以及标注后输入创建的目标检测模型进行训练，利用训练过的目标检测模型对实时监控视频进行检测，找到存在扶梯不安全行为的跟踪目标，利用核相关滤波算法对所述跟踪目标进行验证后，生成跟踪目标轨迹，并将所述跟踪目标轨迹叠加显示于实时监控视频上进行实时预警，实现对扶梯不安全行为进行自动识别并预警，且鲁棒性强、时延少、适用范围广，极大的减少了扶梯安全事故，极大的减少了监控人员的工作量。

2、通过核相关滤波算法对所述跟踪目标进行匹配验证，极大的提升了扶梯不安全行为识别的精度。

3、通过FFmpeg和Nginx服务器获取实时监控视频，几乎囊括了现存的视音频编码标准，解决了传统上实时监控视频获取延时高以及网段限制的问题。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种基于AI视觉的扶梯不安全行为实时预警方法，其特征在于：包括如下步骤：

步骤S10、获取扶梯不安全行为的原始图像集；

步骤S20、利用自注意力生成式对抗网络对所述原始图像集进行扩充，生成扩充图像集；

步骤S30、标注出所述原始图像集以及扩充图像集的不安全行为的类别以及位置，生成标注图像集；

步骤S40、创建一目标检测模型，利用所述标注图像集对目标检测模型进行训练；

步骤S50、获取实时监控视频成图像帧后输入训练后的所述目标检测模型进行检测，找到存在扶梯不安全行为的跟踪目标，生成目标框并判断不安全行为类别；

步骤S60、利用核相关滤波算法对所述跟踪目标进行验证后，生成跟踪目标轨迹；

步骤S70、基于所述跟踪目标轨迹与实时监控视频生成预警视频，播放所述预警视频进行实时预警；

所述步骤S40具体包括：

步骤S41、创建一目标检测模型、一平均检漏率阈值、一准确率阈值以及一每秒检测帧数阈值区间；所述目标检测模型为YOLOv4；

步骤S42、将所述标注图像集拆分为训练集与测试集，将所述训练集输入目标检测模型进行训练，判断平均检漏率是否小于平均检漏率阈值，准确率是否大于准确率阈值，每秒检测帧数是否处于每秒检测帧数阈值区间，若是，则进入步骤S43；若否，则结束流程；

步骤S43、将所述测试集输入目标检测模型进行验证，判断不安全行为的类别以及位置是否检测正确，若是，则进入步骤S50；若否，则进入步骤S42；

所述步骤S60具体包括：

步骤S61、设定一重叠率阈值；

步骤S62、利用核相关滤波算法，找到所述实时监控视频中存在扶梯不安全行为的第二跟踪目标；

步骤S63、判断所述跟踪目标与第二跟踪目标的重叠率是否大于重叠率阈值，若是，则验证通过，生成跟踪目标轨迹，将所述跟踪目标轨迹存储至数据库，并进入步骤S70；若否，则验证不通过，进入步骤S40。

2.如权利要求1所述的一种基于AI视觉的扶梯不安全行为实时预警方法，其特征在于：所述步骤S10中，所述原始图像集的类别至少包括跌倒、逆行、越界、将物品放在扶手带上以及携带宠物不规范。

3.如权利要求1所述的一种基于AI视觉的扶梯不安全行为实时预警方法，其特征在于：所述步骤S20具体为：

将所述原始图像集中的各类图像分别输入自注意力生成式对抗网络，分别生成特征一致的高分辨率图像集，即扩充图像集。

4.如权利要求1所述的一种基于AI视觉的扶梯不安全行为实时预警方法，其特征在于：所述步骤S30具体为：

对所述原始图像集以及扩充图像集进行图像信息增强的预处理后，利用标注工具标注出所述原始图像集以及扩充图像集的不安全行为的类别以及位置，生成标注图像集。

5.如权利要求1所述的一种基于AI视觉的扶梯不安全行为实时预警方法，其特征在于：所述步骤S50具体为：

利用FFmpeg从监控摄像头获取实时监控视频，并输入Nginx服务器，利用Nginx服务器对获取的实时监控视频进行解码后，输入训练后的所述目标检测模型进行检测，找到存在扶梯不安全行为的跟踪目标，生成目标框并判断不安全行为类别。

Images