CN108298393A

CN108298393A - 基于深度网络过滤电梯困人误报的方法

Info

Publication number: CN108298393A
Application number: CN201711381315.5A
Authority: CN
Inventors: 王超; 施行; 朱鲲; 吴磊磊; 蔡巍伟; 靳旭哲; 裘涞; 胡灏
Original assignee: Zhejiang New Zailing Technology Co Ltd
Current assignee: Zhejiang New Zailing Technology Co Ltd
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2018-07-20

Abstract

本发明所要解决的技术问题是提供一种基于深度网络过滤电梯困人误报的方法，包括：采集电梯门处的信息；分析电梯门的状态；检测电梯轿厢内是否有人；判断是否属于疑似报警情况；记录疑似报警时间点前后各一定时间的视频；判断是否存在真正的电梯困人状态。本发明根据电梯轿厢的常规运行状态和作业情况，将电梯轿厢内有人的情况分为真实困人、保洁打扫和换广告牌，然后对C3D网络进行训练学习，从而获得准确的电梯困人的判断结。

Description

基于深度网络过滤电梯困人误报的方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及利用计算机视觉分析判断电梯困人的方法。

背景技术

电梯困人是最常见的电梯安全事故，如果处理得当，则可以及时解决问题且不会产生不良影响，如果处理不当，则有可能造成次生事故甚至引发更大的安全问题，因此，一旦发生电梯困人的情况，需要及时作出反应和处理。

现有技术中的电梯检测困人报警主要是利用声音进行判断，例如，中国专利申请201610566921.3公开了一种电梯故障困人报警系统及方法，通过将产生的当前环境信息与预存的基准环境信息进行比较，其中基准环境信息包括反映求救声音强度的强度信息及反映电梯轿厢内困人的情况发生的事件信息。但是，利用声音信息进行电梯（直梯）困人报警可能存在一些问题，例如，困人事件很多时候乘客比较平静，也不会发出喊叫的声音；利用预存的基准信息，不同的电梯环境不一样，不可能用同一个基准信息来衡量，如果利用同一基准信息，必然会产生较多的误报和漏报。

从技术的发展来说，目前利用视频分析手段，可以较好的检测到电梯的开关门状态，同时结合PIR传感器，可以较大地提升困人报警的准确率。但是实际产品中仍然会产生许多误报，例如：保洁人员在电梯轿厢里面长时间打扫电梯，由于门状态是关门状态，而且PIR传感器也可以检测到人，所以会产生误报；或者，工作人员在换电梯广告牌，同样由于门状态是关门状态，PIR传感器可以检测到人，所以产生误报。

发明内容

本发明所要解决的技术问题是提供一种基于深度网络过滤电梯困人误报的方法，能够克服背景技术中的问题，降低误报率同时确保困人误报的准确性。

本发明解决技术问题所采用的技术方案是：

基于深度网络过滤电梯困人误报的方法，包括以下步骤：

（1）视频采集单元采集电梯门处的信息；

（2）视频分析模块根据所采集的信息分析电梯门的状态；

（3）人体检测模块检测电梯轿厢内是否有人；

（4）在有人存在的情况下，判断是否属于疑似报警情况，此时的判断标准是，电梯内关门的状态是否持续一段时间并且在持续的这段时间内电梯停止运行；

（5）如果存在疑似报警情况，则记录疑似报警时间点前后各一定时间的视频；

（6）利用训练好的C3D网络对疑似报警的视频进行识别，判断是否存在真正的电梯困人情况。

进一步地，该方法还包括利用标定视频训练C3D网络的过程，具体步骤如下：

（A1）采集电梯轿厢内有人的情况作为训练样本；

（A2）将训练样本按照真正困人、保洁清扫和换广告牌进行分类并添加标识；

（A3）利用C3D网络进行识别学习；

（A4）对学习后的C3D网络进行验证。

进一步地，视频采集单元包括监控摄像机、工业摄像机，其拍摄位置正对着电梯门。

进一步地，视频分析模块选自CPU、ARM、DSP、GPU、FPGA、ASIC等通用处理设备中的一种或多种，视频分析模块的分析结果是电梯门的开启和关闭状态，包括开门、关门、开门中和关门中。

进一步地，人体检测模块是PIR检测器。

本发明的有益效果是：本发明根据电梯轿厢的常规运行状态和作业情况，将电梯轿厢内有人的情况分为真实困人、保洁打扫和换广告牌，然后对C3D网络进行训练学习，使其具备能够识别和区分这三种情况的功能，在通过视频采集结合PIR检测，在获取到电梯内有人的情况下，判断是否存在困人的可能性，然后进一步通过C3D网络对可能存在困人的视频进行识别，从而获得准确的电梯困人的判断结果，防止电梯困人的误报造成乘梯人的困扰和资源的浪费。

附图说明

图1是本发明的整体流程图。

图2是C3D的网络模型图。

图3是C3D训练完毕后的最终输出图。

图4是C3D训练的视频截图。

具体实施方式

以下结合附图对本发明的具体实施方案做进一步详细说明，应当指出的是，实施例只是对本发明的技术方案的具体阐述，并不是对本发明的限制。

参照附图1，本发明提供一种基于深度网络过滤电梯困人误报的方法，包括以下步骤：

（1）视频采集单元采集电梯门处的信息；

（2）视频分析模块根据所采集的信息分析电梯门的状态；

（3）人体检测模块检测电梯轿厢内是否有人；

（6）利用训练好的C3D网络对疑似报警的视频进行识别，判断是否存在真正的

C3D网络的训练过程，具体步骤如下：

（A1）采集电梯轿厢内有人的情况作为训练样本；

（A3）利用C3D网络进行识别学习；

（A4）对学习后的C3D网络进行验证。

C3D训练及测试方法举例如下：

1、样本选取。

C3D输入为16*240*320图像数据，其中240为图像高度，320为图像宽度，时间上连续的16帧图像。所以不论是训练样本还是测试样本，输入都是16*240*320图像数据。

2、C3D训练过程。

训练一共是6万个样本，也就是6万个（16*240*320）图像数据，每一个图像数据进行标签设定，即设置为0（真实困人与忘记按电梯按钮），设置为1（保洁清扫），设置为2（换广告牌），因为C3D作者已经在sport1m上预训练一个网络（conv3d_deepnetA_sport1m_iter_1900000），所以只需要在预训练网络的finetune即可形成新的网络。具体来说修改prototxt文件中fc8层中的num_output数值为4。所以训练样本按照标签比例1:1:1进行收集，也就是标签为0（真实困人与忘记按电梯按钮）为2万个，标签为1（保洁清扫）为2万个，标签为2（换广告牌）为2万个。

然后利用样本进行finetune，其中batch大小选择30，也就是一次迭代选用30个样本，最终通过2000次迭代，6万个训练样本训练完毕。训练完毕后最终 SOFTMAX_LOSS层输出loss = 0.0083(图3所示)。

3、C3D测试过程。

测试过程与训练过程类似，输入是（16*240*320）的图像数据，测试样本数为4万个，同样每个测试样本都是有其标签0（真实困人与忘记按电梯按钮），1（保洁清扫），2（换广告牌），每一个测试样本送入到已经训练好的C3D网络中，输出为3个值，分别为输入0,1,2的概率。如下图所示，该场景可以看出判断为真实困人或忘记按电梯按钮的概率为0.67，判断为保洁清扫的概率位0.11，判断为换广告牌的概率为0.16。我们可以判断该段视频（16*240*320）被判断为困人或者忘记按电梯按钮。

同理针对4万个测试样本进行测试，每一个测试样本（16*240*320）都可以给出一个标签，这个标签与真实标签对比，如果一致则该样本被判断正确，否则被判断错误。

所以最终识别率为4万个样本中所有判断正确的样本与总样本数的比值。实际测下来判断正确的样本为38080，所以识别率为95.2%。

Claims

1.基于深度网络过滤电梯困人误报的方法，其特征是，包括以下步骤：

（1）视频采集单元采集电梯门处的信息；

（2）视频分析模块根据所采集的信息分析电梯门的状态；

（3）人体检测模块检测电梯轿厢内是否有人；

（6）利用训练好的C3D网络对疑似报警的视频进行识别，判断是否存在真正的，判断是否存在真正的电梯困人情况。

2.根据权利要求1所述的基于深度网络过滤电梯困人误报的方法，其特征是，该方法还包括利用标定视频训练C3D网络的过程，具体步骤如下：

（A1）采集电梯轿厢内有人的情况作为训练样本；

（A3）利用C3D网络进行识别学习；

（A4）对学习后的C3D网络进行验证。

3.根据权利要求1所述的基于深度网络过滤电梯困人误报的方法，其特征是，视频采集单元包括监控摄像机、工业摄像机，其拍摄位置正对着电梯门。

4.根据权利要求1所述的基于深度网络过滤电梯困人误报的方法，其特征是，视频分析模块选自CPU、ARM、DSP、GPU、FPGA、ASIC等通用处理设备中的一种或多种，视频分析模块的分析结果是电梯门的开启和关闭状态，包括开门、关门、开门中和关门中。

5.根据权利要求1所述的基于深度网络过滤电梯困人误报的方法，其特征是，人体检测模块是PIR检测器。