CN107844741A - 自动扶梯上儿童逆行的检测报警系统及方法 - Google Patents

Abstract

本发明提供一种自动扶梯上儿童逆行的检测报警系统，包括深度视频采集单元、RGB图像采集单元、乘客属性分析单元、告警逻辑单元及多媒体提示单元。本发明还提供一种自动扶梯上儿童逆行的检测报警方法，包括步骤：采集自动扶梯上的深度视频信息和RGB图像信息；进行分析，判断是否需要报警；发出报警信息。本发明有针对性地判断儿童是否在自动扶梯上逆行，非常适用于公共场所的自动扶梯，使得逆行的儿童能够获得最近的保护，为电梯维保部门采取相应的措施争取了时间。

Description

自动扶梯上儿童逆行的检测报警系统及方法

技术领域

本发明涉及电梯安全技术领域，尤其涉及一种基于深度视频技术的自动扶梯上儿童逆行的检测技术。

背景技术

目前自动扶梯在各大商场、地铁站点、火车站、机场等人流量密集的地方都有应用，自动扶梯在给人们带来极大便捷的同时，也会因为一些不当使用对人们造成生命财产的损失。例如儿童在自动扶梯逆行就是一种极其危险的行为，极易导致儿童摔倒滚落，手指被夹断等恶性后果。

针对频发的电梯事故以及一些高风险的乘梯行为，已有一些创新的设计，例如，中国实用新型专利CN201420006657公开了一种避免儿童单独乘坐扶梯的报警系统，该报警系统包括第一人体红外感应装置、第二人体红外感应装置、支架和语音报警装置；支架设置在自动扶梯入口处，第一人体红外感应装置、第二人体红外感应装置和语音报警装置均设置在支架上，第一人体红外感应装置、第二人体红外感应装置分别距水平地0.7m、1.45m；语音报警装置包括顺次连接的单片机、语音录放芯片和扬声器；第一人体红外感应装置包括第一红外线发射电路和第一红外线接收电路，第二人体红外感应装置包括第二红外线发射电路和第二红外线接收电路，第一红外线接收电路、第二红外线接收电路分别与单片机连接。该专利的目的是能及时对儿童单独乘坐扶梯进行报警，避免意外伤害事故发生。中国实用新型专利CN20152019194提供了一种可进行逆行安全提示的自动扶梯，包括梯级、盖板、围裙板、电梯语音系统和设置于扶梯运行方向末端梯级下面的重力感应装置，盖板位于围裙板的上方，电梯语音系统包括语音控制部件；语音控制部件包括：与重力感应装置连接、实时监测并记录施加于扶梯末端梯级上的重量值的重力监测电路；语音控制部件还包括产生报警提示信号的比较电路；电梯语音系统还包括与比较电路相连接、以在比较电路输出报警提示信号时进行语音提示或蜂鸣音提示请勿逆行的发音部件，发音部件固定安装于盖板或围裙板的内部，并与盖板或围裙板的内壁接触。该专利的目的是可以进行电梯逆行安全提示及报警。

上述两个专利的技术方案分别用于检测儿童单独乘梯及乘客逆行，都需要在扶梯现有机械部件的基础上加装传感器，这样的做法，一、加装会破坏了原有扶梯结构，本身具有安全隐患，二、儿童人体感应器位于乘客可接触的范围，逆行感应器位于扶梯内部，都属于容易受人为干扰，受人为破坏的范围，可靠耐久性欠佳。并且，现有技术中缺乏具有针对性的检测儿童在扶梯上逆行的方法。

发明内容

本发明首先要解决的技术问题是提供一种自动扶梯上儿童逆行的检测报警系统，能够检测出儿童在自动扶梯上情形，并进行提示和报警。

本发明解决技术问题所采用的技术方案是：自动扶梯上儿童逆行的检测报警系统，包括深度视频采集单元、RGB图像采集单元、乘客属性分析单元、告警逻辑单元及多媒体提示单元，深度视频采集单元和RGB图像采集单元安装在自动扶梯上方的建筑物上并能够采集自动扶梯上的深度视频信息及RGB图像信息，深度视频采集单元和RGB图像采集单元分别与乘客属性分析单元连接并将所采集到的深度视频信息和RGB图像信息发送至乘客属性分析单元，乘客属性分析单元根据深度视频信息对前景物进行分析确定是否包含人体信息以及所有人体的身高信息，并根据RGB图像信息分析获取所包含人体的运动方向，乘客属性分析单元的输出端连接至告警逻辑单元并向其发送所包含的人体的身高信息以及人体运动方向信息，告警逻辑单元根据人体身高信息及人体运动方向信息判断是否需要报警，当判断结果为需要报警时，告警逻辑单元向多媒体提示单元发出播放控制信号，由多媒体提示单元向电梯轿厢内播放安抚多媒体，同时告警逻辑单元通过数据传输单元向电梯维保部门发出儿童在自动扶梯上逆行的警报信息。

进一步地，深度视频采集单元及RGB图像采集单元采用包括双目RGB摄像机、结构光相机、TOF相机在内的能够感知3D空间深度信息的影像采集设备。

进一步地，乘客属性分析单元和告警逻辑单元采用包括CPU、ARM、DSP、GPU、FPGA、ASIC在内的通用处理设备。

进一步地，多媒体播放单元包括液晶显示屏和扬声器，多媒体播放单元安装在自动扶梯附近。

本发明还提供一种自动扶梯上儿童逆行的检测报警方法，该方法采用上述的报警系统，并包括以下步骤：

(1)深度视频采集单元采集自动扶梯上的深度视频信息，并发送至乘客属性分析单元，同时，RGB图像采集单元同步采集自动扶梯上的RGB图像信息发送至乘客属性分析单元；

(2)乘客属性分析单元对深度视频信息及RGB图像信息进行分析，得到是否包含人体、所包含的人体高度信息以及人体运动方向信息；

(3)告警逻辑单元根据乘客属性分析单元的分析结果判断是否需要报警；

(4)当判断结果为需要报警时，告警逻辑单元向多媒体单元发出播放告警信息的命令，同时通过数据传输单元向电梯维保部门发出报警信息；

(5)当多媒体提示单元在一段时间内未收到播放命令时，显示屏进入待机状态，减少能源消耗。

进一步地，深度视频采集单元和RGB图像采集单元实时同步针对自动扶梯内同一位置的深度视频信息和RGB图像信息进行采集，确保根据深度视频采集单元采集内容的分析结果与根据RGB图像采集单元采集内容的分析结果所对应的原始内容是一致的。

进一步地，乘客属性分析单元的具体分析步骤包括：

(2.1)通过图像分割的分析方法分析出所采集到的深度视频影像中的前景物；

(2.2)根据深度视频影像中的深度信息分析前景物中是否包含人体；

(2.3)如果前景物包含人体，则记录该人体的高度；

(2.4)利用光流分析方法，对RGB图像进行分析，获取其中的人体运行方向。

进一步地，告警逻辑单元的判断步骤是：

(3.1)告警逻辑单元将接收到的人体高度信息与预设值进行比对，如果人体高度信息低于预设值，则判断为儿童；

(3.2)告警逻辑单元确认被判断为儿童的个体运动方向是否与电梯运行方向一致，如果不一致，则判断为儿童逆行，需要发出报警。

进一步地，深度视频采集单元和RGB图像采集单元能够随电梯的运行同步转动，从而采集同一个体在电梯运行到不同高度时的深度视频信息和RGB图像信息。

本发明的有益效果是：本发明通过深度视频采集单元和RGB图像采集单元采集自动扶梯上的深度视频信息和RGB图像信息，乘客属性分析单元确认自动扶梯上是否包含人体以及所包含的人体高度，从而判断自动扶梯上是否存在儿童乘坐，同时，乘客属性分析单元还能够判断自动扶梯上乘客的运动方向，然后，告警逻辑单元根据人体高度与预设的儿童身高进行比对，如果自动扶梯上有个体的身高低于预设值，则说明自动扶梯上包含儿童，此时结合该儿童的运动方向判断是否逆行。采用本发明的技术方案既能够准确检测出电梯中有儿童乘坐，又能够判断儿童是否逆行，一般来说成人逆行可能是出现了某些紧急情况，在这种情况下不需要大范围警报，在公共场合引起不必要的骚乱，因此，有针对性地判断儿童是否在自动扶梯上逆行，非常适用于公共场所的自动扶梯，此外，本发明的多媒体提示单元安装在自动扶梯附近的建筑物上，逆行的顽皮儿童无法触碰到，同时还能够扩大报警和提示的范围，对附近活动的人群进行提示，使得逆行的儿童能够获得最近的保护，为电梯维保部门采取相应的措施争取了时间。

附图说明

图1是本发明的流程图。

图2是步骤S5的流程图。

图3是步骤S6中特征点提取的示意图。

图4是对图3的特征点进行光流统计的示意图，图中箭头表示特征点的方向。

图5是对图4进行光流聚类的主方向示意图。

图6是步骤S5-S8的流程图。

具体实施方式

以下结合附图对本发明的具体实施方案作进一步的详细说明。

首先，本发明提供了自动扶梯上儿童逆行的检测报警系统，包括深度视频采集单元、RGB图像采集单元、乘客属性分析单元、告警逻辑单元及多媒体提示单元，深度视频采集单元和RGB图像采集单元安装在自动扶梯上方的建筑物上并能够采集自动扶梯上的深度视频信息及RGB图像信息，深度视频采集单元和RGB图像采集单元分别与乘客属性分析单元连接并将所采集到的深度视频信息和RGB图像信息发送至乘客属性分析单元，乘客属性分析单元根据深度视频信息对前景物进行分析确定是否包含人体信息以及所有人体的身高信息，并根据RGB图像信息分析获取所包含人体的运动方向，乘客属性分析单元的输出端连接至告警逻辑单元并向其发送所包含的人体的身高信息以及人体运动方向信息，告警逻辑单元根据人体身高信息及人体运动方向信息判断是否需要报警，当判断结果为需要报警时，告警逻辑单元向多媒体提示单元发出播放控制信号，由多媒体提示单元向电梯轿厢内播放安抚多媒体，同时告警逻辑单元通过数据传输单元向电梯维保部门发出儿童在自动扶梯上逆行的警报信息。

其中，深度视频采集单元及RGB图像采集单元采用包括双目RGB摄像机、结构光相机、TOF相机在内的能够感知3D空间深度信息的影像采集设备。

一般来说，深度视频采集单元通过无线网络的形式与乘客属性分析单元建立数据连接，从而向其发送所采集的信息，乘客属性分析单元可以安装在维保监控室，不需要安装在公共场所。

乘客属性分析单元包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC等通用处理设备，主要根据深度视频采集单元传入的深度视频信息进行技术分析，获得乘客属性信息，包括人数，个体身高以及个体运动方向。

告警逻辑单元包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC等通用处理设备，根据乘客属性信息，判断乘客中是否有儿童，以及该儿童的运动方向是否与扶梯的运动方向一致，如果存在儿童逆行，则发送告警信息至多媒体提示单元和电梯维保部门。

多媒体提示单元包括但不限于液晶显示屏，扬声器等具有视音频展示能力的设备，多媒体提示单元安装在自动扶梯附近的建筑物上，多媒体提示单元在接收到告警信号后，能够通过扬声器播报不要逆行的提示，同时在显示屏上播放该儿童逆行的视频信息，提醒附近活动的人群引起注意，从而及时阻止。当然，告警逻辑单元也需要及时同时电梯维保部门，还是需要相关职能部门及时行动，消除安全隐患，防止事故发生。

上述系统的实际应用步骤包括：

S1、深度视频采集单元采集自动扶梯上的深度视频信息，并发送至乘客属性分析单元。

S2、RGB图像采集单元与深度视频采集单元同步进行采集，并将所采集到的RGB图像信息发送至乘客属性单元。

深度视频采集单元与RGB图像采集单元同步采集的概念是，二者必须采集到的是同一时间自动扶梯上同一位置上的视频信息和RGB图像信息，如果时间或者空间上发生了偏差，那么分析的结果就会谬以千里，因此必须保证二者所采集到的是完全对应的，这样才能够进行准确的判断。

S3、乘客属性分析单元通过图像分割(包括但不限于背景差分、帧间差分、深度图分析等)的方法对深度视频信息进行分析，得到自动扶梯上的前景物信息。

S4、乘客属性分析单元根据深度信息对前景物进行分析，确认前景物中是否包含人体，如果包含人体，则记录该人体的高度，从而获知全部乘客的高度信息，并发送至告警逻辑单元。

S5、乘客属性分析单元根据深度信息对RGB图像中的人体区域进行帧间差分获取前景运动区域。

具体步骤是：将前一帧人体图像和当前帧人体图像进行差分，获取差分值，将差分值和差分前景区域进行与运算，得到前景运动区域。

S6、在运动区域提取特征点，特征点包括harris角点、sift、surf、Shi-Tomasi特征点等。

Harris角点提取方法(经典的特征点检测方法)：

1.计算图像I(x，y)在X和Y两个方向的梯度I_x、Iy。

2.计算图像两个方向梯度的乘积。

3.使用高斯函数对和I_xy进行高斯加权(取σ＝1)，生成矩阵M的元素A、B和C。

4.计算每个像素的Harris响应值R，并对小于某-阈值t的R置为零。

R＝{R：detM-α(traceM)²＜t}

5.在3×3或5×5的邻域内进行非最大值抑制，局部最大值点即为图像中的角点。

S7、对上述提取的特征点进行Lucas Kanade光流统计。

S8、对光流统计结果中的信息进行聚类，获取主要运动方向，作为乘客个体的运动方向。

重复步骤S5-S8，得到所有人体的运动方向，并发送至告警逻辑单元。

S9、告警逻辑单元将接收到的人体高度信息与预设值进行比对，如果人体高度信息低于预设值，则判断为儿童，例如预设值为140cm，当人体高度低于140cm时，判断为儿童。

S10、告警逻辑单元确认被判断为儿童的个体运动方向是否与电梯运行方向一致，如果不一致，则判断为儿童逆行，此时向电梯维保部门及多媒体提示单元发出报警信号。

S11、多媒体提示单元在收到报警信号时，可在通过扬声器播放预先录制好的语音提示信息对扶梯上逆行的儿童进行告诫和引导。同时可以在扶梯附近的多媒体屏幕上播放该儿童逆行的视频片段，进行公开警示，引起周围活动人群的注意，利用公众的力量来预防危险发生。

本发明不在自动扶梯原有机械、电子部件中额外添加感应设备，不需要改变自动扶梯原有的结构，降低设计成本，减少改进工程的施工程序，本发明采用悬挂在扶梯上方(或周围)建筑物上的采集设备作为信息采集单元，这些采集设备不会被顽皮的儿童触碰，本发明利用深度信息和二维图像信息进行视频分析获知儿童以及逆行数据，并能够通过广播，图像，视频等方式提醒警示。

需要说明的是，在自动扶梯上的成人有可能在某个时刻弯腰或者下蹲，造成其身高看起来低于预设值而容易被误认为儿童，这种情况会产生误报，会浪费报警资源甚至造成公众不必要的惊慌，需要避免，因此，深度视频采集单元和RGB图像采集单元需要采集电梯内不同时间不同运行过程中的信息，只有当某一个个体在一次扶梯运行过程中始终保持低于预设值的高度，才能够确认为儿童，因此通常选择扶梯起始点附近、扶梯终点附近以及扶梯中间段的某一个位置进行采集，才能获得比较准确的数据，当三个采集点的数据匹配上时，告警逻辑单元才会做出最终判断，避免因为一些因素的影响发生误报警的情况，给公共场合活动的人群带来不必要的困扰。

Claims (10)

1.自动扶梯上儿童逆行的检测报警系统，其特征是，包括深度视频采集单元、RGB图像采集单元、乘客属性分析单元、告警逻辑单元及多媒体提示单元，深度视频采集单元和RGB图像采集单元安装在自动扶梯上方的建筑物上并能够采集自动扶梯上的深度视频信息及RGB图像信息，深度视频采集单元和RGB图像采集单元分别与乘客属性分析单元连接并将所采集到的深度视频信息和RGB图像信息发送至乘客属性分析单元，乘客属性分析单元根据深度视频信息对前景物进行分析确定是否包含人体信息以及所有人体的身高信息，并根据RGB图像信息分析获取所包含人体的运动方向，乘客属性分析单元的输出端连接至告警逻辑单元并向其发送所包含的人体的身高信息以及人体运动方向信息，告警逻辑单元根据人体身高信息及人体运动方向信息判断是否需要报警，当判断结果为需要报警时，告警逻辑单元向多媒体提示单元发出播放控制信号，由多媒体提示单元向电梯轿厢内播放安抚多媒体，同时告警逻辑单元通过数据传输单元向电梯维保部门发出儿童在自动扶梯上逆行的警报信息。

2.根据权利要求1所述的自动扶梯上儿童逆行的检测报警系统，其特征是，深度视频采集单元及RGB图像采集单元采用包括双目RGB摄像机、结构光相机、TOF相机在内的能够感知3D空间深度信息的影像采集设备。

3.根据权利要求1所述的自动扶梯上儿童逆行的检测报警系统，其特征是，乘客属性分析单元和告警逻辑单元采用包括CPU、ARM、DSP、GPU、FPGA、ASIC在内的通用处理设备。

4.根据权利要求1所述的自动扶梯上儿童逆行的检测报警系统，其特征是，多媒体播放单元包括液晶显示屏和扬声器，多媒体播放单元安装在自动扶梯附近。

5.自动扶梯上儿童逆行的检测报警方法，其特征是，该方法采用权利要求1-5中任一项所述的检测报警系统，并包括以下步骤：

（1）深度视频采集单元采集自动扶梯上的深度视频信息，并发送至乘客属性分析单元，同时，RGB图像采集单元同步采集自动扶梯上的RGB图像信息发送至乘客属性分析单元；

（2）乘客属性分析单元对深度视频信息及RGB图像信息进行分析，得到是否包含人体、所包含的人体高度信息以及人体运动方向信息；

（3）告警逻辑单元根据乘客属性分析单元的分析结果判断是否需要报警；

（4）当判断结果为需要报警时，告警逻辑单元向多媒体单元发出播放告警信息的命令，同时通过数据传输单元向电梯维保部门发出报警信息；

（5）当多媒体提示单元在一段时间内未收到播放命令时，显示屏进入待机状态，减少能源消耗。

6.根据权利要求5所述的自动扶梯上儿童逆行的检测报警方法，其特征是，深度视频采集单元和RGB图像采集单元实时同步针对自动扶梯内同一位置的深度视频信息和RGB图像信息进行采集，确保根据深度视频采集单元采集内容的分析结果与根据RGB图像采集单元采集内容的分析结果所对应的原始内容是一致的。

7.根据权利要求6所述的自动扶梯上儿童逆行的检测报警方法，其特征是，乘客属性分析单元的具体分析步骤包括：

（2.1）通过图像分割的分析方法分析出所采集到的深度视频影像中的前景物；

（2.2）根据深度视频影像中的深度信息分析前景物中是否包含人体；

（2.3）如果前景物包含人体，则记录该人体的高度；

（2.4）利用光流分析方法，对RGB图像进行分析，获取其中的人体运行方向。

8.根据权利要求7所述的自动扶梯上儿童逆行的检测报警方法，其特征是，光流分析方法具体包括：

（2.4.1）根据深度视频信息对RGB图像中的人体区域进行帧间差分获取前景运动区域；

（2.4.2）在运动区域提取特征点；

（2.4.3）对特征点进行光流统计；

（2.4.4）对光流统计信息进行聚类，获取主要运动方向，作为乘客运动方向。

9.根据权利要求7所述的自动扶梯上儿童逆行的检测报警方法，其特征是，告警逻辑单元的判断步骤是：

（3.1）告警逻辑单元将接收到的人体高度信息与预设值进行比对，如果人体高度信息低于预设值，则判断为儿童；

（3.2）告警逻辑单元确认被判断为儿童的个体运动方向是否与电梯运行方向一致，如果不一致，则判断为儿童逆行，需要发出报警。

10.根据权利要求5所述的自动扶梯上儿童逆行的检测报警方法，其特征是，深度视频采集单元和RGB图像采集单元能够随电梯的运行同步转动，从而采集同一个体在电梯运行到不同高度时的深度视频信息和RGB图像信息。