CN107915102A

CN107915102A - 一种基于视频分析的电梯遮挡门行为的检测系统及检测方法

Info

Publication number: CN107915102A
Application number: CN201711060929.3A
Authority: CN
Inventors: 施行; 王超; 朱鲲; 吴磊磊
Original assignee: Zhejiang New Zailing Technology Co Ltd
Current assignee: Zhejiang New Zailing Technology Co Ltd
Priority date: 2017-11-02
Filing date: 2017-11-02
Publication date: 2018-04-17
Anticipated expiration: 2037-11-02
Also published as: CN107915102B

Abstract

本发明提供一种基于视频分析的电梯遮挡门行为的检测系统，包括视频采集单元、门状态分析单元、告警逻辑单元和多媒体提示单元。本发明还提供一种采用上述系统的基于视频分析的电梯遮挡门行为的检测方法，包括步骤：粘贴标志物；采集电梯门标志物部位的信息；分析判断电梯门的状态；判断是否有遮挡门行为；播放提醒广播。本发明通过区域采集的方式，并且将设定的采集区域以标签的形式来标定，使得采集的边界更加明显，与背景的比对更加准确，从而克服电梯门边缘及背景遮挡物的干扰，提高检测的准确率。

Description

一种基于视频分析的电梯遮挡门行为的检测系统及检测方法

技术领域

本发明涉及视频检测技术领域及电梯安全技术领域。

背景技术

电梯遮挡门行为时有发生，这种行为严重危害电梯的安全运行，目前的电梯事故中，有很大一部分是遮挡门引起。另外，有些住户缺乏电梯安全常识，用各种物件挡门，甚至包括婴儿车(车里有熟睡的孩子)，殊不知这其中有巨大的安全隐患，一旦电梯门强行关闭，后果不堪设想。

目前已有针对电梯遮挡门行为的研究，例如中国专利申请 CN201710369596.6，公开了一种基于摄像图像的电梯开关门检测方法，该检测方法利用电梯门边界信息进行电梯门开关检测，对原始图像边界特征与二值化图像边界特征进行融合，具有计算速度快，实时性、稳定性和准确性的特点，但是该方法依靠边缘检测，门上的广告贴纸边缘、开门后门外的背景边缘都有可能符合倾斜角的特征，电梯门边界易受干扰，容易产生分析误差。

发明内容

本发明首先要解决的技术问题是提供一种基于视频分析的电梯遮挡门行为的检测系统，能够改进背景技术中存在的问题，提高检测准确性和可靠性。

本发明解决技术问题所采用的技术方案是：一种基于视频分析的电梯遮挡门行为的检测系统，包括视频采集单元、门状态分析单元、告警逻辑单元和多媒体提示单元，视频采集单元安装在电梯轿厢顶部并实时采集电梯门位置的信息，多媒体提示单元安装在电梯轿厢内，视频采集单元连接门状态分析单元并将所采集的信息发送至门状态分析单元，门状态分析单元根据所采集到的信息分析电梯门所处的状态，并将分析结果发送至告警逻辑单元，告警逻辑单元根据门状态分析单元的分析结果判断是否有遮挡门的行为，如果是，则发出告警信息至维保部门，告警逻辑单元连接至多媒体提示单元，并在向维保部门发出警告的同时向多媒体提示单元发送告警信号，多媒体提示单元接收到告警信号后，向电梯轿厢内播放提醒广播。

进一步地，视频采集单元包括监控摄像机、工业摄像机，其拍摄位置正对着电梯门。

进一步地，门状态分析单元选自CPU、ARM、DSP、GPU、FPGA、ASIC 等通用处理设备中的一种或多种，门状态分析单元的分析结果是电梯门的开启和关闭状态，包括已关闭、关闭中，已打开，打开中。

进一步地，告警逻辑单元选自CPU，ARM，DSP，GPU，FPGA，ASIC等通用处理设备中的一种或多种，告警逻辑单元根据门状态分析单元所得到的电梯门状态及改状态持续的时间判断是否有遮挡门的行为。

进一步地，多媒体提示单元包括安装在电梯轿厢内的液晶显示屏、扬声器等具有视音频展示能力的设备。

本发明还提供一种基于视频分析的电梯遮挡门行为的检测方法，该方法采用上述系统并包括以下步骤：

(1)在电梯门朝向电梯轿厢内的一面上部粘贴标志物；

(2)视频采集单元采集电梯门标志物部位的信息并发送至门状态分析单元；

(3)门状态分析单元分析根据视频采集单元所采集到的视频信息，判断电梯门的状态，并将判断结果发送至告警逻辑单元；

(4)告警逻辑单元根据电梯门的状态及该状态持续的时间，判断是否有遮挡门行为，如果是，则发送告警信息至多媒体提示单元和电梯维保部门；

(5)多媒体提示单元向电梯轿厢内播放提醒广播。

进一步地，标志物包括安全提醒标志、图像广告等能够牢固粘贴在电梯门上的平面标志物，标志物具有明显区别于电梯门本色的色彩，标志物的边缘与电梯门的边缘齐平，两扇电梯门的标志物位于同一水平高度。

进一步地，视频采集单元的采集步骤具体包括：

(1)标定采集区域和基准线，采集区域是指以标签所在位置为中心电梯上部区域，采集区域的形状为方形，基准线是指电梯门关上后的中线；

(2)视频采集单元实时采集区域内的视频图像并发送至门状态分析单元。

进一步地，门状态分析单元的分析步骤具体包括：

(1)获取关门状态时的采集区域图像作为背景图像，并根据基准线将背景划分为左右两半背景；

(2)从采集到的视频图像内获取当前帧采集区域内的图像，并一高斯平滑、同态滤波等手段对该图像进行避免光照干扰的预处理；

(3)根据基准线将图像分为左右两半图像；

(4)将左半图像与左半背景进行匹配，右半图像和右半背景进行匹配，匹配方式包括利用sift，surf，mser，harris等特征点，进行透视变换或仿射变换模型匹配；

(5)根据匹配结果得到当前帧图像与背景图像之间的唯一差，左右两半图像的位移差值相加得到电梯门打开的距离L；

(6)判断L与预设的阈值Lth之间的关系，如果L＞Lth，则判定电梯门处于打开状态，如果L＜Lth，则判断电梯门处于关闭状态。

进一步地，告警逻辑单元的判断规则是：告警逻辑单元判断当前帧以及当前帧之前的不间断的N帧图像中电梯门是否处于打开状态，如果是，则判断有遮挡门行为，N＝视频帧率(帧/秒)×40秒。

本发明的有益效果是：本发明通过区域采集的方式，并且将设定的采集区域以标签的形式来标定，使得采集的边界更加明显，与背景的比对更加准确，从而克服电梯门边缘及背景遮挡物的干扰，提高检测的准确率。

附图说明

图1是本发明的系统的示意图。

图2是标志物粘贴示意图。

图3是采集区域标定示意图。

图4是门状态分析单元的具体过程图。

图5是门状态分析单元的比对示意图。

具体实施方式

以下结合附图对本发明的具体实施方案做进一步详细说明。

如图1所示，本发明首先提供一种基于视频分析的电梯遮挡门行为的检测系统，该检测系统包括视频采集单元1、门状态分析单元2、告警逻辑单元3和多媒体提示单元4，视频采集单元1可以采用监控摄像机或工业摄像机，其拍摄位置正对着电梯门，视频采集单元1安装在电梯轿厢顶部并实时采集电梯门位置 (如图2-3所示的采集区域)的信息，多媒体提示单元4安装在电梯轿厢内，视频采集单元1连接门状态分析单元2并将所采集的信息发送至门状态分析单元2，门状态分析单元2可以采用CPU、ARM、DSP、GPU、FPGA、ASIC等通用处理设备中的一种或多种，门状态分析单元2的分析结果是电梯门的开启和关闭状态，包括已关闭、关闭中，已打开，打开中。门状态分析单元2根据所采集到的信息分析电梯门所处的状态，并将分析结果发送至告警逻辑单元3，告警逻辑单元3可以采用CPU，ARM，DSP，GPU，FPGA，ASIC等通用处理设备中的一种或多种，告警逻辑单元3根据门状态分析单元2的分析结果判断是否有遮挡门的行为，如果是，则发出告警信息至维保部门，告警逻辑单元3连接至多媒体提示单元4，并在向维保部门发出警告的同时向多媒体提示单元4发送告警信号，多媒体提示单元4包括但不限于安装在电梯轿厢内的液晶显示屏、扬声器等具有视音频展示能力的设备，多媒体提示单元4接收到告警信号后，向电梯轿厢内播放提醒广播。

通过上述系统，可以检测到电梯轿厢的门是否有被遮挡的行为，一旦发生这类状况，可以立即通知维保部门进行处理或者提示轿厢内的乘客注意安全。

在使用中，上述检测系统按照如下方法来进行检测：

(1)在电梯门朝向电梯轿厢内的一面上部粘贴标志物；

如图2所示，标志物包括安全提醒标志、图像广告等能够牢固粘贴在电梯门上的平面标贴形标志物，标志物具有明显区别于电梯门本色的色彩，标志物的边缘与电梯门的边缘齐平，同时为了避免人为干扰，遮挡，标志物贴于电梯门较高处，两扇电梯门的标志物位于同一水平高度。

(2)视频采集单元1采集电梯门标志物部位的信息并发送至门状态分析单元2；

视频采集单元1的采集步骤具体包括：

(2.1)标定采集区域和基准线，如图3所示，采集区域是指以标签所在位置为中心电梯上部区域，采集区域的形状为方形，基准线是指电梯门关上后的中线，如图2所示；

(2.2)视频采集单元2实时采集区域内的视频图像并发送至门状态分析单元2。

(3)门状态分析单元3分析根据视频采集单元所采集到的视频信息，判断电梯门的状态，并将判断结果发送至告警逻辑单元；

门状态分析单元的分析步骤具体包括：

(3.1)获取关门状态时的采集区域图像作为背景图像，并根据基准线将背景划分为左右两半背景；

(3.2)从采集到的视频图像内获取当前帧采集区域内的图像，并一高斯平滑、同态滤波等手段对该图像进行避免光照干扰的预处理；

(3.3)根据基准线将图像分为左右两半图像；

(3.4)将左半图像与左半背景进行匹配，右半图像和右半背景进行匹配，匹配方式包括利用sift，surf，mser，harris等特征点，进行透视变换或仿射变换模型匹配；

a、harris角点检测

Harris角点是一类比较经典的角点类型，它的基本原理是计算图像中每点与周围点变化率的平均值。

a.1计算图像I(x,y)在X和Y两个方向的梯度Ix，Iy。

a.2计算图像两个方向梯度的乘积。

a.3使用高斯函数对I_x ²I_y ²I_xy进行高斯加权，生成矩阵M的元素A、B和C

a.4计算每个像素的Harris响应值R，并对小于某一阈值t的R置为0

R＝{R:detM-α(traceM)²＜t}

a.5在3x3或5x5的邻域内进行非极大值抑制，局部最大值点即为图像中的角点。

b、对角点进行SIFT描述

一般采用采样局部点(区域)的特征的方法，然后将兴趣点整个区域内所以采样点(区域)的特征组合在一起。如SIFT方法先将兴趣点附近分成了4*4 的小块，然后统计这16个块中每块的8个方向梯度值，总共构成了一个128位的向量

c、图像匹配

以右半图像为例，介绍图像匹配方法，

c.1分别对右半当前图像和右半背景图像提取harris特征点并对特征点

进行SIFT描述。

c.2对两幅图像中提取的特征点进行匹配，以右半背景图像为基准，依

次遍历所有特征点，对于每一个背景图像的特征点(x,y)，挑选一个最佳的当

前的图像的特征点(x’,y’)形成一个匹配点对(x,y)(x’,y’)。最佳的标准：以两个

特征点的128位描述子的欧氏距离最短为最佳。

c.3遍历所有匹配点对，计算透视变化模型——单应性矩阵系数，单应

性矩阵是一个3*3的矩阵,其中h11～h33为未知系数。

对于每一个匹配点对(x,y)(x’,y’)，应有如下对应关系：

根据四组匹配点对，可计算得到一套8参数：

每次选取4对匹配点对，计算出一套8参数的单应性矩阵系数，再将其他匹配点对套用此模型进行并计算误差，最终选取误差最小的单应性矩阵系数作为右边背景图像与右边当前图像的匹配矩阵。

左半图像的匹配矩阵也由同样的方法计算得出。

(3.5)根据匹配结果得到当前帧图像与背景图像之间的位移差，左右两半图像的位移差值相加得到电梯门打开的距离L；

单应性矩阵中h13和h23就是图像的xy两个方向平移变量，由于通常电梯门为x方向的位移，因此h13即为左或右图像的位移。

根据左右各自的H矩阵中的h13数据绝对值相加就可得到电梯门打开距离L。

(3.6)判断L与预设的阈值Lth之间的关系，如果L＞Lth，则判定电梯门处于打开状态，如果L＜Lth，则判断电梯门处于关闭状态。

Lth根据门在完全打开时的L值(L_max)，取L_max的50％作为Lth。

告警逻辑单元的判断规则是：告警逻辑单元判断当前帧以及当前帧之前的不间断的N帧图像中电梯门是否处于打开状态，如果是，则判断有遮挡门行为， N＝视频帧率(帧/秒)×40秒。

(5)多媒体提示单元接到告警信号后向电梯轿厢内播放提醒广播。

Claims

1.一种基于视频分析的电梯遮挡门行为的检测系统，其特征是，包括视频采集单元、门状态分析单元、告警逻辑单元和多媒体提示单元，视频采集单元安装在电梯轿厢顶部并实时采集电梯门位置的信息，多媒体提示单元安装在电梯轿厢内，视频采集单元连接门状态分析单元并将所采集的信息发送至门状态分析单元，门状态分析单元根据所采集到的信息分析电梯门所处的状态，并将分析结果发送至告警逻辑单元，告警逻辑单元根据门状态分析单元的分析结果判断是否有遮挡门的行为，如果是，则发出告警信息至维保部门，告警逻辑单元连接至多媒体提示单元，并在向维保部门发出警告的同时向多媒体提示单元发送告警信号，多媒体提示单元接收到告警信号后，向电梯轿厢内播放提醒广播。

2.根据权利要求1所述的一种基于视频分析的电梯遮挡门行为的检测系统，其特征是，视频采集单元包括监控摄像机、工业摄像机，其拍摄位置正对着电梯门。

3.根据权利要求1所述的一种基于视频分析的电梯遮挡门行为的检测系统，其特征是，门状态分析单元选自CPU、ARM、DSP、GPU、FPGA、ASIC等通用处理设备中的一种或多种，门状态分析单元的分析结果是电梯门的开启和关闭状态，包括已关闭、关闭中，已打开，打开中。

4.根据权利要求1所述的一种基于视频分析的电梯遮挡门行为的检测系统，其特征是，告警逻辑单元选自CPU，ARM，DSP，GPU，FPGA，ASIC等通用处理设备中的一种或多种，告警逻辑单元根据门状态分析单元所得到的电梯门状态及改状态持续的时间判断是否有遮挡门的行为。

5.根据权利要求1所述的一种基于视频分析的电梯遮挡门行为的检测系统，其特征是，多媒体提示单元包括安装在电梯轿厢内的液晶显示屏、扬声器等具有视音频展示能力的设备。

6.一种基于视频分析的电梯遮挡门行为的检测方法，其特征是，该方法采用权利要求1-5所述的系统并包括以下步骤：

（1）在电梯门朝向电梯轿厢内的一面上部粘贴标志物；

（2）视频采集单元采集电梯门标志物部位的信息并发送至门状态分析单元；

（3）门状态分析单元分析根据视频采集单元所采集到的视频信息，判断电梯门的状态，并将判断结果发送至告警逻辑单元；

（4）告警逻辑单元根据电梯门的状态及该状态持续的时间，判断是否有遮挡门行为，如果是，则发送告警信息至多媒体提示单元和电梯维保部门；

（5）多媒体提示单元向电梯轿厢内播放提醒广播。

7.根据权利要求6所述的电梯遮挡门行为的检测方法，其特征是，标志物包括安全提醒标志、图像广告等能够牢固粘贴在电梯门上的平面标志物，标志物具有明显区别于电梯门本色的色彩，标志物的边缘与电梯门的边缘齐平，两扇电梯门的标志物位于同一水平高度。

8.根据权利要求6所述的电梯遮挡门行为的检测方法，其特征是，视频采集单元的采集步骤具体包括：

（1）标定采集区域和基准线，采集区域是指以标签所在位置为中心电梯上部区域，采集区域的形状为方形，基准线是指电梯门关上后的中线；

（2）视频采集单元实时采集区域内的视频图像并发送至门状态分析单元。

9.根据权利要求6所述的电梯遮挡门行为的检测方法，其特征是，门状态分析单元的分析步骤具体包括：

（1）获取关门状态时的采集区域图像作为背景图像，并根据基准线将背景划分为左右两半背景；

（2）从采集到的视频图像内获取当前帧采集区域内的图像，并一高斯平滑、同态滤波等手段对该图像进行避免光照干扰的预处理；

（3）根据基准线将图像分为左右两半图像；

（4）将左半图像与左半背景进行匹配，右半图像和右半背景进行匹配，匹配方式包括利用sift，surf，mser，harris等特征点，进行透视变换或仿射变换模型匹配；

（5）根据匹配结果得到当前帧图像与背景图像之间的唯一差，左右两半图像的位移差值相加得到电梯门打开的距离L；

（6）判断L与预设的阈值Lth之间的关系，如果L＞Lth，则判定电梯门处于打开状态，如果L＜Lth，则判断电梯门处于关闭状态。

10.根据权利要求6所述的电梯遮挡门行为的检测方法，其特征是，告警逻辑单元的判断规则是：告警逻辑单元判断当前帧以及当前帧之前的不间断的N帧图像中电梯门是否处于打开状态，如果是，则判断有遮挡门行为，N=视频帧率（帧/秒）×40秒。