CN109896386B - 一种基于计算机视觉技术的电梯门反复开关的检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于计算机视觉技术的电梯门反复开关的检测方法及系统，其中基于计算机视觉技术的电梯门反复开关的检测方法包括以下步骤：在电梯门上较高处粘贴标志物；对标志物进行检测，采集电梯门图像进行门状态分析；根据传输过来的检测区域，在图像灰度通道，将门完全关闭状态下注册背景模板，后续不断计算当前帧直方图和注册背景帧直方图的差距，判定门的开关状态；通过接收每帧的门状态类型，结合时域统计，分析当前电梯是否出现反复开关门现象，并且输出对应告警信号。

Description

一种基于计算机视觉技术的电梯门反复开关的检测方法及 系统

技术领域

本发明属于电梯安全技术领域，具体涉及一种基于计算机视觉技术的电梯门反复开关的检测方法及系统。

背景技术

电梯作为城市中重要的交通工具，其运行安全是不可忽视的问题。当电梯门上的接触器损坏时，电梯会在单位时间内出现反复开关门现象，存在老弱乘客进出门被夹或电梯运行中门开坠人的风险。

公开号为CN106204659A的中国发明专利申请公开了一种基于光流的电梯开关门检测方法，具体包括以下步骤：(1)通过人工标定的方法，选取电梯门上的告警标签作为检测的感兴趣区域；(2)在感兴趣区域上提取特异性较大的角点，作为后续跟踪的对象；(3)使用光流法跟踪感兴趣区域的角点，判定当前门的开闭情况和运动方向。

以上实施的技术方案存在以下问题：(1)要同时对感兴趣区域的四个子区域提取角点，并且各自进行光流跟踪，统计运动方向，整个过程略繁琐，且计算量较大；(2)使用光流跟踪角点这种局部图像特征检测方式，受外界光照变化影响较大，一旦电梯轿厢本身光照变化较大，或者开关门导致的外界光照干扰，都会导致跟踪算法失效；(3)该方法只考虑到检测单帧的门状态，并没有考虑到一段时间内门状态变化和电梯门传感器的关系，没有通过门状态变化推测出电梯硬件损坏和运行风险。

发明内容

本发明要解决的技术问题是提供一种基于计算机视觉技术的电梯门反复开关的检测方法及系统，用于实时准确的检测到监控电梯门是否正常开关的信号，在发生异常时及时发出告警信号。

为解决上述技术问题，本发明采用如下的技术方案：

一方面，本发明实施例提供的一种基于计算机视觉技术的电梯门反复开关的检测方法，包括以下步骤：

在电梯门上较高处粘贴标志物；

对标志物进行检测，采集电梯门图像进行门状态分析；

根据传输过来的检测区域，在图像灰度通道，将门完全关闭状态下注册背景模板，后续不断计算当前帧直方图和注册背景帧直方图的差距，判定门的开关状态；

通过接收每帧的门状态类型，结合时域统计，分析当前电梯是否出现反复开关门现象，并且输出对应告警信号。

优选地，所述根据传输过来的检测区域，在图像灰度通道，将门完全关闭状态下注册背景模板，后续不断计算当前帧直方图和注册背景帧直方图的差距，判定门的开关状态进一步包括以下步骤：

对于输入的检测区域的彩色图像，先将三通道的彩色图像转化为单通道的灰度图；

在得到灰度通道的图像后，通过统计当前图中不同区段像素值的像素点数量，得到图像的直方图；

在系统初始启动阶段，选择门关闭的时候，先注册生成背景图像的直方图作为固定的背景直方图，存储到数据库中；之后，每次新的图像帧数据进入，按照相同的方式，提取当前图像的直方图信息，与数据库中已有的背景直方图进行匹配；

设定的完全关和完全开的两类门状态极值，保证输出的门状态的结果相对精确，判定们的开关状态。

优选地，所述通过接收每帧的门状态类型，结合时域统计，分析当前电梯是否出现反复开关门现象，并且输出对应告警信号进一步包括以下步骤：

将反复开关门检测总时长均分为8段，每段按照将单次帧规则判断是否发生开关门过程，累计计数，如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号。

另一方面，本发明实施例提供的一种基于计算机视觉技术的电梯门反复开关的检测系统，包括视频采集单元，门状态检测单元和告警逻辑单元，其中，

所述视频采集单元安装在电梯轿厢内顶部，用于采集轿厢内的视频图像信息，包括在电梯门上较高处粘贴标志物；

所述门状态检测单元用于对标志物进行检测，采集电梯门图像进行门状态分析，根据传输过来的检测区域，在图像灰度通道，将门完全关闭状态下注册背景模板，后续不断计算当前帧直方图和注册背景帧直方图的差距，判定门的开关状态；

所述告警逻辑单元用于接收门状态检测单元输出的检测信息，统计当前电梯单位时间的开关门状态数据，分析是否发生反复开关门，并且输出对应告警信号。

优选地，所述根据传输过来的检测区域，在图像灰度通道，将门完全关闭状态下注册背景模板，后续不断计算当前帧直方图和注册背景帧直方图的差距，判定门的开关状态进一步包括以下步骤：

对于输入的检测区域的彩色图像，先将三通道的彩色图像转化为单通道的灰度图；

在得到灰度通道的图像后，通过统计当前图中不同区段像素值的像素点数量，得到图像的直方图；

在系统初始启动阶段，选择门关闭的时候，先注册生成背景图像的直方图作为固定的背景直方图，存储到数据库中；之后，每次新的图像帧数据进入，按照相同的方式，提取当前图像的直方图信息，与数据库中已有的背景直方图进行匹配；

设定的完全关和完全开的两类门状态极值，保证输出的门状态的结果相对精确，判定们的开关状态。

优选地，所述通过接收每帧的门状态类型，结合时域统计，分析当前电梯是否出现反复开关门现象，并且输出对应告警信号进一步包括以下步骤：

将反复开关门检测总时长均分为8段，每段按照将单次帧规则判断是否发生开关门过程，累计计数，如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号。

采用本发明具有如下的有益效果：本方案选择使用的灰度直方图属于图像的全局特征，整体特征稳定受光照影响较小；不用通过求多方向梯度计算角点，所以计算速度较快；针对门状态时域变化，设置了多参数阈值，计算得到单位时间的电梯门反复开关次数，定位电梯门反复开关的现象。

附图说明

图1为本发明实施例的基于计算机视觉技术的电梯门反复开关的检测方法的步骤流程图；

图2为本发明实施例中安全标志物粘贴示意图；

图3为本发明实施例中检测区域位置示意图；

图4为本发明实施例中门状态检测流程图；

图5为本发明实施例中图像直方图计算示意图；

图6为本发明实施例中图像帧状态示意图；

图7为本发明实施例中告警统计示意图；

图8为本发明实施例的基于计算机视觉技术的电梯门反复开关的检测系统的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明实施例的基于计算机视觉技术的电梯门反复开关的检测方法的步骤流程图，其包括以下步骤：

S10，在电梯门上较高处粘贴标志物；

为了提高检测准确性，需要在门上粘贴醒目的安全标志物，包括但不限于安全提示标志，图像广告等，同时为了避免人为干扰，遮挡，标志物贴于电梯门较高处，标志物粘贴示意图可如图2所示。

S20，对标志物进行检测，采集电梯门图像进行门状态分析；

S30，根据传输过来的检测区域，在图像灰度通道，将门完全关闭状态下注册背景模板，后续不断计算当前帧直方图和注册背景帧直方图的差距，判定门的开关状态；

为了提高运算速度，此处选取门上粘贴的安全标志物进行检测。对于每台电梯，在初始化检测系统时，通过人工标定的方式，标定出电梯门上安全标志物所在的矩形区域作为检测区域，图3的方框位置即为检测区域。

参见图4，S30进一步包括以下步骤：

S301，对于输入的检测区域的彩色图像，先将三通道的彩色图像转化为单通道的灰度图。具体转换过程如下：

设(r，g，b)分别代表一个像素点在红绿蓝三个通道的数值，它们的值都在[0，255]范围内，现在要把这个像素转为单独的灰度通道值v，具体转换公式为：

v＝r*0.299+g*0.587+b*0.114

调整过后，灰度图像单个像素点的取值范围同样在[0，255]。

S302，在得到灰度通道的图像后，通过统计当前图中不同区段像素值的像素点数量，得到图像的直方图，具体流程如图5所示，具体执行过程为：

1)对于输出的灰度图像，将所有像素点的像素值从原始的[0，255]范围，以15为划分间隔，进行归一化，分为17个区段。

2)统计以上17个区段各自包含的像素点总数，如[0，14]范围的像素点数量为50，[15-29]范围的像素点数量为112。

3)将所有区段统计的像素点数量按照区段排列顺序，依次绘制到同一张图上，即可得到图4中的图像直方图。

S303，如图4所示，在系统初始启动阶段，选择门关闭的时候，先注册生成背景图像的直方图作为固定的背景直方图，存储到数据库中。之后，每次新的图像帧数据进入，按照相同的方式，提取当前图像的直方图信息，与数据库中已有的背景直方图进行匹配。

图5中的直方图也可以看成是一组数值序列{V₁…V₁₇}，V_n即表示在某一像素值区段统计到的像素点数量值。设背景直方图的数值序列为{X₁…X₁₇}，当前帧查询图的直方图数值序列为{Y₁…Y₁₇}，计算背景直方图数值序列和当前帧查询图的直方图数值序列的皮尔逊相关系数(Peason Correlation Coefficient)：

上式中，c表示当前查询帧和注册背景帧的相似度数值，范围为[0，1]。

S304，根据经验，在门完全关上标志物完整存在时，当前帧和背景帧的相似度数值很大；门完全打开标志物完全不存在时，当前帧和背景帧的相似度数值很小。具体如下图6所示：

设置完全关的相似度阈值为t_max，具体数值为0.85；设置完全开的相似度阈值为t_min，具体数值为0.55，c表示当前帧的相似度数值。设L为当前帧的状态，包含(Closed，Opened，Guess)三种类别。其中，Closed表示门完全关；Opened表示门完全开，Guess表示门状态不明确，则当前帧状态判断符合下式：

通过以上设定的两类门状态极值，可以保证输出的门状态的结果相对精确。

S40，通过接收每帧的门状态类型，结合时域统计，分析当前电梯是否出现反复开关门现象，并且输出对应告警信号。

具体地，通过接收每帧的门状态类型，结合时域统计，分析当前电梯是否出现反复开关门现象，并且输出对应告警信号进一步包括以下步骤：

将反复开关门检测总时长均分为8段，每段按照将单次帧规则判断是否发生开关门过程，累计计数，如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号。

例如，一具体应用实例中，参见图7，表示反复开关门检测帧序列，设检测总时长为40s，帧率为25帧，总共的检测帧序列为从当前帧往前数999帧的前1000帧。

图7中的正方形表示当前帧的状态为门状态不明确，三角形表示当前帧的状态为门完全关，椭圆形表示当前帧状态为门完全开。

图7中的虚线矩形区域表示检测的单次开关门的帧序列，检测时长为5s(表示一次门从开到关的运动时间)，帧数为125帧。分别统计其中的完全开和完全关状态的帧数。如果完全开的帧数大于20，完全关的帧数大于5，则认为在此时间段，电梯完成一次开关门。

将反复开关门检测总时长均分为8段，每段按照前一步骤的规则判断是否发生开关门过程，累计计数。如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号，通知维保部门进行检查修理。

与本发明方法实施例对应的，参见图8，本发明提供了一种基于计算机视觉技术的电梯门反复开关的检测系统，包括视频采集单元，门状态检测单元和告警逻辑单元，其中，

视频采集单元安装在电梯轿厢内顶部，用于采集轿厢内的视频图像信息，包括在电梯门上较高处粘贴标志物；视频采集单元包括但不限于监控摄相机，深度相机等获取图像数据的设备。

门状态检测单元用于对标志物进行检测，采集电梯门图像进行门状态分析，根据传输过来的检测区域，在图像灰度通道，将门完全关闭状态下注册背景模板，后续不断计算当前帧直方图和注册背景帧直方图的差距，判定门的开关状态；门状态检测单元包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备。为了提高检测准确性，需要在门上粘贴醒目的安全标志物，包括但不限于安全提示标志，图像广告等，同时为了避免人为干扰，遮挡，标志物贴于电梯门较高处，标志物粘贴示意图可如图2所示。

为了提高运算速度，此处选取门上粘贴的安全标志物进行检测。对于每台电梯，在初始化检测系统时，通过人工标定的方式，标定出电梯门上安全标志物所在的矩形区域作为检测区域，图3的方框位置即为检测区域。

参见图4，S30进一步包括以下步骤：

S301，对于输入的检测区域的彩色图像，先将三通道的彩色图像转化为单通道的灰度图。具体转换过程如下：

设(r，g，b)分别代表一个像素点在红绿蓝三个通道的数值，它们的值都在[0，255]范围内，现在要把这个像素转为单独的灰度通道值v，具体转换公式为：

v＝r*0.299+g*0.587+b*0.114

调整过后，灰度图像单个像素点的取值范围同样在[0，255]。

S302，在得到灰度通道的图像后，通过统计当前图中不同区段像素值的像素点数量，得到图像的直方图，具体流程如图5所示，具体执行过程为：

1)对于输出的灰度图像，将所有像素点的像素值从原始的[0，255]范围，以15为划分间隔，进行归一化，分为17个区段。

2)统计以上17个区段各自包含的像素点总数，如[0，14]范围的像素点数量为50，[15-29]范围的像素点数量为112。

3)将所有区段统计的像素点数量按照区段排列顺序，依次绘制到同一张图上，即可得到图4中的图像直方图。

S303，如图4所示，在系统初始启动阶段，选择门关闭的时候，先注册生成背景图像的直方图作为固定的背景直方图，存储到数据库中。之后，每次新的图像帧数据进入，按照相同的方式，提取当前图像的直方图信息，与数据库中已有的背景直方图进行匹配。

图5中的直方图也可以看成是一组数值序列{V₁…V₁₇}，V_n即表示在某一像素值区段统计到的像素点数量值。设背景直方图的数值序列为{X₁...X₁₇}，当前帧查询图的直方图数值序列为{Y₁...Y₁₇}，计算背景直方图数值序列和当前帧查询图的直方图数值序列的皮尔逊相关系数(Peason Correlation Coefficient)：

上式中，c表示当前查询帧和注册背景帧的相似度数值，范围为[0，1]。

S304，根据经验，在门完全关上标志物完整存在时，当前帧和背景帧的相似度数值很大；门完全打开标志物完全不存在时，当前帧和背景帧的相似度数值很小。具体如下图6所示：

设置完全关的相似度阈值为t_max，具体数值为0.85；设置完全开的相似度阈值为t_min，具体数值为0.55，c表示当前帧的相似度数值。设L为当前帧的状态，包含(Closed，Opened，Guess)三种类别。其中，Closed表示门完全关；Opened表示门完全开，Guess表示门状态不明确，则当前帧状态判断符合下式：

通过以上设定的两类门状态极值，可以保证输出的门状态的结果相对精确。

告警逻辑单元用于接收门状态检测单元输出的检测信启、，统计当前电梯单位时间的开关门状态数据，分析是否发生反复开关门，并且输出对应告警信号。告警逻辑单元包括但不限于CPU，ARM，DSP，GPU，FPGA，ASIC，单片机等通用处理设备。接收到告警信号后，传送给相关维保部门，进行及时的电梯维修。

具体地，通过接收每帧的门状态类型，结合时域统计，分析当前电梯是否出现反复开关门现象，并且输出对应告警信号进一步包括以下步骤：

将反复开关门检测总时长均分为8段，每段按照将单次帧规则判断是否发生开关门过程，累计计数，如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号。

例如，一具体应用实例中，参见图7，表示反复开关门检测帧序列，设检测总时长为40s，帧率为25帧，总共的检测帧序列为从当前帧往前数999帧的前1000帧。

图7中的正方形表示当前帧的状态为门状态不明确，三角形表示当前帧的状态为门完全关，椭圆形表示当前帧状态为门完全开。

图7中的虚线矩形区域表示检测的单次开关门的帧序列，检测时长为5s(表示一次门从开到关的运动时间)，帧数为125帧。分别统计其中的完全开和完全关状态的帧数。如果完全开的帧数大于20，完全关的帧数大于5，则认为在此时间段，电梯完成一次开关门。

将反复开关门检测总时长均分为8段，每段按照前一步骤的规则判断是否发生开关门过程，累计计数。如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号，通知维保部门进行检查修理。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (2)

1.一种基于计算机视觉技术的电梯门反复开关的检测方法，其特征在于，包括以下步骤：

在电梯门上较高处粘贴标志物；

对标志物进行检测，采集电梯门图像进行门状态分析；

对于输入的检测区域的彩色图像，先将三通道的彩色图像转化为单通道的灰度图；

在得到灰度通道的图像后，通过统计当前图中不同区段像素值的像素点数量，得到图像的直方图；

在系统初始启动阶段，选择门关闭的时候，先注册生成背景图像的直方图作为固定的背景直方图，存储到数据库中；之后，每次新的图像帧数据进入，按照相同的方式，提取当前图像的直方图信息，与数据库中已有的背景直方图进行匹配；

在门完全关上标志物完整存在时，当前帧和背景帧的相似度数值很大；门完全打开标志物完全不存在时，当前帧和背景帧的相似度数值很小；

将反复开关门检测总时长均分为8段，每段按照单次帧规则判断是否发生开关门过程，累计计数，如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号。

2.一种基于计算机视觉技术的电梯门反复开关的检测系统，其特征在于，包括视频采集单元，门状态检测单元和告警逻辑单元，其中，

所述视频采集单元安装在电梯轿厢内顶部，用于采集轿厢内的视频图像信息，在电梯门上较高处粘贴标志物；

所述门状态检测单元用于对标志物进行检测，采集电梯门图像进行门状态分析，对于输入的检测区域的彩色图像，先将三通道的彩色图像转化为单通道的灰度图；

在得到灰度通道的图像后，通过统计当前图中不同区段像素值的像素点数量，得到图像的直方图；

在系统初始启动阶段，选择门关闭的时候，先注册生成背景图像的直方图作为固定的背景直方图，存储到数据库中；之后，每次新的图像帧数据进入，按照相同的方式，提取当前图像的直方图信息，与数据库中已有的背景直方图进行匹配；

在门完全关上标志物完整存在时，当前帧和背景帧的相似度数值很大；门完全打开标志物完全不存在时，当前帧和背景帧的相似度数值很小；

所述告警逻辑单元用于接收门状态检测单元输出的检测信息，统计当前电梯单位时间的开关门状态数据，分析是否发生反复开关门，并且输出对应告警信号，其中分析是否出现反复开关门，并且输出对应告警信号进一步包括以下步骤：

将反复开关门检测总时长均分为8段 ，每段按照将单次帧规则判断是否发生开关门过程，累计计数，如果整个反复开关门检测时段中，发生开关门过程的总次数超过6次 ，则认为该电梯门的开关门存在问题，发出对应的反复开关门告警信号。

Images