CN110950208A

CN110950208A - 一种基于语义分割的禁止电动车入梯上行联动梯控方法

Info

Publication number: CN110950208A
Application number: CN201911103034.2A
Authority: CN
Inventors: 陈国特; 陈清梁; 王超; 王伟; 施行; 蔡巍伟
Original assignee: Zhejiang Xinzailing Technology Co ltd
Current assignee: Zhejiang Xinzailing Technology Co ltd
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2020-04-03
Anticipated expiration: 2039-11-12
Also published as: CN110950208B

Abstract

本发明涉及一种基于语义分割的禁止电动车入梯上行联动梯控方法，包括：S1.控制单元接收图像采集装置所摄取的电梯图像，并判断电梯是否处于开门状态，若所述电梯处于开门状态，则所述控制单元检测所述图像中是否存在电动车，若存在，则发出告警；S2.所述控制单元检测所述电梯是否启动，若否，则所述控制单元接管所述电梯的主动权；S3.所述控制单元重新接收所述图像采集装置所摄取的电梯图像，并判断所述电梯图像中是否仍存在所述电动车，若存在，则判断所述电动车是否在所述电梯内；S4.若所述电动车在所述电梯内，则所述控制单元控制所述电梯静止并开门。本发明有效遏制了居民将电动车带入电梯的问题，保障了电梯及居民的安全。

Description

一种基于语义分割的禁止电动车入梯上行联动梯控方法

技术领域

本发明涉及电梯领域，尤其涉及一种基于语义分割的禁止电动车入梯上行联动梯控方法。

背景技术

随着城市的发展，电梯成为了现代建筑必不可少的部分。在城市的写字楼和社区楼宇中，电梯的价值日益凸显。同时，众所周知，电动车也已经成为市民短途出行的主要交通工具。由于电动车电池存在需要经常充电、经常容易丢失等的问题。因此，居民经常将电动车放置在居民楼内，尤其是高层建筑，经常有居民乘坐电梯时，将电动车一同带入电梯并带入楼上。而电动车又经常出现起火爆炸等事故，进而导致居民楼中面临非常严峻的事故隐患。此外，电动车质量较重，对电梯的使用寿命和安全性有严重影响。现如今，很多小区的入门口均安装梅花桩，以防止居民将电动车推入电梯内部。但是，即便是采用如梅花桩这类的措施，仍然有不少不自觉的居民，强行或者偷偷将电动车推进电梯里，运送至高楼的楼道里。

发明内容

本发明的目的在于提供一种基于语义分割的禁止电动车入梯上行联动梯控方法，解决乘客携带电动车乘梯的问题。

为实现上述发明目的，本发明提供一种基于语义分割的禁止电动车入梯上行联动梯控方法，包括：

S1.控制单元接收图像采集装置所摄取的电梯图像，并判断电梯是否处于开门状态，若所述电梯处于开门状态，则所述控制单元检测所述图像中是否存在电动车，若存在，则发出告警；

S2.所述控制单元检测所述电梯是否启动，若否，则所述控制单元接管所述电梯的主动权；

S3.所述控制单元重新接收所述图像采集装置所摄取的电梯图像，并判断所述电梯图像中是否仍存在所述电动车，若存在，则判断所述电动车是否在所述电梯内；

S4.若所述电动车在所述电梯内，则所述控制单元控制所述电梯静止并开门。

根据本发明的一个方面，步骤S4中，若所述电动车未在所述电梯内，所述控制单元重新接收所述图像采集装置所摄取的电梯图像，并判断所述电梯图像中是否仍存在所述电动车，直至所述电动车消失，消除所述告警，所述电梯重新获得控制权。

根据本发明的一个方面，步骤S3中，判断所述电动车是否在所述电梯内的步骤中，包括：

S31.获取所述电动车在所述图像中的坐标位置，以及获取与所述电梯轿厢底板相对应的掩模；

S32.判断检测到的所述电动车与所述掩模是否有重叠，若有重叠，则确定所述电动车在所述电梯内。

根据本发明的一个方面，步骤S31中，所述掩模在所述电梯空载状态生成，其生成步骤包括：

S311.获取所述电梯在空闲状态下的空载图像；

S312.对所述空载图像进行语义分割获得所述电梯轿厢底板相对应的掩模。

根据本发明的一个方面，步骤S312中，将所述掩模与所述电梯的电梯ID相对应的储存，以供重复使用。

根据本发明的一个方面，步骤S1中，若未检测到所述电动车，则以预设的第一时间间隔重新采集所述电梯图像。

根据本发明的一个方面，步骤S3中，所述控制单元以预设的第二时间间隔重新接收所述图像采集装置所摄取的电梯图像；

所述第二时间间隔小于所述第一时间间隔。

根据本发明的一个方面，步骤S4中，若所述电动车未在所述电梯内，所述控制单元以预设的第二时间间隔重新接收所述图像采集装置所摄取的电梯图像，并用于判断是否存在所述电动车，直至所述电动车消失。

根据本发明的一个方面，步骤S2中，若所述控制单元检测到所述电梯已经启动，则由所述电梯自身控制开关门及运行状态。

根据本发明的一种方案，通过判断电梯门开门状态时是否具有电动车进而能够做出提前告警，能够实现对乘客的及时提醒，避免乘客误将电动车带入电梯内，对保证电梯运行和乘客安全有利，此外本发明能够做到提前预警，进而对提高电梯的运行效率有利，避免耽误乘客时间。

根据本发明的一种方案，当检测到电梯开门状态存在电动车时，通过判断电梯当时是否启动，进而避免了告警系统与电梯自身系统之间的冲突，进而对保证电梯稳定运行和乘客的人身安全有利。

根据本发明的一种方案，当控制单元接管电梯后，若轿厢内存在电动车，控制单元强制电梯开门并停止运行，起到了良好的告警作用，并且能够实现对乘客错误行为纠正的作用，有效保证了电梯的安全运行和乘客的人身安全。

附图说明

图1示意性表示根据本发明的一种实施方式的禁止电动车入梯上行联动梯控方法步骤框图图；

图2示意性表示根据本发明的一种实施方式的禁止电动车入梯上行联动梯控方法的流程图；

图3示意性表示根据本发明的一种实施方式的禁止电动车入梯上行联动梯控方法中Enet网络架构图；

图4示意性表示根据本发明的一种实施方式的禁止电动车入梯上行联动梯控方法中入梯判断示意图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，根据本发明的一种实施方式，本发明的一种基于语义分割的禁止电动车入梯上行联动梯控方法，包括：

S1.控制单元接收图像采集装置所摄取的电梯图像，并判断电梯是否处于开门状态，若电梯处于开门状态，则控制单元检测图像中是否存在电动车，若存在，则发出告警；

S2.控制单元检测电梯是否启动，若否，则控制单元接管电梯的主动权；

S3.控制单元重新接收图像采集装置所摄取的电梯图像，并判断电梯图像中是否仍存在电动车，若存在，则判断电动车是否在电梯内；

S4.若电动车在电梯内，则控制单元控制电梯静止并开门。

根据本发明的一种实施方式，在电梯内设置有用于采集电梯图像的图像采集装置，且其朝向电梯门的方向。图像采集装置连接有控制单元用于接收其所采集的图像。在本实施方式中，该控制单元可对采集的图像进行判断并控制电梯的运行。在本实施方式中，控制装置中设置有电梯开关门识别算法。当控制装置接收到图像采集装置摄取的图像后，首先通过电梯开关门识别算法进行电梯门开关状态的识别。若控制装置通过采集的图像判断出电梯门为关，则重新获取图像采集装置摄取的图像进行判断。若控制装置识别出电梯门为开，则控制装置调用基于YOLOv3的目标检测算法检测图像中是否有电动车。若未检测到，则等待第一时间间隔T1后重新采集图像进行目标检测，若检测到电动车，则产生一个电动车告警。在本实施方式中，基于YOLOv3的目标检测算法，其主干网络为darknet19网络，通过聚类标记有电动车的真值数据获得anchor，特别是针对停电梯门口过道以及正准备进入的电动车，所训练的模型具有很高的检出性。

根据本发明的一种实施方式，因为触发分析请求有时间差，步骤S2中，此时需要判断一下轿厢是否启动，若轿厢未启动，则控制装置获得电梯的主动权。在本实施方式中，步骤S2中，若控制单元检测到电梯已经启动，则由电梯自身控制开关门及运行状态。

根据本发明的一种实施方式，控制装置获得电梯的主动权后，控制单元以预设的第二时间间隔重新接收图像采集装置所摄取的电梯图像。在本实施方式中，第二时间间隔小于第一时间间隔。通过将第一时间间隔设置较长可以有效降低在判断电梯门是否开关时的采集次数，对避免采集过于频繁造成系统资源浪费的情况有利。而将第二时间间隔设置较小，可及时的判断电梯内是否有电动车进入，能够及时的对乘客提出告警，提高预警效率，进而对保证乘客及电梯的安全性有利。此外，将第二时间间隔设置较小还能通过较高频率采集电梯内图像判断电动车是否从门口进入轿厢空间或者是否从门口离开。

根据本发明的一种实施方式，在步骤S3中，当控制单元重新获取的图像中任存在电动车，则开始判断电动车是否金额如了轿厢内。进而，步骤S3中，判断电动车是否在电梯内的步骤中，包括：

S31.获取电动车在图像中的坐标位置，以及获取与电梯轿厢底板相对应的掩模。在本实施方式中，掩模在电梯空载状态生成，其生成步骤包括：

S311.获取电梯在空闲状态下的空载图像；

S312.对空载图像进行语义分割获得电梯轿厢底板相对应的掩模。在本实施方式中，控制装置调用ENet语义分割算法获得轿厢地板的Mask掩模。针对不同的电梯，控制装置对每一个电梯点位采集一张无人时候的图像，避免地板被遮挡，做完分割并保留Mask区域节省计算资源，每次触发电动车检测只需要对应取出该电梯点位的地板区域，此外还需要保证轿厢图像采集装置不发生位移。在本实施方式中，将掩模与电梯的电梯ID相对应的储存，以供重复使用。

如图3所示，在本实施方式中，基于Enet语义分割算法的网络架构中，Enet为Encoder-Decoder结构，其中bottleneck1，bottleneck2为Encoder阶段，主要用于特征提取，获得图像的高级语义，bottleneck1部分共包含5个bottleneck，其中bottleneck1.0做了一次下采样，网络提前下采样去除视觉冗余，减少计算量。bottleneck为基本模块，通过1*1卷积核降维，经过归一化和激励层再做卷积运算，再通过1*1卷积核升维。Bottleneck2.0做第二次下采样，后面8个bottleneck分别做不同的处理，其中dilated为空洞卷积，目的是增大卷积核的感受野，减少计算量，同时维护了特征图的分辨率。为了是空洞卷积发挥最大作用，ENet中穿插使用了普通卷积，分离卷积，空洞卷积。asymmetric为分离卷积，分离卷积可以减少计算量，增强非线性表达能力。Decoder阶段主要是将低分辨率的特征图映射回输入尺度，decoder逐步恢复边界信息，每个像素产生独立的类别概率。Enet中Encoder和Decoder并非镜像对称，网络大部分用于Encoder提取特征信息，较少的Decoder在保证分割精度的前提下尽可能的缩减网络体积。其中Bottleneck4.0，Bottleneck5.0做上采样，映射回原尺度的同时做细节微调。分割不同电梯点位的地板区域，图像采集于电梯关门无人情况，背景简单无其他噪声，分割效果较好，整体上Enet达到实时语义分割性能。

S32.判断检测到的电动车与掩模是否有重叠，若有重叠，则确定电动车在电梯内。参见图4所示，如前所述，在电梯空载状态时对各点位电梯采集一张关门无人图像做语义分割，分割后得到每部电梯的地板Mask重复利用，避免每次检测电动车都要做一次分割处理。轿厢相机采集到的图像数据带有电梯ID编号，通过ID可以匹配到该部电梯获得对应的地板Mask。控制装置调用基于YOLOv3的目标检测算法获得电动车坐标区域。通过电动车检测框与地板Mask区域的重叠区域，设置合适的阈值比较，若重叠面积大于该阈值，则判定电动车进入轿厢空间；若在检测到电动车情况下，重叠面积小于该阈值，则电动车在轿厢门外。

根据本发明的一种实施方式，当控制装置确定电动车在电梯内时，此时控制装置行使主动权，强制电梯开门，电梯无法上行。

根据本发明的一种实施方式，步骤S4中，若电动车未在电梯内，控制单元重新接收图像采集装置所摄取的电梯图像，并判断电梯图像中是否仍存在电动车，直至电动车消失，消除告警，电梯重新获得控制权。在本实施方式中，当判断出电动车不在轿厢内，则说明电动车正准备进入或正准备离开，但此时电动车还在电梯门口区域。此时，控制单元继续以预设的第二时间间隔T2重新接收图像采集装置所摄取的电梯图像，并用于判断是否存在电动车，直至电动车消失，此时说明店送车已经离开了电梯的门口区域，进而可消除告警，电梯重新获得控制权后结束。

根据本发明，本发明提出一种基于语义分割的禁止电动车入梯上行联动梯控方法，应用于云梯平台。通过直梯轿厢摄像头在直梯门开情况下抓图判断，通过YOLOv3检测网络发现梯外电动车准备入梯，产生电动车告警，若电梯轿厢还未启动，则控制板获得主动权。按一定时间间隔持续采集图像，检测电动车并输出坐标位置，在有电动车情况下，对电梯地面做ENet语义分割获得地板区域Mask掩模，并判断检测到的电动车区域与地板区域是否有交集，若有交集说明电动车已经进入电梯轿厢，控制板强制开门不关闭，禁止电动车上行，直到乘客骑电动车离开相机视野，在这个过程中继续采集图像做检测，直到检测不到电动车后，消除告警，电梯重新获得控制权。通过该方式禁止了电动车入梯上行，从而避免安全隐患。

上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。

以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于语义分割的禁止电动车入梯上行联动梯控方法，包括：

2.根据权利要求1所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S4中，若所述电动车未在所述电梯内，所述控制单元重新接收所述图像采集装置所摄取的电梯图像，并判断所述电梯图像中是否仍存在所述电动车，直至所述电动车消失，消除所述告警，所述电梯重新获得控制权。

3.根据权利要求2所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S3中，判断所述电动车是否在所述电梯内的步骤中，包括：

4.根据权利要求3所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S31中，所述掩模在所述电梯空载状态生成，其生成步骤包括：

S311.获取所述电梯在空闲状态下的空载图像；

5.根据权利要求4所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S312中，将所述掩模与所述电梯的电梯ID相对应的储存，以供重复使用。

6.根据权利要求5所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S1中，若未检测到所述电动车，则以预设的第一时间间隔重新采集所述电梯图像。

7.根据权利要求6所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S3中，所述控制单元以预设的第二时间间隔重新接收所述图像采集装置所摄取的电梯图像；

所述第二时间间隔小于所述第一时间间隔。

8.根据权利要求7所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S4中，若所述电动车未在所述电梯内，所述控制单元以预设的第二时间间隔重新接收所述图像采集装置所摄取的电梯图像，并用于判断是否存在所述电动车，直至所述电动车消失。

9.根据权利要求8所述的禁止电动车入梯上行联动梯控方法，其特征在于，步骤S2中，若所述控制单元检测到所述电梯已经启动，则由所述电梯自身控制开关门及运行状态。