CN112347873B - 梯控方法 - Google Patents

Abstract

本发明涉及一种梯控方法，包括以下步骤：a、采集电梯轿厢内的图像数据，检测电梯门的开关状态；b、若电梯门处于门开状态，则进行电瓶车检测、人体检测和相机遮挡检测，所述电瓶车检测包括检测电瓶车是否出现以及是否入梯；c、若检测出有电瓶车入梯，或者，在电梯开门过程中检测出电瓶车但遮挡检测结果为图像数据采集设备被遮挡，则发出梯控信号。本发明的方法进行了相机遮挡检测，从而可以实现在人为遮挡监控相机的情况下依然能够发出有效的梯控信号。

Description

梯控方法

技术领域

本发明涉及一种用于限制电瓶车入梯的梯控方法。

背景技术

由于电瓶车价格合适、使用方便，已经成为人们日常主要交通工具之一。但很多使用者安全意思薄弱，乱停乱放、随意私拉电线进行电瓶车充电，并由此导致的电瓶车火灾事故偶有发生，给自己、也同时给他人的生命安全带来了极大的危险。2018年公安部下发《关于规范电动车停放充电加强火灾防范的通告》，明确指出规范电动车停放充电行为、严厉查处违规停放充电行为，但仍难有效的进行电瓶车乱停、乱充电治理。近年来人口密集的高层住宅等区域电瓶车乘梯上楼问题更加突出，物业管理人员劝阻效果有限，通过技术手段进行电瓶车入梯拦截的需求越来越迫切。电梯是一种密闭环境，时常会出现乘客被困电梯内且缺少求助工具，或乘客在电梯内打架斗殴等情况，为了保障乘客的生命安全，加装视频监控设施基本上已成为每台电梯的必选。近些年来基于电梯内加装的监控设施进行门开关状态检测、困人检测等产品不断推出，该类产品能够有效的保障乘客的乘梯安全，但其他楼宇安全也越发的被人们所关注，其中电瓶车入梯检测能够协助阻断电瓶车上楼，防止由于电瓶车入梯而引起的不安全事故发生。

专利CN110436294A公开了一种电瓶车入梯检测方法，该方法对进入电梯轿厢内的目标对象进行拍摄，通过深度学习算法进行电瓶车检测，判断是否存在有电瓶车。如果有电瓶车，产生电梯控制信号，电梯暂时停止运行；当电瓶车移出电梯轿厢，断开电梯控制信号。可见，该方法可以初步的检测出电瓶车进入电梯的情况。但是，在实际情况中，存在人为遮挡的情况。例如，将电瓶车停放在梯外后利用雨伞等入梯遮挡相机，再将电瓶车推进电梯。并且，该专利没有根据电梯门开关状态进行梯控，所以会产生电梯在门关状态仍然发出梯控信号的情况，从而容易影响电梯正常的控制逻辑。

发明内容

本发明的目的在于提供一种梯控方法，从而可在人为遮挡监控相机的情况下仍能发出梯控信号。

为实现上述目的，本发明提供一种梯控方法，包括以下步骤：

a、采集电梯轿厢内的图像数据，检测电梯门的开关状态；

b、若电梯门处于门开状态，则进行电瓶车检测、人体检测和遮挡检测，所述电瓶车检测包括检测电瓶车是否出现以及是否入梯；

c、若检测出有电瓶车入梯，或者，在电梯开门过程中检测出电瓶车但遮挡检测结果为图像数据采集设备被遮挡，则发出梯控信号。

根据本发明的一个方面，在检测电瓶车是否出现时，收集电梯场景中的电瓶车样本，利用数据标定工具对电瓶车样本进行标注，利用深度学习目标检测网络模型对电瓶车样本进行训练，得到电瓶车检测网络；

将所述图像数据输入所述电瓶车检测网络，得到所述图像数据中的电瓶车数目，并且所述图像数据中每辆电瓶车均被标注有外接矩形框。

根据本发明的一个方面，所述步骤(b)中的人体检测包括，收集电梯场景中的人体样本，利用数据标定工具对人体样本进行标注，利用深度学习目标检测网络模型对人体样本进行训练，得到人体检测网络；

将所述图像数据输入所述人体检测网络，得到所述图像数据中的人体数目。

根据本发明的一个方面，所述步骤(b)中的遮挡检测为，利用首次检测到电瓶车的图像数据帧作为参考帧，使后续帧与参考帧对比并计算遮挡率，若遮挡率大于第一阈值，则判断图像数据采集设备被遮挡，所述第一阈值的计算公式为：

base_thre+person_num×ratio：

其中，base_thre为基准阈值，取值范围为[0.3,0.7]；person_num为人体数目；ratio为比率系数，取值范围[0.02,0.1]。

根据本发明的一个方面，将所述图像数据进行缩放，并对缩放图像进行网格划分，划分后对每个小格提取特征，构成特征图。

根据本发明的一个方面，所述缩放图像具有30行×30列的像素，网格划分后的每个小格具有3行×3列的像素；

计算后续帧每个小格的特征和参考帧的特征的相似度，相似度低于第二阈值即判断当前小格发生变化，所述第二阈值取值范围[0.5,0.9]；

统计所述特征图中发生变化的小格的总数，并计算百分率得到遮挡率。

根据本发明的一个方面，每个小格提取的特征为局部二值模式特征，以中心点亮度为阈值，其余像素区域亮度若大于该阈值，则标记为1，否则标记为0，并进行编码获得二进制编码。

根据本发明的一个方面，每次电梯开门后检测到电瓶车时，更新参考帧。

根据本发明的一个方面，判定电瓶车入梯的条件为：

y_bottom-y_check＞0；

且

(y_bottom-y_check)＞thre×(y_bottom-y_top)；

式中，y_bottom和y_top分别为电瓶车在所述图像数据中的下边界和上边界，y_check为电瓶车在所述图像数据中的检测位置，thre为电瓶车进入电梯的程度，取值范围为[0.1,0.9]。

根据本发明的构思，设置相机遮挡检测的步骤，如此，可以在人为遮挡的情况下依然能够发出梯控信号，从而最大程度的避免电瓶车入梯。另外，在步骤开始即进行电梯门开关状态的检测，从而保证在电梯门关闭的状态不会发出梯控信号，避免影响电梯的正常控制逻辑，消除了安全隐患。并且，本发明只需要视觉传感设备，无需任何其他辅助设施。

根据本发明的一个方案，在电瓶车检车过程中，检测电瓶车是否出现以及是否入梯。而在检测电瓶车是否出现时，在图像数据中电瓶车位置标注外接矩形框，这样，在入梯检测时可以根据矩形框的位置判断电瓶车是否入梯，这种判断方式及准确又简单。

根据本发明的一个方案，额外设置检测电梯轿厢内人数的步骤，从而可以根据人员数量合理的设置第一阈值，区分人员遮挡和人为遮挡的情况，从而避免了发出错误的梯控信号而导致电梯不能正确运行。

附图说明

图1是示意性表示根据本发明的一种实施方式的梯控方法的硬件控制流程图；

图2是示意性表示根据本发明的一种实施方式的梯控方法的整体流程图；

图3是示意性表示根据本发明的一种实施方式的梯控方法的检测网络训练流程图；

图4是示意性表示根据本发明的一种实施方式的梯控方法的检测网络输出的图像示意图；

图5是示意性表示根据本发明的一种实施方式的梯控方法的电瓶车入梯检测判定方式示意图；

图6是示意性表示根据本发明的一种实施方式的梯控方法的遮挡检测流程图；

图7是示意性表示根据本发明的一种实施方式的梯控方法的图像缩放示意图；

图8是示意性表示根据本发明的一种实施方式的梯控方法的缩放图像进行网格划分的示意图；

图9是示意性表示根据本发明的一种实施方式的梯控方法的LBP特征提取过程示意图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

参见图1，本发明的梯控方法中的主要流程包括，由视频采集模块采集图像数据，由分析模块对图像数据进行分析，最终由控制模块根据分析结果进行梯控。本发明中，视频采集设备(或称图像数据采集设备)为电梯轿厢内的监控相机。而梯控(仲裁)可以为电梯门开/关的控制，也可以带有语音提示等。

参见图2，根据本发明的构思，为解决现有技术中的问题，本发明在分析步骤中额外增加了分析相机是否被遮挡以及分析电梯门的开关状态的步骤。从而使得及时存在人为故意遮挡相机的现象，也能及时制止，以实现最大程度的避免电动车入梯的作用。另外，在电梯关门状态下不进行任何分析，进而不发出任何梯控信号，避免在电梯运行期间影响电梯正常控制逻辑，导致不安全事件发生。

具体的，本发明中，利用电梯轿厢内部的监控相机实时地采集电梯轿厢内的图像数据。综合上述，本发明首先要检测电梯门的开关状态，只有在电梯门打开时才进行后续分析、控制流程，否则不作任何分析。现有的门开关检测方式一般可以应用到本发明中，本发明对门状态检测的方式不做特殊限定。若电梯门打开，则进行电瓶车检测和遮挡检测。电瓶车检测包括检测电瓶车是否出现以及电瓶车是否入梯。另外，本发明所称的电梯门处于门开状态也包括门开的过程。通常理解，若电梯门打开过程中检测出梯外出现电瓶车，但后续检测发现相机被遮挡，则可以确定是人为故意遮挡相机使电瓶车进入电梯。

本发明中，在检测电瓶车是否出现的过程中，利用了检测网络进行检测。此步骤需要事先收集电梯场景的电瓶车图像样本，随后使用数据标定工具进行电瓶车样本标注。具体的，如图3所示，本实施方式利用YOLO目标检测网络模型对电瓶车样本数据进行训练，从而得到电瓶车检测网络。随后，将实时采集的图像数据送入电瓶车检测网络检测电瓶车是否出现。如图4所示，经过上述检测后，可输出电瓶车的数目。并且，图像数据中的每辆电瓶车外部均标注有外接矩形框，如图5所示。如此，外接矩形框的上下边界均可视为电瓶车的上下边界。由于监控相机一般对着电梯门区域采集，因此在其采集到的图像数据中，随着电瓶车进入电梯，其外接的矩形框会逐渐下移。因此可如图5所示，设置一条水平的检查线，当矩形框过低则可视为电瓶车已经进入电梯轿厢，可发出梯控信号。本发明中，判定电瓶车入梯的条件为：y_bottom-y_check＞0；且(y_bottom-y_check)＞thre×(y_bottom-y_top)。式中，y_bottom和y_top分别为电瓶车的矩形框在图像数据中的下边界和上边界，y_check为电瓶车在图像数据中的检测位置(即检查线的高度)，thre为电瓶车进入电梯的程度(可以为矩形框面积比例)，取值范围为[0.1,0.9]，默认值为0.3。当然，本发明此步骤只检测电瓶车是否入梯，若不满足上述判定，则可认为电瓶车只是路过电梯而未进入，此时只要相机未被遮挡则不干涉电梯正常控制逻辑。

按照上述可以检测出电梯开门过程中是否出现电瓶车以及电瓶车是否入梯。在进行遮挡检测时，目的即为在有人遮挡相机的情况下也能发出梯控信号。本发明检测相机是否被遮挡是基于后续帧与参考帧对比得出。具体的，参见图6，首先对图像数据进行特征提取，将当前帧特征与参考帧特征进行对比，并计算遮挡率，若遮挡率较大则判断当前相机为遮挡。本发明将在开门后首次检测到存在电瓶车则将其作为参考帧。当然，在后续每次开门后检测到电瓶车则更新参考帧(即将当前帧作为参考帧)。若检测时参考帧还未建立则不进行遮挡判断(即作无遮挡判定)。

参见图7，在提取特征的过程中，首先将原始的图像数据(I_src)_M×N缩放成30行×30列(像素)的缩放图像(I_resize)_30×30。随后参见图8,对缩放图像(I_resize)_30×30按每格3行×3列(像素)进行网格划分，划分后对每个小格取局部二值模式特征(即LBP特征)，构成特征图(I_feature)_10×10。如图9所示，在提取LBP特征时，以位于中心点像素格亮度为阈值，其余像素区域亮度若大于该阈值，则标记为1，否则标记为0，并按一定顺序进行编码获得二进制编码，即LBP特征。按照上述，在进行遮挡检测时，将电梯门打开后的首次检测到电瓶车的图像数据帧作为参考帧，随后使后续帧与参考帧进行对比，计算遮挡率，当遮挡率大于第一阈值时即判断当前图像数据采集设备被遮挡。本发明中，遮挡率的计算方式为，计算特征图中每个小格的当前特征(即上述LBP特征)和参考帧的特征的相似度，相似度低于第二阈值即判断当前小格发生变化。本发明中，第二阈值取值范围[0.5,0.9]，默认值0.8。随后统计特征图中所有发生变化的小格的总数，并计算百分率(即总数除以100)得到遮挡率。由此可知，上述后续帧与参考帧的对比也可以理解为两帧的特征图的对比。在本实施方式中，由于上述LBP特征为二进制编码，因此利用汉明距离作为相似性度量。

当然，本发明中还区别了人员遮挡和人为遮挡情况，例如，在满员情况下，也可能大面积遮挡相机，若不进行区分则会造成误判。本发明通过合理选取第一阈值的方式来实现此目的。具体的，需要额外设置人数检测的步骤。本发明依然利用检测网络的方式检测电梯轿厢内的人数。首先，收集电梯场景中的人体样本，利用数据标定工具对人体样本进行标注，利用深度学习目标检测网络模型对人体样本进行训练，得到人体检测网络。可将图像数据输入人体检测网络，得到图像数据中的人体数目。第一阈值的计算公式为：

base_thre+person_num×ratio：

其中，base_thre为基准阈值，取值范围为[0.3,0.7]，默认值0.4；person_num为人体数目；ratio为比率系数，取值范围[0.02,0.1]，默认值0.05。由此，本发明通过第一阈值的设定，可以确保在满员情况下不会误判为人为遮挡，避免了错误的梯控信号。

以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种梯控方法，包括以下步骤：

a、采集电梯轿厢内的图像数据，检测电梯门的开关状态；

b、若电梯门处于门开状态，则进行电瓶车检测、人体检测和遮挡检测，所述电瓶车检测包括检测电瓶车是否出现以及是否入梯；

所述步骤b中的遮挡检测为，利用首次检测到电瓶车的图像数据帧作为参考帧，使后续帧与参考帧对比并计算遮挡率，若遮挡率大于第一阈值，则判断图像数据采集设备被遮挡；

将所述图像数据进行缩放，并对缩放图像进行网格划分，划分后对每个小格提取特征，构成特征图；

所述缩放图像具有30行×30列的像素，网格划分后的每个小格具有3行×3列的像素；

计算后续帧每个小格的特征和参考帧的特征的相似度，相似度低于第二阈值即判断当前小格发生变化，所述第二阈值取值范围[0.5,0.9]；

统计所述特征图中发生变化的小格的总数，并计算百分率得到遮挡率；

c、若检测出有电瓶车入梯，或者，在电梯开门过程中检测出电瓶车但遮挡检测结果为图像数据采集设备被遮挡，则发出梯控信号；

判定电瓶车入梯的条件为：

；

且

；

式中，

和

分别为电瓶车在所述图像数据中的下边界和上边界，

为电瓶车在所述图像数据中的检测位置，thre为电瓶车进入电梯的程度，取值范围为[0.1,0.9]。

2.根据权利要求1所述的梯控方法，其特征在于，在检测电瓶车是否出现时，收集电梯场景中的电瓶车样本，利用数据标定工具对电瓶车样本进行标注，利用深度学习目标检测网络模型对电瓶车样本进行训练，得到电瓶车检测网络；

将所述图像数据输入所述电瓶车检测网络，得到所述图像数据中的电瓶车数目，并且所述图像数据中每辆电瓶车均被标注有外接矩形框。

3.根据权利要求1所述的梯控方法，其特征在于，所述步骤b中的人体检测包括，收集电梯场景中的人体样本，利用数据标定工具对人体样本进行标注，利用深度学习目标检测网络模型对人体样本进行训练，得到人体检测网络；

将所述图像数据输入所述人体检测网络，得到所述图像数据中的人体数目。

4.根据权利要求1所述的梯控方法，其特征在于，所述第一阈值的计算公式为：

：

其中，

为基准阈值，

取值范围为[0.3,0.7]；为人体数目；

为比率系数，取值范围[0.02,0.1]。

5.根据权利要求1所述的梯控方法，其特征在于，每个小格提取的特征为局部二值模式特征，以中心点亮度为阈值，其余像素区域亮度若大于该阈值，则标记为1，否则标记为0，并进行编码获得二进制编码。

6.根据权利要求1、4或5所述的梯控方法，其特征在于，每次电梯开门后检测到电瓶车时，更新参考帧。

Images