CN109867186B - 一种基于智能视频分析技术的电梯困人检测方法及系统 - Google Patents

Abstract

本发明实施例公开了一种基于智能视频分析技术的电梯困人检测方法及系统，其中方法实施例包括以下步骤：获取基于深度学习的电梯乘客检测网络；视频采集传感器采集电梯场景图像信息发送至电梯乘客安全检测单元；速度传感器采集电梯运行速度信息发送至电梯乘客安全检测单元，或将电梯故障信号发送至电梯乘客安全检测单元；若当前电梯门处于正常开启状态，电梯乘客安全检测单元进行无困人判定；若当前电梯门处于关闭状态，电梯乘客安全检测单元进行如下处理：进行电梯乘客检测网络检测和前景提取，结合速度传感器传入的数据，若电梯速度小于设定阈值，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定。

Description

一种基于智能视频分析技术的电梯困人检测方法及系统

技术领域

本发明属于电梯安全技术领域，具体涉及一种智能视频分析技术的电梯困人检测方法。

背景技术

电梯是一种非常普及的公共设施，广泛应用在商场、办公区、居民区等场景，给人们的日常生活带来了非常大的便捷，然而由于使用不正确、维保不及时等因素的影响，电梯偶尔会出现故障。门故障是电梯诸多故障中发生频率最高的故障，门故障的种类也比较多，其中电梯不能正常开门可能导致困人事件发生。

一般电梯内都会安装摄像机等监控设备，传统的监控系统在监控中心都会有工作人员24小时监控，一旦有危险行为发生，都应该及时救援，然而实际情况中工作人员由于疲劳或其他因素影响，不能及时响应，从而易导致危险发生。

发明内容

本发明要解决的技术问题是提供一种基于智能视频分析技术的电梯困人检测方法及系统，基于智能视频分析技术对监控设备采集的图像数据进行分析，并结合其他传感器(如速度传感器)采集的数据进行综合分析，正确且及时的进行困人检测，以便向服务台上报报警信息并安抚乘客，保证乘客的生命安全。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例的一方面提供了一种基于智能视频分析技术的电梯困人检测方法，包括以下步骤：

获取基于深度学习的电梯乘客检测网络；

视频采集传感器采集电梯场景图像信息发送至电梯乘客安全检测单元；

速度传感器采集电梯运行速度信息发送至电梯乘客安全检测单元，或将电梯故障信号发送至电梯乘客安全检测单元；

若当前电梯门处于正常开启状态，电梯乘客安全检测单元进行无困人判定；

若当前电梯门处于关闭状态，电梯乘客安全检测单元进行如下处理：进行电梯乘客检测网络检测和前景提取，

所述电梯乘客检测网络检测具体为：将视频采集传感器采集到的图像数据送入电梯乘客检测网络进行乘客检测，检测结果包括当前图像中乘梯乘客的数目，以及每个乘客在图像上的外接矩形框；

所述前景提取具体过程如下：将视频采集传感器采集到的图像数据送入前景提取模块，前景提取模块获取当前图像前景数据；

结合速度传感器传入的数据，若电梯速度小于设定阈值，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定；或接收到电梯故障信号，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定。

优选地，所述获取基于深度学习的电梯乘客检测网络进一步包括以下步骤：

收集电梯场景中的乘客样本图像数据；

使用数据标定工具进行电梯乘客样本标注；

使用基于深度学习目标检测网络对电梯乘客样本数据进行训练，获取电梯乘客检测网络。

优选地，所述有无人判断具体过程如下：遍历电梯乘客检测网络检测到图像上的所有可能乘客目标，在每个乘客外接矩形框区域内统计前景点数，若前景点数小于设定阈值，则认为该检测到的乘客是伪目标，予以删除；若有有效乘客目标保留，则判定当前帧有人，否则判定当前帧无人。

本发明实施例的又一方面提供了一种基于智能视频分析技术的电梯困人检测系统，包括视频采集传感器，速度传感器和电梯乘客安全检测单元，

所述视频采集传感器用于采集电梯场景图像信息发送至电梯乘客安全检测单元；

所述速度传感器用于采集电梯运行速度信息发送至电梯乘客安全检测单元，或将电梯故障信号发送至电梯乘客安全检测单元；

电梯乘客安全检测单元用于获取基于深度学习的电梯乘客检测网络；

若当前电梯门处于正常开启状态，电梯乘客安全检测单元进行无困人判定；

若当前电梯门处于关闭状态，电梯乘客安全检测单元进行如下处理：进行电梯乘客检测网络检测和前景提取，

所述电梯乘客检测网络检测具体为：将视频采集传感器采集到的图像数据送入电梯乘客检测网络进行乘客检测，检测结果包括当前图像中乘梯乘客的数目，以及每个乘客在图像上的外接矩形框；

所述前景提取具体过程如下：将视频采集传感器采集到的图像数据送入前景提取模块，前景提取模块获取当前图像前景数据；

结合速度传感器传入的数据，若电梯速度小于设定阈值，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定；或接收到电梯故障信号，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定。

优选地，所述获取基于深度学习的电梯乘客检测网络进一步包括以下步骤：

收集电梯场景中的乘客样本图像数据；

使用数据标定工具进行电梯乘客样本标注；

使用基于深度学习目标检测网络对电梯乘客样本数据进行训练，获取电梯乘客检测网络。

优选地，所述有无人判断具体过程如下：遍历电梯乘客检测网络检测到图像上的所有可能乘客目标，在每个乘客外接矩形框区域内统计前景点数，若前景点数小于设定阈值，则认为该检测到的乘客是伪目标，予以删除；若有有效乘客目标保留，则判定当前帧有人，否则判定当前帧无人。

采用本发明具有如下的有益效果：本发明针对需要保障电梯乘客乘梯安全，提出了一种仅基于智能视频分析技术的电梯困人检测方案，该检测方案可直接对现有的电梯视频监控进行升级，在无法获取电梯故障信息时仅需额外的添加速度传感器，而无需其他硬件投入。首先对视频输入的图像数据使用检测神经网络进行人体检测和使用视频分析技术获取场景中的前景信息，再对检测神经网络输出的人体区域使用前景信息进行过滤，若场景中持续一段时间均检测到有人在电梯中，且电梯发生故障或电梯的速度接近0，此时判断电梯中有困人。一旦检测到困人事件发生，便向及时向服务台上报报警信息并安抚乘客，保证乘客的生命安全。

附图说明

图1为本发明实施例的基于智能视频分析技术的电梯困人检测方法的步骤流程图；

图2为本发明实施例中采用帧差法进行目标前景提取的步骤流程图；

图3为本发明实施例的基于智能视频分析技术的电梯困人检测系统的结构原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，所示为本发明实施例了一种基于智能视频分析技术的电梯困人检测方法的步骤流程图，包括以下步骤：

获取基于深度学习的电梯乘客检测网络；

具体应用实例中，获取基于深度学习的电梯乘客检测网络进一步包括以下步骤：(1)电梯场景中的乘客样本图像数据；(2)使用数据标定工具进行电梯乘客样本标注；(3)使用基于深度学习目标检测网络对电梯乘客样本数据进行训练，获取电梯乘客检测网络。

其中，在具体应用实例中，所示目标检测网络可采用YOLO目标检测网络。

视频采集传感器采集电梯场景图像信息发送至电梯乘客安全检测单元；

速度传感器采集电梯运行速度信息发送至电梯乘客安全检测单元，或将电梯故障信号发送至电梯乘客安全检测单元；

若当前电梯门处于正常开启状态，电梯乘客安全检测单元进行无困人判定；

若当前电梯门处于关闭状态，电梯乘客安全检测单元进行如下处理：进行电梯乘客检测网络检测和前景提取，

电梯乘客检测网络检测具体为：将视频采集传感器采集到的图像数据送入电梯乘客检测网络进行乘客检测，检测结果包括当前图像中乘梯乘客的数目，以及每个乘客在图像上的外接矩形框；

前景提取具体过程如下：将视频采集传感器采集到的图像数据送入前景提取模块，前景提取模块获取当前图像前景数据；

结合速度传感器传入的数据，若电梯速度小于设定阈值(记为min_v)，且在设定的时间(记为check_time_velocity)内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定；或接收到电梯故障信号，且在设定的时间(记为check_time_fault)内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定。

具体应用实例中，有无人判断过程如下：遍历电梯乘客检测网络检测到图像上的所有可能乘客目标，在每个乘客外接矩形框区域内统计帧差前景点数(记为count)，若帧差前景点数count小于设定阈值(记为min_count)，则认为该检测到的乘客是伪目标(不是真实的乘客)，予以删除。若有有效乘客目标保留，则判定当前帧有人，否则判定当前帧无人。

前景提取模块使用包括但不限于背景建模法、帧差法获取当前图像前景数据。参见图2所示，其中采用帧差法实施的具体过程如下：

流程开始，获取当前帧图像；

一方面判断是否初始化，若已初始化，进一步判定是否达到历史帧更新时间间隔，若达到历史更新时间间隔，丢弃历史图像帧列表中最旧帧，将当前帧存入历史图像帧列表，得到历史图像帧列表；若未达到历史更新时间间隔，结束流程；若未初始化，重置历史图像帧列表中的图像数据为当前帧图像数据，得到历史图像帧列表；

另一方面，将帧差前景帧置0；遍历历史帧列表：当前帧和历史帧图像对应像素值相减后取绝对值，将绝对值大于设定阈值的点在帧差前景图中对应位置的像素值置1(前景点)，然后结束流程。

与本发明方法实施例对应的，本发明实施例提供了一种基于智能视频分析技术的电梯困人检测系统，系统包括：(1)视频采集传感器、(2)速度传感器、(3)电梯乘客安全检测单元组成。电梯乘客安全检测单元根据收集到的各传感器数据进行实时分析，当检测到困人事件发生时，将报警信号通过网络发送到服务台，服务台在对乘客进行安抚的同时，通知救援人员快速进行现场施救。视频采集传感器用于采集电梯场景图像信息发送至电梯乘客安全检测单元。

视频采集传感器安装在轿厢顶部，尽可能的保证摄像机拍摄的区域覆盖电梯乘客区域，用于电梯监控和困人检测。速度传感器可以安装在电梯中的任何位置，用于电梯的实时速度信息获取。电梯乘客安全检测单元对视频采集单元和速度传感器采集的数据进行综合分析与处理，在困人事件发生时及时输出报警信号。其中，速度传感器用于采集电梯运行速度信息发送至电梯乘客安全检测单元，或将电梯故障信号发送至电梯乘客安全检测单元；电梯乘客安全检测单元用于获取基于深度学习的电梯乘客检测网络；若当前电梯门处于正常开启状态，电梯乘客安全检测单元进行无困人判定；若当前电梯门处于关闭状态，电梯乘客安全检测单元进行如下处理：进行电梯乘客检测网络检测和前景提取，其中电梯乘客检测网络检测具体为：将视频采集传感器采集到的图像数据送入电梯乘客检测网络进行乘客检测，检测结果包括当前图像中乘梯乘客的数目，以及每个乘客在图像上的外接矩形框。前景提取具体过程如下：将视频采集传感器采集到的图像数据送入前景提取模块，前景提取模块获取当前图像前景数据；结合速度传感器传入的数据，若电梯速度小于设定阈值，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定；或电梯正发生故障，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定。

具体应用实例中，获取基于深度学习的电梯乘客检测网络进一步包括以下步骤：收集电梯场景中的乘客样本图像数据；使用数据标定工具进行电梯乘客样本标注；使用基于深度学习目标检测网络对电梯乘客样本数据进行训练，获取电梯乘客检测网络。

进一步地，具体应用实例中，有无人判断具体过程如下：遍历电梯乘客检测网络检测到图像上的所有可能乘客目标，在每个乘客外接矩形框区域内统计帧差前景点数，若帧差前景点数小于设定阈值，则认为该检测到的乘客是伪目标，予以删除；若有有效乘客目标保留，则判定当前帧有人，否则判定当前帧无人。

前景提取模块使用包括但不限于背景建模法、帧差法获取当前图像前景数据。参见图2所示，其中采用帧差法实施的具体过程如下：

流程开始，获取当前帧图像；

一方面判断是否初始化，若已初始化，进一步判定是否达到历史帧更新时间间隔，若达到历史更新时间间隔，丢弃历史图像帧列表中最旧帧，将当前帧存入历史图像帧列表，得到历史图像帧列表；若未达到历史更新时间间隔，结束流程；若未初始化，重置历史图像帧列表中的图像数据为当前帧图像数据，得到历史图像帧列表；

另一方面，将帧差前景帧置0；遍历历史帧列表：当前帧和历史帧图像对应像素值相减后取绝对值，将绝对值大于设定阈值的点在帧差前景图中对应位置的像素值置1(前景点)，然后结束流程。

通过以上基于智能视频分析技术的电梯困人检测方案，该检测方案可直接对现有的电梯视频监控进行升级，在无法获取电梯故障信息时仅需额外的添加速度传感器，而无需其他硬件投入。首先对视频输入的图像数据使用检测神经网络进行人体检测和使用视频分析技术获取场景中的前景信息，再对检测神经网络输出的人体区域使用前景信息进行过滤，若场景中持续一段时间均检测到有人在电梯中，且电梯发生故障或电梯的速度接近0，此时判断电梯中有困人。一旦检测到困人事件发生，便向及时向服务台上报报警信息并安抚乘客，保证乘客的生命安全。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (4)

1.一种基于智能视频分析技术的电梯困人检测方法，其特征在于，包括以下步骤：

获取基于深度学习的电梯乘客检测网络；

视频采集传感器采集电梯场景图像信息发送至电梯乘客安全检测单元；

速度传感器采集电梯运行速度信息发送至电梯乘客安全检测单元，或将电梯故障信号发送至电梯乘客安全检测单元；

若当前电梯门处于正常开启状态，电梯乘客安全检测单元进行无困人判定；

若当前电梯门处于关闭状态，电梯乘客安全检测单元进行如下处理：进行电梯乘客检测网络检测和前景提取；

所述电梯乘客检测网络检测具体为：将视频采集传感器采集到的图像数据送入电梯乘客检测网络进行乘客检测，检测结果包括当前图像中乘梯乘客的数目，以及每个乘客在图像上的外接矩形框；

所述前景提取具体过程如下：将视频采集传感器采集到的图像数据送入前景提取模块，前景提取模块获取当前图像前景数据；

结合速度传感器传入的数据，若电梯速度小于设定阈值，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定；或接收到电梯故障报警信号，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定，

有无人判断具体过程如下：遍历电梯乘客检测网络检测到图像上的所有可能乘客目标，在每个乘客外接矩形框区域内统计前景点数，若前景点数小于设定阈值，则认为该检测到的乘客是伪目标，予以删除；若有有效乘客目标保留，则判定当前帧有人，否则判定当前帧无人。

2.如权利要求1所述的基于智能视频分析技术的电梯困人检测方法，其特征在于，所述获取基于深度学习的电梯乘客检测网络进一步包括以下步骤：

收集电梯场景中的乘客样本图像数据；

使用数据标定工具进行电梯乘客样本标注；

使用基于深度学习目标检测网络对电梯乘客样本数据进行训练，获取电梯乘客检测网络。

3.一种基于智能视频分析技术的电梯困人检测系统，其特征在于，包括视频采集传感器，速度传感器和电梯乘客安全检测单元，

所述视频采集传感器用于采集电梯场景图像信息发送至电梯乘客安全检测单元；

所述速度传感器用于采集电梯运行速度信息发送至电梯乘客安全检测单元，或将电梯故障信号发送至电梯乘客安全检测单元；

电梯乘客安全检测单元用于获取基于深度学习的电梯乘客检测网络；

若当前电梯门处于正常开启状态，电梯乘客安全检测单元进行无困人判定；

若当前电梯门处于关闭状态，电梯乘客安全检测单元进行如下处理：进行电梯乘客检测网络检测和前景提取，

所述电梯乘客检测网络检测具体为：将视频采集传感器采集到的图像数据送入电梯乘客检测网络进行乘客检测，检测结果包括当前图像中乘梯乘客的数目，以及每个乘客在图像上的外接矩形框；

所述前景提取具体过程如下：将视频采集传感器采集到的图像数据送入前景提取模块，前景提取模块获取当前图像前景数据；

结合速度传感器传入的数据，若电梯速度小于设定阈值，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定；或接收到电梯故障信号，且在设定的时间内电梯乘客安全检测单元持续检测为有人，则进行困人报警，否则进行无困人判定，

有无人判断具体过程如下：遍历电梯乘客检测网络检测到图像上的所有可能乘客目标，在每个乘客外接矩形框区域内统计帧差前景点数，若帧差前景点数小于设定阈值，则认为该检测到的乘客是伪目标，予以删除；若有有效乘客目标保留，则判定当前帧有人，否则判定当前帧无人。

4.如权利要求3所述的基于智能视频分析技术的电梯困人检测系统，其特征在于，所述获取基于深度学习的电梯乘客检测网络进一步包括以下步骤：

收集电梯场景中的乘客样本图像数据；

使用数据标定工具进行电梯乘客样本标注；

使用基于深度学习目标检测网络对电梯乘客样本数据进行训练，获取电梯乘客检测网络。

Images