CN110002314A - 一种基于深度学习的电梯乘客被困人数检测系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的电梯乘客被困人数检测系统，包括视频/图像采集单元，电梯有无人与人数检测单元，图像后处理单元和用户应用单元；视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至电梯有无人与人数检测单元，电梯有无人与人数检测单元检测并确认电梯中是否有人，并将电梯中有无人状态信息发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，并对电梯内被困人数进行统计，用户应用单元对被困人员进行安抚与劝导；如果图像后处理单元综合判断得到不存在电梯困人信息，则消除困人告警。本发明能够有效提高电梯困人告警算法的实时性与准确性。

Description

一种基于深度学习的电梯乘客被困人数检测系统

技术领域

本发明涉及电梯安全技术领域，具体涉及一种基于深度学习的电梯乘客被困人数检测系统。

背景技术

电梯与人民生活密切相关，常见于居民楼、商场、办公楼等区域，这些地方一般具有楼层高、人流量大的特点，电梯给人民群众的生活带来诸多便利的同时，也会由于维保养护不到位或者人为误操作的等诸多因素，致使直梯困人事件频发。同时，电梯作为人们日常出行工具，承载着越来越多的功能，包括方便出行、广告投放、安全监控等场景。在电梯正常运行时，快速准确的识别电梯乘员数量可以实现商场或住宅的人流统计，继而进行更高效的广告推送；当电梯运行出现异常时，如乘客被困，对电梯内被困人数进行快速准确的识别可以有助于救援单位安排更合适的救援方案，保障被困乘客的人身安全。

现有技术对电梯中的人数进行统计的方法包括：当检测到电梯关闭后，通过安装于电梯轿厢内部的图像采集设备，获取电梯轿厢内部的当前图像；对当前图像进行处理，从当前图像中识别出人员图像信息，根据人员图像信息，确定电梯轿厢内部的当前人数。但是，该方案主要依靠安装于电梯轿厢内部的图像采集设备获取当前电梯图像，再利用传统图像处理方法确定电梯轿厢内部的当前人数，这种方案对图片的质量以及电梯内光线等环境要求较高，而且电梯内如果有其他干扰物出现时会对检测结果有较大的干扰，同时该方案只针对乘客头部进行检测，当轿厢内摄像头存在盲区而导致无法拍摄到乘客的头部时，会出现漏报的现象。

发明内容

本发明要解决的技术问题是提供一种基于深度学习的电梯乘客被困人数检测系统。本发明能够有效降低因摄像头盲区而导致的人数漏报，提高电梯困人告警算法的实时性与准确性。

为了实现上述目的，本发明采用以下技术方案：

一种基于深度学习的电梯乘客被困人数检测系统，包括视频/图像采集单元，电梯有无人与人数检测单元，图像后处理单元和用户应用单元；

视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至电梯有无人与人数检测单元，电梯有无人与人数检测单元检测并确认电梯中是否有人，并将电梯中有无人状态信息发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，并对电梯内被困人数进行统计，用户应用单元对被困人员进行安抚与劝导；如果图像后处理单元综合判断得到不存在电梯困人信息，则消除困人告警。

进一步地，视频/图像采集单元采用监控摄像机、工业摄像机、深度相机、双目相机中的一种或多种。

进一步地，电梯有无人与人数检测单元包括但不限于有无人二分类模块、乘客头部目标检测模块与乘客躯干目标检测模块，有无人二分类模块对图像数据进行二分类分析，乘客头部与乘客躯干目标检测模块对图像数据中乘客的头部与躯干分别进行检测，取两者较大值作为乘客最终检测人数；

进一步地，电梯有无人与人数检测单元判断当前状态电梯中是否有人以及若有人时具体有几人的具体流程：

（1）获取当前帧图像，并在GPU服务器上分别初始化深度学习有无人二分类模型、乘客头部检测模型与乘客躯干检测模型；

（2）将当前帧图像送至有无人二分类模块中，根据给定的阈值对帧图进行分类，“有人”或“无人”，如果分类结果是“有人”，则进行下一步，将当前状态送至困人告警逻辑单元；

同时将当前帧图像送至乘客头部和躯干目标检测模块中，通过进行目标检测分析当前电梯内乘客人数数量，如果人数不为0，表示电梯内有人，取两者中较大值作为最终被困乘客人数，则进行下一步，将当前状态送至困人告警逻辑单元；

（3）如果有无人二分类模块判断当前电梯内无人，并且乘客头部目标检测模块和乘客躯干目标检测模块都判断当前电梯内人数为0，则判断电梯内无人，不满足困人告警逻辑，结束退出。

进一步地，图像后处理单元包括但不限于困人告警逻辑单元、人数统计单元和人体姿态检测单元；

困人告警逻辑单元在获取电梯有无人状态的基础上结合电梯门开关状态判断模块和电梯速度判断模块，获取是否有困人告警信息；

人数统计单元基于乘客头部目标检测与乘客躯干目标检测级联算法，检测困人人数；

人体姿态检测单元在困人告警逻辑单元与困人人数统计单元确认有人被困电梯后，将会实时跟踪分析电梯乘客姿态。

进一步地，困人告警逻辑单元获取是否有困人告警信息，具体为：

电梯门开关状态判断模块检测电梯前60秒状态，同时电梯速度判断模块检测电梯前60秒状态；

分析每一秒的帧图，如果检测到门关信号并且电梯静止，则计数器加一；

分析每一秒的帧图，电梯前60秒状态，如果检测到有人，人计数器加一；

如果电梯前60秒内，计数器大于等于60，并且人计数器大于60，则发出困人告警；

如果电梯前60秒内，不能同时满足：计数器大于等于60，并且人计数器大于60，则消除困人告警。

进一步地，人数统计单元能够对特定区域特定时间段的人数进行统计，乘客头部检测算法与乘客躯干检测算法分别对乘客人数进行统计，取两者中的较大值，如果人数不为0，上报被困人数，并且统计人数；如果人数为0，则取下一帧图像进行分析。

进一步地，用户应用单元包括但不限于电梯困人检测模块、电梯乘员姿态检测模块，根据图像后处理单元得到的有无人信息、人数统计信息、被困乘客人体姿态信息，通过多媒体显示器与对讲设备实现与用户的交互。

本发明的有益效果是：

（1）本发明将基于深度学习的目标检测与分类算法进行级联从而实现对电梯轿厢内人数的实时准确检测，级联分别对乘客头部和躯干进行目标检测的算法可以有效降低因摄像头盲区而导致的人数漏报。本发明同时采用了有无人二分类算法，提高电梯困人告警算法的实时性与准确性。

（2）当乘客被困于电梯时，本发明能够对电梯内被困人数进行快速准确的识别与统计，有助于救援单位安排更合适的救援方案，保障被困乘客的人身安全；而且获取的电梯中乘客的人数还可以用于特定区域的人数统计、电梯广告推送业务等场景。

（3）本发明同时能够对困人电梯内人体姿态进行检测，及时有效规劝试图扒门的被困乘客，从而最大程度地保障了被困乘客的安全。

附图说明

图1为本发明的系统框图。

图2 为乘客头部检测标注示意图。

图3为有无人/人数检测级联方法流程图。

图4 为综合有无人状态判断的困人告警逻辑框图。

图5 为人数统计流程框图。

图6为对电梯中乘客躯干VOC标注格式图。

具体实施方式

为了使本技术领域的人员更好的理解本发明的技术方案，下面将对本发明的技术方案进行清楚、完整的描述。

实施例，参照附图1-5。

本发明提供了一种基于深度学习的电梯乘客被困人数检测系统，系统框图如图1所示，包括视频/图像采集单元，电梯有无人与人数检测单元，图像后处理单元和用户应用单元；

视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至电梯有无人与人数检测单元，电梯有无人与人数检测单元检测并确认电梯中是否有人，并将电梯中有无人状态信息发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，并对电梯内被困人数进行统计，用户应用单元对被困人员进行安抚与劝导；如果图像后处理单元综合判断得到不存在电梯困人信息，则消除困人告警。

进一步地，视频/图像采集单元采用但不限于监控摄像机、工业摄像机、深度相机和/或双目相机。

进一步地，摄像机安装在电梯轿厢内顶部，对着电梯内进行拍摄，摄像头需要保证尽可能少的视野盲区，将采集到的电梯内图片按照有人和无人进行二分类后得到二分类数据集，将采集到的电梯内有人这一类别的图片中所有人头部分按照VOC数据集标注格式进行标注，标注类别为“person”，得到的二分类数据集与人头标注数据集用于后续单元分析；

进一步地，电梯有无人与人数检测单元采用但不限于提供深度学习算力的GPU服务器，有无人二分类模块、乘客头部目标检测模块与乘客躯干目标检测模块运行在GPU服务器之上，其中，有无人二分类模块对图像数据进行二分类分析，在有无人二分类数据的基础上训练出高精度模型，具体为：通过摄像头收集电梯内有无人数据集，包含有人“somebody”类395750张图，无人“nobody”类309756张图，基于darknet框架搭建二分类神经网络，保证数据集中train数据集占90%，test数据集占10%，迭代50 epochs，最终得到loss值为0.02的高精度二分类模型。

乘客头部与乘客躯干目标检测模块分别对图像数据中乘客的头部与躯干进行检测，其中头部目标检测模型主要针对电梯内人数较多的场景，躯干目标检测模型主要针对电梯内人数较少的场景，经测试，在各自场景下，头部检测模型准确率为97.86%，躯干检测模型准确率为96.84%，当两个模型共同检测并取两者人数较大值时，基本可以保证对电梯内人数检测漏报率接近千分之一，准确率为95.43%；

基于深度学习的有无人二分类算法与基于人体头部与人体身体躯干的目标检测算法需要大量的数据支撑，其数据准备过程如下：

有无人二分类数据：为了提高有无人二分类检测准确性与模型泛化能力，实际算法共收集了包含有人“somebody”类395750张图，无人“nobody”类309756张图，数据集总共705506张图，在此数据集的神经网络结构获得的准确率为98.85%，同时考虑到电梯节电而导致无法清晰识别电梯内部情况，为了避免出现漏报，将此类情况视为有人。

乘客头部与身体躯干的目标检测数据：为了降低因没有正确识别出电梯有人而导致的困人漏报，作为对电梯有无人二分类算法的补充而对乘客的头部与躯干进行检测，因此需要对电梯图片数据进行标注，其中乘客头部的标注检测数据如图2所示；由图2可知，由于乘客在电梯中站位不同，摄像头视野可能出现盲区而导致对乘客数量检测出错；为了避免因摄像头视野盲区而导致无法全部检测到电梯中人头，因此补充对乘客躯干的标注与检测，对电梯中乘客躯干VOC标注格式图如图6所示。

综合以上三个算法的级联结果得出对电梯有无人判断与困人人数检测的判断。

进一步地，电梯有无人与人数检测单元判断当前状态电梯中是否有人以及若有人时具体有几人的具体流程如图3所示，包括以下步骤：

（1）获取当前帧图像，并在GPU服务器上分别初始化深度学习有无人二分类模型、乘客头部检测模型与乘客躯干检测模型；

初始化深度学习有无人二分类模型、乘客头部检测模型与乘客躯干检测模型具体为：

通过TCP/IP协议，打开与GPU服务器联系的端口号，例如2018端口号，建立与服务器的连接后，分别载入有无人二分类模型、乘客头部检测模型与乘客躯干检测模型，从而实现对上述模型的初始化。

（2）将当前帧图像送至有无人二分类模块中，取阈值为0.5，即当模型判断该帧图有人的概率不低于50%时，该帧图的二分类结果为“有人”，同样地，“无人”的判断与“有人”类似，当模型判断该帧图无人的概率不低于50%时，该帧图的二分类结果为“无人”，从而实现对帧图进行有无人的分类，如果分类结果是“有人”，则进行下一步，将当前状态送至困人告警逻辑单元；

同时将当前帧图像送至乘客头部和躯干目标检测模块中进行人数统计检测，模型将识别出帧图中的人头数与躯干数，如果人数不为0，表示电梯内有人，为了避免因摄像头视野盲区的干扰，取两者中较大值作为最终被困乘客人数，则进行下一步，将当前状态送至困人告警逻辑单元；

（3）如果有无人二分类模块判断当前电梯内无人，并且乘客头部目标检测模块和乘客躯干目标检测模块都判断当前电梯内人数为0，则判断电梯内无人，不满足困人告警逻辑，结束退出。

进一步地，图像后处理单元包括但不限于困人告警逻辑单元、人数统计单元和人体姿态检测单元；

困人告警逻辑单元在获取电梯有无人状态的基础上结合电梯门开关状态判断模块和电梯速度判断模块，可以准确的获取电梯是否有困人，经测试，综合困人告警准确率为98.95%，困人告警查全率为99.35%，初步符合系统的准确率与漏报率要求。

人数统计单元基于乘客头部目标检测与乘客躯干目标检测级联算法，通过前置的困人告警逻辑单元，可以最大程度避免监控视野盲区，有效检测困人人数，同时，人数统计单元还可以用于对特定区域特定时间段的人数统计；

人体姿态检测单元在困人告警逻辑单元与困人人数统计单元，确认有人被困电梯后，将会实时跟踪分析电梯乘客姿态；如果分析结果满足预设的“危险动作”，如扒门、敲门、试图从电梯顶部翻出等动作，电梯将会自动语音提示并安抚被困乘客。

进一步地，综合有无人状态判断的困人告警逻辑框图如图4所示，获取是否有困人告警信息，具体包括以下步骤：

电梯门开关状态判断模块检测电梯前60秒状态，同时电梯速度判断模块检测电梯前60秒状态；

分析每一秒的帧图，如果检测到门关信号并且电梯静止，则计数器加一；

分析每一秒的帧图，电梯前60秒状态，如果检测到有人，人计数器加一；

如果电梯前60秒内，计数器大于等于60，并且人计数器大于60，则发出困人告警；

如果电梯前60秒内，不能同时满足：计数器大于等于60，并且人计数器大于60，则消除困人告警。

进一步地，人数统计单元能够对特定区域特定时间段的人数进行统计，人数统计流程框图如图5所示；乘客头部检测算法与乘客躯干检测算法分别对乘客人数进行统计，其中乘客头部检测算法通过调取头部检测模型分析帧图，从而获取帧图中的人头数，乘客躯干检测算法通过调取乘客躯干模型分析帧图，从而获取帧图中的乘客躯干数，取帧图中乘客人头数与躯干数两者中的较大值作为最终人数，如果人数不为0，上报被困人数；如果人数为0，则取下一帧图像进行分析。

进一步地，用户应用单元包括但不限于电梯困人检测模块、电梯乘员姿态检测模块，根据图像后处理单元得到的有无人信息、人数统计信息、被困乘客人体姿态信息，通过多媒体显示器与对讲设备实现与用户的交互。

Claims (8)

1.一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，包括视频/图像采集单元，电梯有无人与人数检测单元，图像后处理单元和用户应用单元；

视频/图像采集单元采集视频与图像，并将采集到的图像数据发送至电梯有无人与人数检测单元，电梯有无人与人数检测单元检测并确认电梯中是否有人，并将电梯中有无人状态信息发送给图像后处理单元，图像后处理单元综合判断电梯是否困人，如果得到电梯困人信息，则发出困人告警，并对电梯内被困人数进行统计，用户应用单元对被困人员进行安抚与劝导；如果图像后处理单元综合判断得到不存在电梯困人信息，则消除困人告警。

2.根据权利要求1所述的一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，视频/图像采集单元采用监控摄像机、工业摄像机、深度相机、双目相机中的一种或多种。

3.根据权利要求1所述的一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，电梯有无人与人数检测单元包括有无人二分类模块、乘客头部目标检测模块与乘客躯干目标检测模块，有无人二分类模块对图像数据进行二分类分析，乘客头部与乘客躯干目标检测模块对图像数据中乘客的头部与躯干分别进行检测。

4.根据权利要求3所述的一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，电梯有无人与人数检测单元判断当前状态电梯中是否有人以及若有人时具体有几人的具体流程：

（1）获取当前帧图像，并在GPU服务器上分别初始化深度学习有无人二分类模型、乘客头部检测模型与乘客躯干检测模型；

（2）将当前帧图像送至有无人二分类模块中，根据给定的阈值对帧图进行分类，“有人”或“无人”，如果分类结果是“有人”，则进行下一步，将当前状态送至困人告警逻辑单元；

同时将当前帧图像送至乘客头部和躯干目标检测模块中，通过进行目标检测分析当前电梯内乘客人数数量，如果人数不为0，表示电梯内有人，取两者中较大值作为最终被困乘客人数，则进行下一步，将当前状态送至困人告警逻辑单元；

（3）如果有无人二分类模块判断当前电梯内无人，并且乘客头部目标检测模块和乘客躯干目标检测模块都判断当前电梯内人数为0，则判断电梯内无人，不满足困人告警逻辑，结束退出。

5.根据权利要求1所述的一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，图像后处理单元包括困人告警逻辑单元、人数统计单元和人体姿态检测单元；

困人告警逻辑单元在获取电梯有无人状态的基础上结合电梯门开关状态判断模块和电梯速度判断模块，获取是否有困人告警信息；

人数统计单元基于乘客头部目标检测与乘客躯干目标检测级联算法，检测困人人数；

人体姿态检测单元在困人告警逻辑单元与困人人数统计单元，确认有人被困电梯后，将会实时跟踪分析电梯乘客姿态。

6.根据权利要求5所述的一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，困人告警逻辑单元获取是否有困人告警信息，具体为：

电梯门开关状态判断模块检测电梯前60秒状态，同时电梯速度判断模块检测电梯前60秒状态；

分析每一秒的帧图，如果检测到门关信号并且电梯静止，则计数器加一；

分析每一秒的帧图，电梯前60秒状态，如果检测到有人，人计数器加一；

如果电梯前60秒内，计数器大于等于60，并且人计数器大于60，则发出困人告警；

如果电梯前60秒内，不能同时满足：计数器大于等于60，并且人计数器大于60，则消除困人告警。

7.根据权利要求1所述的一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，人数统计单元能够对特定区域特定时间段的人数进行统计，乘客头部检测算法与乘客躯干检测算法分别对乘客人数进行统计，取两者中的较大值，如果人数不为0，上报被困人数，并且统计人数；如果人数为0，则取下一帧图像进行分析。

8.根据权利要求1所述的一种基于深度学习的电梯乘客被困人数检测系统，其特征在于，用户应用单元包括电梯困人检测模块、电梯乘员姿态检测模块，根据图像后处理单元得到的有无人信息、人数统计信息、被困乘客人体姿态信息，通过多媒体显示器与对讲设备实现与用户的交互。