CN110723621B - 基于深度神经网络检测电梯轿厢内吸烟的装置和方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络检测电梯轿厢内吸烟的装置，包括：抓图模块，设置于电梯轿厢顶部，用于单张抓取电梯内图像；门状态检测模块，用于检测电梯门的开合状态；有无人检测模块，用于检测电梯关门后轿厢内是否有人；还包括：时间间隔抓图模块，用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像；大目标检测模块，用于检测所述时间间隔抓图模块抓取的图像中的人头和人手区域；小目标检测模块，用于对所述大目标检测模块检测的人头和人手区域进行截图，并检测所述截图中的香烟目标。本发明能够检测出电梯轿厢内是否有人吸烟，并能保留图像证据。

Description

基于深度神经网络检测电梯轿厢内吸烟的装置和方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于深度神经网络检测电梯轿厢内吸烟的装置和方法。

背景技术

电梯属于狭小的公共场所，吸烟会降低其他乘客乘梯舒适度，同时存在火灾等安全隐患。当检测出轿厢内有人吸烟时，可以通过电梯广告屏播放引导视频，使其文明安全的熄灭香烟，通过检测的证据图像可以发送给物业管理人员。

目前如图2所示安装有摄像头和广告屏的电梯轿厢，可根据摄像头采集的图像利用图像分析相关技术来检测电梯轿厢中是否存在吸烟现象。

发明内容

本发明的目的在于解决上述问题，提供一种基于深度神经网络检测电梯轿厢内吸烟的装置和方法，

检测装置包括：

抓图模块，设置于电梯轿厢顶部，用于单张抓取电梯内图像；

门状态检测模块，用于检测电梯门的开合状态；

有无人检测模块，用于检测电梯关门后轿厢内是否有人；

还包括：

时间间隔抓图模块，用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像；

大目标检测模块，用于检测所述时间间隔抓图模块抓取的图像中的人头和人手区域；

小目标检测模块，用于对所述大目标检测模块检测的人头和人手区域进行截图，并检测所述截图中的香烟目标。

根据本发明的一个方面，所述抓图模块包括设置在电梯轿厢顶部的摄像头。

根据本发明的一个方面，电梯的电梯门上设置有可被所述门状态检测模块检测到的告警提示标签。

根据本发明的一个方面，所述时间间隔抓图模块在电梯关门且有人期间共抓取十张图像，每隔一秒抓取一张。

检测方法包括以下步骤：

a.门状态检测模块检测电梯门的开合状态，并在电梯门关门时向所述抓图模块输出关门信号令其进行抓图；

b.有无人检测模块检测所述抓图模块抓取到的图像中是否有人，并输出有人或无人信号给时间间隔抓图模块；

c.所述时间间隔抓图模块根据有人或无人信号决定是否进行抓图；

d.大目标检测模块对所述时间间隔抓图模块抓取的图像中的人头和人手区域进行检测；

e.小目标检测模块对所述大目标检测模块的检测的人头和人手区域进行截图并检测所述截图中的香烟目标。

根据本发明的一个方面，所述有无人检测模块、所述大目标检测模块和所述小目标检测模块均采用yolov3检测模型。

根据本发明的一个方面，在所述步骤(a)中，所述门状态检测模块在首次进行门状态检测时从整张图像中获取所述告警提示标签位置，然后以所述告警提示标签位置设置局部检测区域，以后只对该局部检测区域进行检测；

所述局部检测区域会根据告警提示标签的中心位置自动调整；

所述门状态检测模块通过检测分别位于电梯两扇门上的告警提示标签之间的距离来判断电梯门的开合状态,所述门状态检测模块每200ms检测一次。

根据本发明的一个方面，在所述步骤(b)和所述步骤(c)中，所述有无人检测模块通过检测所述抓图模块抓取的图像中的人头目标框来输出有人或无人信号；

若所述有无人检测模块输出有人信号，则所述大目标检测模块对电梯内的人头和人手区域进行检测；

若所述有无人检测模块输出无人信号，则等待所述门状态检测模块输出下一个关门信号。

根据本发明的一个方面，在所述步骤(d)中，通过人工标定出人头和人手区域的目标框。

根据本发明的一个方面，所述大目标检测模块对标定目标进行均衡采样，形成样本集，所述样本集中包含训练集、验证集与测试集；

通过kmeans聚类算法分别对所述训练集中的人头目标和人手目标进行聚类；

所述大目标检测模块的yolov3检测模型具有6个anchor，其中人头目标聚类为3个anchor，人手目标聚类为3个anchor；

利用标定后的数据对所述大目标检测模块的yolov3检测模型进行训练。

根据本发明的一个方面，在所述步骤(e)中，所述小目标检测模块的yolov3检测模型的骨干网络为resnet14，

利用kmeans聚类算法对香烟目标尺度聚类，获得3个聚类中心anchor，并利用标定数据对所述小目标检测模块的yolov3检测模型进行训练。

根据本发明的一个方面，所述小目标检测模块设有用于与检测到香烟目标的次数对比来判断是否有人吸烟的检测次数阈值。

根据本发明的一个方案，门状态检测模块根据告警提示标签的位置设定局部检测区，而局部检测区会根据告警提示标签的中心位置进行调整，从而避免了某些原因导致摄像头发生偏移。

根据本发明的一个方案，有无人检测模块通过检测抓取图像中的人头目标框来判断是否有人，相对于检测这方人体，只检测人头的结果更加准确。

根据本发明的一个方案，通过大目标检测模块和小目标检测模块逐级检测的方式，可精确地检测出香烟目标，并保留图像证据。并且设定检测次数阈值，通过控制阈值可以调整检测的灵敏度。

附图说明

图1是示意性表示根据本发明的一种实施方式的基于深度神经网络检测电梯轿厢内吸烟的方法流程框图；

图2是现有技术中具备摄像头采集功能的电梯轿厢结构图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

根据本发明的一种实施方式，本发明基于深度神经网络检测电梯轿厢内吸烟的装置包括：抓图模块、门状态检测模块、有无人检测模块、时间间隔抓图模块、大目标检测模块和小目标检测模块。

根据本发明的一种实施方式，抓图模块包括设置于电梯轿厢顶部的摄像头，用于单张抓取电梯内图像。门状态检测模块用于检测电梯门的开合状态，电梯的电梯门较高位置上设置有可被门状态检测模块检测到的告警提示标签，门状态检测模块通过检测告警提示标签之间的距离来实现门状态检测。

有无人检测模块用于检测电梯关门后轿厢内是否有人。时间间隔抓图模块用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像，在本实施方式中，时间间隔抓图模块在电梯关门且有人期间共抓取十张图像，每隔一秒抓取一张。

大目标检测模块用于检测时间间隔抓图模块抓取的图像中的人头和人手区域。小目标检测模块则用于对大目标检测模块的人头和人手区域进行截图，并检测截图中的香烟目标。

对于图像检测技术主要有two-stage的fast-rcnn和one-stage的yolo\ssd等。本发明中有无人检测模块、大目标检测模块和小目标检测模块均采用yolov3检测模型。为了适应香烟小目标检测，本发明通过渐进的方式，通过先检测有香烟有关的部位区域(人头区域和人手区域)，然后在此区域基础上检测香烟。

图1是示意性表示根据本发明的一种实施方式的基于深度神经网络检测电梯轿厢内吸烟的方法流程框图。如图1所示，基于深度神经网络检测电梯轿厢内吸烟的装置的检测方法包括以下步骤：

a.门状态检测模块检测电梯门的开合状态，并在电梯门关门时向抓图模块输出关门信号令其进行抓图。轿厢顶部摄像头采集图像，首次运行需要从整张图像中检测出告警提示标签位置，根据其位置设定局部检测区，之后对后续图像只检测设定的局部检测。门状态检测模块通过检测告警提示标签之间的距离判断门的开合状态，即开门、开门中、关门与关门中四个状态。门状态检测模块每200ms检测一次门状态。门状态改变指由关门到开门，反之也是。本发明仅当门状态由开门变为关门时输出关门信号，其他状态改变不输出信号。局部检测区域会根据告警提示标签的中心位置自动调整，防止某些原因导致摄像头发生偏移。

b.有无人检测模块检测抓图模块抓取到的图像中是否有人，并输出有人或无人信号给时间间隔抓图模块。有无人检测模块对所抓取图片进行检测，如果能够检测到图像中的人头目标框，则说明有人，反之则无人。当输出有人信号时，进行后续流程，当输出无人信号时，则需等待下次电梯关门信号。因为后续流程要求为有人情况。

c.时间间隔抓图模块根据有人或无人信号决定是否进行抓图。为了实现香烟小目标检测的准确性，在时间间隔抓图模块收到有人信号后，会按照一秒一张，抓取10张图片。当然根据本发明的构思，具体的时间间隔和抓取次数可以根据实际效果确定。如果在抓图时间内，出现电梯开门，则仅保存电梯关门期间的抓图，开门后停止抓图。若收到无人信号，则不作处理。

d.大目标检测模块对时间间隔抓图模块抓取的图像中的大目标(即人头和人手)进行检测，通过yolov3检测模型获得大目标区域，并通过收集不同电梯轿厢有人吸烟时的图像数据，通过人工标定出两个类别所在图像中的目标框，并对标定目标进行均衡采样形成样本集，样本集中包含训练集、验证集与测试集。由于在电梯中摄像头俯视安装，所以人头目标和人手目标的尺度变化不同，领用样本集中目标框，分别用kmeans聚类算法对训练集中的人头和人手聚类，获得人头的3个聚类中心anchor，以及人手的3个聚类中心anchor，将原始yolov3检测模型修改为6个anchor，利用标定后的数据对yolov3目标检测模型进行训练，完成训练后，获得目标检测网络模型。安装部署目标模型即可实现输入原始图片，输出对应类别的目标框。

e.由于香烟目标较小，同时其周围有不明显烟雾，并且常理认为香烟存在于手和嘴这两个区域，因此小目标检测模块对大目标检测模块检测的人头和人手区域先进行截图，并在截图上进行香烟目标的检测。小目标检测模块利用kmeans聚类算法对香烟目标尺度聚类，获得3个聚类中心anchor，同时将原始yolov3检测模型的骨干网络换成为resnet14，利用标定后的数据训练另一个yolov3检测模型实现香烟目标检测。而由于香烟目标较小并往往存在部分遮挡，因此本发明的小目标检测模块设有检测次数阈值，通过将检测到香烟目标的次数与检测次数阈值对比可判断是否有人吸烟。在本实施方式中，检测次数阈值为3，若时间间隔抓图模块抓取的多张图像中超过3张检测到香烟目标，则认为电梯内有人吸烟。

当门继续保持关闭，设定时间间隔，每隔一段时间进行一次上述流程，对抓取图片进行香烟目标检测，并将结果进行保存。当电梯轿厢中的摄像头初次安装完成或后期摄像头角度调整时，需要维保人员通过工具标记出该电梯轿厢地面区域，采用多边形的方法相对准确的标记出电梯轿厢地面。

本发明的大目标检测模块和小目标检测模块通过两个yolov3检测器，逐级获取目标，能够测量在持续关门期间是否存在有人吸烟，并能保存吸烟图片作为图像证据。

以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于深度神经网络检测电梯轿厢内吸烟的装置，包括：

抓图模块，设置于电梯轿厢顶部，用于单张抓取电梯内图像；

门状态检测模块，用于检测电梯门的开合状态；

有无人检测模块，用于检测电梯关门后轿厢内是否有人； 其特征在于，还包括：

时间间隔抓图模块，用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像；

大目标检测模块，用于检测用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像的所述时间间隔抓图模块抓取的图像中的人头和人手区域；其中，通过yolov3检测模型获得所述人头和人手区域；

小目标检测模块，用于对所述大目标检测模块检测的人头和人手区域进行截图，并检测所述截图中的香烟目标；其中，采用骨干网络为resnet14的yolov3检测模型对所述大目标检测模块的检测的人头和人手区域进行截图并检测所述截图中的香烟目标，所述小目标检测模块设有检测次数阈值，通过将检测到香烟目标的次数与检测次数阈值对比可判断是否有人吸烟。

2.根据权利要求1所述的基于深度神经网络检测电梯轿厢内吸烟的装置,其特征在于，用于单张抓取电梯内图像的所述抓图模块包括设置在电梯轿厢顶部的摄像头。

3.根据权利要求2所述的基于深度神经网络检测电梯轿厢内吸烟的装置,其特征在于，电梯的电梯门上设置有可被所述门状态检测模块检测到的告警提示标签。

4.根据权要求3所述的基于深度神经网络检测电梯轿厢内吸烟的装置，其特征在于，用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像的所述时间间隔抓图模块在电梯关门且有人期间共抓取十张图像，每隔一秒抓取一张。

5.一种利用权利要求1至4任一项所述的基于深度神经网络检测电梯轿厢内吸烟的装置的检测方法，其特征在于，包括以下步骤：

a .门状态检测模块检测电梯门的开合状态，并在电梯门关门时向用于单张抓取电梯内图像的所述抓图模块输出关门信号令其进行抓图；

b.有无人检测模块检测用于单张抓取电梯内图像的所述抓图模块抓取到的图像中是否有人，并输出有人或无人信号给用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像的时间间隔抓图模块；

c. 用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像的所述时间间隔抓图模块根据有人或无人信号决定是否进行抓图；

d.大目标检测模块对用于在电梯关门且有人期间按时间间隔抓取多张电梯内图像的所述时间间隔抓图模块抓取的图像中的人头和人手区域进行检测；其中，通过yolov3检测模型获得所述人头和人手区域；

e.小目标检测模块对所述大目标检测模块的检测的人头和人手区域进行截图并检测所述截图中的香烟目标；其中，采用骨干网络为resnet14的yolov3检测模型对所述大目标检测模块的检测的人头和人手区域进行截图并检测所述截图中的香烟目标，所述小目标检测模块设有检测次数阈值，通过将检测到香烟目标的次数与检测次数阈值对比可判断是否有人吸烟。

6.根据权利要求5所述的检测方法,其特征在于，所述有无人检测模块、所述大目标检测模块和所述小目标检测模块均采用yolov3检测模型。

7.根据权利要求5所述的检测方法,其特征在于，在所述步骤(a)中，所述门状态检测模块在首次进行门状态检测时从整张图像中获取告警提示标签位置，然后以所述告警提示标签位置设置局部检测区域，以后只对该局部检测区域进行检测；

所述局部检测区域会根据告警提示标签的中心位置自动调整；

所述门状态检测模块通过检测分别位于电梯两扇门上的告警提示标签之间的距离来判断电梯门的开合状态,所述门状态检测模块每200ms检测一次。

8.根据权利要求6所述的检测方法,其特征在于，在所述步骤(b) 和所述步骤(c)中，所述有无人检测模块通过检测用于单张抓取电梯内图像的所述抓图模块抓取的图像中的人头目标框来输出有人或无人信号；

若所述有无人检测模块输出有人信号，则所述大目标检测模块对电梯内的人头和人手区域进行检测；

若所述有无人检测模块输出无人信号，则等待所述门状态检测模块输出下一个关门信号。

9.根据权利要求5所述的检测方法,其特征在于，在所述步骤(d)中，通过人工标定出人头和人手区域的目标框。

10.根据权利要求9所述的检测方法,其特征在于，所述大目标检测模块对标定目标进行均衡采样，形成样本集，所述样本集中包含训练集、验证集与测试集；

通过kmeans聚类算法分别对所述训练集中的人头目标和人手目标进行聚类；

所述大目标检测模块的yolov3检测模型具有6个anchor ，其中人头目标聚类为3个anchor，人手目标聚类为3个anchor；

利用标定后的数据对所述大目标检测模块的yolov3检测模型进行训练。

11.根据权利要求10所述的检测方法,其特征在于，在所述步骤(e)中，所述小目标检测模块的yolov3检测模型的骨干网络为resnet14，

利用kmeans聚类算法对香烟目标尺度聚类，获得3个聚类中心anchor，并利用标定数据对所述小目标检测模块的yolov3检测模型进行训练。

12.根据权利要求11所述的检测方法,其特征在于，所述小目标检测模块设有用于与检测到香烟目标的次数对比来判断是否有人吸烟的检测次数阈值。

Images