CN114783061B - 一种吸烟行为检测方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及图像识别技术的领域，尤其是涉及一种吸烟行为检测方法、装置、设备和介质，其包括获取待检测图像；利用香烟检测模型提取待检测图像的香烟特征，并将香烟特征与标准香烟特征相匹配得到香烟特征匹配值；若香烟特征匹配值不小于预设标准匹配值，则确定待检测图像中存在吸烟行为；若香烟特征匹配值小于预设的标准匹配值，则将待检测图像导入关键点识别模型中识别待检测图像中所有的关键点，生成关键点图像，并根据识别到的多个关键点之间的距离生成人体姿态信息；当人体姿态信息没有超出预设吸烟姿态信息范围时，则确定关键点图像中存在吸烟行为；将含有吸烟行为的待检测图像确定为异常图像。本申请具有提升检测吸烟行为准确率的效果。

Description

一种吸烟行为检测方法、装置、设备和介质

技术领域

本申请涉及图像识别技术的领域，尤其是涉及一种吸烟行为检测方法、装置、设备和介质。

背景技术

吸烟对人类的危害是多方面的，长期吸烟除了会导致主动吸烟者出现哮喘、肺炎、高血压等疾病，还会对被动吸烟者造成身体危害。随着公众对健康的日益重视，室内禁烟的力度不断加强，但是在一些公共场所仍然存在很多吸烟者，无视规定在禁止吸烟的场所进行吸烟，为自己和其他人带来健康危害。

相关技术中，一般采用图像采集装置对禁烟区域内出现的吸烟行为进行图像识别，从图像中获取面部图像，通过查看面部图像处是否存在香烟，以此判断图像中的人是否存在吸烟行为，当在面部图像中没有检测到香烟时，判断图像中的人没有吸烟行为，但是由于人的主观能动性，吸烟者在吸烟时往往会有意避开图像采集装置，因此只利用图像采集设备检测出吸烟行为的准确率较低。

发明内容

为了提升检测出吸烟行为的准确率，本申请提供尤其是涉及一种吸烟行为检测方法、装置、设备和介质。

第一方面，本申请提供一种吸烟行为检测方法、装置、设备和介质，采用如下的技术方案：

一种吸烟行为检测方法，包括

获取待检测图像；

利用香烟检测模型提取所述待检测图像的香烟特征，并将所述香烟特征与标准香烟特征相匹配得到香烟特征匹配值；

若所述香烟特征匹配值不小于预设标准匹配值，则确定所述待检测图像中存在吸烟行为；

若所述香烟特征匹配值小于预设的标准匹配值，则将所述待检测图像导入关键点识别模型中识别所述待检测图像中所有的关键点，生成关键点图像，并根据识别到的多个关键点之间的距离生成人体姿态信息；

将人体姿态信息与预设吸烟姿态信息进行比较，若人体姿态信息没有超出预设吸烟姿态信息范围，则确定关键点图像中存在吸烟行为；

将含有吸烟行为的待检测图像确定为异常图像。

通过采用上述技术方案，本申请实施例中，对待检测图像进行香烟特征提取，利用香烟特征匹配值初步判断待检测图像中是否存在吸烟行为，当待检测图像对应的特征匹配值大于或等于标准匹配值时，确定待检测图像中存在吸烟行为，若待检测图像对应的特征匹配值小于标准匹配值，则根据待检测图像中的人体姿态信息进一步判断待检测图像中是否存在吸烟行为，当人体姿态信息没有超出预设吸烟姿态信息范围时，确定待检测图像中存在吸烟行为，最终将含有吸烟行为的待检测图像确定为异常图像，通过多次检测确定待检测图像中的吸烟行为，提升了吸烟行为检测的准确性。

在一种可能实现的方式中，所述获取待检测图像，包括：

实时获取待检测视频流；

基于预设抽帧规则对所述待检测视频流进行抽帧，得到初始待检测图像；

对所述初始待检测图像进行图像预处理得到待检测图像。

通过采用上述技术方案，通过对视频流进行抽帧处理，得到初始待检测图像，对初始待检测图像进行预处理得到待检测图像，经过预处理得到的待检测图像有助于香烟特征的提取。

在一种可能实现的方式中，所述对所述初始待检测图像进行图像预处理得到待检测图像，包括：

对所述初始待检测图像进行图像预处理得到预处理图像，其中图像预处理的方式至少包括灰度化、二值化、膨胀处理中的一种或多种；

将含有人脸面部图像的预处理图像确定为待检测图像。

通过采用上述技术方案，通过对初始待检测图像进行灰度化、二值化、膨胀处理中一种或多种进行图像预处理，再判断预处理图像中是否含有人脸面部信息，将含有人脸面部信息的预处理图像确定为待检测图像，便于对待检测图像进行香烟特征提取。

在一种可能实现的方式中，所述根据识别到的多个关键点生成人体姿态信息，包括：

将所述关键点图像导入预设的坐标系中，得到每一关键点对应的坐标；

根据每一关键点的坐标确定各个关键点之间的距离；

基于每一关键点的坐标和各个关键点之间的距离共同构成人体姿态信息。

通过采用上述技术方案，通过预设的坐标系，得到关键点图像中各个关键点的坐标，通过各个关键点的坐标，得到各个关键点之前的距离，每一关键点的坐标与各个关键点之间的距离共同构成人体姿态信息，利用人体姿态信息有助于对关键点图像进行吸烟行为的确定。

在一种可能实现的方式中，所述将含有吸烟行为的待检测图像确定为异常图像之后，还包括：

当预设时间段内存在个数超过预设阈值的异常图像时，生成报警信号；

将所述报警信号发送至语音播报系统，以使语音播报系统进行报警。

通过采用上述技术方案，当检测到预设时间段内异常图像的个数超过预设阈值时，则生成报警信号，并将生成的报警信号发送至语音播报系统，控制语音播报系统对禁烟区域内存在吸烟行为的相关人员进行提醒。

在一种可能实现的方式中，所述生成报警信号之前，还包括：

检测所述多个异常图像是否发生场景切换；

若否，则执行生成报警信号步骤。

通过采用上述技术方案，通过检测多个异常图像是否发生场景切换，降低了偶然误检导致报警的可能性。

在一种可能实现的方式中，还包括：

香烟检测模型采用的是YOLOv5。

通过采用上述技术方案，通过采用YOLOv5作为香烟检测模型，有助于提升香烟特征提取的准确性。

第二方面，本申请提供一种吸烟行为检测装置，采用如下的技术方案：

一种吸烟行为检测装置，包括

获取图像模块，用于获取待检测图像；

提取香烟特征模块，用于利用香烟检测模型提取所述待检测图像的香烟特征，并将所述香烟特征与标准香烟特征相匹配得到香烟特征匹配值；

第一确定模块，用于当所述香烟特征匹配值不小于预设标准匹配值时，确定所述待检测图像中存在吸烟行为；

生成人体姿态信息模块，用于当所述香烟特征匹配值小于预设的标准匹配值时，将所述待检测图像导入关键点识别模型中识别所述待检测图像中所有的关键点，生成关键点图像，并根据识别到的多个关键点之间的距离生成人体姿态信息；

第二确定模块，用于将所述人体姿态信息与预设吸烟姿态信息进行比较，若人体姿态信息没有超出预设吸烟姿态信息范围，则确定所述关键点图像中存在吸烟行为；

异常确定模块，用于将含有吸烟行为的待检测图像确定为异常图像。

通过采用上述技术方案，对待检测图像进行香烟特征提取，利用香烟特征匹配值初步判断待检测图像中是否存在吸烟行为，当待检测图像对应的特征匹配值大于或等于标准匹配值时，确定待检测图像中存在吸烟行为，若待检测图像对应的特征匹配值小于标准匹配值，则根据待检测图像中的人体姿态信息进一步判断待检测图像中是否存在吸烟行为，当人体姿态信息大于或等于预设吸烟姿态信息时，确定待检测图像中存在吸烟行为，最终将含有吸烟行为的待检测图像确定为异常图像，通过多次检测确定待检测图像中的吸烟行为，提升了吸烟行为检测的准确性。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，该电子设备包括：

至少一个处理器；

存储器；

至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述一种吸烟行为检测的方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述一种吸烟行为检测方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

1.通过对待检测图像进行香烟特征提取，利用香烟特征匹配值初步判断待检测图像中是否存在吸烟行为，当待检测图像对应的特征匹配值大于或等于标准匹配值时，确定待检测图像中存在吸烟行为，若待检测图像对应的特征匹配值小于标准匹配值，则根据待检测图像中的人体姿态信息进一步判断待检测图像中是否存在吸烟行为，当人体姿态信息没有超出预设吸烟姿态信息范围时，确定待检测图像中存在吸烟行为，最终将含有吸烟行为的待检测图像确定为异常图像，通过多次检测确定待检测图像中的吸烟行为，提升了吸烟行为检测的准确性。

2.通过对视频流进行抽帧处理，得到初始待检测图像，对初始待检测图像进行预处理得到待检测图像，经过预处理得到的待检测图像有助于香烟特征的提取。

3.通过对初始待检测图像进行灰度化、二值化、膨胀处理中一种或多种进行图像预处理，再判断预处理图像中是否含有人脸面部信息，将含有人脸面部信息的预处理图像确定为待检测图像，便于对待检测图像进行香烟特征提取。

附图说明

图1是本申请实施例中一种吸烟行为检测方法的流程示意图；

图2是本申请实施例中一种吸烟行为检测装置的结构示意图；

图3是本申请实施例中一种电子设备的结构示意图。

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了提升检测出吸烟行为的准确率，本申请实施例通过对待检测图像进行香烟特征提取，利用香烟特征匹配值初步判断待检测图像中是否存在吸烟行为，当待检测图像对应的特征匹配值大于或等于标准匹配值时，确定待检测图像中存在吸烟行为，若待检测图像对应的特征匹配值小于标准匹配值，则根据待检测图像中的人体姿态信息进一步判断待检测图像中是否存在吸烟行为，当人体姿态信息没有超出预设吸烟姿态信息范围时，确定待检测图像中存在吸烟行为，最终将含有吸烟行为的待检测图像确定为异常图像，通过多次检测确定待检测图像中的吸烟行为，提升了吸烟行为检测的准确性。

本申请实施例提供了一种吸烟行为检测方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，参考图1，图1是本申请实施例中一种吸烟行为检测方法的流程示意图，该方法包括：

步骤S110：获取待检测图像。

具体的，在禁烟场所设置多个图像采集设备，便于图像采集设备对禁烟场所内的图像进行采集，以使得采集到的图像被电子设备获取。禁烟场所可以是加油站、化工厂、商场等场所，采集到的图像中至少含有一个人脸面部图像。其中，图像采集设备可以为以下任意一种：球形摄像头、一体化摄像头。

步骤S120：利用香烟检测模型提取待检测图像的香烟特征，并将香烟特征与标准香烟特征相匹配得到香烟特征匹配值。

具体的，香烟检测模型能够对待检测图像进行香烟特征的提取，待检测图像中可能存在香烟特征，也可能不存在香烟特征，存在香烟特征的情况下，根据提取到的香烟特征能够将香烟识别出来，但是当吸烟者与图像采集装置的距离较远，或者吸烟者所处的位置角度较偏时，利用香烟检测模型在对待检测图像进行香烟特征提取时香烟的特征也可能识别不出来。

当待检测图像中存在香烟特征时，将香烟检测模型识别出来香烟特征与标准香烟特征相匹配，并且根据匹配结果形成香烟特征匹配值，具体的香烟特征匹配值可以是百分比的形式，也可以是匹配程度等级的形式。

步骤S130：若香烟特征匹配值不小于预设标准匹配值，则确定待检测图像中存在吸烟行为。

具体的，预设标准匹配值可以根据需求进行修改，在本申请实施例中预设标准匹配值可以是0.7，当待检测图像中香烟特征匹配值大于或等于0.7时，即确定待检测图像中存在吸烟行为，预设标准匹配值可以根据需求进行修改。

步骤S140：若香烟特征匹配值小于预设的标准匹配值，则将待检测图像导入关键点识别模型中识别待检测图像中所有的关键点，生成关键点图像，并根据识别到的多个关键点之间的距离生成人体姿态信息。

具体的，关键点检测常作为行为识别、动作分析、姿态估计等任务的手段。通过获取的多个关键点的位置计算得到人体姿态信息，可通过人体姿态信息进一步判断是否存在吸烟行为，在本申请实施例中关键点为人体骨骼关键点，关键点的类型在本申请实施例中不做具体限定，只要能够通过多个关键点体现人体姿态信息即可。关键点识别模型是预先训练好的，训练过程为：将预先获取的训练样本集导入待训练的关键点识别模型中，其中，训练样本集中包括多个关键点训练图像以及各自对应的关键点标签，将训练样本集输入到待训练的关键点识别模型中进行迭代训练，得到训练好的关键点识别模型，其中训练好的关键点识别模型能够根据任意输入的待检测图像识别出待检测图像中所有的关键点，以及输出待检测图像对应的关键点图像。每一个关键点图像对应一个人体姿态信息，人体姿态信息中至少包括每一个关键点的位置以及各个关键点之间的距离。例如，多个关键点可以是待检测图像中的手腕、手肘、嘴部，通过手腕、手肘、嘴部的位置，计算得到手腕与嘴部、手肘与嘴部之间的距离，并将手腕、手肘、嘴部的位置以及手腕与嘴部、手肘与嘴部之间的距离生成人体姿态信息，其中由于手腕与手肘始终在一条线上，因此手腕以及手肘之间的距离不用再次进行计算。

步骤S150：将人体姿态信息与预设吸烟姿态信息进行比较，若人体姿态信息没有超出预设吸烟姿态信息范围，则确定关键点图像中存在吸烟行为。

步骤S160：将含有吸烟行为的待检测图像确定为异常图像。

具体的，预设吸烟姿态信息是通过分析多个吸烟者的姿态确定的，由于人在吸烟时的姿态与未吸烟的姿态不同，吸烟的过程中吸烟者需要手持香烟，将香烟送至嘴部，在吸烟过程中，手腕与手肘的位置会发生改变，通过记录吸烟者在吸烟过程中手腕、手肘、嘴部之间的距离形成预设吸烟姿态信息，预设姿态信息是多个距离范围，可以根据需求进行修改和更新，例如，一般情况下，吸烟者在吸烟过程中手腕与嘴部之间的距离在5-10厘米，因此预设姿态信息中手腕与嘴部对应的距离范围为5-10厘米。

在将人体姿态信息与预设吸烟姿态信息进行比较时，需将人体姿态信息中的各个关键点之间的距离与预设吸烟姿态信息中的距离范围进行比较。检测到吸烟行为后，将待检测图像进行异常标记，可通过在待检测图像中增加异常标签。

本申请实施例中，对待检测图像进行香烟特征提取，利用香烟特征匹配值初步判断待检测图像中是否存在吸烟行为，当待检测图像对应的特征匹配值大于或等于标准匹配值时，确定待检测图像中存在吸烟行为，若待检测图像对应的特征匹配值小于标准匹配值，则根据待检测图像中的人体姿态信息进一步判断待检测图像中是否存在吸烟行为，当人体姿态信息没有超出预设吸烟姿态信息范围时，确定待检测图像中存在吸烟行为，最终将含有吸烟行为的待检测图像确定为异常图像，通过多次检测确定待检测图像中的吸烟行为，提升了吸烟行为检测的准确性。

进一步的，步骤S110中获取待检测图像的具体可以包括：步骤S1101（附图未示出）、步骤S1102（附图未示出）、步骤S1103（附图未示出），其中：

步骤S1101：实时获取待检测视频流。

步骤S1102：基于预设抽帧规则对待检测视频流进行抽帧，得到初始待检测图像。

具体的，视频流的内容为禁烟区域的视频内容，采用视频流对禁烟区域现场的情况进行记录，便于相关人员对禁烟区域现场情况进行全面了解。

抽帧规则为按照一定的时间对视频流进行抽帧，例如，记录第一次从视频流中抽取图像的时间，在经过预设时间段后再次从视频流中进行图像抽取，每一次抽取得到的图像即为初始待检测图像，其中预设抽帧规则可以根据需求进行修改。

步骤S1103：对初始待检测图像进行图像预处理得到待检测图像。

具体的，对初始待检测图像进行图像预处理有助于对待检测图像进行香烟特征提取。图像预处理的方式可以为图像归一化、灰度化、二值化、膨胀处理。

本申请实施例中，通过对视频流进行抽帧处理，得到初始待检测图像，对初始待检测图像进行预处理得到待检测图像，经过预处理得到的待检测图像有助于香烟特征的提取。

进一步的，步骤S1103对初始待检测图像进行图像预处理得到待检测图像具体可以包括，步骤S1103a（附图未示出）、步骤S1103b（附图未示出），其中，

步骤S1103a：对初始待检测图像进行图像预处理得到预处理图像。

其中，图像预处理的方式至少包括灰度化、二值化、膨胀处理中的一种或多种。

具体的，对初始待检测图像进行图像归一化处理，能够使待检测图像抵抗几何变换的攻击；图像灰度化可以将初始待检测图像上的像素点的灰度值设置为0或255，也就是将整个初始待检测图像呈现出明显的黑白效果的过程；二值化使初始待检测图像中数据量大为减少；图像膨胀处理将初始待检测图像边缘或者是内部的坑填掉，将初始待检测图像的边缘扩大，图像膨胀有三种类型，分别为水平膨胀、垂直膨胀和全方向膨胀。

步骤S1103b：将含有人脸面部图像的预处理图像确定为待检测图像。

具体的，通过人脸面部特征识别，判断预处理图像中是否含有人脸面部信息，其中人脸面部特征至少包括眼睛、嘴巴、鼻子和嘴。

本申请实施例中，通过对初始待检测图像进行灰度化、二值化、膨胀处理中一种或多种进行图像预处理，再判断预处理图像中是否含有人脸面部信息，将含有人脸面部信息的预处理图像确定为待检测图像，便于对待检测图像进行香烟特征提取。

进一步的，步骤S150中，根据识别到的多个关键点之间的距离生成人体姿态信息，具体可以包括步骤S1501（附图未示出）、步骤S1502（附图未示出）、步骤S1503（附图未示出），其中：

步骤S1501：将关键点图像导入预设的坐标系中，得到每一关键点对应的坐标；

步骤S1502：根据每一关键点的坐标确定各个关键点之间的距离；

步骤S1503：每一关键点的坐标和各个关键点之间的距离共同构成人体姿态信息。

具体的，预设的坐标系是根据关键点图像的尺寸建立的，可根据需求进行修改。关键点图像导入预设的坐标系后，可得到关键点图像中每一个关键点的坐标，并且对每一关键点的坐标进行记录，根据每一个关键点的坐标利用点与点之间距离的公式d=，得到各个关键点之间的距离，其中（a1，a2）为第一关键点的坐标，（b1，b2）为第二关键点的坐标。

例如，关键点A的坐标为（2，3），关键点B的坐标为（4，5），则关键点A与关键点B之间的距离为dAB==，即关键点A与关键点B之间的距离为。人体姿态信息中关键点的坐标以及各关键点之间的距离存在对应关系，便于通过距离，确定对应的关键点，提升了数据的可读性。

本申请实施例中，通过预设的坐标系，得到关键点图像中各个关键点的坐标，通过各个关键点的坐标，得到各个关键点之前的距离，每一关键点的坐标与各个关键点之间的距离共同构成人体姿态信息，利用人体姿态信息有助于对关键点图像进行吸烟行为的确定。

进一步的，为了对在禁烟区域内存在的吸烟行为进行警示，本申请实施例中步骤S160之后，还包括：

当预设时间段内存在个数超过预设阈值的异常图像时，生成报警信号；

将报警信号发送至语音播报系统，以使语音播报系统进行报警。

具体的，当在预设时间段内异常图像的个数超过预设阈值后，再生成报警信号的原因是为了进一步提升对吸烟行为确定的准确率。

预设时间段可以是1个小时也可以是3个小时，可根据需求进行修改。预设阈值可以是3个也可以是5个，可根据需求进行修改。当电子设备检测到预设时间段内存在个数超过预设阈值的异常图像后，会生成报警信号，并将报警信号传输至语音播报系统，语音播报系统在接收到电子设备发出的报警信号后，控制语音播报系统播放预先设置的音频，以对禁烟区域内的相关人员进行警告。

当在预设时间段内异常图像的个数超过预设阈值后，再生成报警信号，的原因是为了进一步提升对吸烟行为确定的准确率。

本申请实施例中，当检测到预设时间段内异常图像的个数超过预设阈值时，则生成报警信号，并将生成的报警信号发送至语音播报系统，以控制语音播报系统进行报警，通过语音播报系统便于提醒对禁烟区域内存在吸烟行为的相关人员进行提醒。

进一步的，为了降低偶然误检导致报警的可能性，在生成报警信号之前，还包括：检测多个异常图像是否发生场景切换；

若否，则执行生成报警信号步骤。

具体的，由于异常图像是由视频流抽帧得到的，每一个异常图像都是一个图像帧，场景切换可以判断每一个图像帧之间是否发生变化，变化的内容可以是色彩、亮度、内容等，可以通过对比当前的异常图像与上一异常图像进行比较，并判断每一图像帧之间是否发生场景切换。

例如，当利用亮度对每一异常图像之间是否发生场景切换进行判断时，可以先将当前异常图像按照预设的划分规则进行划分，得到大小相同的若干图像块，将当前图像帧中每一个图像块与上一图像帧中的每一图像块进行亮度对比，形成亮度对比值，当亮度对比值超过预设的对比范围后，确定当前图像帧与上一图像帧亮度不同，即发生场景切换。当发生场景切换后，不同的场景中存在的异常图像的个数不能实现累加。例如，预设时间段内存在5个异常图像后，会生成报警信号，当在预设时间段内检测到4个异常图像后，并且当前待检测图像也为异常图像时，若检测到当前待检测图像发生场景切换时，预设时间段内存在异常图像的个数不增加，因此不会生成报警信号。

在本申请实施例中，通过检测多个异常图像是否发生场景切换，降低了偶然误检导致报警的可能性。

进一步的，本申请实施例中香烟检测模型采用的是YOLOv5。

具体的，YOLO（You Only Look Once）是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，对象识别和定位可以看成是两个任务，YOLO将识别和定位这两个阶段合二为一，能够完成快速定位。YOLO的算法思路为缩放输入图片，将图片送入到卷积神经网络中进行预测，通过预测的结果进行置信度的阈值处理，得到最终的结果。首先在利用YOLO对待检测图像中的香烟特征进行提取时，先将输入的图片分割成S*S个网格，如果一个目标的中心点落在某个网格当中，那么对应的网格就负责预测这个目标的大小和类型。YOLOv5在原有算法的基础上做了进一步的改进，包括Mosaic数据增强、自适应锚框计算、自适应图片缩放，其中Mosaic数据增强主要是通过对多张图像进行裁剪再拼接效果，丰富了图片的背景；自适应锚框计算的主要改进点在于YOLO以前的版本中锚点框大小都是预先通过聚类算法计算的，在YOLOv5中可以对锚点框的大小进行更新，通过自适应计算能够得到最佳锚框值；自适应图片放缩的主要改进点在于YOLO以前的版本使用的图片长度比通常为1：1，在YOLOv5中可以根据实际操作对图片进行自适应缩放，利用YOLOv5香烟检测模型提升了对香烟特征提取的准确性。

本申请实施例中，通过采用YOLOv5作为香烟检测模型，有助于提升香烟特征提取的准确性。

在一种可能实现的方式中，为了提升确定吸烟行为的准确性，当图像采集设备还包括红外线图像采集设备时，步骤S140中，将待检测图像导入关键点识别模型中识别待检测图像中所有的关键点，生成关键点图像之后，还包括：

判断关键点图像中是否存在高亮区域；

当检测到关键点图像中存在高亮区域时，判断高亮区域是否位于人脸面部区域；

若高亮区域位于人脸面部区域，则确定关键点图像中存在吸烟行为。

具体的，当吸烟者在抽吸香烟时，香烟的烟头会燃烧，进而烟头处的温度会发生变化，香烟烟头处的温度相对于吸烟者本身以及环境温度有着很明显的差异，当吸烟者在吸烟时，红外线图像采集设备可以将烟头的红外体征进行采集，进而形成高亮区域。

检测关键点图像中是否存在高亮区域时，先将红外线采集设备采集到的图像与关键点图像进行配准再进行判断。配准的过程为分别提取红外线中高亮区域的边缘以及人脸面部区域的边缘，得到粗边缘图像，然后通过SURF算法提取高亮区域边缘以及人脸面部区域边缘的特征点，进行特征匹配，以实现对高亮区域和人脸面部区域重合的判断。当高亮区域与面部区域的重合面积大于预设重叠阈值时，确定高亮区域位于面部区域，其中预设重叠阈值可根据需求进行修改。

本申请实施例中，当待检测图像中香烟特征匹配值小于预设的标准匹配值时，通过判断待检测图像中是否存在高亮区域，当待检测图像中存在高亮区域时，判断高亮区域是否位于面部区域，当高亮区域位于面部区域时，确定待检测图像中存在吸烟行为，提升确定吸烟行为的准确性。

上述实施例从方法流程的角度介绍一种吸烟行为检测方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种吸烟行为检测的装置，具体详见下述实施例。

本申请实施例提供一种吸烟行为检测的装置，请参考图2，图2是本申请实施例中一种吸烟行为检测装置的结构示意图，包括获取图像模块210、提取香烟特征模块220、第一确定模块230、生成人体姿态信息模块240、第二确定模块250、异常确定模块260，其中：

获取图像模块210，用于获取待检测图像；

提取香烟特征模块220，用于利用香烟检测模型提取待检测图像的香烟特征，并将香烟特征与标准香烟特征相匹配得到香烟特征匹配值；

第一确定模块230，用于若香烟特征匹配值不小于预设标准匹配值，则确定待检测图像中存在吸烟行为；

生成人体姿态信息模块240，用于若香烟特征匹配值小于预设的标准匹配值，则将待检测图像导入关键点识别模型中识别待检测图像中所有的关键点，生成关键点图像，并根据识别到的多个关键点之间的距离生成人体姿态信息；

第二确定模块250，用于将人体姿态信息与预设吸烟姿态信息进行比较，当人体姿态信息没有超出预设吸烟姿态信息范围时，则确定关键点图像中存在吸烟行为；

异常确定模块260，用于将含有吸烟行为的待检测图像确定为异常图像。

在一种可能实现的方式中，获取图像模块包括：

获取视频流单元，用于实时获取待检测视频流；

抽帧单元，用于基于预设抽帧规则对所述待检测视频流进行抽帧，得到初始待检测图像；

图像预处理单元，用于对初始待检测图像进行图像预处理得到待检测图像。

在一种可能实现的方式中，图像预处理单元包括：

获取预处理图像单元，用于对初始待检测图像进行图像预处理得到预处理图像，其中图像预处理的方式至少包括灰度化、二值化、膨胀处理中的一种或多种；

确定待检测图像单元，用于将含有人脸面部图像的预处理图像确定为待检测图像。

在一种可能实现的方式中，生成人体姿态信息模块包括：

获取坐标单元，用于将关键点图像导入预设的坐标系中，得到每一关键点对应的坐标；

计算距离单元，用于根据每一关键点的坐标确定各个关键点之间的距离；

生成人体姿态信息单元，用于基于每一关键点的坐标和各个关键点之间的距离共同构成人体姿态信息。

在一种可能实现的方式中，异常确定模块260之后，还包括：

生成报警信号单元，用于当预设时间段内存在个数超过预设阈值的异常图像时，生成报警信号；

控制报警单元，用于将报警信号发送至语音播报系统，以使语音播报系统进行报警。

在一种可能实现的方式中，生成报警信号单元中生成报警信号之前还包括：

检测子单元，用于检测多个异常图像是否发生场景切换；

执行子单元，用于当多个异常图像中没有发生场景切换时，执行生成报警信号。

在一种可能实现的方式中，提取香烟特征模块220中香烟检测模型采用的是YOLOv5。

本申请实施例中提供了一种电子设备，如图3所示，图3是本申请实施例中一种电子设备的结构示意图，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。

处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，本申请实施例中，本申请实施例中，对待检测图像进行香烟特征提取，利用香烟特征匹配值初步判断待检测图像中是否存在吸烟行为，当待检测图像对应的特征匹配值大于或等于标准匹配值时，确定待检测图像中存在吸烟行为，若待检测图像对应的特征匹配值小于标准匹配值，则根据待检测图像中的人体姿态信息进一步判断待检测图像中是否存在吸烟行为，当人体姿态信息没有超出预设吸烟姿态信息范围时，确定待检测图像中存在吸烟行为，最终将含有吸烟行为的待检测图像确定为异常图像，通过多次检测确定待检测图像中的吸烟行为，提升了吸烟行为检测的准确性。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种吸烟行为检测方法，其特征在于，包括：

获取待检测图像，所述待检测图像中至少包含一个人脸面部图像；

利用香烟检测模型提取所述待检测图像的香烟特征，并将所述香烟特征与标准香烟特征相匹配得到香烟特征匹配值；若所述香烟特征匹配值不小于预设标准匹配值，则确定所述待检测图像中存在吸烟行为；

若所述香烟特征匹配值小于预设的标准匹配值，则将所述待检测图像导入关键点识别模型中识别所述待检测图像中所有的关键点，生成关键点图像，并根据识别到的多个关键点之间的距离生成人体姿态信息；

将人体姿态信息与预设吸烟姿态信息进行比较，若人体姿态信息没有超出预设吸烟姿态信息范围，则确定关键点图像中存在吸烟行为；将含有吸烟行为的待检测图像确定为异常图像；

将所述待检测图像导入关键点识别模型中识别所述待检测图像中所有的关键点，生成关键点图像，之后还包括：判断关键点图像中是否存在高亮区域，当检测到关键点图像中存在高亮区域时，判断高亮区域是否位于人脸面部区域；若高亮区域位于人脸面部区域，则确定关键点图像中存在吸烟行为；其中，判断高亮区域是否位于人脸面部区域时，分别提取红外线图像中高亮区域的边缘以及人脸面部区域的边缘，得到粗边缘图像，通过SURF算法提取高亮区域边缘以及人脸面部区域边缘的特征点，进行特征匹配，以对高亮区域和人脸面部区域是否重合进行判断，当高亮区域与面部区域的重合面积大于预设重叠阈值时，确定高亮区域位于面部区域；

所述将含有吸烟行为的待检测图像确定为异常图像，之后还包括：当预设时间段内存在个数超过预设阈值的异常图像时，生成报警信号；将所述报警信号发送至语音播报系统，以使语音播报系统进行报警；所述生成报警信号之前，还包括：检测所述多个异常图像是否发生场景切换；若否，则执行生成报警信号步骤。

2.根据权利要求1所述的一种吸烟行为检测方法，其特征在于，所述获取待检测图像，包括：

实时获取待检测视频流；

基于预设抽帧规则对所述待检测视频流进行抽帧，得到初始待检测图像；

对所述初始待检测图像进行图像预处理得到待检测图像。

3.根据权利要求2所述的一种吸烟行为检测方法，其特征在于，所述对所述初始待检测图像进行图像预处理得到待检测图像，包括：

对所述初始待检测图像进行图像预处理得到预处理图像，其中图像预处理的方式至少包括灰度化、二值化、膨胀处理中的一种或多种；

将含有人脸面部图像的预处理图像确定为待检测图像。

4.根据权利要求1所述的一种吸烟行为检测方法，其特征在于，所述根据识别到的多个关键点之间的距离生成人体姿态信息，包括：

将所述关键点图像导入预设的坐标系中，得到每一关键点对应的坐标；

根据每一关键点的坐标确定各个关键点之间的距离；

基于每一关键点的坐标和各个关键点之间的距离共同构成人体姿态信息。

5.根据权利要求1所述的一种吸烟行为检测方法，其特征在于，还包括：

香烟检测模型采用的是YOLOv5。

6.一种吸烟行为检测装置，其特征在于，包括：

获取图像模块，用于获取待检测图像，所述待检测图像中至少包含一个人脸面部图像；

提取香烟特征模块，用于利用香烟检测模型提取所述待检测图像的香烟特征，并将所述香烟特征与标准香烟特征相匹配得到香烟特征匹配值；

第一确定模块，用于若所述香烟特征匹配值不小于预设标准匹配值，则确定所述待检测图像中存在吸烟行为；

生成人体姿态模块，用于若所述香烟特征匹配值小于预设的标准匹配值，则将所述待检测图像导入关键点识别模型中识别所述待检测图像中所有的关键点，生成关键点图像，并根据识别到的多个关键点之间的距离生成人体姿态信息；

第二确定模块，用于将人体姿态信息与预设吸烟姿态信息进行比较，若人体姿态信息没有超出预设吸烟姿态信息范围，则确定关键点图像中存在吸烟行为；

异常确定模块，用于将含有吸烟行为的待检测图像确定为异常图像；

高亮区域判断模块，用于判断关键点图像中是否存在高亮区域，当检测到关键点图像中存在高亮区域时，判断高亮区域是否位于人脸面部区域；若高亮区域位于人脸面部区域，则确定关键点图像中存在吸烟行为；其中，判断高亮区域是否位于人脸面部区域时，分别提取红外线图像中高亮区域的边缘以及人脸面部区域的边缘，得到粗边缘图像，通过SURF算法提取高亮区域边缘以及人脸面部区域边缘的特征点，进行特征匹配，以对高亮区域和人脸面部区域是否重合进行判断，当高亮区域与面部区域的重合面积大于预设重叠阈值时，确定高亮区域位于面部区域；

生成报警信号模块，用于当预设时间段内存在个数超过预设阈值的异常图像时，生成报警信号；将所述报警信号发送至语音播报系统，以使语音播报系统进行报警；所述生成报警信号之前，还包括：检测所述多个异常图像是否发生场景切换；若否，则执行生成报警信号步骤。

7.一种电子设备，其特征在于，该电子设备包括：

至少一个处理器；

存储器；

至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1-5中任一项所述一种吸烟行为检测的方法。

8.一种计算机可读存储介质，其特征在于，包括：存储有能够被处理器加载并执行如权利要求1-5中任一种方法的计算机程序。

Images