CN113505707A - 吸烟行为检测方法、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种吸烟行为检测方法、设备及计算机可读存储介质，该方法包括：获取待测图像，并将待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围；识别待测图像中的多个人脸关键点，并利用人脸关键点确定嘴部范围；计算疑似香烟范围与嘴部范围之间的匹配参数，其中，匹配参数为疑似香烟范围与嘴部范围之间的目标距离，和/或，嘴部范围与疑似香烟范围之间的交集面积；若匹配参数处于预设范围，则确定待测图像中存在吸烟行为；从待测图像中香烟与人体嘴部的距离判断是否存在吸烟行为，能够干扰判断结果的因素较少，能够准确地识别出是否存在吸烟行为，提高了吸烟行为检测的可靠性和准确性。

Description

吸烟行为检测方法、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种吸烟行为检测方法、电子设备及计算机可读存储介质。

背景技术

现今各大短视频平台受到大家的喜爱，每天用户上传到平台的视频数量巨大，不少视频中存在抽烟行为，严重影响网络平台秩序，属于低俗信息。为了在海量视频中将该类型的视频快速检出并标识，相关技术采用人体骨骼关键点定位算法对图像中的人体动作进行识别，并判断是否为吸烟动作，若判定为吸烟动作则确定检出了吸烟行为。然而，在检测时，容易受到其他动作的干扰，鲁棒性较差，检测的准确性和可靠性较低。

发明内容

有鉴于此，本申请的目的在于提供一种吸烟行为检测方法、电子设备及计算机可读存储介质，能够准确地识别出是否存在吸烟行为，提高了吸烟行为检测的可靠性和准确性。

为解决上述技术问题，第一方面，本申请提供了一种吸烟行为检测方法，包括：

获取待测图像，并将所述待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围；

识别所述待测图像中的多个人脸关键点，并利用所述人脸关键点确定嘴部范围；

计算所述疑似香烟范围与所述嘴部范围之间的匹配参数，其中，所述匹配参数为所述疑似香烟范围与所述嘴部范围之间的目标距离，和/或，所述嘴部范围与所述疑似香烟范围之间的交集面积；

若所述匹配参数处于预设范围，则确定所述待测图像中存在吸烟行为。

可选地，还包括：

获取待测视频，并在所述待测视频中确定若干个候选视频帧；

相应的，所述获取待测图像，包括：

按照预设顺序选择一个所述候选视频帧作为所述待测图像；

所述吸烟行为检测方法，还包括：

若检测到所有的所述候选视频帧均检测完毕，且具有所述吸烟行为的异常视频帧数量大于异常阈值，则确定所述待测视频为异常视频。

可选地，在将所述待测图像输入以香烟为目标的目标检测模型之后，还包括：

若所述目标检测模型输出确定香烟范围，则确定所述待测图像中存在吸烟行为。

可选地，还包括：

对所述待测图像进行手势语义识别处理，得到手势识别结果；

相应的，所述若所述匹配参数处于预设范围，则确定所述待测图像中存在吸烟行为，包括：

若所述匹配参数处于所述预设范围且所述手势识别结果为命中，则确定所述待测图像中存在所述吸烟行为。

可选地，所述对所述待测图像进行手势语义识别处理，得到手势识别结果，包括：

将所述待测图像中的非肤色区域删除，得到肤色区域；

对所述肤色区域进行边缘提取处理，得到轮廓图像；

将所述轮廓图像输入手势分类模型，得到所述手势识别结果。

可选地，所述将所述待测图像中的非肤色区域删除，得到肤色区域，包括：

判断所述待测图像中各个像素在各个通道的通道像素值是否处于对应的通道区间；

若各个所述通道像素值均处于所述通道区间，则确定所述像素处于初始肤色区域；

对所述初始肤色区域进行腐蚀处理和膨胀处理，并将所述肤色区域以外的所述非肤色区域内的图像删除，得到所述肤色区域。

可选地，所述将所述待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围，包括：

将所述待测图像输入以香烟为目标的目标检测模型，得到疑似香烟坐标；

确定范围长宽参数，并基于所述范围长宽参数，利用所述疑似香烟坐标确定所述疑似香烟范围。

可选地，所述目标检测模型的训练过程，包括：

获取多个初始训练图像，并对所述初始训练图像进行数据增强处理，得到训练图像；

将所述训练图像输入初始模型，得到训练识别范围；

计算所述训练识别范围与所述训练图像的标签范围之间的范围距离，并利用所述范围距离对所述初始模型的模型参数进行调整。

可选地，所述对所述初始训练图像进行数据增强处理，得到训练图像，包括：

对任意多个所述初始训练图像分别进行随机裁剪处理和/或随机缩放处理，得到多个目标初始训练图像；

对所述多个目标初始训练图像进行随机排布拼接，得到一个所述训练图像。

可选地，所述识别所述待测图像中的多个人脸关键点，并利用所述人脸关键点确定嘴部范围，包括：

对所述待测图像进行人脸关键点检测，得到人脸关键点；

按照预设规则在所述人脸关键点之间进行连线，得到若干个待选范围；

根据所述人脸关键点的关键点信息确定嘴部关键点，并利用所述嘴部关键点对应的待选范围生成所述嘴部范围。

第二方面，本申请还提供了一种电子设备，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现上述的吸烟行为检测方法。

第三方面，本申请还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的吸烟行为检测方法。

本申请提供的吸烟行为检测方法，获取待测图像，并将待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围；识别待测图像中的多个人脸关键点，并利用人脸关键点确定嘴部范围；计算疑似香烟范围与嘴部范围之间的匹配参数，其中，匹配参数为疑似香烟范围与嘴部范围之间的目标距离，和/或，嘴部范围与疑似香烟范围之间的交集面积；若匹配参数处于预设范围，则确定待测图像中存在吸烟行为。

可见，该方法在获取到待测图像后，利用目标检测模型对其进行目标检测，目标检测模型以香烟为目标，因此得到的检测结果即可表明待测图像中是否存在疑似香烟的物体。当检测结果为疑似香烟范围时，说明待测图像中存在可能为香烟的物体，需要进一步进行检测，判断是否出现吸烟行为。通过人脸关键点检测，可以对待测图像中人脸的嘴部范围进行确定。吸烟行为必然会导致香烟与嘴部相接触或相靠近，因此可以计算疑似香烟范围与嘴部范围之间的匹配参数，该匹配参数具体可以为表征待测图像中香烟与人体嘴部之间的距离的参数，或者可以为表征疑似香烟范围与嘴部范围重合面积的参数，即交集面积。若匹配参数处于预设范围，则说明该物体与嘴部之间的距离很近，或者已经接触。或疑似香烟范围与嘴部范围的重合部分较大，同样表明了二者有所接触或距离较近。由于与这种情况相似的其他情况极少，因此在这种情况下，可以确定待测图像中存在吸烟行为。该方法从香烟与人体嘴部的距离的角度判断是否存在吸烟行为，能够干扰判断结果的因素较少，能够准确地识别出是否存在吸烟行为，提高了吸烟行为检测的可靠性和准确性，解决了相关技术存在的吸烟行为检测的准确性和可靠性较低的问题。

此外，本申请还提供了一种电子设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种吸烟行为检测方法所适用的硬件组成框架示意图；

图2为本申请实施例提供的另一种吸烟行为检测方法所适用的硬件组成框架示意图；

图3为本申请实施例提供的一种吸烟行为检测方法的流程示意图；

图4为本申请实施例提供的另一种吸烟行为检测方法的流程示意图；

图5为本申请实施例提供的一种待测图像；

图6为本申请实施例提供的一种待选范围示意图；

图7为本申请实施例提供的一种肤色区域；

图8为本申请实施例提供的一种轮廓图像；

图9为本申请实施例提供的一种具体的吸烟行为检测方法的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，先对本申请实施例提供的吸烟行为检测方法对应的方案所使用的硬件组成框架进行介绍。请参考图1，图1为本申请实施例提供的一种吸烟行为检测方法所适用的硬件组成框架示意图。其中电子设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。

其中，处理器101用于控制电子设备100的整体操作，以完成吸烟行为检测方法中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在电子设备100的操作，这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。在本实施例中，存储器102中至少存储有用于实现以下功能的程序和/或数据：

获取待测图像，并将所述待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围；

识别所述待测图像中的多个人脸关键点，并利用所述人脸关键点确定嘴部范围；

计算所述疑似香烟范围与所述嘴部范围之间的匹配参数，其中，所述匹配参数为所述疑似香烟范围与所述嘴部范围之间的目标距离，和/或，所述嘴部范围与所述疑似香烟范围之间的交集面积；

若所述匹配参数处于预设范围，则确定所述待测图像中存在吸烟行为。

多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。

电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行吸烟行为检测方法。

当然，图1所示的电子设备100的结构并不构成对本申请实施例中电子设备的限定，在实际应用中电子设备100可以包括比图1所示的更多或更少的部件，或者组合某些部件。

可以理解的是，本申请实施例中并不对电子设备的数量进行限定，其可以是多个电子设备共同协作完成吸烟行为检测方法。在一种可能的实施方式中，请参考图2，图2为本申请实施例提供的另一种吸烟行为检测方法所适用的硬件组成框架示意图。由图2可知，该硬件组成框架可以包括：第一电子设备11和第二电子设备12，二者之间通过网络13连接。

在本申请实施例中，第一电子设备11与第二电子设备12的硬件结构可以参考图1中电子设备100。即可以理解为本实施例中具有两个电子设备100，两者进行数据交互。进一步，本申请实施例中并不对网络13的形式进行限定，即，网络13可以是无线网络(如WIFI、蓝牙等)，也可以是有线网络。

其中，第一电子设备11和第二电子设备12可以是同一种电子设备，如第一电子设备11和第二电子设备12均为服务器；也可以是不同类型的电子设备，例如，第一电子设备11可以是智能手机或其它智能终端，第二电子设备12可以是服务器。在一种可能的实施方式中，可以利用计算能力强的服务器作为第二电子设备12来提高数据处理效率及可靠性，进而提高吸烟行为检测的处理效率。同时利用成本低，应用范围广的智能手机作为第一电子设备11，用于实现第二电子设备12与用户之间的交互。可以理解的是，该交互过程可以为：智能手机获待测图像，并将待测图像发送至服务器，由服务器进行吸烟行为的检测。服务器将检测结果发送至智能手机，由智能手机对检测结果进行展示。

基于上述说明，请参考图3，图3为本申请实施例提供的一种吸烟行为检测方法的一种流程示意图。该实施例中的方法包括：

S101：获取待测图像，并将待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围。

待测图像，是指需要被检测是否记录了吸烟行为的图像，其数量、类型等不做限定。目标检测模型，是指经过训练后，能够识别出图像中的目标物体，并给出预测框(即目标物体的位置信息)的模型，其结构和类型不做限定，例如可以为卷积神经网络模型，具体可以为YOLOv5模型，以便提高目标检测的检测准确率和可靠性。YOLOv5模型是YOLO(全称为You Only Look Once)目标检测算法系列中的第5代算法，于2020年被提出，在准确性、灵敏性和实效性上，相比于前4代都有大幅度提升。

在本实施例中，目标检测模型以香烟为目标，即其能够识别的目标物体为香烟。因此，将待测图像输入目标检测模型后，得到的检测结果如果为命中，则可能说明确定检测到了香烟，或者检测到了疑似为香烟的物体。本实施例仅对检测到疑似为香烟的物体这一情况进行限定，对于其他情况，可以根据需要选择执行对应的操作。具体的，目标检测模型以香烟为目标，因此其会在待测图像中识别任意疑似为香烟的物体，而识别到的某一物体是否为香烟，或者有多少可能性为香烟，则存在多种情况。可以理解的是，若确定检测到待测图像中存在香烟，则可以直接确定该待测图像中存在吸烟行为，无需进行进一步检测。因此在一种实施方式中，在将所述待测图像输入以香烟为目标的目标检测模型之后，还可以包括如下步骤：

步骤11：若目标检测模型输出确定香烟范围，则确定待测图像中存在吸烟行为。

确定香烟范围，是指待测图像中香烟所处的范围，可以理解的是，若目标监测模型确定检测到了香烟，例如检测到的疑似香烟的物体的置信度大于置信度阈值，则可以直接确定疑似物体为香烟，进而确定该香烟所处的范围并输出。目标检测模型可以为其输出的内容赋予特殊标识，以表明输出的内容的类别，即是确定香烟范围或者为疑似香烟范围。若检测到目标检测模型输出确定香烟范围，可以直接确定待测图像中存在吸烟行为，对待测图像的检测结束。

在另一种情况中，目标检测模型无法肯定其检测到的疑似目标是否确定为香烟，在这种情况下，可以输出疑似香烟范围。则疑似香烟范围中同时包括疑似为香烟的物体的位置信息，疑似香烟范围是指香烟在待测图像中的位置范围，其通常为一个框选物体的矩形。对于疑似香烟范围的确定方式，一种实施方式中，检测结果中直接包括疑似香烟范围的具体信息，例如顶点坐标等，在这种情况下，可以直接读取检测结果即可得到疑似香烟范围。在第二种实施方式中，检测结果中仅包括用于确定疑似香烟范围的基准信息，例如疑似香烟范围的中心位置坐标。在这种情况下，需要利用检测结果与其他预设信息共同确定疑似香烟范围。

进一步的，若检测结果为未命中，则说明目标检测模型没有检测到疑似为香烟的物体，因此不包括上述位置信息。对于检测结果是否为命中的判断，一种实施方式中，目标检测模型可以直接输出命中以及对应的位置信息，以表示输出疑似香烟范围；或者直接输出确定以及对应的位置信息，以表示确定香烟范围，或者直接输出非命中。在另一种实施方式中，目标检测模型可以直接输出疑似香烟的物体的位置信息以及对应的置信度，并当置信度处于可信区间时确定检测结果为命中，且位置信息为置信度处于可信区间的物体对应的位置信息；当置信度处于确定区间时，确定检测结果为确定香烟范围，且位置信息为置信度处于确定区间的物体对应的位置信息。相应的，当置信度不处于可信区间时，说明该位置信息对应的物体不可能为香烟，因此不输出位置信息，仅输出未命中的检测结果。

S102：识别待测图像中的多个人脸关键点，并利用人脸关键点确定嘴部范围。

由于吸烟行为需要香烟与嘴部相配合才能够完成，因此在检测到存在疑似香烟的物体时，并不能直接确定检测到了吸烟行为，而是需要进一步检测疑似香烟的物体与嘴部是否相接触或相靠近。

具体的，对待测图像进行人脸关键点检测，识别其中的人脸关键点，人脸关键点可以根据需要进行设置，例如可以包括嘴部关键点、鼻部关键点、轮廓关键点、眼部关键点、眉部关键点等，各类关键点的数量不做限定。对于人脸关键点的识别方式，在一种实施方式中，可以基于Dlib库进行检测。其中，Dlib库是一个机器学习的开源库，包含了机器学习的很多算法，其中包括人脸68关键点的预测算法。

在得到人脸关键点后，可以利用其确定嘴部范围。在一种实施方式中，可以对关键点进行过滤得到嘴部关键点，进而将嘴部关键点所处的范围确定为嘴部范围。在另一种实施方式中，为了避免因识别错误导致的嘴部区域确定错误，可以基于人脸关键点的分布情况，确定预设范围，同一个人脸对应的人脸关键点的分布情况，例如密度、距离等，能够从一定程度上表示待测图像中人脸图像的大小，而人脸图像大小确定后，嘴部的大小也应当处于一定区间内。因此，在对关键点进行过滤得到嘴部关键点之后，利用嘴部关键点构成初始嘴部范围，并判断初始嘴部范围的大小是否处于上述的区间内，例如嘴部范围的面积是否处于上述的区间内，若处于该区间内，则确定初始嘴部范围为嘴部范围。本实施例并不限定初始嘴部范围不处于上述区间的情况所执行的操作，例如可以重新对整个待测图像进行关键点识别，或者对关键点对应的人脸图像重新进行关键点识别。

S103：计算疑似香烟范围与嘴部范围之间的匹配参数。

需要说明的是，本申请中的匹配参数为疑似香烟范围与嘴部范围之间的目标距离，和/或，嘴部范围与疑似香烟范围之间的交集面积。即匹配参数可以仅包括目标距离，或仅包括交集面积，或同时包括目标距离和交集面积。在疑似香烟范围和嘴部范围均确定后，可以计算疑似香烟范围与嘴部范围二者之间的匹配参数。以目标距离为例，目标距离能够表示香烟与嘴部的距离，进而可以表示是否检测到吸烟行为。在一种实施方式中，目标距离，是指疑似香烟范围内的任意一点与嘴部范围内的任意一点之间的最小距离。在第二种实施方式中，目标距离，是指疑似香烟范围内的指定点与嘴部范围内的任意一点之间的最小距离。在第三种实施方式中，目标距离，是指嘴部范围内的指定点与疑似香烟范围内的任意一点之间的最小距离。可以理解的是，针对目标距离的具体含义的不同，其计算方式也会随之改变。

交集面积，是指嘴部范围与疑似香烟范围之间的重合面积，其具体计算方式不做限定。例如当嘴部范围与疑似香烟范围均为矩形框时，可以判断二者之间的重合部分的长和宽，通过长宽相乘得到面积。在另一种实施方式中，当嘴部范围与疑似香烟范围中存在非矩形时，可以构建直角坐标系，并确定重合部分各个边的对应的分段曲线或非分段曲线，例如可以通过拟合方式得到拟合曲线，并通过积分的方式得到交集面积。可以理解的是，交集面积越大，嘴部与香烟的距离越近，或接触程度越强，越可能出现吸烟行为。

需要说明的是，由于待测图像中可能存在多个人脸图像，因此对应的嘴部范围可能为多个。类似的，待测图像中也可能存在多个香烟图像，因此目标检测模型的检测结果为命中时，可以利用其确定一个或多个疑似香烟范围。因此，在计算疑似香烟范围时，需要分别计算各个嘴部范围与各个疑似香烟范围之间的匹配参数，并分别对各个匹配参数执行后续步骤。

S104：判断匹配参数是否处于预设范围。

S105：若匹配参数处于预设范围，则确定待测图像中存在吸烟行为。

在计算得到匹配参数后，判断该匹配参数是否处于预设范围。其中，预设范围，是指表示香烟与嘴部距离较近的距离范围，因此当匹配参数处于预设范围时，说明待测图像中的香烟和嘴部具体较近或相接触，因此可以确定检测到待测图像中存在吸烟行为。

S106：预设操作。

本实施例并不限定预设操作的具体内容，例如可以为无操作，或者可以为输出表明未检测到吸烟行为的检测结果，或者可以重新获取新的待测图像。

应用本申请实施例提供的吸烟行为检测方法，在获取到待测图像后，利用目标检测模型对其进行目标检测，目标检测模型以香烟为目标，因此得到的检测结果即可表明待测图像中是否存在疑似香烟的物体。当检测结果为疑似香烟范围时，说明待测图像中存在可能为香烟的物体，需要进一步进行检测，判断是否出现吸烟行为。通过人脸关键点检测，可以对待测图像中人脸的嘴部范围进行确定。吸烟行为必然会导致香烟与嘴部相接触或相靠近，因此可以计算疑似香烟范围与嘴部范围之间的匹配参数，该匹配参数具体可以为表征待测图像中香烟与人体嘴部之间的距离的参数，或者可以为表征疑似香烟范围与嘴部范围重合面积的参数，即交集面积。若匹配参数处于预设范围，则说明该物体与嘴部之间的距离很近，或者已经接触。或疑似香烟范围与嘴部范围的重合部分较大，同样表明了二者有所接触或距离较近。由于与这种情况相似的其他情况极少，因此在这种情况下，可以确定待测图像中存在吸烟行为。该方法从香烟与人体嘴部的距离的角度判断是否存在吸烟行为，能够干扰判断结果的因素较少，能够准确地识别出是否存在吸烟行为，提高了吸烟行为检测的可靠性和准确性，解决了相关技术存在的吸烟行为检测的准确性和可靠性较低的问题。

基于上述实施例，本实施例对上述实施例中的部分步骤进行具体说明。在一种实施方式中，目标检测模型可以在其他电子设备处训练，并直接发送至执行本申请各个步骤的本设备处应用。在另一种实施方式中，可以在本设备处自行训练得到目标检测模型，该目标检测模型的训练过程可以包括如下步骤：

步骤21：获取多个初始训练图像，并对初始训练图像进行数据增强处理，得到训练图像。

步骤22：将训练图像输入初始模型，得到训练识别范围。

步骤23：计算训练识别范围与训练图像的标签范围之间的范围距离，并利用范围距离对初始模型的模型参数进行调整。

初始训练图像，是指用于进行数据增强处理的基础图像，数据增强(DataAugmentation)能够让有限的数据产生更多的数据，进而增加训练样本的数量以及多样性(即得到一些负样本数据)，进而提升模型鲁棒性。本申请并不限定数据增强的具体方式，可以根据需要选择适用的数据增强算法。在得到训练图像后，可以将其输入初始模型，在一种实施方式中，为了能够使得训练图像与初始模型相匹配，可以在输入时对训练图像进行大小缩放。初始模型是指没有达到收敛的模型，其进行迭代训练达到收敛后即转变为目标识别模型。初始模型对训练图像进行处理后，输出的结果为训练识别范围，训练识别范围是指初始模型对训练图像中的香烟进行位置预测后得到的位置范围。

标签范围，是指训练图像的标签数据，其也可以称之为真实框(即GroundTruth)，其具体为训练图像中香烟所处的真实位置范围，或者当训练图像中不存在香烟时，标签范围为空范围，即没有标识的范围。在得到训练识别范围后，计算其余标签范围之间的范围距离，由于识别准确性的高低可以直接通过识别得到的训练识别范围和标签范围之间的距离而体现，距离大则准确性低，距离小则准确性高。因此在得到范围距离之后，可以机基于其对初始模型的模型参数进行调整。具体的调整过程不做限定，例如可以基于范围距离计算损失值，并基于损失值进行模型参数的调整。

进一步的，为了提高目标识别模型对各种背景的图像的识别能力，即提高目标识别模型对各种情况下的待测图像的适应性，本申请可以采用基于Mosaic数据增强方法得到的方式进行数据增强处理。具体的，对所述初始训练图像进行数据增强处理，得到训练图像的过程具体可以包括如下步骤：

步骤31：对任意多个初始训练图像分别进行随机裁剪处理和/或随机缩放处理，得到多个目标初始训练图像。

步骤32：对多个目标初始训练图像进行随机排布拼接，得到一个训练图像。

其中，Mosaic数据增强方法是是将四张图片进行随机裁剪后，再拼接到一张图上作为训练图像。该方式得到的训练图像具有丰富的图片背景，通过利用具有丰富背景的图像训练目标检测模型，可以使得目标检测模型对图像具有更强的适应性，对各种情况下的待测图像都能进行准确稳定地识别。

本实施例中，采用了Mosaic数据增强方法的思路，但并不限定参与拼接的初始训练图像的数量。具体的，本申请可以对至少两个初始训练图像进行随机裁剪处理、随机缩放处理后，得到若干个经过处理的目标初始训练图像。通过对其进行随机排布拼接，即可得到训练图像。需要说明的是，在随机裁剪处理、随机缩放处理之外，还可以对初始训练图像进行其他处理，具体处理方式不做限定，例如可以对图像的色值等进行调整。

基于上述实施例，在一种实施方式中，待测图像可以为一个待测视频中的各个视频帧，通过对视频帧进行吸烟行为检测可以实现对待测视频的检测，并判断待测视频是否为异常视频。具体的，可以包括如下步骤：

步骤41：获取待测视频，并在待测视频中确定若干个候选视频帧。

其中，候选视频帧可以为待测视频中的任意一个视频帧，其数量通常小于待测视频中视频帧的总数，以便提高对待测视频的检测速度和效率。本实施例并不限定确定候选视频帧的具体方式，在一种实施方式中，可以按照预设的视频帧间隔，从待测视频的第一帧开始依次获取若干个候选视频帧。或者，可以采用随机抽获取的方式获取候选视频帧。

相应的，获取待测图像的过程可以包括如下步骤：

步骤42：按照预设顺序选择一个候选视频帧作为待测图像。

预设顺序，是指在候选视频帧中选择待测图像的顺序，其具体内容不做限定。具体的，预设顺序可以为帧序号上升的顺序，或者可以为帧序号下降的顺序。

相应的，吸烟行为检测方法，还包括如下步骤：

步骤43：若检测到所有的候选视频帧均检测完毕，且具有吸烟行为的异常视频帧数量大于异常阈值，则确定待测视频为异常视频。

其中，异常视频帧是指具有吸烟行为的候选视频帧。在对待测视频的全部候选视频帧检测完毕后，若其中异常视频帧的数量较多，即大于异常阈值，则可以确定待测视频为异常视频。其中异常阈值可以为固定数值，即对于不同的待测视频来说，其对应的异常阈值相同。异常阈值也可以为活动数值，即基于不同的待测视频来说，异常阈值的具体大小不同，例如可以按照固定比例和待测视频中视频帧的数量确定异常阈值。

在得到待测图像后，本实施例中，采用YOLOv5模型作为目标检测模型，因此将所述待测图像输入以香烟为目标的目标检测模型，得到检测结果的过程具体包括如下步骤：

1、将待测图像输入目标检测模型中的主干网络，得到特征图。

2、将特征图输入目标检测模型中的特征提取网络，得到特征参数。

3、将特征参数输入目标检测模型中的预测网络，得到检测结果。

当待测图像输入目标检测模型后，首先利用主干网络对其进行特征图提取。其中主干网络即为Backbone网络，其用于在不同图像细粒度上聚合并形成图像特征图的卷积神经网络。通常情况下，经过主干网络处理后可以得到大小为512*20*20规模的特征图。

特征提取网络由一系列用于进行混合和组合图像特征提取的网络层组成，其用于将图像特征传递到预测网络，即对特征图进行特征处理，得到特征参数。在YOLOv5模型中，特征提取网络具体为PANet网络(Path Aggregation Network，路径聚合网络)，PANet网络的具体结构和工作过程可以参考相关技术，在此不做赘述。

其中，预测网络，是指用于基于特征参数生成检测结果的网络，其可以预测图像的类别，即命中或非命中，同时还用于在确定图像类别为命中时生成能够表示香烟图像位置的位置信息，并利用位置信息和类别信息共同组成检测结果。

在检测结果为疑似香烟范围时，需要进行人脸关键点识别并进一步确定嘴部范围，识别待测图像中的多个人脸关键点，并利用人脸关键点确定嘴部范围的过程可以包括如下步骤：

步骤51：对待测图像进行人脸关键点检测，得到人脸关键点。

步骤52：按照预设规则在人脸关键点之间进行连线，得到若干个待选范围。

步骤53：根据人脸关键点的关键点信息确定嘴部关键点，并利用嘴部关键点对应的待选范围生成嘴部范围。

预设规则是指基于人脸关键点进行连线的规则，其具体内容不做限定，例如可以为某一个人脸关键点需要与哪些其他的人脸关键点连线，或者可以为某一个人脸关键点不与哪些其他的人脸关键点连线。具体的，在得到人脸关键点后，需要在人脸关键点之间进行连线，通过连线的方式并基于同一类型的关键点圈定人脸上的各个范围，即得到若干个待选范围，以便后续确定嘴部范围。具体的，请参考图5，图5为本申请实施例提供的一种待测图像，对其进行人脸关键点检测。经过人脸关键点检测和连线后，得到如图6所示的若干个待选范围，图6所示的待选范围中包括左眉范围、右眉范围、右眼范围、鼻部范围、嘴部范围和轮廓范围。

关键点信息，是指与各个关键点唯一对应的信息，例如可以为关键点序号或关键点名称。通过关键点信息，可以从人脸关键点中确定嘴部关键点，进而利用嘴部关键点对应的待选范围生成嘴部范围。

对于嘴部范围的生成方式，在一种实施方式中，可以直接将嘴部关键点对应的待选范围直接确定为嘴部范围，在另一种实施方式中，可以基于嘴部关键点对应的待选范围生成嘴部范围，例如当嘴部范围设置为矩形框时，可以取待选范围在矩形框四边方向上的最值坐标，并基于四个最值坐标构建矩形框，则矩形框内的范围即为嘴部范围。

在确定嘴部范围后，需要基于检测结果确定疑似香烟范围。具体的，将待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围的过程可以包括如下步骤：

步骤61：将待测图像输入以香烟为目标的目标检测模型，得到疑似香烟坐标。

步骤62：确定范围长宽参数，并基于范围长宽参数，利用疑似香烟坐标确定疑似香烟范围。

在本实施例中，疑似香烟范围为矩形框范围，且矩形框的长宽大小收到范围长宽参数的限制。范围长宽参数，是指对疑似香烟范围的长边大小和宽边大小进行设置的参数，其具体数值不做限定。

其中，在将待测图像商户如玉目标检测模型后，得到疑似香烟坐标，疑似香烟坐标是指用于确定疑似香烟范围的基准坐标，其具体可以为疑似香烟范围中任意指定点的坐标，例如为疑似香烟范围的左上角点，或者为疑似香烟范围的中心点。在范围长宽参数被设定好的前提下，基于不同的检测坐标可以在待测图像中圈定不同的疑似香烟范围。目标检测模型通过识别待测图像中香烟对应的检测坐标并将其添加到检测结果中，即可确定疑似香烟范围。

进一步的，为了进一步提高检测准确性，本申请还可以对图像中的手势动作进行识别。具体的，还可以包括如下步骤：

步骤71：对待测图像进行手势语义识别处理，得到手势识别结果。

相应的，若匹配参数处于预设范围，则确定待测图像中存在吸烟行为，包括：

步骤72：若匹配参数处于预设范围且手势识别结果为命中，则确定待测图像中存在吸烟行为。

手势语义识别，是指用于识别图像中手势动作类型的识别处理，通过对待测图像进行手势语义识别处理，可以判断待测图像中记录的手势动作是否与吸烟行为相关，例如可以判断是否存在手指夹取香烟的行为。具体的，对所述待测图像进行手势语义识别处理，得到手势识别结果的过程可以包括如下步骤：

步骤81：将待测图像中的非肤色区域删除，得到肤色区域。

步骤82：对肤色区域进行边缘提取处理，得到轮廓图像。

步骤83：将轮廓图像输入手势分类模型，得到分类结果。

由于手势动作为人体手部的姿态，因此记录有手势动作的图像必然处于肤色区域内。其中，肤色区域是指待测图像中符合人体肤色规定的图像区域，通过将待测图像中的非肤色区域删除，仅剩余肤色区域内的图像，即可得到肤色区域。在对待测图像进行非肤色区域删除处理之前，可以对其进行去噪处理，具体可以为高斯滤波处理或中值滤波处理，以便去除其中的噪声。

本实施例并不限定肤色区域的具体生成过程，在一种实施方式中，将待测图像中的非肤色区域删除，得到肤色区域的过程可以包括如下步骤：

步骤91：判断待测图像中各个像素在各个通道的通道像素值是否处于对应的通道区间。

步骤92：若各个通道像素值均处于通道区间，则确定像素处于初始肤色区域。

步骤93：对初始肤色区域进行腐蚀处理和膨胀处理，并将肤色区域以外的非肤色区域内的图像删除，得到肤色区域。

判断待测图像中各个像素是否表征了肤色，具体可以判断像素在各个色彩通道对应的通道像素值是否处于通道区间。色彩通道的数量为多个，例如R、G、B三个通道，分别表示红色、绿色和蓝色。各个色彩通道内的通道像素值共同配合，得到像素对应的像素值。由于人的肤色在一定区间内变化，因此对于一个色彩通道来说，存在一个通道区间，其与其他色彩通道对应的通道区间相配合组成的颜色均为肤色。当某一个像素对应的各个通道像素值均处于对应的通道区间时，则确定该像素处于初始肤色区域。

事实上，步骤92至步骤93可以理解为基于肤色的二值化处理，即当像素对应的像素值不是肤色时，将其设置为纯黑或纯白。

在确定初始肤色区域后，通过腐蚀处理和膨胀处理，可以去除边缘的毛刺，使得初始肤色区域更平滑，处理过后的区域即为肤色区域。将肤色区域以外的飞肤色区域内的图像删除，即可得到肤色区域。请参考图7，图7为本申请实施例提供的一种肤色区域。

手势的具体姿态通过手部的轮廓即可辨别，因此可以对肤色区域进行边缘提取处理，得到人体手部的轮廓图像，并将其输入手势分类模型，得到对应的分类结果。分类结果可以表示手势的具体姿态类别，或者可以表明手势是否为吸烟手势。请参考图8，图8为本申请实施例提供的一种轮廓图像。本实施例并不限定边缘提取处理的具体方式，例如可以对轮廓点进行傅立叶算子提取，并基于傅立叶算子进行边缘提取。

请参考图4，图4为本申请实施例提供的另一种吸烟行为检测方法的流程示意图。其记录的吸烟行为检测流程包括了手势语义的检测，其利用S201至S204步骤替代了上述的S106步骤，具体的：

S201：对待测图像进行手势语义识别处理，得到手势识别结果。

S202：判断手势识别结果是否为命中。

S203：预设操作。

S204：确定待测图像中存在吸烟行为。

其中，S203步骤的预设操作与S106步骤的预设操作可以相同也可以不同呢，本实施例在此不做限定。需要说明的是，匹配参数的计算过程和手势语义识别处理的过程可以并行执行，或者可以如图4所示，串行执行。

基于上述实施例，请参考图9，图9为本申请实施例提供的一种具体的吸烟行为检测方法的流程示意图。在从待测视频中提取得到原始图像(即待测图像)后，利用YOLOv5进行目标检测，利用其对原始图像中的香烟位置进行框选。得到目标位置，以便基于目标位置确定疑似香烟范围，同时，利用MTCNN模型(Multi-Task Convolutional Neural Network，同时处理多个任务的卷积神经网络)进行人脸关键点定位和嘴部关键点的确定，进而确定嘴部范围。计算疑似香烟范围和嘴部范围之间的距离或交集面积(即匹配参数)，并判断该距离是否合适。合适即为匹配参数处于预设范围。若不合适，则可以确定不存在吸烟行为，重新获取下一个视频帧作为原始图像。若存在吸烟行为，则进一步进行手势判断。

具体的，利用手势语义分割模型(semantic segmentation)对原始图像的手势信息进行检测，判断原始图像中内的手势是否为吸烟状态。若是，且匹配参数合适，则可以确定该原始图像中存在吸烟行为，确定为异常视频帧。若整个待测视频中的异常视频帧的数量达到总视频帧数量的30％及以上，则可以确定该待测视频为异常视频，即吸烟视频。

下面对本申请实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的吸烟行为检测方法可相互对应参照。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的吸烟行为检测方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种吸烟行为检测方法，其特征在于，包括：

获取待测图像，并将所述待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围；

识别所述待测图像中的多个人脸关键点，并利用所述人脸关键点确定嘴部范围；

计算所述疑似香烟范围与所述嘴部范围之间的匹配参数，其中，所述匹配参数为所述疑似香烟范围与所述嘴部范围之间的目标距离，和/或，所述嘴部范围与所述疑似香烟范围之间的交集面积；

若所述匹配参数处于预设范围，则确定所述待测图像中存在吸烟行为。

2.根据权利要求1所述的吸烟行为检测方法，其特征在于，还包括：

获取待测视频，并在所述待测视频中确定若干个候选视频帧；

相应的，所述获取待测图像，包括：

按照预设顺序选择一个所述候选视频帧作为所述待测图像；

所述吸烟行为检测方法，还包括：

若检测到所有的所述候选视频帧均检测完毕，且具有所述吸烟行为的异常视频帧数量大于异常阈值，则确定所述待测视频为异常视频。

3.根据权利要求1所述的吸烟行为检测方法，其特征在于，在将所述待测图像输入以香烟为目标的目标检测模型之后，还包括：

若所述目标检测模型输出确定香烟范围，则确定所述待测图像中存在吸烟行为。

4.根据权利要求1所述的吸烟行为检测方法，其特征在于，还包括：

对所述待测图像进行手势语义识别处理，得到手势识别结果；

相应的，所述若所述匹配参数处于预设范围，则确定所述待测图像中存在吸烟行为，包括：

若所述匹配参数处于所述预设范围且所述手势识别结果为命中，则确定所述待测图像中存在所述吸烟行为。

5.根据权利要求4所述的吸烟行为检测方法，其特征在于，所述对所述待测图像进行手势语义识别处理，得到手势识别结果，包括：

将所述待测图像中的非肤色区域删除，得到肤色区域；

对所述肤色区域进行边缘提取处理，得到轮廓图像；

将所述轮廓图像输入手势分类模型，得到所述手势识别结果。

6.根据权利要求5所述的吸烟行为检测方法，其特征在于，所述将所述待测图像中的非肤色区域删除，得到肤色区域，包括：

判断所述待测图像中各个像素在各个通道的通道像素值是否处于对应的通道区间；

若各个所述通道像素值均处于所述通道区间，则确定所述像素处于初始肤色区域；

对所述初始肤色区域进行腐蚀处理和膨胀处理，并将所述肤色区域以外的所述非肤色区域内的图像删除，得到所述肤色区域。

7.根据权利要求1所述的吸烟行为检测方法，其特征在于，所述将所述待测图像输入以香烟为目标的目标检测模型，确定疑似香烟范围，包括：

将所述待测图像输入以香烟为目标的目标检测模型，得到疑似香烟坐标；

确定范围长宽参数，并基于所述范围长宽参数，利用所述疑似香烟坐标确定所述疑似香烟范围。

8.根据权利要求1所述的吸烟行为检测方法，其特征在于，所述目标检测模型的训练过程，包括：

获取多个初始训练图像，并对所述初始训练图像进行数据增强处理，得到训练图像；

将所述训练图像输入初始模型，得到训练识别范围；

计算所述训练识别范围与所述训练图像的标签范围之间的范围距离，并利用所述范围距离对所述初始模型的模型参数进行调整。

9.根据权利要求8所述的吸烟行为检测方法，其特征在于，所述对所述初始训练图像进行数据增强处理，得到训练图像，包括：

对任意多个所述初始训练图像分别进行随机裁剪处理和/或随机缩放处理，得到多个目标初始训练图像；

对所述多个目标初始训练图像进行随机排布拼接，得到一个所述训练图像。

10.根据权利要求1所述的吸烟行为检测方法，其特征在于，所述识别所述待测图像中的多个人脸关键点，并利用所述人脸关键点确定嘴部范围，包括：

对所述待测图像进行人脸关键点检测，得到人脸关键点；

按照预设规则在所述人脸关键点之间进行连线，得到若干个待选范围；

根据所述人脸关键点的关键点信息确定嘴部关键点，并利用所述嘴部关键点对应的待选范围生成所述嘴部范围。

11.一种电子设备，其特征在于，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现如权利要求1至10任一项所述的吸烟行为检测方法。

12.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的吸烟行为检测方法。

Images