CN112434612A - 吸烟检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种吸烟检测方法、装置、电子设备及计算机可读存储介质，在检测是否存在吸烟行为时，先通过第一目标检测模型识别出待检测图像中的头肩部位，然后再将头肩部位图像输入到第二目标检测模型，识别出头肩部位图像内是否存在用于表征吸烟的第二检测目标，并根据第二检测目标的数量确定是否存在吸烟行为。在上述检测过程中，并不是直接检测是否存在吸烟动作，由此可以避免将捂脸、捂嘴等与吸烟动作类似的动作误识别为吸烟动作。此外，在检测用于表征吸烟的第二检测目标时，是基于头肩部位图像在进行检测，由此可以提高第二目标检测模型能正确识别出第二检测目标的概率，从而提高最终的识别准确度。

Description

吸烟检测方法、装置、电子设备及计算机可读存储介质

技术领域

本申请属于图像识别领域，具体涉及一种吸烟检测方法、装置、电子设备及计算机可读存储介质。

背景技术

吸烟不仅对人体的健康造成危害，还会对社会产生不良的影响，因此，很有必要在禁烟区域对吸烟行为进行实时监控。

现有技术中一般采用如下两种方式对吸烟行为进行检测。

1、通过检测图像中的行人是否存在吸烟动作来确定是否存在吸烟行为。然而，由于吸烟动作与捂脸、捂嘴等动作类似，因此，该方法容易将捂脸、捂嘴等动作误判为吸烟动作，从而导致识别结果的准确度偏低。

2、通过检测图像中是否存在烟头、烟雾来确定是否存在吸烟行为。然而，对于原始图像而言，烟头与烟雾在整图中的占比较小，导致对烟头与烟雾的识别过程容易受到图中其他内容的干扰，容易造成漏检以及误检，从而导致识别结果的准确度偏低。

发明内容

有鉴于此，本申请的目的在于提供一种吸烟检测方法、装置、电子设备及计算机可读存储介质，以提高吸烟检测的检测准确度。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供一种吸烟检测方法，所述方法包括：获取待检测图像；将所述待检测图像输入第一目标检测模型，得到第一检测结果，所述第一目标检测模型的第一检测目标为头肩部位；根据所述第一检测结果确定出头肩部位图像；将所述头肩部位图像输入第二目标检测模型，得到第二检测结果，所述第二目标检测模型的第二检测目标用于表征吸烟；根据所述第二检测结果中所包括的所述第二检测目标的数量，确定所述待检测图像中是否存在吸烟。

在上述检测过程中，并不是直接检测是否存在吸烟动作，由此可以避免将捂脸、捂嘴等与吸烟动作类似的动作误识别为吸烟动作。此外，在检测用于表征吸烟的第二检测目标时，是基于头肩部位图像在进行检测，若输入第二目标检测模型的头肩部位图像中存在第二检测目标，那么该第二检测目标在头肩部位图像中的占比远大于该第二检测目标在待检测图像中的占比，相应的，受到其他干扰因素的干扰减少，由此可以提高第二目标检测模型能正确识别出第二检测目标的概率，从而提高最终的识别准确度。

结合第一方面实施例，在一种可能的实施方式中，所述第一检测结果表征所述头肩部位在所述待检测图像中的区域范围，所述根据所述第一检测结果确定出头肩部位图像，包括：从所述待检测图像中裁剪出所述第一检测结果所表征的所述头肩部位在所述待检测图像中的区域范围，得到所述头肩部位图像。

结合第一方面实施例，在一种可能的实施方式中，所述第一检测结果包括多个头肩部位，在所述根据所述第一检测结果确定出头肩部位图像之前，所述方法还包括：对所述第一检测结果所包括的多个头肩部位进行预处理，得到预处理结果，所述预处理用于降低所述第一检测结果中的干扰因素；相应的，所述根据所述第一检测结果确定出头肩部位图像，包括：根据所述预处理结果，确定出所述头肩部位图像。

通过对第一检测结果进行预处理，可以降低第一检测结果中的干扰因素，从而可以提高后续对是否存在吸烟行为的识别准确度。

结合第一方面实施例，在一种可能的实施方式中，所述对所述第一检测结果所包括的多个头肩部位进行预处理，包括：对所述第一检测结果所包括的多个头肩部位进行过滤处理，和/或对所述第一检测结果所包括的多个头肩部位进行去重处理；其中，所述过滤处理用于删除识别错误的头肩部位，所述去重处理用于删除被重复识别的头肩部位。

结合第一方面实施例，在一种可能的实施方式中，所述第一检测结果还包括与每个头肩部位对应的概率，所述对所述第一检测结果所包括的多个头肩部位进行过滤处理，包括：将所述第一检测结果所包括的各个头肩部位所对应的概率中，概率值低于第一阈值的头肩部位删除。

结合第一方面实施例，在一种可能的实施方式中，所述第一检测结果还包括与每个头肩部位对应的概率，所述对所述第一检测结果所包括的多个头肩部位进行去重处理，包括：针对所述第一检测结果中当前所包括的头肩部位，重复执行如下a-c的操作，直至当前剩余的头肩部位的数量为零：a：从所述第一检测结果当前所包括的头肩部位中筛选出目标头肩部位，所述目标头肩部位对应的概率值在当前所包括的头肩部位所对应的概率值中最大；b：将当前剩余的头肩部位中的每个头肩部位分别与所述目标头肩部位计算重叠度；c：将所述重叠度大于第二阈值的头肩部位删除。

结合第一方面实施例，在一种可能的实施方式中，所述第二检测目标为香烟和/或烟雾。

第二方面，本申请实施例提供一种吸烟检测装置，所述装置包括：获取模块、输入模块以及确定模块。

获取模块，用于获取待检测图像；

输入模块，用于将所述待检测图像输入第一目标检测模型，得到第一检测结果，所述第一目标检测模型的第一检测目标为头肩部位；

确定模块，用于根据所述第一检测结果确定出头肩部位图像；

所述输入模块，还用于将所述头肩部位图像输入第二目标检测模型，得到第二检测结果，所述第二目标检测模型的第二检测目标用于表征吸烟；

所述确定模块，还用于根据所述第二检测结果中所包括的所述第二检测目标的数量，确定所述待检测图像中是否存在吸烟。

结合第二方面实施例，在一种可能的实施方式中，所述第一检测结果表征所述头肩部位在所述待检测图像中的区域范围，所述确定模块，用于从所述待检测图像中裁剪出所述第一检测结果所表征的所述头肩部位在所述待检测图像中的区域范围，得到所述头肩部位图像。

结合第二方面实施例，在一种可能的实施方式中，所述第一检测结果包括多个头肩部位，所述装置还包括预处理模块，用于对所述第一检测结果所包括的多个头肩部位进行预处理，得到预处理结果，所述预处理用于降低所述第一检测结果中的干扰因素；

相应的，所述确定模块，用于根据所述预处理结果，确定出所述头肩部位图像。

结合第二方面实施例，在一种可能的实施方式中，所述预处理模块，用于对所述第一检测结果所包括的多个头肩部位进行过滤处理，和/或对所述第一检测结果所包括的多个头肩部位进行去重处理；其中，所述过滤处理用于删除识别错误的头肩部位，所述去重处理用于删除被重复识别的头肩部位。

结合第二方面实施例，在一种可能的实施方式中，所述第一检测结果还包括与每个头肩部位对应的概率，所述预处理模块，用于将所述第一检测结果所包括的各个头肩部位所对应的概率中，概率值低于第一阈值的头肩部位删除。

结合第二方面实施例，在一种可能的实施方式中，所述第一检测结果还包括与每个头肩部位对应的概率，所述预处理模块，用于针对所述第一检测结果中当前所包括的头肩部位，重复执行如下a-c的操作，直至当前剩余的头肩部位的数量为零：

a：从所述第一检测结果当前所包括的头肩部位中筛选出目标头肩部位，所述目标头肩部位对应的概率值在当前所包括的头肩部位所对应的概率值中最大；

b：将当前剩余的头肩部位中的每个头肩部位分别与所述目标头肩部位计算重叠度；

c：将所述重叠度大于第二阈值的头肩部位删除。

结合第二方面实施例，在一种可能的实施方式中，所述第二检测目标为香烟和/或烟雾。

第三方面，本申请实施例还提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。

第四方面，本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称计算机可读存储介质)，其上存储有计算机程序，所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。

第五方面，本申请实施例还提供一种目标检测模型，包括依次连接的主干网络、FPN网络以及目标检测网络；所述主干网络，用于对待检测图像进行特征提取，得到不同尺度的特征层；所述FPN网络，用于对所述不同尺度的特征层进行融合，得到融合特征层；所述目标检测网络，用于对所述融合特征层进行目标检测，并输出检测结果。

结合第五方面实施例，在一种可能的实施方式中，所述目标检测网络，用于检测一类目标，或者用于检测多类不同的目标。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。

图1示出本申请实施例提供的一种吸烟检测方法的流程图。

图2示出本申请实施例提供的一种第一目标检测网络的示意图。

图3示出本申请实施例提供的一种吸烟检测装置的结构框图。

图4示出本申请实施例提供的一种电子设备的结构示意图。

图标：100-电子设备；110-处理器；120-存储器；400-吸烟检测装置；410-获取模块；420-输入模块；430-确定模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

此外，针对现有技术中的对吸烟行为的方案所存在的缺陷(识别结果的准确度偏低)是申请人在经过实践并仔细研究后得出的结果，因此，上述缺陷的发现过程以及在下文中本申请实施例针对上述缺陷所提出的解决方案，都应该被认定为申请人对本申请做出的贡献。

为了解决上述问题，本申请实施例提供一种吸烟检测方法、装置、电子设备及计算机可读存储介质，以提高吸烟检测的检测准确度。

该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本申请实施例进行详细介绍。

下面将针对本申请所提供的吸烟检测方法进行介绍。

请参照图1，本申请实施例提供一种的吸烟检测方法，包括以下步骤。

步骤S110：获取待检测图像。

待检测图像可以是由相机所拍摄的单张图片，也可以是由具备录像功能的摄像机拍摄的视频图像。

步骤S120：将所述待检测图像输入第一目标检测模型，得到第一检测结果，所述第一目标检测模型的第一检测目标为头肩部位。

在一种可选的实施方式中，若第一目标检测模型对输入图像的图像属性(例如图像的长、宽、像素值的范围等)未设置限制，那么可以直接将获取到的待检测图像输入第一目标检测模型。

在另一种可选的实施方式中，若第一目标检测模型对输入图像的图像属性设有限制，相应的，在将待检测图像输入第一目标检测模型前，需要先对待检测图像进行前置处理，以使得待检测图像的图像属性符合第一目标检测模型的输入要求。

例如，在一些实施方式中，在训练第一目标检测模型时所采用的训练样本的尺寸均被调整为I_input∈R^H×W×3(H表示输入图像的宽度，W表示输入图像的长度，3表示输入图像的通道数)，且每个训练样本的像素值均从0-255范围归一化到0-1范围内，相应的，为了尽可能地保证最终识别结果的准确性，在将待检测图像输入第一目标检测模型之前，需要对待检测图像进行前置处理，即将待检测图像的宽度调整到H，将待检测图像的长度调整到W，将待检测图像的通道数调整到3，将待检测图像的像素值归一化到0-1范围内。

在一些实施方式中，第一目标检测模型的输出为待检测图像中的头肩部位的图像，那么第一检测结果为头肩部位的图像。

在另一些实施方式中，第一目标检测模型的输出为待检测图像中的头肩部位的边框，那么第一检测结果为头肩部位边框。

当第一目标检测模型的输出为待检测图像中的头肩部位的边框时，如图2所示，第一目标检测模型可以采用CenterNet网络结构，包括主干网络、FPN(feature pyramidnetworks，特征金字塔网络)网络以及目标检测网络。

主干网络用于对输入第一目标检测模型的待检测图像进行特征提取，得到不同尺度的特征层。

FPN网络用于对不同尺度的特征层进行融合，并将融合特征层输入到目标检测网络，由目标检测网络输出第一检测目标。

其中，主干网络的基础网络可以采用ResNet-18网络，当然，也可以采用其他具备特征提取能力的网络(例如ResNet-50)作为主干网络的基础网络，本申请实施例不做过多限定。

例如在一些实施方式中，采用ResNet-18网络作为主干网络的基础网络，主干网络对输入图像I_input∈R^H×W×3进行特征提取，得到三个不同尺寸的特征层，分别为：

其中，浅层特征层(C2)与中层特征层(C3)包含的纹理信息较多，有助于小尺度目标的检测，深层特征层(C4)包含的语义信息更多，有助于大尺度目标的检测。

为了使得第一目标检测模型对不同尺度的目标均具备较好的检测效果，在得到多个不同尺度的特征层后，将多个不同尺度的特征层输入到FPN网络中进行特征信息融合，最后得到与浅层特征层的尺度信息相同的融合特征层

目标检测网络包括第一预测子网络以及第二预测子网络。

其中，第一预测子网络用于预测第一检测目标的中心点坐标为(x,y)时的概率，第二预测子网络用于预测第一检测目标的中心点坐标为(x,y)时，第一检测目标的长和宽。

可选的，第一预测子网络包括2个卷积层(分别为Conv1-1和Conv1-2)以及1个Sigmoid激活层(保证输出值的范围为0-1)。

其中，Conv1-1的卷积核大小根据实际情况进行确定，例如设置为3×3，输出通道为M，Conv1-2的卷积核大小根据实际情况进行确定，例如设置为1×1，输出通道为K。K表示第一检测目标的类别数，例如第一检测目标为头肩部位，那么K为1。

可选的，第二预测子网络包括2个卷积层(分别为Conv2-1和Conv2-2)以及1个Exp(指数)函数层(保证输出值为正)。

其中，Conv2-1的卷积核大小根据实际情况进行确定，例如设置为3×3，输出通道为M，Conv2-2的卷积核大小根据实际情况进行确定，例如设置为1×1，输出通道为2，分别对应第一检测目标的长和宽。

再将融合特征层

输入到第一目标检测模型的目标检测网络后，第一目标检测模型的第一预测子网络输出热度特征图

第一目标检测模型的第二预测子网络输出边框尺寸特征图

其中，

中的每个位置会被预测出K个值(K为Conv1-2的输出通道数，由于第一目标检测模型的Conv1-2的输出通道为1，因此，对于第一目标检测模型，

中每个位置会被预测出1个值)。

假设

中每个位置点的坐标为(x,y)，x＝[0,1，…，W-1]，y＝[0,1，…，H-1]，每个位置点输出的值表示为p_x,y,k，k＝[0,1，…，K-1]，且p_x,y,k表示位置点(x,y)被预测为第K类检测目标的中心点坐标的概率，对应到第一目标检测模型，则p_x,y,k表示位置点(x,y)被预测为头肩部位的中心点坐标的概率。

同理，

中的每个位置会被预测出Conv2-2的输出通道个数个值(即预测出2个值)，具体为(w_x，y，h_x，y)。

其中w_x，y，h_x，y分别表示位置点(x,y)所对应的第一检测目标的长和宽。

将

以及

进行合并，得到第一目标检测模型的最后输出

即第一检测结果为

其中，每个bbox表示一个目标边框，例如，针对bbox_x,y,k＝[x，y，w_x，_y，h_x，y，p_x,y,k]，(x,y)表示该目标边框中心点的坐标，(w_x，y，h_x，y)表示该目标边框的长和宽，k表示该目标边框所对应的类别，p_x,y,k表示该目标边框被预测为第K类目标的概率。由于第一目标检测模型用于检测头肩部位，因此，K与k均为1，每个目标边框表征一个头肩部位所在的边框。

当第一检测结果包括多个头肩部位时，在一些实施方式中，为了提高后续的识别准确性，可以对第一检测结果进行预处理，从而得到预处理结果，以减少第一检测结果中的干扰头肩部位。

可选的，可以采用过滤处理的方式，删除第一检测结果中的识别错误的头肩部位，从而达到减少第一检测结果中的干扰头肩部位的目的，也可以采用去重处理的方式，删除第一检测结果中的被重复识别的头肩部位，从而达到减少第一检测结果中的干扰头肩部位的目的。

当然，在一些实施方式中，还可以先采用过滤处理的方式，再基于过滤处理的结果，又采用去重处理的方式，以得到最终的预处理结果。

下面将分别针对两种处理方式进行介绍。

根据前文的介绍可以得知，第一检测结果中的每个bbox表示一个头肩部位边框，且每个头肩部位边框均存在一个对应的概率。

在进行过滤处理时，可以遍历第一检测结果所包括的各个头肩部位边框所对应的概率，然后将概率值低于第一阈值的头肩部位边框删除。

其中，低于第一阈值的头肩部位边框表征被误识别。第一阈值可以根据实际情况进行设置，例如在一些实施方式中，第一阈值被设置为0.5。

在进行去重处理时，可以遍历第一检测结果所包括的各个头肩部位边框所对应的概率，然后重复执行如下a-c的操作，直至第一检测结果中当前剩余的头肩部位边框的数量为零：

a：从第一检测结果当前所包括的头肩部位边框中筛选出目标头肩部位边框，并将其加入到集合D中。

其中，目标头肩部位边框对应的概率值在第一检测结果当前所包括的头肩部位边框所对应的概率值中最大。

b：将当前剩余的头肩部位边框中的每个头肩部位边框分别与目标头肩部位计算重叠度。

其中，计算两个头肩部位边框的重合度即为计算两个头肩部位边框的交并比(IOU)。此部分为现有技术，不再过多赘述。

c：将重叠度大于第二阈值的头肩部位删除。

其中，大于第二阈值的头肩部位边框表征该头肩部位边框与目标头肩部位边框属于同一个头肩部位。第二阈值可以根据实际情况进行设置，例如在一些实施方式中，第二阈值被设置为0.5。

其中，当第一检测结果中当前剩余的头肩部位边框的数量为零时，D中所包括的目标头肩部位边框即为经过预处理后的预处理结果。

步骤S130：根据所述第一检测结果确定出头肩部位图像。

在一些实施方式中，当第一检测结果为头肩部位的图像时，可以直接将第一检测结果所包括的头肩部位的图像确定为头肩部位图像。

在另一些实施方式中，当第一检测结果为头肩部位边框时，头肩部位边框bbox_x,y,k＝[x，y，w_x，y，h_x，y，p_x,y,k]中的(x,y)表示头肩部位边框中心点的坐标，(w_x，y，h_x，y)表示头肩部位边框的长和宽，由此，可以确定出头肩部位在待检测图像中的区域范围。此时，可以根据(x,y)、(w_x，y，h_x，y)，从待检测图像中裁剪出头肩部位所在的区域范围，从而得到头肩部位图像。

当然，若对第一检测结果进行过预处理，那么在确定出头肩部位图像时，则根据预处理结果所包括的头肩部位边框确定出头肩部位图像。

步骤S140：将所述头肩部位图像输入第二目标检测模型，得到第二检测结果，所述第二目标检测模型的第二检测目标用于表征吸烟。

其中，第二检测目标可以为香烟，也可以为烟雾。

当然，在一些实施方式中，也可以将香烟和烟雾均确定为第二检测目标，此时，针对第二目标检测模型而言，需要针对同一头肩部位图像进行香烟检测以及烟雾检测。

可以理解，当在头肩部位图像中存在第二检测目标时，该第二检测目标在头肩部位图像中的占比远大于该第二检测目标在待检测图像中的占比。而占比越大，则更加有利于第二目标检测模型充分获取到该第二检测目标的特征，从而更加容易被识别出。此外，占比越大，图像中存在其他干扰因素的概率越小，也有利于第二检测目标被正确识别出。

下面以将香烟和烟雾均确定为第二检测目标为例，对第二目标检测模型进行介绍。

在一种可选的实施方式中，若第二目标检测模型对于输入图像的图像属性(例如图像的长、宽、像素值的范围等)未设置限制，那么可以直接将得到的头肩部位图像输入第二目标检测模型。

在另一种可选的实施方式中，若第二目标检测模型对于输入图像的图像属性设置限制，相应的，在将头肩部位图像输入第二目标检测模型前，需要先对头肩部位图像进行前置处理，以使得头肩部位图像的图像属性符合第二目标检测模型的输入要求。

与用于输出头肩部位边框的第一目标检测模型类似，第二目标检测模型采用CenterNet网络结构，包括主干网络、FPN(feature pyramid networks，特征金字塔网络)网络以及目标检测网络。

在这种实施方式下，第二目标检测模型与第一目标检测模型的主要区别点在于，第二目标检测模型的第一预测子网络的第二个卷积层的输出通道为K，K表示第二检测目标的类别数。由于第二检测目标为香烟和烟雾，因此K为2。

相应的，第二目标检测模型的第一预测子网络输出的

中的每个位置会被预测出K个值(K为2)。

第二目标检测模型的最后输出第二检测结果为烟头边框以及烟雾边框。

步骤S150：根据所述第二检测结果中所包括的所述第二检测目标的数量，确定所述待检测图像中是否存在吸烟。

具体的，当第二检测目标的数量不为零时，即可确定待检测图像中存在吸烟行为。

当然，在一些实施方式中，也可以对第二检测结果按照第一检测结果类似的预处理方式进行预处理，从而尽可能地减少第二检测结果中的干扰，提高吸烟检测的准确度，当然，此时将根据进行过预处理的第二检测结果中的第二检测目标的数量来确定待检测图像中是否存在吸烟行为。

当然，在一些实施方式中，当存在第二检测目标时，还可以根据第二检测结果中的烟头边框以及烟雾边框的中心点的坐标以及长和宽，在待检测图像中框选出烟头所在的位置以及烟雾所在的位置。

本申请实施例所提供的一种吸烟检测方法，在检测是否存在吸烟行为时，先通过第一目标检测模型识别出待检测图像中的头肩部位，然后再将头肩部位图像输入到第二目标检测模型，识别出头肩部位图像内是否存在用于表征吸烟的第二检测目标，并根据第二检测目标的数量确定是否存在吸烟行为。在上述检测过程中，并不是直接检测是否存在吸烟动作，由此可以避免将捂脸、捂嘴等与吸烟动作类似的动作误识别为吸烟动作。此外，在检测用于表征吸烟的第二检测目标时，是基于头肩部位图像在进行检测，若输入第二目标检测模型的头肩部位图像中存在第二检测目标，那么该第二检测目标在头肩部位图像中的占比远大于该第二检测目标在待检测图像中的占比，由此可以提高第二目标检测模型能正确识别出第二检测目标的概率，从而提高最终的识别准确度。

此外，请参照图3，本申请实施例还提供一种吸烟检测装置400，吸烟检测装置400可以包括：获取模块410、输入模块420以及确定模块430。

获取模块410，用于获取待检测图像；

输入模块420，用于将所述待检测图像输入第一目标检测模型，得到第一检测结果，所述第一目标检测模型的第一检测目标为头肩部位；

确定模块430，用于根据所述第一检测结果确定出头肩部位图像；

所述输入模块420，还用于将所述头肩部位图像输入第二目标检测模型，得到第二检测结果，所述第二目标检测模型的第二检测目标用于表征吸烟；

所述确定模块430，还用于根据所述第二检测结果中所包括的所述第二检测目标的数量，确定所述待检测图像中是否存在吸烟。

在一种可能的实施方式中，所述第一检测结果表征所述头肩部位在所述待检测图像中的区域范围，所述确定模块430，用于从所述待检测图像中裁剪出所述第一检测结果所表征的所述头肩部位在所述待检测图像中的区域范围，得到所述头肩部位图像。

在一种可能的实施方式中，所述第一检测结果包括多个头肩部位，所述装置还包括预处理模块，用于对所述第一检测结果所包括的多个头肩部位进行预处理，得到预处理结果，所述预处理用于降低所述第一检测结果中的干扰因素；

相应的，所述确定模块430，用于根据所述预处理结果，确定出所述头肩部位图像。

在一种可能的实施方式中，所述预处理模块，用于对所述第一检测结果所包括的多个头肩部位进行过滤处理，和/或对所述第一检测结果所包括的多个头肩部位进行去重处理；其中，所述过滤处理用于删除识别错误的头肩部位，所述去重处理用于删除被重复识别的头肩部位。

在一种可能的实施方式中，所述第一检测结果还包括与每个头肩部位对应的概率，所述预处理模块，用于将所述第一检测结果所包括的各个头肩部位所对应的概率中，概率值低于第一阈值的头肩部位删除。

在一种可能的实施方式中，所述第一检测结果还包括与每个头肩部位对应的概率，所述预处理模块，用于针对所述第一检测结果中当前所包括的头肩部位，重复执行如下a-c的操作，直至当前剩余的头肩部位的数量为零：

a：从所述第一检测结果当前所包括的头肩部位中筛选出目标头肩部位，所述目标头肩部位对应的概率值在当前所包括的头肩部位所对应的概率值中最大；

b：将当前剩余的头肩部位中的每个头肩部位分别与所述目标头肩部位计算重叠度；

c：将所述重叠度大于第二阈值的头肩部位删除。

在一种可能的实施方式中，所述第二检测目标为香烟和/或烟雾。

本申请实施例所提供的吸烟检测装置400，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时，执行如上述的吸烟检测方法所包含的步骤。

此外，请参看图4，本申请实施例还提供一种电子设备100，用于实现本申请实施例的吸烟检测方法、装置的电子设备100。

可选的，电子设备100，可以是，但不限于个人电脑(Personal computer，PC)、平板电脑、移动上网设备(Mobile Internet Device，MID)、服务器等设备。其中，服务器可以是，但不限于网络服务器、云端服务器等。

其中，电子设备100可以包括：处理器110、存储器120。

应当注意，图4所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备100也可以具有其他组件和结构。例如，在一些情况下，电子设备100还可以包括显示器，从而展示检测出的存在吸烟行为的图像。

处理器110、存储器120以及其他可能出现于电子设备100的组件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，处理器110、存储器120、显示屏以及其他可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器120用于存储程序，例如存储有后文出现的吸烟检测方法对应的程序或者后文出现的吸烟检测装置。可选的，当存储器120内存储有吸烟检测装置时，吸烟检测装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。

可选的，吸烟检测装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system，OS)中。

处理器110用于执行存储器120中存储的可执行模块，例如吸烟检测装置包括的软件功能模块或计算机程序。当处理器110在接收到执行指令后，可以执行计算机程序，例如执行：获取待检测图像；将所述待检测图像输入第一目标检测模型，得到第一检测结果，所述第一目标检测模型的第一检测目标为头肩部位；根据所述第一检测结果确定出头肩部位图像；将所述头肩部位图像输入第二目标检测模型，得到第二检测结果，所述第二目标检测模型的第二检测目标用于表征吸烟；根据所述第二检测结果中所包括的所述第二检测目标的数量，确定所述待检测图像中是否存在吸烟。

当然，本申请任一实施例所揭示的方法都可以应用于处理器110中，或者由处理器110实现。

综上所述，本发明实施例提出的吸烟检测方法、装置、电子设备及计算机可读存储介质，在检测是否存在吸烟行为时，先通过第一目标检测模型识别出待检测图像中的头肩部位，然后再将头肩部位图像输入到第二目标检测模型，识别出头肩部位图像内是否存在用于表征吸烟的第二检测目标，并根据第二检测目标的数量确定是否存在吸烟行为。在上述检测过程中，并不是直接检测是否存在吸烟动作，由此可以避免将捂脸、捂嘴等与吸烟动作类似的动作误识别为吸烟动作。此外，在检测用于表征吸烟的第二检测目标时，是基于头肩部位图像在进行检测，若输入第二目标检测模型的头肩部位图像中存在第二检测目标，那么该第二检测目标在头肩部位图像中的占比远大于该第二检测目标在待检测图像中的占比，由此可以提高第二目标检测模型能正确识别出第二检测目标的概率，从而提高最终的识别准确度。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种吸烟检测方法，其特征在于，所述方法包括：

获取待检测图像；

将所述待检测图像输入第一目标检测模型，得到第一检测结果，所述第一目标检测模型的第一检测目标为头肩部位；

根据所述第一检测结果确定出头肩部位图像；

将所述头肩部位图像输入第二目标检测模型，得到第二检测结果，所述第二目标检测模型的第二检测目标用于表征吸烟；

根据所述第二检测结果中所包括的所述第二检测目标的数量，确定所述待检测图像中是否存在吸烟。

2.根据权利要求1所述的方法，其特征在于，所述第一检测结果表征所述头肩部位在所述待检测图像中的区域范围，所述根据所述第一检测结果确定出头肩部位图像，包括：

从所述待检测图像中裁剪出所述第一检测结果所表征的所述头肩部位在所述待检测图像中的区域范围，得到所述头肩部位图像。

3.根据权利要求1所述的方法，其特征在于，所述第一检测结果包括多个头肩部位，在所述根据所述第一检测结果确定出头肩部位图像之前，所述方法还包括：

对所述第一检测结果所包括的多个头肩部位进行预处理，得到预处理结果，所述预处理用于降低所述第一检测结果中的干扰因素；

相应的，所述根据所述第一检测结果确定出头肩部位图像，包括：

根据所述预处理结果，确定出所述头肩部位图像。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一检测结果所包括的多个头肩部位进行预处理，包括：

对所述第一检测结果所包括的多个头肩部位进行过滤处理，和/或对所述第一检测结果所包括的多个头肩部位进行去重处理；

其中，所述过滤处理用于删除识别错误的头肩部位，所述去重处理用于删除被重复识别的头肩部位。

5.根据权利要求4所述的方法，其特征在于，所述第一检测结果还包括与每个头肩部位对应的概率，所述对所述第一检测结果所包括的多个头肩部位进行过滤处理，包括：

将所述第一检测结果所包括的各个头肩部位所对应的概率中，概率值低于第一阈值的头肩部位删除。

6.根据权利要求4所述的方法，其特征在于，所述第一检测结果还包括与每个头肩部位对应的概率，所述对所述第一检测结果所包括的多个头肩部位进行去重处理，包括：

针对所述第一检测结果中当前所包括的头肩部位，重复执行如下a-c的操作，直至当前剩余的头肩部位的数量为零：

a：从所述第一检测结果当前所包括的头肩部位中筛选出目标头肩部位，所述目标头肩部位对应的概率值在当前所包括的头肩部位所对应的概率值中最大；

b：将当前剩余的头肩部位中的每个头肩部位分别与所述目标头肩部位计算重叠度；

c：将所述重叠度大于第二阈值的头肩部位删除。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述第二检测目标为香烟和/或烟雾。

8.一种吸烟检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测图像；

输入模块，用于将所述待检测图像输入第一目标检测模型，得到第一检测结果，所述第一目标检测模型的第一检测目标为头肩部位；

确定模块，用于根据所述第一检测结果确定出头肩部位图像；

所述输入模块，还用于将所述头肩部位图像输入第二目标检测模型，得到第二检测结果，所述第二目标检测模型的第二检测目标用于表征吸烟；

所述确定模块，还用于根据所述第二检测结果中所包括的所述第二检测目标的数量，确定所述待检测图像中是否存在吸烟。

9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器连接；

所述存储器用于存储程序；

所述处理器调用存储于所述存储器中的程序，以执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-7中任一项所述的方法。

11.一种目标检测模型，其特征在于，包括依次连接的主干网络、FPN网络以及目标检测网络；

所述主干网络，用于对待检测图像进行特征提取，得到不同尺度的特征层；所述FPN网络，用于对所述不同尺度的特征层进行融合，得到融合特征层；

所述目标检测网络，用于对所述融合特征层进行目标检测，并输出检测结果。

12.根据权利要求11所述的目标检测模型，其特征在于，

所述目标检测网络，用于检测一类目标，或者用于检测多类不同的目标。

Images