CN111488841A - 抽烟行为检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种抽烟行为检测方法、装置、计算机设备及存储介质，涉及数据处理技术领域。该抽烟行为检测方法包括获取目标图像，目标图像中包括人员和香烟；检测目标图像中的人员是否持有香烟；若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。本实施例中，通过检测目标图像中的人员是否持有香烟和检测人员的手臂姿势是否为抽烟姿势确定人员是否存在抽烟行为，不需要专门的巡逻人员去监测人员是否存在抽烟行为，降低了监督抽烟行为所花费的人力成本。

Description

抽烟行为检测方法、装置、计算机设备及存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种抽烟行为检测方法、装置、计算机设备及存储介质。

背景技术

由于香烟燃烧过程中会产生大量烟雾，而在封闭空间中大量烟雾容易触发烟雾报警，从而影响公共场所的正常秩序，这是越来越多的公共场所，需要对抽烟行为进行监督的原因之一。

目前，对抽烟行为进行监督方法一般是安排专门的巡逻人员，由巡逻人员在固定区域内进行连续监督，当发现抽烟行为时进行制止。

然而，这种方法需要配备大量的巡逻人员，需要耗费大量的人力成本。

发明内容

基于此，有必要针对上述对抽烟行为进行监督需要耗费大量的人力成本的问题，提供一种抽烟行为检测方法、装置、计算机设备及存储介质。

一种抽烟行为检测方法，该方法包括：

获取目标图像，目标图像中包括人员和香烟；

检测目标图像中的人员是否持有香烟；

若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；

若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

在本申请的一个实施例中，检测目标图像中的人员是否持有香烟，包括：

在目标图像中分别确定香烟所在的第一区域和人员的手所在的第二区域；

检测第一区域和第二区域的第一交并比；

若第一交并比大于第一交并比阈值，则确定目标图像中的人员持有香烟。

在本申请的一个实施例中，检测人员的手臂姿势是否为抽烟姿势，包括：

在目标图像中分别确定人员的手所在的第二区域和人员的脸所在的第三区域；

若第二区域和第三区域存在交叠，则检测人员的手臂是否向上；

若人员的手臂向上，则确定人员的手臂姿势为抽烟姿势。

在本申请的一个实施例中，若第二区域和第三区域存在交叠，则检测人员的手臂是否向上之前，该方法还包括：

检测第二区域和第三区域的第二交并比；

若第二交并比大于第二交并比阈值，则确定第二区域与第三区域存在交叠。

在本申请的一个实施例中，检测人员的手臂是否向上，包括：

分别获取人员的肘关节在目标图像的图像坐标系中第一纵轴坐标、人员的腕关节在图像坐标系中的第二纵轴坐标以及人员的指尖在图像坐标系中的第三纵轴坐标；

若第一纵轴坐标小于第二纵轴坐标，且第二纵轴坐标小于第三纵轴坐标，则确定人员的手臂向上。

在本申请的一个实施例中，获取目标图像，包括：

获取目标场所内的监控视频；

对监控视频的每一个监控视频帧进行图像识别；

将同时存在人员和香烟的监控视频帧作为目标图像。

在本申请的一个实施例中，目标图像中包括多个人员和多个香烟，检测目标图像中的人员是否持有香烟，包括：

对目标图像中的多个人员和多个香烟进行排列组合，得到多个候选组合，每个候选组合包括一个人员和一个香烟；

对各候选组合，检测各候选组合中的人员是否持有香烟；

对应地，若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势，包括：

对于每个候选组合，若候选组合中的人员持有香烟，则将候选组合确定为目标组合，得到多个目标组合；

检测各目标组合中的人员的手臂姿势是否为抽烟姿势；

对应地，若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为，包括：

对于各目标组合，若目标组合中的人员的手臂姿势为抽烟姿势，则确定目标组合中的人员存在抽烟行为。

一种抽烟行为检测装置，该装置包括：

获取模块，用于获取目标图像，目标图像中包括人员和香烟；

第一检测模块，用于检测目标图像中的人员是否持有香烟；

第二检测模块，用于若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；

第三检测模块，用于若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现以下步骤：

获取目标图像，目标图像中包括人员和香烟；

检测目标图像中的人员是否持有香烟；

若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；

若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取目标图像，目标图像中包括人员和香烟；

检测目标图像中的人员是否持有香烟；

若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；

若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

本申请实施例提供的技术方案带来的有益效果至少包括：

上述抽烟行为检测方法、装置、计算机设备及存储介质，可以降低监督抽烟行为所花费的人力成本。该抽烟行为检测方法中，服务器可以获取目标图像，目标图像中包括人员和香烟；检测目标图像中的人员是否持有香烟；若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。本实施例中，通过检测目标图像中的人员是否持有香烟和检测人员的手臂姿势是否为抽烟姿势确定人员是否存在抽烟行为，不需要专门的巡逻人员去监测人员是否存在抽烟行为，降低了监督抽烟行为所花费的人力成本。

附图说明

图1为本申请实施例提供的抽烟行为检测方法的实施环境的示意图；

图2为本申请实施例提供的一种抽烟行为检测方法的流程图；

图3为本申请实施例提供的一种检测目标图像中的人员是否持有香烟的方法的流程图；

图4为本申请实施例提供的一种检测人员的手臂姿势是否为抽烟姿势的方法的流程图；

图5为本申请实施例提供的一种判断第二区域和第三区域是否存在交叠的方法的流程图；

图6为本申请实施例提供的一种检测人员的手臂的方向的方法的流程图；

图7为本申请实施例提供的一种获取目标图像的方法的流程图；

图8为本申请实施例提供的另一种检测目标图像中的人员是否持有香烟的方法的流程图；

图9为本申请实施例提供的一种抽烟行为检测装置的模块图；

图10为本申请实施例提供的一种计算机设备的模块图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

目前，在公共场所中抽烟的行为还是比较常见的，然而抽烟行为不仅损害自身健康，也会危害周围人的健康。香烟燃烧过程中会产生大量烟雾，在封闭空间中大量烟雾容易触发烟雾报警，从而影响公共场所的正常秩序。而且，香烟燃烧过程中会出现明火，容易诱发森林火灾、加油站着火爆炸等恶劣的公共安全事件。因此越来越多的公共场，例如银行营业大厅、动车车厢、加油站、超级市场等场所禁止抽烟。为了贯彻落实禁止抽烟的规定，需要在公共场所对人员进行监督。

目前，对抽烟行为进行监督方法一般是安排专门的巡逻人员，由巡逻人员在固定区域内进行连续监督，当发现抽烟行为时进行制止。

然而，一方面巡逻人员的巡逻范围大，不能及时准确地知晓人员的抽烟行为，另一方面，配备大量的巡逻人员，需要耗费大量的人力成本。

本申请实施例提供一种抽烟行为检测方法，通过检测目标图像中的人员是否持有香烟和检测人员的手臂姿势是否为抽烟姿势确定人员是否存在抽烟行为，不需要专门的巡逻人员去监测人员是否存在抽烟行为，降低了监督抽烟行为所花费的人力成本。

下面，将对本申请实施例提供的抽烟行为检测方法所涉及到的实施环境进行简要说明。

请参考图1，该实施环境可以包括图像采集装置101和计算机设备102，图像采集装置101可以与计算机设备102通过无线或者有线的方式连接。计算机设备102可以是服务器或者终端。

图像采集装置101可以是摄像机、照相机、红外线摄像仪等设备，图像采集装置101可以安装在需要进行抽烟行为检测的人员活动区域，图像采集装置101的图像获取范围需要覆盖全部的人员活动区域。可选的，可以在人员活动区域设置多个图像采集装置101。

本实施例中，图像采集装置101可以获取人员活动区域内的视频或者图像，并将视频或者图像发送给计算机设备102，计算机设备102可以通过视频或者图像获取目标图像，目标图像中包括人员和香烟；检测目标图像中的人员是否持有香烟；若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

请参考图2，其示出了本申请实施例提供的一种抽烟行为检测方法的流程图，该抽烟行为检测方法可以应用于图1所示的实施环境中，如图2所示，该抽烟行为检测方法可以包括以下步骤：

步骤201，获取目标图像。

本实施例中，目标图像是指需要进行抽烟行为检测的人员活动区域的图像，目标图像中包括人员和香烟。

步骤202，检测目标图像中的人员是否持有香烟。

可选的，检测目标图像中的人员是否持有香烟的过程可以是：获取目标图像中的人员的手在图像坐标系中的坐标位置，获取目标图像中的香烟在图像坐标系中的坐标位置，根据人员的手的坐标位置与香烟的坐标位置计算人员的手与香烟之间的烟手距离，当烟手距离小于距离阈值时，确定人员持有香烟。

当烟手距离大于等于距离阈值时，确定人员不持有香烟。

需要说明的是，本实施例及其下文叙述中的目标图像的图像坐标系为同一个图像坐标系。

步骤203，若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势。

在人员持有香烟的情况下，说明人员可能存在抽烟行为，因此进一步检测人员的手臂姿势，通过手臂姿势可以更加准确地判断人员是否抽烟。

本实施例中，检测人员的手臂姿势是否为抽烟姿势的过程可以是：获取人员的手臂的肘关节、腕关节和指尖在图像坐标系中的关节坐标，根据肘关节的关节坐标、腕关节的关节坐标和指尖的关节坐标确定人员的手臂向量，计算人员的手臂向量与人员的身体的夹角，根据该夹角判断人员的手臂是否朝向人员的面部，当人员的手臂朝向人员的面部时，确定人员的手臂姿势为抽烟姿势。当人员的手臂背向人员的面部时，确定人员的手臂姿势不是抽烟姿势。

步骤204，若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

本实施例中，在确定人员持有香烟，并且人员的手臂姿势为抽烟姿势的情况下，可以确定人员存在抽烟行为。

本实施例的抽烟行为检测方法，通过检测目标图像中的人员是否持有香烟和检测人员的手臂姿势是否为抽烟姿势确定人员是否存在抽烟行为，不需要专门的巡逻人员去监测人员是否存在抽烟行为，降低了监督抽烟行为所花费的人力成本。

在一种可选的实现方式中，如图3所示，步骤202中检测目标图像中的人员是否持有香烟的过程还可以包括以下步骤：

步骤301，在目标图像中分别确定香烟所在的第一区域和人员的手所在的第二区域。

本实施例中，在目标图像中确定出香烟所在的第一区域的过程可以是：将目标图像输入到已经训练好的检测模型中进行目标检测，检测模型可以检测出目标图像中的人员和香烟，以及人员在目标图像的图像坐标系中的人员位置A1，香烟在目标图像的图像坐标系中的香烟位置A2。其中，检测模型可以对yolov3网络进行训练后得到的，yolov3网络是一种已经开源的目标检测网络。

进一步的，本实施例中，可以确定出香烟的最小外接矩形，并根据香烟位置A2确定出香烟的最小外接矩形在目标图像中的位置。其中，在目标图像中香烟所在的第一区域即香烟的最小外接矩形在目标图像中的区域。

可选的，本实施例中，对yolov3网络进行训练，得到训练好的检测模型的过程可以包括以下内容：

将采集到的视频转换为候选图像，然后从候选图像中筛选出存在清晰的抽烟行为的图像，作为样本图像。

将样本图像划分为训练集和测试集。

对训练集中的样本图像进行人工标注，在训练集中的样本图像上标注出人员、香烟以及人员和香烟的位置信息。

将训练集中的每个样本图像分别输入到yolov3网络进行训练，以得到检测模型。

将测试集中的样本图像输入到检测模型中对检测模型进行测试，得到测试集中的样本图像上的人员的位置信息和香烟的位置信息。当通过测试集对检测模型进行测试后，得到训练好的检测模型。

本实施例中，在目标图像中确定出人员的手所在的第二区域的过程可以是：将目标图像输入到已经训练好的姿态识别模型中进行姿态检测，姿态识别模型可以检测出目标图像中人员的手在目标图像的图像坐标系中位置AB，其中，人员的手可以是指人员的左手和/或人员的右手。本实施例中，人员的左手在目标图像中的图像坐标系中位置可以用ABL表示，人员的右手在目标图像中的图像坐标系中位置可以用ABR表示。其中，姿态识别模型可以是对openpose姿态识别网络进行训练后得到的，openpose姿态识别网络一种已经开源的姿态识别网络。本实施例中，对姿态识别模型的训练过程不进行赘述。

进一步的，本实施例中，可以确定出人员的手的最小外接矩形，并根据人员的手的位置确定出人员的手的最小外接矩形在目标图像中的位置。其中，人员的手在目标图像中的第二区域可以是指人员的手的最小外接矩形在目标图像中的区域。

需要说明的是，受到人员在目标图像中的姿态的影响，图像识别的过程中，可能识别出人员的左手或者右手，或者左手和右手都可以识别出。当人员的左手和右手中只有一个能识别出来时，本实施例中，人员的手是指可以被识别出来的左手(或右手)。当人员的左手和右手都可以识别出时，第二区域可以是两个，即左手的最小外接矩形在目标图像中的位置和右手的最小外接矩形在目标图像中的位置。

步骤302，检测第一区域和第二区域的第一交并比。

本实施例中，第一区域和第二区域的交集可以是指香烟的最小外接矩形与目标图像中人员的手的最小外接矩形的第一交集；第一区域和第二区域的第一并集可以是指香烟的最小外接矩形与目标图像中人员的手的最小外接矩形的并集；第一区域和第二区域的第一交并比是指第一交集与第一并集的比值。

需要说明的是，本实施例中，当第二区域是两个时，需要分别检测第一区域与每个第二区域的第一交并比，也就是说，本实施例中，对于同一人员第一交并比可以是两个。

步骤303，若第一交并比大于第一交并比阈值，则确定目标图像中的人员持有香烟。

对于同一人员当第一交并比是一个时，本实施例中，若第一交并比大于第一交并比阈值，则确定目标图像中的人员持有香烟。其中，第一交并比阈值大于0小于1，可选的，第一交并比阈值可以是0.8。若第一交并比小于等于第一交并比阈值时，则确定目标图像中的人员没有持有香烟，检测结束。

对于同一人员当第一交并比是两个时，可以分别将两个第一交并比与第一交并比阈值进行比较，当两个第一交并比中的一个第一交并比大于第一交并比阈值时，则可以确定目标图像中的人员持有香烟。当两个第一交并比均小于等于第一交并比阈值时，则可以确定目标图像中的人员没有持有香烟，检测结束。

本实施例中，通过人员的手与香烟的位置关系能够准确地确定人员是否持有香烟，从而判断出人员是否存在抽烟行为，提高了对抽烟行为的判断准确性。

在一种可选的实现方式中，如图4所示，步骤203中检测人员的手臂姿势是否为抽烟姿势还可以包括以下步骤：

步骤401，在目标图像中分别确定人员的手所在的第二区域和人员的脸所在的第三区域。

本实施例中，在目标图像中确定人员的手所在的第二区域的过程可以参考步骤301中公开的内容，在此不进行赘述。

本实施例中，在目标图像中确定人员的脸所在的第三区域的过程可以包括以下内容：将目标图像输入到已经训练好的人脸检测模型中进行人脸检测，其中，人脸检测模型可以检测出人员的脸在目标图像的图像坐标系中的人脸位置A3。其中，人脸检测模型可以是对MTcnn网络进行训练后得到的，MTcnn网络是一种已经开源的人脸检测网络。

本实施例中，可以确定出人员的脸的最小外接矩形，并根据人脸位置A3确定出人员的脸的最小外接矩形在目标图像中的位置。其中，人员的脸在目标图像中的所在的第三区域是指人员的脸的最小外接矩形在目标图像中区域。

步骤402，若第二区域和第三区域存在交叠，则检测人员的手臂是否向上。

本实施例中，计算机设备在执行步骤402之前，需要判断第二区域和第三区域是否存在交叠。

在一种可选的实现方式中，判断第二区域和第三区域是否存在交叠的过程可以是：获取第二区域在目标图像中的位置，获取第三区域在目标图像中的位置，若第二区域在目标图像中的位置与第三区域在目标图像中的位置重叠，则确定第二区域与第三区域存在交叠。反之，不存在交叠。

在另一种可选的实现方式中，如图5所示，判断第二区域和第三区域是否存在交叠的过程可以包括以下步骤：

步骤501，检测第二区域和第三区域的第二交并比。

在目标图像中检测第二区域和第三区域的第二交并比的过程可以是：获取第二区域与第三区域的交集，即获取人员的手的最小外接矩形与人员的脸的最小外接矩形的第二交集。

获取第二区域与第三区域的并集，即获取人员的手的最小外接矩形与人员的脸的最小外接矩形的第二并集。

根据第二交集和第二并集的比值确定第二交并比。

其中，由于第二区域可以包括左手的第二区域和右手的第二区域，因此，相应的，第二交并比可以包括两个。

步骤502，若第二交并比大于第二交并比阈值，则确定第二区域与第三区域存在交叠。

本实施例中，第二交并比阈值可以为大于0小于1的数值，可选的，第二交并比可以为0.5。

对于同一人员当第二交并比是一个时，本实施例中，若第二交并比大于第二交并比阈值，则确定第二区域与第三区域存在交叠。反之，则确定第二区域与第三区域不重叠。

对于同一人员当第二交并比是两个时，本实施例中，可以分别将两个第二交并比与第二交并比阈值进行比较，当两个第二交并比中的任一个第二交并比大于第二交并比阈值时，则可以确定第二区域与第三区域重叠；当两个第二交并比均小于等于第二交并比时，则可以确定第二区域与第三区域不重叠。

需要说明的是，由于人员的手所在的第二区域可以是两个，本实施例中，判断第二区域和第三区域是否存在交叠的过程可以是分别判断每个第二区域与第三区域是否存在交叠，当两个第二区域均与第三区域不存在交叠，则确定第二区域与第三区域不存在交叠。当两个第二区域中的任意一个第二区域与第三区域交叠时，则确定第二区域与第三区域存在交叠。

在一种可选的实现方式中，检测人员的手臂是否向上的过程可以是：获取人员的手臂的肘关节、腕关节和指尖在图像坐标系中的关节坐标，根据肘关节的关节坐标、腕关节的关节坐标和指尖的关节坐标确定人员的手臂向量，当人员的手臂向量的延伸方向为向上方向时，确定人员的手臂向上。

在一种可选的实现方式中，如图6所示，检测人员的手臂是否向上的过程可以包括以下步骤：

步骤601，分别获取人员的肘关节在目标图像的图像坐标系中第一纵轴坐标、人员的腕关节在图像坐标系中的第二纵轴坐标以及人员的指尖在图像坐标系中的第三纵轴坐标。

本实施例中，可以通过姿态识别模型获取目标图像中人员的肘关节在目标图像的图像坐标系中第一纵轴坐标，获取目标图像中人员的腕关节在图像坐标系中的第二纵轴坐标，获取目标图像中人员的指尖在图像坐标系中的第三纵轴坐标。

步骤602，若第一纵轴坐标小于第二纵轴坐标，且第二纵轴坐标小于第三纵轴坐标，则确定人员的手臂向上。

本实施例中，目标图像的图像坐标系可以是根据目标图像中的人员的站立方向建立的坐标系，其中，纵轴坐标的延伸方向可以与人员的身高的延伸方向相对应。

本实施例中，第一纵轴坐标小于第二纵轴坐标表示人员的手肘的高度小于手腕的高度，第二纵轴坐标小于第三纵轴坐标表示人员的手腕的高度小于人员的手的指尖的高度。这就说明，人员的手臂的方向是向上的方向。

步骤403，若人员的手臂向上，则确定人员的手臂姿势为抽烟姿势。

本实施例中，在人员的手持有香烟的情况下，通过判断人员的手所在的第二区域与人员的脸所在的第三区域交叠确定人员的持有香烟的手在人员的脸附近，并进一步判断人员的手臂向上，从而确定人员的手臂姿势为抽烟姿势。本实施例通过递进式地判断，准确地确定出了目标图像中的人员的手臂姿势，从而可以准确判断出目标图像中的人员是否存在抽烟行为。

在一种可选的实现方式中，如图7所示，步骤201中获取目标图像的过程还可以包括以下步骤：

步骤701，获取目标场所内的监控视频。

目标场所可以是指需要进行抽烟行为检测的人员活动区域。本实施例中可以通过图像采集装置对目标场所进行图像采集，得到监控视频。

步骤702，对监控视频的每一个监控视频帧进行图像识别。

本实施例中，可以将监控视频中的每一个监控视频帧作为一张图像，然后对每一张监控视频帧进行图像识别。

可选的，本实施例中，对每一张监控视频帧进行图像识别的过程可以是：将每一张监控视频帧输入到已经训练好的检测模型中，检测模型可以输出监控视频帧中的人员在监控视频帧中的位置和香烟在监控视频帧中的位置。

当监控视频帧中只存在香烟时，则检测模型可以输出的人员在监控视频帧中的位置默认为无。当监控视频帧中只存在人员时，则检测模型可以输出的香烟在监控视频帧中的位置默认为无。

步骤703，将同时存在人员和香烟的监控视频帧作为目标图像。

本实施例中，根据检测模型输出的人员在监控视频帧中的位置和香烟在监控视频帧中的位置可以确定出该监控视频帧中是否同时存在人员和香烟。当某一监控视频帧中同时存在人员和香烟时，将该监控视频帧作为目标图像。

在一个实施例中，目标图像中包括多个人员和多个香烟。如图8所示，本实施例中，检测目标图像中的人员是否持有香烟的过程可以包括以下步骤：

步骤801，对目标图像中的多个人员和多个香烟进行排列组合，得到多个候选组合，每个候选组合包括一个人员和一个香烟。

本实施例中，当目标图像中包括多个人员和多个香烟时，需要分别对每个人员进行抽烟行为检测，在对每个人员进行抽烟行为检测时，可以对多个人员和多个香烟进行排列组合，使得每一个人员分别与每一个香烟进行一次组合，得到候选组合。每个候选组合中包括一个人员和一个香烟。

步骤802，对各候选组合，检测各候选组合中的人员是否持有香烟。

对于每个候选组合中的人员和香烟，可以采用步骤202公开的内容判断该候选组合中的人员是否持有该候选组合中的香烟。

对于每个候选组合，当该候选组合中的人员持有该候选组合中的香烟时，确定该候选组合中的人员持有香烟。

当该候选组合中的人员与该候选组合中的香烟的关系不是人员持有香烟的关系时，则确定该候选组合中的人员未持有香烟。

对应地，步骤203中，若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势，可以包括以下步骤：

D1，对于每个候选组合，若候选组合中的人员持有香烟，则将候选组合确定为目标组合，得到多个目标组合；

本实施例中，候选组合中的人员持有香烟表示候选组合中的人员持有同一个候选组合中的香烟。目标组合中的人员和香烟的关系是目标组合中的人员持有目标组合中的香烟。

D2，检测各目标组合中的人员的手臂姿势是否为抽烟姿势。

本实施例中，对于每个目标组合分别进行检测，检测目标组合中的人员的手臂姿势是否为抽烟姿势的过程可以参考步骤203公开的内容。

对应地，步骤204中，若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为，可以包括以下步骤：

F1，对于各目标组合，若目标组合中的人员的手臂姿势为抽烟姿势，则确定目标组合中的人员存在抽烟行为。

本实施例中，可以从一张目标图像中确定出多个存在抽烟行为的人员。

本实施例，通过对目标图像中包括的多个人员和多个香烟进行排列组合，得到多个候选组合，然后对多个候选组合进行筛选，得到多个目标组合，然后对从多个目标组合中确定出存在抽烟行为的人员，提高了对抽烟行为识别的准确度。

请参考图9，其示出了本申请实施例提供的一种抽烟行为检测装置的框图，该抽烟行为检测装置可以配置在图1所示实施环境中的计算机设备上。如图9所示，该抽烟行为检测装置可以包括获取模块901，第一检测模块902，第二检测模块903和第三检测模块904，其中：

获取模块901，用于获取目标图像，目标图像中包括人员和香烟；第一检测模块902，用于检测目标图像中的人员是否持有香烟；第二检测模块903，用于若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；第三检测模块904，用于若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

在一个实施例中，第一检测模块902还用于在目标图像中分别确定香烟所在的第一区域和人员的手所在的第二区域；检测第一区域和第二区域的第一交并比；若第一交并比大于第一交并比阈值，则确定目标图像中的人员持有香烟。

在一个实施例中，第二检测模块903还用于在目标图像中分别确定人员的手所在的第二区域和人员的脸所在的第三区域；若第二区域和第三区域存在交叠，则检测人员的手臂是否向上；若人员的手臂向上，则确定人员的手臂姿势为抽烟姿势。

在一个实施例中，第二检测模块903还用于检测第二区域和第三区域的第二交并比；若第二交并比大于第二交并比阈值，则确定第二区域与第三区域存在交叠。

在一个实施例中，第二检测模块903还用于分别获取人员的肘关节在目标图像的图像坐标系中第一纵轴坐标、人员的腕关节在图像坐标系中的第二纵轴坐标以及人员的指尖在图像坐标系中的第三纵轴坐标；若第一纵轴坐标小于第二纵轴坐标，且第二纵轴坐标小于第三纵轴坐标，则确定人员的手臂向上。

在一个实施例中，获取模块901还用于获取目标场所内的监控视频；对监控视频的每一个监控视频帧进行图像识别；将同时存在人员和香烟的监控视频帧作为目标图像。

在一个实施例中，目标图像中包括多个人员和多个香烟，第一检测模块902还用于对目标图像中的多个人员和多个香烟进行排列组合，得到多个候选组合，每个候选组合包括一个人员和一个香烟；对各候选组合，检测各候选组合中的人员是否持有香烟；对应地，若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势，包括：对于每个候选组合，若候选组合中的人员持有香烟，则将候选组合确定为目标组合，得到多个目标组合；检测各目标组合中的人员的手臂姿势是否为抽烟姿势；对应地，若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为，包括：对于各目标组合，若目标组合中的人员的手臂姿势为抽烟姿势，则确定目标组合中的人员存在抽烟行为。

关于抽烟行为检测装置的具体限定可以参见上文中对于抽烟行为检测方法的限定，在此不再赘述。上述抽烟行为检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供一种计算机设备，如图10所示，该计算机设备的内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练好的检测模型、姿态识别模型和人脸检测模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种抽烟行为检测方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图10中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本申请的一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取目标图像，目标图像中包括人员和香烟；检测目标图像中的人员是否持有香烟；若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：在目标图像中分别确定香烟所在的第一区域和人员的手所在的第二区域；检测第一区域和第二区域的第一交并比；若第一交并比大于第一交并比阈值，则确定目标图像中的人员持有香烟。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：在目标图像中分别确定人员的手所在的第二区域和人员的脸所在的第三区域；若第二区域和第三区域存在交叠，则检测人员的手臂是否向上；若人员的手臂向上，则确定人员的手臂姿势为抽烟姿势。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：检测第二区域和第三区域的第二交并比；若第二交并比大于第二交并比阈值，则确定第二区域与第三区域存在交叠。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：分别获取人员的肘关节在目标图像的图像坐标系中第一纵轴坐标、人员的腕关节在图像坐标系中的第二纵轴坐标以及人员的指尖在图像坐标系中的第三纵轴坐标；若第一纵轴坐标小于第二纵轴坐标，且第二纵轴坐标小于第三纵轴坐标，则确定人员的手臂向上。

在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标场所内的监控视频；对监控视频的每一个监控视频帧进行图像识别；将同时存在人员和香烟的监控视频帧作为目标图像。

在本申请的一个实施例中，目标图像中包括多个人员和多个香烟，处理器执行计算机程序时还实现以下步骤：对目标图像中的多个人员和多个香烟进行排列组合，得到多个候选组合，每个候选组合包括一个人员和一个香烟；对各候选组合，检测各候选组合中的人员是否持有香烟；对应地，若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势，包括：对于每个候选组合，若候选组合中的人员持有香烟，则将候选组合确定为目标组合，得到多个目标组合；检测各目标组合中的人员的手臂姿势是否为抽烟姿势；对应地，若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为，包括：对于各目标组合，若目标组合中的人员的手臂姿势为抽烟姿势，则确定目标组合中的人员存在抽烟行为。

本申请实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取目标图像，目标图像中包括人员和香烟；检测目标图像中的人员是否持有香烟；若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势；若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：在目标图像中分别确定香烟所在的第一区域和人员的手所在的第二区域；检测第一区域和第二区域的第一交并比；若第一交并比大于第一交并比阈值，则确定目标图像中的人员持有香烟。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：在目标图像中分别确定人员的手所在的第二区域和人员的脸所在的第三区域；若第二区域和第三区域存在交叠，则检测人员的手臂是否向上；若人员的手臂向上，则确定人员的手臂姿势为抽烟姿势。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：检测第二区域和第三区域的第二交并比；若第二交并比大于第二交并比阈值，则确定第二区域与第三区域存在交叠。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：分别获取人员的肘关节在目标图像的图像坐标系中第一纵轴坐标、人员的腕关节在图像坐标系中的第二纵轴坐标以及人员的指尖在图像坐标系中的第三纵轴坐标；若第一纵轴坐标小于第二纵轴坐标，且第二纵轴坐标小于第三纵轴坐标，则确定人员的手臂向上。

在本申请的一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取目标场所内的监控视频；对监控视频的每一个监控视频帧进行图像识别；将同时存在人员和香烟的监控视频帧作为目标图像。

在本申请的一个实施例中，目标图像中包括多个人员和多个香烟，计算机程序被处理器执行时还可以实现以下步骤：对目标图像中的多个人员和多个香烟进行排列组合，得到多个候选组合，每个候选组合包括一个人员和一个香烟；对各候选组合，检测各候选组合中的人员是否持有香烟；对应地，若人员持有香烟，则检测人员的手臂姿势是否为抽烟姿势，包括：对于每个候选组合，若候选组合中的人员持有香烟，则将候选组合确定为目标组合，得到多个目标组合；检测各目标组合中的人员的手臂姿势是否为抽烟姿势；对应地，若人员的手臂姿势为抽烟姿势，则确定人员存在抽烟行为，包括：对于各目标组合，若目标组合中的人员的手臂姿势为抽烟姿势，则确定目标组合中的人员存在抽烟行为。

本申请实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种抽烟行为检测方法，其特征在于，所述方法包括：

获取目标图像，所述目标图像中包括人员和香烟；

检测所述目标图像中的人员是否持有香烟；

若所述人员持有香烟，则检测所述人员的手臂姿势是否为抽烟姿势；

若所述人员的手臂姿势为抽烟姿势，则确定所述人员存在抽烟行为。

2.根据权利要求1所述的方法，其特征在于，所述检测所述目标图像中的人员是否持有香烟，包括：

在所述目标图像中分别确定所述香烟所在的第一区域和所述人员的手所在的第二区域；

检测所述第一区域和所述第二区域的第一交并比；

若所述第一交并比大于第一交并比阈值，则确定所述目标图像中的人员持有香烟。

3.根据权利要求1所述的方法，其特征在于，所述检测所述人员的手臂姿势是否为抽烟姿势，包括：

在所述目标图像中分别确定所述人员的手所在的第二区域和所述人员的脸所在的第三区域；

若所述第二区域和所述第三区域存在交叠，则检测所述人员的手臂是否向上；

若所述人员的手臂向上，则确定所述人员的手臂姿势为抽烟姿势。

4.根据权利要求3所述的方法，其特征在于，所述若所述第二区域和所述第三区域存在交叠，则检测所述人员的手臂的方向是否为向上方向之前，所述方法还包括：

检测所述第二区域和所述第三区域的第二交并比；

若所述第二交并比大于第二交并比阈值，则确定所述第二区域与所述第三区域存在交叠。

5.根据权利要求3所述的方法，其特征在于，所述检测所述人员的手臂是否向上，包括：

分别获取所述人员的肘关节在所述目标图像的图像坐标系中第一纵轴坐标、所述人员的腕关节在所述图像坐标系中的第二纵轴坐标以及所述人员的指尖在所述图像坐标系中的第三纵轴坐标；

若所述第一纵轴坐标小于所述第二纵轴坐标，且所述第二纵轴坐标小于所述第三纵轴坐标，则确定所述人员的手臂向上。

6.根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：

获取目标场所内的监控视频；

对所述监控视频的每一个监控视频帧进行图像识别；

将同时存在人员和香烟的监控视频帧作为所述目标图像。

7.根据权利要求1所述的方法，其特征在于，所述目标图像中包括多个人员和多个香烟；所述检测所述目标图像中的人员是否持有香烟，包括：

对所述目标图像中的所述多个人员和所述多个香烟进行排列组合，得到多个候选组合，每个所述候选组合包括一个人员和一个香烟；

对各所述候选组合，检测各所述候选组合中的人员是否持有香烟；

对应地，若所述人员持有香烟，则检测所述人员的手臂姿势是否为抽烟姿势，包括：

对于每个所述候选组合，若所述候选组合中的人员持有香烟，则将所述候选组合确定为目标组合，得到多个所述目标组合；

检测各所述目标组合中的人员的手臂姿势是否为抽烟姿势；

对应地，若所述人员的手臂姿势为抽烟姿势，则确定所述人员存在抽烟行为，包括：

对于各所述目标组合，若所述目标组合中的人员的手臂姿势为抽烟姿势，则确定所述目标组合中的人员存在抽烟行为。

8.一种抽烟行为检测装置，其特征在于，所述装置包括：

获取模块，用于获取目标图像，所述目标图像中包括人员和香烟；

第一检测模块，用于检测所述目标图像中的人员是否持有香烟；

第二检测模块，用于若所述人员持有香烟，则检测所述人员的手臂姿势是否为抽烟姿势；

第三检测模块，用于若所述人员的手臂姿势为抽烟姿势，则确定所述人员存在抽烟行为。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images