CN110532999B - 抽烟行为识别方法、装置及设备 - Google Patents

Abstract

本申请涉及一种抽烟行为识别方法、装置及设备，包括：首先接收深度相机获取的待检测区域的实时图像信息和红外相机获取的待检测区域的实时红外图像信息，其中，实时图像信息中包括实时人体图像信息；根据人体图像信息和人体骨骼算法得到待检测区域的人体动作信息，然后再根据人体动作信息和实时红外图像信息识别待检测区域中的抽烟行为。基于此，结合人体动作信息和实时红外图像信息，由于吸烟时，烟头温度可以被红外相机获取到，也就是红外图像信息中包括烟头信息，这就可以判断该人体动作信息中的人体动作是否在吸烟，提高了识别的准确性。

Description

抽烟行为识别方法、装置及设备

技术领域

本申请涉及行为识别技术领域，尤其涉及一种抽烟行为识别方法、装置及设备。

背景技术

目前，对于抽烟行为的识别，一般需要被识别对象佩戴一些硬件设备，比如手表、胸部呼吸带等，通过上述硬件设备间接推断出被识别对象是否正在施行抽烟的行为。

上述方法中，硬件设备均是通过物理量方法检测到被识别对象身体上的动作，比如通过手表上的加速度传感器检测被识别对象进行抬手动作时其加速度的变化，这种方式很容易受到被识别对象其他类似动作的干扰，从而导致识别的正确率较低。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种抽烟行为识别方法、装置及设备。

根据本申请的第一方面，提供一种抽烟行为识别方法，包括：

接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

接收红外相机获取的待检测区域的实时红外图像信息；

根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为。

可选的，还包括：

根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中。

可选的，所述根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中，包括：

根据所述人体图像信息将所述抽烟行为、所述抽烟行为发生的时间和所述人员的身份对应存储。

可选的，还包括：

根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中。

可选的，还包括：

按照所述人员身份信息提取所述数据库中的所有信息；

根据预设统计方法将所述所有信息统计为抽烟行为分析报表。

根据本申请的第二方面，提供一种抽烟行为识别装置，包括：

第一接收模块，用于接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

第二接收模块，用于接收红外相机获取的待检测区域的实时红外图像信息；

第一处理模块，用于根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

判断识别模块，用于根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为。

可选的，还包括：

第二处理模块，用于根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

身份识别模块，用于将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

第一存储模块，用于根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中。

可选的，所述第一存储模块包括：

存储单元，用于根据所述人体图像信息将所述抽烟行为、所述抽烟行为发生的时间和所述人员的身份对应存储。

可选的，还包括：

第一提取模块，用于根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

第三处理模块，用于根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

第二存储模块，用于将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中；

第二提取模块，用于按照所述人员身份信息提取所述数据库中的所有信息；

统计模块，用于根据预设统计方法将所述所有信息统计为抽烟行为分析报表。

根据本申请的第三方面，提供一种抽烟行为识别设备，包括：

处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行如下所述的抽烟行为识别方法：

接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

接收红外相机获取的待检测区域的实时红外图像信息；

根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为。

可选的，还包括：

根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中。

可选的，所述根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中，包括：

根据所述人体图像信息将所述抽烟行为、所述抽烟行为发生的时间和所述人员的身份对应存储。

可选的，还包括：

根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中。

可选的，还包括：

按照所述人员身份信息提取所述数据库中的所有信息；

根据预设统计方法将所述所有信息统计为抽烟行为分析报表。

所述处理器用于调用并执行所述存储器中的所述计算机程序。

本申请提供的技术方案可以包括以下有益效果：首先接收深度相机获取的待检测区域的实时图像信息和红外相机获取的待检测区域的实时红外图像信息，其中，实时图像信息中包括实时人体图像信息；根据人体图像信息和人体骨骼算法得到待检测区域的人体动作信息，然后再根据人体动作信息和实时红外图像信息识别待检测区域中的抽烟行为。基于此，结合人体动作信息和实时红外图像信息，由于吸烟时，烟头温度可以被红外相机获取到，也就是红外图像信息中包括烟头信息，这就可以判断该人体动作信息中的人体动作是否在吸烟，提高了识别的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请的实施例一提供的一种抽烟行为识别方法的流程示意图。

图2是本申请的实施例一提供的抽烟行为与人员身份信息对应存储的方法的流程图。

图3是本申请的实施例一提供的一种抽烟行为分析数据存储方法的流程示意图。

图4是本申请的实施例二提供的一种抽烟行为识别装置的结构示意图。

图5是本申请的实施例三提供的一种抽烟行为识别设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

目前，对于抽烟行为的识别，一般需要被识别对象佩戴一些硬件设备，比如手表、胸部呼吸带等，通过上述硬件设备间接推断出被识别对象是否正在施行抽烟的行为。

上述方法中，硬件设备均是通过物理量方法检测到被识别对象身体上的动作，比如通过手表上的加速度传感器检测被识别对象进行抬手动作时其加速度的变化，这种方式很容易受到被识别对象其他类似动作的干扰，从而导致识别的正确率较低。

为了解决上述技术问题，本申请提供一种抽烟行为识别方法、装置及设备，下面以实施例的形式进行说明。

实施例一

请参阅图1，图1是本申请的实施例一提供的一种抽烟行为识别方法的流程示意图。

如图1所示，本实施例提供的抽烟行为识别方法包括：

步骤11、接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

步骤12、接收红外相机获取的待检测区域的实时红外图像信息；

步骤13、根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

步骤14、根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为。

上述方法中，首先接收深度相机获取的待检测区域的实时图像信息和红外相机获取的待检测区域的实时红外图像信息，其中，实时图像信息中包括实时人体图像信息；根据人体图像信息和人体骨骼算法得到待检测区域的人体动作信息，然后再根据人体动作信息和实时红外图像信息识别待检测区域中的抽烟行为。基于此，结合人体动作信息和实时红外图像信息，由于吸烟时，烟头温度可以被红外相机获取到，也就是红外图像信息中包括烟头信息，这就可以判断该人体动作信息中的人体动作是否在吸烟，提高了识别的准确性。

步骤11中，按照深度相机的不同，可以有三种不同的实时图像信息，其中，深度相机按照原理可以分为TOF、RGB双目和结构光，其中，TOF和结构光为主动式测距方式，TOF是根据光的飞行时间直接测量，而结构光是主动投射已知编码图案的结构光，然后接受反射的结构光图案，计算得到待检测区域中物体表面的空间信息。上述类型的深度相机均可以实现获取实时图像信息的目的，只是环境不同，受到的影响也就不同，因此，可以根据待检测区域的环境，来使用最合适的深度相机。

另外，步骤12中，红外相机成像是根据待检测区域的温度成像的，当待检测区域出现抽烟行为时，势必会有较高温度的烟头出现，红外相机获取的实时红外图像信息中，会包含该烟头的图像信息。

因此，在步骤14中，可以通过人体动作信息判断出疑似抽烟行为，然后再利用实时红外图像信息检验该疑似抽烟行为是否为真正的抽烟行为，从而完成本申请中对于抽烟行为的识别。

需要说明的是，步骤13中，人体骨骼算法是基于人体骨骼关键点的算法，可以利用人体骨骼关键点识别出人体的骨骼，然后根据连续时间的实时人体图像信息得到各骨骼的动作，从而得到人体动作信息。

进一步地，请参阅图2，图2是本申请的实施例一提供的抽烟行为与人员身份信息对应存储的方法的流程图。

如图2所示，基于上述识别的抽烟行为，为了分析人员的抽烟行为，需要将各人员的抽烟行为存储下来，因此，本实施例的方法可以包括：

步骤21、根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

步骤22、将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

步骤23、根据所述实时人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中。

步骤21中从实时人体图像信息中获得待检测区域汇总所有人的脸部图像信息是一种从整体图像中将人脸裁剪出来的一种方法，该方法是目前人脸识别领域中较为成熟的方法，此处不再赘述。但是，需要说明的是，在裁剪人脸时，可以记录裁剪到的人脸在原实时人体图像信息中所处的位置，比如可以是像素位置，也可以指点阵位置等，这样在步骤23中，就可以根据实时人体图像信息将抽烟行为和人员身份信息对应起来。由于抽烟行为是根据实时人体图像信息得到，人员身份信息是根据脸部图像信息得到，两者相对于实时人体图像信息的坐标位置是清楚的，因此，可以根据坐标位置对应抽烟行为和人员身份信息。

另外，还可以根据实时人体图像信息分析出待检测区域中的人的性别、年龄、衣着信息，并将其对应存储到数据库中。

另外，在存储抽烟行为和人员身份信息时，还可以将抽烟行为发生的时间记录下来。

基于该抽烟行为发生的时间，可以计算抽烟时长、间隔时间和频率。由于人员每次抽烟时，会发生多次抽烟行为，从点燃香烟到香烟燃尽，因此可以计算每次抽烟的时长、抽烟行为发生的间隔、抽烟的间隔和频率，对于上述信息，也可以存储到数据库中，具体步骤请参阅图3，图3是本申请的实施例一提供的一种抽烟行为分析数据存储方法的流程示意图。

如图3所示，本实施例的方法还可以包括：

步骤31、根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

步骤32、根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

步骤33、将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中。

进一步地，本实施例的方法还可以生成报表，具体可以为：接收报表生成需求；按照所述人员身份信息提取所述数据库中的所有信息；根据预设统计方法和所述报表生成需求将所述所有信息统计为抽烟行为分析报表。

其中，该抽烟行为分析报表可以根据报表生成需求生成不同抽烟行为分析报表，比如可以是单个人员的抽烟行为分析报表，也可以是特定人群的抽烟行为分析报表。预设统计方法可以是图表统计方法等。

实施例二

请参阅图4，图4是本申请的实施例二提供的一种抽烟行为识别装置的结构示意图。

如图4所示，本实施例提供的抽烟行为识别装置包括：

第一接收模块41，用于接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

第二接收模块42，用于接收红外相机获取的待检测区域的实时红外图像信息；

第一处理模块43，用于根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

判断识别模块44，用于根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为。

上述装置中，首先接收深度相机获取的待检测区域的实时图像信息和红外相机获取的待检测区域的实时红外图像信息，其中，实时图像信息中包括实时人体图像信息；根据人体图像信息和人体骨骼算法得到待检测区域的人体动作信息，然后再根据人体动作信息和实时红外图像信息识别待检测区域中的抽烟行为。基于此，结合人体动作信息和实时红外图像信息，由于吸烟时，烟头温度可以被红外相机获取到，也就是红外图像信息中包括烟头信息，这就可以判断该人体动作信息中的人体动作是否在吸烟，提高了识别的准确性。

进一步地，本实施例的装置还可以包括：

第二处理模块，用于根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

身份识别模块，用于将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

第一存储模块，用于根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中。

进一步地，所述第一存储模块包括：

存储单元，用于根据所述人体图像信息将所述抽烟行为、所述抽烟行为发生的时间和所述人员的身份对应存储。

另外，本实施例的装置还可以包括：

第一提取模块，用于根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

第三处理模块，用于根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

第二存储模块，用于将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中；

第二提取模块，用于按照所述人员身份信息提取所述数据库中的所有信息；

统计模块，用于根据预设统计方法将所述所有信息统计为抽烟行为分析报表。

实施例三

请参阅图5，图5是本申请的实施例三提供的一种抽烟行为识别设备的结构示意图。

如图5所示，本实施例提供的抽烟行为识别设备包括：

处理器51，以及与所述处理器相连接的存储器52；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行如下所述的抽烟行为识别方法：

接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

接收红外相机获取的待检测区域的实时红外图像信息；

根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为。

可选的，还包括：

根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中。

可选的，所述根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中，包括：

根据所述人体图像信息将所述抽烟行为、所述抽烟行为发生的时间和所述人员的身份对应存储。

可选的，还包括：

根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中。

可选的，还包括：

按照所述人员身份信息提取所述数据库中的所有信息；

根据预设统计方法将所述所有信息统计为抽烟行为分析报表。

所述处理器用于调用并执行所述存储器中的所述计算机程序。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种抽烟行为识别方法，其特征在于，包括：

接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

接收红外相机获取的待检测区域的实时红外图像信息；

根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为；

根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

根据所述实时人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中；所述根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中，包括：根据所述人体图像信息将所述抽烟行为、所述抽烟行为发生的时间和所述人员的身份对应存储。

2.根据权利要求1所述的抽烟行为识别方法，其特征在于，还包括：

根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中。

3.根据权利要求2所述的抽烟行为识别方法，其特征在于，还包括：

接收报表生成需求；

按照所述人员身份信息提取所述数据库中的所有信息；

根据预设统计方法和所述报表生成需求将所述所有信息统计为抽烟行为分析报表。

4.一种抽烟行为识别装置，其特征在于，包括：

第一接收模块，用于接收深度相机获取的待检测区域的实时图像信息；所述实时图像信息中包括实时人体图像信息；

第二接收模块，用于接收红外相机获取的待检测区域的实时红外图像信息；

第一处理模块，用于根据实时人体图像信息和人体骨骼算法得到待检测区域的人体动作信息；

判断识别模块，用于根据所述人体动作信息和实时红外图像信息识别所述待检测区域的抽烟行为；

第二处理模块，用于根据所述实时人体图像信息得到所述待检测区域中所有人的脸部图像信息；

身份识别模块，用于将所述脸部图像信息输入到预先训练的人员身份识别模型中，得到所述脸部图像信息对应的人员身份信息；

第一存储模块，用于根据所述人体图像信息将所述抽烟行为和所述人员身份信息对应存储到数据库中；所述第一存储模块包括：存储单元，用于根据所述人体图像信息将所述抽烟行为、所述抽烟行为发生的时间和所述人员的身份对应存储。

5.根据权利要求4所述的抽烟行为识别装置，其特征在于，还包括：

第一提取模块，用于根据所述人员身份信息从所述数据库中提取所述人员身份信息对应的所有抽烟行为发生的时间；

第三处理模块，用于根据所述所有抽烟行为发生的时间计算所述人员身份信息对应的人员的抽烟时长、间隔时间和频率；

第二存储模块，用于将所述人员身份信息对应的人员的抽烟时长、间隔时间和频率对应存储到所述数据库中；

第二提取模块，用于按照所述人员身份信息提取所述数据库中的所有信息；

统计模块，用于根据预设统计方法将所述所有信息统计为抽烟行为分析报表。

6.一种抽烟行为识别设备，其特征在于，包括：

处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1～3任一项所述的抽烟行为识别方法；

所述处理器用于调用并执行所述存储器中的所述计算机程序。

Images