CN114782937A - 基于图像识别的吸烟预警方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及深度学习技术领域，公开了一种基于图像识别的吸烟预警方法。该基于图像识别的吸烟预警方法包括：同时获得同一场所的RGB图像数据以及红外图像数据；利用图像检测技术处理RGB图像数据获得第一吸烟检测结果，以及处理红外图像数据获得第二吸烟检测结果；在第一吸烟检测结果和/或第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警；其中，第一吸烟检测结果以存在烟支目标表示存在吸烟行为，第二吸烟检测结果以存在烟头目标表示存在吸烟行为。采用该基于图像识别的吸烟预警方法可提高了吸烟预警的准确度。本申请还公开一种基于图像识别的吸烟预警装置、电子设备和存储介质。

Description

基于图像识别的吸烟预警方法、装置、电子设备和存储介质

技术领域

本申请涉及深度学习技术领域，例如涉及一种基于图像识别的吸烟预警方法、装置、电子设备和存储介质。

背景技术

目前，常见的吸烟报警系统主要是利用烟雾探测器对烟雾的化学成分进行检测，但是烟雾传感器在检测烟雾的同时还能检测到空气中漂浮的灰尘粒子、水汽以及其他挥发性气体，这就会对烟雾检测造成较多的干扰，并且香烟燃烧产生的烟雾具有浓度较低、飘散速度快的特点，当烟雾检测器安置在户外，无法对低浓度、远距离的烟雾做出有效检测。随着计算机视觉技术的发展，基于深度学习的烟支目标检测成为主流方法。

图像目标检测的准确度得到了大幅提高，从而使得利用摄像头拍摄的现场图片进行烟支目标检测更加容易实现。这种检测方式不会受到公共场所通风状况等现场因素的影响，并且对光照、形变等因素具有一定的鲁棒性。深度学习烟支目标检测技术主要是基于深度卷积网络对输入图像进行特征抽取得到高维抽象的目标特征，避免了传统特征所造成的人为等因素的影响。

在实现本申请实施例的过程中，发现相关技术中至少存在如下问题：

烟支目标的分辨率较小，容易发生漏检，进而导致基于检测烟支目标进行吸烟预警的方法的准确度较低。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本申请实施例提供了一种基于图像识别的吸烟预警方法、装置、电子设备和存储介质，以提高吸烟预警的准确度。

在一些实施例中，基于图像识别的吸烟预警方法包括：同时获得同一场所的RGB(Red Green Blue)图像数据以及红外图像数据；利用图像检测技术处理所述RGB图像数据获得第一吸烟检测结果，以及处理所述红外图像数据获得第二吸烟检测结果；在所述第一吸烟检测结果和/或所述第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警；其中，所述第一吸烟检测结果以存在烟支目标表示存在吸烟行为，所述第二吸烟检测结果以存在烟头目标表示存在吸烟行为。

可选地，处理所述RGB图像数据获得第一吸烟检测结果，包括：提取所述RGB图像数据中的图像特征；组合所述图像特征，获得组合特征；对所述组合特征进行分类处理，获得所述第一吸烟检测结果。

可选地，对所述组合特征分类处理，获得所述第一吸烟检测结果，包括：对所述组合特征分类进行卷积处理，获得第一卷积输出结果；利用第一尺寸的卷积核对所述第一卷积输出结果进行三次卷积处理，获得第二卷积输出结果；根据所述第二卷积输出结果获得目标分类结果；其中，在用于获得所述第一吸烟检测结果的神经网络的预训练过程中，利用第二尺寸的卷积核对第一卷积输出结果进行两次卷积处理，获得第三卷积输出结果，再对所述第三卷积输出结果进行分类处理获得目标分类结果，再将所述第二尺寸调整为所述第一尺寸，再利用RGB图像数据进行训练并应用；所述第二尺寸大于所述第一尺寸，所述第一吸烟检测结果包括所述目标分类结果。

可选地，对所述组合特征分类处理，获得所述第一吸烟检测结果，还包括：对所述第一卷积输出结果进行卷积处理，获得第四卷积输出结果；根据所述第四卷积输出结果获得目标有效性结果以及目标检测框；其中，所述第一吸烟检测结果包括所述目标有效性结果以及目标检测框。

可选地，处理所述红外图像数据获得第二吸烟检测结果，包括：利用第一卷积层对所述红外图像数据进行卷积处理；利用最大池化层(Maxpool)对所述第一卷积层的输出进行最大池化处理；利用多个第二卷积层对所述最大池化层的输出升维卷积处理；利用全局池化层(Gobal Average Pooling)对所述多个第二卷积层的输出进行全局池化处理；利用线性化层对所述全局池化层(Linear)的输出进行线性化处理，获得所述第二吸烟检测结果。

可选地，在所述第一吸烟检测结果和/或所述第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警，包括：如果上一时刻获得的历史第一吸烟检测结果和当前时刻获得的当前第二吸烟检测结果均为存在吸烟行为，且所述历史第一吸烟检测结果的概率大于或等于第一设定概率，所述当前第二吸烟检测结果的概率大于或等于第二设定概率，则对吸烟行为进行预警；其中，所述第一设定概率小于所述第二设定概率。

可选地，进行吸烟预警还包括：如果所述历史第一吸烟检测结果为不存在吸烟行为，所述当前第二吸烟检测结果为存在吸烟行为，且所述当前第二吸烟检测结果的概率大于或等于第四设定概率，则对吸烟行为进行预警；其中，所述第四设定概率大于所述第二设定概率。

在一些实施例中，基于图像识别的吸烟预警装置包括第一获得模块、第二获得模块以及预警模块；第一获得模块用于同时获得同一场所的RGB图像数据以及红外图像数据；第二获得模块用于利用图像检测技术处理所述RGB图像数据获得第一吸烟检测结果，以及处理所述红外图像数据获得第二吸烟检测结果；预警模块用于在所述第一吸烟检测结果和/或所述第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警；其中，所述第一吸烟检测结果以存在烟支目标表示存在吸烟行为，所述第二吸烟检测结果以存在烟头目标表示存在吸烟行为。

在一些实施例中，电子设备包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行前述实施例提供的基于图像识别的吸烟预警方法。

在一些实施例中，存储介质存储有程序指令，所述程序指令在运行时执行前述实施例提供的基于图像识别的吸烟预警方法。

本申请实施例提供的基于图像识别的吸烟预警方法、装置、电子设备和存储介质，可以实现以下技术效果：

处理场景中的RGB图像数据可获得表示存在烟支目标的第一吸烟检测结果，在第一吸烟检测结果为存在吸烟行为的情况下，即在检测到烟支的情况下，大概率说明此时人员已经拿出香烟，此时进行吸烟预警；在红外图像数据，点燃的香烟的目标比较明显，故，在第一吸烟检测结果为存在吸烟行为的情况下，即在检测到烟头的情况下，大概率说明此时人员正在吸烟，此时进行吸烟预警；采用这种吸烟预警方法，即使仅RGB图像数据中的烟支目标发生了漏检，或者，仅红外图像数据中的烟头目标发生了漏检，可继续进行吸烟预警，避免出现烟头目标漏检后便不发送吸烟预警的情况，提高了吸烟预警的准确度。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或一个以上实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件视为类似的元件，并且其中：

图1是本申请实施例提供的一种基于图像识别的吸烟预警方法的流程示意图；

图2是本申请实施例提供的一种获得第一吸烟检测结果的示意图；

图3是本申请实施例提供的一种获得第一吸烟检测结果的示意图；

图4是本申请实施例提供的一种基于图像识别的吸烟预警方法的流程示意图；

图5是本申请实施例提供的一种基于图像识别的吸烟预警装置的示意图；

图6是本申请实施例提供的一种电子设备的示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

除非另有说明，术语“多个”表示两个以上。

本申请实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。

术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。

在本申请实施例中，分别采用两种不同的检测方案同时对同一场所中的两种图像数据进行处理，分别该场景中的烟支和烟头进行识别，在任一种图像数据的检测结果为存在吸烟行为(例如检测到烟支和烟头)的情况下，则进行吸烟预警，仅在烟头和烟支同时漏检的情况下，才会出现无法正确进行吸烟预警的情况，相对于仅通过检测烟支目标进行预警的方法，本基于图像识别的吸烟预警方法提高了吸烟预警的准确度。

图1是本申请实施例提供的一种基于图像识别的吸烟预警方法的流程示意图。该基于图像识别的吸烟预警方法可在服务器中执行，也可在以本地计算机中执行。

结合图1所示，基于图像识别的吸烟预警方法包括：

S101、同时获得同一场所的RGB图像数据以及红外图像数据。

这里的RGB图像数据以及红外图像数据指的是符合人工神经网络(ArtificialNeural Network，ANN)的输入要求的数据，例如，RGB图像数据以及红外图像数据是经过规则剪裁(Resize)处理以及归一化处理后的数据。

例如，通过摄像机获得原始RGB图像以及原始红外图像，对原始RGB图像以及原始红外图像进行规则剪裁处理，再对规则剪裁处理后的数据进行归一化处理，获得RGB图像数据以及红外图像数据。

可通过一台双电荷耦合元件(Charge Coupled Device，CCD)的摄像机同时获得同一场所(摄像机的监控区域)的原始RGB图像以及原始红外图像；或者，利用两台摄像机同时获得同一场所的RGB图像数据以及红外图像数据，两台摄像机的监控区域相同，利用其中一台摄像机获得原始GRB图像，利用其中的另外一台摄像机获得原始红外图像。

进一步地，可利用一台或两台摄像机获得同一场所的RGB视频流以及红外视频流，在RGB视频流以及红外视频流中分别采样相同时刻的图像样本，获得原始RGB图像以及原始红外图像。

S102、利用图像检测技术处理RGB图像数据获得第一吸烟检测结果，以及处理红外图像数据获得第二吸烟检测结果。

这里的图像检测技术指的利用ANN进行图像识别的技术。

第一吸烟检测结果包括存在烟支目标及其概率，或者，不存在烟支目标及其概率，第二吸烟检测结果包括存在烟头目标及其概率，或者，不存在烟头目标及其概率。

在第一吸烟检测结果包括存在烟支目标的情况下，该第一吸烟检测结果表示存在吸烟行为，此时可进行吸烟预警；在第二吸烟检测结果包括存在烟头目标的情况下，该第二吸烟检测结果表示存在吸烟行为，此时可进行吸烟预警。

以下再对处理RGB图像数据获得第一吸烟检测结果的过程进行说明。

可选地，处理RGB图像数据获得第一吸烟检测结果，包括：提取RGB图像数据中的图像特征；组合图像特征，获得组合特征；对组合特征进行分类处理，获得第一吸烟检测结果。采用上述技术方案，即可获得第一吸烟检测结果。

如图2所示，在一些具体应用中，将RGB图像数据输入至YOLOX(Exceeding YouOnly Look Once)网络中的输入(Input)模块，YOLOX网络中特征提取(Backbone)模块在不同图像细粒度上聚合并形成图像特征；特征金字塔网络(Feature Pyramid Networks，FPN)混合和组合(Neck)模块组合图像特征，获得组合特征；预测(Prediction)模块对组合特征进行分类处理，获得第一吸烟检测结果。

通过上述技术方案，即可获得第一吸烟检测结果。

在本申请实施例中，对提取RGB图像数据中的图像特征以及组合图像特征并获得组合特征不再详细赘述。

以下对对组合特征进行分类处理，获得第一吸烟检测结果进行详细说明。

可选地，对组合特征分类处理，获得第一吸烟检测结果，包括：对组合特征分类进行卷积处理，获得第一卷积输出结果；利用第一尺寸的卷积核对第一卷积输出结果进行三次卷积处理，获得第二卷积输出结果；根据第二卷积输出结果获得目标分类结果；其中，在用于获得第一吸烟检测结果的神经网络的预训练过程中，利用第二尺寸的卷积核对第一卷积输出结果进行两次卷积处理，获得第三卷积输出结果，再对第三卷积输出结果进行分类处理获得目标分类结果，再将第二尺寸调整为第一尺寸，再利用RGB图像数据进行训练并应用；第二尺寸大于第一尺寸，第一吸烟检测结果包括目标分类结果。

这里的目标分类结果指的是RGB图像数据是否包含烟支目标的结果。利用第一尺寸的卷积核对第一卷积输出结果进行三次卷积处理，指的是：利用第一尺寸的卷积核对第一卷积输出结果进行第一次卷积处理，再利用第一尺寸的卷积核对第一次卷积处理的输出结果进行第二次卷积处理，最后利用第一尺寸的卷积核对第二次卷积处理的输出结果进行第三卷积处理，获得第二卷积输出结果。利用第二尺寸的卷积核对第一卷积输出结果进行两次卷积处理指的是：利用第二尺寸的卷积核对第一卷积输出结果进行第一次卷积处理，利用第二尺寸的卷积核对第一次卷积处理的输出结果进行第二次卷积处理，获得第三卷积输出结果。

采用上述技术方案，可提高烟支目标的检测准确度，进而降低误预警的概率。将预训练神经网络的两次卷积处理过程中的卷积核由第二尺寸降低为第一尺寸，降低了感受野，以适应尺寸较小的烟支目标，之后再用RGB图像数据进行训练，训练完成后应用在对RGB图像数据中烟支目标的识别过程，尺寸较低的第一尺寸的卷积核有利于RGB图像数据以及其中标注的烟支目标对预训练神经网络中的网络参数进行调整，并在识别的应用过程中，有利于关注尺寸较小的烟支目标，减少环境的干扰，提高烟支目标的检测准确度。

在具体应用中，第二尺寸可以是3*3，第一尺寸可为1*1，或者，第二尺寸为5*5，第一尺寸为3*3或1*1。

第一吸烟检测结果不仅包括目标分类结果，还可包括目标有效性结果以及目标检测框。其中，目标有效性结果指的是该前述目标分类结果为前景还是背景，如果前述目标分类结果为前景，则该结果有效；如果前述目标分类结果为背景，则该结果无效；目标检测框指的是前述包围前述目标的框，可利用四个坐标来表示。

在此基础上，对组合特征分类处理，获得第一吸烟检测结果，还包括：对第一卷积输出结果进行卷积处理，获得第四卷积输出结果；根据第四卷积输出结果获得目标有效性结果以及目标检测框；其中，第一吸烟检测结果包括目标有效性结果以及目标检测框。

具体地，利用第二尺寸的卷积核对第一卷积输出结果进行两次卷积处理，即，首先利用一个第二尺寸的卷积核对第一卷积输出结果进行第一卷积处理，在利用一个第二尺寸的卷积核对第一次卷积处理输出的结果进行第二次卷积处理，获得第四卷积输出结果；再利用一个第一尺寸的卷积核对第四卷积输出结果进行卷积处理，获得目标有效性结果，利用另一个第一尺寸的卷积核对第四卷积输出结果进行卷积处理，获得目标检测框。

采用上述技术方案，即可获得第一吸烟检测结果。

为进一步详细地说明上述获得第一吸烟检测结果的过程，以下以YOLOX的Prediction模块为例，对获得第一吸烟检测结果的过程进行详细说明。

YOLOX的Prediction模块可包含多组图3中所示的网络，每组处理组合特征中不同维度的特征。例如，组合特征中包含三个维度的特征：80*80的特征、40*40的特征以及20*20的特征。Prediction模块可包含3组图3中所示的网络，将80*80的特征输入至第一组网络，第一组网络可输出80*80的结果；将40*40的特征输入至第二组网络，第二组网络可输出40*40的结果；将20*20的特征输入至第三组网络，第三组网络可输出20*20的结果。连接三组网络(第一组网络、第二组网络以及第三组网络)输出的结果并转置，可获得YOLOX最终的识别结果。

结合图3所示，以一组网络为例对上述获得第一吸烟检测结果的过程进行详细说明。

在YOLOX的预训练过程中，301卷积(Conv)过程中卷积核的尺寸为1*1，302、303、305以及306卷积过程中卷积核的尺寸为3*3，304、307以及308卷积过程卷积核的尺寸为1*1。

可以利用COCO数据集(一种公开的数据集)中数据对YOLOX进行预训练。在本申请实施例中，利用预训练的YOLOX的参数对神经网络进行初始化，在将302以及303中的卷积核由3*3调整为1*1，再利用RGB图像数据的训练集进行训练，训练完毕，将该神经网络(302以及303中的卷积核的尺寸为1*1)应用于识别RGB图像数据中的烟支目标。这样提高了烟支目标的识别准确度。

上述内容对处理RBG图像数据获得第一吸烟检测结果的过程进行了详细说明，以下再对处理红外图像数据获得第二吸烟检测结果的过程进行说明。

可选地，处理红外图像数据获得第二吸烟检测结果，包括：利用第一卷积层对红外图像数据进行卷积处理；利用最大池化层对第一卷积层的输出进行最大池化处理；利用多个第二卷积层对最大池化层的输出升维卷积处理；利用全局池化层对多个第二卷积层的输出进行全局池化处理；利用线性化层对全局池化层的输出进行线性化处理，获得第二吸烟检测结果。

这样，即可获得第二吸烟检测结果。

具体地，各网络(各卷积层以及各池化层)的参数可参照表1。

表1网络参数

采用前述技术方案，即可获得第一吸烟检测结果以及第二吸烟检测结果。

S103、在第一吸烟检测结果和/或第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警。

其中，第一吸烟检测结果以存在烟支目标表示存在吸烟行为，第二吸烟检测结果以存在烟头目标表示存在吸烟行为。

处理场景中的RGB图像数据可获得表示存在烟支目标的第一吸烟检测结果，在第一吸烟检测结果为存在吸烟行为的情况下，即在检测到烟支的情况下，大概率说明此时人员已经拿出香烟，此时进行吸烟预警；在红外图像数据，点燃的香烟的目标比较明显，故，在第一吸烟检测结果为存在吸烟行为的情况下，即在检测到烟头的情况下，大概率说明此时人员正在吸烟，此时进行吸烟预警；采用这种吸烟预警方法，即使仅RGB图像数据中的烟支目标发生了漏检，或者，仅红外图像数据中的烟头目标发生了漏检，可继续进行吸烟预警，避免出现烟头目标漏检后便不发送吸烟预警的情况，提高了吸烟预警的准确度。

上述的在第一吸烟检测结果和/或第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警，可包括：在第一吸烟检测结果为存在吸烟行为且第二吸烟检测结果为不存在吸烟行为的情况下，进行吸烟预警；在第一吸烟检测结果为不存在吸烟行为且第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警；在第一吸烟检测结果为存在吸烟行为且第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警。

具体地，通过声音、灯光以及二者的结合形式预警。进一步地，还可通过检测框在原始RGB图像或原始红外图像中标记出烟支目标。

图4是本申请实施例提供的一种基于图像识别的吸烟预警方法的流程示意图。该基于图像识别的吸烟预警方法可在服务器中执行，也可在以本地计算机中执行。

结合图4所示，基于图像识别的吸烟预警方法包括：

S401、获得同一场所的RGB图像数据以及红外图像数据。

S402、利用图像检测技术处理RGB图像数据获得第一吸烟检测结果，以及处理红外图像数据获得第二吸烟检测结果。

S403、如果上一时刻获得的历史第一吸烟检测结果和当前时刻获得的当前第二吸烟检测结果均为存在吸烟行为，且历史第一吸烟检测结果的概率大于或等于第一设定概率，当前第二吸烟检测结果的概率大于或等于第二设定概率，则对吸烟行为进行预警；其中，第一设定概率小于第二设定概率。

历史第一吸烟检测结果为存在吸烟行为，指的是历史第一吸烟检测结果为存在烟支目标，历史第一吸烟检测结果的概率指的是历史第一吸烟检测结果为存在烟支目标时的概率。

当前第二吸烟检测结果为存在吸烟行为，指的是当前第二吸烟检测结果为存在烟头目标，当前第二吸烟检测结果的概率指的是当前第二吸烟检测结果为存在烟头目标时的概率。

以下再对历史第一吸烟检测结果以及当前第二吸烟检测结果的获得过程进行说明：在上一时刻获得同一场所的历史RGB图像数据以及历史红外图像数据；利用图像检测技术处理历史RGB图像数据获得历史第一吸烟检测结果以及处理历史红外图像数据获得历史第二吸烟检测结果。在当前时刻，获得同一场所的当前RGB图像数据以及当前红外图像数据；利用图像检测技术处理当前RGB图像数据获得当前第一吸烟检测结果以及处理当前红外图像数据获得当前第二吸烟检测结果。

上述第二设定概率越大，则越容易发生漏检，但是会降低误预警(误预警指的是在没有吸烟行为的情况下进行吸烟预警)的概率；上述第二设定概率越小，则越不容易发生漏检，但是会提高误预警的概率。本申请实施例对第二设定概率的具体数值不做具体限定，本领域技术人员可根据实际对漏检以及误预警的要求，确定符合实际需求的第二设定概率。

采用上述技术方案可提高吸烟预警的准确度。上一时刻检测到烟支目标，且在当前时刻检测到烟头目标时，大概率表示用户取出香烟并开始吸烟，这种情况下，即使第一吸烟检测结果以及第二吸烟检测结果为存在吸烟行为的概率较低(大于或等于第二设定概率)，也确定存在吸烟行为，进行吸烟预警。

当然，在具体应用中，如果上一时刻获得的历史第一吸烟检测结果为存在吸烟行为，且历史第一吸烟检测结果的概率大于或等于第三设定概率，同时，当前时刻获得的当前第二吸烟检测结果为不存在吸烟行为，则进行吸烟预警，这里的第三设定概率大于上述的第一设定概率。

对应地，如果上一时刻获得的历史第一吸烟检测结果为存在吸烟行为，且历史第一吸烟检测结果的概率小于第三设定概率，同时，当前时刻获得的当前第二吸烟检测结果为不存在吸烟行为，则不进行吸烟预警。

另外，如果上一时刻获得的历史第一吸烟检测结果为不存在吸烟行为，且当前时刻获得的当前第二吸烟检测结果为存在吸烟行为，当前第二吸烟检测结果的概率大于第四设定概率，则进行吸烟预警，这里的第四设定概率大于上述的第二设定概率。

对应地，如果上一时刻获得的历史第一吸烟检测结果为不存在烟支目标，且当前时刻获得的当前第二吸烟检测结果为存在烟头目标，当前第二吸烟检测结果的概率大于第四设定概率，则不进行吸烟预警。

采用上述技术方案，可降低误预警的概率，提高吸烟预警的准确度。

图5是本申请实施例提供的一种基于图像识别的吸烟预警装置的示意图。该基于图像识别的吸烟预警装置可通过软件、硬件或二者结合的形式实现。

结合图5所示，基于图像识别的吸烟预警装置包括第一获得模块51、第二获得模块52以及预警模块53；第一获得模块51用于同时获得同一场所的RGB图像数据以及红外图像数据；第二获得模块52用于利用图像检测技术处理RGB图像数据获得第一吸烟检测结果，以及处理红外图像数据获得第二吸烟检测结果；预警模块53用于在第一吸烟检测结果和/或第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警；其中，第一吸烟检测结果以存在烟支目标表示存在吸烟行为，第二吸烟检测结果以存在烟头目标表示存在吸烟行为。

可选地，第二获得模块52包括提取单元、组合单元以及分类单元；提取单元用于提取RGB图像数据中的图像特征；组合单元用于组合图像特征，获得组合特征；分类单元用于对组合特征进行分类处理，获得第一吸烟检测结果。

可选地分类单元具体用于：对组合特征分类进行卷积处理，获得第一卷积输出结果；利用第一尺寸的卷积核对第一卷积输出结果进行三次卷积处理，获得第二卷积输出结果；根据第二卷积输出结果获得目标分类结果；其中，在用于获得第一吸烟检测结果的神经网络的预训练过程中，利用第二尺寸的卷积核对第一卷积输出结果进行两次卷积处理，获得第三卷积输出结果，再对第三卷积输出结果进行分类处理获得目标分类结果，再将第二尺寸调整为第一尺寸，再利用RGB图像数据进行训练并应用；第二尺寸大于第一尺寸，第一吸烟检测结果包括目标分类结果。

可选地，分类单元还用于对第一卷积输出结果进行卷积处理，获得第四卷积输出结果；根据第四卷积输出结果获得目标有效性结果以及目标检测框；其中，第一吸烟检测结果包括目标有效性结果以及目标检测框。

可选地，第二获得模块52包括第一卷积单元、第一池化单元、第二卷积单元、第二池化单元以及线性化单元，第一卷积单元用于利用第一卷积层对红外图像数据进行卷积处理；第一池化单元用于利用最大池化层对第一卷积层的输出进行最大池化处理；第二卷积单元用于利用多个第二卷积层对最大池化层的输出升维卷积处理；第二池化单元用于利用全局池化层对多个第二卷积层的输出进行全局池化处理；线性化单元用于利用线性化层对全局池化层的输出进行线性化处理，获得第二吸烟检测结果。

可选地，预警模块53包括第一预警单元，第一预警单元用于如果上一时刻获得的历史第一吸烟检测结果和当前时刻获得的当前第二吸烟检测结果均为存在吸烟行为，且历史第一吸烟检测结果的概率大于或等于第一设定概率，当前第二吸烟检测结果的概率大于或等于第二设定概率，则对吸烟行为进行预警；其中，第一设定概率大于第二设定概率。

可选地，预警模块53还包括第二预警单元，第二预警单元用于如果历史第一吸烟检测结果为不存在吸烟行为，当前第二吸烟检测结果为存在吸烟行为，且当前第二吸烟检测结果的概率大于或等于第四设定概率，则对吸烟行为进行预警；其中，第四设定概率大于第二设定概率。

在一些实施例中，电子设备包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行前述实施例提供的基于图像识别的吸烟预警方法。

图6是本申请实施例提供的一种电子设备的示意图。结合图6所示，电子设备包括：

处理器(processor)61和存储器(memory)62，还可以包括通信接口(Communication Interface)63和总线64。其中，处理器61、通信接口63、存储器62可以通过总线64完成相互间的通信。通信接口63可以用于信息传输。处理器61可以调用存储器62中的逻辑指令，以执行前述实施例提供的基于图像识别的吸烟预警方法。

此外，上述的存储器62中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器62作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本申请实施例中的方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器62可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器。

本申请实施例提供了一种存储介质，存储有程序指令，所述程序指令在运行时执行前述实施例提供的基于图像识别的吸烟预警方法。

本申请实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行前述实施例提供的基于图像识别的吸烟预警方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本申请实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或一个以上指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例中方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机读取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本申请的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本申请实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或一个以上用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种基于图像识别的吸烟预警方法，其特征在于，包括：

同时获得同一场所的RGB图像数据以及红外图像数据；

利用图像检测技术处理所述RGB图像数据获得第一吸烟检测结果，以及处理所述红外图像数据获得第二吸烟检测结果；

在所述第一吸烟检测结果和/或所述第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警；

其中，所述第一吸烟检测结果以存在烟支目标表示存在吸烟行为，所述第二吸烟检测结果以存在烟头目标表示存在吸烟行为。

2.根据权利要求1所述的吸烟预警方法，其特征在于，处理所述RGB图像数据获得第一吸烟检测结果，包括：

提取所述RGB图像数据中的图像特征；

组合所述图像特征，获得组合特征；

对所述组合特征进行分类处理，获得所述第一吸烟检测结果。

3.根据权利要求2所述的吸烟预警方法，其特征在于，对所述组合特征分类处理，获得所述第一吸烟检测结果，包括：

对所述组合特征分类进行卷积处理，获得第一卷积输出结果；

利用第一尺寸的卷积核对所述第一卷积输出结果进行三次卷积处理，获得第二卷积输出结果；

根据所述第二卷积输出结果获得目标分类结果；

其中，在用于获得所述第一吸烟检测结果的神经网络的预训练过程中，利用第二尺寸的卷积核对第一卷积输出结果进行两次卷积处理，获得第三卷积输出结果，再对所述第三卷积输出结果进行分类处理获得目标分类结果，再将所述第二尺寸调整为所述第一尺寸，再利用RGB图像数据进行训练并应用；

所述第二尺寸大于所述第一尺寸，所述第一吸烟检测结果包括所述目标分类结果。

4.根据权利要求3所述的吸烟预警方法，其特征在于，对所述组合特征分类处理，获得所述第一吸烟检测结果，还包括：

对所述第一卷积输出结果进行卷积处理，获得第四卷积输出结果；

根据所述第四卷积输出结果获得目标有效性结果以及目标检测框；

其中，所述第一吸烟检测结果包括所述目标有效性结果以及目标检测框。

5.根据权利要求1所述的吸烟预警方法，其特征在于，处理所述红外图像数据获得第二吸烟检测结果，包括：

利用第一卷积层对所述红外图像数据进行卷积处理；

利用最大池化层对所述第一卷积层的输出进行最大池化处理；

利用多个第二卷积层对所述最大池化层的输出升维卷积处理；

利用全局池化层对所述多个第二卷积层的输出进行全局池化处理；

利用线性化层对所述全局池化层的输出进行线性化处理，获得所述第二吸烟检测结果。

6.根据权利要求1至5任一项所述的吸烟预警方法，其特征在于，在所述第一吸烟检测结果和/或所述第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警，包括：

如果上一时刻获得的历史第一吸烟检测结果和当前时刻获得的当前第二吸烟检测结果均为存在吸烟行为，且所述历史第一吸烟检测结果的概率大于或等于第一设定概率，所述当前第二吸烟检测结果的概率大于或等于第二设定概率，则对吸烟行为进行预警；

其中，所述第一设定概率小于所述第二设定概率。

7.根据权利要求6所述的吸烟预警方法，其特征在于，还包括：

如果所述历史第一吸烟检测结果为不存在吸烟行为，所述当前第二吸烟检测结果为存在吸烟行为，且所述当前第二吸烟检测结果的概率大于或等于第四设定概率，则对吸烟行为进行预警；

其中，所述第四设定概率大于所述第二设定概率。

8.一种基于图像识别的吸烟预警装置，其特征在于，包括：

第一获得模块，用于同时获得同一场所的RGB图像数据以及红外图像数据；

第二获得模块，用于利用图像检测技术处理所述RGB图像数据获得第一吸烟检测结果，以及处理所述红外图像数据获得第二吸烟检测结果；

预警模块，用于在所述第一吸烟检测结果和/或所述第二吸烟检测结果为存在吸烟行为的情况下，进行吸烟预警；

其中，所述第一吸烟检测结果以存在烟支目标表示存在吸烟行为，所述第二吸烟检测结果以存在烟头目标表示存在吸烟行为。

9.一种电子设备，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述的基于图像识别的吸烟预警方法。

10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时执行如权利要求1至7任一项所述的基于图像识别的吸烟预警方法。

Images