CN112949459A - 吸烟图像的识别方法及装置、存储介质、电子设备 - Google Patents

Abstract

本发明公开了一种吸烟图像的识别方法及装置、存储介质、电子设备，属于人工智能领域。其中，该方法包括：获取待识别的目标图像；采用第一预测模型预测所述目标图像，得到第一识别结果和所述第一识别结果的第一置信度，采用第二预测模型预测所述目标图像，得到第二识别结果和所述第二识别结果的第二置信度；基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果，其中，所述第三识别结果用于表征所述目标图像内是否包括吸烟场景。通过本发明，全局识别和局部识别相结合，较好地保持模型召回率的同时，提高识别结果的精确率，解决了相关技术中识别吸烟图像的准确率低的技术问题。

Description

吸烟图像的识别方法及装置、存储介质、电子设备

技术领域

本发明涉及人工智能领域，具体而言，涉及一种吸烟图像的识别方法及装置、存储介质、电子设备。

背景技术

相关技术中，需要在室内或某些公共场合通过图像检测吸烟场景，判断场所是否有人在吸烟，进而报警。吸烟图像识别通常采用深度学习的方法对图像进行分类或检测图像中烟的位置进行识别；整个过程需要采集数据、标注数据、训练模型、模型推理(即用训练好的模型进行预测)。

相关技术中，采用分类算法进行检测识别，需要标注大量数据才能训练出较好的模型，使用图像分类的方法能召回较多吸烟图像，但容易误判，对训练集中相似吸烟背景的图像产生误判，导致精确率较低。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种吸烟图像的识别方法及装置、存储介质、电子设备。

根据本发明实施例的一个方面，提供了一种吸烟图像的识别方法，包括：获取待识别的目标图像；采用第一预测模型预测所述目标图像，得到第一识别结果和所述第一识别结果的第一置信度，采用第二预测模型预测所述目标图像，得到第二识别结果和所述第二识别结果的第二置信度，其中，所述第一预测模型用于从全局识别所述目标图像内是否包括吸烟场景，所述第二预测模型用于从局部识别所述目标图像内是否包括吸烟场景；基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果，其中，所述第三识别结果用于表征所述目标图像内是否包括吸烟场景。

进一步，基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果包括：判断所述第一置信度和所述第二置信度是否符合预设条件；若所述第一置信度和所述第二置信度符合预设条件，判断所述第一识别结果和所述第二识别结果是否均为正例结果，其中，所述正例结果用于表征所述目标图像内包括吸烟场景；

若所述第一识别结果和所述第二识别结果均为正例结果，输出所述目标图像的第三识别结果为所述正例结果。

进一步，判断所述第一置信度和所述第二置信度是否符合预设条件包括：判断所述第一置信度是否大于或等于第一阈值，或，判断所述第二置信度是否大于或等于第二阈值；若所述第一置信度大于或等于第一阈值，或所述第二置信度大于或等于第二阈值，确定所述第一置信度和所述第二置信度符合预设条件。

进一步，判断所述第一置信度和所述第二置信度是否符合预设条件包括：判断所述第一置信度是否大于或等于第三阈值且小于第四阈值，判断所述第二置信度是否大于或等于第五阈值且小于第六阈值；若所述第一置信度大于或等于第三阈值且小于第四阈值，且，所述第二置信度大于或等于第五阈值且小于第六阈值，确定所述第一置信度和所述第二置信度符合预设条件。

进一步，在采用第一预测模型预测所述目标图像之前，所述方法还包括：获取第一样本数据，其中，所述第一样本数据包括正样本和负样本；采用所述第一样本数据训练二分类模型，得到所述第一预测模型。

进一步，在采用第二预测模型预测所述目标图像之前，所述方法还包括：获取第一样本数据，其中，所述第一样本数据包括正样本和负样本，所述正样本包含香烟所在的图像框；采用所述第一样本数据训练基于yolo算法的目标检测模型，得到所述第二预测模型。

进一步，在基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果之后，所述方法还包括：采集待选样本图像；基于所述第一预测模型和所述第二预测模型从所述待选样本图像中筛选若干个潜在样本图像；设置所述若干个潜在样本图像的标签信息，并对所述标签信息进行校正后，得到第二样本数据；采用所述第二样本数据迭代训练所述第一预测模型和所述第二预测模型。

根据本发明实施例的另一个方面，提供了一种吸烟图像的识别装置，包括：第一获取模块，用于获取待识别的目标图像；预测模块，用于采用第一预测模型预测所述目标图像，得到第一识别结果和所述第一识别结果的第一置信度，采用第二预测模型预测所述目标图像，得到第二识别结果和所述第二识别结果的第二置信度，其中，所述第一预测模型用于从全局识别所述目标图像内是否包括吸烟场景，所述第二预测模型用于从局部识别所述目标图像内是否包括吸烟场景；输出模块，用于基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果，其中，所述第三识别结果用于表征所述目标图像内是否包括吸烟场景。

进一步，所述输出模块包括：第一判断单元，用于判断所述第一置信度和所述第二置信度是否符合预设条件；第二判断单元，用于若所述第一置信度和所述第二置信度符合预设条件，判断所述第一识别结果和所述第二识别结果是否均为正例结果，其中，所述正例结果用于表征所述目标图像内包括吸烟场景；输出单元，用于若所述第一识别结果和所述第二识别结果均为正例结果，输出所述目标图像的第三识别结果为所述正例结果。

进一步，所述第一判断单元包括：第一判断子单元，用于判断所述第一置信度是否大于或等于第一阈值，或，判断所述第二置信度是否大于或等于第二阈值；第一确定子单元，用于若所述第一置信度大于或等于第一阈值，或所述第二置信度大于或等于第二阈值，确定所述第一置信度和所述第二置信度符合预设条件。

进一步，所述第一判断单元包括：第二判断子单元，用于判断所述第一置信度是否大于或等于第三阈值且小于第四阈值，判断所述第二置信度是否大于或等于第五阈值且小于第六阈值；第二确定子单元，用于若所述第一置信度大于或等于第三阈值且小于第四阈值，且，所述第二置信度大于或等于第五阈值且小于第六阈值，确定所述第一置信度和所述第二置信度符合预设条件。

进一步，所述装置还包括：第二获取模块，用于在所述预测模块采用第一预测模型预测所述目标图像之前，获取第一样本数据，其中，所述第一样本数据包括正样本和负样本；第一训练模块，用于采用所述第一样本数据训练二分类模型，得到所述第一预测模型。

进一步，所述装置还包括：第三获取模块，用于在所述预测模块采用第一预测模型预测所述目标图像之前，获取第一样本数据，其中，所述第一样本数据包括正样本和负样本，所述正样本包含香烟所在的图像框；第二训练模块，用于采用所述第一样本数据训练基于yolo算法的目标检测模型，得到所述第二预测模型。

进一步，所述装置还包括：采集模块，用于在所述输出模块基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果之后，采集待选样本图像；筛选模块，用于基于所述第一预测模型和所述第二预测模型从所述待选样本图像中筛选若干个潜在样本图像；设置模块，用于设置所述若干个潜在样本图像的标签信息，并对所述标签信息进行校正后，得到第二样本数据；第三训练模块，用于采用所述第二样本数据迭代训练所述第一预测模型和所述第二预测模型。

根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

根据本发明实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。

本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。

通过本发明，在获取待识别的目标图像，采用第一预测模型预测目标图像，得到第一识别结果和第一识别结果的第一置信度，采用第二预测模型预测目标图像，得到第二识别结果和第二识别结果的第二置信度，基于第一置信度和第二置信度输出目标图像的第三识别结果，通过采用全局检测的第一预测模型和局部检测的第二预测模型同时预测目标图像，提高了预测结果的召回率，同时基于两个模型的预测结果的置信度输出最终的识别结果，全局识别和局部识别相结合，较好地保持模型召回率的同时，提高识别结果的精确率，解决了相关技术中识别吸烟图像的准确率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种服务器的硬件结构框图；

图2是根据本发明实施例的一种吸烟图像的识别方法的流程图；

图3是本发明实施例的识别原理图；

图4是根据本发明实施例的一种吸烟图像的识别装置的结构框图；

图5是实施本发明实施例的一种电子设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本发明实施例一所提供的方法实施例可以在服务器(如云服务器等)、计算机、手机或者类似的运算装置中执行。以运行在服务器上为例，图1是本发明实施例的一种服务器的硬件结构框图。如图1所示，服务器可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器的结构造成限定。例如，服务器还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储服务器程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种吸烟图像的识别方法对应的服务器程序，处理器102通过运行存储在存储器104内的服务器程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种吸烟图像的识别方法，图2是根据本发明实施例的一种吸烟图像的识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取待识别的目标图像；

本实施例中，目标图像可以是从摄像头、相机、图库，或者实时输入的动态图像或静态图像，图像中可能存在吸烟场景，如点燃香烟的画面，吸食香烟的画面，香烟燃烧的画面等。

步骤S204，采用第一预测模型预测目标图像，得到第一识别结果和第一识别结果的第一置信度，采用第二预测模型预测目标图像，得到第二识别结果和第二识别结果的第二置信度，其中，第一预测模型用于从全局识别目标图像内是否包括吸烟场景，第二预测模型用于从局部识别目标图像内是否包括吸烟场景；

可选的，第一预测模型是二分类模型，第二预测模型目标检测模型等。

步骤S206，基于第一置信度和第二置信度输出目标图像的第三识别结果，其中，第三识别结果用于表征目标图像内是否包括吸烟场景。

通过上述步骤，获取待识别的目标图像，采用第一预测模型预测目标图像，得到第一识别结果和第一识别结果的第一置信度，采用第二预测模型预测目标图像，得到第二识别结果和第二识别结果的第二置信度，基于第一置信度和第二置信度输出目标图像的第三识别结果，通过采用全局检测的第一预测模型和局部检测的第二预测模型同时预测目标图像，提高了预测结果的召回率，同时基于两个模型的预测结果的置信度输出最终的识别结果，全局识别和局部识别相结合，较好地保持模型召回率的同时，提高识别结果的精确率，解决了相关技术中识别吸烟图像的准确率低的技术问题。

在本实施例的一个实施方式中，基于第一置信度和第二置信度输出目标图像的第三识别结果包括：

S11，判断第一置信度和第二置信度是否符合预设条件；

可选的，预设条件可以是预设的置信区间，如0.5～0.9，也可以是一个门限值，如0.6，只有置信度大于0.6才符合预设条件。可以是第一置信度和第二置信度同时满足相同的条件，或者某一个满足第一条件，另一个满足第二条件，在此进行举例说明：

在一个示例中，判断第一置信度和第二置信度是否符合预设条件包括：判断第一置信度是否大于或等于第一阈值，或，判断第二置信度是否大于或等于第二阈值；若第一置信度大于或等于第一阈值，或第二置信度大于或等于第二阈值，确定第一置信度和第二置信度符合预设条件。

可选的，第一阈值和第二阈值可以是相同值，或者是不同值，例如在第一预测模型优于第二预测模型，单一模型的准确率大于第二预测模型时，第一阈值大于第二阈值。

在另一个示例中，判断第一置信度和第二置信度是否符合预设条件包括：判断第一置信度是否大于或等于第三阈值且小于第四阈值，判断第二置信度是否大于或等于第五阈值且小于第六阈值；若第一置信度大于或等于第三阈值且小于第四阈值，且，第二置信度大于或等于第五阈值且小于第六阈值，确定第一置信度和第二置信度符合预设条件。

在上述两个示例中，第一阈值大于第三阈值，第二阈值大于第五阈值，第四阈值小于或等于第一阈值，第六阈值小于或等于第二阈值。

S12，若第一置信度和第二置信度符合预设条件，判断第一识别结果和第二识别结果是否均为正例结果，其中，正例结果用于表征目标图像内包括吸烟场景；

S13，若第一识别结果和第二识别结果均为正例结果，输出目标图像的第三识别结果为正例结果。

图3是本发明实施例的识别原理图，将目标图像输入第一预测模型和第二预测模型，第一预测模型和第二预测模型分别将其输出的识别结果和置信度输入识别模型，识别模型进一步根据置信度输出最终的识别结果。

在另一方面，若第一识别结果和第二识别结果均为负例结果，输出目标图像的第三识别结果为负例结果，其中，负例结果用于表征目标图像内不包括吸烟场景。在第一预测模型和第二预测模型预测完成后，会输出1或0(也可以是1或-1)，其中，1代表正例结果，0或-1代表负例结果。

在此进行举例说明，第一预测模型为分类模型，第二预测模型为目标检测模型，用分类模型预测待测图像，得到图像的吸烟置信度cls_score；用目标检测模型预测待测图像，在待识别的目标图像包括多个检测框(每个框可能包括香烟位置)时，输出置信度大于0.4(第五阈值)的香烟预测框得分列表，没有预测结果时列表为空，否则为[det_score_1,…,det_score_i…]；可选的，在目标图像包括多个检测框时，根据多个检测框的置信度加权求出一个总的置信度，将该总的置信度作为第二置信度，或者是在多个检测框的置信度中选出一个值最高的作为第二置信度。

在一个判定策略中，当cls_score>＝0.9或存在det_score_i>＝0.9，图像判断为吸烟图像；

在另一个判定策略中，当0.9>cls_score>＝0.5且0.9>det_score_i>＝0.4,图像判断为吸烟图像；

除了上述范围的其他情况,图像判断为非吸烟图像，目标图像内不包括吸烟场景。

在本实施例的一个实施方式中，在采用第一预测模型预测目标图像之前，还包括：获取第一样本数据，其中，第一样本数据包括正样本和负样本；采用第一样本数据训练二分类模型，得到第一预测模型。

在本实施例的一个实施方式中，在采用第二预测模型预测目标图像之前，还包括：获取第一样本数据，其中，第一样本数据包括正样本和负样本，正样本包含香烟所在的图像框；采用第一样本数据训练基于yolo算法的目标检测模型，得到第二预测模型。其中，第一样本数据还正样本中香烟的位置信息，可以用图形框进行标识，图像框可以是矩形、椭圆形等任意形状的封闭框。

采集吸烟图像训练集(如正样本2万以上，带香烟目标框图像5000以上，负样本2万以上)，采用深度学习的方法，在第一预测模型的一个示例中，用resnet50的网络训练吸烟图像二分类模型，模型训练300epoch，训练时初始学习率设置为0.04，batchsize(批量尺寸)为160，优化器为SGD(Stochastic Gradient Descent，随机梯度下降)，损失函数为交叉熵。在第二预测模型的一个示例中，采用yolov5(yolo算法的一个分支)算法，利用带目标框的图像训练香烟检测模型，模型训练300epoch，训练时初始学习率为0.01，batchsize为24，优化器为SGD。

在本实施例的一些实施场景中，在基于第一置信度和第二置信度输出目标图像的第三识别结果之后，还包括：采集待选样本图像；基于第一预测模型和第二预测模型从待选样本图像中筛选若干个潜在样本图像；设置若干个潜在样本图像的标签信息，并对所述标签信息进行校正后，得到第二样本数据；采用第二样本数据迭代训练第一预测模型和第二预测模型。

在第一预测模型和第二预测模型在预测完成后，可以基于预测结果自动生成标签信息，为了防止第一预测模型和第二预测模型的误检率，提高先验数据的准确率，可以采用人工或者第三方预测模型对预测结果进行校正，得到包括样本图像和准确标签信息的第二样本数据。

可以通过网络搜索引擎、第三方平台等渠道获取新数据后，通过第一预测模型和第二预测模型筛选出潜在的吸烟图像，以提高样本质量，人工标注后添加至训练集，以数据驱动的方式优化模型。可以更有效地收集训练数据优化模型，减少这类误判。通过采用第一预测模型和第二预测模型筛选样本，可以从海量的待选样本图像中筛选出吸烟图像和类似吸烟图像(如吸烟背景相似，图中包括与香烟形状局部相似的棍棒等)，并对潜在样本图像按照标签进行分类，正样本共用，背景相似的负样本划分为第一预测模型的样本，局部相似的负样本划分为第二预测模型的样本，进而对原有的第一预测模型和第二预测模型进行精细化，针对性的训练，提高单一模型的识别率。

第一预测模型对应的图像分类模型更注重全局信息，吸烟背景相似的图像容易误判。第二预测模型对应的目标检测模型更注重局部信息，即香烟区域的特征分布，与香烟特征相似的图像容易误判，这两种误判还和训练集有关，如训练集同时存在吸烟和打牌的场景，就容易将打牌场景误判为吸烟，对应第一种误判；图像中分离的类似香烟的棒状物体误判为香烟对应第二种误判；在数据量较少的情况下，图像分类和目标检测相结合，根据输出置信度设计吸烟图像识别策略，提高吸烟图像识别的精确率。

将图像分类模型和目标检测模型相结合预测图像中的吸烟行为，能在保持较好召回率的同时，极大地提高精确率；通过训练吸烟图像分类和目标检测两种模型，分别对待预测图像进行识别。综合图像分类吸烟置信度和目标检测结果，给出预测结果。结合图像分类和目标检测模型识别结果，较好地保持吸烟图像识别模型召回率的同时，提高精确率；通过初步训练好的模型挑选待标注数据，有针对性地训练模型。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种吸烟图像的识别装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的一种吸烟图像的识别装置的结构框图，如图4所示，该装置包括：第一获取模块40，预测模块42，输出模块44，其中，

第一获取模块40，用于获取待识别的目标图像；

预测模块42，用于采用第一预测模型预测所述目标图像，得到第一识别结果和所述第一识别结果的第一置信度，采用第二预测模型预测所述目标图像，得到第二识别结果和所述第二识别结果的第二置信度，其中，所述第一预测模型用于从全局识别所述目标图像内是否包括吸烟场景，所述第二预测模型用于从局部识别所述目标图像内是否包括吸烟场景；

输出模块44，用于基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果，其中，所述第三识别结果用于表征所述目标图像内是否包括吸烟场景。

可选的，所述输出模块包括：第一判断单元，用于判断所述第一置信度和所述第二置信度是否符合预设条件；第二判断单元，用于若所述第一置信度和所述第二置信度符合预设条件，判断所述第一识别结果和所述第二识别结果是否均为正例结果，其中，所述正例结果用于表征所述目标图像内包括吸烟场景；输出单元，用于若所述第一识别结果和所述第二识别结果均为正例结果，输出所述目标图像的第三识别结果为所述正例结果。

可选的，所述第一判断单元包括：第一判断子单元，用于判断所述第一置信度是否大于或等于第一阈值，或，判断所述第二置信度是否大于或等于第二阈值；第一确定子单元，用于若所述第一置信度大于或等于第一阈值，或所述第二置信度大于或等于第二阈值，确定所述第一置信度和所述第二置信度符合预设条件。

可选的，所述第一判断单元包括：第二判断子单元，用于判断所述第一置信度是否大于或等于第三阈值且小于第四阈值，判断所述第二置信度是否大于或等于第五阈值且小于第六阈值；第二确定子单元，用于若所述第一置信度大于或等于第三阈值且小于第四阈值，且，所述第二置信度大于或等于第五阈值且小于第六阈值，确定所述第一置信度和所述第二置信度符合预设条件。

可选的，所述装置还包括：第二获取模块，用于在所述预测模块采用第一预测模型预测所述目标图像之前，获取第一样本数据，其中，所述第一样本数据包括正样本和负样本；第一训练模块，用于采用所述第一样本数据训练二分类模型，得到所述第一预测模型。

可选的，所述装置还包括：第三获取模块，用于在所述预测模块采用第一预测模型预测所述目标图像之前，获取第一样本数据，其中，所述第一样本数据包括正样本和负样本，所述正样本包含香烟所在的图像框；第二训练模块，用于采用所述第一样本数据训练基于yolo算法的目标检测模型，得到所述第二预测模型。

可选的，所述装置还包括：采集模块，用于在所述输出模块基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果之后，采集待选样本图像；筛选模块，用于基于所述第一预测模型和所述第二预测模型从所述待选样本图像中筛选若干个潜在样本图像；设置模块，用于设置所述若干个潜在样本图像的标签信息，并对所述标签信息进行校正后，得到第二样本数据；第三训练模块，用于采用所述第二样本数据迭代训练所述第一预测模型和所述第二预测模型。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本申请实施例还提供了一种电子设备，图5是本发明实施例的一种电子设备的结构图，如图5所示，包括处理器51、通信接口52、存储器53和通信总线54，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信，存储器53，用于存放计算机程序；处理器51，用于执行存储器53上所存放的程序时，实现如下步骤：获取待识别的目标图像；采用第一预测模型预测所述目标图像，得到第一识别结果和所述第一识别结果的第一置信度，采用第二预测模型预测所述目标图像，得到第二识别结果和所述第二识别结果的第二置信度，其中，所述第一预测模型用于从全局识别所述目标图像内是否包括吸烟场景，所述第二预测模型用于从局部识别所述目标图像内是否包括吸烟场景；基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果，其中，所述第三识别结果用于表征所述目标图像内是否包括吸烟场景。

进一步，基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果包括：判断所述第一置信度和所述第二置信度是否符合预设条件；若所述第一置信度和所述第二置信度符合预设条件，判断所述第一识别结果和所述第二识别结果是否均为正例结果，其中，所述正例结果用于表征所述目标图像内包括吸烟场景；

若所述第一识别结果和所述第二识别结果均为正例结果，输出所述目标图像的第三识别结果为所述正例结果。

进一步，判断所述第一置信度和所述第二置信度是否符合预设条件包括：判断所述第一置信度是否大于或等于第一阈值，或，判断所述第二置信度是否大于或等于第二阈值；若所述第一置信度大于或等于第一阈值，或所述第二置信度大于或等于第二阈值，确定所述第一置信度和所述第二置信度符合预设条件。

进一步，判断所述第一置信度和所述第二置信度是否符合预设条件包括：判断所述第一置信度是否大于或等于第三阈值且小于第四阈值，判断所述第二置信度是否大于或等于第五阈值且小于第六阈值；若所述第一置信度大于或等于第三阈值且小于第四阈值，且，所述第二置信度大于或等于第五阈值且小于第六阈值，确定所述第一置信度和所述第二置信度符合预设条件。

进一步，在采用第一预测模型预测所述目标图像之前，所述方法还包括：获取第一样本数据，其中，所述第一样本数据包括正样本和负样本；采用所述第一样本数据训练二分类模型，得到所述第一预测模型。

进一步，在采用第二预测模型预测所述目标图像之前，所述方法还包括：获取第一样本数据，其中，所述第一样本数据包括正样本和负样本，所述正样本包含香烟所在的图像框；采用所述第一样本数据训练基于yolo算法的目标检测模型，得到所述第二预测模型。

进一步，在基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果之后，所述方法还包括：采集待选样本图像；基于所述第一预测模型和所述第二预测模型从所述待选样本图像中筛选若干个潜在样本图像；设置所述若干个潜在样本图像的标签信息，并对所述标签信息进行校正后，得到第二样本数据；采用所述第二样本数据迭代训练所述第一预测模型和所述第二预测模型。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的吸烟图像的识别方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的吸烟图像的识别方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种吸烟图像的识别方法，其特征在于，包括：

获取待识别的目标图像；

采用第一预测模型预测所述目标图像，得到第一识别结果和所述第一识别结果的第一置信度，采用第二预测模型预测所述目标图像，得到第二识别结果和所述第二识别结果的第二置信度，其中，所述第一预测模型用于从全局识别所述目标图像内是否包括吸烟场景，所述第二预测模型用于从局部识别所述目标图像内是否包括吸烟场景；

基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果，其中，所述第三识别结果用于表征所述目标图像内是否包括吸烟场景。

2.根据权利要求1所述的方法，其特征在于，基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果包括：

判断所述第一置信度和所述第二置信度是否符合预设条件；

若所述第一置信度和所述第二置信度符合预设条件，判断所述第一识别结果和所述第二识别结果是否均为正例结果，其中，所述正例结果用于表征所述目标图像内包括吸烟场景；

若所述第一识别结果和所述第二识别结果均为正例结果，输出所述目标图像的第三识别结果为所述正例结果。

3.根据权利要求2所述的方法，其特征在于，判断所述第一置信度和所述第二置信度是否符合预设条件包括：

判断所述第一置信度是否大于或等于第一阈值，或，判断所述第二置信度是否大于或等于第二阈值；

若所述第一置信度大于或等于第一阈值，或所述第二置信度大于或等于第二阈值，确定所述第一置信度和所述第二置信度符合预设条件。

4.根据权利要求2所述的方法，其特征在于，判断所述第一置信度和所述第二置信度是否符合预设条件包括：

判断所述第一置信度是否大于或等于第三阈值且小于第四阈值，判断所述第二置信度是否大于或等于第五阈值且小于第六阈值；

若所述第一置信度大于或等于第三阈值且小于第四阈值，且，所述第二置信度大于或等于第五阈值且小于第六阈值，确定所述第一置信度和所述第二置信度符合预设条件。

5.根据权利要求1所述的方法，其特征在于，在采用第一预测模型预测所述目标图像之前，所述方法还包括：

获取第一样本数据，其中，所述第一样本数据包括正样本和负样本；

采用所述第一样本数据训练二分类模型，得到所述第一预测模型。

6.根据权利要求1所述的方法，其特征在于，在采用第二预测模型预测所述目标图像之前，所述方法还包括：

获取第一样本数据，其中，所述第一样本数据包括正样本和负样本，所述正样本包含香烟所在的图像框；

采用所述第一样本数据训练基于yolo算法的目标检测模型，得到所述第二预测模型。

7.根据权利要求1所述的方法，其特征在于，在基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果之后，所述方法还包括：

采集待选样本图像；

基于所述第一预测模型和所述第二预测模型从所述待选样本图像中筛选若干个潜在样本图像；

设置所述若干个潜在样本图像的标签信息，并对所述标签信息进行校正后，得到第二样本数据；

采用所述第二样本数据迭代训练所述第一预测模型和所述第二预测模型。

8.一种吸烟图像的识别装置，其特征在于，包括：

第一获取模块，用于获取待识别的目标图像；

预测模块，用于采用第一预测模型预测所述目标图像，得到第一识别结果和所述第一识别结果的第一置信度，采用第二预测模型预测所述目标图像，得到第二识别结果和所述第二识别结果的第二置信度，其中，所述第一预测模型用于从全局识别所述目标图像内是否包括吸烟场景，所述第二预测模型用于从局部识别所述目标图像内是否包括吸烟场景；

输出模块，用于基于所述第一置信度和所述第二置信度输出所述目标图像的第三识别结果，其中，所述第三识别结果用于表征所述目标图像内是否包括吸烟场景。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。

10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：

存储器，用于存放计算机程序；

处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。

Images