CN111666920A - 目标物品佩戴检测方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明提供了一种目标物品佩戴检测方法、装置、存储介质及电子装置，其中，该方法包括：获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的；使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的。通过本发明，解决了相关技术中存在的检测目标对象是否佩戴目标物品不准确的问题，达到准确检测目标物品佩戴状态的效果。

Description

目标物品佩戴检测方法、装置、存储介质及电子装置

技术领域

本发明涉及安防领域，具体而言，涉及一种目标物品佩戴检测方法、装置、存储介质及电子装置。

背景技术

口罩是一种常用的卫生防护用品，能够有效阻挡有害气体及颗粒、口腔唾液及飞沫进出口鼻。口罩的用途十分广泛。寻常时期，口罩的需求场所一般有医院、厨房、食品加工厂以及其他需要做卫生防护的场所。在流行病肆虐的特殊时期，口罩的需求对象覆盖全民，每个人都需要佩戴口罩出行，用以做好个人防护。然而，无论是寻常时期还是特殊时期，总会出现一部分人由于各种原因不能在指定场所及时佩戴口罩的情形。倘若采用人工监督的方式去提醒他人佩戴口罩，不仅费时费力，还可能在人流量过大的情况下漏掉一些不合规范的人员。因此，目前需要一种准确且快速的方法，用于在需求场所中自动检测人员的口罩佩戴情况并及时做出提醒。

在相关技术中，通常采用如下方式判断目标对象佩戴口罩的情况：对目标人脸图像进行阈值分割，得到二值图像，计算二值图像的下半部分的连通域，并统计最大连通域的外接矩形框的宽度和高度判断外接矩形框的宽度和高度是否满足预设条件，满足则认为佩戴口罩，否则将获取的人脸图像从RGB空间转换到YCrCb空间，并结合二值图像，得到反向投影人脸图像，将反向投射人脸图像分为上下两部分，分别统计两部分中像素点值超过预设阈值的像素个数，判断两个统计值是否满足预设条件，若满足则认为未佩戴口罩，反之则认为佩戴口罩。然而，当对目标人脸图像进行阈值分割获取二值图像时，由于受到环境因素(如光照变化、阴影投射)的干扰，使用阈值分割往往不能获得较好效果的二值图像，从而严重影响后续步骤的处理结果；并且，阈值及预设条件为预先设置的定值，在设备运行的过程中遇到环境变化的情形时，阈值将不再适用且不能被在线修改；此外，相关技术不能判断是否被非口罩物体遮住口鼻。

由此可知，相关技术中存在检测目标对象是否佩戴目标物品不准确的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标物品佩戴检测方法、装置、存储介质及电子装置，以至少解决相关技术中存在的检测目标对象是否佩戴目标物品不准确的问题。

根据本发明的一个实施例，提供了一种目标物品佩戴检测方法，包括：获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

根据本发明的另一个实施例，提供了一种目标物品佩戴检测装置，包括：获取模块，用于获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；第一确定模块，用于使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；第二确定模块，用于使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于使用利用多组第一数据通过机器学习训练出的模型分析目标可见光图像，确定目标对象的特定部位的第一目标区域，使用利用多组第二数据通过机器学习训练出的第二模型分析第一目标区域确定出目标物品的佩戴状态，通过机器学习训练模型提高模型分析的准确性，因此，可以解决相关技术中存在的检测目标对象是否佩戴目标物品不准确的问题，达到准确检测目标物品佩戴状态的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种目标物品佩戴检测方法的移动终端的硬件结构框图；

图2是根据本发明实施例的目标物品佩戴检测方法的流程图；

图3是根据本发明可选实施例的第一初始模型结构示意图；

图4是根据本发明可选实施例的第二初始模型结构示意图；

图5是根据本发明可选实施例的佩戴状态示意图；

图6是根据本发明可选实施例的室内补光较弱情形示意图；

图7是根据本发明可选实施例的目标对象的第一目标区域的红外热成像图像示意图；

图8是根据本发明可选实施例的红外采集设备结构示意图；

图9是根据本发明具体实施例的目标物品佩戴检测方法流程图；

图10是根据本发明具体实施例的口罩佩戴检测装置结构图；

图11是根据本发明实施例的目标物品佩戴检测装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种目标物品佩戴检测方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标物品佩戴检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种目标物品佩戴检测方法，图2是根据本发明实施例的目标物品佩戴检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；

步骤S204，使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；

步骤S206，使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

在上述实施例中，可以利用可接收可见光与红外线的双目摄像机拍摄目标场景中的目标对象，当然，也可以用可接收可见光的摄像机以及可接受红外线的摄像机来分别对目标场景进行拍摄。其中，目标场景可以为商场、电影院、社区、医院、学校、公园等场所的入口，目标对象可以为人、动物等，当目标对象为人时，目标物品可以为口罩、护目镜、手套、帽子、工牌等，当目标对象为动物，如宠物狗时，目标物品可以为栓狗绳、嘴套等，第一目标区域可以为佩戴目标物品的区域，当目标物品为口罩、护目镜、帽子时，第一目标区域可以为头部，当目标物品为工牌时，第一目标区域可以为胸部等，当目标物品为栓狗绳时，第一目标区域可以为狗的身体，当目标物品为嘴套时，第一目标区域可以为狗的头部。

可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。

通过本发明，由于使用利用多组第一数据通过机器学习训练出的模型分析目标可见光图像，确定目标对象的特定部位的第一目标区域，使用利用多组第二数据通过机器学习训练出的第二模型分析第一目标区域确定出目标物品的佩戴状态，通过机器学习训练模型提高模型分析的准确性，因此，可以解决相关技术中存在的检测目标对象是否佩戴目标物品不准确的问题，达到准确检测目标物品佩戴状态的效果。

在一个可选的实施例中，在使用第一模型对所述目标可见光图像进行分析之前，所述方法还包括：使用所述多组第一数据通过机器学习对配置有YOLOv3算法的第一初始模型进行训练；基于训练结果得到所述第一模型。在本实施例中，可以使用可见光图像和可见光图像中包括的对象的特定部位的区域对配置有YOLOv3算法的第一初始模型进行训练，以得到第一模型，进而可以利用第一模型确定目标可见光图像中的第一目标区域。例如，当目标对象为人时，利用包含人形的可见光图像进行训练得到第一模型，再利用第一模型对待检测的包含人形的可见光图像做人头检测，定位人头位置，其中，可以选择YOLOv3算法，通过监督学习的方式，将神经网络(对应于上述第一初始模型)在相应的数据集上做训练，获得能够检测到人头的最优模型，即第一模型。其中，第一初始模型结构示意图可参见附图3。

在一个可选的实施例中，可以将预定卷积神经网络与决策森林连接构成第二初始模型，其中，所述决策森林中包括有至少两个相互独立的决策树，且各决策树的树形结构彼此相同或不同，各决策树的决策节点上的函数彼此相同或不同，各决策树的决策节点用于对所述目标物品的佩戴状态进行概率预测；使用所述多组第二数据通过机器学习对所述第二初始模型进行训练；基于训练结果得到所述第二模型。在本实施例中，第二初始模型可以由卷积神经网络与决策森林连接而成，卷积神经网络具有较强的特征提取能力，决策树具有较强的拟合能力，因此，两者相结合可以提高第二模型的分析效果。决策森林可以由结构上相互独立的多个决策树组成，所有决策树共享基础网络的权值，各个树之间的区别是可以有不同的树形结构及不同的节点函数。其中，第二初始模型结构示意图可参见附图4。

在一个可选的实施例中，所述预定卷积神经网络包括但不限于以下至少之一：VGGNet卷积神经网络、DenseNet卷积神经网络、ResNet卷积神经网络。在本实施例中，预定卷积神经网络还可以是其他的具备类似处理能力的不同类型的基础网络，该预定卷积神经网络主要负责对图像进行特征提取，将提取到的特征被输入到决策森林中做分类。

在一个可选的实施例中，使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态包括：使用第二模型对所述第一目标区域的图像进行分析，以确定所述第二模型中包括的各决策树的决策节点的概率预测值；对各决策树的决策节点的概率预测值求平均，以确定所述目标对象在所述特定部位上的目标物品佩戴状态。在本实施例中，决策树可以由两种节点组成，一种是决策(分裂)节点，另一种是预测(叶子)节点。每个决策节点都是一个决策函数，用于判断特征值是进入左子树还是进入右子树。每个预测节点都是一个概率分布，确定目标对象在特定部位上的目标物品佩戴状态。各个预测节点之间预测结果相互独立，将每个节点对于某类的概率预测求均值，得到该类最终的预测结果。其中，可以通过比较概率预测值的大小，输出佩戴状态。

在一个可选的实施例中，所述目标对象在所述特定部位上的目标物品佩戴状态包括以下之一：已佩戴所述目标物品、未佩戴所述目标物品、未知状态；在确定所述目标对象在所述特定部位上的目标物品佩戴状态为所述未知状态的情况下，所述方法还包括：基于对所述目标场景的所述目标对象进行拍摄所得到的目标红外热成像图像，确定所述目标对象在所述特定部位上的目标物品佩戴状态。在本实施例中，当目标物品为口罩时，目标物品佩戴状态可以包括已佩戴目标物品、未佩戴目标物品、未知状态，未佩戴目标物品可以包括未佩戴目标物品和非目标物品遮挡，其中，佩戴状态示意图可参见附图5。在确定目标对象在特定部位上的目标物品佩戴状态为未知状态的情况下，根据确定结果进一步判断佩戴状态，其中，可以使用与可见光第一目标区域对应的红外热成像数据，对“未知状态”类别做二次识别，判断其属于已佩戴所述目标物品状态还是属于未佩戴所述目标物品状态。此外，如果经过两次识别还是无法判定的话，可以执行报错操作，以请求人工干预，或者请求调取同一监测空间内位于其他拍摄角度的摄像设备来进一步确定目标物品的佩戴状态。

在本实施例中，受到夜晚、逆光、室内补光较弱等因素的影响，可见光图像常会出现目标对象轮廓清晰但细节丢失的情形。当对类似情形做目标分类时，分类准确率会大大降低。由于自然界所有温度大于绝对零度-273℃的物体都会发出红外辐射，而波长位于3～5纳米和8～14纳米的热红外线在大气和烟云环境中有较好的穿透性，利用红外线这一特点，可以在完全无光的夜晚清晰的监控周围环境。然而，采集到的红外数据不能直接用作显示，需要通过相应算法转换为肉眼可观测的图像。因此，可以采用带有红外线采集的设备接收外界物体表面发出的红外线，并以图像的形式显示出来，其中，红外线采集的设备主要包括特殊材质镜头(如锗镜头)、红外探测器及其配套的硬件电路，例如，可以采用带有红外线接收功能的摄像机接收外界物体表面发出的红外线，并以图像的形式显示出来。当某一物体表面的局部有其他物体覆盖时，局部温度会与无覆盖区域温度有所差别，因此，利用目标红外热成像图像再次判断未知状态的属性，可以大大提高判断的准确性。其中，室内补光较弱情形示意图可参见附图6，目标对象的第一目标区域的红外热成像图像示意图可参见附图7，红外采集设备结构示意图可参见附图8。

在一个可选的实施例中，基于对所述目标场景的所述目标对象进行拍摄所得到的目标红外热成像图像，确定所述目标对象在所述特定部位上的目标物品佩戴状态包括：确定出所述红外热成像图像中包括的所述目标对象的所述特定部位的第二目标区域；对所述第二目标区域对应的基于红外热成像数据所得到的局部二值模式LBP特征直方图、方向梯度直方图、温度直方图与温度梯度直方图进行特征融合；将融合后得到的特征输入到支持向量机SVM分类器进行分类操作；基于分类操作结果确定所述目标对象在所述特定部位上的目标物品佩戴状态。在本实施例中，可以将第二目标区域基于红外热成像数据得到的LBP特征直方图、方向梯度直方图、温度直方图与温度梯度直方图进行特征融合，融合后的特征输入到SVM分类器中做“已佩戴目标物品”与“未佩戴目标物品”二分类操作。例如，当目标对象为人、目标物品为口罩时，将目标人头区域基于红外热成像数据的图像LBP特征直方图、方向梯度直方图、温度直方图与温度梯度直方图进行特征融合，融合后的特征输入到SVM分类器中做“戴口罩”与“未戴口罩”二分类操作。其中，当目标物品为口罩、护目镜、帽子等时，第二目标区域可以为头部，当目标物品为工牌时，第二目标区域可以为胸部等，当目标物品为栓狗绳时，第二目标区域可以为狗的身体，当目标物品为嘴套时，第二目标区域可以为狗的头部。

在一个可选的实施例中，在确定所述目标对象在所述特定部位上的目标物品佩戴状态之后，所述方法还包括：输出所述特定部位在所述目标可见光图像上的位置信息以及属性值，其中，所述属性值用于指示所述目标对象在所述特定部位上的目标物品佩戴状态。在本实施例中，输出目标对象的特定部位在原始可见光图像上的位置及其对应的属性值，如是否佩戴目标物品，佩戴位置是否满足要求等，例如，当目标对象为人时，输出目标人头区域在原始可见光图像上的位置及其对应的属性值。

下面结合检测口罩佩戴状态来对本发明进行举例说明，图9是根据本发明具体实施例的目标物品佩戴检测方法流程图，如图9所示，该流程包括：

步骤S902，目标检测模块采用基于深度学习的目标检测方法，对包含人形的可见光图像做人头检测，定位人头位置(对应于第一目标区域)。目标检测算法选择YOLOv3算法，通过监督学习的方式，将神经网络在相应的数据集上做训练，获得能够检测到人头的最优模型(对应于上述第一模型)。

步骤S904，目标分类模块在人头检测结果的基础上，对人头区域做目标分类，其中，分类类别定义为3类，一类是“口罩遮挡”(对应于上述已佩戴目标物品)，即目标区域(对应于上述第一目标位置)中有口罩遮挡口鼻；一类是“非口罩遮挡”(对应于上述未佩戴目标物品中的非目标物品遮挡)，即目标区域有其他物体遮挡口鼻；最后一类是“其他”(对应于上述未知状态)，表明此类需要做进一步区分。

步骤S906，根据目标分类结果，作进一步属性判断。判断分类结果是否为“其他”，如果判断结果为是，则执行步骤S908，如果判断结果为否，则执行步骤S910。

步骤S908，二次识别模块使用与可见光人头区域对应的红外热成像数据，对“其他”类别做二次识别，判断其属于“戴口罩”(对应于上述已佩戴目标物品)还是“未戴口罩”(对应于上述未佩戴目标物品)。

步骤S910，综合S904与S908所得属性分类结果，输出目标人头区域在原始可见光图像上的位置及其对应的属性值。

需要说明的是，上述方法可以运行于口罩佩戴检测模块中，口罩佩戴检测模块可以为一个单独作业的模块，也可以与其他模块配合实现其他功能。其中，口罩佩戴检测装置结构图可参见附图10，如图10所示，口罩佩戴检测装置可以包括输入输出设备单元1002和存储器1004、处理器1006及传输设备1008，其中，存储器1004、处理器1006及传输设备1008可以还可以是具有存储、处理、传输功能的计算机终端。输入输出设备可以包括能够采集可见光与红外线的图像采集设备(如双目枪机、双目球机等)和能够显示图像的显示设备(如液晶显示器等)。计算机终端的存储器用于存储计算机程序，如上述目标检测程序、目标分类程序及二次识别程序，处理器用于执行存储器里存储的计算机程序，传输设备用于计算机终端与企业内部网、局域网、互联网等进行通讯。

在前述实施例中，使用基于深度学习的人头检测方法，定位人头位置，提取目标人头图像的特征，对人头的属性做分类，能够获得较高的检测准确率；使用深度神经决策森林，对目标人头区域做属性分类，即“已佩戴目标物品”“未佩戴目标物品”以及“未知状态”三种状态，判断目标对象是否佩戴目标物品，同时解决非目标物品遮挡的情形；使用红外热成像数据，辅助解决光线不充足等情况下未知状态的识别，即基于红外热成像数据，针对目标分类方法获得的“未知状态”类别做二次识别，排除因光线不充足导致识别效果骤降的问题。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种目标物品佩戴检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图11是根据本发明实施例的目标物品佩戴检测装置的结构框图，如图11所示，该装置包括：

获取模块1102，用于获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；

第一确定模块1104，用于使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；

第二确定模块1106，用于使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

其中，第一确定模块1104对应于上述目标检测模块，第二确定模块对应于上述目标分类模块。

在一个可选的实施例中，所述装置可以用于在使用第一模型对所述目标可见光图像进行分析之前，使用所述多组第一数据通过机器学习对配置有YOLOv3算法的第一初始模型进行训练；基于训练结果得到所述第一模型。

在一个可选的实施例中，所述装置还可以用于将预定卷积神经网络与决策森林连接构成第二初始模型，其中，所述决策森林中包括有至少两个相互独立的决策树，且各决策树的树形结构彼此相同或不同，各决策树的决策节点上的函数彼此相同或不同，各决策树的决策节点用于对所述目标物品的佩戴状态进行概率预测；使用所述多组第二数据通过机器学习对所述第二初始模型进行训练；基于训练结果得到所述第二模型。

在一个可选的实施例中，所述预定卷积神经网络包括但不限于以下至少之一：VGGNet卷积神经网络、DenseNet卷积神经网络、ResNet卷积神经网络。

在一个可选的实施例中，所述第二确定模块1106可以通过以下方式实现使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态：使用第二模型对所述第一目标区域的图像进行分析，以确定所述第二模型中包括的各决策树的决策节点的概率预测值；对各决策树的决策节点的概率预测值求平均，以确定所述目标对象在所述特定部位上的目标物品佩戴状态。

在一个可选的实施例中，所述目标对象在所述特定部位上的目标物品佩戴状态包括以下之一：已佩戴所述目标物品、未佩戴所述目标物品、未知状态；所述装置还用于在确定所述目标对象在所述特定部位上的目标物品佩戴状态为所述未知状态的情况下，基于对所述目标场景的所述目标对象进行拍摄所得到的目标红外热成像图像，确定所述目标对象在所述特定部位上的目标物品佩戴状态。

在一个可选的实施例中，所述装置可以通过以下方式实现基于对所述目标场景的所述目标对象进行拍摄所得到的目标红外热成像图像，确定所述目标对象在所述特定部位上的目标物品佩戴状态：确定出所述红外热成像图像中包括的所述目标对象的所述特定部位的第二目标区域；对所述第二目标区域对应的基于红外热成像数据所得到的局部二值模式LBP特征直方图、方向梯度直方图、温度直方图与温度梯度直方图进行特征融合；将融合后得到的特征输入到支持向量机SVM分类器进行分类操作；基于分类操作结果确定所述目标对象在所述特定部位上的目标物品佩戴状态。

在一个可选的实施例中，所述装置还可以用于在确定所述目标对象在所述特定部位上的目标物品佩戴状态之后，输出所述特定部位在所述目标可见光图像上的位置信息以及属性值，其中，所述属性值用于指示所述目标对象在所述特定部位上的目标物品佩戴状态。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；

S2，使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；

S3，使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；

S2，使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；

S3，使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种目标物品佩戴检测方法，其特征在于，包括：

获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；

使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；

使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

2.根据权利要求1所述的方法，其特征在于，在使用第一模型对所述目标可见光图像进行分析之前，所述方法还包括：

使用所述多组第一数据通过机器学习对配置有YOLOv3算法的第一初始模型进行训练；

基于训练结果得到所述第一模型。

3.根据权利要求1所述的方法，其特征在于，

将预定卷积神经网络与决策森林连接构成第二初始模型，其中，所述决策森林中包括有至少两个相互独立的决策树，且各决策树的树形结构彼此相同或不同，各决策树的决策节点上的函数彼此相同或不同，各决策树的决策节点用于对所述目标物品的佩戴状态进行概率预测；

使用所述多组第二数据通过机器学习对所述第二初始模型进行训练；

基于训练结果得到所述第二模型。

4.根据权利要求3所述的方法，其特征在于，所述预定卷积神经网络包括但不限于以下至少之一：

VGGNet卷积神经网络、DenseNet卷积神经网络、ResNet卷积神经网络。

5.根据权利要求3所述的方法，其特征在于，使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态包括：

使用第二模型对所述第一目标区域的图像进行分析，以确定所述第二模型中包括的各决策树的决策节点的概率预测值；

对各决策树的决策节点的概率预测值求平均，以确定所述目标对象在所述特定部位上的目标物品佩戴状态。

6.根据权利要求1所述的方法，其特征在于，

所述目标对象在所述特定部位上的目标物品佩戴状态包括以下之一：已佩戴所述目标物品、未佩戴所述目标物品、未知状态；

在确定所述目标对象在所述特定部位上的目标物品佩戴状态为所述未知状态的情况下，所述方法还包括：基于对所述目标场景的所述目标对象进行拍摄所得到的目标红外热成像图像，确定所述目标对象在所述特定部位上的目标物品佩戴状态。

7.根据权利要求6所述的方法，其特征在于，基于对所述目标场景的所述目标对象进行拍摄所得到的目标红外热成像图像，确定所述目标对象在所述特定部位上的目标物品佩戴状态包括：

确定出所述红外热成像图像中包括的所述目标对象的所述特定部位的第二目标区域；

对所述第二目标区域对应的基于红外热成像数据所得到的局部二值模式LBP特征直方图、方向梯度直方图、温度直方图与温度梯度直方图进行特征融合；

将融合后得到的特征输入到支持向量机SVM分类器进行分类操作；

基于分类操作结果确定所述目标对象在所述特定部位上的目标物品佩戴状态。

8.根据权利要求1至7中任一项所述的方法，其特征在于，在确定所述目标对象在所述特定部位上的目标物品佩戴状态之后，所述方法还包括：

输出所述特定部位在所述目标可见光图像上的位置信息以及属性值，其中，所述属性值用于指示所述目标对象在所述特定部位上的目标物品佩戴状态。

9.一种目标物品佩戴检测装置，其特征在于，包括：

获取模块，用于获取对目标场景的目标对象进行拍摄所得到的目标可见光图像；

第一确定模块，用于使用第一模型对所述目标可见光图像进行分析，确定所述目标对象的特定部位的第一目标区域，其中，所述第一模型为使用多组第一数据通过机器学习训练出的，所述多组第一数据中的每组数据均包括：可见光图像和可见光图像中包括的对象的特定部位的区域；

第二确定模块，用于使用第二模型对所述第一目标区域的图像进行分析，以确定所述目标对象在所述特定部位上的目标物品佩戴状态，其中，所述第二模型为使用多组第二数据通过机器学习训练出的，所述多组第二数据中的每组数据均包括：对象的特定部位的区域的图像和对象的目标物品佩戴状态。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。

11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。

Images