CN114202737A - 目标佩戴对象的佩戴检测方法、装置及电子设备 - Google Patents

目标佩戴对象的佩戴检测方法、装置及电子设备 Download PDF

Info

Publication number
CN114202737A
CN114202737A CN202111407012.2A CN202111407012A CN114202737A CN 114202737 A CN114202737 A CN 114202737A CN 202111407012 A CN202111407012 A CN 202111407012A CN 114202737 A CN114202737 A CN 114202737A
Authority
CN
China
Prior art keywords
target
positioning information
image data
wearing object
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111407012.2A
Other languages
English (en)
Inventor
蔡蒙
李伟琪
罗元
张飞雄
裴志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eswin Computing Technology Co Ltd
Original Assignee
Beijing Eswin Computing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eswin Computing Technology Co Ltd filed Critical Beijing Eswin Computing Technology Co Ltd
Priority to CN202111407012.2A priority Critical patent/CN114202737A/zh
Publication of CN114202737A publication Critical patent/CN114202737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种目标佩戴对象的佩戴检测方法、装置及电子设备，涉及人工智能领域。该方法包括：获取待检测的图像数据，图像数据可以基于摄像头采集的实时数据处理后得到，将图像数据输入用于检测人像和目标佩戴对象的目标神经网络模型中，得到相应的检测结果数据。响应于结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，则可以基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离，并基于目标距离结合预设的距离阈值获取判断结果。本申请实施例通过神经网络模型对工作人员是否佩戴目标佩戴对象进行实时检测，提高了检测效率，实现有针对性地对未佩戴目标佩戴对象的人员进行提醒。

Description

目标佩戴对象的佩戴检测方法、装置及电子设备
技术领域
本申请涉及人工智能技术领域，具体而言，本申请涉及一种目标佩戴对象的佩戴检测方法、装置及电子设备。
背景技术
在许多特殊的、需要对工作人员衣着穿戴制定安全规范的工作场所，工作人员依据安全规范穿戴相应的工作服饰是安全生产的基石。比如，在建筑工地，施工人员应戴好安全帽，不允许穿拖鞋、高跟鞋或者赤脚进入施工现场；在电力工作场所中，电力工作人员需统一着工作服、绝缘鞋以及安全帽；在产生粉尘的工作场所中，工作人员还需佩戴防尘面罩。
在实际施工场景中，由于工作人员的安全意识欠缺、安全知识普及不够、以及相关场地监管员疏忽等因素，可能会出现未按照安全规范穿戴相应的工作服饰，使施工过程存在严重的安全隐患。
目前，为了解决上述问题，在大部分特殊工作场所中，一般采用人为监测，比较依赖于现场经验丰富的管理人员，需要他们实时的进行观察和检查，工作量较大，检测效率较低，难以有针对性地提示未穿戴工作服饰的工作人员。
发明内容
本申请实施例的目的旨在能解决检测效率较低的技术缺陷。
第一方面，提供了一种目标佩戴对象的佩戴检测方法，该方法包括：
获取待检测的图像数据；
将图像数据输入目标神经网络模型进行检测，得到初始检测结果数据，从初始检测结果数据中确定出目标检测结果数据；目标神经网络模型用于检测图像数据中的人像和目标佩戴对象；
响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离；
基于人像和目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果。
在第一方面的可选实施例中，响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离，包括：
基于人像的第一定位信息确定人像对应的第一坐标，基于目标佩戴对象的第二定位信息确定目标佩戴对象对应的第二坐标；第一坐标和第二坐标分别用于描述人像的目标关注点与目标佩戴对象的目标关注点分别在图像数据中的位置；
针对每个第一坐标，分别计算第一坐标与每个第二坐标之间的距离，将距离中的最小距离作为第一坐标对应的人像与相应目标佩戴对象之间的目标距离。
在第一方面的可选实施例中，基于人像和目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果，包括：
将目标距离与距离阈值进行比较；
若目标距离大于距离阈值，则判断结果为人像未佩戴目标佩戴对象。
在第一方面的可选实施例中，目标神经网络模型的训练方式，包括：
获取原始图像数据，对原始图像数据进行标注和预处理，得到样本图像数据；
将样本图像数据输入初始神经网络模型，得到各个样本图像数据对应的预测结果；
基于各个样本图像数据对应的预测结果和样本图像数据的标注信息对初始神经网络模型进行反向传播训练，以对初始神经网络模型的参数进行调整，得到训练后的神经网络模型；
在训练后的神经网络模型中加入注意力机制，得到目标神经网络模型。
在第一方面的可选实施例中，初始检测结果数据包括置信度、目标分类概率、人像对应的候选第一定位信息和/或目标佩戴对象对应的候选第二定位信息；
从初始检测结果数据中确定出目标检测结果数据，包括：
基于目标分类概率以及目标神经网络模型生成目标注意力图，目标注意力图用于增强神经网络模型对人像和目标佩戴对象的关注度；
基于置信度、目标注意力图以及预设的非极大值抑制算法，从候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息；
将确定出的第一定位信息和/或第二定位信息作为目标检测结果数据。
在第一方面的可选实施例中，基于目标分类概率以及目标神经网络模型生成目标注意力图，包括：
将基于目标神经网模型正向传播检测得到的目标分类概率在目标神经网络模型中反向传播，获取神经网络模型中每一卷积特征层对应的特征梯度信息；特征梯度信息用于描述对应的卷积特征层中每个通道特征图的权重；
从每一卷积特征层对应的特征梯度信息中确定出目标特征梯度信息；
基于目标特征梯度信息确定目标特征梯度信息对应的卷积特征层的通道特征权重值；
基于通道特征权重值，生成目标注意力图。
在第一方面的可选实施例中，基于置信度、目标注意力图以及预设的非极大值抑制算法，从候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息，包括：
基于目标注意力图，获取每个候选第一定位信息和/或候选第二定位信息对应的定位概率信息；
基于定位概率信息以及置信度，分别对候选第一定位信息和/或候选第二定位信息进行排序；
通过非极大值抑制算法从排序后的候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息。
第二方面，提供了一种目标佩戴对象的佩戴检测装置，该装置包括：
图像数据获取模块，用于获取待检测的图像数据；
图像数据检测模块，用于将图像数据输入目标神经网络模型进行检测，得到初始检测结果数据，从初始检测结果数据中确定出目标检测结果数据；目标神经网络模型用于检测图像数据中的人像和目标佩戴对象；
目标距离计算模块，用于响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离；
判断结果获取模块，用于基于人像和目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果。
在第二方面的可选实施例中，目标距离计算模块在响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离时，具体用于：
基于人像的第一定位信息确定人像对应的第一坐标，基于目标佩戴对象的第二定位信息确定目标佩戴对象对应的第二坐标；第一坐标和第二坐标分别用于描述人像的目标关注点与目标佩戴对象的目标关注点分别在图像数据中的位置；
针对每个第一坐标，分别计算第一坐标与每个第二坐标之间的距离，将距离中的最小距离作为第一坐标对应的人像与相应目标佩戴对象之间的目标距离。
在第二方面的可选实施例中，判断结果获取模块在基于人像和目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果时，具体用于：
将目标距离与距离阈值进行比较；
若目标距离大于距离阈值，则判断结果为人像未佩戴目标佩戴对象。
在第二方面的可选实施例中，还包括神经网络模型训练模块，具体用于：
获取原始图像数据，对原始图像数据进行标注和预处理，得到样本图像数据；
将样本图像数据输入初始神经网络模型，得到各个样本图像数据对应的预测结果；
基于各个样本图像数据对应的预测结果和样本图像数据的标注信息对初始神经网络模型进行反向传播训练，以对初始神经网络模型的参数进行调整，得到训练后的神经网络模型；
在训练后的神经网络模型中加入注意力机制，得到目标神经网络模型。
在第二方面的可选实施例中，初始检测结果数据包括置信度、目标分类概率、人像对应的候选第一定位信息和/或目标佩戴对象对应的候选第二定位信息；
图像数据检测模块在从初始检测结果数据中确定出目标检测结果数据时，具体用于：
基于目标分类概率以及目标神经网络模型生成目标注意力图，目标注意力图用于增强神经网络模型对人像和目标佩戴对象的关注度；
基于置信度、目标注意力图以及预设的非极大值抑制算法，从候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息；
将确定出的第一定位信息和/或第二定位信息作为目标检测结果数据。
在第二方面的可选实施例中，图像数据检测模块在基于目标分类概率以及目标神经网络模型生成目标注意力图时，具体用于：
将基于目标神经网模型正向传播检测得到的目标分类概率在目标神经网络模型中反向传播，获取神经网络模型中每一卷积特征层对应的特征梯度信息；特征梯度信息用于描述对应的卷积特征层中每个通道特征图的权重；
从每一卷积特征层对应的特征梯度信息中确定出目标特征梯度信息；
基于目标特征梯度信息确定目标特征梯度信息对应的卷积特征层的通道特征权重值；
基于通道特征权重值，生成目标注意力图。
在第二方面的可选实施例中，图像数据检测模块在基于置信度、目标注意力图以及预设的非极大值抑制算法，从候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息时，具体用于：
基于目标注意力图，获取每个候选第一定位信息和/或候选第二定位信息对应的定位概率信息；
基于定位概率信息以及置信度，分别对候选第一定位信息和/或候选第二定位信息进行排序；
通过非极大值抑制算法从排序后的候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息。
第三方面，提供了一种电子设备，该电子设备包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例的目标佩戴对象的佩戴检测方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述任一实施例的目标佩戴对象的佩戴检测方法。
第五方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现第一方面实施例中所提供的方法。
上述的目标佩戴对象的佩戴检测方法，获取待检测的图像数据，图像数据可以基于摄像头采集的实时数据处理后得到，将图像数据输入用于检测人像和目标佩戴对象的目标神经网络模型中，得到相应的检测结果数据。响应于结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，则可以基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离，并基于目标距离结合预设的距离阈值获取判断结果。本申请实施例通过神经网络模型对工作人员是否佩戴目标佩戴对象进行实时检测，提高了检测效率，实现有针对性地对未佩戴目标佩戴对象的人员进行提醒。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种目标佩戴对象的佩戴检测方法的流程示意图；
图2为本申请实施例提供的一种目标佩戴对象的佩戴检测方法中结果显示窗口的示意图；
图3为本申请实施例提供的一种目标佩戴对象的佩戴检测方法中第一定位信息和第二定位信息的示意图；
图4为本申请实施例提供的一种目标佩戴对象的佩戴检测方法中训练神经网络模型的流程示意图；
图5为本申请实施例提供的一种目标佩戴对象的佩戴检测方法中检测装置的结构示意图；
图6为本申请实施例提供的一种目标佩戴对象的佩戴检测方法中神经网络模型训练装置的结构示意图；
图7为本申请实施例提供的一种目标佩戴对象的佩戴检测方法中神经网络模型检测阶段的流程示意图；
图8为本申请实施例提供的一种目标佩戴对象的佩戴检测装置的结构示意图；
图9为本申请实施例提供的一种目标佩戴对象的佩戴检测的电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”指示实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
随着社会的快速发展，基础设施建设等行业的重要性不言而喻。而对于奋斗在这些基础设施建设一线的广大劳动工人来说，依据安全规范穿戴工作服饰是他们生命安全的重要保障，因此在进入工地进行相关作业之前必须要依规穿戴工作服饰。但在实际施工场景中，由于工人的安全意识欠缺、安全知识普及不够、以及相关场地监管员疏忽等因素，通常会出现未穿戴工作服饰进入工地、或在有检测的地方佩戴而之后便换下工作服饰的情况，对此每年也都会发生多起意外事故。
随着近年来深度学习计算机视觉技术的发展，通过目标检测技术来判断工作人员是否穿戴相应的衣着服饰成为一种解决上述问题的途径。
在计算机视觉领域，目标检测技术得到了快速发展和迭代，该技术综合目标的分类和定位功能，大体可分为“通用型检测”和“应用型检测”两个子方向。
其中，通用型检测是对图像中的若干目标实例的判断，是一种在统一框架下查找不同类型目标的方法；应用型检测则是对特定应用场景下的某一目标的检测，如人脸检测、安全帽检测和当今疫情下较热的口罩检测等。从主流的算法来看，当前可大体分为两类，单级目标检测算法和两级目标检测算法。单级目标检测算法不需要提前提取候选的目标区域，可以直接对目标的类别、位置信息进行回归计算，代表性的有：YOLO(You Only LookOnce，YOLO)、SSD(Single Shot MultiBox Detector，SSD)；两级目标检测算法则将检测问题划分为两个阶段，首先产生候选区域，然后对候选区域进行分类和位置精修，代表性的算法有R-CNN(Region Convolutional Neural Networks，R-CNN)系列。由于算法性能的评价指标是检测结果的精度和速度，而两级目标检测算法具有更高的检测精度，单级目标检测算法具有速度优势，因此在实际任务中可以根据需求来灵活选择算法框架。
其中，YOLO系列算法是一类典型的单级目标检测算法，该类算法将分类与目标定位的回归问题结合起来，做到了高效、灵活和泛化性能好。在本申请中作为示例使用的YOLOv3算法相较于前两版本，增加了多级预测，解决了难以预测小目标的问题，此外，YOLO v3采用三种尺度的特征图来对检测目标进行检测，得到相应的三种预测结果，每种预测结果中每个网格包含3个目标框，一共是9个目标框，并且，相邻尺度的网络还存在着级联，实现了多尺度进行预测。
非极大值抑制(Non-Maximum Suppression，NMS)算法，本质是抑制不是极大值的元素，可以理解为局部最大搜索，通常被用于目标检测算法的数据后处理阶段，作用是为了除去冗余的检测框，保留最佳检测框。
NMS算法的具体实施方法包括：预设IOU(Intersection over Union，重叠面积比例)阈值，根据检测框的置信度由高到底进行排序。然后选中置信度最高的窗口作为目标检测框，遍历计算其他检测框与目标检测框的IOU值，如果IOU大于阈值，则将该检测框删除，然后从剩余的窗口中选一个置信度得分最高的，重复上述过程，直到所有窗口被处理。
虽然当前有着多种算法框架可供选择，但目标检测技术在施工场所的应用普遍还处于理论研究阶段，其检测准确度还有提升空间。
此外，想要将目标检测技术真正应用于施工场景，目前还缺少完整的应用实施体系，难以实现对工作人员进行针对性的报警提示。
本申请提供的目标佩戴对象的佩戴检测方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，不仅进一步提升了目标检测算法的性能，并且能够对未佩戴安全规范指定的服装配饰的工作人员进行报警提醒，以解决现有技术的如上技术问题。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
本申请实施例中提供的目标佩戴对象的佩戴检测方法，该方法可以应用于任何基于人工智能技术实现目标检测功能的电子设备中，该电子设备可以包括但不限于终端、服务器等。
本技术领域技术人员可以理解，这里所使用的“终端”可以是个人计算机、手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、MID(Mobile InternetDevice，移动互联网设备)等。
本申请实施例中提供了一种目标佩戴对象的佩戴检测方法，如图1所示，该方法包括：
步骤S101，获取待检测的图像数据。
在本申请实施例中，获取待检测的图像数据可以包括：获取待处理图像数据，并对待处理图像数据进行预处理，得到待检测的图像数据。
其中，待处理图像数据可以是预设的图像集中的图像，也可以是具体应用场景中，通过调用摄像头实时拍摄生产场地时获取的图像数据，生产场地可以是建筑施工场地、工业生产场地以及电力调试环境等。其中，通过摄像头实时采集到的图像数据可以实时传输至服务器设备或者电脑终端、集成人工智能芯片的智能物联网设备等。
具体的，通过摄像头实时采集获取视频流数据，然后可以基于FFMPEG(FastForward Mpeg，多媒体视频处理工具)或者OpenCV(基于BSD许可发行的跨平台计算机视觉和机器学习软件库)对视频流数据进行解码，得到视频流数据相应的待处理图像数据。
在进行图像检测之前，可以对待处理图像数据进行预处理，预处理可以包括以下几种：
(1)裁剪尺寸或者按预设比例对待处理图像数据进行缩放，可以将待处理图像数据的尺寸调整为目标神经网络模型输入所需要的尺寸；
(2)对原始数据图像进行色彩空间的转换，例如，将待处理图像数据从RGB空间转换到lαβ空间；
(3)对待处理图像数据进行二值化，即可以将图像上的像素点的灰度值设置为0或255，整个图像呈现出明显的黑白效果；图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓；
(4)对待处理图像数据进行数据增强处理，例如，灰度化和图像翻转等。
步骤S102，将图像数据输入目标神经网络模型进行检测，得到初始检测结果数据，从初始检测结果数据中确定出目标检测结果数据；其中，目标神经网络模型用于检测图像数据中的人像和目标佩戴对象。
在本申请实施例中，目标神经网络模型可以是已经训练好的目标检测模型，可以用于检测图像数据中的人像和目标佩戴对象。目标神经网络模型具体使用哪种神经网络框架，本身不做限制。
将图像数据输入目标神经网络模型，可以得到初始检测结果数据，初始检测结果数据可以包括：每个人像或者每个目标佩戴对象的多个候选定位信息、以及每个定位信息相对应的置信度(confidence)以及目标分类概率。
可以基于预设筛选算法以及本申请所提供的包含注意力机制的检测算法从初始检测结果数据中确定出目标检测结果数据，具体确定方法后文将详细描述。
在本申请实施例中，初始检测结果数据和目标检测结果数据可以描述图像数据中是否存在人像和目标佩戴对象，若存在，则可以分别设置两个检测结果显示窗口，分别显示基于初始检测结果数据和目标检测结果数据在图像数据中绘制出的人像或者目标佩戴对象对应的边界框，以定位出人像或者目标佩戴对象在图像数据中的位置。具体实施过程中，可以通过两个检测结果显示窗口分别显示初始检测结果数据和目标检测结果数据对应的绘制结果，也可以只设置一个检测结果显示窗口对基于目标检测结果数据绘制出的边界框进行显示，本申请不做限制。
在本申请实施例中，将图像数据输入基于不同神经网络框架构成的目标神经网络模型中，所得到的检测结果数据的表现形式可能不同，本申请对此不作限制。
以YOLO v3算法为例，若目标神经网络模型基于YOLO v3算法构成，则检测结果数据可以包括图像数据中每个检测对象(人像或者目标佩戴对象)边界框(bounding box)的中心坐标(x，y)、宽和高，以及该边界框对应的置信度，除此之外还包括一组条件类别概率。
其中，置信度是每个边界框的重要参数，可以代表当前边界框存在检测对象的概率，还可以表示当前边界框存在检测对象时，正确预测检测对象类别的概率。
条件类别概率(conditional class probabilities)是一组概率的数组，数组的长度为当前模型检测的类别种类数量，它的意义是当当前边界框中有检测对象时，要检测的所有类别中检测对象为每种类别的概率。具体的，检测类别可以设置为人像和目标佩戴对象两种类别，若目标佩戴对象包括多个，例如安全帽和绝缘鞋，则检测类别的个数可以为人像与目标佩戴对象的种类个数之和。
在本申请所提供的目标佩戴对象的佩戴检测算法中，可以将基于目标神经网模型正向传播检测得到的条件类别概率(即目标分类概率)在目标神经网络模型中反向传播，获取目标梯度信息，基于目标梯度信息生成目标注意力图，然后基于目标注意力图、置信度以及非极大值抑制算法从初始检测结果数据中确定出目标检测结果数据，目标注意力图的生成方法以及如何用目标注意力图对非极大值抑制算法的排序进行优化，将在后文详细说明。
在本申请实施例中，人像可以是图像数据中处于施工场地或者生产场地的工作人员，而目标佩戴对象可以根据具体应用场景进行设置：在应用场景为建筑施工场地时，目标佩戴对象可以是安全帽；在应用场景为电力生产场地时，目标佩戴对象可以是安全帽和绝缘鞋；在应用场景为工业粉尘场地时，目标佩戴对象可以是防尘面具或口罩；在应用场景为工业辐射场地时，目标佩戴对象可以是辐射防护服；在应用场景为医疗场景时，目标佩戴对象可以是防护服和口罩。
在本申请实施例中，可以按先后顺序将基于摄像头获取到的图像数据输入目标神经网络模型中进行检测，以获取相应的检测结果数据。具体的，可以将固定时间内的数据图像设置为一组待检测的图像数据，以一组待检测的图像数据中，针对某一人像，根据判断结果为“已佩戴目标佩戴对象”在该组图像数据的总判断结果数中的占比确定该人像是否佩戴安全帽，避免人像短暂佩戴后即被模型认定为“已佩戴”的情况，使最终的判断结果更加准确。
步骤S103，响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离。
在本申请实施例中，响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，则检测结果数据表示图像数据中存在人像和目标佩戴对象，可以进一步基于人像的第一定位信息和目标佩戴对象的第二定位信息计算人像和目标佩戴对象之间的目标距离，以实现根据目标距离确定出判断结果。
其中，根据目标神经网络模型使用的不同网络框架，第一定位信息和第二定位信息的表现形式可能不同。在一种可能的实施方式中，人像对应的第一定位信息可以包括人像的边界框的坐标参数，目标佩戴对象的第二定位信息可以包括目标佩戴对象的坐标参数，可以基于人像的边界框的坐标参数和目标佩戴对象的坐标参数确定出人像和目标佩戴对象之间的目标距离。
在本申请实施例中，若目标检测结果数据中包含人像的第一定位信息，不包含安全帽的第二定位信息，则检测结果数据表示图像数据中存在人像，但不存在目标佩戴对象，可以设置判断结果为人像未佩戴安全帽目标佩戴对象，并进一步基于判断结果显示对应的提示信息，显示提示信息的方式可以是在预设的用户界面进行显示，也可以除了在用户界面显示提示信息之外，再通过语音广播对生产场地的工作人员进行语音提示。
步骤S104，基于人像和目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果。
在本申请实施例中，可以基于人像和目标佩戴对象之间的目标距离，获取判断结果，具体判断方法可以是：将目标距离与预设的距离阈值进行比较，若目标距离大于距离阈值，则判断结果为人像未佩戴目标佩戴对象。若目标距离小于等于距离阈值，则判断结果为人像佩戴目标佩戴对象。距离阈值的取值可以根据实测数据进行调整，本申请不做限制。
在本申请实施例中，可以基于判断结果生成相应的报警提示信息。若判断结果为人像佩戴目标佩戴对象，则不作相关提示；若判断结果为人像未佩戴目标佩戴对象，则可以通过预设的报警装置对报警提示信息进行提示，提示方式可以为控制灯控提示模块闪烁预设颜色的灯光，以及控制扬声器模块在施工场地中播放报警提示信息，实现及时对未佩戴目标佩戴对象的工作人员进行提醒。
此外，当本方法应用于电脑终端时，可以将检测结果数据以及判断结果绘制后显示在预设的用户界面中。例如，针对不同的判断结果可以设置用不同的颜色来显示人像和目标佩戴对象的边界框。具体的，可以将目标佩戴对象的边界框显示为黄色，若人像佩戴了目标佩戴对象，则该人像的边界框显示为绿色，若人像未佩戴目标佩戴对象，则该人像的边界框显示为红色。除此之外，可以在图像数据检测后得到的每个人像的边界框的附近(例如边界框的左上角)文字标注针对该人像的判断结果，如该人像对应的判断结果为未佩戴目标佩戴对象，则文字标注内容可以是“未佩戴目标佩戴对象”。
在一个示例中，如图2所示，可以将检测结果数据以及判断结果绘制后显示在预设的用户界面的结果显示窗口中。当判断结果为人像佩戴了目标佩戴对象，则可以在人像的边界框的左上角进行文字标注“已佩戴”。
上述实施例中的目标佩戴对象的佩戴检测方法，获取待检测的图像数据，图像数据可以基于摄像头采集的实时数据处理后得到，将图像数据输入用于检测人像和目标佩戴对象的目标神经网络模型中，得到相应的检测结果数据。若检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，则可以基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离，并基于目标距离进一步获取判断结果，实现了通过神经网络模型对工作人员是否佩戴目标佩戴对象进行检测，避免了因管理人员视觉疲劳而造成的漏检情况，提高了检测效率，进一步地，为有针对性地对未佩戴目标佩戴对象的工作人员进行提醒提供了精准的前提保障。
本申请实施例中提供了一种可能的实现方式，响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离，可以包括如下步骤：
(1)可以基于人像的第一定位信息确定人像对应的第一坐标，基于目标佩戴对象的第二定位信息确定目标佩戴对象对应的第二坐标；第一坐标和第二坐标分别用于描述人像的目标关注点与目标佩戴对象的目标关注点分别在图像数据中的位置。人像的目标关注点与目标佩戴对象的目标关注点可以根据具体应用场景和目标佩戴对象的种类进行设置。例如，若应用场景为检测工人是否佩戴安全帽，则人像的目标关注点在于人像头部的顶点，而目标佩戴对象的目标关注点则在于安全帽的顶点；若应用场景为检测工人是否穿戴绝缘鞋，则人像的目标关注点在于人像脚部的底点，目标佩戴对象的目标关注点则在于绝缘鞋的底点，可以进行灵活设置。
其中，根据目标神经网络模型使用的不同网络框架，第一定位信息和第二定位信息的表现形式可能不同。在一种可能的实施方式中，人像对应的第一定位信息可以包括人像的边界框的中心坐标、宽和高，目标佩戴对象的第二定位信息可以包括目标佩戴对象的中心坐标、宽和高。
其中，根据第一定位信息和第二定位信息不同的表现形式，确定第一坐标和第二坐标的方法可能也不同，本申请对此不做限制。
在一些实施例中，当人像对应的第一定位信息包括人像的边界框的中心坐标、宽和高，目标佩戴对象的第二定位信息包括目标佩戴对象的中心坐标、宽和高时，基于人像的第一定位信息确定人像对应的第一坐标、以及基于目标佩戴对象的第二定位信息确定目标佩戴对象对应的第二坐标的具体方法可以如下：基于人像边界框的中心坐标和高确定第一坐标；基于目标佩戴对象边界框的中心坐标和高确定第二坐标。
例如，当目标神经网络模型使用YOLO v3为基础框架时，应用场景为检测工人是否佩戴安全帽时，可以将图像数据输入目标神经网络模型进行检测，得到包含第一定位信息和第二定位信息的检测结果数据。其中，第一定位信息包括人像的边界框的中心坐标(x1,y1)、宽w1和高h1；第二定位信息包括目标佩戴对象的边界框的中心坐标(x2,y2)、宽w2和高h2。
在YOLO系列算法中，每一边界框输出的初始中心坐标不是边界框中心点在图像中的确切坐标，而是边界框的中心点与检测该对象(本申请中的人像或者目标佩戴对象)的网格单元(grid cell)左上角的偏移量。其中，网格单元是指对模型输入的图像数据划分后得到的每个网格，若检测对象的中心点落于某个网格单元，则由该网格单元负责预测这个格子。
可以对每一初始中心坐标进行转换，使转换后的每一边界框的中心坐标相对于同一坐标原点。
计算第一坐标和第二坐标时，第一定位信息、第二定位信息示意图可以如图3所示，假设将图像数据分割为7×7的网格单元，人像边界框A的中心点在图像数据中的坐标为(x1,y1)，人像边界框A的宽为w1，高为h1。目标佩戴对象边界框B的中心点在图像数据中的坐标为(x2,y2)，宽为w2，高为h2。具体的，边界框A和边界框B的中心点在图像数据中的坐标可以是相对于预设的原点的相对坐标，预设的原点可以是图像数据的左上角或者左下角，也可以是根据需求设置的参考原点，本申请并不做限制。
在本示例中，可以将预设原点设置为图像数据的左上角点，并且在预设原点对应的坐标系中，原点水平向右为x轴正方向，原点竖直向下为y轴的正方向，则基于上述第一定位信息和第二定位信息，可计算得到人像头部顶点中心位置的坐标(即第一坐标)为
Figure BDA0003373119690000111
目标佩戴对象顶部中心位置的坐标(即第二坐标)为
Figure BDA0003373119690000112
可以理解的是，将原点设置在的不同位置时，第一坐标和第二坐标的计算方式会相应改变，例如，当预设原点设置为图像数据的左下角点，并且在预设原点对应的坐标系中，原点水平向右为x轴正方向，原点竖直向上为y轴的正方向时，则第一坐标为
Figure BDA0003373119690000113
第二坐标为
Figure BDA0003373119690000114
本申请不做限制。
可以理解的是，在本申请实施例中，当目标佩戴对象为安全帽时，计算得到的第一坐标为人像头部顶点中心位置的坐标，第二坐标为目标佩戴对象顶部中心位置的坐标，若目标佩戴对象为绝缘鞋时，计算得到的第一坐标可以为人像脚部底点中心位置的坐标，第二坐标为目标佩戴对象底部中心位置的坐标，也就是说第一坐标和第二坐标的计算方式可以根据目标佩戴对象的穿着特性进行调整，本申请不作限制。
(2)计算目标距离，可以针对每个第一坐标，分别计算第一坐标与每个第二坐标之间的距离，将距离中的最小距离作为第一坐标对应的人像与相应目标佩戴对象之间的目标距离。
具体的，当获取第一坐标和第二坐标之后，可以根据公式1，通过欧式距离计算方法计算目标距离。设目标距离为D，则目标距离的计算公式可以如下：
Figure BDA0003373119690000121
根据不同的情况，目标距离的计算方案可以包括但不限于如下两种：
a、若基于检测结果数据确定图像数据中包含单个人像和至少一个目标佩戴对象，则分别计算得到单个人像对应的第一坐标和至少一个目标佩戴对象中每个目标佩戴对象对应的第二坐标之间的目标距离；
b、若基于检测结果数据确定图像数据中包含至少两个人像和至少一个目标佩戴对象，则分别计算出每个人像对应的第一坐标和每个目标佩戴对象对应的第二坐标之间的距离；针对每一人像，将该人像对应的第一坐标和各个第二坐标之间的距离中的最小距离作为人像和相应目标佩戴对象之间的目标距离。
其中，在计算方案b中，当图像数据中存在多个人像和多个目标佩戴对象时，针对每一人像，可以分别计算每个人像对应的第一坐标和每个目标佩戴对象对应的第二坐标之间的距离，可以将计算所得的最小距离作为该人像对应的目标距离，并将最小距离对应的目标佩戴对象作为与人像相匹配的目标佩戴对象。目标距离是人像的第一坐标和与人像相匹配的目标佩戴对象的第二坐标之间的距离。
基于每个人像和与其相匹配的目标佩戴对象之间的目标距离，获取判断结果，具体判断方法可以是：将目标距离与预设的距离阈值进行比较，若目标距离小于等于距离阈值，则判断结果为人像佩戴目标佩戴对象。若目标距离大于距离阈值，则判断结果为人像未佩戴目标佩戴对象。距离阈值的取值可以根据实测数据进行调整，本申请不做限制。
本申请实施例中提供了一种可能的实现方式，目标神经网络模型的训练方式，可以包括如下步骤：
(1)获取原始图像数据，对原始图像数据进行标注和预处理，得到样本图像数据；预处理包括图像尺寸调整、图像色彩转换、二值化、灰度化和图像翻转中的至少一项；
(2)将样本图像数据输入初始神经网络模型，得到各个样本图像数据对应的预测结果；
(3)基于各个样本图像数据对应的预测结果和样本图像数据的标注信息对初始神经网络模型进行反向传播训练，以对初始神经网络模型的参数进行调整，得到训练后的神经网络模型；
(4)在训练后的神经网络模型中加入注意力机制，得到目标神经网络模型。
在本申请实施例中，原始图像数据可以是开源的数据集，也可以是通过施工场地或者生产场地中的监控设备获取。若是通过监控设备获取，可以采集相关内容的视频数据，然后将视频数据转换成图像数据，以获取原始图像数据。
可以对原始图像数据进行标注和预处理，得到样本图像数据。
在本申请实施例中，标注类别可以是人像和目标佩戴对象，也可以直接设置为佩戴目标佩戴对象的人像以及未佩戴目标佩戴对象的人像，还可以是佩戴目标佩戴对象的人像头部以及未佩戴目标佩戴对象的人像头部，本申请不作限制。
可以将样本图像数据输入初始神经网络模型，得到各个样本图像数据对应的预测结果，基于各个样本图像数据对应的预测结果和样本图像数据的标注信息对初始神经网络模型进行反向传播训练，以对初始神经网络模型的参数进行调整，得到训练后的神经网络模型。其中，神经网络在进行反向传播之前，需要进行误差损失计算，可以如公式2所示，在初始神经网络的误差损失函数L1基础上加上人像与目标佩戴对象之间的目标距离差值LD，得到新损失函数Loss，将得到的新的误差损失函数进行反向传播，通过不断的迭代训练直至网络损失函数收敛。
Loss＝L1+LD (公式2)
人像与目标佩戴对象之间的目标距离差值LD可以是指基于样本图像数据的预测结果得到的目标距离和基于样本图像数据标注参数计算得到的标准距离之间的差值。具体的，可以根据样本图像数据中的标注参数计算得到在样本图像数据中人像和目标佩戴对象之间的标准距离(实际距离)，基于样本图像数据的预测结果计算得到人像和目标佩戴对象之间的目标距离(预测距离)，计算得到标准距离和目标距离之间的距离差值LD。
可以再获取测试图像数据，测试图像数据中图像数据的预处理方案与样本图像数据保持一致。也可以在获取原始图像数据，对原始图像数据进行标注和预处理之后，对标准和处理后的原始图像数据以4:1的比例划分为样本图像数据和测试图像数据。将测试图像数据送入训练后的神经网络模型，根据输出的检测结果的精确度对模型进行评估，若检测效果不理想，则可以调整相关参数，重启训练过程，直到获取理想的神经网络模型。
在一个示例中，本申请中训练初始神经网络模型的流程可以如图4所示，包括如下步骤：
步骤S401，对原始图像数据进行标注和预处理，得到样本图像数据；
步骤S402，将样本图像数据送入初始神经网络模型进行训练，得到各个样本图像数据对应的预测结果；
步骤S403，计算神经网络训练中产生的损失值；具体的，在初始神经网络的误差损失函数基础上加上人像与目标佩戴对象之间的目标距离差值，得到新损失函数Loss；
步骤S404，反向传播损失值，更新神经网络模型中的权重、偏置等参数；
步骤S405，保存当前批次训练好的神经网络模型，通过测试图像数据评估该模型的精确度，并与其他已训练好的神经网络模型进行比较；
步骤S406，判断该模型是否为最佳神经网络模型，若是，进入步骤S407，否则，对模型的参数进行调整，然后进入步骤S402；
步骤S407，存储训练后的神经网络模型，并进行命名。
本申请实施例中提供了一种可能的实现方式，初始检测结果数据可以包括置信度、目标分类概率、人像对应的候选第一定位信息和/或目标佩戴对象对应的候选第二定位信息。每个候选第一定位信息和/或每个候选第二定位信息均有各自对应的置信度。置信度用于在非极大值抑制算法中对每个候选第一定位信息和/或每个候选第二定位信息进行排序。
其中，由于图像数据中可能只存在人像，也可能只存在目标佩戴对象，还可能人像和目标佩戴对象均存在，因此，当图像数据中只存在人像时，初始检测结果数据包括人像对应的候选第一定位信息；若图像数据中只存在目标佩戴对象时，初始检测结果数据包括目标佩戴对象对应的候选第二定位信息；当图像数据中人像和目标佩戴对象均存在时，初始检测结果数据包括候选第一定位信息和候选第二定位信息。
候选第一定位信息可以是与人像对应的多个边界框中的每个边界框的坐标参数，同理，候选第二定位信息可以是与目标佩戴对象对应的多个边界框中每个边界框的坐标参数，可以通过注意力机制以及非极大值抑制算法对候选第一定位信息和候选第二定位信息进行筛选。
在本申请实施例中，从初始检测结果数据中确定出目标检测结果数据，可以包括如下步骤：
(1)基于目标分类概率以及目标神经网络模型生成目标注意力图，目标注意力图用于增强神经网络模型对人像和目标佩戴对象的关注度。可以对目标注意力图进行归一化操作，可以得到目标注意力图中每一个像素点对检测结果所发挥作用的大小，同时可以反映图像数据中哪些区域对检测目标有用。
(2)基于所述置信度、所述目标注意力图以及预设的非极大值抑制算法，从所述候选第一定位信息中确定出所述第一定位信息和/或从所述候选第二定位信息中确定出所述第二定位信息。
(3)将确定出的所述第一定位信息和/或所述第二定位信息作为所述目标检测结果数据。
在本申请实施例中，基于目标神经网络模型中的注意力机制，生成图像数据对应的目标注意力图，可以包括如下步骤：
(1)将基于目标神经网模型正向传播检测得到的目标分类概率在目标神经网络模型中反向传播，获取神经网络模型中每一卷积特征层对应的特征梯度信息；特征梯度信息用于描述对应的卷积特征层中每个通道特征图的权重。
其中，基于目标神经网模型正向传播检测得到目标分类概率Sk，k＝1，…，n，一共为n类检测对象以及对应的分类概率，将其反向传播并利用反卷积操作，在目标神经网络模型的各卷积层中重构检测对象的特征梯度信息G。其中特征梯度信息G可以是目标分类概率在向前传播过程中的某一特征图的求导，具有C个图层，可以反映每一通道特征图对最终检测结果的贡献度。
(2)从每一卷积特征层对应的特征梯度信息中确定出目标特征梯度信息。具体的，神经网络从下自上看，靠近底层的卷积特征层更多关注细节信息，而靠近顶层的卷积特征层更多关注结构特征。本申请实施例中将靠近顶层的最后一层卷积特征层上的特征梯度信息作为目标特征梯度信息。
(3)基于目标特征梯度信息确定目标特征梯度信息对应的卷积特征层的通道特征权重值；基于通道特征权重值，生成目标注意力图。具体的，可以基于目标特征梯度信息，采用如下公式3进行全局平均池化：
Figure BDA0003373119690000151
其中，wc是不同层的特征图所对应的权重值，C为特征图的图层总数量，Zc＝W×H是第c个图层中像素点的个数，W和H分别是特征图的宽和高，Gc是第c个通道的特征梯度信息。i表示特征图中第i列，j表示特征图中第j行。
假设第c个图层的特征图的特征为Fc，Fc中包含该图层的特征图中的每一个像素点的像素值，而Gc是对Fc的求导，因此，Gc与该图层的特征图中的每一个像素点的像素值相关联。
公式3可以理解为计算第c个图层的特征图像素点在Gc中的平均值，即累加每一像素点在Gc中对应的取值，再除以像素点的总个数，得到代表该层特征图的权重值。
在生成目标注意力图时，可以只关注对检测对象起积极作用的区域，即像素值大于0的区域，可以通过公式4的计算，得到目标注意力图M(即检测对象的通道空间注意力图)：
Figure BDA0003373119690000152
其中，此处的Fc是指第c层通道的特征图信息，包括特征图中每个像素的像素值。对目标注意力图进行归一化操作后，目标注意力图中每个像素点的像素值可以体现该像素点对检测结果发挥的作用大小。
在本申请实施例中，基于置信度、目标注意力图以及预设的非极大值抑制算法，从候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息，包括：
(1)基于目标注意力图，获取每个候选第一定位信息和/或候选第二定位信息对应的定位概率信息。
(2)基于定位概率信息以及置信度，分别对候选第一定位信息和/或候选第二定位信息进行排序；本步骤中的排序是针对一个人像或者一个目标佩戴对象而言的。例如，可以对一个人像的候选第一定位信息进行排序，选择出针对该人像的第一定位信息；存在多个人像时，则分别从各个人像对应的候选第一定位信息中确定出各个人像的第一定位信息。
(3)通过非极大值抑制算法从排序后的候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息。
其中，将初始检测结果数据送入非极大值抑制算法中进行筛选时，可以采用基于注意力机制生成的目标注意力图来优化边界框的筛选过程，具体优化方法可以如下：
①对基于注意力机制生成的目标注意力图进行归一化处理，得到目标注意力图中每一个像素点对检测结果数据的贡献度；归一化方法有很多种，本申请中可以使用归一化指数函数(softmax函数)实现归一化。
②将归一化后的目标注意力图尺寸缩放至原图(待检测的图像数据)大小，得到处理后的目标注意力图；
③确定候选第一定位信息和/或候选第二定位信息对应的至少一个边界框中的每个边界框在处理后的目标注意力图中的相应区域；针对每一边界框，通过累加求和计算与该边界框对应的、在处理后的目标注意力图中的相应区域中所有像素点的像素值之和，将得到的像素值之和作为该边界框的定位概率信息P；定位概率信息P可以反映该边界框内的区域是检测对象所在区域的概率；
④假设每个边界框原本的置信度为S，则在非极大值抑制算法中每个边界框的新排序参数A可以通过公式5进行计算：
A＝α*P+β*S(公式5)
其中，α+β＝1新的排序参数可以增强检测对象的位置信息与边界框的关联，进而可以实现目标定位精度的提升。在原NMS算法中，是根据边界框的置信度进行排序，在本申请中计算得到新的排序参数之后，可基于新的排序参数对边界框进行排序，完成对边界框的筛选。
若定位较精准的边界框有较高的置信度，与通过非最大抑制算法确定出的最佳边界框一致，通过上述计算方法不会产生影响，若定位较精准的边界框却置信度较低，可以通过上述方法得到增强，进而被判断为最佳边界，避免因置信度较低被舍弃。通过上述边界框的筛选方法，可以从多个候选边界框中选择出最佳边界框，提高检测对象定位的精度。
可以将筛选出的人像和目标佩戴对象的最佳边界框对应的候选第一定位信息和候选第二定位信息分别作为人像的第一定位信息以及目标佩戴对象的第二定位信息。
(4)将确定出的第一定位信息和/或第二定位信息作为检测结果数据。可以理解的是，在实际的应用过程中，检测结果数据除了包括第一定位信息和第二定位信息之外，还可以包括每个边界框的置信度以及与检测对象类别相关的一组目标分类概率(即条件类别概率)等。
为了更清楚阐释本申请的目标佩戴对象的佩戴检测方法，以下将结合具体的可选实施例对目标佩戴对象的佩戴检测方法进行进一步说明。
图5中展示出了本申请可选实施例中提供的一种目标佩戴对象的佩戴检测方法中检测装置的结构示意图，如图5所示，可以包括数据采集装置、目标检测模块、数据显示装置以及语音提示与灯控装置(报警模块)。其中，目标检测模块包括搭载神经网络模型的计算机或者嵌入式设备、以及结果判别器，结果判别器用于基于神经网络模型输出的检测结果数据对人是否佩戴目标佩戴对象进行判断，并将判断结果发送到数据显示装置进行显示，同时报警模块也可以基于判断结果进行报警提示。在实际应用中，可以通过数据采集装置，例如摄像头实时采集获取待检测的图像数据，将图像输入目标检测模块得到判断结果，可以在数据显示装置中进行显示，并通过语音提醒与灯控装置进行报警提示。
本可选实施例提供的目标佩戴对象的佩戴检测方法，可以应用于施工场景检测工人是否佩戴安全帽。
其中，本可选实施例提供的目标佩戴对象的佩戴检测方法，大致可以分为两个阶段：神经网络模型训练阶段以及神经网络模型检测阶段。
具体的，神经网络模型训练阶段可以包括如下步骤：
步骤S1，调用施工场地或者生产场地的摄像头，采集工人佩戴安全帽的视频数据，对视频数据进行剪辑，并转换为图像数据；
步骤S2，对图像数据进行预处理和标注，得到标注和处理后的图像数据；标注算法本申请中不做限制；标注类别可以为人像和安全帽；
步骤S3，将标注和处理后的图像数据分为训练样本数据集和测试样本数据集；
步骤S4，通过训练样本数据集对初始神经网络模型进行训练，得到训练后的神经网络模型；
步骤S5，将测试样本数据集送入训练后的神经网络模型，得到相应的检测结果，基于检测结果评估模型的优劣。若检测效果不理想，则重新调整训练相关参数，重启训练过程。
在神经网络模型训练阶段，神经网络模型训练装置结构图可以如图6所示，包括数据采集与制作单元601、数据预处理单元602、网络训练单元603以及模型评估单元604等。
其中，数据采集与制作单元601通过调用工地和生产场地下的监控摄像头，对实时数据进行采集和处理，得到样本数据集；数据预处理单元602对得到的样本数据集中的图像数据进行预处理后送入初始训练网络模型进行检测；网络训练单元603，在该模块下网络会完成待检测目标的图像的特征提取，特征数据计算、特征分类、损失计算和网络反向传播更新权重梯度等；模型评估单元604，对训练后的神经网络模型进行评估。
神经网络模型检测阶段的流程图可以如图7所示，包括如下步骤：
步骤S701，调用施工场地的摄像头采集实时视频流数据，可以将视频流数据实时传输至服务器设备或者电脑终端进行处理；
步骤S702，对视频流数据进行解码，得到待检测的图像数据，并对图像数据进行预处理；
步骤S703，可以将预处理后的图像数据送入目标神经网络模型进行检测，得到检测结果，并基于目标神经网络模型中引入的注意力机制生成目标注意力图；
步骤S704，基于得到的检测结果和目标注意力图进行后处理，优化定位精度；
步骤S705，基于优化后的检测结果，对工人是否佩戴了安全帽进行判断；
步骤S706，若人佩戴安全帽，则进入步骤S708，若人未佩戴安全帽，则进入步骤S707；
步骤S707，触发语音和灯光的报警提示；
步骤S708，对判断结果进行显示和存储；
步骤S709，判断是否检测完所有图像数据，若是，则进入步骤S710，否则，进入步骤S703；
步骤S710，将存储的图像数据合成为视频流数据，并在预设的显示窗口进行显示。
本申请实施例提供了一种目标佩戴对象的佩戴检测装置，如图8所示，该目标佩戴对象的佩戴检测装置80可以包括：图像数据获取模块801、图像数据检测模块802、目标距离计算模块803以及判断结果获取模块804，其中，
图像数据获取模块801，用于获取待检测的图像数据；
图像数据检测模块802，用于将图像数据输入目标神经网络模型进行检测，得到检测结果数据，目标神经网络模型用于确定出图像数据中的人像和目标佩戴对象；
目标距离计算模块803，用于若检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，则基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离；
判断结果获取模块804，用于基于人像和目标佩戴对象之间的目标距离，获取判断结果。
上述的目标佩戴对象的佩戴检测装置，获取待检测的图像数据，图像数据可以基于摄像头采集的实时数据处理后得到，将图像数据输入用于检测人像和目标佩戴对象的目标神经网络模型中，得到相应的检测结果数据。若检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，则可以基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离，并基于目标距离进一步获取判断结果，实现了通过神经网络模型对工作人员是否佩戴目标佩戴对象进行检测，避免了因管理人员视觉疲劳而造成的漏检情况，提高了检测效率，可以有针对性地对未佩戴目标佩戴对象的工作人员进行提醒。
在申请实施例中，目标距离计算模块在响应于目标检测结果数据中包括图像数据中人像的第一定位信息和目标佩戴对象的第二定位信息，基于第一定位信息和第二定位信息确定人像和目标佩戴对象之间的目标距离时，具体用于：
基于人像的第一定位信息确定人像对应的第一坐标，基于目标佩戴对象的第二定位信息确定目标佩戴对象对应的第二坐标；第一坐标和第二坐标分别用于描述人像的目标关注点与目标佩戴对象的目标关注点分别在图像数据中的位置；
针对每个第一坐标，分别计算第一坐标与每个第二坐标之间的距离，将距离中的最小距离作为第一坐标对应的人像与相应目标佩戴对象之间的目标距离。
在申请实施例中，判断结果获取模块在基于人像和目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果时，具体用于：
将目标距离与距离阈值进行比较；
若目标距离大于距离阈值，则判断结果为人像未佩戴目标佩戴对象。
在申请实施例中，还包括神经网络模型训练模块，具体用于：
获取原始图像数据，对原始图像数据进行标注和预处理，得到样本图像数据；
将样本图像数据输入初始神经网络模型，得到各个样本图像数据对应的预测结果；
基于各个样本图像数据对应的预测结果和样本图像数据的标注信息对初始神经网络模型进行反向传播训练，以对初始神经网络模型的参数进行调整，得到训练后的神经网络模型；
在训练后的神经网络模型中加入注意力机制，得到目标神经网络模型。
在申请实施例中，初始检测结果数据包括置信度、目标分类概率、人像对应的候选第一定位信息和/或目标佩戴对象对应的候选第二定位信息；
图像数据检测模块在从初始检测结果数据中确定出目标检测结果数据时，具体用于：
基于目标分类概率以及目标神经网络模型生成目标注意力图，目标注意力图用于增强神经网络模型对人像和目标佩戴对象的关注度；
基于置信度、目标注意力图以及预设的非极大值抑制算法，从候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息；
将确定出的第一定位信息和/或第二定位信息作为目标检测结果数据。
在申请实施例中，图像数据检测模块在基于目标分类概率以及目标神经网络模型生成目标注意力图时，具体用于：
将基于目标神经网模型正向传播检测得到的目标分类概率在目标神经网络模型中反向传播，获取神经网络模型中每一卷积特征层对应的特征梯度信息；特征梯度信息用于描述对应的卷积特征层中每个通道特征图的权重；
从每一卷积特征层对应的特征梯度信息中确定出目标特征梯度信息；
基于目标特征梯度信息确定目标特征梯度信息对应的卷积特征层的通道特征权重值；
基于通道特征权重值，生成目标注意力图。
在申请实施例中，图像数据检测模块在基于置信度、目标注意力图以及预设的非极大值抑制算法，从候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息时，具体用于：
基于目标注意力图，获取每个候选第一定位信息和/或候选第二定位信息对应的定位概率信息；
基于定位概率信息以及置信度，分别对候选第一定位信息和/或候选第二定位信息进行排序；
通过非极大值抑制算法从排序后的候选第一定位信息中确定出第一定位信息和/或从候选第二定位信息中确定出第二定位信息。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
本申请实施例中提供了一种电子设备(计算机装置/设备/系统)，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现目标佩戴对象的佩戴检测方法的步骤，与现有技术相比可实现：通过神经网络模型对工作人员是否佩戴目标佩戴对象进行检测，避免了因管理人员视觉疲劳而造成的漏检情况，提高了检测效率，可以有针对性地对未佩戴目标佩戴对象的工作人员进行提醒。
在一个可选实施例中提供了一种电子设备，如图9所示，图9所示的电子设备9000包括：处理器9001和存储器9003。其中，处理器9001和存储器9003相连，如通过总线9002相连。可选地，电子设备9000还可以包括收发器9004，收发器9004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器9004不限于一个，该电子设备9000的结构并不构成对本申请实施例的限定。
处理器9001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器9001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线9002可包括一通路，在上述组件之间传送信息。总线9002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线9002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器9003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器9003用于存储执行本申请实施例的计算机程序，并由处理器9001来控制执行。处理器9001用于执行存储器9003中存储的计算机程序，以实现前述方法实施例所示的步骤。
其中，电子设备包括但不限于：诸如移动电话、笔记本电脑、PAD等等移动终端以及诸如数字TV、台式计算机等等固定终端。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (10)

1.一种目标佩戴对象的佩戴检测方法，其特征在于，包括：
获取待检测的图像数据；
将所述图像数据输入目标神经网络模型进行检测，得到初始检测结果数据，从所述初始检测结果数据中确定出目标检测结果数据；所述目标神经网络模型用于检测所述图像数据中的人像和目标佩戴对象；
响应于所述目标检测结果数据中包括所述图像数据中所述人像的第一定位信息和所述目标佩戴对象的第二定位信息，基于所述第一定位信息和所述第二定位信息确定所述人像和所述目标佩戴对象之间的目标距离；
基于所述人像和所述目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果。
2.根据权利要求1所述的目标佩戴对象的佩戴检测方法，其特征在于，所述响应于所述目标检测结果数据中包括所述图像数据中所述人像的第一定位信息和所述目标佩戴对象的第二定位信息，基于所述第一定位信息和所述第二定位信息确定所述人像和所述目标佩戴对象之间的目标距离，包括：
基于所述人像的第一定位信息确定所述人像对应的第一坐标，基于所述目标佩戴对象的第二定位信息确定所述目标佩戴对象对应的第二坐标；所述第一坐标和所述第二坐标分别用于描述所述人像的目标关注点与所述目标佩戴对象的目标关注点分别在所述图像数据中的位置；
针对每个所述第一坐标，分别计算所述第一坐标与每个所述第二坐标之间的距离，将所述距离中的最小距离作为所述第一坐标对应的所述人像与相应目标佩戴对象之间的目标距离。
3.根据权利要求1所述的目标佩戴对象的佩戴检测方法，其特征在于，所述基于所述人像和所述目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果，包括：
将所述目标距离与所述距离阈值进行比较；
若所述目标距离大于所述距离阈值，则所述判断结果为所述人像未佩戴目标佩戴对象。
4.根据权利要求1所述的目标佩戴对象的佩戴检测方法，其特征在于，所述目标神经网络模型的训练方式，包括：
获取原始图像数据，对所述原始图像数据进行标注和预处理，得到样本图像数据；
将所述样本图像数据输入初始神经网络模型，得到各个所述样本图像数据对应的预测结果；
基于各个所述样本图像数据对应的预测结果和所述样本图像数据的标注信息对所述初始神经网络模型进行反向传播训练，以对所述初始神经网络模型的参数进行调整，得到训练后的神经网络模型；
在所述训练后的神经网络模型中加入注意力机制，得到所述目标神经网络模型。
5.根据权利要求4所述的目标佩戴对象的佩戴检测方法，其特征在于，所述初始检测结果数据包括置信度、目标分类概率、所述人像对应的候选第一定位信息和/或所述目标佩戴对象对应的候选第二定位信息；
所述从所述初始检测结果数据中确定出目标检测结果数据，包括：
基于所述目标分类概率以及所述目标神经网络模型生成目标注意力图，所述目标注意力图用于增强所述神经网络模型对所述人像和所述目标佩戴对象的关注度；
基于所述置信度、所述目标注意力图以及预设的非极大值抑制算法，从所述候选第一定位信息中确定出所述第一定位信息和/或从所述候选第二定位信息中确定出所述第二定位信息；
将确定出的所述第一定位信息和/或所述第二定位信息作为所述目标检测结果数据。
6.根据权利要求5所述的目标佩戴对象的佩戴检测方法，其特征在于，所述基于所述目标分类概率以及所述目标神经网络模型生成目标注意力图，包括：
将基于所述目标神经网模型正向传播检测得到的所述目标分类概率在所述目标神经网络模型中反向传播，获取所述神经网络模型中每一卷积特征层对应的特征梯度信息；所述特征梯度信息用于描述对应的所述卷积特征层中每个通道特征图的权重；
从所述每一卷积特征层对应的特征梯度信息中确定出目标特征梯度信息；
基于所述目标特征梯度信息确定所述目标特征梯度信息对应的卷积特征层的通道特征权重值；
基于所述通道特征权重值，生成所述目标注意力图。
7.根据权利要求6所述的目标佩戴对象的佩戴检测方法，其特征在于，所述基于所述置信度、所述目标注意力图以及预设的非极大值抑制算法，从所述候选第一定位信息中确定出所述第一定位信息和/或从所述候选第二定位信息中确定出所述第二定位信息，包括：
基于所述目标注意力图，获取每个所述候选第一定位信息和/或所述候选第二定位信息对应的定位概率信息；
基于所述定位概率信息以及所述置信度，分别对所述候选第一定位信息和/或所述候选第二定位信息进行排序；
通过所述非极大值抑制算法从排序后的候选第一定位信息中确定出所述第一定位信息和/或从候选第二定位信息中确定出所述第二定位信息。
8.一种目标佩戴对象的佩戴检测装置，其特征在于，包括：
图像数据获取模块，用于获取待检测的图像数据；
图像数据检测模块，用于将所述图像数据输入目标神经网络模型进行检测，得到初始检测结果数据，从所述初始检测结果数据中确定出目标检测结果数据；所述目标神经网络模型用于检测所述图像数据中的人像和目标佩戴对象；
目标距离计算模块，用于响应于所述目标检测结果数据中包括所述图像数据中所述人像的第一定位信息和所述目标佩戴对象的第二定位信息，基于所述第一定位信息和所述第二定位信息确定所述人像和所述目标佩戴对象之间的目标距离；
判断结果获取模块，用于基于所述人像和所述目标佩戴对象之间的目标距离，结合预设的距离阈值，获取判断结果。
9.一种电子设备，包括显示器、摄像头、存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的目标佩戴对象的佩戴检测方法的步骤。
CN202111407012.2A 2021-11-24 2021-11-24 目标佩戴对象的佩戴检测方法、装置及电子设备 Pending CN114202737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111407012.2A CN114202737A (zh) 2021-11-24 2021-11-24 目标佩戴对象的佩戴检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111407012.2A CN114202737A (zh) 2021-11-24 2021-11-24 目标佩戴对象的佩戴检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114202737A true CN114202737A (zh) 2022-03-18

Family

ID=80648791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111407012.2A Pending CN114202737A (zh) 2021-11-24 2021-11-24 目标佩戴对象的佩戴检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114202737A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758363A (zh) * 2022-06-16 2022-07-15 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758363A (zh) * 2022-06-16 2022-07-15 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统
CN114758363B (zh) * 2022-06-16 2022-08-19 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统

Similar Documents

Publication Publication Date Title
WO2021036059A1 (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN111259751B (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN112381075B (zh) 一种机房特定场景下进行人脸识别的方法及系统
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
JP2009265827A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
US20230060211A1 (en) System and Method for Tracking Moving Objects by Video Data
CN115331172A (zh) 一种基于监控视频的车间危险行为识别报警方法及系统
CN113177968A (zh) 目标跟踪方法、装置、电子设备及存储介质
Zhang et al. MMFNet: Forest fire smoke detection using multiscale convergence coordinated pyramid network with mixed attention and fast-robust NMS
Mei et al. Human intrusion detection in static hazardous areas at construction sites: Deep learning–based method
CN116958584A (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
CN114202737A (zh) 目标佩戴对象的佩戴检测方法、装置及电子设备
TW202201275A (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
Yang et al. Dangerous Driving Behavior Recognition Based on Improved YoloV5 and OpenPose [J]
CN112613425B (zh) 一种面向小样本水下图像的目标识别系统
CN113901911A (zh) 图像识别、模型训练方法、装置、电子设备及存储介质
CN114724254B (zh) 确定动作类别的方法、装置、设备、存储介质
CN116959099A (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN116721288A (zh) 一种基于YOLOv5的安全帽检测方法及系统
US20230245342A1 (en) Image selection apparatus, image selection method, and non-transitory computer-readable medium
CN113569912A (zh) 车辆识别方法、装置、电子设备及存储介质
CN113887634A (zh) 基于改进两步检测的电力安全带检测及预警方法
CN112906798A (zh) 图像匹配方法、装置及计算机存储介质
CN110956130A (zh) 一种四级人脸检测和关键点回归的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100176 Room 101, 1f, building 3, yard 18, Kechuang 10th Street, Beijing Economic and Technological Development Zone, Beijing

Applicant after: Beijing yisiwei Computing Technology Co.,Ltd.

Address before: 100176 Room 101, 1f, building 3, yard 18, Kechuang 10th Street, Beijing Economic and Technological Development Zone, Beijing

Applicant before: Beijing yisiwei Computing Technology Co.,Ltd.