CN113158851B - 一种佩戴安全帽检测方法、设备以及计算机存储介质 - Google Patents

一种佩戴安全帽检测方法、设备以及计算机存储介质 Download PDF

Info

Publication number
CN113158851B
CN113158851B CN202110373959.XA CN202110373959A CN113158851B CN 113158851 B CN113158851 B CN 113158851B CN 202110373959 A CN202110373959 A CN 202110373959A CN 113158851 B CN113158851 B CN 113158851B
Authority
CN
China
Prior art keywords
safety helmet
type
head
confidence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110373959.XA
Other languages
English (en)
Other versions
CN113158851A (zh
Inventor
郑少飞
唐邦杰
潘华东
殷俊
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110373959.XA priority Critical patent/CN113158851B/zh
Publication of CN113158851A publication Critical patent/CN113158851A/zh
Priority to PCT/CN2021/119585 priority patent/WO2022213552A1/en
Application granted granted Critical
Publication of CN113158851B publication Critical patent/CN113158851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Helmets And Other Head Coverings (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种佩戴安全帽检测方法、设备以及计算机存储介质。该佩戴安全帽检测方法包括：获取摄像头采集的待检测图像；将待检测图像输入检测模型，获取待检测图像中的人头位置以及人头类型、人头置信度；将待检测图像输入分类模型，获取安全帽类型、安全帽置信度；将待检测图像输入关键点模型，获取安全帽关键点位置，以及利用安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度；利用人头类型、安全帽类型以及佩戴安全帽类型综合判断是否佩戴安全帽，以及利用人头置信度、安全帽置信度以及佩戴安全帽置信度计算判断结果的置信度。通过上述方式，本申请的佩戴安全帽检测方法融合了多种模型的判别结果，能够有效提升检测方法的准确率。

Description

一种佩戴安全帽检测方法、设备以及计算机存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种佩戴安全帽检测方法、设备以及计算机存储介质。
背景技术
安全性是工程发展中很重要的一部分，但楼宇建设或者工地生产中易有掉落物体的非安全作业区域，若工人安全不能保证，不仅会遭受人员伤亡和财产损失，正常的作业秩序亦无法维持。安全帽作为保护、防护的重要防范手段，各大相关企业均会在作业场地出入口设置闸机，用于识别进入场地的工人戴安全帽的情况。但是由于侥幸心理，有些工人认为安全帽戴着麻烦又不舒服，事故不会发生在自己身上，很多施工人员不带安全帽进入工地已经成为一种习惯。现在很多地方还是采取人力盯梢的方式，在闸机口设置人力，检查进出人员佩戴安全帽的情况，但巡查人员不可能全天候盯着，保证工人都戴上安全帽成为了工地监督管理的一大难题。这就需要借助科技手段来实现监督。
然而，目前对于工人是否佩戴好安全帽的检测手段单一且准确率无法保证，无法满足不同环境的安全帽检测需求。
发明内容
本申请提供了一种佩戴安全帽检测方法、设备以及计算机存储介质。
本申请提供了一种佩戴安全帽检测方法，所述佩戴安全帽检测方法包括：
获取摄像头采集的待检测图像；
将所述待检测图像输入检测模型，获取所述待检测图像中的人头位置以及人头类型、人头置信度；
将所述待检测图像输入分类模型，获取安全帽类型、安全帽置信度；
将所述待检测图像输入关键点模型，获取安全帽关键点位置，以及利用所述安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度；
利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽，以及利用所述人头置信度、所述安全帽置信度以及所述佩戴安全帽置信度计算判断结果的置信度。
其中，所述获取所述待检测图像中的人头位置以及人头类型、人头置信度之后，包括：
利用所述检测模型检测所述待检测图像中的人手位置；
根据所述人手位置和所述人头位置的重叠区域获取人手类型；
输出所述人手位置、所述人手类型以及人手置信度。
其中，所述利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽，包括：
当所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽，且所述人手类型为无人手时，输出有佩戴安全帽的检测结果；
当所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽，所述人手类型为有人手，且综合置信度大于等于预设阈值时，输出有佩戴安全帽的检测结果；
当所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽，所述人手类型为有人手，且所述综合置信度小于所述预设阈值时，输出无佩戴安全帽的检测结果；
当不同时满足如下条件：所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽时，输出无佩戴安全帽的检测结果；
其中，所述综合置信度通过所述人头置信度、所述安全帽置信度以及所述佩戴安全帽置信度按照预设数据公式计算得到。
其中，所述获取安全帽类型、安全帽置信度，包括：
获取所述分类模型输出的安全帽类型、安全帽置信度、安全帽颜色类型以及安全帽颜色置信度；
所述利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽，包括：
判断所述安全帽颜色类型是否为其他；
若是，直接输出无佩戴安全帽的检测结果；
若否，利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽。
其中，所述利用所述安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度，包括：
判断多个安全帽关键点中是否存在任意一个安全帽关键点出现在所述待检测图像的左上角位置或者所述人头位置的左上角位置；
若是，则判定所述佩戴安全帽类型为无戴安全帽；
若否，则判定所述佩戴安全帽类型为有戴安全帽。
其中，所述多个安全帽关键点包括第一安全帽关键点、第二安全帽关键点、第三安全帽关键点、第四安全帽关键点以及第五安全帽关键点；
所述判定所述佩戴安全帽类型为有戴安全帽，包括：
利用所述第一安全帽关键点和所述第三安全帽关键点建立第一直线表达式，以及利用所述第一安全帽关键点和所述第五安全帽关键点建立第二直线表达式；
将所述第二安全帽关键点的横坐标输入所述第一直线表达式，获取第一纵坐标，以及将所述第四安全帽关键点的横坐标输入所述第二直线表达式，获取第二纵坐标；
判断是否同时满足如下条件：所述第一纵坐标大于所述第二安全帽关键点的纵坐标，所述第二纵坐标大于所述第四安全帽关键点的纵坐标，第一直线的斜率以及第二直线的斜率均处于预设范围内；
若是，则判定所述佩戴安全帽类型为有戴安全帽；
若否，则判定所述佩戴安全帽类型为无戴安全帽。
其中，所述获取所述待检测图像中的人头位置以及人头类型、人头置信度，包括：
当所述检测模型在所述待检测图像中检测到多个人头时，获取所述多个人头的局域面积；
获取所述局域面积最大的人头对应的人头位置以及人头类型、人头置信度。
其中，所述佩戴安全帽检测方法，还包括：
截取所述待检测图像中人头位置对应的人头图像；
将所述人头图像分别输入所述分类模型和所述关键点模型。
本申请还提供了一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的佩戴安全帽检测方法。
本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的佩戴安全帽检测方法。
本申请的有益效果是：终端设备获取摄像头采集的待检测图像；将待检测图像输入检测模型，获取待检测图像中的人头位置以及人头类型、人头置信度；将待检测图像输入分类模型，获取安全帽类型、安全帽置信度；将待检测图像输入关键点模型，获取安全帽关键点位置，以及利用安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度；利用人头类型、安全帽类型以及佩戴安全帽类型综合判断是否佩戴安全帽，以及利用人头置信度、安全帽置信度以及佩戴安全帽置信度计算判断结果的置信度。通过上述方式，本申请的佩戴安全帽检测方法融合了多种模型的判别结果，能够有效提升检测方法的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的佩戴安全帽检测方法一实施例的流程示意图；
图2是本申请提供的关键点线性建模的示意图；
图3是本申请提供的数据标注示意图；
图4是本申请提供的终端设备一实施例的结构示意图；
图5是本申请提供的终端设备另一实施例的结构示意图；
图6是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请提供的佩戴安全帽检测方法一实施例的流程示意图。
其中，本申请的佩戴安全帽检测方法应用于一种终端设备，其中，本申请的终端设备可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，电子设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的佩戴安全帽检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。具体地，本申请实施例的终端设备可以为一种闸机，该闸机可以设置在作业场地出入口，用于检测进入场地的工人佩戴安全帽的情况。
如图1所示，本申请实施例的佩戴安全帽检测方法具体包括以下步骤：
步骤S101：获取摄像头采集的待检测图像。
其中，终端设备获取摄像头采集的待检测图像。例如，摄像头可以设置在闸机上面，可以对经过闸机出入作业场地的工人进行图像采集或者视频采集。若采用视频采集的方式，终端设备可以在摄像头采集的视频中截取包含清晰人像的视频帧，作为待检测图像。
另外，由于根据摄像头的设置角度不同，采集人像的比例也不同。出于需要着重对工人头部位置进行检测，本申请实施例可以通过摄像头采集仅包含上半身的人体区域的待检测图像，或者截取摄像头采集全身的人体区域中的上半身区域图像作为待检测图像，能够便于检测模块快速识别待检测图像中头部位置的特征信息。因此，在以下描述中，可以统一以待检测图像为仅有上半身的人体区域进行说明。
步骤S102：将待检测图像输入检测模型，获取待检测图像中的人头位置以及人头类型、人头置信度。
其中，终端设备将待检测图像I输入预先训练好的检测模型D，以获取检测模型输出待检测图像中的人头位置head_pos＝(x1min,y1min,x1max,y1max)、人头类型det_head_type、人头置信度det_head_conf三种特征值。其中，当检测模型D检测到人头位置有遮挡时，输出det_head_type的值为1；当检测模型D检测到人头位置无遮挡时，输出det_head_type的值为0，且人头置信度det_head_conf的值也为0。
另外，若摄像头采集的待检测图像I中检测出多个人头，则可以取最大图像面积的人头用于判别安全帽的佩戴情况。这种处理方式可以提高人头的识别率，使得每位工人在接近闸机位置都可以进行检测。
进一步地，终端设备还可以通过设置，利用检测模型检测并输出待检测图像中的人手位置hand_pos＝(x2min,y2min,x2max,y2max)、人手类型det_hand_type以及人手置信度det_hand_conf三种特征值。
判定人手类型det_hand_type的方式如下：若在待检测图像中检测到人手，且人手框的至少50％区域与人头框重合，则输出det_hand_type的值为1，同时输出人手位置hand_pos和对应的人手置信度det_hand_conf；其余情况，输出det_hand_type的值为0，且人手置信度det_hand_conf的值也为0。
步骤S103：将待检测图像输入分类模型，获取安全帽类型、安全帽置信度。
其中，终端设备进而将待检测图像I输入预先训练好的分类模型C。本申请实施例中，为了提高分类模型C的分类效率，终端设备还可以将检测模型D检测出来的人头区域截取出来，即将人头图像输入到分类模型C，使得分类模型C可以直接对人头图像进行特征分类。
终端设备通过分类模型C输出有无安全帽分类结果，即安全帽类型cls_hat_type及其对应的安全帽置信度cls_hat_type_conf、安全帽颜色类型cls_hat_color及其对应的安全帽颜色置信度cls_hat_color_conf。其中，若分类模型C的分类结果中包含安全帽，则输出cls_hat_type的值为1；若分类模型C的分类结果中不包含安全帽，则输出cls_hat_type的值为0，且安全帽置信度cls_hat_type_conf的值也为0。
另外，当输出cls_hat_type的值为1时，分类模型C进一步对安全帽的颜色进行分类。例如，工作人员可以事先将一般安全帽常见的颜色输入分类模型C，如分类模型C的颜色分类包括：红色、黄色、白色、蓝色以及其他。分类模型C输出待检测图像的安全帽颜色分类结果，即输出cls_hat_color，用于判别是否佩戴安全帽。
步骤S104：将待检测图像输入关键点模型，获取安全帽关键点位置，以及利用安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度。
其中，终端设备进而将待检测图像I输入预先训练好的关键点识别模型K。本申请实施例中，为了提高关键点识别模型K的识别效率，终端设备还可以将关键点识别模型K检测出来的人头区域截取出来，即将人头图像输入到关键点识别模型K，使得关键点识别模型K可以直接对人头图像进行关键点识别。
具体地，关键点识别模型K对待检测图像或者人头图像进行识别后输出关键点位置T_key、Ml_key、Mr_key、Dl_key、Dr_key及其对应的置信度T_key_conf、Ml_key_conf、Mr_key_conf、Dl_key_conf、Dr_key_conf。然后，终端设备可以将上述关键点的识别结果转化为是否正常佩戴安全帽的判断结果。需要说明的是，关键点识别模型K对关键点的标注识别规则如下：关键点识别模型K分别标注安全帽顶端、安全帽中间的最左端、安全帽中间的最右端、安全帽底部的最左端以及安全帽底部的最右端。当在无安全帽的情况下，则安全帽上的关键点都标注在人头框最左上角的位置。
例如，关键点的识别结果与佩戴安全帽的判断结果的对应关系可以分为以下两种情况：
一、若上述五个关键点中有任何一个关键点出现在人头图像的最左上角位置，则判断未佩戴安全帽，输出结果用K_hat_type表示，即佩戴安全帽类型为0；同时，输出佩戴安全帽置信度用K_hat_type_conf表示，取值为所有预测位置在左上角关键点置信度的平均值。
二、若上述五个关键点均不出现在人头图像的最左上角位置，则把五个关键点划分为两组关键点，其中一组为T_key第一关键点，Ml_key第二关键点，Dl_key第三关键点，另外一组为T_key第一关键点，Mr_key第四关键点，Dr_key第五关键点。具体请参阅图2，图2是本申请提供的关键点线性建模的示意图。
如图2所示的线性建模方式，终端设备为两组关键点建模：一方面，连接T_key第一关键点和Dl_key第三关键点，建立直线L1，表达式为：
Figure BDA0003010441260000081
其中，(x1，y1)为T_key第一关键点的坐标，(x3，y3)为Dl_key第三关键点的坐标。
另一方面，连接T_key第一关键点和Dr_key第五关键点，建立直线L2，表达式为：
Figure BDA0003010441260000082
其中，(x5，y5)为Dr_key第五关键点的坐标。
将Ml_key第二关键点的横坐标，即x＝x2代入直线L1表达式，得到：
Figure BDA0003010441260000091
同理，将Mr_key第四关键点的横坐标，即x＝x4代入直线L2表达式，得到：
Figure BDA0003010441260000092
若同时满足y′2>y2，y′5>y5，且
Figure BDA0003010441260000093
则判断佩戴安全帽，K_hat_type＝1；否则，判断未佩戴安全帽，K_hat_type＝0。其中，两种情况置信度K_hat_type_conf均为所有关键点置信度的均值。
需要说明的是，上述检测模型、分类模型以及关键点模型的训练可参考以下过程：
首先，准备对应的闸机场景安全帽的训练数据，并进行标注，标注包括闸机场景人头位置标注、人头区域的安全帽佩戴与否及安全帽颜色标注、关键点标注。本申请实施例用于训练的输入图像为仅有上半身的人体或头肩区域的训练图像，一般情况下，具体标注情况请参阅图3，图3是本申请提供的数据标注示意图。
然后，用标注好的数据训练检测模型D、分类模型C和关键点预测模型K。虑到实际闸机场景的数据情况，保证参与训练的样本人头区域宽和高均大于40像素。对于分类模型和检测模型的训练，为增强两模型的对于人头位置的鲁棒性，在线数据增广时，保证输入的人头区域具有一定程度的随机偏移。
具体地，设图像高为h，宽为w，人工标注好的人头左上角坐标为(xmin,ymin),右上角坐标为(xmax,ymax)，则人头高为head_h＝ymax-ymin，宽head_w＝xmax-xmin。用random(-0.1,0.1)表示随机取得[-0.1,0.1]间的任何数。偏移设置方式：xmin偏移(xmin+random(-0.1,0.1)*head_w)，xmax偏移(xmax+random(-0.1,0.1)*head_w),ymin偏移(ymin+random(-0.1,0.1)*head_h)ymax偏移(ymax+random(-0.1,0.1)*head_h)，同时保证关键点的位置对应随之偏移，同时保证偏移后左上角和右下角坐标的位置约束，即xmin>＝0,ymin>＝0,xmax<＝w，ymax<＝h。
步骤S105：利用人头类型、安全帽类型以及佩戴安全帽类型综合判断是否佩戴安全帽，以及利用人头置信度、安全帽置信度以及佩戴安全帽置信度计算判断结果的置信度。
其中，终端设备根据以上得到的模型输出，包括人头类型、安全帽类型以及佩戴安全帽类型综合判断是否佩戴安全帽，所涉及的变量如下表所示：
Figure BDA0003010441260000101
整体判别安全帽佩戴情况的过程如下：
(1)当det_head_type、cls_hat_type以及K_hat_type的值全为1时，判断佩戴安全帽，综合置信度为(det_head_conf+cls_hat_type_conf+K_hat_type_conf)/3。
(2)当det_head_type、cls_hat_type以及K_hat_type的值不全为1时，判断未佩戴安全帽，置信度为上述三种类型中值不等于1的类型置信度的均值。
在本申请实施例中，终端设备还可以根据更多类型的模型输出，包括人头类型、人手类型、安全帽类型、安全帽颜色类型以及佩戴安全帽类型综合判断是否佩戴安全帽，所涉及的变量如下表所示：
Figure BDA0003010441260000102
Figure BDA0003010441260000111
整体判别安全帽佩戴情况的过程如下：
(1)若cls_hat_color的输出类别为“其他”，则直接输出未佩戴安全帽的判断结果。
(2)当det_head_type、cls_hat_type和K_hat_type全为1时且det_hand_type＝0时，判断佩戴安全帽，综合置信度为(det_head_conf+cls_hat_type_conf+K_hat_type_conf)/3。
(3)当det_head_type、cls_hat_type和K_hat_type全为1时且det_hand_type＝1时，计算安全帽置信度(det_head_conf+cls_hat_type_conf+K_hat_type_conf)/3-0.5*det_hand_conf，若安全帽置信度的值小于0.5，则判断未佩戴安全帽，若安全帽置信度的值大于等于0.5，则判断佩戴安全帽。
(4)当det_head_type、cls_hat_type和K_hat_type不全为1时，判断未佩戴安全帽，置信度为上述三种类型中值不等于1的类型置信度的均值。
在本公开实施例中，终端设备获取摄像头采集的待检测图像；将待检测图像输入检测模型，获取待检测图像中的人头位置以及人头类型、人头置信度；将待检测图像输入分类模型，获取安全帽类型、安全帽置信度；将待检测图像输入关键点模型，获取安全帽关键点位置，以及利用安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度；利用人头类型、安全帽类型以及佩戴安全帽类型综合判断是否佩戴安全帽，以及利用人头置信度、安全帽置信度以及佩戴安全帽置信度计算判断结果的置信度。通过上述方式，本申请的佩戴安全帽检测方法融合了多种模型的判别结果，能够有效提升检测方法的准确率；另外，考虑到安全帽识别过程中可能存在的伪装攻击情况，通过检测手和安全帽关键点进行过滤，能够进一步提高检测方法的准确性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的佩戴安全帽检测方法，本申请提出了一种终端设备，具体请参阅图4，图4是本申请提供的终端设备一实施例的结构示意图。
如图4所示，终端设备400包括获取模块41、检测模块42、分类模块43、关键点模块44以及判断模块45。其中，
获取模块41，用于获取摄像头采集的待检测图像。
检测模块42，用于将所述待检测图像输入检测模型，获取所述待检测图像中的人头位置以及人头类型、人头置信度。
分类模块43，用于将所述待检测图像输入分类模型，获取安全帽类型、安全帽置信度。
关键点模块44，用于将所述待检测图像输入关键点模型，获取安全帽关键点位置，以及利用所述安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度。
判断模块45，用于利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽，以及利用所述人头置信度、所述安全帽置信度以及所述佩戴安全帽置信度计算判断结果的置信度。
为实现上述实施例的佩戴安全帽检测方法，本申请还提出了另一种终端设备，具体请参阅图5，图5是本申请提供的终端设备另一实施例的结构示意图。
本申请实施例的终端设备500包括处理器51、存储器52、输入输出设备53以及总线54。
该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的佩戴安全帽检测方法。
在本实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecificIntegrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图6所示，计算机存储介质600用于存储程序数据61，程序数据61在被处理器执行时，用以实现如上述实施例所述的佩戴安全帽检测方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的佩戴安全帽检测方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的佩戴安全帽检测方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种佩戴安全帽检测方法，其特征在于，所述佩戴安全帽检测方法包括：
获取摄像头采集的待检测图像；
将所述待检测图像输入检测模型，获取所述待检测图像中的人头位置以及人头类型、人头置信度；其中，所述人头类型的值与所述检测模型检测到所述人头位置是否有遮挡相关；
将所述待检测图像输入分类模型，获取安全帽类型、安全帽置信度；
将所述待检测图像输入关键点模型，获取安全帽关键点，以及利用获取的各个安全帽关键点中任意一个安全帽关键点出现在所述待检测图像的左上角位置或者所述人头位置的左上角位置的情况，获取佩戴安全帽类型、佩戴安全帽置信度；利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽，以及利用所述人头置信度、所述安全帽置信度以及所述佩戴安全帽置信度计算判断结果的置信度；
所述利用所述安全帽关键点位置获取佩戴安全帽类型、佩戴安全帽置信度，包括：
判断多个安全帽关键点中是否存在任意一个安全帽关键点出现在所述待检测图像的左上角位置或者所述人头位置的左上角位置；
若是，则判定所述佩戴安全帽类型为无戴安全帽；
若否，则判定所述佩戴安全帽类型为有戴安全帽；
所述多个安全帽关键点包括第一安全帽关键点、第二安全帽关键点、第三安全帽关键点、第四安全帽关键点以及第五安全帽关键点；
所述判定所述佩戴安全帽类型为有戴安全帽，包括：
利用所述第一安全帽关键点和所述第三安全帽关键点建立第一直线表达式，以及利用所述第一安全帽关键点和所述第五安全帽关键点建立第二直线表达式；
将所述第二安全帽关键点的横坐标输入所述第一直线表达式，获取第一纵坐标，以及将所述第四安全帽关键点的横坐标输入所述第二直线表达式，获取第二纵坐标；
判断是否同时满足如下条件：所述第一纵坐标大于所述第二安全帽关键点的纵坐标，所述第二纵坐标大于所述第四安全帽关键点的纵坐标，第一直线的斜率以及第二直线的斜率均处于预设范围内；
若是，则判定所述佩戴安全帽类型为有戴安全帽；
若否，则判定所述佩戴安全帽类型为无戴安全帽。
2.根据权利要求1所述的佩戴安全帽检测方法，其特征在于，
所述获取所述待检测图像中的人头位置以及人头类型、人头置信度之后，包括：
利用所述检测模型检测所述待检测图像中的人手位置；
根据所述人手位置和所述人头位置的重叠区域获取人手类型；
输出所述人手位置、所述人手类型以及人手置信度。
3.根据权利要求2所述的佩戴安全帽检测方法，其特征在于，
所述利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽，包括：
当所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽，且所述人手类型为无人手时，输出有佩戴安全帽的检测结果；
当所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽，所述人手类型为有人手，且综合置信度大于等于预设阈值时，输出有佩戴安全帽的检测结果；
当所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽，所述人手类型为有人手，且所述综合置信度小于所述预设阈值时，输出无佩戴安全帽的检测结果；
当不同时满足如下条件：所述人头类型为有人头，所述安全帽类型为有安全帽，所述佩戴安全帽类型为有戴安全帽时，输出无佩戴安全帽的检测结果；
其中，所述综合置信度通过所述人头置信度、所述安全帽置信度以及所述佩戴安全帽置信度按照预设数据公式计算得到。
4.根据权利要求3所述的佩戴安全帽检测方法，其特征在于，
所述获取安全帽类型、安全帽置信度，包括：
获取所述分类模型输出的安全帽类型、安全帽置信度、安全帽颜色类型以及安全帽颜色置信度；
所述利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽，包括：
判断所述安全帽颜色类型是否为其他；
若是，直接输出无佩戴安全帽的检测结果；
若否，利用所述人头类型、所述安全帽类型以及所述佩戴安全帽类型综合判断是否佩戴所述安全帽。
5.根据权利要求1所述的佩戴安全帽检测方法，其特征在于，
所述获取所述待检测图像中的人头位置以及人头类型、人头置信度，包括：
当所述检测模型在所述待检测图像中检测到多个人头时，获取所述多个人头的局域面积；
获取所述局域面积最大的人头对应的人头位置以及人头类型、人头置信度。
6.根据权利要求1所述的佩戴安全帽检测方法，其特征在于，
所述佩戴安全帽检测方法，还包括：
截取所述待检测图像中人头位置对应的人头图像；
将所述人头图像分别输入所述分类模型和所述关键点模型。
7.一种终端设备，其特征在于，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～6中任一项所述的佩戴安全帽检测方法。
8.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～6中任一项所述的佩戴安全帽检测方法。
CN202110373959.XA 2021-04-07 2021-04-07 一种佩戴安全帽检测方法、设备以及计算机存储介质 Active CN113158851B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110373959.XA CN113158851B (zh) 2021-04-07 2021-04-07 一种佩戴安全帽检测方法、设备以及计算机存储介质
PCT/CN2021/119585 WO2022213552A1 (en) 2021-04-07 2021-09-22 Systems and methods for helmet detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110373959.XA CN113158851B (zh) 2021-04-07 2021-04-07 一种佩戴安全帽检测方法、设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113158851A CN113158851A (zh) 2021-07-23
CN113158851B true CN113158851B (zh) 2022-08-09

Family

ID=76889116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110373959.XA Active CN113158851B (zh) 2021-04-07 2021-04-07 一种佩戴安全帽检测方法、设备以及计算机存储介质

Country Status (2)

Country Link
CN (1) CN113158851B (zh)
WO (1) WO2022213552A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158851B (zh) * 2021-04-07 2022-08-09 浙江大华技术股份有限公司 一种佩戴安全帽检测方法、设备以及计算机存储介质
CN115393905A (zh) * 2022-11-01 2022-11-25 合肥中科类脑智能技术有限公司 一种基于姿态校正的安全帽佩戴检测方法
CN116645782B (zh) * 2023-07-19 2023-10-13 中国建筑第五工程局有限公司 一种基于图像识别的安全帽帽带检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504369A (zh) * 2014-12-12 2015-04-08 无锡北邮感知技术产业研究院有限公司 一种安全帽佩戴情况检测方法
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN108319934A (zh) * 2018-03-20 2018-07-24 武汉倍特威视系统有限公司 基于视频流数据的安全帽佩戴情况检测方法
CN111046928A (zh) * 2019-11-27 2020-04-21 上海交通大学 定位精准的单阶段实时通用目标检测器及方法
CN111881730A (zh) * 2020-06-16 2020-11-03 北京华电天仁电力控制技术有限公司 一种火电厂现场安全帽佩戴检测方法
CN112488057A (zh) * 2020-12-17 2021-03-12 北京航空航天大学 一种利用人头点定位和关节点信息的单相机多目标跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889376A (zh) * 2019-11-28 2020-03-17 创新奇智(南京)科技有限公司 一种基于深度学习的安全帽佩戴检测系统及方法
CN111191705A (zh) * 2019-12-24 2020-05-22 上海眼控科技股份有限公司 检测人体的安全装备的方法、设备和计算机可读存储介质
CN112598055B (zh) * 2020-12-21 2022-06-17 电子科技大学 头盔佩戴检测方法、计算机可读存储介质和电子设备
CN112560741A (zh) * 2020-12-23 2021-03-26 中国石油大学(华东) 一种基于人体关键点的安全穿戴检测方法
CN113158851B (zh) * 2021-04-07 2022-08-09 浙江大华技术股份有限公司 一种佩戴安全帽检测方法、设备以及计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504369A (zh) * 2014-12-12 2015-04-08 无锡北邮感知技术产业研究院有限公司 一种安全帽佩戴情况检测方法
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN108319934A (zh) * 2018-03-20 2018-07-24 武汉倍特威视系统有限公司 基于视频流数据的安全帽佩戴情况检测方法
CN111046928A (zh) * 2019-11-27 2020-04-21 上海交通大学 定位精准的单阶段实时通用目标检测器及方法
CN111881730A (zh) * 2020-06-16 2020-11-03 北京华电天仁电力控制技术有限公司 一种火电厂现场安全帽佩戴检测方法
CN112488057A (zh) * 2020-12-17 2021-03-12 北京航空航天大学 一种利用人头点定位和关节点信息的单相机多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采油井站安全帽佩戴视频识别技术;唐玮;《江汉石油职工大学学报》;20200915;第33卷(第5期);第1~3页 *

Also Published As

Publication number Publication date
CN113158851A (zh) 2021-07-23
WO2022213552A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
CN113158851B (zh) 一种佩戴安全帽检测方法、设备以及计算机存储介质
CN110188724B (zh) 基于深度学习的安全帽定位与颜色识别的方法及系统
CN109670441B (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN108319934A (zh) 基于视频流数据的安全帽佩戴情况检测方法
CN112216049A (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN108694399B (zh) 车牌识别方法、装置及系统
CN110569722A (zh) 基于视觉分析的施工人员着装规范检测方法及装置
CN110796049A (zh) 基于图像处理的生产作业人员安全帽佩戴检测方法及系统
CN101390128A (zh) 脸部器官的位置的检测方法及检测系统
CN112115803B (zh) 口罩状态提醒方法、装置及移动终端
CN113989858B (zh) 一种工作服识别方法及系统
CN113223046A (zh) 一种监狱人员行为识别的方法和系统
CN113553938A (zh) 安全带检测方法、装置、计算机设备和存储介质
CN112464850A (zh) 图像处理方法、装置、计算机设备及介质
CN113505770B (zh) 快递行业衣着发饰异常检测方法及系统、电子设备
Sakthimohan et al. An automated face mask detection using machine learning techniques
CN116310943A (zh) 一种感知工人安全状况的方法
CN108108696B (zh) 一种安全防护方法、装置及系统
CN116229570B (zh) 一种基于机器视觉的高空作业人员行为态势识别方法
CN116682034A (zh) 一种复杂生产作业场景下危险行为检测方法
CN112825120A (zh) 人脸光照评价方法、装置、计算机可读存储介质及设备
CN106407886A (zh) 一种建立人脸模型的装置
Lausser et al. Detecting zebra crossings utilizing AdaBoost.
Marciniak et al. Face recognition from low resolution images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant