CN116310943B - 一种感知工人安全状况的方法 - Google Patents

一种感知工人安全状况的方法 Download PDF

Info

Publication number
CN116310943B
CN116310943B CN202310007925.8A CN202310007925A CN116310943B CN 116310943 B CN116310943 B CN 116310943B CN 202310007925 A CN202310007925 A CN 202310007925A CN 116310943 B CN116310943 B CN 116310943B
Authority
CN
China
Prior art keywords
wearing
building site
dangerous
mmy
worker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310007925.8A
Other languages
English (en)
Other versions
CN116310943A (zh
Inventor
余雅滢
陈昌浩
邱生顺
陈庆锋
王建东
张晨
陈云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Three Gorges High Technology Information Technology Co ltd
Original Assignee
Three Gorges High Technology Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Three Gorges High Technology Information Technology Co ltd filed Critical Three Gorges High Technology Information Technology Co ltd
Priority to CN202310007925.8A priority Critical patent/CN116310943B/zh
Publication of CN116310943A publication Critical patent/CN116310943A/zh
Application granted granted Critical
Publication of CN116310943B publication Critical patent/CN116310943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种感知工人安全状况的方法，包括S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集；S2：基于工人安全状况数据集，对待训练任务神经网络MMY进行训练获得最终多任务神经网络MMY；S3：根据最终多任务神经网络MMY对当前实时建筑工地视频进行检测，获得输出结果，基于输出结果，进行多任务推理，获得各个子任务的推理结果。本发明提出的多任务神经网络MMY通过共享表示信息，同时学习多个相关任务，使这些任务的检测效果均优于仅训练单一任务的情况，可以在一定程度上缓解模型的过拟合，提高模型的泛化能力。其次，并行的安全状况检测优于串行的安全状况检测，可以在一定程度上提升算法推理效率。

Description

一种感知工人安全状况的方法
技术领域
本发明涉及工人安全状况识别技术领域，特别涉及一种感知工人安全状况的方法。
背景技术
目前，现有的深度神经网络对工人安全状况的检测维度较为单一，其通常只专注于单一任务目标，而忽略了其它安全状况信息的检测，而这些被忽略的安全状况信息可能会促使取得更优的安全状况检测效果。
其次，现有技术处理多维度的建筑工地人员安全状况检测时，多采取多步骤检测的方式，而不是通过多任务神经网络并行检测，这导致了检测过程繁琐、复杂、推理效率低。
发明内容
本发明提供一种感知工人安全状况的方法，提出了一种有效且高效的感知工人安全状况的多任务神经网络MMY，可同时执行工人个人防护用品穿戴检测、工地危险区域检测以及工人危险动作识别任务。首先，采集实时建筑工地视频并辅助结合现有开源动作识别数据集，制作相应的防护用品类别、危险区域和动作类别的标签，从而构建工人安全状况数据集；其次，构建基于图像和视频分类以及目标检测的统一架构MViTv2和单阶段目标检测算法YOLOv7的感知工人安全状况的多任务神经网络MMY，通过MMY同时学习个人防护用品特征、工地危险区域特征以及工人危险动作特征三类相关任务，以实现工人的防护用品穿戴检测、危险区域检测以及危险动作检测；最后，结合多维度的安全状况检测信息，进行推理决策，判断是否需要对特定的建筑工地工人进行安全预警，以及时发现险情。
本发明提供一种感知工人安全状况的方法，包括：
S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集；
S2：基于工人安全状况数据集，对待训练任务神经网络MMY进行训练获得最终多任务神经网络MMY；
S3：根据最终多任务神经网络MMY对当前实时建筑工地视频进行检测，获得输出结果，基于输出结果，进行多任务推理，获得各个子任务的推理结果。
优选的，S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集，包括：
获取多个历史实时建筑工地视频，基于预设时间周期在历史实时建筑工地视频截取视频片段，建立视频数据集；
根据开源动作识别数据集，识别工人动作，确定视频数据集中各个视频片段对应的工人的安全状况；
基于所述安全状况，确定对应历史实时建筑工地视频对应的安全状态标签，构建工人安全状况数据集；
其中，安全状态标签包括防护用品类别、危险区域和动作类别多种标签。
优选的，S2：基于工人安全状况数据集，对待训练任务神经网络MMY进行训练获得最终多任务神经网络MMY，包括：
获取工人安全状况数据集中的历史实时建筑工地视频，对待训练多任务神经网络MMY进行训练，初级多任务神经网络MMY；
基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果；
当检测结果与历史实时建筑工地视频携带的安全状态标签一致时，判定初级多任务神经网络MMY为最终多任务神经网络MMY。
优选的，一种感知工人安全状况的方法，包括：
待训练多任务神经网络MMY的骨干网络为MViTv2；
MViTv2包括空间流分支和时间流分支两个主要分支，同时，实时空间流分支上还包含以单阶段目标检测算法YOLOv7为基础的Neck分支；
其中，空间流分支，用于提取历史实时建筑工地视频中每个单帧对应的红绿蓝三通道RGB的空间特征；
时间流分支，用于基于通过历史实时建筑工地视频产生的多帧密集光流Opticalflow提取时间特征，捕获工人动作变化信息；
Neck分支，用于采集历史实时建筑工地视频各个阶段的空间特征图的网络层，并基于所述网络层对多阶段输出的多尺度特征图的进行融合。
优选的，基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果，包括：
基于所述初级多任务神经网络MMY，获取所述历史实时建筑工地视频的空间特征以及时间特征进行特征融合，输出工人的危险动作检测信息；
同时，基于Neck分支的多阶段输出的多尺度特征图的融合结果，输出防护用品、危险区域检测信息；
将危险动作检测信息、防护用品、危险区域检测信息进行融合输出防护用品穿戴、危险区域和危险动作的检测结果。
优选的，获取所述历史实时建筑工地视频的空间特征以及时间特征进行特征融合，输出工人的危险动作检测信息，包括：
基于历史实时建筑工地视频的空间特征，确定目标视频帧中的全部目标工人，并对全部目标工人进行标定；
基于基于历史实时建筑工地视频的时间特征，获取被标定目标工人的动作变化信息；
基于动作变化信息，判定目标工人是否做出危险动作，生成并输出工人的危险动作检测信息。
优选的，S3：基于输出结果，进行多任务推理，获得各个子任务的推理结果，包括：
获取防护用品穿戴输出结果以及防护用品穿戴报警设置信息，确定当前实时建筑工地视频的被标定目标的定位图像，计算定位图像的图像质量，并获取预警推理对应的图像置信区间；
基于图形置信区间对被标定目标进行过滤，过滤低置信度目标，获得最终检测目标，并确定最终检测目标的中心定位；
基于中心定位，将最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息进行对比，判定最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息是否匹配；
同时，获取标定危险区域的位置区间以及全部被标定目标对应的第二中心定位坐标，分别判断第二中心定位坐标是否在位置区间内；
获取全部被标定目标的危险动作输出结果，并计算预设时间区间内连续视频帧对应的危险动作占比，并判断危险动作占比是否大于危险报警阈值。
优选的，在获得推理结果后，基于所述推理结果确定各个子任务的处理结果，包括：
当最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警阈值匹配时，判定当前实时建筑工地视频存在防护用品穿戴不正确问题，安全模块发出第一报警；
当第二中心定位坐标在位置区间内时，判定当前实时建筑工地视频中有工人在危险区域内，安全模块发出第二报警；
当危险动作占比大于危险报警阈值时，判定当前实时建筑工地视频中的工人存在危险动作行为，安全模块发出第三报警；
其中，安全报警模块在发出第一报警、第二报警或者第三报警时，对存在安全问题的工人进行同步标记显示，并将标记结果发送安全监测端。
优选的，防护用品穿戴报警设置信息的确定，包括：
获取不同工种之间的防护用品差异，确定不同工种的穿戴特征，同时获取对应工种的多角度的防护用品的标准穿戴图像，基于穿戴特征以及标准穿戴图像，确定各个工种的防护用品种类，生成防护用品清单；
基于防护用品清单包含的工种，分别获取大量的工人防护用品穿戴图像，其中，所述穿戴图像携带有穿戴认证标签，穿戴认证标签包括合格穿戴和不合格穿戴两种；
基于穿戴认证标签将穿戴图像进行分类，获得合格集合和不合格集合；
根据合格集合和不合格集合，生成最终设置信息。
优选的，根据合格集合和不合格集合，生成最终设置信息，包括：
将合格集合中的合格穿戴图像与其对应的标准穿戴图像进行对比，获取个体穿戴差异特征；
基于不合格集合，提取对应工种的不合格穿戴特征，确定第一防护用品穿戴报警设置信息，并根据不合格穿戴图像上标注的不合格位置以及各个不合格位置在不合格集合中的出现频率，确定对应工种的穿戴推理序列；
根据个体穿戴差异特征对第一防护用品穿戴报警设置信息进行修正，获得第二防护用品穿戴报警设置信息作为最终设置信息。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种感知工人安全状况的方法的流程图；
图2为本发明实施例中一种感知工人安全状况的方法S1的流程图；
图3为本发明实施例中一种感知工人安全状况的方法S2的流程图；
图4为本发明多任务神经网络MMY工作流程图；
图5为本发明防护用品穿戴推理任务、危险区域推理任务以及危险动作推理任务执行过程。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本发明提供一种感知工人安全状况的方法，如图1所示，包括：
S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集；
S2：基于工人安全状况数据集，对待训练任务神经网络MMY进行训练获得最终多任务神经网络MMY；
S3：根据最终多任务神经网络MMY对当前实时建筑工地视频进行检测，获得输出结果，基于输出结果，进行多任务推理，获得各个子任务的推理结果。
本实施例中，安全状况主要涵盖防护用品是否正确穿戴、工人是否驻留于危险区域、工人是否进行危险动作。其中防护用品类别包括但不限于安全帽、反光衣、安全绳等，危险区域包括但不限于高边坡、基坑、脚手架等，动作类别包括但不限于交谈、吸烟、爬、跳、落在地板上、拉、推、跑、打东西、倒、推东西、扔、踢某人、拳打等动作。
本实施例中，历史实时建筑工地视频是指工地监控系统中的历史视频。
本实施例中，当前实时建筑工地视频是指工地监控系统中等待检测的实时视频。
本实施例中，输出结果是指多任务神经网络MMY输出的防护用品穿戴、危险区域和危险动作检测信息。
本实施例中，推理结果是指基于数据结果确定的当前实时建筑工地视频是否存在防护用品不正确穿戴、工人驻留于危险区域、工人做出危险动作的情况。
上述技术方案的有益效果：本发明提供一种感知工人安全状况的方法，提出了一种有效且高效的感知工人安全状况的多任务神经网络MMY，可同时执行工人个人防护用品穿戴检测、工地危险区域检测以及工人危险动作识别任务。首先，采集实时建筑工地视频并辅助结合现有开源动作识别数据集，制作相应的防护用品类别、危险区域和动作类别的标签，从而构建工人安全状况数据集；其次，构建基于图像和视频分类以及目标检测的统一架构MViTv2和单阶段目标检测算法YOLOv7的感知工人安全状况的多任务神经网络MMY，通过MMY同时学习个人防护用品特征、工地危险区域特征以及工人危险动作特征三类相关任务，以实现工人的防护用品穿戴检测、危险区域检测以及危险动作检测；最后，结合多维度的安全状况检测信息，进行推理决策，判断是否需要对特定的建筑工地工人进行安全预警，以及时发现险情。
同时，本发明提出的多任务神经网络MMY可通过共享表示信息，同时学习多个相关任务，使这些任务的检测效果均优于仅训练单一任务的情况，可以在一定程度上缓解模型的过拟合，提高模型的泛化能力。其次，并行的安全状况检测优于串行的安全状况检测，可以在一定程度上提升算法推理效率。
实施例2：
在实施例1的基础上，S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集，如图2所示，包括：
S11：获取多个历史实时建筑工地视频，基于预设时间周期在历史实时建筑工地视频截取视频片段，建立视频数据集；
S12：根据开源动作识别数据集，识别工人动作，确定视频数据集中各个视频片段对应的工人的安全状况；
S13：基于所述安全状况，确定对应历史实时建筑工地视频对应的安全状态标签，构建工人安全状况数据集；
其中，安全状态标签包括防护用品类别、危险区域和动作类别多种标签。
本实施例中，视频数据集是指分别在多个历史实时建筑工地视频上每隔预设时长(预设时间周期)捕获一个视频片段(每个视频片段在二十五帧左右)，这些视频片段构建生成一个数据集。
上述实施例的有益效果：本发明从多个历史实时建筑工地视频中捕获大量的视频帧片段，并根据开源动作识别数据集，识别工人动作，确定视频数据集中各个视频帧对应的工人的安全状况，基于所述安全状况，确定对应历史实时建筑工地视频对应的安全状态标签，构建工人安全状况数据集，为待训练任务神经网络MMY的训练提供了大量数据，保证训练得到的最终多任务神经网络MMY可以用于多种施工场景，拓宽模型的使用范围。
实施例3：
在实施例1的基础上，S2：基于工人安全状况数据集，对待训练任务神经网络MMY进行训练获得最终多任务神经网络MMY，如图3所示，包括：
S21：获取工人安全状况数据集中的历史实时建筑工地视频，对待训练多任务神经网络MMY进行训练，初级多任务神经网络MMY；
S22：基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果；
S23：当检测结果与历史实时建筑工地视频携带的安全状态标签一致时，判定初级多任务神经网络MMY为最终多任务神经网络MMY。
本实施例中，初级多任务神经网络MMY是指经过训练的但未进行结果验证的多任务神经网络MMY。
本实施例中，最终多任务神经网络MMY是指经过训练且模型数据结果与预期结果一样(检测结果与历史实时建筑工地视频携带的安全状态标签一致)的多任务神经网络MMY。
本实施例中，检测结果是指基于初级多任务神经网络MMY对工人安全状况数据集中的数据进行检测获得的结果。
上述实施例的有益效果：本发明通过工人安全状况数据集提供共享表示信息，同时学习多个任务，使子任务(包含防护用品穿戴、危险区域和危险动作的检测)的检测效果均优于仅训练单一任务的情况，可以在一定程度上缓解模型的过拟合，提高模型的泛化能力。
实施例4：
在实施例3的基础上，一种感知工人安全状况的方法，包括：
待训练多任务神经网络MMY的骨干网络为MViTv2；
MViTv2包括空间流分支和时间流分支两个主要分支，同时，实时空间流分支上还包含以单阶段目标检测算法YOLOv7为基础的Neck分支；
其中，空间流分支，用于提取历史实时建筑工地视频中每个单帧对应的红绿蓝三通道RGB的空间特征；
时间流分支，用于基于通过历史实时建筑工地视频产生的多帧密集光流Opticalflow提取时间特征，捕获工人动作变化信息；
Neck分支，用于采集历史实时建筑工地视频各个阶段的空间特征图的网络层，并基于所述网络层对多阶段输出的多尺度特征图的进行融合。
本实施例中，MMY表示多任务神经网络；Optical flow表示多帧密集光流；YOLOv7表示阶段目标检测算法；MViTv2表示一种多尺度视觉transformer模型。
上述实施例的有益效果：本发明的多任务神经网络MMY通过共享统一结构的骨干网络MViTv2，互相分享、补充学习工地视频流中的多个特征，提升了多任务神经网络的泛化能力。
实施例5：
在实施例3的基础上，基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果，如图4所示，包括：
基于所述初级多任务神经网络MMY，获取所述历史实时建筑工地视频的空间特征以及时间特征进行特征融合，输出工人的危险动作检测信息；
同时，基于Neck分支的多阶段输出的多尺度特征图的融合结果，输出防护用品、危险区域检测信息；
将危险动作检测信息、防护用品、危险区域检测信息进行融合输出防护用品穿戴、危险区域和危险动作的检测结果。
本实施例中，危险动作检测信息是指经过多任务神经网络MMY检测，历史实时建筑工地视频中每个工人是否存在危险动作的检测结果。
本实施例中，防护用品、危险区域检测信息是指经过多任务神经网络MMY检测，历史实时建筑工地视频中每个工人的防护用具穿戴以及工人所处位置定位信息。
上述实施例的有益效果：本发明基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果，对训练得到的初级多任务神经网络MMY进行检测，确保安全检测的准确性，且本发明所述的多任务神经网络MMY同时进行多个安全检测任务，减少检测等待时间，提高了检测效率。
实施例6：
在实施例5的基础上，获取所述历史实时建筑工地视频的空间特征以及时间特征进行特征融合，输出工人的危险动作检测信息，包括：
基于历史实时建筑工地视频的空间特征，确定目标视频帧中的全部目标工人，并对全部目标工人进行标定；
基于基于历史实时建筑工地视频的时间特征，获取被标定目标工人的动作变化信息；
基于动作变化信息，判定目标工人是否做出危险动作，生成并输出工人的危险动作检测信息。
上述实施例的有益效果：本发明基于历史实时建筑工地视频的空间特征，确定目标视频帧中的全部目标工人，并对全部目标工人进行标定；基于历史实时建筑工地视频的时间特征，获取被标定目标工人的动作变化信息；基于动作变化信息，判定目标工人是否做出危险动作，生成并输出工人的危险动作检测信息，确保在实时建筑工地视频中同时出现多个工人时，对每个工人进行标定后，在对动作进行针对性精准识别，避免出现漏检、误检现象。
实施例7：
在实施例1的基础上，S3：基于输出结果，进行多任务推理，获得各个子任务的推理结果，如图5所示，包括：
获取防护用品穿戴输出结果以及防护用品穿戴报警设置信息，确定当前实时建筑工地视频的被标定目标的定位图像，计算定位图像的图像质量，并获取预警推理对应的图像置信区间；
基于图形置信区间对被标定目标进行过滤，过滤低置信度目标，获得最终检测目标，并确定最终检测目标的中心定位；
基于中心定位，将最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息进行对比，判定最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息是否匹配；
同时，获取标定危险区域的位置区间以及全部被标定目标对应的第二中心定位坐标，分别判断第二中心定位坐标是否在位置区间内；
获取全部被标定目标的危险动作输出结果，并计算预设时间区间内连续视频帧对应的危险动作占比，并判断危险动作占比是否大于危险报警阈值。
本实施例中，防护用品穿戴报警设置信息是指预先设定的认为防护用品穿戴不准确的界定标准，例如，反光衣的扣子没有扣上，安全帽的下颚带没有扣等。
本实施例中，被标定目标是指当前实时建筑工地视频当前被检测帧画面中全部工人，每个工人都被单独的矩形框标定。
本实施例中，定位图像的图像质量，具体计算如下：
假设当前实时建筑工地视频当前被检测帧画面的图像大小为M×N，其中包含Q个被标定目标，第i个被标定目标对应定位图像面积为Si×Ti，根据下列公式计算，第i个被标定目标对应定位图像的图像质量：
其中，γi表示第i个被标定目标对应定位图像的图像质量；Si表示第i个被标定目标对应定位图像的长度；Ti表示第i个被标定目标对应定位图像的宽度；f(xi,yi)表示第i个被标定目标对应定位图像上对应的像素点(xi,yi)的灰度值；f(xi+1,yi)表示第i个被标定目标对应定位图像上对应的像素点f(xi+1,yi)的灰度值；M表示第i个被标定目标对应定位图像所在当前被检测帧画面的图像的长度；N表示第i个被标定目标对应定位图像所在当前被检测帧画面的图像的宽度；f(m,n)表示第i个被标定目标对应定位图像所在当前被检测帧画面的图像上对应的像素点(m,n)的灰度值。
本实施例中，图像置信区间是指可以被用于检测工人防护用品穿戴的工人定位图像；定位图像是指当前实时建筑工地视频当前被检测帧画面中被标定的全部工人(被标定目标)的个人图像。
本实施例中，过滤低置信度目标是指图像质量低于图像置信区间的定位图像对应的被标记目标。
本实施例中，最终检测目标是指过滤完低置信度目标的剩余被标定目标。
本实施例中，中心定位是指最终检测目标的中心定位点，目的是为判断工人的防护用品的穿戴是否正确提供判断辅助参考，降低错检率。
本实施例中，第二中心定位坐标是指当前实时建筑工地视频当前被检测帧画面中被标定的全部工人(被标定目标)的中心点的位置坐标。
本实施例中，标定危险区域的位置区间是指被标定为危险区域的位置坐标的范围。
本实施例中，危险动作占比是指每个被标定目标在预设时间区间内连续视频帧中被判定为危险动作对应的帧数与预设时间区间内连续视频帧总帧数的比值。
上述实施例的有益效果：本发明同时对当前实时建筑工地视频中工人的防护用品的穿戴、是否在危险区域以及是否存在危险动作进行推理，实现了多个安全检测人物的并行，减少了安全检测花费的时间提供检测效率，本发明包含多个维度的安全检测，在增强工人安全状况检测的多样性的同时，提高了工人安全状况检测的可靠性。
本发明在执行防护用品穿戴推理任务的过程中对每个被标记目标对应图形区间内的图像质量进行计算，并过滤低置信度目标，避免由于图像不清晰导致的误检错检；同时还使用中点定位辅助，确保防护用品正确穿戴并进一步降低错检率。
在执行危险区域推理任务的过程中首先确定被标定为危险区域的位置区间，有利于在确定被标记目标中心定位坐标的同时快速判断是否有工人正处于危险区域内，提高危险区域推理效率。
在执行危险动作推理任务时，通过预设时间区间内连续视频帧对应的危险动作占比来判断工人是否存在危险动作，考虑了动作的偶然性以及动作行为的连续性，降低危险动作推理的错检率。
实施例8：
在实施例7的基础上，在获得推理结果后，基于所述推理结果确定各个子任务的处理结果，如图5所示，包括：
当最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警阈值匹配时，判定当前实时建筑工地视频存在防护用品穿戴不正确问题，安全模块发出第一报警；
当第二中心定位坐标在位置区间内时，判定当前实时建筑工地视频中有工人在危险区域内，安全模块发出第二报警；
当危险动作占比大于危险报警阈值时，判定当前实时建筑工地视频中的工人存在危险动作行为，安全模块发出第三报警；
其中，安全报警模块在发出第一报警、第二报警或者第三报警时，对存在安全问题的工人进行同步标记显示，并将标记结果发送安全监测端。
本实施例中，第一报警是指在当前实时建筑工地视频存在防护用品穿戴不正确问题时安全报警模块发出的报警信号。
本实施例中，第二报警是指在当前实时建筑工地视频中有工人在危险区域内时安全报警模块发出的报警信号。
本实施例中，第三报警是指在当前实时建筑工地视频中的工人存在危险动作行为时安全报警模块发出的报警信号。
本实施例中，存在安全问题是指存在防护用品穿戴不正确、处在危险区域内以及存在危险动作行为中的任意一种或者多种；
不同的安全问题用不同颜色的标记框进行标记，当某一个工人存在多种安全问题时，采用对应安全问题对应的颜色的混合颜色的标记框进行标记，当同时存在两个安全问题时，用两种颜色各占标记框的一半，同时存在三个安全问题时，用三种颜色各占标记框的三分之一。
上述实施例的有益效果：本发明根据推理结果确定每个子任务的处理结果即是否需要发出报警，并根据子任务的不同采用的不同的报警信号，实现了多个子任务的并行，提高了子任务处理效率，同时安全报警模块在发出第一报警、第二报警或者第三报警时，对存在安全问题的工人进行同步标记显示，并将标记结果发送安全监测端，可以在发生安全问题时，辅助管理人员快速确定问题目标。
实施例9：
在实施例7的基础上，防护用品穿戴报警设置信息的确定，包括：
获取不同工种之间的防护用品差异，确定不同工种的穿戴特征，同时获取对应工种的多角度的防护用品的标准穿戴图像，基于穿戴特征以及标准穿戴图像，确定各个工种的防护用品种类，生成防护用品清单；
基于防护用品清单包含的工种，分别获取大量的工人防护用品穿戴图像，其中，所述穿戴图像携带有穿戴认证标签，穿戴认证标签包括合格穿戴和不合格穿戴两种；
基于穿戴认证标签将穿戴图像进行分类，获得合格集合和不合格集合；
根据合格集合和不合格集合，生成最终设置信息。
本实施例中，穿戴特征是指不同工种之间特有的穿戴，例如，安全帽的颜色不同。
本实施例中，标准穿戴图像是指各个工种需要穿戴的全部防护用品的正确穿戴图像。
本实施例中，防护用品清单包含了多个工种及其对应的需要穿戴的全部防护用品。
本实施例中，合格集合是指用于存放某一工种带有合格穿戴认证标签的穿戴图像的数据集合；不合格集合是指用于存放某一工种带有不合格穿戴认证标签的穿戴图像的数据集合。
本实施例中，最终设置信息是指防护用品穿戴报警设置信息的最终结果。
上述实施例的有益效果：本发明通过获取不同工种之间的防护用品差异，确定不同工种的穿戴特征，同时获取对应工种的多角度的防护用品的标准穿戴图像，基于穿戴特征以及标准穿戴图像，确定各个工种的防护用品种类，生成防护用品清单，考虑建筑工地上多个工种之间的防护用品的差异，同时，基于防护用品清单包含的工种，分别获取大量的工人防护用品穿戴图像，基于穿戴认证标签将穿戴图像进行分类，获得合格集合和不合格集合；根据合格集合和不合格集合，生成最终设置信息，考虑同工种之间由于人体差异导致的防护用品穿戴差异，使得最终设置信息的设定更加贴合工人的时间穿戴，可以有效的提高防护用品穿戴推理的准确度。
实施例10：
在实施例9的基础上，根据合格集合和不合格集合，生成最终设置信息，包括：
将合格集合中的合格穿戴图像与其对应的标准穿戴图像进行对比，获取个体穿戴差异特征；
基于不合格集合，提取对应工种的不合格穿戴特征，确定第一防护用品穿戴报警设置信息，并根据不合格穿戴图像上标注的不合格位置以及各个不合格位置在不合格集合中的出现频率，确定对应工种的穿戴推理序列；
根据个体穿戴差异特征对第一防护用品穿戴报警设置信息进行修正，获得第二防护用品穿戴报警设置信息作为最终设置信息。
本实施例中，个体穿戴差异特征是指由于高矮、胖瘦等原因导致的同一工种不同工人防护用品穿戴的不同。
本实施例中，不合格穿戴特征是指穿戴不合格图像中工人防护用品穿戴不合格的部分的特点，例如反光衣不系扣、不佩戴安全绳、安全帽不扣下颚带、安全绳佩戴位置不正确等。
本实施例中，第一防护用品穿戴报警设置信息是指根据常规穿戴信息确定的防护用品穿戴不正确(不合格)的判断标准。
本实施例中，第二防护用品穿戴报警设置信息是指考虑个体差异的第一防护用品穿戴报警设置信息，例如由于身高问题从视觉上观察同一长度的安全绳佩戴与不同的工人身上其视觉长度不同，不同尺寸反光衣由于两个工人的胖瘦差异导致反光衣的穿着效果不同。
上述实施例的有益效果：本发明将合格集合中的合格穿戴图像与其对应的标准穿戴图像进行对比，获取个体穿戴差异特征；同时根据不合格集合中的不合格穿戴确定常规的不合格穿戴标准(第一防护用品穿戴报警设置信息)，基于个体穿戴差异特征对常规的不合格穿戴标准进行修正，获得更加符合实际穿戴情况的最终设置信息，可以有效的提高防护用品穿戴推理的准确度，从而提高整个工人安全状况感知系统的准确性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种感知工人安全状况的方法，其特征在于，包括：
S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集；
S2：基于工人安全状况数据集，对待训练多任务神经网络MMY进行训练获得最终多任务神经网络MMY；
S3：根据最终多任务神经网络MMY对当前实时建筑工地视频进行检测，获得输出结果，基于输出结果，进行多任务推理，获得各个子任务的推理结果；
其中所述S3：基于输出结果，进行多任务推理，获得各个子任务的推理结果，包括：
获取防护用品穿戴输出结果以及防护用品穿戴报警设置信息，确定当前实时建筑工地视频的被标定目标的定位图像，计算定位图像的图像质量，并获取预警推理对应的图像置信区间；
基于图像置信区间对被标定目标进行过滤，过滤低置信度目标，获得最终检测目标，并确定最终检测目标的中心定位；
基于中心定位，将最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息进行对比，判定最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息是否匹配；
同时，获取标定危险区域的位置区间以及全部被标定目标对应的第二中心定位坐标，分别判断第二中心定位坐标是否在位置区间内；
获取全部被标定目标的危险动作输出结果，并计算预设时间区间内连续视频帧对应的危险动作占比，并判断危险动作占比是否大于危险报警阈值。
2.根据权利要求1所述的一种感知工人安全状况的方法，其特征在于，S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集，包括：
获取多个历史实时建筑工地视频，基于预设时间周期在历史实时建筑工地视频截取视频片段，建立视频数据集；
根据开源动作识别数据集，识别工人动作，确定视频数据集中各个视频片段对应的工人的安全状况；
基于所述安全状况，确定对应历史实时建筑工地视频对应的安全状态标签，构建工人安全状况数据集；
其中，安全状态标签包括防护用品类别、危险区域和动作类别多种标签。
3.根据权利要求1所述的一种感知工人安全状况的方法，其特征在于，S2：基于工人安全状况数据集，对待训练多任务神经网络MMY进行训练获得最终多任务神经网络MMY，包括：
获取工人安全状况数据集中的历史实时建筑工地视频，对待训练多任务神经网络MMY进行训练，初级多任务神经网络MMY；
基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果；
当检测结果与历史实时建筑工地视频携带的安全状态标签一致时，判定初级多任务神经网络MMY为最终多任务神经网络MMY。
4.根据权利要求3所述的一种感知工人安全状况的方法，其特征在于，包括：
待训练多任务神经网络MMY的骨干网络为MViTv2；
MViTv2包括空间流分支和时间流分支两个主要分支，同时，实时空间流分支上还包含以单阶段目标检测算法YOLOv7为基础的Neck分支；
其中，空间流分支，用于提取历史实时建筑工地视频中每个单帧对应的红绿蓝三通道RGB的空间特征；
时间流分支，用于基于通过历史实时建筑工地视频产生的多帧密集光流Optical flow提取时间特征，捕获工人动作变化信息；
Neck分支，用于采集历史实时建筑工地视频各个阶段的空间特征图的网络层，并基于所述网络层对多阶段输出的多尺度特征图的进行融合。
5.根据权利要求4所述的一种感知工人安全状况的方法，其特征在于，基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果，包括：
基于所述初级多任务神经网络MMY，获取所述历史实时建筑工地视频的空间特征以及时间特征进行特征融合，输出工人的危险动作检测信息；
同时，基于Neck分支的多阶段输出的多尺度特征图的融合结果，输出防护用品、危险区域检测信息；
将危险动作检测信息、防护用品、危险区域检测信息进行融合输出防护用品穿戴、危险区域和危险动作的检测结果。
6.根据权利要求5所述的一种感知工人安全状况的方法，其特征在于，获取所述历史实时建筑工地视频的空间特征以及时间特征进行特征融合，输出工人的危险动作检测信息，包括：
基于历史实时建筑工地视频的空间特征，确定目标视频帧中的全部目标工人，并对全部目标工人进行标定；
基于历史实时建筑工地视频的时间特征，获取被标定目标工人的动作变化信息；
基于动作变化信息，判定目标工人是否做出危险动作，生成并输出工人的危险动作检测信息。
7.根据权利要求1所述的一种感知工人安全状况的方法，其特征在于，在获得推理结果后，基于所述推理结果确定各个子任务的处理结果，包括：
当最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警阈值匹配时，判定当前实时建筑工地视频存在防护用品穿戴不正确问题，安全模块发出第一报警；
当第二中心定位坐标在位置区间内时，判定当前实时建筑工地视频中有工人在危险区域内，安全模块发出第二报警；
当危险动作占比大于危险报警阈值时，判定当前实时建筑工地视频中的工人存在危险动作行为，安全模块发出第三报警；
其中，安全报警模块在发出第一报警、第二报警或者第三报警时，对存在安全问题的工人进行同步标记显示，并将标记结果发送安全监测端。
8.根据权利要求1所述的一种感知工人安全状况的方法，其特征在于，对防护用品穿戴报警设置信息的确定，包括：
获取不同工种之间的防护用品差异，确定不同工种的穿戴特征，同时获取对应工种的多角度的防护用品的标准穿戴图像，基于穿戴特征以及标准穿戴图像，确定各个工种的防护用品种类，生成防护用品清单；
基于防护用品清单包含的工种，分别获取大量的工人防护用品穿戴图像，其中，所述穿戴图像携带有穿戴认证标签，穿戴认证标签包括合格穿戴和不合格穿戴两种；
基于穿戴认证标签将穿戴图像进行分类，获得合格集合和不合格集合；
根据合格集合和不合格集合，生成最终设置信息。
9.根据权利要求8所述的一种感知工人安全状况的方法，其特征在于，根据合格集合和不合格集合，生成最终设置信息，包括：
将合格集合中的合格穿戴图像与其对应的标准穿戴图像进行对比，获取个体穿戴差异特征；
基于不合格集合，提取对应工种的不合格穿戴特征，确定第一防护用品穿戴报警设置信息，并根据不合格穿戴图像上标注的不合格位置以及各个不合格位置在不合格集合中的出现频率，确定对应工种的穿戴推理序列；
根据个体穿戴差异特征对第一防护用品穿戴报警设置信息进行修正，获得第二防护用品穿戴报警设置信息作为最终设置信息。
CN202310007925.8A 2023-01-04 2023-01-04 一种感知工人安全状况的方法 Active CN116310943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310007925.8A CN116310943B (zh) 2023-01-04 2023-01-04 一种感知工人安全状况的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310007925.8A CN116310943B (zh) 2023-01-04 2023-01-04 一种感知工人安全状况的方法

Publications (2)

Publication Number Publication Date
CN116310943A CN116310943A (zh) 2023-06-23
CN116310943B true CN116310943B (zh) 2023-09-19

Family

ID=86780433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310007925.8A Active CN116310943B (zh) 2023-01-04 2023-01-04 一种感知工人安全状况的方法

Country Status (1)

Country Link
CN (1) CN116310943B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116634367B (zh) * 2023-07-21 2023-10-03 三峡高科信息技术有限责任公司 一种基于物联网的智能施工监控管理系统
CN117575170B (zh) * 2024-01-03 2024-06-18 广东汇通信息科技股份有限公司 一种智能管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008978A (zh) * 2017-12-07 2019-07-12 亿目朗欧洲股份有限公司 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统
CN113627406A (zh) * 2021-10-12 2021-11-09 南方电网数字电网研究院有限公司 异常行为检测方法、装置、计算机设备和存储介质
CN113807200A (zh) * 2021-08-26 2021-12-17 青岛文达通科技股份有限公司 基于动态拟合多任务推理网络的多行人识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650045B2 (en) * 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008978A (zh) * 2017-12-07 2019-07-12 亿目朗欧洲股份有限公司 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统
CN113807200A (zh) * 2021-08-26 2021-12-17 青岛文达通科技股份有限公司 基于动态拟合多任务推理网络的多行人识别方法及系统
CN113627406A (zh) * 2021-10-12 2021-11-09 南方电网数字电网研究院有限公司 异常行为检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的安全帽检测方法研究;郝存明 等;河北省科学院学报(第03期);第11-15页 *

Also Published As

Publication number Publication date
CN116310943A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116310943B (zh) 一种感知工人安全状况的方法
CN110348312A (zh) 一种区域视频人体动作行为实时识别方法
CN111144263A (zh) 一种建筑工人高坠事故预警方法及装置
CN110569772A (zh) 一种泳池内人员状态检测方法
CN101577812B (zh) 一种岗位监测的方法和系统
CN112084963B (zh) 一种监控预警方法、系统及存储介质
CN110044486A (zh) 用于人体检验检疫系统避免重复报警的方法、装置、设备
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN103942850A (zh) 基于视频分析和rfid技术的医护人员在岗监测方法
CN112216049A (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN109886205B (zh) 安全带实时监测方法和系统
CN209543514U (zh) 基于人脸识别的监控与报警系统
CN112396658A (zh) 一种基于视频的室内人员定位方法及定位系统
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN113158851B (zh) 一种佩戴安全帽检测方法、设备以及计算机存储介质
CN110458198A (zh) 多分辨率目标识别方法及装置
CN113223046A (zh) 一种监狱人员行为识别的方法和系统
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法
CN115457446A (zh) 一种基于视频分析的异常行为监管系统
CN106372566A (zh) 一种基于数字标牌紧急疏散系统及方法
Gasserm et al. Human activities monitoring at bus stops
CN114155470A (zh) 一种河道区域入侵检测方法、系统及存储介质
CN112633157A (zh) 一种agv工作区域安全性的实时检测方法及系统
CN116886874A (zh) 一种生态园安防监控预警数据的采集方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant