CN112149514A - 一种施工作业人员的安全着装检测方法及系统 - Google Patents

一种施工作业人员的安全着装检测方法及系统 Download PDF

Info

Publication number
CN112149514A
CN112149514A CN202010888146.XA CN202010888146A CN112149514A CN 112149514 A CN112149514 A CN 112149514A CN 202010888146 A CN202010888146 A CN 202010888146A CN 112149514 A CN112149514 A CN 112149514A
Authority
CN
China
Prior art keywords
image data
dressing
image
operator
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010888146.XA
Other languages
English (en)
Other versions
CN112149514B (zh
Inventor
何华刚
陈再励
胡东涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202010888146.XA priority Critical patent/CN112149514B/zh
Publication of CN112149514A publication Critical patent/CN112149514A/zh
Application granted granted Critical
Publication of CN112149514B publication Critical patent/CN112149514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种施工作业人员的安全着装检测方法及系统，所述检测方法包括：通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；对卷积神经网络的初始损失函数进行指标更新，获取改进损失函数；基于更新初始损失函数后的卷积神经网络对预处理后的图像数据进行多区域特征提取，以获取所述作业人员的各个区域定位信息；建立标准安全着装的识别分类系统，根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断。本发明实施例主要针对复杂施工环境下作业人员的安全着装管理，通过引入深度学习技术来实现自动化、智能化的检测及预警功能，大幅度地提高检测效率与检测精度。

Description

一种施工作业人员的安全着装检测方法及系统
技术领域
本发明涉及施工安全领域，具体而言，涉及一种施工作业人员的安全着装检测方法及系统。
背景技术
当前施工安全是施工管理中的关键环节，其中对于施工人员的着装安全管理对于施工作业的安全风险尤为重要，包括是否佩戴安全帽、是否穿戴反光背心。目前在着装安全管理上更多是依赖于对现场作业人员的安全作业培训，以及在部分施工场景引入视频监控系统后，由安全员在监控室进行检查或者现场巡检，但是采用这两种依赖于人工的检测方法存在效率较低的缺点。直至后来提出了一种采用视觉算法来实现自动识别检测的方法，在面对如地下工程、隧道工程等这些复杂施工现场时，如何克服光照不均、目标重叠、视角变化、部分遮挡等实际情况，是技术人员需要不断克服改进的地方。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种施工作业人员的安全着装检测方法及系统，主要针对复杂施工环境下作业人员的安全着装管理，通过引入深度学习技术来实现自动化的检测及预警功能，大幅度地提高检测效率与检测精度。
为了解决上述技术问题，本发明实施例提供了一种施工作业人员的安全着装检测方法，所述检测方法包括：
通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
对卷积神经网络的初始损失函数进行指标更新，获取改进损失函数；
基于更新初始损失函数后的卷积神经网络对预处理后的图像数据进行多区域特征提取，以获取所述作业人员的各个区域定位信息；
建立标准安全着装的识别分类系统，根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断。
可选的，所述对所述图像数据进行预处理包括：基于频域滤波增强原理对所述图像数据进行噪点消除，并根据室内光照环境变化对所述图像数据进行光照补偿处理。
可选的，所述改进损失函数的表达式为：
L(O,P,o,p,μ,σ)＝λ1Lconf(o,p)+λ2Lcla(O,P)+λ3Lloc(μ,σ)
其中，o为预测结果边框中整体目标存在与否的判断结果，p为预测结果边框中整体目标存在的概率，Lconf(o,p)为目标置信度损失，O为预测结果边框中任一类目标存在与否的判断结果，P为预测结果边框中任一类目标存在的概率，Lcla(O,P)为目标类别损失，μ为预测结果的均值，σ为预测结果的方差，Lloc(μ,σ)为目标定位损失，λ1、λ2、λ3均为权重因子参数。
可选的，所述基于卷积神经网络对预处理后的图像数据进行多区域特征提取包括：
将所述预处理后的图像数据平均分割为N个图像细胞单元；
将所述N个图像细胞单元输入Backbone网络中进行特征提取，获取所述N个图像细胞单元所对应的特征张量图组；
将所述特征张量图组进行特征联合与全局池化，输出所述作业人员所对应的数据集；
以所述改进损失函数作为定位评判标准，利用随机梯度下降法对所述数据集进行模型训练，并通过NMS算法获取所述作业人员的各个区域的精准位置坐标框。
可选的，所述将所述N个图像细胞单元输入Backbone网络中进行特征提取包括：
将所述N个图像细胞单元中每一个图像细胞单元进行二维卷积运算，并将运算得到的输入数据进行归一化处理；
基于Relu激活函数对处理后的输入数据进行非线性映射，输出每一个细胞单元所对应的特征张量图。
可选的，所述根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断包括：
对所述各个区域定位信息进行标记；
基于二分类逻辑回归网络组对标记后的各个区域定位信息进行对应的着装识别。
可选的，所述基于二分类逻辑回归网络组对标记后的各个区域定位信息进行对应的着装识别包括：
基于二维空间仿射变换函数对所述标记后的各个区域定位信息进行空间上的特征映射转换，提取所述作业人员的各个区域特征；
所述二分类逻辑回归网络组根据各自设定的阈值对应与所述各个区域特征的拟合结果进行比对判断。
可选的，所述二维空间仿射变换函数的表达式为：
Figure BDA0002656162880000031
其中，
Figure BDA0002656162880000032
为变换前的二维坐标，
Figure BDA0002656162880000033
为变换后的二维坐标，[θ1θ2θ3]为映射参数矩阵，且θ1、θ2和θ3均为实数。
另外，本发明实施例还提供了一种施工作业人员的安全着装检测系统，所述检测系统包括：
数据采集模块，用于通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
函数更新模块，用于对卷积神经网络的初始损失函数进行指标更新，获取改进损失函数；
特征提取模块，用于基于更新初始损失函数后的卷积神经网络对预处理后的图像数据进行多区域特征提取，以获取所述作业人员的各个区域定位信息；
着装判断模块，用于建立标准安全着装的识别分类系统，根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断。
可选的，所述特征提取模块包括：
图像分割单元，用于将所述预处理后的图像数据平均分割为N个图像细胞单元；
特征提取单元，用于将所述N个图像细胞单元输入Backbone网络中进行特征提取，获取所述N个图像细胞单元所对应的特征张量图组；
数据处理单元，用于将所述特征张量图组进行特征联合与全局池化，输出所述作业人员所对应的数据集；
位置获取单元，用于以所述改进损失函数作为定位评判标准，利用随机梯度下降法对所述数据集进行模型训练，并通过NMS算法获取所述作业人员的各个区域的精准位置坐标框。
本发明实施例提供了一种施工作业人员的安全着装检测方法及系统，通过高清摄像头对作业人员的影像数据进行采集，以非接触式状态可高效获取作业人员的真实着装状态数据；通过建立卷积神经网络模型对作业人员进行多区域特征提取，包括作业人员的头部、身体、下肢各部分的定位信息，可解决复杂环境中所存在的视角变化、部分遮挡等定位难题；通过建立标准安全着装的识别分类系统，用以辅助安全员对作业人员的安全着装是否规范进行快速判定并实现主动报警，检测效率较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例公开的一种施工作业人员的安全着装检测方法的流程示意图；
图2是本发明实施了公开的一种施工作业人员的安全着装检测系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1是本发明实施例中的一种施工作业人员的安全着装检测方法的流程示意图，所述检测方法包括如下步骤：
S101、通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
具体的，基于频域滤波增强原理对所述图像数据进行噪点消除，使得所述图像数据变得清晰化；同时通过光照传感器对室内的光照环境强度进行检测，针对室内光照环境的变化对所述图像数据进行光照补偿处理，包括在室内光照较弱的情况下对所述图像数据进行亮度增强，在室内光照较强的情况下对所述图像数据进行亮度削弱，其中对亮度的增强或削弱主要包含有亮度调整、色调调整和饱和度调整。需要说明的是，对检测到的光照环境强度设定有相对应的调整比例，光照补偿处理将按照设定的调整比例进行。
S102、对卷积神经网络的初始损失函数进行指标更新，获取改进损失函数；
具体的，对卷积神经网络的初始损失函数进行更新主要是考虑到提高检测精度的问题，在不脱离初始损失函数所定义的概率估计情况下，采用正态分布特征下的两个指标值(均值和方差)来完成对初始指标(x,y,w,h)的替换，即把初始指标的相关值转换为均值和方差进行描述，此时所述改进损失函数的表达式为：
L(O,P,o,p,μ,σ)＝λ1Lconf(o,p)+λ2Lcla(O,P)+λ3Lloc(μ,σ)
其中，o为预测结果边框中整体目标存在与否的判断结果，p为预测结果边框中整体目标存在的概率，Lconf(o,p)为目标置信度损失，O为预测结果边框中任一类目标存在与否的判断结果，P为预测结果边框中任一类目标存在的概率，Lcla(O,P)为目标类别损失，μ为预测结果的均值，σ为预测结果的方差，Lloc(μ,σ)为目标定位损失，λ1、λ2、λ3均为权重因子参数。
需要说明的是，关于所述改进损失函数的具体描述，在以下步骤S103中将结合实际应用进行展开说明。
S103、基于更新初始损失函数后的卷积神经网络对预处理后的图像数据进行多区域特征提取，以获取所述作业人员的各个区域定位信息；
在本发明实施例中，利用所述更新初始损失函数后的卷积神经网络进行逐层深度学习的具体实施过程包括如下：
(1)将所述预处理后的图像数据平均分割为N个图像细胞单元，其中每一个图像细胞单元的面积大小为S×S；
需要说明的是，所述预处理后的图像数据实际上是一张画幅较大的高清图，其大小为宽度×高度×通道数，若直接对其进行处理的速度较慢，为提高整个检测过程的实时性，在本发明实施例中优先对所述预处理后的图像数据作小部分的切割处理。
(2)将所述N个图像细胞单元输入Backbone网络中进行特征提取，获取所述N个图像细胞单元所对应的特征张量图组；
具体的，将所述N个图像细胞单元中每一个图像细胞单元进行二维卷积运算，并将运算得到的输入数据进行归一化处理；基于Relu激活函数对处理后的输入数据进行非线性映射，输出每一个细胞单元所对应的特征张量图，以此形成所述特征张量图组，且所述特征张量图组包括对所述预处理后的图像数据中的人体、头部、上肢、下肢的特征提取结果；为所述特征张量图组中每一个特征张量图设置一个数据标签，比如：所述预处理后的图像数据中仅存在一个作业人员，对所述特征张量图组中包含所述作业人员的人体特征的所有特征张量图均设置数据标签1，对所述特征张量图组中包含所述作业人员的头部特征的所有特征张量图均设置数据标签11，对所述特征张量图组中包含所述作业人员的上肢特征的所有特征张量图均设置数据标签12，对所述特征张量图组中包含所述作业人员的下肢特征的所有特征张量图均设置数据标签13。
(3)将所述特征张量图组进行特征联合与全局池化，输出所述作业人员所对应的数据集；
具体的，基于(2)中对所述特征张量图组中每一个特征张量图的数据标签的设置，通过Concat层对数据标签相同的所有特征张量图按照对应通道数的排列顺序进行特征联合，以此生成所述作业人员的各个区域所对应的融合特征图组；将所述融合特征图组进行全局池化，并通过Flatten层完成一维化处理，形成所述作业人员的各个区域所对应的位置框，再将其输出至全连接层进行下一步的训练。
需要说明的是，针对数据标签相同的所有特征张量图，本发明实施例优先求解其中的中心点(x,y)以及大小(w,h)，再通过高斯分布建模来求解所有特征张量图中各个参数的均值
Figure BDA0002656162880000071
与方差
Figure BDA0002656162880000072
Figure BDA0002656162880000073
同时通过上述所测得的均值和方差与实际情况进行对比来计算出置信度C，以此来提高对所述作业人员各个区域的位置框的检测结果精度；另外，针对所述作业人员的各个区域所对应的位置框，本发明实施例对各个位置框进行标记，区分出所述作业人员的任一类目标。
(4)以所述改进损失函数作为定位评判标准，利用随机梯度下降法对所述数据集进行模型训练，并通过NMS算法获取所述作业人员的各个区域的精准位置坐标框。
在本发明实施例中，首先对步骤S102中所提出的所述改进损失函数表达式中的各个组成部分进行如下说明：
式中，所述目标置信度损失Lconf(o,p)采用二值交叉熵损失表征为：
Figure BDA0002656162880000074
Figure BDA0002656162880000075
其中，oi为预测结果边框i中整体目标存在与否的判断结果，oi为0时表示目标不存在，oi为1时表示目标存在，pi为预测结果边框i中整体目标存在的概率，
Figure BDA0002656162880000076
为预测结果边框i中整体目标存在的真实概率。
式中，所述目标类别损失Lcla(O,P)采用二值交叉熵损失表征为：
Figure BDA0002656162880000077
Figure BDA0002656162880000078
其中，Oij为预测结果边框i中第j类目标存在与否的判断结果，Oij为0时表示第j类目标不存在，Oij为1时表示第j类目标存在，Pij为预测结果边框i中第j类目标存在的概率，
Figure BDA0002656162880000081
为预测结果边框i中整体目标存在的真实概率。
需要说明的是，该预测结果边框i对应为所述作业人员的人体特征的位置框，第j类目标对应为所述作业人员的头部特征或者上肢特征或者下肢特征的位置框。
式中，所述目标定位损失Lloc(μ,σ)采用如下表征：
Lloc(μ,σ)＝mean(L),L＝{l1,…,lW×H×I}T
Figure BDA0002656162880000082
其中，W为输入图像的宽，H为输入图像的高，I为待检测位置框的标记号，i、j、k均为索引系数，对应着模型中所设定的预测框，L为所有预测结果误差输出向量，目标定位损失函数为L的均值，对每一个预测框输出的{x,y,w,h}预测结果，通过其均值与方差来表征损失结果lijk，Gt为待检测位置框的结果真实值，μt为模型的预测均值，σt为模型的预测方差。
需要说明的是，μt、σt是采用随机梯度下降法完成训练的，同时利用Sigmoid函数将二者的值转换到(0,1)范围内，用于表征待检测位置框的预测结果的可靠性，其求解过程包括：
Figure BDA0002656162880000083
其次，根据(3)求解出来的所述置信度C设置阈值，将所述改进损失函数的计算结果与该阈值进行比较，对超过该阈值的多个位置框进行保留，进一步利用NMS算法(即非极大值抑制算法)对所述多个位置框中的重叠区域进行判断选择，以获取所述作业人员的各个区域所对应的唯一精准位置坐标框，在步骤S104中用各个区域定位信息代替。
S104、建立标准安全着装的识别分类系统，根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断。
在本发明实施例中，所述标准安全着装的识别分类系统的建立过程，是通过对一张给定图像中的作业人员A的标准安全着装完成识别，并分别获取到所述作业人员A佩戴安全帽的真实概率
Figure BDA0002656162880000091
上身穿着反光背心的真实概率
Figure BDA0002656162880000092
以及下肢穿着短裤的真实概率
Figure BDA0002656162880000093
具体的规范性判断过程包括：
(1)对所述各个区域定位信息进行标记，以便于根据标记号对相应的一个区域定位信息进行识别判断以及预警。
(2)基于二分类逻辑回归网络组对标记后的各个区域定位信息进行对应的着装识别。
具体的，首先基于二维空间仿射变换函数对所述标记后的各个区域定位信息进行空间上的特征映射转换，提取所述作业人员的各个区域特征；
需要说明的是，通过所述二维空间仿射变换函数的映射转换，将所述各个区域定位信息转换为所述二分类逻辑回归网络组可运算的格式，即获取所述各个区域特征的拟合结果，所述二维空间仿射变换函数的表达式为：
Figure BDA0002656162880000094
其中，
Figure BDA0002656162880000095
为变换前的二维坐标，
Figure BDA0002656162880000096
为变换后的二维坐标，[θ1θ2θ3]为映射参数矩阵，且θ1、θ2和θ3均为实数。
其次，所述二分类逻辑回归网络组根据各自设定的阈值对应与所述各个区域特征的拟合结果进行比对判断，其中所述各自设定的阈值对应为所述标准安全着装的识别分类系统所提供的各个真实概率，以判断所述作业人员是否佩戴安全帽为例进行说明：根据标记号读取所述作业人员的头部特征的区域定位信息，以逻辑函数Sigmoid作为激励函数，通过所述二分类逻辑回归网络组中的一个二分类回归网络来计算所述作业人员佩戴安全帽的概率为：
Figure BDA0002656162880000097
其中，w、b均为该二分类回归网络的参数，wT为w的转置，x为该头部特征的区域定位信息的坐标值。
接着判断所述作业人员佩戴安全帽的概率y是否接近所述真实概率
Figure BDA0002656162880000098
若二者差距较大，则说明所述作业人员未佩戴安全帽并进行预警；若二者差距较小，则说明所述作业人员已佩戴安全帽，同时利用交叉熵损失函数反推寻找最优的w、b参数值，为下一次判断作优化处理，其中所述交叉熵损失函数为：
Figure BDA0002656162880000101
图2是本发明实施例公开的一种施工作业人员的安全着装检测系统的结构组成示意图，所述检测系统包括：
数据采集模块201，用于通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
函数更新模块202，用于对卷积神经网络的初始损失函数进行指标更新，获取改进损失函数；
特征提取模块203，用于基于更新初始损失函数后的卷积神经网络对预处理后的图像数据进行多区域特征提取，以获取所述作业人员的各个区域定位信息；
具体的，所述特征提取模块203包括图像分割单元、特征提取单元、数据处理单元和位置获取单元。其中，所述图像分割单元用于将所述预处理后的图像数据平均分割为N个图像细胞单元；所述特征提取单元用于将所述N个图像细胞单元输入Backbone网络中进行特征提取，获取所述N个图像细胞单元所对应的特征张量图组；所述数据处理单元用于将所述特征张量图组进行特征联合与全局池化，输出所述作业人员所对应的数据集；所述位置获取单元，用于以改进损失函数作为定位评判标准，利用随机梯度下降法对所述数据集进行模型训练，并通过NMS算法获取所述作业人员的各个区域的精准位置坐标框。
着装判断模块204，用于建立标准安全着装的识别分类系统，根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断。
其中，所述检测系统被配置用于执行上述的施工作业人员的安全着装检测方法，针对所述检测系统中的各个模块的具体实施方式请参考上述的实施例，在此不再赘述。
本发明实施例提供了一种施工作业人员的安全着装检测方法及系统，通过高清摄像头对作业人员的影像数据进行采集，以非接触式状态可高效获取作业人员的真实着装状态数据；通过建立卷积神经网络模型对作业人员进行多区域特征提取，包括作业人员的头部、身体、下肢各部分的定位信息，可解决复杂环境中所存在的视角变化、部分遮挡等定位难题；通过建立标准安全着装的识别分类系统，用以辅助安全员对作业人员的安全着装是否规范进行快速判定并实现主动报警，检测效率较高。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnlyMemory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种施工作业人员的安全着装检测方法及系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种施工作业人员的安全着装检测方法，其特征在于，所述检测方法包括：
通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
对卷积神经网络的初始损失函数进行指标更新，获取改进损失函数；
基于更新初始损失函数后的卷积神经网络对预处理后的图像数据进行多区域特征提取，以获取所述作业人员的各个身体区域精准定位信息；
建立标准安全着装的识别分类系统，根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断。
2.根据权利要求1所述的安全着装检测方法，其特征在于，所述对所述图像数据进行预处理包括：基于频域滤波增强原理对所述图像数据进行噪点消除，并根据室内光照环境变化对所述图像数据进行光照补偿处理。
3.根据权利要求1所述的安全着装检测方法，其特征在于，所述改进损失函数的表达式为：
L(O,P,o,p,μ,σ)＝λ1Lconf(o,p)+λ2Lcla(O,P)+λ3Lloc(μ,σ)
其中，o为预测结果边框中整体目标存在与否的判断结果，p为预测结果边框中整体目标存在的概率，Lconf(o,p)为目标置信度损失，O为预测结果边框中任一类目标存在与否的判断结果，P为预测结果边框中任一类目标存在的概率，Lcla(O,P)为目标类别损失，μ为预测结果的均值，σ为预测结果的方差，Lloc(μ,σ)为目标定位损失，λ1、λ2、λ3均为权重因子参数。
4.根据权利要求3所述的安全着装检测方法，其特征在于，所述基于卷积神经网络对预处理后的图像数据进行多区域特征提取包括：
将所述预处理后的图像数据平均分割为N个图像细胞单元；
将所述N个图像细胞单元输入Backbone网络中进行特征提取，获取所述N个图像细胞单元所对应的特征张量图组；
将所述特征张量图组进行特征联合与全局池化，输出所述作业人员所对应的数据集；
以所述改进损失函数作为定位评判标准，利用随机梯度下降法对所述数据集进行模型训练，并通过NMS算法获取所述作业人员的各个区域的精准位置坐标框。
5.根据权利要求4所述的安全着装检测方法，其特征在于，所述将所述N个图像细胞单元输入Backbone网络中进行特征提取包括：
将所述N个图像细胞单元中每一个图像细胞单元进行二维卷积运算，并将运算得到的输入数据进行归一化处理；
基于Relu激活函数对处理后的输入数据进行非线性映射，输出每一个细胞单元所对应的特征张量图。
6.根据权利要求1所述的安全着装检测方法，其特征在于，所述根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断包括：
对所述各个区域定位信息进行标记；
基于二分类逻辑回归网络组对标记后的各个区域定位信息进行对应的着装识别。
7.根据权利要求6所述的安全着装检测方法，其特征在于，所述基于二分类逻辑回归网络组对标记后的各个区域定位信息进行对应的着装识别包括：
基于二维空间仿射变换函数对所述标记后的各个区域定位信息进行空间上的特征映射转换，提取所述作业人员的各个区域特征；
所述二分类逻辑回归网络组根据各自设定的阈值对应与所述各个区域特征的拟合结果进行比对判断。
8.根据权利要求7所述的安全着装检测方法，其特征在于，所述二维空间仿射变换函数的表达式为：
Figure FDA0002656162870000031
其中，
Figure FDA0002656162870000032
为变换前的二维坐标，
Figure FDA0002656162870000033
为变换后的二维坐标，[θ1θ2θ3]为映射参数矩阵，且θ1、θ2和θ3均为实数。
9.一种施工作业人员的安全着装检测系统，其特征在于，所述检测系统包括：
数据采集模块，用于通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
函数更新模块，用于对卷积神经网络的初始损失函数进行指标更新，获取改进损失函数；
特征提取模块，用于基于更新初始损失函数后的卷积神经网络对预处理后的图像数据进行多区域特征提取，以获取所述作业人员的各个区域定位信息；
着装判断模块，用于建立标准安全着装的识别分类系统，根据所述各个区域定位信息对所述作业人员的安全着装进行规范性判断。
10.根据权利要求9所述的安全着装检测系统，其特征在于，所述特征提取模块包括：
图像分割单元，用于将所述预处理后的图像数据平均分割为N个图像细胞单元；
特征提取单元，用于将所述N个图像细胞单元输入Backbone网络中进行特征提取，获取所述N个图像细胞单元所对应的特征张量图组；
数据处理单元，用于将所述特征张量图组进行特征联合与全局池化，输出所述作业人员所对应的数据集；
位置获取单元，用于以所述改进损失函数作为定位评判标准，利用随机梯度下降法对所述数据集进行模型训练，并通过NMS算法获取所述作业人员的各个区域的精准位置坐标框。
CN202010888146.XA 2020-08-28 2020-08-28 一种施工作业人员的安全着装检测方法及系统 Active CN112149514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010888146.XA CN112149514B (zh) 2020-08-28 2020-08-28 一种施工作业人员的安全着装检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010888146.XA CN112149514B (zh) 2020-08-28 2020-08-28 一种施工作业人员的安全着装检测方法及系统

Publications (2)

Publication Number Publication Date
CN112149514A true CN112149514A (zh) 2020-12-29
CN112149514B CN112149514B (zh) 2023-04-07

Family

ID=73890056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010888146.XA Active CN112149514B (zh) 2020-08-28 2020-08-28 一种施工作业人员的安全着装检测方法及系统

Country Status (1)

Country Link
CN (1) CN112149514B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN112966618A (zh) * 2021-03-11 2021-06-15 京东数科海益信息科技有限公司 着装识别方法、装置、设备及计算机可读介质
CN113158993A (zh) * 2021-05-21 2021-07-23 济南博观智能科技有限公司 一种多场景反光背心穿戴识别模型创建方法及相关组件
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113327240A (zh) * 2021-06-11 2021-08-31 国网上海市电力公司 一种基于视觉引导的搭线方法、系统及存储介质
CN113343846A (zh) * 2021-06-04 2021-09-03 温州大学 一种基于深浅层特征融合的反光衣检测系统
CN113435794A (zh) * 2021-08-26 2021-09-24 山东大拇指喷雾设备有限公司 一种基于图像处理的喷嘴铸件后处理智能监测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157899A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. Method and apparatus detecting a target
CN110781350A (zh) * 2019-09-26 2020-02-11 武汉大学 一种面向全画面监控场景的行人检索方法及系统
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111178451A (zh) * 2020-01-02 2020-05-19 中国民航大学 一种基于YOLOv3网络的车牌检测方法
CN111222423A (zh) * 2019-12-26 2020-06-02 深圳供电局有限公司 基于作业区域的目标识别方法、装置、计算机设备
CN111428625A (zh) * 2020-03-23 2020-07-17 武汉理工大学 一种基于深度学习的交通场景目标检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157899A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. Method and apparatus detecting a target
CN110781350A (zh) * 2019-09-26 2020-02-11 武汉大学 一种面向全画面监控场景的行人检索方法及系统
CN111222423A (zh) * 2019-12-26 2020-06-02 深圳供电局有限公司 基于作业区域的目标识别方法、装置、计算机设备
CN111126325A (zh) * 2019-12-30 2020-05-08 哈尔滨工程大学 一种基于视频的智能人员安防识别统计方法
CN111178451A (zh) * 2020-01-02 2020-05-19 中国民航大学 一种基于YOLOv3网络的车牌检测方法
CN111428625A (zh) * 2020-03-23 2020-07-17 武汉理工大学 一种基于深度学习的交通场景目标检测方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926427A (zh) * 2021-02-18 2021-06-08 浙江智慧视频安防创新中心有限公司 一种目标用户着装属性识别方法及装置
CN112966618A (zh) * 2021-03-11 2021-06-15 京东数科海益信息科技有限公司 着装识别方法、装置、设备及计算机可读介质
CN112966618B (zh) * 2021-03-11 2024-02-09 京东科技信息技术有限公司 着装识别方法、装置、设备及计算机可读介质
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113158993A (zh) * 2021-05-21 2021-07-23 济南博观智能科技有限公司 一种多场景反光背心穿戴识别模型创建方法及相关组件
CN113343846A (zh) * 2021-06-04 2021-09-03 温州大学 一种基于深浅层特征融合的反光衣检测系统
CN113343846B (zh) * 2021-06-04 2024-03-15 温州大学 一种基于深浅层特征融合的反光衣检测系统
CN113327240A (zh) * 2021-06-11 2021-08-31 国网上海市电力公司 一种基于视觉引导的搭线方法、系统及存储介质
CN113435794A (zh) * 2021-08-26 2021-09-24 山东大拇指喷雾设备有限公司 一种基于图像处理的喷嘴铸件后处理智能监测方法
CN113435794B (zh) * 2021-08-26 2021-11-19 山东大拇指喷雾设备有限公司 一种基于图像处理的喷嘴铸件后处理智能监测方法

Also Published As

Publication number Publication date
CN112149514B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112149514B (zh) 一种施工作业人员的安全着装检测方法及系统
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
Li et al. Automatic crack recognition for concrete bridges using a fully convolutional neural network and naive Bayes data fusion based on a visual detection system
CN109255317B (zh) 一种基于双网络的航拍图像差异检测方法
Qu et al. Moving vehicle detection with convolutional networks in UAV videos
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
Stankov et al. Building detection in very high spatial resolution multispectral images using the hit-or-miss transform
CN105894701A (zh) 输电线路防外破大型施工车辆的识别报警方法
CN116543241B (zh) 泄露气体云团的检测方法、装置、存储介质和电子设备
CN111079518A (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
CN113033385A (zh) 一种基于深度学习的违章建筑遥感识别方法及系统
Tao et al. Smoky vehicle detection based on multi-feature fusion and ensemble neural networks
CN115311241A (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN113284144A (zh) 一种基于无人机的隧道检测方法及装置
CN114332644B (zh) 一种基于视频卫星数据的大视场交通密度获取方法
CN112966618A (zh) 着装识别方法、装置、设备及计算机可读介质
CN117392565A (zh) 一种无人机电力巡检缺陷自动识别方法
CN111402185B (zh) 一种图像检测方法及装置
CN115810161A (zh) 一种变电站火灾识别方法及系统
Skladchykov et al. Application of YOLOX deep learning model for automated object detection on thermograms
CN115019306A (zh) 一种基于深度学习和机器视觉的包埋盒标签批量识别方法及系统
CN113936300A (zh) 建筑工地人员识别方法、可读存储介质和电子设备
Gavrilov et al. Automated visual information processing using artificial intelligence
CN116862952B (zh) 一种用于相似背景条件下的变电站作业人员视频追踪方法
Hadjidemetriou et al. Patch defects detection for pavement assessment, using smartphones and support vector machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant