CN112598059A - 一种工人着装检测方法、装置、存储介质及电子设备 - Google Patents

一种工人着装检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112598059A
CN112598059A CN202011530482.3A CN202011530482A CN112598059A CN 112598059 A CN112598059 A CN 112598059A CN 202011530482 A CN202011530482 A CN 202011530482A CN 112598059 A CN112598059 A CN 112598059A
Authority
CN
China
Prior art keywords
feature map
initial
fusion
characteristic diagram
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011530482.3A
Other languages
English (en)
Other versions
CN112598059B (zh
Inventor
黄泽元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jizhi Digital Technology Co Ltd
Original Assignee
Shenzhen Jizhi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jizhi Digital Technology Co Ltd filed Critical Shenzhen Jizhi Digital Technology Co Ltd
Priority to CN202011530482.3A priority Critical patent/CN112598059B/zh
Publication of CN112598059A publication Critical patent/CN112598059A/zh
Application granted granted Critical
Publication of CN112598059B publication Critical patent/CN112598059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种工人着装检测方法、装置、存储介质及电子设备，通过对待识别图像的多个不同尺寸的特征图进行多尺寸信息融合得到融合特征图，并基于融合特征图进行工人着装识别，由于融合特征图包括浅层特征和深层特征，浅层特征能准确预测小目标，如工装和安全帽，深层特征能准确预测大目标，如人，因此基于包括浅层特征和深层特征的融合特征图的识别结果，能同时实现对待识别图像中大目标和小目标的准确识别，从而实现对工人着装情况的准确识别。

Description

一种工人着装检测方法、装置、存储介质及电子设备
技术领域
本发明涉及图像处理技术领域，更具体的，涉及一种工人着装检测方法、装置存储介质及电子设备。
背景技术
考虑到施工安全，一般要求工地的工人必须穿工装并佩戴安全帽。由于建筑工程施工环境复杂且分布较广，若采用人工的方式检查工人的着装情况，对人力投入的要求很高，很难及时发现着装不合格，且容易出现漏检。
若利用机器学习模型自动对远程监测设备采集的图像进行识别的方式检测工人着装情况，虽然效率较高，但是由于通过远程监测设备采集的图像中工人尺寸较小，安全帽等尺寸更小，且尺寸不统一，很难对工人着装情况进行准确识别。
发明内容
有鉴于此，本发明提供了一种工人着装检测方法、装置、存储介质及电子设备，实现对通过远程监测设备采集的图像中工人着装情况的准确识别。
为了实现上述发明目的，本发明提供的具体技术方案如下：
一种工人着装检测方法，包括：
获取通过远程监测设备采集的待识别图像；
提取所述待识别图像的多个不同尺寸的初始特征图；
分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图；
将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果；
根据每个所述融合特征图对应的识别结果确定所述待识别图像中是否有人、且所述人已穿工装并佩戴安全帽。
可选的，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，依次经过所述密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到所述初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为所述初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
对所述初始特征图以及所述初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
可选的，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，所述密集连接卷积网络包括空洞率逐渐增大的多个可形变卷积，其中，每个可形变卷积的输入为：对所述初始特征图以及之前每个可形变卷积输出的特征图进行堆叠后得到的特征图；
对所述初始特征图以及所述初始特征图经过不同可行变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
可选的，在将每个所述融合特征图输入预先训练得到的识别模型中进行处理之前，所述方法还包括：
确定多个所述融合特征图中的浅层特征图；
对每个所述融合特征图进行上采样；
针对每个浅层特征图，将该浅层特征图与其他所述融合特征图的上采样值进行融合，得到强化浅层特征后的浅层特征图。
可选的，所述将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果，包括：
针对每个所述融合特征图，将所述融合特征图输入所述识别模型中的位置预测分支，得到所述融合特征图中每个候选框的位置坐标；
将标记有候选框的位置坐标的所述融合特征图输入所述识别模型中的人物预测分支，预测结果表示候选框是否是人；
在人物预测分支的预测结果表示候选框为人的情况下，将标记有人物候选框的所述融合特征图输入所述识别模型中的人体关键部位预测分支，得到表示人体关键部位分布的热力图；
将所述热力图与所述融合特征图进行堆叠后输入所述识别模型中的属性预测分支，得到表示人是否穿工装并佩戴安全帽的预测结果。
可选的，所述方法还包括：
在所述识别模型的训练过程中，在生成训练样本的候选框之后，计算每个候选框与标注框的交并比，并计算交并比的均值和方差；
将交并比大于均值和方差之和的训练样本确定为正样本；
将交并比小于均值和方差之和的训练样本确定为负样本。
一种工人着装检测装置，包括：
待识别图像获取单元，用于获取通过远程监测设备采集的待识别图像；
特征图提取单元，用于提取所述待识别图像的多个不同尺寸的初始特征图；
多尺寸信息融合单元，用于分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图；
识别模型处理单元，用于将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果；
识别结果确定单元，用于根据每个所述融合特征图对应的识别结果确定所述待识别图像中是否有人、且所述人已穿工装并佩戴安全帽。
可选的，所述多尺寸信息融合单元，具体用于：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，依次经过所述密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到所述初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为所述初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
对所述初始特征图以及所述初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
可选的，所述多尺寸信息融合单元，具体用于：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，所述密集连接卷积网络包括空洞率逐渐增大的多个可形变卷积，其中，每个可形变卷积的输入为：对所述初始特征图以及之前每个可形变卷积输出的特征图进行堆叠后得到的特征图；
对所述初始特征图以及所述初始特征图经过不同可行变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
可选的，所述装置还包括浅层特征强化单元，用于：
在将每个所述融合特征图输入预先训练得到的识别模型中进行处理之前，确定多个所述融合特征图中的浅层特征图；
对每个所述融合特征图进行上采样；
针对每个浅层特征图，将该浅层特征图与其他所述融合特征图的上采样值进行融合，得到强化浅层特征后的浅层特征图。
可选的，所述识别模型处理单元，具体用于：
针对每个所述融合特征图，将所述融合特征图输入所述识别模型中的位置预测分支，得到所述融合特征图中每个候选框的位置坐标；
将标记有候选框的位置坐标的所述融合特征图输入所述识别模型中的人物预测分支，预测结果表示候选框是否是人；
在人物预测分支的预测结果表示候选框为人的情况下，将标记有人物候选框的所述融合特征图输入所述识别模型中的人体关键部位预测分支，得到表示人体关键部位分布的热力图；
将所述热力图与所述融合特征图进行堆叠后输入所述识别模型中的属性预测分支，得到表示人是否穿工装并佩戴安全帽的预测结果。
可选的，所述装置还包括正负样本确定单元，用于：
在所述识别模型的训练过程中，在生成训练样本的候选框之后，计算每个候选框与标注框的交并比，并计算交并比的均值和方差；
将交并比大于均值和方差之和的训练样本确定为正样本；
将交并比小于均值和方差之和的训练样本确定为负样本。
一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如上述实施例公开的一种工人着装检测方法。
一种电子设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于执行如上述实施例公开的一种工人着装检测方法。
相对于现有技术，本发明的有益效果如下：
本发明公开的一种工人着装检测方法，通过对待识别图像的多个不同尺寸的特征图进行多尺寸信息融合得到融合特征图，并基于融合特征图进行工人着装识别，由于融合特征图包括浅层特征和深层特征，浅层特征能准确预测小目标，如工装和安全帽，深层特征能准确预测大目标，如人，因此基于包括浅层特征和深层特征的融合特征图的识别结果，能同时实现对待识别图像中大目标和小目标的准确识别，从而实现对工人着装情况的准确识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种工人着装识别方法的流程示意图；
图2为本发明实施例公开的一种多尺寸信息融合方法的流程示意图；
图3为本发明实施例公开的另一种多尺寸信息融合方法的流程示意图；
图4为本发明实施例公开的一种识别模型的识别方法的流程示意图；
图5为本发明实施例公开的一种工人着装识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经研究发现：现有技术一般采用FPN(feature pyramid networks，特征金字塔)对通过远程监测采集的图像进行工人着装识别，FPN每一层输出特征图缺乏对自身进行多尺寸信息融合，深层信息到浅层信息之间的链路过长，导致小目标，如图像中的工装、安全帽的丢失，无法实现对图像中的工人着装情况进行准确识别。
为了解决上述现有技术所存在的问题，本发明提供了一种基于多尺寸信息融合的工人着装识别方法，通过对待识别图像的多个不同尺寸的特征图进行多尺寸信息融合得到融合特征图，并基于融合特征图进行工人着装识别，能同时实现对待识别图像中大目标和小目标的准确识别，从而实现对工人着装情况的准确识别。
具体的，请参阅图1，本实施例公开的一种工人着装识别方法包括如下步骤：
S101：获取通过远程监测设备采集的待识别图像。
如获取通过工地塔吊摄像头远程采集待识别图像，这类通过远程监测设备采集的图像中人的尺寸较小，工装、安全帽等尺寸更小。
S102：提取待识别图像的多个不同尺寸的初始特征图。
一种可选的初始特征图提取方式为：利用基础网络为残差神经网络ResNet的特征提取器提取待识别图像的多个不同尺寸的初始特征图，待识别图像输入到该特征提取器后，经过4个阶段分别输出特征图P1、P2、P3和P4。其中，P1的尺寸可以为100*100，P2的尺寸可以为50*50，P3的尺寸可以为25*25，P4的尺寸可以为13*13，也就是说，P1、P2、P3和P4的分辨率逐渐减小，初始特征图中的特征由浅层到深层，越来越偏向高级语义。
P1和P2属于浅层特征图，P3和P4属于深层特征图。
当然，也可以利用其它网络结构的特征提取器提取待识别图像的多个不同尺寸的初始特征图，在此不做具体限定。
S103：分别对每个初始特征图自身的特征数据进行多尺寸信息融合，得到与每个初始特征图一一对应的融合特征图。
对每个初始特征图进行多尺寸信息融合可以由多种方式，如通过密集连接卷积网络进行多尺寸信息融合、通过基于加法连接卷积网络进行多尺寸信息融合等，可以对每个初始特征图都进行多尺寸信息融合，也可以仅对其中的一个或一个以上初始特征图进行多尺寸信息融合。
本实施例提供两种具体的多尺寸信息融合方法：
请参阅图2，针对每个初始特征图，其中一种多尺寸信息融合方法包括以下步骤：
S201：将初始特征图输入到密集连接卷积网络，依次经过密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
S202：对初始特征图以及初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到初始特征图对应的待变换特征图；
S203：利用密集连接卷积网络中的1×1卷积对初始特征图对应的待变换特征图进行变换，得到初始特征图对应的融合特征图。
以初始特征图P1、P2、P3和P4为例，P1在密集连接卷积网络中的处理过程如下：
P1经过空洞率为3的可形变卷积，得到P1_1；
P1_1经过空洞率为6的可形变卷积，得到P1_2；
P1_2经过空洞率为12的可形变卷积，得到P1_3；
P1_3经过空洞率为18的可形变卷积，得到P1_4；
P1_4经过空洞率为24的可形变卷积，得到P1_5；
P1、P1_1、P1_2、P1_3、P1_4、P1_5做堆叠，得到P1对应的待变换特征图；
利用密集连接卷积网络中的1×1卷积对P1对应的待变换特征图进行变换，得到P1对应的融合特征图P1’。
同样地，P2、P、P4也经过多尺寸信息融合，分别获得融合特征图P2’、P3’、P4’。
请参阅图3，针对每个初始特征图，另一种多尺寸信息融合方法包括以下步骤：
S301：将初始特征图输入到密集连接卷积网络，密集连接卷积网络包括空洞率逐渐增大的多个可形变卷积，其中，每个可形变卷积的输入为：对初始特征图以及之前每个可形变卷积输出的特征图进行堆叠后得到的特征图；
S302：对初始特征图以及初始特征图经过不同可行变卷积后输出的特征图进行堆叠，得到初始特征图对应的待变换特征图；
S303：利用密集连接卷积网络中的1×1卷积对初始特征图对应的待变换特征图进行变换，得到初始特征图对应的融合特征图。
以初始特征图P1、P2、P3和P4为例，P1在密集连接卷积网络中的处理过程如下：
P1经过空洞率为3的可形变卷积，得到P1_1；
P1和P1_1做堆叠，堆叠后得到的特征图经过空洞率为6的可形变卷积，得到P1_2；
P1、P1_1和P1_2做堆叠，堆叠后得到的特征图经过空洞率为12的可形变卷积，得到P1_3；
P1、P1_1、P1_2和P1_3做堆叠，堆叠后得到的特征图经过空洞率为18的可形变卷积，得到P1_4；
P1、P1_1、P1_2、P1_3和P1_4做堆叠，堆叠后得到的特征图经过空洞率为24的可形变卷积，得到P1_5；
P1、P1_1、P1_2、P1_3、P1_4、P1_5做堆叠，得到P1对应的待变换特征图；
利用密集连接卷积网络中的1×1卷积对P1对应的待变换特征图进行变换，得到P1对应的融合特征图P1’。
同样地，P2、P、P4也经过多尺寸信息融合，分别获得融合特征图P2’、P3’、P4’。
优选的，为了进一步强化浅层特征，还可以对多尺寸信息融合后得到的浅层特征图P1’和P2’进行浅层特征强化。
具体的，在确定多尺寸信息融合后得到的浅层特征图P1’和P2’之后，对每个融合特征图进行上采样，针对每个浅层特征图，将该浅层特征图与其他融合特征图的上采样值进行融合，得到强化浅层特征后的浅层特征图：P1”和P2”。
P1”＝P1’+w12*up(P2’)+w13*up(P3’)+w14*up(P4’)
P2”＝P2’+w11*up(P1’)+w13*up(P3’)+w14*up(P4’)
上式中，up表示上采样，up(P1’)表示P1’的上采样值，w11、w12、w13、w14分别表示P1’、P2’、P3’、P4’的上采样权重值，需要在训练阶段学习得出。
S104：将每个融合特征图输入预先训练得到的识别模型中进行处理，得到每个融合特征图对应的识别结果。
本实施例在识别模型中设计4个预测分支，第一预测分支用于预测人的位置，第二个预测分支用于预测是否是人，第三个预测分支用于预测人体关键部位，第四个预测分支用于进行属性预测，即人是否穿工装、佩戴安全帽。通过预测人体关键部位，如哪里是头部，哪里是肩部，就能更容易地定位相应人体部位的安全帽和着装的特征，进而实现对工人着装情况的准确识别。
具体的，请参阅图4，针对每个融合特征图，在识别模型中的识别过程如下：
S401：将融合特征图输入识别模型中的位置预测分支，得到融合特征图中每个候选框的位置坐标；
其中，候选框表示待识别人物对象。
S402：将标记有候选框的位置坐标的融合特征图输入识别模型中的人物预测分支，预测结果表示候选框是否是人；
S403：在人物预测分支的预测结果表示候选框为人的情况下，将标记有人物候选框的融合特征图输入识别模型中的人体关键部位预测分支，得到表示人体关键部位分布的热力图；
S404：将热力图与融合特征图进行堆叠后输入识别模型中的属性预测分支，得到表示人是否穿工装并佩戴安全帽的预测结果。
识别模型中四个预测分支预先经过训练，其中，人体关键部分预测分支是由人体关键点对4个卷积层进行监督学习得到，属性预测分支通过2个卷积层计算和2个全连接层计算，最后得到属性预测结果。
S105：根据每个融合特征图对应的识别结果确定待识别图像中是否有人、且人已穿工装并佩戴安全帽。
可以理解的是，每个融合特征图对应的识别结果相互进行校验，可以得到更为准确的识别结果。
本实施例公开的一种工人着装检测方法，通过对待识别图像的多个不同尺寸的特征图进行多尺寸信息融合得到融合特征图，并基于融合特征图进行工人着装识别，由于融合特征图包括浅层特征和深层特征，浅层特征能准确预测小目标，如工装和安全帽，深层特征能准确预测大目标，如人，因此基于包括浅层特征和深层特征的融合特征图的识别结果，能同时实现对待识别图像中大目标和小目标的准确识别，从而实现对工人着装情况的准确识别。
可以理解的是，本发明涉及的所有深度学习模型都是预先经过训练得到的，训练样本包括正样本和负样本。现有技术会训练一个候选框提议模块(RPN)，提出候选框，然后定义候选框与标注框的交并比(IoU)超过0.5是正样本，低于0.5是负样本。但是，0.5这个阈值是人为设定的，并不客观，不合理。在此基础上，本实施例公开了一种基于动态阈值确定正负样本的方法。
具体的，在识别模型的训练过程中，在生成训练样本的候选框之后，计算每个候选框与标注框的交并比，并计算交并比的均值和方差。将交并比大于均值和方差之和的训练样本确定为正样本，将交并比小于均值和方差之和的训练样本确定为负样本。
随着候选框提议模块提议能力的增强，所提议的候选框的分布会发生改变，阈值，即均值和方差之和也会动态改变，提高了阈值的准确性，从而提升了识别模型的训练精度。
基于上述实施例公开的一种工人着装检测方法，本实施例对应公开了一种工人着装检测装置，请参阅图5，该装置包括：
待识别图像获取单元100，用于获取通过远程监测设备采集的待识别图像；
特征图提取单元200，用于提取所述待识别图像的多个不同尺寸的初始特征图；
多尺寸信息融合单元300，用于分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图；
识别模型处理单元400，用于将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果；
识别结果确定单元500，用于根据每个所述融合特征图对应的识别结果确定所述待识别图像中是否有人、且所述人已穿工装并佩戴安全帽。
可选的，所述多尺寸信息融合单元300，具体用于：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，依次经过所述密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到所述初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为所述初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
对所述初始特征图以及所述初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
可选的，所述多尺寸信息融合单元300，具体用于：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，所述密集连接卷积网络包括空洞率逐渐增大的多个可形变卷积，其中，每个可形变卷积的输入为：对所述初始特征图以及之前每个可形变卷积输出的特征图进行堆叠后得到的特征图；
对所述初始特征图以及所述初始特征图经过不同可行变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
可选的，所述装置还包括浅层特征强化单元，用于：
在将每个所述融合特征图输入预先训练得到的识别模型中进行处理之前，对多个所述融合特征图中的深层特征图进行上采样，并将上采样后的深层特征图与多个所述融合特征图中的浅层特征图进行融合，得到强化浅层特征后的浅层特征图。
可选的，所述识别模型处理单元400，具体用于：
针对每个所述融合特征图，将所述融合特征图输入所述识别模型中的位置预测分支，得到所述融合特征图中每个候选框的位置坐标；
将标记有候选框的位置坐标的所述融合特征图输入所述识别模型中的人物预测分支，预测结果表示候选框是否是人；
在人物预测分支的预测结果表示候选框为人的情况下，将标记有人物候选框的所述融合特征图输入所述识别模型中的人体关键部位预测分支，得到表示人体关键部位分布的热力图；
将所述热力图与所述融合特征图进行堆叠后输入所述识别模型中的属性预测分支，得到表示人是否穿工装并佩戴安全帽的预测结果。
可选的，所述装置还包括正负样本确定单元，用于：
在所述识别模型的训练过程中，在生成训练样本的候选框之后，计算每个候选框与标注框的交并比，并计算交并比的均值和方差；
将交并比大于均值和方差之和的训练样本确定为正样本；
将交并比小于均值和方差之和的训练样本确定为负样本。
本实施例公开的一种工人着装检测装置，通过对待识别图像的多个不同尺寸的特征图进行多尺寸信息融合得到融合特征图，并基于融合特征图进行工人着装识别，由于融合特征图包括浅层特征和深层特征，浅层特征能准确预测小目标，如工装和安全帽，深层特征能准确预测大目标，如人，因此基于包括浅层特征和深层特征的融合特征图的识别结果，能同时实现对待识别图像中大目标和小目标的准确识别，从而实现对工人着装情况的准确识别。
本实施例还公开了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如下工人着装检测方法：
获取通过远程监测设备采集的待识别图像；
提取所述待识别图像的多个不同尺寸的初始特征图；
分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图；
将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果；
根据每个所述融合特征图对应的识别结果确定所述待识别图像中是否有人、且所述人已穿工装并佩戴安全帽。
进一步，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，依次经过所述密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到所述初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为所述初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
对所述初始特征图以及所述初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
进一步，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，所述密集连接卷积网络包括空洞率逐渐增大的多个可形变卷积，其中，每个可形变卷积的输入为：对所述初始特征图以及之前每个可形变卷积输出的特征图进行堆叠后得到的特征图；
对所述初始特征图以及所述初始特征图经过不同可行变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
进一步，在将每个所述融合特征图输入预先训练得到的识别模型中进行处理之前，所述方法还包括：
确定多个所述融合特征图中的浅层特征图；
对每个所述融合特征图进行上采样；
针对每个浅层特征图，将该浅层特征图与其他所述融合特征图的上采样值进行融合，得到强化浅层特征后的浅层特征图。
进一步，所述将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果，包括：
针对每个所述融合特征图，将所述融合特征图输入所述识别模型中的位置预测分支，得到所述融合特征图中每个候选框的位置坐标；
将标记有候选框的位置坐标的所述融合特征图输入所述识别模型中的人物预测分支，预测结果表示候选框是否是人；
在人物预测分支的预测结果表示候选框为人的情况下，将标记有人物候选框的所述融合特征图输入所述识别模型中的人体关键部位预测分支，得到表示人体关键部位分布的热力图；
将所述热力图与所述融合特征图进行堆叠后输入所述识别模型中的属性预测分支，得到表示人是否穿工装并佩戴安全帽的预测结果。
进一步，所述方法还包括：
在所述识别模型的训练过程中，在生成训练样本的候选框之后，计算每个候选框与标注框的交并比，并计算交并比的均值和方差；
将交并比大于均值和方差之和的训练样本确定为正样本；
将交并比小于均值和方差之和的训练样本确定为负样本。
本实施例还公开了一种电子设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于执行如下工人着装检测方法：
获取通过远程监测设备采集的待识别图像；
提取所述待识别图像的多个不同尺寸的初始特征图；
分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图；
将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果；
根据每个所述融合特征图对应的识别结果确定所述待识别图像中是否有人、且所述人已穿工装并佩戴安全帽。
进一步，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，依次经过所述密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到所述初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为所述初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
对所述初始特征图以及所述初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
进一步，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，所述密集连接卷积网络包括空洞率逐渐增大的多个可形变卷积，其中，每个可形变卷积的输入为：对所述初始特征图以及之前每个可形变卷积输出的特征图进行堆叠后得到的特征图；
对所述初始特征图以及所述初始特征图经过不同可行变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
进一步，在将每个所述融合特征图输入预先训练得到的识别模型中进行处理之前，所述方法还包括：
确定多个所述融合特征图中的浅层特征图；
对每个所述融合特征图进行上采样；
针对每个浅层特征图，将该浅层特征图与其他所述融合特征图的上采样值进行融合，得到强化浅层特征后的浅层特征图。
进一步，所述将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果，包括：
针对每个所述融合特征图，将所述融合特征图输入所述识别模型中的位置预测分支，得到所述融合特征图中每个候选框的位置坐标；
将标记有候选框的位置坐标的所述融合特征图输入所述识别模型中的人物预测分支，预测结果表示候选框是否是人；
在人物预测分支的预测结果表示候选框为人的情况下，将标记有人物候选框的所述融合特征图输入所述识别模型中的人体关键部位预测分支，得到表示人体关键部位分布的热力图；
将所述热力图与所述融合特征图进行堆叠后输入所述识别模型中的属性预测分支，得到表示人是否穿工装并佩戴安全帽的预测结果。
进一步，所述方法还包括：
在所述识别模型的训练过程中，在生成训练样本的候选框之后，计算每个候选框与标注框的交并比，并计算交并比的均值和方差；
将交并比大于均值和方差之和的训练样本确定为正样本；
将交并比小于均值和方差之和的训练样本确定为负样本。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
上述各个实施例之间可任意组合，对所公开的实施例的上述说明，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种工人着装检测方法，其特征在于，包括：
获取通过远程监测设备采集的待识别图像；
提取所述待识别图像的多个不同尺寸的初始特征图；
分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图；
将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果；
根据每个所述融合特征图对应的识别结果确定所述待识别图像中是否有人、且所述人已穿工装并佩戴安全帽。
2.根据权利要求1所述的方法，其特征在于，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，依次经过所述密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到所述初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为所述初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
对所述初始特征图以及所述初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
3.根据权利要求1所述的方法，其特征在于，所述分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图，包括：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，所述密集连接卷积网络包括空洞率逐渐增大的多个可形变卷积，其中，每个可形变卷积的输入为：对所述初始特征图以及之前每个可形变卷积输出的特征图进行堆叠后得到的特征图；
对所述初始特征图以及所述初始特征图经过不同可行变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
4.根据权利要求2或3所述的方法，其特征在于，在将每个所述融合特征图输入预先训练得到的识别模型中进行处理之前，所述方法还包括：
确定多个所述融合特征图中的浅层特征图；
对每个所述融合特征图进行上采样；
针对每个浅层特征图，将该浅层特征图与其他所述融合特征图的上采样值进行融合，得到强化浅层特征后的浅层特征图。
5.根据权利要求1所述的方法，其特征在于，所述将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果，包括：
针对每个所述融合特征图，将所述融合特征图输入所述识别模型中的位置预测分支，得到所述融合特征图中每个候选框的位置坐标；
将标记有候选框的位置坐标的所述融合特征图输入所述识别模型中的人物预测分支，预测结果表示候选框是否是人；
在人物预测分支的预测结果表示候选框为人的情况下，将标记有人物候选框的所述融合特征图输入所述识别模型中的人体关键部位预测分支，得到表示人体关键部位分布的热力图；
将所述热力图与所述融合特征图进行堆叠后输入所述识别模型中的属性预测分支，得到表示人是否穿工装并佩戴安全帽的预测结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在所述识别模型的训练过程中，在生成训练样本的候选框之后，计算每个候选框与标注框的交并比，并计算交并比的均值和方差；
将交并比大于均值和方差之和的训练样本确定为正样本；
将交并比小于均值和方差之和的训练样本确定为负样本。
7.一种工人着装检测装置，其特征在于，包括：
待识别图像获取单元，用于获取通过远程监测设备采集的待识别图像；
特征图提取单元，用于提取所述待识别图像的多个不同尺寸的初始特征图；
多尺寸信息融合单元，用于分别对每个所述初始特征图自身的特征数据进行多尺寸信息融合，得到与每个所述初始特征图一一对应的融合特征图；
识别模型处理单元，用于将每个所述融合特征图输入预先训练得到的识别模型中进行处理，得到每个所述融合特征图对应的识别结果；
识别结果确定单元，用于根据每个所述融合特征图对应的识别结果确定所述待识别图像中是否有人、且所述人已穿工装并佩戴安全帽。
8.根据权利要求7所述的装置，其特征在于，所述多尺寸信息融合单元，具体用于：
针对每个所述初始特征图，将所述初始特征图输入到密集连接卷积网络，依次经过所述密集连接卷积网络中空洞率逐渐增大的多个可形变卷积，得到所述初始特征图经过不同可形变卷积后输出的特征图，其中，第一个可形变卷积的输入为所述初始特征图，剩余每个可形变卷积的输入为上一个可形变卷积输出的特征图；
对所述初始特征图以及所述初始特征图经过不同可形变卷积后输出的特征图进行堆叠，得到所述初始特征图对应的待变换特征图；
利用所述密集连接卷积网络中的1×1卷积对所述初始特征图对应的待变换特征图进行变换，得到所述初始特征图对应的所述融合特征图。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-6中任一项所述的工人着装检测方法。
10.一种电子设备，其特征在于，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于执行如权利要求1-6中任一项所述的工人着装检测方法。
CN202011530482.3A 2020-12-22 2020-12-22 一种工人着装检测方法、装置、存储介质及电子设备 Active CN112598059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011530482.3A CN112598059B (zh) 2020-12-22 2020-12-22 一种工人着装检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011530482.3A CN112598059B (zh) 2020-12-22 2020-12-22 一种工人着装检测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112598059A true CN112598059A (zh) 2021-04-02
CN112598059B CN112598059B (zh) 2024-07-12

Family

ID=75200722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011530482.3A Active CN112598059B (zh) 2020-12-22 2020-12-22 一种工人着装检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112598059B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223206A (zh) * 2022-09-19 2022-10-21 季华实验室 工作服穿戴情况检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991414A (zh) * 2019-12-21 2020-04-10 武汉中海庭数据技术有限公司 一种交通要素高精度分割方法、电子设备及存储介质
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN112084868A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于注意力机制的遥感图像中目标计数方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104962A (zh) * 2019-11-05 2020-05-05 北京航空航天大学青岛研究院 图像的语义分割方法、装置、电子设备及可读存储介质
CN110991414A (zh) * 2019-12-21 2020-04-10 武汉中海庭数据技术有限公司 一种交通要素高精度分割方法、电子设备及存储介质
CN112084868A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于注意力机制的遥感图像中目标计数方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MAOKE YANG等: "DenseASPP for Semantic Segmentation in Street Scenes", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 18 December 2018 (2018-12-18), pages 3 *
SHIFENG ZHANG等: "Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 5 August 2020 (2020-08-05), pages 4 *
吴迪: "基于计算机视觉的施工人员安全状态监测技术研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 2, 15 February 2020 (2020-02-15), pages 2 - 4 *
赵霞等: "基于DeepLab的物体部件分割网络", 《模式识别与人工智能》, vol. 33, no. 3, 31 March 2020 (2020-03-31), pages 1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223206A (zh) * 2022-09-19 2022-10-21 季华实验室 工作服穿戴情况检测方法、装置、电子设备及存储介质
CN115223206B (zh) * 2022-09-19 2022-12-27 季华实验室 工作服穿戴情况检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112598059B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
EP3937128A2 (en) Image defect detection method and apparatus, electronic device, storage medium and product
CN111401419A (zh) 基于改进RetinaNet的员工着装规范检测方法
CN109214280B (zh) 基于街景的店铺识别方法、装置、电子设备及存储介质
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN110674680B (zh) 活体识别的方法、装置、存储介质
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
US20160098615A1 (en) Apparatus and method for producing image processing filter
CN102982321A (zh) 人脸库采集方法及装置
CN116468392A (zh) 一种电网工程项目进度监控方法、装置、设备及存储介质
CN108921840A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN110992307A (zh) 基于yolo的绝缘子定位识别方法及装置
CN111310844A (zh) 车辆识别模型构建方法及装置、识别方法及装置
CN112598059A (zh) 一种工人着装检测方法、装置、存储介质及电子设备
CN114973320A (zh) 一种基于深度信息的煤矿井下人员检测方法
CN116883880B (zh) 一种基于ar技术的起重机识别方法、装置和电子设备
CN117351462A (zh) 施工作业检测模型训练方法、装置、设备及存储介质
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN112199975A (zh) 基于人脸特征的身份验证方法及装置
CN116523288A (zh) 基站施工人员风险识别方法、装置、电子设备及存储介质
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN115019152A (zh) 一种图像拍摄完整度判定方法及装置
CN114821806A (zh) 作业人员行为确定方法、装置、电子设备及存储介质
CN115019394A (zh) 基于设备维护的过程跟踪方法、装置、设备及存储介质
CN110363162B (zh) 一种聚焦关键区域的深度学习目标检测方法
CN114155522A (zh) 一种点云数据质检修复方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant