CN116110081B - 基于深度学习的安全帽佩戴的检测方法及系统 - Google Patents

基于深度学习的安全帽佩戴的检测方法及系统 Download PDF

Info

Publication number
CN116110081B
CN116110081B CN202310382275.5A CN202310382275A CN116110081B CN 116110081 B CN116110081 B CN 116110081B CN 202310382275 A CN202310382275 A CN 202310382275A CN 116110081 B CN116110081 B CN 116110081B
Authority
CN
China
Prior art keywords
detection
representing
head
frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310382275.5A
Other languages
English (en)
Other versions
CN116110081A (zh
Inventor
伊长乐
周鸣乐
李刚
李敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202310382275.5A priority Critical patent/CN116110081B/zh
Publication of CN116110081A publication Critical patent/CN116110081A/zh
Application granted granted Critical
Publication of CN116110081B publication Critical patent/CN116110081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Helmets And Other Head Coverings (AREA)

Abstract

本发明涉及作业安全监测的技术领域，具体涉及基于深度学习的安全帽佩戴的检测方法及系统。本发明将图像采集，挑选，标注，预处理后进行模型训练与封装，控制中心部署封装好的模型。控制中心接收监控探头和无人机云台相机监控图像，调用头部区域检测算法，计算头部检测框像素总和。对低于100像素的区域提取中心坐标，使用噪声覆盖后。将监控图像送入安全帽佩戴检测模型检测。对提取出的所有中心坐标计算中心点，此中心点作为摄像头锁定跟踪算法的输入，调节摄像头方向并调整镜头放大倍数。再次获取图像进行检测。若检测到未佩戴安全帽则示警。本方案对工地未佩戴安全帽和有易坠落风险的行为进行分析识别，并及时示警，降低工地安全风险。

Description

基于深度学习的安全帽佩戴的检测方法及系统
技术领域
本发明涉及作业安全监测的技术领域，具体涉及基于深度学习的安全帽佩戴的检测方法及系统。
背景技术
佩戴安全帽是建筑工地生产工作至关重要的安全制度，对工地施工人员的人身安全起到重要保障。但实际的施工工作中，经常有施工人员因为炎热或者其他原因，选择在工作时摘下安全帽，这对工地的安全制度管理，和施工人员的生命安全构成了严重的威胁。另外随着建筑环境的不断变化，工地布置的监控探头并不能覆盖所有的区域，一些施工场景比较高，布置监控的难度大。
由于安全帽佩戴检测场景对于检测准确性和复杂环境下的鲁棒性要求，目前对于符合生产环境要求的安全帽检测技术仍需进一步发展，安全帽检测主要应用于建筑施工等对于生产活动有着严格安全规定的场景，这些场景往往比较特殊，且检测的准确性，实时性要求较高。具体来说，安全帽佩戴检测需要承担有别于自然场景下的检测任务，且需满足实时检测，高精度检测的要求。本公开通过设计注意力模块，设计降噪模块，设计新的数据增强方法，提高了安全帽检测的精度和复杂环境下的鲁棒性。
发明内容
针对上述问题，本发明提供一种基于深度学习的安全帽佩戴的检测方法及系统，对工地未佩戴安全帽和有易坠落风险的行为进行分析识别，并及时示警，降低工地安全风险。
本发明提供如下技术方案：一种基于深度学习的安全帽佩戴的检测方法，包括如下步骤：
步骤一，图像收集，挑选，标注，对图片数据集进行图片预处理；
步骤二，将预处理好的图片数据进行深度学习模型训练，根据训练结果，对头部区域检测模型和安全帽佩戴检测模型进行测试，在所有回合中挑选出精度超过阈值的模型进行封装；封装后可以在控制中心进行部署；
步骤三，调用头部区域检测模型，计算头部检测框像素总和，对低于100像素的区域提取出中心坐标，并使用噪声覆盖，处理后的监控图像送入步骤二中的模型进行检测；
步骤四，将低于100像素的区域的中心坐标带入中心点公式，获得出所有低于100像素的区域的中心点，
步骤五，将中心点的坐标作为摄像头锁定追踪算法的输入，调节摄像头方向并调整镜头放大倍数，对低于100像素的区域重复上述步骤三和步骤四过程，直至没有低于100像素的区域；
步骤六，若检测到未佩戴安全帽，向云台相机和监控探头发送示警指令。
在步骤一中，根据需要进行检测的对象和场景，通过无人机航拍和监控探头进行收集后，从中挑选出1200张佩戴安全帽的人员图像，200张未佩戴安全帽的人员图像，600张易坠落危险区域图，共2000张图片；
将上述2000张图片按照6:2:2的数量比例随机划分为训练集、验证集和测试集，组成安全帽与危险区域图片集，将上述1200张佩戴安全帽的人员图像，200张未佩戴安全帽的人员图像，按照6:2:2的数量比例随机划分为训练集、验证集和测试集，组成头部区域图片集；
将上述两个图片集的头部区域，危险区域的位置和类别信息生成XML格式的标注数据集，并与图片一一对应，提取XML文件中的类别，位置，宽高信息等转为TXT格式，与图像数据集按照格式一一对应，组成安全帽与危险区域数据集和头部区域数据集。通过LabelImg开源软件，对数据集中的头部，危险区域进行标注。
进行图片预处理时，对数据集使用掩码进行图像区域遮盖生成两个新的数据集A，B，再使用mosaic增强，平移，翻转等方式，对原有的数据集和数据集A、B进行处理， A,B数据集的掩码区域生成公式如下：
Figure SMS_1
，
Figure SMS_2
，
Figure SMS_3
，
Figure SMS_4
，
Figure SMS_5
，
Figure SMS_6
，
Figure SMS_7
，
Figure SMS_8
，
Figure SMS_9
，
Figure SMS_10
，
Figure SMS_31
表示A数据集的掩码区域， />
Figure SMS_33
表示B数据集的掩码区域， />
Figure SMS_37
表示原数据集图片， />
Figure SMS_13
表示原数据集图片与掩码区域相乘，对原数据集图片进行处理得到的数据集A图片， />
Figure SMS_19
表示原数据集图片与掩码区域相乘，对原数据集图片进行处理得到的数据集B图片， />
Figure SMS_22
, />
Figure SMS_26
B表示数据集A，B的掩码区域生成函数， />
Figure SMS_27
， />
Figure SMS_30
， />
Figure SMS_32
，
Figure SMS_35
，表示图片的右下角x坐标，y坐标以及图片的宽和高， />
Figure SMS_28
， />
Figure SMS_34
， />
Figure SMS_36
， />
Figure SMS_38
，表示
Figure SMS_14
区域的左上角x坐标，y坐标以及宽和高， />
Figure SMS_17
， />
Figure SMS_21
， />
Figure SMS_24
， />
Figure SMS_11
的值为真实框的左上角x坐标，y坐标以及宽和高， />
Figure SMS_15
， />
Figure SMS_18
， />
Figure SMS_25
， />
Figure SMS_12
表示 />
Figure SMS_16
区域的左上角x坐标，y坐标以及宽和高， />
Figure SMS_20
表示图片数组中横坐标为 />
Figure SMS_23
,纵坐标为 />
Figure SMS_29
的数据的数值。
步骤二中，模型训练包括头部区域检测模型训练和安全帽佩戴检测训练，头部区域检测模型使用头部区域数据集进行训练，安全帽佩戴检测使用安全帽与危险区域数据集进行训练，两个模型训练时，先在数据集A训练100轮，然后在数据集B训练100轮，最后在原始数据集上训练300轮；
在训练过程中，采用TIoU损失函数进行训练，在预测框和真实框不相交时，仅使用预测框和真实框中心点的距离来计算损失函数值，将预测框和真实框沿中心点的横向，纵向等分为四份，并用这四份区域的交集来计算预测框和真实框的方向和位置的损失函数值，
公式如下：
Figure SMS_39
，
Figure SMS_40
，
Figure SMS_41
，
Figure SMS_42
，
Figure SMS_43
，
Figure SMS_44
，
Figure SMS_61
为损失函数的值， />
Figure SMS_65
1计算的是预测框 />
Figure SMS_68
与真实框的交集和预测框与真实框并集的比值， />
Figure SMS_46
2计算的是预测框 />
Figure SMS_50
与真实框的交集和预测框与真实框并集的比值， />
Figure SMS_53
3计算的是预测框 />
Figure SMS_56
与真实框的交集和预测框与真实框并集的比值，
Figure SMS_57
4计算的是预测框 />
Figure SMS_60
与真实框的交集和预测框与真实框并集的比值， />
Figure SMS_63
计算的是预测框四部分与真实框的交集和并集的比值和， />
Figure SMS_66
， />
Figure SMS_62
， />
Figure SMS_64
， />
Figure SMS_67
表示真实框的四部分, />
Figure SMS_69
， />
Figure SMS_48
， />
Figure SMS_52
， />
Figure SMS_54
表示预测框的四部分， />
Figure SMS_59
， />
Figure SMS_45
分别表示预测框和真实框， />
Figure SMS_49
表示欧式距离， />
Figure SMS_55
表示预测框的中心， />
Figure SMS_58
表示真实框的中心， />
Figure SMS_47
表示最小外接矩形的对角线距离， />
Figure SMS_51
表示中心点归一化距离。
步骤三中，头部区域检测模型，检测出所有头部区域后，计算所有头部区域的像素总和，计算公式如下：
Figure SMS_70
，
S表示计算的检测框的像素总和，x1为头部检测框左下角的横坐标，x2为头部检测框右下角的横坐标,y1为头部检测框左下角的纵坐标，y2为头部检测框左上角的纵坐标，x2- x1表示检测框的单行横向像素个数， y2- y1表示检测框的单行纵向像素个数；
计算完毕后，对像素总和小于100的区域施加噪声覆盖，噪声计算公式如下：
Figure SMS_71
，
在区间[0，255]内独立且服从均匀分布的随机数生成噪声随机数。μ为该均匀分布的期望， σ2为该均匀分布的方差， m表示噪声随机数个数，
Figure SMS_72
为取出的所有随机数的和，/>
Figure SMS_73
为取出的所有随机数的平均值。通过上述公式生成对应的噪声/>
Figure SMS_74
，
Figure SMS_75
，
Figure SMS_76
表示噪声覆盖后的区域，/>
Figure SMS_77
表示图像中原来的区域，/>
Figure SMS_78
表示噪声， P表示区域内的像素总和。
步骤三中进行检测的模型为安全帽佩戴检测模型，安全帽佩戴检测模型包括卷积模块、注意力模块、降噪模块，融合模块，
注意力模块将卷积模块的输入x，根据SoftMax函数在横向上进行运算，将得到的结果乘以特征图的宽度，送入SoftMax函数在纵向上进行运算，通过提取横纵方向的特征获取全局注意力权重，接下来通过卷积层，规范归一化层和激活函数对全局注意力权重数据进行处理得到y，处理完毕后再次由两个SoftMax函数提取横纵特征得到y1，根据残差思想将y1与x相乘再相加x作为最后的输出out，
注意力模块计算公式如下：
Figure SMS_79
，
Figure SMS_80
，
Figure SMS_81
，
Figure SMS_82
，
Figure SMS_85
为卷积模块的输入， />
Figure SMS_90
为 />
Figure SMS_94
第 />
Figure SMS_86
维度的维度数， />
Figure SMS_88
为对 />
Figure SMS_92
进行卷积归一化激活运算后得到的值， />
Figure SMS_96
为提取出的 />
Figure SMS_83
的横向特征, />
Figure SMS_89
为提取出的 />
Figure SMS_93
的纵向特征，/>
Figure SMS_95
为/>
Figure SMS_84
经过运算突出重要特征后的结果。 />
Figure SMS_87
函数第二位参数为0，表示按列运算。
Figure SMS_91
函数第二位参数为1，表示按行运算。
降噪模块使用两个相邻的特征图作为输入，包含一个通道注意力和一个空间注意力模块，一个上采样模块，一个特征的融合模块，将深层特征经上采样函数上采样至浅层特征的尺寸，将上采样后的深层特征送入通道注意力模块提取注意力权重，再送入空间注意力模块提取注意力权重，并将得到的通道注意力权重和空间注意力权重与浅层特征相乘；
降噪模块计算公式如下：
Figure SMS_97
，
Figure SMS_98
，
Figure SMS_99
，
Figure SMS_100
，
其中，
Figure SMS_101
表示通道注意力， />
Figure SMS_102
表示空间注意力， />
Figure SMS_103
为深层特征，
Figure SMS_104
为上采样后的深层特征， />
Figure SMS_105
为浅层特征， />
Figure SMS_106
为浅层特征降噪之后的输出结果， />
Figure SMS_107
表示张量之间相乘。
易坠落危险区域检测的判断策略；采用用于检测风速的风速检测仪，所述风速检测仪与无人机相连，无人机接收风速检测仪检测到的风速，并根据风速大小判断是否开启易坠落危险区域检测，风速大小的计算公式如下：
Figure SMS_108
，
其中
Figure SMS_109
为实际风速， />
Figure SMS_110
为测量风速， />
Figure SMS_111
为常量。常量 />
Figure SMS_112
的设置来源于无人机高空悬停时，固定翼高速旋转带起的气流对风速测量仪的影响。
所述步骤四中，中心点坐标的计算，公式如下：
Figure SMS_113
，
Figure SMS_114
，
Figure SMS_115
为像素总和在100像素以下检测框的总数， />
Figure SMS_116
为上述检测框中心点在图像中的横坐标， />
Figure SMS_117
为上述检测框中心点在图像中的纵坐标，通过 />
Figure SMS_118
， />
Figure SMS_119
分别求和并处以 />
Figure SMS_120
求平均值，得到坐标 />
Figure SMS_121
；
步骤五中将中心点的坐标作为摄像头锁定追踪算法的输入，计算摄像头云台的调整参数，根据上述的中心点坐标，与图像中心点坐标计算偏移量，为减少不同分辨率的影响，将偏移量整体放缩到[-1,1]，根据缩放后的偏移量正负得到云台的旋转方向，将偏移量乘以比例系数k得到云台角度的增量，由此得到云台的调整参数。
偏移量计算公式如下：
Figure SMS_122
，
Figure SMS_123
，
px为横向的偏移量，x1为步骤5所述中心坐标的横坐标，x2为图像中心点的横坐标， py为横向的偏移量，y1为步骤5所述中心坐标的纵坐标， y2为图像中心点的纵坐标，
云台角度增量的计算公式如下：
Figure SMS_124
，
Figure SMS_125
为云台角度增量， />
Figure SMS_126
为云台的比例系数， />
Figure SMS_127
为横向或者纵向的偏移量。
一种基于深度学习的安全帽佩戴的检测系统，包括以下模块：
图像采集模块：与调整模块相连，包括无人机搭载的云台相机和部署在施工场景下的监控探头，用于获取图像数据。监控探头与云台相机，通过网络将图像信息上传至控制中心；
调整模块：对采集的图像信息进行分析和处理，并对摄像头参数进行调整，对接收的图像信息调用头部区域检测模型检测图中所有的头部区域，计算每一个头部区域的像素和，在100像素以下的区域，使用噪声进行覆盖，100像素及以上的区域不做处理，将图片送至安全帽佩戴检测模型进行安全帽佩戴检测对100像素以下的所有头部区域，计算它们的中心点坐标，将此坐标作为摄像头锁定跟踪算法的输入，控制云台调整摄像头方向，调整后放大镜头倍数继续进行图像采集和检测，直至图像中再无100像素以下头部区域；
风速识别模块：风速检测模块与无人机连接；通过测量空气流动速度与无人机的速度计算准确的实时风速，向控制中心发送风速值，控制中心接收，判断风速是否达阈值，如果达到阈值，则开启易坠落危险区域报警功能；
识别模块：将调整模块处理后的图像输入安全帽佩戴检测模型进行检测，并输出识别结果，若检测出未带安全帽或佩戴普通帽子以及大风环境下施工人员靠近易坠落危险区域，将图片上传至云端，输出报警指令；
报警模块：当接收到识别模块发出的报警指令后，调用摄像头内置音响，发出警示信息，并维持五秒。
通过上述描述可以看出，本方案中将图像采集，挑选，标注，预处理后进行模型训练与封装，控制中心部署封装好的模型。控制中心接收监控探头和无人机云台相机监控图像，调用头部区域检测算法，计算头部检测框像素总和。对低于100像素的区域提取中心坐标，使用噪声覆盖后。将监控图像送入安全帽佩戴检测模型检测。对提取出的所有中心坐标计算中心点，此中心点作为摄像头锁定跟踪算法的输入，调节摄像头方向并调整镜头放大倍数。再次获取图像进行检测。若检测到未佩戴安全帽则示警。
本方案相对于现有技术具有如下技术效果或优点：1、可根据当前拍摄结果自动调整云台相机和监控探头拍摄参数，提高拍摄精度。获取更多图像细节提高检测精度；2、安全帽佩戴检测模型中，设计注意力层，在特征提取中获取更加需要重视的特征，提高不同场景下的检测鲁棒性；3、该方法实现简单，可结合现有监控设备进行部署，还可配备无人机检测监控盲区，实现全范围检测；4、解决了高空施工场景下的监控难度大的问题，提高了施工场景的安全性，5、Mosaic是一种数据增强方法，采用Mosaic极大丰富了检测物体的背景。
附图说明
图1为本发明具体实施方式的流程图。
图2为本发明系统框图。
图3为本发明的注意力模块结构图。
图4为本发明的降噪模块图。
图5为本发明的安全帽佩戴检测模型图。
图6为本发明的TIoU原理图。
具体实施方式
下面将结合本发明具体实施方式中的附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一种具体实施方式，而不是全部的具体实施方式。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
通过附图可以看出，本发明一种基于深度学习的安全帽佩戴的检测方法，包括如下步骤：
步骤一，图像收集，挑选，标注，对图片数据集进行图片预处理；
在步骤一中，根据需要进行检测的对象和场景，通过无人机航拍和监控探头进行收集后，从中挑选出1200张佩戴安全帽的人员图像，200张未佩戴安全帽的人员图像，600张易坠落危险区域图，共2000张图片；
将上述2000张图片按照6:2:2的数量比例随机划分为训练集、验证集和测试集，组成安全帽与危险区域图片集，将上述1200张佩戴安全帽的人员图像，200张未佩戴安全帽的人员图像，按照6:2:2的数量比例随机划分为训练集、验证集和测试集，组成头部区域图片集；
将上述两个图片集的头部区域，危险区域的位置和类别信息生成XML格式的标注数据集，并与图片一一对应，提取XML文件中的类别，位置，宽高信息等转为TXT格式，与图像数据集按照格式一一对应，组成安全帽与危险区域数据集和头部区域数据集。通过LabelImg开源软件，对数据集中的头部，危险区域进行标注。
进行图片预处理时，对数据集使用掩码进行图像区域遮盖生成两个新的数据集A，B，再使用mosaic增强，平移，翻转等方式，对原有的数据集和数据集A、B进行处理， A,B数据集的掩码区域生成公式如下：
Figure SMS_128
，
Figure SMS_129
，
Figure SMS_130
，
Figure SMS_131
，
Figure SMS_132
，
Figure SMS_133
，
Figure SMS_134
，
Figure SMS_135
，
Figure SMS_136
，
Figure SMS_137
，
Figure SMS_154
表示A数据集的掩码区域， />
Figure SMS_157
表示B数据集的掩码区域， />
Figure SMS_160
表示原数据集图片， />
Figure SMS_139
表示原数据集图片与掩码区域相乘，对原数据集图片进行处理得到的数据集A图片， />
Figure SMS_142
表示原数据集图片与掩码区域相乘，对原数据集图片进行处理得到的数据集B图片， />
Figure SMS_146
,/>
Figure SMS_151
B表示数据集A，B的掩码区域生成函数， />
Figure SMS_156
， />
Figure SMS_158
， />
Figure SMS_161
， />
Figure SMS_163
，表示图片的右下角x坐标，y坐标以及图片的宽和高， />
Figure SMS_159
， />
Figure SMS_162
， />
Figure SMS_164
， />
Figure SMS_165
，表示 />
Figure SMS_141
区域的左上角x坐标，y坐标以及宽和高， />
Figure SMS_144
， />
Figure SMS_147
， />
Figure SMS_152
， />
Figure SMS_138
的值为真实框的左上角x坐标，y坐标以及宽和高， />
Figure SMS_145
， />
Figure SMS_149
， />
Figure SMS_155
， />
Figure SMS_140
表示 />
Figure SMS_143
区域的左上角x坐标，y坐标以及宽和高，
Figure SMS_148
表示图片数组中横坐标为 />
Figure SMS_150
,纵坐标为 />
Figure SMS_153
的数据的数值。
步骤二，将预处理好的图片数据进行深度学习模型训练，根据训练结果，对模型进行测试，在所有回合中挑选出精度超过阈值的模型进行封装；封装后可以在控制中心进行部署；
步骤二中，模型训练包括头部区域检测模型训练和安全帽佩戴检测训练，头部区域检测模型使用头部区域数据集进行训练，安全帽佩戴检测使用安全帽与危险区域数据集进行训练，两个模型训练时，先在数据集A训练100轮，然后在数据集B训练100轮，最后在原始数据集上训练300轮；
在训练过程中，采用TIoU损失函数进行训练，在预测框和真实框不相交时，仅使用预测框和真实框中心点的距离来计算损失函数值，将预测框和真实框沿中心点的横向，纵向等分为四份，并用这四份区域的交集来计算预测框和真实框的方向和位置的损失函数值，
公式如下：
Figure SMS_166
，
Figure SMS_167
，
Figure SMS_168
，
Figure SMS_169
，
Figure SMS_170
，
Figure SMS_171
，
Figure SMS_188
为损失函数的值， />
Figure SMS_191
1计算的是预测框 />
Figure SMS_194
与真实框的交集和预测框与真实框并集的比值， />
Figure SMS_173
2计算的是预测框 />
Figure SMS_179
与真实框的交集和预测框与真实框并集的比值， />
Figure SMS_180
3计算的是预测框 />
Figure SMS_184
与真实框的交集和预测框与真实框并集的比值，
Figure SMS_174
4计算的是预测框 />
Figure SMS_176
与真实框的交集和预测框与真实框并集的比值， />
Figure SMS_183
计算的是预测框四部分与真实框的交集和并集的比值和， />
Figure SMS_187
， />
Figure SMS_190
， />
Figure SMS_193
， />
Figure SMS_195
表示真实框的四部分, />
Figure SMS_196
， />
Figure SMS_182
， />
Figure SMS_185
， />
Figure SMS_189
表示预测框的四部分， />
Figure SMS_192
， />
Figure SMS_172
分别表示预测框和真实框，/>
Figure SMS_177
表示欧式距离， />
Figure SMS_181
表示预测框的中心， />
Figure SMS_186
表示真实框的中心， />
Figure SMS_175
表示最小外接矩形的对角线距离， />
Figure SMS_178
表示中心点归一化距离。
步骤三，控制中心调用头部区域检测模型，计算头部检测框像素总和，对低于100像素的区域提取出中心坐标，并使用噪声覆盖，处理后的监控图像送入步骤二中的模型进行检测；
步骤三中，头部区域检测模型，检测出所有头部区域后，计算所有头部区域的像素总和，计算公式如下：
Figure SMS_197
，
S表示计算的检测框的像素总和，x1为头部检测框左下角的横坐标，x2为头部检测框右下角的横坐标,y1为头部检测框左下角的纵坐标，y2为头部检测框左上角的纵坐标，x2-x1表示检测框的单行横向像素个数，y2- y1表示检测框的单行纵向像素个数；
计算完毕后，对像素总和小于100的区域施加噪声覆盖，噪声计算公式如下：
Figure SMS_198
，
在区间[0，255]内独立且服从均匀分布的随机数生成噪声随机数，μ该均匀分布的期望，σ2为该均匀分布的方差，m表示噪声随机数个数，
Figure SMS_199
为取出的所有随机数的和，/>
Figure SMS_200
为取出的所有随机数的平均值。通过上述公式生成对应的噪声/>
Figure SMS_201
，
Figure SMS_202
，
Figure SMS_203
表示噪声覆盖后的区域，/>
Figure SMS_204
表示图像中原来的区域，/>
Figure SMS_205
表示噪声，P表示区域内的像素总和。
步骤三中进行检测的模型为安全帽佩戴检测模型，安全帽佩戴检测模型包括卷积模块、注意力模块、降噪模块，融合模块，如图5所示。
在骨干网络设计注意力模块提高获取重要特征的能力。如图3所示为本发明专利的注意力模块流程图，注意力模块将卷积模块的输入x，根据SoftMax函数在横向上进行运算，将得到的结果乘以特征图的宽度，送入SoftMax函数在纵向上进行运算，通过提取横纵方向的特征获取全局注意力权重，接下来通过卷积层，规范归一化层和激活函数对全局注意力权重数据进行处理得到y，处理完毕后再次由两个SoftMax函数提取横纵特征得到y1，根据残差思想将y1与x相乘再相加x作为最后的输出out，
注意力模块计算公式如下：
Figure SMS_206
，
Figure SMS_207
，
Figure SMS_208
，
Figure SMS_209
，
Figure SMS_211
为卷积模块的输入， />
Figure SMS_216
为 />
Figure SMS_218
第 />
Figure SMS_212
维度的维度数， />
Figure SMS_217
为对 />
Figure SMS_220
进行卷积归一化激活运算后得到的值， />
Figure SMS_222
为提取出的 />
Figure SMS_210
的横向特征, />
Figure SMS_214
为提取出的 />
Figure SMS_221
的纵向特征， />
Figure SMS_223
为
Figure SMS_213
经过运算突出重要特征后的结果。/>
Figure SMS_215
函数第二位参数为0，表示按列运算。
Figure SMS_219
函数第二位参数为1，表示按行运算。
在特征融合网络设计降噪模块提高了融合深层语义信息和浅层形状特征的能力。如图4所示为本发明专利的降噪模块流程图。降噪模块使用两个相邻的特征图作为输入，包含一个通道注意力和一个空间注意力模块，一个上采样模块，一个特征的融合模块，将深层特征经上采样函数上采样至浅层特征的尺寸，将上采样后的深层特征送入通道注意力模块提取注意力权重，再送入空间注意力模块提取注意力权重，并将得到的通道注意力权重和空间注意力权重与浅层特征相乘；
降噪模块计算公式如下：
Figure SMS_224
，
Figure SMS_225
，
Figure SMS_226
，
Figure SMS_227
，
其中，
Figure SMS_228
表示通道注意力， />
Figure SMS_229
表示空间注意力，/>
Figure SMS_230
为深层特征， />
Figure SMS_231
为上采样后的深层特征， />
Figure SMS_232
为浅层特征， />
Figure SMS_233
为浅层特征降噪之后的输出结果， />
Figure SMS_234
表示张量之间相乘。
易坠落危险区域检测的判断策略；所述风速检测仪与无人机相连，无人机接收风速检测仪检测到的风速，并根据风速大小判断是否开启易坠落危险区域检测，风速大小的计算公式如下：
Figure SMS_235
，
其中
Figure SMS_236
为实际风速， />
Figure SMS_237
为测量风速， />
Figure SMS_238
为常量。常量/>
Figure SMS_239
的设置来源于无人机高空悬停时，固定翼高速旋转带起的气流对风速测量仪的影响。
步骤四，将低于100像素的区域的中心坐标带入中心点公式，获得出所有低于100像素的区域的中心点，
所述步骤四中，中心点坐标的计算，公式如下：
Figure SMS_240
，
Figure SMS_241
，
Figure SMS_242
为像素总和在100像素以下检测框的总数， />
Figure SMS_243
为上述检测框中心点在图像中的横坐标， />
Figure SMS_244
为上述检测框中心点在图像中的纵坐标，通过 />
Figure SMS_245
， />
Figure SMS_246
分别求和并处以 />
Figure SMS_247
求平均值，得到坐标 />
Figure SMS_248
；
步骤五，将中心点的坐标作为摄像头锁定追踪算法的输入，调节摄像头方向并调整镜头放大倍数，对低于100像素的区域重复上述步骤三和步骤四过程，直至没有低于100像素的区域；
步骤五中将中心点的坐标作为摄像头锁定追踪算法的输入，计算摄像头云台的调整参数，根据上述的中心点坐标，与图像中心点坐标计算偏移量，为减少不同分辨率的影响，将偏移量整体放缩到[-1,1]，根据缩放后的偏移量正负得到云台的旋转方向，将偏移量乘以比例系数k得到云台角度的增量，由此得到云台的调整参数。
偏移量计算公式如下：
Figure SMS_249
，
Figure SMS_250
，
px为横向的偏移量，x1为步骤5所述中心坐标的横坐标，x2为图像中心点的横坐标， py为横向的偏移量，y1为步骤5所述中心坐标的纵坐标， y2为图像中心点的纵坐标，
云台角度增量的计算公式如下：
Figure SMS_251
，
Figure SMS_252
为云台角度增量， />
Figure SMS_253
为云台的比例系数， />
Figure SMS_254
为横向或纵向的偏移量。
步骤六，若检测到未佩戴安全帽，向云台相机和监控探头发送示警指令。
一种基于深度学习的安全帽佩戴的检测系统，包括以下模块：
图像采集模块：与调整模块相连，包括无人机搭载的云台相机和部署在施工场景下的监控探头，用于获取图像数据。监控探头与云台相机，通过网络将图像信息上传至控制中心；
调整模块：对采集的图像信息进行分析和处理，并对摄像头参数进行调整，对接收的图像信息调用头部区域检测模型检测图中所有的头部区域，计算每一个头部区域的像素和，在100像素以下的区域，使用噪声进行覆盖，100像素及以上的区域不做处理，将图片送至安全帽佩戴检测模型进行安全帽佩戴检测对100像素以下的所有头部区域，计算它们的中心点坐标，将此坐标作为摄像头锁定跟踪算法的输入，控制云台调整摄像头，调整后放大镜头倍数继续进行图像采集和检测，直至图像中再无100像素以下头部区域；
风速识别模块：风速检测模块与无人机连接；通过测量空气流动速度与无人机的速度计算准确的实时风速，向控制中心发送风速值，控制中心接收，判断风速是否达阈值，如果达到阈值，则开启易坠落危险区域报警功能；
识别模块：将调整模块处理后的图像输入安全帽佩戴检测模型进行检测，并输出识别结果，若检测出未带安全帽或佩戴普通帽子以及大风环境下施工人员靠近易坠落危险区域，将图片上传至云端，输出报警指令；
报警模块：当接收到识别模块发出的报警指令后，调用摄像头内置音响，发出警示信息，并维持五秒。
系统工作时，S1、设置好无人机路线和监测点，起飞巡航；S2、到达监测点，拍照并基于头部区域检测模型，检测出图像中的头部区域。S3、计算头部检测框的像素总和。提取所有低于100像素区域的中心坐标，并对所有低于100像素的区域添加噪声掩盖。将处理后的图像送入安全帽佩戴检测模型。S4、基于安全帽佩戴检测模型对图像进行检测。 S5、对提取出的所有中心坐标计算中心点，将此中心点作为摄像头锁定跟踪算法的输入，控制云台调节摄像头方向并调整镜头放大倍数。S6、无人机搭载的风速测量仪时刻测量高空风速，当风速过快，则开启易坠落危险区域检测报警。S7、重复上述S3、S4、S5、S6后，控制无人机继续按照预定线路巡航。
尽管已经示出和描述了本发明的具体实施方式，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些具体实施方式进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于深度学习的安全帽佩戴的检测方法，其特征在于包括如下步骤：
步骤一，图像收集，挑选，标注，对图片数据集进行图片预处理；
步骤二，将预处理好的图片数据进行深度学习模型训练，根据训练结果，对头部区域检测模型和安全帽佩戴检测模型进行测试，在所有回合中挑选出精度超过阈值的模型进行封装；
步骤三，调用头部区域检测模型，计算头部检测框像素总和，对低于100像素的区域提取出中心坐标，并使用噪声覆盖，处理后的监控图像送入安全帽佩戴检测模型进行检测；
步骤四，将低于100像素的区域的中心坐标带入中心点公式，获得出所有低于100像素的区域的中心点；
步骤五，将中心点的坐标作为摄像头锁定追踪算法的输入，调节摄像头方向并调整镜头放大倍数，对低于100像素的区域重复上述步骤三和步骤四过程，直至没有低于100像素的区域；
步骤六，若检测到未佩戴安全帽，向云台相机和监控探头发送示警指令；
进行图片预处理时，对数据集使用掩码进行图像区域遮盖生成两个新的数据集A，B，再使用mosaic增强、平移、翻转方式，对原有的数据集和数据集A、B进行处理， A,B数据集的掩码区域生成公式如下：
Figure QLYQS_1
，
Figure QLYQS_2
，
Figure QLYQS_3
，
Figure QLYQS_4
，
Figure QLYQS_5
，
Figure QLYQS_6
，
Figure QLYQS_7
，
Figure QLYQS_8
，
Figure QLYQS_9
，
Figure QLYQS_10
，
其中，
Figure QLYQS_34
表示A数据集的掩码区域，/>
Figure QLYQS_37
表示B数据集的掩码区域，/>
Figure QLYQS_38
表示原数据集图片，/>
Figure QLYQS_16
表示原数据集图片与掩码区域相乘，对原数据集图片进行处理得到的数据集A图片，/>
Figure QLYQS_22
表示原数据集图片与掩码区域相乘，对原数据集图片进行处理得到的数据集B图片，/>
Figure QLYQS_29
,/>
Figure QLYQS_35
B表示数据集A，B的掩码区域生成函数，/>
Figure QLYQS_15
，/>
Figure QLYQS_19
，/>
Figure QLYQS_25
，/>
Figure QLYQS_32
，表示图片的右下角x坐标，y坐标以及图片的宽和高，/>
Figure QLYQS_20
，/>
Figure QLYQS_26
，/>
Figure QLYQS_31
，/>
Figure QLYQS_36
，表示/>
Figure QLYQS_14
区域的左上角x坐标，y坐标以及宽和高，/>
Figure QLYQS_21
，/>
Figure QLYQS_27
，/>
Figure QLYQS_33
，/>
Figure QLYQS_11
的值为真实框的左上角x坐标，y坐标以及宽和高，/>
Figure QLYQS_17
，
Figure QLYQS_23
，/>
Figure QLYQS_28
，/>
Figure QLYQS_13
表示/>
Figure QLYQS_18
区域的左上角x坐标，y坐标以及宽和高，/>
Figure QLYQS_24
表示图片数组中横坐标为/>
Figure QLYQS_30
,纵坐标为/>
Figure QLYQS_12
的数据的数值；
步骤三中进行检测的模型为安全帽佩戴检测模型，安全帽佩戴检测模型包括卷积模块、注意力模块、降噪模块，融合模块，
注意力模块将卷积模块的输入x，根据SoftMax函数在横向上进行运算，将得到的结果乘以特征图的宽度，送入SoftMax函数在纵向上进行运算，通过提取横纵方向的特征获取全局注意力权重，接下来通过卷积层，规范归一化层和激活函数对全局注意力权重数据进行处理得到y，处理完毕后再次由两个SoftMax函数提取横纵特征得到y1，根据残差思想将y1与x相乘再相加x作为最后的输出out，
注意力模块计算公式如下：
Figure QLYQS_39
，
Figure QLYQS_40
，
Figure QLYQS_41
，
Figure QLYQS_42
，
Figure QLYQS_44
为卷积模块的输入，/>
Figure QLYQS_50
为/>
Figure QLYQS_54
第/>
Figure QLYQS_46
维度的维度数，/>
Figure QLYQS_49
为对/>
Figure QLYQS_53
进行卷积归一化激活运算后得到的值，/>
Figure QLYQS_56
为提取出的/>
Figure QLYQS_43
的横向特征,/>
Figure QLYQS_47
为提取出的/>
Figure QLYQS_52
的纵向特征，/>
Figure QLYQS_55
为/>
Figure QLYQS_45
经过运算突出重要特征后的结果，/>
Figure QLYQS_48
函数第二位参数为0，表示按列运算，/>
Figure QLYQS_51
函数第二位参数为1，表示按行运算；
降噪模块使用两个相邻的特征图作为输入，包含一个通道注意力和一个空间注意力模块，一个上采样模块，一个特征的融合模块，将深层特征经上采样函数上采样至浅层特征的尺寸，将上采样后的深层特征送入通道注意力模块提取注意力权重，再送入空间注意力模块提取注意力权重，并将得到的通道注意力权重和空间注意力权重与浅层特征相乘；
降噪模块计算公式如下：
Figure QLYQS_57
，
Figure QLYQS_58
，
Figure QLYQS_59
，
Figure QLYQS_60
，
其中，
Figure QLYQS_61
表示通道注意力，/>
Figure QLYQS_62
表示空间注意力，/>
Figure QLYQS_63
为深层特征，/>
Figure QLYQS_64
为上采样后的深层特征，/>
Figure QLYQS_65
为浅层特征，/>
Figure QLYQS_66
为浅层特征降噪之后的输出结果， />
Figure QLYQS_67
表示张量之间相乘。
2.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法，其特征在于，
在步骤一中，根据需要进行检测的对象和场景，通过无人机航拍和监控探头进行收集后，从中挑选出1200张佩戴安全帽的人员图像，200张未佩戴安全帽的人员图像，600张易坠落危险区域图，共2000张图片；
将上述2000张图片按照6:2:2的数量比例随机划分为训练集、验证集和测试集，组成安全帽与危险区域图片集；将上述1200张佩戴安全帽的人员图像，200张未佩戴安全帽的人员图像，按照6:2:2的数量比例随机划分为训练集、验证集和测试集，组成头部区域图片集；
将上述两个图片集的头部区域，危险区域的位置和类别信息生成XML格式的标注数据集，并与图片一一对应，提取XML文件中的类别、位置、宽高信息转为TXT格式，与图像数据集按照格式一一对应，组成安全帽与危险区域数据集和头部区域数据集。
3.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法，其特征在于，
步骤二中，模型训练包括头部区域检测模型训练和安全帽佩戴检测训练，头部区域检测模型使用头部区域数据集进行训练，安全帽佩戴检测使用安全帽与危险区域数据集进行训练，两个模型训练时，先在数据集A训练100轮，然后在数据集B训练100轮，最后在原始数据集上训练300轮；
在训练过程中，设计了TIoU损失函数进行训练，在预测框和真实框不相交时，仅使用预测框和真实框中心点的距离来计算损失函数值，将预测框和真实框沿中心点的横向，纵向等分为四份，并用这四份区域的交集来计算预测框和真实框的方向和位置的损失函数值，
公式如下：
Figure QLYQS_68
，
Figure QLYQS_69
，
Figure QLYQS_70
，
Figure QLYQS_71
，
Figure QLYQS_72
，
Figure QLYQS_73
，
Figure QLYQS_82
为损失函数的值，/>
Figure QLYQS_88
1计算的是预测框/>
Figure QLYQS_94
与真实框的交集和预测框与真实框并集的比值，/>
Figure QLYQS_76
2计算的是预测框/>
Figure QLYQS_81
与真实框的交集和预测框与真实框并集的比值，/>
Figure QLYQS_87
3计算的是预测框/>
Figure QLYQS_93
与真实框的交集和预测框与真实框并集的比值，/>
Figure QLYQS_77
4计算的是预测框/>
Figure QLYQS_86
与真实框的交集和预测框与真实框并集的比值，/>
Figure QLYQS_91
计算的是预测框四部分与真实框的交集和并集的比值和，/>
Figure QLYQS_97
，/>
Figure QLYQS_78
，/>
Figure QLYQS_83
，/>
Figure QLYQS_89
表示真实框的四部分,/>
Figure QLYQS_95
，/>
Figure QLYQS_79
，/>
Figure QLYQS_84
，/>
Figure QLYQS_92
表示预测框的四部分，/>
Figure QLYQS_96
，/>
Figure QLYQS_74
分别表示预测框和真实框，/>
Figure QLYQS_80
表示欧式距离，/>
Figure QLYQS_85
表示预测框的中心，/>
Figure QLYQS_90
表示真实框的中心，/>
Figure QLYQS_75
表示最小外接矩形的对角线距离。
4.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法，其特征在于，
步骤三中，头部区域检测模型，检测出所有头部区域后，计算所有头部区域的像素总和，计算公式如下：
Figure QLYQS_98
，
Figure QLYQS_99
表示计算的检测框的像素总和， x1为头部检测框左下角的横坐标， x2为头部检测框右下角的横坐标,y1为头部检测框左下角的纵坐标，y2为头部检测框左上角的纵坐标，x2-x1表示检测框的单行横向像素个数，y2 -y1表示检测框的单行纵向像素个数；
计算完毕后，对像素总和小于100的区域施加噪声覆盖，噪声计算公式如下：
Figure QLYQS_100
，
在区间[0，255]内独立且服从均匀分布的随机数生成噪声随机数，
Figure QLYQS_101
为该均匀分布的期望，/>
Figure QLYQS_102
为常数， />
Figure QLYQS_103
表示噪声随机数个数， />
Figure QLYQS_104
为取出的所有随机数的和， />
Figure QLYQS_105
为取出的所有随机数的平均值，通过上述公式生成对应的噪声 />
Figure QLYQS_106
，
Figure QLYQS_107
，
Figure QLYQS_108
表示噪声覆盖后的区域， />
Figure QLYQS_109
表示图像中原来的区域， />
Figure QLYQS_110
表示噪声，p表示区域内的像素总和。
5.根据权利要求2所述基于深度学习的安全帽佩戴的检测方法，其特征在于，
易坠落危险区域检测的判断策略；
采用用于检测风速的风速检测仪，所述风速检测仪与无人机相连，无人机接收风速检测仪检测到的风速，并根据风速大小判断是否开启易坠落危险区域检测，风速大小的计算公式如下：
Figure QLYQS_111
，
其中
Figure QLYQS_112
为实际风速，/>
Figure QLYQS_113
为测量风速，/>
Figure QLYQS_114
为常量，常量/>
Figure QLYQS_115
的设置来源于无人机高空悬停时，固定翼高速旋转带起的气流对风速测量仪的影响。
6.根据权利要求1所述基于深度学习的安全帽佩戴的检测方法，其特征在于，
所述步骤四中，中心点坐标的计算，公式如下：
Figure QLYQS_116
，
Figure QLYQS_117
，
Figure QLYQS_118
为像素总和在100像素以下检测框的总数，/>
Figure QLYQS_119
为上述检测框中心点在图像中的横坐标，/>
Figure QLYQS_120
为上述检测框中心点在图像中的纵坐标，通过/>
Figure QLYQS_121
，/>
Figure QLYQS_122
分别求和并处以/>
Figure QLYQS_123
求平均值，得到坐标/>
Figure QLYQS_124
；
步骤五中将中心点的坐标作为摄像头锁定追踪算法的输入，计算摄像头云台的调整参数，根据上述的中心点坐标，与图像中心点坐标计算偏移量，为减少不同分辨率的影响，将偏移量整体放缩到[-1,1]，根据缩放后的偏移量正负得到云台的旋转方向，将偏移量乘以比例系数k得到云台角度的增量，由此得到云台的调整参数，
偏移量计算公式如下：
Figure QLYQS_125
，
Figure QLYQS_126
，
px为横向的偏移量，
Figure QLYQS_127
为步骤5所述中心点坐标的横坐标， x2为图像中心点的横坐标，py为横向的偏移量，y1为步骤5所述中心点坐标的纵坐标，y2为图像中心点的纵坐标，
云台角度增量的计算公式如下：
Figure QLYQS_128
，
Figure QLYQS_129
为云台角度增量，/>
Figure QLYQS_130
为云台的比例系数，/>
Figure QLYQS_131
为横向或纵向的偏移量。
7.一种用于权利要求1所述方法的基于深度学习的安全帽佩戴的检测系统，其特征在于，包括以下模块：
图像采集模块：与调整模块相连，包括无人机搭载的云台相机和部署在施工场景下的监控探头，用于获取图像数据，监控探头与云台相机，通过网络将图像信息上传至控制中心；
调整模块：对采集的图像信息进行分析和处理，并对摄像头参数进行调整，对接收的图像信息调用头部区域检测模型检测图中所有的头部区域，计算每一个头部区域的像素和，在100像素以下的区域，使用噪声进行覆盖，100像素及以上的区域不做处理，将图片送至安全帽佩戴检测模型进行安全帽佩戴检测对100像素以下的所有头部区域，计算它们的中心点坐标，将此坐标作为摄像头锁定跟踪算法的输入，控制云台调整摄像头方向，调整后放大镜头倍数继续进行图像采集和检测，直至图像中再无100像素以下头部区域；
风速识别模块：风速检测模块与无人机连接；通过测量空气流动速度与无人机的速度计算准确的实时风速，向控制中心发送风速值，控制中心接收，判断风速是否达阈值，如果达到阈值，则开启易坠落危险区域报警功能；
识别模块：将调整模块处理后的图像输入安全帽佩戴检测模型进行检测，并输出识别结果，若检测出未带安全帽或佩戴普通帽子以及大风环境下施工人员靠近易坠落危险区域，将图片上传至云端，输出报警指令；
报警模块：当接收到识别模块发出的报警指令后，调用摄像头内置音响，发出警示信息，并维持五秒。
CN202310382275.5A 2023-04-12 2023-04-12 基于深度学习的安全帽佩戴的检测方法及系统 Active CN116110081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310382275.5A CN116110081B (zh) 2023-04-12 2023-04-12 基于深度学习的安全帽佩戴的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310382275.5A CN116110081B (zh) 2023-04-12 2023-04-12 基于深度学习的安全帽佩戴的检测方法及系统

Publications (2)

Publication Number Publication Date
CN116110081A CN116110081A (zh) 2023-05-12
CN116110081B true CN116110081B (zh) 2023-06-30

Family

ID=86256514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310382275.5A Active CN116110081B (zh) 2023-04-12 2023-04-12 基于深度学习的安全帽佩戴的检测方法及系统

Country Status (1)

Country Link
CN (1) CN116110081B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402818A (zh) * 2023-06-08 2023-07-07 杭州华得森生物技术有限公司 全自动荧光扫描仪及其方法
CN117274566B (zh) * 2023-09-25 2024-04-26 北京工业大学 一种基于深度学习和株间杂草分布状况的实时除草方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778609A (zh) * 2016-12-15 2017-05-31 国网浙江省电力公司杭州供电公司 一种电力施工现场人员制服穿着识别方法
CN111914698A (zh) * 2020-07-16 2020-11-10 北京紫光展锐通信技术有限公司 图像中人体的分割方法、分割系统、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530874B (zh) * 2013-10-09 2016-06-29 上海大学 基于Kinect的人流计数方法
CN110866526B (zh) * 2018-08-28 2024-10-01 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
CN111611982B (zh) * 2020-06-29 2023-08-01 中国电子科技集团公司第十四研究所 一种利用模板匹配的安检图像背景噪声去除方法
CN112084838B (zh) * 2020-07-20 2022-07-29 河海大学 一种车间安全帽检测方法
CN114003058B (zh) * 2021-10-25 2024-01-26 上海宝冶冶金工程有限公司 一种安全帽佩戴智慧巡检系统及方法
CN115346332A (zh) * 2022-06-30 2022-11-15 大连致胜科技有限公司 高楼坠物地面预警装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778609A (zh) * 2016-12-15 2017-05-31 国网浙江省电力公司杭州供电公司 一种电力施工现场人员制服穿着识别方法
CN111914698A (zh) * 2020-07-16 2020-11-10 北京紫光展锐通信技术有限公司 图像中人体的分割方法、分割系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN116110081A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN116110081B (zh) 基于深度学习的安全帽佩戴的检测方法及系统
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN115909093A (zh) 一种基于无人机巡检和红外图像语义分割的电力设备故障检测方法
CN115060343B (zh) 一种基于点云的河流水位检测系统、检测方法
CN112344913B (zh) 一种利用无人机倾斜摄影影像的区域危险系数评估方法
CN112344869B (zh) 基于侧面拟合的铁塔变形监测方法及系统
Rong et al. Intelligent detection of vegetation encroachment of power lines with advanced stereovision
JP2020112438A (ja) 海面計測システム、海面計測方法および海面計測プログラム
CN111626987A (zh) 一种基于无人机及无锚框网络的车辆检测方法
CN115170753B (zh) 一种基于无人机倾斜摄影三维建模处理方法
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
CN115620239B (zh) 一种点云和视频结合的输电线路在线监测方法和系统
CN107221006A (zh) 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN112685812A (zh) 一种动态监管方法、装置、设备及存储介质
US20150016673A1 (en) Image processing apparatus, image processing method, and program
Krinitskiy et al. Adaptive algorithm for cloud cover estimation from all-sky images over the sea
CN117372875A (zh) 一种航空遥感目标识别方法
CN106372566A (zh) 一种基于数字标牌紧急疏散系统及方法
CN116612374A (zh) 一种基于结构光的人脸活体检测模型安全测试方法及系统
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN206300653U (zh) 一种虚拟现实系统中的空间定位装置
KR20210003518A (ko) 무인항공기를 이용한 송전설비의 진단장치 및 그 방법
CN114659499B (zh) 一种基于无人机技术的智慧城市3d地图模型摄影建立方法
Rong et al. A joint faster RCNN and stereovision algorithm for vegetation encroachment detection in power line corridors
KR20190136850A (ko) 정지궤도 적외선영상에서의 고도영향 저감방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant