CN113240695A - 基于姿态感知的电力作业人员穿戴识别方法 - Google Patents

Abstract

本发明提供了基于姿态感知的电力作业人员穿戴识别方法，其整体由人形姿态感知与穿戴识别两个阶段组成，其对电力作业现场进行拍摄而得到相应的电力作业现场影像，并利用残差网络对电力作业现场影像尽心人形骨架估计与边缘检测，从而定位电力作业人员的穿戴设备的关键局部区域，以缩小穿戴设备搜寻的范围；同时其采用姿态感知网络实现人形姿态的感知，并利用人形的特点确定穿戴设备区域；再采用特征提取与识别网络在确定的穿戴目标区域进行特征提取与识别，这样能够大大缩短目标识别的时间、以及能够提高对弱小目标和遮挡穿戴设备的识别的准确率。

Description

基于姿态感知的电力作业人员穿戴识别方法

技术领域

本发明涉及图像识别的技术领域，尤其涉及基于姿态感知的电力作业人员穿戴识别方法。

背景技术

在电力施工现场中，工作人员的不规范穿戴防护衣、鞋子、安全带、手套或者安全帽等设备往往会造成安全生产故事。目前，利用计算机视觉技术可以实现对施工作业人员的穿戴情况进行检测与识别，并对不规范的穿戴行为进行预警，从而避免安全事故的发生。传统的穿戴识别方法主要包括图像分割与特征识别两个步骤，其主要提取目标较浅的显著特征进行识别，其识别性能受环境影响大，鲁棒性不强，难以适应复杂的施工现场人员的穿戴设备识别。

现有技术基于深度学习的目标检测算法构建网络模型，并利用网络模型对工作人员的设备穿戴情况进行识别检测，但是这种方式大都集中于单一设备进行识别（主要为安全帽的识别），且识别的搜索区域分布在整个图像区域，其无法将搜索区域限制在工作人员的人形区域中，这无疑增大区域搜索的用时。同时，现有的穿戴识别网络着重于穿戴目标的特性，其忽略了穿戴设备与人形结构特性的联系，其识别的准确性有限。

发明内容

针对上述现有技术存在的缺陷，本发明提供基于姿态感知的电力作业人员穿戴识别方法，其对电力作业现场进行拍摄，从而得到电力作业现场影像；对电力作业现场影像进行降噪预处理；接着对电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图；再对人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图；以及根据姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域；并从每个子区域提取得到对应的穿戴设备特征图；最后对穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否；并根据判断结果，对电力作业人员进行预警提示；可见，该基于姿态感知的电力作业人员穿戴识别方法整体由人形姿态感知与穿戴识别两个阶段组成，其对电力作业现场进行拍摄而得到相应的电力作业现场影像，并利用残差网络对电力作业现场影像尽心人形骨架估计与边缘检测，从而定位电力作业人员的穿戴设备的关键局部区域，以缩小穿戴设备搜寻的范围；同时其采用姿态感知网络实现人形姿态的感知，并利用人形的特点确定穿戴设备区域；再采用特征提取与识别网络在确定的穿戴目标区域进行特征提取与识别，这样能够大大缩短目标识别的时间、以及能够提高对弱小目标和遮挡穿戴设备的识别的准确率。

本发明提供基于姿态感知的电力作业人员穿戴识别方法，其特征在于，其包括如下步骤：

步骤S1，对电力作业现场进行拍摄，从而得到电力作业现场影像；对所述电力作业现场影像进行降噪预处理；

步骤S2，对所述电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图；再对所述人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图；

步骤S3，根据所述姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域；并从每个子区域提取得到对应的穿戴设备特征图；

步骤S4，对所述穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否；并根据判断结果，对电力作业人员进行预警提示；

进一步，在所述步骤S1中，对电力作业现场进行拍摄，从而得到电力作业现场影像具体包括：

步骤S101，对电力作业现场进行全景扫描拍摄，从而得到相应的电力作业现场全景影像；

步骤S102，确定所述电力作业现场全景影像中包含的电力作业人员子影像的实际分辨率；并将所述实际分辨率与预设分辨率阈值进行比对；若所述实际分辨率超过所述预设分辨率阈值，则将所述电力作业现场全景影像作为最终的影像；若所述实际分辨率不超过所述预设分辨率阈值，则降低全景扫描拍摄对应的扫描拍摄频率后，重新进行全景扫描拍摄，直到所述实际分辨率超过所述预设分辨率阈值为止；

进一步，在所述步骤S1中，对所述电力作业现场影像进行降噪预处理具体包括：

先对所述电力作业现场影像进行中值滤波处理，从而去除所述电力作业现场影像中的脉冲噪声；

再对所述电力作业现场影像进行维纳滤波处理，从而去除所述电力作业现场影像中的白噪声；

进一步，在所述步骤S2中，对所述电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图具体包括：

步骤S201，利用ResNeXt网络对所述电力作业现场影像进行处理，从而提取得到所述电力作业现场影像对应的轮廓深度特征图；

步骤S202，对所述轮廓深度特征图像进行反卷积聚合处理，从而得到电力作业人员的人形轮廓边缘图；

进一步，在所述步骤S2中，对所述人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图具体包括：

在所述人形轮廓边缘图中标定人体区域的15个人形骨架关键点，从而将所述人形轮廓边缘图转换为电力作业人员的姿态关键节点图；其中，每个人形骨架关键节点唯一对应于人体的一个关节点；

进一步，在所述步骤S3中，根据所述姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域具体包括：

步骤S301，从所述姿态关键节点图中提取每个人形骨架关键点的坐标值以及人形轮廓边界点的坐标值；

步骤S302，根据每个人形骨架关键点的坐标值，将每个人形骨架关键点确定为电力作业人员的每个骨架区域对应的中心点；并根据所述骨架区域内骨架在横向方向和纵向方向各自的骨架维度尺寸，确定所述骨架区域的横向尺寸和纵向尺寸；

步骤S303，以所述中心点作为截取矩形框的中心点，并且以所述横向尺寸和所述纵向尺寸分别作为所述截取矩形框的初始宽度和初始长度，从而确定截取矩形框的初始形状；将所述截取矩形框从所述初始形状起逐步扩大，当所述截取矩形框在扩大过程中与所述人形轮廓边缘图的边界外接接触时，停止扩大所述截取矩形框，并将当前所述截取矩形框覆盖的区域作为电力作业人员的人体穿戴区域其中一个子区域；其中，所述子区域包括头部子区域、上身子区域、下身子区域、手掌子区域或者脚部子区域；

进一步，在所述步骤S302中，根据所述骨架区域内骨架在横向方向和纵向方向各自的骨架维度尺寸，确定所述骨架区域的横向尺寸和纵向尺寸具体包括：

确定所述骨架区域内骨架在横向方向上的最小横向坐标值和最大横向坐标值，并将所述最大横向坐标值与所述最小横向坐标值之间的差值作为所述骨架区域的横向尺寸；

确定所述骨架区域内骨架在纵向方向上的最小纵向坐标值和最大纵向坐标值，并将所述最大纵向坐标值与所述最小纵向坐标值之间的差值作为所述骨架区域的纵向尺寸；

进一步，在所述步骤S3中，从每个子区域提取得到对应的穿戴设备特征图具体包括：

从每个子区域提取得到对应的穿戴设备颜色特征图和/或穿戴设备纹理特征图；其中，所述穿戴设备颜色特征图是指穿戴设备的RGB三基色分布特征图；所述穿戴设备纹理特征图是指穿戴设备的表面纹理分布特征图；

进一步，在所述步骤S4中，对所述穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否具体包括：

步骤S401，构建CBAM+ResNeXt的残差网络，并所述残差网络进行迁移学习，从而实现对所述残差网络的优化；

步骤S402，将所述穿戴设备特征图输入至优化后的残差网络，从而判断电力作业人员每个人体部分是否穿着合适的穿戴设备以及每个穿戴设备是否准确地配置在相应的人体部分上；

步骤S403，若电力作业人员每个人体部分穿着合适的穿戴设备以及每个穿戴设备准确地配置在相应的人体部分上，则确定对应人体部分的穿戴设备穿着正常；否则，确定对应人体部分的穿戴设备穿着异常；

进一步，在所述步骤S4中，根据判断结果，对电力作业人员进行预警提示具体包括：

若判断对应人体部分的穿戴设备穿着异常，则向电力作业人员发送提醒穿戴设备穿着异常的语音提示消息。

相比于现有技术，本发明的基于姿态感知的电力作业人员穿戴识别方法对电力作业现场进行拍摄，从而得到电力作业现场影像；对电力作业现场影像进行降噪预处理；接着对电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图；再对人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图；以及根据姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域；并从每个子区域提取得到对应的穿戴设备特征图；最后对穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否；并根据判断结果，对电力作业人员进行预警提示；可见，该基于姿态感知的电力作业人员穿戴识别方法整体由人形姿态感知与穿戴识别两个阶段组成，其对电力作业现场进行拍摄而得到相应的电力作业现场影像，并利用残差网络对电力作业现场影像尽心人形骨架估计与边缘检测，从而定位电力作业人员的穿戴设备的关键局部区域，以缩小穿戴设备搜寻的范围；同时其采用姿态感知网络实现人形姿态的感知，并利用人形的特点确定穿戴设备区域；再采用特征提取与识别网络在确定的穿戴目标区域进行特征提取与识别，这样能够大大缩短目标识别的时间、以及能够提高对弱小目标和遮挡穿戴设备的识别的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于姿态感知的电力作业人员穿戴识别方法的流程示意图。

图2为本发明提供的基于姿态感知的电力作业人员穿戴识别方法中对应的人形骨架关键节点分布示意图。

图3为本发明提供的基于姿态感知的电力作业人员穿戴识别方法对具有不同姿态的电力作业人员的穿戴识别结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明提供的基于姿态感知的电力作业人员穿戴识别方法的流程示意图。该基于姿态感知的电力作业人员穿戴识别方法包括如下步骤：

步骤S1，对电力作业现场进行拍摄，从而得到电力作业现场影像；对该电力作业现场影像进行降噪预处理；

步骤S2，对该电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图；再对该人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图；

步骤S3，根据该姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域；并从每个子区域提取得到对应的穿戴设备特征图；

步骤S4，对该穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否；并根据判断结果，对电力作业人员进行预警提示。

上述技术方案的有益效果为：该基于姿态感知的电力作业人员穿戴识别方法首先对电力作业现场进行拍摄，以此拍摄得到包含电力作业人员的影像，再对影像进行人形轮廓边缘检测处理和人形骨架估计处理，从而转换得到电力作业人员的姿态关键节点图；再根据该姿态关键节点图将电力作业人员的人体穿戴区域划分为若干不同的子区域，以此对每个子区域分别进行搜索识别而确定电力作业人员每个人体部分的穿戴设备穿着是否正常，并对电力作业人员进行预警提示，该识别方法包括人形姿态感知和穿戴识别这两个主要步骤组成，利用残差网络对电力作业现场影像尽心人形骨架估计与边缘检测，从而定位电力作业人员的穿戴设备的关键局部区域，以缩小穿戴设备搜寻的范围；同时其采用姿态感知网络实现人形姿态的感知，并利用人形的特点确定穿戴设备区域；再采用特征提取与识别网络在确定的穿戴目标区域进行特征提取与识别，这样能够大大缩短目标识别的时间、以及能够提高对弱小目标和遮挡穿戴设备的识别的准确率。

优选地，在该步骤S1中，对电力作业现场进行拍摄，从而得到电力作业现场影像具体包括：

步骤S101，对电力作业现场进行全景扫描拍摄，从而得到相应的电力作业现场全景影像；

步骤S102，确定该电力作业现场全景影像中包含的电力作业人员子影像的实际分辨率；并将该实际分辨率与预设分辨率阈值进行比对；若该实际分辨率超过该预设分辨率阈值，则将该电力作业现场全景影像作为最终的影像；若该实际分辨率不超过该预设分辨率阈值，则降低全景扫描拍摄对应的扫描拍摄频率后，重新进行全景扫描拍摄，直到该实际分辨率超过该预设分辨率阈值为止。

上述技术方案的有益效果为：电力作业现场通常为高空作业现场，电力作业人员需要在高压电线塔上进行作业，相应地电力作业人员会存在不同的作业姿态，为了对电力作业现场中所有电力作业人员进行全面拍摄，可采用但不限于是无人机等设备对电力作业现场进行全景扫描拍摄，这样能够便于从不同角度对电力作业人员进行全景拍摄，从而保证在单次拍摄过程中能够将所有电力作业人员都完整地拍摄到影像中和有效避免电力作业人员遗漏拍摄的情况。此外，在对电力作业现场进行全景扫描拍摄的过程中存在对焦不精确的情况，会导致拍摄的影像中电力作业人员的影像部分存在分辨率低下的问题，若影像的分辨率过低，则会导致无法从影像中准确的识别电力作业人员的姿态，这不利于后续对电力作业人员的设备穿戴情况进行可靠和准确的识别。为了避免拍摄的影像质量低下而影响识别精度，需要在影像的分辨率不满足预设分辨率阈值条件的情况下，重新对电力作业现场进行拍摄，从而大大提高影像拍摄质量的可靠性。

优选地，在该步骤S1中，对该电力作业现场影像进行降噪预处理具体包括：

先对该电力作业现场影像进行中值滤波处理，从而去除该电力作业现场影像中的脉冲噪声；

再对该电力作业现场影像进行维纳滤波处理，从而去除该电力作业现场影像中的白噪声。

上述技术方案的有益效果为：在对电力作业现场进行拍摄过程中会不可避免地引入不同类型的噪声，这样噪声会对后续影像识别产生不同的影像。比如影像中存在的脉冲噪声会使影像的不同区域存在离散的噪声，这些脉冲噪声会使得影像局部区域的分辨率下降，而影像中存在的白噪声则会使影像中代表影像细节部分的高频影像成分产生缺失，从而降低影像的细节化质量。通过对电力作业现场影像进行中值滤波处理和维纳滤波处理，能够有效去除影像中的脉冲噪声和白噪声，从而大大提高影像的质量。而中值滤波处理和维纳滤波处理属于本领域的常规噪声滤波手段，这里就不做进一步的累述。

优选地，在该步骤S2中，对该电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图具体包括：

步骤S201，利用ResNeXt网络对该电力作业现场影像进行处理，从而提取得到该电力作业现场影像对应的轮廓深度特征图；

步骤S202，对该轮廓深度特征图像进行反卷积聚合处理，从而得到电力作业人员的人形轮廓边缘图。

上述技术方案的有益效果为：在实际操作中，可利用ResNeXt-50作为基础网络，并利用ResNeXt-50不同深度卷积层输出不同的轮廓深度的图像特征，以此将电力作业现场影像输入到ResNeXt-50后转换得到相应的轮廓深度特征图；其中，该轮廓深度特征图是指电力作业现场影像对应的影像轮廓特征分布图。由于电力作业现场影像中电力作业人员对应的影像部分与背景影像部分之间的交接区域在影像轮廓深度上存在较大的差别，此时将该轮廓深度特征图输入至相应的特征聚合模块中进行反卷积聚合处理而实现特征融合，以此确定该轮廓深度特征图像中的轮廓深度差别界限，即可作为电力作业人员的人形轮廓边缘图，这样能够快速地对电力作业人员的人形轮廓边界进行标定，从而在后续处理过程中，只需要对该人形轮廓边界内部的区域进行搜索即可，而无需对影像进行大范围的全面搜索，这能够大大地减少图像搜索的工作量。其中，该特征聚合模块是利用ResNeXt-50网络中的上采样模块与聚合模块共同组成，从而对输入的信息进行反卷积聚合处理，其为ResNeXt-50网络的常用数据处理模块，这里就不做进一步的累述。

优选地，在该步骤S2中，对该人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图具体包括：

在该人形轮廓边缘图中标定人体区域的15个人形骨架关键点，从而将该人形轮廓边缘图转换为电力作业人员的姿态关键节点图；其中，每个人形骨架关键节点唯一对应于人体的一个关节点。

上述技术方案的有益效果为：当人形轮廓边缘图确定后，电力作业人员在作业过程中的人体外形区域也相应被确定。同时处于作业状态的电力作业人员会存在下蹲或者俯下等不同姿态，而这些姿态也是电力作业人员的不同关节点弯曲而共同形成的，每个关节点的弯曲都会带动相应的人体部分发生位姿改变，比如膝关节的弯曲会带动大腿与小腿的位姿发生改变。从图2可见，人体区域包含15个人形骨架关键点（即关节点），比如肩关节、肘关节、腕关节、髋关节和膝关节等，这样通过在该人体轮廓边缘图中标定人体区域的15个人形骨架关键点，能够快速地获得电力作业人员的姿态关键节点图，以便于后续对电力作业人员的人体穿戴区域进行精确的划分。

优选地，在该步骤S3中，根据该姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域具体包括：

步骤S301，从该姿态关键节点图中提取每个人形骨架关键点的坐标值以及人形轮廓边界点的坐标值；

步骤S302，根据每个人形骨架关键点的坐标值，将每个人形骨架关键点确定为电力作业人员的每个骨架区域对应的中心点；并根据该骨架区域内骨架在横向方向和纵向方向各自的骨架维度尺寸，确定该骨架区域的横向尺寸和纵向尺寸；

步骤S303，以该中心点作为截取矩形框的中心点，并且以该横向尺寸和该纵向尺寸分别作为该截取矩形框的初始宽度和初始长度，从而确定截取矩形框的初始形状；将该截取矩形框从该初始形状起逐步扩大，当该截取矩形框在扩大过程中与该人形轮廓边缘图的边界外接接触时，停止扩大该截取矩形框，并将当前该截取矩形框覆盖的区域作为电力作业人员的人体穿戴区域其中一个子区域；其中，该子区域包括头部子区域、上身子区域、下身子区域、手掌子区域或者脚部子区域。

上述技术方案的有益效果为：每个人形骨架关键点的坐标值和人形轮廓边界点的坐标值直接决定电力作业人员的骨架区域分布情况，比如电力作业人员的身体包括头部骨架、上身骨架、下身骨架、手掌骨架和脚部骨架这几个主要骨架区域，通过上述以人形骨架关键点作为中心点以及骨架区域的横向尺寸和纵向尺寸分别作为截取矩形框的宽度和长度，来对电力作业人员的整体人体区域划分为若干子区域，能够便于对每个子区域进行单独的搜索识别，以此确定每个子区域中防护衣、鞋子、安全带、手套或者安全帽等设备的穿戴情况，并且还能够有效避免对电力作业人员的某些子区域发生遗漏识别的情况。

优选地，在该步骤S302中，根据该骨架区域内骨架在横向方向和纵向方向各自的骨架维度尺寸，确定该骨架区域的横向尺寸和纵向尺寸具体包括：

确定该骨架区域内骨架在横向方向上的最小横向坐标值和最大横向坐标值，并将该最大横向坐标值与该最小横向坐标值之间的差值作为该骨架区域的横向尺寸；

确定该骨架区域内骨架在纵向方向上的最小纵向坐标值和最大纵向坐标值，并将该最大纵向坐标值与该最小纵向坐标值之间的差值作为该骨架区域的纵向尺寸。

上述技术方案的有益效果为：以骨架区域内骨架在横向方向和纵向方向上的尺寸作为截取矩形框的初始宽度和初始长度，能够保证初始确定的截取矩形框能够覆盖相应的骨架区域，从而提高子区域的划分准确性。

优选地，在该步骤S3中，从每个子区域提取得到对应的穿戴设备特征图具体包括：

从每个子区域提取得到对应的穿戴设备颜色特征图和/或穿戴设备纹理特征图；其中，该穿戴设备颜色特征图是指穿戴设备的RGB三基色分布特征图；该穿戴设备纹理特征图是指穿戴设备的表面纹理分布特征图。

上述技术方案的有益效果为：由于防护衣、鞋子、安全带、手套或者安全帽等设备通常具有特定的颜色和布料表面纹理分析特性，这样通过从每个子区域提取得到对应的RGB颜色分布特征和/或图像纹理分布特征，这样能够对每个子区域的穿戴设备进行准确的标定，以便于后续准确判断电力作业人员的设备穿戴情况。

优选地，在该步骤S4中，对该穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否具体包括：

步骤S401，构建CBAM+ResNeXt的残差网络，并该残差网络进行迁移学习，从而实现对该残差网络的优化；

步骤S402，将该穿戴设备特征图输入至优化后的残差网络，从而判断电力作业人员每个人体部分是否穿着合适的穿戴设备以及每个穿戴设备是否准确地配置在相应的人体部分上；

步骤S403，若电力作业人员每个人体部分穿着合适的穿戴设备以及每个穿戴设备准确地配置在相应的人体部分上，则确定对应人体部分的穿戴设备穿着正常；否则，确定对应人体部分的穿戴设备穿着异常。

上述技术方案的有益效果为：CBAM是一种结合了空间（spatial）和通道（channel）的注意力的轻量级模块，沿着空间和通道两个维度依次推断出注意力权重，实现对特征进行自适应调整，更加有效地表征目标的本质特征。电力作业人员穿戴服饰具有多样性，如颜色、材质、款式等各种各样。为了提高穿戴设备的准确性，同时避免增加训练额外开销，将CBAM无缝地集成到ResNeXt的上一个特征层最后一个卷积模块与下一个特征层第一个卷积模块之间中，从而构建得到相应的CBAM+ResNeXt的残差网络。并且还采用ImageNet图像数据库中120万标注图片对CBAM+ResNeXt残差网络进行迁移学习训练，得到穿戴识别预训练网络，这样能够保证训练后的残差网络准确率趋于稳定和模型收敛；其中，迁移学习训练包括加载预训练模型、特征提取、softmax回归三个步骤。这样将该穿戴设备特征图输入至优化后的残差网络，能够判断电力作业人员的每个人体部分是否穿着合适的穿戴设备以及每个穿戴设备是否准确地配置在相应的人体部分上，比如判断电力作业人员的手部是否穿戴着手套以及该手套是否完全覆盖手部且没有发生脱落，从而大大提高对电力作业人员设备穿戴识别的准确率。

参阅图3，为本发明提供的基于姿态感知的电力作业人员穿戴识别方法对具有不同姿态的电力作业人员的穿戴识别结果示意图。该图3分别显示了电力作业人员在作业过程中处于不同姿态下，对电力作业人员不同人体部分设备穿戴的识别结果。通过本发明的识别方法无论电力作业人员处于何种姿态、电力作业人员对应的目标如何弱小或者电力作业人员的人体部分是否被遮挡，均能够准确地识别电力作业人员全身不同区域的设备穿戴情况，这里就不做进一步的累述。

优选地，在该步骤S4中，根据判断结果，对电力作业人员进行预警提示具体包括：

若判断对应人体部分的穿戴设备穿着异常，则向电力作业人员发送提醒穿戴设备穿着异常的语音提示消息。

上述技术方案的有益效果为：当判断对应的人体部分的穿戴设备穿着异常时，及时向电力作业人员发送提醒穿戴设备穿着异常的语音提示消息，从而便于电力作业人员及时地调整自身的设备穿戴情况，比如调整电力作业人员自身安全带的扣合情况或者安全帽在头部的佩戴情况。

从上述实施例的内容可知，该基于姿态感知的电力作业人员穿戴识别方法整体由人形姿态感知与穿戴识别两个阶段组成，其对电力作业现场进行拍摄而得到相应的电力作业现场影像，并利用残差网络对电力作业现场影像尽心人形骨架估计与边缘检测，从而定位电力作业人员的穿戴设备的关键局部区域，以缩小穿戴设备搜寻的范围；同时其采用姿态感知网络实现人形姿态的感知，并利用人形的特点确定穿戴设备区域；再采用特征提取与识别网络在确定的穿戴目标区域进行特征提取与识别，这样能够大大缩短目标识别的时间、以及能够提高对弱小目标和遮挡穿戴设备的识别的准确率。

Claims (10)

1.基于姿态感知的电力作业人员穿戴识别方法，其特征在于，其包括如下步骤：

步骤S1，对电力作业现场进行拍摄，从而得到电力作业现场影像；对所述电力作业现场影像进行降噪预处理；

步骤S2，对所述电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图；再对所述人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图；

步骤S3，根据所述姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域；并从每个子区域提取得到对应的穿戴设备特征图；

步骤S4，对所述穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否；并根据判断结果，对电力作业人员进行预警提示。

2.根据权利要求1所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S1中，对电力作业现场进行拍摄，从而得到电力作业现场影像具体包括：

步骤S101，对电力作业现场进行全景扫描拍摄，从而得到相应的电力作业现场全景影像；

步骤S102，确定所述电力作业现场全景影像中包含的电力作业人员子影像的实际分辨率；并将所述实际分辨率与预设分辨率阈值进行比对；若所述实际分辨率超过所述预设分辨率阈值，则将所述电力作业现场全景影像作为最终的影像；若所述实际分辨率不超过所述预设分辨率阈值，则降低全景扫描拍摄对应的扫描拍摄频率后，重新进行全景扫描拍摄，直到所述实际分辨率超过所述预设分辨率阈值为止。

3.根据权利要求1所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S1中，对所述电力作业现场影像进行降噪预处理具体包括：

先对所述电力作业现场影像进行中值滤波处理，从而去除所述电力作业现场影像中的脉冲噪声；

再对所述电力作业现场影像进行维纳滤波处理，从而去除所述电力作业现场影像中的白噪声。

4.根据权利要求1所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S2中，对所述电力作业现场影像进行人形轮廓边缘检测，从而得到电力作业人员的人形轮廓边缘图具体包括：

步骤S201，利用ResNeXt网络对所述电力作业现场影像进行处理，从而提取得到所述电力作业现场影像对应的轮廓深度特征图；

步骤S202，对所述轮廓深度特征图像进行反卷积聚合处理，从而得到电力作业人员的人形轮廓边缘图。

5.根据权利要求4所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S2中，对所述人形轮廓边缘图进行人形骨架估计处理，从而得到电力作业人员的姿态关键节点图具体包括：

在所述人形轮廓边缘图中标定人体区域的15个人形骨架关键点，从而将所述人形轮廓边缘图转换为电力作业人员的姿态关键节点图；其中，每个人形骨架关键节点唯一对应于人体的一个关节点。

6.根据权利要求5所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S3中，根据所述姿态关键节点图，将电力作业人员的人体穿戴区域划分为若干不同的子区域具体包括：

步骤S301，从所述姿态关键节点图中提取每个人形骨架关键点的坐标值以及人形轮廓边界点的坐标值；

步骤S302，根据每个人形骨架关键点的坐标值，将每个人形骨架关键点确定为电力作业人员的每个骨架区域对应的中心点；并根据所述骨架区域内骨架在横向方向和纵向方向各自的骨架维度尺寸，确定所述骨架区域的横向尺寸和纵向尺寸；

步骤S303，以所述中心点作为截取矩形框的中心点，并且以所述横向尺寸和所述纵向尺寸分别作为所述截取矩形框的初始宽度和初始长度，从而确定截取矩形框的初始形状；将所述截取矩形框从所述初始形状起逐步扩大，当所述截取矩形框在扩大过程中与所述人形轮廓边缘图的边界外接接触时，停止扩大所述截取矩形框，并将当前所述截取矩形框覆盖的区域作为电力作业人员的人体穿戴区域其中一个子区域；其中，所述子区域包括头部子区域、上身子区域、下身子区域、手掌子区域或者脚部子区域。

7.根据权利要求6所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S302中，根据所述骨架区域内骨架在横向方向和纵向方向各自的骨架维度尺寸，确定所述骨架区域的横向尺寸和纵向尺寸具体包括：

确定所述骨架区域内骨架在横向方向上的最小横向坐标值和最大横向坐标值，并将所述最大横向坐标值与所述最小横向坐标值之间的差值作为所述骨架区域的横向尺寸；

确定所述骨架区域内骨架在纵向方向上的最小纵向坐标值和最大纵向坐标值，并将所述最大纵向坐标值与所述最小纵向坐标值之间的差值作为所述骨架区域的纵向尺寸。

8.根据权利要求6或7所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S3中，从每个子区域提取得到对应的穿戴设备特征图具体包括：

从每个子区域提取得到对应的穿戴设备颜色特征图和/或穿戴设备纹理特征图；其中，所述穿戴设备颜色特征图是指穿戴设备的RGB三基色分布特征图；所述穿戴设备纹理特征图是指穿戴设备的表面纹理分布特征图。

9.根据权利要求1所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S4中，对所述穿戴设备特征图进行残差网络识别处理，从而判断电力作业人员每个人体部分的穿戴设备穿着正常与否具体包括：

步骤S401，构建CBAM+ResNeXt的残差网络，并所述残差网络进行迁移学习，从而实现对所述残差网络的优化；

步骤S402，将所述穿戴设备特征图输入至优化后的残差网络，从而判断电力作业人员每个人体部分是否穿着合适的穿戴设备以及每个穿戴设备是否准确地配置在相应的人体部分上；

步骤S403，若电力作业人员每个人体部分穿着合适的穿戴设备以及每个穿戴设备准确地配置在相应的人体部分上，则确定对应人体部分的穿戴设备穿着正常；否则，确定对应人体部分的穿戴设备穿着异常。

10.根据权利要求9所述的基于姿态感知的电力作业人员穿戴识别方法，其特征在于：

在所述步骤S4中，根据判断结果，对电力作业人员进行预警提示具体包括：

若判断对应人体部分的穿戴设备穿着异常，则向电力作业人员发送提醒穿戴设备穿着异常的语音提示消息。

Images