CN114022845A

CN114022845A - 电工绝缘手套实时检测方法、计算机可读介质

Info

Publication number: CN114022845A
Application number: CN202111318710.5A
Authority: CN
Inventors: 马学民; 李梦冉; 史晨昱; 李岩; 赵鹤; 董建刚; 李亚莉
Original assignee: State Grid Henan Electric Power Co Zhengzhou Power Supply Co; Zhoukou Power Supply Co of State Grid Henan Electric Power Co Ltd
Current assignee: State Grid Henan Electric Power Co Zhengzhou Power Supply Co; Zhoukou Power Supply Co of State Grid Henan Electric Power Co Ltd
Priority date: 2021-11-09
Filing date: 2021-11-09
Publication date: 2022-02-08

Abstract

本发明涉及一种电工绝缘手套实时检测方法、一种存储有电工绝缘手套检测程序的计算机可读介质，包括：使用深度学习算法检测帧图像中是否存在行人图案，若在帧图像中检测到行人图案，则使用标记框标记行人图案；使用姿态估计算法提取标记框内的行人图案对应的腕关节坐标、肘关节坐标，根据腕关节坐标、肘关节坐标，以及标记框内的行人图案的手部提取图形提取标记框内的手部区域图像；在HSV空间中比较手部区域图像中每一像素的灰度值与绝缘手套灰度阈值，获得灰度值在绝缘手套灰度阈值范围内的像素与手部区域图像的像素的比例，比较比例与绝缘手套识别比例阈值，输出绝缘手套识别结果。它们可以提高视频中电工的绝缘手套的检测效率。

Description

电工绝缘手套实时检测方法、计算机可读介质

技术领域

本发明涉及图像中手套识别技术领域，具体涉及一种电工绝缘手套实时检测方法、一种存储有电工绝缘手套检测程序的计算机可读介质。

背景技术

物体识别是指在图像或者视频中找到指定的物体并框出物体的具体位置。物体识别算法有多种，最简单的仅仅通过使用物体的颜色来进行判断,然而颜色对于光照条件过于敏感，稳定性太差。后来有利用HAAR配合Adaboost进行人脸识别，HOG特征进行行人检测，SIFT或者SURF特征进行特征匹配进行目标识别等等。但这些算法的识别率都很容易收到环境干扰，而电力作业的环境因素恰恰是复杂多变的。如何克服图像识别中背景的多样化，光线变化，视角变化的干扰，一直是物体识别中最具挑战性的课题。

专利文献CN106548131A记载了一种基于行人检测的施工人员安全帽实时检测方法，包括以下步骤：步骤A)，实时采集需要进行施工人员安全帽检测的视频序列；步骤B)，训练基于ACF特征提取的行人检测器，训练数据采用国际通用的行人图像数据库；步骤C)，采用训练好的基于ACF特征提取的行人检测器对采集的视频序列中的第一帧图像进行检测，获得第一帧图像中行人的数量和各个行人的位置坐标，并将各个行人的有效检测次数均设置为零；步骤D)，从采集的视频序列中的第二帧图像开始，反复执行步骤E)至步骤I)，直至采集的视频序列中所有帧图像均检测完毕；步骤E)，采用训练好的基于ACF特征提取的行人检测器对采集的视频序列中的当前帧图像进行检测，获得当前帧图像中行人的数量和各个行人的位置坐标；步骤F)，比较当前帧图像中和上一帧图像中的所有行人，将上一帧图像中没有、当前帧图像中存在的行人的有效检测次数设置为零；步骤G)，根据上一帧图像中各个行人的位置坐标采用卡尔曼滤波器预测上一帧图像中各个行人在当前帧图像中的位置坐标；步骤H)，对于当前帧图像和上一帧图像中均存在的每一个行人，将其通过基于ACF特征提取的行人检测器监测出的位置坐标和其通过卡尔曼滤波器预设出的位置坐标进行比较，若两者之间的距离小于预设的距离阈值，则对该行人的有效检测次数进行加1；步骤I)，对于当前帧图像中的每一个行人，将其有效检测次数和预设的次数阈值进行比较；步骤I.1)，若其有效检测次数大于预设的次数阈值，则获得该行人的头部区域图像；步骤I.1.1)，将该行人的头部区域图像转换至HSV空间，获得转换后的头部区域图像；步骤I.1.2)，将转换后头部区域图像的每一个像素的灰度值与预设的安全帽灰度阈值范围进行比较，获得灰度值在预设的安全帽灰度阈值范围内的像素在整体头部区域图像的像素中的占比；步骤I.1.3)，将灰度值在预设的安全帽灰度阈值范围内的像素在整体头部区域图像的像素中的占比和预设的第一比例阈值进行比较，若灰度值在预设的安全帽灰度阈值范围内的像素在整体头部区域图像的像素中的占比大于等于预设的第一比例阈值，则输出该行人的头部区域图像。

前述技术方案用于检测施工人员的安全帽，与安全帽检测相比，绝缘手套检测存在以下难度：头部活动空间小，但手部活动空间大。

发明内容

本发明的目的是提供一种电工绝缘手套实时检测方法、一种存储有电工绝缘手套检测程序的计算机可读介质，以提高视频中电工的绝缘手套的检测效率。

本发明的技术方案是：

一种电工绝缘手套实时检测方法，包括以下步骤：

使用深度学习算法检测帧图像中是否存在行人图案，若在帧图像中检测到行人图案，则使用标记框标记所述行人图案；

使用姿态估计算法提取所述标记框内的行人图案对应的腕关节坐标、肘关节坐标，根据腕关节坐标、肘关节坐标，以及所述标记框内的行人图案的手部提取图形提取所述标记框内的手部区域图像；

在HSV空间中比较所述手部区域图像中每一像素的灰度值与绝缘手套灰度阈值，获得灰度值在绝缘手套灰度阈值范围内的像素与手部区域图像的像素的比例，比较所述比例与绝缘手套识别比例阈值，输出绝缘手套识别结果。

优选的，所述深度学习算法为SSD(Single Shot Multi-Box Detector)算法，所述SSD算法的特征提取层包括Inception结构。

优选的，所述深度学习算法利用tensorflow搭建卷积神经网络结构，由输入层、卷积层、激励层，池化层、全连接层和输出层组成，其中输入层接收图片数据，作为tensor张量传入，所述卷积层数目≥5，每一卷积层均采用padding和pooling算法，将一个带有卷积核的local receptive fields扫描生成为一个feature map，并且在网络层之间采用batchnormalization，所述全连接层有2层，通过activation_function将信息转化为一个二分类的结果作为输出层，实现特定目标状态判断。

优选的，所述姿态估计算法使用Openpose回归出行人的关节点以及part affinefield(PAF)，再通过PAF对这些关节点进行划分，获得腕关节坐标、肘关节坐标。

优选的，以所述腕关节坐标为参考点，以所述肘关节坐标和所述腕关节坐标确定所述手部提取图形的旋转角，使用匹配所述标记框内的行人图案的手部提取图形提取所述图形标记框内的手部区域图像。

优选的，测算匹配所述标记框内的行人图案的手部提取图形的方法是：使用姿态估计算法处理所述标记框内的行人图案时，还提取所述标记框内的行人图案对应的踝关节坐标和头部坐标，根据所述踝关节坐标、所述头部坐标、手部提取图形与身高比测算所述行人图案的手部提取图形大小。

优选的，测算匹配所述标记框内的行人图案的手部面积的方法是：根据标记框面积，以及行人图案的手部提取图形面积与标记框面积的比例，测算所述行人图案的手部提取图形大小。

优选的，若所述比例＜绝缘手套识别比例阈值，所述绝缘手套识别结果为：所述标记框内所述行人图案对应的手部未佩戴绝缘手套。

一种存储有电工绝缘手套检测程序的计算机可读介质，所述电工绝缘手套检测程序能够被运行以执行前述的电工绝缘手套实时检测方法。

一种存储有电工绝缘手套检测程序的计算机可读介质，所述电工绝缘手套检测程序包括：输入模块、识别模块和输出模块，所述输入模块用于接收待识别图像；所述识别模块包括用于检测行人图案的深度学习算法、用于提取行人图案的关节坐标的姿态估计算法、用于提取行人图案的手部图形的目标区域像素提取算法、HSV空间转换算法和比较器，所述输出模块用于输出绝缘手套识别结果。

本发明的有益效果是：

1.首先检测帧图像中是否存在行人图案，可以提高绝缘手套识别效率。根据腕关节坐标、肘关节坐标，以及所述标记框内的行人图案的手部提取图形提取标记框内的手部区域图像，可以提高手部区域图像提取准确度，进而提高绝缘手套的识别准确度。这样，本发明的电工绝缘手套实时检测方法识别效率高，绝缘手套识别准确度高。

2.SSD在小目标识别上的性能不够完善。当神经网络层数增加变的更“深”后，能够学习到更抽象的特征。然而一味地加深也会导致在训练过程中发生诸如梯度消失或者过拟合的问题。为了在性能和准确度取得平衡，在SSD的特征值提取层里加入Inception结构，这样，不同大小的卷积核拥有不同的感受野，通过组合小卷积核来代替大卷积核能有效保留更多的目标特征。增加了卷积内核的类型后，使得SSD感受野的范围增大，对小目标更加敏感同时不会失去对大目标的识别。

3.采用卷积神经网络提取图片特征，将类别之间的差异映射到更高维度，从而有效地实现行人检测。每一层均采用padding和pooling算法，将一个带有卷积核的localreceptive fields扫描生成为一个feature map，并且在网络层之间采用batchnormalization，可以避免“梯度弥散”。

4.对于行人，其手部提取图形与身高比的关联性较高。在放大或缩小行人图案时，其踝关节坐标、头部坐标的距离与身高维持一定的比例。因此，可以根据踝关节坐标、头部坐标、手部提取图形与身高比测算行人图案的手部提取图形大小，从而准确提取标记框内的手部区域图像。

具体实施方式

下面以实施例的形式说明本发明，以辅助本技术领域的技术人员理解和实现本发明。除另有说明外，不应脱离本技术领域的技术知识背景理解以下的实施例及其中的技术术语。

实施例1：一种电工绝缘手套实时检测方法，包括以下步骤：

获取摄像机输出的帧图案；

使用深度学习算法检测帧图像中是否存在行人图案，若在帧图像中检测到行人图案，则使用标记框标记行人图案；本实施例中，深度学习算法为SSD(Single Shot Multi-Box Detector)算法，SSD算法的特征提取层包括Inception结构。

使用姿态估计算法提取标记框内的行人图案对应的腕关节坐标、肘关节坐标，根据腕关节坐标、肘关节坐标，以及标记框内的行人图案的手部提取图形提取所述标记框内的手部区域图像；本实施例中，姿态估计算法使用Openpose回归出行人的关节点以及partaffine field(PAF)，再通过PAF对这些关节点进行划分，获得腕关节坐标、肘关节坐标、踝关节坐标和头部坐标。测算匹配所述标记框内的行人图案的手部提取图形的方法是：根据所述踝关节坐标、所述头部坐标、手部提取图形与身高比测算行人图案的手部提取图形大小。根据踝关节坐标、头部坐标、手部提取图形与身高比测算行人图案的手部提取图形大小，以腕关节坐标为参考点，以肘关节坐标和腕关节坐标确定手部提取图形的旋转角，使用匹配标记框内的行人图案的手部提取图形提取标记框内的手部区域图像。

在HSV空间中比较手部区域图像中每一像素的灰度值与绝缘手套灰度阈值，获得灰度值在绝缘手套灰度阈值范围内的像素与手部区域图像的像素的比例，比较比例与绝缘手套识别比例阈值，输出绝缘手套识别结果。具体的，将手部区域图像转换至HSV空间，获得转换后的手部区域图像；将转换后的手部区域图像的每一个像素的灰度值与预设的绝缘手套灰度阈值范围进行比较，获得灰度值在绝缘手套灰度阈值范围内的像素与手部区域图像的像素的比例；比较该比例与绝缘手套识别比例阈值，若该比例＜绝缘手套识别比例阈值，则绝缘手套识别结果为：所述标记框内行人图案对应的手部未佩戴绝缘手套。若该比例≥绝缘手套识别比例阈值，则绝缘手套识别结果为：所述标记框内行人图案对应的手部佩戴有绝缘手套。

实施例2：一种电工绝缘手套实时检测方法，包括以下步骤：

获取摄像机输出的帧图案；

使用深度学习算法检测帧图像中是否存在行人图案，若在帧图像中检测到行人图案，则使用标记框标记行人图案；本实施例中，深度学习算法利用tensorflow搭建卷积神经网络结构，由输入层、卷积层、激励层，池化层、全连接层和输出层组成，其中输入层接收图片数据，作为tensor张量传入，所述卷积层数目为24，一般的，卷积层数目≥5就可以获得较好的检测效果。每一卷积层均采用padding和pooling算法，将一个带有卷积核的localreceptive fields扫描生成为一个feature map，并且在网络层之间采用batchnormalization，全连接层有2层，通过activation_function将信息转化为一个二分类的结果作为输出层，实现特定目标状态判断。

使用姿态估计算法提取标记框内的行人图案对应的腕关节坐标、肘关节坐标，根据腕关节坐标、肘关节坐标，以及标记框内的行人图案的手部提取图形提取所述标记框内的手部区域图像；本实施例中，姿态估计算法使用Openpose回归出行人的关节点以及partaffine field(PAF)，再通过PAF对这些关节点进行划分，获得腕关节坐标、肘关节坐标。测算匹配所述标记框内的行人图案的手部面积的方法是：根据标记框面积，以及行人图案的手部提取图形面积与标记框面积的比例，测算所述行人图案的手部提取图形大小。根据踝关节坐标、头部坐标、手部提取图形与身高比测算行人图案的手部提取图形大小，以腕关节坐标为参考点，以肘关节坐标和腕关节坐标确定手部提取图形的旋转角，使用匹配标记框内的行人图案的手部提取图形提取标记框内的手部区域图像。

实施例3：一种存储有电工绝缘手套检测程序的计算机可读介质，电工绝缘手套检测程序能够被运行以执行实施例1或实施例2的电工绝缘手套实时检测方法。

本实施例中，电工绝缘手套检测程序包括：输入模块、识别模块和输出模块。

输入模块用于接收待识别图像。

所述识别模块包括用于检测行人图案的深度学习算法、用于提取关节坐标的姿态估计算法、用于提取手部图形的目标区域像素提取算法、HSV空间转换算法和比较器。使用时，深度学习算法检测待识别图像中是否存在行人图案，若在帧图像中检测到行人图案，则使用标记框标记待识别图像中的行人图案。姿态估计算法提取标记框内的行人图案对应的腕关节坐标、肘关节坐标。目标区域像素提取算法以腕关节坐标为参考点，以肘关节坐标和腕关节坐标确定手部提取图形的旋转角，使用匹配标记框内的行人图案的手部提取图形提取标记框内的手部区域图像。HSV空间转换算法转换手部区域图像的每一像素点为HSV值。比较器比较手部区域图像中每一像素的灰度值与绝缘手套灰度阈值，获得灰度值在绝缘手套灰度阈值范围内的像素与手部区域图像的像素的比例，比较比例与绝缘手套识别比例阈值。

输出模块用于输出绝缘手套识别结果。若该比例＜绝缘手套识别比例阈值，则绝缘手套识别结果为：所述标记框内行人图案对应的手部未佩戴绝缘手套。若该比例≥绝缘手套识别比例阈值，则绝缘手套识别结果为：所述标记框内行人图案对应的手部佩戴有绝缘手套。

上面结合实施例对本发明作了详细的说明。应当明白，实践中无法穷尽地说明所有可能的实施方式，在此通过举例说明的方式尽可能的阐述本发明得发明构思。在不脱离本发明的发明构思、且未付出创造性劳动的前提下，本技术领域的技术人员对上述实施例中的技术特征进行取舍组合、具体参数进行试验变更，或者利用本技术领域的现有技术对本发明已公开的技术手段进行常规替换形成的具体的实施例，均应属于为本发明隐含公开的内容。

Claims

1.一种电工绝缘手套实时检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的电工绝缘手套实时检测方法，其特征在于，所述深度学习算法为SSD算法，所述SSD算法的特征提取层包括Inception结构。

3.如权利要求1所述的电工绝缘手套实时检测方法，其特征在于，所述深度学习算法利用tensorflow搭建卷积神经网络结构，由输入层、卷积层、激励层，池化层、全连接层和输出层组成，其中输入层接收图片数据，作为tensor张量传入，所述卷积层数目≥5，每一卷积层均采用padding和pooling算法，将一个带有卷积核的local receptive fields扫描生成为一个feature map，并且在网络层之间采用batch normalization，所述全连接层有2层，通过activation_function将信息转化为一个二分类的结果作为输出层，实现特定目标状态判断。

4.如权利要求1所述的电工绝缘手套实时检测方法，其特征在于，所述姿态估计算法使用Openpose回归出行人的关节点以及PAF，再通过PAF对这些关节点进行划分，获得腕关节坐标、肘关节坐标。

5.如权利要求1所述的电工绝缘手套实时检测方法，其特征在于，以所述腕关节坐标为参考点，以所述肘关节坐标和所述腕关节坐标确定所述手部提取图形的旋转角，使用匹配所述标记框内的行人图案的手部提取图形提取所述图形标记框内的手部区域图像。

6.如权利要求5所述的电工绝缘手套实时检测方法，其特征在于，测算匹配所述标记框内的行人图案的手部提取图形的方法是：使用姿态估计算法处理所述标记框内的行人图案时，还提取所述标记框内的行人图案对应的踝关节坐标和头部坐标，根据所述踝关节坐标、所述头部坐标、手部提取图形与身高比测算所述行人图案的手部提取图形大小。

7.如权利要求5所述的电工绝缘手套实时检测方法，其特征在于，测算匹配所述标记框内的行人图案的手部面积的方法是：根据标记框面积，以及行人图案的手部提取图形面积与标记框面积的比例，测算所述行人图案的手部提取图形大小。

8.如权利要求1所述的电工绝缘手套实时检测方法，其特征在于，若所述比例＜绝缘手套识别比例阈值，所述绝缘手套识别结果为：所述标记框内所述行人图案对应的手部未佩戴绝缘手套。

9.一种存储有电工绝缘手套检测程序的计算机可读介质，其特征在于，所述电工绝缘手套检测程序能够被运行以执行如权利要求1-8中任一项所述的电工绝缘手套实时检测方法。

10.一种存储有电工绝缘手套检测程序的计算机可读介质，其特征在于，所述电工绝缘手套检测程序包括：输入模块、识别模块和输出模块，所述输入模块用于接收待识别图像；所述识别模块包括用于检测行人图案的深度学习算法、用于提取行人图案的关节坐标的姿态估计算法、用于提取行人图案的手部图形的目标区域像素提取算法、HSV空间转换算法和比较器，所述输出模块用于输出绝缘手套识别结果。