CN114758363A - 一种基于深度学习的绝缘手套佩戴检测方法和系统 - Google Patents
一种基于深度学习的绝缘手套佩戴检测方法和系统 Download PDFInfo
- Publication number
- CN114758363A CN114758363A CN202210676751.XA CN202210676751A CN114758363A CN 114758363 A CN114758363 A CN 114758363A CN 202210676751 A CN202210676751 A CN 202210676751A CN 114758363 A CN114758363 A CN 114758363A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- detection information
- color
- gray scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的绝缘手套佩戴检测方法和系统,包括以下步骤:获取电力工作人员的手部区域图像;获取预训练的神经网络模型,将手部区域图像输入所述神经网络模型;获取重叠度高于第一阈值的灰度检测信息;获取重叠度高于第二阈值的颜色检测信息;获取重叠度高于第三阈值的轮廓检测信息;基于所述灰度检测信息、颜色检测信息和轮廓检测信息,生成手套检测结果。采用本方案,能通过深度学习,依次检测工作人员是否佩戴手套、是否佩戴绝缘手套以及是否正确佩戴手套,进一步提高了工作人员对提升安全防护意识和现场安全作业水平。
Description
技术领域
本发明涉及神经网络图像处理技术领域,具体涉及一种基于深度学习的绝缘手套佩戴检测方法和系统。
背景技术
随着生产生活对电力能源的需求量的增加,我国对电力生产产生了更高的需求,受多方面因素的影响,我国电力生产事故的发生频率处于较高水平,对城市的安全生产造成了威胁,因此,必须要将全方位的安全生产理念引入到电力生产作业中,为电力系统的正常运行提供保障,电力生产作业过程中工序复杂,日常巡检和维修过程中会接触高压电力设备,如操作不当或未佩戴防护装备,特别是在高空作业中,极容易出现安全事故。
为解决上述问题,现有技术中公开了基于神经网络和相对算法来检测工作人员是否佩戴手套,但其仅能检测出工作人员是否佩戴手套,但对于进一步检测工作人员是否佩戴绝缘手套,以及是否正确佩戴手套,目前还未有深度的检测方式。因此,进一步研究对工作人员防护措施的检测,对提升安全防护意识和现场安全作业水平具有重要意义。
发明内容
本发明的目的在于提供一种基于深度学习的绝缘手套佩戴检测方法和系统,采用本方案,能通过深度学习,依次检测工作人员是否佩戴手套、是否佩戴绝缘手套以及是否正确佩戴手套,进一步提高了工作人员对提升安全防护意识和现场安全作业水平。
本发明通过下述技术方案实现:
一种基于深度学习的绝缘手套佩戴检测方法,包括以下步骤:
获取电力工作人员的手部区域图像;
获取预训练的神经网络模型,将所述手部区域图像输入所述神经网络模型;
所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比,获取重叠度高于第一阈值的灰度检测信息;
所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比,获取重叠度高于第二阈值的颜色检测信息;
所述神经网络模型构建所述颜色检测信息的边缘轮廓,生成边缘轮廓特征,所述神经网络模型将所述边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比,获取重叠度高于第三阈值的轮廓检测信息;
基于所述灰度检测信息、颜色检测信息和轮廓检测信息,生成手套检测结果。
进一步优化,所述神经网络模型中包括有人工输入的图像数据集,并对图像数据集标注为:佩戴手套的灰度图像数据集、佩戴绝缘手套的颜色图像数据集和佩戴绝缘手套的轮廓图像数据集。
进一步优化,获取预训练的神经网络模型,将所述手部区域图像输入所述神经网络模型后,还包括以下步骤:
对所述手部区域图像进行置信度判断,剔除置信度低于第四阈值所述手部区域图像。
进一步优化,在所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比时,若未获取到重叠度高于第一阈值的灰度检测信息,则生成第一异常信息,所述神经网络模型调用所述第一异常信息,并向电力工作人员反馈第一报警结果;
和/或,在所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比时,若未获取到重叠度高于第二阈值的颜色检测信息,则生成第二异常信息,所述神经网络模型调用所述第二异常信息,并向电力工作人员反馈第二报警结果;
和/或,在所述神经网络模型将所述边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比时,若未获取到重叠度高于第三阈值的轮廓检测信息,则生成第三异常信息,所述神经网络模型调用所述第三异常信息,并向电力工作人员反馈第三报警结果。
进一步优化,获取电力工作人员的手部区域图像时,还包括以下子步骤:
使用深度学习算法检测帧图像中是否存在工作人员图案,若存在工作人员图案,则使用标记框标记所述工作人员图案,使用姿态估计算法提取所述标记框内的工作人员图案对应的腕部坐标和掌部坐标;最后根据腕部坐标和掌部坐标,以及所述标记框内的工作人员图案的手部提取图形提取所述标记框内的手部区域图像。
进一步优化,所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比时,包括以下具体步骤:
所述神经网络模型以所述腕部坐标为中心建立坐标系,从所述腕部坐标到所述掌部坐标方向建立第一提取路径,所述神经网络模型在第一提取路径上依次提取多个连续不断的灰度特征;
在提取多个连续不断的灰度特征后,从所述第一提取路径上,所述神经网络模型依次对相邻两个所述灰度特征进行对比,若相邻两个所述灰度特征之间的灰度差值γ大于第五阈值,则在此相邻两个所述灰度特征中,将导致灰度差值γ大于第五阈值的所述灰度特征标记为灰度特征,然后将所述灰度特征和佩戴手套的灰度特征进行重叠度对比。
进一步优化,所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比时,包括以下具体步骤:
所述神经网络模型在所述灰度检测信息中,以掌部中心建立坐标系,从所述掌部的一侧到另一侧方向建立第二提取路径,所述神经网络模型在第二提取路上依次提取多个连续不断的颜色特征;
在提取多个连续不断的颜色特征后,从所述第二提取路上,所述神经网络模型依次对相邻两个所述颜色特征进行对比,若相邻两个所述颜色特征之间的色度差值δ不大于第六阈值,则将任意一个颜色特征标记,然后将标记的所述颜色特征和佩戴绝缘手套的颜色特征进行重叠度对比。
进一步优化,一种基于深度学习的绝缘手套佩戴检测系统,包括:
采集单元,所述采集模块用于获取电力工作人员的手部区域图像;
数据处理单元,所述数据处理单元用于获取预训练的神经网络模型,将所述手部区域图像输入所述神经网络模型;
其中,所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比,获取重叠度高于第一阈值的灰度检测信息;
所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比,获取重叠度高于第二阈值的颜色检测信息;
所述神经网络模型构建所述颜色检测信息的边缘轮廓,生成边缘轮廓特征,所述神经网络模型将所述边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比,获取重叠度高于第三阈值的轮廓检测信息;
基于所述灰度检测信息、颜色检测信息和轮廓检测信息,生成手套检测结果。
进一步优化,所述采集单元包括:环形滑轨和摄像头,所述环形滑轨上带有滑块,所述滑块底部带有旋转电机,所述旋转电机的丝杆竖向设置,并和安装架连接,所述摄像头安装于所述安装架上;
所述安装架包括圆柱板,所述丝杆端部通过万向球和所述圆柱板的轴心连接;所述丝杆上固定套设有套筒,所述圆柱板端部设有连接块,所述套筒和所述连接块之间设有液压伸缩杆,所述液压伸缩杆的两端均分别与所述套筒和所述连接块铰接;
所述液压伸缩杆两端的转动方向相同,且所述转动方向为圆柱板的径向方向。
进一步优化,所述安装架内还设有驱动装置,所述驱动装置用于驱动所述摄像头在水平和竖直方向转动,所述转动方向均以所述圆柱板为平面。
本发明与现有技术相比,具有如下的优点和有益效果:
1.本发明提供了一种基于深度学习的绝缘手套佩戴检测方法和系统,采用本方案,能通过深度学习,依次检测工作人员是否佩戴手套、是否佩戴绝缘手套以及是否正确佩戴手套,进一步提高了工作人员对提升安全防护意识和现场安全作业水平。
2.本发明提供了一种基于深度学习的绝缘手套佩戴检测方法和系统,采用本方案,通过可移动的摄像头,便于快速采集工作人员图像,节省的摄像头的数量;且通过液压伸缩杆的伸缩,使整个摄像头左右偏移一定的角度,可规避杆件等阻挡物的阻挡,特别是在高空作业下,能采集到完整的手部图像。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。在附图中:
图1为一些具体实施例中提供的流程示意图;
图2为一些具体实施例中提供的系统流程图;
图3为一些具体实施例中提供的采集装置的结构示意图;
图4为一些具体实施例中提供的采集装置的局部示意图。
附图中标记及对应的零部件名称:
1-环形滑轨,11-滑块,2-摄像头,3-旋转电机,31-丝杆,32-套筒,4-安装架,41-圆柱板,42-连接块,43-第一转轴,44-连接杆,45-万向节,46-第二转轴,47-波动轮,48-棘爪,49-棘轮,50-第三转轴,51-第二伸缩杆,5-万向球,6-液压伸缩杆,7-第一驱动装置,8-支撑架,9-第二驱动装置。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1
本实施例1提供了一种基于深度学习的绝缘手套佩戴检测方法,在该方法处理过程中,请结合参阅图1,提供了一种基于深度学习的绝缘手套佩戴检测方法的流程示意图,其具体方案中,包括以下步骤:
步骤S1:获取电力工作人员的手部区域图像;
步骤S2:获取预训练的神经网络模型,将手部区域图像输入神经网络模型;
步骤S3:神经网络模型将手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比,获取重叠度高于第一阈值的灰度检测信息;
步骤S4:神经网络模型将灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比,获取重叠度高于第二阈值的颜色检测信息;
步骤S5:神经网络模型构建颜色检测信息的边缘轮廓,生成边缘轮廓特征,神经网络模型将边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比,获取重叠度高于第三阈值的轮廓检测信息;
步骤S6:基于灰度检测信息、颜色检测信息和轮廓检测信息,生成手套检测结果。
相对于现有技术中,仅能检测出工作人员是否佩戴手套,但对于进一步检测工作人员是否佩戴绝缘手套,以及是否正确佩戴手套,目前还未有深度的检测方式的问题,本实施例提供了一种基于深度学习的绝缘手套佩戴检测方法,采用本方法,能通过深度学习,依次检测工作人员是否佩戴手套、是否佩戴绝缘手套以及是否正确佩戴手套,进一步提高了工作人员对提升安全防护意识和现场安全作业水平。
在具体执行上述步骤过程中,首先需先获取电力工作人员的手部区域图像,并将手部区域图像输入到预训练的神经网络模型中进行训练,在训练过程中,由于人体手部的灰度和手套的灰度有所区别,因此,神经网络模型能将手部区域图像的灰度特征提取出来,并和提前输入的在正常状态下佩戴手套时的灰度特征进行重叠度对比,若重叠度高于第一阈值,则将灰度特征标记为灰度检测信息;通过此方式可检测工作人员是否佩戴手套;
在进一步执行过程中,由于绝缘手套颜色透亮均匀,并和普通手套的颜色具有较大差别,因此,可在现场作业过程中配备统一颜色的绝缘手套,如和普通手套颜色差异性较大的红色的绝缘手套,而为对佩戴普通手套和绝缘手套进行检测区分,需将灰度检测信息中的手部区域图像和佩戴普通手套时的颜色特征进行重叠度对比,若重叠度高于第二阈值,则将此检测信息标记为颜色检测信息;
在进一步执行过程中,由于手套的佩戴过程中具有正确的佩戴规范,如佩戴绝缘手套时其长度是否足够超过衣袖,或绝缘手套是否偏移等等,因此,神经网络模型需在颜色检测信息上构件绝缘手套的边缘轮廓,从而生成边缘轮廓特征,然后再将此边缘轮廓特征和正确佩戴绝缘手套时的轮廓特征进行重叠度对比,若重叠度超出第三阈值,则将此轮廓特征标记为轮廓检测信息。最后,通过依次进行对比生成的灰度检测信息、颜色检测信息和轮廓检测信息,从而输出手套检测结果,判断工作人员是否正确佩戴手套,进一步提高了工作人员对提升安全防护意识和现场安全作业水平,为深度学习在变电站智能安全风险管控中的应用提高了实用性。
在一些具体实施例中,为方便对比,需提前输入正确佩戴手套、绝缘手套以及正确佩戴绝缘手套的轮廓的图像数据,因此,本方案中,需在神经网络模型中包括有人工输入的图像数据集,并对图像数据集标注为:佩戴手套的灰度图像数据集、佩戴绝缘手套的颜色图像数据集和佩戴绝缘手套的轮廓图像数据集。
在一些具体实施例中,为剔除获取的手部区域图像中杂余图像,如未拍摄到手部的完整图像等,防止该图像在神经网络模型对手套检测结果产生干扰,因此,本方案中,对手部区域图像进行置信度判断,剔除置信度低于第四阈值手部区域图像;其中第一阈值、第二阈值、第三阈值、第四阈值和第五阈值可由用于根据摄像头检测精度、实际监测要求自行定义,本申请不对其数值做具体限定。
在一些具体实施例中,在检测工作人员佩戴手套时,若检测到工作人员未规范佩戴绝缘手套,则需产生报警信号,提醒工作人员规范佩戴绝缘手套,本方案中,在神经网络模型将手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比时,若未获取到重叠度高于第一阈值的灰度检测信息,则生成第一异常信息,神经网络模型调用第一异常信息,并向电力工作人员反馈第一报警结果,此时第一报警结果为未佩戴手套,用于提醒工作人员佩戴手套;而在神经网络模型将灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比时,若未获取到重叠度高于第二阈值的颜色检测信息,则生成第二异常信息,神经网络模型调用第二异常信息,并向电力工作人员反馈第二报警结果,此时第二报警结果为未佩戴绝缘手套,用于提醒工作人员佩戴绝缘手套;在神经网络模型将边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比时,若未获取到重叠度高于第三阈值的轮廓检测信息,则生成第三异常信息,神经网络模型调用第三异常信息,并向电力工作人员反馈第三报警结果,此时第三报警结果为未正确佩戴绝缘手套,用于提醒工作人员正确规范佩戴绝缘手套。
在一些具体实施例中,为正确定位到工作人员手部区域,若存在工作人员图案,则使用标记框标记工作人员图案,本方案中,使用深度学习算法检测帧图像中是否存在工作人员图案,本实施例中,深度学习算法为SSD(Single Shot Multi-Box Detector)算法,SSD算法的特征提取层包括Inception结构;然后使用姿态估计算法提取标记框内的工作人员图案对应的腕部坐标和掌部坐标,本实施例中,姿态估计算法使用Openpose回归出行人的关节点以及partaffine field(PAF),再通过PAF对这些关节点进行划分,获得腕部坐标和掌部坐标;最后根据腕部坐标和掌部坐标,以及标记框内的工作人员图案的手部提取图形提取标记框内的手部区域图像。
在一些具体实施例中,为提高检测精度,优化检测步骤,本方案中,神经网络模型以腕部坐标为中心建立坐标系,从腕部坐标到掌部坐标方向建立第一提取路径,神经网络模型在第一提取路径上依次提取多个连续不断的灰度特征,如提取连续不断的多个灰度框;在提取多个连续不断的灰度特征后,从第一提取路径上,神经网络模型依次对相邻两个灰度特征进行对比,若相邻两个灰度特征之间的灰度差值γ大于第五阈值,即相邻两个灰度特征之间的灰度差较大,其差值超出了第五阈值,则在此相邻两个灰度特征中,将导致灰度差值γ大于第五阈值的灰度特征,即将灰度变化较大的灰度特征标记为灰度特征,然后将灰度特征和佩戴手套的灰度特征进行重叠度对比,以此判断是否佩戴手套,若相邻两个灰度特征之间的灰度差值均未超出第五阈值,则进行报警,生成第一报警结果。
在一些具体实施例中,为提高检测精度,本方案中,由于绝缘手套颜色分布均匀,光泽透亮,因此,神经网络模型在灰度检测信息中,以掌部中心建立坐标系,从掌部的一侧到另一侧方向建立第二提取路径,即绝缘手套的横向路径中颜色几乎统一,神经网络模型在第二提取路上依次提取多个连续不断的颜色特征;在提取多个连续不断的颜色特征后,从第二提取路上,神经网络模型依次对相邻两个颜色特征进行对比,若相邻两个颜色特征之间的色度差值δ不大于第六阈值,此时代表横向颜色几乎为统一色度,此时便可进行对比,则将任意一个颜色特征标记,然后将标记的颜色特征和佩戴绝缘手套的颜色特征进行重叠度对比;若检测出的色度差值大于第六阈值,则代表颜色不统一,即并不是绝缘手套,此时进行报警,生成第二报警结果。
实施例2
本实施例2在实施例1的基础上进一步优化,如图2所示,提供了一种基于深度学习的绝缘手套佩戴检测系统。
请参阅图2,在本检测系统中,包括:
采集单元,采集模块用于获取电力工作人员的手部区域图像;
数据处理单元,数据处理单元用于获取预训练的神经网络模型,将手部区域图像输入神经网络模型;
其中,神经网络模型将手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比,获取重叠度高于第一阈值的灰度检测信息;
神经网络模型将灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比,获取重叠度高于第二阈值的颜色检测信息;
神经网络模型构建颜色检测信息的边缘轮廓,生成边缘轮廓特征,神经网络模型将边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比,获取重叠度高于第三阈值的轮廓检测信息;
基于灰度检测信息、颜色检测信息和轮廓检测信息,生成手套检测结果。
实施例3
本实施例3在实施例2的基础上进一步优化,如图3至图4所示,提供了采集单元的具体结构形式。
请参阅图3,在一些具体实施例中,采集单元包括有环形滑轨1和摄像头2,其中环形滑轨1设置于施工现场的空中,滑轨上设有滑块11,在现有驱动模块的驱动下,滑块11可带动摄像头2在环形滑轨1上滑动,以此便于摄像头2捕捉工作人员,采用可移动的摄像头2,能降低摄像头2的安装数量;在滑块11的底部带有旋转电机3,旋转电机3的输出端上带有丝杆31,并能带动丝杆31旋转,丝杆31竖向设置,且其下端带有安装架4,安装架4内安装有摄像头2,此时通过丝杆31旋转,便可调整摄像头2的拍摄方向,依次便于顺利捕捉到工作人员。安装架4包括有横向放置的圆柱板41,丝杆31的端部通过万向球5和圆柱板41的轴心连接,此时圆柱板41可万向活动,即可朝任意相向倾斜;在丝杆31中部固定套设有套筒32,套筒32随丝杆31同步转动,在圆柱板41端部设有连接块42,套筒32和连接块42之间设有液压伸缩杆6,液压伸缩杆6两端均为铰接,且铰接的旋转方向为沿圆柱板41的径向方向;而由于现场工作环境,特别是高处作业时,空中连接杆44件纵横交错,数量繁多,在合适的位置拍摄工作人员手部图像时,很容易拍摄到杆件从而导致图像产生误差,而现有技术中的摄像头2为避免出现阻挡物,均为沿轨道方向移动,但移动后,其拍摄位置并不合适,因此本方案中,通过控制端能智能控制液压伸缩杆6的液压阀,使液压伸缩杆6伸缩,从而带动摄像头2朝左或者朝右倾斜,从而使摄像头2在能刚好拍摄手部图像的位置范围内,朝左或朝右偏移方向,从而避开杆件等阻挡物。
在一些具体实施例中,丝杆31和套筒32之间、圆柱板41和连接块42之间均为可拆卸连接方式,便于手动调整圆柱板41的倾斜方向,其中连接块42为夹持块。
请参阅图1和图2,在一些具体实施例中,公开了驱动装置的具体结构,安装架4还包括设于圆柱板41底部的支撑架8,摄像头2的两侧均设有支撑架8,支撑架8上设有第一转轴43,第一转轴43可绕自身轴线旋转,第一转轴43和第一伸缩杆一端连接,第一伸缩杆另一端和摄像头2连接,第一转轴43用于带动摄像头2在竖直方向上转动;圆柱板41上设有第三转轴50,第三转轴50可绕自身轴线旋转,第三转轴50和第二伸缩杆51一端连接,第二伸缩杆51另一端和摄像头2顶部连接,第三转轴50用于带动摄像头2在水平方向上转动;通过第一转轴43和第三转轴50的转动,能调整摄像头2的摄像角度,使摄像头2能定位工作人员手部,并使摄像头2且成像质量最佳,提高摄像头2识别系统的识别精度。
第一伸缩杆和摄像头2、第二伸缩杆51和摄像头2之间均安装有万向节45,万向节45通过轴承和摄像头2连接,位于摄像头2两侧的万向节45之间通过第二转轴46连接,第二转轴46中部套设有波动轮47,波动轮47侧面设有棘爪48,摄像头2内侧设有棘轮49,波动轮47设于棘轮49内部,棘轮49侧壁带有多个向外凸出的棘齿;第二转轴46用于带动波动轮47旋转,棘爪48和棘齿相互配合,用于带动棘轮49旋转,棘轮49用于带动摄像头2在竖直方向上转动;棘爪48旋转一周,带动棘轮49转动一个棘齿齿距;由于电机转速较快,本方案用于更精确的控制摄像头2的旋转角度,此时只需分别控制每个电机,设置不同的转速,即可在竖直方向上旋转不同的角度,用于根据不同高度差异的生产段与施工段,调整旋转角度,实现精确监控。
在一些具体实施例中,在第一转轴43上连接有第一驱动装置7,用于带动第一转轴43旋转;在第三转轴50上连接有第二驱动电机,用于带动第三转轴50旋转。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的绝缘手套佩戴检测方法,其特征在于,包括以下步骤:
获取电力工作人员的手部区域图像;
获取预训练的神经网络模型,将所述手部区域图像输入所述神经网络模型;
所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比,获取重叠度高于第一阈值的灰度检测信息;
所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比,获取重叠度高于第二阈值的颜色检测信息;
所述神经网络模型构建所述颜色检测信息的边缘轮廓,生成边缘轮廓特征,所述神经网络模型将所述边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比,获取重叠度高于第三阈值的轮廓检测信息;
基于所述灰度检测信息、颜色检测信息和轮廓检测信息,生成手套检测结果。
2.根据权利要求1所述的一种基于深度学习的绝缘手套佩戴检测方法,其特征在于,所述神经网络模型中包括有人工输入的图像数据集,并对图像数据集标注为:佩戴手套的灰度图像数据集、佩戴绝缘手套的颜色图像数据集和佩戴绝缘手套的轮廓图像数据集。
3.根据权利要求1所述的一种基于深度学习的绝缘手套佩戴检测方法,其特征在于,获取预训练的神经网络模型,将所述手部区域图像输入所述神经网络模型后,还包括以下步骤:
对所述手部区域图像进行置信度判断,剔除置信度低于第四阈值所述手部区域图像。
4.根据权利要求1所述的一种基于深度学习的绝缘手套佩戴检测方法,其特征在于,在所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比时,若未获取到重叠度高于第一阈值的灰度检测信息,则生成第一异常信息,所述神经网络模型调用所述第一异常信息,并向电力工作人员反馈第一报警结果;
和/或,在所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比时,若未获取到重叠度高于第二阈值的颜色检测信息,则生成第二异常信息,所述神经网络模型调用所述第二异常信息,并向电力工作人员反馈第二报警结果;
和/或,在所述神经网络模型将所述边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比时,若未获取到重叠度高于第三阈值的轮廓检测信息,则生成第三异常信息,所述神经网络模型调用所述第三异常信息,并向电力工作人员反馈第三报警结果。
5.根据权利要求1所述的一种基于深度学习的绝缘手套佩戴检测方法,其特征在于,获取电力工作人员的手部区域图像时,还包括以下子步骤:
使用深度学习算法检测帧图像中是否存在工作人员图案,若存在工作人员图案,则使用标记框标记所述工作人员图案,使用姿态估计算法提取所述标记框内的工作人员图案对应的腕部坐标和掌部坐标;最后根据腕部坐标和掌部坐标,以及所述标记框内的工作人员图案的手部提取图形提取所述标记框内的手部区域图像。
6.根据权利要求5所述的一种基于深度学习的绝缘手套佩戴检测方法,其特征在于,所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比时,包括以下具体步骤:
所述神经网络模型以所述腕部坐标为中心建立坐标系,从所述腕部坐标到所述掌部坐标方向建立第一提取路径,所述神经网络模型在第一提取路径上依次提取多个连续不断的灰度特征;
在提取多个连续不断的灰度特征后,从所述第一提取路径上,所述神经网络模型依次对相邻两个所述灰度特征进行对比,若相邻两个所述灰度特征之间的灰度差值γ大于第五阈值,则在此相邻两个所述灰度特征中,将导致灰度差值γ大于第五阈值的所述灰度特征标记为灰度特征,然后将所述灰度特征和佩戴手套的灰度特征进行重叠度对比。
7.根据权利要求5所述的一种基于深度学习的绝缘手套佩戴检测方法,其特征在于,所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比时,包括以下具体步骤:
所述神经网络模型在所述灰度检测信息中,以掌部中心建立坐标系,从所述掌部的一侧到另一侧方向建立第二提取路径,所述神经网络模型在第二提取路上依次提取多个连续不断的颜色特征;
在提取多个连续不断的颜色特征后,从所述第二提取路上,所述神经网络模型依次对相邻两个所述颜色特征进行对比,若相邻两个所述颜色特征之间的色度差值δ不大于第六阈值,则将任意一个颜色特征标记,然后将标记的所述颜色特征和佩戴绝缘手套的颜色特征进行重叠度对比。
8.一种基于深度学习的绝缘手套佩戴检测系统,其特征在于,包括:
采集单元,所述采集模块用于获取电力工作人员的手部区域图像;
数据处理单元,所述数据处理单元用于获取预训练的神经网络模型,将所述手部区域图像输入所述神经网络模型;
其中,所述神经网络模型将所述手部区域图像的灰度特征和佩戴手套的灰度特征进行重叠度对比,获取重叠度高于第一阈值的灰度检测信息;
所述神经网络模型将所述灰度检测信息和佩戴绝缘手套的颜色特征进行重叠度对比,获取重叠度高于第二阈值的颜色检测信息;
所述神经网络模型构建所述颜色检测信息的边缘轮廓,生成边缘轮廓特征,所述神经网络模型将所述边缘轮廓特征和佩戴绝缘手套的轮廓特征进行重叠度对比,获取重叠度高于第三阈值的轮廓检测信息;
基于所述灰度检测信息、颜色检测信息和轮廓检测信息,生成手套检测结果。
9.根据权利要求8所述的一种基于深度学习的绝缘手套佩戴检测系统,其特征在于,所述采集单元包括:环形滑轨(1)和摄像头(2),所述环形滑轨(1)上带有滑块(11),所述滑块(11)底部带有旋转电机(3),所述旋转电机(3)的丝杆(31)竖向设置,并和安装架(4)连接,所述摄像头(2)安装于所述安装架(4)上;
所述安装架(4)包括圆柱板(41),所述丝杆(31)端部通过万向球(5)和所述圆柱板(41)的轴心连接;所述丝杆(31)上固定套设有套筒(32),所述圆柱板(41)端部设有连接块(42),所述套筒(32)和所述连接块(42)之间设有液压伸缩杆(6),所述液压伸缩杆(6)的两端均分别与所述套筒(32)和所述连接块(42)铰接;
所述液压伸缩杆(6)两端的转动方向相同,且所述转动方向为圆柱板(41)的径向方向。
10.根据权利要求9所述的一种基于深度学习的绝缘手套佩戴检测系统,其特征在于,所述安装架(4)内还设有驱动装置,所述驱动装置用于驱动所述摄像头(2)在水平和竖直方向转动,所述转动方向均以所述圆柱板(41)为平面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210676751.XA CN114758363B (zh) | 2022-06-16 | 2022-06-16 | 一种基于深度学习的绝缘手套佩戴检测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210676751.XA CN114758363B (zh) | 2022-06-16 | 2022-06-16 | 一种基于深度学习的绝缘手套佩戴检测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114758363A true CN114758363A (zh) | 2022-07-15 |
CN114758363B CN114758363B (zh) | 2022-08-19 |
Family
ID=82336944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210676751.XA Active CN114758363B (zh) | 2022-06-16 | 2022-06-16 | 一种基于深度学习的绝缘手套佩戴检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758363B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115471874A (zh) * | 2022-10-28 | 2022-12-13 | 山东新众通信息科技有限公司 | 基于监控视频的施工现场危险行为识别方法 |
CN116824618A (zh) * | 2022-11-30 | 2023-09-29 | 慧之安信息技术股份有限公司 | 一种基于深度学习的防切割手套佩戴检测方法 |
CN118506399A (zh) * | 2024-04-28 | 2024-08-16 | 南京良亮译惠科技有限公司 | 用于光伏电站的安全判断系统 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682601A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于多维信息特征融合的驾驶员违规通话检测方法 |
CN107038424A (zh) * | 2017-04-20 | 2017-08-11 | 华中师范大学 | 一种手势识别方法 |
WO2018233038A1 (zh) * | 2017-06-23 | 2018-12-27 | 平安科技(深圳)有限公司 | 基于深度学习的车牌识别方法、装置、设备及存储介质 |
JP2018206252A (ja) * | 2017-06-08 | 2018-12-27 | 国立大学法人 筑波大学 | 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム |
WO2019019828A1 (zh) * | 2017-07-27 | 2019-01-31 | 腾讯科技(深圳)有限公司 | 目标对象的遮挡检测方法及装置、电子设备及存储介质 |
CN109684959A (zh) * | 2018-12-14 | 2019-04-26 | 武汉大学 | 基于肤色检测和深度学习的视频手势的识别方法及装置 |
WO2019101220A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
CN110738135A (zh) * | 2019-09-25 | 2020-01-31 | 艾普工华科技(武汉)有限公司 | 一种工人作业工步规范视觉识别判定与指导方法及系统 |
CN111680729A (zh) * | 2020-05-30 | 2020-09-18 | 中国船舶重工集团公司第七一三研究所 | 基于x光机图像机场旅客安检危险品实时高识别率方法 |
CN112183471A (zh) * | 2020-10-28 | 2021-01-05 | 西安交通大学 | 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 |
US20210090736A1 (en) * | 2019-09-24 | 2021-03-25 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for anomaly detection for a medical procedure |
CN113223009A (zh) * | 2021-04-16 | 2021-08-06 | 北京戴纳实验科技有限公司 | 一种衣着检测系统 |
WO2021184620A1 (zh) * | 2020-03-19 | 2021-09-23 | 南京昊眼晶睛智能科技有限公司 | 一种基于摄像头的非接触式心率、体温测量方法 |
CN113838094A (zh) * | 2021-09-28 | 2021-12-24 | 贵州乌江水电开发有限责任公司 | 一种基于智能视频识别的安全预警方法 |
CN113989711A (zh) * | 2021-10-27 | 2022-01-28 | 广东电网有限责任公司江门供电局 | 一种配电施工安全工器具使用识别方法及系统 |
CN114022845A (zh) * | 2021-11-09 | 2022-02-08 | 国网河南省电力公司周口供电公司 | 电工绝缘手套实时检测方法、计算机可读介质 |
CN114202737A (zh) * | 2021-11-24 | 2022-03-18 | 北京奕斯伟计算技术有限公司 | 目标佩戴对象的佩戴检测方法、装置及电子设备 |
US20220147732A1 (en) * | 2020-11-11 | 2022-05-12 | Beijing Boe Optoelectronics Technology Co., Ltd. | Object recognition method and system, and readable storage medium |
-
2022
- 2022-06-16 CN CN202210676751.XA patent/CN114758363B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682601A (zh) * | 2016-12-16 | 2017-05-17 | 华南理工大学 | 一种基于多维信息特征融合的驾驶员违规通话检测方法 |
CN107038424A (zh) * | 2017-04-20 | 2017-08-11 | 华中师范大学 | 一种手势识别方法 |
JP2018206252A (ja) * | 2017-06-08 | 2018-12-27 | 国立大学法人 筑波大学 | 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム |
WO2018233038A1 (zh) * | 2017-06-23 | 2018-12-27 | 平安科技(深圳)有限公司 | 基于深度学习的车牌识别方法、装置、设备及存储介质 |
WO2019019828A1 (zh) * | 2017-07-27 | 2019-01-31 | 腾讯科技(深圳)有限公司 | 目标对象的遮挡检测方法及装置、电子设备及存储介质 |
WO2019101220A1 (zh) * | 2017-12-11 | 2019-05-31 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
CN109684959A (zh) * | 2018-12-14 | 2019-04-26 | 武汉大学 | 基于肤色检测和深度学习的视频手势的识别方法及装置 |
US20210090736A1 (en) * | 2019-09-24 | 2021-03-25 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for anomaly detection for a medical procedure |
CN110738135A (zh) * | 2019-09-25 | 2020-01-31 | 艾普工华科技(武汉)有限公司 | 一种工人作业工步规范视觉识别判定与指导方法及系统 |
WO2021184620A1 (zh) * | 2020-03-19 | 2021-09-23 | 南京昊眼晶睛智能科技有限公司 | 一种基于摄像头的非接触式心率、体温测量方法 |
CN111680729A (zh) * | 2020-05-30 | 2020-09-18 | 中国船舶重工集团公司第七一三研究所 | 基于x光机图像机场旅客安检危险品实时高识别率方法 |
CN112183471A (zh) * | 2020-10-28 | 2021-01-05 | 西安交通大学 | 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 |
US20220147732A1 (en) * | 2020-11-11 | 2022-05-12 | Beijing Boe Optoelectronics Technology Co., Ltd. | Object recognition method and system, and readable storage medium |
CN113223009A (zh) * | 2021-04-16 | 2021-08-06 | 北京戴纳实验科技有限公司 | 一种衣着检测系统 |
CN113838094A (zh) * | 2021-09-28 | 2021-12-24 | 贵州乌江水电开发有限责任公司 | 一种基于智能视频识别的安全预警方法 |
CN113989711A (zh) * | 2021-10-27 | 2022-01-28 | 广东电网有限责任公司江门供电局 | 一种配电施工安全工器具使用识别方法及系统 |
CN114022845A (zh) * | 2021-11-09 | 2022-02-08 | 国网河南省电力公司周口供电公司 | 电工绝缘手套实时检测方法、计算机可读介质 |
CN114202737A (zh) * | 2021-11-24 | 2022-03-18 | 北京奕斯伟计算技术有限公司 | 目标佩戴对象的佩戴检测方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
LEE U等: "Finger identification and hand gesture recognition techniques for natural user interface", 《PROCEEDINGS OF THE 11TH ASIA PACIFIC CONFERENCE ON COMPUTER HUMAN INTERACTION》 * |
蒋磊磊: "手势图像识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115471874A (zh) * | 2022-10-28 | 2022-12-13 | 山东新众通信息科技有限公司 | 基于监控视频的施工现场危险行为识别方法 |
CN115471874B (zh) * | 2022-10-28 | 2023-02-07 | 山东新众通信息科技有限公司 | 基于监控视频的施工现场危险行为识别方法 |
CN116824618A (zh) * | 2022-11-30 | 2023-09-29 | 慧之安信息技术股份有限公司 | 一种基于深度学习的防切割手套佩戴检测方法 |
CN118506399A (zh) * | 2024-04-28 | 2024-08-16 | 南京良亮译惠科技有限公司 | 用于光伏电站的安全判断系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114758363B (zh) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114758363A (zh) | 一种基于深度学习的绝缘手套佩戴检测方法和系统 | |
CN107941808A (zh) | 基于机器视觉的3d打印成型质量检测系统及方法 | |
CN112085089A (zh) | 基于深度学习算法的变电站设备智能测温方法 | |
CN104180983A (zh) | 一种机械振动台紧固件监控系统及其监控方法 | |
CN107292926A (zh) | 基于多图像序列的巡检机器人运动轨迹直线度测量方法 | |
CN111530765A (zh) | 一种缺陷品在线智能识别剔除装置 | |
CN114898523A (zh) | 一种具有测距功能的输电线路图像监测方法及装置 | |
CN106602470B (zh) | 一种输电线路螺栓紧固机器人及其控制方法 | |
CN117498225B (zh) | 一种无人机智能电力线路巡检系统 | |
CN116699329A (zh) | 一种变电站空间声纹可视化成像方法 | |
CN109443542B (zh) | 一种基于红外热成像技术的压风机在线监测装置及监测方法 | |
CN117890397A (zh) | 一种基于无人机探伤的输电线路智能巡检装置及方法 | |
CN117274841A (zh) | 一种基于深度学习的高压配网不停电作业的安全监测方法 | |
CN114067365A (zh) | 一种基于中心注意向心网络的安全帽佩戴检测方法和系统 | |
CN206962973U (zh) | 一种用于变电站巡检的集控系统 | |
CN105738376B (zh) | 一种采用接触式图像传感器的自动验布机 | |
CN117074050A (zh) | 一种基于视觉检测的台车车轮转动异常检测方法 | |
CN113516091B (zh) | 一种识别变电站电火花图像的方法 | |
CN208520774U (zh) | 一种受电弓检测装置 | |
CN113266408B (zh) | 一种基于图像识别技术的支架下人员检测闭锁方法 | |
CN113780224A (zh) | 一种变电站无人化巡视方法及系统 | |
CN112763006A (zh) | 一种轨道式可移动多功能一体化检测装置及方法 | |
CN107346542B (zh) | 一种基于机器视觉的防液压支架挤死的预警系统及方法 | |
CN113532513B (zh) | 一种基于输电系统的侵入目标实时检测系统和方法 | |
CN111780674A (zh) | 一种基于图像处理和机器学习的视觉检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |