CN115861407B - 基于深度学习的安全距离检测方法及系统 - Google Patents
基于深度学习的安全距离检测方法及系统 Download PDFInfo
- Publication number
- CN115861407B CN115861407B CN202310176156.4A CN202310176156A CN115861407B CN 115861407 B CN115861407 B CN 115861407B CN 202310176156 A CN202310176156 A CN 202310176156A CN 115861407 B CN115861407 B CN 115861407B
- Authority
- CN
- China
- Prior art keywords
- distance
- coordinate system
- reference scale
- real
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 29
- 230000011218 segmentation Effects 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000001788 irregular Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供的基于深度学习的安全距离检测方法及系统,涉及安全检测领域;其方法包括:获取低压带电操作的实时图像画面,画面中同步显示有完整的参照标尺;构建基于深度学习的带电设备识别模型,用于识别判断画面中的带电设备;当识别到带电设备时,根据画面中的参照标尺计算带电设备与工作人员的识别距离;根据设定的距离阈值,判断带电设备与工作人员的距离是否满足安全距离;当识别距离小于距离阈值发出危险告警。本发明将参照标尺与带电设备同时在实时画面中显示,根据参照标尺的刻度进行像素空间变换以及相机坐标系变换,精准测定工作人员与带电设备的距离,保障操作安全。
Description
技术领域
本发明涉及安全检测技术领域,具体涉及一种基于深度学习的安全距离检测方法及系统。
背景技术
对于工作本身不需要停电和没有偶然触及带电部分的工作,或者作业者使用绝缘辅助安全用具直接接触带电体及在带点设备外壳上的工作,均可以进行带电工作。在工企系统中电工的低压带电作业十分频繁,为防止发生触电事故,带电作业者必须掌握并认真执行各种情况下带电作业的安全要求和规定;同时,低压带电作业也需要保持与带电设备的安全距离。
传统的采用远距离搭设设备检测工作人员安全距离的方式,一方面容易产生检测误差与视野遮挡造成的距离错检;另一方面采用规定形状人体参照物的标定方式,通过远距离检测无法保证参照物的准确性,会出现检测坐标偏移与畸变。另外,采用对于人体追踪与检测,达到保障安全距离的方式在跟踪时受环境和算法影响无法保证数据的实时性;其次,人体追踪与检测过程的图像分割与边缘拟合方式未考虑边缘点的密度信息,在拟合时会产生欠拟合或者过拟合。以及,现有方案提出的单一的远距离测量配合相机坐标系转换的方式,会存在测量误差,无法保证测量距离一定是最小距离。
发明内容
本发明目的在于提供一种基于深度学习的安全距离检测方法及系统,在采用深度学习识别带电设备的基础上,同时采用在工作人员身上佩带带有刻度的参照标尺的方式,通过标尺刻度、像素空间变换以及相机坐标系变换相结合的方式,精确获得工作人员与带电设备的距离,检测过程灵活高效。
为达成上述目的,本发明提出如下技术方案:一种基于深度学习的安全距离检测方法,包括:
获取低压带电操作的实时图像画面,所述实时图像画面中同步显示有完整的参照标尺;
构建基于深度学习的带电设备识别模型,并依据该模型识别判断所述实时图像画面中的带电设备;
当识别到所述实时图像画面中存在带电设备,根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员的识别距离;
根据设定的距离阈值,判断所述带电设备与工作人员的识别距离是否满足安全距离;
当所述带电设备与工作人员的识别距离小于距离阈值,发出危险告警。
进一步的,所述根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员识别距离的过程包括:
获取实时图像画面中参照标尺与带电设备的像素大小、位置和像素距离;
对实时图像画面中的参照标尺与带电设备进行空间映射变换,计算参照标尺与带电设备在实际作业空间中的真实距离d t ;
将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min ;
比较真实距离d t 与最小距离d min 的大小,并以数值更小的作为所述带电设备与工作人员的识别距离。
进一步的,所述获取实时图像画面中参照标尺与带电设备的像素距离的过程包括:
采用深度学习语义分割模型分割实时图像画面,分别获得参照标尺和任一带电设备的不规则边缘分割图像;
比较参照标尺与所述实时图像画面中所有带电设备的像素距离,选择数值最小的像素距离对应的带电设备为与所述实时图像画面中参照标尺距离最近的带电设备。
进一步的,所述将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min 的过程包括:
获取相机的参数配置、参照标尺在实际作业空间中的尺寸及刻度、工作人员与参照标尺在实际作业空间中的真实距离d 1 ,将带电设备外表面中心点作为原点设置在以相机为中心建立的相机坐标系O c -XYZ中;
在相机坐标系中计算工作人员与带电设备的最小距离d min ,d min= d s -d 1 。
对参照标尺和任一带电设备的不规则边缘分割图像进行多边形拟合,采用最小二乘法计算并调整拟合度R 2 ;
在像素坐标系中计算拟合图像中拟合边缘线段的位置坐标,并根据所述位置坐标随机获取拟合图像中任一拟合点M的密度集D;
依据所述密集度D在所述像素坐标系中选取拟合点M的K个近邻点进行距离计算,获取距离最大值d m ;
根据距离最大值d m 设置多边形拟合参数,偏移拟合点M的近邻点,依次迭代更新拟合点M,直至获取所有拟合边缘,进而获得不规则边缘分割图像的质心坐标,包括参照标尺的质心坐标(,)和带电设备的质心坐标(,)。
进一步的,所述对实时图像画面中的参照标尺与带电设备进行空间映射变换,获得参照标尺与带电设备在实际作业空间中的真实距离d t 的过程为:
根据空间映射变换后的参照标尺与带电设备的质心坐标计算参照标尺与带电设备在实际作业空间中的真实距离d t 。
本发明另一技术方案在于公开一种基于深度学习的安全距离检测系统,该系统包括:
获取模块,用于获取低压带电操作的实时图像画面,所述实时图像画面中同步显示有完整的参照标尺;
构建识别模块,用于构建基于深度学习的带电设备识别模型,并依据该模型识别判断所述实时图像画面中的带电设备;
计算模块,用于当识别到所述实时图像画面中存在带电设备,根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员的识别距离;
判断模块,用于根据设定的距离阈值,判断所述带电设备与工作人员的识别距离是否满足安全距离;
告警模块,用于当所述带电设备与工作人员的识别距离小于距离阈值,发出危险告警。
进一步的,所述计算模块根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员识别距离的执行单元包括:
获取单元,用于获取实时图像画面中参照标尺与带电设备的像素大小、位置和像素距离;
第一计算单元,用于对实时图像画面中的参照标尺与带电设备进行空间映射变换,计算参照标尺与带电设备在实际作业空间中的真实距离d t ;
第二计算单元,用于将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min ;
比较设置单元,用于比较真实距离d t 与最小距离d min 的大小,并以数值更小的作为所述带电设备与工作人员的识别距离。
进一步的,所述获取单元获取实时图像画面中参照标尺与带电设备的像素距离的过程包括:
采用深度学习语义分割模型分割实时图像画面,分别获得参照标尺和任一带电设备的不规则边缘分割图像;
比较参照标尺与所述实时图像画面中所有带电设备的像素距离,选择数值最小的像素距离对应的带电设备为与所述实时图像画面中参照标尺距离最近的带电设备。
进一步的,所述第二计算单元将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min 的过程包括:
获取相机的参数配置、参照标尺在实际作业空间中的尺寸及刻度、工作人员与参照标尺在实际作业空间中的真实距离d 1 ,将带电设备外表面中心点作为原点设置在以相机为中心建立的相机坐标系O c -XYZ中;
在相机坐标系中计算工作人员与带电设备的最小距离d min ,d min= d s -d 1 。
由以上技术方案可知,本发明的技术方案获得了如下有益效果:
本发明公开的基于深度学习的安全距离检测方法及系统,其方法包括:获取低压带电操作的实时图像画面,画面中同步显示有完整的参照标尺;构建基于深度学习的带电设备识别模型,用于识别判断画面中的带电设备;当识别到带电设备时,根据画面中的参照标尺计算带电设备与工作人员的识别距离;根据设定的距离阈值,判断带电设备与工作人员的距离是否满足安全距离;当识别距离小于距离阈值发出危险告警。本发明公开的上述方法及系统,具有如下优点:
1、通过将相机随身佩戴的方式可以实时获取工作人员前方的视野,减少远距离拍摄中间遮挡物的影响以及长距离拍摄产生的畸变。
2、对于采用深度学习语义分割模型所得不规则图形进行边缘拟合,采用K紧邻密度-最小二乘拟合模型,结合点的密度与近邻点参量信息进一步优化拟合参数,使获得的拟合图像更加规范,便于求取质心进行像素距离测量。
3、对于远距离在图像视野中选定参照物的变换方式,采用在工作人员身上佩带带有刻度的参照标尺的方式,通过在获取视野时将工作距离与参照标尺同时展现在视野范围内,采用标尺刻度、像素空间变换以及相机坐标系变换相结合的方式,使得测量的精度更高,减少不必要的测量误差;同时,工作人员随身佩戴参照标尺,检测的灵活性高。
4、对获取的图像进行空间像素映射,减少畸变误差,使获取得到的像素距离更加准确。
5、利用空间像素映射获取测量距离与相机坐标转换获取测量距离进行比较的方式,获得最小测量值,可以避免单一方式计算测量误差造成的安全问题。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不表示按照真实参照物比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1为本发明低压带电操作安全距离检测方法的整体流程图;
图2为本发明低压带电操作安全距离检测方法的细节流程图;
图3为本发明像素坐标系空间映射变换和图像坐标系转换示意图;
图4为本发明图像坐标系转换相机坐标系示意图;
图5为本发明相机坐标系中计算工作人员与带电设备最小距离示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明专利申请文件中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,除非上下文清楚地指明其它情况,否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件,并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
基于传统的保障低压带电作业安全距离的方法中,远距离搭设检测设备方法容易因为事业遮挡产生检测误差或错检、采用定形参照物标定方式容易因为不能保证参照物的准确性会出现检测偏移与畸变、采用人体追踪与检测的方法不能保证数据的实时性,故,当前本领域缺乏一种能够实时高效、数据精准的检测低压带电操作时工作人员与带电设备的距离。本发明旨在于针对上述问题,提出一种基于深度学习的安全距离检测方法及系统,通过随身携带参照标尺并同步显示在实施图像画面中,在经由像素空间变换以及相机坐标系变换结合的数据处理过程,精准获得工作人员与带电设备的距离,检测及时高效。
下面结合附图所示的具体实施例,对本发明公开的基于深度学习的安全距离检测方法及系统作进一步具体介绍。
结合图1所示,实施例公开的基于深度学习的安全距离检测方法,具体包括如下步骤:
步骤S102,获取低压带电操作(其中低压表示电压不超过500V)的实时图像画面,所述实时图像画面中同步显示有完整的参照标尺,参照标尺具有清晰的标尺刻度;
实施时,采用单目视觉获取低压带电操作的实施图像画面,相机固定在工作人员的头部,成固定角度拍摄,视野广,解决了远距离拍摄带电操作时中间遮挡物的影响以及长距离拍摄产生的图像畸变。
步骤S104,构建基于深度学习的带电设备识别模型,并依据该模型识别判断所述实时图像画面中的带电设备;
带电物体识别模型可通过如下方式实现,如采集带电设备的50000张图像集,对图像进行预处理与数据标定,将不同带电设备进行分别标注,然后将图像集按比例划分训练集和测试集输入深度学习检测模型,最终获取带电物体识别模型。
步骤S106,当识别到所述实时图像画面中存在带电设备,根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员的识别距离;
具体如图2所示,根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员识别距离的过程包括:获取实时图像画面中参照标尺与带电设备的像素大小、位置和像素距离;对实时图像画面中的参照标尺与带电设备进行空间映射变换,计算参照标尺与带电设备在实际作业空间中的真实距离d t ;将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min ;比较真实距离d t 与最小距离d min 的大小,并以数值更小的作为所述带电设备与工作人员的识别距离。
作为一可选的实施方式,获取实时图像画面中参照标尺与带电设备的像素距离的过程包括:采用深度学习语义分割模型分割实时图像画面,分别获得参照标尺和任一带电设备的不规则边缘分割图像;根据K紧邻密度-最小二乘拟合模型,对所述参照标尺和任一带电设备的不规则边缘分割图像进行多边形拟合,并在像素坐标系中分析并确定参照标尺的质心坐标(,)和该带电设备的质心坐标(,);根据参照标尺的质心坐标(,)和该带电设备的质心坐标(,),计算参照标尺和该带电设备的像素距离;比较参照标尺与所述实时图像画面中所有带电设备的像素距离,选择数值最小的像素距离对应的带电设备为与所述实时图像画面中参照标尺距离最近的带电设备。
其中,计算像素距离的目的在于当相机拍摄的低压带电操作的实时图像画面中有多个带电设备时,选择与参照标尺最近的带电设备进行距离计算;当识别到实时图像画面中仅存在一个带电设备,则可无需计算像素距离。
可选的,应用K紧邻密度-最小二乘拟合模型在像素坐标系中分析并确定参照标尺的质心坐标(,)和该带电设备的质心坐标(,)的具体过程为:对参照标尺和任一带电设备的不规则边缘分割图像进行多边形拟合,采用最小二乘法计算并调整拟合度R 2 使,R 2 趋近于1;在像素坐标系中计算拟合图像中拟合边缘线段的位置坐标,即分别求取横纵坐标,再根据计算的位置坐标随机获取拟合图像中任一拟合点M的密度集D:,其中,W与H为拟合点M获取密度集D选定区域的宽与高,N为点M选定区域内紧邻点的数量;
根据距离最大值d m 设置多边形拟合参数,偏移拟合点M的近邻点,依次迭代更新拟合点M,直至获取所有拟合边缘,进而获得不规则边缘分割图像的质心坐标,包括参照标尺的质心坐标(,)和带电设备的质心坐标(,)。
步骤S108,根据设定的距离阈值,判断所述带电设备与工作人员的识别距离是否满足安全距离;
步骤S110,当所述带电设备与工作人员的识别距离小于距离阈值,发出危险告警。
结合图3所示,对实时图像画面中的参照标尺与带电设备进行空间映射变换,获得参照标尺与带电设备在实际作业空间中的真实距离d t 的过程为:
根据空间映射变换后的参照标尺与带电设备的质心坐标计算参照标尺与带电设备在实际作业空间中的真实距离d t ,如将变换后的坐标带入欧式距离公式计算。
作为一可选的实施方式,将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min 的过程包括:
获取相机的参数配置、参照标尺在实际作业空间中的尺寸及刻度、工作人员与参照标尺在实际作业空间中的真实距离d 1 ,将带电设备外表面中心点作为原点设置在以相机为中心建立的相机坐标系O c -XYZ中;
在像素坐标系中将参照标尺的质心坐标(,)、带电设备的质心坐标(,)分别转换至对应的图像坐标系中,分别得到参照标尺、带电设备在对应的图像坐标系中的坐标、;如图3所示,参照标尺和带电设备对应的图像坐标系xoy的原点为相机光轴与实时图像画面的交点,即将参照标尺和带电设备的像素坐标转换到同一个图像坐标系下,转换公式如下:=,=,其中,*为相机感光器件像素物理尺寸,(,)表示像素坐标系中参照标尺质心坐标(,)在对应的图像坐标系xoy中的位置,(,)表示像素坐标系中带电设备质心坐标(,)在对应的图像坐标系xoy中的位置。
将参照标尺在其对应图像坐标系中的坐标、带电设备在其对应的图像坐标系中的坐标分别转换至相机坐标系中O c -XYZ,分别得到参照标尺在相机坐标系O c -XYZ中的坐标和带电设备在相机坐标系O c -XYZ中的坐标;
结合图3所示,设图像坐标系的原点位置记为o,相机坐标系的原点位置记为,因此两点的距离为=;参照标尺的实际刻度长度为,在实图像坐标系中的刻度长度为,在图像坐标系中设置偏置参数为;在图像坐标系中将经过变换获取的图像坐标系的坐标与转换到相机坐标系O c -XYZ中,分别得到参照标尺在相机坐标系的坐标(,,)和带电设备在相机坐标系的坐标(,,),转换公式为:,;
在相机坐标系中计算工作人员与带电设备的最小距离d min ,d min= d s -d 1 ,如图5所示。
本发明一方面通过在获取视野时将工作距离与参照标尺同时展现在视野范围内,采用标尺刻度、像素空间变换以及相机标定坐标系变换相结合的方式,进行识别距离的计算,检测的灵活性高;另一方面,采用比较空间像素映射获取的测量距离与相机坐标转换获取的测量距离的方式,获得最小测量值,可以避免单一方式计算测量误差造成的安全问题。
本发明实施例还提供一种电子设备,存储器、处理器及存储在所述存储器上并可在所述处理器上运行计算机程序,所述计算机程序被所述处理器执行时实现上述实施例公开的基于深度学习的安全距离检测方法。
上述程序可以运行在处理器中,或者也可以存储在存储器中(或称为计算机可读存储介质),计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤,对应与不同的步骤可以通过不同的模块来实现。
本发明的实施例中就提供了这样的一种系统,该系统被称为基于深度学习的安全距离检测系统,该系统包括:获取模块,用于获取低压带电操作的实时图像画面,所述实时图像画面中同步显示有完整的参照标尺;构建识别模块,用于构建基于深度学习的带电设备识别模型,并依据该模型识别判断所述实时图像画面中的带电设备;计算模块,用于当识别到所述实时图像画面中存在带电设备,根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员的识别距离;判断模块,用于根据设定的距离阈值,判断所述带电设备与工作人员的识别距离是否满足安全距离;告警模块,用于当所述带电设备与工作人员的识别距离小于距离阈值,发出危险告警。
该系统用于实现上述的实施例中的方法的功能,该系统中的每个模块与方法中的每个步骤相对应,已经在方法中进行过说明的,在此不再赘述。
例如,计算模块根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员识别距离的执行单元包括:获取单元,用于获取实时图像画面中参照标尺与带电设备的像素大小、位置和像素距离;第一计算单元,用于对实时图像画面中的参照标尺与带电设备进行空间映射变换,计算参照标尺与带电设备在实际作业空间中的真实距离d t ;第二计算单元,用于将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min ;比较设置单元,用于比较真实距离d t 与最小距离d min 的大小,并以数值更小的作为所述带电设备与工作人员的识别距离。其中,第一计算单元计算参照标尺与带电设备在实际作业空间中的真实距离d t 的过程为:以参照标尺在实时图像画面中的刻度大小和参照标尺在实际作业空间中的真实刻度大小为映射基准,获取映射矩阵T,;
根据空间映射变换后的参照标尺与带电设备的质心坐标计算参照标尺与带电设备在实际作业空间中的真实距离d t 。
又例如,获取单元获取实时图像画面中参照标尺与带电设备的像素距离的过程包括:采用深度学习语义分割模型分割实时图像画面,分别获得参照标尺和任一带电设备的不规则边缘分割图像;根据K紧邻密度-最小二乘拟合模型,对所述参照标尺和任一带电设备的不规则边缘分割图像进行多边形拟合,并在像素坐标系中分析并确定参照标尺的质心坐标(,)和该带电设备的质心坐标(,);根据参照标尺的质心坐标(,)和该带电设备的质心坐标(,),计算参照标尺和该带电设备的像素距离;比较参照标尺与所述实时图像画面中所有带电设备的像素距离,选择数值最小的像素距离对应的带电设备为与所述实时图像画面中参照标尺距离最近的带电设备。K紧邻密度-最小二乘拟合模型的工作原理为:对参照标尺和任一带电设备的不规则边缘分割图像进行多边形拟合,采用最小二乘法计算并调整拟合度R 2 ;在像素坐标系中计算拟合图像中拟合边缘线段的位置坐标,并根据所述位置坐标随机获取拟合图像中任一拟合点M的密度集D;依据所述密集度D在所述像素坐标系中选取拟合点M的K个近邻点进行距离计算,获取距离最大值d m ;根据距离最大值d m 设置多边形拟合参数,偏移拟合点M的近邻点,依次迭代更新拟合点M,直至获取所有拟合边缘,进而获得不规则边缘分割图像的质心坐标,包括参照标尺的质心坐标(,)和带电设备的质心坐标(,)。
又例如,第二计算单元将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min 的过程包括:获取相机的参数配置、参照标尺在实际作业空间中的尺寸及刻度、工作人员与参照标尺在实际作业空间中的真实距离d 1 ,将带电设备外表面中心点作为原点设置在以相机为中心建立的相机坐标系O c -XYZ中;在像素坐标系中将参照标尺的质心坐标(,)、带电设备的质心坐标(,)分别转换至对应的图像坐标系中,得到参照标尺、带电设备在图像坐标系中的坐标;其中,所述图像坐标系的原点为相机光轴与实时图像画面的交点;将参照标尺和带电设备在图像坐标系中的坐标、分别转换至相机坐标系中O c -XYZ,分别得到参照标尺在相机坐标系O c -XYZ中的坐标和带电设备在相机坐标系O c -XYZ中的坐标;在相机坐标系中,根据参照标尺、带电设备在相机坐标系O c -XYZ中的坐标和计算参照标尺与带电设备在XY平面的直线距离d s ;在相机坐标系中计算工作人员与带电设备的最小距离d min ,d min= d s -d 1 。
本发明提供的基于深度学习的安全距离检测方法及系统,其方案其一训练带电物体识别模型进行工作人员低压带电操作过程实时图像画面的带电设备的识别,避免带电设备人工误判造成的误差;其二是通过计算空间像素映射获取测量距离与相机坐标转换获取测量距离两种进行更小距离选择的方式,避免单一方式计算安全距离造成测量误差引起的安全问题;本发明充分考虑低压带电操作过程可能引起判断、测量误差的因素,提出一种全面的安全距离检测方法及系统,不仅规避上述引起误差的因素、测量精度高,而且实施过程更灵活高效。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。
Claims (8)
1.一种基于深度学习的安全距离检测方法,其特征在于,包括:
获取低压带电操作的实时图像画面,所述实时图像画面中同步显示有完整的参照标尺;
构建基于深度学习的带电设备识别模型,并依据该模型识别判断所述实时图像画面中的带电设备;
当识别到所述实时图像画面中存在带电设备,根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员的识别距离;具体包括:获取实时图像画面中参照标尺与带电设备的像素大小、位置和像素距离;对实时图像画面中的参照标尺与带电设备进行空间映射变换,计算参照标尺与带电设备在实际作业空间中的真实距离d t ;将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min ;比较真实距离d t 与最小距离d min 的大小,并以数值更小的作为所述带电设备与工作人员的识别距离;
根据设定的距离阈值,判断所述带电设备与工作人员的识别距离是否满足安全距离;
当所述带电设备与工作人员的识别距离小于距离阈值,发出危险告警。
2.根据权利要求1所述的基于深度学习的安全距离检测方法,其特征在于,所述获取实时图像画面中参照标尺与带电设备的像素距离的过程包括:
采用深度学习语义分割模型分割实时图像画面,分别获得参照标尺和任一带电设备的不规则边缘分割图像;
比较参照标尺与所述实时图像画面中所有带电设备的像素距离,选择数值最小的像素距离对应的带电设备为与所述实时图像画面中参照标尺距离最近的带电设备。
3.根据权利要求2所述的基于深度学习的安全距离检测方法,其特征在于,所述将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min 的过程包括:
获取相机的参数配置、参照标尺在实际作业空间中的尺寸及刻度、工作人员与参照标尺在实际作业空间中的的真实距离d 1 ,将带电设备外表面中心点作为原点设置在以相机为中心建立的相机坐标系O c -XYZ中;
在相机坐标系中计算工作人员与带电设备的最小距离d min ,d min= d s -d 1 。
对参照标尺和任一带电设备的不规则边缘分割图像进行多边形拟合,采用最小二乘法计算并调整拟合度R 2 ;
在像素坐标系中计算拟合图像中拟合边缘线段的位置坐标,并根据所述位置坐标随机获取拟合图像中任一拟合点M的密集度D;
依据所述密集度D在所述像素坐标系中选取拟合点M的K个近邻点进行距离计算,获取距离最大值d m ;
6.一种基于深度学习的安全距离检测系统,其特征在于,包括:
获取模块,用于获取低压带电操作的实时图像画面,所述实时图像画面中同步显示有完整的参照标尺;
构建识别模块,用于构建基于深度学习的带电设备识别模型,并依据该模型识别判断所述实时图像画面中的带电设备;
计算模块,用于当识别到所述实时图像画面中存在带电设备,根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员的识别距离;
判断模块,用于根据设定的距离阈值,判断所述带电设备与工作人员的识别距离是否满足安全距离;
告警模块,用于当所述带电设备与工作人员的识别距离小于距离阈值,发出危险告警;
其中,所述计算模块根据所述实时图像画面中的参照标尺计算所述带电设备与工作人员识别距离的执行单元包括:获取单元,用于获取实时图像画面中参照标尺与带电设备的像素大小、位置和像素距离;第一计算单元,用于对实时图像画面中的参照标尺与带电设备进行空间映射变换,计算参照标尺与带电设备在实际作业空间中的真实距离d t ;第二计算单元,用于将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min ;比较设置单元,用于比较真实距离d t 与最小距离d min 的大小,并以数值更小的作为所述带电设备与工作人员的识别距离。
7.根据权利要求6所述的基于深度学习的安全距离检测系统,其特征在于,所述获取单元获取实时图像画面中参照标尺与带电设备的像素距离的过程包括:
采用深度学习语义分割模型分割实时图像画面,分别获得参照标尺和任一带电设备的不规则边缘分割图像;
比较参照标尺与所述实时图像画面中所有带电设备的像素距离,选择数值最小的像素距离对应的带电设备为与所述实时图像画面中参照标尺距离最近的带电设备。
8.根据权利要求7所述的基于深度学习的安全距离检测系统,其特征在于,所述第二计算单元将参照标尺与带电设备在像素坐标系中的坐标信息经图像坐标系转换至相机坐标系中,并在相机坐标系中计算工作人员与带电设备的最小距离d min 的过程包括:
获取相机的参数配置、参照标尺在实际作业空间中的尺寸及刻度、工作人员与参照标尺在实际作业空间中的的真实距离d 1 ,将带电设备外表面中心点作为原点设置在以相机为中心建立的相机坐标系O c -XYZ中;
在相机坐标系中计算工作人员与带电设备的最小距离d min ,d min= d s -d 1 。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310176156.4A CN115861407B (zh) | 2023-02-28 | 2023-02-28 | 基于深度学习的安全距离检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310176156.4A CN115861407B (zh) | 2023-02-28 | 2023-02-28 | 基于深度学习的安全距离检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115861407A CN115861407A (zh) | 2023-03-28 |
CN115861407B true CN115861407B (zh) | 2023-06-16 |
Family
ID=85659319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310176156.4A Active CN115861407B (zh) | 2023-02-28 | 2023-02-28 | 基于深度学习的安全距离检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861407B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117079669A (zh) * | 2023-10-17 | 2023-11-17 | 博上(山东)网络科技有限公司 | 一种针对低嵌入率lsb音频隐写的特征向量提取方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192646A (zh) * | 2021-04-25 | 2021-07-30 | 北京易华录信息技术股份有限公司 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
CN115661337A (zh) * | 2022-09-23 | 2023-01-31 | 安徽南瑞继远电网技术有限公司 | 一种基于双目视觉的变电站作业人员三维重建的方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4818990A (en) * | 1987-09-11 | 1989-04-04 | Fernandes Roosevelt A | Monitoring system for power lines and right-of-way using remotely piloted drone |
JP2017118245A (ja) * | 2015-12-22 | 2017-06-29 | 中国電力株式会社 | 感電事故防止システム、及びセンサ信号検出ポール |
CN109829908B (zh) * | 2019-01-31 | 2023-04-14 | 广东电网有限责任公司 | 基于双目影像的电力线下方地物安全距离检测方法及设备 |
US11270111B2 (en) * | 2019-02-04 | 2022-03-08 | International Business Machines Corporation | Automated management of potentially hazardous objects near power lines |
WO2021155012A1 (en) * | 2020-01-28 | 2021-08-05 | Ubicquia Llc | Electric power industry structure monitor |
CN111967323B (zh) * | 2020-07-16 | 2022-07-26 | 电子科技大学 | 一种基于深度学习算法的电力带电作业安全检测方法 |
CN113793388A (zh) * | 2021-08-09 | 2021-12-14 | 南京工程学院 | 一种基于深度学习的立体视觉人际安全距离检测方法 |
CN113569801B (zh) * | 2021-08-11 | 2023-01-13 | 广东电网有限责任公司 | 一种配电施工现场带电设备及其带电区域识别方法及装置 |
CN115439741A (zh) * | 2022-08-08 | 2022-12-06 | 广西大学 | 基于人工智能与单目视觉的电力设备检测、测距及预警方法 |
CN115660924A (zh) * | 2022-10-28 | 2023-01-31 | 贵州电网有限责任公司 | 一种基于ai视觉的配网作业实时高精度预警方法 |
-
2023
- 2023-02-28 CN CN202310176156.4A patent/CN115861407B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192646A (zh) * | 2021-04-25 | 2021-07-30 | 北京易华录信息技术股份有限公司 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
CN115661337A (zh) * | 2022-09-23 | 2023-01-31 | 安徽南瑞继远电网技术有限公司 | 一种基于双目视觉的变电站作业人员三维重建的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115861407A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113345019B (zh) | 一种输电线路通道隐患目标测距方法、设备及介质 | |
CN112085003B (zh) | 公共场所异常行为自动识别方法及装置、摄像机设备 | |
CN104390591B (zh) | 大型曲面板测量中圆形标记物的精确定位方法 | |
CN107167073A (zh) | 一种线阵结构光三维快速测量装置及其测量方法 | |
CN104899609B (zh) | 一种基于图像配准的机械式表计识别方法 | |
RU2008102962A (ru) | Система и способ измерения и составления карты поверхности относительно репера | |
CN110850723A (zh) | 一种基于变电站巡检机器人系统的故障诊断及定位方法 | |
CN115861407B (zh) | 基于深度学习的安全距离检测方法及系统 | |
CN112183264B (zh) | 一种基于空间关系学习的吊车吊臂下有人逗留的判断方法 | |
CN110967014A (zh) | 一种基于增强现实技术的机房室内导航和设备追踪的方法 | |
Howells et al. | Real-time analogue gauge transcription on mobile phone | |
Shi et al. | Circular grid pattern based surface strain measurement system for sheet metal forming | |
CN116465335A (zh) | 基于点云匹配的自动测厚方法和系统 | |
Yang et al. | Auto-recognition Method for Pointer-type Meter Based on Binocular Vision. | |
CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
CN113932712B (zh) | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 | |
CN111964681B (zh) | 一种巡检机器人的实时定位系统 | |
CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位系统及方法 | |
JPWO2018131163A1 (ja) | 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体 | |
CN113888715A (zh) | 一种基于虚拟多目内窥镜的高炉料面三维重建方法及系统 | |
CN117350996A (zh) | 工业内窥镜视场范围调整方法及系统 | |
CN115790539B (zh) | 一种合作靶标水下摄影测量方法 | |
CN114719759B (zh) | 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法 | |
JP2021021577A (ja) | 画像処理装置及び画像処理方法 | |
CN112991342B (zh) | 基于水位尺图像的水位线检测方法、装置与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |