CN118115574A - 变电站双分裂引流线的定位方法、定位装置和机器人 - Google Patents

变电站双分裂引流线的定位方法、定位装置和机器人 Download PDF

Info

Publication number
CN118115574A
CN118115574A CN202410427609.0A CN202410427609A CN118115574A CN 118115574 A CN118115574 A CN 118115574A CN 202410427609 A CN202410427609 A CN 202410427609A CN 118115574 A CN118115574 A CN 118115574A
Authority
CN
China
Prior art keywords
double
image
split drainage
drainage line
split
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410427609.0A
Other languages
English (en)
Inventor
肖立军
毛强
覃佳奎
樊绍胜
莫凡
王剑平
赵文龙
赵俊浩
万新宇
李静
张政
韩玉龙
张泽林
钟艺晶
黄泽成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202410427609.0A priority Critical patent/CN118115574A/zh
Publication of CN118115574A publication Critical patent/CN118115574A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种变电站双分裂引流线的定位方法、定位装置和机器人,方法包括:获取变电站的原始高清图像,并利用图像增强算法对原始高清图像进行处理得到增强图像;将增强图像输入至语义分割模型中输出得到双分裂引流线区域,语义分割模型用于提取变电站在复杂场景下的双分裂引流线区域并得到双分裂引流线区域在图像中的位置信息;对双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对边缘图像进行直线拟合,提取得到双分裂引流线,以实现对双分裂引流线的定位。该方法解决了现有技术中在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题。

Description

变电站双分裂引流线的定位方法、定位装置和机器人
技术领域
本发明涉及配电网接引流线技术领域,具体而言,涉及一种变电站双分裂引流线的定位方法、定位装置、计算机可读存储介质、机器人和计算机程序产品。
背景技术
在电气设备上工作时,应采取停电、验电、接地等保证安全的技术措施。目前,变电站装拆接地线均为人工作业,存在诸多问题。随着科技的进步,新型的机器人接地作业逐步取代人工接地作业,这种新型的接地作业方式,主要通过悬吊上线式接地作业机器人携带高清摄像机等图像采集工具来定位双分裂引流线的位置,然后操作机械臂实现自动化接地作业。采用新型的机器人接地作业方式,在变电站的复杂场景下,面对复杂电磁环境和极端天气环境,可能会造成图像采集设备成像噪点多、对比度低和亮度过低的情形,同时背景中存在大量特征近似于双分裂引流线的干扰信息,导致机器人对目标双分裂引流线定位存在严重的偏差,从而导致机器人无法及时且准确地抓取双分裂引流线实现接地。
发明内容
本申请的主要目的在于提供一种变电站双分裂引流线的定位方法、定位装置、计算机可读存储介质、机器人和计算机程序产品,以至少解决现有技术中在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种变电站双分裂引流线的定位方法,所述方法包括:获取变电站的原始高清图像,并利用图像增强算法对所述原始高清图像进行处理得到增强图像;将所述增强图像输入至语义分割模型中输出得到双分裂引流线区域,所述语义分割模型用于提取所述变电站在复杂场景下的双分裂引流线区域并得到所述双分裂引流线区域在图像中的位置信息,所述双分裂引流线区域为所述图像中双分裂引流线所在的区域;对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对所述双分裂引流线的定位。
可选地,利用图像增强算法对所述原始高清图像进行处理得到增强图像,包括:根据所述原始高清图像分离出多个色彩通道,所述色彩通道包括R、G和B;构建高斯滤波函数和确定尺度参数,根据所述高斯滤波函数和所述尺度参数对所述原始高清图像进行高斯模糊处理得到照射分量;对所述原始高清图像和所述照射分量分别取对数并作差得到反射分量,其中,所述反射分量为:式中*表示卷积,G为增益系数,t为偏移量系数,Ci(x,y)为第i个所述色彩通道的色彩恢复函数,用于调节各所述色彩通道的颜色在所述原始高清图像中所占的比例,i∈{R,G,B},N为所述尺度参数的总个数,ωk为各所述尺度参数的权重值,Fk(x,y)为所述高斯滤波函数,x和y表示像素坐标值;将所述反射分量量化至设定范围内,得到所述增强图像。
可选地,在将所述增强图像输入至语义分割模型中提取双分裂引流线区域之前,所述方法还包括:获取多张历史双分裂引流线图像,所述历史双分裂引流线图像为所述变电站在历史时期中复杂场景下的双分裂引流线图像;对所述历史双分裂引流线图像进行标注预处理得到固定尺寸大小的目标双分裂引流线图像;根据所述目标双分裂引流线图像构建双分裂引流线数据集,采用数据增强方法对所述双分裂引流线数据集进行扩展,得到扩展数据集,所述扩展数据集划分出训练集;对目标训练集的输入数据代入目标检测算法进行迭代训练至满足迭代终止条件,得到所述语义分割模型,所述目标训练集为任意一个训练集,所述输入数据为所述目标双分裂引流线图像,所述迭代终止条件为迭代次数达到设定最大迭代次数,或损失函数值小于或等于设定值,所述损失函数值为所述目标检测算法中损失函数的输出值,所述损失函数包括二分类交叉熵损失函数和目标检测回归损失函数。
可选地,在对目标训练集的输入数据代入目标检测算法进行迭代训练至满足迭代终止条件之后,所述方法还包括:计算步骤,将目标测试集的所述输入数据输入所述目标检测算法,计算得到所述损失函数值,所述目标测试集为任意一个测试集,所述测试集为根据所述扩展数据集划分而成,所述测试集与所述训练集一一对应;更新步骤,根据多个所述损失函数值确定所述目标测试集对应的精度个数,所述精度个数用于表示满足所述损失函数值小于或等于所述设定值的所述损失函数值个数;依次重复所述计算步骤和所述更新步骤直至所有的所述测试集均测试完成,得到多个所述精度个数,所述精度个数与所述测试集一一对应;计算所述精度个数与对应所述测试集的所述输入数据的总数的比值得到模型精度,所述模型精度用于表征所述语义分割模型的精准度;在所述模型精度未达到预定精度要求的情况下,确定所述语义分割模型不合格;在所述模型精度达到所述预定精度要求的情况下,确定所述语义分割模型合格。
可选地,对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像拟合直线,提取得到双分裂引流线,包括:计算所述双分裂引流线区域的最大灰度值和最小灰度值,并设置第一灰度阈值,所述第一灰度阈值为所述最大灰度值和所述最小灰度值的平均值;分割步骤,根据所述灰度阈值将所述双分裂引流线区域分割为前景和背景,所述前景为所述双分裂引流线区域中的所述双分裂引流线所在区域,所述背景为除所述前景之外的其他区域;计算步骤,计算所述前景和所述背景的平均灰度值,分别得到前景灰度值和背景灰度值,并计算所述前景灰度值和所述背景灰度值的平均值得到第二灰度阈值;在所述第一灰度阈值和所述第二灰度阈值之差大于设定阈值的情况下,依次重复所述分割步骤和所述计算步骤至少一次直至所述第一灰度阈值和所述第二灰度阈值之差小于或等于所述设定阈值;在所述第一灰度阈值和所述第二灰度阈值之差小于或等于所述设定阈值的情况下,将所述第二灰度阈值对应的所述前景确定为所述边缘图像;将所述边缘图像进行二值化处理,得到轮廓图像,所述轮廓图像为只包含黑色像素和白色像素的图像,所述白色像素表示边缘部分,所述黑色像素表示非边缘部分;利用霍夫直线变换拟合提取所述轮廓图像中的所述双分裂引流线以实现所述双分裂引流线的定位。
可选地,在对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像拟合直线,提取得到双分裂引流线之后,所述方法还包括:控制机器人根据所述双分裂引流线的定位信息操作机械臂完成接地作业,所述机械臂为所述机器人用于完成物体相关作业操作的设备,所述作业操作至少包括抓取操作、搬运操作和组装操作。
根据本申请的另一方面,提供了一种变电站双分裂引流线的定位装置,所述装置包括:第一获取单元,用于获取变电站的原始高清图像,并利用图像增强算法对所述原始高清图像进行处理得到增强图像;输出单元,用于将所述增强图像输入至语义分割模型中输出得到双分裂引流线区域,所述语义分割模型用于提取所述变电站在复杂场景下的双分裂引流线区域并得到所述双分裂引流线区域在图像中的位置信息,所述双分裂引流线区域为所述图像中双分裂引流线所在的区域;提取单元,用于对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对所述双分裂引流线的定位。
根据本申请的再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。
根据本申请的又一方面,提供了一种机器人,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的方法。
根据本申请的又一方面,提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现任意一种所述的方法。
应用本申请的技术方案,在变电站双分裂引流线的定位方法中,首先,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;然后,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;最后,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。本申请通过获取变电站的原始高清图像,使用图像增强算法对原始高清图像进行噪声处理及图像增强得到增强图像,建立变电站复杂场景下双分裂引流线区域的语义分割模型,对增强图像输入语义分割模型中,提取双分裂引流线区域作为感兴趣区域,以去除变电站复杂场景干扰,再采用边缘检测算法获取双分裂引流线轮廓边缘,得到边缘图像,并利用霍夫直线算法拟合边缘图像中双分裂引流线两端的引流线。得到双分裂引流线实现精准定位。本申请解决了现有技术中在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题。
附图说明
图1示出了根据本申请的实施例中提供的一种执行变电站双分裂引流线的定位方法的移动终端的硬件结构框图;
图2示出了根据本申请的实施例提供的一种变电站双分裂引流线的定位方法的流程示意图;
图3示出了根据本申请的实施例提供的一种变电站双分裂引流线的定位装置的结构框图。
其中,上述附图包括以下附图标记:
102、处理器;104、存储器;106、传输设备;108、输入输出设备。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
双分裂:是指每一相由两根分开的导线组成;
引流线:用于将变电站产生的电能传输到外部电网或用户的重要线路,在配电线路中,引流线也被称为电气接地线或保护接地线,重要作用是通过将短路电流引导到大地或其他安全地点;
Distribution Focal Loss是一种用于目标检测的损失函数,基于Focal Loss的改进版本,旨在解决目标检测中类别不平衡和难易样本的问题。Distribution Focal Loss通过引入分布权重和聚焦参数来对不同类别和难易样本进行加权,从而能够更有效地训练目标检测模型。这种损失函数可以帮助模型更好地处理类别不平衡和难易样本,提高目标检测的准确性和鲁棒性;
CIoU Loss是一种用于目标检测任务的损失函数,它是IoU(Intersection overUnion)的变种。CIoU Loss考虑了边界框的中心点偏移、宽高比例以及两个边界框的重叠程度,相比于传统的IoU损失函数,CIoU Loss在目标检测任务中能够更准确地衡量两个边界框之间的距离,提高了模型的性能和精度。因此,CIoU Loss在目标检测领域得到了广泛的应用;
YOLOv8算法是一种目标检测算法,它是YOLO(You Only Look Once)系列算法的最新版本。YOLOv8算法采用了改进的神经网络架构和训练技巧,以提高目标检测的准确性和效率。该算法能够在图像或视频中实时识别并定位多个目标,包括人、车辆、动物等。它在计算机视觉和自动驾驶等领域具有广泛的应用;
Canny算法是一种经典的边缘检测算法,在图像处理领域被广泛应用,能够有效地检测图像中的边缘,并且对噪声有一定的抵抗能力。
正如背景技术中所介绍的,现有技术中采用新型的机器人接地作业方式,在变电站的复杂场景下,面对复杂电磁环境和极端天气环境,可能会造成图像采集设备成像噪点多、对比度低和亮度过低的情形,同时背景中存在大量特征近似于双分裂引流线的干扰信息,导致机器人对目标双分裂引流线定位存在严重的偏差,从而导致机器人无法及时且准确地抓取双分裂引流线实现接地,为解决在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题,本申请的实施例提供了一种变电站双分裂引流线的定位方法、定位装置、计算机可读存储介质、机器人和计算机程序产品。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种变电站双分裂引流线的定位方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的设备信息的显示方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于移动终端、计算机终端或者类似的运算装置的变电站双分裂引流线的定位方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本申请实施例的变电站双分裂引流线的定位方法的流程图。如图2所示,该方法包括以下步骤:
步骤S201,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像。
具体地,首先通过接地作业机器人的摄像头或者图像采集设备中获取变电站的原始高清图像,然后利用图像增强算法对原始高清图像进行噪声处理及图像增强,得到增强图像。图像增强算法能够提高图像的清晰度和对比度,使得后续的图像处理更加准确。
步骤S202,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域。
具体地,变电站背景环境复杂,为了提高检测准确路和定位精准度,需要对感兴趣区域Region of Interest(简称:ROI),即双分裂引流线部分进行语义分割,将增强图像输入至语义分割模型中,该模型经过训练可以识别双分裂引流线区域并输出其位置信息,双分裂引流线是变电站中用于引导放电的设备。通过语义分割模型的输出,可以准确地提取出双分裂引流线区域在图像中的位置信息。
步骤S203,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。
具体地,对双分裂引流线区域进行边缘检测,得到边缘图像。然后利用霍夫变换算法对边缘图像进行直线拟合,提取得到双分裂引流线的位置和方向,从而实现对双分裂引流线的定位。边缘检测和霍夫变换算法能够精确地提取出双分裂引流线的位置和方向,实现了对双分裂引流线的定位。
本实施例中,首先,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;然后,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;最后,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。本申请通过获取变电站的原始高清图像,使用图像增强算法对原始高清图像进行噪声处理及图像增强得到增强图像,建立变电站复杂场景下双分裂引流线区域的语义分割模型,对增强图像输入语义分割模型中,提取双分裂引流线区域作为感兴趣区域,以去除变电站复杂场景干扰,再采用边缘检测算法获取双分裂引流线轮廓边缘,得到边缘图像,并利用霍夫直线算法拟合边缘图像中双分裂引流线两端的引流线。得到双分裂引流线实现精准定位。本申请解决了现有技术中在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题。
为了使得本领域技术人员能够更加清楚地了解本申请的技术方案,以下将结合具体的实施例对本申请的变电站双分裂引流线的定位方法的实现过程进行详细说明。
为了提高图像的清晰度,在一种可选的实施方式中,上述步骤S202包括:
步骤S2021,根据上述原始高清图像分离出多个色彩通道,上述色彩通道包括R、G和B;
步骤S2022,构建高斯滤波函数和确定尺度参数,根据上述高斯滤波函数和上述尺度参数对上述原始高清图像进行高斯模糊处理得到照射分量;
步骤S2023,对上述原始高清图像和上述照射分量分别取对数并作差得到反射分量,其中,反射分量为:式中*表示卷积,G为增益系数,t为偏移量系数,Ci(x,y)为第i个上述色彩通道的色彩恢复函数,用于调节各上述色彩通道的颜色在上述原始高清图像中所占的比例,i∈{R,G,B},N为上述尺度参数的总个数,ωk为各上述尺度参数的权重值,Fk(x,y)为上述高斯滤波函数,x和y表示像素坐标值;
步骤S2024,将上述反射分量量化至设定范围内,得到上述增强图像。
在上述实施例中,采用改进的Retinex算法即MSRCR算法,改进的Retinex算法通过对图像的对比度和亮度数据进行处理,然后再把数据根据原始的RGB的比例映射到每个通道,在保留原始颜色分布的基础上增强图像。根据原始高清图像I(x,y)分离出三个色彩通道R、G和B;构建高斯滤波函数Fk(x,y),表达式为并确定尺度参数σk,该尺度参数也是高斯滤波函数的标准差,即利用高斯滤波函数分别对R、G和B三个色彩通道进行卷积滤波,并加权平均得到照射分量/>对于三个通道都通过对上述原始高清图像I(x,y)和上述照射分量L(x,y)分别取对数并作差得到相应的通道反射分量,对于色彩恢复函数的选取,采用能够提供最佳整体色彩还原的函数表达式为:Ci(x,y)=β(log(αIi(x,y))-log(∑i∈{RG,B}Ii(x,y))),其中,β是增益常数;α是调节因子,α的大小控制着非线性的强度,按照Ci(x,y)的表达式计算得到各通道的色彩恢复函数,将色彩恢复函数与通道反射分量进行相乘,得到最终三个通道的反射分量,将三个通道的反射分量进行合并得到上述反射分量。将ri(x,y)的像素值量化到0到255的范围内得到R(x,y),R(x,y)即为上述增强图像,因为ri(x,y)是对数域需要转换为实数域的图像R(x,y),其中,量化的公式如下:R(x,y)=(Value-Min)/(Max-Min)×(255-0),Min为ri(x,y)的最小值,Max为ri(x,y)的最大值,Value为ri(x,y)的任意一个值。
为了去除变电站复杂场景干扰,在一种可选的实施方式中,在上述步骤S202之前,上述方法还包括:
步骤S301,获取多张历史双分裂引流线图像,上述历史双分裂引流线图像为上述变电站在历史时期中复杂场景下的双分裂引流线图像;
步骤S302,对上述历史双分裂引流线图像进行标注预处理得到固定尺寸大小的目标双分裂引流线图像;
步骤S303,根据上述目标双分裂引流线图像构建双分裂引流线数据集,采用数据增强方法对上述双分裂引流线数据集进行扩展,得到扩展数据集,上述扩展数据集划分出训练集;
步骤S304,对目标训练集的输入数据代入目标检测算法进行迭代训练至满足迭代终止条件,得到上述语义分割模型,上述目标训练集为任意一个训练集,上述输入数据为上述目标双分裂引流线图像,上述迭代终止条件为迭代次数达到设定最大迭代次数,或损失函数值小于或等于设定值,上述损失函数值为上述目标检测算法中损失函数的输出值,上述损失函数包括二分类交叉熵损失函数和目标检测回归损失函数。
在上述实施例中,对增强图像输入语义分割模型中,提取双分裂引流线区域作为感兴趣区域,去除变电站复杂场景干扰。建立变电站复杂场景下双分裂引流线区域的语义分割模型具体过程如下,获取在历史时期变电站复杂场景下双分裂引流线图像,即上述历史双分裂引流线图像,对历史双分裂引流线图像进行标注预处理得到640×640固定尺寸大小的图像,即上述目标双分裂引流线图像。对于目标检测算法以YOLOv8算法为例,在使用YOLOv8算法训练之前,由于没有相应变电站的相关数据集,所以需要自行构建一个双分裂引流线数据集,可以选择根据上述目标双分裂引流线图像构建双分裂引流线数据集,双分裂引流线数据集的每张图像上的像素点都有对应的类别和置信度,置信度表示为属于该类别的概率为多少。由于输入网络的尺寸为640×640,所以需要将所有图像剪切为对应的尺寸,在输入网络的尺寸为其他数值时也将所有图像剪切至其他数值对应的尺寸。为增强语义分割模型对双分裂引流线的鲁棒性,避免出现过拟合,在正式训练之前对双分裂引流线数据集进行数据增强。数据增强采用的方法有:分别调整色调,饱和度,明度为0.015,0.7,0.4;指定10%的概率翻转图像;缩放比例为0.5;将四幅训练图像组合成一幅图像;随机擦除图像中的部分特征,得到上述扩展数据集。将训练集输入YOLOv8算法中训练设定次数,得到变电站复杂场景下双分裂引流线区域的语义分割模型;可以选择将双分裂引流线数据集中80%的双分裂引流线图像作为训练集。在训练过程中,优化器采用SGD算法,学习率为0.01,权重衰减为0.0005,优化动量0.937,batch size设置为128,采用线性的学习率策略,热身300轮,EMA衰减为0.9999。YOLOv8的损失函数主要包括分类误差和回归误差。其中,分类误差采用BCE计算方式,即计算公式如下:其中,y是二元标签0或者1,p(y)是输出属于标签的概率,N表示模型预测对象的组数。回归分支需要和积分形式表示法绑定,因此使用了Distribution Focal Loss,同时还使用了CIoULoss。考虑到真实的分布通常不会距离标注的位置太远,因此Distribution Focal Loss选择优化标签y附近左右两个位置的概率,使得网络分布聚焦到标签值附近。对应的Distribution Focal Loss计算公式为:DFL(Si,Si+1)=-((yi+1-y)log(Si)+(y-yi)log(Si+1)),其中/>还引入CIoU来评估预测框与标注框的距离。具体公式为:/>其中,/>式中,IoU为预测框和标注框的交并比,ρ2(b,bgt)代表真实框与预测框中心距离的平方,c表示两个框的最小闭包区域的对角线长度,α代表权重函数,v用来衡量标注框和预测框之间的长宽比的相似性;改进CIoU损失函数为:LCIoU=1-CIoU,CIoU考虑了重叠面积,中心点距离和长宽比三个重要的几何因素。在目标框不重叠时,仍然可以正常训练,并且能够直接最小化预测框与真实框的距离,收敛速度快很多,同时损失函数会更加倾向于往重叠区域增多方向优化。
为了减少语义分割模型误差,提高语义分割模型输出结果的准确率,在一种可选的实施方式中,在上述步骤S304之后,上述方法还包括:
步骤S401,计算步骤,将目标测试集的上述输入数据输入上述目标检测算法,计算得到上述损失函数值,上述目标测试集为任意一个测试集,上述测试集为根据上述扩展数据集划分而成,上述测试集与上述训练集一一对应;
步骤S402,更新步骤,根据多个上述损失函数值确定上述目标测试集对应的精度个数,上述精度个数用于表示满足上述损失函数值小于或等于上述设定值的上述损失函数值个数;
步骤S403,依次重复上述计算步骤和上述更新步骤直至所有的上述测试集均测试完成,得到多个上述精度个数,上述精度个数与上述测试集一一对应;
步骤S404,计算上述精度个数与对应上述测试集的上述输入数据的总数的比值得到模型精度,上述模型精度用于表征上述语义分割模型的精准度;
步骤S405,在上述模型精度未达到预定精度要求的情况下,确定上述语义分割模型不合格;
步骤S406,在上述模型精度达到上述预定精度要求的情况下,确定上述语义分割模型合格。
在上述实施例中,在训练完成后,对训练集中的双分裂引流线图像进行测试,测试结果包括:双分裂引流线的位置信息和计算测试结果的准确率,即上述模型精度,判断测试结果的准确率是否大于上述预定精度要求,在上述模型精度达到上述预定精度要求时,确定上述语义分割模型合格,并且进一步地还可以将训练集和测试集分别再次训练和测试,查看训练误差和测试误差,若训练误差和测试误差都下降且最终趋向于某一个常数,则表示合理收敛,得到最终的语义分割模型。
为了有效地提取目标区域的边缘信息,实现双分裂引流线的精确定位,在一种可选的实施方式中,步骤S203包括:
步骤S2031,计算上述双分裂引流线区域的最大灰度值和最小灰度值,并设置第一灰度阈值,上述第一灰度阈值为上述最大灰度值和上述最小灰度值的平均值;
步骤S2032,分割步骤,根据上述灰度阈值将上述双分裂引流线区域分割为前景和背景,上述前景为上述双分裂引流线区域中的上述双分裂引流线所在区域,上述背景为除上述前景之外的其他区域;
步骤S2033,计算步骤,计算上述前景和上述背景的平均灰度值,分别得到前景灰度值和背景灰度值,并计算上述前景灰度值和上述背景灰度值的平均值得到第二灰度阈值;
步骤S2034,在上述第一灰度阈值和上述第二灰度阈值之差大于设定阈值的情况下,依次重复上述分割步骤和上述计算步骤至少一次直至上述第一灰度阈值和上述第二灰度阈值之差小于或等于上述设定阈值;
步骤S2035,在上述第一灰度阈值和上述第二灰度阈值之差小于或等于上述设定阈值的情况下,将上述第二灰度阈值对应的上述前景确定为上述边缘图像;
步骤S2036,将上述边缘图像进行二值化处理,得到轮廓图像,上述轮廓图像为只包含黑色像素和白色像素的图像,上述白色像素表示边缘部分,上述黑色像素表示非边缘部分;
步骤S2037,利用霍夫直线变换拟合提取上述轮廓图像中的上述双分裂引流线以实现上述双分裂引流线的定位。
在上述实施例中,对语义分割模型得到的双分裂引流线区域利用Canny算法进行边缘检测,获得边缘图像,再使用Hough直线算法拟合直线,提取出双分裂引流线,实现精准定位,其中Canny算法采用全局阈值迭代分割法。求出上述双分裂引流线区域的最大灰度值和最小灰度值,分别记为Zmax和Zmin,令初始阈值T0=(Zmax+Zmin)/2,即上述第一灰度阈值,根据阈值T0将上述双分裂引流线区域产生的像素组,将大于第一灰度阈值的为分别求出两者的平均灰度值ZO和ZB,求出新阈值TK=(ZO+ZB)/2,即上述第二灰度阈值,若T0>TK+ΔT,依次重复上述分割步骤和上述计算步骤至少一次直至上述第一灰度阈值和上述第二灰度阈值之差小于或等于上述设定阈值,若T0≤TK+ΔT,将上述第二灰度阈值分割出的上述前景确定为上述边缘图像,其中,ΔT为设定阈值。对得到的边缘检测图进行Hough直线检测,并对直线设置阈值,过滤掉干扰直线,Hough直线检测算法具体方法为:将边缘检测图像二值化处理,得到处理后的图像即上述轮廓图像,将轮廓图像中的所有像素点(坐标值)变换成参数空间的曲线,并在参数空间检测曲线交点,对于霍夫变换采用极坐标系来表示直线,因此直角坐标系的每一条直线对应极坐标系中都有唯一的点(θ,ρ),表达公式为:ρ=x cosθ+ysinθ,取局部极大值作为直线阈值,过滤干扰直线,绘制直线、标定角点,得到上述轮廓图像中的上述双分裂引流线。
综上所述,本申请通过深度学习和图像处理技术相结合得到了双分裂引流线在图像中的位置信息,提高了识别准确度和定位精度,保证了机器人在复杂的变电站场景下能够精准定位双分裂引流线实现接地,提高了机器人作业的稳定性。
为了提高作业效率,在一种可选的实施方式中,在上述步骤S203之后,上述方法还包括:
步骤S501,控制机器人根据上述双分裂引流线的定位信息操作机械臂完成接地作业,上述机械臂为上述机器人用于完成物体相关作业操作的设备,上述作业操作至少包括抓取操作、搬运操作和组装操作。
在上述实施例中,根据双分裂引流线的定位信息,控制机器人操作机械臂准确抓取双分裂引流线高效实现引流线接地作业。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种变电站双分裂引流线的定位装置,需要说明的是,本申请实施例的变电站双分裂引流线的定位装置可以用于执行本申请实施例所提供的用于变电站双分裂引流线的定位方法。该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
以下对本申请实施例提供的变电站双分裂引流线的定位装置进行介绍。
图3是根据本申请实施例的变电站双分裂引流线的定位装置的结构框图。如图3所示,该装置包括:
第一获取单元10,用于获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像。
具体地,首先通过接地作业机器人的摄像头或者图像采集设备中获取变电站的原始高清图像,然后利用图像增强算法对原始高清图像进行噪声处理及图像增强,得到增强图像。图像增强算法能够提高图像的清晰度和对比度,使得后续的图像处理更加准确。
输出单元20,用于将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域。
具体地,变电站背景环境复杂,为了提高检测准确路和定位精准度,需要对感兴趣区域Region of Interest(简称:ROI),即双分裂引流线部分进行语义分割,将增强图像输入至语义分割模型中,该模型经过训练可以识别双分裂引流线区域并输出其位置信息,双分裂引流线是变电站中用于引导放电的设备。通过语义分割模型的输出,可以准确地提取出双分裂引流线区域在图像中的位置信息。
提取单元30,用于对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。
具体地,对双分裂引流线区域进行边缘检测,得到边缘图像。然后利用霍夫变换算法对边缘图像进行直线拟合,提取得到双分裂引流线的位置和方向,从而实现对双分裂引流线的定位。边缘检测和霍夫变换算法能够精确地提取出双分裂引流线的位置和方向,实现了对双分裂引流线的定位。
本实施例中,第一获取单元,用于获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;输出单元,用于将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;提取单元,用于对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。本申请通过获取变电站的原始高清图像,使用图像增强算法对原始高清图像进行噪声处理及图像增强得到增强图像,建立变电站复杂场景下双分裂引流线区域的语义分割模型,对增强图像输入语义分割模型中,提取双分裂引流线区域作为感兴趣区域,以去除变电站复杂场景干扰,再采用边缘检测算法获取双分裂引流线轮廓边缘,得到边缘图像,并利用霍夫直线算法拟合边缘图像中双分裂引流线两端的引流线。得到双分裂引流线实现精准定位。本申请解决了现有技术中在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题。
为了提高图像的清晰度,在一种可选的实施方式中,上述输出单元包括:
分离模块,根据上述原始高清图像分离出多个色彩通道,上述色彩通道包括R、G和B;
第一处理模块,构建高斯滤波函数和确定尺度参数,根据上述高斯滤波函数和上述尺度参数对上述原始高清图像进行高斯模糊处理得到照射分量;
第二处理模块,对上述原始高清图像和上述照射分量分别取对数并作差得到反射分量,其中,反射分量为:式中*表示卷积,G为增益系数,t为偏移量系数,Ci(x,y)为第i个上述色彩通道的色彩恢复函数,用于调节各上述色彩通道的颜色在上述原始高清图像中所占的比例,i∈{R,G,B},N为上述尺度参数的总个数,ωk为各上述尺度参数的权重值,Fk(x,y)为上述高斯滤波函数,x和y表示像素坐标值;
量化模块,将上述反射分量量化至设定范围内,得到上述增强图像。
在上述实施例中,采用改进的Retinex算法即MSRCR算法,改进的Retinex算法通过对图像的对比度和亮度数据进行处理,然后再把数据根据原始的RGB的比例映射到每个通道,在保留原始颜色分布的基础上增强图像。根据原始高清图像I(x,y)分离出三个色彩通道R、G和B;构建高斯滤波函数Fk(x,y),表达式为并确定尺度参数σk,该尺度参数也是高斯滤波函数的标准差,即利用高斯滤波函数分别对R、G和B三个色彩通道进行卷积滤波,并加权平均得到照射分量/>对于三个通道都通过对上述原始高清图像I(x,y)和上述照射分量L(x,y)分别取对数并作差得到相应的通道反射分量,对于色彩恢复函数的选取,采用能够提供最佳整体色彩还原的函数表达式为:Ci(x,y)=β(log(αIi(x,y))-log(∑i∈{RG,B}Ii(x,y))),其中,β是增益常数;α是调节因子,α的大小控制着非线性的强度,按照Ci(x,y)的表达式计算得到各通道的色彩恢复函数,将色彩恢复函数与通道反射分量进行相乘,得到最终三个通道的反射分量,将三个通道的反射分量进行合并得到上述反射分量。将ri(x,y)的像素值量化到0到255的范围内得到R(x,y),R(x,y)即为上述增强图像,因为ri(x,y)是对数域需要转换为实数域的图像R(x,y),其中,量化的公式如下:R(x,y)=(Value-Min)/(Max-Min)×(255-0),Min为ri(x,y)的最小值,Max为ri(x,y)的最大值,Value为ri(x,y)的任意一个值。
为了去除变电站复杂场景干扰,在一种可选的实施方式中,上述装置还包括:
第二获取单元,用于在将上述增强图像输入至语义分割模型中提取双分裂引流线区域之前,获取多张历史双分裂引流线图像,上述历史双分裂引流线图像为上述变电站在历史时期中复杂场景下的双分裂引流线图像;
处理单元,用于对上述历史双分裂引流线图像进行标注预处理得到固定尺寸大小的目标双分裂引流线图像;
构建单元,用于根据上述目标双分裂引流线图像构建双分裂引流线数据集,采用数据增强方法对上述双分裂引流线数据集进行扩展,得到扩展数据集,上述扩展数据集划分出训练集;
迭代单元,用于对目标训练集的输入数据代入目标检测算法进行迭代训练至满足迭代终止条件,得到上述语义分割模型,上述目标训练集为任意一个训练集,上述输入数据为上述目标双分裂引流线图像,上述迭代终止条件为迭代次数达到设定最大迭代次数,或损失函数值小于或等于设定值,上述损失函数值为上述目标检测算法中损失函数的输出值,上述损失函数包括二分类交叉熵损失函数和目标检测回归损失函数。
在上述实施例中,对增强图像输入语义分割模型中,提取双分裂引流线区域作为感兴趣区域,去除变电站复杂场景干扰。建立变电站复杂场景下双分裂引流线区域的语义分割模型具体过程如下,获取在历史时期变电站复杂场景下双分裂引流线图像,即上述历史双分裂引流线图像,对历史双分裂引流线图像进行标注预处理得到640×640固定尺寸大小的图像,即上述目标双分裂引流线图像。对于目标检测算法以YOLOv8算法为例,在使用YOLOv8算法训练之前,由于没有相应变电站的相关数据集,所以需要自行构建一个双分裂引流线数据集,可以选择根据上述目标双分裂引流线图像构建双分裂引流线数据集,双分裂引流线数据集的每张图像上的像素点都有对应的类别和置信度,置信度表示为属于该类别的概率为多少。由于输入网络的尺寸为640×640,所以需要将所有图像剪切为对应的尺寸,在输入网络的尺寸为其他数值时也将所有图像剪切至其他数值对应的尺寸。为增强语义分割模型对双分裂引流线的鲁棒性,避免出现过拟合,在正式训练之前对双分裂引流线数据集进行数据增强。数据增强采用的方法有:分别调整色调,饱和度,明度为0.015,0.7,0.4;指定10%的概率翻转图像;缩放比例为0.5;将四幅训练图像组合成一幅图像;随机擦除图像中的部分特征,得到上述扩展数据集。将训练集输入YOLOv8算法中训练设定次数,得到变电站复杂场景下双分裂引流线区域的语义分割模型;可以选择将双分裂引流线数据集中80%的双分裂引流线图像作为训练集。在训练过程中,优化器采用SGD算法,学习率为0.01,权重衰减为0.0005,优化动量0.937,batch size设置为128,采用线性的学习率策略,热身300轮,EMA衰减为0.9999。YOLOv8的损失函数主要包括分类误差和回归误差。其中,分类误差采用BCE计算方式,即计算公式如下:其中,y是二元标签0或者1,p(y)是输出属于标签的概率,N表示模型预测对象的组数。回归分支需要和积分形式表示法绑定,因此使用了Distribution Focal Loss,同时还使用了CIoULoss。考虑到真实的分布通常不会距离标注的位置太远,因此Distribution Focal Loss选择优化标签y附近左右两个位置的概率,使得网络分布聚焦到标签值附近。对应的Distribution FocalLoss计算公式为:DFL(Si,Si+1)=-((yi+1-y)log(Si)+(y-yi)log(Si+1)),其中/>还引入CIoU来评估预测框与标注框的距离。具体公式为:/>其中,/>式中,IoU为预测框和标注框的交并比,ρ2(b,bgt)代表真实框与预测框中心距离的平方,c表示两个框的最小闭包区域的对角线长度,α代表权重函数,v用来衡量标注框和预测框之间的长宽比的相似性;改进CIoU损失函数为:LCIoU=1-CIoU,CIoU考虑了重叠面积,中心点距离和长宽比三个重要的几何因素。在目标框不重叠时,仍然可以正常训练,并且能够直接最小化预测框与真实框的距离,收敛速度快很多,同时损失函数会更加倾向于往重叠区域增多方向优化。
为了减少语义分割模型误差,提高语义分割模型输出结果的准确率,在一种可选的实施方式中,上述装置还包括:
第一计算单元,用于在对目标训练集的输入数据代入目标检测算法进行迭代训练至满足迭代终止条件之后执行计算步骤,将目标测试集的上述输入数据输入上述目标检测算法,计算得到上述损失函数值,上述目标测试集为任意一个测试集,上述测试集为根据上述扩展数据集划分而成,上述测试集与上述训练集一一对应;
更新单元,用于执行更新步骤,根据多个上述损失函数值确定上述目标测试集对应的精度个数,上述精度个数用于表示满足上述损失函数值小于或等于上述设定值的上述损失函数值个数;
重复单元,用于依次重复上述计算步骤和上述更新步骤直至所有的上述测试集均测试完成,得到多个上述精度个数,上述精度个数与上述测试集一一对应;
第二计算单元,用于计算上述精度个数与对应上述测试集的上述输入数据的总数的比值得到模型精度,上述模型精度用于表征上述语义分割模型的精准度;
第一确定单元,用于在上述模型精度未达到预定精度要求的情况下,确定上述语义分割模型不合格;
第二确定单元,用于在上述模型精度达到上述预定精度要求的情况下,确定上述语义分割模型合格。
在上述实施例中,在训练完成后,对训练集中的双分裂引流线图像进行测试,测试结果包括:双分裂引流线的位置信息和计算测试结果的准确率,即上述模型精度,判断测试结果的准确率是否大于上述预定精度要求,在上述模型精度达到上述预定精度要求时,确定上述语义分割模型合格,并且进一步地还可以将训练集和测试集分别再次训练和测试,查看训练误差和测试误差,若训练误差和测试误差都下降且最终趋向于某一个常数,则表示合理收敛,得到最终的语义分割模型。
为了有效地提取目标区域的边缘信息,实现双分裂引流线的精确定位,在一种可选的实施方式中,提取单元包括:
第一计算模块,计算上述双分裂引流线区域的最大灰度值和最小灰度值,并设置第一灰度阈值,上述第一灰度阈值为上述最大灰度值和上述最小灰度值的平均值;
分割模块,执行分割步骤,根据上述灰度阈值将上述双分裂引流线区域分割为前景和背景,上述前景为上述双分裂引流线区域中的上述双分裂引流线所在区域,上述背景为除上述前景之外的其他区域;
第二计算模块,执行计算步骤,计算上述前景和上述背景的平均灰度值,分别得到前景灰度值和背景灰度值,并计算上述前景灰度值和上述背景灰度值的平均值得到第二灰度阈值;
重复模块,在上述第一灰度阈值和上述第二灰度阈值之差大于设定阈值的情况下,依次重复上述分割步骤和上述计算步骤至少一次直至上述第一灰度阈值和上述第二灰度阈值之差小于或等于上述设定阈值;
确定模块,在上述第一灰度阈值和上述第二灰度阈值之差小于或等于上述设定阈值的情况下,将上述第二灰度阈值对应的上述前景确定为上述边缘图像;
第三处理模块,将上述边缘图像进行二值化处理,得到轮廓图像,上述轮廓图像为只包含黑色像素和白色像素的图像,上述白色像素表示边缘部分,上述黑色像素表示非边缘部分;
提取模块,利用霍夫直线变换拟合提取上述轮廓图像中的上述双分裂引流线以实现上述双分裂引流线的定位。
在上述实施例中,对语义分割模型得到的双分裂引流线区域利用Canny算法进行边缘检测,获得边缘图像,再使用Hough直线算法拟合直线,提取出双分裂引流线,实现精准定位,其中Canny算法采用全局阈值迭代分割法。求出上述双分裂引流线区域的最大灰度值和最小灰度值,分别记为Zmax和Zmin,令初始阈值T0=(Zmax+Zmin)/2,即上述第一灰度阈值,根据阈值T0将上述双分裂引流线区域产生的像素组,将大于第一灰度阈值的为分别求出两者的平均灰度值ZO和ZB,求出新阈值TK=(ZO+ZB)/2,即上述第二灰度阈值,若T0>TK+ΔT,依次重复上述分割步骤和上述计算步骤至少一次直至上述第一灰度阈值和上述第二灰度阈值之差小于或等于上述设定阈值,若T0≤TK+ΔT,将上述第二灰度阈值分割出的上述前景确定为上述边缘图像,其中,ΔT为设定阈值。对得到的边缘检测图进行Hough直线检测,并对直线设置阈值,过滤掉干扰直线,Hough直线检测算法具体方法为:将边缘检测图像二值化处理,得到处理后的图像即上述轮廓图像,将轮廓图像中的所有像素点(坐标值)变换成参数空间的曲线,并在参数空间检测曲线交点,对于霍夫变换采用极坐标系来表示直线,因此直角坐标系的每一条直线对应极坐标系中都有唯一的点(θ,ρ),表达公式为:ρ=x cosθ+ysinθ,取局部极大值作为直线阈值,过滤干扰直线,绘制直线、标定角点,得到上述轮廓图像中的上述双分裂引流线。
综上所述,本申请通过深度学习和图像处理技术相结合得到了双分裂引流线在图像中的位置信息,提高了识别准确度和定位精度,保证了机器人在复杂的变电站场景下能够精准定位双分裂引流线实现接地,提高了机器人作业的稳定性。
为了提高作业效率,在一种可选的实施方式中,上述装置还包括:
操作单元,用于在对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像拟合直线,提取得到双分裂引流线之后,控制机器人根据上述双分裂引流线的定位信息操作机械臂完成接地作业,上述机械臂为上述机器人用于完成物体相关作业操作的设备,上述作业操作至少包括抓取操作、搬运操作和组装操作。
在上述实施例中,根据双分裂引流线的定位信息,控制机器人操作机械臂准确抓取双分裂引流线高效实现引流线接地作业。
上述变电站双分裂引流线的定位装置包括处理器和存储器,上述第一获取单元、输出单元和提取单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,上述计算机可读存储介质包括存储的程序,其中,在上述程序运行时控制上述计算机可读存储介质所在设备执行上述变电站双分裂引流线的定位方法。
具体地,变电站双分裂引流线的定位方法包括:
步骤S201,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;
步骤S202,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;
步骤S203,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述变电站双分裂引流线的定位方法。
具体地,变电站双分裂引流线的定位方法包括:
步骤S201,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;
步骤S202,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;
步骤S203,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。
本发明实施例提供了一种机器人,机器人包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S201,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;
步骤S202,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;
步骤S203,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S201,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;
步骤S202,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;
步骤S203,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
1)、本申请的变电站双分裂引流线的定位方法,首先,获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;然后,将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;最后,对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。本申请通过获取变电站的原始高清图像,使用图像增强算法对原始高清图像进行噪声处理及图像增强得到增强图像,建立变电站复杂场景下双分裂引流线区域的语义分割模型,对增强图像输入语义分割模型中,提取双分裂引流线区域作为感兴趣区域,以去除变电站复杂场景干扰,再采用边缘检测算法获取双分裂引流线轮廓边缘,得到边缘图像,并利用霍夫直线算法拟合边缘图像中双分裂引流线两端的引流线。得到双分裂引流线实现精准定位。本申请解决了现有技术中在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题。
2)、本申请的变电站双分裂引流线的定位装置,第一获取单元,用于获取变电站的原始高清图像,并利用图像增强算法对上述原始高清图像进行处理得到增强图像;输出单元,用于将上述增强图像输入至语义分割模型中输出得到双分裂引流线区域,上述语义分割模型用于提取上述变电站在复杂场景下的双分裂引流线区域并得到上述双分裂引流线区域在图像中的位置信息,上述双分裂引流线区域为上述图像中双分裂引流线所在的区域;提取单元,用于对上述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对上述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对上述双分裂引流线的定位。本申请通过获取变电站的原始高清图像,使用图像增强算法对原始高清图像进行噪声处理及图像增强得到增强图像,建立变电站复杂场景下双分裂引流线区域的语义分割模型,对增强图像输入语义分割模型中,提取双分裂引流线区域作为感兴趣区域,以去除变电站复杂场景干扰,再采用边缘检测算法获取双分裂引流线轮廓边缘,得到边缘图像,并利用霍夫直线算法拟合边缘图像中双分裂引流线两端的引流线。得到双分裂引流线实现精准定位。本申请解决了现有技术中在变电站的复杂场景下导致对目标双分裂引流线定位存在严重的偏差的问题。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种变电站双分裂引流线的定位方法,其特征在于,所述方法包括:
获取变电站的原始高清图像,并利用图像增强算法对所述原始高清图像进行处理得到增强图像;
将所述增强图像输入至语义分割模型中输出得到双分裂引流线区域,所述语义分割模型用于提取所述变电站在复杂场景下的双分裂引流线区域并得到所述双分裂引流线区域在图像中的位置信息,所述双分裂引流线区域为所述图像中双分裂引流线所在的区域;
对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对所述双分裂引流线的定位。
2.根据权利要求1所述的方法,其特征在于,利用图像增强算法对所述原始高清图像进行处理得到增强图像,包括:
根据所述原始高清图像分离出多个色彩通道,所述色彩通道包括R、G和B;
构建高斯滤波函数和确定尺度参数,根据所述高斯滤波函数和所述尺度参数对所述原始高清图像进行高斯模糊处理得到照射分量;
对所述原始高清图像和所述照射分量分别取对数并作差得到反射分量,其中,所述反射分量为:
式中*表示卷积,G为增益系数,t为偏移量系数,Ci(x,y)为第i个所述色彩通道的色彩恢复函数,用于调节各所述色彩通道的颜色在所述原始高清图像中所占的比例,i∈{R,G,B},N为所述尺度参数的总个数,ωk为各所述尺度参数的权重值,Fk(x,y)为所述高斯滤波函数,x和y表示像素坐标值;
将所述反射分量量化至设定范围内,得到所述增强图像。
3.根据权利要求1所述的方法,其特征在于,在将所述增强图像输入至语义分割模型中提取双分裂引流线区域之前,所述方法还包括:
获取多张历史双分裂引流线图像,所述历史双分裂引流线图像为所述变电站在历史时期中复杂场景下的双分裂引流线图像;
对所述历史双分裂引流线图像进行标注预处理得到固定尺寸大小的目标双分裂引流线图像;
根据所述目标双分裂引流线图像构建双分裂引流线数据集,采用数据增强方法对所述双分裂引流线数据集进行扩展,得到扩展数据集,所述扩展数据集划分出训练集;
对目标训练集的输入数据代入目标检测算法进行迭代训练至满足迭代终止条件,得到所述语义分割模型,所述目标训练集为任意一个训练集,所述输入数据为所述目标双分裂引流线图像,所述迭代终止条件为迭代次数达到设定最大迭代次数,或损失函数值小于或等于设定值,所述损失函数值为所述目标检测算法中损失函数的输出值,所述损失函数包括二分类交叉熵损失函数和目标检测回归损失函数。
4.根据权利要求3所述的方法,其特征在于,在对目标训练集的输入数据代入目标检测算法进行迭代训练至满足迭代终止条件之后,所述方法还包括:
计算步骤,将目标测试集的所述输入数据输入所述目标检测算法,计算得到所述损失函数值,所述目标测试集为任意一个测试集,所述测试集为根据所述扩展数据集划分而成,所述测试集与所述训练集一一对应;
更新步骤,根据多个所述损失函数值确定所述目标测试集对应的精度个数,所述精度个数用于表示满足所述损失函数值小于或等于所述设定值的所述损失函数值个数;
依次重复所述计算步骤和所述更新步骤直至所有的所述测试集均测试完成,得到多个所述精度个数,所述精度个数与所述测试集一一对应;
计算所述精度个数与对应所述测试集的所述输入数据的总数的比值得到模型精度,所述模型精度用于表征所述语义分割模型的精准度;
在所述模型精度未达到预定精度要求的情况下,确定所述语义分割模型不合格;
在所述模型精度达到所述预定精度要求的情况下,确定所述语义分割模型合格。
5.根据权利要求1所述的方法,其特征在于,对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像拟合直线,提取得到双分裂引流线,包括:
计算所述双分裂引流线区域的最大灰度值和最小灰度值,并设置第一灰度阈值,所述第一灰度阈值为所述最大灰度值和所述最小灰度值的平均值;
分割步骤,根据所述灰度阈值将所述双分裂引流线区域分割为前景和背景,所述前景为所述双分裂引流线区域中的所述双分裂引流线所在区域,所述背景为除所述前景之外的其他区域;
计算步骤,计算所述前景和所述背景的平均灰度值,分别得到前景灰度值和背景灰度值,并计算所述前景灰度值和所述背景灰度值的平均值得到第二灰度阈值;
在所述第一灰度阈值和所述第二灰度阈值之差大于设定阈值的情况下,依次重复所述分割步骤和所述计算步骤至少一次直至所述第一灰度阈值和所述第二灰度阈值之差小于或等于所述设定阈值;
在所述第一灰度阈值和所述第二灰度阈值之差小于或等于所述设定阈值的情况下,将所述第二灰度阈值对应的所述前景确定为所述边缘图像;
将所述边缘图像进行二值化处理,得到轮廓图像,所述轮廓图像为只包含黑色像素和白色像素的图像,所述白色像素表示边缘部分,所述黑色像素表示非边缘部分;
利用霍夫直线变换拟合提取所述轮廓图像中的所述双分裂引流线以实现所述双分裂引流线的定位。
6.根据权利要求1至5任一项所述的方法,其特征在于,在对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像拟合直线,提取得到双分裂引流线之后,所述方法还包括:
控制机器人根据所述双分裂引流线的定位信息操作机械臂完成接地作业,所述机械臂为所述机器人用于完成物体相关作业操作的设备,所述作业操作至少包括抓取操作、搬运操作和组装操作。
7.一种变电站双分裂引流线的定位装置,其特征在于,所述装置包括:
第一获取单元,用于获取变电站的原始高清图像,并利用图像增强算法对所述原始高清图像进行处理得到增强图像;
输出单元,用于将所述增强图像输入至语义分割模型中输出得到双分裂引流线区域,所述语义分割模型用于提取所述变电站在复杂场景下的双分裂引流线区域并得到所述双分裂引流线区域在图像中的位置信息,所述双分裂引流线区域为所述图像中双分裂引流线所在的区域;
提取单元,用于对所述双分裂引流线区域利用边缘检测算法进行边缘检测,得到边缘图像,并利用霍夫变换算法对所述边缘图像进行直线拟合,提取得到双分裂引流线,以实现对所述双分裂引流线的定位。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至6中任意一项所述的方法。
9.一种机器人,其特征在于,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至6中任意一项所述的方法。
10.一种计算机程序产品,包括计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
CN202410427609.0A 2024-04-09 2024-04-09 变电站双分裂引流线的定位方法、定位装置和机器人 Pending CN118115574A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410427609.0A CN118115574A (zh) 2024-04-09 2024-04-09 变电站双分裂引流线的定位方法、定位装置和机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410427609.0A CN118115574A (zh) 2024-04-09 2024-04-09 变电站双分裂引流线的定位方法、定位装置和机器人

Publications (1)

Publication Number Publication Date
CN118115574A true CN118115574A (zh) 2024-05-31

Family

ID=91217213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410427609.0A Pending CN118115574A (zh) 2024-04-09 2024-04-09 变电站双分裂引流线的定位方法、定位装置和机器人

Country Status (1)

Country Link
CN (1) CN118115574A (zh)

Similar Documents

Publication Publication Date Title
CN112668663B (zh) 一种基于YOLOv4的航拍小汽车检测方法
CN107292886B (zh) 基于网格划分及神经网络的目标物入侵检测方法及装置
CN109740639B (zh) 一种风云卫星遥感影像云检测方法、系统及电子设备
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN110298348B (zh) 遥感影像建筑物样本区域提取方法及系统、存储介质、设备
CN115546630A (zh) 基于遥感影像特征目标检测的工地提取方法和系统
CN114241326B (zh) 一种渐进式遥感影像地物要素智能生产方法及系统
CN113674288A (zh) 一种非小细胞肺癌数字病理图像组织自动分割方法
CN111079807B (zh) 一种地物分类方法及装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111582004A (zh) 一种地面图像中的目标区域分割方法及装置
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
CN116612280A (zh) 车辆分割方法、装置、计算机设备和计算机可读存储介质
CN115565019A (zh) 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
CN115019163A (zh) 基于多源大数据的城市要素识别方法
CN117636298A (zh) 基于多尺度特征学习的车辆重识别方法、系统及存储介质
CN116030346A (zh) 基于马尔可夫判别器的非成对弱监督云检测方法及系统
CN114998570B (zh) 一种对象检测框的确定方法、装置、存储介质及电子装置
CN118115574A (zh) 变电站双分裂引流线的定位方法、定位装置和机器人
CN114663751A (zh) 一种基于增量学习技术的输电线路缺陷识别方法和系统
CN115424250A (zh) 一种车牌识别方法及装置
CN111612836A (zh) 一种镂空圆形指针式仪表识别方法和系统
CN111127393B (zh) 雷达影像变化检测的样本制作方法及系统、存储介质、设备
CN112084953B (zh) 一种人脸属性识别的方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination