CN113723389A - 一种支柱式绝缘子定位方法及装置 - Google Patents

一种支柱式绝缘子定位方法及装置 Download PDF

Info

Publication number
CN113723389A
CN113723389A CN202111007393.5A CN202111007393A CN113723389A CN 113723389 A CN113723389 A CN 113723389A CN 202111007393 A CN202111007393 A CN 202111007393A CN 113723389 A CN113723389 A CN 113723389A
Authority
CN
China
Prior art keywords
insulator
coordinate
camera
coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111007393.5A
Other languages
English (en)
Inventor
肖立军
曹安瑛
黄小卫
梁静
樊绍胜
莫凡
万新宇
程槐号
程旭
陈基顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202111007393.5A priority Critical patent/CN113723389A/zh
Publication of CN113723389A publication Critical patent/CN113723389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本申请公开了一种支柱式绝缘子定位方法及装置,方法包括:将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标;根据目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标;根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标;通过中心点三维坐标和边缘点三维坐标对绝缘子的空间姿态进行定位。本申请能够解决现有技术要么繁琐,要么限制条件较多,导致实际应用受限,且结果缺乏准确性的技术问题。

Description

一种支柱式绝缘子定位方法及装置
技术领域
本申请涉及图像处理技术领域,尤其涉及一种支柱式绝缘子定位方法及装置。
背景技术
绝缘子作为变电站中广泛使用的绝缘设备,其性能直接关系到电网的安全稳定运行。由于绝缘子长期处于露天环境,如果不及时检测与清洗,绝缘子表面污秽堆积会发生闪络事故,对电力系统造成危害,将给居民生活和企业生产带来严重影响。因此,有必要研制一种绝缘子清洗机器人用于替代人工清洗作业。而实现清洗机器人高效作业任务的关键在于对绝缘子目标的识别与定位。
绝缘子清洗机器人对绝缘子的识别定位是机器人完成清洗任务的首要前提,传统的机器人绝缘子识别定位方法主要以人工摄像头传输识别为主,需要工作人员对相机视频流中绝缘子目标进行观察,依照经验对各帧图像进行观察评估。另外,对于绝缘子的识别检测还有图像特征分析法,需要人为设定某些目标特征,如设定绝缘子的纹理轮廓、区域色差等特征,再利用图像处理技术对图像中此类特征进行对比分析。当前,针对机器人的绝缘子识别定位方法,部分研究人员利用3D激光雷达,通过发射接收激光束对绝缘子轮廓进行扫描得到的点云信息,进一步在计算机中通过复杂的点云处理算法对绝缘子的三维信息进行处理。
但是,多个相机观测角度不同会导致观测绝缘子时图像特征区别较大,从而造成误判的情况,影响判断的准确性。而图像特征分析法又太过繁琐,且针对简单背景的目标检测较为适用,无法适用复杂环境的检测。3D激光雷达设备昂贵、其扫描距离有限,并且对处理3D信息的计算机要求较高,不利于推广使用。
发明内容
本申请提供了一种支柱式绝缘子定位方法及装置,用于解决现有技术要么繁琐,要么限制条件较多,导致实际应用受限,且结果缺乏准确性的技术问题。
有鉴于此,本申请第一方面提供了一种支柱式绝缘子定位方法,包括:
将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标;
根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标;
根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标;
通过所述中心点三维坐标和所述边缘点三维坐标对绝缘子的空间姿态进行定位。
可选的,所述将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标,之前还包括:
采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作,得到预设支柱式绝缘子图像,所述图像增强技术包括旋转、缩放、亮度调整。
可选的,所述将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标,之前还包括:
采用LabelImg图像标注工具对所述预设支柱式绝缘子图像进行边界标注,得到标注绝缘子数据集;
采用所述标注绝缘子数据集对初始YOLOv4模型进行目标检测训练,得到所述YOLOv4模型。
可选的,所述根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标,包括:
根据所述目标边界框坐标计算对应的中心点像素坐标;
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系;
通过所述中心点像素坐标和所述转换关系计算出中心点三维坐标。
可选的,所述根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标,包括:
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息;
根据所述绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量;
基于所述绝缘子相机坐标信息和不同方向上的所述单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
本申请第二方面提供了一种支柱式绝缘子定位装置,包括:
目标边界检测模块,用于将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标;
中心坐标计算模块,用于根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标;
边缘点坐标计算模块,用于根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标;
空间姿态定位模块,用于通过所述中心点三维坐标和所述边缘点三维坐标对绝缘子的空间姿态进行定位。
可选的,还包括:
预处理模块,用于采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作,得到预设支柱式绝缘子图像,所述图像增强技术包括旋转、缩放、亮度调整。
可选的,还包括:
标注模块,用于采用LabelImg图像标注工具对所述预设支柱式绝缘子图像进行边界标注,得到标注绝缘子数据集;
预训练模块,用于采用所述标注绝缘子数据集对初始YOLOv4模型进行目标检测训练,得到所述YOLOv4模型。
可选的,所述中心坐标计算模块,具体用于:
根据所述目标边界框坐标计算对应的中心点像素坐标;
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系;
通过所述中心点像素坐标和所述转换关系计算出中心点三维坐标。
可选的,所述边缘点坐标计算模块,具体用于:
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息;
根据所述绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量;
基于所述绝缘子相机坐标信息和不同方向上的所述单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请中,提供了一种支柱式绝缘子定位方法,包括:将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标;根据目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标;根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标;通过中心点三维坐标和边缘点三维坐标对绝缘子的空间姿态进行定位。
本申请提供的支柱式绝缘子定位方法,通过YOLOv4模型对支柱式绝缘子图像中的目标区域进行自适应检测操作,对图像质量和角度等方面的要求较低,且不需要人为选定图像特征,一定程度上降低的操作复杂性;基于目标边界框再计算图像内部的绝缘子的三维坐标,通过不同点的三维坐标进行空间姿态定位,能够保障定位的准确性;除了计算指标的限定,对于外界环境和目标定位图像的限制较少,定位结果准确可靠。因此,本申请能够解决现有技术要么繁琐,要么限制条件较多,导致实际应用受限,且结果缺乏准确性的技术问题。
附图说明
图1为本申请实施例提供的一种支柱式绝缘子定位方法的流程示意图;
图2为本申请实施例提供的一种支柱式绝缘子定位装置的结构示意图;
图3为本申请实施例提供的YOLOv4模型检测的目标边界框示意图;
图4为本申请实施例提供的深度相机成像坐标系示意图;
图5为本申请实施例提供的深度坐标系与像素坐标系之间的转换关系;
图6为本申请实施例提供的目标物体深度与距离平面示意图;
图7为本申请实施例提供的目标坐标系中绝缘子结合结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,请参阅图1,本申请提供的一种支柱式绝缘子定位方法的实施例,包括:
步骤101、将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标。
预处理支柱式绝缘子图像可以是对图像进行基本的降噪,均衡化处理,也可以一些其他的操作,具体可以根据实际情况选择执行,目的都是为了提升支柱式绝缘子图像的质量。
YOLOv4模型是已经采用绝缘子图像训练好的目标边界检测模型;可以完成端到端的绝缘子检测任务,不需要操作人员作特征设置,或者其他辅助工作。目标边界框坐标是指目标区域的矩形边界框的四个角点的二维像素坐标。YOLOv4模型的目标检测依据是预测边界框与标定框之间的重叠度,获取重叠度最大的预测边界框作为目标边界框,进而计算其具体的角点坐标,具体目标边界框请参阅图3。
进一步地,步骤101,之前还包括:
采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作,得到预设支柱式绝缘子图像,图像增强技术包括旋转、缩放、亮度调整。
预设支柱式绝缘子图像是为了训练YOLOv4模型的,为了增加样本多样性,更有利于模型优化,可以在不同情景下对初始支柱式绝缘子图像进行增强操作,例如不同角度,不同光照强度等。而增强技术除了旋转、缩放和亮度调整之外,还可以采用一些其他技术手段,具体根据实际情况选择,在此不作限定。
具体的,旋转样本可以是将样本上下进行5°到10°的旋转;而缩放可以是将样本的宽和高等比缩小0.2倍;亮度调整可以直接采样类似于g(x)=a×f(x)+b的公式实现。
进一步地,步骤101,之前还包括:
采用LabelImg图像标注工具对预设支柱式绝缘子图像进行边界标注,得到标注绝缘子数据集;
采用标注绝缘子数据集对初始YOLOv4模型进行目标检测训练,得到YOLOv4模型。
标注操作是对预设支柱式绝缘子图像中的支柱绝缘子与连接法兰进行边界标注,得到标注后的绝缘子图像数据集。训练的初始YOLOv4模型中通过特征提取网络CSPDarknet53进行特征提取,通过提取的特征图实现目标边界检测。
训练过程中需要设置一些参数,例如学习率可以设置为0.001,批量样本数设定为32,经过800个epoch后的loss值趋于稳定,则停止训练。
训练好的YOLOv4模型的具体支柱式绝缘子图像的检测过程是:获取特征提取网络提取的特征图,将输入图像划分为S×S个网格,通过目标中心所在的网格完成目标检测;每个网格从预测的多个边界框中选出与标定框交并比(IOU)最大的框,用于目标预测;然后,IOU是候选框C与原标记框G的重叠度,其计算公式为:
Figure BDA0003237477120000061
其中,area(C)表示候选框的区域面积,设y1,y2分别对应候选框上边框y轴坐标与下边框y轴的坐标,设x1,x2分别对应候选框右边框x轴坐标与左边框x轴坐标,其计算方法为area(C)=(y1-y2)×(x1-x2)。同理area(G)表示原标记框的区域面积。
网络模型的输出为预测框的4个边界框坐标信息(tx,ty,tw,th)和置信度(confidence)得分,置信度表达式为:
Figure BDA0003237477120000062
其中Pr(object)代表预测框中含有目标置信度,
Figure BDA0003237477120000063
代表位置预测的准确度,得到输出后通过非极大值抑制筛选出最后的目标预测框,即目标边界框坐标。
步骤102、根据目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标。
进一步地,步骤102,包括:
根据目标边界框坐标计算对应的中心点像素坐标;
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系;
通过中心点像素坐标和转换关系计算出中心点三维坐标。
请参阅图3,预测框中心点像素坐标为(bx,by),bw、bh分别对应预测框的宽度和高度;cx、cy为预测框所在网格左上角的坐标;pw、ph为预设的锚框等比映射到输出大小的宽和高。存在转换公式:bx=σ(tx)+cx,by=σ(ty)+cy
Figure BDA0003237477120000071
首先深度相机的成像坐标系请参阅图4,其中每个点的坐标为p(x,y),还包括深度信息Zw。设某点在深度摄像头和彩色摄像头中的坐标分别为XD与XR,对应像平面的投影坐标为xd和xr,存在xd=Kd·XD与xr=Kr·XR转换关系,包含:深度摄像头的内参Kd,彩色摄像头的内参Kr
平移矩阵TR、TD,旋转矩阵SR、SD,存在转换关系:
XR=S·XD+T
S=SR·SD -1
T=TR-S·TD
具体的转换关系可以采用几何图形描述,请参阅图5。利用上述关系可以将深度相机拍摄的深度图像映射到RGB图像,对应的中心点以及其他点都可以得到像素坐标系中的二维像素坐标(pixel[0],pixel[1]);具体请参阅图6,同时可以得到该点的深度Z,若当前点距离深度相机中心为S,那么深度与距离之间的关系可以表达为
Figure BDA0003237477120000072
其中,x、y为像素坐标系中,当前点深度投影对应的横纵坐标。
以上述方法可以同样计算得到中心点三维坐标(Xc,Yc,Z),且中心点三维坐标满足公式:
Figure BDA0003237477120000073
Figure BDA0003237477120000074
其中,f为相机焦距,ppx、ppy分别为相机中心的像素横纵坐标,object_xy为中心点在相机的Xc和Yc坐标。
步骤103、根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标。
进一步地,步骤103,包括:
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息;
根据绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量;
基于绝缘子相机坐标信息和不同方向上的单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
需要说明的是,四个绝缘子伞裙边缘点在相机坐标系下的坐标表示为rgbPArgbPBrgbPCrgbPD
基于预置目标坐标系的单位向量,请参阅图7,其中的绝缘子存在绘制的几何边AC、CD、AB、BD等。可以基于此绝缘子几何关系计算预置目标坐标系中不同方向上的单位向量;且有:
Figure BDA0003237477120000081
X轴方向单位向量:
Figure BDA0003237477120000082
Z轴方向的单位向量为
Figure BDA0003237477120000083
Figure BDA0003237477120000084
的叉乘:
Figure BDA0003237477120000085
Y轴方向的单位向量为
Figure BDA0003237477120000086
Figure BDA0003237477120000087
的叉乘,满足:
Figure BDA0003237477120000088
那么,边缘点三维坐标的每个点坐标计算方式为:
Figure BDA0003237477120000089
Figure BDA00032374771200000810
Figure BDA00032374771200000811
因此,可以得到四个伞裙边缘点的边缘点三维坐标(objXD,objYD,objZD)。
步骤104、通过中心点三维坐标和边缘点三维坐标对绝缘子的空间姿态进行定位。
四个边缘点三维坐标和一个中心点三维坐标就可以准确的对绝缘子的空间姿态进行定位,且定位满足如下关系:
Figure BDA0003237477120000091
[U,S,V]=SVD(H)
Figure BDA0003237477120000092
SVD奇异值分解是一种正交矩阵分解,以达到去除噪声和冗余信息,优化数据的目的,通过SVD奇异值分解可进一步地求出旋转矩阵
Figure BDA0003237477120000093
实现对绝缘子空间中姿态定位。
其中,U为m*m方阵,U的正交向量为左奇异向量,S为m*n对角矩阵,除对角线外其它元素为零,对角线上元素为奇异值。V为n*n的矩阵,V的正交向量为右奇异值向量。
本申请实施例提供的支柱式绝缘子定位方法,通过YOLOv4模型对支柱式绝缘子图像中的目标区域进行自适应检测操作,对图像质量和角度等方面的要求较低,且不需要人为选定图像特征,一定程度上降低的操作复杂性;基于目标边界框再计算图像内部的绝缘子的三维坐标,通过不同点的三维坐标进行空间姿态定位,能够保障定位的准确性;除了计算指标的限定,对于外界环境和目标定位图像的限制较少,定位结果准确可靠。因此,本申请实施例能够解决现有技术要么繁琐,要么限制条件较多,导致实际应用受限,且结果缺乏准确性的技术问题。
为了便于理解,请参阅图2,本申请提供了一种支柱式绝缘子定位装置的实施例,包括:
目标边界检测模块201,用于将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标;
中心坐标计算模块202,用于根据目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标;
边缘点坐标计算模块203,用于根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标;
空间姿态定位模块204,用于通过中心点三维坐标和边缘点三维坐标对绝缘子的空间姿态进行定位。
进一步地,还包括:
预处理模块205,用于采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作,得到预设支柱式绝缘子图像,图像增强技术包括旋转、缩放、亮度调整。
进一步地,还包括:
标注模块206,用于采用LabelImg图像标注工具对预设支柱式绝缘子图像进行边界标注,得到标注绝缘子数据集;
预训练模块207,用于采用标注绝缘子数据集对初始YOLOv4模型进行目标检测训练,得到YOLOv4模型。
进一步地,中心坐标计算模块202,具体用于:
根据目标边界框坐标计算对应的中心点像素坐标;
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系;
通过中心点像素坐标和转换关系计算出中心点三维坐标。
进一步地,边缘点坐标计算模块203,具体用于:
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息;
根据绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量;
基于绝缘子相机坐标信息和不同方向上的单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以通过一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种支柱式绝缘子定位方法,其特征在于,包括:
将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标;
根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标;
根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标;
通过所述中心点三维坐标和所述边缘点三维坐标对绝缘子的空间姿态进行定位。
2.根据权利要求1所述的支柱式绝缘子定位方法,其特征在于,所述将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标,之前还包括:
采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作,得到预设支柱式绝缘子图像,所述图像增强技术包括旋转、缩放、亮度调整。
3.根据权利要求2所述的支柱式绝缘子定位方法,其特征在于,所述将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标,之前还包括:
采用LabelImg图像标注工具对所述预设支柱式绝缘子图像进行边界标注,得到标注绝缘子数据集;
采用所述标注绝缘子数据集对初始YOLOv4模型进行目标检测训练,得到所述YOLOv4模型。
4.根据权利要求1所述的支柱式绝缘子定位方法,其特征在于,所述根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标,包括:
根据所述目标边界框坐标计算对应的中心点像素坐标;
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系;
通过所述中心点像素坐标和所述转换关系计算出中心点三维坐标。
5.根据权利要求1所述的支柱式绝缘子定位方法,其特征在于,所述根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标,包括:
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息;
根据所述绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量;
基于所述绝缘子相机坐标信息和不同方向上的所述单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
6.一种支柱式绝缘子定位装置,其特征在于,包括:
目标边界检测模块,用于将预处理后的支柱式绝缘子图像输入YOLOv4模型中进行目标检测操作,得到目标边界框坐标;
中心坐标计算模块,用于根据所述目标边界框坐标、深度摄像头内参和彩色摄像头内参计算出中心点三维坐标;
边缘点坐标计算模块,用于根据绝缘子相机坐标信息计算预置目标坐标系中绝缘子伞裙边缘点的边缘点三维坐标;
空间姿态定位模块,用于通过所述中心点三维坐标和所述边缘点三维坐标对绝缘子的空间姿态进行定位。
7.根据权利要求6所述的支柱式绝缘子定位装置,其特征在于,还包括:
预处理模块,用于采用图像增强技术对获取到的初始支柱式绝缘子图像进行增强操作,得到预设支柱式绝缘子图像,所述图像增强技术包括旋转、缩放、亮度调整。
8.根据权利要求7所述的支柱式绝缘子定位装置,其特征在于,还包括:
标注模块,用于采用LabelImg图像标注工具对所述预设支柱式绝缘子图像进行边界标注,得到标注绝缘子数据集;
预训练模块,用于采用所述标注绝缘子数据集对初始YOLOv4模型进行目标检测训练,得到所述YOLOv4模型。
9.根据权利要求6所述的支柱式绝缘子定位装置,其特征在于,所述中心坐标计算模块,具体用于:
根据所述目标边界框坐标计算对应的中心点像素坐标;
基于深度摄像头内参和彩色摄像头内参确定像素坐标与深度坐标之间的转换关系;
通过所述中心点像素坐标和所述转换关系计算出中心点三维坐标。
10.根据权利要求6所述的支柱式绝缘子定位装置,其特征在于,所述边缘点坐标计算模块,具体用于:
获取不同绝缘子伞裙边缘点在相机坐标系下的绝缘子相机坐标信息;
根据所述绝缘子相机坐标信息计算预置目标坐标系中不同方向上的单位向量;
基于所述绝缘子相机坐标信息和不同方向上的所述单位向量计算绝缘子伞裙边缘点的边缘点三维坐标。
CN202111007393.5A 2021-08-30 2021-08-30 一种支柱式绝缘子定位方法及装置 Pending CN113723389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007393.5A CN113723389A (zh) 2021-08-30 2021-08-30 一种支柱式绝缘子定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007393.5A CN113723389A (zh) 2021-08-30 2021-08-30 一种支柱式绝缘子定位方法及装置

Publications (1)

Publication Number Publication Date
CN113723389A true CN113723389A (zh) 2021-11-30

Family

ID=78679372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007393.5A Pending CN113723389A (zh) 2021-08-30 2021-08-30 一种支柱式绝缘子定位方法及装置

Country Status (1)

Country Link
CN (1) CN113723389A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638883A (zh) * 2022-03-09 2022-06-17 西南交通大学 一种绝缘子水冲洗机器人视觉受限重定位目标方法
CN115880470A (zh) * 2023-03-08 2023-03-31 深圳佑驾创新科技有限公司 3d图像数据的生成方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340461A1 (en) * 2017-01-19 2019-11-07 Zhejiang Dahua Technology Co., Ltd. Locating method and system
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
CN112927297A (zh) * 2021-02-20 2021-06-08 华南理工大学 一种基于yolo系列的目标检测和视觉定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190340461A1 (en) * 2017-01-19 2019-11-07 Zhejiang Dahua Technology Co., Ltd. Locating method and system
CN110599544A (zh) * 2019-08-08 2019-12-20 佛山科学技术学院 一种基于机器视觉的工件定位方法及装置
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
CN112927297A (zh) * 2021-02-20 2021-06-08 华南理工大学 一种基于yolo系列的目标检测和视觉定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114638883A (zh) * 2022-03-09 2022-06-17 西南交通大学 一种绝缘子水冲洗机器人视觉受限重定位目标方法
CN115880470A (zh) * 2023-03-08 2023-03-31 深圳佑驾创新科技有限公司 3d图像数据的生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111161446B (zh) 一种巡检机器人的图像采集方法
CN103530619A (zh) 基于rgb-d数据构成的少量训练样本的手势识别方法
CN113723389A (zh) 一种支柱式绝缘子定位方法及装置
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN112215308B (zh) 一种吊装物体单阶检测方法、装置、电子设备及存储介质
CN111126381A (zh) 一种基于r-dfpn算法的绝缘子倾斜定位与识别方法
CN113465522A (zh) 一种基于点云的输电通道内隐患测距的方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN111354007B (zh) 一种基于纯机器视觉定位的投影交互方法
US20210304411A1 (en) Map construction method, apparatus, storage medium and electronic device
CN113096058B (zh) 空间目标多源数据参数化仿真与MixCenterNet融合检测方法
CN114029952A (zh) 机器人操作控制方法、装置和系统
CN108074264A (zh) 一种分级多目视觉定位方法、系统及装置
CN114882085B (zh) 一种基于单一立方体三维点云配准方法及系统
CN111738264A (zh) 一种机房设备显示面板数据的智能采集方法
CN115641326A (zh) 用于陶瓷天线pin针图像的亚像素尺寸检测方法及系统
CN115273080A (zh) 一种面向动态场景的轻量级视觉语义里程计方法
CN114332364A (zh) 一种基于地基云图的三维云场景建模与可视化方法
CN114549780A (zh) 一种基于点云数据的大型复杂构件智能化检测方法
Gong et al. Positioning method of insulator sheds based on depth information
CN112396572A (zh) 基于特征增强和高斯金字塔的复合绝缘子双光融合方法
CN113011327A (zh) 一种三维图形识别方法、装置、设备及存储介质
Fu et al. Vision based navigation for power transmission line inspection robot
CN111123915A (zh) 一种巡检机器人越障方法、系统、存储介质及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination