CN114758215A - 一种配网带电作业机器人接地环及其螺栓的识别定位方法 - Google Patents
一种配网带电作业机器人接地环及其螺栓的识别定位方法 Download PDFInfo
- Publication number
- CN114758215A CN114758215A CN202210439803.1A CN202210439803A CN114758215A CN 114758215 A CN114758215 A CN 114758215A CN 202210439803 A CN202210439803 A CN 202210439803A CN 114758215 A CN114758215 A CN 114758215A
- Authority
- CN
- China
- Prior art keywords
- grounding ring
- bolt
- distribution network
- identification
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000009826 distribution Methods 0.000 title claims abstract description 36
- 238000013459 approach Methods 0.000 claims abstract description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000272165 Charadriidae Species 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种配网带电作业机器人接地环及其螺栓的识别定位方法，包括：获取配网接地环的图像；根据接地环及其螺栓识别模型对所述图像进行识别；若识别结果为接地环，则根据双目定位接地环，控制机器人朝接地环靠近；若识别结果为螺栓，则根据双目定位螺栓，控制机器人的机器臂末端套筒对准螺栓。本发明提供的视觉识别及定位方法能够实现配网接地环及其上面螺栓的自动识别与定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，进而保证电网的安全稳定运行。
Description
技术领域
本发明涉及一种配网带电作业机器人接地环及其螺栓的识别定位方法，属于接地环的视觉识别及定位技术领域。
背景技术
随着国民经济的增长，电力行业飞速发展。目前，国网公司运行的配电线路超过40万条，长度超过300万公里，其中架空线路仍然是配电网的主网架。配电网人工带电检修时，检修员通常需要穿上密不透风的绝缘服、携带各种设备工具，长时间在高空作业，安全风险高，作业效率低，如果是在恶劣天气或者地理条件下，作业难度和风险更高。因此，非常有必要开发可灵活安全操作的配网带电作业机器人系统。配电线路接地环，顾名思义它的主要功能是防止架空绝缘导线雷击断线，防止检修过程中设备突然来电和邻近高压带电设备产生感应电压对人体的危害。接地环长期运行容易损坏，为了保证接地环的正常工作，需要定时更换。采用带电更换是保证电网持续供电，提高电网经济性的重要手段。
传统的人工带电作业方式不仅危险系数高、劳动强度大，而且还受限于作业地点的环境条件。随着科技的进步，出现了用机器人代替人工进行带电作业，这种新型的作业方式主要通过携带单目和双目相机等图像采集工具来拍摄配网图像，再由工作人员查看并分析采集到的视频图像，观察配网接地环的状况并找出螺栓的具体位置，利用机械臂套筒对准螺栓并将其拧下。然而，采用这种新型的作业方式，视频终端所采集到的图像数据庞大、重复性高，且海量的配网图像数据仍需要工作人员通过肉眼查看，因而工作量巨大，容易出现误判或漏判的情况，依然无法及时且准确地定位接地环及其螺栓。
发明内容
基于上述，本发明提供一种配网带电作业机器人接地环及其螺栓的识别定位方法，能够快速、准确地识别接地环、螺栓并定位其位置，以克服现有技术的不足。
本发明的技术方案是：一种配网带电作业机器人接地环及其螺栓的识别定位方法，包括：
获取配网接地环的图像；
根据接地环及其螺栓识别模型对所述图像进行识别；
若识别结果为接地环，则根据双目定位接地环，控制机器人朝接地环靠近；
若识别结果为螺栓，则根据双目定位螺栓，控制机器人的机器臂末端套筒对准螺栓。
可选的，所述接地环及其螺栓识别模型的构建方法为：
在原YOLOX-s网络基础上，对颈部使用简化的双向特征金字塔网络进行改进，采用GIOU-Loss作为边界框损失函数，经过训练得到适用于识别接地环和螺栓的目标检测模型。
可选的，所述双向特征金字塔网络简化为3个输入特征层，输出三个加强特征提取后的特征层，经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断和目标框的类别。
可选的，所述双向特征金字塔网络的每个特征融合节点给每个输入特征分别加权ωi，同时使用快速归一化公式训练这些权重，各融合节点输出的计算公式如下：
其中，Conv表示卷积操作，Resize表示对输入进行上采样或下采样操作，ωi≥0是可学习的权重，ε＝0.0001是一个保证数值稳定的小量。
可选的，预测目标框坐标的边界框损失函数为交并比损失函数，预测目标框前景背景和目标框的类别用到的损失函数为二分类交叉损失函数。
可选的，对训练使用的图像进行预处理，所述预处理包括：
对所述图像进行水平镜像翻转处理；
对所述图像添加随机椒盐噪声或高斯噪声；
随机改变所述图像的亮度。
可选的，所述双目定位的方法包括：
利用双目相机获取接地环及其螺栓的左右视图；
根据相机标定和立体校正获得相机参数；
对所述左右视图进行立体匹配，获取视差；
根据所述相机参数和视差，计算目标物体在相机坐标系中的三维坐标。
可选的，所述相机标定采用张正友标定法。
可选的，所述立体校正方法为：先绕左相机坐标系原点旋转左右图像，将两个图像平面拉回同一个平面；绕光轴旋转使得左右两图像同行对准。
可选的，所述立体匹配采用ELAS算法。
本发明的有益效果是：本发明通过神经网络模型与双目定位方法的结合应用，获取目标接地环及其螺栓，并框定出其在图像中的位置信息，同时获得它与机械臂末端套筒之间的位置关系，能够实现配网接地环的自动识别和定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，进而保证电网的安全稳定运行。
附图说明
图1为本申请实施例提供的配网带电作业机器人接地环及其螺栓的识别定位方法流程示意图；
图2为本申请实施例提供的接地环示意图，图中，1为螺栓，2为接地环；
图3为本申请实施例提供的配网带电作业机器人拆卸接地环示意图；
图4为本申请实施例提供的小型双向特征金字塔网络结构图；
图5为本申请实施例提供的改进YOLOX-s网络整体结构图；
图6为本申请实施例提供的双目定位获取三维点云的原理图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
请参阅图1至图6，本实施方式一种配网带电作业机器人接地环及其螺栓的识别定位方法，该方法包括以下步骤：
S1获取配网接地环的图像；
通过机器人携带的双目相机拍摄接地环的图像。
S2根据接地环及其螺栓识别模型对所述图像进行识别；
将拍摄的图像传入接地环及其螺栓识别模型中，将目标接地环和目标螺栓作为感兴趣区域，并框定出感兴趣区域的位置信息。接地环及其螺栓识别模型包含配网接地环及其螺栓数据库，并能够将感兴趣区域与接地环及其螺栓数据库进行匹配，确定感兴趣区域是否存在接地环或螺栓。
上述接地环及其螺栓识别模型的构建方法为：在原YOLOX-s网络基础上，对颈部使用简化的双向特征金字塔网络进行改进，采用GIOU-Loss作为边界框损失函数，经过训练得到适用于识别接地环和螺栓的目标检测模型。具体而言，对于YOLOX-s主干网络部分，保留原有的网络结构，同样对中间层、中下层和底层这三个特征层进行特征提取，然后传入双向特征金字塔加强特征提取网络。但由于双向特征金字塔网络有5个输入特征层，所以将双向特征金字塔网络简化为3个输入特征层(记为小型双向特征金字塔网络)，以减少计算量和适用YOLOX网络，小型双向特征金字塔网络参见图3。
本实施例中，当输入大小为(640，640，3)时，小型双向特征金字塔网络的三个输入特征层分别为
小型双向特征金字塔网络的每个特征融合节点都会给每个输入特征分别加权ωi，同时使用快速归一化公式训练这些权重。各融合节点输出的计算公式如下：
其中，Conv表示卷积操作，Resize表示对输入进行上采样或下采样操作，ωi≥0是可学习的权重，ε＝0.0001是一个保证数值稳定的小量。
改进后的YOLOX-s整体结构参见图5。小型双向特征金字塔网络输出三个加强特征提取后的特征层，其形状大小分别为
经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断、目标框的类别。
对于预测目标框前景背景和目标框的类别用到的损失函数，都采用原YOLOX网络中的二分类交叉损失函数(BCE_loss)，但对于预测目标框坐标的边界框损失函数，本申请采用广义交并比损失函数(GIOU_Loss)。与交并比(IOU)相比，广义交并比(GIOU)具有四个特点：第一，与IOU一样，具有非负性、尺度不变性等特征；第二，GIOU对尺度不敏感；第三，GIOU是IOU的下界，取值为[-1,1]，由于惩罚项的引入，在不重叠的情况下，预测框会向目标框移动；第四，GIOU除了关注重叠区域不同，还关注了非重叠区域，能够更好地反映重合度。
由此可见，只有当预测框和真实框重合时，GIOU_Loss才会为0，相比IOU_Loss，GIOU_Loss在任意情况下都可以进行训练。GIOU_Loss计算公式如下：
其中，A是预测矩形框，B是真实矩形框，I是A与B交集面积，U是A与B并集面积，Ac表示A与B的最小外接矩形面积。
本实施例中，采集1083张配网接地环图像作为数据集，标签包括ground_ring和bolt分别代表接地环和螺栓。为满足数据在多样性方面的要求，对现有数据集进行数据预处理，扩充数据集的广度和深度，从而提高模型的鲁棒性。本实施例选取三种图像处理措施，随机对原图的纹理结构和几何学特征进行改变：(1)对图像进行水平镜像翻转，增加整个网络在方向上的不变性；(2)对图像添加一定范围的随机椒盐噪声或高斯噪声，提高网络对摄像头失真的不变性；(3)对图像随机改变亮度，模拟同一地点不同亮度下的接地环及其螺栓情况。预处理扩充后的数据集共有7581张。本实施例使用基于YOLOX-s卷积神经网络的tensorflow框架，将数据库中90％的图像作为训练集，10％的图像作为测试集。采取冻结训练方法，以提高训练效率，加速收敛。阈值设为0.5，迭代次数为500，在前90％的迭代过程中采取马赛克数据增强方法训练，全程使用Adam优化器。冻结阶段迭代100次，批量样本训练数(Batch_size)设为32，学习率为0.0001。解冻阶段迭代400次，Batch_size设为8，学习率为0.00001。训练结束后，系统会自动保存电力设施检测到的神经网络的参数。
本实施例中，对所有预测帧执行非最大抑制，并根据置信度选择预测帧作为最终预测结果，用测试集中的500张图片进行模型性能的测试。改进的YOLOX-s目标检测模型可以准确地识别接地环和螺栓，并输出这些目标在图像中的坐标信息(即边界框的左上顶点坐标和右下顶点坐标)和类别信息。
与现有技术相比，本实施例能够明显提高配网接地环的自动识别精度，且运用改进的YOLOX-s卷积神经网络进行训练的系统，比其他神经网络的自动识别速度明显提高。
S3若识别结果为接地环，则根据双目定位接地环，控制机器人朝接地环靠近；
具体而言，当识别模型输出结果为接地环时，则利用双目定位方法获得接地环的距离信息，使机器人朝接地环靠近进一步获取细节信息。
上述双目定位的方法包括以下步骤：
1、首先利用双目相机获取接地环及其螺栓的左右视图；
2、根据相机标定和立体校正获得相机参数；
双目相机的标定需要先对两个相机分别进行标定，获取各自的内参矩阵以及畸变参数，然后再通过双目立体标定获取两个相机之间的位姿关系，最后便可以通过坐标变换矩阵得到摄像头与接地环及其螺栓之间的坐标转换。本实施例中，相机标定采用张正友标定法；当两个图像平面重合且横轴对准时，可以使用三角测量模型计算深度。然而，在现实的双目立体视觉中，由于相机的安装与制造并不存在这种情况，因此需要立体校正。本实施例中立体校正分为两步：
(1)绕左相机坐标系原点旋转左右图像，将两个图像平面拉回同一平面；
让两个相机各绕着左相机坐标系原点旋转相同的角度，但二者的旋转方向是相反的。如下式：
rl×rr＝1
其中，R为两个相机间的相对旋转矩阵，rl和rr分别代表左摄像头和右摄像头为转换到共面所需的旋转矩阵。两个相机的成像平面重合了，为了使基线平行于成像平面需要构造校正矩阵Rrect。
(2)绕光轴旋转使得两图像同行对准。
实质是左右两图分别绕各自的光轴旋转，旋转过后两个摄像头的主点连线于像素坐标的行线平行，即使左右相机对应的像素点处于同一行线上，这时左极点处于无穷远。构造该旋转矩阵Rrect的方法是通过右相机相对于左相机的偏移矩阵
T＝[Tx Ty Tz]T完成的，Rrect＝[e1 e2 e3]。
3、对左右视图进行立体匹配，获取视差；
立体匹配是在左右两幅图像中识别同一物体，获取它们在图像中的对应关系，从而求得视差。本实施例中，立体匹配方法采用ELAS算法，包括4个步骤：(1)选取合适支持点，并获取支持点的所有备选视差；(2)以这些支持点为顶点进行三角剖分，得到具有唯一性的三角形网格；(3)假定投影的线性模型，认为每一个三角形代表一个视差平面，通过顶点的坐标值计算视差平面的方程；(4)使用这些视差平面方程估计每一个像素点的视差值，将该视差值对应的相似度函数值与以3个支持点(三角形顶点，也是视差平面的顶点)包含的所有备选视差对应的相似度函数值比较，函数值最小的视差即为该像素点视差。
4、根据相机参数和视差，计算目标物体在相机坐标系中的三维坐标。
通过标定和校正获得相机参数，利用立体匹配求得视差，再结合相似三角形原理就可以实现以左相机坐标系为参考，将物体坐标转化为三维位置的任务。根据三角形相似原理可得下式：
其中，f为左、右相机的焦距，定义视差(Disparity)为特征点P(xc,yc,zc)在左右两幅视图中X轴方向上的坐标差，即Disparity＝Xleft-Xright。由此可计算出特征点P(xc,yc,zc)在相机坐标系下的三维坐标为：
S4若识别结果为螺栓，则根据双目定位螺栓，控制机器人的机器臂末端套筒对准螺栓。
具体而言，当识别模型输出结果为螺栓时，采用双目定位方法获得螺栓的三维坐标，调节机械臂使其末端套筒对准螺栓，完成定位，以便拆卸并更换接地环。
本发明通过神经网络模型与双目定位方法的结合应用，获取目标接地环及其螺栓，并框定出其在图像中的位置信息，同时获得它与机械臂末端套筒之间的位置关系，能够实现配网接地环的自动识别和定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，包括：
获取配网接地环的图像；
根据接地环及其螺栓识别模型对所述图像进行识别；
若识别结果为接地环，则根据双目定位接地环，控制机器人朝接地环靠近；
若识别结果为螺栓，则根据双目定位螺栓，控制机器人的机器臂末端套筒对准螺栓。
2.根据权利要求1所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，所述接地环及其螺栓识别模型的构建方法为：
在原YOLOX-s网络基础上，对颈部使用简化的双向特征金字塔网络进行改进，采用GIOU-Loss作为边界框损失函数，经过训练得到适用于识别接地环和螺栓的目标检测模型。
3.根据权利要求2所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，所述双向特征金字塔网络简化为3个输入特征层，输出三个加强特征提取后的特征层，经过解耦头预测后，每个特征层获得三个预测结果，分别是目标框的坐标、目标框前景背景判断和目标框的类别。
4.根据权利要求3所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，所述双向特征金字塔网络的每个特征融合节点给每个输入特征分别加权ωi，同时使用快速归一化公式训练这些权重，各融合节点输出的计算公式如下：
其中，Conv表示卷积操作，Resize表示对输入进行上采样或下采样操作，ωi≥0是可学习的权重，ε＝0.0001是一个保证数值稳定的小量。
5.根据权利要求3所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，预测目标框坐标的边界框损失函数为交并比损失函数，预测目标框前景背景和目标框的类别用到的损失函数为二分类交叉损失函数。
6.根据权利要求2所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，对训练使用的图像进行预处理，所述预处理包括：
对所述图像进行水平镜像翻转处理；
对所述图像添加随机椒盐噪声或高斯噪声；
随机改变所述图像的亮度。
7.根据权利要求1所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，所述双目定位的方法包括：
利用双目相机获取接地环及其螺栓的左右视图；
根据相机标定和立体校正获得相机参数；
对所述左右视图进行立体匹配，获取视差；
根据所述相机参数和视差，计算目标物体在相机坐标系中的三维坐标。
8.根据权利要求7所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，所述相机标定采用张正友标定法。
9.根据权利要求7所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，所述立体校正方法为：先绕左相机坐标系原点旋转左右图像，将两个图像平面拉回同一个平面；绕光轴旋转使得左右两图像同行对准。
10.根据权利要求7所述的配网带电作业机器人接地环及其螺栓的识别定位方法，其特征在于，所述立体匹配采用ELAS算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210439803.1A CN114758215A (zh) | 2022-04-25 | 2022-04-25 | 一种配网带电作业机器人接地环及其螺栓的识别定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210439803.1A CN114758215A (zh) | 2022-04-25 | 2022-04-25 | 一种配网带电作业机器人接地环及其螺栓的识别定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114758215A true CN114758215A (zh) | 2022-07-15 |
Family
ID=82333239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210439803.1A Pending CN114758215A (zh) | 2022-04-25 | 2022-04-25 | 一种配网带电作业机器人接地环及其螺栓的识别定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114758215A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205286A (zh) * | 2022-09-13 | 2022-10-18 | 国网天津市电力公司建设分公司 | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 |
| CN115272850A (zh) * | 2022-07-20 | 2022-11-01 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车bab型闸调器拉杆头折断故障识别方法 |
-
2022
- 2022-04-25 CN CN202210439803.1A patent/CN114758215A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272850A (zh) * | 2022-07-20 | 2022-11-01 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车bab型闸调器拉杆头折断故障识别方法 |
| CN115205286A (zh) * | 2022-09-13 | 2022-10-18 | 国网天津市电力公司建设分公司 | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
| CN107564062B (zh) | 位姿异常检测方法及装置 | |
| CN109544679B (zh) | 管道内壁的三维重建方法 | |
| CN106826833B (zh) | 基于3d立体感知技术的自主导航机器人系统 | |
| CN107045733B (zh) | 基于点云数据对变电站gis设备进行建模的方法 | |
| CN114758215A (zh) | 一种配网带电作业机器人接地环及其螺栓的识别定位方法 | |
| CN112686938B (zh) | 基于双目图像测距的输电线路净距计算与安全告警方法 | |
| CN110084785B (zh) | 一种基于航拍图像的输电线垂弧测量方法及系统 | |
| CN107462217B (zh) | 一种面向电力巡检任务的无人机双目视觉障碍物感知方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN114004938B (zh) | 一种基于海量数据的城市场景重建方法及装置 | |
| CN107170045B (zh) | 基于点云数据对变电站变压器进行建模的方法 | |
| CN107564111A (zh) | 基于计算机视觉的电力线空间安全分析方法 | |
| CN111354028B (zh) | 基于双目视觉的输电通道隐患物识别追踪方法 | |
| CN115082254A (zh) | 一种变电站精益管控数字孪生系统 | |
| CN114750154A (zh) | 一种配网带电作业机器人的动态目标识别定位与抓取方法 | |
| CN109684914A (zh) | 基于无人机影像智能识别方法 | |
| CN115272815A (zh) | 一种基于图像的电缆隧道环境异常识别方法 | |
| Dutta et al. | Real testbed for autonomous anomaly detection in power grid using low-cost unmanned aerial vehicles and aerial imaging | |
| CN112101211A (zh) | 一种基于目标检测和双目测距的人员与吊臂位置计算方法 | |
| CN115375762A (zh) | 一种基于三目视觉的电力线三维重构方法 | |
| Bai et al. | Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters | |
| CN114552601A (zh) | 双目视觉输电线震荡监测及三维重建方法 | |
| CN113971753A (zh) | 一种基于多个固定摄像头的虚拟机器人巡检方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |