CN113177918A - 一种无人机对电力杆塔的智能精准巡检方法及系统 - Google Patents

一种无人机对电力杆塔的智能精准巡检方法及系统 Download PDF

Info

Publication number
CN113177918A
CN113177918A CN202110465984.0A CN202110465984A CN113177918A CN 113177918 A CN113177918 A CN 113177918A CN 202110465984 A CN202110465984 A CN 202110465984A CN 113177918 A CN113177918 A CN 113177918A
Authority
CN
China
Prior art keywords
target
angle
vector
camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110465984.0A
Other languages
English (en)
Other versions
CN113177918B (zh
Inventor
韩军
周伟强
杨乙丁
赵傲伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110465984.0A priority Critical patent/CN113177918B/zh
Publication of CN113177918A publication Critical patent/CN113177918A/zh
Application granted granted Critical
Publication of CN113177918B publication Critical patent/CN113177918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人机电力杆塔的智能精准巡检方法及系统，该方法包括：基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；利用目标的位置信息以及深度信息计算出目标的位姿向量组；根据目标的位姿向量组计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。该系统包括：斜框目标检测单元、位置及深度信息获得单元、位姿向量组获得单元、距离及云台角度矫正单元。通过本发明，可解决无人机巡检拍照时图像会产生透视畸变的问题，提高了巡检拍摄的图像质量。

Description

一种无人机对电力杆塔的智能精准巡检方法及系统
技术领域
本发明涉及无人机巡检技术领域，特别涉及一种无人机对电力杆塔的智能精准巡检方法及系统。
背景技术
随着人工智能的不断进步，无人机在巡检领域的作用日益凸显，无人机巡检的目标主要针对的是一些人造目标，比如高压输电杆塔、光伏太阳能板、风力发电系统等。其中研究较多的是对高压输电杆塔的巡检，而且巡检方式都在不断实现自主化。针对电力杆塔的巡检问题，如何提高无人机巡检的质量，实现精准巡检一直是大家讨论和研究的问题。
最开始研究的方式是采用精度较高的激光雷达方式。严文涛,王玮,苏琦,刘荫,殷齐林,郭爽爽,刘越.基于输电线路三维信息的无人机智能巡检技术研究[J].中国高新科技,2018(19):76-78.提出先用三维激光雷达对杆塔进行三维空间点云重建，然后利用杆塔的三维建模空间信息计算各类部件相对于杆塔的挂点位置，最后通过挂点信息指导无人机巡检，该方案需要的前期工作量大，没有考虑巡检时的相机姿态，不能保证巡检时相机获取到高质量巡检图像。随着视觉技术的发展，相机以廉价的价格和可视范围大成为了无人机巡检中重要的设备，Yue,Liu,Yuechen,Yang,Xiaobin,Sun,et al.Transmission LineComponent Inspection Method Based on Deep Learning under Visual Navigation[J].IOP Conference Series:Earth and Environmental Science,2019.11.提出基于人造目标绝缘子目标检测的视觉控制局部巡检的方案，但该方案描述的模型过于理想化，只粗略地描述了目标的三种大致摆放位置和对应三种无人机矫正方式。Su Chao,YANGQiang.Insulator Front-end Location Based on Computer Vision Deep Learning[J].Guangdong electric power,2019(9):33-40.采用SSD检测目标，然后进行云台调整拍照的思路来获取高质量目标巡检图像，该方法虽然采用了高鲁棒性的深度学习目标检测方案，但是只考虑了云台的偏航和俯仰角度的调整，并没考虑无人机与目标的距离控制。鉴于视觉信息缺失距离信息，而激光可以较为精准地测量出距离信息，杨磊,陈凤翔,陈科羽,刘胜南.基于多传感器的无人机避障方法研究及应用[J].计算机测量与控制,2019,27(01):280-283+287.采用多传感器融合的技术来进行无人机的控制进行巡检，该方案利用了视觉线索的丰富和雷达的精准测距的特点，但是需要较高的成本和较大的无人机负载。紧接着，跟踪技术也运用到了该领域，吴华,黎雅雅.电力巡检无人机跟拍电塔目标算法特性对比分析[C].第十二届中国智能机器人大会,2017.10.27-29,哈尔滨.提出了通过跟踪的方式来对杆塔上的人造目标进行跟踪拍摄来补偿相机的视角不足的问题，以获得高质量的图像。跟踪方案依赖第一步的目标检测结果，而文章中目标检测采用了底层的图像特征，具有敏感性高的问题，鲁棒性差，这也会导致跟踪模块的鲁棒性降低，从而影响最后的巡检拍摄。
上述的杆塔巡检方案都能实现一定程度上的自主性，但它们的工作模式都过于流程化，没有考虑一些自然环境等客观因素对巡检的影响，缺乏灵活性；在获取高质量巡检图像的问题上，没有充分考虑无人机在巡检电力杆塔局部部件的过程中的距离控制和相机角度调整的问题，易造成机载相机与待巡检组件存在角度差而产生透视畸变，从而造成巡检时拍摄的图片质量不高。
发明内容
本发明针对上述现有技术中存在的问题，提出一种无人机对电力杆塔的智能精准巡检方法及系统，可以有效地解决无人机巡检拍照时图像会产生透视畸变的问题，提高了巡检拍摄的图像质量，更有利于后续图像缺陷诊断分析任务。
为解决上述技术问题，本发明是通过如下技术方案实现的：
本发明提供一种无人机对电力杆塔的智能精准巡检方法，其包括：
S11：基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；
S12：设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；
S13：利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；
S14：根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。
较佳地，所述S11进一步包括：
S21：采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；
S22：将原图片按照预设角度跨度值进行旋转，旋转后得到图片集IMG＝(I1,I2,....,In)，n表示旋转的角度取值总数；
S23：针对所述图片集IMG中的每张图片采用所述S21中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：Box＝(B1,B2,....,Bn)，其中任意一个检测框Bi的属性描述为：(xl,yl,xr,yr)；
其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；
S24：针对每个检测框Bi，利用公式：
Figure BDA0003043321780000031
计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；
S25：取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框Bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。
较佳地，所述S12进一步包括：
S31：在第一线程A中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；
S32：在第二线程B中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；
S33：将所述角点定位信息以及角点深度信息表示为：Pi(ui,vi,Di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，Di表示对应点位的深度距离值。
较佳地，所述S13进一步包括：
S41：设pi(i＝1,2,3,4)为现实中目标的四个角点Pi(ui,vi,Di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在Pi和相机光心Oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心Oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为
Figure BDA0003043321780000041
那么f用像素表示为：
Figure BDA0003043321780000042
S42：对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量
Figure BDA0003043321780000043
与相机坐标系中的Zc轴的横向夹角的正切值为：
Figure BDA0003043321780000044
向量
Figure BDA0003043321780000045
与相机坐标系中的Zc轴的纵向夹角的正切值为：
Figure BDA0003043321780000046
其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在所述S41中计算得到了，那么在相机坐标系下，向量
Figure BDA0003043321780000047
可以通过公式：
Figure BDA0003043321780000048
计算得到；
S43：把所述S12中深度感知获取到的现实中四个目标角点的深度信息D1、D2、D3、D4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：
Figure BDA0003043321780000049
计算相机中心与目标中心构成的向量
Figure BDA00030433217800000410
那么公式：
Figure BDA00030433217800000411
直接算出了相机中心与目标中心之间的距离；
S44：把3D目标进行平面化，计算相机坐标系下的向量
Figure BDA00030433217800000412
和
Figure BDA00030433217800000413
Figure BDA00030433217800000414
最后用向量组
Figure BDA00030433217800000415
来描述目标在相机坐标系下的位姿，其中向量
Figure BDA00030433217800000416
描述了目标在相机坐标系下的位置和方向，向量
Figure BDA00030433217800000417
和
Figure BDA00030433217800000418
构成的平面则描述了在该方向和深度处3D目标待检测平面的姿态。
较佳地，所述S14进一步包括：
S51：无人机的距离矫正量计算以及距离矫正；
S52：无人机的云台角度矫正量计算以及云台角度矫正；其中，
所述S51进一步包括：
S511：根据所述S13中获得的向量组
Figure BDA0003043321780000051
此时相机中心Oc离目标中心P0点距离为
Figure BDA0003043321780000052
设定最佳拍照距离为
Figure BDA0003043321780000053
进行相机坐标系OcXcYcZc沿Zc轴移动向量分析，那么它与此时的D0存在如下关系：
Figure BDA0003043321780000054
如果以正负号表示沿Zc轴移动的方向，那么相机沿Zc轴移动向量为
Figure BDA0003043321780000055
S512：无人机的运动控制是控制机体运动，所以把所述S511获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：
Figure BDA0003043321780000056
转化到机体坐标系下的向量为：
Figure BDA0003043321780000057
S513：最后控制无人机在机体坐标系下沿着向量
Figure BDA0003043321780000058
的方向和大小移动即可进行无人机距离矫正；
所述S52进一步包括：
S521：通过分析向量
Figure BDA0003043321780000059
和
Figure BDA00030433217800000510
来计算云台角度矫正量，向量
Figure BDA00030433217800000511
决定了俯仰角的调整量，而向量
Figure BDA00030433217800000512
决定了偏航角和横滚角的调整量，为了简化公式表达，设
Figure BDA00030433217800000513
和
Figure BDA00030433217800000514
S522：偏航矫正角度计算：偏航角度的矫正就是控制云台相机绕相机坐标系的Yc轴旋转，把向量
Figure BDA00030433217800000515
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcZc坐标系内得到分向量：
Figure BDA00030433217800000516
云台调整的偏航角度大小要使得Zc轴垂直向量
Figure BDA00030433217800000517
根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：
Figure BDA0003043321780000061
S523：俯仰矫正角度计算：俯仰角度的矫正就是控制云台相机绕相机坐标系的Xc轴旋转，把向量
Figure BDA0003043321780000062
移动到以相机坐标系原点Oc为向量起点处，并投影到YcOcZc坐标系内得到分向量：
Figure BDA0003043321780000063
云台调整的俯仰角度大小要使得Zc轴垂直向量
Figure BDA0003043321780000064
根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：
Figure BDA0003043321780000065
S524：横滚矫正角度计算：横滚角度的矫正就是控制云台相机绕相机坐标系的Zc轴旋转，把向量
Figure BDA0003043321780000066
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcYc坐标系内得到分向量：
Figure BDA0003043321780000067
云台调整的横滚角度大小要使得Xc轴与向量
Figure BDA0003043321780000068
重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：
Figure BDA0003043321780000069
S525：最后控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。
本发明还提供一种无人机对电力杆塔的智能精准巡检系统，其包括：斜框目标检测单元、位置及深度信息获得单元、位姿向量组获得单元以及距离及云台角度矫正单元；其中，
所述斜框目标检测单元用于基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；
所述位置及深度信息获得单元用于设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；
所述位姿向量组获得单元用于利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；
所述距离及云台角度矫正单元用于根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。
较佳地，所述斜框目标检测单元进一步包括：目标检测网络模型训练单元、原图片旋转单元、目标检测单元、对角线距离计算单元以及斜框检测完成单元；其中，
所述目标检测网络模型训练单元用于采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；
所述原图片旋转单元用于将原图片按照预设角度跨度值进行旋转，旋转后得到图片集IMG＝(I1,I2,....,In)，n表示旋转的角度取值总数；
所述目标检测单元用于针对所述图片集IMG中的每张图片采用所述目标检测网络模型训练单元中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：Box＝(B1,B2,....,Bn)，其中任意一个检测框Bi的属性描述为：(xl,yl,xr,yr)；
其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；
所述对角线距离计算单元用于针对每个检测框Bi，利用公式：
Figure BDA0003043321780000071
计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；
所述斜框检测完成单元用于取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框Bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。
较佳地，所述位置及深度信息获得单元进一步包括：第一线程单元、第二线程单元以及位置及深度信息表示单元；其中，
所述第一线程单元用于在第一线程A中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；
所述第二线程单元用于在第二线程B中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；
所述位置及深度信息表示单元用于将所述角点定位信息以及角点深度信息表示为：Pi(ui,vi,Di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，Di表示对应点位的深度距离值。
较佳地，所述位姿向量组获得单元进一步包括：成像平面信息计算单元、相机中心到目标中心的向量计算单元、相机中心与目标中心之间的距离计算单元以及位姿向量组最终获得单元；其中。
所述成像平面信息计算单元用于设pi(i＝1,2,3,4)为现实中目标的四个角点Pi(ui,vi,Di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在Pi和相机光心Oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心Oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为
Figure BDA0003043321780000081
那么f用像素表示为：
Figure BDA0003043321780000082
所述相机中心到目标中心的向量计算单元用于对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量
Figure BDA0003043321780000083
与相机坐标系中的Zc轴的横向夹角的正切值为：
Figure BDA0003043321780000084
向量
Figure BDA0003043321780000085
与相机坐标系中的Zc轴的纵向夹角的正切值为：
Figure BDA0003043321780000086
其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在所述成像平面信息计算单元中计算得到了，那么在相机坐标系下，向量
Figure BDA0003043321780000087
可以通过公式：
Figure BDA0003043321780000088
计算得到；
所述相机中心与目标中心之间的距离计算单元用于把所述位置及深度信息获得单元中深度感知获取到的现实中四个目标角点的深度信息D1、D2、D3、D4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：
Figure BDA0003043321780000089
计算相机中心与目标中心构成的向量
Figure BDA00030433217800000810
那么公式：
Figure BDA00030433217800000811
直接算出了相机中心与目标中心之间的距离；
所述位姿向量组最终获得单元用于把3D目标进行平面化，计算相机坐标系下的向量
Figure BDA00030433217800000812
和
Figure BDA00030433217800000813
Figure BDA0003043321780000091
最后用向量组
Figure BDA0003043321780000092
来描述目标在相机坐标系下的位姿，其中向量
Figure BDA0003043321780000093
描述了目标在相机坐标系下的位置和方向，向量
Figure BDA0003043321780000094
和
Figure BDA0003043321780000095
构成的平面则描述了在该方向和深度处3D目标待检测平面的姿态。
较佳地，所述距离及云台角度矫正单元进一步包括：距离矫正单元以及云台角度矫正单元；其中，
所述距离矫正单元进一步包括：相机沿Zc轴移动向量获得单元、相机坐标系到机体坐标系转化单元以及距离最终矫正单元；其中，
所述相机沿Zc轴移动向量获得单元用于根据所述位姿向量组获得单元中获得的向量组
Figure BDA0003043321780000096
此时相机中心Oc离目标中心P0点距离为
Figure BDA0003043321780000097
设定最佳拍照距离为
Figure BDA0003043321780000098
进行相机坐标系OcXcYcZc沿Zc轴移动向量分析，那么它与此时的D0存在如下关系：
Figure BDA0003043321780000099
如果以正负号表示沿Zc轴移动的方向，那么相机沿Zc轴移动向量为
Figure BDA00030433217800000913
所述相机坐标系到机体坐标系转化单元用于把所述相机沿Zc轴移动向量获得单元获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：
Figure BDA00030433217800000910
转化到机体坐标系下的向量为：
Figure BDA00030433217800000911
所述距离最终矫正单元用于控制无人机在机体坐标系下沿着向量
Figure BDA00030433217800000912
的方向和大小移动即可进行无人机距离矫正；
所述云台角度矫正单元进一步包括：云台角度矫正量表示单元、偏航矫正角度计算单元、俯仰矫正角度计算单元、横滚矫正角度计算单元以及云台角度最终矫正单元；其中，
所述云台角度矫正量表示单元用于通过分析向量
Figure BDA0003043321780000101
和
Figure BDA0003043321780000102
来计算云台角度矫正量，向量
Figure BDA0003043321780000103
决定了俯仰角的调整量，而向量
Figure BDA0003043321780000104
决定了偏航角和横滚角的调整量，为了简化公式表达，设
Figure BDA0003043321780000105
和
Figure BDA0003043321780000106
所述偏航矫正角度计算单元用于计算偏航矫正角度，偏航角度的矫正就是控制云台相机绕相机坐标系的Yc轴旋转，把向量
Figure BDA0003043321780000107
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcZc坐标系内得到分向量：
Figure BDA0003043321780000108
云台调整的偏航角度大小要使得Zc轴垂直向量
Figure BDA0003043321780000109
根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：
Figure BDA00030433217800001010
所述俯仰矫正角度计算单元用于计算俯仰矫正角度，俯仰角度的矫正就是控制云台相机绕相机坐标系的Xc轴旋转，把向量
Figure BDA00030433217800001011
移动到以相机坐标系原点Oc为向量起点处，并投影到YcOcZc坐标系内得到分向量：
Figure BDA00030433217800001012
云台调整的俯仰角度大小要使得Zc轴垂直向量
Figure BDA00030433217800001013
根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：
Figure BDA00030433217800001014
所述横滚矫正角度计算单元用于计算横滚矫正角度，横滚角度的矫正就是控制云台相机绕相机坐标系的Zc轴旋转，把向量
Figure BDA00030433217800001015
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcYc坐标系内得到分向量：
Figure BDA00030433217800001016
云台调整的横滚角度大小要使得Xc轴与向量
Figure BDA00030433217800001017
重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：
Figure BDA00030433217800001018
所述云台角度最终矫正单元用于控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。
相较于现有技术，本发明具有以下优点：
(1)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，设计了斜框目标检测任务，在每个巡检点位悬停时采用设计的目标立体检测网络实现对待巡检目标的感知和位姿估计，基于位姿向量组进行无人机的矫正量计算并进行矫正来获取高质量的巡检图片；不仅能够全面、有效地获取高质量的杆塔巡检图像，而且对一些自然环境等客观因素对巡检造成影响时，也能更加灵活应对；
(2)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，通过在嵌入式平台上利用深度学习技术进行待巡检目标的三维感知，并将感知数据进行量化计算反馈给无人机控制层来进行位姿矫正任务，有效地解决了无人机巡检拍照时图像会产生透视畸变的问题，提高了巡检拍摄的图像质量，更有利于后续图像缺陷诊断分析任务；
(3)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，通过设了多线程并发的目标立体检测多任务网络，避免了两个网络的运行速度不一致问题，同时也增强了两个任务的并行能力，加速了嵌入式运算过程；
(4)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，通过结合斜框定位信息进行场景深度感知，只需计算四个角点深度信息，无需对整张图片逐像素进行视差图到深度图转换，进一步提高了网络的运行效率，加速了在嵌入式设备上的运行速度。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明：
图1a为一实施例的电力杆塔的结构示意图；
图1b为另一实施例的电力杆塔的结构示意图；
图1c为另一实施例的电力杆塔的结构示意图；
图2为本发明一实施例的无人机对电力杆塔的智能精准巡检方法的流程图；
图3为本发明一较佳实施例的动态感知调整步骤流程图；
图4为本发明一较佳实施例的针对特定杆塔巡检路线规划的三维示意图；
图5为本发明一较佳实施例的改进目标检测算法实现斜框检测的流程图；
图6为本发明一较佳实施例的目标立体检测网络多线程流程图；
图7为本发明一实施例的现实中四个角点在相机坐标系下成像示意图；
图8为本发明一实施例的单独一个点在相机坐标系下成像示意图；
图9为本发明一实施例的无人机进行距离和云台矫正后的效果图；
图10为本发明一实施例的目标的位姿向量在相机坐标系下成像示意图；
图11a为本发明一实施例的无人机进行云台角度矫正量调整分析示意图；
图11b为本发明一实施例的偏航矫正角度计算示意图；
图11c为本发明一实施例的俯仰矫正角度计算示意图；
图11d为本发明一实施例的横滚矫正角度计算示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1a-1c所示，给出了三种常见的电力杆塔结构，图1a是酒杯型杆塔，图1b是猫头型杆塔，图1c是干字型杆塔。不管哪种杆塔，其一般由塔头、塔身、塔基三大部分组成。巡检电力杆塔时主要是对塔头处进行巡检，塔头部分有很多杆塔部件。
如图2所示为本发明一实施例的无人机对电力杆塔的智能精准巡检方法的流程图
请参考图2，本实施例的无人机对电力杆塔的智能精准巡检方法包括：
S11：基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；
S12：设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；
S13：利用目标的位置信息以及深度信息计算出目标的位姿向量组；
S14：根据目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。
如图3所示描述了本发明一实施例的无人机智能巡检动态过程，分为两大任务，第一个任务是视觉感知任务，该任务利用目标立体检测网络实现对场景中特定待巡检目标的3D位姿感知；第二个任务则是无人机的位姿矫正任务，包括无人机与待巡检目标的距离调整和云台相机调整。
如图4所示，以干字型杆塔为例进行阐述：鉴于电力杆塔的特点，待巡检目标主要位于杆塔与导线的连接处区域，设计航迹规划时首先需要遍历同高度上的杆塔左右对称的两块区域，分别为图中的A、B、C、D、E、F区域，所以设计的巡检轨迹要实现对6个巡检区域遍历巡检。鉴于此，首先在纵向平面设计了“倒U”型轨迹来遍历6个巡检区域。在此基础上，为增加巡检的全面性，对杆塔上待巡检目标拍摄三个不同角度的图像，在纵向遍历的基础上加入横向的多角度感知。最后的航迹规划路线即如图4所示轨迹，该航迹规划方案实现了无人机对杆塔的全方位巡检目的。
前期飞手按照上述规划好的巡检路线人为控制无人机进行GPS信息和云台相机姿态采集任务，在每个巡检点位悬停并采集该点位对应的无人机GPS信息和云台相机姿态信息并存储到点位地图库中，表示为：Map＝{P1,P2,....,Pn}，n为巡检点位总数，任意一个巡检点位Pi其属性描述为：(Loni,Lati,Alti,αi,βi,γi)，i为点位序号，i＝1～n，Loni为i点位时的经度值，Lati为i点位时的纬度值，Alti为i点位时的高度值，αi为i点位时无人机云台相机的横滚角角，βi为i点位时无人机云台相机的俯仰角角，γi为i点位时无人机云台相机的偏航角。因为后期需要对特定的杆塔进行不定期的巡检，而路线基本又是一致的，所以在后续多次巡检时只需要利用上述建立好的Map导航重复上述巡检点位即可。而在遍历每一个巡检点位时，不断重复S11～S14四个步骤即可实现精准巡检拍照。
较佳实施例中，S11中目标检测算法所得到的检测框都是“正框”，鉴于此，改进目标检测算法，即把斜框目标检测问题转化为“目标检测+角度分类问题”，如图5所示，其进一步包括：
S21：采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；
S22：将原图片按照预设角度跨度值进行旋转，旋转后得到图片集IMG＝(I1,I2,....,In)，n表示旋转的角度取值总数；
S23：针对所述图片集IMG中的每张图片采用所述S21中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：Box＝(B1,B2,....,Bn)，其中任意一个检测框Bi的属性描述为：(xl,yl,xr,yr)；
其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；
S24：针对每个检测框Bi，利用公式：
Figure BDA0003043321780000131
计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；
S25：取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框Bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。
较佳实施例中，S12中设计了目标立体检测网络，即融合目标斜框检测任务和深度估计网络，针对两个网络的运行速度不一致问题，同时也为了增强两个任务的并行能力、加速嵌入式运算，设计了多线程并发的目标立体检测多任务网络，以多线程方式在嵌入式设备上运行来提高时效性，获取目标的位置和深度信息，如图6所示，其进一步包括：
S31：在第一线程A中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，鉴于目标检测是基于回归的任务，比基于逐像素预测的深度感知网络速度更快，所以设计了一个FIFO形式的图片缓冲序列来缓存斜框检测的图片；
S32：在第二线程B中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，目标立体检测网络在最后的输出进行融合改进，无需对整张图片逐像素进行视差图到深度图转换，而只需计算出目标四个角点深度信息，这也提高了网络的运行效率，加速了在嵌入式设备上的运行速度；
S33：将角点定位信息以及角点深度信息表示为：Pi(ui,vi,Di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，Di表示对应点位的深度距离值，点Pi(i＝1,2,3,4)对应了现实中目标的四个角点。
较佳实施例中，S13进一步包括：
S41：设pi(i＝1,2,3,4)为现实中目标的四个角点Pi(ui,vi,Di)(i＝1,2,3,4)在图像上的成像点，如图图7所示，在没有相机畸变的情况下，pi在Pi和相机光心Oc的连线上，如图8所示；设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心Oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为
Figure BDA0003043321780000141
那么f用像素表示为：
Figure BDA0003043321780000142
S42：对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量
Figure BDA0003043321780000143
与相机坐标系中的Zc轴的横向夹角的正切值为：
Figure BDA0003043321780000144
向量
Figure BDA0003043321780000145
与相机坐标系中的Zc轴的纵向夹角的正切值为：
Figure BDA0003043321780000151
其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在S41中计算得到了，那么在相机坐标系下，向量
Figure BDA0003043321780000152
可以通过公式：
Figure BDA0003043321780000153
计算得到；
S43：把S12中深度感知获取到的现实中四个目标角点的深度信息D1、D2、D3、D4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：
Figure BDA0003043321780000154
计算相机中心与目标中心构成的向量
Figure BDA0003043321780000155
那么公式：
Figure BDA0003043321780000156
直接算出了相机中心与目标中心之间的距离；
S44：把3D目标进行平面化，计算相机坐标系下的向量
Figure BDA0003043321780000157
和
Figure BDA0003043321780000158
Figure BDA0003043321780000159
最后用向量组
Figure BDA00030433217800001510
来描述目标在相机坐标系下的位姿，其中向量
Figure BDA00030433217800001511
描述了目标在相机坐标系下的位置和方向，向量
Figure BDA00030433217800001512
和
Figure BDA00030433217800001513
构成的平面则描述了在该方向和深度处3D目标待检测平面的姿态。
较佳实施例中，如图9所示，在计算出矫正量后，矫正步骤首先是进行距离的调整来获取足够大的目标，接着通过对云台相机俯仰和偏航角的调整来消除透视畸变，最后通过调整横滚角来端正目标的待巡检面。S14进一步包括：
S51：无人机的距离矫正量计算以及距离矫正；
S52：无人机的云台角度矫正量计算以及云台角度矫正；其中，
S51进一步包括：
S511：如图10所示，根据S13中获得的向量组
Figure BDA00030433217800001514
此时相机中心Oc离目标中心P0点距离为
Figure BDA0003043321780000161
根据以往经验设定最佳拍照距离为
Figure BDA0003043321780000162
进行相机坐标系OcXcYcZc沿Zc轴移动向量分析，那么它与此时的D0存在如下关系：
Figure BDA0003043321780000163
如果以正负号表示沿Zc轴移动的方向，那么相机沿Zc轴移动向量为
Figure BDA0003043321780000164
S512：无人机的运动控制是控制机体运动，所以把所述S511获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：
Figure BDA0003043321780000165
转化到机体坐标系下的向量为：
Figure BDA0003043321780000166
S513：最后控制无人机在机体坐标系下沿着向量
Figure BDA0003043321780000167
的方向和大小移动即可进行无人机距离矫正；
S52进一步包括：
S521：如图10所示，通过分析向量
Figure BDA0003043321780000168
和
Figure BDA0003043321780000169
来计算云台角度矫正量，向量
Figure BDA00030433217800001610
决定了俯仰角的调整量，而向量
Figure BDA00030433217800001611
决定了偏航角和横滚角的调整量，为了简化公式表达，设
Figure BDA00030433217800001612
和
Figure BDA00030433217800001613
如图11a所示，把
Figure BDA00030433217800001614
和
Figure BDA00030433217800001615
移动到以相机坐标系原点为向量起点处，进行无人机云台姿态的调整分析。
S522：偏航矫正角度计算：偏航角度的矫正就是控制云台相机绕相机坐标系的Yc轴旋转，如图11b所示，把向量
Figure BDA00030433217800001616
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcZc坐标系内得到分向量：
Figure BDA00030433217800001617
云台调整的偏航角度大小要使得Zc轴垂直向量
Figure BDA00030433217800001618
根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：
Figure BDA00030433217800001619
S523：俯仰矫正角度计算：俯仰角度的矫正就是控制云台相机绕相机坐标系的Xc轴旋转，如图11c所示，把向量
Figure BDA0003043321780000171
移动到以相机坐标系原点Oc为向量起点处，并投影到YcOcZc坐标系内得到分向量：
Figure BDA0003043321780000172
云台调整的俯仰角度大小要使得Zc轴垂直向量
Figure BDA0003043321780000173
根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：
Figure BDA0003043321780000174
S524：横滚矫正角度计算：横滚角度的矫正就是控制云台相机绕相机坐标系的Zc轴旋转，如图11d所示把向量
Figure BDA0003043321780000175
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcYc坐标系内得到分向量：
Figure BDA0003043321780000176
云台调整的横滚角度大小要使得Xc轴与向量
Figure BDA0003043321780000177
重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：
Figure BDA0003043321780000178
S525：最后控制无人机的云台按照偏航角度∠γ和俯仰角度∠β进行调整来消除巡检拍摄照片时的透视畸变效果，接着进行横滚角∠α调整来进一步端正场景中拍摄的待巡检目标，经过上述的云台矫正可以得到高质量的巡检图像。
一实施例中，还提供一种无人机对电力杆塔的智能精准巡检系统，其包括：斜框目标检测单元、位置及深度信息获得单元、位姿向量组获得单元以及距离及云台角度矫正单元；其中，
斜框目标检测单元用于基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；
位置及深度信息获得单元用于设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；
位姿向量组获得单元用于利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；
距离及云台角度矫正单元用于根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。
较佳实施例中，斜框目标检测单元进一步包括：目标检测网络模型训练单元、原图片旋转单元、目标检测单元、对角线距离计算单元以及斜框检测完成单元；其中，
目标检测网络模型训练单元用于采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；
原图片旋转单元用于将原图片按照预设角度跨度值进行旋转，旋转后得到图片集IMG＝(I1,I2,....,In)，n表示旋转的角度取值总数；
目标检测单元用于针对所述图片集IMG中的每张图片采用目标检测网络模型训练单元中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：Box＝(B1,B2,....,Bn)，其中任意一个检测框Bi的属性描述为：(xl,yl,xr,yr)；
其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；
对角线距离计算单元用于针对每个检测框Bi，利用公式：
Figure BDA0003043321780000181
计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；
斜框检测完成单元用于取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框Bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。
较佳实施例中，位置及深度信息获得单元进一步包括：第一线程单元、第二线程单元以及位置及深度信息表示单元；其中，
第一线程单元用于在第一线程A中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；
第二线程单元用于在第二线程B中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；
位置及深度信息表示单元用于将所述角点定位信息以及角点深度信息表示为：Pi(ui,vi,Di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，Di表示对应点位的深度距离值。
较佳实施例中，位姿向量组获得单元进一步包括：成像平面信息计算单元、相机中心到目标中心的向量计算单元、相机中心与目标中心之间的距离计算单元以及位姿向量组最终获得单元；其中。
成像平面信息计算单元用于设pi(i＝1,2,3,4)为现实中目标的四个角点Pi(ui,vi,Di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在Pi和相机光心Oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心Oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为
Figure BDA0003043321780000191
那么f用像素表示为：
Figure BDA0003043321780000192
相机中心到目标中心的向量计算单元用于对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量
Figure BDA0003043321780000193
与相机坐标系中的Zc轴的横向夹角的正切值为：
Figure BDA0003043321780000194
向量
Figure BDA0003043321780000195
与相机坐标系中的Zc轴的纵向夹角的正切值为：
Figure BDA0003043321780000196
其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在成像平面信息计算单元中计算得到了，那么在相机坐标系下，向量
Figure BDA0003043321780000197
可以通过公式：
Figure BDA0003043321780000198
计算得到；
相机中心与目标中心之间的距离计算单元用于把所述位置及深度信息获得单元中深度感知获取到的现实中四个目标角点的深度信息D1、D2、D3、D4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：
Figure BDA0003043321780000199
计算相机中心与目标中心构成的向量
Figure BDA00030433217800001910
那么公式：
Figure BDA00030433217800001911
直接算出了相机中心与目标中心之间的距离；
位姿向量组最终获得单元用于把3D目标进行平面化，计算相机坐标系下的向量
Figure BDA00030433217800001912
和
Figure BDA00030433217800001913
Figure BDA0003043321780000201
最后用向量组
Figure BDA0003043321780000202
来描述目标在相机坐标系下的位姿，其中向量
Figure BDA0003043321780000203
描述了目标在相机坐标系下的位置和方向，向量
Figure BDA0003043321780000204
和
Figure BDA0003043321780000205
构成的平面则描述了在该方向和深度处3D目标待检测平面的姿态。
较佳实施例中，距离及云台角度矫正单元进一步包括：距离矫正单元以及云台角度矫正单元；其中，
距离矫正单元进一步包括：相机沿Zc轴移动向量获得单元、相机坐标系到机体坐标系转化单元以及距离最终矫正单元；其中，
相机沿Zc轴移动向量获得单元用于根据所述位姿向量组获得单元中获得的向量组
Figure BDA0003043321780000206
此时相机中心Oc离目标中心P0点距离为
Figure BDA0003043321780000207
设定最佳拍照距离为
Figure BDA0003043321780000208
进行相机坐标系OcXcYcZc沿Zc轴移动向量分析，那么它与此时的D0存在如下关系：
Figure BDA0003043321780000209
如果以正负号表示沿Zc轴移动的方向，那么相机沿Zc轴移动向量为
Figure BDA00030433217800002010
相机坐标系到机体坐标系转化单元用于把相机沿Zc轴移动向量获得单元获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：
Figure BDA00030433217800002011
转化到机体坐标系下的向量为：
Figure BDA00030433217800002012
距离最终矫正单元用于控制无人机在机体坐标系下沿着向量
Figure BDA00030433217800002013
的方向和大小移动即可进行无人机距离矫正；
云台角度矫正单元进一步包括：云台角度矫正量表示单元、偏航矫正角度计算单元、俯仰矫正角度计算单元、横滚矫正角度计算单元以及云台角度最终矫正单元；其中，
云台角度矫正量表示单元用于通过分析向量
Figure BDA0003043321780000211
和
Figure BDA0003043321780000212
来计算云台角度矫正量，向量
Figure BDA0003043321780000213
决定了俯仰角的调整量，而向量
Figure BDA0003043321780000214
决定了偏航角和横滚角的调整量，为了简化公式表达，设
Figure BDA0003043321780000215
和
Figure BDA0003043321780000216
偏航矫正角度计算单元用于计算偏航矫正角度，偏航角度的矫正就是控制云台相机绕相机坐标系的Yc轴旋转，把向量
Figure BDA0003043321780000217
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcZc坐标系内得到分向量：
Figure BDA0003043321780000218
云台调整的偏航角度大小要使得Zc轴垂直向量
Figure BDA0003043321780000219
根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：
Figure BDA00030433217800002110
俯仰矫正角度计算单元用于计算俯仰矫正角度，俯仰角度的矫正就是控制云台相机绕相机坐标系的Xc轴旋转，把向量
Figure BDA00030433217800002111
移动到以相机坐标系原点Oc为向量起点处，并投影到YcOcZc坐标系内得到分向量：
Figure BDA00030433217800002112
云台调整的俯仰角度大小要使得Zc轴垂直向量
Figure BDA00030433217800002113
根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：
Figure BDA00030433217800002114
横滚矫正角度计算单元用于计算横滚矫正角度，横滚角度的矫正就是控制云台相机绕相机坐标系的Zc轴旋转，把向量
Figure BDA00030433217800002115
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcYc坐标系内得到分向量：
Figure BDA00030433217800002116
云台调整的横滚角度大小要使得Xc轴与向量
Figure BDA00030433217800002117
重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：
Figure BDA00030433217800002118
云台角度最终矫正单元用于控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。
本发明上述实施例，可以有效地解决无人机巡检拍照时图像会产生透视畸变的问题，提高了巡检拍摄的图像质量。
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种无人机对电力杆塔的智能精准巡检方法，其特征在于，包括：
S11：基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；
S12：设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；
S13：利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；
S14：根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。
2.根据权利要求1所述的无人机对电力杆塔的智能精准巡检方法，其特征在于，所述S11进一步包括：
S21：采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；
S22：将原图片按照预设角度跨度值进行旋转，旋转后得到图片集IMG＝(I1,I2,....,In)，n表示旋转的角度取值总数；
S23：针对所述图片集IMG中的每张图片采用所述S21中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：Box＝(B1,B2,....,Bn)，其中任意一个检测框Bi的属性描述为：(xl,yl,xr,yr)；
其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；
S24：针对每个检测框Bi，利用公式：
Figure FDA0003043321770000011
计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；
S25：取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框Bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。
3.根据权利要求2所述的无人机对电力杆塔的智能精准巡检方法，其特征在于，所述S12进一步包括：
S31：在第一线程A中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；
S32：在第二线程B中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；
S33：将所述角点定位信息以及角点深度信息表示为：Pi(ui,vi,Di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，Di表示对应点位的深度距离值。
4.根据权利要求3所述的无人机对电力杆塔的智能精准巡检方法，其特征在于，所述S13进一步包括：
S41：设pi(i＝1,2,3,4)为现实中目标的四个角点Pi(ui,vi,Di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在Pi和相机光心Oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心Oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为
Figure FDA0003043321770000021
那么f用像素表示为：
Figure FDA0003043321770000022
S42：对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量
Figure FDA0003043321770000023
与相机坐标系中的Zc轴的横向夹角的正切值为：
Figure FDA0003043321770000024
向量
Figure FDA0003043321770000025
与相机坐标系中的Zc轴的纵向夹角的正切值为：
Figure FDA0003043321770000026
其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在所述S41中计算得到了，那么在相机坐标系下，向量
Figure FDA0003043321770000027
可以通过公式：
Figure FDA0003043321770000028
计算得到；
S43：把所述S12中深度感知获取到的现实中四个目标角点的深度信息D1、D2、D3、D4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：
Figure FDA0003043321770000029
计算相机中心与目标中心构成的向量
Figure FDA0003043321770000031
Figure FDA0003043321770000032
那么公式：
Figure FDA0003043321770000033
直接算出了相机中心与目标中心之间的距离；
S44：把3D目标进行平面化，计算相机坐标系下的向量
Figure FDA0003043321770000034
和
Figure FDA0003043321770000035
Figure FDA0003043321770000036
最后用向量组
Figure FDA0003043321770000037
来描述目标在相机坐标系下的位姿，其中向量
Figure FDA0003043321770000038
描述了目标在相机坐标系下的位置和方向，向量
Figure FDA0003043321770000039
和
Figure FDA00030433217700000310
构成的平面则描述了在该方向和深度处3D目标待检测平面的姿态。
5.根据权利要求4所述的无人机对电力杆塔的智能精准巡检方法，其特征在于，所述S14进一步包括：
S51：无人机的距离矫正量计算以及距离矫正；
S52：无人机的云台角度矫正量计算以及云台角度矫正；其中，
所述S51进一步包括：
S511：根据所述S13中获得的向量组
Figure FDA00030433217700000311
此时相机中心Oc离目标中心P0点距离为
Figure FDA00030433217700000312
设定最佳拍照距离为
Figure FDA00030433217700000313
进行相机坐标系OcXcYcZc沿Zc轴移动向量分析，那么它与此时的D0存在如下关系：
Figure FDA00030433217700000314
如果以正负号表示沿Zc轴移动的方向，那么相机沿Zc轴移动向量为
Figure FDA00030433217700000315
S512：无人机的运动控制是控制机体运动，所以把所述S511获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：
Figure FDA00030433217700000316
转化到机体坐标系下的向量为：
Figure FDA0003043321770000041
S513：最后控制无人机在机体坐标系下沿着向量
Figure FDA0003043321770000042
的方向和大小移动即可进行无人机距离矫正；
所述S52进一步包括：
S521：通过分析向量
Figure FDA0003043321770000043
和
Figure FDA0003043321770000044
来计算云台角度矫正量，向量
Figure FDA0003043321770000045
决定了俯仰角的调整量，而向量
Figure FDA0003043321770000046
决定了偏航角和横滚角的调整量，为了简化公式表达，设
Figure FDA0003043321770000047
和
Figure FDA0003043321770000048
S522：偏航矫正角度计算：偏航角度的矫正就是控制云台相机绕相机坐标系的Yc轴旋转，把向量
Figure FDA0003043321770000049
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcZc坐标系内得到分向量：
Figure FDA00030433217700000410
云台调整的偏航角度大小要使得Zc轴垂直向量
Figure FDA00030433217700000411
根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：
Figure FDA00030433217700000412
S523：俯仰矫正角度计算：俯仰角度的矫正就是控制云台相机绕相机坐标系的Xc轴旋转，把向量
Figure FDA00030433217700000413
移动到以相机坐标系原点Oc为向量起点处，并投影到YcOcZc坐标系内得到分向量：
Figure FDA00030433217700000414
云台调整的俯仰角度大小要使得Zc轴垂直向量
Figure FDA00030433217700000415
根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：
Figure FDA00030433217700000416
S524：横滚矫正角度计算：横滚角度的矫正就是控制云台相机绕相机坐标系的Zc轴旋转，把向量
Figure FDA00030433217700000417
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcYc坐标系内得到分向量：
Figure FDA00030433217700000418
云台调整的横滚角度大小要使得Xc轴与向量
Figure FDA0003043321770000051
重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：
Figure FDA0003043321770000052
S525：最后控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。
6.一种无人机对电力杆塔的智能精准巡检系统，其特征在于，包括：斜框目标检测单元、位置及深度信息获得单元、位姿向量组获得单元以及距离及云台角度矫正单元；其中，
所述斜框目标检测单元用于基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；
所述位置及深度信息获得单元用于设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；
所述位姿向量组获得单元用于利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；
所述距离及云台角度矫正单元用于根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。
7.根据权利要求6所述的无人机对电力杆塔的智能精准巡检系统，其特征在于，所述斜框目标检测单元进一步包括：目标检测网络模型训练单元、原图片旋转单元、目标检测单元、对角线距离计算单元以及斜框检测完成单元；其中，
所述目标检测网络模型训练单元用于采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；
所述原图片旋转单元用于将原图片按照预设角度跨度值进行旋转，旋转后得到图片集IMG＝(I1,I2,....,In)，n表示旋转的角度取值总数；
所述目标检测单元用于针对所述图片集IMG中的每张图片采用所述目标检测网络模型训练单元中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：Box＝(B1,B2,....,Bn)，其中任意一个检测框Bi的属性描述为：(xl,yl,xr,yr)；
其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；
所述对角线距离计算单元用于针对每个检测框Bi，利用公式：
Figure FDA0003043321770000061
计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；
所述斜框检测完成单元用于取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框Bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。
8.根据权利要求7所述的无人机对电力杆塔的智能精准巡检系统，其特征在于，所述位置及深度信息获得单元进一步包括：第一线程单元、第二线程单元以及位置及深度信息表示单元；其中，
所述第一线程单元用于在第一线程A中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；
所述第二线程单元用于在第二线程B中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；
所述位置及深度信息表示单元用于将所述角点定位信息以及角点深度信息表示为：Pi(ui,vi,Di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，Di表示对应点位的深度距离值。
9.根据权利要求8所述的无人机对电力杆塔的智能精准巡检系统，其特征在于，所述位姿向量组获得单元进一步包括：成像平面信息计算单元、相机中心到目标中心的向量计算单元、相机中心与目标中心之间的距离计算单元以及位姿向量组最终获得单元；其中。
所述成像平面信息计算单元用于设pi(i＝1,2,3,4)为现实中目标的四个角点Pi(ui,vi,Di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在Pi和相机光心Oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心Oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为
Figure FDA0003043321770000062
那么f用像素表示为：
Figure FDA0003043321770000063
所述相机中心到目标中心的向量计算单元用于对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量
Figure FDA0003043321770000071
与相机坐标系中的Zc轴的横向夹角的正切值为：
Figure FDA0003043321770000072
向量
Figure FDA0003043321770000073
与相机坐标系中的Zc轴的纵向夹角的正切值为：
Figure FDA0003043321770000074
其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在所述成像平面信息计算单元中计算得到了，那么在相机坐标系下，向量
Figure FDA0003043321770000075
可以通过公式：
Figure FDA0003043321770000076
计算得到；
所述相机中心与目标中心之间的距离计算单元用于把所述位置及深度信息获得单元中深度感知获取到的现实中四个目标角点的深度信息D1、D2、D3、D4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：
Figure FDA0003043321770000077
计算相机中心与目标中心构成的向量
Figure FDA0003043321770000078
Figure FDA0003043321770000079
那么公式：
Figure FDA00030433217700000710
直接算出了相机中心与目标中心之间的距离；
所述位姿向量组最终获得单元用于把3D目标进行平面化，计算相机坐标系下的向量
Figure FDA00030433217700000711
和
Figure FDA00030433217700000712
Figure FDA00030433217700000713
最后用向量组
Figure FDA00030433217700000714
来描述目标在相机坐标系下的位姿，其中向量
Figure FDA00030433217700000715
描述了目标在相机坐标系下的位置和方向，向量
Figure FDA00030433217700000716
和
Figure FDA00030433217700000717
构成的平面则描述了在该方向和深度处3D目标待检测平面的姿态。
10.根据权利要求9所述的无人机对电力杆塔的智能精准巡检系统，其特征在于，所述距离及云台角度矫正单元进一步包括：距离矫正单元以及云台角度矫正单元；其中，
所述距离矫正单元进一步包括：相机沿Zc轴移动向量获得单元、相机坐标系到机体坐标系转化单元以及距离最终矫正单元；其中，
所述相机沿Zc轴移动向量获得单元用于根据所述位姿向量组获得单元中获得的向量组
Figure FDA0003043321770000081
此时相机中心Oc离目标中心P0点距离为
Figure FDA0003043321770000082
设定最佳拍照距离为
Figure FDA0003043321770000083
进行相机坐标系OcXcYcZc沿Zc轴移动向量分析，那么它与此时的D0存在如下关系：
Figure FDA0003043321770000084
如果以正负号表示沿Zc轴移动的方向，那么相机沿Zc轴移动向量为
Figure FDA0003043321770000085
所述相机坐标系到机体坐标系转化单元用于把所述相机沿Zc轴移动向量获得单元获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：
Figure FDA0003043321770000086
转化到机体坐标系下的向量为：
Figure FDA0003043321770000087
所述距离最终矫正单元用于控制无人机在机体坐标系下沿着向量
Figure FDA0003043321770000088
的方向和大小移动即可进行无人机距离矫正；
所述云台角度矫正单元进一步包括：云台角度矫正量表示单元、偏航矫正角度计算单元、俯仰矫正角度计算单元、横滚矫正角度计算单元以及云台角度最终矫正单元；其中，
所述云台角度矫正量表示单元用于通过分析向量
Figure FDA0003043321770000089
和
Figure FDA00030433217700000810
来计算云台角度矫正量，向量
Figure FDA00030433217700000811
决定了俯仰角的调整量，而向量
Figure FDA00030433217700000812
决定了偏航角和横滚角的调整量，为了简化公式表达，设
Figure FDA00030433217700000813
和
Figure FDA00030433217700000814
所述偏航矫正角度计算单元用于计算偏航矫正角度，偏航角度的矫正就是控制云台相机绕相机坐标系的Yc轴旋转，把向量
Figure FDA00030433217700000815
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcZc坐标系内得到分向量：
Figure FDA0003043321770000091
云台调整的偏航角度大小要使得Zc轴垂直向量
Figure FDA0003043321770000092
根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：
Figure FDA0003043321770000093
所述俯仰矫正角度计算单元用于计算俯仰矫正角度，俯仰角度的矫正就是控制云台相机绕相机坐标系的Xc轴旋转，把向量
Figure FDA0003043321770000094
移动到以相机坐标系原点Oc为向量起点处，并投影到YcOcZc坐标系内得到分向量：
Figure FDA0003043321770000095
云台调整的俯仰角度大小要使得Zc轴垂直向量
Figure FDA0003043321770000096
根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：
Figure FDA0003043321770000097
所述横滚矫正角度计算单元用于计算横滚矫正角度，横滚角度的矫正就是控制云台相机绕相机坐标系的Zc轴旋转，把向量
Figure FDA0003043321770000098
移动到以相机坐标系原点Oc为向量起点处，并投影到XcOcYc坐标系内得到分向量：
Figure FDA0003043321770000099
云台调整的横滚角度大小要使得Xc轴与向量
Figure FDA00030433217700000910
重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：
Figure FDA00030433217700000911
所述云台角度最终矫正单元用于控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。
CN202110465984.0A 2021-04-28 2021-04-28 一种无人机对电力杆塔的智能精准巡检方法及系统 Active CN113177918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110465984.0A CN113177918B (zh) 2021-04-28 2021-04-28 一种无人机对电力杆塔的智能精准巡检方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110465984.0A CN113177918B (zh) 2021-04-28 2021-04-28 一种无人机对电力杆塔的智能精准巡检方法及系统

Publications (2)

Publication Number Publication Date
CN113177918A true CN113177918A (zh) 2021-07-27
CN113177918B CN113177918B (zh) 2022-04-19

Family

ID=76926923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110465984.0A Active CN113177918B (zh) 2021-04-28 2021-04-28 一种无人机对电力杆塔的智能精准巡检方法及系统

Country Status (1)

Country Link
CN (1) CN113177918B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674343A (zh) * 2021-08-30 2021-11-19 上海复亚智能科技有限公司 一种无人机巡检方法、装置、设备及存储介质
CN113888640A (zh) * 2021-09-07 2022-01-04 浙江大学 一种适用于无人机云台相机的改进标定方法
CN113910252A (zh) * 2021-10-11 2022-01-11 国网智能科技股份有限公司 一种配网车载智能巡检机器人杆塔动态追踪方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
CN110147750A (zh) * 2019-05-13 2019-08-20 深圳先进技术研究院 一种基于运动加速度的图像搜索方法、系统及电子设备
CN110244756A (zh) * 2019-04-29 2019-09-17 福州大学 无人机快速追踪协同避障方法
CN110580717A (zh) * 2019-08-15 2019-12-17 成都优艾维智能科技有限责任公司 一种针对电力杆塔的无人机自主巡检航线生成方法
CN110727288A (zh) * 2019-11-13 2020-01-24 昆明能讯科技有限责任公司 一种基于点云的电力巡检精准三维航线规划方法
CN110879601A (zh) * 2019-12-06 2020-03-13 电子科技大学 一种对于未知风机结构的无人机巡检方法
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN112051298A (zh) * 2020-09-09 2020-12-08 飞础科智慧科技(上海)有限公司 钢包表面故障诊断方法及设备
CN112396657A (zh) * 2020-11-25 2021-02-23 河北工程大学 一种基于神经网络的深度位姿估计方法、装置及终端设备
CN112560722A (zh) * 2020-12-22 2021-03-26 中国人民解放军国防科技大学 一种飞机目标识别方法、装置、计算机设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341694A (zh) * 2018-11-12 2019-02-15 哈尔滨理工大学 一种移动探测机器人的自主定位导航方法
CN110244756A (zh) * 2019-04-29 2019-09-17 福州大学 无人机快速追踪协同避障方法
CN110147750A (zh) * 2019-05-13 2019-08-20 深圳先进技术研究院 一种基于运动加速度的图像搜索方法、系统及电子设备
CN110580717A (zh) * 2019-08-15 2019-12-17 成都优艾维智能科技有限责任公司 一种针对电力杆塔的无人机自主巡检航线生成方法
CN110727288A (zh) * 2019-11-13 2020-01-24 昆明能讯科技有限责任公司 一种基于点云的电力巡检精准三维航线规划方法
CN110879601A (zh) * 2019-12-06 2020-03-13 电子科技大学 一种对于未知风机结构的无人机巡检方法
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN112051298A (zh) * 2020-09-09 2020-12-08 飞础科智慧科技(上海)有限公司 钢包表面故障诊断方法及设备
CN112396657A (zh) * 2020-11-25 2021-02-23 河北工程大学 一种基于神经网络的深度位姿估计方法、装置及终端设备
CN112560722A (zh) * 2020-12-22 2021-03-26 中国人民解放军国防科技大学 一种飞机目标识别方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
江亮 等: "基于电力杆塔巡检的无人机重定位拍照系统设计", 《科技通报》 *
王榆夫 等: "基于无人机图像的电力杆塔倾斜检测", 《计算机仿真》 *
郑恩: "基于无人机航拍输电线路杆塔的三维重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674343A (zh) * 2021-08-30 2021-11-19 上海复亚智能科技有限公司 一种无人机巡检方法、装置、设备及存储介质
CN113888640A (zh) * 2021-09-07 2022-01-04 浙江大学 一种适用于无人机云台相机的改进标定方法
CN113888640B (zh) * 2021-09-07 2024-02-02 浙江大学 一种适用于无人机云台相机的改进标定方法
CN113910252A (zh) * 2021-10-11 2022-01-11 国网智能科技股份有限公司 一种配网车载智能巡检机器人杆塔动态追踪方法及系统
CN113910252B (zh) * 2021-10-11 2023-03-03 国网智能科技股份有限公司 一种配网车载智能巡检机器人杆塔动态追踪方法及系统

Also Published As

Publication number Publication date
CN113177918B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN113177918B (zh) 一种无人机对电力杆塔的智能精准巡检方法及系统
CN110297498B (zh) 一种基于无线充电无人机的轨道巡检方法及系统
CN109238240B (zh) 一种顾及地形的无人机倾斜摄影方法及其摄影系统
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN110246177B (zh) 一种基于视觉的自动测波方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN112505065A (zh) 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN109900274B (zh) 一种图像匹配方法及系统
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN110998241A (zh) 用于校准可移动对象的光学系统的系统和方法
CN103929635B (zh) 一种uuv纵横摇时的双目视觉图像补偿方法
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN109946564A (zh) 一种配网架空线路巡检数据采集方法及巡检系统
CN111524174A (zh) 一种动平台动目标双目视觉三维构建方法
CN109976339A (zh) 一种车载配网巡检数据采集方法与巡检系统
CN112947526A (zh) 一种无人机自主降落方法和系统
CN113525631A (zh) 一种基于光视觉引导的水下终端对接系统及方法
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN110322462B (zh) 基于5g网络的无人机视觉着陆方法及系统
CN114898061A (zh) 一种基于飞走双模视觉信息的输电走廊快速重建方法
CN115082759A (zh) 一种光电视频与雷达gmti融合方法
CN113743286A (zh) 一种多源信号融合的目标监测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant