CN112711267A - 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法 - Google Patents

基于rtk高精度定位与机器视觉融合的无人机自主巡检方法 Download PDF

Info

Publication number
CN112711267A
CN112711267A CN202010329874.7A CN202010329874A CN112711267A CN 112711267 A CN112711267 A CN 112711267A CN 202010329874 A CN202010329874 A CN 202010329874A CN 112711267 A CN112711267 A CN 112711267A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
point
inspection
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010329874.7A
Other languages
English (en)
Other versions
CN112711267B (zh
Inventor
黄郑
王红星
翟学锋
陈晟
王永强
姜海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Fangtian Power Technology Co Ltd
Jiangsu Frontier Electric Power Technology Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Jiangsu Fangtian Power Technology Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202010329874.7A priority Critical patent/CN112711267B/zh
Publication of CN112711267A publication Critical patent/CN112711267A/zh
Application granted granted Critical
Publication of CN112711267B publication Critical patent/CN112711267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明是基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，该方法在无人机自动巡检前能够进行航线选取，通过基于关键点和轨迹夹角的轨迹筛选方法进行冗余点过滤，输出优化后的巡检航线；无人机在飞行至接近拍照点时，无人机通过基于RTK的高精度定位方法调整无人机空间位置，精确到达拍照点；无人机通过基于巡检对象差异特性的动态优化定位方法在拍照前控制云台转动，在目标设备图片位于照片中心位置后进行拍照。该种无人机自主巡检方法解决了航线采集以及定位优化问题,贯穿航线学习到自主巡检的流程之中，兼顾了巡检效率以及巡检精确度，提供了精细化巡检的高效率解决方案。

Description

基于RTK高精度定位与机器视觉融合的无人机自主巡检方法
技术领域
本发明涉及无人机自动控制技术领域，具体的说是基于RTK高精度定位与机器视觉融合的无人机自主巡检方法。
背景技术
无人机按照已知航线点集合遍历飞行，完成巡检任务。航线点集合包括冗余点，因此无人机自主巡检的效率及安全性将会受到影响。无人机到达巡检拍照点后，会执行云台对焦，对目标进行拍照但是路点精度不够导致拍摄精度不够。同时电力设备尺寸各异，拍摄要求不一，在规范化作业的过程中,不同设备的特性决定了它在画面中的大小。部分巡检目标在照片中占用画幅大，无人机垂直高度精度稍差就可能导致拍不全。进一步的，由于无人机在巡检过程中到达每处悬停位置时，均有一定的位置偏差，反应在照片中会导致目标设备偏出镜头获取范围，造成数据采集失败。需要一种无人机自主巡检方法，解决现有无人机巡检智能化程度低、完全依靠人工手动操作、对无人机飞手的专业水平要求高等问题。
发明内容
本发明要解决的技术问题是提供一种基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，该方法基于垂距法的全轨迹关键拐点选取能很好地去除航线点集合中的冗余点，提高无人机自主巡检的效率及安全性。基于RTK的高精度定位方法，将会在无人机将要到达路点后基于RTK定位精度优化，减少路点精度误差。并且利用基于巡检对象差异特性的动态优化定位方法，针对设备在基准图像中的画面占幅特性设置不同的定位容忍阈值，提高巡检速度。
为解决上述技术问题，本发明采用的技术方案为：
基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：在无人机自动巡检过程中能够进行航线选取，对冗余的路点进行去除；无人机在飞行至接近拍照点时，自动减小自身位置与期望位置的距离，精确到达拍照点；无人机在拍照前控制云台转动，在目标设备图片位于照片中心位置后进行拍照；具体巡检步骤如下：
步骤1，获取原始航线点集，并对原始航线点集通过基于关键点和轨迹夹角的轨迹筛选方法进行冗余点过滤，输出优化后的巡检航线；
步骤2，将巡检航线数据上传至无人机，无人机由起巡检航线内的起始位置点开始巡检工作；
步骤3，无人机飞至巡检航线上的拍照点附近，调整无人机上云台带动相机朝向待巡检物体，无人机通过基于RTK的高精度定位方法调整无人机空间位置，缩小与目标拍照点坐标的距离偏差；
步骤4，通过基于巡检对象差异特性的动态优化定位方法，调整无人机云台，使目标巡检物体在相机图片中占幅符合要求后，控制相机拍照；
步骤5，判断巡检航线是否巡检完成，若未巡检航线内还存在拍照点，则无人机飞行至下一拍照点附近，重复步骤3～至步骤5；
步骤6，若未巡检航线内不存在拍照点，则无人机按照巡检航线数据飞行至巡检航线结束点处，完成巡检作业。
所述的步骤1中原始航线点集为无人机巡检路线采集过程中采集记录的所有位置点构成，采集记录的所有位置点包括轨迹起始位置点，拍照位置点，轨迹拐点，轨迹结束位置点，所述的轨迹起始位置点、拍照位置点和轨迹结束位置点均为不可删除的关键位置点，所述的基于关键点和轨迹夹角的轨迹筛选方法具体步骤如下：
步骤1.1，以原始航线中的关键位置点为界，将原始航线分为若干段轨迹区间，其中每个轨迹区间的起始点和结束点都为关键位置点；
步骤1.2，取一段轨迹区间，如果轨迹区间中只有两个点，则不用筛选，进入步骤1.6；
步骤1.3，设轨迹区间起始点A点和结束点B点之间的每个中间点为Oi点，其中，i[1,n]，n为中间点的个数；为每个中间点做连线OiA和OiB，确定所有满足OiA>长度阈值、OiB>长度阈值的点，并确定所有满足上述条件的中间点中夹角∠AOiB最小的点Oj；
步骤1.4，如果点Oj的夹角∠AOjB>角度阈值，则将轨迹区间中除了起始点和结束点之外的其余点都删去，进入步骤1.6；若点Oj的夹角∠AOjB<角度阈值，则将点Oj保留并标记为关键位置点，
步骤1.5，以Oj为关键位置点将轨迹区间分为两段新的轨迹区间，对这两段新的轨迹区间执行步骤1.2至步骤1.5；
步骤1.6，顺次取下一段轨迹区间重复步骤1.2至步骤1.5，直至遍历完全部轨迹区间；
步骤1.7，输出新的轨迹位置点集合即为删选优化后的新轨迹。
所述的步骤1.3中长度阈值为3米，所述的步骤1.4中角度阈值为100度。
所述的步骤3中基于RTK的高精度定位方法通过在到达拍照位置点后，无人机根据自身的RTK与姿态反馈，执行速度控制减少位置误差实现；具体步骤如下：
步骤3.1，获取拍照位置点的期望RTK坐标(lat1，lon1，alt1)以及无人机当前的RTK坐标(lat2，lon2，alt2)，计算得到拍照位置点的期望点与无人机当前位置的垂直距离Dh，北向距离Dn，东向距离De，具体公式如下：
radLat1＝lat1*PI/180.0
radLat2＝lat2*PI/180.0
a＝radLat1-radLat2
b＝lon1*PI/180.0-lon2*PI/180.0
Dh＝alt1-alt2
Figure BDA0002464553760000031
Figure BDA0002464553760000032
其中，(lat1，lon1，alt1)分别为拍照位置期望点的RTK纬度、经度、高度；(lat2，lon2，alt2)分别为无人机当前位置点的RTK纬度、经度、高度；PI为圆周率；EARTH_RADIUS为地球赤道半径，约为6378.137km；α为无人机朝向角；
步骤3.2，计算无人机飞往拍照位置点的控制速度，所述的无人机控制速度分为无人机切向方向的速度Vx，径向方向的速度Vy，高度方向的速度Vz，采用pid控制算法，Vx、Vy、Vz三个控制速度的计算方法如公式2.2-2、公式2.2-3所示：
Vz＝Dh×kpz (2.2-2)
Figure BDA0002464553760000033
其中，kpz为高度方向比例系数，kp为水平方向比例系数；
步骤3.3，根据步骤3.2中计算得到的无人机切向方向的速度Vx，径向方向的速度Vy，高度方向的速度Vz对无人机进行控制，直至拍照位置点的期望点与无人机当前位置的垂直距离Dh≤30cm，北向距离Dn≤30cm，东向距离De≤30cm，此时无人机基于RTK的高精度定位过程完成。
所述的步骤4中通过基于巡检对象差异特性的动态优化定位方法调整无人机云台转动，使目标巡检物体在相机图片中占幅符合要求，具体步骤如下：
步骤4.1，计算出目标巡检物体识别框中心点(x1，y1)和画面中心点(x0，y0)在水平和垂直方向上的像素距离(dw，dh)，其中，dw＝x1-x0，dh＝y1-y0；
步骤4.2，根据拍照位置点的期望RTK坐标(lat1，lon1，alt1)以及无人机当前的RTK坐标(lat2，lon2，alt2)，计算得到拍照位置点的期望点与无人机当前位置的垂直距离Dh，北向距离Dn，东向距离De；计算出当前无人机位置点与期望点位置的水平径向距离dr如下:
dr＝De×sin(α)+Dn×cos(α) (2.2-9)
式中，α为无人机朝向角；
步骤4.3，获取期望点与目标设备的水平径向距离为dt，计算出当前无人机与目标设备的水平径向距离d＝dt-dr；
步骤4.4，获取相机镜头的视场角度f，则可以算得视野对角线距离Lf，
Figure BDA0002464553760000041
获取基准图像宽为w，高为h，计算画幅比r＝w÷h；则水平切向与垂直方向的视野Vf与Vf计算公式如下：
Figure BDA0002464553760000042
Figure BDA0002464553760000043
进一步计算目标巡检物体识别框中心点(x1，y1)和画面中心点(x0，y0)在水平和垂直方向上的物理距离(Dw，Dh)，所述的Dw和Dh的计算公式如下：
Figure BDA0002464553760000044
Figure BDA0002464553760000045
步骤4.5，根据目标巡检物体识别框中心点和画面中心点在水平和垂直方向上的物理距离(Dw，Dh)以及当前无人机与目标设备的水平径向距离d，计算得到云台需要调整的水平角度△αyaw和垂直角度△αpitch，所述的水平角度△αyaw和垂直角度△αpitch具体计算公式如下：
△αyaw＝arctan(Dw/d)
△αpitch＝arctan(Dh/d)
步骤4.6，根据水平角度△αyaw和垂直角度△αpitch的计算结果控制云台左右转动，具体控制方式如下：
若水平角度△αyaw>0，云台向右转动|△αyaw|角度；若水平角度△αyaw<0，云台向左转动|△αyaw|角度；若垂直角度△αpitch>0，云台向下转动|△αpitch|角度；若垂直角度△αpitch<0，云台向上转动|△αpitch|角度；
步骤4.7，重新计算水平角度△αyaw和垂直角度△αpitch，若云台需要再次调整的水平角度△αyaw和垂直角度△αpitch均小于预设阈值，则云台调整结束；否则，返回步骤4.6。
所述的步骤4.7中，重新计算水平角度△αyaw和垂直角度△αpitch的循环次数不大于5次，若超过循环次数云台调整后的水平角度△αyaw或垂直角度△αpitch大于预设阈值，则强制云台相机拍摄。
所述的不可删除位置点还包括可以人工标定的巡航路线必经位置点，所述的巡航路线必经位置点为无人机飞行过程中为了避障而必须穿过的位置点。
该种基于RTK高精度定位与机器视觉融合的无人机自主巡检方法能够产生的有益效果为：第一，在巡检轨迹的优化过程中应用了基于关键点和轨迹夹角的轨迹筛选方法，能够在保留轨迹起始位置点、拍照位置点、轨迹结束位置点和人工标定的巡航路线必经位置点的基础上，过滤掉冗余的位置点，优化巡检轨迹，提高飞行效率。
第二，在无人机飞行至拍照位置点处时，由于不可避免的误差，采用基于RTK的高精度定位方法，对无人机的拍照悬停位置进行优化调整，极大的减少了路点精度误差，为无人机的巡检拍照质量提供了基础。
第三，无人机在对目标物体巡检拍照的过程中，利用基于巡检对象差异特性的动态优化定位方法，针对设备在基准图像中的画面占幅特性设置不同的定位容忍阈值，通过云台控制无人机的照相机发生偏转，对待巡检物体进行精准捕捉和拍摄，提高巡检速度。
第四，该种巡检方法解决了航线采集以及定位优化问题,贯穿航线学习到自主巡检的流程之中，兼顾了巡检效率以及巡检精确度，提供了精细化巡检的高效率解决方案，能够实现无人机巡检过程的自动化，降低对无人机专业飞手的需求。
附图说明
图1为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法的流程示意图。
图2为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中关键技术框架图。
图3为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中基于关键点和轨迹夹角的轨迹筛选方法示意图。
图4为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中基于关键点和轨迹夹角的轨迹筛选方法示意图。
图5为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中基于RTK的高精度定位方法的路点拍摄流程示意图。
图6为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中基于RTK的高精度定位方法的工作流程示意图。
图7为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中基于巡检对象差异特性的动态优化定位方法的流程示意图。
图8为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中目标待巡检设备示例图。
图9为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中镜头视野平面内中心点、识别框中心点的位置关系示意图。
图10为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中水平观察角度时镜头与镜头视野平面中心点、识别框中心点的位置关系示意图。
图11为本发明基于RTK高精度定位与机器视觉融合的无人机自主巡检方法中垂直观察角度时镜头与镜头视野平面中心点、识别框中心点的位置关系示意图。
具体实施方式
为解决现有无人机巡检智能化程度低、完全依靠人工手动操作、对无人机飞手的专业水平要求高等问题，提出了基于RTK高精度导航的无人机自主巡检技术，减少巡检过程中人工干预，最大程度地提高无人机自主巡检能力。在无人机巡检过程中需要解决如下问题：第一，航迹选取；如何对输电线路的航线信息进行采集，获取关键的轨迹航点，减少冗余的路点,将决定无人机自主巡检的效率及安全性。第二，定位控制；如何确保无人机沿着航线精准飞行，控制无人机在设备拍照点精准拍摄照片，决定着无人机自主巡检任务的完成质量，甚至决定后续状态感知与缺陷识别的完成质量。第三，定位优化；输电线路中包含大量尺寸不一、形状各异、位置随机分布的设备，如何根据设备差异特性进行定位优化，决定着无人机自主巡检的设备辨识与信息采集效率。
如图1所示，基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：在无人机自动巡检过程中能够进行航线选取，对冗余的路点进行去除；无人机在飞行至接近拍照点时，自动减小自身位置与期望位置的距离，精确到达拍照点；无人机在拍照前控制云台转动，在目标设备图片位于照片中心位置后进行拍照；具体巡检步骤如下：
步骤1，获取原始航线点集，并对原始航线点集通过基于关键点和轨迹夹角的轨迹筛选方法进行冗余点过滤，输出优化后的巡检航线；
步骤2，将巡检航线数据上传至无人机，无人机由起巡检航线内的起始位置点开始巡检工作；
步骤3，无人机飞至巡检航线上的拍照点附近，调整无人机上云台带动相机朝向待巡检物体，无人机通过基于RTK的高精度定位方法调整无人机空间位置，缩小与目标拍照点坐标的距离偏差；
步骤4，通过基于巡检对象差异特性的动态优化定位方法，调整无人机云台，使目标巡检物体在相机图片中占幅符合要求后，控制相机拍照；
步骤5，判断巡检航线是否巡检完成，若未巡检航线内还存在拍照点，则无人机飞行至下一拍照点附近，重复步骤3～至步骤5；
步骤6，若未巡检航线内不存在拍照点，则无人机按照巡检航线数据飞行至巡检航线结束点处，完成巡检作业。
进一步的，步骤1中原始航线点集为已知的飞行航线点集合，原始航线是无人机在进行路线采集过程中实时记录的所有位置点构成的，每一个位置点都可以视为观测值，其中不免存在由于信号跳变等原因引起的不准确位置噪点，噪点的存在不仅会加重计算负担，而且严重影响航线学习精度，因此利用卡尔曼滤波对原始轨迹进行滤波处理。利用卡尔曼滤波得到较为准确的原始位置点轨迹线路后，得到的位置点数量仍然较多，这会导致无人机需要飞行的位置点过多，严重降低飞行效率。为此，需要对位置点集合进行筛选。
利用卡尔曼滤波得到较为准确的原始位置点轨迹线路中的所有位置点包括轨迹起始位置点，拍照位置点，轨迹拐点，轨迹结束位置点，所述的轨迹起始位置点、拍照位置点、人工标定的巡航路线必经位置点和轨迹结束位置点均为不可删除位置点，巡航路线必经位置点包括但不限于无人机飞行过程中为了避障而必须穿过的位置点，如图4所示，所述的步骤1中原始航线点集为无人机巡检路线采集过程中采集记录的所有位置点构成，采集记录的所有位置点包括轨迹起始位置点，拍照位置点，轨迹拐点，轨迹结束位置点，所述的轨迹起始位置点、拍照位置点和轨迹结束位置点均为不可删除的关键位置点，如图4所示，所述的基于关键点和轨迹夹角的轨迹筛选方法具体步骤如下：
步骤1.1，以原始航线中的关键位置点为界，将原始航线分为若干段轨迹区间，其中每个轨迹区间的起始点和结束点都为关键位置点；
步骤1.2，取一段轨迹区间，如果轨迹区间中只有两个点，则不用筛选，进入步骤1.6；
步骤1.3，设轨迹区间起始点A点和结束点B点之间的每个中间点为Oi点，其中，i[1,n]，n为中间点的个数；为每个中间点做连线OiA和OiB，确定所有满足OiA>长度阈值、OiB>长度阈值的点，并确定所有满足上述条件的中间点中夹角∠AOiB最小的点Oj；
步骤1.4，如果点Oj的夹角∠AOjB>角度阈值，则将轨迹区间中除了起始点和结束点之外的其余点都删去，进入步骤1.6；若点Oj的夹角∠AOjB<角度阈值，则将点Oj保留并标记为关键位置点，
步骤1.5，以Oj为关键位置点将轨迹区间分为两段新的轨迹区间，对这两段新的轨迹区间执行步骤1.2至步骤1.5；
步骤1.6，顺次取下一段轨迹区间重复步骤1.2至步骤1.5，直至遍历完全部轨迹区间；
步骤1.7，输出新的轨迹位置点集合即为删选优化后的新轨迹。
本实施例中，步骤1.3中长度阈值为3米，所述的步骤1.4中角度阈值为100度。
进一步的，轨迹中的关键位置点不局限于轨迹起始位置点、拍照位置点、轨迹结束位置点，还包括可以人工标定的巡航路线必经位置点，所述的巡航路线必经位置点为无人机飞行过程中为了避障而必须穿过的位置点。
进一步的，步骤3中基于RTK的高精度定位方法通过在到达拍照位置点后，无人机根据自身的RTK与姿态反馈，执行速度控制减少位置误差实现；所述的RTK是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，求差解算坐标，通过引入基于RTK的高精度定位方法，提高巡检设备拍摄的精度；如图6所示，具体步骤如下：
步骤3.1，获取拍照位置点的期望RTK坐标(lat1，lon1，alt1)以及无人机当前的RTK坐标(lat2，lon2，alt2)，计算得到拍照位置点的期望点与无人机当前位置的垂直距离Dh，北向距离Dn，东向距离De，具体公式如下：
radLat1＝lat1*PI/180.0
radLat2＝lat2*PI/180.0
a＝radLat1-radLat2
b＝lon1*PI/180.0-lon2*PI/180.0
Dh＝alt1-alt2
Figure BDA0002464553760000081
Figure BDA0002464553760000082
其中，(lat1，lon1，alt1)分别为拍照位置期望点的RTK纬度、经度、高度；(lat2，lon2，alt2)分别为无人机当前位置点的RTK纬度、经度、高度；PI为圆周率；EARTH_RADIUS为地球赤道半径，约为6378.137km；α为无人机朝向角；
步骤3.2，计算无人机飞往拍照位置点的控制速度，所述的无人机控制速度分为无人机切向方向的速度Vx，径向方向的速度Vy，高度方向的速度Vz，采用pid控制算法，Vx、Vy、Vz三个控制速度的计算方法如公式2.2-2、公式2.2-3所示：
Vz＝Dh×kpz (2.2-2)
Figure BDA0002464553760000091
其中，kpz为高度方向比例系数，kp为水平方向比例系数；
步骤3.3，根据步骤3.2中计算得到的无人机切向方向的速度Vx，径向方向的速度Vy，高度方向的速度Vz对无人机进行控制，直至拍照位置点的期望点与无人机当前位置的垂直距离Dh≤30cm，北向距离Dn≤30cm，东向距离De≤30cm，此时无人机基于RTK的高精度定位过程完成。
进一步的，步骤4中通过基于巡检对象差异特性的动态优化定位方法调整无人机云台转动，使目标巡检物体在相机图片中占幅符合要求，如图7所示，具体步骤如下：
步骤4.1，如图9所示，计算出目标巡检物体识别框中心点(x1，y1)和画面中心点(x0，y0)在水平和垂直方向上的像素距离(dw，dh)，其中，dw＝x1-x0，dh＝y1-y0，此时实际画面中目标设备的位置如图8所示；
步骤4.2，根据拍照位置点的期望RTK坐标(lat1，lon1，alt1)以及无人机当前的RTK坐标(lat2，lon2，alt2)，计算得到拍照位置点的期望点与无人机当前位置的垂直距离Dh，北向距离Dn，东向距离De；计算出当前无人机位置点与期望点位置的水平径向距离dr如下:
dr＝De×sin(α)+Dn×cos(α) (2.2-9)
式中，α为无人机朝向角；
步骤4.3，获取期望点与目标设备的水平径向距离为dt，计算出当前无人机与目标设备的水平径向距离d＝dt-dr；
步骤4.4，获取相机镜头的视场角度f，则可以算得视野对角线距离Lf，
Figure BDA0002464553760000092
获取基准图像宽为w，高为h，计算画幅比r＝w÷h；则水平切向与垂直方向的视野Vf与Vf计算公式如下：
Figure BDA0002464553760000101
Figure BDA0002464553760000102
进一步计算目标巡检物体识别框中心点(x1，y1)和画面中心点(x0，y0)在水平和垂直方向上的物理距离(Dw，Dh)，所述的Dw和Dh的计算公式如下：
Figure BDA0002464553760000103
Figure BDA0002464553760000104
步骤4.5，如图10、图11所示，根据目标巡检物体识别框中心点和画面中心点在水平和垂直方向上的物理距离(Dw，Dh)以及当前无人机与目标设备的水平径向距离d，计算得到云台需要调整的水平角度△αyaw和垂直角度△αpitch，所述的水平角度△αyaw和垂直角度△αpitch具体计算公式如下：
△αyaw＝arctan(Dw/d)
△αpitch＝arctan(Dh/d)
步骤4.6，根据水平角度△αyaw和垂直角度△αpitch的计算结果控制云台左右转动，具体控制方式如下：
若水平角度△αyaw>0，云台向右转动|△αyaw|角度；若水平角度△αyaw<0，云台向左转动|△αyaw|角度；若垂直角度△αpitch>0，云台向下转动|△αpitch|角度；若垂直角度△αpitch<0，云台向上转动|△αpitch|角度；
步骤4.7，重新计算水平角度△αyaw和垂直角度△αpitch，若云台需要再次调整的水平角度△αyaw和垂直角度△αpitch均小于预设阈值，则云台调整结束；否则，返回步骤4.6。
步骤4.7中，重新计算水平角度△αyaw和垂直角度△αpitch的循环次数不大于5次，若超过循环次数云台调整后的水平角度△αyaw或垂直角度△αpitch大于预设阈值，则强制云台相机拍摄。
进一步的，步骤4.1中对目标巡检物体识别框中心点(x1，y1)的方法为：通过对每一种目标电力设备采集一定量的现场巡检照片，标注后生成样本集，导入深度神经网络模型进行迭代训练，将训练完成后的深度神经网络模型部署到控制终端，对无人机摄像头采集到的实时图像进行识别，最终完成目标巡检物体识别框中心点的判断。
通过对于云台在水平方向和垂直方向的两次角度调整，能够将目标物体画框对中在无人机云台画幅中间位置，多次的调整能够进一步的提高精度，保证调整后对中的有效性，同时，也不能无限次的调整，如果出现多次调整依然达不到预设效果的情况下，应在有限次的循环次数中结束，保证巡检效率，减少云台调整时间，为后续的巡检的完成留足电能。
进一步的，当无人机按照优化后的巡检航迹完成巡检时，最终飞至航迹的结束位置，完成回收。
综上，该种无人机自主巡检方法中，基于关键点和轨迹夹角的轨迹筛选方法能很好地去除航线点集合中的冗余点，提高无人机自主巡检的效率及安全性。基于RTK的高精度定位方法，将会在无人机将要到达路点后基于RTK定位精度优化，减少路点精度误差。解决了航线采集以及定位优化问题,贯穿航线学习到自主巡检的流程之中，兼顾了巡检效率以及巡检精确度，提供了精细化巡检的高效率解决方案。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：在无人机自动巡检过程中能够进行航线选取，对冗余的路点进行去除；无人机在飞行至接近拍照点时，自动减小自身位置与期望位置的距离，精确到达拍照点；无人机在拍照前控制云台转动，在目标设备图片位于照片中心位置后进行拍照；具体巡检步骤如下：
步骤1，获取原始航线点集，并对原始航线点集通过基于关键点和轨迹夹角的轨迹筛选方法进行冗余点过滤，输出优化后的巡检航线；
步骤2，将巡检航线数据上传至无人机，无人机由起巡检航线内的起始位置点开始巡检工作；
步骤3，无人机飞至巡检航线上的拍照点附近，调整无人机上云台带动相机朝向待巡检物体，无人机通过基于RTK的高精度定位方法调整无人机空间位置，缩小与目标拍照点坐标的距离偏差；
步骤4，通过基于巡检对象差异特性的动态优化定位方法，调整无人机云台，使目标巡检物体在相机图片中占幅符合要求后，控制相机拍照；
步骤5，判断巡检航线是否巡检完成，若未巡检航线内还存在拍照点，则无人机飞行至下一拍照点附近，重复步骤3～至步骤5；
步骤6，若未巡检航线内不存在拍照点，则无人机按照巡检航线数据飞行至巡检航线结束点处，完成巡检作业。
2.如权利要求1所述的基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：所述的步骤1中原始航线点集为无人机巡检路线采集过程中采集记录的所有位置点构成，采集记录的所有位置点包括轨迹起始位置点，拍照位置点，轨迹拐点，轨迹结束位置点，所述的轨迹起始位置点、拍照位置点和轨迹结束位置点均为不可删除的关键位置点，所述的基于关键点和轨迹夹角的轨迹筛选方法具体步骤如下：
步骤1.1，以原始航线中的关键位置点为界，将原始航线分为若干段轨迹区间，其中每个轨迹区间的起始点和结束点都为关键位置点；
步骤1.2，取一段轨迹区间，如果轨迹区间中只有两个点，则不用筛选，进入步骤1.6；
步骤1.3，设轨迹区间起始点A点和结束点B点之间的每个中间点为Oi点，其中，i[1,n]，n为中间点的个数；为每个中间点做连线OiA和OiB，确定所有满足OiA>长度阈值、OiB>长度阈值的点，并确定所有满足上述条件的中间点中夹角∠AOiB最小的点Oj；
步骤1.4，如果点Oj的夹角∠AOjB>角度阈值，则将轨迹区间中除了起始点和结束点之外的其余点都删去，进入步骤1.6；若点Oj的夹角∠AOjB<角度阈值，则将点Oj保留并标记为关键位置点，
步骤1.5，以Oj为关键位置点将轨迹区间分为两段新的轨迹区间，对这两段新的轨迹区间执行步骤1.2至步骤1.5；
步骤1.6，顺次取下一段轨迹区间重复步骤1.2至步骤1.5，直至遍历完全部轨迹区间；
步骤1.7，输出新的轨迹位置点集合即为删选优化后的新轨迹。
3.如权利要求2所述的基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：所述的步骤1.3中长度阈值为3米，所述的步骤1.4中角度阈值为100度。
4.如权利要求1所述的基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：所述的步骤3中基于RTK的高精度定位方法通过在到达拍照位置点后，无人机根据自身的RTK与姿态反馈，执行速度控制减少位置误差实现；具体步骤如下：
步骤3.1，获取拍照位置点的期望RTK坐标(lat1，lon1，alt1)以及无人机当前的RTK坐标(lat2，lon2，alt2)，计算得到拍照位置点的期望点与无人机当前位置的垂直距离Dh，北向距离Dn，东向距离De，具体公式如下：
radLat1＝lat1*PI/180.0
radLat2＝lat2*PI/180.0
a＝radLat1-radLat2
b＝lon1*PI/180.0-lon2*PI/180.0
Dh＝alt1-alt2
Figure FDA0002464553750000021
Figure FDA0002464553750000022
其中，(lat1，lon1，alt1)分别为拍照位置期望点的RTK纬度、经度、高度；(lat2，lon2，alt2)分别为无人机当前位置点的RTK纬度、经度、高度；PI为圆周率；EARTH_RADIUS为地球赤道半径，约为6378.137km；α为无人机朝向角；
步骤3.2，计算无人机飞往拍照位置点的控制速度，所述的无人机控制速度分为无人机切向方向的速度Vx，径向方向的速度Vy，高度方向的速度Vz，采用pid控制算法，Vx、Vy、Vz三个控制速度的计算方法如公式2.2-2、公式2.2-3所示：
Vz＝Dh×kpz (2.2-2)
Figure FDA0002464553750000023
其中，kpz为高度方向比例系数，kp为水平方向比例系数；
步骤3.3，根据步骤3.2中计算得到的无人机切向方向的速度Vx，径向方向的速度Vy，高度方向的速度Vz对无人机进行控制，直至拍照位置点的期望点与无人机当前位置的垂直距离Dh≤30cm，北向距离Dn≤30cm，东向距离De≤30cm，此时无人机基于RTK的高精度定位过程完成。
5.如权利要求4所述的基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：所述的步骤4中通过基于巡检对象差异特性的动态优化定位方法调整无人机云台转动，使目标巡检物体在相机图片中占幅符合要求，具体步骤如下：
步骤4.1，计算出目标巡检物体识别框中心点(x1，y1)和画面中心点(x0，y0)在水平和垂直方向上的像素距离(dw，dh)，其中，dw＝x1-x0，dh＝y1-y0；
步骤4.2，根据拍照位置点的期望RTK坐标(lat1，lon1，alt1)以及无人机当前的RTK坐标(lat2，lon2，alt2)，计算得到拍照位置点的期望点与无人机当前位置的垂直距离Dh，北向距离Dn，东向距离De；计算出当前无人机位置点与期望点位置的水平径向距离dr如下:
dr＝De×sin(α)+Dn×cos(α) (2.2-9)
式中，α为无人机朝向角；
步骤4.3，获取期望点与目标设备的水平径向距离为dt，计算出当前无人机与目标设备的水平径向距离d＝dt-dr；
步骤4.4，获取相机镜头的视场角度f，则可以算得视野对角线距离Lf，
Figure FDA0002464553750000031
获取基准图像宽为w，高为h，计算画幅比r＝w÷h；则水平切向与垂直方向的视野Vf与Vf计算公式如下：
Figure FDA0002464553750000032
Figure FDA0002464553750000033
进一步计算目标巡检物体识别框中心点(x1，y1)和画面中心点(x0，y0)在水平和垂直方向上的物理距离(Dw，Dh)，所述的Dw和Dh的计算公式如下：
Figure FDA0002464553750000041
Figure FDA0002464553750000042
步骤4.5，根据目标巡检物体识别框中心点和画面中心点在水平和垂直方向上的物理距离(Dw，Dh)以及当前无人机与目标设备的水平径向距离d，计算得到云台需要调整的水平角度△αyaw和垂直角度△αpitch，所述的水平角度△αyaw和垂直角度△αpitch具体计算公式如下：
△αyaw＝arctan(Dw/d)
△αpitch＝arctan(Dh/d)
步骤4.6，根据水平角度△αyaw和垂直角度△αpitch的计算结果控制云台左右转动，具体控制方式如下：
若水平角度△αyaw>0，云台向右转动|△αyaw|角度；若水平角度△αyaw<0，云台向左转动|△αyaw|角度；若垂直角度△αpitch>0，云台向下转动|△αpitch|角度；若垂直角度△αpitch<0，云台向上转动|△αpitch|角度；
步骤4.7，重新计算水平角度△αyaw和垂直角度△αpitch，若云台需要再次调整的水平角度△αyaw和垂直角度△αpitch均小于预设阈值，则云台调整结束；否则，返回步骤4.6。
6.如权利要求5所述的基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：所述的步骤4.7中，重新计算水平角度△αyaw和垂直角度△αpitch的循环次数不大于5次，若超过循环次数云台调整后的水平角度△αyaw或垂直角度△αpitch大于预设阈值，则强制云台相机拍摄。
7.如权利要求2所述的基于RTK高精度定位与机器视觉融合的无人机自主巡检方法，其特征在于：所述的不可删除的关键位置点还包括可以人工标定的巡航路线必经位置点，所述的巡航路线必经位置点为无人机飞行过程中为了避障而必须穿过的位置点。
CN202010329874.7A 2020-04-24 2020-04-24 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法 Active CN112711267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329874.7A CN112711267B (zh) 2020-04-24 2020-04-24 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329874.7A CN112711267B (zh) 2020-04-24 2020-04-24 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法

Publications (2)

Publication Number Publication Date
CN112711267A true CN112711267A (zh) 2021-04-27
CN112711267B CN112711267B (zh) 2021-09-28

Family

ID=75541222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329874.7A Active CN112711267B (zh) 2020-04-24 2020-04-24 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法

Country Status (1)

Country Link
CN (1) CN112711267B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697128A (zh) * 2020-12-04 2021-04-23 盐城中科高通量计算研究院有限公司 一种巡逻车用路线循迹方法
CN113419564A (zh) * 2021-08-24 2021-09-21 天津市普迅电力信息技术有限公司 一种基于模糊路径的电力通道巡检方法
CN114639251A (zh) * 2022-05-17 2022-06-17 深圳联和智慧科技有限公司 一种多无人机协同的智能巡检方法及系统
CN117631690A (zh) * 2024-01-25 2024-03-01 国网江西省电力有限公司电力科学研究院 基于迭代适应点算法的配电网巡检航线规划方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150204675A1 (en) * 2013-04-15 2015-07-23 Airbus Operations Sas Method and system for automatically modifying a lateral flight plan of an aircraft
CN105841702A (zh) * 2016-03-10 2016-08-10 赛度科技（北京）有限责任公司 一种基于粒子群优化算法的多无人机航路规划方法
CN105865457A (zh) * 2016-06-16 2016-08-17 南昌航空大学 一种基于文化算法的动态环境下航迹规划方法
CN106846376A (zh) * 2016-12-30 2017-06-13 浙江科澜信息技术有限公司 一种三维自动相机轨迹的平滑处理方法
CN106909164A (zh) * 2017-02-13 2017-06-30 清华大学 一种无人机最小时间平滑轨迹生成方法
CN107085437A (zh) * 2017-03-20 2017-08-22 浙江工业大学 一种基于eb‑rrt的无人机航迹规划方法
CN108377328A (zh) * 2018-01-03 2018-08-07 广东电网有限责任公司机巡作业中心 一种直升机巡视作业的目标拍摄方法及装置
CN109240328A (zh) * 2018-09-11 2019-01-18 国网电力科学研究院武汉南瑞有限责任公司 一种基于无人机的杆塔自主巡检方法
CN109459031A (zh) * 2018-12-05 2019-03-12 智灵飞（北京）科技有限公司 一种基于贪心算法的无人机rrt路径优化方法
CN109739227A (zh) * 2018-12-27 2019-05-10 驭势（上海）汽车科技有限公司 一种行驶轨迹构建系统与方法
CN109839953A (zh) * 2019-02-19 2019-06-04 上海交通大学 基于贝塞尔曲线转接平滑的轨迹规划与速度规划方法
CN110006430A (zh) * 2019-03-26 2019-07-12 智慧航海（青岛）科技有限公司 一种航迹规划算法的优化方法
CN110579768A (zh) * 2019-08-30 2019-12-17 中国南方电网有限责任公司超高压输电公司贵阳局 一种固定翼无人机载激光雷达电力巡线航线设计方法
CN110879601A (zh) * 2019-12-06 2020-03-13 电子科技大学 一种对于未知风机结构的无人机巡检方法
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150204675A1 (en) * 2013-04-15 2015-07-23 Airbus Operations Sas Method and system for automatically modifying a lateral flight plan of an aircraft
CN105841702A (zh) * 2016-03-10 2016-08-10 赛度科技（北京）有限责任公司 一种基于粒子群优化算法的多无人机航路规划方法
CN105865457A (zh) * 2016-06-16 2016-08-17 南昌航空大学 一种基于文化算法的动态环境下航迹规划方法
CN106846376A (zh) * 2016-12-30 2017-06-13 浙江科澜信息技术有限公司 一种三维自动相机轨迹的平滑处理方法
CN106909164A (zh) * 2017-02-13 2017-06-30 清华大学 一种无人机最小时间平滑轨迹生成方法
CN107085437A (zh) * 2017-03-20 2017-08-22 浙江工业大学 一种基于eb‑rrt的无人机航迹规划方法
CN108377328A (zh) * 2018-01-03 2018-08-07 广东电网有限责任公司机巡作业中心 一种直升机巡视作业的目标拍摄方法及装置
CN109240328A (zh) * 2018-09-11 2019-01-18 国网电力科学研究院武汉南瑞有限责任公司 一种基于无人机的杆塔自主巡检方法
CN109459031A (zh) * 2018-12-05 2019-03-12 智灵飞（北京）科技有限公司 一种基于贪心算法的无人机rrt路径优化方法
CN109739227A (zh) * 2018-12-27 2019-05-10 驭势（上海）汽车科技有限公司 一种行驶轨迹构建系统与方法
CN109839953A (zh) * 2019-02-19 2019-06-04 上海交通大学 基于贝塞尔曲线转接平滑的轨迹规划与速度规划方法
CN110006430A (zh) * 2019-03-26 2019-07-12 智慧航海（青岛）科技有限公司 一种航迹规划算法的优化方法
CN110579768A (zh) * 2019-08-30 2019-12-17 中国南方电网有限责任公司超高压输电公司贵阳局 一种固定翼无人机载激光雷达电力巡线航线设计方法
CN110879601A (zh) * 2019-12-06 2020-03-13 电子科技大学 一种对于未知风机结构的无人机巡检方法
CN110908401A (zh) * 2019-12-06 2020-03-24 电子科技大学 一种针对未知杆塔结构的无人机自主巡检方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697128A (zh) * 2020-12-04 2021-04-23 盐城中科高通量计算研究院有限公司 一种巡逻车用路线循迹方法
CN112697128B (zh) * 2020-12-04 2024-03-01 盐城中科高通量计算研究院有限公司 一种巡逻车用路线循迹方法
CN113419564A (zh) * 2021-08-24 2021-09-21 天津市普迅电力信息技术有限公司 一种基于模糊路径的电力通道巡检方法
CN113419564B (zh) * 2021-08-24 2021-12-03 天津市普迅电力信息技术有限公司 一种基于模糊路径的电力通道巡检方法
CN114639251A (zh) * 2022-05-17 2022-06-17 深圳联和智慧科技有限公司 一种多无人机协同的智能巡检方法及系统
CN114639251B (zh) * 2022-05-17 2022-08-09 深圳联和智慧科技有限公司 一种多无人机协同的智能巡检方法及系统
CN117631690A (zh) * 2024-01-25 2024-03-01 国网江西省电力有限公司电力科学研究院 基于迭代适应点算法的配电网巡检航线规划方法及系统
CN117631690B (zh) * 2024-01-25 2024-05-14 国网江西省电力有限公司电力科学研究院 基于迭代适应点算法的配电网巡检航线规划方法及系统

Also Published As

Publication number Publication date
CN112711267B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN112711267B (zh) 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法
CN111272148B (zh) 输电线路无人机自主巡检自适应成像质量优化方法
CN109765930B (zh) 一种无人机视觉导航系统
CN107450587B (zh) 一种无人机精细化巡检的智能飞行控制方法及系统
CN108803668B (zh) 一种静态目标监测的智能巡检无人机吊舱系统
CN106155086B (zh) 一种道路检测无人机及其自动巡航方法
CN106054929B (zh) 一种基于光流的无人机自动降落引导方法
CN112904877A (zh) 一种基于无人机的风机叶片自动巡检系统及方法
CN112164015A (zh) 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN112327906A (zh) 一种基于无人机的智能自动巡检系统
CN106292126A (zh) 一种智能航测飞行曝光控制方法、无人机控制方法及终端
CN112215860A (zh) 一种基于图像处理的无人机定位方法
CN112162565B (zh) 一种基于多机协同作业的不间断自主杆塔巡检方法
CN115793689A (zh) 基于前端目标识别的无人机自动化架空输电线路巡检方法及系统
CN106231191A (zh) 全自动空中全景数据采集系统、方法及控制终端
CN113066120B (zh) 一种基于机器视觉的智能杆塔倾斜检测方法
CN113408510B (zh) 基于深度学习与one-hot编码的输电线路目标纠偏方法和系统
CN109116865A (zh) 基于机器视觉的大型设备无人机巡检系统及其方法
CN114281093A (zh) 一种基于无人机电力巡检的缺陷检测系统及方法
CN111257331A (zh) 一种无人机巡检系统及巡检方法
CN111459190A (zh) 面向规模化集中式光伏电站自动巡检的无人机及巡检方法
CN116736891B (zh) 一种多机协同巡检电网线路的自主航迹规划系统和方法
CN114020039A (zh) 无人机巡检杆塔自动对焦系统及方法
CN116297472A (zh) 一种基于深度学习的无人机桥梁裂缝检测方法及系统
CN116185065A (zh) 无人机巡检方法、装置及非易失性存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant