CN112102403B - 用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统 - Google Patents

用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统 Download PDF

Info

Publication number
CN112102403B
CN112102403B CN202010799997.7A CN202010799997A CN112102403B CN 112102403 B CN112102403 B CN 112102403B CN 202010799997 A CN202010799997 A CN 202010799997A CN 112102403 B CN112102403 B CN 112102403B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
moment
pose
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010799997.7A
Other languages
English (en)
Other versions
CN112102403A (zh
Inventor
郭可贵
熊军林
唐旭明
万能
李路遥
孟蒋辉
严波
陈永保
汪晓
宁彦
姚辉
王乐笛
周千昂
李小鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
State Grid Corp of China SGCC
Huainan Power Supply Co of State Grid Anhui Electric Power Co Ltd
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Original Assignee
University of Science and Technology of China USTC
State Grid Corp of China SGCC
Huainan Power Supply Co of State Grid Anhui Electric Power Co Ltd
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, State Grid Corp of China SGCC, Huainan Power Supply Co of State Grid Anhui Electric Power Co Ltd, Overhaul Branch of State Grid Anhui Electric Power Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202010799997.7A priority Critical patent/CN112102403B/zh
Publication of CN112102403A publication Critical patent/CN112102403A/zh
Application granted granted Critical
Publication of CN112102403B publication Critical patent/CN112102403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于输电塔场景下的自主巡检无人机的高精度定位方法,包括以下步骤:S1:提取巡检无人机惯性导航装置中的数据,计算出无人机在输电塔场景下的绝对姿态与位置;S2:利用巡检无人机上的视觉传感器对输电塔周围环境进行数据采集,计算相邻两帧图像中像素的位移,得到无人机的相对位姿变化,通过时间和像素的梯度分析得到无人机光流的运动情况,进行辅助导航定位;S3:根据步骤S1得到的无人机绝对姿态与位置以及步骤S2得到的相对位姿变化数据,结合采集到所述图像的特征点信息,计算无人机位姿,使无人机获得更精确的位姿信息。还公开了该高精度定位系统。本发明能够实现无人机在电力系统输电塔自主巡检的功能。

Description

用于输电塔场景下的自主巡检无人机的高精度定位方法及其 系统
技术领域
本发明涉及无人机技术领域,特别是涉及一种用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统。
背景技术
目前超高压输电线路的巡检主要靠人工巡视为主,载人直升机与无人机巡检为辅。人工巡检方式不但人员的工作强度大、工作条件差、工作效率低,而且存在人身安全的风险,特别是一些原因不明和测距不准的故障会增加工作量,有些线路还受地形因素影响造成巡线困难;而载人直升机受航空管制、天气、使用成本等因素的制约,不能及时地对事故、异常进行查找,也难以满足运行规程规定的巡检周期。
多旋翼无人机拥有机动灵活、悬停稳定性好以及便于操控的特点,目前在输电线路巡检中得到一定的推广应用,但是此类无人机都是非智能化的,还是需要人员操控和进行缺陷识别。在实际操作过程中,传统的多旋翼巡线无人机是用高清摄像头进行场景拍摄,通过图传系统传到接收终端,再通过工作人员人工盯查,这往往费时费力,并没有彻底解决劳动强度大的问题。而现阶段基本上是三个人在一起作业,一个飞机遥控操作手,一个视频检查员或联络员,对于大型杆塔或者线路,需要用对讲机来指挥无人机操作手进行作业,但是由于视野和坐标系的不同,往往沟通效率较低。因此为实现由非智能无人机巡检阶段向全自主无人机巡检阶段的跨越,设计研究出一种应用于输电塔场景下的自主巡检无人机的高精度定位方案,将会具有重大的现实意义与经济价值。
发明内容
本发明所要解决的技术问题是提供一种用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统,能够实现无人机在电力系统输电塔自主巡检的功能。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种用于输电塔场景下的自主巡检无人机的高精度定位方法,包括以下步骤:
S1:提取巡检无人机惯性导航装置中加速度计和陀螺仪中的数据,计算出无人机在输电塔场景下的绝对姿态与位置;
S2:利用巡检无人机上的视觉传感器对输电塔周围环境进行数据采集,根据采集到的图像,计算相邻两帧图像中像素的位移,得到无人机的相对位姿变化,通过时间和像素的梯度分析得到无人机光流的运动情况,进行辅助导航定位;
S3:根据步骤S1得到的无人机绝对姿态与位置以及步骤S2得到的相对位姿变化数据,结合采集到所述图像的特征点信息,计算无人机位姿,使无人机获得精确的位姿信息。
在本发明一个较佳实施例中,步骤S1的具体步骤包括:
S101:根据无人机初始速度与位置,及提取加速度计中的无人机在三个轴向运动的加速度,解算出无人机当前速度与位置;
S102:根据提取陀螺仪中的无人机在三个轴向运动的旋转角速度,合并步骤S101中解算的无人机当前速度与位置,结合姿态初始矩阵解算出无人机的航向与姿态。
在本发明一个较佳实施例中,步骤S2的具体步骤包括:
S201:根据无人机巡检过程中采集到相邻两帧图像的光强连续情况,利用如下式的光流方程,求得图像中像素在x轴上的运动速度,记为
Figure BDA0002627032990000021
图像中像素在y轴上的运动速度,记为
Figure BDA0002627032990000022
图像在该点x方向处的梯度
Figure BDA0002627032990000023
记为ψx;图像在该点y方向处的梯度
Figure BDA0002627032990000024
记为ψy;图像灰度对时间的变化量
Figure BDA0002627032990000025
记为ψt
Figure BDA0002627032990000026
S202:针对无人机拍摄的第k-1时刻至第k时刻的图像,按照步骤S201计算第k时刻图像各像素的运动速度(u,v),对图像建立关于(u,v)的方向直方图,选取直方图的最大值所代表的方向为第k-1时刻至第k时刻的图像像素运动方向,则其反方向为无人机第k-1时刻至第k时刻的运动方向;
S203:结合S1中计算的第k-1时刻无人机速度大小与步骤S202计算的k-1至k时刻的运动方向,构造无人机第k-1时刻至k时刻的速度vvk-1
S204:根据无人机第k-1时刻的速度vvk-1,结合无人机第k-1时刻至第k时刻的运动方向,计算出无人机于k时刻的位置Pvk=Pvk-1+vvk-1*T2;式中T2为相机的采样周期,Pvk、Pvk-1分别为采用光流法计算的无人机k-1时刻与k时刻的位置;
S205:计算未知误差e=||Pik-Pvk||2,若
Figure BDA0002627032990000027
则由Psk=aPik+bPvk,对无人机位置进行更新,否则不对无人机位置进行更新;式中Psk为通过光流运动计算出的k时刻无人机位置,Pik为惯性导航系统计算得到的第k时刻无人机的位置,Pvk为采用光流法计算得到的无人机位置,
Figure BDA0002627032990000031
为位置误差阈值,a,b分别为加权系数。
在本发明一个较佳实施例中,在步骤S3中,所述图像的特征点信息是利用得到的输电塔图像信息提取的ORB特征提取,ORB特征包括分布于杆塔上空间中的角点与边缘点。
进一步的,步骤S3的具体步骤包括:
S301:将所述视觉传感器采集到第1帧与第2帧图像的ORB特征点进行特征匹配后,求解得到无人机前两帧图像的初始位姿转换;
S302:根据S301得到的初始位姿转换关系,依照图像的特征匹配情况,计算出第1帧与第2帧图像中每一个特征点的深度;根据第1帧图像特征点像素坐标与深度信息即可求出第1帧图像特征点对应的空间点坐标P,构建一个初步的空间点点云;
S303:从第2帧图像以后的每一帧图像,将其与还原出的空间点进行匹配,根据匹配结果计算出该帧的位姿,而后构建最小二乘问题优化该帧位姿;对第k帧图像中未与空间点匹配的特征点,将其与第k-1帧图像中的ORB特征点进行特征匹配,还原出对应的空间点,并增加至步骤S302中的空间点点云中;
S304:构建卡尔曼滤波系统,以惯导联合光流法计算出的无人机位姿
Figure BDA0002627032990000032
为系统状态量,步骤S303得到的无人机位姿为系统观测
Figure BDA0002627032990000033
定义系统模型为:
Figure BDA0002627032990000034
则通过卡尔曼滤波系统实时更新,得到高精度的无人机位姿;模型中f为采用步骤S1和S2方法计算的由k-1时刻无人机位姿Xk-1以及视觉传感器输入数据u映射到k时刻无人机位姿Xk的映射关系,u为视觉传感器输入数据,
Figure BDA0002627032990000035
分别为零均值高斯分布。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种用于输电塔场景下的自主巡检无人机的高精度定位系统,包括:
惯性导航模块,用于计算无人机在输电塔场景下的绝对姿态与位置;
光流定位模块,用于根据巡检无人机视觉传感器采集输电塔周围环境的数据,计算相邻两帧图像中像素的位移,得到无人机的相对位姿变化,通过时间和像素的梯度分析得到无人机光流的运动情况,进行辅助导航定位;
无人机位姿优化模块,根据所述惯性导航模块得到的无人机绝对姿态与位置以及所述光流定位模块得到的相对位姿变化数据,结合图像的特征点信息,计算并优化无人机的位姿信息。
在本发明一个较佳实施例中,所述惯性导航模块计算无人机在输电塔场景下的绝对姿态与位置的具体步骤包括:
S101:根据无人机初始速度与位置,及提取加速度计中的无人机在三个轴向运动的加速度,解算出无人机当前速度与位置;
S102:根据提取陀螺仪中的无人机在三个轴向运动的旋转角速度,合并步骤S101中解算的无人机当前速度与位置,结合姿态初始矩阵解算出无人机的航向与姿态。
在本发明一个较佳实施例中,所述光流定位模块根据巡检无人机视觉传感器采集输电塔周围环境的数据,计算相邻两帧图像中像素的位移,得到无人机的相对位姿变化,通过时间和像素的梯度分析得到无人机光流的运动情况,进行辅助导航定位的具体步骤包括:
S201:根据无人机巡检过程中采集到相邻两帧图像的光强连续情况,利用如下式的光流方程,求得图像中像素在x轴上的运动速度,记为
Figure BDA0002627032990000041
图像中像素在y轴上的运动速度,记为
Figure BDA0002627032990000042
图像在该点x方向处的梯度
Figure BDA0002627032990000043
记为ψx;图像在该点y方向处的梯度
Figure BDA0002627032990000044
记为ψy;图像灰度对时间的变化量
Figure BDA0002627032990000045
记为ψt
Figure BDA0002627032990000046
S202:针对无人机拍摄的第k-1时刻至第k时刻的图像,按照步骤S201计算第k时刻图像各像素的运动速度(u,v),对图像建立关于(u,v)的方向直方图,选取直方图的最大值所代表的方向为第k-1时刻至第k时刻的图像像素运动方向,则其反方向为无人机第k-1时刻至第k时刻的运动方向;
S203:结合S1中计算的第k-1时刻无人机速度大小与步骤S202计算的k-1至k时刻的运动方向,构造无人机第k-1时刻至k时刻的速度vvk-1
S204:根据无人机第k-1时刻的速度vvk-1,结合无人机第k-1时刻至第k时刻的运动方向,计算出无人机于k时刻的位置Pvk=Pvk-1+vvk-1*T2;式中T2为相机的采样周期,Pvk、Pvk-1分别为采用光流法计算的无人机k-1时刻与k时刻的位置;
S205:计算未知误差e=||Pik-Pvk||2,若
Figure BDA0002627032990000051
则由Psk=aPik+bPvk,对无人机位置进行更新,否则不对无人机位置进行更新;式中Psk为通过光流运动计算出的k时刻无人机位置,Pik为惯性导航系统计算得到的第k时刻无人机的位置,Pvk为采用光流法计算得到的无人机位置,
Figure BDA0002627032990000052
为位置误差阈值,a,b分别为加权系数。
在本发明一个较佳实施例中,所述无人机位姿优化模块结合图像的特征点信息是利用巡检无人机视觉传感器采集到的输电塔图像信息提取的ORB特征,ORB特征包括分布于杆塔上空间中的角点与边缘点。
本发明的有益效果是:本发明通过结合惯性导航绝对坐标,光流定位相对坐标、图像的特征点信息等数据得到无人机具体位姿,从而实现无人机在电力系统输电塔自主巡检的功能,真正实现无人机在工作范围内的高精度位置追踪,提高无人机巡检效率与巡检安全性,降低巡检成本,同时降低了巡检人员的培训成本与人力成本。
附图说明
图1是本发明用于输电塔场景下的自主巡检无人机的高精度定位方法的原理框图;
图2是所述惯性导航模块的原理框图;
图3是所述无人机的光流示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1,本发明实施例包括:
一种用于输电塔场景下的自主巡检无人机的高精度定位方法,包括以下步骤:
S1:提取巡检无人机惯性导航装置中加速度计和陀螺仪中的数据,计算出无人机在输电塔场景下的绝对姿态与位置,包括:
S101:根据无人机初始速度与位置,及提取加速度计中的无人机在三个轴向运动的加速度,解算出无人机当前速度与位置;
S102:根据提取陀螺仪中的无人机在三个轴向运动的旋转角速度,合并步骤S101中解算的无人机当前速度与位置,结合姿态初始矩阵解算出无人机的航向与姿态。
结合图2,具体步骤包括:
(1)根据kf时刻加速度计数值和无人机初始速度与位置初始值,解算出无人机kf+1时刻的速度与位置为:
Figure BDA0002627032990000061
式中,abkf,aikf分别为加速度计kf时刻的数值及其转换到惯性坐标系下表示的加速度;gw为惯性坐标系下的重力加速度;Rikf为kf时刻无人机的姿态的旋转矩阵表示,T1为IMU(惯性测量单元)的采样周期,Pikf,Pikf+1分别为无人机kf时刻与kf+1时刻的位置,vikf与vikf+1为无人机kf时刻与kf+1时刻的速度。
(2)根据陀螺仪中的旋转角速度数据,结合kf时刻姿态解算出无人机kf+1时刻的姿态:Rikf+1=Rikf*exp(ωkf·T1)。
式中,Rikf,Rikf+1分别是第kf时刻与kf+1时刻无人机姿态的旋转矩阵表示,ωkf为kf时刻陀螺仪数值。
S2:通过光流相对坐标对无人机位置进行修正;
由于惯性导航系统过度依赖传感器精度和计算精度,导致飞行过程中产生位置、姿态的累积误差,因此选择采用光流相对坐标对惯性导航结果进行修正,提高定位精度与可靠性。如图3所示,点是选取的特征点,线段表示光流的运动方向。无人机在巡检过程中通过无人机摄像头采集的数据,计算相邻两帧图像的位移,从而得到无人机的相对位姿变化,对空间中的每一个点都进行运动估计。通过时间和像素的梯度分析得到光流的运动情况,进而得到无人机所处的位置,辅助进行导航定位。具体分析步骤包括:
S201:根据无人机巡检过程中采集到相邻两帧图像的光强连续情况,有关系式为:
ψ(x+dx,y+dy,t+dt)=ψ(x,y,t)
式中:(x,y)为像素坐标,t为时间,ψ为灰度,对上式进行泰勒展开,则可得到:
Figure BDA0002627032990000071
进而有
Figure BDA0002627032990000072
Figure BDA0002627032990000073
为像素在x轴上的运动速度,记为u,
Figure BDA0002627032990000074
为像素在y轴上的运动速度,记为v,
Figure BDA0002627032990000075
为图像在该点x方向处的梯度,记为ψx
Figure BDA0002627032990000076
为图像在该点y方向处的梯度,记为ψy
Figure BDA0002627032990000077
为图像灰度对时间的变化量,记为ψt,则上述方程可写成如下形式:
Figure BDA0002627032990000078
则针对图像中一个大小为ω×ω的窗口,其共含有ω2个像素,因此我们共有ω2个方程,
Figure BDA0002627032990000079
记:
Figure BDA00026270329900000710
则有
Figure BDA00026270329900000711
则由此可解得u v;
S202:针对无人机拍摄的第k-1时刻至第k时刻的图像,按照步骤S201计算第k时刻图像各像素的运动速度(u,v),对图像建立关于(u,v)的方向直方图,根据得到的方向直方图,设定一定阈值对直方图进行筛选,若筛选后的直方图仅有单峰,则将该直方图中的最大值所代表的方向为第k-1时刻至第k时刻的图像像素运动方向。此时在输电塔场景下采用光流相对坐标辅助定位时,相机与其轴向方向运动分量很小,可采用图像像素第k-1时刻至第k时刻的运动方向的反方向近似作为相机第k-1时刻至第k时刻的运动方向,也即无人机的运动方向。当相机与其轴向方向运动分量很大时,得到的像素运动的方向直方图经筛选后不符合条件,则该时刻不进行无人机运动方向的设置;
S203:结合S1中计算的第k-1时刻无人机速度大小与步骤S202计算的k-1至k时刻的运动方向,构造无人机第k-1时刻至k时刻的速度vvk-1
S204:根据无人机第k-1时刻的速度vvk-1,结合无人机第k-1时刻至第k时刻的运动方向,计算出无人机于k时刻的位置Pvk=Pvk-1+vvk-1*T2;式中T2为相机的采样周期,Pvk、Pvk-1分别为采用光流法计算的无人机k-1时刻与k时刻的位置;
S205:计算未知误差e=||Pik-Pvk||2,若
Figure BDA0002627032990000081
则由Psk=aPik+bPvk,对无人机位置进行更新,否则不对无人机位置进行更新;式中Psk为通过光流运动计算出的k时刻无人机位置,Pik为惯性导航系统计算得到的第k时刻无人机的位置,Pvk为采用光流法计算得到的无人机位置,
Figure BDA0002627032990000082
为位置误差阈值,a,b分别为加权系数。
S3:利用巡检无人机上的视觉传感器对输电塔周围环境进行数据采集,结合采集到的图像信息进行ORB特征提取,保证巡检无人机在输电塔周围环境变化的情况下,能够沿着给定飞行路径安全地到达下一个巡检点;所述ORB特征包括分布于杆塔上空间中的角点与边缘点,其主要分布于杆塔的重点部位,如向外衍生的绝缘子横担端、导线端等。
根据步骤S1得到的无人机绝对姿态与位置以及步骤S2得到的相对位姿变化数据,结合采集到所述图像的ORB特征点信息,计算无人机位姿,使无人机获得更精确的位姿信息。配合惯性导航和光流系统,进一步提高了巡检无人机的自主导航精度,安全有效地完成输电塔飞行导航任务。其具体步骤为:
S301:将所述视觉传感器采集到第1帧与第2帧图像的ORB特征点进行特征匹配后,通过求解式p2 TK-Tt0^R0K-1p1=0得到第1帧至第2帧图像的初始位姿转换(R0,t0);式中,R0为从第1帧至第2帧图像的旋转,t0为从第1帧至第2帧图像的平移,K为相机内部参数,p1,p2分别为第1帧与第2帧图像特征点坐标;
S302:根据S301得到的初始位姿转换关系,依照图像的特征匹配情况,通过求解方程:s1p1^p1=0=s2p1^R0p2+p1^t0,计算出第1帧与第2帧图像中每一个特征点的深度,式中s1为第1帧图像中特征点的深度,s2为第2帧图像特征点的深度。依据惯导的信息对s1进行尺度变换,后面每一帧的尺度信息与第1帧的尺度信息相同,则根据第1帧图像特征点像素坐标与尺度变换后的深度信息即可求出第1帧图像特征点对应的空间点坐标P,从而构建一个初步的空间点云;
此后将在步骤S303中根据从第2帧开始的后续帧的特征点信息不断的添加新的空间点,更新空间点云。
S303:此后从第3帧开始的每一帧图像,提取ORB特征,与空间点云中的点进行匹配,采用直接线性变换的方法计算出该帧的位姿。而后构建最小二乘问题
Figure BDA0002627032990000091
优化无人机第k帧图像的位姿(k≥3),使得匹配的空间点投影到第k帧图像中的重投影误差最小;式中ξ为位姿的李代数表示,pki,ski分别为第k帧图像与空间点匹配的第i个特征点的像素坐标与深度信息,K为相机内部参数,Pki为与第k帧图像中的第i个特征点所匹配的空间点的坐标;当k=3时,还原出第2帧图像特征点对应的空间点云。因此,取第1帧图像中特征点的深度代表第1—2帧图像匹配特征点的深度,取第2帧图像中特征点的深度代表第2—3帧图像匹配特征点的深度,以此类推。
对于第k帧图像中未与空间点匹配的特征点,将其与第k-1帧图像中的ORB特征点进行特征匹配,依据匹配结果,求解方程sk-1pk-1^pk-1=0=skpk-1^Rk0pk+pk-1^tk0,计算出第k-1帧与第k帧图像中匹配的每一个特征点的深度,式中sk-1为匹配的第k-1帧图像中特征点的深度,sk为匹配的第k帧图像特征点的深度;则根据第k-1帧图像特征点像素坐标与深度信息,即可求出第k-1帧图像中匹配的特征点对应的空间点坐标,进而在空间点云中增加新的空间点;
S304:构建卡尔曼滤波系统,以惯导联合光流法计算出的无人机位姿
Figure BDA0002627032990000092
为系统状态量,步骤S303得到的无人机位姿为系统观测量
Figure BDA0002627032990000093
定义系统模型为:
Figure BDA0002627032990000094
则通过卡尔曼滤波系统实时更新,得到高精度的无人机位姿;模型中f为采用步骤S1和S2方法计算的由k-1时刻无人机位姿Xk-1以及视觉传感器输入数据u映射到k时刻无人机位姿Xk的映射关系,u为视觉传感器输入数据,
Figure BDA0002627032990000101
分别为零均值高斯分布;
在一实施例中,步骤S3还包括以下优化步骤:
S305:依据视觉SLAM技术的回环检测功能,利用图像特征的词袋模型判断飞行路径是否存在交叉、重复,修正飞行轨迹。
依据该方法计算得到的高精度无人机位姿,能够让无人机沿着既定好的巡检航线进行巡检飞行。
一种用于输电塔场景下的自主巡检无人机的高精度定位系统,包括:
惯性导航模块,用于计算无人机在输电塔场景下的绝对姿态与位置;
光流定位模块,用于根据巡检无人机摄像头采集的数据,计算相邻两帧图像中像素的位移,得到无人机的相对位姿变化,通过时间和像素的梯度分析得到无人机光流的运动情况,进行辅助导航定位;
无人机位姿优化模块,根据所述惯性导航模块得到的无人机绝对姿态与位置以及所述光流定位模块得到的相对位姿变化数据,结合图像的特征点信息,计算并优化无人机的位姿信息。
本发明通过结合惯性导航绝对坐标、光流定位相对坐标、图像特征点信息等数据得到无人机具体位姿,从而实现无人机在电力系统输电塔自主巡检的功能,真正实现无人机在工作范围内的高精度位置追踪,提高无人机巡检效率与巡检安全性,降低巡检成本,同时降低了巡检人员的培训成本与人力成本。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种用于输电塔场景下的自主巡检无人机的高精度定位方法,包括以下步骤:
S1:提取巡检无人机惯性导航装置中加速度计和陀螺仪中的数据,计算出无人机在输电塔场景下的绝对姿态与位置;
S2:利用巡检无人机上的视觉传感器对输电塔周围环境进行数据采集,根据采集到的图像,计算相邻两帧图像中像素的位移,得到无人机的相对位姿变化,通过时间和像素的梯度分析得到无人机光流的运动情况,进行辅助导航定位,具体步骤包括:
S201:根据无人机巡检过程中采集到相邻两帧图像的光强连续情况,利用如下式的光流方程,求得图像中像素在x轴上的运动速度,记为
Figure FDA0003885445100000011
图像中像素在y轴上的运动速度,记为
Figure FDA0003885445100000012
图像在该点x方向处的梯度
Figure FDA0003885445100000013
记为ψx;图像在该点y方向处的梯度
Figure FDA0003885445100000014
记为ψy;图像灰度对时间的变化量
Figure FDA0003885445100000015
记为ψt
Figure FDA0003885445100000016
S202:针对无人机拍摄的第k-1时刻至第k时刻的图像,按照步骤S201计算第k时刻图像各像素的运动速度(u,v),对图像建立关于(u,v)的方向直方图,选取直方图的最大值所代表的方向为第k-1时刻至第k时刻的图像像素运动方向,则其反方向为无人机第k-1时刻至第k时刻的运动方向;
S203:结合S1中计算的第k-1时刻无人机速度大小与步骤S202计算的k-1至k时刻的运动方向,构造无人机第k-1时刻至k时刻的速度vvk-1
S204:根据无人机第k-1时刻的速度vvk-1,结合无人机第k-1时刻至第k时刻的运动方向,计算出无人机于k时刻的位置Pvk=Pvk-1+vvk-1*T2;式中T2为相机的采样周期,Pvk、Pvk-1分别为采用光流法计算的无人机k-1时刻与k时刻的位置;
S205:计算未知误差e=||Pik-Pvk||2,若
Figure FDA0003885445100000017
则由Psk=aPik+bPvk,对无人机位置进行更新,否则不对无人机位置进行更新;式中Psk为通过光流运动计算出的k时刻无人机位置,Pik为惯性导航系统计算得到的第k时刻无人机的位置,Pvk为采用光流法计算得到的无人机位置,
Figure FDA0003885445100000018
为位置误差阈值,a,b分别为加权系数;
S3:根据步骤S1得到的无人机绝对姿态与位置以及步骤S2得到的相对位姿变化数据,结合采集到所述图像的特征点信息,计算无人机位姿,使无人机获得精确的位姿信息,具体步骤包括:
S301:将所述视觉传感器采集到第1帧与第2帧图像的ORB特征点进行特征匹配后,求解得到无人机前两帧图像的初始位姿转换;
S302:根据S301得到的初始位姿转换关系,依照图像的特征匹配情况,计算出第1帧与第2帧图像中每一个特征点的深度;根据第1帧图像特征点像素坐标与深度信息即可求出第1帧图像特征点对应的空间点坐标P,构建一个初步的空间点点云;
S303:从第2帧图像以后的每一帧图像,将其与还原出的空间点进行匹配,根据匹配结果计算出该帧的位姿,而后构建最小二乘问题优化该帧位姿;对第k帧图像中未与空间点匹配的特征点,将其与第k-1帧图像中的ORB特征点进行特征匹配,还原出对应的空间点,并增加至步骤S302中的空间点点云中;
S304:构建卡尔曼滤波系统,以惯导联合光流法计算出的无人机位姿
Figure FDA0003885445100000021
为系统状态量,步骤S303得到的无人机位姿为系统观测量
Figure FDA0003885445100000022
定义系统模型为:
Figure FDA0003885445100000023
则通过卡尔曼滤波系统实时更新,得到高精度的无人机位姿;模型中f为采用步骤S1和S2方法计算的由k-1时刻无人机位姿Xk-1以及视觉传感器输入数据u映射到k时刻无人机位姿Xk的映射关系,u为视觉传感器输入数据,
Figure FDA0003885445100000024
分别为零均值高斯分布。
2.根据权利要求1所述的用于输电塔场景下的自主巡检无人机的高精度定位方法,其特征在于,步骤S1的具体步骤包括:
S101:根据无人机初始速度与位置,及提取加速度计中的无人机在三个轴向运动的加速度,解算出无人机当前速度与位置;
S102:根据提取陀螺仪中的无人机在三个轴向运动的旋转角速度,合并步骤S101中解算的无人机当前速度与位置,结合姿态初始矩阵解算出无人机的航向与姿态。
3.根据权利要求1所述的用于输电塔场景下的自主巡检无人机的高精度定位方法,其特征在于,在步骤S3中,所述图像的特征点信息是利用得到的输电塔图像信息提取的ORB特征提取,ORB特征包括分布于杆塔上空间中的角点与边缘点。
4.一种用于输电塔场景下的自主巡检无人机的高精度定位系统,其特征在于,包括:
惯性导航模块,用于计算无人机在输电塔场景下的绝对姿态与位置;
光流定位模块,用于根据巡检无人机视觉传感器采集输电塔周围环境的数据,计算相邻两帧图像中像素的位移,得到无人机的相对位姿变化,通过时间和像素的梯度分析得到无人机光流的运动情况,进行辅助导航定位;具体步骤包括:
S201:根据无人机巡检过程中采集到相邻两帧图像的光强连续情况,利用如下式的光流方程,求得图像中像素在x轴上的运动速度,记为
Figure FDA0003885445100000031
图像中像素在y轴上的运动速度,记为
Figure FDA0003885445100000032
图像在该点x方向处的梯度
Figure FDA0003885445100000033
记为ψx;图像在该点y方向处的梯度
Figure FDA0003885445100000034
记为ψy;图像灰度对时间的变化量
Figure FDA0003885445100000035
记为ψt
Figure FDA0003885445100000036
S202:针对无人机拍摄的第k-1时刻至第k时刻的图像,按照步骤S201计算第k时刻图像各像素的运动速度(u,v),对图像建立关于(u,v)的方向直方图,选取直方图的最大值所代表的方向为第k-1时刻至第k时刻的图像像素运动方向,则其反方向为无人机第k-1时刻至第k时刻的运动方向;
S203:结合S1中计算的第k-1时刻无人机速度大小与步骤S202计算的k-1至k时刻的运动方向,构造无人机第k-1时刻至k时刻的速度vvk-1
S204:根据无人机第k-1时刻的速度vvk-1,结合无人机第k-1时刻至第k时刻的运动方向,计算出无人机于k时刻的位置Pvk=Pvk-1+vvk-1*T2;式中T2为相机的采样周期,Pvk、Pvk-1分别为采用光流法计算的无人机k-1时刻与k时刻的位置;
S205:计算未知误差e=||Pik-Pvk||2,若
Figure FDA0003885445100000037
则由Psk=aPik+bPvk,对无人机位置进行更新,否则不对无人机位置进行更新;式中Psk为通过光流运动计算出的k时刻无人机位置,Pik为惯性导航系统计算得到的第k时刻无人机的位置,Pvk为采用光流法计算得到的无人机位置,
Figure FDA0003885445100000038
为位置误差阈值,a,b分别为加权系数;
无人机位姿优化模块,根据所述惯性导航模块得到的无人机绝对姿态与位置以及所述光流定位模块得到的相对位姿变化数据,结合图像的特征点信息,计算并优化无人机的位姿信息,具体步骤包括:
S301:将所述视觉传感器采集到第1帧与第2帧图像的ORB特征点进行特征匹配后,求解得到无人机前两帧图像的初始位姿转换;
S302:根据S301得到的初始位姿转换关系,依照图像的特征匹配情况,计算出第1帧与第2帧图像中每一个特征点的深度;根据第1帧图像特征点像素坐标与深度信息即可求出第1帧图像特征点对应的空间点坐标P,构建一个初步的空间点点云;
S303:从第2帧图像以后的每一帧图像,将其与还原出的空间点进行匹配,根据匹配结果计算出该帧的位姿,而后构建最小二乘问题优化该帧位姿;对第k帧图像中未与空间点匹配的特征点,将其与第k-1帧图像中的ORB特征点进行特征匹配,还原出对应的空间点,并增加至步骤S302中的空间点点云中;
S304:构建卡尔曼滤波系统,以惯导联合光流法计算出的无人机位姿
Figure FDA0003885445100000041
为系统状态量,步骤S303得到的无人机位姿为系统观测量
Figure FDA0003885445100000042
定义系统模型为:
Figure FDA0003885445100000043
则通过卡尔曼滤波系统实时更新,得到高精度的无人机位姿;模型中f为采用所述惯性导航模块与光流定位模块计算的由k-1时刻无人机位姿Xk-1以及视觉传感器输入数据u映射到k时刻无人机位姿Xk的映射关系,u为视觉传感器输入数据,
Figure FDA0003885445100000044
分别为零均值高斯分布。
5.根据权利要求4所述的用于输电塔场景下的自主巡检无人机的高精度定位系统,其特征在于,所述惯性导航模块计算无人机在输电塔场景下的绝对姿态与位置的具体步骤包括:
S101:根据无人机初始速度与位置,及提取加速度计中的无人机在三个轴向运动的加速度,解算出无人机当前速度与位置;
S102:根据提取陀螺仪中的无人机在三个轴向运动的旋转角速度,合并步骤S101中解算的无人机当前速度与位置,结合姿态初始矩阵解算出无人机的航向与姿态。
6.根据权利要求4所述的用于输电塔场景下的自主巡检无人机的高精度定位系统,其特征在于,所述无人机位姿优化模块结合图像的特征点信息是利用巡检无人机视觉传感器采集到的输电塔图像信息提取的ORB特征,ORB特征包括分布于杆塔上空间中的角点与边缘点。
CN202010799997.7A 2020-08-11 2020-08-11 用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统 Active CN112102403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010799997.7A CN112102403B (zh) 2020-08-11 2020-08-11 用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010799997.7A CN112102403B (zh) 2020-08-11 2020-08-11 用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统

Publications (2)

Publication Number Publication Date
CN112102403A CN112102403A (zh) 2020-12-18
CN112102403B true CN112102403B (zh) 2022-11-25

Family

ID=73752811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010799997.7A Active CN112102403B (zh) 2020-08-11 2020-08-11 用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统

Country Status (1)

Country Link
CN (1) CN112102403B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113091759B (zh) * 2021-03-11 2023-02-28 安克创新科技股份有限公司 位姿处理、地图构建方法及装置
CN113418527B (zh) * 2021-06-15 2022-11-29 西安微电子技术研究所 一种强实时双构连续景象融合匹配导航定位方法及系统
CN114216454B (zh) * 2021-10-27 2023-09-08 湖北航天飞行器研究所 一种gps拒止环境下基于异源图像匹配的无人机自主导航定位方法
CN114162340B (zh) * 2021-11-29 2024-06-04 浙江图盛输变电工程有限公司温州科技分公司 一种杆塔挂点绝对坐标采集系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
CN108520559A (zh) * 2018-04-04 2018-09-11 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
EP3453874A1 (en) * 2017-09-08 2019-03-13 Sulzer & Schmid Laboratories AG Method for analysis of sensor data related to a wind turbine
WO2019084804A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法
CN109739254A (zh) * 2018-11-20 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN109816696A (zh) * 2019-02-01 2019-05-28 西安全志科技有限公司 一种机器人定位与建图方法、计算机装置及计算机可读存储介质
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
EP3453874A1 (en) * 2017-09-08 2019-03-13 Sulzer & Schmid Laboratories AG Method for analysis of sensor data related to a wind turbine
WO2019084804A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 一种视觉里程计及其实现方法
CN108520559A (zh) * 2018-04-04 2018-09-11 西安因诺航空科技有限公司 一种基于双目视觉的无人机定位导航的方法
CN109739254A (zh) * 2018-11-20 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
CN109816696A (zh) * 2019-02-01 2019-05-28 西安全志科技有限公司 一种机器人定位与建图方法、计算机装置及计算机可读存储介质
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
UAV pose estimation using IR and RGB cameras;Wang Su 等;《2017 IEEE/SICE International Symposium on System Integration (SII)》;20180205;全文 *
一种基于高程数据的无人机视频实时定位方法;郭乔进 等;《计算机与数字工程》;20181231;第46卷(第12期);全文 *
基于单目视觉与惯导融合的无人机位姿估计;熊敏君 等;《计算机应用》;20171220;第37卷;全文 *

Also Published As

Publication number Publication date
CN112102403A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102403B (zh) 用于输电塔场景下的自主巡检无人机的高精度定位方法及其系统
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN101598556B (zh) 一种未知环境下无人机视觉/惯性组合导航方法
CN108759826B (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
CN109676604A (zh) 机器人曲面运动定位方法及其运动定位系统
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN111735445A (zh) 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法
CN111337943A (zh) 一种基于视觉引导激光重定位的移动机器人定位方法
CN114323033A (zh) 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN112215805A (zh) 一种公路桥梁边坡养护无人机巡检方法和系统
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN112819766A (zh) 一种桥梁缺陷检修方法、设备、系统及存储介质
CN116989772B (zh) 一种空地多模态多智能体协同定位与建图方法
CN116518984B (zh) 一种煤矿井下辅助运输机器人车路协同定位系统及方法
CN108444468B (zh) 一种融合下视视觉与惯导信息的定向罗盘
CN113188557A (zh) 一种融合语义特征的视觉惯性组合导航方法
CN115793690A (zh) 一种无人机室内巡检方法、系统和设备
CN114637295A (zh) 一种基于人工势场法与实例分割的机器人智能避障方法
CN117710476A (zh) 基于单目视觉的无人机位姿估计与稠密建图方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
CN111696155A (zh) 一种基于单目视觉的多传感融合机器人定位方法
CN112785564A (zh) 一种基于机械臂的行人检测跟踪系统与方法
Wang et al. Pose and velocity estimation algorithm for UAV in visual landing
CN117115252A (zh) 一种基于视觉的仿生扑翼无人机空间位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant