CN107390704A - 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 - Google Patents
一种基于imu姿态补偿的多旋翼无人机光流悬停方法 Download PDFInfo
- Publication number
- CN107390704A CN107390704A CN201710632847.5A CN201710632847A CN107390704A CN 107390704 A CN107390704 A CN 107390704A CN 201710632847 A CN201710632847 A CN 201710632847A CN 107390704 A CN107390704 A CN 107390704A
- Authority
- CN
- China
- Prior art keywords
- mrow
- light stream
- compensations
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000518 rheometry Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
- G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
- G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种基于IMU姿态补偿的多旋翼无人机悬停方法，在光流结果基础上加入了IMU姿态补偿，很好地保证了无人机实际悬停的准确性；采用FAST角点作为特征点提取方法，能够适用于纹理相对较弱的环境且不需要依赖任何先验知识，很好地提升了无人机的适应性；以光流法作为基础，在保证精度的前提下有效地控制了计算量，保证了算法的实时性，在嵌入式上的实际处理速度可达到50Hz。
Description
技术领域
本发明属于无人机视觉导航技术领域，特别涉及一种基于IMU姿态补偿的多旋翼无人机光流悬停方法。
背景技术
随着无人机逐渐进入人们的生活，基于无人机平台的应用也越来越多，特别是视觉系统的引入，不仅大大降低了用户门槛，提升了飞行安全性，还极大地丰富了用户体验，带给飞行更多乐趣。悬停定位作为多旋翼无人机区别于固定翼无人机的一个重要特点，在定点拍摄和电力巡线等领域都有着广阔的应用前景，特别是当室外GPS信号较弱或室内没有GPS信号时，能保证无人机稳定悬停于指定位置就显得尤为重要。
目前，无人机室外定位主要利用飞机上的GPS模块，根据高速运动的卫星瞬间位置作为已知的起算数据，采用空间测距交会定点原理确定无人机的水平位置，并利用气压计的状态保持无人机的垂直位置。GPS的定位精度和搜索到的卫星数量有关，虽然应用非常广泛，但整体的定位精度和输出频率较低，且容易受到环境因素影响，特别是在楼宇间或室内等GPS信号强度较弱的环境下，基本无法实现无人机定位。
除了采用GPS方式实现定位，专利201610538663.8提出了一种结合陀螺仪和多个超声波模块的室内定位装置，通过超声波模块捕捉不同方向的距离值确定无人机空间位置，并利用陀螺仪保证无人机的飞行姿态。该方法计算简单且实时性高，可以在没有GPS的情况下实现四旋翼无人机的室内定位，但该装置对硬件传感器的精度要求较高，对数据跳变或测量误差的容忍度较差，普适性不强。
而基于图标的悬停定位方法，如专利201610454292.5则通过视觉图像处理方式检测具有方向性的Marker，利用Perspective n-Points(PnP)算法从二维相机坐标系恢复出三维世界坐标系中无人机的位置和姿态，从而实现对飞机的定位。该方法定位精度较高，但缺点也较为突出，即如果没有放置特定的图标则无人机将无法悬停，在不同环境下的适用性不强。
另外，基于单目或双目相机的视觉里程计(Visual Odometry)随着SLAM技术的兴起而逐渐进入人们视野，该方法主要用于实现定位功能，主要思想是通过直接法或特征点法建立相邻帧的运动轨迹，并通过光束平差法(Bundle Adjustment)来消除相邻帧的累积误差。该方法定位精度很高，但计算量较大，在嵌入式系统上运行的实时性很难得到保证。
因此，对于GPS信号较弱的室外或室内场景，寻找一种精度高、适应性强、实时性好的无人机悬停定位方法就显得格外重要。
发明内容
本发明的目的在于提供一种基于IMU姿态补偿的多旋翼无人机光流悬停方法，解决了现有无人机在GPS信号较弱的室外或室内场景内，无法准确悬停，且对环境的适应性差、实时性差的问题。
为了达到上述目的，本发明采用的技术方案具体是：
本发明提供的一种基于IMU姿态补偿的多旋翼无人机光流悬停方法，首先对光流摄像头拍摄的所有图像帧提取FAST角点；然后利用金字塔LK光流法匹配前后帧提取到的FAST角点，并建立特征点对，接着通过特征点对求取前后图像帧的光流结果；再通过获取的IMU数据对光流结果进行补偿；接着使用RANSAC随机采样一致性的方式计算飞机水平方向的主体偏移量；最终将计算结果发送给飞控装置保持飞机悬停状态。
优选地，在提取FAST角点，首先需要通过调整候选特征点p与周围点之间像素差的阈值ε；然后通过公式(1)提取FAST角点：
其中,N表示圆周上像素点灰度差大于设定阈值的所有像素点数。I(p)是候选特征点的灰度值，I(x)是候选点周围像素点的灰度值，ε的取值范围为10～20；
且周围点中有超过四分之三的像素点的灰度差大于该阈值ε，则认为候选特征点p为一个FAST角点。
优选地，在利用金字塔LK光流法匹配前后帧提取到的FAST角点时，采用7*7的搜索窗以及三层金字塔进行光流计算。
优选地，基于IMU姿态补偿包括无人机偏航方向、俯仰方向和横滚方向三个维度姿态角变化对光流结果的补偿。
优选地，通过公式(2)对偏航方向进行修正：
dImg.x＝dImg.x+distance*yaw*fx/sonarH (2)
其中，dImg.x表示x方向的光流，distance表示相机光心到无人机中心点的距离，yaw表示相邻帧的偏航角，fx表示相机的x方向焦距，sonarH表示超声波传感器获取的高度值。
优选地，通过公式(3)对俯仰方向进行修正：
其中，dx表示无人机x方向的相对位移，dImg.y表示y方向的光流，fy表示相机的y方向焦距，pitch表示相邻帧的俯仰角变化量，sonarH表示超声波传感器获取的高度值。
优选地，通过公式(4)对横滚方向进行修正：
其中，dy表示无人机y方向的相对位移，dImg.x表示x方向的光流，fx表示相机的x方向焦距，roll表示相邻帧的横滚角变化量；sonarH表示超声波传感器获取的高度值。
优选地，采用RANSAC随机采样一致性方式对光流结果进行整合时，采用的局内点数大于特征点总数的一半且绝对点数大于10。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于IMU姿态补偿的多旋翼无人机悬停方法，在光流结果基础上加入了IMU姿态补偿，很好地保证了无人机实际悬停的准确性；采用FAST角点作为特征点提取方法，能够适用于纹理相对较弱的环境且不需要依赖任何先验知识，很好地提升了无人机的适应性；以光流法作为基础，在保证精度的前提下有效地控制了计算量，保证了算法的实时性，在嵌入式上的实际处理速度可达到50Hz。
进一步的，采用7*7的搜索窗以及三层金字塔进行光流计算，使算法适用于不同运动速度的物体，较好地弱化了小运动这个约束。
进一步的，采用RANSAC随机采样一致性方式对光流结果进行整合时，采用的局内点数大于特征点总数的一半且绝对点数大于10，可以较好地剔除误匹配点，保证了特征点对的准确性。
附图说明
图1是本发明基于IMU姿态补偿的多旋翼无人机光流悬停方法流程图；
图2是本发明利用金字塔LK光流法实现前后帧特征点匹配的结果图；
图3是本发明结合无人机不同姿态角的针孔相机模型示意图；
图4是本发明验证y方向光流和俯仰角吻合效果的实验结果图；
图5是本发明验证x方向光流和横滚角吻合效果的实验结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如附图1所示，本发明提供了一种基于IMU姿态补偿的多旋翼无人机光流悬停方法，首先对光流摄像头拍摄的所有图像帧提取FAST角点；然后利用金字塔LK光流法匹配前后帧提取到的FAST角点，并建立特征点对，接着通过特征点对求取前后图像帧的光流结构；再通过获取的IMU数据对光流结果进行补偿；接着使用RANSAC随机采样一致性的方式计算飞机水平方向的主体偏移量；最终将计算结果发送给飞控装置保持飞机悬停状态。
所述方法的具体实施步骤如下：
步骤S1：提取光流摄像头所拍摄的所有图像帧的FAST角点，首先需要通过调整候选特征点p与周围点之间像素差的阈值ε来适应不同测试环境，并快速获取图像特征点位置信息。设定当周围点中有超过四分之三的像素点的灰度差大于该阈值ε，则认为候选特征点p为一个角点；为了适应纹理较弱的环境，则阈值ε的取值范围为10～20，且阈值ε越大得到的特征点越少。FAST角点检测方法只利用了候选特征点p与周围像素灰度值的差异信息来获取角点，是一种公认的简单、有效、快速的角点检测方法。其计算公式如式(1)：
其中,N表示圆周上像素点灰度差大于设定阈值的所有像素点的个数。I(p)是候选特征点的灰度值，I(x)是候选点周围像素点的灰度值。
步骤S2：利用金字塔LK光流法匹配前后帧提取到的FAST角点，建立特征点对作为后续姿态补偿和求取主方向的依赖条件。
具体地，LK算法是一种广泛使用的光流估计方法，其主要基于三个假设：1)亮度恒定，即同一点随着时间的变化其亮度不会发生改变；2)小运动，即时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导；3)区域一致性，即一个场景中邻近的点投影到图像上也是邻近点且速度一致。而引用金字塔则是为了保证算法可以适用于不同运动速度的物体，弱化小运动这个约束。实际应用中，我们采用了7*7的搜索窗以及三层金字塔进行光流计算，完成前后图像帧特征点的匹配，得到特征点对，并通过该特征点对求取前后图像帧的偏移方向和偏移大小，以作为后续姿态补偿的基本依据。实际测试的匹配结果如附图2所示。
步骤S3：获取IMU数据并对光流结果进行补偿，用以消除飞机姿态变化对光流结果的影响。其中，光流结果补偿包括利用无人机偏航、俯仰、横滚等三个维度姿态角变化对结果的修正。由于光流场反映了图像各像素点的瞬时运动速度矢量，因此当无人机水平位置不变而姿态角发生变化时，获取到的图像光流场也会发生改变，如果直接使用光流场估算的结果，得到的无人机速度将不是期望的零值而是一个相对较大的值。因此，对于无人机姿态变化引起的光流变化，有必要利用获取的IMU数据对光流结果进行姿态补偿。
如附图3所示的针孔相机模型，相机坐标系和世界坐标系存在特定的转换关系，即dCam＝dWorld*f/height，其中，dCam表示相机坐标系下x或y方向的坐标，dWorld表示世界坐标系下x或y方向相对于坐标原点的位移，f表示相机焦距，height表示通过超声波模块得到的实际观测点到相机平面的距离。基于IMU姿态补偿主要包含如下部分：
1)修正偏航方向：实际应用过程中，光流摄像头一般位于无人机主轴上，但不一定位于主轴的中心位置，因此偏航角度的变化就会引起整幅图像以一个特定半径围绕中心轴转动，而这个特定半径即为相机光心到无人机中心点的实际距离。为了消除偏航角的影响，需要对光流的x方向结果进行补偿，在其基础上加入偏航角引起的图像光流变化，用公式(2)表示：
dImg.x＝dImg.x+distance*yaw*fx/sonarH (2)
其中，等式左边的dImg.x表示补偿后的x方向的光流，等式右边的dImg.x表示补偿前的x方向的光流，distance表示相机光心到无人机中心点的距离，yaw表示相邻帧的偏航角，yaw从IMU硬件中获取所得；fx表示相机的x方向焦距，sonarH表示超声波传感器获取的高度值。
2)修正俯仰方向：无人机俯仰角的变化会引起图像y方向光流结果的变化，修正该值可以保持无人机前后方向位置的准确性，根据针孔相机模型和俯仰角变化的关系，补偿后无人机x方向(即机头方向)的相对位移满足如下公式(3)：
其中，dx表示无人机x方向的相对位移，dImg.y表示y方向的光流，fy表示相机的y方向焦距，pitch表示相邻帧的俯仰角变化量，pitch从IMU硬件中获取所得，sonarH表示超声波传感器获取的高度值。
3)修正横滚方向：无人机横滚角的变化会引起图像x方向光流结果的变化，修正该值可以保持无人机左右方向位置的准确性，根据针孔相机模型和横滚角变化的关系，补偿后无人机y方向(即垂直机头方向)的相对位移满足如下公式：
其中，dy表示无人机y方向的相对位移，dImg.x表示x方向的光流，fx表示相机的x方向焦距，roll表示相邻帧的横滚角变化量，roll从IMU硬件中获取所得，sonarH表示超声波传感器获取的高度值。
经过以上三部分的姿态补偿后，光流结果得到了有效修正，为了验证补偿结果，我们保持飞机水平位置不变只改变其姿态角，通过抓取中间结果查看补偿效果，见附图4(无人机x方向)和图5(无人机y方向)，可以看到，补偿前的光流结果和姿态角曲线吻合很好，补偿后的光流结果趋近于零。
步骤S4：采用RANSAC随机采样一致性方式对光流结果进行整合，获取光流的主方向和对应速度的变化值。RANSAC方法可以从一组包含局外点的观测数据集中通过迭代方式估计数据模型的参数，得到局内点，从而确定光流的主方向，进而计算出无人机水平方向的实际速度。对于结束收敛的条件，我们采用的是局内点数大于经过匹配后的FAST角点点对，总数的一半且绝对点数大于10即可。
步骤S5：飞控装置根据光流计算结果控制飞机的水平位置，根据超声波数据控制飞机的垂直位置，保持无人机整体稳定的悬停。
总之，通过上述五个步骤，无人机可以基于IMU姿态补偿的光流结果实现稳定的悬停定位，并兼顾了准确性、适应性和实时性。相比于现有的其他几类无人机悬停定位方法，本发明具有明显进步。
特别地，本方法已经在搭载了Qualcomm骁龙801嵌入式芯片的两种型号的四旋翼无人机上测试通过，算法输出为50Hz，飞行五分钟的整体悬停精度不超过五十厘米波动范围，达到了业界先进水平。
特别地，该方法在实际应用中可以适用于不同型号、不同相机安装位置的无人机，只需要根据实际情况调整相机内参以及安装位置的配置参数即可，可实现性强且操作方便简单。
Claims (8)
1.一种基于IMU姿态补偿的多旋翼无人机光流悬停方法，其特征在于：首先对光流摄像头拍摄的所有图像帧提取FAST角点；然后利用金字塔LK光流法匹配前后帧提取到的FAST角点，并建立特征点对，接着通过特征点对求取前后图像帧的光流结果；再通过获取的IMU数据对光流结果进行补偿；接着使用RANSAC随机采样一致性的方式计算飞机水平方向的主体偏移量；最终将计算结果发送给飞控装置保持飞机悬停状态。
2.根据权利要求1所述的一种基于IMU姿态补偿的多旋翼无人机光流悬停方法，其特征在于：在提取FAST角点，首先需要通过调整候选特征点p与周围点之间像素差的阈值ε；然后通过公式(1)提取FAST角点：
<mrow>
<mi>N</mi>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>&ForAll;</mo>
<mi>c</mi>
<mi>i</mi>
<mi>r</mi>
<mi>c</mi>
<mi>l</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<mo>|</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>></mo>
<mi>&epsiv;</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,N表示圆周上像素点灰度差大于设定阈值的所有像素点数；I(p)是候选特征点的灰度值，I(x)是候选点周围像素点的灰度值，ε的取值范围为10～20；
且周围点中有超过四分之三的像素点的灰度差大于该阈值ε，则认为候选特征点p为一个FAST角点。
3.根据权利要求1所述的一种基于IMU姿态补偿的多旋翼无人机光流悬停方法，其特征在于：在利用金字塔LK光流法匹配前后帧提取到的FAST角点时，采用7*7的搜索窗以及三层金字塔进行光流计算。
4.根据权利要求1所述的一种基于IMU姿态补偿的多旋翼无人机悬停方法，其特征在于：基于IMU姿态补偿包括无人机偏航方向、俯仰方向和横滚方向三个维度姿态角变化对光流结果的补偿。
5.根据权利要求4所述的一种基于IMU姿态补偿的多旋翼无人机悬停方法，其特征在于：通过公式(2)对偏航方向进行修正：
dImg.x＝dImg.x+distance*yaw*fx/sonarH (2)
其中，dImg.x表示x方向的光流，distance表示相机光心到无人机中心点的距离，yaw表示相邻帧的偏航角，fx表示相机的x方向焦距，sonarH表示超声波传感器获取的高度值。
6.根据权利要求4所述的一种基于IMU姿态补偿的多旋翼无人机悬停方法，其特征在于：通过公式(3)对俯仰方向进行修正：
<mrow>
<mi>d</mi>
<mi>x</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mi>d</mi>
<mi>Im</mi>
<mi>g</mi>
<mo>.</mo>
<mi>y</mi>
</mrow>
<mrow>
<mi>f</mi>
<mi>y</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mi>p</mi>
<mi>i</mi>
<mi>t</mi>
<mi>c</mi>
<mi>h</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>s</mi>
<mi>o</mi>
<mi>n</mi>
<mi>a</mi>
<mi>r</mi>
<mi>H</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，dx表示无人机x方向的相对位移，dImg.y表示y方向的光流，fy表示相机的y方向焦距，pitch表示相邻帧的俯仰角变化量，sonarH表示超声波传感器获取的高度值。
7.根据权利要求4所述的一种基于IMU姿态补偿的多旋翼无人机悬停方法，其特征在于：通过公式(4)对横滚方向进行修正：
<mrow>
<mi>d</mi>
<mi>y</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mi>o</mi>
<mi>l</mi>
<mi>l</mi>
<mo>-</mo>
<mfrac>
<mrow>
<mi>d</mi>
<mi>Im</mi>
<mi>g</mi>
<mo>.</mo>
<mi>x</mi>
</mrow>
<mrow>
<mi>f</mi>
<mi>x</mi>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>s</mi>
<mi>o</mi>
<mi>n</mi>
<mi>a</mi>
<mi>r</mi>
<mi>H</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，dy表示无人机y方向的相对位移，dImg.x表示x方向的光流，fx表示相机的x方向焦距，roll表示相邻帧的横滚角变化量；sonarH表示超声波传感器获取的高度值。
8.根据权利要求1所述的一种基于IMU姿态补偿的多旋翼无人机悬停方法，其特征在于：采用RANSAC随机采样一致性方式对光流结果进行整合时，采用的局内点数大于特征点总数的一半且绝对点数大于10。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710632847.5A CN107390704B (zh) | 2017-07-28 | 2017-07-28 | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710632847.5A CN107390704B (zh) | 2017-07-28 | 2017-07-28 | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107390704A true CN107390704A (zh) | 2017-11-24 |
| CN107390704B CN107390704B (zh) | 2020-12-04 |
Family
ID=60341986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710632847.5A Active CN107390704B (zh) | 2017-07-28 | 2017-07-28 | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107390704B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技（北京）有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
| CN109062238A (zh) * | 2018-09-19 | 2018-12-21 | 张洋 | 控制无人机悬停的装置 |
| CN109407103A (zh) * | 2018-09-07 | 2019-03-01 | 昆明理工大学 | 一种无人机雾天障碍物识别装置及其识别方法 |
| CN110174898A (zh) * | 2019-06-18 | 2019-08-27 | 华北电力大学（保定） | 一种基于图像反馈的多旋翼无人机控制方法 |
| CN110986890A (zh) * | 2019-11-26 | 2020-04-10 | 北京经纬恒润科技有限公司 | 高度检测方法及装置 |
| CN111024067A (zh) * | 2019-12-17 | 2020-04-17 | 国汽(北京)智能网联汽车研究院有限公司 | 一种信息处理方法、装置、设备及计算机存储介质 |
| CN111609868A (zh) * | 2020-05-29 | 2020-09-01 | 电子科技大学 | 一种基于改进光流法的视觉惯性里程计方法 |
| CN113110556A (zh) * | 2021-05-06 | 2021-07-13 | 南京云智控产业技术研究院有限公司 | 一种基于视觉传感器的无人机位置估计系统及估计方法 |
| TWI747718B (zh) * | 2020-12-14 | 2021-11-21 | 大陸商廣州昂寶電子有限公司 | 位移補償方法和設備及速度補償方法和設備 |
| CN114355961A (zh) * | 2021-11-24 | 2022-04-15 | 普宙科技(深圳)有限公司 | 无人机基于多视角视觉同步紧耦合视觉辅助悬停方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0631109A1 (en) * | 1993-06-03 | 1994-12-28 | FINMECCANICA S.p.A., RAMO AZIENDALE ALENIA | Passive image sensor navigation system |
| US20040148057A1 (en) * | 2000-05-08 | 2004-07-29 | Breed David S. | Vehicular exterior identification and monitoring system-agricultural product distribution |
| CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
| US8115620B2 (en) * | 2002-06-11 | 2012-02-14 | Intelligent Technologies International, Inc. | Asset monitoring using micropower impulse radar |
| CN102506892A (zh) * | 2011-11-08 | 2012-06-20 | 北京航空航天大学 | 一种光流多传感器和惯导器件信息融合配置方法 |
| CN103365297A (zh) * | 2013-06-29 | 2013-10-23 | 天津大学 | 基于光流的四旋翼无人机飞行控制方法 |
| CN103411621A (zh) * | 2013-08-09 | 2013-11-27 | 东南大学 | 一种面向室内移动机器人的光流场视觉/ins组合导航方法 |
| CN103440472A (zh) * | 2013-08-01 | 2013-12-11 | 西安交通大学 | 一种文字图像特征差异的快速计算方法 |
| CN103913588A (zh) * | 2014-04-10 | 2014-07-09 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行参数的测量方法及装置 |
| CN104864866A (zh) * | 2015-05-15 | 2015-08-26 | 零度智控（北京）智能科技有限公司 | 飞行器飞行误差矫正装置、矫正方法及无人飞行器 |
| CN104899590A (zh) * | 2015-05-21 | 2015-09-09 | 深圳大学 | 一种无人机视觉目标跟随方法及系统 |
| CN106017463A (zh) * | 2016-05-26 | 2016-10-12 | 浙江大学 | 一种基于定位传感装置的飞行器定位方法 |
| CN106547275A (zh) * | 2015-09-17 | 2017-03-29 | 西安翔舟航空技术有限公司 | 一种新型旋翼类无人机自动定位操控方法 |
| CN106570888A (zh) * | 2016-11-10 | 2017-04-19 | 河海大学 | 一种基于fast角点和金字塔klt的目标跟踪方法 |
-
2017
- 2017-07-28 CN CN201710632847.5A patent/CN107390704B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0631109A1 (en) * | 1993-06-03 | 1994-12-28 | FINMECCANICA S.p.A., RAMO AZIENDALE ALENIA | Passive image sensor navigation system |
| US20040148057A1 (en) * | 2000-05-08 | 2004-07-29 | Breed David S. | Vehicular exterior identification and monitoring system-agricultural product distribution |
| US8115620B2 (en) * | 2002-06-11 | 2012-02-14 | Intelligent Technologies International, Inc. | Asset monitoring using micropower impulse radar |
| CN102298070A (zh) * | 2010-06-22 | 2011-12-28 | 鹦鹉股份有限公司 | 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法 |
| CN102506892A (zh) * | 2011-11-08 | 2012-06-20 | 北京航空航天大学 | 一种光流多传感器和惯导器件信息融合配置方法 |
| CN103365297A (zh) * | 2013-06-29 | 2013-10-23 | 天津大学 | 基于光流的四旋翼无人机飞行控制方法 |
| CN103440472A (zh) * | 2013-08-01 | 2013-12-11 | 西安交通大学 | 一种文字图像特征差异的快速计算方法 |
| CN103411621A (zh) * | 2013-08-09 | 2013-11-27 | 东南大学 | 一种面向室内移动机器人的光流场视觉/ins组合导航方法 |
| CN103913588A (zh) * | 2014-04-10 | 2014-07-09 | 深圳市大疆创新科技有限公司 | 无人飞行器的飞行参数的测量方法及装置 |
| CN104864866A (zh) * | 2015-05-15 | 2015-08-26 | 零度智控（北京）智能科技有限公司 | 飞行器飞行误差矫正装置、矫正方法及无人飞行器 |
| CN104899590A (zh) * | 2015-05-21 | 2015-09-09 | 深圳大学 | 一种无人机视觉目标跟随方法及系统 |
| CN106547275A (zh) * | 2015-09-17 | 2017-03-29 | 西安翔舟航空技术有限公司 | 一种新型旋翼类无人机自动定位操控方法 |
| CN106017463A (zh) * | 2016-05-26 | 2016-10-12 | 浙江大学 | 一种基于定位传感装置的飞行器定位方法 |
| CN106570888A (zh) * | 2016-11-10 | 2017-04-19 | 河海大学 | 一种基于fast角点和金字塔klt的目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| JACQUESWALDMANN等: "Observability analysis of inertial navigation errors from optical flow subspace constraint", 《INFORMATION SCIENCES》 * |
| 邓一民: "多旋翼无人机光流/惯性组合导航技术研究", 《万方数据HTTP://D.WANFANGDATA.COM.CN/THESIS/D01147879》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108253962A (zh) * | 2017-12-18 | 2018-07-06 | 中北智杰科技（北京）有限公司 | 一种低照度环境下新能源无人驾驶汽车定位方法 |
| CN109407103A (zh) * | 2018-09-07 | 2019-03-01 | 昆明理工大学 | 一种无人机雾天障碍物识别装置及其识别方法 |
| CN109062238A (zh) * | 2018-09-19 | 2018-12-21 | 张洋 | 控制无人机悬停的装置 |
| CN110174898A (zh) * | 2019-06-18 | 2019-08-27 | 华北电力大学（保定） | 一种基于图像反馈的多旋翼无人机控制方法 |
| CN110986890A (zh) * | 2019-11-26 | 2020-04-10 | 北京经纬恒润科技有限公司 | 高度检测方法及装置 |
| CN111024067A (zh) * | 2019-12-17 | 2020-04-17 | 国汽(北京)智能网联汽车研究院有限公司 | 一种信息处理方法、装置、设备及计算机存储介质 |
| CN111609868A (zh) * | 2020-05-29 | 2020-09-01 | 电子科技大学 | 一种基于改进光流法的视觉惯性里程计方法 |
| TWI747718B (zh) * | 2020-12-14 | 2021-11-21 | 大陸商廣州昂寶電子有限公司 | 位移補償方法和設備及速度補償方法和設備 |
| CN113110556A (zh) * | 2021-05-06 | 2021-07-13 | 南京云智控产业技术研究院有限公司 | 一种基于视觉传感器的无人机位置估计系统及估计方法 |
| CN114355961A (zh) * | 2021-11-24 | 2022-04-15 | 普宙科技(深圳)有限公司 | 无人机基于多视角视觉同步紧耦合视觉辅助悬停方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107390704B (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107390704A (zh) | 一种基于imu姿态补偿的多旋翼无人机光流悬停方法 | |
| CN101419055B (zh) | 基于视觉的空间目标位姿测量装置和方法 | |
| CN105644785B (zh) | 一种基于光流法和地平线检测的无人机着陆方法 | |
| CN109753076A (zh) | 一种无人机视觉追踪实现方法 | |
| CN107688184A (zh) | 一种定位方法以及系统 | |
| CN107741234A (zh) | 一种基于视觉的离线地图构建及定位方法 | |
| CN106056664A (zh) | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 | |
| CN108594851A (zh) | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 | |
| CN107139178A (zh) | 一种无人机及其基于视觉的抓取方法 | |
| CN106155081B (zh) | 一种旋翼无人机大范围目标监测和精确定位方法 | |
| CN106384353A (zh) | 一种基于rgbd的目标定位方法 | |
| CN109683629A (zh) | 基于组合导航和计算机视觉的无人机电力架线系统 | |
| Li et al. | UAV autonomous landing technology based on AprilTags vision positioning algorithm | |
| Hwangbo et al. | Visual-inertial UAV attitude estimation using urban scene regularities | |
| CN103994765B (zh) | 一种惯性传感器的定位方法 | |
| CN206990800U (zh) | 一种定位系统 | |
| CN110675453A (zh) | 一种已知场景中运动目标的自定位方法 | |
| Zhigui et al. | Review on vision-based pose estimation of UAV based on landmark | |
| CN110108894B (zh) | 一种基于相位相关和光流法的多旋翼速度测量方法 | |
| CN113436276B (zh) | 基于视觉相对定位的多无人机编队方法 | |
| CN104075710B (zh) | 一种基于航迹预测的机动扩展目标轴向姿态实时估计方法 | |
| CN109146936A (zh) | 一种图像匹配方法、装置、定位方法及系统 | |
| Gao et al. | Altitude information acquisition of uav based on monocular vision and mems | |
| Cao et al. | Research on application of computer vision assist technology in high-precision UAV navigation and positioning | |
| Chen et al. | Binocular vision localization based on vision SLAM system with multi-sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |