CN110058602A - 基于深度视觉的多旋翼无人机自主定位方法 - Google Patents
基于深度视觉的多旋翼无人机自主定位方法 Download PDFInfo
- Publication number
- CN110058602A CN110058602A CN201910237706.2A CN201910237706A CN110058602A CN 110058602 A CN110058602 A CN 110058602A CN 201910237706 A CN201910237706 A CN 201910237706A CN 110058602 A CN110058602 A CN 110058602A
- Authority
- CN
- China
- Prior art keywords
- point
- characteristic point
- aerial vehicle
- algorithm
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004438 eyesight Effects 0.000 title claims abstract description 36
- 230000002567 autonomic effect Effects 0.000 title claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 229920000535 Tan II Polymers 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及无人机定位控制，为提高无人机在复杂环境下的自主定位导航能力，完成无人机的高精度控制与复杂飞行任务。本发明采用的技术方案是，基于深度视觉的多旋翼无人机自主定位方法，首先搭建多旋翼无人机系统的硬件平台，包括：多旋翼无人机的本体、深度摄像头、SLAM算法执行机载处理器和定位跟踪机载处理器；深度传感器包括彩色摄像头和深度摄像头，SLAM算法执行机载处理器进行运算和图像处理，定位跟踪机载处理器集成有三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器，用于实现定位悬停、轨迹跟踪飞行任务，所述处理器通过数据接口连接实现与地面实时通信。本发明主要应用于多旋翼无人机自主定位场合。
Description
技术领域
本发明涉及一种基于深度视觉的定位控制方法，主要是涉及一种应用于多旋翼无人机自主定位与三维环境重建的感知方法。具体讲,涉及基于深度视觉的多旋翼无人机自主定位方法。
背景技术
近年来，基于计算机视觉的定位导航技术(Simultaneous Localization andMapping，SLAM)在机器人领域快速发展。机器人要实现自主运动导航的关键是要解决实时定位与地图构建，也就是需要同时估计机器人自身的位置和构建周围环境的模型。实现对周围环境信息的获取与感知，需要相应的传感器提供有效的环境信息。深度相机依据红外结构光原理，通过向物体发射光并接受返回的光，测量物体与相机之间的距离恢复三维环境结构，进而实现无人机自主定位导航飞行。
德国慕尼黑工业大学应用单目视觉SLAM实现四旋翼无人机，在未知且无GPS(Global Positioning System)信号的环境下的自主定位与导航。其使用四旋翼无人机作为硬件飞行平台，整个控制系统主要包括三个部分：单目摄像头用于视觉SLAM，扩展卡尔曼滤波用于数据融合和状态估计，PID(Proportion Integration Differentiation)控制器来产生控制命令。悬停和轨迹跟踪实验表明，视觉定位算法能够实现精确、鲁棒、长期无漂移的稳定飞行。(会议：International Conference on Intelligent Robots andSystems；著者：Engel J，Sturm J，Cremers D；出版年月：2012；文章题目：Camera-basednavigation of a low-cost quadrocopter，页码：2815-2821)
美国麻省理工大学的研究人员使用深摄像机用于无GPS环境下的视觉里程计并构建周围环境的地图信息，最后将其应用于四旋翼无人机的自主飞行控制中。实验过程中，其所有的视觉其控制算法均运行在机载处理器及控制器中，避免的无线数据传输引起的干扰，成功实现基于视觉的无人机避障飞行。(期刊：International Journal of RoboticsResearch；著者：Bachrach Abraham，Prentice Samuel，He Ruijie；出版年月：2012；文章题目：Estimation,planning,and mapping for autonomous flight using an RGB-Dcamera in GPS-denied environments，页码：1320-1343)。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于深度视觉的多旋翼无人机SLAM方案，提高无人机在复杂环境下的自主定位导航能力，完成无人机的高精度控制与复杂飞行任务。本发明采用的技术方案是基于深度视觉的多旋翼无人机自主定位方法，首先搭建多旋翼无人机系统的硬件平台，包括：多旋翼无人机的本体、深度摄像头、SLAM算法执行机载处理器和定位跟踪机载处理器；深度传感器包括彩色摄像头和深度摄像头，SLAM算法执行机载处理器进行运算和图像处理，定位跟踪机载处理器集成有三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器，用于实现定位悬停、轨迹跟踪飞行任务，所述处理器通过数据接口连接实现与地面实时通信；
进一步的，基于深度视觉的多旋翼无人机自主定位算法由视觉里程计、自主定位导航和建图部分组成，首先，运用SLAM算法执行机载处理器利用视觉里程计仅通过深度传感器获取的信息，采用基于特征点的解算方法，计算相邻两幅图像之间的相对运动，特征点法是通过提取图片中辨识度高的局部特征点，然后依据特征点的描述子来匹配相邻两幅图片中相同的特征点，再由特征点的深度信息解算出相对位移，得到无人机的位置和姿态；考虑到深度摄像头的曝光不稳定性，视觉里程计选用提取ORB类型特征点；然后，将视觉里程计得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器，定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息，完成自主无人机闭环定位飞行控制；最后，SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站，由地面站使用PCL点云库实现3D环境重建，以便展示无人机所处的周围环境。
ORB(Oriented FAST and Rotated BRIEF)特征点的计算分为两个部分，分别是FAST(Features Fromaccelerated Segment Test)特征点提取和BRIEF(Binary RobustIndependent Elementary Features)特征点描述，特征提取是由FAST算法发展而来，特征点描述是根据BRIEF特征算法改进的，ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来。
FAST特征点检测指的是，某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较，如果差异明显，则为特征点，具体使用Harris角点检测器对特征点进行筛选，要求数量为N的特征点，首先需要设定一个足够的低的阈值去得到多于N的特征点，然后根据Harris角点检测器对其进行排序，选取出前N个较好的角点作为特征点，通过图像尺度金字塔，在不同尺度下提取特征点，达到满足尺度变化的要求，对于特征点没有方向的缺点，考虑采用灰度质心法提取特征点的方向，以特征点与灰度质心之间存在的偏移量来表示特征点的方向，首先定义一个区域内的矩：
通过这些矩，求出区域的中心：
该特征点与其领域质心的夹角θ表示特征点的方向
θ＝a tan2(m01,m10)
ORB中特征点的描述采用的是BRIEF描述子描述的，BRIEF算法属于二进制算法，利用一系列的0和1来描述特征，对于平滑图像p，二值测试τ被这样定义
其中p(x)是图像在点x处的灰度值，其特征用n维二进制向量进行描述：
公式中的n取为256，在进行测试前，需要对图像进行平滑处理；
对于n个二进制特征，得到一个2n矩阵S:
利用此区域的方向角θ和对应的旋转矩阵Rθ，对S进行变换：
Sθ＝RθS
其中
经过校正后的BRIEF描述符用如下公式表示：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ
将360°圆周平均分为30份，同时构造一个预计算BRIEF模式的查找表，只要特征点的方向角θ与某个视野范围的角度一致，则用相应的Sθ去计算响应的描述矩阵，
通过提取图像中的特征点，并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对，进而估计无人机的运动情况。
在对特征点进行检测匹配时，RANSAC(RANdom SAmple Consensus)方法消除匹配误差，在匹配的特征点之间决定刚性变换，进而获取正确的运动估计参数。
得到特征点的匹配对具体是使用暴力匹配算法：ORB算法提取出的特征描述子是char类型的数据，根据特征点之间描述子的汉明距离，使用暴力匹配的方法找出距离最近的匹配对，然后根据描述子的汉明距离大小将匹配对排序，筛选出一定比例的匹配对用于位姿解算。
解算无人机移动的位姿值是依据特征点的深度信息进行解算：通过提取图像中的特征点，并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对，进而估计相机的运动情况，PnP(Perspective-n-Point)是求解3D到2D点对运动的方法，通过最小化重投影误差计算位姿变换，寻找使得下式取值达到最小的Rk和tk
其中p(k,i)是第i个特征点在第k帧图像中的位置；p(k-1,i)是第i个特征点，在第k-1帧图像中推算的三维坐标，经过估计的变换矩阵Tk重投影到第k帧图像中的位置。
本发明的特点及有益效果是：
本发明采用基于深度视觉的自主定位导航算法，实现多旋翼无人机的自主定位飞行与三维环境重建。相比于激光雷达定位算法，视觉能够获取较为完整的环境信息，为无人机在复杂环境下的自主避障飞行提供有效的信息支撑，提高了无人机的自主飞行能力。
附图说明：
图1是本发明的实验平台。
图2是本发明在实验过程中的实时建图结果。
图中，a三维点云重建过程一帧关键帧；b三维点云重建过程二帧关键帧；c三维点云重建过程三帧关键帧；d三维点云重建过程暨四帧关键帧；e三维点云重建过程暨最终重建效果图。
图3是本发明的程序原理流程图。
具体实施方式
为克服现有技术的不足，本发明旨在提出一种基于深度视觉的多旋翼无人机SLAM方案，提高无人机在复杂环境下的自主定位导航能力，完成无人机的高精度控制与复杂飞行任务。本发明采用的技术方案是：搭建基于NVIDIA TK1机载微处理器(ARM Cortex-A15，CUDA)，并结合Pixhawk开源机载微控制器的深度视觉定位系统，将视觉定位算法运行于机载微处理器上，确保算法的实时性，同时将底层飞行控制算法运行于机载微控制器上，确保无人机飞行的可靠性。通过无线数据通信，实现机载数据信息与地面站之间的传递，实现对三维环境的感知重建。
所述的搭建多旋翼无人机自主定位系统的具体步骤是：
首先搭建多旋翼无人机系统的硬件平台，包括：多旋翼无人机的本体、深度摄像头、NVIDIA TK1机载处理器和Pixhawk机载处理器。多旋翼无人机机体为小型电动六旋翼飞行器机体，其直径为500mm，使用碳纤维材料加工制成，可搭载6组直流无刷电机、电调及旋翼。使用Devention遥控器及2.4GHz接收机实现对六旋翼无人机的手动飞行。深度传感器包括彩色摄像头和深度摄像头支持640*480分辨率的成像，水平成像角度为57°，垂直成像角度为43°，深度值有效范围0.8-6.0m，偏差2-30mm，拍摄帧率为30fps。NVIDIA TK1包含四颗ARM Cortex A15内核，主频高达2.2GHz，同时芯片集成有192个性能强劲的NVIDIA GeForceKepler移动图像处理单元(GPU)。使得该模块能够以较低的功耗提供强大的运算性能和高级图像处理能力。Pixhawk搭载了NuttX实时操作系统，该处理器集成有三轴加速度计、三轴陀螺仪、三轴磁力计和气压计等微传感器，可实现定位悬停、轨迹跟踪等飞行任务。将各个微电子模块安装于无人机平台上，并通过数据接口连接实现实时通信。
进一步的，基于深度视觉的多旋翼无人机自主定位算法由视觉里程计、自主定位导航和建图部分组成。首先，视觉里程计是仅通过深度传感器获取的信息，运用SLAM算法执行机载处理器计算相邻两幅图像之间的相对运动，采用基于特征点的解算方法。特征点法是通过提取图片中辨识度高的局部特征点，然后依据特征点的描述子来匹配相邻两幅图片中相同的特征点，再由特征点的深度信息解算出相对位移，得到无人机的位置和姿态。考虑到深度摄像头的曝光不稳定性，视觉里程计选用提取ORB类型特征点，兼顾实时性与准确性。然后，将视觉里程计得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器，定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息，完成自主无人机闭环定位飞行控制。最后，SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站，由地面站使用PCL点云库实现3D环境重建，以便展示无人机所处的周围环境。
ORB(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法，该算法分为两个部分，分别是FAST特征点提取和BRIEF特征点描述。特征提取是由FAST算法发展而来，特征点描述是根据BRIEF特征算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并作出一定的改进与优化，既具有良好的快速性，又能够保证特征点的旋转不变形。
FAST特征点检测指的是，某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较，如果差异明显，则为特征点。在工程实践中，圆形区域的半径r一般选取为9，FAST-9具有较好的检测效果。传统的FAST检测具有边缘效应明显、特征点不满足尺度变化和特征点没有方向等缺点。为了降低边缘响应的影响，使用Harris角点检测器对特征点进行筛选。要求数量为N的特征点，首先需要设定一个足够的低的阈值去得到多于N的特征点，然后根据Harris角点检测器对其进行排序，选取出前N个较好的角点作为特征点。通过图像尺度金字塔，在不同尺度下提取特征点，达到满足尺度变化的要求。对于特征点没有方向的缺点，考虑采用灰度质心法提取特征点的方向，以特征点与灰度质心之间存在的偏移量来表示特征点的方向。首先定义一个区域内的矩：
通过这些矩，可以求出区域的中心：
该特征点与其领域质心的夹角θ表示特征点的方向
θ＝a tan2(m01,m10)
ORB中特征点的描述采用的是BRIEF描述子描述的，BRIEF算法属于二进制算法，利用一系列的0和1来描述特征。对于平滑图像p，二值测试τ被这样定义
其中p(x)是图像在点x处的灰度值，其特征可以用n维二进制向量进行描述：
公式中的n一般取为256，在进行测试前，需要对图像进行平滑处理，图像中存在的噪声会严重影响特征点的检测结果。
由于BRIEF描述子不具有旋转不变性，因此对其进行了改进，成为了RotatedBRIEF,简称rBRIEF。对于n个二进制特征，可以得到一个2n矩阵S:
利用此区域的方向角θ和对应的旋转矩阵Rθ，可以对S进行变换：
Sθ＝RθS
其中
经过校正后的BRIEF描述符可用如下公式表示：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ
将360°圆周平均分为30份，同时构造一个预计算BRIEF模式的查找表。只要特征点的方向角θ与某个视野范围的角度一致，则用相应的Sθ去计算响应的描述矩阵。
通过提取图像中的特征点，并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对，进而估计相机的运动情况。PnP(Perspective-n-Point)是求解3D到2D点对运动的方法，通过最小化重投影误差计算位姿变换，寻找使得下式取值达到最小的Rk和tk
其中p(k,i)是第i个特征点在第k帧图像中的位置；p(k-1,i)是第i个特征点，在第k-1帧图像中推算的三维坐标，经过估计的变换矩阵Tk重投影到第k帧图像中的位置。在对特征点进行检测匹配时，可能会出现错误的匹配关系，这些错误的匹配对称作外点。当外点参于位姿解算时会对结果的精度产生一定影响，使得构建的的地图出现偏差如图RANSAC，所以需要剔除外点。在计算机视觉领域中常用的消除匹配误差的方法就是RANSAC方法，该方法一般用来在匹配的特征点之间决定刚性变换，进而获取正确的运动估计参数。
软件框架可以分为两个部分：机载微处理器软件系统和机载控制器软件系统，主要是运行自主定位算法和实现数据传输通信。系统中不同软件模块的运行频率存在差异，各模块之间需要相互配合，同步数据交换。该软件架构的特点是将对实时性要求高的定位导航算法运行于机载设备上，相比较于将传感器信息传回地面站进行解算的传统方法，降低了因为无线网络传输的不稳定性和时延性导致的无人机失控风险，提高了无人机对环境感知的可靠性以及飞行的稳定性，具有更好的应用前景。
本发明所要解决的技术问题是：提出一种基于深度视觉的多旋翼无人机自主定位算法，实现无人机在无GPS信号的复杂环境下，完成自主定位导航飞行，执行既定的飞行目标任务。
本发明采用的技术方案是：首先，提取图片中的ORB类型特征点，并计算特征点的特征描述子；使用暴力匹配算法得到特征点的匹配对；依据特征点的深度信息进而解算无人机移动的位姿值。然后，将得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器，定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息，完成自主无人机闭环定位飞行控制。最后，SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站，由地面站使用PCL点云库实现3D环境重建，以便展示无人机所处的周围环境。
所述的提取图片中的ORB类型特征点，并计算特征点的特征描述子：
FAST特征点检测指的是，某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较，如果差异明显，则为特征点。在工程实践中，圆形区域的半径r一般选取为9，FAST-9具有较好的检测效果。传统的FAST检测具有边缘效应明显、特征点不满足尺度变化和特征点没有方向等缺点。为了降低边缘响应的影响，使用Harris角点检测器对特征点进行筛选。要求数量为N的特征点，首先需要设定一个足够的低的阈值去得到多于N的特征点，然后根据Harris角点检测器对其进行排序，选取出前N个较好的角点作为特征点。通过图像尺度金字塔，在不同尺度下提取特征点，达到满足尺度变化的要求。对于特征点没有方向的缺点，考虑采用灰度质心法提取特征点的方向，以特征点与灰度质心之间存在的偏移量来表示特征点的方向。首先定义一个区域内的矩：
通过这些矩，可以求出区域的中心：
该特征点与其领域质心的夹角θ表示特征点的方向
θ＝a tan2(m01,m10)
ORB中特征点的描述采用的是BRIEF描述子描述的，BRIEF算法属于二进制算法，利用一系列的0和1来描述特征。对于平滑图像p，二值测试τ被这样定义
其中p(x)是图像在点x处的灰度值，其特征可以用n维二进制向量进行描述：
公式中的n一般取为256，在进行测试前，需要对图像进行平滑处理，图像中存在的噪声会严重影响特征点的检测结果。
由于BRIEF描述子不具有旋转不变性，因此对其进行了改进，成为了RotatedBRIEF,简称rBRIEF。对于n个二进制特征，可以得到一个2n矩阵S:
利用此区域的方向角θ和对应的旋转矩阵Rθ，可以对S进行变换：
Sθ＝RθS
其中
经过校正后的BRIEF描述符可用如下公式表示：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ
将360°圆周平均分为30份，同时构造一个预计算BRIEF模式的查找表。只要特征点的方向角θ与某个视野范围的角度一致，则用相应的Sθ去计算响应的描述矩阵。
所述的使用暴力匹配算法得到特征点的匹配对是：
所使用的特征点检测与匹配算法的精度与速度会影响整个SLAM系统的性能。特征检测过程中很重要的问题是解决尺度不变特征，即两幅图片中不同尺度的同一物体点，计算得到的两个尺度因子之间的比率应该等于图像尺度的比率。ORB算法提取出的特征描述子是char类型的数据，根据特征点之间描述子的汉明距离，使用暴力匹配的方法找出距离最近的匹配对，然后根据描述子的汉明距离大小将匹配对排序，筛选出一定比例的匹配对用于位姿解算。
所述的依据特征点的深度信息进而解算无人机移动的位姿值是：
通过提取图像中的特征点，并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对，进而估计相机的运动情况。PnP(Perspective-n-Point)是求解3D到2D点对运动的方法，通过最小化重投影误差计算位姿变换，寻找使得下式取值达到最小的Rk和tk
其中p(k,i)是第i个特征点在第k帧图像中的位置；p(k-1,i)是第i个特征点，在第k-1帧图像中推算的三维坐标，经过估计的变换矩阵Tk重投影到第k帧图像中的位置。在对特征点进行检测匹配时，可能会出现错误的匹配关系，这些错误的匹配对称作外点。当外点参于位姿解算时会对结果的精度产生一定影响，使得构建的的地图出现偏差如图RANSAC，所以需要剔除外点。在计算机视觉领域中常用的消除匹配误差的方法就是RANSAC方法，该方法一般用来在匹配的特征点之间决定刚性变换，进而获取正确的运动估计参数。
下面结合具体实例和附图对本发明基于深度视觉的自主定位算法，实现无人机自主定位与三维环境重建做出详细说明。
考虑到在无GPS信号的复杂环境下，无人机自主定位的能力直接影响到无人机能否完成既定的飞行任务，本发明采用深度视觉传感器实现无人机的自主定位飞行，在实现定位的同时，完成对周围环境的三维点云重建，为无人机自主飞行避障提供可靠的环境信息支撑。
本发明搭建基于深度视觉的多旋翼无人机系统，包括以下步骤：
1)搭建多旋翼无人机硬件系统平台：
将飞行控制模块安装到机体各固定位置，实现无人机的手动遥控飞行。安装机载微处理器与深度视觉传感器，采用USB通信方法将传感器采集的图像和深度数据传输到微处理器，经解算得到位姿数据后，通过串口将位置信息发送到微控制器，实现无人机闭环定位飞行控制。
2)依据自主定位算法，实时计算无人机移动的位姿信息：
基于深度视觉的SLAM算法由传感器信息读取、视觉里程计和建图等部分组成。视觉里程计主要是计算相邻两幅图片之间的相对运动，采用基于特征点的解算方法。特征点法是通过提取图片中辨识度高的局部特征点，然后依据特征点的描述子，匹配相邻两幅图片中相同的特征点，再由特征点的深度信息解算出相对位移。考虑到深度摄像头的曝光不稳定性，视觉里程计选用提取ORB类型特征点，兼顾实时性与准确性。建图由地面站完成，使用PCL点云库实现3D环境重建。
3)软件系统采用多线程编写的方式实现定位算法与数据通信
机载微处理器运行的软件程序主要分为四个线程：摄像头数据读取线程，在机载Ubuntu操作系统中使用OpenNI+SensorKinect的软件包驱动组合，使用openni_node类定义的数据对象，通过深度相机获取其彩色摄像头捕获的图像信息和深度相机获取的深度图像信息。将图片数据保存为OpenCV中的Mat数据类型，方便使用OpenCV对图像数据进行处理。图片特征匹配及位姿解算线程，该线程主要负责处理图像数据和深度数据。提取图像中的特征点信息，并匹配相邻两幅图之间相同的特征点，依据相机的小孔成像原理和特征点的深度值，解算无人机发生的位姿变化。串口通讯线程，该线程主要完成微处理器NVIDIA TK1与机载微控制器Pixhawk之间的双向数据传输。一方面需要利用串口阻塞的方式，微处理器接收微控制器传来的姿态角信息，另一方面需要将解算得到的位姿数据以GPS信号的格式发送给微控制器，实现定位控制。无线通信线程，利用无线路由器扩展WIFI局域网，机载微处理器和地面站同时接入局域网络。借助UDP网络通信协议，将摄像头采集的彩色图片数据、深度数据和无人机位姿数据传输到地面站。从而能够在地面站上实现周围环境的3D点云重建。
下面给出具体的实例：
一、系统硬件连接及配置
本发明搭建基于深度视觉的多旋翼无人机自主定位系统，硬件系统包括：多旋翼无人机的本体、深度摄像头、NVIDIA TK1机载微处理器和Pixhawk机载微控制器。其中多旋翼无人机机体为小型电动六旋翼飞行器，可搭载6组直流无刷电机、电调及旋翼，使用遥控器可实现对其手动飞行。机载微处理器接收深度摄像头采集的图像和深度数据，运行定位算法求解无人机的位姿信息，将位置数据发送到机载微控制器，实现无人机闭环飞行控制，并同时将环境数据通过无线通信传输到地面站，用于对三维环境的实时重建。
二、多旋翼无人机自主定位与三维建图的飞行实验结果
本实验采用上述搭建的多旋翼无人机自主定位系统，由遥控器发送飞行指令控制无人机的飞行轨迹，无人机基于机载设备与定位算法实时计算飞行位置。地面站接收机载设备传输的数据信息，使用点云完成对环境信息的三维重建。实验结果较为准确地重构了无人机飞行经过的环境场景，说明本发明设计的实验平台具有一定的实际应用效果。
Claims (6)
1.一种基于深度视觉的多旋翼无人机自主定位方法，其特征是，首先搭建多旋翼无人机系统的硬件平台，包括：多旋翼无人机的本体、深度摄像头、SLAM算法执行机载处理器和定位跟踪机载处理器；深度传感器包括彩色摄像头和深度摄像头，SLAM算法执行机载处理器进行运算和图像处理，定位跟踪机载处理器集成有三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器，用于实现定位悬停、轨迹跟踪飞行任务，所述处理器通过数据接口连接实现与地面实时通信；
进一步的，基于深度视觉的多旋翼无人机自主定位算法由视觉里程计、自主定位导航和建图部分组成，首先，运用SLAM算法执行机载处理器利用视觉里程计仅通过深度传感器获取的信息，采用基于特征点的解算方法，计算相邻两幅图像之间的相对运动，特征点法是通过提取图片中辨识度高的局部特征点，然后依据特征点的描述子来匹配相邻两幅图片中相同的特征点，再由特征点的深度信息解算出相对位移，得到无人机的位置和姿态；
考虑到深度摄像头的曝光不稳定性，视觉里程计选用提取ORB类型特征点；然后，将视觉里程计得到的位姿信息以GPS信号格式通过串口发送到定位跟踪机载处理器，定位跟踪机载处理器结合它自身三轴加速度计、三轴陀螺仪、三轴磁力计和气压计微传感器得到的姿态信息，完成自主无人机闭环定位飞行控制；最后，SLAM算法执行机载处理器通过WIFI局域网将深度传感器得到的彩色图片数据、深度数据和由它解算出的姿态信息发送到局域网内的地面站，由地面站使用PCL点云库实现3D环境重建，以便展示无人机所处的周围环境。
2.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法，其特征是，ORB(Oriented FAST and Rotated BRIEF)特征点的计算分为两个部分，分别是FAST(FeaturesFromaccelerated Segment Test)特征点提取和BRIEF(Binary Robust IndependentElementary Features)特征点描述，特征提取是由FAST算法发展而来，特征点描述是根据BRIEF特征算法改进的，ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来。
3.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法，其特征是，FAST特征点检测指的是，某个像素点与以其为中心的圆形区域上像素点的灰度值进行比较，如果差异明显，则为特征点，具体使用Harris角点检测器对特征点进行筛选，要求数量为N的特征点，首先需要设定一个足够的低的阈值去得到多于N的特征点，然后根据Harris角点检测器对其进行排序，选取出前N个较好的角点作为特征点，通过图像尺度金字塔，在不同尺度下提取特征点，达到满足尺度变化的要求，对于特征点没有方向的缺点，考虑采用灰度质心法提取特征点的方向，以特征点与灰度质心之间存在的偏移量来表示特征点的方向，首先定义一个区域内的矩：
通过这些矩，求出区域的中心：
该特征点与其领域质心的夹角θ表示特征点的方向
θ＝a tan 2(m01,m10)
ORB中特征点的描述采用的是BRIEF描述子描述的，BRIEF算法属于二进制算法，利用一系列的0和1来描述特征，对于平滑图像p，二值测试τ被这样定义
其中p(x)是图像在点x处的灰度值，其特征用n维二进制向量进行描述：
公式中的n取为256，在进行测试前，需要对图像进行平滑处理；
对于n个二进制特征，得到一个2n矩阵S:
利用此区域的方向角θ和对应的旋转矩阵Rθ，对S进行变换：
Sθ＝RθS
其中
经过校正后的BRIEF描述符用如下公式表示：
gn(p,θ):＝fn(p)|(xi,yi)∈Sθ
将360°圆周平均分为30份，同时构造一个预计算BRIEF模式的查找表，只要特征点的方向角θ与某个视野范围的角度一致，则用相应的Sθ去计算响应的描述矩阵，
通过提取图像中的特征点，并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对，进而估计无人机的运动情况。
4.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法，其特征是，在对特征点进行检测匹配时，RANSAC(RANdom SAmple Consensus)方法消除匹配误差，在匹配的特征点之间决定刚性变换，进而获取正确的运动估计参数。
5.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法，其特征是，得到特征点的匹配对具体是使用暴力匹配算法：ORB算法提取出的特征描述子是char类型的数据，根据特征点之间描述子的汉明距离，使用暴力匹配的方法找出距离最近的匹配对，然后根据描述子的汉明距离大小将匹配对排序，筛选出一定比例的匹配对用于位姿解算。
6.如权利要求1所述的基于深度视觉的多旋翼无人机自主定位方法，其特征是，解算无人机移动的位姿值是依据特征点的深度信息进行解算：通过提取图像中的特征点，并使用匹配算法得到当前特征点集与参考特征点集之间的点匹配对，进而估计相机的运动情况，PnP(Perspective-n-Point)是求解3D到2D点对运动的方法，通过最小化重投影误差计算位姿变换，寻找使得下式取值达到最小的Rk和tk
其中p(k,i)是第i个特征点在第k帧图像中的位置；p(k-1,i)是第i个特征点，在第k-1帧图像中推算的三维坐标，经过估计的变换矩阵Tk重投影到第k帧图像中的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910237706.2A CN110058602A (zh) | 2019-03-27 | 2019-03-27 | 基于深度视觉的多旋翼无人机自主定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910237706.2A CN110058602A (zh) | 2019-03-27 | 2019-03-27 | 基于深度视觉的多旋翼无人机自主定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110058602A true CN110058602A (zh) | 2019-07-26 |
Family
ID=67317453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910237706.2A Pending CN110058602A (zh) | 2019-03-27 | 2019-03-27 | 基于深度视觉的多旋翼无人机自主定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110058602A (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110395398A (zh) * | 2019-09-05 | 2019-11-01 | 广东电网有限责任公司 | 一种基于多旋翼无人机的接地装配系统及其接地方法 |
| CN110570449A (zh) * | 2019-09-16 | 2019-12-13 | 电子科技大学 | 一种基于毫米波雷达与视觉slam的定位与建图方法 |
| CN110631588A (zh) * | 2019-09-23 | 2019-12-31 | 电子科技大学 | 一种基于rbf网络的无人机视觉导航定位方法 |
| CN111260709A (zh) * | 2020-01-15 | 2020-06-09 | 浙江大学 | 一种面向动态环境的地面辅助的视觉里程计方法 |
| CN111338383A (zh) * | 2020-04-24 | 2020-06-26 | 北京泛化智能科技有限公司 | 基于gaas的自主飞行方法及系统、存储介质 |
| CN111540003A (zh) * | 2020-04-27 | 2020-08-14 | 浙江光珀智能科技有限公司 | 一种深度图像的生成方法及装置 |
| CN111610799A (zh) * | 2020-04-30 | 2020-09-01 | 哈尔滨理工大学 | 一种四旋翼无人机的网络控制方法、计算机设备及存储介质 |
| CN111724439A (zh) * | 2019-11-29 | 2020-09-29 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN112050809A (zh) * | 2020-10-08 | 2020-12-08 | 吉林大学 | 轮式里程计与陀螺仪信息融合的无人车定向定位方法 |
| CN112173103A (zh) * | 2020-07-03 | 2021-01-05 | 中建交通建设集团有限公司 | 一种用于钻爆法施工隧道工作面检测装置及方法 |
| CN112204345A (zh) * | 2020-01-20 | 2021-01-08 | 珊口（深圳）智能科技有限公司 | 移动设备的室内定位方法、移动设备及控制系统 |
| CN112528728A (zh) * | 2020-10-16 | 2021-03-19 | 深圳市银星智能科技股份有限公司 | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
| CN112731442A (zh) * | 2021-01-12 | 2021-04-30 | 桂林航天工业学院 | 一种无人机测绘用可调节的测绘仪 |
| CN112859896A (zh) * | 2021-01-14 | 2021-05-28 | 中国人民解放军陆军装甲兵学院 | 基于机器视觉多旋翼无人机悬停飞行与循迹规划方法 |
| CN113298788A (zh) * | 2021-05-27 | 2021-08-24 | 南京航空航天大学 | 基于视觉的海上移动平台跟踪识别方法 |
| CN113361545A (zh) * | 2021-06-18 | 2021-09-07 | 北京易航远智科技有限公司 | 图像特征提取方法、装置、电子设备和存储介质 |
| CN113479324A (zh) * | 2021-07-06 | 2021-10-08 | 西交利物浦大学 | 智能水质采样无人机系统 |
| CN114089779A (zh) * | 2021-11-24 | 2022-02-25 | 湖南大学 | Gps拒止环境下空中机器人视觉自主控制方法及系统 |
| CN114202583A (zh) * | 2021-12-10 | 2022-03-18 | 中国科学院空间应用工程与技术中心 | 一种无人机的视觉定位方法和系统 |
| CN114661061A (zh) * | 2022-02-14 | 2022-06-24 | 天津大学 | 无gps基于视觉室内环境微型无人机飞行控制方法 |
| CN115390582A (zh) * | 2022-07-15 | 2022-11-25 | 江西理工大学 | 一种基于点云的多旋翼无人机跟踪拦截方法及系统 |
| CN115586798A (zh) * | 2022-12-12 | 2023-01-10 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和系统 |
| CN117392518A (zh) * | 2023-12-13 | 2024-01-12 | 南京耀宇视芯科技有限公司 | 一种低功耗的视觉定位和建图芯片及其方法 |
| CN117876419A (zh) * | 2023-11-29 | 2024-04-12 | 西安工业大学 | 一种双视场空中目标检测及跟踪方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104062977A (zh) * | 2014-06-17 | 2014-09-24 | 天津大学 | 基于视觉slam的四旋翼无人机全自主飞行控制方法 |
| CN105223957A (zh) * | 2015-09-24 | 2016-01-06 | 北京零零无限科技有限公司 | 一种手势操控无人机的方法和装置 |
| CN107808407A (zh) * | 2017-10-16 | 2018-03-16 | 亿航智能设备（广州）有限公司 | 基于双目相机的无人机视觉slam方法、无人机及存储介质 |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
-
2019
- 2019-03-27 CN CN201910237706.2A patent/CN110058602A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104062977A (zh) * | 2014-06-17 | 2014-09-24 | 天津大学 | 基于视觉slam的四旋翼无人机全自主飞行控制方法 |
| CN105223957A (zh) * | 2015-09-24 | 2016-01-06 | 北京零零无限科技有限公司 | 一种手势操控无人机的方法和装置 |
| CN107808407A (zh) * | 2017-10-16 | 2018-03-16 | 亿航智能设备（广州）有限公司 | 基于双目相机的无人机视觉slam方法、无人机及存储介质 |
| CN109073385A (zh) * | 2017-12-20 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 一种基于视觉的定位方法及飞行器 |
Non-Patent Citations (6)
| Title |
|---|
| ENGEL J 等: "Camera-based navigation of a low-cost quadrocopter", 《RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 * |
| 曹美会 等: "基于视觉的四旋翼无人机自主定位与控制系统", 《信息与控制》 * |
| 李力 等: "旋翼飞行机器人视觉定位方法及系统", 《机器人》 * |
| 洪亮: "基于深度相机的移动机器人SLAM算法研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 * |
| 王慧国: "基于ORB特征的视觉里程计与建图研究", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 * |
| 郭芳: "复杂环境下四旋翼无人机定位研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》 * |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110395398B (zh) * | 2019-09-05 | 2023-09-08 | 广东电网有限责任公司 | 一种基于多旋翼无人机的接地装配系统及其接地方法 |
| CN110395398A (zh) * | 2019-09-05 | 2019-11-01 | 广东电网有限责任公司 | 一种基于多旋翼无人机的接地装配系统及其接地方法 |
| CN110570449A (zh) * | 2019-09-16 | 2019-12-13 | 电子科技大学 | 一种基于毫米波雷达与视觉slam的定位与建图方法 |
| CN110631588A (zh) * | 2019-09-23 | 2019-12-31 | 电子科技大学 | 一种基于rbf网络的无人机视觉导航定位方法 |
| CN111724439A (zh) * | 2019-11-29 | 2020-09-29 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN111724439B (zh) * | 2019-11-29 | 2024-05-17 | 中国科学院上海微系统与信息技术研究所 | 一种动态场景下的视觉定位方法及装置 |
| CN111260709A (zh) * | 2020-01-15 | 2020-06-09 | 浙江大学 | 一种面向动态环境的地面辅助的视觉里程计方法 |
| CN111260709B (zh) * | 2020-01-15 | 2022-04-19 | 浙江大学 | 一种面向动态环境的地面辅助的视觉里程计方法 |
| CN112204345A (zh) * | 2020-01-20 | 2021-01-08 | 珊口（深圳）智能科技有限公司 | 移动设备的室内定位方法、移动设备及控制系统 |
| WO2021146862A1 (zh) * | 2020-01-20 | 2021-07-29 | 珊口（深圳）智能科技有限公司 | 移动设备的室内定位方法、移动设备及控制系统 |
| CN111338383A (zh) * | 2020-04-24 | 2020-06-26 | 北京泛化智能科技有限公司 | 基于gaas的自主飞行方法及系统、存储介质 |
| CN111338383B (zh) * | 2020-04-24 | 2023-10-13 | 北京泛化智能科技有限公司 | 基于gaas的自主飞行方法及系统、存储介质 |
| CN111540003A (zh) * | 2020-04-27 | 2020-08-14 | 浙江光珀智能科技有限公司 | 一种深度图像的生成方法及装置 |
| CN111610799A (zh) * | 2020-04-30 | 2020-09-01 | 哈尔滨理工大学 | 一种四旋翼无人机的网络控制方法、计算机设备及存储介质 |
| CN112173103A (zh) * | 2020-07-03 | 2021-01-05 | 中建交通建设集团有限公司 | 一种用于钻爆法施工隧道工作面检测装置及方法 |
| CN112050809B (zh) * | 2020-10-08 | 2022-06-17 | 吉林大学 | 轮式里程计与陀螺仪信息融合的无人车定向定位方法 |
| CN112050809A (zh) * | 2020-10-08 | 2020-12-08 | 吉林大学 | 轮式里程计与陀螺仪信息融合的无人车定向定位方法 |
| CN112528728B (zh) * | 2020-10-16 | 2024-03-29 | 深圳银星智能集团股份有限公司 | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
| CN112528728A (zh) * | 2020-10-16 | 2021-03-19 | 深圳市银星智能科技股份有限公司 | 一种用于视觉导航的图像处理方法、装置和移动机器人 |
| CN112731442A (zh) * | 2021-01-12 | 2021-04-30 | 桂林航天工业学院 | 一种无人机测绘用可调节的测绘仪 |
| CN112731442B (zh) * | 2021-01-12 | 2023-10-27 | 桂林航天工业学院 | 一种无人机测绘用可调节的测绘仪 |
| CN112859896A (zh) * | 2021-01-14 | 2021-05-28 | 中国人民解放军陆军装甲兵学院 | 基于机器视觉多旋翼无人机悬停飞行与循迹规划方法 |
| CN112859896B (zh) * | 2021-01-14 | 2023-03-28 | 中国人民解放军陆军装甲兵学院 | 基于机器视觉多旋翼无人机悬停飞行与循迹规划方法 |
| CN113298788A (zh) * | 2021-05-27 | 2021-08-24 | 南京航空航天大学 | 基于视觉的海上移动平台跟踪识别方法 |
| CN113361545A (zh) * | 2021-06-18 | 2021-09-07 | 北京易航远智科技有限公司 | 图像特征提取方法、装置、电子设备和存储介质 |
| CN113361545B (zh) * | 2021-06-18 | 2024-04-05 | 北京易航远智科技有限公司 | 图像特征提取方法、装置、电子设备和存储介质 |
| CN113479324A (zh) * | 2021-07-06 | 2021-10-08 | 西交利物浦大学 | 智能水质采样无人机系统 |
| CN114089779A (zh) * | 2021-11-24 | 2022-02-25 | 湖南大学 | Gps拒止环境下空中机器人视觉自主控制方法及系统 |
| CN114089779B (zh) * | 2021-11-24 | 2024-03-19 | 湖南大学 | Gps拒止环境下空中机器人视觉自主控制方法及系统 |
| CN114202583A (zh) * | 2021-12-10 | 2022-03-18 | 中国科学院空间应用工程与技术中心 | 一种无人机的视觉定位方法和系统 |
| CN114661061A (zh) * | 2022-02-14 | 2022-06-24 | 天津大学 | 无gps基于视觉室内环境微型无人机飞行控制方法 |
| CN114661061B (zh) * | 2022-02-14 | 2024-05-17 | 天津大学 | 无gps基于视觉室内环境微型无人机飞行控制方法 |
| CN115390582A (zh) * | 2022-07-15 | 2022-11-25 | 江西理工大学 | 一种基于点云的多旋翼无人机跟踪拦截方法及系统 |
| CN115586798B (zh) * | 2022-12-12 | 2023-03-24 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和系统 |
| CN115586798A (zh) * | 2022-12-12 | 2023-01-10 | 广东电网有限责任公司湛江供电局 | 一种无人机防坠毁方法和系统 |
| CN117876419A (zh) * | 2023-11-29 | 2024-04-12 | 西安工业大学 | 一种双视场空中目标检测及跟踪方法 |
| CN117876419B (zh) * | 2023-11-29 | 2024-07-16 | 西安工业大学 | 一种双视场空中目标检测及跟踪方法 |
| CN117392518A (zh) * | 2023-12-13 | 2024-01-12 | 南京耀宇视芯科技有限公司 | 一种低功耗的视觉定位和建图芯片及其方法 |
| CN117392518B (zh) * | 2023-12-13 | 2024-04-09 | 南京耀宇视芯科技有限公司 | 一种低功耗的视觉定位和建图芯片及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110058602A (zh) | 基于深度视觉的多旋翼无人机自主定位方法 | |
| Cui et al. | Drones for cooperative search and rescue in post-disaster situation | |
| CN106570820A (zh) | 一种基于四旋翼无人机的单目视觉三维特征提取方法 | |
| Wenzel et al. | Low-cost visual tracking of a landing place and hovering flight control with a microcontroller | |
| CN206804018U (zh) | 环境数据服务器、无人飞行器及定位系统 | |
| CN107209854A (zh) | 用于支持顺畅的目标跟随的系统和方法 | |
| Cui et al. | Search and rescue using multiple drones in post-disaster situation | |
| CN110675453B (zh) | 一种已知场景中运动目标的自定位方法 | |
| Sanfourche et al. | Perception for UAV: Vision-Based Navigation and Environment Modeling. | |
| CN116989772B (zh) | 一种空地多模态多智能体协同定位与建图方法 | |
| CN105173102B (zh) | 一种基于多图像的四旋翼飞行器增稳系统与方法 | |
| Deng et al. | Visual–inertial estimation of velocity for multicopters based on vision motion constraint | |
| Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
| Conte et al. | High accuracy ground target geo-location using autonomous micro aerial vehicle platforms | |
| Natraj et al. | Vision based attitude and altitude estimation for UAVs in dark environments | |
| CN108227749A (zh) | 无人机及其追踪系统 | |
| Kehoe et al. | State estimation using optical flow from parallax-weighted feature tracking | |
| Andersen et al. | Improving MAV pose estimation using visual information | |
| CN109764864A (zh) | 一种基于颜色识别的室内无人机位姿获取方法及系统 | |
| Pan et al. | An optical flow-based integrated navigation system inspired by insect vision | |
| Amidi et al. | Research on an autonomous vision-guided helicopter | |
| Wang et al. | Pose and velocity estimation algorithm for UAV in visual landing | |
| Al-Kaff | Vision-based navigation system for unmanned aerial vehicles | |
| Cao et al. | Research on application of computer vision assist technology in high-precision UAV navigation and positioning | |
| Roozing et al. | Low-cost vision-based 6-DOF MAV localization using IR beacons |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190726 |
|
| WD01 | Invention patent application deemed withdrawn after publication |