CN108594851A - 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 - Google Patents
一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 Download PDFInfo
- Publication number
- CN108594851A CN108594851A CN201810363577.7A CN201810363577A CN108594851A CN 108594851 A CN108594851 A CN 108594851A CN 201810363577 A CN201810363577 A CN 201810363577A CN 108594851 A CN108594851 A CN 108594851A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- information
- image
- flight
- binocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 63
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 58
- 230000004888 barrier function Effects 0.000 claims abstract description 34
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 239000000203 mixture Substances 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- LHMQDVIHBXWNII-UHFFFAOYSA-N 3-amino-4-methoxy-n-phenylbenzamide Chemical compound C1=C(N)C(OC)=CC=C1C(=O)NC1=CC=CC=C1 LHMQDVIHBXWNII-UHFFFAOYSA-N 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000006116 polymerization reaction Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000016776 visual perception Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004033 diameter control Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机，其主要技术特点是：该系统包括在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；该方法包括双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；其他传感器单元获取无人机的状态信息；飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；无人机根据飞行控制指令规避障碍物飞行。本发明将视觉信息与其他传感器信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。
Description
技术领域
本发明属于无人机技术领域，尤其是一种基于双目视觉的无人机自主障碍物检测系统及方法及无人机。
背景技术
随着飞行器相关技术的不断发展及其应用场景的复杂化，对其环境感知能力提出了更高的要求。基于视觉的导航技术具有探测范围宽、信息容量大等优势，此外其具有对飞行环境变化捕捉迅速、反应敏锐等特点，因此在飞行器导引导航研究中得到了越来越多的关注。
基于视觉的环境感知属于被动测量方式，与激光、雷达及超声等主动测量方式相比，可减少多个测量装置在检测过程中的相互干扰，更为重要的是可降低在某些特定环境(如战场)使用时被发现的概率，具有较强的隐蔽性。
基于视觉的飞行环境中障碍物感知应用可使用单目或双目视觉，其中双目视觉可获得较单目视觉更高的精度，而应用较为广泛。单目视觉使用一台机载摄像机获取飞行图像，然而飞行环境的三维信息会在图像投影过程中丢失，虽可利用多帧图像或离线训练的方法还原环境的深度信息，但处理过程复杂，导致机载嵌入式处理器难以实现实时处理，目前只能做到将图像传回地面站解算后再返回无人机的方式进行障碍物规避控制。而双目视觉基于视差原理，其产生的立体视觉信息可以直接恢复目标环境的三维坐标，进而可获得环境的深度信息，对于未知飞行环境中的障碍物及潜在碰撞的检测具有重要的实用意义。
双目视觉是计算机视觉的一个重要分支，双目视觉可以模仿人的眼睛和人类立体视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检测、工业自动化生产、智能安防系统等领域得到了广泛的应用。但是，现有的基于视觉的障碍物感知方法存在的诸多问题，计算机视觉方法在飞行器中的应用主要集中于自主着陆、景象匹配与目标识别以及视觉惯性组合导航等。自主着陆中的视觉方法着眼于飞行器着陆阶段，且需要已知着陆场信息，无法应用于飞行器的任务执行阶段；景象匹配及目标识别，需要建立景象匹配的机载数据库以查找已知目标信息并采用视觉方法得到目标的相对位置，但在飞行器飞行过程中所处的自然环境却无能为力；而将计算机视觉技术与机载惯导数据结合在一起的导航方法计算量较大，当飞行环境复杂时无法满足实时导航的要求。因此，虽有将视觉方法应用于飞行器导航的研究，但这些方法一方面需要已知目标信息或人工设置参考信息，另一方面存在潜在的实时性缺陷，无法满足飞行器执行任务时所处自然环境中的导航应用需求。
众所周知，视觉图像处理需要在单位时间内处理大量数据，需要快速的数据运算能力，然而数据运算过程却相对简单。目前可用于视觉图像处理的计算平台主要有CPU、GPU、ASIC、DSP、FPGA等。
嵌入式CPU的计算能力有限，对于一些计算复杂度很高的视觉算法，其处理速度常常难以满足系统的实时性需要。
GPU具有高度的并行计算能力，可以较好地解决计算速度的问题，然而，基于GPU的计算机视觉系统存在着功耗较高、体积较大的缺点，难以满足依靠自身所带电池供电并长时间工作的无人机系统的需要。
利用专用集成电路ASIC实现视觉处理算法，可以解决视觉系统性能和体积、功耗之间的矛盾，是高性能嵌入式视觉系统的一种有效的解决方案。然而，ASIC开发周期长，修改性及通用性较差。
FPGA可以通过编程方便地修改其内部的逻辑功能，从而实现高速的硬件计算和并行运算，是高性能嵌入式视觉系统的一种更加方便的解决方案。基于FPGA的嵌入式视觉系统的功耗远远低于基于CPU和GPU的视觉系统，FPGA的功耗通常不到1W，而高性能CPU和GPU的功耗通常都在100W以上。随着技术的不断进步，FPGA的集成度越来越高，可以实现的设计规模越来越大，而功耗则越来越低。因此，基于FPGA的嵌入式视觉系统成为计算机视觉系统的重要发展方向。
可编程片上系统技术在单个芯片上集成包括处理器核心和主要外设在内的逻辑功能，这些逻辑功能可以随着应用目的的改变而重新配置，这使得系统可以随时减裁、扩充或升级，使得FPGA可以在片内配置嵌入式处理器的内核，使得FPGA也可具有片内高速的存储单元，丰富的IP核资源和足够的片上逻辑资源。
与通用计算机相比，嵌入式系统在功耗、体积和成本上有着不可比拟的优势。基于ARM的嵌入式系统因此被广泛应用于工业、民用甚至军事等领域。Linux操作系统具有很高的性能，在计算相同的数据量时，对嵌入式系统的功率索取量极小，这也使得Linux得以在嵌入式领域有很强的竞争力。
综上所述，虽然国内外无人机领域的许多学者针对无人机避障系统开展了大量研究，针对环境信息完全机载处理，且在保证测量精度的前提下，目前的避障系统还无法达到小体积、低功率及低重量的需求，进而实现无人机完全本地自主飞行的功能。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于双目视觉的无人机自主障碍物检测系统及方法，该检测系统能够在满足无人机对功耗及载重的需求前提下，获得实时的较高精度的飞行环境三维信息，该检测方法能够实现基于嵌入式实时双目视觉的无人机避障系统的三维环境信息重建算法，使得算法具有较高精度及实时性能。
本发明解决其技术问题是采取以下技术方案实现的：
一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；
所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互,ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理；还包括与嵌入式处理器ARM模块连接的在线自标定模块，其在作业过程中根据环境调整摄像机的焦距或基线利用消失点几何特性对双目视觉系统重新进行标定；
所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；
所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；
所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。
所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输。
所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。
所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。
一种所述无人机自主障碍物检测系统的检测方法，包括以下步骤：
步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
步骤2、其他传感器单元获取无人机的状态信息；
步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行；
其中，所述步骤1的具体实现方法为：
步骤⑴、两台机载摄像机获取无人机的视觉信息；
步骤⑵、视觉采集处理单元的ARM模块(101)获取两路同步图像；
步骤⑶、视觉采集处理单元的ARM模块(101)对两路图像信息进行立体校正；步骤⑷、视觉采集处理单元的FPGA(202)对立体矫正后的图像处理获取视差图像；其中，对两路图像信息进行校正的具体方法为：ARM(101)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息三维重建(405)及规避决策(407)；嵌入式处理器ARM模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果传递给现场可编程门阵列FPGA模块；
步骤⑸、视觉采集处理单元的FPGA(202)利用视差图进行环境信息的三维重建，从而获得障碍物信息。
所述步骤⑵视觉采集处理单元获取同步图像的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析。7、根据权利要求6所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤⑷视觉采集处理单元处理获取视差图像的具体方法为：现场可编程门阵列FPGA模块利用并行处理技术，首先利用均值漂移算法对图像进行分割处理,然后计算像素间的匹配代价,再结合图像分割信息构造新的全局能量函数,之后在多方向上进行匹配代价的聚合,最后选取使得全局能量函数最小的视差图为视差图像；
所述步骤⑸视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍物信息的具体方法为：结合图像特征与视差图像通过兴趣点匹配及对应兴趣点距离解算、3D特征点重建、图像关联、野点检测、相对位姿解算及位姿误差估计以及基于最小误差的运动决策，从而获得障碍物信息。
所述步骤3飞行控制系统建立飞行路径及飞行控制指令的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据其他传感器数据和新的飞行路径生成飞行控制指令。
所述双目视觉系统获得的障碍物信息包括：障碍物与无人机之间的相对位姿、障碍物的种类、尺寸、形状及运动状态信息；所述其他传感器单元获取所述无人机的状态信息包括：飞行高度、飞行航向、飞行速度、飞行姿态信息。
所述的摄像机内参数为，
其中，
kx和ky分别为归一化的焦距，ks为失真参数；K11＝1/kx，K12＝-ks/(kxky)，K13＝ksv0/(kxky)-u0/kx，K22＝1/ky及K23＝-v0/ky。
一种具有所述的基于双目视觉的无人机自主障碍物检测系统的无人机。本发明的优点和积极效果是：
1、本发明利用所述双目视觉系统实现了无人机对所在飞行环境中存在的障碍物进行有效避障的功能，且本发明可行性好，实时性高且算法复杂度低，同时具有较好的鲁棒性，可以有效防止噪声的影响，进而准确获取障碍物的种类、尺寸、形状及运动状态等信息，实现无人机对障碍物的有效避障功能。
2、本发明将视觉信息与其他传感器信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避，有效地解决了无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力。
3、本发明的视觉采集处理单元采用FPGA与ARM相结合设计方案，具有处理速度快、低功耗、小体积及低重量的特点，因此能够适用于无人机领域。
4、本发明的飞行控制系统、遥控器、地面站及无人机之间采用无线链路的方式进行无线通信，实现了更方便的控制功能。
附图说明
图1是本发明的无人机自主障碍物检测系统的结构示意图；
图2是本发明的基于FPGA及ARM的嵌入式系统架构图；
图3是本发明的双目视觉系统架构图；
图4是本发明的实时双目视觉系统的障碍物检测过程算法流程示意图；
图5是本发明的半全局立体匹配算法流程示意图；
图6是本发明的消失点形成示意图。
具体实施方式
以下结合附图对本发明实施例做进一步详述：
一种基于双目视觉的无人机自主障碍物检测系统，如图1所示，包括：
双目视觉系统(101)：包括两台机载摄像机(1011)和视觉采集处理单元(1012)，所述两台机载摄像机(1011)获得无人机(106)的环境视觉信息，并将该数据传送到视觉采集处理单元(1012)，所述视觉采集处理单元(1012)对视觉信息进行理解分析，最终获得环境信息，同时判断并给出障碍物信息，所述障碍物信息通过CAN总线(107)发送给飞行控制系统(103)。
其他传感器单元(102)：包括惯性测量单元IMU(1021)、全球定位系统GPS(1022)、磁罗盘(1023)及气压计(1024)，用于获取无人机(106)的飞行高度、飞行航向、飞行速度、飞行姿态等飞行状态信息；其他传感器单元(102)所获得的传感器信息通过CAN总线(107)发送给飞行控制系统(103)。
飞行控制系统(103)：飞行控制系统(103)通过CAN总线(107)接收来自于双目视觉系统(101)及其他传感器单元(102)的视觉感知信息和无人机飞行状态数据，通过融合后，将结果发送至飞行控制器(1032)，以根据视觉感知信息得到无人机(106)所在的飞行环境中的障碍物信息，以及根据障碍物信息和无人机状态信息规划无人机(106)的飞行路径，并根据飞行路径生成飞行控制指令，用于控制无人机(106)的障碍物规避飞行。所述飞行控制系统(103)通过控制无人机(106)机载舵机组实现对无人机运动的控制功能。所述的障碍物信息包括但不限于：障碍物与所述无人机之间的相对位姿、所述障碍物的种类、尺寸、形状及运动状态等信息。
飞行控制系统(103)包括数据融合模块(1031)和飞行控制器(1032)及数据传输模块(未在示例图中标注)。所述飞行控制系统(103)中具有可拓展的模块化数据融合处理功能，即利用无人机机载双目视觉系统(101)进行视觉感知，同时通过无人机机载其他传感器模块(102)中IMU单元(1021)获取惯导数据，通过三轴磁罗盘单元(1022)获取航向角信息，通过GPS单元(1023)获取飞行位置、速度、航向及高度数据，通过气压计单元(1024)获取无人机高度数据，并在飞行控制系统中利用融合模块(1031)将各传感器数据与视觉感知相融合处理，以便向无人机发送飞行路径控制和路径规划指令以对障碍物进行规避。
飞行控制系统(103)还用于根据视觉感知信息判断障碍物是否位于无人机(106)的原飞行路径上，且在判断障碍物位于无人机(106)的原飞行路径上时根据障碍物信息和无人机状态信息建立新的飞行路径，并根据新的飞行路径生成飞行控制指令。
遥控器(104)：通过无线链路(108)直接控制无人机(106)运行，或者通过无线链路(108)经飞行控制系统(103)对无人机(106)进行控制。
地面站(105)：通过无线链路(108)经飞行控制系统(103)对无人机(106)进行控制，并可以接收无人机(106)的飞行状态信息。
无人机(106)：通过双目视觉系统(101)获取无人机的视觉信息，并根据飞行控制系统(103)的飞行控制指令进行飞行，实现对障碍物的规避。
在本实施例中，飞行控制系统(103)、遥控器(104)、地面站(105)及无人机(106)之间以无线链路(108)的方式进行无线通信。具体地，将无人机(106)的数据通过无线链路传递给地面站进行显示，同时当设定为手动或远程控制时，遥控器(104)及地面站(105)通过无线链路(108)将控制指令发送给飞行控制器(103)及无人机(106)。
需要说明的是，无人机不同于其他地面机器人系统，其需要考虑飞行过程中的载重及供电等约束，因此，本发明将视觉信息与其他传感器信息相融合，感知飞行环境信息，进行飞行路径控制和路径规划以对障碍物进行规避。可以解决无人机视觉避障的问题，使其具备利用机载摄像机完成视觉避障的能力，可行性好、载重小，同时功耗较低。
双目视觉系统(101)内部的视觉采集处理单元(1012)采用FPGA(202)与ARM(201)相结合设计，由完成图像的并行算法的现场可编程门阵列FPGA模块(202)和完成图像的串行算法以及结果的发布的嵌入式处理器ARM模块(201)构成。图2给出了FPGA及ARM的嵌入式系统架构图。其中，ARM嵌入式系统通过AMBA(2012)与外部IO单元(205)进行连接，包括SPI(2051)、IIC(2052)、CAN(2053)、UART(2054)、GPIO(2055)、SDIO(2056)、USB(2057)及GigE(2058)接口，同时可通过AMBA(2012)实现对静态内存单元(203)的控制，支持多种接口的能力使本发明的嵌入式系统可以扩展连接多种机载摄像机设备。FPGA(202)模块内含有标准IO接口(2021)，与外部设备进行，可以实现本发明机载摄像机(1011)的同步控制，通过GigE模块(2022)，也可实现GigE摄像机的视频采集，并通过PCIe接口(2025)进行内部数据传输。本实施例中，ARM(201)与FPGA(202)通过AXI接口(2011)进行信息交互，通过AXI接口(2011)，ARM(201)可将视频流快速的传输给FPGA(202)模块进行处理。
需要说明的是，在对图像数据的操作中，单位时间内数据量很大，要求数据运算速度快，且为了获得较快的处理速度，需采用并行的方式对双目摄像机获取的图像进行分析理解，因此，本实施例中ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理。
图3给出了双目视觉系统(101)的框架图。本发明的ARM模块(201)通过USB接口采集两路机载摄像机(302)的图像数据，通过AXI接口(2011)高速的将视频流传输给FPGA模块(202)，进行两路视觉信息的并行处理，并将处理结果反馈给ARM模块(201)，进行后续处理，处理结果通过CAN总线等传输接口发送给飞行控制系统(103)。需要说明的是，两路机载摄像机(302)的同步控制信号，由FPGA控制同步触发单元(301)产生。
一种基于双目视觉的无人机自主障碍物检测方法，包括以下步骤：
步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
步骤2、其他传感器单元获取无人机的状态信息；
步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行。
在上述步骤中，步骤1双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息是本发明的关键。如图4所示，ARM(201)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息三维重建(405)及规避决策(407)；FPGA(202)模块对立体矫正后的图像进行立体匹配生成差视图。具体包括以下步骤：
步骤⑴，视觉采集处理单元(1012)获取同步图像。具体方法为：视觉采集处理单元(1012)中的FPGA(202)模块通过控制同步触发单元(301)产生同步信号，控制机载摄像机(302)同步采集图像，并通过USB接口将图像传输给视觉采集处理单元(1012)的ARM(201)模块，同时利用时间戳标识图像，用于后续处理分析。
步骤⑵，视觉采集处理单元(1012)对两路图像信息进行校正。具体方法为：视觉采集处理单元(1012)的ARM(201)模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果通过AXI接口(2011)传递给FPGA(202)模块。
步骤⑶，视觉采集处理单元(1012)处理获取视差图像。具体方法为：视觉采集处理单元(1012)中的FPGA(202)模块，利用并行处理技术，分别对矫正后的图像进行半全域演算分析，并生成视差图。
步骤⑷，利用视差图进行环境信息的三维重建。具体方法为：结合图像特征(4051)与视差图像进行3D特征点重建，根据特征算子关联两路图像，并利用RANSAC方法去除野点，利用计算机视觉模型解算相对位姿并进行在线优化，获得更接近真值的相对位姿结果，从而获得障碍物信息。进一步地，障碍物信息包括但不限于：所述障碍物与所述无人机之间的相对位姿、所述障碍物的种类、尺寸、形状及运动状态等信息。
在上述步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送。在本步骤中，飞行控制系统根据障碍物信息和无人机位置信息规划无人机的飞行路径，并根据其他传感器数据和飞行路径生成飞行控制指令。更具体的，飞行控制系统首先根据所述视觉信息判断所述无人机的原飞行路径上是否存在所述障碍物；进而根据所述障碍物信息和所述无人机状态信息生成新的飞行路径；和根据所述其他传感器数据和新的飞行路径生成飞行控制指令。
本实施例中，所述的图像获取(401)模块，包含从机载摄像机(302)获取的两路视频信息，同时利用时间戳(402)对视频信息进行标记。
本实施例中，所述的图像矫正(401)模块，包含对两路视频信息进行消除畸变、双目校正及图像裁剪，校正后左右视图的边角区域往往是不规则的，且对应的视差无效，这样会对立体匹配求取视差产生影响，所以需要在校正后对图像进行裁剪。一旦双目摄像机的结构确定后，该映射表也就固定了，不需要实时计算。因此在线处理双目图像时只需调用映射函数校正图像，即可进行后续立体匹配，减少后续处理的计算量。
本实施例中，所述的立体视差图产生模块(404)模块，包含从图像矫正模块(403)获取校正后图像，利用半全局立体匹配法生成视差图。通过平等地对待多个一维路径,然后将各个一维路径的结果合并(505),来近似二维的情况，在半全局立体匹配算法的全局能量函数(504)中,通过对深度的不同变化加以不同惩罚保证了平滑性约束,在算法的后处理部分中,利用了左右一致性校验来检测遮挡点和误匹配点,保证了唯一性约束。算法对光照变化的影响不敏感,对噪声有较强的鲁棒性。具体过程如下：先利用均值漂移算法对图像进行分割处理(503),然后计算像素间的匹配代价(502),再结合图像分割信息构造新的全局能量函数(504),之后在多方向上进行匹配代价的聚合(505),最后选取使得全局能量函数最小的视差图为匹配视差结果。
图5给出了半全局立体匹配算法流程，在产生立体视差图过程中，定义某一方向的代价函数为：
则半全局立体匹配算法要求要求得的是各个方向代价聚合的最小值：即的最小值，这其中有一个聚合的过程。半全局匹配算法能够获得与其他算法相媲美的匹配结果,优势在于有很高的效率。
本实施例中，所述的环境信息三维重建(405)模块，包含通过兴趣点匹配及对应兴趣点距离解算(4051)、3D特征点重建(4052)、图像关联(4054)、野点检测(4055)、相对位姿解算及位姿误差估计(4056)及基于最小误差的运动决策(4057)。
所述的兴趣点匹配(4051)过程为：线程3中利用线程2中获取的深度图像来计算用于避障用的三维几何信息。首先，左图中的兴趣点有Harris角点检测器检测给出，然后在建立19×19的兴趣描述子之前，利用窗口大小为15×15的排序滤波器对角点进行滤波，以去除一些高频噪声及失真。本实施例中不采用传统的SIFT或SURF特征算子的原因，以上两种特征算子对处理器的计算能力要求较高。
所述的3D特征点重建(4052)过程为：根据已获取的深度图像，可以完成在摄像机坐标系下对角点信息的三维重建。理论上利用连续图像中三个相关点的信息便可以计算空间六个自由度的运动。
所述的图像关联(4054)过程为：图像的关联原则是当前图像的所有兴趣点与之前图像中兴趣点能够全部匹配上。在此基础上通过检测图像在各个方向上的关联性作为关联图像的一致性检测。这样可以应对图像空间中特征的剧烈变化，及实际使用中摄像机需要快速移动或旋转的情形。
所述的野点检测(4055)过程为：野点的检测过程利用静态场景中两个视点中摄像机坐标系下两个三维坐标点之间的距离固定的原则进行检测。
所述的相对位姿解算及位姿误差估计(4056)及优化部分的过程为：当野点被去除后，三维点云之间的相对关系可通过奇异值分解获得，进一步的可通过最小化椭圆误差进行优化。
本实施例中，所述的规避决策(407)模块，包含对双目处理结果进行障碍物与无人机之间相对位姿的坐标变换(4071)、并通过结合无人机的当前状态(4072)及飞行模型(4073)生成规避轨迹(4074)。
特别需要说明的是，图4中在线自标定模块(408)，在无人机的飞行过程中，由于作业的过程中会根据环境调整摄像机的焦距或基线，而需要重新进行标定，而繁琐的标定过程，严重限制了视觉系统在无人机领域中的应用，本发明的在线自标定模块(408)可以实现双目视觉系统的快速标定。标定方法利用消失点几何特性对双目视觉系统进行标定，图6为消失点的形成过程，标定的具体过程如下：
定义摄像机满足针孔模型：
其中，(u,v)为摄像机坐标系C下点(xc,yc,zc)在图像坐标系I下的坐标，(u0,v0)为摄像机主点在图像坐标系下的坐标，kx和ky分别为归一化的焦距，ks为失真参数。
两组平行线在图像中会交于两个消失点，消失点在摄像机坐标系C中的坐标是相互正交的，如下式所示：
其中，xvh＝[xvh yvh 1]T及xvv＝[xvv yvv 1]T分别为两消失点在摄像机坐标系C下的表达，由此xvi,i＝h,v也可写作：
其中，(uh,vh)及(uv,vv)分别为两个消失点在图像坐标系I下的坐标，K11＝1/kx，K12＝-ks/(kxky)，K13＝ksv0/(kxky)-u0/kx，K22＝1/ky及K23＝-v0/ky。进一步可以得到：
其中，
定义h1＝H1/2H，11h1＝H13/H11，h1＝H22/H11，h1＝H23/H11及h1＝H33/H11，可得：
其中，h＝[h1 h2 h3 h4 h5]T及
设计卡尔曼滤波器对h进行估计，考虑h为常矢量，系统的动力学模型为：
h(k+1)＝h(k)+η(k)，
及输出方程为：
yc(k)＝Cc(k)h+υ(k)，
其中，η(k)和υ(k)分别为符合高斯分布的状态变量和输出的噪声。
定义：
当可获得n≥2个消失点后。系统第k拍的测量值为：
z(k)＝[-uh1hv1 -uh2hv2 L -uhnhvn]T
由此利用卡尔曼滤波可以获得摄像机参数的优化结果，进一步可得具体内参数的结果为：
其中，
在实现单个摄像机在线自标定结果后，再根据标定的结果确定两个摄像机的相对位置即可完成双目摄像机的整体标定。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (10)
1.一种基于双目视觉的无人机自主障碍物检测系统，包括无人机，其特征在于：在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统；
所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成，所述两台机载摄像机用于获取无人机的视觉信息，所述视觉采集处理单元处理视觉数据建立三维飞行环境信息，该视觉采集处理单元由完成图像的并行算法的现场可编程门阵列FPGA模块和完成图像的串行算法以及结果发布的嵌入式处理器ARM模块构成；所述嵌入式处理器ARM模块与现场可编程门阵列FPGA模块通过AXI接口进行信息交互,ARM模块(101)在采集完视频数据后通过AXI接口(2011)高速的传递给FPGA模块(202)，并在FPGA模块中对获得到的两路图像数据进行并行处理，并将处理结果通过AXI接口(2025)返回给ARM模块进行图像数据的进一步处理；还包括与嵌入式处理器ARM模块连接的在线自标定模块，其在作业过程中根据环境调整摄像机的焦距或基线利用消失点几何特性对双目视觉系统重新进行标定；
所述其他传感器模块包含惯性测量单元IMU、全球定位系统GPS、磁罗盘及气压计；
所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据，通过融合处理生成飞行控制指令，用于控制无人机飞行；
所述无人机根据飞行控制系统的飞行控制指令进行飞行，实现对障碍物规避飞行功能。
2.根据权利要求1所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述视觉采集处理单元的具体结构为：所述嵌入式处理器ARM模块通过AMBA与外部IO单元进行连接，通过AMBA实现对静态内存单元的控制；现场可编程门阵列FPGA模块包括标准IO接口与外部设备进行连接，对机载摄像机进行同步控制，通过GigE模块实现GigE摄像机的视频采集，通过PCIe接口进行内部数据传输；所述双目视觉系统和其他传感器模块与飞行控制系统之间采用CAN总线的方式进行通信。
3.根据权利要求1或2所述的一种基于双目视觉的无人机自主障碍物检测系统，其特征在于：所述系统还包括遥控器和地面站，所述遥控器、地面站与飞行控制系统及无人机之间以无线链路的方式进行通信。
4.一种如权利要求1至3任一项所述无人机自主障碍物检测系统的检测方法，其特征在于包括以下步骤：
步骤1、双目视觉系统获取无人机飞行环境的视觉信息，并经处理得到障碍物信息；
步骤2、其他传感器单元获取无人机的状态信息；
步骤3、飞行控制系统接收障碍物信息和无人机状态信息，建立飞行路径，生成飞行控制指令并向无人机发送；
步骤4、无人机根据飞行控制系统的飞行控制指令规避障碍物飞行；
其中，所述步骤1的具体实现方法为：
步骤⑴、两台机载摄像机获取无人机的视觉信息；
步骤⑵、视觉采集处理单元的ARM模块(101)获取两路同步图像；
步骤⑶、视觉采集处理单元的ARM模块(101)对两路图像信息进行立体校正；步骤⑷、视觉采集处理单元的FPGA(202)对立体矫正后的图像处理获取视差图像；其中，对两路图像信息进行校正的具体方法为：ARM(101)模块创建四个线程分别进行图像获取(401)、图像矫正(402)、环境信息三维重建(405)及规避决策(407)；嵌入式处理器ARM模块获取带有时间戳标识的图像后，根据摄像机的标定结果对图像进行失真校正及立体匹配矫正，处理结果传递给现场可编程门阵列FPGA模块；
步骤⑸、视觉采集处理单元的FPGA(202)利用视差图进行环境信息的三维重建，从而获得障碍物信息。
5.根据权利要求4所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤⑵视觉采集处理单元获取同步图像的具体方法为：现场可编程门阵列FPGA模块通过控制同步触发单元产生同步信号，控制机载摄像机同步采集图像，并将图像传输给嵌入式处理器ARM模块，利用时间戳标识图像，用于后续处理分析。
6.根据权利要求5所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤⑷视觉采集处理单元处理获取视差图像的具体方法为：现场可编程门阵列FPGA模块利用并行处理技术，首先利用均值漂移算法对图像进行分割处理,然后计算像素间的匹配代价,再结合图像分割信息构造新的全局能量函数,之后在多方向上进行匹配代价的聚合,最后选取使得全局能量函数最小的视差图为视差图像；
所述步骤⑸视觉采集处理单元利用视差图进行环境信息的三维重建，从而获得障碍物信息的具体方法为：结合图像特征与视差图像通过兴趣点匹配及对应兴趣点距离解算、3D特征点重建、图像关联、野点检测、相对位姿解算及位姿误差估计以及基于最小误差的运动决策，从而获得障碍物信息。
7.根据权利要求4所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述步骤3飞行控制系统建立飞行路径及飞行控制指令的方法为：飞行控制系统根据障碍物信息判断无人机的原飞行路径上是否存在障碍物；进而根据障碍物信息和无人机状态信息生成新的飞行路径；根据其他传感器数据和新的飞行路径生成飞行控制指令。
8.根据权利要求4至7任一项所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：所述双目视觉系统获得的障碍物信息包括：障碍物与无人机之间的相对位姿、障碍物的种类、尺寸、形状及运动状态信息；所述其他传感器单元获取所述无人机的状态信息包括：飞行高度、飞行航向、飞行速度、飞行姿态信息。
9.根据权利要求4所述的一种基于双目视觉的无人机自主障碍物检测方法，其特征在于：摄像机内参数为，
其中，
(u0,v0)为摄像机主点在图像坐标系下的坐标，kx和ky分别为归一化的焦距，ks为失真参数,K11＝1/kx，K12＝-ks/(kxky)，K13＝ksv0/(kxky)-u0/kx，K22＝1/ky及K23＝-v0/ky。
10.一种具有如权利要求1-4任一项所述的基于双目视觉的无人机自主障碍物检测系统的无人机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810363577.7A CN108594851A (zh) | 2015-10-22 | 2015-10-22 | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510688485.2A CN105222760A (zh) | 2015-10-22 | 2015-10-22 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
| CN201810363577.7A CN108594851A (zh) | 2015-10-22 | 2015-10-22 | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510688485.2A Division CN105222760A (zh) | 2015-10-22 | 2015-10-22 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108594851A true CN108594851A (zh) | 2018-09-28 |
Family
ID=54991851
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810363577.7A Pending CN108594851A (zh) | 2015-10-22 | 2015-10-22 | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 |
| CN201510688485.2A Pending CN105222760A (zh) | 2015-10-22 | 2015-10-22 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510688485.2A Pending CN105222760A (zh) | 2015-10-22 | 2015-10-22 | 一种基于双目视觉的无人机自主障碍物检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN108594851A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110864670A (zh) * | 2019-11-27 | 2020-03-06 | 苏州智加科技有限公司 | 目标障碍物位置的获取方法和系统 |
| CN110928318A (zh) * | 2019-12-31 | 2020-03-27 | 苏州清研微视电子科技有限公司 | 基于fpga的双目视觉辅助驾驶系统 |
| CN110958362A (zh) * | 2019-11-27 | 2020-04-03 | 湖南海森格诺信息技术有限公司 | 基于分块查表的图像校正系统及其方法 |
| CN111028231A (zh) * | 2019-12-27 | 2020-04-17 | 易思维（杭州）科技有限公司 | 基于arm和fpga的工件位置获取系统 |
| CN111343379A (zh) * | 2020-02-25 | 2020-06-26 | 华南理工大学 | 基于fpga的数据高速采集装置及方法 |
| CN111431644A (zh) * | 2020-03-24 | 2020-07-17 | 南京航空航天大学 | 面向频谱认知的无人机路径自主规划装置及方法 |
| CN111899170A (zh) * | 2020-07-08 | 2020-11-06 | 北京三快在线科技有限公司 | 障碍物检测方法、装置、无人机和存储介质 |
| CN112050814A (zh) * | 2020-08-28 | 2020-12-08 | 国网智能科技股份有限公司 | 一种室内变电站无人机视觉导航系统及方法 |
| CN112956461A (zh) * | 2020-12-21 | 2021-06-15 | 开放智能机器（上海）有限公司 | 一种基于图像识别的智能农业杀虫系统 |
| CN113095107A (zh) * | 2019-12-23 | 2021-07-09 | 沈阳新松机器人自动化股份有限公司 | 一种用于agv导航的多目视觉系统及方法 |
| WO2021146972A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 空域检测方法、可移动平台、设备和存储介质 |
| CN113345009A (zh) * | 2021-05-31 | 2021-09-03 | 湖南大学 | 一种基于激光里程计的无人机动态障碍物检测方法 |
| US20210325909A1 (en) * | 2018-12-29 | 2021-10-21 | Autel Robotics Co., Ltd. | Method, apparatus and unmanned aerial vehicle for processing depth map |
| CN113776540A (zh) * | 2021-11-09 | 2021-12-10 | 北京艾克利特光电科技有限公司 | 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法 |
| CN114020023A (zh) * | 2021-11-04 | 2022-02-08 | 中科晶锐(苏州)科技有限公司 | 一种基于无人机的嵌入式ai摄像分析系统及方法 |
| CN114913717A (zh) * | 2022-07-20 | 2022-08-16 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
| CN114937159A (zh) * | 2022-07-27 | 2022-08-23 | 成都飞机工业（集团）有限责任公司 | 一种基于gpu加速的双目匹配方法 |
| WO2022227092A1 (zh) * | 2021-04-30 | 2022-11-03 | 深圳市大疆创新科技有限公司 | 可移动平台、芯片设计的验证装置、验证方法 |
Families Citing this family (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110282132B (zh) | 2016-01-26 | 2021-04-02 | 深圳市大疆创新科技有限公司 | 无人飞行器及多目成像系统 |
| CN105741234B (zh) * | 2016-01-27 | 2019-03-29 | 江苏科技大学 | 基于三维全景环视的无人艇自动锚泊视觉辅助系统 |
| JP6685755B2 (ja) * | 2016-02-16 | 2020-04-22 | 東芝ライフスタイル株式会社 | 自律走行体 |
| CN205490841U (zh) * | 2016-02-24 | 2016-08-17 | 深圳市大疆创新科技有限公司 | 无人机及其使用的多目影像模组 |
| CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
| WO2017147731A1 (en) | 2016-02-29 | 2017-09-08 | SZ DJI Technology Co., Ltd. | Uav hardware architecture |
| CN105759836A (zh) * | 2016-03-14 | 2016-07-13 | 武汉卓拔科技有限公司 | 一种基于3d摄像头的无人机避障方法及装置 |
| CN105759829A (zh) * | 2016-04-12 | 2016-07-13 | 深圳市龙云创新航空科技有限公司 | 基于激光雷达的微型无人机操控方法及系统 |
| CN105931240B (zh) | 2016-04-21 | 2018-10-19 | 西安交通大学 | 三维深度感知装置及方法 |
| CN109076249B (zh) * | 2016-05-06 | 2020-11-17 | 深圳市大疆创新科技有限公司 | 用于视频处理和显示的系统和方法 |
| CN105824322A (zh) * | 2016-05-11 | 2016-08-03 | 飞智控（天津）科技有限公司 | 基于激光雷达的无人机地形跟随系统及方法 |
| CN105892489B (zh) * | 2016-05-24 | 2019-09-10 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
| CN106094847A (zh) * | 2016-06-07 | 2016-11-09 | 廖兴池 | 一种无人机自动避障控制技术及其装置 |
| CN106097342B (zh) * | 2016-06-13 | 2019-04-30 | 北京理工大学 | 一种机器人宇航员双目视觉系统的自标定方法 |
| CN106020232B (zh) * | 2016-07-07 | 2019-08-02 | 天津航天中为数据系统科技有限公司 | 一种无人机避障装置及避障方法 |
| CN107608371A (zh) * | 2016-07-12 | 2018-01-19 | 何守印 | 城市社区环境下四旋翼自主避障无人机 |
| CN105973264A (zh) * | 2016-07-21 | 2016-09-28 | 触景无限科技（北京）有限公司 | 一种智能导盲系统 |
| CN107783119A (zh) * | 2016-08-25 | 2018-03-09 | 大连楼兰科技股份有限公司 | 应用在避障系统中的决策融合方法 |
| CN106446776A (zh) * | 2016-08-29 | 2017-02-22 | 广西塔锡科技有限公司 | 一种基于无人机的智能辨认方法及其系统 |
| CN106227226A (zh) * | 2016-08-30 | 2016-12-14 | 西安瑞日电子发展有限公司 | 一种一体化无人机飞行的控制装置和方法 |
| CN106155091A (zh) * | 2016-08-31 | 2016-11-23 | 众芯汉创（北京）科技有限公司 | 一种无人机避障方法和装置 |
| CN106168810A (zh) * | 2016-09-18 | 2016-11-30 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种基于rtk的无人机飞行避障系统和方法 |
| CN106289186B (zh) * | 2016-09-21 | 2019-04-19 | 南京航空航天大学 | 旋翼无人机机载视觉探测与多目标定位系统及实现方法 |
| CN106441275A (zh) * | 2016-09-23 | 2017-02-22 | 深圳大学 | 一种机器人规划路径的更新方法及装置 |
| CN107272713A (zh) * | 2016-10-20 | 2017-10-20 | 天津科技大学 | 一种水下机器人不确定流场环境自适应控制系统 |
| CN106503653B (zh) * | 2016-10-21 | 2020-10-13 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
| WO2018086050A1 (zh) * | 2016-11-11 | 2018-05-17 | 深圳市大疆创新科技有限公司 | 深度图生成方法和基于该方法的无人机 |
| WO2018090205A1 (en) * | 2016-11-15 | 2018-05-24 | SZ DJI Technology Co., Ltd. | Method and system for image-based object detection and corresponding movement adjustment maneuvers |
| CN106598226B (zh) * | 2016-11-16 | 2019-05-21 | 天津大学 | 一种基于双目视觉和深度学习的无人机人机交互方法 |
| WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技（深圳）有限公司 | 飞行器的信息获取方法、装置及设备 |
| CN106815550B (zh) * | 2016-11-25 | 2020-02-07 | 中国科学院自动化研究所 | 基于视觉恐惧反应脑机制的应急避障方法 |
| CN106524924B (zh) * | 2016-11-25 | 2020-04-14 | 闫东坤 | 一种基于光学惯性组合的轨检车位置姿态测量系统及方法 |
| CN106681353B (zh) * | 2016-11-29 | 2019-10-25 | 南京航空航天大学 | 基于双目视觉与光流融合的无人机避障方法及系统 |
| CN109983414A (zh) * | 2016-12-07 | 2019-07-05 | 深圳市大疆创新科技有限公司 | 用于支持在可移动平台中进行同步的系统和方法 |
| CN106772435B (zh) * | 2016-12-12 | 2019-11-19 | 浙江华飞智能科技有限公司 | 一种无人机避障方法和装置 |
| CN108269281B (zh) * | 2016-12-30 | 2023-06-13 | 上海安维尔信息科技股份有限公司 | 基于双目视觉的避障技术方法 |
| CN107636679B (zh) * | 2016-12-30 | 2021-05-25 | 达闼机器人有限公司 | 一种障碍物检测方法及装置 |
| CN108615243A (zh) * | 2017-01-25 | 2018-10-02 | 北京三星通信技术研究有限公司 | 立体多媒体信息的确定方法、装置及系统 |
| CN106941607A (zh) * | 2017-02-22 | 2017-07-11 | 万物感知（深圳）科技有限公司 | 立体惯性摄像系统 |
| CN106814744A (zh) * | 2017-03-14 | 2017-06-09 | 吉林化工学院 | 一种无人机飞行控制系统以及方法 |
| CN107065926A (zh) * | 2017-04-12 | 2017-08-18 | 普宙飞行器科技（深圳）有限公司 | 全向避障装置、云台、云台的控制方法及避障控制方法 |
| CN106878687A (zh) * | 2017-04-12 | 2017-06-20 | 吉林大学 | 一种基于多传感器的车载环境识别系统及全方位视觉模块 |
| CN108733064A (zh) * | 2017-04-18 | 2018-11-02 | 中交遥感载荷（北京）科技有限公司 | 一种无人机的视觉定位避障系统及其方法 |
| CN106950996A (zh) * | 2017-05-09 | 2017-07-14 | 广东容祺智能科技有限公司 | 一种基于无人机铁路高压电线巡检避障系统 |
| CN106959702A (zh) * | 2017-05-23 | 2017-07-18 | 广东容祺智能科技有限公司 | 一种无人机自主避让方法及系统 |
| CN107422745A (zh) * | 2017-06-03 | 2017-12-01 | 复旦大学 | 具备组网能力的可编程无人机装置 |
| CN107402578A (zh) * | 2017-06-21 | 2017-11-28 | 中国科学院深圳先进技术研究院 | 无人机全景障碍感知方法、装置、设备及存储介质 |
| CN109493387B (zh) * | 2017-09-11 | 2021-01-05 | 北京图森未来科技有限公司 | 一种多摄像头光轴对齐的方法和装置 |
| CN107608384A (zh) * | 2017-10-13 | 2018-01-19 | 南京涵曦月自动化科技有限公司 | 一种无人机避障方法 |
| CN108052111B (zh) * | 2017-10-24 | 2021-02-09 | 南京奇蛙智能科技有限公司 | 一种基于双目视觉技术的无人机实时避障方法 |
| CN107886099A (zh) * | 2017-11-09 | 2018-04-06 | 电子科技大学 | 协同神经网络及其构建方法和飞行器自主避障方法 |
| CN109074661A (zh) * | 2017-12-28 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 图像处理方法和设备 |
| CN108062111A (zh) * | 2018-02-06 | 2018-05-22 | 贵州电网有限责任公司 | 一种多旋翼无人机自主避障装置和避障方法 |
| CN108298070A (zh) * | 2018-03-13 | 2018-07-20 | 福州大学 | 一种适用于狭窄空间的高续航能力飞行器及控制方法 |
| CN108319287A (zh) * | 2018-03-16 | 2018-07-24 | 广东容祺智能科技有限公司 | 一种无人机智能躲避飞行物的系统及其方法 |
| CN108445905A (zh) * | 2018-03-30 | 2018-08-24 | 合肥赛为智能有限公司 | 一种无人机智能化避障调控系统 |
| CN108844538B (zh) * | 2018-05-07 | 2021-01-19 | 中国人民解放军国防科技大学 | 一种基于视觉/惯导的无人机避障航点生成方法 |
| CN108764080B (zh) * | 2018-05-17 | 2021-10-01 | 中国电子科技集团公司第五十四研究所 | 一种基于点云空间二值化的无人机视觉避障方法 |
| CN108762297A (zh) * | 2018-05-18 | 2018-11-06 | 航天图景（北京）科技有限公司 | 一种无人机三维避障驾驶系统及驾驶方法 |
| CN108805928B (zh) * | 2018-05-23 | 2023-04-18 | 平安科技（深圳）有限公司 | 控制无人设备直播的方法、装置、计算机设备及存储介质 |
| CN108572656A (zh) * | 2018-06-08 | 2018-09-25 | 赫星科技有限公司 | 无人机定位装置以及无人机 |
| CN109032018B (zh) * | 2018-08-02 | 2020-04-24 | 清华大学 | 基于嵌入式gpu的无人机通用信号处理装置 |
| CN109166149B (zh) * | 2018-08-13 | 2021-04-02 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
| CN109360240B (zh) * | 2018-09-18 | 2022-04-22 | 华南理工大学 | 一种基于双目视觉的小型无人机定位方法 |
| CN109060281B (zh) * | 2018-09-18 | 2022-01-18 | 山东理工大学 | 基于无人机的一体化桥梁检测系统 |
| CN109459046B (zh) * | 2018-11-23 | 2020-05-26 | 杭州电子科技大学 | 悬浮式水下自主航行器的定位和导航方法 |
| CN109901580A (zh) * | 2019-03-13 | 2019-06-18 | 华南理工大学 | 一种无人机与无人地面机器人协作循径避障系统及其方法 |
| CN111854770B (zh) * | 2019-04-30 | 2022-05-13 | 北京魔门塔科技有限公司 | 一种车辆的定位系统和方法 |
| CN110264530A (zh) * | 2019-06-27 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 一种相机标定方法、装置和无人机 |
| CN110336809B (zh) * | 2019-06-28 | 2022-07-01 | 国网内蒙古东部电力有限公司 | 一种机载fpga并行加速图像分析处理系统的方法 |
| CN110308729B (zh) * | 2019-07-18 | 2022-05-10 | 石家庄辰宙智能装备有限公司 | 基于视觉与imu或里程计的agv组合导航定位方法 |
| CN111232234A (zh) * | 2020-02-10 | 2020-06-05 | 江苏大学 | 一种飞行器空间实时定位系统的方法 |
| CN111508005A (zh) * | 2020-03-02 | 2020-08-07 | 北京优世达科技有限公司 | 一种基于双目视觉无人船水上障碍物自主检测系统 |
| CN113433965B (zh) * | 2020-03-23 | 2023-01-31 | 北京三快在线科技有限公司 | 无人机避障方法，装置，存储介质及电子设备 |
| CN111505692B (zh) * | 2020-04-30 | 2021-03-12 | 中北大学 | 一种基于北斗/视觉的组合定位导航方法 |
| CN111673748B (zh) * | 2020-06-06 | 2022-05-13 | 四川大学 | 气体绝缘开关视觉检查机器人的人机交互感知系统及方法 |
| CN112614171B (zh) * | 2020-11-26 | 2023-12-19 | 厦门大学 | 面向工程机械集群作业的空-地一体化动态环境感知系统 |
| CN112734970B (zh) * | 2020-12-22 | 2022-12-27 | 沈阳工程学院 | 基于LoRaWAN定位技术的风电场无人机自动巡检系统及方法 |
| CN113467500B (zh) * | 2021-07-19 | 2022-10-11 | 天津大学 | 一种基于双目视觉的无人机非合作目标追踪系统 |
| CN115115957B (zh) * | 2022-08-30 | 2022-12-30 | 珠海翔翼航空技术有限公司 | 基于影像分析的飞机识别系统、识别方法及识别设备 |
| CN117193382B (zh) * | 2023-11-07 | 2024-05-03 | 北京同兴世纪科技有限公司 | 一种无人机飞行路径确定方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231750A (zh) * | 2008-02-21 | 2008-07-30 | 南京航空航天大学 | 一种双目立体测量系统的标定方法 |
| CN102360218A (zh) * | 2011-10-14 | 2012-02-22 | 天津大学 | 基于arm和fpga的无人直升机导航与飞行控制系统 |
| CN102830708A (zh) * | 2012-09-05 | 2012-12-19 | 北京理工大学 | 基于arm和fpga架构的固定翼无人机自动驾驶仪 |
| CN103606149A (zh) * | 2013-11-14 | 2014-02-26 | 深圳先进技术研究院 | 一种双目摄像机的标定方法、装置及双目摄像机 |
| CN103770943A (zh) * | 2014-01-23 | 2014-05-07 | 南京模拟技术研究所 | 一种智能施药无人直升机 |
| CN204154389U (zh) * | 2014-09-30 | 2015-02-11 | 青岛市光电工程技术研究院 | 一种低空微型无人机载多光谱成像系统 |
| CN104808210A (zh) * | 2015-04-16 | 2015-07-29 | 深圳大学 | 一种声纳和双目视觉成像系统的融合成像装置及方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7818127B1 (en) * | 2004-06-18 | 2010-10-19 | Geneva Aerospace, Inc. | Collision avoidance for vehicle control systems |
| CN102707724B (zh) * | 2012-06-05 | 2015-01-14 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
| CN102902276A (zh) * | 2012-10-12 | 2013-01-30 | 大连理工大学 | 一种基于偏振光传感器的飞行控制系统 |
| CN203512042U (zh) * | 2013-05-24 | 2014-04-02 | 胡辉 | 用于磁场检测的无人机 |
| CN104217439B (zh) * | 2014-09-26 | 2017-04-19 | 南京工程学院 | 一种室内视觉定位系统及方法 |
| CN104331086A (zh) * | 2014-11-06 | 2015-02-04 | 国家电网公司 | 用于电力巡线小型多轴飞行器的飞行控制系统 |
| CN104656663B (zh) * | 2015-02-15 | 2017-12-01 | 西北工业大学 | 一种基于视觉的无人机编队感知与规避方法 |
-
2015
- 2015-10-22 CN CN201810363577.7A patent/CN108594851A/zh active Pending
- 2015-10-22 CN CN201510688485.2A patent/CN105222760A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231750A (zh) * | 2008-02-21 | 2008-07-30 | 南京航空航天大学 | 一种双目立体测量系统的标定方法 |
| CN102360218A (zh) * | 2011-10-14 | 2012-02-22 | 天津大学 | 基于arm和fpga的无人直升机导航与飞行控制系统 |
| CN102830708A (zh) * | 2012-09-05 | 2012-12-19 | 北京理工大学 | 基于arm和fpga架构的固定翼无人机自动驾驶仪 |
| CN103606149A (zh) * | 2013-11-14 | 2014-02-26 | 深圳先进技术研究院 | 一种双目摄像机的标定方法、装置及双目摄像机 |
| CN103770943A (zh) * | 2014-01-23 | 2014-05-07 | 南京模拟技术研究所 | 一种智能施药无人直升机 |
| CN204154389U (zh) * | 2014-09-30 | 2015-02-11 | 青岛市光电工程技术研究院 | 一种低空微型无人机载多光谱成像系统 |
| CN104808210A (zh) * | 2015-04-16 | 2015-07-29 | 深圳大学 | 一种声纳和双目视觉成像系统的融合成像装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 苏东: "基于双目视觉的小型无人飞行器的导航与避障", 《中国优秀硕士学位论文全文库（电子期刊）信息科技辑》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3889544A4 (en) * | 2018-12-29 | 2022-01-26 | Autel Robotics Co., Ltd. | DEPTH IMAGE PROCESSING METHOD AND DEVICE AND UNMANNED AERIAL VEHICLE |
| US20210325909A1 (en) * | 2018-12-29 | 2021-10-21 | Autel Robotics Co., Ltd. | Method, apparatus and unmanned aerial vehicle for processing depth map |
| CN110958362A (zh) * | 2019-11-27 | 2020-04-03 | 湖南海森格诺信息技术有限公司 | 基于分块查表的图像校正系统及其方法 |
| CN110864670A (zh) * | 2019-11-27 | 2020-03-06 | 苏州智加科技有限公司 | 目标障碍物位置的获取方法和系统 |
| CN113095107A (zh) * | 2019-12-23 | 2021-07-09 | 沈阳新松机器人自动化股份有限公司 | 一种用于agv导航的多目视觉系统及方法 |
| CN111028231A (zh) * | 2019-12-27 | 2020-04-17 | 易思维（杭州）科技有限公司 | 基于arm和fpga的工件位置获取系统 |
| CN110928318A (zh) * | 2019-12-31 | 2020-03-27 | 苏州清研微视电子科技有限公司 | 基于fpga的双目视觉辅助驾驶系统 |
| WO2021146972A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 空域检测方法、可移动平台、设备和存储介质 |
| CN111343379A (zh) * | 2020-02-25 | 2020-06-26 | 华南理工大学 | 基于fpga的数据高速采集装置及方法 |
| CN111431644A (zh) * | 2020-03-24 | 2020-07-17 | 南京航空航天大学 | 面向频谱认知的无人机路径自主规划装置及方法 |
| CN111899170A (zh) * | 2020-07-08 | 2020-11-06 | 北京三快在线科技有限公司 | 障碍物检测方法、装置、无人机和存储介质 |
| CN112050814A (zh) * | 2020-08-28 | 2020-12-08 | 国网智能科技股份有限公司 | 一种室内变电站无人机视觉导航系统及方法 |
| CN112956461A (zh) * | 2020-12-21 | 2021-06-15 | 开放智能机器（上海）有限公司 | 一种基于图像识别的智能农业杀虫系统 |
| WO2022227092A1 (zh) * | 2021-04-30 | 2022-11-03 | 深圳市大疆创新科技有限公司 | 可移动平台、芯片设计的验证装置、验证方法 |
| CN113345009A (zh) * | 2021-05-31 | 2021-09-03 | 湖南大学 | 一种基于激光里程计的无人机动态障碍物检测方法 |
| CN114020023A (zh) * | 2021-11-04 | 2022-02-08 | 中科晶锐(苏州)科技有限公司 | 一种基于无人机的嵌入式ai摄像分析系统及方法 |
| CN113776540A (zh) * | 2021-11-09 | 2021-12-10 | 北京艾克利特光电科技有限公司 | 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法 |
| CN113776540B (zh) * | 2021-11-09 | 2022-03-22 | 北京艾克利特光电科技有限公司 | 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法 |
| CN114913717A (zh) * | 2022-07-20 | 2022-08-16 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
| CN114913717B (zh) * | 2022-07-20 | 2022-09-27 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
| CN114937159A (zh) * | 2022-07-27 | 2022-08-23 | 成都飞机工业（集团）有限责任公司 | 一种基于gpu加速的双目匹配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105222760A (zh) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108594851A (zh) | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 | |
| CN109029417B (zh) | 基于混合视觉里程计和多尺度地图的无人机slam方法 | |
| US11218689B2 (en) | Methods and systems for selective sensor fusion | |
| WO2022021739A1 (zh) | 一种语义智能变电站机器人仿人巡视作业方法及系统 | |
| CN205049143U (zh) | 一种基于双目视觉的无人机自主障碍物检测系统 | |
| CN109885080B (zh) | 自主控制系统及自主控制方法 | |
| CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| Deng et al. | Indoor multi-camera-based testbed for 3-D tracking and control of UAVs | |
| CN110068335A (zh) | 一种gps拒止环境下无人机集群实时定位方法及系统 | |
| CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
| CN108733064A (zh) | 一种无人机的视觉定位避障系统及其方法 | |
| WO2018027339A1 (en) | Copyright notice | |
| CN112789672A (zh) | 控制和导航系统、姿态优化、映射和定位技术 | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| Wang et al. | An intelligent ground-air cooperative navigation framework based on visual-aided method in indoor environments | |
| Mao et al. | Obstacle recognition and avoidance for UAVs under resource-constrained environments | |
| CN116957360A (zh) | 一种基于无人机的空间观测与重建方法及系统 | |
| CN108416044B (zh) | 场景缩略图的生成方法、装置、电子设备及存储介质 | |
| CN116149371A (zh) | 一种基于视觉传感器网络的多运动体三维跟踪与控制平台 | |
| Ross et al. | Vision-based target geolocation and optimal surveillance on an unmanned aerial vehicle | |
| Chen et al. | Outdoor 3d environment reconstruction based on multi-sensor fusion for remote control | |
| Ma et al. | Vision-based formation control for an outdoor UAV swarm with hierarchical architecture | |
| Wang et al. | Real-time visual odometry for autonomous MAV navigation using RGB-D camera | |
| Dias et al. | Multi-robot cooperative stereo for outdoor scenarios | |
| Xu et al. | Collaborative Exploration and Mapping with Multimodal LiDAR Sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |
|
| RJ01 | Rejection of invention patent application after publication |