CN109857144A - 无人机、无人机控制系统及控制方法 - Google Patents

无人机、无人机控制系统及控制方法 Download PDF

Info

Publication number
CN109857144A
CN109857144A CN201711337673.6A CN201711337673A CN109857144A CN 109857144 A CN109857144 A CN 109857144A CN 201711337673 A CN201711337673 A CN 201711337673A CN 109857144 A CN109857144 A CN 109857144A
Authority
CN
China
Prior art keywords
image
arithmetic unit
feature point
point set
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711337673.6A
Other languages
English (en)
Other versions
CN109857144B (zh
Inventor
陈国睿
蔡洛纬
周业凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN109857144A publication Critical patent/CN109857144A/zh
Application granted granted Critical
Publication of CN109857144B publication Critical patent/CN109857144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/13—Propulsion using external fans or propellers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种无人机控制方法，适用于具有摄影机的无人机。所述控制方法包括：通过摄影机取得第一影像，通过摄影机在取得第一影像之后取得第二影像，通过运算装置根据第一影像及第二影像分别计算出多个特征点，通过运算装置选取第一特征点集合及第二特征点集合，通过运算装置根据第一特征点集合及第二特征点集合计算出第一轴向位移及第二轴向位移，通过运算装置根据第一特征点集合及第二特征点集合计算出第一感兴趣区域面积及第二感兴趣区域面积并计算出第三轴向位移，通过控制装置根据第一轴向位移、第二轴向位移及第三轴向位移调整摄影机的姿态或无人机的飞行路径。

Description

无人机、无人机控制系统及控制方法
技术领域
本发明涉及一种无人机控制方法，特别涉及一种通过酬载摄影机拍摄的影像修正摄影机姿态(Pose)或无人机飞行路径的控制方法。
背景技术
桥梁是交通网络的咽喉。为了在桥梁的服务年限内确保行车安全及交通顺畅，定期桥梁检测成为养护工作的重要环节。桥梁检测一般以目检为主，然而若是桥梁周围的地形险峻使得观察不易，则须借助桥梁检测车、高空作业车或小型船艇等辅助工具趋近桥梁四周。从工作安全性的角度而言，检测人员乘坐上述特殊车械时暴露在危险环境中。另一方面，检测车械通常体积庞大，操作起来不仅费时，动用成本也较昂贵。
无人机作为新一代的科技产物，近年来被广泛应用于航空拍摄、工程监察、农林作业、环境观测及灾难搜救等多种领域。然而以桥梁检测而言，现今通过无人机进行桥梁检测大多采取人工介入方式，配置至少一名专业飞手辅助操作。由于桥梁必须因应地貌采取非直线或是非等高的结构，使得单纯通过全球定位系统(Global Positioning System，GPS)设置起止坐标固定调度方式无法适用于具有特殊结构设计的桥梁。另外，还必须考虑GPS或气压计等仪器的估测误差，以及无人机拍摄时被风吹离航线的不确定因素，上述方法都增加了自动导航的设计难度。另外，若采用同步定位与地图构建(Simultaneouslocalization and mapping，SLAM)的视觉导航方法，则必须预先建立目标桥梁的地图场景，辅以复杂计算方可得到较精确的摄影机位置与目标对应关系。而若是采用实时动态技术(Real Time Kinematic，RTK)，虽可达到公分等级的精准度，但却又必须额外增设地面信号基准站、流动站及无线电通信系统。因此，应用SLAM和RTK在桥梁检测也不符合经济效益。
发明内容
有鉴于此，本发明提出一种无人机控制方法。通过摄影机连续拍摄目标影像，根据影像计算无人机在这段连续时间内的位移向量，并实时将校正信息反馈，进行飞行路径修正或云台控制调整等工作，然后执行下一次的自动拍摄。而且航拍期间不需额外使用昂贵的特殊车械或检测器材，因此节省工程检测的设备开销。从实务角度来看，本发明提供一种通过无人机自动检测的解决方案，有效提升工程检测效率，并保障检测人员安全。本发明除了应用在桥梁检测，在建筑物外观检测或是太阳能板检测等类似任务上同样具有高度实用性。
本发明的一个方面提供了一种无人机控制方法，适用于具有摄影机以拍摄目标的无人机。所述控制方法包括：在第一时间取得第一影像；通过摄影机在第一时间之后的第二时间取得第二影像；通过运算装置根据第一影像及第二影像分别计算出多个特征点；通过运算装置选取第一特征点集合及第二特征点集合，其中，第一特征点集合包括第一影像的多个特征点之中的至少三个特征点，第二特征点集合包括第二影像的多个特征点之中的至少三个特征点；通过运算装置根据第一特征点集合及第二特征点集合计算出第一轴向位移及第二轴向位移；通过运算装置根据第一特征点集合及第二特征点集合分别计算出第一感兴趣区域面积及第二感兴趣区域面积，且运算装置还根据第一感兴趣区域面积及第二感兴趣区域面积计算出第三轴向位移；以及控制装置根据第一轴向位移、第二轴向位移及第三轴向位移调整摄影机的姿态(Pose)或无人机的飞行路径。
本发明的另一个方面提供了一种无人机控制系统，包括：摄影机、运算装置及控制装置。摄影机用以取得无人机飞行过程中的第一影像及第二影像，其中，第一影像在第一时间拍摄，第二影像在第二时间拍摄，且第一时间早于第二时间。运算装置电性连接摄影机，运算装置根据第一影像及第二影像计算无人机从第一时间到第二时间的位移向量。控制装置电性连接运算装置，控制装置用于根据位移向量选择性地调整云台以改变摄影机的拍摄姿态，或调整无人机的飞行路径。
本发明的另一个方面提供了一种无人机，包括：飞行系统、控制系统、云台以及机架。其中，飞行系统包括桨翼、马达以及马达驱动装置。桨翼可以旋转以提供无人机上升浮力。马达通过主轴连接桨翼，马达用于提供桨翼旋转动力。马达驱动装置电性连接马达并根据飞行控制命令致动马达。其中，控制系统包括摄影机、运算装置及控制装置。摄影机先后取得第一影像及第二影像，即第一影像在第一时间拍摄，第二影像在第二时间拍摄，且第一时间早于第二时间。运算装置电性连接摄影机，运算装置根据第一影像及第二影像计算无人机从第一时间到第二时间的位移向量。控制装置电性连接运算装置及云台，控制装置根据位移向量选择性地发送云台调整命令或发送飞行控制命令。云台电性连接摄影机，云台具有伺服马达，云台接收云台调整命令以驱动伺服马达调整摄影机的拍摄姿态。机架用于承载飞行系统、控制系统及云台。
通过上述架构，本案所揭露的无人机控制方法、无人机控制系统以及具有此控制系统的无人机，通过酬载摄影机针对目标拍摄的连续影像，通过运算装置计算出影像特征点，并进一步根据这些特征点换算出无人机在两次拍摄影像之间的三轴位移向量，再反馈至无人机的云台或飞行控制系统以便调整摄影机姿态或无人机飞行路径以达到更佳的拍摄效果。此外，采用本发明所揭露的无人机及无人机控制系统，不需额外增设传感器或通信套件即可通过本发明所揭露的无人机控制方法进行自动航拍，因此可节省传统通过人员遥控方式控制无人机执行检测时的人力成本。
以上关于本揭露内容的说明及以下实施方式的说明是用以示范与解释本发明的精神与原理，并且提供本发明的专利申请范围更进一步的解释。
附图说明
图1示意性示出了依据本发明一实施例的无人机控制系统的框图；
图2示意性示出了依据本发明一实施例的无人机控制方法的流程图；
图3示意性示出了依据本发明一实施例的影像特征点示意图；
图4示意性示出了依据本发明一实施例的感兴趣区域选取示意图；
图5示意性示出了依据本发明一实施例的无人机框图；以及
图6示意性示出了依据本发明一实施例的无人机结构示意图。
符号说明
S12-S72 步骤
1 无人机
10 飞行系统
11 控制系统
12 云台
13 机架
22 摄影机
24 运算装置
26 控制装置
ROI 感兴趣区域
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、权利要求及附图，任何本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例为进一步详细说明本发明的观点，但并非以任何观点限制本发明的范畴。
请一并参考图1及图2。图1示意性示出了依据本发明一实施例中的无人机控制系统11。图2为以图1所示的无人机控制系统11运作无人机控制方法的流程图。如图1所示，无人机控制系统11包括摄影机22、运算装置24以及控制装置26。运算装置24电性连接摄影机22，控制装置26电性连接运算装置24。
请参考图2的步骤S12及S14。在步骤S12中，在第一时间取得第一影像；在步骤S14中，通过摄影机22在第二时间取得第二影像，其中，第一时间早于第二时间。例如，摄影机22在第一时间拍摄第一影像，并在第二时间拍摄第二影像。根据本发明的实施例，控制装置26可以包括定时器用于累计第一时间及第二时间之间隔时间。具体地，当摄影机22在第一时间拍摄第一影像时，控制装置26致动定时器开始累计间隔时间，当累计的间隔时间达到默认值后，控制装置26致动摄影机22在第二时间拍摄第二影像。根据本发明的实施例，控制装置26可以还结合用以感测飞行速度的加速度计或用以感测飞行高度的气压计等传感器的感测数值，以决定第二时间与第一时间之间的拍摄间隔。另外，摄影机22可针对目标(例如：桥梁)先后拍摄两张静态照片，并以此作为第一影像和第二影像；然而，摄影机22也可以针对目标拍摄一段影片，而控制装置26在指定的第一时间和第二时间中提取影片中的两帧画面作为第一影像及第二影像。或者，还可以在无人机飞行之前，先由其他摄影机预先拍摄目标的影像，并输入至无人机控制系统11作为第一影像。换言之，本发明对于取得第一影像及第二影像的方式不予限制。
请参考图2的步骤S16。在步骤S16中，运算装置24根据第一影像及第二影像计算总差异量。具体而言，运算装置24接收第一影像和第二影像后，计算两张影像之间的差异程度。由于在本发明所揭露的无人机控制方法是通过在一段时间中取得的两张影像计算得出位移向量，因此，在计算位移向量之前，可以先确认摄影机22拍摄的第二影像相较于第一影像具有足够的差异程度。具体地，运算装置24将第一影像及第二影像各自分成n×n的区块，其中，n为大于1的正整数。通过下列公式1，运算装置24计算第一影像中与第二影像中相对应的两区块之间的差异量。
其中，Bdiff为差异量，Mi，k及Vi，k分别表示第k影像的第i个区块的平均值及变异数，Mi，p及Vi，p分别表示第p影像的第i个区块的平均值及变异数，上述第k影像及第p影像在本实施例中等同于第一影像及第二影像。若Bdiff小于设定的阈值Tb，则区块i视为无明显差异。运算装置24依照公式1重复计算出每个区块的差异量，再加总得出整张画面的总差异量。请参考图2的步骤S18，在步骤S18中，运算装置24判断总差异量是否小于阈值Tf。若总差异量大于或等于预设的阈值Tf，代表第二影像相较于第一影像具有足够的差异量，则继续执行步骤S32。反之，若总差异量小于预设的阈值Tf，代表第二影像相较于第一影像无明显差异。因此，运算装置24舍弃差异量过小的第二影像并返回步骤S14，以供运算装置24取得另一影像作为第二影像(例如通知控制装置26致动摄影机22再拍摄另一影像作为第二影像)，随后运算装置24再根据步骤S16重新计算影像总差异量。然而，此步骤S16可以提高本实施例的判断准确度，并非完成本发明的控制方法必须执行的程序。
请参考图2的步骤S32。在取得第一影像及第二影像(优选的执行步骤S16以确认第二影像相较第一影像具有足够的差异量)之后，在步骤S32中，运算装置24中的位移运算模块根据第一影像及第二影像分别计算出多个特征点。此步骤S32的目的在于找出影像中较固定或是较强烈的焦点，或是梯度有明显变化的部分。在不同影像上进行特征匹配时，常会遇到尺度变化的问题，也就是要分析的目标可能在不同影像具有不同大小，使得尺度上的差异导致相同目标的特征在实际进行匹配时并未被成功匹配。因此，根据本发明的实施例，采用尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)算法。SIFT算法从影像中提取具有旋转不变性和伸缩不变性的特征点以及特征点对应的描述子(Descriptor)，从而描述影像的局部性特征。于其他实施例中，可采用加速稳健特征(Speeded Up RobustFeature，SURF)算法或梯度定位方向直方图(Gradient location-orientationhistogram，GLOH)算法计算影像的特征点。请参考图3，为桥梁影像，运算装置24中的位移运算模块所计算出的特征点标示如图3黑圈的圆心处，其中，黑圈内的线条方向代表此特征点描述子的所有特征向量中最大值的方向(由圆心指向圆周)。
请再参考图2的步骤S34，在步骤S34中，运算装置24中的位移运算模块选取第一特征点集合及第二特征点集合，其中，第一特征点集合包括第一影像的多个特征点之中的至少三个特征点；第二特征点集合可以包括第二影像的多个特征点之中的至少三个特征点。必须说明的是：运算装置24中的位移运算模块选取第一特征点集合及第二特征点集合相当于选取第一影像的感兴趣区域(Region of Interest，ROI)及第二影像的感兴趣区域(ROI)。感兴趣区域(ROI)是指从影像中以方框、圆、椭圆或不规则多边形等形状圈选出的重点区域，设置感兴趣区域(ROI)可以减少后续处理时间并增加运算精确度。请参考图4，图4为根据图3设定感兴趣区域(ROI)范围的示意图，由图4可看出感兴趣区域(ROI)可以是桥梁主体。当感兴趣区域(ROI)设定后，无人机的控制装置26便可以根据感兴趣区域(ROI)锁定目标并控制摄影机22针对目标进行后续拍摄工作。
根据本发明的实施例，在取得第一影像及第二影像之前，运算装置24可预先储存已选取感兴趣区域(ROI)的影像作为参考影像，并且在步骤S34时，根据此参考影像中的特征点数据选取特征点集合。
根据本发明的实施例，在步骤S32得出多个特征点之后，运算装置24可利用主成分分析(Principal Component Analysis，PCA)的算法，得到具代表性的特征点，选取第一特征点集合及第二特征点集合，并且可进一步降低特征点描述子维度。主成分分析(PCA)通过分析共变异数矩阵(covariance matrix)的特征性质以得出数据的主成分(即特征向量)与它们的权值(即特征值)，通过保留对应大特征值的低阶主成分，舍弃对应小特征值的高阶主成分，达到减少描述子的特征向量维度，同时保留描述子的最大变异数。承上所述，运算装置24将较高维度的特征向量通过矩阵运算，得出一组按变异数的贡献从大到小排列的新特征向量，这组新特征向量是原始特征向量的线性组合，且新特征向量彼此正交而不具相关性。然而必须注意的是：执行主成分分析(PCA)并非必要步骤，可视运算装置24的运算能力以及第一影像及第二影像的特征点数量而决定是否执行主成分分析(PCA)。此外，也可以使用其它方式选取出具代表性的特征点，例如由用户主动自第一影像及/或第二影像中选取出特征点。
请参考图2的步骤S52及步骤S54。在步骤S52中，运算装置24针对特征点进行匹配与分类。具体地，根据本发明的实施例，运算装置24针对第一影像及第二影像各自的感兴趣区域(ROI)的多个特征点的描述子内容寻找相似特征，所述寻找方式例如随机抽样一致算法(RANdom SAmple Consensus，RANSAC)或以核线(Epipoloar Line)配合基本矩阵(Fundamental Matrix)运算的方式以得到多组匹配特征点。然后采用K-均值聚类法(K-means clustering)将多组匹配特征点分类为K个聚类。在步骤S54中，运算装置24根据已分类的多组匹配特征点计算主要移动方向。具体地，根据步骤S52得出的K个聚类，运算装置24中的位移运算模块(未绘示)对每个聚类各自执行主成分分析以计算出每个聚类中的主成分方向，此主成分方向包括第一轴向位移和第二轴向位移，其中，第一轴向例如为X轴，第二轴向例如为Y轴。运算装置24中的位移运算模块进一步将每个聚类的第一轴向位移及第二轴向位移各自加总及计算平均值，从而运算装置24可由多组第一轴向位移及第二轴向位移中计算出一组主要移动方向。简言之，根据步骤S52至步骤S54，运算装置24计算出摄影机22在取得两个影像中间所作的主要移动方向。
请参考图2的步骤S56。在步骤S56中，运算装置24中的深度运算模块(未绘示)计算感兴趣区域(ROI)面积比例，其中，运算装置24中的深度运算模块耦接位移运算模块。具体地，为了进一步确认摄影机22在拍摄第一影像与第二影像之间相对于拍摄目标的远近关系，在一实施例中，首先运算装置24的深度运算模块将第一影像感兴趣区域(ROI)中的多个特征点及第二影像的感兴趣区域(ROI)中的多个特征点分别对应至平面上的n边形，然后取得代表n边形顶点的n个特征点的坐标值，代入公式2以分别计算出第一感兴趣区域面积及第二感兴趣区域面积(第一/二感兴趣区域面积在此代称第一/二影像中的感兴趣区域的面积)。
其中，a为面积，(x0，y0)，(x1，y1)，…，(xn-1，yn-1)为代表n边形顶点的n个特征点的坐标值。
请参考图2的步骤S58。在步骤S58中，运算装置24计算第三轴向位移。具体地，运算装置24中的深度运算模块在分别计算出第一感兴趣区域面积及第二感兴趣区域面积之后，运算装置24中的深度运算模块进一步依据摄影机焦距以及两个面积的比例关系，计算得出第三轴向(Z轴)位移。根据本发明的实施例，基于简化计算量的考虑，在运算装置24中的深度运算模块取得第一特征点集合及第二特征点集合中的特征点坐标后，仅计算其中两个特征点的距离的平方值(或其中三个不共线的特征点所组成的三角形面积)作为面积参考值，再计算出面积比例关系，并换算得出第三轴向(Z轴)位移。
请参考图2的步骤S72，在步骤S72中，控制装置26根据第一轴向位移、第二轴向位移及第三轴向位移等信息调整摄影机22的姿态或无人机的飞行路径。具体地，根据本发明的实施例，无人机控制系统11中的控制装置26还包括一定位装置。所述定位装置例如为GPS传感器，可以用以定位无人机当前的世界坐标。在无人机进行航拍之前(即在步骤S12取得第一影像之前)，设置无人机本次飞行路径途中从起点到终点以及中途参考定位点的GPS坐标。根据GPS坐标(可以视为绝对位置信息)，结合运算装置24计算出的位移向量(可以视为相对位置信息)，控制装置26根据世界坐标及位移向量调整无人机的飞行路径，即控制装置26选择性地发送信号调整摄影机22的拍摄角度，以达到更清楚地拍摄目标的效果；或是控制装置26选择性发送信号修正飞行路径，以避免无人机偏离原本路线，或是根据实际拍摄目标的物理结构，动态的调整无人机本身相对于目标的距离，以避免过于靠近而擦撞至目标，或是过于远离目标以至于拍摄到与目标无关的景物。
请一并参考图5及图6。图5为绘制本发明一实施例的无人机1功能方块图。图6为依据本发明一实施例所绘示的无人机结构示意图。本发明一实施例的无人机1包括飞行系统10、控制系统11、云台12以及机架13。其中，飞行系统10包括桨翼、马达(未绘示)以及马达驱动装置(未绘示)。桨翼可以旋转以提供无人机上升浮力。马达通过主轴连接桨翼以提供旋转动力。马达驱动装置电性连接马达并根据飞行控制命令致动马达。无人机1的控制系统11及其控制方法如前文所介绍，此处不再赘述。云台12电性连接控制系统11中的摄影机22。云台12具有伺服马达并根据云台调整命令驱动伺服马达调整摄影机22的拍摄姿态。机架13用于承载飞行系统10、控制系统11及云台12，机架13的设计直接地反映无人机1的外观特征。
根据本发明的实施例，运算装置24用以控制无人机1的整体运作。运算装置24例如是中央处理单元(Central Processing Unit，CPU)、可程序化的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑设备(Programmable Logic Device，PLD)或其他类似装置，本揭露并不加以限制。运算装置24会从储存装置中加载位移运算模块以及深度运算模块的程序代码，执行位移运算模块计算第一影像及第二影像的多个特征点，以得出第一轴向位移和第二轴向位移；执行深度运算模块分别计算出第一感兴趣区域面积及第二感兴趣区域面积后，得出第三轴向位移。
必须特别说明的是，在本发明所述的无人机1的实施例中，关于控制系统11的输出部分。请一并参考图2的步骤S72及图5。运算装置24计算出的第一轴向位移、第二轴向位移及第三轴向位移可以组成位移向量，此位移向量代表摄影机22在两次拍摄中的空间位移。运算装置24进一步地根据摄影机校正程序(camera calibration)与摄影机模型的外部参数(extrinsic parameter)，建立世界坐标(world coordinate)和摄影机坐标之间的坐标系统转换关系，并推算出无人机1本身在世界坐标系中的位移。运算装置24将此位移向量作为飞行路径的修正参数，并结合从GPS装置得到的绝对坐标，由控制装置26发送飞行控制命令以便实时调整无人机1的飞行路径。根据本发明的实施例，控制装置26可以根据此位移向量发送一云台调整命令，云台12根据此云台调整命令致动三轴向的伺服马达，改变摄影机22的拍摄姿态(Pose)，修正下一次的拍摄角度以更精确地拍摄目标。
综合以上所述，本发明提供的无人机控制方法，通过摄影机实时取得目标的影像，通过计算影像中感兴趣区域的特征点的对应关系，推估无人机在世界坐标系中的拍摄平面位移；并通过特征点群集的面积变化，推估无人机与目标的距离变化，无人机控制系统输出的位移向量可以用于实时反馈云台以调整拍摄姿态或是输入至飞行系统以调整飞行路径，从而取得较为稳定的航拍画面。

Claims (11)

1.一种无人机控制方法，适用于具有摄影机以拍摄目标的无人机，其特征在于，所述控制方法包括：
在第一时间取得第一影像；
通过所述摄影机在所述第一时间之后的第二时间取得第二影像；
通过运算装置根据所述第一影像及所述第二影像分别计算出多个特征点；
通过所述运算装置选取第一特征点集合及第二特征点集合，所述第一特征点集合包括所述第一影像的所述特征点之中的至少三个特征点，所述第二特征点集合包括所述第二影像的所述特征点之中的至少三个特征点；
通过所述运算装置根据所述第一特征点集合及所述第二特征点集合计算出第一轴向位移及第二轴向位移；
通过所述运算装置根据所述第一特征点集合及所述第二特征点集合分别计算出第一感兴趣区域面积及第二感兴趣区域面积，且所述运算装置还根据所述第一感兴趣区域面积及所述第二感兴趣区域面积计算出第三轴向位移；以及
通过控制装置根据所述第一轴向位移、所述第二轴向位移及所述第三轴向位移调整所述摄影机的姿态或所述无人机的飞行路径。
2.如权利要求1所述的无人机控制方法，其特征在于，在所述运算装置计算出所述特征点之前，还包括所述运算装置根据所述第一影像及所述第二影像计算总差异量，当所述总差异量小于阈值时，通过所述摄影机重新取得所述第二影像。
3.如权利要求1所述的无人机控制方法，其特征在于，所述运算装置通过尺度不变特征转换算法取得所述特征点。
4.如权利要求1所述的无人机控制方法，其特征在于，所述运算装置使用主成分分析选取所述第一特征点集合及所述第二特征点集合。
5.如权利要求1所述的无人机控制方法，其特征在于，在计算出所述第一轴向位移及所述第二轴向位移之前，所述运算装置使用K-均值聚类法将所述特征点分类以计算所述第一轴向位移及所述第二轴向位移。
6.如权利要求1所述的无人机控制方法，其特征在于，在所述摄影机取得所述第一影像之前，还包括通过所述控制装置设置所述无人机的飞行路径。
7.一种无人机控制系统，包括：
摄影机，用以取得无人机飞行过程中的第一影像及第二影像，其特征在于，所述第一影像在第一时间拍摄，所述第二影像在第二时间拍摄，且所述第一时间早于所述第二时间；
运算装置，电性连接所述摄影机，所述运算装置用以根据所述第一影像及所述第二影像计算所述无人机从所述第一时间到所述第二时间的位移向量；以及
控制装置，电性连接所述运算装置，所述控制装置用于根据所述位移向量选择性地调整云台以改变所述摄影机的拍摄姿态或调整所述无人机的飞行路径。
8.如权利要求7所述的无人机控制系统，其特征在于，所述位移向量包括第一轴向位移、第二轴向位移及第三轴向位移，所述运算装置还包括：
位移运算模块，用于根据所述第一影像及所述第二影像分别计算出多个特征点，并用于选取第一特征点集合及第二特征点集合，其中，所述第一特征点集合包括所述第一影像的所述特征点之中的至少三个特征点，所述第二特征点集合包括所述第二影像的所述些特征点之中的至少三个特征点，所述位移运算模块根据所述第一特征点集合及所述第二特征点集合计算出所述第一轴向位移及所述第二轴向位移；以及
深度运算模块，耦接所述位移运算模块，所述深度运算模块用于根据所述第一特征点集合及所述第二特征点集合分别计算出第一感兴趣区域面积及第二感兴趣区域面积，并用于根据所述第一感兴趣区域面积及所述第二感兴趣区域面积计算出所述第三轴向位移。
9.如权利要求7所述的无人机控制系统，其特征在于，所述控制装置还包括定时器用于累计所述第一时间及所述第二时间的间隔时间。
10.如权利要求7所述的无人机控制系统，其特征在于，所述控制装置还包括定位装置用于取得所述无人机的世界坐标，且所述控制装置根据世界坐标及所述位移向量调整所述无人机的飞行路径。
11.一种无人机，其特征在于，包括：
飞行系统，包括：桨翼，可以旋转以提供所述无人机上升浮力；马达，通过主轴连接所述桨翼，所述马达用于提供所述桨翼旋转的动力；以及马达驱动装置，电性连接至所述马达且根据飞行控制命令致动所述马达；
控制系统，包括：摄影机，用以取得所述无人机飞行过程中的第一影像及第二影像，其中，所述第一影像在第一时间取得，所述第二影像在第二时间取得，且所述第一时间早于所述第二时间；运算装置，电性连接所述摄影机，所述运算装置用以根据所述第一影像及所述第二影像计算所述无人机从所述第一时间到所述第二时间的位移向量；以及控制装置，电性连接所述运算装置，所述控制装置用于根据所述位移向量选择性地发送云台调整命令以调整所述摄影机的拍摄姿态或发送所述飞行控制命令以调整所述无人机的飞行路径；
云台，电性连接所述摄影机及所述控制装置，所述云台具有伺服马达，所述云台用于接收所述云台调整命令以驱动所述伺服马达调整所述摄影机的拍摄姿态；以及
机架，用于承载所述飞行系统、所述控制系统及所述云台。
CN201711337673.6A 2017-11-30 2017-12-14 无人机、无人机控制系统及控制方法 Active CN109857144B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106141808 2017-11-30
TW106141808A TWI657011B (zh) 2017-11-30 2017-11-30 無人機、無人機控制系統及控制方法

Publications (2)

Publication Number Publication Date
CN109857144A true CN109857144A (zh) 2019-06-07
CN109857144B CN109857144B (zh) 2022-01-14

Family

ID=66634243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711337673.6A Active CN109857144B (zh) 2017-11-30 2017-12-14 无人机、无人机控制系统及控制方法

Country Status (3)

Country Link
US (1) US10703479B2 (zh)
CN (1) CN109857144B (zh)
TW (1) TWI657011B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044197A (zh) * 2019-10-25 2020-04-21 东南大学 一种基于无人机平台的非接触式索力测试系统及其方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048257B2 (en) 2018-01-23 2021-06-29 Gopro, Inc. Relative image capture device orientation calibration
US10916150B2 (en) 2018-05-03 2021-02-09 Arkidan Systems Inc. Computer-assisted aerial surveying and navigation
GB2584717B (en) * 2019-06-13 2023-10-25 Thales Holdings Uk Plc Autonomous search and track using a wide FOV
WO2021000225A1 (zh) * 2019-07-01 2021-01-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置、设备及存储介质
CN111428631B (zh) * 2020-03-23 2023-05-05 中南大学 无人机飞控信号可视化识别分选方法
CN111338383B (zh) * 2020-04-24 2023-10-13 北京泛化智能科技有限公司 基于gaas的自主飞行方法及系统、存储介质
TWI763014B (zh) 2020-08-25 2022-05-01 遠傳電信股份有限公司 無人機控制系統和無人機控制方法
US20220092766A1 (en) * 2020-09-18 2022-03-24 Spirit Aerosystems, Inc. Feature inspection system
TWI766427B (zh) 2020-11-06 2022-06-01 財團法人工業技術研究院 無人機裝置及無人機工作區的部署方法
US11445121B2 (en) * 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method
JP2024519280A (ja) * 2021-04-19 2024-05-10 クァンティファイド・エナジー・ラボス・ピーティーイー・リミテッド 航空機を使用した太陽光発電デバイスの自動イメージング、および、それを実施するための航空機の自動飛行
TWI783748B (zh) * 2021-10-22 2022-11-11 中華學校財團法人中華科技大學 應用深度學習之無人機避障飛行控制影像辨識方法、系統及其應用
TWI806318B (zh) * 2021-12-28 2023-06-21 財團法人工業技術研究院 無人機及其控制方法
CN114035614B (zh) * 2022-01-10 2022-05-17 成都奥伦达科技有限公司 基于先验信息的无人机自主巡检方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070037A1 (en) * 2010-09-14 2012-03-22 Astrium Sas Method for estimating the motion of a carrier relative to an environment and computing device for navigation system
CN102788580A (zh) * 2012-06-20 2012-11-21 天津工业大学 无人机视觉导航中的飞行路线合成方法
TW201534512A (zh) * 2014-03-06 2015-09-16 Univ Nat Changhua Education 雙影像避障路徑規劃導航控制方法
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN105045276A (zh) * 2015-07-03 2015-11-11 深圳一电科技有限公司 无人机飞行控制方法及装置
US20170053169A1 (en) * 2015-08-20 2017-02-23 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
TWI602433B (zh) * 2016-04-29 2017-10-11 和碩聯合科技股份有限公司 物體追蹤方法及其無人飛行載具

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2804936B1 (fr) 2000-02-15 2002-06-07 Bertin Technologies Sa Engin volant telecommande, en particulier de surveillance ou d'inspection
US20060126737A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a camera to track an object using motion vector data
JP2007235333A (ja) * 2006-02-28 2007-09-13 Victor Co Of Japan Ltd 動きベクトル検出装置
US9070101B2 (en) * 2007-01-12 2015-06-30 Fatdoor, Inc. Peer-to-peer neighborhood delivery multi-copter and method
US8718838B2 (en) 2007-12-14 2014-05-06 The Boeing Company System and methods for autonomous tracking and surveillance
BRPI0920950A2 (pt) * 2008-11-20 2015-12-29 Bae Systems Plc aeronave e método de controlar a direção a direção de vôo de uma aeronave
CN101511022B (zh) * 2009-03-20 2010-07-07 北京航空航天大学 一种机载视频压缩与目标跟踪联合实现方法
KR101611504B1 (ko) * 2009-09-25 2016-04-11 삼성전자 주식회사 로봇 시스템 및 그 영상 처리 방법
FR2961601B1 (fr) 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
WO2012044297A1 (en) 2010-09-30 2012-04-05 Empire Technology Development Llc Automatic flight control for uav based solid modeling
EP2511658A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem und Verfahren zur Neupunktbestimmung
WO2013033954A1 (zh) * 2011-09-09 2013-03-14 深圳市大疆创新科技有限公司 陀螺式动态自平衡云台
TWI444593B (zh) * 2011-10-21 2014-07-11 Ind Tech Res Inst 地面目標定位系統與方法
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
FR2988868B1 (fr) * 2012-03-30 2015-04-24 Parrot Procede de pilotage d'un drone a voilure tournante a rotors multiples avec estimation et compensation du vent lateral
JP6367522B2 (ja) * 2013-02-28 2018-08-01 株式会社トプコン 航空写真システム
FR3023593B1 (fr) * 2014-07-08 2016-07-22 Parrot Systeme de fixation rapide d'un accessoire sur le corps d'un drone
WO2016015251A1 (en) 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
EP3161502B1 (en) * 2014-08-29 2020-04-22 SZ DJI Technology Co., Ltd. An unmanned aerial vehicle (uav) for collecting audio data
CN104316057A (zh) 2014-10-31 2015-01-28 天津工业大学 一种无人机视觉导航方法
TWI554976B (zh) * 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
TWI524758B (zh) 2014-12-09 2016-03-01 財團法人工業技術研究院 電子裝置及其漸增式姿態估算及攝影方法
JP6182266B2 (ja) * 2014-12-23 2017-08-16 エスゼット ディージェイアイ オスモ テクノロジー カンパニー リミテッドＳＺ ＤＪＩ Ｏｓｍｏ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． Ｕａｖによるパノラマ画像撮影方法
FR3031402B1 (fr) * 2015-01-02 2018-09-07 Squadrone System Procede de pilotage automatique d'un drone a voilure tournante pour operer des mouvements de camera par une camera embarquee
US9505494B1 (en) 2015-04-30 2016-11-29 Allstate Insurance Company Enhanced unmanned aerial vehicles for damage inspection
US10386188B2 (en) * 2015-06-29 2019-08-20 Yuneec Technology Co., Limited Geo-location or navigation camera, and aircraft and navigation method therefor
US9997080B1 (en) * 2015-10-06 2018-06-12 Zipline International Inc. Decentralized air traffic management system for unmanned aerial vehicles
FR3042613A1 (fr) * 2015-10-19 2017-04-21 Parrot Dispositif de pilotage d'un drone apte a maintenir des commandes de pilotage et procede de commande associe.
TWI578124B (zh) * 2015-11-24 2017-04-11 財團法人金屬工業研究發展中心 多旋翼飛行器及其控制方法
JP2017104365A (ja) * 2015-12-11 2017-06-15 株式会社ディスコ 有人ドローン
CN108473200A (zh) * 2015-12-22 2018-08-31 英特尔公司 用于在多旋翼无人机（uav）中强健的轨迹跟踪的通用控制器
CN105630341A (zh) * 2015-12-23 2016-06-01 英华达（上海）科技有限公司 触控显示装置、触控显示方法及无人机
US9513635B1 (en) 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
KR101921376B1 (ko) * 2016-02-24 2018-11-22 홍유정 객체 컨트롤러
US10029788B2 (en) * 2016-03-28 2018-07-24 Zipline International Inc. Vision based calibration system for unmanned aerial vehicles
WO2017166002A1 (zh) * 2016-03-28 2017-10-05 深圳市大疆创新科技有限公司 无人飞行器的悬停控制方法、控制系统和无人飞行器
TWM524967U (zh) * 2016-04-06 2016-07-01 Portwell Inc 飛行警衛裝置
US11468778B2 (en) * 2016-06-10 2022-10-11 Metal Raptor, Llc Emergency shutdown and landing for passenger drones and unmanned aerial vehicles with air traffic control
FR3052885A1 (fr) * 2016-06-20 2017-12-22 Parrot Drones Drone comprenant des ailes portantes
IL246358A0 (en) * 2016-06-20 2016-11-30 Fox Yuval A system for positioning and locking and a method for driverless vehicles
FR3054336A1 (fr) * 2016-07-22 2018-01-26 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et localisation amelioree de la cible.
EP3497015B1 (en) * 2016-08-08 2023-10-18 Cleo Robotics Inc. An unmanned aerial vehicle and a system for controlling an unmanned aerial vehicle
WO2018032415A1 (en) * 2016-08-17 2018-02-22 SZ DJI Technology Co., Ltd. Systems and methods for operating unmanned aerial vehicles
WO2018053849A1 (zh) * 2016-09-26 2018-03-29 深圳市大疆创新科技有限公司 天线及无人机
FR3058238B1 (fr) * 2016-10-28 2019-01-25 Parrot Drones Systeme autonome de prise de vues animees par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible.
CN106682668A (zh) 2016-11-18 2017-05-17 云南电网有限责任公司电力科学研究院 一种使用无人机标记影像的输电线路地质灾害监测方法
US11368002B2 (en) * 2016-11-22 2022-06-21 Hydro-Quebec Unmanned aerial vehicle for monitoring an electrical line
KR20180060634A (ko) * 2016-11-29 2018-06-07 한화에어로스페이스 주식회사 돔 타입 3축 짐벌
CN115238018A (zh) * 2016-12-01 2022-10-25 深圳市大疆创新科技有限公司 用于管理3d飞行路径的方法和相关系统
CN107074348B (zh) * 2016-12-30 2021-06-15 深圳市大疆创新科技有限公司 控制方法、装置、设备及无人飞行器
US10254767B1 (en) * 2017-01-25 2019-04-09 Amazon Technologies, Inc. Determining position or orientation relative to a marker
JP2018185167A (ja) * 2017-04-24 2018-11-22 三菱電機株式会社 飛行制御装置および形状測定装置
US10379545B2 (en) * 2017-07-03 2019-08-13 Skydio, Inc. Detecting optical discrepancies in captured images
WO2019010428A1 (en) * 2017-07-06 2019-01-10 Top Flight Technologies, Inc. NAVIGATION SYSTEM FOR A DRONE
US10564650B2 (en) * 2017-07-27 2020-02-18 Intel Corporation Trajectory tracking controllers for rotorcraft unmanned aerial vehicles (UAVS)
US10322803B2 (en) * 2017-09-29 2019-06-18 Deere & Company Using unmanned aerial vehicles (UAVs or drones) in forestry productivity and control applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120070037A1 (en) * 2010-09-14 2012-03-22 Astrium Sas Method for estimating the motion of a carrier relative to an environment and computing device for navigation system
CN102788580A (zh) * 2012-06-20 2012-11-21 天津工业大学 无人机视觉导航中的飞行路线合成方法
TW201534512A (zh) * 2014-03-06 2015-09-16 Univ Nat Changhua Education 雙影像避障路徑規劃導航控制方法
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN105045276A (zh) * 2015-07-03 2015-11-11 深圳一电科技有限公司 无人机飞行控制方法及装置
US20170053169A1 (en) * 2015-08-20 2017-02-23 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
TWI602433B (zh) * 2016-04-29 2017-10-11 和碩聯合科技股份有限公司 物體追蹤方法及其無人飛行載具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴爱国 等: "无人机飞行过程中图像定位算法研究", 《计算机应用与软件》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044197A (zh) * 2019-10-25 2020-04-21 东南大学 一种基于无人机平台的非接触式索力测试系统及其方法

Also Published As

Publication number Publication date
CN109857144B (zh) 2022-01-14
US20190161186A1 (en) 2019-05-30
US10703479B2 (en) 2020-07-07
TW201925033A (zh) 2019-07-01
TWI657011B (zh) 2019-04-21

Similar Documents

Publication Publication Date Title
CN109857144A (zh) 无人机、无人机控制系统及控制方法
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
CN108711166B (zh) 一种基于四旋翼无人机的单目相机尺度估计方法
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
Yang et al. An onboard monocular vision system for autonomous takeoff, hovering and landing of a micro aerial vehicle
CN105549614B (zh) 无人机目标跟踪方法
CN109556577A (zh) 用于空中非破坏性检查的定位系统
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN109341689A (zh) 基于深度学习的移动机器人视觉导航方法
CN105955308A (zh) 一种飞行器的控制方法和装置
Qiu et al. Model-based global localization for aerial robots using edge alignment
CN105511488B (zh) 一种基于无人飞行器的续拍方法和无人飞行器
CN108919811A (zh) 一种基于tag标签的室内移动机器人SLAM方法
JP6877293B2 (ja) 位置情報記録方法および装置
CN106625673A (zh) 狭小空间装配系统及装配方法
CN108759826A (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
Zheng et al. Robust and accurate monocular visual navigation combining IMU for a quadrotor
US11869236B1 (en) Generating data for training vision-based algorithms to detect airborne objects
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム
CN108225273A (zh) 一种基于传感器先验知识的实时跑道检测方法
CN109752004A (zh) 室内无人机导航方法、装置及室内无人机
WO2021141666A2 (en) Unmanned vehicle navigation, and associated methods, systems, and computer-readable medium
Han et al. Multiple targets geolocation using SIFT and stereo vision on airborne video sequences
Roozing et al. Low-cost vision-based 6-DOF MAV localization using IR beacons
Nguyen et al. A Novel Framework of Visual Detection, Tracking and Landing for UAVs Utilizing AR Markers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant