CN111492326A - 用于无人飞行器的基于图像的定位以及相关系统和方法 - Google Patents
用于无人飞行器的基于图像的定位以及相关系统和方法 Download PDFInfo
- Publication number
- CN111492326A CN111492326A CN201880082573.XA CN201880082573A CN111492326A CN 111492326 A CN111492326 A CN 111492326A CN 201880082573 A CN201880082573 A CN 201880082573A CN 111492326 A CN111492326 A CN 111492326A
- Authority
- CN
- China
- Prior art keywords
- image
- uav
- base station
- camera
- navigation data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 6
- 238000002329 infrared spectrum Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000001429 visible spectrum Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3852—Data derived from aerial or satellite images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/387—Organisation of map data, e.g. version management or database structures
- G01C21/3881—Tile-based structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0039—Modification of a flight plan
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0086—Surveillance aids for monitoring terrain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Navigation (AREA)
- Studio Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
公开了用于无人飞行器(UAV)的基于图像的定位的系统和方法。在一个实施例中,一种用于导航UAV的方法包括:使UAV沿飞行路径飞行;用UAV承载的相机获取沿飞行路径的地面区域的图像;和将图像发送到基站。该方法还包括基于地面区域的图像与飞行路径的至少一个陆地地图的比较,从基站接收导航数据。
Description
相关申请的交叉引用
本申请要求2017年12月21日提交的美国临时专利申请第62/609135号的权益,通过引用将该专利申请的全部内容合并于此。
背景技术
无人飞行器(UAV)(其也可以称为自主载具)是能够在机上没有物理上存在的人类操作员的情况下行驶的载具。UAV可以在远程控制模式下、自主模式下或部分自主模式下操作。
当UAV在远程控制模式下操作时,位于远程位置的领航员或驾驶员可以通过经由无线链路发送到UAV的命令来控制UAV。当UAV在自主模式下操作时,UAV通常基于预编程的导航航路点、动态自动化系统或它们的组合进行移动。此外,一些UAV可以在远程控制模式和自主模式下操作,并且在某些情况下可以同时在远程控制模式和自主模式下操作。例如,作为示例,远程导航员或驾驶员可能希望将导航交给自主系统同时手动执行另一任务,例如操作机械系统以拾取物体。
出于各种原因,应当知道UAV的位置和取向,例如,以维持UAV的所需飞行路径、避开障碍、避开商用飞机的飞行路径、精确递送有效载荷、UAV在电信中使用时对特定地面区域的精确覆盖等。在实践中,无人飞行器(UAV)通常在机上承载有基于全球定位系统(GPS)的主要导航系统来确定UAV的位置。但是,由于各种原因,基于GPS的导航系统可能会发生故障,从而使UAV无法操作。例如,GPS信号可能是错误的或太弱而不能被UAV使用。此外,UAV的GPS设备也可能发生故障,从而使UAV至少无法完成其任务,但还可能对其他飞行器造成危险。
因此,仍然需要即使在GPS信号微弱或错误时或者当UAV的GPS系统发生故障时,精确地确定UAV的位置的系统和方法。
附图说明
通过结合附图参考以下详细描述,将能够更好地理解本发明的前述方面和许多伴随的优点,因而也能更容易领悟本发明的前述方面和许多伴随的优点,其中:
图1A是根据本技术的实施例的UAV的俯视等距视图;
图1B是根据本技术的实施例的UAV的仰视等距视图;
图2是根据本技术的实施例的处于操作中的UAV的示意图;
图3A和3B是根据本技术的实施例的由UAV相机摄取的图像;
图4示出了根据本技术的实施例的图3A和图3B的图像在地图上的叠加;
图5是根据本技术的实施例的确定UAV的位置和取向的示意图;
图6A是根据本技术的实施例的UAV的导航系统的示意图;
图6B是根据本技术的实施例的基站的计算系统的示意图;和
图7是根据本技术的实施例的用于UAV导航的方法的流程图。
具体实施方式
尽管已经描述了示意性实施例,但是应当理解,可以在不脱离本创造性技术的精神和范围的情况下对示意性实施例进行各种改变。本创造性技术的实施例通常适用于UAV和有人飞行器。在一些实施例中,本创造性技术可以支持UAV交通管理(UTM)。例如,为了使UTM系统正常运行,应当准确知道共享空域的所有UAV的位置。使用GPS作为唯一的导航系统会导致UTM系统出现单点故障。因此,下面描述的基于图像的导航服务可以缓解单点故障问题。
常规UAV通常使用基于GPS的主导航系统来确定UAV的位置。本创造性技术涉及通过使用基于相机的导航系统即使在GPS信号错误或微弱时确定UAV的位置。这样的基于相机的导航系统可以被称为备用导航系统或辅助导航系统。基于相机的导航系统可以作为服务提供给UAV或其他飞行器。为了简洁起见,参考UAV来描述本创造性技术,但是本技术也适用于有人飞行器。
在一些实施例中,无人飞行器承载有相机,该相机捕获UAV下方区域的图像。在一些实施例中,相机安装在可以调整相机的角度的枢转机构上。例如,枢转机构可以使相机相对于地面保持竖直定向,以实现图像的一致性。
捕获的图像被传输到地面设备以进行进一步处理。例如,蜂窝电话塔可以接收图像,并将图像转发给基站,该基站包括能够相对快速地处理图像和陆地地图(例如,在1秒以下、2秒以下等)的计算机和/或服务器。
在一些实施例中,基站包括具有地图的数据库。这些地图可以在空间上、在时间上或在其他形式上互不相同。例如,基站可以具有覆盖不同地理区域的不同地图。作为另一示例,基站可以具有覆盖相同地理区域但使用在一天的不同时间捕获的图像构建的地图。在又另一示例中,基站可以具有覆盖相同地理区域但使用在不同季节期间捕获的图像构建的地图。此外,可以已经从使用不同光谱捕获的图像制备不同的地图。
在一些实施例中,基站在从UAV接收图像时,尝试在其地图数据库中寻找可能与该图像相似的一个或多个地图。可以通过与UAV发送的图像关联的附加数据(例如,UAV的粗略位置、一天中的时间,UAV相机的光谱特性等)来帮助进行该地图选择过程。一旦识别这些地图,基站可以执行一个或多个算法以将UAV发送的图像配准到地图。在该配准过程中,基站相对于地图的已知X、Y、Z坐标得出UAV的位置和取向。下面参考图5描述这样的图像配准算法的示例。其他图像配准算法为本领域技术人员所知。在一些实施例中,在基站处得出的位置和取向被传输回UAV,并且UAV可以使用该信息来实现其目标。
在一些其他实施例中,基站可以不将任何信息发送回UAV,而是,基站将计算出的位置和取向信息转发给第三方。第三方的一个这样的示例是UTM系统。在另一实施例中,如果图像被标记有UAV认为是在图像被摄取时UAV的位置和/或取向的信息,则基站可以将由UAV进行的确定与在基站处得出的位置和/或取向进行比较。基站可以将产生的对源自UAV的位置取向信息的准确性的估计发送到UAV自身或第三方,例如UTM系统。在一些实施例中,UTM系统可以使用该信息来进行关于UAV的决策。
在一些实施例中,由相机获取的图像可以在UAV处被过滤,以使得文件较小和/或更相关以在基站处进行后续处理。例如,不可移动和/或易于识别的物体(例如,道路交叉路口)可保留在图像中,而可移动或可改变物体(例如,汽车、树木)可在将图像转发到接收器(例如,蜂窝电话塔)之前从图像中移除,以提高图像与陆地地图之间匹配的可能性。
在一些实施例中,可以基于由UAV上的相机获取的图像来更新基于地面的地图。例如,可以通过用从UAV接收的较新的图像替换地图的过时的片段(也称为“部分”或“图块”)来刷新地图。
图1A是根据本技术的实施例的UAV 1000的俯视等距视图。UAV 1000包括机翼110、悬臂(boom)210和机身310。在一些实施例中,机翼110承载水平推进单元140,而悬臂210承载竖直推进单元240。在一些实施例中,悬臂210终止于方向舵230,以改进UAV 1000的偏航控制。
在操作中,可以从机身310的电池室提供用于推进单元的电力。在一些实施例中,机身310还包括航空电子室和用于处理有效载荷的递送单元。在一些实施例中,机身310承载GPS系统311。但是,在某些位置,GPS系统311可能产生不准确的结果,或者到来的GPS信号可能太弱或太受污染而无法准确确定UAV的位置。
图1B是根据本技术的实施例的UAV 1000的仰视等距视图。在一些实施例中,UAV1000承载指向地面的相机320。相机320可以是在可见光谱内操作的数字相机。在其他实施例中,相机320可以例如在夜间操作时在红外光谱内操作,或者例如在多云天气中操作时在紫外线光谱内操作。在一些实施例中,UAV 1000可以包括被配置为在不同光谱内操作的多个相机320。
在一些实施例中,相机320由枢转机构325承载。在操作中,枢转机构可以基于来自惯性测量单元(IMU)302(例如,基于加速度计的IMU,其确定UAV 1000相对于重力方向的绝对取向)的输入来调整相机320的角度。响应于来自IMU 302的输入,枢转机构325可以使相机竖直于地面定向,以为由相机获取的图像提供公共参考角。在其他实施例中,枢转机构325可以使相机320以其他角度定向。
图2是根据本技术的实施例的处于操作中的UAV 1000的示意图。在一些实施例中,当沿方向1010(也称为飞行方向或飞行路径)在地面上方约30-150m的高度飞行时,UAV1000通过相机320获取图像。在飞行期间,可以使用相机的640x 480、1280x 800或其他像素分辨率获取地面区域610的图像。示出的样例获取图像包括物体602(尖塔)、604(建筑物的轮廓)、606(建筑物的屋顶)等的特征点。在一些实施例中,UAV 1000承载有多个相机。在许多实施例中,特征点602、604、606的X、Y、Z坐标是已知的,并且可以作为辅助数据被包括在陆地地图中。
当UAV 1000沿方向1010飞行时,可以获取附加图像并将其发送到收发器410(例如,蜂窝电话塔)。收发器410可以将图像转发到基站510。在一些实施例中,基站510包括能够相对快速地处理由相机320获取的图像的计算机和/或服务器。在下面参考图3A-4描述对由相机320获取的图像的样例处理。
图3A和3B是根据本技术的实施例的由UAV相机320摄取的图像610和620。当UAV1000沿着其路线飞行时,可能已经在不同时间获取了样例图像610/620。在一些实施例中,当GPS信号对于GPS系统311显得相对微弱或被污染时,可以触发图像的获取。在其他实施例中,相机320可以例如以规定的时间间隔获取图像。获取的图像可以被标记(例如,使用唯一的字母数字、时间戳或其他信息),并且被转发到收发器410。
在一些实施例中,图像610和/或620可以在被传输到收发器410之前进行预处理。例如,可以移除属于可移动物体(例如,汽车612)的子图像。作为另一示例,可以识别并勾勒不可移动物体的轮廓(例如,道路横截面、房屋轮廓622等)。此外,UAV和/或基站可以从一个或多个收发器410(例如,蜂窝电话塔)接收标识信息。该收发器标识可以与被标记图像结合使用,以例如缩小基站510所依赖的地图的数量。在操作中,图像610和620的预处理通常与基于UAV的计算机/控制器的处理能力成比例。在许多实施例中,为了实现相对快速地确定UAV 1000的位置和/或取向(例如,约1秒确定UAV的位置/取向),大多数图像处理在基站510处进行。UAV可以至少部分地基于UAV位置数据或UAV取向数据(也称为“导航数据”)来调整其飞行路线。下面参考图4描述由相机320获取的图像611/612的样例处理。
图4示出了根据本技术的实施例的图3A和3B的图像610和620在陆地地图600上的叠加。基站510尝试将图像与存储在其数据库中的一个或多个地图进行匹配。这些地图可以在空间上、在时间上或在其他形式上互不相同。在一个实施例中,基站可以具有覆盖不同地理区域的不同地图。在另一实施例中,基站可以具有覆盖相同地理区域但使用在一天中的不同时间捕获的图像构建的地图。在又一个实施例中,基站可以具有覆盖相同地理区域但使用在不同季节期间捕获的图像构建的地图。在一个实施例中,不同的地图可能已经基于从不同的光谱捕获的图像。
在一些实施例中,基站可以以在地图集合中寻找最有可能匹配从UAV接收的图像的地图。基站可以使用与从UAV接收的图像关联的辅助信息来辅助该过程。然后,基站510可以运行图像匹配软件以得出当图像610和620被捕获时UAV的位置和取向。各种图像匹配算法为本领域技术人员所知,例如,基于互相关或基于特征的、空间或频率识别以及其他算法。
在一些实施例中,可基于从UAV接收的图像来更新基站510可用的现有地图。例如,当多个图像重复地显示与地图中示出的结构的布局不同的地面上的结构的布局时,基站510可以更新地图以反映由UAV上的(一个或多个)相机获得的更新信息。此外,季节的变化可能会影响枝叶和阴影角度,可以基于从UAV接收的图像来记录枝叶和阴影角度,以提高将来的图像配准。在从UAV接收的图像中,还可以识别建筑物等的其他变化,用于陆地地图的更新。
图5是根据本技术的实施例的确定UAV的位置和取向的示意图。对于所示的实施例,基于图像(图块)620来确定UAV的相机的位置和/或取向。在一些实施例中,使用如下基于特征的方法来确定UAV的位置和取向。在基站接收图像620之后,基站寻找最有可能与图像620匹配的一个或多个地图。然后,基站在图像620和在先前步骤中选择的(一个或多个)地图中识别兴趣点。在一个实施例中,这些兴趣点可以是在图像620和地图中可见的线。在另一实施例中,这些兴趣点可以是图像中可见的醒目的地理或人造地标。然后,基站提取这些兴趣点的基于像素的描述符。一些示例描述符是SIFT、SURF、FAST等。然后,基站将来自(一个或多个)地图的兴趣点的这些描述符与来自图像620的兴趣点的描述符进行匹配。一些示例匹配技术是蛮力匹配和基于最近邻域的匹配。匹配过程的输出是(一个或多个)地图与图像620之间的一组对应关系。每个对应关系可以将来自(一个或多个)地图的像素点分配给它们在图像620上的对应像素点。由于(一个或多个)地图上的像素点与X、Y、Z坐标(或其他坐标系中的其他坐标,例如在极坐标或球面坐标系中的其他坐标)关联,因此也得知图像620上的对应像素点的X、Y、Z坐标。通过几个这样的对应关系,可以使用三角测量或其他优化方法来确定捕获图像时UAV的位置和取向。
理论上,需要至少四个非共线像素来无疑义地确定相机的六个自由度(位置的三个自由度和相机的角度的三个自由度)。然而,在许多实际情况下,计算中使用更大数量的像素,例如10个或更多个像素。此外,UAV可以将相机的参数(例如,焦深、光圈、视场等,统称为“相机的本征”)传输给基站,以改进对相机的位置和取向的确定。
本领域普通技术人员知晓可以确定相机的位置和取向的多种算法。这样的算法的示例是上述基于特征的方法。在一些实施例中,所需的计算机计算可以至少部分地由UAV自身来完成。在一些实施例中,仅将最终计算出的UAV的位置和取向从基站发回UAV。在一些其他实施例中,可以将附加信息发回UAV。例如,如果图像被标记有当摄取图像时UAV临时确定为UAV的位置和/或取向的信息,则基站可以将该临时确定与在基站处得出的UAV位置和/或取向进行比较。基站可以决定将源自UAV的位置和/或取向的准确性的指示发回UAV。在其他实施例中,在基站最终确定UAV的位置和取向之前,基站可以将来自图像配准算法的中间步骤的信息发回UAV。在一些实施例中,中间信息可以包括在地图和UAV图像之间建立的对应关系。这样的中间信息可以由UAV与从其机载传感器获得的其他测量结合使用,以得出对UAV的位置和取向的更新估计。
一旦得知相机的位置和取向,就可以基于枢转机构的参数来确定UAV的位置和取向。在一些实施例中,基站处的计算设备可以用于快速确定相机的位置和取向。在其他实施例中,相机的位置和取向可以至少部分地由UAV自身承载的计算设备来确定。
如果计算在相对短的时间段内(例如,在大约1秒内)完成,则可以基于UAV的速度矢量和从UAV获取图像的时间起到UAV接收相机位置的时间经过的时间来相对精确地确定UAV的当前位置。在一些实施例中,例如,当花费超过5-10秒的时间来识别地图上的匹配位置时,UAV在当前时间的位置的确定可以通过部分地依赖于自捕获发送到基站的原始图像以来由相机获取的图像的序列来改善。例如,序列中的第一图像可以包括几个特征点(例如,图2所示的特征点602、604、606)。到基站将相机的位置和取向发回UAV之前,由UAV获取的最新图像可能包括仍保留在相机的视场中但现在与较新图像的不同像素关联特征点的子集。因此,在一些实施例中,UAV可以通过比较与较早图像上的特征点对应的图像像素和表示较新图像中的保留特征点的图像像素来确定其更新的位置。
图6A是根据本技术的实施例的UAV的导航系统的示意图。在一些实施例中,IMU302可以包括用于确定UAV 1000的取向的加速度计和/或陀螺仪。特别地,加速度计可以测量UAV相对于地球的加速度,而陀螺仪可以测量绕轴线的旋转速率。例如,IMU 302可以是小型化微机电系统(MEMS)或纳米机电系统(NEMS)。也可以使用其他类型的IMU。IMU 302可以包括其他传感器,例如用于确定UAV的罗盘取向的磁力计。在一些实施例中,IMU 302包括用于测量UAV处的大气压力的压力传感器,该大气压力进而至少部分地确定UAV的高度。
UAV 1000可以包括GPS 311。当GPS信号相对强并且未被污染时,UAV 1000的导航可以依靠GPS 311。
在一些实施例中,UAV 1000包括一个或多个处理器或控制器340,其可以是通用处理器或专用处理器(例如,数字信号处理器(DSP)、专用集成电路(ASIC)等)。处理器340可执行计算机可读程序指令370,该计算机可读程序指令370被存储在数据存储装置360中并且可执行以提供本文描述的UAV的功能。数据存储装置360可以包括可由至少一个处理器340读取或访问的一个或多个计算机可读存储介质。计算机可读存储介质可包括易失性和/或非易失性存储组件,例如光学、磁、有机或其他存储器或盘存储装置,这些组件可以与一个或多个处理器340中的至少一个整体或部分地集成。
UAV 1000可以包括用于与基于地面的接收器/发射器(收发器)410通信的通信接口380(例如,无线收发器)。UAV 1000的上述导航系统可以由电力系统供电350。
图6B是根据本技术的实施例的基站510的计算系统的示意图。在一些实施例中,基站510包括一个或多个处理器502和数据存储装置504,例如非暂时性计算机可读介质。数据存储装置504可以存储可以由(一个或多个)处理器502执行的程序指令506。基站510可以包括用于与收发器410或直接与UAV 1000通信的通信接口508。在不同的实施例中,基站510的各种组件可以以不同的方式布置和连接。
图7是根据本技术的实施例的用于UAV导航的方法的流程图。在一些实施例中,该方法可以包括附加步骤,或者可以在没有流程图中示出的所有步骤的情况下实践。此外,在一些实施例中,可以改变列出的步骤的顺序。
该方法在框705中开始,并继续到框710。在框710中,UAV 1000获取地面区域的一个或多个图像。相机可以具有可调整的视角,使得例如在较高的高度处使用较小的视角,而在较低的高度处使用较大的视角。在一些实施例中,枢转机构可以控制相机相对于地面平面的取向。
在框715中,将一个或多个图像发送到地面收发器,且进而发送到基站进行处理。在一些实施例中,UAV还向基站发送图像标签(例如,唯一的字母数字或其他标签)。
在框720中,UAV将附加信息发送到基站。例如,可以将相机的本征(例如,焦深、光圈、视场等)发送到基站。其他附加信息可以包括在捕获图像时的UAV的粗略位置(例如,基于GPS数据、IMU数据、UAV的最近已知位置等),或者在捕获图像时的一天中的时间。
在框725中,基站选择地图以寻找由UAV捕获的(一个或多个)图像与地图片段之间的匹配。在一些实施例中,对(一个或多个)地图的选择基于与从UAV接收图像的一个或多个收发器410的接近度。在其他实施例中,可以基于一天中的时间(例如,夜晚或白天)、天气条件(例如,下雪、下雨等)或其他条件来选择地图。
在框730中,基站将由UAV获取的一个或多个图像与地图的片段(图块)进行比较。在不同的实施例中,基站可以使用不同的图像匹配或图像识别技术。
在框735和740中,基站确定相机的位置和取向。在一些实施例中,通过将图像的像素与陆地地图上的特征点的X、Y、Z坐标相匹配,然后通过数值“线描(line tracing)”回相机,来确定相机的位置/取向。在一些实施例中,数值算法可以至少部分地由UAV自身承载的计算设备执行。在一些实施例中,基站处的计算设备可以用于快速确定相机的位置和取向(例如,在接收UAV的图像的1秒钟内)。在一些实施例中,所需的计算机计算可以至少部分地由UAV自身来完成。
在框745中,将关于UAV的位置和取向的信息发回UAV。在一些实施例中,位置/取向信息通过收发器410发送到UAV。当图像的获取与确定UAV的位置/取向之间经过的时间相对较短时,UAV可以例如基于UAV的已知速度来更精确地确定其当前位置。该方法在框750中结束。图7中的示例指示框725-745由基站执行,但是在其他示例中,一个或多个框725-745可以由UAV或其他固定或移动载具或单元执行。例如,当基站要花费相对较长的时间(例如5-10秒)来处理图像时,UAV可以通过跟踪连续捕获的图像的序列中与特征点对应的图像像素来确定其更新的位置,如参考图5所解释。
上述本技术的许多实施例可以采取计算机可执行或控制器可执行指令的形式,包括存储在非暂时性存储器上并由可编程计算机或控制器执行的例程。相关领域的技术人员将理解,可以在除了上面示出和描述的那些系统之外的计算机/控制器系统上实践本技术。本技术可以实现在专用计算机、专用集成电路(ASIC)、控制器或数据处理器中,其经特别地编程、配置或构造以执行上述一个或多个计算机可执行指令。在许多实施例中,本文描述的任何逻辑或算法都可以以软件或硬件或软件和硬件的组合来实现。
根据前述内容,将理解的是,出于示意的目的,本文中已经描述了本技术的特定实施例,但是可以在不背离本公开的情况下进行各种修改。此外,尽管上面已经在那些实施例的情景中描述了与某些实施例关联的各种优点和特征,但是其他实施例也可以表现出这样的优点和/或特征,并且并非所有实施例都需要表现出这些优点和/或特征才落入本技术的范围。因此,本公开可以涵盖本文未明确示出或描述的其他实施例。
Claims (26)
1.一种用于导航飞行器的方法,包括:
使所述飞行器沿飞行路径飞行;
通过由所述飞行器承载的相机获取沿所述飞行路径的地面区域的图像;
将所述图像发送到基站;
从所述基站接收用于所述飞行器的导航数据,其中,基于所述地面区域的所述图像与所述飞行路径的至少一个陆地地图的比较来确定所述导航数据;和
至少部分地基于所述导航数据来调整飞行路线。
2.根据权利要求1所述的方法,其中,所述飞行器是无人飞行器(UAV)。
3.根据权利要求2所述的方法,还包括:
识别所述图像的多个像素与所述至少一个陆地地图的多个特征点之间的对应关系;
将X、Y、Z坐标分配给所述图像的所述多个像素;和
基于所述图像的所述多个像素确定所述导航数据。
4.根据权利要求2所述的方法,还包括:
当GPS信号提供足够的导航准确性时,基于所述GPS信号来导航所述UAV;和
当GPS信号不提供足够的导航准确性时,基于所述导航数据来导航所述UAV。
5.根据权利要求2所述的方法,其中,基于所述导航数据来导航所述UAV是备用导航方案。
6.根据权利要求1所述的方法,其中,所述导航数据包括所述UAV的位置数据。
7.根据权利要求1所述的方法,其中,所述导航数据包括所述UAV的取向数据。
8.根据权利要求1所述的方法,其中,所述相机由枢转机构承载,所述方法还包括:
基于所述相机相对于所述飞行器的取向以及所述枢转机构相对于所述飞行器的取向来确定所述飞行器的取向。
9.根据权利要求2所述的方法,还包括:
所述UAV与基于地面的收发器无线地进行通信,其中,基于所述基于地面的收发器的位置来选择所述至少一个陆地地图。
10.根据权利要求1所述的方法,其中,所述相机被配置为在日间在可见光谱中工作,而在夜间在红外光谱中工作。
11.根据权利要求1所述的方法,还包括:
在将所述图像发送到所述基站之前,分析所述图像并通过移除所述图像的被认为与所述图像中的可移动或可改变物体有关的一部分来过滤所述图像,以改善所述图像与所述陆地地图之间的匹配。
12.根据权利要求11所述的方法,其中,所述导航数据部分地由所述UAV确定。
13.根据权利要求2所述的方法,还包括:
与将所述图像发送到所述基站一起,向所述基站发送唯一的字母数字图像标签;
从所述基站接收所述唯一的字母数字图像标签;和
基于所述唯一的字母数字图像标签,确定将所述图像发送到所述基站与从所述基站接收所述导航数据之间的时间间隔。
14.根据权利要求13所述的方法,其中,所述导航数据是最终位置数据或最终取向数据,所述方法还包括:
在从所述基站接收最终飞行器位置数据或最终飞行器取向数据中的至少一个之前,从所述基站接收中间位置数据或中间取向数据。
15.根据权利要求2所述的方法,还包括:
在获取所述图像时生成时间戳;
计算所述时间戳与所述UAV接收位置数据时的时间之间的时间间隔;和
至少部分地基于所述位置数据、所述时间间隔以及所述时间间隔期间所述UAV的速度来确定所述UAV的当前位置。
16.一种用于确定飞行器的导航数据的方法,包括:
由与正在飞行的所述飞行器通信的基站接收地面区域的图像;
将所述图像与所述地面区域的陆地地图进行比较;
识别所述陆地地图的与所述图像对应的一部分;
根据识别出的该一部分,确定所述飞行器的所述导航数据;和
将所述导航数据传输到所述飞行器。
17.根据权利要求16所述的方法,还包括:
由地面上的至少一个收发器接收所述图像;
将所述图像转发给所述基站;和
由所述基站基于与所述至少一个收发器的接近度来选择所述陆地地图。
18.根据权利要求16所述的方法,还包括:
检测所述图像与所述陆地地图的与所述图像的对应的该一部分之间的差异;和
通过用所述图像替换所述地图的该一部分来更新所述地图。
19.根据权利要求16所述的方法,还包括:
由所述基站接收唯一的字母数字图像标签。
20.根据权利要求16所述的方法,其中,所述飞行器是无人飞行器(UAV)。
21.一种无人自主载具(UAV),包括:
相机,被配置为获取沿所述UAV的飞行路径的地面区域的图像;
枢转机构,被配置为使所述相机朝向所述地面区域取向;
通信接口,被配置为:
将所述图像发送到基站,并且
从所述基站接收UAV位置信息;和
控制器,联接到所述通信接口,以至少部分地基于所述UAV位置信息来调整所述UAV的所述飞行路径。
22.根据权利要求21所述的UAV,还包括与所述枢转机构通信的惯性测量单元(IMU),其中,所述枢转机构的取向至少部分地取决于来自所述IMU的信号。
23.根据权利要求21所述的UAV,其中,所述相机是第一相机,所述UAV包括第二相机,其中,所述第一相机在可见光谱中操作,并且其中,所述第二相机在红外光谱中操作。
24.一种非暂时性计算机可读介质,其上存储有计算机可执行指令,所述计算机可执行指令响应于被计算设备的一个或多个处理器执行使所述计算设备执行动作,所述动作包括:
由基站接收地面区域的图像,其中,所述图像由UAV承载的相机获取;
将所述图像与所述地面区域的陆地地图进行比较;
识别所述陆地地图的与所述图像对应的一部分;
识别所述图像的多个像素与该一部分的多个特征点之间的对应关系;
将X、Y、Z坐标分配给所述图像的所述多个像素;和
基于所述图像的所述多个像素来确定UAV的导航数据;和
将所述导航数据从所述基站传输到UAV。
25.根据权利要求24所述的方法,还包括:
检测所述图像与所述陆地地图的与所述图像对应的该一部分之间的差异;和
用所述图像替换所述地图的该一部分。
26.根据权利要求24所述的方法,其中,至少部分地基于所述基站与从UAV接收所述图像的收发器之间的接近度来选择所述陆地地图。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762609135P | 2017-12-21 | 2017-12-21 | |
US62/609,135 | 2017-12-21 | ||
US15/963,027 | 2018-04-25 | ||
US15/963,027 US10685229B2 (en) | 2017-12-21 | 2018-04-25 | Image based localization for unmanned aerial vehicles, and associated systems and methods |
PCT/US2018/065563 WO2019125921A1 (en) | 2017-12-21 | 2018-12-13 | Image based localization for unmanned aerial vehicles, and associated systems and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111492326A true CN111492326A (zh) | 2020-08-04 |
CN111492326B CN111492326B (zh) | 2024-04-19 |
Family
ID=66950468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880082573.XA Active CN111492326B (zh) | 2017-12-21 | 2018-12-13 | 用于无人飞行器的基于图像的定位以及相关系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10685229B2 (zh) |
EP (1) | EP3729227B1 (zh) |
CN (1) | CN111492326B (zh) |
AU (2) | AU2018388887B2 (zh) |
FI (1) | FI3729227T3 (zh) |
SG (1) | SG11202005399WA (zh) |
WO (1) | WO2019125921A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117784800A (zh) * | 2024-02-27 | 2024-03-29 | 锐驰激光(深圳)有限公司 | 基于可适应视角的避障方法、装置、设备和存储介质 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107861518B (zh) * | 2017-11-03 | 2021-05-18 | 深圳市道通智能航空技术股份有限公司 | 一种无人飞行器的控制方法和终端 |
US10690525B2 (en) * | 2018-01-03 | 2020-06-23 | General Electric Company | Systems and methods associated with unmanned aerial vehicle targeting accuracy |
US11100667B2 (en) * | 2019-10-30 | 2021-08-24 | Wing Aviation Llc | Systems and methods for generating annotations of structured, static objects in aerial imagery using geometric transfer learning and probabilistic localization |
US11244500B2 (en) | 2019-12-31 | 2022-02-08 | Woven Planet North America, Inc. | Map feature extraction using overhead view images |
US11288522B2 (en) | 2019-12-31 | 2022-03-29 | Woven Planet North America, Inc. | Generating training data from overhead view images |
US11037328B1 (en) * | 2019-12-31 | 2021-06-15 | Lyft, Inc. | Overhead view image generation |
WO2021258399A1 (en) * | 2020-06-27 | 2021-12-30 | SZ DJI Technology Co., Ltd. | Techniques for mapping using compact payload in movable object environment |
CN112487894B (zh) * | 2020-11-17 | 2024-04-23 | 厦门路桥信息股份有限公司 | 基于人工智能的轨道交通保护区自动巡查方法及装置 |
CN112349150B (zh) * | 2020-11-19 | 2022-05-20 | 飞友科技有限公司 | 一种机场航班保障时间节点的视频采集方法和系统 |
US11907888B2 (en) | 2020-12-23 | 2024-02-20 | Here Global B.V. | Aerial vehicle and computing device interaction for validating aerial vehicle activity |
US20220197893A1 (en) * | 2020-12-23 | 2022-06-23 | Here Global B.V. | Aerial vehicle and edge device collaboration for visual positioning image database management and updating |
CN112837378B (zh) * | 2021-02-03 | 2024-04-30 | 江南大学 | 一种基于多无人机编队的航拍相机姿态外部动态标定以及测绘方法 |
CN114182663B (zh) * | 2021-11-26 | 2023-06-20 | 深圳市智泊云科技有限公司 | 一种用于高清车牌识别的停车管理装置 |
US20230316741A1 (en) * | 2022-03-31 | 2023-10-05 | Wing Aviation Llc | Method for Semantic Localization of an Unmanned Aerial Vehicle |
CN115900639B (zh) * | 2023-03-08 | 2023-05-30 | 深圳市科思科技股份有限公司 | 应用于无人机上云台相机的航向角矫正方法和服务器 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4350983A (en) * | 1978-03-25 | 1982-09-21 | Messerschmitt-Boelkow-Blohm Gesellschaft Mit Beschraenkter Haftung | Navigation method for precisely steering a flying object |
US20090125223A1 (en) * | 2006-03-31 | 2009-05-14 | Higgins Robert P | Video navigation |
CN102353377A (zh) * | 2011-07-12 | 2012-02-15 | 北京航空航天大学 | 一种高空长航时无人机组合导航系统及其导航定位方法 |
CN102901506A (zh) * | 2011-07-27 | 2013-01-30 | 株式会社电装 | 地图差异数据发布系统、地图差异数据发布装置和地图差异数据发布方法 |
CN103534726A (zh) * | 2011-05-17 | 2014-01-22 | 苹果公司 | 用于全景摄影的位置传感器辅助的图像配准 |
FR3000813A1 (fr) * | 2013-01-04 | 2014-07-11 | Parrot | Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol. |
CN104794435A (zh) * | 2015-04-03 | 2015-07-22 | 中国科学院自动化研究所 | 一种基于视觉的无人机对地运动目标检测方法 |
KR20150110211A (ko) * | 2014-03-24 | 2015-10-02 | 주식회사 디젠 | 네비게이션 시스템의 데이터 지연 보상 방법 |
CN105264335A (zh) * | 2013-06-03 | 2016-01-20 | 新智控私人有限公司 | 机器人装置的离机式导航方法与设备 |
US20160107749A1 (en) * | 2014-10-17 | 2016-04-21 | Tyco Fire & Security Gmbh | Fixed Drone Visualization In Security Systems |
US20160161261A1 (en) * | 2014-12-09 | 2016-06-09 | Hyundai Motor Company | Terminal, vehicle communicating with terminal and method of controlling the same |
CN105955288A (zh) * | 2016-07-15 | 2016-09-21 | 零度智控(北京)智能科技有限公司 | 飞行器定位及控制方法及系统 |
CN106227235A (zh) * | 2016-09-05 | 2016-12-14 | 重庆零度智控智能科技有限公司 | 飞行器控制方法、装置及用户终端 |
CN106325305A (zh) * | 2015-06-29 | 2017-01-11 | 优利科技有限公司 | 对地定位或导航用相机、飞行器及其导航方法和系统 |
CN106355197A (zh) * | 2016-08-24 | 2017-01-25 | 广东宝乐机器人股份有限公司 | 基于K‑means聚类算法的导航图像匹配过滤方法 |
CN106412840A (zh) * | 2016-10-21 | 2017-02-15 | 北京佰才邦技术有限公司 | 一种无人驾驶装置的信息传输方法及基站 |
US20170053169A1 (en) * | 2015-08-20 | 2017-02-23 | Motionloft, Inc. | Object detection and analysis via unmanned aerial vehicle |
CN106468547A (zh) * | 2015-08-17 | 2017-03-01 | 波音公司 | 利用多个光学传感器的用于自导飞行器的不依赖全球定位系统(“gps”)的导航系统 |
CN106646485A (zh) * | 2016-12-14 | 2017-05-10 | 天津文康科技有限公司 | 一种机电一体化距离测量下的无人机定位系统 |
CN106774402A (zh) * | 2016-12-28 | 2017-05-31 | 湖南省道通科技有限公司 | 对无人机进行定位的方法及装置 |
US20170285627A1 (en) * | 2016-03-31 | 2017-10-05 | General Electric Company | System and method for positioning an unmanned aerial vehicle |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2657160B1 (fr) | 1990-01-12 | 1992-05-07 | Aerospatiale | Systeme embarque pour determiner la position d'un vehicule aerien et ses applications. |
US7191056B2 (en) | 2005-01-04 | 2007-03-13 | The Boeing Company | Precision landmark-aided navigation |
US7944547B2 (en) * | 2006-05-20 | 2011-05-17 | Zheng Wang | Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data |
US8265817B2 (en) | 2008-07-10 | 2012-09-11 | Lockheed Martin Corporation | Inertial measurement with an imaging sensor and a digitized map |
US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
US20140312165A1 (en) * | 2013-03-15 | 2014-10-23 | Armen Mkrtchyan | Methods, apparatus and systems for aerial assessment of ground surfaces |
US9387928B1 (en) | 2014-12-18 | 2016-07-12 | Amazon Technologies, Inc. | Multi-use UAV docking station systems and methods |
CN105867361A (zh) * | 2016-04-18 | 2016-08-17 | 深圳市道通智能航空技术有限公司 | 一种飞行方向控制方法、装置及其无人机 |
US10054445B2 (en) * | 2016-05-16 | 2018-08-21 | Northrop Grumman Systems Corporation | Vision-aided aerial navigation |
US10465840B2 (en) * | 2017-03-22 | 2019-11-05 | Gopro, Inc. | Calibration for image stabilization mechanism |
US10379545B2 (en) * | 2017-07-03 | 2019-08-13 | Skydio, Inc. | Detecting optical discrepancies in captured images |
-
2018
- 2018-04-25 US US15/963,027 patent/US10685229B2/en active Active
- 2018-12-13 AU AU2018388887A patent/AU2018388887B2/en active Active
- 2018-12-13 FI FIEP18833359.5T patent/FI3729227T3/fi active
- 2018-12-13 EP EP18833359.5A patent/EP3729227B1/en active Active
- 2018-12-13 SG SG11202005399WA patent/SG11202005399WA/en unknown
- 2018-12-13 CN CN201880082573.XA patent/CN111492326B/zh active Active
- 2018-12-13 WO PCT/US2018/065563 patent/WO2019125921A1/en unknown
-
2021
- 2021-04-23 AU AU2021202509A patent/AU2021202509B2/en active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4350983A (en) * | 1978-03-25 | 1982-09-21 | Messerschmitt-Boelkow-Blohm Gesellschaft Mit Beschraenkter Haftung | Navigation method for precisely steering a flying object |
US20090125223A1 (en) * | 2006-03-31 | 2009-05-14 | Higgins Robert P | Video navigation |
CN103534726A (zh) * | 2011-05-17 | 2014-01-22 | 苹果公司 | 用于全景摄影的位置传感器辅助的图像配准 |
CN102353377A (zh) * | 2011-07-12 | 2012-02-15 | 北京航空航天大学 | 一种高空长航时无人机组合导航系统及其导航定位方法 |
CN102901506A (zh) * | 2011-07-27 | 2013-01-30 | 株式会社电装 | 地图差异数据发布系统、地图差异数据发布装置和地图差异数据发布方法 |
FR3000813A1 (fr) * | 2013-01-04 | 2014-07-11 | Parrot | Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol. |
CN105264335A (zh) * | 2013-06-03 | 2016-01-20 | 新智控私人有限公司 | 机器人装置的离机式导航方法与设备 |
KR20150110211A (ko) * | 2014-03-24 | 2015-10-02 | 주식회사 디젠 | 네비게이션 시스템의 데이터 지연 보상 방법 |
US20160107749A1 (en) * | 2014-10-17 | 2016-04-21 | Tyco Fire & Security Gmbh | Fixed Drone Visualization In Security Systems |
US20160161261A1 (en) * | 2014-12-09 | 2016-06-09 | Hyundai Motor Company | Terminal, vehicle communicating with terminal and method of controlling the same |
CN105679071A (zh) * | 2014-12-09 | 2016-06-15 | 现代自动车株式会社 | 终端、与终端通信的车辆及控制车辆的方法 |
CN104794435A (zh) * | 2015-04-03 | 2015-07-22 | 中国科学院自动化研究所 | 一种基于视觉的无人机对地运动目标检测方法 |
CN106325305A (zh) * | 2015-06-29 | 2017-01-11 | 优利科技有限公司 | 对地定位或导航用相机、飞行器及其导航方法和系统 |
CN106468547A (zh) * | 2015-08-17 | 2017-03-01 | 波音公司 | 利用多个光学传感器的用于自导飞行器的不依赖全球定位系统(“gps”)的导航系统 |
US20170053169A1 (en) * | 2015-08-20 | 2017-02-23 | Motionloft, Inc. | Object detection and analysis via unmanned aerial vehicle |
US20170285627A1 (en) * | 2016-03-31 | 2017-10-05 | General Electric Company | System and method for positioning an unmanned aerial vehicle |
CN105955288A (zh) * | 2016-07-15 | 2016-09-21 | 零度智控(北京)智能科技有限公司 | 飞行器定位及控制方法及系统 |
CN106355197A (zh) * | 2016-08-24 | 2017-01-25 | 广东宝乐机器人股份有限公司 | 基于K‑means聚类算法的导航图像匹配过滤方法 |
CN106227235A (zh) * | 2016-09-05 | 2016-12-14 | 重庆零度智控智能科技有限公司 | 飞行器控制方法、装置及用户终端 |
CN106412840A (zh) * | 2016-10-21 | 2017-02-15 | 北京佰才邦技术有限公司 | 一种无人驾驶装置的信息传输方法及基站 |
CN106646485A (zh) * | 2016-12-14 | 2017-05-10 | 天津文康科技有限公司 | 一种机电一体化距离测量下的无人机定位系统 |
CN106774402A (zh) * | 2016-12-28 | 2017-05-31 | 湖南省道通科技有限公司 | 对无人机进行定位的方法及装置 |
Non-Patent Citations (6)
Title |
---|
JULIEN LI-CHEE-MING: "MAP-BASED LOCALIZATION FOR UNMANNED AERIAL VEHICLE NAVIGATION", 《A DISSERTATION SUBMITTED TO THE FACULTY OF GRADUATE STUDIES》 * |
JULIEN LI-CHEE-MING: "MAP-BASED LOCALIZATION FOR UNMANNED AERIAL VEHICLE NAVIGATION", 《A DISSERTATION SUBMITTED TO THE FACULTY OF GRADUATE STUDIES》, 1 July 2017 (2017-07-01), pages 38 * |
吴浩;等: "基于分块灰度投影的无人飞行器视频稳像方法", 北京理工大学学报, no. 04, pages 385 - 389 * |
贾西茜;等: "无地面控制点航空图像无缝拼接算法", 影像技术, no. 04, pages 34 - 39 * |
郭峰等: "基于视觉的多旋翼无人机定位与地图构建", 《科技导报》 * |
郭峰等: "基于视觉的多旋翼无人机定位与地图构建", 《科技导报》, no. 07, 13 April 2017 (2017-04-13) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117784800A (zh) * | 2024-02-27 | 2024-03-29 | 锐驰激光(深圳)有限公司 | 基于可适应视角的避障方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
AU2018388887B2 (en) | 2021-03-25 |
AU2018388887A1 (en) | 2020-06-18 |
SG11202005399WA (en) | 2020-07-29 |
US20190197292A1 (en) | 2019-06-27 |
WO2019125921A1 (en) | 2019-06-27 |
AU2021202509B2 (en) | 2022-09-29 |
AU2021202509A1 (en) | 2021-05-20 |
EP3729227B1 (en) | 2022-11-30 |
FI3729227T3 (fi) | 2023-01-13 |
EP3729227A1 (en) | 2020-10-28 |
US10685229B2 (en) | 2020-06-16 |
CN111492326B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111492326B (zh) | 用于无人飞行器的基于图像的定位以及相关系统和方法 | |
US12007792B2 (en) | Backup navigation system for unmanned aerial vehicles | |
KR101988212B1 (ko) | 무인비행체를 이용한 측량 시스템 및 방법 | |
JP2019508677A (ja) | 地図を使用した車両構成部品の制御 | |
KR101160454B1 (ko) | 무인항공기의 자세 제어를 이용한 3d 공간정보구축 방법 | |
JP6380936B2 (ja) | 移動体及びシステム | |
US11760482B1 (en) | Updating virtual aerial map using sensors associated with aerial vehicles | |
US20240177619A1 (en) | Map including data for routing aerial vehicles during gnss failure | |
CN113156998A (zh) | 一种无人机飞控系统及控制方法 | |
JP2020149640A (ja) | 飛行システム及び着陸制御方法 | |
EP4191566A1 (en) | Planimetric feature data generation system, planimetric feature database updating system, and planimetric feature data generation method | |
JP2023175386A (ja) | 飛行システム | |
CN115731300A (zh) | 用于校准基础设施传感器系统的方法和装置以及基础设施系统 | |
CN116528154A (zh) | 用于界定区域内的车辆驾驶辅助的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |