CN109708636B - 导航图配置方法、避障方法以及装置、终端、无人飞行器 - Google Patents

导航图配置方法、避障方法以及装置、终端、无人飞行器 Download PDF

Info

Publication number
CN109708636B
CN109708636B CN201711021920.1A CN201711021920A CN109708636B CN 109708636 B CN109708636 B CN 109708636B CN 201711021920 A CN201711021920 A CN 201711021920A CN 109708636 B CN109708636 B CN 109708636B
Authority
CN
China
Prior art keywords
point
map
area
aircraft
navigation map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711021920.1A
Other languages
English (en)
Other versions
CN109708636A (zh
Inventor
郑立强
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201711021920.1A priority Critical patent/CN109708636B/zh
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to KR1020207005722A priority patent/KR102385820B1/ko
Priority to EP18871786.2A priority patent/EP3702731A4/en
Priority to AU2018355491A priority patent/AU2018355491B2/en
Priority to JP2020517902A priority patent/JP2020535545A/ja
Priority to US16/641,763 priority patent/US20200394924A1/en
Priority to PCT/CN2018/112077 priority patent/WO2019080924A1/zh
Publication of CN109708636A publication Critical patent/CN109708636A/zh
Application granted granted Critical
Publication of CN109708636B publication Critical patent/CN109708636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/006—Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

本发明提供一种导航图配置方法、自动避障方法以及装置、终端、无人飞行器，其中导航图配置方法，包括步骤：获取所述无人飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中。本发明实施例能够动态生成作业航线，有效应对临时的任务变化。

Description

导航图配置方法、避障方法以及装置、终端、无人飞行器
技术领域
本发明涉及飞行器技术领域，具体而言，本发明涉及一种导航图配置方法、避障方法以及装置、终端、无人飞行器。
背景技术
随着科技的发展，飞行器，例如无人机等，在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄等等领域得到广泛的应用。
传统技术中，飞行器的作业航线是由地面控制装置根据地块信息，预先自动生成的扫描航线。由于扫描航线是预先生成的，连作业后的返航路径都是起飞前就生成好的，所以没办法应对临时的任务变化，例如，在飞行器根据预先生成的扫描航线作业时，用户需要飞行器对事先未规划作业航线的一片作业区域同时进行作业，或者，在飞行器根据预先生成的扫描航线作业时，用户需要飞行器对事先未规划的未知障碍物能够自动避障等等。
发明内容
本发明针对现有方式的缺点，提出一种导航图配置方法、避障方法以及装置、终端、无人飞行器，用以解决现有技术中存在的作业航线规划方式无法应对临时的任务变化的问题，以能够动态生成作业航线，有效应对临时的任务变化。
本发明的实施例根据第一个方面，提供了一种导航图配置方法，包括步骤：
获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中。
本发明的实施例根据第二个方面，还提供了一种避障方法，包括步骤：
获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，其中，所述局部导航图包括若干个子区域；
若子区域中所有点的权值和大于预设阈值，将所述子区域设置为障碍物区域，以指示所述飞行器对所述障碍物区域实施避障；
获取用户设定的用于指示障碍物区域和作业边界区域的测绘数据，以及用于指示所述局部导航图中障碍物区域的三维位置信息；
在预设的全局导航图中设置障碍物区域和作业边界区域，以指示所述飞行器对所述障碍物区域和所述作业边界区域实施避障。
本发明的实施例根据第三个方面，还提供了一种飞行器导航图配置装置，包括：
信息获取模块，用于获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
三维位置信息获得模块，用于根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
投影模块，用于将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中。
本发明的实施例根据第四个方面，还提供了一种避障装置，包括：
第一信息获取模块，用于获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
三维位置信息获得模块，用于根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
投影模块，用于将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，其中，所述局部导航图包括若干个子区域；
第一区域设置模块，用于在子区域中所有点的权值和大于预设阈值时，将所述子区域设置为障碍物区域，以指示所述飞行器对所述障碍物区域实施避障；
第二信息获取模块，用于获取用户设定的用于指示障碍物区域和作业边界区域的测绘数据，以及用于指示所述局部导航图中障碍物区域的三维位置信息；
第二区域设置模块，用于在预设的全局导航图中设置障碍物区域和作业边界区域，以指示所述飞行器对所述障碍物区域和所述作业边界区域实施避障。
本发明的实施例根据第五个方面，还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行任意实施例所述方法的步骤。
本发明的实施例根据第六个方面，还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行任意实施例所述方法的步骤。
本发明的实施例根据第七个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面所述的导航图配置方法。
本发明的实施例根据第八个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第二方面所述的避障方法。
本发明的实施例根据第九个方面，还提供了一种无人飞行器，包括通信模块、传感器、控制器、存储介质；所述传感器包括图像传感器、GPS接收器、RTK定位传感器、惯性传感器，
所述通信模块，用于与地面控制装置进行通信；
所述GPS接收器和定位传感器，用于确定无人飞行器的当前飞行位置；所述惯性传感器，用于确定无人飞行器的姿态信息；
所述图像传感器，用于在当前飞行位置探测深度图；
所述控制器与所述存储介质连接，所述存储介质用于存储程序，所述程序运行时用于执行上述第一方面所述方法的步骤。
本发明的实施例根据第十个方面，还提供了一种无人飞行器，包括通信模块、传感器、控制器、存储介质；所述传感器包括图像传感器、GPS接收器、RTK定位传感器、惯性传感器，
所述通信模块，用于与地面控制装置进行通信；
所述GPS接收器和定位传感器，用于确定无人飞行器的当前飞行位置；
所述惯性传感器，用于确定无人飞行器的姿态信息；
所述图像传感器，用于在当前飞行位置探测深度图；
所述控制器与所述存储介质连接，所述存储介质用于存储程序，所述程序运行时用于执行上述第二方面所述方法的步骤。
上述导航图配置方法、避障方法以及装置、终端、无人飞行器，动态生成以飞行器当前飞行位置为中心的局部导航图，根据飞行器在飞行过程中获取到的位置信息、姿态信息以及深度图，分析出每个点的三维位置信息，该每个点的三维位置信息可能是飞行器在飞行过程中所遇到的未知障碍物的信息，也可能是飞行器在飞行过程中所遇到的事先未被规划的其它物体的信息，将各个点的三维位置信息投影到局部导航图中，就可以根据该局部导航图进行实时作业航线规划。由于作业航线根据飞行器飞行过程中获取的信息动态生成，因此可以有效应对临时的任务变化，例如，对事先未规划作业航线的一片作业区域同时进行作业，或者，自动对未知障碍物所在区域进行避障等等。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明导航图配置方法一实施例的流程示意图；
图2为本发明预设区域确定方法一具体实施例的示意图；
图3为本发明飞行器导航图配置装置一实施例的结构示意图；
图4为本发明避障方法一实施例的流程示意图；
图5为本发明全局导航图边界获取方式一具体实施例的示意图；
图6为本发明在全局导航图中设置障碍物区域和作业边界区域一具体实施例的示意图；
图7为本发明避障装置一实施例的结构示意图；
图8为本发明一个实施例的一种无人飞行器800的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
为了更好的理解本发明，首先对本发明的整体技术构思进行简单介绍。
本发明所设计的飞行器避障系统分为两个部分，一个是主要基于全局导航图的全局避障规划部分，另一个是主要基于局部导航图的局部避障规划部分。全局导航图和局部导航图均用于指示飞行器的飞行，其中，全局导航图和局部导航图的建立不相互依赖，所面对的问题不一样，建图策略也不一样(以后部分会详细介绍)，目的是在减少资源消耗的同时贴合农业应用。
全局避障规划用于返航或指点飞行，主要使用全局导航图，面对的是已知的障碍。在飞行器的应用中，例如，农业无人机植保应用中，作业航线是由地面站根据地块信息，预先自动生成的扫描航线。由于扫描航线是预先生成的，连作业后的返航路径都是起飞前就生成好的，所以没办法应对临时的任务变化，例如药量突然用完、电量近乎用完或用户突然不想飞要返航。全局导航图就是用来应对这种场景，随时能够在整张地图中进行无障碍路径规划，这种规划是长距离的，而且不需要考虑喷药等问题。这种场景下，需要的地图区域较大，地图粒度不需要很细，地图区域在起飞前就能确定。
局部避障规划用于沿着作业航线飞行、或沿着全局规划的路径飞行过程中遇到未知障碍物的情况，局部导航图主要用于在作业过程中遇到未知障碍物的情景，这种情景下，需要地图粒度较小，因为需要尽量贴合原有航线，尽量减少漏喷，所以相应的规划一般是短距的，地图可以比较小，地图中心跟飞行器一起移动。
另外，本发明所设计的局部导航图除了应用于避障，还可以应用于其它方面，例如，对事先未规划的一片果树区域进行作业等等，本发明并不对局部导航图所应用的场景进行限定。
基于上述技术构思，下面对本发明所提供的导航图配置方法、自动避障方法以及装置、终端的具体实施方式进行详细介绍。
首先，从基于局部导航图规划的角度对本发明进行详细介绍。
如图1所示，在一个实施例中，一种导航图配置方法，包括步骤：
S110、获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图。
飞行器可以为植保无人机等等。当前飞行位置指的是飞行器在当前时刻所处的地理位置，例如飞行器的经纬度信息等。姿态信息指的是飞行器在当前时刻的飞行姿态，例如俯仰角、横滚角和偏航角等等。飞行器的当前飞行位置和姿态信息均可以通过飞行器的飞控获取。深度图为拍摄到的目标的二维图像，所述深度图包括每个点与所述当前飞行位置的距离信息，即深度图中每个像素点的灰度值用于表征所拍摄目标与飞行器当前位置的距离信息。实际应用中，深度图可以通过飞行器的双目系统探测到。在进行局部避障时，所采用的深度图可以为多张深度图，也可以为单张深度图，本发明并不对此做出限定。另外，深度图的大小可以根据需要自行设定，本发明对此也不做出限定，例如，探测到的深度图是一张640*480大小的图像。获取到的当前飞行位置、姿态信息和深度图用于局部导航图的建图。
S120、根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息。
由于深度图中每个像素点的灰度值包含了所拍摄目标与所述飞行器的距离信息，因此根据当前飞行位置、姿态信息以及所述深度图中每个像素点的像素坐标以及灰度值，可以计算出每个像素点所对应的三维位置信息，也即是深度图中每一个二维的像素点对应得到一个三维的点。
导航坐标系即当地水平坐标系，是在导航时根据导航系统工作的需要而选取的作为导航基准的坐标系，是用来做导航计算时使用的。考虑到这些三维的点用于飞行器的导航，所以计算出来的三维的点一般指的是导航坐标系下的点。可选的，导航坐标系为北东地坐标系。
由于局部导航图只需要对飞行器附近的障碍物进行指示，而得到的点云(各个三维的点)可能包括较远范围的点，因此可以只保留影响飞行器飞行的点，例如只保留距离飞行器上下一定范围内的点。
S130、将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中。
局部导航图用于为飞行器进行局部导航，其是动态的，地图的中心即飞行器的当前位置，地图的大小可以通过人为或者程序预先设定。当飞行器的当前位置变化时，就移动局部导航地图的中心，同时，对整张地图的内容做一次平移，平移后，超出地图范围的原有内容会被删除，新进的内容会被置零。
局部导航图为二维地图，获取到点云后，也即是导航坐标系的点云后，需要将这些点云以一定的权值叠加到局部导航图中，以用于动态规划作业航线。计算每个点的权值的方式有很多，例如，在一个实施例中，每个点的所述权值根据预设权值与距离因子的乘积获得，其中，所述距离因子与所述距离信息为正比例关系，即如下公式所示：
point_weight＝point_weight_com*distance_factor
其中，point_weight为一个点的权值；point_weight_com为点的通用权值，即预设权值，可以根据经验得到，该通用权值对于所有的点都一致；distance_factor为与距离相关的因子，与距离为正比例关系，即其值随距离信息的增大而线性增大，随距离信息的减小而线性减小。该距离信息为前述深度图中每个像素点的灰度值所表征的距离信息。距离因子与距离信息为正比例关系，原因在于远距离的物体，其点云数目较少，因而每个点的权值理应大于近距离的点。
根据步骤S130得到更新后的局部导航图后，就可以根据该局部导航图进行作业航线规划，例如对障碍物进行避障，对探测到的一块新的区域进行作业等等。为了更好的理解本发明，下面以基于局部导航图进行避障为例进行详细介绍。
在一个实施例中，所述局部导航图包括若干个子区域；所述将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，之后，还包括：若子区域中所有点的权值和大于预设阈值，将所述子区域设置为障碍物区域，以指示所述飞行器实施避障。
按照一定的规则将局部导航图划分为各个子区域，具体的划分规则可以根据实际情况进行设定，本发明并不对此做出限定。例如，在一个实施例中，所述局部导航图可以为栅格地图，每一个栅格为一个子区域。
由于获得的点可能是障碍物的点，也可能是噪声点等等，因此需要对这些点的权值进行进一步计算，以得到实际的障碍物区域。将各个点按照权值叠加到局部导航图中后，局部导航图中的每个子区域可能包含多个点，按照下述公式对每一个子区域进行总权值计算，得到每个子区域的总权值。
map_value+＝point_weight。
其中，map_value表示一个子区域的权值。
根据经验设定预设阈值，例如将预设阈值设置为1，另外还需要根据实际需要设置表示障碍物区域的具体形式，例如，对于栅格地图来说，栅格的权值为0表示该位置为自由位置，飞行器可以自由通行，栅格权值为1则标识该位置存在障碍，飞行器需要绕行。那么就可以按照下述公式对子区域进行设置：
If(map_value>1)then map_value＝1。
在一个实施例中，所述将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，之后，还包括：若子区域中所有点的权值和小于等于预设阈值，将所述子区域设置为通行区域，以允许所述飞行器通过。如果子区域的总权值小于等于预设阈值，意味着该子区域不是真正的障碍物区域，因此就可以将该子区域标识为通行区域。例如，对于栅格地图来说，如果一个栅格内所有点的权值和小于1，则可以将该栅格的权值设置为0，以指示飞行器可以通行。
因为深度图每个像素点都包含了目标的距离信息，包含的信息量过大，如果根据原始深度图获得每个点的三维位置信息，则计算量过大。因此，需要对深度图进行预处理。对深度图进行预处理以降低计算量的方式有很多，例如，在一个实施例中，所述获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图，之后，所述获得每个点的三维位置信息，之前，还可以包括：对所述深度图进行稀疏处理。
根据相机小孔成像模型，远处的障碍会较为集中在图像的中心处，而近处的障碍则因为距离近，在图像中的面积较大，因此，在一个实施例中，所述对所述深度图进行稀疏处理，包括：采用变化步长对所述深度图进行稀疏处理，其中，所述变化步长用于控制深度图中的像素点从边缘到中心逐步增多。
具体实施时，可以从图像边界出发做不等距的稀疏处理，使得靠近图像中心的像素点较为稠密，而图像边缘的像素点则较为稀疏。稀疏处理的伪代码如下所示：
Figure BDA0001447625610000101
其中：
img_height与img_width分别为图像的宽度和长度；
i_step与j_step为遍历图像的步长，初始值都为1；
height_step与width_step分别为图像纵向和横向的稀疏因子；
HandleImage()表示的是对深度图的后续处理。
原始深度图，或者经过稀疏处理后的稀疏深度图，要经过坐标转换才能转换到导航坐标系下，才能作为障碍物的信息更新到局部导航图中。因此，在一个实施例中，所述根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息，包括：对所述深度图进行坐标转换，获得在导航坐标系中的各个点；根据导航坐标系中的各个点、所述当前飞行位置以及所述姿态信息，获得每个点的三维位置信息。
坐标转换的方式有很多，例如，在一个实施例中，所述对所述深度图进行坐标转换，获得在导航坐标系中的各个点，包括：根据相机内参矩阵，将所述深度图中每个点转化为相机坐标系下的各个点；根据相机坐标系到机体坐标系的转换矩阵
Figure BDA0001447625610000102
将相机坐标系下的各个点转化为机体坐标系的各个点；根据机体坐标系到导航坐标系的转换矩阵
Figure BDA0001447625610000103
将机体坐标系下的各个点转换为导航坐标系的各个点。
由于深度图本身存在噪声以及障碍物可能会移动(例如树叶随风飘动)，使用深度图计算出来的点云也会存在噪声点，这些噪声会随着上述步骤的循环进行而在局部导航图中累积，导致对障碍物的错误测量，简称误测。为了减小误测概率，在一个实施例中，所述将每个点的三维位置信息按照各自设定的权值投影到局部导航图中，之后，还包括：对所述局部导航图中预设区域内的每个点的权值进行衰减；获得衰减后每个子区域中所有点的权值和。先对局部导航图中的预设区域内的点的权值进行衰减，然后再计算每个子区域的总权值，判断每个子区域是否为障碍物区域，从而降低噪声对障碍物判断的影响，提高障碍物区域判断的准确性。
在一个实施例中，所述对所述局部导航图中预设区域内的每个点的权值进行衰减，包括：将所述预设区域内的每个点的权值与预设衰减因子相乘。衰减因子可以根据经验设定。如果预设区域刚好包括N个子区域，则可以根据下述公式进行衰减操作：
map_value*＝damping_factor。
其中，map_value表示预设区域内的一个子区域的总权值，damping_factor表示衰减因子。
预设区域确定的方式有很多，例如，在一个实施例中，所述预设区域根据所述局部导航图的中心、所述飞行器中用于获取深度图的双目系统的水平视场角以及设定衰减距离确定。
如图2所示，为一具体实施例的预设区域确定方法的示意图，其中，O表示局部导航图的地图中心，也即是飞行器的当前飞行位置，θ表示双目系统视场角的大小，由双目系统的参数确定，d表示衰减距离，为根据经验设定的固定值，那么由以上三个参数所确定的扇形区域即为衰减区域，对该衰减区域内的点的权值进行衰减，而衰减区域外的点的权值无需进行衰减。
需要说明的是，图2仅对飞行器中前方安装双目系统的衰减区域进行示意，如果飞行器后方或者侧面也安装有双目系统，则在图示衰减区域对称的位置或者侧面的位置也设置衰减区域，对衰减区域内的点的权值进行衰减，即衰减区域与双目系统安装的方式相关。如果通过其它设备获取深度图，则确定预设区域的方式与基于双目系统确定预设区域的构思相同。
基于同一发明构思，本发明还提供一种飞行器导航图配置装置，下面结合附图对本发明装置的具体实施方式进行详细介绍。
如图3所示，在一个实施例中，一种飞行器导航图配置装置，包括：
信息获取模块110，用于获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图。
飞行器可以为植保无人机等等。当前飞行位置指的是飞行器在当前时刻所处的地理位置，例如飞行器的经纬度信息等。姿态信息指的是飞行器在当前时刻的飞行姿态，例如俯仰角、横滚角和偏航角等等。飞行器的当前飞行位置和姿态信息均可以通过飞行器的飞控获取。深度图为拍摄到的目标的二维图像，所述深度图包括每个点与所述当前飞行位置的距离信息，即深度图中每个像素点的灰度值用于表征所拍摄目标与飞行器当前位置的距离信息。实际应用中，深度图可以通过飞行器的双目系统探测到。在进行局部避障时，所采用的深度图可以为多张深度图，也可以为单张深度图，本发明并不对此做出限定。另外，深度图的大小可以根据需要自行设定，本发明对此也不做出限定。获取到的当前飞行位置、姿态信息和深度图用于局部导航图的建图。
三维位置信息获得模块120，用于根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息。
由于深度图中每个像素点的灰度值包含了所拍摄目标与所述飞行器的距离信息，因此根据当前飞行位置、姿态信息以及所述深度图中每个像素点的像素坐标以及灰度值，可以计算出每个像素点所对应的三维位置信息，也即是深度图中每一个二维的像素点对应得到一个三维的点。
导航坐标系即当地水平坐标系，是在导航时根据导航系统工作的需要而选取的作为导航基准的坐标系，是用来做导航计算时使用的。考虑到这些三维的点用于飞行器的导航，所以计算出来的三维的点一般指的是导航坐标系下的点。可选的，导航坐标系为北东地坐标系。
由于局部导航图只需要对飞行器附近的障碍物进行指示，而得到的点云(各个三维的点)可能包括较远范围的点，因此可以只保留影响飞行器飞行的点，例如只保留距离飞行器上下一定范围内的点。
投影模块130，用于将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中。
局部导航图用于为飞行器进行局部导航，其是动态的，地图的中心即飞行器的当前位置，地图的大小可以通过人为或者程序预先设定。当飞行器的当前位置变化时，就移动局部导航地图的中心，同时，对整张地图的内容做一次平移，平移后，超出地图范围的原有内容会被删除，新进的内容会被置零。
局部导航图为二维地图，获取到点云后，也即是导航坐标系的点云后，需要将这些点云以一定的权值叠加到局部导航图中，以用于动态规划作业航线。计算每个点的权值的方式有很多，例如，在一个实施例中，每个点的所述权值根据预设权值与距离因子的乘积获得，其中，所述距离因子与所述距离信息为正比例关系。
投影模块130得到更新后的局部导航图后，就可以根据该局部导航图进行作业航线规划，例如对障碍物进行避障，对探测到的一块新的区域进行作业等等。为了更好的理解本发明，下面以基于局部导航图进行避障为例进行详细介绍。
在一个实施例中，所述局部导航图包括若干个子区域；所述装置还包括与所述投影模块130相连的障碍物区域设置模块，用于在子区域中所有点的权值和大于预设阈值时，将所述子区域设置为障碍物区域，以指示所述飞行器实施避障。
按照一定的规则将局部导航图划分为各个子区域，具体的划分规则可以根据实际情况进行设定，本发明并不对此做出限定。例如，在一个实施例中，所述局部导航图可以为栅格地图，每一个栅格为一个子区域。
由于获得的点可能是障碍物的点，也可能是噪声点等等，因此需要对这些点的权值进行进一步计算，以得到实际的障碍物区域。将各个点按照权值叠加到局部导航图中后，局部导航图中的每个子区域可能包含多个点，对每一个子区域进行总权值计算，得到每个子区域的总权值。如果总权值大于预设阈值，则将该子区域设置为障碍物区域。
在一个实施例中，所述装置还包括与所述投影模块130相连的通行区域设置模块，用于在子区域中所有点的权值和小于等于预设阈值时，将所述子区域设置为通行区域，以允许所述飞行器通过。如果子区域的总权值小于等于预设阈值，意味着该子区域不是真正的障碍物区域，因此就可以将该子区域标识为通行区域。
因为深度图每个像素点都包含了目标的距离信息，包含的信息量过大，如果根据原始深度图获得每个点的三维位置信息，则计算量过大。因此，需要对深度图进行预处理。对深度图进行预处理以降低计算量的方式有很多，例如，在一个实施例中，所述装置还可以包括连接在所述信息获取模块110以及所述三维信息位置获取模块120之间的稀疏处理模块，所述稀疏处理模块用于对所述深度图进行稀疏处理。
根据相机小孔成像模型，远处的障碍会较为集中在图像的中心处，而近处的障碍则因为距离近，在图像中的面积较大，因此，在一个实施例中，稀疏处理模块采用变化步长对所述深度图进行稀疏处理，其中，所述变化步长用于控制深度图中的像素点从边缘到中心逐步增多。
原始深度图，或者经过稀疏处理后的稀疏深度图，要经过坐标转换才能转换到导航坐标系下，才能作为障碍物的信息更新到局部导航图中。因此，在一个实施例中，所述三维位置信息获得模块120对所述深度图进行坐标转换，获得在导航坐标系中的各个点；根据导航坐标系中的各个点、所述当前飞行位置以及所述姿态信息，获得每个点的三维位置信息。
坐标转换的方式有很多，例如，在一个实施例中，三维位置信息获得模块120根据相机内参矩阵，将所述深度图中每个点转化为相机坐标系下的各个点；根据相机坐标系到机体坐标系的转换矩阵
Figure BDA0001447625610000142
将相机坐标系下的各个点转化为机体坐标系的各个点；根据机体坐标系到导航坐标系的转换矩阵
Figure BDA0001447625610000141
将机体坐标系下的各个点转换为导航坐标系的各个点。
由于深度图本身存在噪声以及障碍物可能会移动(例如树叶随风飘动)，使用深度图计算出来的点云也会存在噪声点，这些噪声会随着上述步骤的循环进行而在局部导航图中累积，导致对障碍物的错误测量，简称误测。为了减小误测概率，在一个实施例中，所述装置还包括连接在投影模块130和障碍物区域设置模块(和/或通行区域设置模块)之间的衰减模块，所述衰减模块用于对所述局部导航图中预设区域内的每个点的权值进行衰减；获得衰减后每个子区域中所有点的权值和。衰减模块先对局部导航图中的预设区域内的点的权值进行衰减，然后再计算每个子区域的总权值。基于该总权值判断每个子区域是否为障碍物区域，从而降低噪声对障碍物判断的影响，提高障碍物区域判断的准确性。
在一个实施例中，所述衰减模块将所述预设区域内的每个点的权值与预设衰减因子相乘。衰减因子可以根据经验设定。如果预设区域刚好包括N个子区域，则可以分别将每个子区域的总权值与衰减因子相乘。
预设区域确定的方式有很多，例如，在一个实施例中，所述预设区域根据所述局部导航图的中心、所述飞行器中用于获取深度图的双目系统的水平视场角以及设定衰减距离确定。衰减区域与双目系统安装的方式相关。如果通过其它设备获取深度图，则确定预设区域的方式与基于双目系统确定预设区域的构思相同。
本发明还提供一种终端，该终端可以为飞行器或者其他设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述方法的步骤。
下面，从基于全局导航图的全局避障规划的角度对本发明进行详细介绍。
如图4所示，在一个实施例中，一种避障方法，包括步骤：
S210、获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图。
飞行器可以为植保无人机等等。当前飞行位置指的是飞行器在当前时刻所处的地理位置，例如飞行器的经纬度信息等。姿态信息指的是飞行器在当前时刻的飞行姿态，例如俯仰角、横滚角和偏航角等等。飞行器的当前飞行位置和姿态信息均可以通过飞行器的飞控获取。深度图为拍摄到的目标的二维图像，所述深度图包括每个点与所述当前飞行位置的距离信息，即深度图中每个像素点的灰度值用于表征所拍摄目标与飞行器当前位置的距离信息。实际应用中，深度图可以通过飞行器的双目系统探测到。在进行局部避障时，所采用的深度图可以为多张深度图，也可以为单张深度图，本发明并不对此做出限定。另外，深度图的大小可以根据需要自行设定，本发明对此也不做出限定，例如，探测到的深度图是一张640*480大小的图像。获取到的当前飞行位置、姿态信息和深度图用于局部导航图的建图。
S220、根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息。
由于深度图中每个像素点的灰度值包含了所拍摄目标与所述飞行器的距离信息，因此根据当前飞行位置、姿态信息以及所述深度图中每个像素点的像素坐标以及灰度值，可以计算出每个像素点所对应的三维位置信息，也即是深度图中每一个二维的像素点对应得到一个三维的点。
导航坐标系即当地水平坐标系，是在导航时根据导航系统工作的需要而选取的作为导航基准的坐标系，是用来做导航计算时使用的。考虑到这些三维的点用于飞行器的导航，所以计算出来的三维的点一般指的是导航坐标系下的点。可选的，导航坐标系为北东地坐标系。
由于局部导航图只需要对飞行器附近的障碍物进行指示，而得到的点云(各个三维的点)可能包括较远范围的点，因此可以只保留影响飞行器飞行的点，例如只保留距离飞行器上下一定范围内的点。
S230、将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，其中，所述局部导航图包括若干个子区域。
局部导航图用于为飞行器进行局部导航，其是动态的，地图的中心即飞行器的当前位置，地图的大小可以通过人为或者程序预先设定。当飞行器的当前位置变化时，就移动局部导航地图的中心，同时，对整张地图的内容做一次平移，平移后，超出地图范围的原有内容会被删除，新进的内容会被置零。
按照一定的规则将局部导航图划分为各个子区域，具体的划分规则可以根据实际情况进行设定，本发明并不对此做出限定。例如，在一个实施例中，所述局部导航图可以为栅格地图，每一个栅格为一个子区域。
局部导航图为二维地图，获取到点云后，也即是导航坐标系的点云后，需要将这些点云以一定的权值叠加到局部导航图中，以用于判断具体哪些区域为障碍物区域。计算每个点的权值的方式有很多，例如，在一个实施例中，每个点的所述权值根据预设权值与距离因子的乘积获得，其中，所述距离因子与所述距离信息为正比例关系，即如下公式所示：
point_weight＝point_weight_com*distance_factor
其中，point_weight为一个点的权值；point_weight_com为点的通用权值，即预设权值，可以根据经验得到，该通用权值对于所有的点都一致；distance_factor为与距离相关的因子，与距离为正比例关系，即其值随距离信息的增大而线性增大，随距离信息的减小而线性减小。该距离信息为前述深度图中每个像素点的灰度值所表征的距离信息。距离因子与距离信息为正比例关系，原因在于远距离的物体，其点云数目较少，因而每个点的权值理应大于近距离的点。
S240、若子区域中所有点的权值和大于预设阈值，将所述子区域设置为障碍物区域，以指示所述飞行器对所述障碍物区域实施避障。
由于获得的点可能是障碍物的点，也可能是噪声点等等，因此需要对这些点的权值进行进一步计算，以得到实际的障碍物区域。将各个点按照权值叠加到局部导航图中后，局部导航图中的每个子区域可能包含多个点，按照下述公式对每一个子区域进行总权值计算，得到每个子区域的总权值。
map_value+＝point_weight。
其中，map_value表示一个子区域的权值。
根据经验设定预设阈值，例如将预设阈值设置为1，另外还需要根据实际需要设置表示障碍物区域的具体形式，例如，对于栅格地图来说，栅格的权值为0表示该位置为自由位置，飞行器可以自由通行，栅格权值为1则标识该位置存在障碍，飞行器需要绕行。那么就可以按照下述公式对子区域进行设置：
If(map_value>1)then map_value＝1。
在一个实施例中，所述将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，之后，还包括：若子区域中所有点的权值和小于等于预设阈值，将所述子区域设置为通行区域，以允许所述飞行器通过。如果子区域的总权值小于等于预设阈值，意味着该子区域不是真正的障碍物区域，因此就可以将该子区域标识为通行区域。例如，对于栅格地图来说，如果一个栅格内所有点的权值和小于1，则可以将该栅格的权值设置为0，以指示飞行器可以通行。
S250、获取用户设定的用于指示障碍物区域和作业边界区域的测绘数据，以及用于指示所述局部导航图中障碍物区域的三维位置信息。
全局避障规划时数据来源有两方面：一是用户的测绘数据(包含边界以及障碍物)，二是局部导航图的数据，局部导航图的数据会以一定的周期更新到全局导航图中。
测绘数据可以是用户手动测试的数据，也可以是用户通过地图界面选择的各个数据。一般情况下，测绘数据包含障碍物区域的边界点以及作业边界区域的边界点。在飞行器起飞之前，通过数据链路就可以将用户测绘的地图数据上传到飞行器中，例如，上传到飞行器的双目系统中，用于全局导航图的建图运算。
三维位置信息为局部导航图中已设置为障碍物区域的数据。局部导航图会以一定的周期进行更新，在更新的同时，确定为障碍物区域的位置可以选择填放至一个障碍物队列里面。该障碍物队列可以删除也可以添加：当在局部导航图中确定为障碍物时，就将障碍物区域的信息添加到队列里面；障碍物移动或者消失时，则将障碍物区域的信息从队列里面删除。以一定的周期，将障碍物队列里面的障碍物区域的信息更新到全局导航图中，这样全局导航图也包含了双目系统探测出来的信息。需要说明的是，本发明并不限定于通过队列的形式对全局导航图的数据进行更新，用户还可以根据需要通过其他形式将局部导航图中的障碍物区域的信息更新至全局导航图中。
将局部导航图的障碍物区域的信息更新到全局导航图中，那么在进行全局规划时就可以直接避开障碍物，可以在全局范围内找到最短路径，从而避免只有测绘数据而导致的找到的路径无法避开未测绘的障碍物。
S260、在预设的全局导航图中设置障碍物区域和作业边界区域，以指示所述飞行器对所述障碍物区域和所述作业边界区域实施避障。
全局导航图可以为栅格地图。全局导航图比局部导航图大很多，局部导航图可以很小，只要满足局部避障需求，全局导航图需要把飞行器当次飞行的飞行范围都包含在内。获得测绘数据后，就可以根据测绘数据所包含的作业边界区域的位置信息以及障碍物区域的位置信息，在全局导航图中标识出相应的区域。例如，根据测绘数据将全局导航图中的某一些栅格的权值设置为1。获得局部导航图中的障碍物区域的位置信息后，就对全局导航图进行更新，将全局导航图中相应的位置更新为障碍物区域。设置好障碍物区域和作业边界区域后，飞行器根据该全局导航图就可以对障碍物区域和作业边界区域进行避障。
全局导航图在飞行器起飞作业前就得完成初始化。初始化的内容为确定全局导航图的大小以及中心点位置。在一个实施例中，所述预设的全局导航图的中心和大小根据所述飞行器起飞前的位置以及所述测绘数据获得。初始化全局导航图的信息来自于用户设定的测绘数据。地图中心所表示的地理位置以及地图的大小在初始化的时候就已经确定。确定这些信息后，就可以为全局导航图分配存储空间，根据障碍物的地理位置确定障碍物信息的存储位置，方便存储和访问障碍物信息。
在一个实施例中，所述全局导航图的水平边界由所述位置和所述测绘数据在Y轴上的最大值和最小值膨胀后确定，所述全局导航图的竖直边界由所述位置和所述测绘数据在X轴上的最大值和最小值膨胀后确定。具体的，从测绘数据和飞行器起飞前的位置信息中找到在Y轴上的最大值，将该最大值膨胀一定的距离后得到全局导航图上面的水平边界；从测绘数据和飞机起飞前的位置信息中找到在Y轴上的最小值，将该最小值膨胀一定的距离后得到全局导航图下面的水平边界；从测绘数据和飞行器起飞前的位置信息中找到在X轴上的最大值，将该最大值膨胀一定的距离后得到全局导航图右边的竖直边界；从测绘数据和飞行器起飞前的位置信息中找到在X轴上的最小值，将该最小值膨胀一定的距离后得到全局导航图左边的竖直边界，其中膨胀的距离可以根据实际需要进行设定。得到全局导航图的边界信息后，就可以获得全局导航图的大小以及中心点的位置，完成全局导航图的初始化。
如图5所示，为一具体实施例的全局导航图边界获取的示意图。图5中，d为膨胀距离，从该图可以看出，该全局导航图使用多边形表示作业区域边界B以及障碍物区域O，上传到双目系统的地图就包含了这些多边形顶点的位置信息。在确定全局导航图的边界时，从飞行器起飞前的当前位置、作业区域边界B的顶点位置以及障碍物区域O的顶点位置中，计算出：导航坐标系下X轴上的最大值为右边的障碍物区域最大的X值，导航坐标系下X轴上的最小值为飞行器起飞前位置的X值，导航坐标系下Y轴上的最大值为作业区域边界B最上面的Y值，导航坐标系下Y轴上的最小值为飞行器起飞前位置的Y值，将上述计算出的四个值分别按照膨胀距离d进行膨胀，就可以得到图5所示的全局导航图的边界。此时可以获得全局导航图的大小、边界以及中心点位置信息，完成全局地图初始化。
根据测绘数据和局部导航图中的数据设置全局导航图中障碍物区域和作业边界区域的方式有很多，例如，在一个实施例中，所述在预设的全局导航图中设置障碍物区域和作业边界区域，包括：根据获取的所述测绘数据以及三维位置信息，获得第一障碍物区域和第一作业边界区域；对所述第一障碍物区域和所述第一作业边界区域进行膨胀，获得第二障碍物区域和第二作业边界区域；将所述第二障碍物区域和所述第二作业边界区域设置为用于指示飞行器实施避障的区域。对第一障碍物区域和第一作业边界区域膨胀的距离可以根据实际需要进行设置，这些膨胀的区域也是危险区域，禁止飞行器通行，因此也需要设置为飞行器实施避障的区域，以使飞行器保持与障碍物和作业区域边界的安全距离。
需要说明的是，本发明并不限制于上述设置全局导航图中障碍物区域和作业边界区域的方式，用户也可以直接根据测绘数据和局部导航图中的障碍物信息在全局导航图中设置禁止飞行器通行的区域，而不进行膨胀，或者只对障碍物区域或者作业边界区域进行膨胀。另外，在膨胀时，可以将各个方向膨胀的距离设置为相同，也可以针对各个方向分别设置不同的膨胀距离。
如图6所示，为一具体实施例的在全局导航图中设置障碍物区域和作业边界区域的示意图，其中全局导航图为栅格地图，栅格地图中栅格的权值为1时，表示该栅格为禁止通行的区域，栅格的权值为0时，表示该栅格为允许通行的区域。如图6所示，根据测绘数据和局部导航图中障碍物的信息，将原有作业边界区域和原有障碍物区域在全局导航图中的权值全部置为1，表明该区域已经完全被障碍物占有，禁止飞行器通行；使用深度优先算法或者其他算法对原有边界区域以及原有障碍物区域进行膨胀，并将膨胀区域的权值全部置1，表明膨胀区域也为危险区域，不允许飞行器接近，可用于飞行器保持与障碍物的安全距离。
因为深度图每个像素点都包含了目标的距离信息，包含的信息量过大，如果根据原始深度图获得每个点的三维位置信息，则计算量过大。因此，需要对深度图进行预处理。对深度图进行预处理以降低计算量的方式有很多，例如，在一个实施例中，所述获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图，之后，所述获得每个点的三维位置信息，之前，还可以包括：对所述深度图进行稀疏处理。
根据相机小孔成像模型，远处的障碍会较为集中在图像的中心处，而近处的障碍则因为距离近，在图像中的面积较大，因此，在一个实施例中，所述对所述深度图进行稀疏处理，包括：采用变化步长对所述深度图进行稀疏处理，其中，所述变化步长用于控制深度图中的像素点从边缘到中心逐步增多。
具体实施时，可以从图像边界出发做不等距的稀疏处理，使得靠近图像中心的像素点较为稠密，而图像边缘的像素点则较为稀疏。稀疏处理的伪代码如下所示：
Figure BDA0001447625610000211
其中：
img_height与img_width分别为图像的宽度和长度；
i_step与j_step为遍历图像的步长，初始值都为1；
height_step与width_step分别为图像纵向和横向的稀疏因子；
HandleImage()表示的是对深度图的后续处理。
原始深度图，或者经过稀疏处理后的稀疏深度图，要经过坐标转换才能转换到导航坐标系下，才能作为障碍物的信息更新到局部导航图中。因此，在一个实施例中，所述根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息，包括：对所述深度图进行坐标转换，获得在导航坐标系中的各个点；根据导航坐标系中的各个点、所述当前飞行位置以及所述姿态信息，获得每个点的三维位置信息。
坐标转换的方式有很多，例如，在一个实施例中，所述对所述深度图进行坐标转换，获得在导航坐标系中的各个点，包括：根据相机内参矩阵，将所述深度图中每个点转化为相机坐标系下的各个点；根据相机坐标系到机体坐标系的转换矩阵
Figure BDA0001447625610000221
将相机坐标系下的各个点转化为机体坐标系的各个点；根据机体坐标系到导航坐标系的转换矩阵
Figure BDA0001447625610000222
将机体坐标系下的各个点转换为导航坐标系的各个点。
由于深度图本身存在噪声以及障碍物可能会移动(例如树叶随风飘动)，使用深度图计算出来的点云也会存在噪声点，这些噪声会随着上述步骤的循环进行而在局部导航图中累积，导致对障碍物的错误测量，简称误测。为了减小误测概率，在一个实施例中，所述将每个点的三维位置信息按照各自设定的权值投影到局部导航图中，之后，还包括：对所述局部导航图中预设区域内的每个点的权值进行衰减；获得衰减后每个子区域中所有点的权值和。先对局部导航图中的预设区域内的点的权值进行衰减，然后再计算每个子区域的总权值，判断每个子区域是否为障碍物区域，从而降低噪声对障碍物判断的影响，提高障碍物区域判断的准确性。
在一个实施例中，所述对所述局部导航图中预设区域内的每个点的权值进行衰减，包括：将所述预设区域内的每个点的权值与预设衰减因子相乘。衰减因子可以根据经验设定。如果预设区域刚好包括N个子区域，则可以根据下述公式进行衰减操作：
map_value*＝damping_factor。
其中，map_value表示预设区域内的一个子区域的总权值，damping_factor表示衰减因子。
预设区域确定的方式有很多，例如，在一个实施例中，所述预设区域根据所述局部导航图的中心、所述飞行器中用于获取深度图的双目系统的水平视场角以及设定衰减距离确定。
如图2所示，为一具体实施例的预设区域确定方法的示意图，其中，O表示局部导航图的地图中心，也即是飞行器的当前飞行位置，θ表示双目系统视场角的大小，由双目系统的参数确定，d表示衰减距离，为根据经验设定的固定值，那么由以上三个参数所确定的扇形区域即为衰减区域，对该衰减区域内的点的权值进行衰减，而衰减区域外的点的权值无需进行衰减。
需要说明的是，图2仅对飞行器中前方安装双目系统的衰减区域进行示意，如果飞行器后方或者侧面也安装有双目系统，则在图示衰减区域对称的位置或者侧面的位置也设置衰减区域，对衰减区域内的点的权值进行衰减，即衰减区域与双目系统安装的方式相关。如果通过其它设备获取深度图，则确定预设区域的方式与基于双目系统确定预设区域的构思相同。
基于同一发明构思，本发明还提供一种避障装置，下面结合附图对本发明装置的具体实施方式进行详细介绍。
如图7所示，在一个实施例中，一种避障装置，包括：
第一信息获取模块210，用于获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图。
飞行器可以为植保无人机等等。当前飞行位置指的是飞行器在当前时刻所处的地理位置，例如飞行器的经纬度信息等。姿态信息指的是飞行器在当前时刻的飞行姿态，例如俯仰角、横滚角和偏航角等等。飞行器的当前飞行位置和姿态信息均可以通过飞行器的飞控获取。深度图为拍摄到的目标的二维图像，所述深度图包括每个点与所述当前飞行位置的距离信息，即深度图中每个像素点的灰度值用于表征所拍摄目标与飞行器当前位置的距离信息。实际应用中，深度图可以通过飞行器的双目系统探测到。在进行局部避障时，所采用的深度图可以为多张深度图，也可以为单张深度图，本发明并不对此做出限定。另外，深度图的大小可以根据需要自行设定，本发明对此也不做出限定。获取到的当前飞行位置、姿态信息和深度图用于局部导航图的建图。
三维位置信息获得模块220，用于根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息。
由于深度图中每个像素点的灰度值包含了所拍摄目标与所述飞行器的距离信息，因此根据当前飞行位置、姿态信息以及所述深度图中每个像素点的像素坐标以及灰度值，可以计算出每个像素点所对应的三维位置信息，也即是深度图中每一个二维的像素点对应得到一个三维的点。
导航坐标系即当地水平坐标系，是在导航时根据导航系统工作的需要而选取的作为导航基准的坐标系，是用来做导航计算时使用的。考虑到这些三维的点用于飞行器的导航，所以计算出来的三维的点一般指的是导航坐标系下的点。可选的，导航坐标系为北东地坐标系。
由于局部导航图只需要对飞行器附近的障碍物进行指示，而得到的点云(各个三维的点)可能包括较远范围的点，因此可以只保留影响飞行器飞行的点，例如只保留距离飞行器上下一定范围内的点。
投影模块230，用于将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，其中，所述局部导航图包括若干个子区域。
局部导航图用于为飞行器进行局部导航，其是动态的，地图的中心即飞行器的当前位置，地图的大小可以通过人为或者程序预先设定。当飞行器的当前位置变化时，就移动局部导航地图的中心，同时，对整张地图的内容做一次平移，平移后，超出地图范围的原有内容会被删除，新进的内容会被置零。
按照一定的规则将局部导航图划分为各个子区域，具体的划分规则可以根据实际情况进行设定，本发明并不对此做出限定。例如，在一个实施例中，所述局部导航图可以为栅格地图，每一个栅格为一个子区域。
局部导航图为二维地图，获取到点云后，也即是导航坐标系的点云后，需要将这些点云以一定的权值叠加到局部导航图中，以用于判断具体哪些区域为障碍物区域。计算每个点的权值的方式有很多，例如，在一个实施例中，每个点的所述权值根据预设权值与距离因子的乘积获得，其中，所述距离因子与所述距离信息为正比例关系。
第一区域设置模块240，用于在子区域中所有点的权值和大于预设阈值时，将所述子区域设置为障碍物区域，以指示所述飞行器对所述障碍物区域实施避障。
由于获得的点可能是障碍物的点，也可能是噪声点等等，因此需要对这些点的权值进行进一步计算，以得到实际的障碍物区域。将各个点按照权值叠加到局部导航图中后，局部导航图中的每个子区域可能包含多个点，对每一个子区域进行总权值计算，得到每个子区域的总权值。如果总权值大于预设阈值，则将该子区域设置为障碍物区域。
在一个实施例中，避障装置还包括与所述投影模块230相连的通行区域设置模块，用于在子区域中所有点的权值和小于等于预设阈值时，将所述子区域设置为通行区域，以允许所述飞行器通过。如果子区域的总权值小于等于预设阈值，意味着该子区域不是真正的障碍物区域，因此就可以将该子区域标识为通行区域。
第二信息获取模块250，用于获取用户设定的用于指示障碍物区域和作业边界区域的测绘数据，以及用于指示所述局部导航图中障碍物区域的三维位置信息。
全局避障规划时数据来源有两方面：一是用户的测绘数据(包含边界以及障碍物)，二是局部导航图的数据，局部导航图的数据会以一定的周期更新到全局导航图中。
测绘数据可以是用户手动测试的数据，也可以是用户通过地图界面选择的各个数据。一般情况下，测绘数据包含障碍物区域的边界点以及作业边界区域的边界点。在飞行器起飞之前，通过数据链路就可以将用户测绘的地图数据上传到飞行器中，例如，上传到飞行器的双目系统中，用于全局导航图的建图运算。
三维位置信息为局部导航图中已设置为障碍物区域的数据。局部导航图会以一定的周期进行更新，在更新的同时，确定为障碍物区域的位置可以选择填放至一个障碍物队列里面。该障碍物队列可以删除也可以添加：当在局部导航图中确定为障碍物时，就将障碍物区域的信息添加到队列里面；障碍物移动或者消失时，则将障碍物区域的信息从队列里面删除。以一定的周期，将障碍物队列里面的障碍物区域的信息更新到全局导航图中，这样全局导航图也包含了双目系统探测出来的信息。需要说明的是，本发明并不限定于通过队列的形式对全局导航图的数据进行更新，用户还可以根据需要通过其他形式将局部导航图中的障碍物区域的信息更新至全局导航图中。
将局部导航图的障碍物区域的信息更新到全局导航图中，那么在进行全局规划时就可以直接避开障碍物，可以在全局范围内找到最短路径，从而避免只有测绘数据而导致的找到的路径无法避开未测绘的障碍物。
第二区域设置模块260，用于在预设的全局导航图中设置障碍物区域和作业边界区域，以指示所述飞行器对所述障碍物区域和所述作业边界区域实施避障。
全局导航图可以为栅格地图。全局导航图比局部导航图大很多，局部导航图可以很小，只要满足局部避障需求，全局导航图需要把飞行器当次飞行的飞行范围都包含在内。获得测绘数据后，就可以根据测绘数据所包含的作业边界区域的位置信息以及障碍物区域的位置信息，在全局导航图中标识出相应的区域。例如，根据测绘数据将全局导航图中的某一些栅格的权值设置为1。获得局部导航图中的障碍物区域的位置信息后，就对全局导航图进行更新，将全局导航图中相应的位置更新为障碍物区域。设置好障碍物区域和作业边界区域后，飞行器根据该全局导航图就可以对障碍物区域和作业边界区域进行避障。
全局导航图在飞行器起飞作业前就得完成初始化。初始化的内容为确定全局导航图的大小以及中心点位置。在一个实施例中，所述预设的全局导航图的中心和大小根据所述飞行器起飞前的位置以及所述测绘数据获得。初始化全局导航图的信息来自于用户设定的测绘数据。地图中心所表示的地理位置以及地图的大小在初始化的时候就已经确定。确定这些信息后，就可以为全局导航图分配存储空间，根据障碍物的地理位置确定障碍物信息的存储位置，方便存储和访问障碍物信息。
在一个实施例中，所述全局导航图的水平边界由所述位置和所述测绘数据在Y轴上的最大值和最小值膨胀后确定，所述全局导航图的竖直边界由所述位置和所述测绘数据在X轴上的最大值和最小值膨胀后确定。具体的，从测绘数据和飞行器起飞前的位置信息中找到在Y轴上的最大值，将该最大值膨胀一定的距离后得到全局导航图上面的水平边界；从测绘数据和飞机起飞前的位置信息中找到在Y轴上的最小值，将该最小值膨胀一定的距离后得到全局导航图下面的水平边界；从测绘数据和飞行器起飞前的位置信息中找到在X轴上的最大值，将该最大值膨胀一定的距离后得到全局导航图右边的竖直边界；从测绘数据和飞行器起飞前的位置信息中找到在X轴上的最小值，将该最小值膨胀一定的距离后得到全局导航图左边的竖直边界，其中膨胀的距离可以根据实际需要进行设定。得到全局导航图的边界信息后，就可以获得全局导航图的大小以及中心点的位置，完成全局导航图的初始化。
根据测绘数据和局部导航图中的数据设置全局导航图中障碍物区域和作业边界区域的方式有很多，例如，在一个实施例中，所述第二区域设置模块260根据获取的所述测绘数据以及三维位置信息，获得第一障碍物区域和第一作业边界区域；对所述第一障碍物区域和所述第一作业边界区域进行膨胀，获得第二障碍物区域和第二作业边界区域；将所述第二障碍物区域和所述第二作业边界区域设置为用于指示飞行器实施避障的区域。对第一障碍物区域和第一作业边界区域膨胀的距离可以根据实际需要进行设置，这些膨胀的区域也是危险区域，禁止飞行器通行，因此也需要设置为飞行器实施避障的区域，以使飞行器保持与障碍物和作业区域边界的安全距离。
需要说明的是，本发明并不限制于上述设置全局导航图中障碍物区域和作业边界区域的方式，用户也可以直接根据测绘数据和局部导航图中的障碍物信息在全局导航图中设置禁止飞行器通行的区域，而不进行膨胀等，或者只对障碍物区域或者作业边界区域进行膨胀。另外，在膨胀时，可以将各个方向膨胀的距离设置为相同，也可以针对各个方向分别设置不同的膨胀距离。
因为深度图每个像素点都包含了目标的距离信息，包含的信息量过大，如果根据原始深度图获得每个点的三维位置信息，则计算量过大。因此，需要对深度图进行预处理。对深度图进行预处理以降低计算量的方式有很多，例如，在一个实施例中，避障装置还可以包括连接在所述第一信息获取模块210以及所述三维信息位置获取模块220之间的稀疏处理模块，所述稀疏处理模块用于对所述深度图进行稀疏处理。
根据相机小孔成像模型，远处的障碍会较为集中在图像的中心处，而近处的障碍则因为距离近，在图像中的面积较大，因此，在一个实施例中，稀疏处理模块采用变化步长对所述深度图进行稀疏处理，其中，所述变化步长用于控制深度图中的像素点从边缘到中心逐步增多。
原始深度图，或者经过稀疏处理后的稀疏深度图，要经过坐标转换才能转换到导航坐标系下，才能作为障碍物的信息更新到局部导航图中。因此，在一个实施例中，所述三维位置信息获得模块220对所述深度图进行坐标转换，获得在导航坐标系中的各个点；根据导航坐标系中的各个点、所述当前飞行位置以及所述姿态信息，获得每个点的三维位置信息。
坐标转换的方式有很多，例如，在一个实施例中，三维位置信息获得模块220根据相机内参矩阵，将所述深度图中每个点转化为相机坐标系下的各个点；根据相机坐标系到机体坐标系的转换矩阵
Figure BDA0001447625610000282
将相机坐标系下的各个点转化为机体坐标系的各个点；根据机体坐标系到导航坐标系的转换矩阵
Figure BDA0001447625610000281
将机体坐标系下的各个点转换为导航坐标系的各个点。
由于深度图本身存在噪声以及障碍物可能会移动(例如树叶随风飘动)，使用深度图计算出来的点云也会存在噪声点，这些噪声会随着上述步骤的循环进行而在局部导航图中累积，导致对障碍物的错误测量，简称误测。为了减小误测概率，在一个实施例中，避障装置还包括连接在投影模块230和第一区域设置模块240(和/或通行区域设置模块)之间的衰减模块，所述衰减模块用于对所述局部导航图中预设区域内的每个点的权值进行衰减；获得衰减后每个子区域中所有点的权值和。衰减模块先对局部导航图中的预设区域内的点的权值进行衰减，然后再计算每个子区域的总权值。基于该总权值判断每个子区域是否为障碍物区域，从而降低噪声对障碍物判断的影响，提高障碍物区域判断的准确性。
在一个实施例中，所述衰减模块将所述预设区域内的每个点的权值与预设衰减因子相乘。衰减因子可以根据经验设定。如果预设区域刚好包括N个子区域，则可以分别将每个子区域的总权值与衰减因子相乘。
预设区域确定的方式有很多，例如，在一个实施例中，所述预设区域根据所述局部导航图的中心、所述飞行器中用于获取深度图的双目系统的水平视场角以及设定衰减距离确定。衰减区域与双目系统安装的方式相关。如果通过其它设备获取深度图，则确定预设区域的方式与基于双目系统确定预设区域的构思相同。
本发明还提供一种终端，该终端可以为飞行器或者其他设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述导航图配置方法和自动避障方法中所述方法的步骤。
本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面所述的导航图配置方法。
本发明还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第二方面所述的避障方法。
图8是本发明一个实施例的一种无人飞行器800的结构示意图。如图8所示，无人飞行器800包括控制器810，所述控制器810以有线或无线方式与一个或多个传感器或感测系统801a-c连接。所述传感器可以通过控制器局域网(controller area network，CAN)与所述控制器连接。所述控制器810也可以与一个或多个致动器820连接以控制所述无人飞行器的状态。
所述传感器可以包括本说明书描述的任意传感器，例如惯性传感器、GPS接收器、指南针、RTK定位传感器、磁力计、高度计、距离传感器(例如红外线传感器或激光雷达传感器)、视觉或图像传感器(例如相机或摄像机)、光电传感器、运动传感器、触控传感器、压力传感器、温度传感器、磁传感器等等。
所述惯性传感器，也称IMU，可以用于确定飞行器的姿态信息，包括三轴陀螺仪，三轴加速度传感器，三轴地磁传感器和气压计等，其中三轴陀螺仪，三轴加速度传感器，三轴地磁传感器中的三轴指的就是无人机左右，前后，垂直方向上下这三个轴，传感器主要负责测量XYZ三个轴的倾角；三轴加速度传感器负责测量无人机XYZ三个轴的加速度；地磁传感器感知地磁，可以让无人机知道自己的机头和飞行朝向，找到任务位置；气压计可通过测量不同位置的气压，计算压差获得到当前的高度。通过组合上述传感器，IMU惯性测量单元可以感知无人机姿态的变化。例如无人机当前是前倾还是左右倾斜，机头朝向、高度等最基本的姿态数据。
所述图像传感器可以用于确定无人飞行器各个方向的障碍物信息，所述图像传感器包括双目系统，该双目系统至少包括两个摄像头，通过图像处理算法可以确定物体的三维信息，构建物体的三维模型。
在某些实施例中，可以将一些传感器(例如视觉传感器)与现场可编程门阵列(field programmable gate array，FPGA，图上未示出)连接。可以将所述现场可编程门阵列与所述控制器连接(例如通过通用存储控制器(general purpose memory controller，GPMC)连接)。在某些实施例中，可以将一些传感器(例如视觉传感器)及/或所述现场可编程门阵列与传输模块连接。所述传输模块可以用来将所述传感器获取的数据(例如图像数据)传送给任意适合的外部设备或系统，例如本说明书描述的终端或远程设备。
所述控制器可以包括一个或多个可编程处理器(例如中央处理器)。所述控制器可以与存储介质(如非易失性计算机可读介质)830连接。所述存储介质可以包括一个或多个存储单元(例如可移动介质或外部存储器，如SD卡或随机存储器)。在某些实施例中，来自于所述传感器(例如相机)的数据可以直接传送及存储于所述存储介质的存储单元中(例如通过直接内存访问连接(DMA))。所述存储介质的存储单元可以存储代码及/或程序指令。所述控制器执行该代码及/或程序指令，以执行本说明书描述的方法实施例。例如，所述控制器可以执行指令，使得所述控制器的一个或多个处理器分析一个或多个传感器或感测系统产生的数据，以确定本说明书描述的所述无人飞行器的方位及/或运动信息、检测的外部接触信息及/或检测的外部信号信息。又如，所述控制器可以执行指令，使得所述控制器的一个或多个处理器决定是否控制所述无人飞行器自主起飞或降落。
所述存储介质830的存储单元存储来自于所述一个或多个感测系统的感测数据，该感测数据将由所述控制器处理。在某些实施例中，所述存储单元可以存储所述无人飞行器方位及/或运动信息、检测的外部接触信息及/或检测的外部信号信息。可选地或结合地，所述存储单元可以存储用以控制所述无人飞行器的预定或预存的数据(例如预定的感测数据的阈值、用以控制所述致动器的参数、所述无人飞行器的预定飞行路径、速度、加速度或方向)。
如前所述，所述控制器810可以通过一个或多个致动器820调整所述无人飞行器的状态。例如，所述控制器可以控制所述无人飞行器的转子(例如控制转子的旋转速度)，因而调整所述无人飞行器或其部件(例如负载、负载的载体)相对于多达六个自由度(沿X、Y及Z轴的平移运动及横滚轴、俯仰轴及航向轴的旋转运动)的空间布局。可选地或结合地，所述控制器可以调整所述无人飞行器相对于六个自由度的速度或加速度。在某些实施例中，所述控制器可以基于预定的控制数据或所述无人飞行器的位置、外部接触或外部信号信息来控制所述无人飞行器。通过处理来自于一个或多个感测系统的感测数据，可以获得所述无人飞行器的方位、外部接触或外部信号信息。例如，所述控制器可以基于是否需要起飞或降落来为所述致动器提供加速或减速信号。
在不同的实施例中，所述致动器可以包括电机、电子调速器、机械传动装置、液压传动装置、气压传动装置等等。所述电机可以包括磁力电机、静电电机或压电电机。例如，在某个实施例中，所述致动器包括有刷或无刷直流电机。
所述控制器可以与通信模块840连接，用以传送及/或接收来自于一个或多个外部设备(例如终端、显示设备、地面控制装置或其他遥控器)的数据。所述通信模块可以使用任意适用的通信方式，例如有线通信或无线通信。例如，所述通信模块可以采用一个或多个局域网、广域网、红外线、无线电波、WiFi、点对点(point-to-point，P2P)网络、电信网络、云通信等等。可选地，可以采用中继站，例如发射塔、卫星或移动站。所述无线通信可以受距离的影响也可以不受距离的影响。在某些实施例中，可以在视线之内通信也可以在视线之外通信。所述通信模块可以传送及/或接收来自于所述感测系统的一个或多个感测数据、方位及/或运动信息、通过处理所述感测数据获得的外部接触信息及/或外部信号信息、预定的控制数据、来自于终端或遥控器的用户命令等等。
所述无人飞行器的部件可以进行任意适合的配置。例如，该无人飞行器的一个或多个部件可以设置在所述无人飞行器、载体、负载、终端、感测系统或任意与上述一个或多个设备相通信的其他远程设备或系统上。此外，尽管图8描述单个控制器及单个存储介质，本领域的技术人员应当知道，该描述并非对所述无人飞行器的限制，所述无人飞行器可以包括多个控制器及/或存储介质。在某些实施例中，所述多个控制器及/或存储介质中的一个或多个可以设置在不同位置，例如在所述无人飞行器、载体、负载、终端、感测系统或任意与上述一个或多个设备相通信的其他远程设备或系统或其适当的组合上，使得所述无人飞行器便于在上述一个或多个位置执行处理及/或存储功能。
所述无人飞行器包括但不限于单旋翼飞行器、多旋翼飞行器及旋翼飞行器。旋翼飞行器通常利用螺旋桨绕杆或轴旋转产生升力。所述旋翼飞行器包括例如直升机、滚翼机、自转旋翼机、旋翼式直升飞机等等。所述旋翼飞行器可以有多个安装在所述飞行器的多个位置的转子。例如，所述无人飞行器可以包括四旋翼直升机、六旋翼直升机、十旋翼直升机等等。
在不同的实施例中，所述无人飞行器可以相对于六个自由度(例如三个平移自由度及三个旋转自由度)自由运动。或者，所述无人飞行器可以限制在一个或多个自由度运动，例如限制在预定轨道或轨迹。所述运动可以由任意适合的驱动机制驱动，例如由引擎或电机驱动。在某些实施例中，所述无人飞行器可以受推进系统驱动。推进系统可以包括例如引擎、电机、轮子、轮轴、磁铁、转子、螺旋桨、桨叶、喷嘴或任何适合的上述部件的组合。可以由任意适合的能源，例如电能、磁能、太阳能、风能、重力能、化学能、核能或任何适合的能源的组合为所述无人飞行器的运动提供动力。
在不同的实施例中，所述无人飞行器可以采用不同的大小、尺寸及/或结构。例如，在一个实施例中，所述无人飞行器可以是多旋翼无人飞行器，反向转动的转子的轴间距不超过某一阈值。所述阈值可以是大约5m、4m、3m、2m、1m等等。例如，所述反向转动的转子的轴间距的数值可以是350mm、450mm、800mm、900mm等等。
在某些实施例中，所述无人飞行器的大小及/或尺寸足以容纳一个人在其中或其上。或者，所述无人飞行器的大小及/或尺寸不足以容纳一个人在其中或其上。在某些情况下，所述无人飞行器的最大的尺寸(例如长、宽、高、直径、对角线)不超过5m、4m、3m、2m、1m、0.5m或0.1m。例如，所述反向转动的转子的轴间距可以不超过5m、4m、3m、2m、1m、0.5m或0.1m。在某些实施例中，所述无人飞行器的体积可以小于100cm x100cm x 100cm。在某些实施例中，所述无人飞行器的体积可以小于50cm x 50cm x 30cm。在某些实施例中，所述无人飞行器的体积可以小于5cm x5cm x 3cm。在某些实施例中，所述无人飞行器的占地面积(所述无人飞行器的横截面的面积)可以小于大约32，000cm2、20，000cm2、10，000cm2、1，000cm2、500cm2、100cm2或更小。在某些情况下，所述无人飞行器的重量可以不超过1000kg、500kg、100kg、10kg、5kg、1kg或者0.5kg。
在不同的实施例中，所述无人飞行器可以搭载载荷。所述载荷可以包括一个或多个货物、装置、仪器等等。所述载荷可以有壳体。可选地，所述载荷的部分或整个可以没有壳体。所述载荷可以相对于所述无人飞行器刚性固定。或者，所述载荷可以相对于所述无人飞行器运动(例如相对于所述无人飞行器平移或旋转)。
在某些实施例中，所述载荷包括负载及搭载所述负载的载体，例如，药箱。所述载体可以与所述无人飞行器一体成型。或者，所述载体可以可拆卸地连接到所述无人飞行器。所述载体可以与所述无人飞行器直接或间接连接。所述载体可以支撑所述负载(例如至少支撑所述负载的部分重量)。所述载体可以包括适合的安装结构(例如云台)，能够稳定及/或控制所述负载的运动。在某些实施例中，所述载体可以适用于控制所述负载相对于所述无人飞行器的状态(例如位置及/或方向)。例如，所述载体可以相对于所述无人飞行器运动(例如相对于一个、两个或三个平移自由度及/或一个、两个或三个旋转自由度运动)，使得所述负载相对于适合的参考坐标系保持其位置/及或方向而不受所述无人飞行器运动的影响。所述参考坐标系可以是固定参考坐标系(例如周围环境)。或者，所述参考坐标系可以是运动参考坐标系(例如所述无人飞行器、负载)。
在某些实施例中，所述载体可以使得所述负载相对于所述载体及/或无人飞行器运动。所述运动可以是相对于达到三个自由度(例如沿一个、两个或三个轴)的平移、相对于达到三个自由度(例如沿一个、两个或三个轴)的旋转或者其任意组合。例如，所述载体可以包括框架组件及致动器组件。所述框架组件可以为所述负载提供结构支撑。所述框架组件可以包括多个单独的框架部件，其中一些框架部件可以相互运动。
所述框架组件及/或单独的框架部件可以与驱动组件连接，该驱动组件驱使所述框架组件运动。所述驱动组件可以包括一个或多个致动器(例如电机)，用于驱使所述单独的框架部件运动。所述致动器可以使得多个框架部件同时运动或每次只有一个框架部件运动。所述框架部件的运动可以使得所述负载相应运动。例如，所述驱动组件可以驱使一个或多个框架部件绕一个或多个旋转轴(例如横滚轴、俯仰轴或航向轴)旋转。所述一个或多个框架部件的旋转可以使得负载相对于所述无人飞行器绕一个或多个旋转轴旋转。可选地或结合地，所述驱动组件可以驱使一个或多个框架部件沿一个或多个平移轴平移，从而使所述负载相对于所述无人飞行器沿一个或多个对应的平移轴平移。
所述负载可以通过所述载体与所述无人飞行器直接(例如直接接触所述无人飞行器)或间接(例如不接触所述无人飞行器)连接。可选地，所述负载可以无需载体安装在所述无人飞行器上。所述负载可以与所述载体形成一个整体。或者，所述负载可以可拆卸地与所述载体连接。在某些实施例中，所述负载可以包括一个或多个负载元件，如前所述，所述负载元件可以相对于所述无人飞行器及/或载体运动。所述负载可以包括用于测量一个或多个目标的一个或多个传感器。所述负载可以包含任意适合的传感器，例如图像获取设备(如相机)、声音获取设备(如抛物面麦克风)、红外线成像设备或紫外线成像设备。所述传感器可以提供静态感测数据(例如照片)或动态感测数据(例如视频)。在某些实施例中，所述传感器将感测数据提供给所述负载的感测对象。可选地或结合地，所述负载可以包括一个或多个发射器，用于将信号提供给一个或多个感测对象。所述发射器可以是任意适合的发射器，例如光源或声源。在某些实施例中，所述负载包括一个或多个收发器，例如用于与远离所述无人飞行器的模组通信。在本发明实施例中，通过调用存储在存储介质830内的程序，控制器810用于当按照所述飞行航线进行飞行时，获取第二地图数据及飞行位置；对所述第一地图数据的作业区域和所述第二地图数据进行匹配，以计算所述飞行位置偏离所述飞行航线的飞行偏移量；依据所述飞行偏移量进行飞行修正，以修正至所述飞行航线。
可选地，控制器810还用于：
获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中。
可选地，控制810还用于：
获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，其中，所述局部导航图包括若干个子区域；
若子区域中所有点的权值和大于预设阈值，将所述子区域设置为障碍物区域，以指示所述飞行器对所述障碍物区域实施避障；
获取用户设定的用于指示障碍物区域和作业边界区域的测绘数据，以及用于指示所述局部导航图中障碍物区域的三维位置信息；
在预设的全局导航图中设置障碍物区域和作业边界区域，以指示所述飞行器对所述障碍物区域和所述作业边界区域实施避障。
上述导航图配置方法、自动避障方法以及装置、终端、无人飞行器，动态生成以飞行器当前飞行位置为中心的局部导航图，根据飞行器在飞行过程中获取到的位置信息、姿态信息以及深度图，分析出每个点的三维位置信息，该每个点的三维位置信息可能是飞行器在飞行过程中所遇到的未知障碍物的信息，也可能是飞行器在飞行过程中所遇到的事先未被规划的其它物体的信息，将各个点的三维位置信息投影到局部导航图中，就可以根据该局部导航图进行实时作业航线规划。由于作业航线根据飞行器飞行过程中获取的信息动态生成，因此可以有效应对临时的任务变化，例如，对事先未规划作业航线的一片作业区域同时进行作业，或者，自动对未知障碍物所在区域进行避障等等。另外，将局部导航图的障碍物区域的信息更新到全局导航图中，那么在进行全局规划时就可以直接避开障碍物，可以在全局范围内找到最短路径，从而避免只有测绘数据而导致的找到的路径无法避开未测绘的障碍物。
在本发明各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取的存储介质中。所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (34)

1.一种导航图配置方法，其特征在于，包括步骤：
获取飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，以获得更新后的局部导航图；其中，所述局部导航图用于指引所述飞行器在沿着规划路径飞行的过程中对未知对象执行相应的动作，所述未知对象包括以下至少之一：未知障碍物、未进行航线规划的区域；
当所述飞行器的飞行位置发生变化时，返回执行获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图的步骤，以更新所述局部导航图。
2.根据权利要求1所述的导航图配置方法，其特征在于，所述局部导航图包括若干个子区域；
所述将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，之后，还包括：
若子区域中所有点的权值和大于预设阈值，将所述子区域设置为障碍物区域，以指示所述飞行器实施避障。
3.根据权利要求2所述的导航图配置方法，其特征在于，所述将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，之后，还包括：
若子区域中所有点的权值和小于等于预设阈值，将所述子区域设置为通行区域，以允许所述飞行器通过。
4.根据权利要求1所述的导航图配置方法，其特征在于，所述深度图包括每个点与所述当前飞行位置的距离信息；每个点的所述权值根据预设权值与距离因子的乘积获得，其中，所述距离因子与所述距离信息为正比例关系。
5.根据权利要求2所述的导航图配置方法，其特征在于，所述将每个点的三维位置信息按照各自设定的权值投影到局部导航图中，之后，还包括：
对所述局部导航图中预设区域内的每个点的权值进行衰减；
获得衰减后每个子区域中所有点的权值和。
6.根据权利要求5所述的导航图配置方法，其特征在于，所述对所述局部导航图中预设区域内的每个点的权值进行衰减，包括：
将所述预设区域内的每个点的权值与预设衰减因子相乘。
7.根据权利要求5所述的导航图配置方法，其特征在于，所述预设区域根据所述局部导航图的中心、所述飞行器中用于获取深度图的双目系统的水平视场角以及设定衰减距离确定。
8.根据权利要求1所述的导航图配置方法，其特征在于，所述根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息，包括：
对所述深度图进行坐标转换，获得在导航坐标系中的各个点；
根据导航坐标系中的各个点、所述当前飞行位置以及所述姿态信息，获得每个点的三维位置信息。
9.根据权利要求8所述的导航图配置方法，其特征在于，所述对所述深度图进行坐标转换，获得在导航坐标系中的各个点，包括：
根据相机内参矩阵，将所述深度图中每个点转化为相机坐标系下的各个点；
根据相机坐标系到机体坐标系的转换矩阵，将相机坐标系下的各个点转化为机体坐标系的各个点；
根据机体坐标系到导航坐标系的转换矩阵，将机体坐标系下的各个点转换为导航坐标系的各个点。
10.根据权利要求1所述的导航图配置方法，其特征在于，所述获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图，之后，所述获得每个点的三维位置信息，之前，还包括：
对所述深度图进行稀疏处理。
11.根据权利要求10所述的导航图配置方法，其特征在于，所述对所述深度图进行稀疏处理，包括：
采用变化步长对所述深度图进行稀疏处理，其中，所述变化步长用于控制深度图中的像素点从边缘到中心逐步增多。
12.根据权利要求2至11任意一项所述的导航图配置方法，其特征在于，所述局部导航图为栅格地图，每一个栅格为一个子区域。
13.一种避障方法，其特征在于，包括步骤：
获取飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，以获得更新后的局部导航图；其中，所述局部导航图用于指引所述飞行器在沿着规划路径飞行的过程中对未知对象执行相应的动作，所述未知对象包括以下至少之一：未知障碍物、未进行航线规划的区域；所述局部导航图包括若干个子区域；若子区域中所有点的权值和大于预设阈值，将所述子区域设置为障碍物区域，以指示所述飞行器对所述障碍物区域实施避障；
获取用户设定的用于指示障碍物区域和作业边界区域的测绘数据，以及用于指示所述局部导航图中障碍物区域的三维位置信息；
在预设的全局导航图中设置障碍物区域和作业边界区域，以指示所述飞行器对所述障碍物区域和所述作业边界区域实施避障；
当所述飞行器的飞行位置发生变化时，返回执行获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图的步骤，以更新所述局部导航图。
14.根据权利要求13所述的避障方法，其特征在于，所述在预设的全局导航图中设置障碍物区域和作业边界区域，包括：
根据获取的所述测绘数据以及三维位置信息，获得第一障碍物区域和第一作业边界区域；
对所述第一障碍物区域和所述第一作业边界区域进行膨胀，获得第二障碍物区域和第二作业边界区域；
将所述第二障碍物区域和所述第二作业边界区域设置为用于指示飞行器实施避障的区域。
15.根据权利要求13所述的避障方法，其特征在于，所述预设的全局导航图的中心和大小根据所述飞行器起飞前的位置以及所述测绘数据获得。
16.根据权利要求15所述的避障方法，其特征在于，所述全局导航图的水平边界由所述位置和所述测绘数据在Y轴上的最大值和最小值膨胀后确定，所述全局导航图的竖直边界由所述位置和所述测绘数据在X轴上的最大值和最小值膨胀后确定。
17.根据权利要求13所述的避障方法，其特征在于，所述将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，之后，还包括：
若子区域中所有点的权值和小于等于预设阈值，将所述子区域设置为通行区域，以允许所述飞行器通过。
18.根据权利要求13所述的避障方法，其特征在于，所述深度图包括每个点与所述当前飞行位置的距离信息；每个点的所述权值根据预设权值与距离因子的乘积获得，其中，所述距离因子与所述距离信息为正比例关系。
19.根据权利要求13所述的避障方法，其特征在于，所述将每个点的三维位置信息按照各自设定的权值投影到局部导航图中，之后，还包括：
对所述局部导航图中预设区域内的每个点的权值进行衰减；
获得衰减后每个子区域中所有点的权值和。
20.根据权利要求19所述的避障方法，其特征在于，所述对所述局部导航图中预设区域内的每个点的权值进行衰减，包括：
将所述预设区域内的每个点的权值与预设衰减因子相乘。
21.根据权利要求19所述的避障方法，其特征在于，所述预设区域根据所述局部导航图的中心、所述飞行器中用于获取深度图的双目系统的水平视场角以及设定衰减距离确定。
22.根据权利要求13所述的避障方法，其特征在于，所述根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息，包括：
对所述深度图进行坐标转换，获得在导航坐标系中的各个点；
根据导航坐标系中的各个点、所述当前飞行位置以及所述姿态信息，获得每个点的三维位置信息。
23.根据权利要求22所述的避障方法，其特征在于，所述对所述深度图进行坐标转换，获得在导航坐标系中的各个点，包括：
根据相机内参矩阵，将所述深度图中每个点转化为相机坐标系下的各个点；
根据相机坐标系到机体坐标系的转换矩阵，将相机坐标系下的各个点转化为机体坐标系的各个点；
根据机体坐标系到导航坐标系的转换矩阵，将机体坐标系下的各个点转换为导航坐标系的各个点。
24.根据权利要求13所述的避障方法，其特征在于，所述获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图，之后，所述获得每个点的三维位置信息，之前，还包括：
对所述深度图进行稀疏处理。
25.根据权利要求24所述的避障方法，其特征在于，所述对所述深度图进行稀疏处理，包括：
采用变化步长对所述深度图进行稀疏处理，其中，所述变化步长用于控制深度图中的像素点从边缘到中心逐步增多。
26.根据权利要求13至25任意一项所述的避障方法，其特征在于，所述局部导航图和所述全局导航图为栅格地图，每一个栅格为一个子区域。
27.一种飞行器导航图配置装置，其特征在于，包括：
信息获取模块，用于获取所述飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
三维位置信息获得模块，用于根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
投影模块，用于将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，以获得更新后的局部导航图；其中，所述局部导航图用于指引所述飞行器在沿着规划路径飞行的过程中对未知对象执行相应的动作，所述未知对象包括以下至少之一：未知障碍物、未进行航线规划的区域；
当所述飞行器的飞行位置发生变化时，所述信息获取模块、所述三维位置信息获得模块和所述投影模块依序工作，以更新所述局部导航图。
28.一种避障装置，其特征在于，包括：
第一信息获取模块，用于获取飞行器的当前飞行位置、姿态信息以及在当前飞行位置探测到的深度图；
三维位置信息获得模块，用于根据所述当前飞行位置、所述姿态信息以及所述深度图，获得每个点的三维位置信息；
投影模块，用于将每个点的三维位置信息按照各自设定的权值投影到以所述当前飞行位置为中心的局部导航图中，以获得更新后的局部导航图；其中，所述局部导航图用于指引所述飞行器在沿着规划路径飞行的过程中对未知对象执行相应的动作，所述未知对象包括以下至少之一：未知障碍物、未进行航线规划的区域；所述局部导航图包括若干个子区域；
第一区域设置模块，用于在子区域中所有点的权值和大于预设阈值时，将所述子区域设置为障碍物区域，以指示所述飞行器对所述障碍物区域实施避障；
第二信息获取模块，用于获取用户设定的用于指示障碍物区域和作业边界区域的测绘数据，以及用于指示所述局部导航图中障碍物区域的三维位置信息；
第二区域设置模块，用于在预设的全局导航图中设置障碍物区域和作业边界区域，以指示所述飞行器对所述障碍物区域和所述作业边界区域实施避障；
当所述飞行器的飞行位置发生变化时，所述第一信息获取模块、所述三维位置信息获得模块和所述投影模块依序工作，以更新所述局部导航图。
29.一种终端，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-12中任意一项所述方法的步骤。
30.一种终端，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求13-26中任意一项所述方法的步骤。
31.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1-12中任意一项所述的导航图配置方法。
32.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求13-26中任意一项所述的避障方法。
33.一种无人飞行器，其特征在于，包括通信模块、传感器、控制器、存储介质；所述传感器包括图像传感器、GPS接收器、RTK定位传感器、惯性传感器，
所述通信模块，用于与地面控制装置进行通信；
所述GPS接收器和RTK定位传感器，用于确定无人飞行器的当前飞行位置；
所述惯性传感器，用于确定无人飞行器的姿态信息；
所述图像传感器，用于在当前飞行位置探测深度图；
所述控制器与所述存储介质连接，所述存储介质用于存储程序，所述程序运行时用于执行权利要求1-12任一项所述方法的步骤。
34.一种无人飞行器，其特征在于，包括通信模块、传感器、控制器、存储介质；所述传感器包括图像传感器、GPS接收器、RTK定位传感器、惯性传感器，
所述通信模块，用于与地面控制装置进行通信；
所述GPS接收器和定位传感器，用于确定无人飞行器的当前飞行位置；
所述惯性传感器，用于确定无人飞行器的姿态信息；
所述图像传感器，用于在当前飞行位置探测深度图；
所述控制器与所述存储介质连接，所述存储介质用于存储程序，所述程序运行时用于执行权利要求13-26任一项所述方法的步骤。
CN201711021920.1A 2017-10-26 2017-10-26 导航图配置方法、避障方法以及装置、终端、无人飞行器 Active CN109708636B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201711021920.1A CN109708636B (zh) 2017-10-26 2017-10-26 导航图配置方法、避障方法以及装置、终端、无人飞行器
EP18871786.2A EP3702731A4 (en) 2017-10-26 2018-10-26 NAVIGATION DIAGRAM CONFIGURATION METHOD, OBSTACLE AVOIDANCE PROCESS AND DEVICE, TERMINAL, UNPILOT AIR VEHICLE
AU2018355491A AU2018355491B2 (en) 2017-10-26 2018-10-26 Method for configuring navigation chart, obstacle avoidance method and device, terminal, unmanned aerial vehicle
JP2020517902A JP2020535545A (ja) 2017-10-26 2018-10-26 ナビゲーションチャート構成方法、障害物回避方法及び装置、端末、無人航空機
KR1020207005722A KR102385820B1 (ko) 2017-10-26 2018-10-26 내비게이션 차트 구성 방법, 장애물 회피 방법 및 장치, 단말기, 무인 항공기
US16/641,763 US20200394924A1 (en) 2017-10-26 2018-10-26 Method for Configuring Navigation Chart, Method for Avoiding Obstacle and Device, Terminal and Unmanned Aerial Vehicle
PCT/CN2018/112077 WO2019080924A1 (zh) 2017-10-26 2018-10-26 导航图配置方法、避障方法以及装置、终端、无人飞行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711021920.1A CN109708636B (zh) 2017-10-26 2017-10-26 导航图配置方法、避障方法以及装置、终端、无人飞行器

Publications (2)

Publication Number Publication Date
CN109708636A CN109708636A (zh) 2019-05-03
CN109708636B true CN109708636B (zh) 2021-05-14

Family

ID=66247759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711021920.1A Active CN109708636B (zh) 2017-10-26 2017-10-26 导航图配置方法、避障方法以及装置、终端、无人飞行器

Country Status (7)

Country Link
US (1) US20200394924A1 (zh)
EP (1) EP3702731A4 (zh)
JP (1) JP2020535545A (zh)
KR (1) KR102385820B1 (zh)
CN (1) CN109708636B (zh)
AU (1) AU2018355491B2 (zh)
WO (1) WO2019080924A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262556A (zh) * 2019-07-12 2019-09-20 黑梭智慧技术(北京)有限公司 快递物流无人飞行器航线设计方法和装置
CN110471421B (zh) * 2019-08-27 2022-03-18 广州小鹏汽车科技有限公司 一种车辆安全行驶的路径规划方法及路径规划系统
CN112313476A (zh) * 2019-11-05 2021-02-02 深圳市大疆创新科技有限公司 无人飞行器的航线规划方法和装置
WO2021166175A1 (ja) 2020-02-20 2021-08-26 株式会社ナイルワークス ドローンシステム、操作器および作業エリアの定義方法
US20210300551A1 (en) * 2020-03-25 2021-09-30 Tencent America LLC Systems and methods for unmanned aerial system communication
CN113465614B (zh) * 2020-03-31 2023-04-18 北京三快在线科技有限公司 无人机及其导航地图的生成方法和装置
CN111854754B (zh) * 2020-06-19 2023-01-24 北京三快在线科技有限公司 无人机航线规划方法、装置、无人机及存储介质
CN111950524B (zh) * 2020-08-28 2024-03-29 广东省现代农业装备研究所 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN112066976B (zh) * 2020-09-07 2023-06-16 北京信息科技大学 一种自适应膨胀处理方法、系统、机器人及存储介质
CN112033413B (zh) * 2020-09-07 2023-06-16 北京信息科技大学 一种基于结合环境信息的改进a*算法的路径规划方法
CN112116643A (zh) * 2020-09-14 2020-12-22 哈工大机器人（合肥）国际创新研究院 一种基于tof相机深度图和点云图的避障处理方法及系统
CN112416018B (zh) * 2020-11-24 2021-07-09 广东技术师范大学 基于多信号采集与路径规划模型的无人机避障方法和装置
CN112859893A (zh) * 2021-01-08 2021-05-28 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行器避障方法、装置
CN113012479B (zh) * 2021-02-23 2022-07-22 欧阳嘉兰 一种基于障碍物分析的飞行限重测量方法、装置及系统
CN113077551A (zh) * 2021-03-30 2021-07-06 苏州臻迪智能科技有限公司 占据栅格地图构建方法、装置、电子设备和存储介质
CN113310493B (zh) * 2021-05-28 2022-08-05 广东工业大学 一种基于事件触发机制的无人机实时导航方法
CN113465606A (zh) * 2021-06-30 2021-10-01 三一机器人科技有限公司 末端工位定位方法、装置及电子设备
CN115222808B (zh) * 2021-06-30 2023-10-20 达闼机器人股份有限公司 基于无人机的定位方法、装置、存储介质和电子设备
CN113532471A (zh) * 2021-07-15 2021-10-22 浙江东进航科信息技术有限公司 一种多源飞行轨迹数据融合的处理方法、设备及介质
CN113485359A (zh) * 2021-07-29 2021-10-08 北京超维世纪科技有限公司 一种工业类巡检机器人多传感器融合避障系统
CN114088094A (zh) * 2021-09-27 2022-02-25 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种无人艇的智能航路规划方法及系统
CN113867349B (zh) * 2021-09-28 2024-04-09 浙江大华技术股份有限公司 一种机器人的避障方法、系统及智能机器人
CN113642092B (zh) * 2021-10-18 2022-01-04 西南交通大学 一种建筑空间路径捕获方法
WO2023070667A1 (zh) * 2021-11-01 2023-05-04 深圳市大疆创新科技有限公司 可移动平台及用于处理其数据的方法和装置、终端设备
CN114313243B (zh) * 2021-12-19 2023-06-02 四川省天域航通科技有限公司 一种植保用避障无人机
KR102622623B1 (ko) * 2022-05-12 2024-01-10 한국광기술원 3차원 영상 정보를 제공하기 위한 이동형 영상 촬영 장치, 이에 대한 방법 및 이를 포함하는 시스템
CN114879704B (zh) * 2022-07-11 2022-11-25 山东大学 一种机器人绕障控制方法及系统
CN115150784B (zh) * 2022-09-02 2022-12-06 汕头大学 基于基因调控网络的无人机集群区域覆盖方法及设备
CN116757582B (zh) * 2023-08-18 2023-11-17 山西汇能科技有限公司 基于无人机的物流配送系统及方法
CN116907511B (zh) * 2023-09-12 2023-12-05 北京宝隆泓瑞科技有限公司 一种将管道坐标转换为图像坐标的方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4061596B2 (ja) * 2004-05-20 2008-03-19 学校法人早稲田大学 移動制御装置、環境認識装置及び移動体制御用プログラム
US7463340B2 (en) * 2007-03-28 2008-12-09 Honeywell International Inc. Ladar-based motion estimation for navigation
JP5233432B2 (ja) * 2008-06-16 2013-07-10 アイシン・エィ・ダブリュ株式会社 運転支援システム、運転支援方法及び運転支援プログラム
JP5093020B2 (ja) * 2008-09-18 2012-12-05 トヨタ自動車株式会社 レーダ装置
CN102359784B (zh) * 2011-08-01 2013-07-24 东北大学 一种室内移动机器人自主导航避障系统及方法
CN103576686B (zh) * 2013-11-21 2017-01-18 中国科学技术大学 一种机器人自主导引及避障的方法
WO2015138327A1 (en) * 2014-03-11 2015-09-17 Cessna Aircraft Company Touch screen instrument panel
CN107577247B (zh) * 2014-07-30 2021-06-25 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN105517666B (zh) * 2014-09-05 2019-08-27 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
CN104236548B (zh) * 2014-09-12 2017-04-05 清华大学 一种微型无人机室内自主导航方法
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US9399524B2 (en) * 2014-10-21 2016-07-26 Honeywell International Inc. System and method for displaying runway landing information
KR101736089B1 (ko) * 2015-01-08 2017-05-30 서울대학교산학협력단 깊이 지도를 이용한 사물 형상 맵핑 및 실시간 유도를 위한 무인기 비행 제어 장치 및 방법
US9470528B1 (en) * 2015-03-26 2016-10-18 Honeywell International Inc. Aircraft synthetic vision systems utilizing data from local area augmentation systems, and methods for operating such aircraft synthetic vision systems
EP3368957B1 (en) * 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
CN105678754B (zh) * 2015-12-31 2018-08-07 西北工业大学 一种无人机实时地图重建方法
CN105761265A (zh) * 2016-02-23 2016-07-13 英华达（上海）科技有限公司 利用影像深度信息提供避障的方法及无人飞行载具
DK3398022T3 (da) * 2016-02-26 2021-02-01 Sz Dji Technology Co Ltd Systemer og fremgangsmåder til tilpasning af uav-bane
CN105571588A (zh) * 2016-03-10 2016-05-11 赛度科技（北京）有限责任公司 一种无人机三维空中航路地图构建及其航路显示方法
CN105955258B (zh) * 2016-04-01 2018-10-30 沈阳工业大学 基于Kinect传感器信息融合的机器人全局栅格地图构建方法
JP6327283B2 (ja) * 2016-04-06 2018-05-23 トヨタ自動車株式会社 車両用情報提供装置
CN105910604A (zh) * 2016-05-25 2016-08-31 武汉卓拔科技有限公司 一种基于多传感器的自主避障导航系统
CN106780592B (zh) * 2016-06-30 2020-05-22 华南理工大学 基于相机运动和图像明暗的Kinect深度重建方法
CN106127788B (zh) * 2016-07-04 2019-10-25 触景无限科技（北京）有限公司 一种视觉避障方法和装置
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106931961B (zh) * 2017-03-20 2020-06-23 成都通甲优博科技有限责任公司 一种自动导航方法及装置

Also Published As

Publication number Publication date
AU2018355491A1 (en) 2020-06-11
CN109708636A (zh) 2019-05-03
EP3702731A4 (en) 2021-07-28
US20200394924A1 (en) 2020-12-17
EP3702731A1 (en) 2020-09-02
KR20200031165A (ko) 2020-03-23
AU2018355491B2 (en) 2022-03-17
WO2019080924A1 (zh) 2019-05-02
JP2020535545A (ja) 2020-12-03
KR102385820B1 (ko) 2022-04-12

Similar Documents

Publication Publication Date Title
CN109708636B (zh) 导航图配置方法、避障方法以及装置、终端、无人飞行器
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
EP3903164B1 (en) Collision avoidance system, depth imaging system, vehicle, map generator, amd methods thereof
US11015956B2 (en) System and method for automatic sensor calibration
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
CN109388150B (zh) 多传感器环境地图构建
CN109219785B (zh) 一种多传感器校准方法与系统
EP3158293B1 (en) Sensor fusion using inertial and image sensors
Meyer et al. Comprehensive simulation of quadrotor uavs using ros and gazebo
US10459445B2 (en) Unmanned aerial vehicle and method for operating an unmanned aerial vehicle
EP3158411B1 (en) Sensor fusion using inertial and image sensors
WO2016187760A1 (en) Sensor fusion using inertial and image sensors
ES2889000T3 (es) Métodos y sistema para controlar un objeto móvil
JP2017508166A (ja) センサ融合
US10937325B2 (en) Collision avoidance system, depth imaging system, vehicle, obstacle map generator, and methods thereof
WO2020103049A1 (zh) 旋转微波雷达的地形预测方法、装置、系统和无人机
CN109564434B (zh) 用于定位可移动物体的系统和方法
JP2024021143A (ja) ３次元データ生成システム、及び３次元データ生成方法
CN113137965A (zh) 飞行高度估计系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Jifei Technology Co.,Ltd.

Address before: 510032 no.3a01, No.1 Sicheng Road, Gaotang Software Park, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xaircraft Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant