CN111338382B - 一种安全态势引导的无人机路径规划方法 - Google Patents

一种安全态势引导的无人机路径规划方法 Download PDF

Info

Publication number
CN111338382B
CN111338382B CN202010296424.2A CN202010296424A CN111338382B CN 111338382 B CN111338382 B CN 111338382B CN 202010296424 A CN202010296424 A CN 202010296424A CN 111338382 B CN111338382 B CN 111338382B
Authority
CN
China
Prior art keywords
area
aerial vehicle
unmanned aerial
region
obstacles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010296424.2A
Other languages
English (en)
Other versions
CN111338382A (zh
Inventor
杜文博
赵雅昆
郑磊
曹先彬
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010296424.2A priority Critical patent/CN111338382B/zh
Publication of CN111338382A publication Critical patent/CN111338382A/zh
Priority to US17/102,966 priority patent/US20210327287A1/en
Application granted granted Critical
Publication of CN111338382B publication Critical patent/CN111338382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0052—Navigation or guidance aids for a single aircraft for cruising
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

本说明书提供一种安全态势引导的无人机路径规划方法，包括：获取无人机前方视角内的图像；确定各个区域中障碍物的类型和威胁度；获取无人机前方视角内各个区域中障碍物相对无人机的坐标和各个区域中障碍物到无人机的距离；根据各个区域对应的威胁度和距离，计算各个区域的安全态势；根据各个区域到目标位置的距离和各个区域对应的安全态势，计算各个区域对应的代价数据；根据代价数据最小的区域确定无人机的飞行方向。本说明书提供的无人机路径规划方法能够适应环境特征随机变化的场景的需求。另外，本说明书提供的方法基于障碍物类型确定各个区域的威胁度，使得不同类型的障碍物具有不同的威胁度，使得根无人机飞行路径更符合具体场景的特征。

Description

一种安全态势引导的无人机路径规划方法
技术领域
本发明涉及无人机自动导航技术领域，尤其涉及一种安全态势引导的无人机路径规划方法。
背景技术
目前，虽然关于无人机的路径规划问题已经有大量研究，但是各种算法任然具有一定的局限性。其中：部分算法完全依靠全局信息的获取，在未知环境下难以实现；部分算法将网络栅格化，未考虑无人机特殊的机动性与实际场景的局限性；部分算法以已知的路径作为前提信息，在实际应用中实用性欠佳。
发明内容
本说明书提供一种安全态势引导的无人机路径规划方法，能够基于场景的实际状态计算确定的安全态势规划无人机飞行方向。
本说明书提供一种安全态势引导的无人机路径规划方法，包括：
获取无人机前方视角内的图像；处理所述图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；
获取所述无人机前方视角内各个区域中障碍物相对所述无人机的坐标，以及根据所述坐标计算各个区域中障碍物到所述无人机的距离；
根据所述各个区域对应的所述威胁度和所述距离，计算各个区域的安全态势；
根据各个区域到目标位置的距离和所述各个区域对应的安全态势，计算各个区域对应的代价数据；
根据代价数据最小的所述区域确定所述无人机的飞行方向。
可选的，处理所述图像获得视角内各个区域中障碍物的类型，包括：采用深度学习算法处理所述图像，获得视角内各个区域中障碍物的类型。
可选的，基于各个区域中障碍物的类型确定所确定各个区域的威胁度，包括：
根据各个区域中障碍物的类型确定各个区域内对应的威胁等级；
根据所述威胁等级计算确定所述区域对应的威胁度。
可选的，在一区域没有障碍物的情况下，判断所述一区域到最近障碍物的距离是否小于安全半径；
在所述一区域距离最近障碍物的距离小于安全半径的情况下，根据所述最近障碍物的类型确定所述一区域的威胁度；
其中：所述一区域的威胁度小于所述最近障碍物所在区域的威胁度。
可选的，获取所述无人机前方视角内各个区域中障碍物在相对所述无人机的坐标，包括：
获取多个时刻所述无人机前方视角内各个区域中障碍物相对所述无人机的坐标；
所述方法还包括：根据多个时刻的所述坐标确定各个区域中障碍物的移动速度；
所述基于所述障碍物的类型确定各个区域的威胁度，包括：
基于所述障碍物的类型和移动速度确定各个区域的威胁度。
可选的，所述区域为根据所述图像中的矩形子图像确定的区域，或者根据所述图像中的障碍物划分的区域。
可选的，所述方法还包括：根据各个区域的安全态势确定对应的显示色彩；
采用所述显示色彩组合形成安全态势图层，并显示所述安全态势图层。
本说明书还提供一种安全态势引导的无人机路径规划装置，包括
威胁度确定单元，用于获取无人机前方视角内的图像；处理所述图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；
距离测量单元，用于获取所述无人机前方视角内各个区域中障碍物相对所述无人机的坐标，以及根据所述坐标计算各个区域中障碍物到所述无人机的距离；
安全态势确定单元，用于根据所述各个区域对应的所述威胁度和所述距离，计算各个区域的安全态势；
代价数据计算单元，用于根据各个区域中障碍物到目标位置的直线距离和所述各个区域对应的安全态势，计算各个区域对应的代价数据；
方向确定单元，用于根据代价数据最小的所述区域确定所述无人机下一周期的飞行方向。
本说明书还提供一种无人机，其特征在于，包括相机、距离测量装置、和处理器；
所述相机用于获取无人机前方视角内的图像；
所述距离测量装置用于获取所述无人机的前方视角内各个区域中障碍物到所述无人机距离；
所述处理器用于：处理所述图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；根据所述各个区域对应的所述威胁度和所述距离，计算各个区域的安全态势；根据所述无人机到目标位置的直线距离和所述各个区域对应的安全态势，计算各个区域对应的代价数据；以及，根据代价数据最小的所述区域确定所述无人机下一周期的飞行方向。
本说明书还提供一种存储介质，包括存储器和处理器；所述存储器存储有程序代码；所述处理器加载所述程序代码后执行如前所述的方法。
本说明书提供的无人机路径规划方法可以根据相机和激光雷达获取的数据实时的完成路径规划过程，无需提前获知全局信息和障碍物位置，能够适应环境特征随机变化的场景的需求。另外，本说明书提供的方法采用人功智能算法对图像进行处理，识别障碍物类型并基于障碍物类型确定各个区域的威胁度，使得不同类型的障碍物具有不同的威胁度，也使得根据实际场景中障碍物类型而制定无人机飞行路径更符合具体场景的特征。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1实施例提供的无人机的结构示意图；
图2是实施例提供的无人机路径规划方法；
图3是实施例提供的无人机路径规划装置的结构示意图；
其中：11-动力装置，12-处理器，13-相机，14-激光雷达；21-威胁度确定单元，22-距离测量单元，23-安全态势确定单元，24-代价数据计算单元，25-方向确定单元。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本说明书实施例提供一种无人机路径规划方法。在对本说明实施例提供的路径规划方法做介绍前，首先对本实施例的无人机的配置做介绍。
图1实施例提供的无人机的结构示意图。如图1所示，本实施例提供的无人机包括动力装置11、处理器12、相机13和激光雷达14。处理器12可以处理相机13拍摄形成的图像，以及处理激光雷达14扫描确定的障碍物位置数据，根据处理图像后得到的数据和障碍物数据形成飞行控制指令，并根据飞行控制指令控制动力装置11，继而实现无人机的自动路径规划。
本说明书实施例中无人机中采用的确定障碍物位置数据的设备为激光雷达14，在其他实施例中其也可以是诸如双目视觉相机等本领域已知的其他设备。
图2是实施例提供的无人机路径规划方法，无人机根据此方法确定飞行方向。此处所说的飞行方向仅是未来一个小时间段的飞行方向，并不是无人机飞向目标位置始终遵循的方向。图2所示，本实施例提供的路径规划方法包括步骤S101-S105。
S101：获取无人机前方视角内的图像；处理图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度。
步骤S101执行时，无人机中的相机13拍摄其前方视角范围的信息形成图像，并发送给处理器12。处理器12根据内部存储的人工智能算法对图像进行分析处理，确定障碍物物的类型；具体应用中，前述的人工智能算法优选为深度学习算法。
通过人工智能算法处理后，处理器12可以确定图像中障碍物的类型。在具体的深度学习算法中，障碍物类型可以根据障碍物的形状特征、颜色特征、尺寸特征确定。
在一个具体应用中，障碍物类型可以包括固定物、慢速移动物和快速移动物。
不同类型的障碍物其具有不同的运动属性。例如：固定物位置固定，不发生移动；实际应用中，固定为可以为建筑物、电线杆或者树木；当然，因为树木的树枝具有随风飘曳的属性，其也可被认定为慢速移动物；常规情况下，行人或者一些动物可以被认定为慢速移动物；而在道路中形式的车辆、驾驶自行车或者摩托车的行人可以被认定为快速移动物。
本说明实施例中，各个类型的障碍物分别标定有对应的威胁等级threat，根据其威胁等级可以确定此障碍物的威胁度d(O)。例如在一个应用中
Figure BDA0002452361860000051
d(Oi)∈[0,1)。
本说明书实施例中，前述的各个区域均为相机13视角的区域。具体应用中，区域的划分方法可以有几种选择。
(1)采用矩形网格划分的方法，即将图像中的多个像素点组成的矩形对应的区域作为前述的区域；具体应用中，可以将m×n个像素块对应的矩形作为一个局域。如果相机13的成像分辨率x×y，则可以确定的区域为o×p，
Figure BDA0002452361860000052
实际应用中，m和n优选地设置为大于1的整数，以尽可能减小划分区域的范围，提高处理速率。
(2)根据障碍物的边缘类型进行划分。具体的，可以根据人工智能算法确定障碍物在图像中的边缘，根据障碍物在图像的边缘将相机13视角区域划分为多个较大区域；随后，再将非障碍物区域进行划分，以形成多个区域。
在区域采用矩形网格划分的情况下，相机13视角区域内的各个区域的威胁度可以采用
Figure BDA0002452361860000053
表示，其中：如果某个区域(i,j)为某一障碍物OA所在区域，则S(i,j)＝d(OA)。
S102：获取无人机前方视角内各个区域中障碍物相对无人机的坐标，以及根据坐标计算各个区域中障碍物到无人机的距离。
步骤S102中，激光雷达14对无人机前方视角中的各个区域进行扫描，并根据反射结果确定障碍物中各个部分相对于无人机的坐标，并以此确定各个区域中障碍物相对于无人机的坐标。
应当注意的是，为了实现步骤S102的功能，应当对相机13的拍摄视角和激光雷达14的扫描区域进行校正和匹配，以使得能够确定各个区域内障碍物相对于无人机的坐标(x,y,z)。
为了实现前述的功能，本实施例，以无人机中相机13的焦点为坐标原点，以相机13的光轴为无人机坐标系的z轴，以相机13的x方向为无人机坐标系的x轴，以相机13的y方向为无人机坐标系的y轴而建立三维坐标系；并根据激光雷达14相对于相机13的位置，以及激光雷达14相对相机13光轴的角度对激光雷达14获得的数据进行坐标变换，转换至无人机坐标系中。
在确定障碍物中各个部分相对于无人机的坐标(x,y,z)后，采用
Figure BDA0002452361860000061
即可以确定各个区域中障碍物到无人机的距离。应当注意的是，前述的距离最大为激光雷达14的有效扫描距离；在区域中并没有障碍物，或者障碍物距离大于激光雷达14的有效扫描距离的情况下，前述的距离即为激光雷达14的有效扫描距离。
在区域采用矩形网格划分的情况下，相机13视角内各个区域内的障碍物距离可以采用
Figure BDA0002452361860000062
表示，其中：某个区域((i,j)对应的zij为此区域内障碍物到无人机的距离。
实际应用中，根据坐标计算各个区域中障碍物到无人机的距离，可以将各个区域中距离无人机最近的点到无人机的距离作为此区域中障碍物到无人机的距离。
应当注意的是，前述的步骤S101和步骤S102之间并没有顺序的先后，二者执行顺序可以颠倒，或者二者可以并行地执行。
S103：根据各个区域对应的威胁度和距离，计算各个区域的安全态势。
本实施例中，安全态势为各个区域内的障碍物可能对无人机安全飞行产生的影响。安全态势与障碍物的类型、障碍物到无人机当前位置的距离有关，而障碍物的类型可以采用威胁度表示，因此本实施例可以采用各个区域对应的威胁度和距离，计算各个区域的安全态势。
本实施例中，相机13视角内各个区域的安全态势可以采用
Figure BDA0002452361860000063
表示。
Figure BDA0002452361860000064
每个区域的安全态势分别与威胁度成正比，和区域中障碍物到无人的距离成反比；也就是说，tij越大，则证明安全态势代表的安全性越小。
在其他实施例中，也可以采用其他的计算方法综合考虑威胁度和距离，计算各个区域的安全态势。
S104：根据各个区域到目标位置的直线距离和各个区域对应的安全态势，计算各个区域对应的代价数据。
S105：根据代价数据最小的区域确定无人机的飞行方向。
步骤S104中，计算代价数据的参数包括两个：(1)各个区域中障碍物坐标到目标位置的直线距离；(2)各个区域对应的安全态势。
在本说明书实施例的一个具体应用中，目标位置的坐标为(xgoal,ygoal,zgoal)各个区域的代价数据可以采用公式
Figure BDA0002452361860000071
计算得到。根据前述公式可知，如果某一区域距离目标位置的距离越小，并且某一区域到的安全态势越小，则此区域计算得到的代价数据越小。
步骤S105中，根据代价数据最小的区域确定无人机的飞行方向，是以无人机当前位置为起点，以代价数据最小的点坐标作为终点，形成一向量。此向量的方向即为无人机的飞行方向。
在确定无人机的飞行方向后，使得无人机按照此飞行方向飞行一定的距离，应当注意的是，无人机在此飞行方向飞行的距离小于前述向量的长度。
在无人机执行前述步骤S101-S105并飞行到一新的位置后，可以再次执行前述步骤S101-S105，直至达到目标位置。
本实施例提供的无人机路径规划方法，通过采用人工智能算法对相机13拍摄的图像确定障碍物的类型，并基于障碍物类型确定各个视角区域范围内的可飞行区域的威胁度，根据前述威胁度和障碍物到无人机的距离计算各个区域的安全态势，并利用安全态势和各个区域到障碍物的目标位置的距离和安全态势计算各个区域的代价数据，继而根据最小代价数据的区域的位置确定无人机的飞行方向。
本实施例提供的无人机路径规划方法可以根据相机13和激光雷达14获取的数据实时的完成路径规划过程，无需提前获知全局信息和障碍物位置，能够适应环境特征随机变化的场景的需求。
另外，本实施例提供方法采用人功智能算法对图像进行处理，识别障碍物类型并基于障碍物类型确定各个区域的威胁度，使得不同类型的障碍物具有不同的威胁度，也使得根据实际场景中障碍物类型而制定无人机飞行路径更符合具体场景的特征。
本实施例中，在某一区域没有障碍物的情况下，则此区域的威胁度相应地设置为0。但是，实际应用中，即使某一区域没有障碍物，但是由于此区域可能很靠近障碍物，如果无人机向此区域飞行仍然可能具有一定的危险性。为解决此问题，在本说明书的一些实施例中，步骤S101中基于各个区域中障碍物的类型确定各个区域的威胁度还可以包括步骤S1011-S1015。
S1011：判断一区域是否有障碍物；若是，则执行S1012；若否，执行S1013。
S1012：根据一区域中障碍物的类型确定此区域的威胁度。
S1013：判断一区域到最近障碍物的距离是否小于安全半径；若是，执行S1014；若否，执行S1015。
S1014：根据最近障碍物的类型确定一区域的威胁度。
S1015：确定障碍物的威胁度为0。
在其他实施例的具体应用中，步骤S1014提及的根据最近障碍物的类型确定以区域的威胁度，应当保证使得此区域的威胁度小于最近障碍物所在区域的威胁度。例如，在实际应用中，可以将此一区域的威胁度上设置为包括最近障碍物所在区域威胁度的0.5倍。
在本说明书的其他实施例中还可以采用其他的方法确定各个区域的威胁度，其中：在获取无人机前方视角内各个区域中障碍物相对于无人机的坐标时，获取多个时刻无人机前方视角内各个区域中障碍物相对于无人机的坐标；应当注意，前述的多个时刻应当是时间间距较小的多个时刻。随后，根据多个时刻的坐标确定各个区域中障碍物的移动速度。随后，基于障碍物的类型和障碍物的类型确定各个区域的威胁度。也就是说，在一些实施例中，障碍物的威胁度直接和障碍物的移动速度相关，障碍物的移动速度越大，则对应的威胁度也就越大。
除了具有前述的步骤S101-S105外，本实施例的其他方案还可以包括步骤S106。
S106：根据各个区域的安全态势确定对应的显示色彩；采用显示色彩组合形成安全态势图层，并显示前述的安全态势图层。
具体应用中，各个区域的显示色彩根据对应区域的安全态势确定，如果安全态势为0，则其显示色彩可以设置为绿色；如果安全态势tij≠0，并且处在所有区域中安全态势值不为0的前70％部分，则将对应的显示色彩设置为红色；而其他区域的显示色彩根据其安全态势由小到大，颜色由绿色逐步过渡到红色。
实际应用中，安全态势图层可以被设置为一蒙版图层，并将此蒙版图层与原始图像叠加显示输出。
前述的安全态势图层可以显示输出给用户，以使得用户能够实时了解无人机飞行环境的状态，并使得用户能够适时地介入控制无人机的飞行状态。
除了提供前述的安全态势引导的无人机路径规划方法外，本实施例还提供一种无人机路径规划装置。因为无人机路径规划装置和前述的方法采用相同的发明构思，因此下文仅就此路径规划装置的结构做介绍，其具体应用带来的技术效果、解决的技术问题可以参见前文的表述。
图3是实施例提供的无人机路径规划装置的结构示意图。如图3所示，此装置包括威胁度确定单元21、距离测量单元22、安全态势确定单元23、代价数据计算单元24和方向确定单元25。
威胁度确定单元21用于获取无人机前方视角内的图像；处理图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；
距离测量单元22用于获取无人机前方视角内各个区域中障碍物相对无人机的坐标，以及根据坐标计算各个区域中障碍物到无人机的距离；
安全态势确定单元23用于根据各个区域对应的威胁度和距离，计算各个区域的安全态势；
代价数据计算单元24用于根据各个区域中障碍物到目标位置的直线距离和各个区域对应的安全态势，计算各个区域对应的代价数据；
方向确定单元25用于根据代价数据最小的区域确定无人机下一周期的飞行方向。
除了提供前述的方法和装置外，本实施例还提供一种无人机。无人机包括相机13、距离测量装置和处理器12。
相机13用于获取无人机前方视角内的图像；距离测量装置用于获取无人机的前方视角内各个区域中障碍物到无人机距离；处理器12用于：处理图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；根据各个区域对应的威胁度和距离，计算各个区域的安全态势；根据无人机到目标位置的直线距离和各个区域对应的安全态势，计算各个区域对应的代价数据；以及，根据代价数据最小的区域确定无人机下一周期的飞行方向。
此外，本说明书实施例还提供一种存储介质，存储介质包括中存储有程序代码；在前述程序代码被加载后可以用于执行前述实施例提及的安全态势引导的无人机路径规划方法。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种安全态势引导的无人机路径规划方法，其特征在于，包括：
获取无人机前方视角内的图像；处理所述图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；
获取所述无人机前方视角内各个区域中障碍物相对所述无人机的坐标，以及根据所述坐标计算各个区域中障碍物到所述无人机的距离；
根据所述各个区域对应的所述威胁度和所述距离，计算各个区域的安全态势；
所述各个区域(i,j)的安全态势采用
Figure FDA0002916805940000011
表示，其中，
Figure FDA0002916805940000012
tij表示所述安全态势，Sij表示所述威胁度，zij表示所述距离，每个区域的安全态势分别与威胁度成正比，与区域中障碍物到无人的距离成反比；
根据各个区域到目标位置的距离和所述各个区域对应的安全态势，计算各个区域对应的代价数据；
所述目标位置的坐标为(xgoal,ygoal,zgoal)，各个区域的代价数据采用公式
Figure FDA0002916805940000013
计算得到；
根据代价数据最小的所述区域确定所述无人机的飞行方向。
2.根据权利要求1所述的方法，其特征在于：
处理所述图像获得视角内各个区域中障碍物的类型，包括：采用深度学习算法处理所述图像，获得视角内各个区域中障碍物的类型。
3.根据权利要求1所述的方法，其特征在于，基于各个区域中障碍物的类型确定所确定各个区域的威胁度，包括：
根据各个区域中障碍物的类型确定各个区域内对应的威胁等级；
根据所述威胁等级计算确定所述区域对应的威胁度。
4.根据权利要求3所述的方法，其特征在于，还包括：
在一区域没有障碍物的情况下，判断所述一区域到最近障碍物的距离是否小于安全半径；
在所述一区域距离最近障碍物的距离小于安全半径的情况下，根据所述最近障碍物的类型确定所述一区域的威胁度；
其中：所述一区域的威胁度小于所述最近障碍物所在区域的威胁度。
5.根据权利要求1-4任一项所述的方法，其特征在于，
获取所述无人机前方视角内各个区域中障碍物在相对所述无人机的坐标，包括：
获取多个时刻所述无人机前方视角内各个区域中障碍物相对所述无人机的坐标；
所述方法还包括：根据多个时刻的所述坐标确定各个区域中障碍物的移动速度；
所述基于所述障碍物的类型确定各个区域的威胁度，包括：
基于所述障碍物的类型和移动速度确定各个区域的威胁度。
6.根据权利要求1-4任一项所述的方法，其特征在于，
所述区域为根据所述图像中的矩形子图像确定的区域，或者根据所述图像中的障碍物划分的区域。
7.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
根据各个区域的安全态势确定对应的显示色彩；
采用所述显示色彩组合形成安全态势图层，并显示所述安全态势图层。
8.一种安全态势引导的无人机路径规划装置，其特征在于，包括
威胁度确定单元，用于获取无人机前方视角内的图像；处理所述图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；
距离测量单元，用于获取所述无人机前方视角内各个区域中障碍物相对所述无人机的坐标，以及根据所述坐标计算各个区域中障碍物到所述无人机的距离；
安全态势确定单元，用于根据所述各个区域对应的所述威胁度和所述距离，计算各个区域的安全态势；
所述各个区域(i,j)的安全态势采用
Figure FDA0002916805940000021
表示，其中，
Figure FDA0002916805940000022
tij表示所述安全态势，Sij表示所述威胁度，zij表示所述距离，每个区域的安全态势分别与威胁度成正比，与区域中障碍物到无人的距离成反比；
代价数据计算单元，用于根据各个区域中障碍物到目标位置的直线距离和所述各个区域对应的安全态势，计算各个区域对应的代价数据；
所述目标位置的坐标为(xgoal,ygoal,zgoal)，各个区域的代价数据采用公式
Figure FDA0002916805940000023
计算得到；
方向确定单元，用于根据代价数据最小的所述区域确定所述无人机下一周期的飞行方向。
9.一种无人机，其特征在于，包括相机、距离测量装置、和处理器；
所述相机用于获取无人机前方视角内的图像；
所述距离测量装置用于获取所述无人机的前方视角内各个区域中障碍物到所述无人机距离；
所述处理器用于：处理所述图像获得视角内各个区域中障碍物的类型，基于各个区域中障碍物的类型确定各个区域的威胁度；根据所述各个区域对应的所述威胁度和所述距离，计算各个区域的安全态势；根据所述无人机到目标位置的直线距离和所述各个区域对应的安全态势，计算各个区域对应的代价数据；以及，根据代价数据最小的所述区域确定所述无人机下一周期的飞行方向。
10.一种存储介质，其特征在于，所述存储介质存储有程序代码；所述程序代码被加载后可用于执行如权利要求1-7任一项所述的方法。
CN202010296424.2A 2020-04-15 2020-04-15 一种安全态势引导的无人机路径规划方法 Active CN111338382B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010296424.2A CN111338382B (zh) 2020-04-15 2020-04-15 一种安全态势引导的无人机路径规划方法
US17/102,966 US20210327287A1 (en) 2020-04-15 2020-11-24 Uav path planning method and device guided by the safety situation, uav and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010296424.2A CN111338382B (zh) 2020-04-15 2020-04-15 一种安全态势引导的无人机路径规划方法

Publications (2)

Publication Number Publication Date
CN111338382A CN111338382A (zh) 2020-06-26
CN111338382B true CN111338382B (zh) 2021-04-06

Family

ID=71182875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010296424.2A Active CN111338382B (zh) 2020-04-15 2020-04-15 一种安全态势引导的无人机路径规划方法

Country Status (2)

Country Link
US (1) US20210327287A1 (zh)
CN (1) CN111338382B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020127797B4 (de) * 2020-10-22 2024-03-14 Markus Garcia Sensorverfahren zum optischen Erfassen von Nutzungsobjekten zur Detektion eines Sicherheitsabstandes zwischen Objekten
CN116724281A (zh) * 2021-06-30 2023-09-08 深圳市大疆创新科技有限公司 无人机的控制方法、无人机、飞行系统及存储介质
CN114332635B (zh) * 2022-03-11 2022-05-31 科大天工智能装备技术（天津）有限公司 一种智能搬运机器人障碍物自动识别方法和系统
CN114710819B (zh) * 2022-06-06 2022-08-26 天津讯联科技有限公司 一种无人机集群组网的路由规划方法
CN114872029B (zh) * 2022-06-09 2024-02-02 深圳市巨龙创视科技有限公司 一种机器人视觉识别系统
CN116434060B (zh) * 2023-03-13 2023-09-15 创辉达设计股份有限公司 一种利用无人机采集房屋信息自动提取方法及系统
CN117170411B (zh) * 2023-11-02 2024-02-02 山东环维游乐设备有限公司 基于视觉辅助的竞速无人机辅助避障方法
CN117346793B (zh) * 2023-12-04 2024-02-13 中国人民解放军国防科技大学 基于植物生长算法的无人机路径规划方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617366A (zh) * 2013-12-05 2014-03-05 哈尔滨工程大学 一种基于威胁度的uuv多级生存应急自救方法
CN105824323A (zh) * 2016-05-13 2016-08-03 中国航空工业集团公司西安飞机设计研究所 一种多机会和下的飞机防撞方法
CN107272731A (zh) * 2017-06-05 2017-10-20 陈金良 无人机自动避撞系统
CN109634304A (zh) * 2018-12-13 2019-04-16 中国科学院自动化研究所南京人工智能芯片创新研究院 无人机飞行路径规划方法、装置和存储介质
CN110210527A (zh) * 2019-05-14 2019-09-06 中国舰船研究设计中心 基于机器视觉联合感知的海上执法侦察系统
CN110389594A (zh) * 2018-04-19 2019-10-29 极光飞行科学公司 自适应自主系统架构
CN110991502A (zh) * 2019-11-21 2020-04-10 北京航空航天大学 一种基于类别激活映射技术的空域安全态势评估方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7848879B2 (en) * 2006-12-04 2010-12-07 Lockheed Martin Corporation Survivability system
CN110174903B (zh) * 2014-09-05 2023-05-09 深圳市大疆创新科技有限公司 用于在环境内控制可移动物体的系统和方法
CN104656663B (zh) * 2015-02-15 2017-12-01 西北工业大学 一种基于视觉的无人机编队感知与规避方法
WO2019127518A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 避障方法、装置及可移动平台

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617366A (zh) * 2013-12-05 2014-03-05 哈尔滨工程大学 一种基于威胁度的uuv多级生存应急自救方法
CN105824323A (zh) * 2016-05-13 2016-08-03 中国航空工业集团公司西安飞机设计研究所 一种多机会和下的飞机防撞方法
CN107272731A (zh) * 2017-06-05 2017-10-20 陈金良 无人机自动避撞系统
CN110389594A (zh) * 2018-04-19 2019-10-29 极光飞行科学公司 自适应自主系统架构
CN109634304A (zh) * 2018-12-13 2019-04-16 中国科学院自动化研究所南京人工智能芯片创新研究院 无人机飞行路径规划方法、装置和存储介质
CN110210527A (zh) * 2019-05-14 2019-09-06 中国舰船研究设计中心 基于机器视觉联合感知的海上执法侦察系统
CN110991502A (zh) * 2019-11-21 2020-04-10 北京航空航天大学 一种基于类别激活映射技术的空域安全态势评估方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Evolution-algorithm-based unmanned aerial vehicles path planning in complex environment;Xiaolei Liu，etc;《Computers & Electrical Engineering》;20191017;1-6 *
一种无人机实时航迹规划策略研究;李世晓，等;《飞行力学》;20140227;226-230 *
基于DBN威胁评估的MPC无人机三维动态路径规划;高晓光，等;《系统工程与电子技术》;20140616;2199-2205 *
基于人工势场法的无人机路径规划避障算法;毛晨悦，等;《电子科技》;20181220;65-70 *
基于改进人工势场法的动态环境下无人机路径规划;田亚卓，等;《武汉科技大学学报》;20171211;451-456 *

Also Published As

Publication number Publication date
CN111338382A (zh) 2020-06-26
US20210327287A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
CN111338382B (zh) 一种安全态势引导的无人机路径规划方法
KR102604969B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
Matthies et al. Stereo vision-based obstacle avoidance for micro air vehicles using disparity space
US11436743B2 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
EP3459238B1 (en) Need-sensitive image and location capture system and method
KR102623124B1 (ko) 접안 모니터링 장치 및 방법
US11442464B2 (en) Bird's eye view map based recognition and motion prediction for autonomous systems
CN111527463A (zh) 用于多目标跟踪的方法和系统
US20220292711A1 (en) Pose estimation method and device, related equipment and storage medium
CN106444837A (zh) 一种无人机避障方法及系统
CN112710318A (zh) 地图生成方法、路径规划方法、电子设备以及存储介质
EP3553752A1 (en) Information processing apparatus, information processing method, and computer-readable medium for generating an obstacle map
US20230316742A1 (en) Image processing method, apparatus and device, and computer-readable storage medium
US10565863B1 (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
CN111275015A (zh) 一种基于无人机的电力巡线电塔检测识别方法及系统
CN112378397B (zh) 无人机跟踪目标的方法、装置及无人机
CN112596071A (zh) 无人机自主定位方法、装置及无人机
CN112379681A (zh) 无人机避障飞行方法、装置及无人机
KR20210090574A (ko) 선박 및 항만 모니터링 장치 및 방법
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
CN116070341A (zh) 传感器优化
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
Fragoso et al. Dynamically feasible motion planning for micro air vehicles using an egocylinder
CN112380933B (zh) 无人机识别目标的方法、装置及无人机
KR20240036529A (ko) 선박 및 항만 모니터링 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant