CN112416018A - 基于多信号采集与路径规划模型的无人机避障方法和装置 - Google Patents

基于多信号采集与路径规划模型的无人机避障方法和装置 Download PDF

Info

Publication number
CN112416018A
CN112416018A CN202011326513.3A CN202011326513A CN112416018A CN 112416018 A CN112416018 A CN 112416018A CN 202011326513 A CN202011326513 A CN 202011326513A CN 112416018 A CN112416018 A CN 112416018A
Authority
CN
China
Prior art keywords
initial
path planning
obstacle
model
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011326513.3A
Other languages
English (en)
Other versions
CN112416018B (zh
Inventor
唐宇
骆少明
郭琪伟
庄鑫财
李嘉豪
杨捷鹏
符伊晴
侯超钧
庄家俊
苗爱敏
褚璇
黄华盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202011326513.3A priority Critical patent/CN112416018B/zh
Publication of CN112416018A publication Critical patent/CN112416018A/zh
Application granted granted Critical
Publication of CN112416018B publication Critical patent/CN112416018B/zh
Priority to US17/468,864 priority patent/US11353893B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G01S13/935—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft for terrain-avoidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Abstract

本申请揭示了一种基于多信号采集与路径规划模型的无人机避障方法、装置、计算机设备和存储介质，所述方法包括：对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；依据预设的动态环境实时建模方法，生成初始立体环境模型；获取无人机的运动参数和体形参数，并输入基于遗传算法且对应于初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；判断输出是否为能够避障；若为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，飞过所述第一环境区域，从而解决了细小物体和突入物的快速诊断和避障难题。

Description

基于多信号采集与路径规划模型的无人机避障方法和装置
技术领域
本申请涉及到计算机领域，特别是涉及到一种基于多信号采集与路径规划模型的无人机避障方法、装置、计算机设备和存储介质。
背景技术
无人机由于其轻巧灵活等特点，已大量应用于各行业中。在无人机的飞行过程中，若碰到障碍物时，需要进行避障处理。现有的无人机避障方案，是借助单一的信号采集手段，以确定障碍物位置，再进行避障飞行。因此，传统的无人机避障方案适用范围窄，在较为复杂的环境中，例如在复杂农业环境(例如存在)，难以准确高效地识别出障碍物并进行准确地避障飞行，因此存在较高的无人机安全隐患。
发明内容
本申请提出一种基于多信号采集与路径规划模型的无人机避障方法，包括以下步骤：
S1、利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；
S2、根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型；
S3、获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径；
S4、判断所述初始路径规划模型的输出是否为能够避障；
S5、若所述初始路径规划模型的输出为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域。
进一步地，所述利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号的步骤S1，包括：
S101、将所述第一环境区域划分为第一子区域、第二子区域、第三子区域和第四子区域，并利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，分别对所述第一子区域、第二子区域、第三子区域和第四子区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；其中，所述第一子区域和第四子区域关于所述无人机的中轴线轴对称，所述第二子区域和第三子区域关于所述无人机的中轴线轴对称；所述第一环境区域中任一点的水平位置与所述无人机的机头的水平位置之间的第一距离，小于所述第一环境区域中该点的水平位置与所述无人机的机尾的水平位置之间的第二距离；
所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4之后，包括：
S41、若所述初始路径规划模型的输出为不能避障，则生成无人机悬停且翻转指令，以要求所述无人机悬停并保持机头方向不变的情况下翻转180度；
S42、利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，分别对所述第四子区域、第三子区域、第二子区域和第一子区域进行信号采集处理，以得到二次毫米波雷达信号、二次激光雷达信号、二次图像信号和二次超声波信号；
S43、根据所述二次毫米波雷达信号、二次激光雷达信号、二次图像信号和二次超声波信号，并依据预设的动态环境实时建模方法，生成二次立体环境模型；
S44、将所述无人机的运动参数和体形参数输入预设的基于遗传算法且对应于所述二次立体环境模型而建立的二次路径规划模型中进行处理，从而得到所述二次路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述二次路径规划模型的输出包括不能避障或者能够避障，并且当所述二次路径规划模型的输出为能够避障时，所述二次路径规划模型的输出还附有二次避障路径；
S45、判断所述初始路径规划模型的输出是否为能够避障；
S46、若所述初始路径规划模型的输出为能够避障，则生成二次避障飞行指令，以要求所述无人机沿所述二次避障路径进行避障飞行，从而飞过所述第一环境区域。
进一步地，所述根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型的步骤S2，包括：
S201、根据所述初始毫米波雷达信号和初始图像信号，并采用预设的第一空间建模工具进行动态环境实时建模处理，从而得到第一空间模型；
S202、同时，根据所述初始激光雷达信号和初始超声波信号，并采用预设的第二空间建模工具进行动态环境实时建模处理，从而得到第二空间模型；
S203、将所述第一空间模型和所述第二空间模型并行组合为初始立体环境模型；
所述初始路径规划模型的输出包括对应于所述第一空间模型的输出和对应于所述第二空间模型的输出；所述第一空间模型的输出包括不能避障或者能够避障，并且当所述第一空间模型的输出为能够避障时，所述第一空间模型的输出还附有第一初始避障路径；所述第二空间模型的输出包括不能避障或者能够避障，并且当所述第二空间模型的输出为能够避障时，所述第二空间模型的输出还附有第二初始避障路径；所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4，包括：
S401、判断所述对应于所述第一空间模型的输出和所述对应于所述第二空间模型的输出是否均为能够避障；
S402、若所述对应于所述第一空间模型的输出和所述对应于所述第二空间模型的输出均为能够避障，则根据预设的路径相似度计算方法，计算所述第一初始避障路径和所述第二初始避障路径之间的相似度值；
S403、判断所述第一初始避障路径和所述第二初始避障路径之间的相似度值是否大于预设的相似度阈值；
S404、若所述第一初始避障路径和所述第二初始避障路径之间的相似度值大于预设的相似度阈值，则判定所述初始路径规划模型的输出为能够避障。
进一步地，所述获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径的步骤S3之前，包括：
S21、从预设的环境模型库中，调取与所述初始立体环境模型最为相似的指定标准环境模型；其中，所述环境模型库中预存有对多个空中障碍环境进行建模而得到的多个标准环境模型；
S22、根据预设的标准环境模型与路径规划模型的映射关系，获取与所述指定标准环境模型对应的指定路径规划模型；其中，不同的标准环境模型对应于基于遗传算法的不同的路径规划模型；
S23、将所述指定路径规划模型记为所述初始路径规划模型，并生成路径规划指令，其中所述路径规划指令用于指示获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理。
进一步地，所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4之后，包括：
S411、若所述初始路径规划模型的输出为不能够避障，则控制所述无人机在保持当前高度的前提下，后退预设的第一水平长度；
S412、利用所述无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第二环境区域进行信号采集处理，以得到三次毫米波雷达信号、三次激光雷达信号、三次图像信号和三次超声波信号；其中，所述第二环境区域是所述第一环境区域沿无人机后退方向水平平移所述第一水平长度的区域；
S413、根据所述三次毫米波雷达信号、三次激光雷达信号、三次图像信号和三次超声波信号，并依据预设的动态环境实时建模方法，生成三次立体环境模型；
S414、获取所述无人机的运动参数和体形参数，并输入预设的基于遗传算法且对应于所述三次立体环境模型而建立的三次路径规划模型中进行处理，从而得到所述三次路径规划模型的输出；其中，所述三次路径规划模型的输出包括不能避障或者能够避障，并且当所述三次路径规划模型的输出为能够避障时，所述三次路径规划模型的输出还附有三次避障路径；
S415、判断所述三次路径规划模型的输出是否为能够避障；
S416、若所述三次路径规划模型的输出为能够避障，则生成三次避障飞行指令，以要求所述无人机沿所述三次避障路径进行避障飞行，从而飞过所述第二环境区域。
本申请提供一种基于多信号采集与路径规划模型的无人机避障装置，包括：
信号采集单元，用于利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；
初始立体环境模型生成单元，用于根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型；
初始路径规划模型处理单元，用于获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径；
避障判断单元，用于判断所述初始路径规划模型的输出是否为能够避障；
避障飞行指令生成单元，用于若所述初始路径规划模型的输出为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于多信号采集与路径规划模型的无人机避障方法、装置、计算机设备和存储介质，提出了动态环境实时建模方法与遗传算法相结合的障碍物识别并规避方法，可适用于任意可行环境，尤其适合于农业复杂环境（无人机需要在低空作业，会遇到如枝条等普通无人机不会碰到的障碍物），并且在其中特地采用了集成毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器为一体以进行信号采集，从而充分利用毫米波雷达运动物体捕捉能力强、激光雷达细小物体敏感性强、双目视觉近距离视角宽、超声波近距离指向性好等特点，建立了一体化的障碍物快速诊断模型，提出了无人机运动状态下基于实际场景的固定细小障碍物和突入障碍物的识别方法，开发了集成毫米波雷达、激光雷达、双目视觉和超声波于一体的障碍物快速检测装置，解决了细小物体和突入物的快速诊断和避障难题，结合无人机运动特征实时进行快速避障路径规划，实现了无人机0~12米/秒速度范围内的多向有效避障。
附图说明
图1 为本申请一实施例的基于多信号采集与路径规划模型的无人机避障方法的流程示意图；
图2 为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于多信号采集与路径规划模型的无人机避障方法，包括以下步骤：
S1、利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；
S2、根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型；
S3、获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径；
S4、判断所述初始路径规划模型的输出是否为能够避障；
S5、若所述初始路径规划模型的输出为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域。
如上述步骤S1-S2所述，利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型。其中，本申请是特地选择了毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器同时进行信号采集处理，从而充分利用毫米波雷达运动物体捕捉能力强、激光雷达细小物体敏感性强、双目视觉近距离视角宽、超声波近距离指向性好等特点，使得短时间内在复杂空中环境（例如在农业环境中）中获取充足且准确的障碍物信息成为了可能；并且，本申请特地选择了毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器同时进行信号采集处理的原因不仅如此，其根据具体执行过程的不同而有所差异，因此将在后续结合具体步骤进行详细阐述。所述动态环境实时建模方法可采用任意可行方法，例如采用现有的三维空间建模工具进行建模处理；由于已获取环境中的充分的信号数据，据此能够模拟出具有障碍物（或者信号数据表明没有障碍物）的初始立体环境模型，但是，本申请的一个特点在于实时建模，这是由于本申请采用四种不同的信号采集器进行信号采集处理，以使得环境信号足够充分，因此才能避免信号缺失，从而实时建模成为了可能。
进一步地，所述利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号的步骤S1，包括：
S101、将所述第一环境区域划分为第一子区域、第二子区域、第三子区域和第四子区域，并利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，分别对所述第一子区域、第二子区域、第三子区域和第四子区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；其中，所述第一子区域和第四子区域关于所述无人机的中轴线轴对称，所述第二子区域和第三子区域关于所述无人机的中轴线轴对称；所述第一环境区域中任一点的水平位置与所述无人机的机头的水平位置之间的第一距离，小于所述第一环境区域中该点的水平位置与所述无人机的机尾的水平位置之间的第二距离；
所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4之后，包括：
S41、若所述初始路径规划模型的输出为不能避障，则生成无人机悬停且翻转指令，以要求所述无人机悬停并保持机头方向不变的情况下翻转180度；
S42、利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，分别对所述第四子区域、第三子区域、第二子区域和第一子区域进行信号采集处理，以得到二次毫米波雷达信号、二次激光雷达信号、二次图像信号和二次超声波信号；
S43、根据所述二次毫米波雷达信号、二次激光雷达信号、二次图像信号和二次超声波信号，并依据预设的动态环境实时建模方法，生成二次立体环境模型；
S44、将所述无人机的运动参数和体形参数输入预设的基于遗传算法且对应于所述二次立体环境模型而建立的二次路径规划模型中进行处理，从而得到所述二次路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述二次路径规划模型的输出包括不能避障或者能够避障，并且当所述二次路径规划模型的输出为能够避障时，所述二次路径规划模型的输出还附有二次避障路径；
S45、判断所述初始路径规划模型的输出是否为能够避障；
S46、若所述初始路径规划模型的输出为能够避障，则生成二次避障飞行指令，以要求所述无人机沿所述二次避障路径进行避障飞行，从而飞过所述第一环境区域。
从而实现了信号的充分利用，使得本申请的避障飞行更加准确且高效。前文中已提及，本申请对于四种信号采集的方式根据具体执行过程的不同，其原因与优点也有所不同，而此处采用划分子区域进行信号采集，即是如此。具体地，若采用毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器分别对第一环境区域进行全区域的信号采集处理，固然能够获取最充分的信号数据，但是需要较长的时间，而本申请的无人机是处于运动状态中的，因此越短的信号采集时间越有利。据此，本申请采用了将所述第一环境区域划分为第一子区域、第二子区域、第三子区域和第四子区域，并利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，分别对所述第一子区域、第二子区域、第三子区域和第四子区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号的方式，从而使得每种信号采集器均只需采集部分区域内的信号即可，同时，由于这四种信号采集器的优点各不相同，而无人机避障实际上只需找出一条通畅的空中道路即可，其对完整的空间模型的要求性其实并不高，因此，采用本申请的上述方式，有可能在某个子区域内找出合适的避障路线，从而进行准确地避障，并且总耗时更短。进一步地，本申请采用上述设置的优点还包括，在所述初始路径规划模型的输出为不能避障的情况下，只需要求所述无人机悬停并保持机头方向不变的情况下翻转180度，从而四个不同的信号采集器就能对另一个不同子区域进行信号采集，从而再次进行模型构建与避障判断，而此时，需要进行信号采集的总时间也仍能够节省一半。
进一步地，所述根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型的步骤S2，包括：
S201、根据所述初始毫米波雷达信号和初始图像信号，并采用预设的第一空间建模工具进行动态环境实时建模处理，从而得到第一空间模型；
S202、同时，根据所述初始激光雷达信号和初始超声波信号，并采用预设的第二空间建模工具进行动态环境实时建模处理，从而得到第二空间模型；
S203、将所述第一空间模型和所述第二空间模型并行组合为初始立体环境模型；
所述初始路径规划模型的输出包括对应于所述第一空间模型的输出和对应于所述第二空间模型的输出；所述第一空间模型的输出包括不能避障或者能够避障，并且当所述第一空间模型的输出为能够避障时，所述第一空间模型的输出还附有第一初始避障路径；所述第二空间模型的输出包括不能避障或者能够避障，并且当所述第二空间模型的输出为能够避障时，所述第二空间模型的输出还附有第二初始避障路径；所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4，包括：
S401、判断所述对应于所述第一空间模型的输出和所述对应于所述第二空间模型的输出是否均为能够避障；
S402、若所述对应于所述第一空间模型的输出和所述对应于所述第二空间模型的输出均为能够避障，则根据预设的路径相似度计算方法，计算所述第一初始避障路径和所述第二初始避障路径之间的相似度值；
S403、判断所述第一初始避障路径和所述第二初始避障路径之间的相似度值是否大于预设的相似度阈值；
S404、若所述第一初始避障路径和所述第二初始避障路径之间的相似度值大于预设的相似度阈值，则判定所述初始路径规划模型的输出为能够避障。
从而，使得避障的判断更为准确。前文中已提及，本申请对于四种信号采集的方式根据具体执行过程的不同，其原因与优点也有所不同，而此处采用将所述初始毫米波雷达信号和初始图像信号分为一组以建模，再将所述初始激光雷达信号和初始超声波信号分为一组以建模，即是如此。若采用充分考虑初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，以建立单一的空间模型，由于需要考虑这四种信号中可能存在差异问题，因此建成空间模型耗时较长，对整体的避障方案不利。因此，本申请采用将所述初始毫米波雷达信号和初始图像信号分为一组以建模，再将所述初始激光雷达信号和初始超声波信号分为一组以建模，从而仅考虑两组信号之间的差异即可，同时这四种信号均会对最终的避障判断有正面影响，因此不会造成信息损失；并且，此处还有一个很重要的特点，即本申请是特地将所述初始毫米波雷达信号和初始图像信号分为一组以建模，再将所述初始激光雷达信号和初始超声波信号分为一组以建模。这是因为本申请发现在短时间的高效建模过程中，所述初始毫米波雷达信号和初始图像信号为一组而建立的模型与真实空间的相似度更高，以及所述初始激光雷达信号和初始超声波信号分为一组而建立的模型与真实空间的相似度更高，此原因有可能与毫米波雷达运动物体捕捉能力强、激光雷达细小物体敏感性强、双目视觉近距离视角宽、超声波近距离指向性好等特点相关联，更具体的原理仍在分析中，但这确是本申请的一大发现。其中，根据预设的路径相似度计算方法，计算所述第一初始避障路径和所述第二初始避障路径之间的相似度值，其可采用任意可行方法进行计算，例如采用分为有限的线段以分别计算长度差异值与角度差异值，再综合计算整体曲线的相似度值，这实际上是两条曲线之间的相似计算，因此在此不再赘述。
如上述步骤S3所述，获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径。所述运动参数例如为无人机的位置、速度和加速度等，所述体形参数例如为机身总长度、机自己在宽度和机身高度等，这是因为在避障过程中，可能存在较小的避障空间，因此需要综合考虑运动参数与体形参数，以确定是否无人机能够穿过。本申请采用基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型，以利用机器学习模型判断是否能够避障并计算避障路径。所述遗传算法是一种通过模拟自然进化过程搜索最优解的方法，其在训练初期存在大量的失败样例，但每一次新的训练，均会继承了上一次失败样例的经验，直至最终得到可行的避障飞行路线。
进一步地，所述获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径的步骤S3之前，包括：
S21、从预设的环境模型库中，调取与所述初始立体环境模型最为相似的指定标准环境模型；其中，所述环境模型库中预存有对多个空中障碍环境进行建模而得到的多个标准环境模型；
S22、根据预设的标准环境模型与路径规划模型的映射关系，获取与所述指定标准环境模型对应的指定路径规划模型；其中，不同的标准环境模型对应于基于遗传算法的不同的路径规划模型；
S23、将所述指定路径规划模型记为所述初始路径规划模型，并生成路径规划指令，其中所述路径规划指令用于指示获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理。
从而实现了获取初始路径规划模型。其中，需要注意的是，普通的无人机实时避障方案中难以应用遗传算法，因为遗传算法可视为一种试错算法，其继承了上一次模拟飞行失败的经验，直至最终得到可行的避障飞行路线，而普通的无人机实时避障，由于其碰到的空间环境为新环境，并且其处于飞行状态需要短时间内得到避障路线，这与基于遗传算法的模型需要较长的时间矛盾。而本申请预先建立环境模型库，所述环境模型库中预存有对多个空中障碍环境进行建模而得到的多个标准环境模型，从而使得无人机碰到的空间环境为已知标准环境（这只要标准环境模型构建的数量够多，且特异性够强即可，尤其可针对性地收集本申请的无人机的常见环境以建模）。再在这些标准环境模型分别进行基于遗传算法的机器学习模型的训练，从而在进行了足够多轮次的训练后，即可得到分别对应的路径规划模型，同时也就能够建立标准环境模型与路径规划模型的映射关系。再根据标准环境模型与路径规划模型的映射关系，即可得到与所述指定标准环境模型对应的指定路径规划模型，再将所述指定路径规划模型记为所述初始路径规划模型。
如上述步骤S4-S5所述，判断所述初始路径规划模型的输出是否为能够避障；若所述初始路径规划模型的输出为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域。由于所述初始路径规划模型的输出为能够避障，并且所述初始路径规划模型的输出附带有初始避障路径，因此，无人机只需沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域，最终完成避障任务。
进一步地，所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4之后，包括：
S411、若所述初始路径规划模型的输出为不能够避障，则控制所述无人机在保持当前高度的前提下，后退预设的第一水平长度；
S412、利用所述无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第二环境区域进行信号采集处理，以得到三次毫米波雷达信号、三次激光雷达信号、三次图像信号和三次超声波信号；其中，所述第二环境区域是所述第一环境区域沿无人机后退方向水平平移所述第一水平长度的区域；
S413、根据所述三次毫米波雷达信号、三次激光雷达信号、三次图像信号和三次超声波信号，并依据预设的动态环境实时建模方法，生成三次立体环境模型；
S414、获取所述无人机的运动参数和体形参数，并输入预设的基于遗传算法且对应于所述三次立体环境模型而建立的三次路径规划模型中进行处理，从而得到所述三次路径规划模型的输出；其中，所述三次路径规划模型的输出包括不能避障或者能够避障，并且当所述三次路径规划模型的输出为能够避障时，所述三次路径规划模型的输出还附有三次避障路径；
S415、判断所述三次路径规划模型的输出是否为能够避障；
S416、若所述三次路径规划模型的输出为能够避障，则生成三次避障飞行指令，以要求所述无人机沿所述三次避障路径进行避障飞行，从而飞过所述第二环境区域。
从而实现了再次避障飞行。无人机在遇到障碍物时，例如在遇到高密度的灌木丛时，此时灌木丛封锁了前方的所有路线，因此所述初始路径规划模型的输出为不能够避障。此时，本申请采用特殊方式以实现再次避障，即控制所述无人机在保持当前高度的前提下，后退预设的第一水平长度，在此基础上，再次进行信号采集、立体环境模型构建、避障判断与避障飞行。其中，由于无人机后退预设的第一水平长度，因此无人机的避障环境得到了改善，并且由于是后退预设的第一水平长度，因此能够保证无人机的安全。从而实现了采用以退为进的策略，实现了再次避障。
本申请的基于多信号采集与路径规划模型的无人机避障方法，提出了动态环境实时建模方法与遗传算法相结合的障碍物识别并规避方法，可适用于任意可行环境，尤其适合于农业复杂环境（无人机需要在低空作业，会遇到如枝条等普通无人机不会碰到的障碍物），并且在其中特地采用了集成毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器为一体以进行信号采集，从而充分利用毫米波雷达运动物体捕捉能力强、激光雷达细小物体敏感性强、双目视觉近距离视角宽、超声波近距离指向性好等特点，建立了一体化的障碍物快速诊断模型，提出了无人机运动状态下基于实际场景的固定细小障碍物和突入障碍物的识别方法，开发了集成毫米波雷达、激光雷达、双目视觉和超声波于一体的障碍物快速检测装置，解决了细小物体和突入物的快速诊断和避障难题，结合无人机运动特征实时进行快速避障路径规划，实现了无人机0~12米/秒速度范围内的多向有效避障。
参照图2，本申请实施例提供一种基于多信号采集与路径规划模型的无人机避障装置，包括：
信号采集单元，用于利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；
初始立体环境模型生成单元，用于根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型；
初始路径规划模型处理单元，用于获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径；
避障判断单元，用于判断所述初始路径规划模型的输出是否为能够避障；
避障飞行指令生成单元，用于若所述初始路径规划模型的输出为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域。
其中上述单元分别用于执行的操作与前述实施方式的基于多信号采集与路径规划模型的无人机避障方法的步骤一一对应,在此不再赘述。
本申请的基于多信号采集与路径规划模型的无人机避障装置，提出了动态环境实时建模方法与遗传算法相结合的障碍物识别并规避方法，可适用于任意可行环境，尤其适合于农业复杂环境（无人机需要在低空作业，会遇到如枝条等普通无人机不会碰到的障碍物），并且在其中特地采用了集成毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器为一体以进行信号采集，从而充分利用毫米波雷达运动物体捕捉能力强、激光雷达细小物体敏感性强、双目视觉近距离视角宽、超声波近距离指向性好等特点，建立了一体化的障碍物快速诊断模型，提出了无人机运动状态下基于实际场景的固定细小障碍物和突入障碍物的识别方法，开发了集成毫米波雷达、激光雷达、双目视觉和超声波于一体的障碍物快速检测装置，解决了细小物体和突入物的快速诊断和避障难题，结合无人机运动特征实时进行快速避障路径规划，实现了无人机0~12米/秒速度范围内的多向有效避障。
参照图2，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于多信号采集与路径规划模型的无人机避障方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多信号采集与路径规划模型的无人机避障方法。
上述处理器执行上述基于多信号采集与路径规划模型的无人机避障方法，其中所述方法包括的步骤分别与执行前述实施方式的基于多信号采集与路径规划模型的无人机避障方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，提出了动态环境实时建模方法与遗传算法相结合的障碍物识别并规避方法，可适用于任意可行环境，尤其适合于农业复杂环境（无人机需要在低空作业，会遇到如枝条等普通无人机不会碰到的障碍物），并且在其中特地采用了集成毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器为一体以进行信号采集，从而充分利用毫米波雷达运动物体捕捉能力强、激光雷达细小物体敏感性强、双目视觉近距离视角宽、超声波近距离指向性好等特点，建立了一体化的障碍物快速诊断模型，提出了无人机运动状态下基于实际场景的固定细小障碍物和突入障碍物的识别方法，开发了集成毫米波雷达、激光雷达、双目视觉和超声波于一体的障碍物快速检测装置，解决了细小物体和突入物的快速诊断和避障难题，结合无人机运动特征实时进行快速避障路径规划，实现了无人机0~12米/秒速度范围内的多向有效避障。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于多信号采集与路径规划模型的无人机避障方法，其中所述方法包括的步骤分别与执行前述实施方式的基于多信号采集与路径规划模型的无人机避障方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，提出了动态环境实时建模方法与遗传算法相结合的障碍物识别并规避方法，可适用于任意可行环境，尤其适合于农业复杂环境（无人机需要在低空作业，会遇到如枝条等普通无人机不会碰到的障碍物），并且在其中特地采用了集成毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器为一体以进行信号采集，从而充分利用毫米波雷达运动物体捕捉能力强、激光雷达细小物体敏感性强、双目视觉近距离视角宽、超声波近距离指向性好等特点，建立了一体化的障碍物快速诊断模型，提出了无人机运动状态下基于实际场景的固定细小障碍物和突入障碍物的识别方法，开发了集成毫米波雷达、激光雷达、双目视觉和超声波于一体的障碍物快速检测装置，解决了细小物体和突入物的快速诊断和避障难题，结合无人机运动特征实时进行快速避障路径规划，实现了无人机0~12米/秒速度范围内的多向有效避障。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序或指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种基于多信号采集与路径规划模型的无人机避障方法，其特征在于，包括：
S1、利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；
S2、根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型；
S3、获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径；
S4、判断所述初始路径规划模型的输出是否为能够避障；
S5、若所述初始路径规划模型的输出为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域。
2.根据权利要求1所述的基于多信号采集与路径规划模型的无人机避障方法，其特征在于，所述利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号的步骤S1，包括：
S101、将所述第一环境区域划分为第一子区域、第二子区域、第三子区域和第四子区域，并利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，分别对所述第一子区域、第二子区域、第三子区域和第四子区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；其中，所述第一子区域和第四子区域关于所述无人机的中轴线轴对称，所述第二子区域和第三子区域关于所述无人机的中轴线轴对称；所述第一环境区域中任一点的水平位置与所述无人机的机头的水平位置之间的第一距离，小于所述第一环境区域中该点的水平位置与所述无人机的机尾的水平位置之间的第二距离；
所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4之后，包括：
S41、若所述初始路径规划模型的输出为不能避障，则生成无人机悬停且翻转指令，以要求所述无人机悬停并保持机头方向不变的情况下翻转180度；
S42、利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，分别对所述第四子区域、第三子区域、第二子区域和第一子区域进行信号采集处理，以得到二次毫米波雷达信号、二次激光雷达信号、二次图像信号和二次超声波信号；
S43、根据所述二次毫米波雷达信号、二次激光雷达信号、二次图像信号和二次超声波信号，并依据预设的动态环境实时建模方法，生成二次立体环境模型；
S44、将所述无人机的运动参数和体形参数输入预设的基于遗传算法且对应于所述二次立体环境模型而建立的二次路径规划模型中进行处理，从而得到所述二次路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述二次路径规划模型的输出包括不能避障或者能够避障，并且当所述二次路径规划模型的输出为能够避障时，所述二次路径规划模型的输出还附有二次避障路径；
S45、判断所述初始路径规划模型的输出是否为能够避障；
S46、若所述初始路径规划模型的输出为能够避障，则生成二次避障飞行指令，以要求所述无人机沿所述二次避障路径进行避障飞行，从而飞过所述第一环境区域。
3.根据权利要求1所述的基于多信号采集与路径规划模型的无人机避障方法，其特征在于，所述根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型的步骤S2，包括：
S201、根据所述初始毫米波雷达信号和初始图像信号，并采用预设的第一空间建模工具进行动态环境实时建模处理，从而得到第一空间模型；
S202、同时，根据所述初始激光雷达信号和初始超声波信号，并采用预设的第二空间建模工具进行动态环境实时建模处理，从而得到第二空间模型；
S203、将所述第一空间模型和所述第二空间模型并行组合为初始立体环境模型；
所述初始路径规划模型的输出包括对应于所述第一空间模型的输出和对应于所述第二空间模型的输出；所述第一空间模型的输出包括不能避障或者能够避障，并且当所述第一空间模型的输出为能够避障时，所述第一空间模型的输出还附有第一初始避障路径；所述第二空间模型的输出包括不能避障或者能够避障，并且当所述第二空间模型的输出为能够避障时，所述第二空间模型的输出还附有第二初始避障路径；所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4，包括：
S401、判断所述对应于所述第一空间模型的输出和所述对应于所述第二空间模型的输出是否均为能够避障；
S402、若所述对应于所述第一空间模型的输出和所述对应于所述第二空间模型的输出均为能够避障，则根据预设的路径相似度计算方法，计算所述第一初始避障路径和所述第二初始避障路径之间的相似度值；
S403、判断所述第一初始避障路径和所述第二初始避障路径之间的相似度值是否大于预设的相似度阈值；
S404、若所述第一初始避障路径和所述第二初始避障路径之间的相似度值大于预设的相似度阈值，则判定所述初始路径规划模型的输出为能够避障。
4.根据权利要求1所述的基于多信号采集与路径规划模型的无人机避障方法，其特征在于，所述获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径的步骤S3之前，包括：
S21、从预设的环境模型库中，调取与所述初始立体环境模型最为相似的指定标准环境模型；其中，所述环境模型库中预存有对多个空中障碍环境进行建模而得到的多个标准环境模型；
S22、根据预设的标准环境模型与路径规划模型的映射关系，获取与所述指定标准环境模型对应的指定路径规划模型；其中，不同的标准环境模型对应于基于遗传算法的不同的路径规划模型；
S23、将所述指定路径规划模型记为所述初始路径规划模型，并生成路径规划指令，其中所述路径规划指令用于指示获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理。
5.根据权利要求1所述的基于多信号采集与路径规划模型的无人机避障方法，其特征在于，所述判断所述初始路径规划模型的输出是否为能够避障的步骤S4之后，包括：
S411、若所述初始路径规划模型的输出为不能够避障，则控制所述无人机在保持当前高度的前提下，后退预设的第一水平长度；
S412、利用所述无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第二环境区域进行信号采集处理，以得到三次毫米波雷达信号、三次激光雷达信号、三次图像信号和三次超声波信号；其中，所述第二环境区域是所述第一环境区域沿无人机后退方向水平平移所述第一水平长度的区域；
S413、根据所述三次毫米波雷达信号、三次激光雷达信号、三次图像信号和三次超声波信号，并依据预设的动态环境实时建模方法，生成三次立体环境模型；
S414、获取所述无人机的运动参数和体形参数，并输入预设的基于遗传算法且对应于所述三次立体环境模型而建立的三次路径规划模型中进行处理，从而得到所述三次路径规划模型的输出；其中，所述三次路径规划模型的输出包括不能避障或者能够避障，并且当所述三次路径规划模型的输出为能够避障时，所述三次路径规划模型的输出还附有三次避障路径；
S415、判断所述三次路径规划模型的输出是否为能够避障；
S416、若所述三次路径规划模型的输出为能够避障，则生成三次避障飞行指令，以要求所述无人机沿所述三次避障路径进行避障飞行，从而飞过所述第二环境区域。
6.一种基于多信号采集与路径规划模型的无人机避障装置，其特征在于，包括：
信号采集单元，用于利用预设于无人机上的毫米波雷达、激光雷达、双目视觉摄像头和超声波收发器，对第一环境区域进行信号采集处理，以得到初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号；
初始立体环境模型生成单元，用于根据所述初始毫米波雷达信号、初始激光雷达信号、初始图像信号和初始超声波信号，并依据预设的动态环境实时建模方法，生成初始立体环境模型；
初始路径规划模型处理单元，用于获取所述无人机的运动参数和体形参数，并将所述运动参数和体形参数输入预设的基于遗传算法且对应于所述初始立体环境模型而建立的初始路径规划模型中进行处理，从而得到所述初始路径规划模型的输出；其中，所述运动参数至少包括所述无人机的位置参数，所述初始路径规划模型的输出包括不能避障或者能够避障，并且当所述初始路径规划模型的输出为能够避障时，所述初始路径规划模型的输出还附有初始避障路径；
避障判断单元，用于判断所述初始路径规划模型的输出是否为能够避障；
避障飞行指令生成单元，用于若所述初始路径规划模型的输出为能够避障，则生成避障飞行指令，以要求所述无人机沿所述初始避障路径进行避障飞行，从而飞过所述第一环境区域。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202011326513.3A 2020-11-24 2020-11-24 基于多信号采集与路径规划模型的无人机避障方法和装置 Active CN112416018B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011326513.3A CN112416018B (zh) 2020-11-24 2020-11-24 基于多信号采集与路径规划模型的无人机避障方法和装置
US17/468,864 US11353893B1 (en) 2020-11-24 2021-09-08 Obstacle avoiding method and apparatus for unmanned aerial vehicle based on multi-signal acquisition and route planning model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011326513.3A CN112416018B (zh) 2020-11-24 2020-11-24 基于多信号采集与路径规划模型的无人机避障方法和装置

Publications (2)

Publication Number Publication Date
CN112416018A true CN112416018A (zh) 2021-02-26
CN112416018B CN112416018B (zh) 2021-07-09

Family

ID=74777049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011326513.3A Active CN112416018B (zh) 2020-11-24 2020-11-24 基于多信号采集与路径规划模型的无人机避障方法和装置

Country Status (2)

Country Link
US (1) US11353893B1 (zh)
CN (1) CN112416018B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379790A (zh) * 2021-06-21 2021-09-10 山东八五信息技术有限公司 一种基于3d模型的高空瞭望观测物体的ai预警定位方法
CN113570714A (zh) * 2021-07-07 2021-10-29 诚邦测绘信息科技(浙江)有限公司 基于测绘的无人机检测方法、系统、存储介质及智能终端
CN114167890A (zh) * 2021-11-29 2022-03-11 西安羚控电子科技有限公司 一种无人飞行装置智能避障方法
CN114838736A (zh) * 2022-04-29 2022-08-02 深圳优地科技有限公司 避障路径规划方法、装置、无人车和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520718A (zh) * 2011-12-02 2012-06-27 上海大学 一种基于物理建模的机器人避障路径规划方法
CN105629989A (zh) * 2015-12-28 2016-06-01 电子科技大学 基于最小外包圆和最大内接圆的障碍区域划分方法
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN105892489A (zh) * 2016-05-24 2016-08-24 国网山东省电力公司电力科学研究院 一种基于多传感器融合的自主避障无人机系统及控制方法
CN108427438A (zh) * 2018-04-11 2018-08-21 北京木业邦科技有限公司 飞行环境检测方法、装置、电子设备及存储介质
CN108897312A (zh) * 2018-05-14 2018-11-27 南开大学 多无人飞行器对大规模环境的持续监控路径规划方法
CN109283936A (zh) * 2018-08-15 2019-01-29 广州极飞科技有限公司 移动装置控制方法、装置及终端
CN109375636A (zh) * 2018-12-13 2019-02-22 广州极飞科技有限公司 无人机航线的生成方法、装置、无人机和存储介质
US20190080473A1 (en) * 2016-03-18 2019-03-14 Teknologian Tutkimuskeskus Vtt Oy Method and apparatus for monitoring a position
CN109708636A (zh) * 2017-10-26 2019-05-03 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
EP3734388A1 (en) * 2019-04-29 2020-11-04 Commissariat à l'Energie Atomique et aux Energies Alternatives Method and apparatus for performing simultaneous localization and mapping

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9494937B2 (en) * 2014-06-20 2016-11-15 Verizon Telematics Inc. Method and system for drone deliveries to vehicles in route
US10690772B2 (en) * 2016-03-11 2020-06-23 Raytheon Bbn Technologies Corp. LIDAR site model to aid counter drone system
US10578453B2 (en) * 2017-07-14 2020-03-03 Rosemount Aerospace Inc. Render-based trajectory planning
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US11237572B2 (en) * 2018-12-27 2022-02-01 Intel Corporation Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
CN111373758B (zh) * 2019-01-15 2023-05-12 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
US10928830B1 (en) * 2019-11-23 2021-02-23 Ha Q Tran Smart vehicle

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520718A (zh) * 2011-12-02 2012-06-27 上海大学 一种基于物理建模的机器人避障路径规划方法
CN105629989A (zh) * 2015-12-28 2016-06-01 电子科技大学 基于最小外包圆和最大内接圆的障碍区域划分方法
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
US20190080473A1 (en) * 2016-03-18 2019-03-14 Teknologian Tutkimuskeskus Vtt Oy Method and apparatus for monitoring a position
CN105892489A (zh) * 2016-05-24 2016-08-24 国网山东省电力公司电力科学研究院 一种基于多传感器融合的自主避障无人机系统及控制方法
CN109708636A (zh) * 2017-10-26 2019-05-03 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
CN108427438A (zh) * 2018-04-11 2018-08-21 北京木业邦科技有限公司 飞行环境检测方法、装置、电子设备及存储介质
CN108897312A (zh) * 2018-05-14 2018-11-27 南开大学 多无人飞行器对大规模环境的持续监控路径规划方法
CN109283936A (zh) * 2018-08-15 2019-01-29 广州极飞科技有限公司 移动装置控制方法、装置及终端
CN109375636A (zh) * 2018-12-13 2019-02-22 广州极飞科技有限公司 无人机航线的生成方法、装置、无人机和存储介质
EP3734388A1 (en) * 2019-04-29 2020-11-04 Commissariat à l'Energie Atomique et aux Energies Alternatives Method and apparatus for performing simultaneous localization and mapping

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379790A (zh) * 2021-06-21 2021-09-10 山东八五信息技术有限公司 一种基于3d模型的高空瞭望观测物体的ai预警定位方法
CN113379790B (zh) * 2021-06-21 2022-03-22 山东八五信息技术有限公司 一种基于3d模型的高空瞭望观测物体的ai预警定位方法
CN113570714A (zh) * 2021-07-07 2021-10-29 诚邦测绘信息科技(浙江)有限公司 基于测绘的无人机检测方法、系统、存储介质及智能终端
CN113570714B (zh) * 2021-07-07 2023-11-17 诚邦测绘信息科技(浙江)有限公司 基于测绘的无人机检测方法、系统、存储介质及智能终端
CN114167890A (zh) * 2021-11-29 2022-03-11 西安羚控电子科技有限公司 一种无人飞行装置智能避障方法
CN114838736A (zh) * 2022-04-29 2022-08-02 深圳优地科技有限公司 避障路径规划方法、装置、无人车和存储介质

Also Published As

Publication number Publication date
US20220163979A1 (en) 2022-05-26
CN112416018B (zh) 2021-07-09
US11353893B1 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
CN112416018B (zh) 基于多信号采集与路径规划模型的无人机避障方法和装置
US20220164686A1 (en) Joint processing for embedded data inference
US10310087B2 (en) Range-view LIDAR-based object detection
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
CN113272830B (zh) 行为预测系统中的轨迹表示
CN109937343B (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN111142557B (zh) 无人机路径规划方法、系统、计算机设备及可读存储介质
EP3477616A1 (en) Method for controlling a vehicle using a machine learning system
CN111976718B (zh) 自动泊车的控制方法和系统
CN109116846B (zh) 一种自动驾驶方法、装置、计算机设备和存储介质
KR20200039547A (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
JP2022160538A (ja) 衝突検出方法、装置、電子機器、記憶媒体、自動運転車両及びコンピュータプログラム
CN112356027B (zh) 农林机器人避障方法、装置、计算机设备和存储介质
KR102414307B1 (ko) 3d 맵의 변경 구역 업데이트 시스템 및 그 방법
US20230228593A1 (en) Method, device and system for perceiving multi-site roadbed network and terminal
CN110936959B (zh) 车辆感知系统在线诊断和预测
JP2023523350A (ja) 乗り物に基づくデータ処理方法、データ処理装置、コンピュータ機器、及びコンピュータプログラム
CN110705385A (zh) 一种障碍物角度的检测方法、装置、设备及介质
CN115294544A (zh) 驾驶场景分类方法、装置、设备及存储介质
CN114819135A (zh) 检测模型的训练方法、目标检测方法、装置和存储介质
CN111353510A (zh) 多传感器目标检测方法、装置、计算机设备和存储介质
CN113383283A (zh) 感知信息处理方法、装置、计算机设备和存储介质
US20210383213A1 (en) Prediction device, prediction method, computer program product, and vehicle control system
Aswini et al. Custom Based Obstacle Detection Using Yolo v3 for Low Flying Drones
CN116466733B (zh) 一种用于无人机起降的智能避障系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant