CN116339357A - 无人机的控制方法、装置、无人机系统及计算机存储介质 - Google Patents
无人机的控制方法、装置、无人机系统及计算机存储介质 Download PDFInfo
- Publication number
- CN116339357A CN116339357A CN202111592876.6A CN202111592876A CN116339357A CN 116339357 A CN116339357 A CN 116339357A CN 202111592876 A CN202111592876 A CN 202111592876A CN 116339357 A CN116339357 A CN 116339357A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- information
- obstacle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 74
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 19
- 230000004888 barrier function Effects 0.000 claims description 17
- 238000012790 confirmation Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 description 25
- 230000002452 interceptive effect Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 15
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000011217 control strategy Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000791900 Selene vomer Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例提供了一种无人机的控制方法、装置、无人机系统及计算机存储介质。无人机的控制方法包括:获取无人机的运行参数,运行参数与障碍物相对无人机的方向相关;在运行参数小于或等于第一阈值时,则生成与运行参数相对应的第一提示信息,第一阈值小于无人机的预设运行参数;基于第一提示信息与用户进行交互,获得交互信息;基于交互信息对无人机进行控制。本申请提供的技术方案,有效地实现了在无人机进行避障飞行的过程中,通过与用户进行交互可以对无人机进行更加准确、可靠的控制,这样不仅可以保证无人机作业的安全可靠性,并且也有利于提高无人机作业的质量和效率。
Description
技术领域
本申请涉及无人机技术领域,尤其涉及一种无人机的控制方法、装置、无人机系统及计算机存储介质。
背景技术
随着科学技术的飞速发展,无人机的应用领域越来越广泛。对于无人机而言,无人机上可以设置有检测装置,然而,由于无人机的作业环境较为复杂多变,检测装置有可能会出现误检的情况。目前,基于无人机所配置的避障策略可知,当检测到无人机的飞行环境中存在障碍物时,为了保证无人机运行的安全可靠性,则会基于障碍物的检测结果直接暂停或者取消无人机正在进行的作业,这样会降低无人机作业的质量和效率。
发明内容
本申请实施例提供一种无人机的控制方法、装置、无人机系统及计算机存储介质,在无人机运行的过程中,有效地实现了在无人机进行避障飞行的过程中,通过与用户进行交互可以对无人机进行更加准确、可靠的控制。
第一方面,本申请实施例提供了一种无人机的控制方法,包括:
获取无人机的运行参数,所述运行参数与障碍物相对所述无人机的方向相关;
在所述运行参数小于或等于第一阈值时,则生成与所述运行参数相对应的第一提示信息,所述第一阈值小于所述无人机的预设运行参数;
基于所述第一提示信息与用户进行交互,获得交互信息;
基于所述交互信息对所述无人机进行控制。
第二方面,本申请实施例提供了一种无人机的控制装置,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取无人机的运行参数,所述运行参数与障碍物相对所述无人机的方向相关;
在所述运行参数小于或等于第一阈值时,则生成与所述运行参数相对应的第一提示信息,所述第一阈值小于所述无人机的预设运行参数;
基于所述第一提示信息与用户进行交互,获得交互信息;
基于所述交互信息对所述无人机进行控制。
第三方面,本申请实施例提供了一种无人机系统,包括:
无人机;
上述第二方面所述的无人机的控制装置,用于对所述无人机进行控制。
第四方面,本发明实施例提供了一种计算机存储介质,用于储存计算机程序,所述计算机程序使计算机执行时实现上述第一方面所示的无人机的控制方法。
第五方面,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当所述计算机程序被电子设备的处理器执行时,使所述处理器执行上述第一方面所示的无人机的控制方法中的步骤。
本申请实施例提供的技术方案,通过获取无人机的运行参数,在所述运行参数小于或等于第一阈值时,则生成与所述运行参数相对应的第一提示信息,而后可以基于所述第一提示信息与用户进行交互,获得交互信息,并可以基于所述交互信息对所述无人机进行控制,这样有效地实现了在无人机进行避障飞行的过程中,通过与用户进行交互可以对无人机进行更加准确、可靠的控制,具体的,在障碍物并不会对无人机的正常运行构成威胁时,则可以控制无人机继续进行作业,在障碍物能够对无人机的正常运行构成安全威胁时,则可以控制无人机停止作业,这样不仅可以保证无人机作业的安全可靠性,并且也提高了无人机作业的质量和效率,进一步提高了该方法的适用范围和实用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种无人机的控制方法的场景示意图;
图2为本申请实施例提供的一种无人机的控制方法的流程示意图;
图3为本申请实施例提供的另一种无人机的控制方法的流程示意图;
图4为本申请实施例提供的基于所述距离信息,检测所述无人机在垂直方向上是否存在障碍物的示意图;
图5为本申请实施例提供的又一种无人机的控制方法的流程示意图;
图6为本申请实施例提供的基于所述交互信息对所述无人机进行控制的流程示意图;
图7为本申请应用实施例提供的一种无人机的控制方法的流程示意图;
图8为本申请实施例提供的一种无人机的控制装置的结构示意图;
图9为本申请实施例提供的一种无人机系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联目标的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联目标是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
为了方便本领域技术人员理解本申请实施例提供的技术方案,下面对相关技术进行说明:
对于无人机而言,无人机上可以设置有用于感测障碍物的检测装置,通过检测装置可以检测无人机所在的运行环境中是否存在障碍物。然而,由于无人机的作业环境较为复杂多变,检测装置有可能会存在误检的情况,目前,基于无人机的避障策略可知:当检测到无人机的飞行环境中存在障碍物时,为了保证无人机运行的安全可靠性,无人机则会基于障碍物的检测结果直接暂停或者取消无人机正在进行的作业,这样会降低无人机作业的质量和效率。
以农业植保机为例,植保机配置有用于检测障碍物的感测装置,感测装置可以包括:雷达、视觉传感器、超声波传感器、飞行时间TOF传感器、光学传感器等能够实现下方障碍物检测操作的装置等等。其中,在感测装置为下视雷达时,雷达是英文Radar的音译,源于radio detection and ranging的缩写,意思为"无线电探测和测距",即用无线电的方法发现目标并测定它们的空间位置。因此,雷达也被称为“无线电定位”,雷达是利用电磁波探测目标的电子设备。雷达发射电磁波对目标进行照射并接收其回波,由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。因此,通过植保机的下视雷达可以检测植保机相对地面(作物表面)的高度信息,即用于植保机的仿地飞行操作。
然而,在无人机的下方存在细小障碍物时,由于细小障碍物所能够接收和反馈的雷达信号的能量较弱,因此,下视雷达对下方细小障碍物的检测能力弱,这样容易导致无法检测到位于植保机下方的细小,或者存在当检测障碍物与植保机之间的距离时,只有在距离较近时才能够检测到障碍物,细小障碍物的检测性能尤其不佳,继而容易导致无人机出现炸机的情况。
为了解决上述技术问题,本实施例提供了一种无人机的控制方法、装置、无人机系统及计算机存储介质。具体的,无人机的控制方法可以包括:在无人机的周围存在障碍物时,可以获取无人机的运行参数,所获取到的运行参数与障碍物相对无人机的方向相关,例如:在障碍物位于无人机的下方时,运行参数可以包括无人机的垂直下方的运行速度、无人机与障碍物之间的距离信息;在障碍物位于无人机的左侧时,运行参数可以包括无人机的水平方向的运行速度、无人机与障碍物之间的距离信息等等。
在获取到运行参数之后,可以将运行参数与第一阈值进行分析比较,其中,第一阈值小于无人机的预设运行参数,在运行参数小于或等于第一阈值时,则可以生成与运行参数相对应的第一提示信息,第一提示信息可以包括以下任意一种表现形式:语音提示信息、文本提示信息等等,而后可以基于第一提示信息与用户进行交互,从而可以获得交互信息,所获得的交互信息可以包括:语音交互信息、信息交互信息等等,而后可以基于交互信息对无人机进行控制,以保证在无人机可以进行作业的过程中,可以尽量保证无人机运行的安全可靠性,同时保证无人机作业的质量和效率。
本实施例提供的技术方案,通过获取无人机的运行参数,在运行参数小于或等于第一阈值时,则生成与运行参数相对应的第一提示信息,而后可以基于第一提示信息与用户进行交互,获得交互信息,并可以基于交互信息对无人机进行控制,这样有效地实现了在无人机进行避障飞行的过程中,通过与用户进行交互可以对无人机进行更加准确、可靠的控制,具体的,在障碍物并不会对无人机的正常运行构成威胁时,则可以控制无人机继续进行作业,在障碍物能够对无人机的正常运行构成安全威胁时,则可以控制无人机停止作业,这样不仅可以保证无人机作业的安全可靠性,并且也提高了无人机作业的质量和效率,进一步提高了该方法的适用范围和实用性,有利于市场的推广与应用。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图1为本申请实施例提供的一种无人机的控制方法的场景示意图;图2为本申请实施例提供的一种无人机的控制方法的流程示意图;参考附图1-图2所示,本实施例提供了一种无人机的控制方法,该方法的执行主体可以为无人机的控制装置,可以理解的是,该无人机的控制装置可以实现为软件、或者软件和硬件的组合。在一些实例中,无人机的控制装置可以设置于无人机上,此时,无人机的控制装置可以实现为无人机的飞控单元;或者,该无人机的控制装置可以配置在遥控终端上,该遥控终端与无人机通信连接,用于对无人机进行控制,在一些实例中,无人机的控制装置可以实现为遥控终端。在上述的无人机的控制装置执行该无人机的控制方法时,本实施例中的无人机的控制方法可以包括:
步骤S201:获取无人机的运行参数,运行参数与障碍物相对无人机的方向相关。
步骤S202:在运行参数小于或等于第一阈值时,则生成与运行参数相对应的第一提示信息,第一阈值小于无人机的预设运行参数。
步骤S203:基于第一提示信息与用户进行交互,获得交互信息。
步骤S204:基于交互信息对无人机进行控制。
下面对上述各个步骤进行详细说明:
步骤S201:获取无人机的运行参数,运行参数与障碍物相对无人机的方向相关。
在无人机进行作业的时候,无人机的运行参数可能会发生变化,即无人机并没有按照预期参数进行作业,造成运行参数发生变化的原因可以包括:因无人机所在的环境信息发生变化,或者,检测到无人机的运行环境中存在障碍物,基于避障策略对无人机的运行参数进行调整。具体的,因无人机所在的环境信息发生变化而导致无人机的运行参数发生变化时,运行参数的变化程度较小。而当无人机的周围存在障碍物时,为了保证无人机运行的安全可靠性,无人机可以针对所存在的障碍物进行避障操作,进而会使得无人机的运行参数发生较大变化。然而,无人机的周围所存在的障碍物可能存在误检的情况,或者,所检测出来的障碍物并不会对无人机的作业造成威胁,此时,若直接基于预设的避障策略对无人机的运行参数进行调节,这样会降低无人机的作业质量和效率。
基于上述描述内容可知,在无人机进行作业的过程中,为了能够保证无人机作业的质量和效率,同时保证无人机作业的安全可靠性,可以获取无人机的运行参数,其中,运行参数可以包括以下至少之一:无人机与障碍物之间的距离信息、垂向运行速度、水平运行速度,上述的垂向运行速度包括以下至少之一:垂直向下运行速度,用于控制无人机躲避位于无人机垂直下方的障碍物;垂直向上运行速度,用于控制无人机躲避位于无人机垂直上方的障碍物,水平运行速度可以包括以下至少之一:水平向前/向后运行速度,用于控制无人机躲避位于无人机水平前方/后方的障碍物;水平向左/向右运行速度,用于控制无人机躲避位于无人机水平向左/向右的障碍物。
需要注意的是,所获得的运行参数与障碍物相对无人机的方向相关,在一些实例中,该运行参数可以为无人机在障碍物所在方向上的参数,当无人机的周围不存在障碍物时,则不会触发执行本实施例中的无人机的控制方法。在无人机的一个方向上存在障碍物时,本实施例中的控制方法只需要针对障碍物所在方向获取到无人机的运行参数,并不需要获取到无人机在其他方向上的运行参数。
举例来说,参考附图1所示,若无人机的下方存在障碍物“果树”时,即障碍物位于无人机的垂直下方,则可以获取无人机在垂直向下的运行参数,该运行参数可以包括以下至少之一:垂直向下的运行速度、无人机与下方障碍物之间的距离、垂直向下的运行加速度等等;而对于无人机的垂直上方、水平方向而言,则无需获取到无人机的运行参数。
再例如,在无人机的上方存在障碍物“飞鸟”时,即障碍物位于无人机的垂直上方,则可以获取无人机在垂直向上的运行参数,该运行参数可以包括以下至少之一:垂直向上的运行速度、无人机与上方障碍物之间的距离、垂直向上的运行加速度等等,而对于无人机的垂直下方、水平方向而言,则无需获取到无人机的运行参数。
另外,为了能够准确地获取到无人机的运行参数,在无人机上可以配置感测装置,感测装置可以包括:距离感测装置、速度感测装置、加速度感测装置等等,通过无人机所配置的感测装置可以获取到无人机的运行参数。需要注意的是,为了能够准确地获取到无人机在各个方向上的运行参数,在无人机的各个方向可以均配置一组感测装置,或者,无人机的感测装置可以包括两组,其中一组感测装置位于无人机的上方,用于感测无人机的水平方向和垂直向上的运行参数,另一组感测装置位于无人机的下方,用于感测无人机的水平方向和垂直向下的运行参数。
步骤S202:在运行参数小于或等于第一阈值时,则生成与运行参数相对应的第一提示信息,第一阈值小于无人机的预设运行参数。
对于无人机而言,在无人机进行正常作业的过程中,无人机可以按照用户所期望的预设运行参数进行飞行作业,当无人机所在环境中存在障碍物时,基于无人机的避障策略对无人机的运行参数进行调整,从而使得无人机的运行参数会发生变化。为了能够及时获知到运行参数的变化程度,预先配置有与运行参数相对应的第一阈值,可以理解的是,不同的运行参数可以对应有不同的第一阈值,例如:在运行参数为运行速度时,则第一阈值为第一速度阈值,在运行参数为无人机与障碍物之间的距离信息时,则第一阈值为第一距离阈值,并且,上述的第一速度阈值所对应的数值与第一距离阈值所对应的数值可以不同。
另外,对于第一阈值而言,其为小于无人机的预设运行参数、且用于判断无人机的运行参数是否已经变的非常小的参数,本实施例对于其所对应的具体数值范围不做限定,本领域技术人员可以根据具体的应用场景或者应用需求进行配置,例如:在第一阈值为第一速度阈值时,第一速度阈值可以为1m/s、1.5m/s、2m/s、2.5m/s、3m/s等等,在第一阈值为第一距离阈值时,第一距离阈值可以为0.5m、1m、1.5m、2m等等,不同的应用场景可以对应有不同的第一阈值。
在获取到运行参数之后,可以将运行参数与第一阈值进行分析比较,在分析比较结果为运行参数小于或等于第一阈值,则说明此时的无人机的运行参数已经发生较大变化,并且运行参数的数值已经变得非常小,例如:在无人机的垂直下方存在障碍物时,为了避免与障碍物发生碰撞,无人机在垂直下方的运行速度可以为1m/s或者0m/s,当无人机在垂直下方的运行速度不为零时,无人机的运行速度可以随着无人机与障碍物之间不断拉近的距离而不断减小,直至减少为0m/s停止。
当无人机的运行速度小于或等于第一阈值时,为了能够使得用户及时获知到无人机的运行状态,则可以生成与运行参数相对应的第一提示信息,以使得用户可以快速了解无人机的当前运行状态。其中,第一提示信息可以包括以下至少之一的表现形式:语音提示信息、文本提示信息、闪光灯提示信息等等,举例来说:在第一提示信息为语音提示信息时,此时的无人机的控制装置上可以配置有语音输出装置,通过语音输出装置可以对语音提示信息进行播报,使得用户通过所播报的语音信息可以直接获知到无人机的当前运行状态。在第一提示信息为文本提示信息时,此时的无人机的控制装置可以配置有显示界面,通过显示界面可以以对话框的形式、飘窗形式、弹窗等形式对文本提示信息进行显示,如图1所示,使得用户通过所显示的文本信息可以直接获知到无人机的当前运行状态。在第一提示信息为闪光灯提示信息时,此时的无人机的控制装置上可以配置有闪光灯,通过闪光灯(可以为一个或多个)来显示闪光灯提示信息;或者,在无人机的控制装置上配置有用于显示闪光灯图标的区域,通过显示区域来显示与闪光灯提示信息相对应的闪光灯图标等等,使得用户通过闪光灯的显示状态可以直接获知到无人机的当前运行状态。
步骤S203:基于第一提示信息与用户进行交互,获得交互信息。
在生成第一提示信息之后,可以基于第一提示信息与用户进行交互,从而可以获得交互信息。由于第一提示信息可以对应有不同的表现形式,因此,基于不同表现形式的第一提示信息可以与用户进行不同形式的交互操作。举例来说,在第一提示信息为语音提示信息时,则可以基于语音提示信息与用户进行语音交互操作,从而可以获得语音交互信息,此时,无人机的控制装置上可以配置有语音处理模块,语音处理模块用于输出第一提示信息,并接收用户输入的语音指令,以实现语音交互操作,获得交互信息。
在第一提示信息为文本提示信息时,则可以通过显示区域对文本提示信息进行显示,如图1所示,控制设备的显示界面中可以显示“运行参数小于或等于第一阈值,是否继续飞行?”,而后用户可以基于文本提示信息在显示区域中输入执行操作(滑动操作、点选操作、指令输入操作),从而可以实现了基于文本提示信息与用户进行交互操作,获得交互信息。
在第一提示信息为闪光灯提示信息时,则可以通过所配置的闪光灯对闪光灯提示信息进行显示,而后用户可以基于预先配置的控制件对闪光灯的显示状态进行控制,从而实现了基于闪光灯提示信息与用户进行交互操作,获得交互信息。或者,闪光灯提示信息可以通过显示装置中的预设区域进行显示,此时,用户可以基于闪光灯提示信息在显示区域中输入执行操作(滑动操作、点选操作、指令输入操作),从而实现了基于闪光灯提示信息与用户进行交互操作,获得交互信息。
步骤S204:基于交互信息对无人机进行控制。
在获取到交互信息之后,可以基于交互信息对无人机进行控制。其中,所获取到的交互信息可以包括:确认信息、取消信息、调整信息等等,而后则可以基于不同的交互信息对无人机进行不同的控制操作。例如,在交互信息为确认信息时,则说明此时在无人机所在环境检测出的障碍物,对于无人机的正常作业并不会构成威胁,因此,可以基于确认信息控制无人机按照预设参数进行飞行作业;在交互信息为取消信息时,则说明此时在无人机所在环境检测出的障碍物,对于无人机的正常作业会构成威胁,因此,可以基于取消信息控制无人机停止进行飞行作业;在交互信息为调整信息时,则说明此时在无人机所在环境检测出的障碍物,对于无人机的正常作业会构成威胁,为了保证无人机运行的安全可靠性,可以基于用户输入的调整信息对无人机的运行参数进行调整,以使得无人机可以基于调整后的运行参数进行飞行作业。
在一些实例中,为了进一步使得用户了解到无人机的运行参数的变化程度,本实施例中的方法还可以包括:在运行参数大于第一阈值、且小于或等于第二阈值时,则生成与运行参数相对应的第二提示信息,第二阈值大于第一阈值、且小于预设运行参数。
具体的,为了能够及时获知到运行参数的变化程度,对于运行参数而言,不仅可以配置有第一阈值,还可以配置有第二阈值,可以理解的是,不同的运行参数可以对应有不同的第二阈值,例如:在运行参数为运行速度时,则第二阈值为第二速度阈值,在运行参数为无人机与障碍物之间的距离信息时,则第二阈值为第二距离阈值,并且,上述的第二速度阈值所对应的数值与第二距离阈值所对应的数值可以不同。
另外,对于第二阈值而言,其可以为大于第一阈值且小于无人机的预设运行参数、用于判断无人机的运行参数是否已经变的比较小的参数,本实施例对于其所对应的具体数值范围不做限定,本领域技术人员可以根据具体的应用场景或者应用需求进行配置,例如:在第二阈值为第二速度阈值时,第二速度阈值可以为3m/s、3.5m/s、4m/s、3.5m/s等等,在第二阈值为第二距离阈值时,第二距离阈值可以为1.5m、2m、2.5m、等等,不同的应用场景可以对应有不同的第二阈值。
在获取到运行参数之后,可以将运行参数与第一阈值进行分析比较,在分析比较结果为运行参数大于第一阈值时,则可以将运行参数与第二阈值进行分析比较,在运行参数小于或等于第二阈值时,则说明此时的无人机的运行参数已经变得相对较小,为了能够使得用户可以及时获知到无人机的当前运行状态,则可以生成与运行参数相对应的第二提示信息,例如:在无人机的垂直下方存在障碍物时,为了避免与障碍物发生碰撞,无人机在垂直下方的运行速度可以为3m/s或者2m/s,而无人机在垂直下方的运行速度可以为4m/s,此时说明无人机的运行参数已经变得相对较小,继而可以生成与运行参数相对应的第二提示信息,以使得用户可以快速了解无人机的当前运行状态。其中,第二提示信息可以包括以下至少之一的表现形式:语音提示信息、文本提示信息、闪光灯提示信息等等。
需要注意的是,第一提示信息与第二提示信息的表现形式可以不同,例如:第一提示信息可以为弹窗提示信息、对话框提示信息,第二提示信息可以为飘窗提示信息、弹幕提示信息等等。
在又一些实例中,本实施例中的方法还可以包括:在运行参数大于第二阈值、且小于预设运行参数时,则禁止生成与运行参数相对应的第二提示信息,或者,控制第二提示信息退出输出状态。
具体的,对于无人机的运行参数而言,运行参数的变化程度可以包括:微小变化、一般变化、较大变化等等,导致无人机的运行参数发生微小变化的原因可以包括因无人机所在环境信息发生变化,例如:无人机所在环境的风速信息发生变化等。
为了能够准确地检测无人机的运行参数的变化程度,在获取到运行参数之后,可以将运行参数与第一阈值进行分析比较,在分析比较结果为运行参数大于第一阈值时,则可以将运行参数与第二阈值进行分析比较,在运行参数大于第二阈值、且小于预设运行参数时,则说明此时的无人机的运行参数发生了微小变化,例如:因环境信息发生改变而导致无人机的运行参数发生变化,此时,运行参数的变化并不会影响无人机的安全运行,因此,为了减少信息显示操作时所需要占用的数据处理资源,则可以禁止生成与运行参数相对应的第二提示信息;或者,在已经生成第二提示信息时,则可以控制第二提示信息退出输出状态。
举例来说,以无人机的下方包括感测装置、运行参数为垂直向下的速度为例,在无人机的垂直下方存在障碍物时,则可以获取无人机在垂直向下的速度v,在t1时刻时,速度v大于第一速度阈值V1、且小于第二速度阈值V2,其中,第一速度阈值V1<第二速度阈值V2<预设速度参数V,此时说明无人机的运行速度产生了微小变化,可以生成第二提示信息,该第二提示信息可以为飘窗提示信息,飘窗提示信息可以在显示界面中显示预设时长(5s或者10s)之后消失;或者不生成提示信息。
由于无人机在垂直向下的速度v可以随着无人机与障碍物之间距离的不断拉近而减少,在t2时刻时,速度v小于第一速度阈值V1,此时说明无人机的运行速度发生了较大变化,为了能够使得用户可以快速、及时了解到无人机的运行状态,则可以生成第一提示信息,该第一提示信息可以为弹窗提示信息,并可以通过显示界面进行显示,用户可以通过所显示的第一提示信息进行交互操作,在获取到用户输入的执行操作之后,可以控制所显示的第一提示信息消失。
本实施例提供的无人机的控制方法,通过获取无人机的运行参数,在运行参数小于或等于第一阈值时,则生成与运行参数相对应的第一提示信息,而后可以基于第一提示信息与用户进行交互,获得交互信息,并可以基于交互信息对无人机进行控制,这样有效地实现了在无人机进行避障飞行的过程中,通过与用户进行交互可以对无人机进行更加准确、可靠的控制,具体的,在障碍物并不会对无人机的正常运行构成威胁时,则可以控制无人机继续进行作业,在障碍物能够对无人机的正常运行构成安全威胁时,则可以控制无人机停止作业,这样不仅可以保证无人机作业的安全可靠性,并且也提高了无人机作业的质量和效率,进一步提高了该方法的适用范围和实用性,有利于市场的推广与应用。
图3为本申请实施例提供的另一种无人机的控制方法的流程示意图;参考附图3所示,在无人机进行作业的过程中,无人机所在的周围环境中可能会存在障碍物,为了能够准确地识别出障碍物,本实施例中的方法可以包括:
步骤S301:通过设置于无人机的感测装置,获取至少一个目标的感测特征,其中,至少一个目标位于无人机的垂直方向上。
其中,无人机的感测装置可以包括以下至少之一:图像传感器、激光雷达、飞行时间TOF传感器、光线传感器等等,具体的,感测装置可以设置于无人机的上端和/或下端,因此,通过无人机的感测装置可以获取到至少一个目标的感测特征,至少一个目标可以位于无人机的垂直方向(包括垂直向上的方向、垂直向下的方向)上,即通过位于无人机上端的感测装置可以检测无人机的上方的至少一个目标,此时的至少一个目标可以包括:天空、飞鸟、树枝、飞行器等等;通过位于无人机下端的感测装置可以检测无人机的下方的至少一个目标,此时的至少一个目标可以包括:地面、植物、建筑物、动物等等。
需要注意的是,感测装置也可以设置于无人机的侧面,这样通过设置于无人机的感测装置也可以获取到位于无人机的水平方向上的至少一个目标的感测特征。
步骤S302:在至少一个目标中确定与无人机相对应的基准面。
其中,对于感测装置所感测到的至少一个目标而言,由于至少一个目标中可以包括与无人机相对应的基准面,该基准面用于辅助无人机进行安全飞行,例如:在基准面为地面时,无人机可以进行防地飞行操作。由于上述的基准面对于无人机而言并不是障碍物,因此,在获取到至少一个目标之后,可以先在至少一个目标中确定与无人机相对应的基准面,不同的应用场景可以对应有不同的基准面,例如:在无人机进行防地飞行操作时,基准面可以为地平面、海平面、水平面等等,在无人机垂直向上飞行时,基准面可以为天空等等。
另外,本实施例对于在至少一个目标中确定与无人机相对应的基准面的具体实现方式不做限定,本领域技术人员可以根据具体的应用场景和应用需求进行设置,在一些实例中,预先训练有用于确定基准面的机器学习模型,在获取到至少一个目标的感测特征之后,可以将至少一个目标的感测装置输入至机器学习模型,从而可以获得与无人机相对应的基准面。在另一些实例中,在至少一个目标中确定与无人机相对应的基准面可以包括:基于至少一个目标的感测特征,确定至少一个目标各自对应的反射能量和能够被感测装置感测到的目标存续时间;基于反射能量和目标存续时间,在至少一个目标中确定与无人机相对应的基准面。
具体的,在无人机通过感测装置感测基准面时,由于基准面所能够发送的反射能量较多,并且,能够被感测装置感测到的时间较长,因此,在获取到至少一个目标的感测特征之后,可以对至少一个目标的感测特征进行分析处理,以确定至少一个目标各自对应的反射能量和能够被感测装置感测到的目标存续时间。在获取到至少一个目标各自对对应的反射能量和目标存续时间之后,则可以对反射能量和目标存续时间进行分析处理,以在至少一个目标中确定与无人机相对应的基准面,在一些实例中,基于反射能量和目标存续时间,在至少一个目标中确定与无人机相对应的基准面可以包括:获取与反射能量和目标存续时间各自对应的权重信息,基于权重信息对反射能量和目标存续时间进行加权求和,获得与各个目标相对应的加权求和值,而后在所有的加权求和值中确定中数值最大的加权求和值,并将最大的加权求和值所对应的目标确定为基准面,从而有效地保证了对基准面进行确定的准确性。
步骤S303:基于至少一个目标的感测特征,确定除基准面之外的其他目标与无人机之间的距离信息。
在无人机的感测装置感测到至少一个目标时,除了基准面之外的其他目标均有可能是能够影响无人机飞行作业的障碍物,因此,为了能够准确地检测无人机的周围是否存在障碍物,在获取到基准面之后,可以基于至少一个目标的感测特征,确定除了基准面之外的其他目标与无人机之间的距离信息。需要注意的是,当至少一个目标仅包括基准面时,此时没有其他目标(即没有障碍物),进而无需确定其他目标与无人机之间的距离信息。
步骤S304:基于距离信息,检测无人机在垂直方向上是否存在障碍物。
在获取到距离信息之后,可以对距离信息进行分析处理,以检测无人机在垂直方向上是否存在障碍物。具体的,基于距离信息,检测无人机在垂直方向上是否存在障碍物可以包括:获取用于检测无人机在垂直方向上是否存在障碍物的距离阈值,该距离阈值可以为1m、0.5m或者0.3m等等,在确定除基准面之外的其他目标与无人机之间的距离信息之后,可以获取所有距离中的最小距离信息,而后将最小距离信息与距离阈值进行分析比较,在最小距离信息小于或等于距离阈值时,则可以将最小距离信息所对应的目标确定为无人机在垂直方向上存在障碍物。在最小距离信息大于距离阈值,则可以确定无人机在垂直方向上不存在障碍物。
举例来说,参考附图4所示,通过设置于无人机的感测装置可以获取至少一个目标的感测特征,其中,至少一个目标可以包括位于无人机的垂直下方的植物、飞鸟和地面,而后通过对至少一个目标的感测特征可以确定地面的信号反射能量和存续时间较长,因此可以将地面确定为基准面,而后可以确定植物与无人机之间的距离信息d1、飞鸟与无人机之间的距离信息d2,对于距离信息d1和距离信息d2而言,可以确定两个距离信息中最小距离信息,即为距离d2,而后将距离d2与预设距离阈值D进行分析比较,在距离d2<D或者d2=D时,则说明飞鸟与无人机之间的距离比较近,会威胁到无人机运行的安全可靠性,因此,可以将飞鸟确定为与无人机的垂直下方的障碍物;在距离d2>D时,则说明飞鸟与无人机之间的距离比较远,不会威胁到无人机运行的安全可靠性,因此,可以确定在无人机的垂直下方的环境中不存在障碍物。
需要注意的是,在距离d2<D时,由于位于无人机周围环境中的障碍物的数量可以不仅为1个,因此,则可以继续将距离d1与预设距离阈值D进行分析比较,在距离d1<D或者d1=D时,则说明植物与无人机之间的距离比较近,会威胁到无人机运行的安全可靠性,因此,可以将植物确定为无人机在垂直下方的障碍物,此时,无人机在垂直下方的障碍物可以包括飞鸟和植物。在距离d1>D时,则说明果树与无人机之间的距离比较远,不会威胁到无人机运行的安全可靠性,因此,可以确定在无人机的垂直下方的障碍物仅包括飞鸟。
本实施例中,通过设置于无人机的感测装置获取至少一个目标的感测特征,在至少一个目标中确定与无人机相对应的基准面,而后基于至少一个目标的感测特征,确定除基准面之外的其他目标与无人机之间的距离信息,在获取到距离信息之后,可以基于距离信息检测无人机在垂直方向上是否存在障碍物,从而有效地实现了对无人机的垂直方向上是否存在障碍物进行准确检测,这样不仅保证了对是否存在障碍物进行准确、有效地检测操作,并且便于基于检测结果控制无人机进行避障操作,进而保证了无人机运行的安全可靠性。
图5为本申请实施例提供的又一种无人机的控制方法的流程示意图;参考附图5所示,在基于第一提示信息与用户进行交互时,为了能够提高与用户进行交互操作的稳定可靠性,并对无人机进行准确地控制操作,本实施例中的方法还可以包括:
步骤S501:当无人机的垂直方向上存在障碍物时,获取与障碍物相对应的第一视角图像。
其中,当无人机的垂直方向上存在障碍物时,为了能够使得用户可以及时了解到障碍物的具体位置和障碍物相对于无人机的距离信息,则可以获取与障碍物相对应的第一视角图像。在一些实例中,在无人机的下方配置有图像采集装置(例如:摄像头等),当无人机的垂直方向上存在障碍物时,可以通过图像采集装置获取与障碍物相对应的第一视角图像。在另一些实例中,无人机上可以设置有云台,云台上设置有图像采集装置;获取与障碍物相对应的第一视角图像可以包括:基于障碍物与无人机的相对位置,生成与云台相对应的控制参数;基于控制参数对云台进行控制,以使位于云台上的图像采集装置正对障碍物;通过图像采集装置获得第一视角图像。
具体的,由于障碍物可以位于无人机的正下方、斜下方等等,即无法确认障碍物与无人机之间的相对位置关系,并且,位于无人机的垂直向下的障碍物可以具有不同的位置信息,因此,为了能够准确地获取到与障碍物相对应的第一视角图像,可以获取障碍物与无人机之间的相对位置,而后基于障碍物与无人机之间的相对位置生成与云台相对应的控制参数,该控制参数用于对云台的姿态进行调整,因此可以基于控制参数对云台进行控制,以使位于云台上的图像采集装置可以正对障碍物,例如:控制参数用于控制云台的俯仰轴pitch转动-90°,以使得位于云台上的图像采集装置可以垂直向下、且正对障碍物。在图像采集装置正对障碍物之后,可以通过图像采集装置获取到与障碍物相对应的第一视角图像。
步骤S502:通过信息输出装置显示第一视角图像。
在获取到第一视角图像之后,为了能够使得用户可以获知到障碍物的具体位置,可以通过信息输出装置显示第一视角图像,其中,信息输出装置可以为设置于无人机的控制装置中的显示装置。
本实施例中,当无人机的垂直方向上存在障碍物时,获取与障碍物相对应的第一视角图像,通过信息输出装置显示第一视角图像,用户可以通过所显示的第一视角图像准确地获取到障碍物的具体位置,并可以基于障碍物的具体位置进行较为准确的交互操作,这样不仅有利于提高交互信息获取的准确可靠性,保证无人机运行的安全可靠性,并且也有利于提高无人机作业的质量和效率。
图6为本申请实施例提供的基于交互信息对无人机进行控制的流程示意图;参考附图6所示,本实施例提供了一种基于交互信息对无人机进行控制的实现方式,具体的,本实施例中的基于交互信息对无人机进行控制可以包括:
步骤S601:获取无人机的运行模式。
其中,对于无人机而言,可以配置有不同的运行模式,例如:自动模式、手动模式,自动模式用于使得无人机可以按照预设路线进行自动作业操作,手动模式用于使得无人机可以基于用户输入的执行操作进行作业。由于不同的无人机的运行模式可以对应有不同的控制策略,因此,为了能够保证对无人机进行控制操作的准确可靠性,可以获取无人机的运行模式,在一些实例中,获取无人机的运行模式可以包括:获取用于标识无人机的运行模式的标识信息,基于标识信息确定无人机的运行模式,例如:在标识信息为“1”时,则可以确定无人机的运行模式为自动模式,在标识信息为“0”时,则可以确定无人机的运行模式为手动模式。
步骤S602:在运行模式为自动模式时,若交互信息为确认操作信息,则控制无人机继续进行自动作业;或者,若交互信息为取消操作信息,则将自动模式切换为手动模式。或者,
在无人机的运行模式为自动模式时,若获取到用户的交互信息为确认操作信息,则可以基于确认操作信息控制无人机继续进行自动作业;或者,若交互信息为取消操作信息,则可以基于取消操作信息将无人机的自动模式切换为手动模式。
举例来说,参考图1所示,在无人机的运行模式为自动模式,且在无人机的控制装置中显示第一提示信息“运行参数小于或等于第一阈值,是否继续飞行”时,若用户针对控件“是”输入点击操作时,则获取到用户输入的确认操作信息,而后可以基于确认操作信息控制无人机继续进行自动作业;若用户针对控件“否”输入点击操作时,则获取到用户输入的取消操作信息,而后可以基于取消操作信息控制无人机停止继续进行作业,并可以将无人机的自动模式切换为手动模式,以避免无人机与障碍物发生碰撞。
步骤S603:在运行模式为手动模式时,若交互信息为确认操作信息,则控制无人机继续进行作业;若交互信息为取消操作信息,则基于取消操作信息控制无人机保持当前高度不变。
在无人机的运行模式为手动模式时,若获取到用户的交互信息为确认操作信息,则可以基于确认操作信息控制无人机继续进行作业;或者,若交互信息为取消操作信息,则可以基于取消操作信息控制无人机保持当前高度不变。
在一些实例中,本实施例中的方法还可以包括:在执行操作为取消操作时,则可以禁止基于预设的避障策略对无人机进行控制。
其中,在获取到用户输入的取消操作信息时,为了能够保证无人机运行的安全可靠性,则可以基于取消操作禁止基于预设的避障策略对无人机进行控制,避障策略可以包括:水平避障策略和垂向避障策略,禁止基于避障策略对无人机进行控制可以包括:禁止基于预设的垂向避障策略对无人机的垂向运行速度、无人机与垂直方向上的障碍物之间的距离信息、无人机的垂向加速度进行调整。和/或,禁止基于预设的水平避障策略对无人机的水平运行速度、无人机与水平方向上的障碍物之间的距离信息、无人机的水平加速度进行调整。
在又一些实例中,为了提高对无人机进行控制的稳定可靠性,在禁止基于预设的避障策略对无人机进行控制之后,本实施例中的方法还可以包括:在获取到与无人机相对应的模式切换指令/任务切换指令,则允许基于预设的避障策略对无人机进行控制。
其中,由于无人机的运行模式可以包括自动模式和手动模式,在获取到与无人机相对应的模式切换指令时,则可以基于模式切换指令将无人机的自动模式切换为手动模式,或者将无人机的手动模式切换为自动模式,由于无人机的运行模式已经发生变化,因此可以重新允许基于预设的避障策略对无人机进行控制,这样有利于提高无人机运行的安全可靠性。
相类似的,无人机的执行任务可以包括:防地飞行任务、检测任务、拍摄任务、智能跟随任务等等,在获取到与无人机相对应的任务切换指令时,则可以基于任务切换指令对无人机的执行任务进行切换操作,由于无人机的执行任务已经发生变化,因此可以重新允许基于预设的避障策略对无人机进行控制,这样有利于提高无人机运行的安全可靠性。
在另一些实例中,为了提高对无人机进行控制的稳定可靠性,在禁止基于预设的避障策略对无人机进行控制之后,本实施例中的方法还可以包括:在无人机的运行状态由起飞状态切换为降落状态,或者由降落状态切换为起飞状态时,则允许基于预设的避障策略对无人机进行控制。
其中,由于无人机的运行状态可以包括起飞状态和降落状态,在获取到与无人机相对应的状态切换指令时,则可以基于状态切换指令将无人机的起飞状态切换为降落状态,或者能够将无人机的降落状态切换为起飞状态,由于无人机的运行状态已经发生变化,因此可以重新允许基于预设的避障策略对无人机进行控制,这样有利于提高无人机运行的安全可靠性。
本实施例中,通过获取无人机的运行模式,在运行模式为自动模式时,若交互信息为确认操作信息,则控制无人机继续进行自动作业;或者,若交互信息为取消操作信息,则将自动模式切换为手动模式,在运行模式为手动模式时,若交互信息为确认操作信息,则控制无人机继续进行作业;若交互信息为取消操作信息,则基于取消操作信息控制无人机保持当前高度不变,从而有效地实现了在无人机处于不同的运行模式时,可以对无人机进行不同的控制操作,这样不仅提高了对无人机进行控制的安全可靠性,并且也保证了对无人机进行控制的灵活可靠性。
具体应用时,本应用实施例提供了一种无人机的控制方法,该方法可以适用于载人飞行器等智能装备,并且能够实现在无人机位于田间、果园等复杂的农业生产场景中进行作业时,可以实现自主避障、仿地作业等操作。下面以植保机作为无人机为例,该方法可以基于植保机的下视雷达检测下方障碍物,并根据下方障碍物相对于植保机的方位以及当前运行状态来执行相应的飞行控制策略,并且还可以与用户进行交互操作,以保证植保机在复杂环境中作业安全的同时,可以最大程度地提高作业质量和效率。具体的,本实施例中的控制方法可以包括:下方障碍物检测操作、规划减速操作、交互告警操作等等,参考附图7所示,分别对上述各个操作过程进行详细说明:
(一)下方障碍物检测
植保机的下方设置有下视雷达,下视雷达可以检测到无人机的垂直下方所包括的目标,需要注意的是,上述的目标可以包括以下至少之一:障碍物、下方地面以及可能存在的部分目标的反射点或杂点。为了能够准确估计植保机与下方障碍物之间的距离信息,则可以对下视雷达所输出的目标进行分割及筛选,以实现对下方障碍物的检测操作。具体的,下方障碍物的检测操作可以包括:
步骤11、获取通过下视雷达所检测到的一系列目标{T1,T2,...TN}的特征信息。
步骤12、通过一系列目标{T1,T2,...TN}的特征信息,确定目标距离植保机的高度Hi、目标所对应的反射能量Ei、以及目标能够被下视雷达所能够检测到的目标存续时间Ti,其中,目标存续时间Ti可以通过计时器来获得。
步骤13、基于目标所对应的反射能量Ei和目标能够被下视雷达所能够检测到的目标存续时间Ti进行地面分割操作,获得与植保机相对应的地面目标。
具体的,在下视雷达上电之后就可以检测到地面,通常情况下,地面目标是存续时间最长的目标。在一些特殊场景中,在下视雷达上电之后就可以进行目标检测操作,而存续时间最长的目标可以不是地面目标,还可以是其他目标,例如:稻田目标、农田目标等等。
另外,在大多数的情况下,位于无人机下方的细小障碍物的反射能量较小,而地面目标的反射能量要高于障碍物目标的反射能量,因此,可以通过以下函数关系来判断目标是否为地面目标:
Si=weEi+wtTi
其中,Si为用于判断目标是否为地面目标的评价值,Ei为目标所对应的反射能量,Ti为目标能够被下视雷达所能够检测到的目标存续时间,we是目标反射能量的权重信息,wt是目标存续时间Ti的权重信息。
通过上述方式可以获取到所有目标所对应的评价值Si,之后,选取评价分数最高的目标Ti,Simax作为地面目标输出,从而有效地实现了可以先识别出地面目标,进而可以降低障碍物进行误检的概率。
步骤14、目标距离植保机的高度Hi进行下方障碍物的提取操作。
具体的,在筛选出地面目标之后,可以在剩余的其他目标中筛选出距离植保机最近的目标Tobj,并可以将上述目标作为下方障碍物进行输出。
(二)规划减速操作
其中,规划减速是植保机的飞控单元根据雷达推送的下方障碍物的距离所执行的控制策略,用于限制植保机在垂直向下方向上的运行速度。为了保证植保机运行的安全可靠性,在植保机与下方障碍物的距离越近时,则垂直向下的运行速度越小。规划减速的原理为:预先配置有一组距离-速度曲线,根据植保机与障碍物之间的距离限制无人机的运行速度,一般会预留一定的安全距离,当植保机与下方障碍物之间的距离小于上述的安全距离时,植保机的垂直向下的运行速度可以被限制到0m/s。
具体的,规划减速操作可以包括以下步骤:
步骤21:假设下视雷达检测到下方障碍物与植保机之间的距离为btm_obj_dis;
步骤22:假设安全距离为btm_safe_dis;
步骤23:假设规划减速的距离-速度曲线,具体为v=f(dis);
步骤24:当btm_obj_dis>btm_safe_dis,vert_vel_cmd=f(btm_obj_dis-btm_safe_dis);
当btm_obj_dis<btm-safe_dis,vert_vel_cmd=0。
具体的,当下方障碍物与植保机之间的距离大于安全距离时,则可以按照预设的距离-速度曲线对植保机在垂直方向上的速度进行调节,具体的,在下方障碍物与植保机之间的距离越小时,则植保机在垂直方向上的速度越小,在下方障碍物与植保机之间的距离小于或等于安全距离时,则可以将植保机在垂直方向上的速度为0m/s。
需要注意的是,对于距离-速度曲线而言,为了能够获取到距离-速度曲线,可以通过实际采集操作获得多个标记点的速度信息和距离信息,而后通过插值处理获得距离-速度曲线,以通过距离-速度曲线对植保机的运行状态进行控制。
(三)交互告警操作
在植保机的下视雷达检测目标时,由于不能确定目标所对应的准确位置,因此,为了能够保证无人机运行的安全可靠性,则可以与用户进行交互操作,例如:在无人机的运行范围在用户的视距内时,用户可以直接通过观察对无人机的运行状态进行控制;在无人机的运行范围位于用户的视距之外时,则可以获取到障碍物的第一视角图像,并基于第一视角图像与用户进行交互操作,以准确地对植保机进行控制操作。
另外,植保机可以具有不同的运行模式,而不同运行模式可以对应有不同的交互策略,具体的,当植保机在进行自动作业或降落过程中发生下避障时,飞控单元将会基于避障策略向控制装置(控制终端上配置有用于对无人机进行控制的应用程序APP)推送提示信息,以基于提示信息与用户进行交互显示。具体的,下面对不同运行模式下植保机的交互操作进行说明:
场景a:由于下避障操作只会限制植保机在垂直向下的运行速度,并不影响植保机的水平运行速度。因此,在植保机处于自动作业的过程中,若发生下避障操作,由于下避障操作导致垂向下的速度指令小于预设的目标速度,飞控可以向控制装置推送相对应的飘窗提示信息,以告知用户植保机当前的运行状态。
场景b:当植保机在自动降高(到目标点下降或者自动降落)的过程中触发下避障,随着下方障碍物距离的缩短,植保机垂向向下的速度会越来越小,当限速至0m/s后,则会中断当前任务,而后飞控可以向控制装置推送提示信息(例如:限速标识),控制装置可以以弹窗形式显示上述的提示信息,以提示用户下方有障碍物,是否继续下降。同时飞控可以控制云台的俯仰轴pitch轴所对应的角度调整至-90°,方便用户通过第一人称主视角(FirstPerson View,简称FPV)观察到下方障碍物的具体情况,若用户选择确认继续下降,飞控则会在此次任务中关闭下避障功能,继续执行降高任务;若用户选择取消下降,飞控则会退出此次自动任务,植保机的控制模式退化为用户手动操作控制。
场景c:当用户手动下拉油门降低高度的过程中触发下避障时,随着下方障碍物的靠近,植保机在垂直向下的速度会越来越小,当减速至0m/s后,飞控会推送对应的飘窗提示信息,以告知用户,同时飞控可以控制云台的俯仰轴所对应的角度调整至-90°,方便用户观察下方障碍物的具体情况;若此状态下用户触发下拉油门的操作,植保机可以保持当前高度不会继续下降,飞控可以向控制装置推送提示信息(限速标志),控制装置可以以弹窗形式显示上述的提示信息,以提示用户下方有障碍物,是否继续下降;若用户选择继续下降,飞控则会关闭下避障功能,响应下拉油门操作;若用户选择取消下降,飞机会继续保持当前高度,不响应下拉油门的操作。
需要注意的是,对于植保机而言,若发生任务切换操作或一次起降操作,则植保机所对应的避障控制策略会再次生效,例如,在自动降高过程中触发下避障,用户选择继续下降,则在当次自动降高过程中不会再次触发下避障,若发生任务切换,如自动变为手动,或者,手动再切回自动,下避障会再次生效。手动模式下也是如此,若在手动模式下触发下避障,用户选择继续下降,则在当此手动操作过程中都不会再次触发下避障,若发生任务切换,如手动变为自动,自动再切回手动,或飞机降落后再起飞,则下避障逻辑会再次生效。
本应用实施例提供的技术方案,基于雷达有效地实现了对位于无人机(植保机)飞行过程中所存在的下方障碍物进行检测,并且在无人机的下方存在障碍物时,可以基于下方障碍物与无人机之间的距离对无人机的垂直向下的运行速度进行减速控制操作,在有下方障碍物且存在下降需求时,通过提示信息向用户进行告警,并可以调整云台的俯仰轴观察下方的情况,通过提示信息与用户进行交互,由用户控制植保机运行到安全位置进行下降操作,这样有效地提高了无人机在复杂作业场景下的安全性能,同时也有利于保证无人机的作业质量和效率。
图8为本申请实施例提供的一种无人机的控制装置的结构示意图;参考附图8所示,本实施例提供了一种无人机的控制装置,该无人机的控制装置用于执行上述图2所对应的无人机的控制方法,具体的,该控制装置可以包括:
存储器12,用于存储计算机程序;
处理器11,用于运行存储器12中存储的计算机程序以实现:
获取无人机的运行参数;
在运行参数小于预设阈值时,则生成与运行参数相对应的提示信息,以通过信息输出装置提示用户,其中,信息输出装置与无人机通信连接。
其中,无人机的控制装置的结构中还可以包括通信接口13,用于电子设备与其他设备或通信网络通信。
在一些实例中,本实施例中的处理器11还用于:在运行参数大于第一阈值、且小于或等于第二阈值时,则生成与运行参数相对应的第二提示信息,第二阈值大于第一阈值、且小于预设运行参数。
在一些实例中,本实施例中的处理器11还用于:在运行参数大于第二阈值、且小于预设运行参数时,则禁止生成与运行参数相对应的第二提示信息,或者,控制第二提示信息退出输出状态。
在一些实例中,运行参数包括以下至少之一:无人机与障碍物之间的距离信息、垂向运行速度、水平运行速度。
在一些实例中,垂向运行速度包括以下至少之一:垂直向下运行速度,用于控制无人机躲避位于无人机垂直下方的障碍物;垂直向上运行速度,用于控制无人机躲避位于无人机垂直上方的障碍物。
在一些实例中,本实施例中的处理器11还用于执行以下步骤:通过设置于无人机的感测装置,获取至少一个目标的感测特征,其中,至少一个目标位于无人机的垂直方向上;在至少一个目标中确定与无人机相对应的基准面;基于至少一个目标的感测特征,确定除基准面之外的其他目标与无人机之间的距离信息;基于距离信息,检测无人机在垂直方向上是否存在障碍物。
在一些实例中,在处理器11在至少一个目标中确定与无人机相对应的基准面时,该处理器11用于执行:基于至少一个目标的感测特征,确定至少一个目标各自对应的反射能量和能够被感测装置感测到的目标存续时间;基于反射能量和目标存续时间,在至少一个目标中确定与无人机相对应的基准面。
在一些实例中,本实施例中的处理器11还用于执行:当无人机的垂直方向上存在障碍物时,获取与障碍物相对应的第一视角图像;通过信息输出装置显示第一视角图像。
在一些实例中,无人机设置有云台,云台设置有图像采集装置;在处理器11获取与障碍物相对应的第一视角图像时,该处理器11用于执行:基于障碍物与无人机之间的相对位置,生成与云台相对应的控制参数;基于控制参数对云台进行控制,以使位于云台上的图像采集装置正对障碍物;通过图像采集装置获得第一视角图像。
在一些实例中,在处理器11基于交互信息对无人机进行控制时,该处理器11用于执行:获取无人机的运行模式;在运行模式为自动模式时,若交互信息为确认操作信息,则控制无人机继续进行自动作业;或者,若交互信息为取消操作信息,则将自动模式切换为手动模式;或者,在运行模式为手动模式时,若交互信息为确认操作信息,则控制无人机继续进行作业;若交互信息为取消操作信息,则基于取消操作信息控制无人机保持当前高度不变。
在一些实例中,本实施例中的处理器11用于执行:在获取到与无人机相对应的模式切换指令/任务切换指令,则允许基于预设的避障策略对无人机进行控制。
在一些实例中,本实施例中的处理器11用于执行:在无人机的运行状态由起飞状态切换为降落状态,或者由降落状态切换为起飞状态时,则允许基于预设的避障策略对无人机进行控制。
图8所示增稳控制装置可以执行图1-图7所示实施例的方法,本实施例未详细描述的部分,可参考对图1-图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图7所示实施例中的描述,在此不再赘述。
图9为本申请实施例提供的一种无人机系统的结构示意图,参考附图9所示,本实施例提供了一种无人机系统,该无人机系统可以包括:
无人机21;
上述图8所示的无人机的控制装置22,用于对无人机21进行控制。
需要注意的是,无人机的控制装置22可以设置于无人机21上,此时,无人机的控制装置22可以实现为无人机的飞控单元;或者,该无人机的控制装置22可以配置在遥控终端上,该遥控终端与无人机21通信连接,用于对无人机21进行控制,在一些实例中,无人机的控制装置22可以实现为遥控终端。
本实施例中的无人机系统的实现原理和技术效果与无人机的控制装置22的实现原理和技术效果相类似,具体可参见图8示实施例中的描述,在此不再赘述。
另外,本发明实施例提供了一种计算机存储介质,用于储存电子设备所用的计算机软件指令,其包含用于执行上述图1-图7所示方法实施例中无人机的控制方法所涉及的程序。
此外,本发明实施例提供了一种计算机程序产品,包括:计算机程序,当计算机程序被电子设备的处理器执行时,使处理器执行图1-图7所示方法实施例中无人机的控制方法。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (15)
1.一种无人机的控制方法,其特征在于,包括:
获取无人机的运行参数,所述运行参数与障碍物相对所述无人机的方向相关;
在所述运行参数小于或等于第一阈值时,则生成与所述运行参数相对应的第一提示信息,所述第一阈值小于所述无人机的预设运行参数;
基于所述第一提示信息与用户进行交互,获得交互信息;
基于所述交互信息对所述无人机进行控制。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述运行参数大于所述第一阈值、且小于或等于第二阈值时,则生成与所述运行参数相对应的第二提示信息,所述第二阈值大于所述第一阈值、且小于所述预设运行参数。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述运行参数大于所述第二阈值、且小于所述预设运行参数时,则禁止生成与所述运行参数相对应的第二提示信息,或者,控制所述第二提示信息退出输出状态。
4.根据权利要求1所述的方法,其特征在于,所述运行参数包括以下至少之一:所述无人机与障碍物之间的距离信息、垂向运行速度、水平运行速度。
5.根据权利要求4所述的方法,其特征在于,所述垂向运行速度包括以下至少之一:
垂直向下运行速度,用于控制所述无人机躲避位于所述无人机垂直下方的障碍物;
垂直向上运行速度,用于控制所述无人机躲避位于所述无人机垂直上方的障碍物。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过设置于所述无人机的感测装置,获取至少一个目标的感测特征,其中,所述至少一个目标位于所述无人机的垂直方向上;
在所述至少一个目标中确定与所述无人机相对应的基准面;
基于所述至少一个目标的感测特征,确定除所述基准面之外的其他目标与所述无人机之间的距离信息;
基于所述距离信息,检测所述无人机在垂直方向上是否存在障碍物。
7.根据权利要求6所述的方法,其特征在于,在所述至少一个目标中确定与所述无人机相对应的基准面,包括:
基于所述至少一个目标的感测特征,确定所述至少一个目标各自对应的反射能量和能够被所述感测装置感测到的目标存续时间;
基于所述反射能量和目标存续时间,在所述至少一个目标中确定与所述无人机相对应的基准面。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述无人机的垂直方向上存在障碍物时,获取与所述障碍物相对应的第一视角图像;
通过所述信息输出装置显示所述第一视角图像。
9.根据权利要求8所述的方法,其特征在于,所述无人机设置有云台,所述云台设置有图像采集装置;获取与所述障碍物相对应的第一视角图像,包括:
基于所述障碍物与所述无人机的相对位置,生成与所述云台相对应的控制参数;
基于所述控制参数对所述云台进行控制,以使位于所述云台上的图像采集装置正对所述障碍物;
通过所述图像采集装置获得所述第一视角图像。
10.根据权利要求1所述的方法,其特征在于,基于所述交互信息对所述无人机进行控制,包括:
获取所述无人机的运行模式;
在所述运行模式为自动模式时,若所述交互信息为确认操作信息,则控制所述无人机继续进行自动作业;或者,若所述交互信息为取消操作信息,则将所述自动模式切换为手动模式;或者,
在所述运行模式为手动模式时,若所述交互信息为确认操作信息,则控制所述无人机继续进行作业;若所述交互信息为取消操作信息,则基于所述取消操作信息控制所述无人机保持当前高度不变。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取到与所述无人机相对应的模式切换指令/任务切换指令时,则允许基于预设的避障策略对无人机进行控制。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述无人机的运行状态由起飞状态切换为降落状态,或者由降落状态切换为起飞状态时,则允许基于预设的避障策略对无人机进行控制。
13.一种无人机的控制装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取无人机的运行参数,所述运行参数与障碍物相对所述无人机的方向相关;
在所述运行参数小于或等于第一阈值时,则生成与所述运行参数相对应的第一提示信息,所述第一阈值小于所述无人机的预设运行参数;
基于所述第一提示信息与用户进行交互,获得交互信息;
基于所述交互信息对所述无人机进行控制。
14.一种无人机系统,其特征在于,包括:
无人机;
权利要求13所述的无人机的控制装置,用于对所述无人机进行控制。
15.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1-12中任意一项所述的无人机的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111592876.6A CN116339357A (zh) | 2021-12-23 | 2021-12-23 | 无人机的控制方法、装置、无人机系统及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111592876.6A CN116339357A (zh) | 2021-12-23 | 2021-12-23 | 无人机的控制方法、装置、无人机系统及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116339357A true CN116339357A (zh) | 2023-06-27 |
Family
ID=86877661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111592876.6A Pending CN116339357A (zh) | 2021-12-23 | 2021-12-23 | 无人机的控制方法、装置、无人机系统及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116339357A (zh) |
-
2021
- 2021-12-23 CN CN202111592876.6A patent/CN116339357A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10029804B1 (en) | On-board, computerized landing zone evaluation system for aircraft | |
KR102604969B1 (ko) | 이미지 세그멘테이션을 이용한 자율 운항 방법 | |
EP3326041B1 (en) | Method and device for terrain simulation flying of unmanned aerial vehicle and unmanned aerial vehicle | |
US11834197B2 (en) | Unmanned aerial vehicle landing gear control method, apparatus, unmanned aerial vehicle, and system thereof | |
US10408936B2 (en) | LIDAR light fence to cue long range LIDAR of target drone | |
Braginsky et al. | Obstacle avoidance approaches for autonomous underwater vehicle: Simulation and experimental results | |
Larson et al. | Advances in autonomous obstacle avoidance for unmanned surface vehicles | |
US20190250640A1 (en) | Aerial vehicle touchdown detection | |
WO2019126755A1 (en) | Generating and classifying training data for machine learning functions | |
EP3128386B1 (en) | Method and device for tracking a moving target from an air vehicle | |
KR102623124B1 (ko) | 접안 모니터링 장치 및 방법 | |
US20200012283A1 (en) | System and method for autonomous maritime vessel security and safety | |
JP2015006874A (ja) | 3次元証拠グリッドを使用する自律着陸のためのシステムおよび方法 | |
CN109828274A (zh) | 调整机载雷达的主探测方向的方法、装置和无人机 | |
US11017513B1 (en) | Active sensor fusion systems and methods for object detection | |
CN110832195A (zh) | 用于风电场的监视系统和相关方法 | |
McPhail et al. | Low-altitude terrain following and collision avoidance in a flight-class autonomous underwater vehicle | |
EP3868652B1 (en) | Information processing system, information processing method, and program | |
CN212620384U (zh) | 基于电磁、光电,gps诱导系统的无人机反制系统 | |
JP2016161572A (ja) | 侵入オブジェクトを検出するシステムおよび方法 | |
CN114200471B (zh) | 基于无人机的森林火源检测系统、方法、存储介质、设备 | |
EP3992747B1 (en) | Mobile body, control method, and program | |
KR20150003893U (ko) | 레이더와 드론을 이용한 경계 및 경비 자동화 시스템 | |
EP3989034B1 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
CN111913493A (zh) | 无人机降落装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |