CN110196601A - 无人机控制方法、装置、系统和计算机可读存储介质 - Google Patents
无人机控制方法、装置、系统和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110196601A CN110196601A CN201810161048.9A CN201810161048A CN110196601A CN 110196601 A CN110196601 A CN 110196601A CN 201810161048 A CN201810161048 A CN 201810161048A CN 110196601 A CN110196601 A CN 110196601A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- aerial vehicle
- uav
- control amount
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Abstract
本发明公开了一种无人机控制方法、装置、系统和计算机可读存储介质,涉及无人机技术领域。无人机控制方法包括:获取无人机下方的环境图像;将环境图像输入到预测模型中,获得输出的预测控制量,其中,预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的;根据预测控制量对无人机进行降落控制。通过本发明的实施例,无人机可以输入当前采集的图像并获得预测控制量,从而可以根据预测控制量对无人机的降落进行控制,使得无人机朝向与训练阶段时的目标降落区域具有相同特征的区域所在方向自主飞行,并降落在合适的区域,提高了无人机安全降落的可靠性。
Description
技术领域
本发明涉及无人机技术领域,特别涉及一种无人机控制方法、装置、系统和计算机可读存储介质。
背景技术
在无人机的应用中,某些时候需要无人机进行自动降落,例如无人机发生通信故障时、发生机械故障时、遇到恶劣天气时等等。
在一些相关技术中,可以采用GPS和惯性组合导航进行原地降落。然而,如果降落地点不适合无人机降落,会导致无人机的坠机事故。
发明内容
本发明实施例所要解决的一个技术问题是:如何提高无人机安全降落的可靠性。
根据本发明一些实施例的第一个方面,提供一种无人机控制方法,包括:获取无人机下方的环境图像;将环境图像输入到预测模型中,获得输出的预测控制量,其中,预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的;根据预测控制量对无人机进行降落控制。
在一些实施例中,预测控制量包括无人机在三维空间的三个轴向上的线速度和一个轴向上的角速度中的至少一种。
在一些实施例中,无人机控制方法还包括:根据输出的预测控制量中的无人机在垂直方向上的速度、以及根据无人机的高度信息计算的无人机在垂直方向上的速度,确定无人机在垂直方向上的调整后的速度,其中,无人机的高度信息是无人机上的高度检测装置获取的;根据预测控制量对无人机进行降落控制包括:采用调整后的速度对无人机进行垂直方向上的降落控制。
在一些实施例中,无人机控制方法还包括:采集无人机下方的用于训练的环境图像,以及采集图像的时刻对应的无人机的控制量,其中,用于训练的环境图像是在无人机向目标降落区域飞行的过程中采集的;将用于训练的环境图像作为输入数据、采集图像的时刻对应的无人机的控制量作为标记值,对神经网络模型进行训练,获得预测模型。
在一些实施例中,在手动控制无人机向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机的实际控制量;和/或,在基于规划的飞行路线令无人机自动向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机解算的期望控制量。
在一些实施例中,根据欧式距离损失函数对神经网络模型进行训练,获得预测模型。
在一些实施例中,预测模型的全连接层的输出数量与预测控制量中的参数数量一致。
在一些实施例中,将环境图像的灰度通道信息输入到预测模型中,获得输出的预测控制量。
在一些实施例中,无人机控制方法还包括:检测无人机的故障信号,以便在获取到无人机的故障信号的情况下获取无人机下方的环境图像。
在一些实施例中,无人机控制方法还包括:响应于获取到无人机的故障信号,向处于休眠状态的警报装置发送唤醒信号,以便警报装置将无人机的当前位置发送给服务器。
根据本发明实施例的第二个方面,提供一种无人机控制装置,包括:图像获取模块,被配置为获取无人机下方的环境图像;控制量预测模块,被配置为将环境图像输入到预测模型中,获得输出的预测控制量,其中,预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的;降落控制模块,被配置为根据预测控制量对无人机进行降落控制。
在一些实施例中,预测控制量包括无人机在三维空间的三个轴向上的线速度以及其中一个轴向上的角速度。
在一些实施例中,无人机控制装置还包括:速度调整模块,被配置为根据输出的预测控制量中的无人机在垂直方向上的速度、以及根据无人机的高度信息计算的无人机在垂直方向上的速度,确定无人机在垂直方向上的调整后的速度;降落控制模块进一步被配置为采用调整后的速度对无人机进行垂直方向上的降落控制,其中,无人机的高度信息是无人机上的高度检测装置获取的。
在一些实施例中,无人机控制装置还包括:预测模型训练模块,被配置为记录在无人机向目标降落区域飞行的过程中采集的无人机下方的用于训练的环境图像,以及采集图像的时刻对应的无人机的控制量;将用于训练的环境图像作为输入数据、采集图像的时刻对应的无人机的控制量作为标记值,对神经网络模型进行训练,获得预测模型。
在一些实施例中,在手动控制无人机向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机的实际控制量;和/或,在基于规划的飞行路线令无人机自动向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机解算的期望控制量。
在一些实施例中,控制量预测模块进一步被配置为根据欧式距离损失函数对神经网络模型进行训练,获得预测模型。
在一些实施例中,预测模型的全连接层的输出数量与预测控制量中的参数数量一致。
在一些实施例中,图像获取模块进一步被配置为将环境图像的灰度通道信息输入到预测模型中,获得输出的预测控制量。
在一些实施例中,无人机控制装置还包括:故障信号检测模块,被配置为检测无人机的故障信号,以便在获取到无人机的故障信号的情况下获取无人机下方的环境图像。
在一些实施例中,无人机控制装置还包括:唤醒模块,被配置为响应于获取到无人机的故障信号,向处于休眠状态的警报装置发送唤醒信号,以便警报装置将无人机的当前位置发送给服务器。
根据本发明实施例的第三个方面,提供一种无人机控制系统,包括:前述任意一种无人机控制装置,和摄像机,被配置为采集无人机下方的环境图像,并将采集的图像发送给无人机控制装置。
在一些实施例中,无人机控制系统还包括:警报装置,被配置为响应于无人机控制装置发送唤醒信号,将无人机的当前位置发送给服务器。
根据本发明一些实施例的第四个方面,提供一种无人机控制装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行前述任意一种无人机控制方法。
根据本发明一些实施例的第五个方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现前述任意一种无人机控制方法。
上述发明中的一些实施例具有如下优点或有益效果:通过本发明的实施例,无人机可以输入当前采集的图像并获得预测控制量,从而可以根据预测控制量对无人机的降落进行控制,使得无人机朝向与训练阶段时的目标降落区域具有相同特征的区域所在方向自主飞行,并降落在合适的区域,提高了无人机安全降落的可靠性。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明一些实施例的无人机控制方法的示例性流程图。
图2为根据本发明另一些实施例的无人机控制方法的示例性流程图。
图3为根据本发明又一些实施例的无人机控制方法的示例性流程图。
图4为根据本发明一些实施例的预测模型训练方法的示例性流程图。
图5为根据本发明一些实施例的无人机控制装置的示例性结构图。
图6为根据本发明一些实施例的无人机控制系统的示例性结构图。
图7为根据本发明另一些实施例的无人机控制装置的示例性结构图。
图8为根据本发明又一些实施例的无人机控制装置的示例性结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1为根据本发明一些实施例的无人机控制方法的示例性流程图。如图1所示,该实施例的无人机控制方法包括步骤S102~S106。
在步骤S102中,获取无人机下方的环境图像。
在一些实施例中,可以在无人机下方安装摄像机、并且摄像机的拍摄方向朝下,以捕捉无人机下方的环境图像。该摄像机可以是单目摄像机。
在步骤S104中,将环境图像输入到预测模型中,获得输出的预测控制量,其中,预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的。
预测模型是预先训练的深度学习模型,例如可以为vgg16、ResNet等卷积神经网络模型,也可以基于神经网络模型的框架Caffenet实现不同的算法。在训练阶段,可以模拟无人机的降落过程,采集无人机在飞行过程中采集的无人机下方的用于训练的环境图像,以及采集图像的时刻对应的无人机的控制量。
本发明的实施例可以应用于无人机自主降落的场景。即,目标降落区域不仅可以是无人机的真实飞行目的地,还可以是无人机在飞行途中遭遇突发事件时自行选择降落的地点,例如,无人机可以响应于获取到故障信号而启动本实施例的流程以进行降落。由于目标降落区域可能是未知的,因此这些目标降落区域可以没有特定的标记,而是属于预设类型的地点,例如草坪、广场、马路边缘等表面较为平坦的区域。从而,在预测阶段,输出的预测控制量也会控制无人机朝着这些目标所在地移动。即使没有事先进行人为标记,无人机也可以选择这些安全区域进行安全降落。
在步骤S106中,根据预测控制量对无人机进行降落控制。
预测控制量是用于直接或间接控制无人机的飞行过程的参数,例如可以是预测的无人机的速度。在一些实施例中,预测控制量包括无人机在三维空间的三个轴向上的线速度以及其中一个轴向上的角速度这四种速度参数中的至少一种。三维空间可以是基于大地坐标系构建的三维空间,例如包括X、Y、Z三个轴。其中一个轴向上的角速度可以是偏航角的角速度,例如当Z轴表示垂直方向上的轴线时,角速度可以为无人机绕Z轴旋转时的角速度。从而,可以控制无人机的转向速度。
通过上述实施例的方法,无人机可以输入当前采集的图像并获得预测控制量,从而可以根据预测控制量对无人机的降落进行控制,使得无人机朝向与训练阶段时的目标降落区域具有相同特征的区域所在方向自主飞行,并降落在合适的区域,提高了无人机降落的安全性。
并且,本发明的实施例无需额外设计控制律来生成相应的无人机控制量,通过将缓解图像输入到预测模型中,可以直接获得无人机的控制量,无需再进行额外的计算,从而提高了降落控制过程中的计算效率,更符合实时应用的场景。
例如,在训练阶段,无人机朝向草坪飞行、并降落在草坪。那么在预测和应用阶段,当无人机拍摄的环境中出现草坪时,预测模型输出的控制量会控制无人机向草坪所在的方向调整。随着无人机的飞行,草坪在环境图像中的占比也会越来越大,从而会引导无人机在安全区域准确地降落。当然,在训练阶段可以选择单一类型的目标降落区域进行训练,也可以将具有不同类型的目标降落区域的图像都参与训练。
上述实施例主要参考图像特征来输出控制量。而对于单目摄像机等无法采集深度信息的图像采集设备,其采集的图像更多反映的是目标区域在环境图像中的水平位置。因此,可以将上述实施例与无人机的其他传感器获取的信息进行结合来控制无人机的降落过程。下面参考图2描述无人机控制过程中将不同类型的预测结果进行结合的实施例。
图2为根据本发明另一些实施例的无人机控制方法的示例性流程图。如图2所示,该实施例的无人机控制方法包括步骤S202~S208。
在步骤S202中,获取无人机下方的环境图像。
在步骤S204中,将环境图像输入到预测模型中,获得输出的预测控制量,其中,预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的。
在步骤S206中,获取根据无人机的高度信息计算的无人机在垂直方向上的速度,其中,无人机的高度信息是无人机上的高度检测装置获取的。
高度检测装置例如可以是气压计等设备。根据无人机的高度信息计算的无人机在垂直方向上的速度可以与无人机的当前高度成正相关关系,即,当无人机在高空飞行时、可以加快下降速度,当无人机在低空飞行时,可以减慢下降速度。或者也可以根据预设的高度信息与速度之间的关系式确定速度。
在步骤S208中,采用调整后的速度、以及预测控制量中垂直方向以外的控制量,对无人机进行降落控制。调整后的速度用于对无人机进行垂直方向上的降落控制。
在一些实施例中,可以直接将预测模型输出的预测控制量中的无人机在垂直方向上的速度替换为根据高度信息计算的垂直方向上的速度。从而使根据环境图像进行预测的结果仅作为水平方向上的控制结果。
在一些实施例中,还可以将预测模型输出的无人机在垂直方向上的速度与根据高度信息计算的垂直方向上的速度进行融合,例如进行加权求和等等,从而可以参考基于不同类型的信息做出的预测结果来控制垂直方向上的飞行。
通过上述实施例的方法,可以将基于图像的预测模型的输出结果和高度检测装置的测量结果进行结合来确定无人机的控制量,从而可以提高对无人机降落控制的准确性,提高了无人机降落的安全性。
本发明的实施例可以应用在无人机发生故障的场景中。下面参考图3描述无人机发生故障的场景下降落控制方法的实施例。
图3为根据本发明又一些实施例的无人机控制方法的示例性流程图。如图3所示,该实施例的无人机控制方法包括步骤S302~S312。
在步骤S302中,检测无人机的故障信号。
在步骤S304中,在获取到无人机的故障信号的情况下,获取无人机下方的环境图像。
在步骤S306中,将环境图像输入到预测模型中,获得输出的预测控制量。
在步骤S308中,根据预测控制量控制无人机的降落。
在步骤S310中,向处于休眠状态的警报装置发送唤醒信号。
警报装置可以由备用电池供电,备用电池例如可以为纽扣电池。当无人机处于正常状态时,警报装置可以处于休眠状态以节约电能。当无人机进入自主降落模式后,该模块可以被唤醒。
在步骤S312中,警报装置将无人机的当前位置发送给服务器。
从而,服务器可以获取无人机在降落中或者降落后的位置,便于找到无人机,避免造成经济损失。
下面参考图4介绍本发明实施例中的预测模型的训练过程。
图4为根据本发明一些实施例的预测模型训练方法的示例性流程图。如图4所示,该实施例的预测模型训练方法包括步骤S402~S406。
在步骤S402中,引导无人机向目标降落区域飞行。
在训练阶段,可以手动控制无人机降落,也可以预先为无人机规划飞行路线后令无人机进行自动降落。目标降落区域为与应用阶段的理想目标降落区域同类的区域。
在步骤S404中,记录无人机在飞行过程中采集的无人机下方的用于训练的环境图像,以及采集图像的时刻对应的无人机的控制量。
在手动控制无人机向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机的实际控制量。在基于规划的飞行路线令无人机自动向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机解算的期望控制量。
在步骤S406中,将用于训练的环境图像作为输入数据、采集图像的时刻对应的无人机的控制量作为标记值,对神经网络模型进行训练,获得预测模型。
预测模型的输出值为无人机的控制量。因此,可以将实际的控制量作为输入数据的标记值,根据预测模型的输出值与标记值的差距不断调整模型参数。
在一些实施例中,本发明输出的为控制量的数值,这种场景涉及回归问题、而非分类问题。此时,可以根据欧式距离损失函数对神经网络模型进行训练,获得预测模型。欧式距离损失函数是适用于回归应用场景的损失函数,因此可以使预测模型具有更好的预测效果。根据需要,本领域技术人员也可以选择其他类型的损失函数训练模型。
通过上述实施例的方法,可以根据无人机降落在目标降落区域的过程中采集的数据训练神经网络模型,从而使得训练完成获得的预测模型具有较高的准确率,提高了无人机降落的安全性。
本发明的实施例还可以对神经网络模型进行调整和设置,使得预测模型更符合本发明实施例的应用场景。
在一些实施例中,可以对模型的输入进行调整,令预测模型的输入为环境图像的灰度通道信息。因此,在使用阶段,可以将环境图像的灰度通道信息输入到预测模型中,获得输出的预测控制量。通过仅输入灰度信息进行计算,可以提高计算效率,使无人机的降落控制过程的实时性更好。
在一些实施例中,还可以对模型的全连接层进行调整,令全连接层的输出数量为4,分别表示无人机在三维空间的三个轴向上的线速度以及其中一个轴向上的角速度。从而,预测模型可以输出无人机在三维空间的三个轴向上的线速度以及其中一个轴向上的角速度。
在一些实施例中,还可以增加激活函数层,以将输出的向量中的各个元素进行归一化处理。
下面参考图5描述本发明无人机控制装置的实施例。
图5为根据本发明一些实施例的无人机控制装置的示例性结构图。如图5所示,该实施例的无人机控制装置500包括:图像获取模块510,被配置为获取无人机下方的环境图像;控制量预测模块520,被配置为将环境图像输入到预测模型中,获得输出的预测控制量,其中,预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的;降落控制模块530,被配置为根据预测控制量对无人机进行降落控制。
在一些实施例中,预测控制量包括无人机在三维空间的三个轴向上的线速度以及其中一个轴向上的角速度。
在一些实施例中,无人机控制装置500还可以包括:速度调整模块540,被配置为根据输出的预测控制量中的无人机在垂直方向上的速度、以及根据无人机的高度信息计算的无人机在垂直方向上的速度,确定无人机在垂直方向上的调整后的速度;降落控制模块530可以进一步被配置为采用调整后的速度对无人机进行垂直方向上的降落控制,其中,无人机的高度信息是无人机上的高度检测装置获取的。
在一些实施例中,无人机控制装置500还可以包括:故障信号检测模块550,被配置为检测无人机的故障信号,以便在获取到无人机的故障信号的情况下获取无人机下方的环境图像。
在一些实施例中,无人机控制装置500还可以包括:预测模型训练模块560,被配置为记录在无人机向目标降落区域飞行的过程中采集的无人机下方的用于训练的环境图像,以及采集图像的时刻对应的无人机的控制量;将用于训练的环境图像作为输入数据、采集图像的时刻对应的无人机的控制量作为标记值,对神经网络模型进行训练,获得预测模型。
在一些实施例中,在手动控制无人机向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机的实际控制量;和/或,在基于规划的飞行路线令无人机自动向目标降落区域飞行的情况下,采集图像的时刻对应的无人机的控制量为无人机解算的期望控制量。
在一些实施例中,控制量预测模块520可以进一步被配置为根据欧式距离损失函数对神经网络模型进行训练,获得预测模型。
在一些实施例中,预测模型的全连接层的输出数量与预测控制量中的参数数量一致。
在一些实施例中,图像获取模块进一步被配置为将环境图像的灰度通道信息输入到预测模型中,获得输出的预测控制量。
在一些实施例中,无人机控制装置500还可以包括:唤醒模块570,被配置为响应于获取到无人机的故障信号,向处于休眠状态的警报装置发送唤醒信号,以便警报装置将无人机的当前位置发送给服务器。
上述实施例的无人机控制装置500还可以与其他装置组成应用系统。下面参考图6描述本发明无人机控制系统的实施例。
图6为根据本发明一些实施例的无人机控制系统的示例性结构图。如图6所示,该实施例的无人机控制系统60包括无人机控制装置610和摄像机620。无人机控制装置610的具体实施方式可以参考图5实施例中的无人机控制装置500,这里不再赘述。摄像机620可以被配置为采集无人机下方的环境图像,并将采集的图像发送给无人机控制装置。
在一些实施例中,无人机控制系统600还可以包括:警报装置630,被配置为响应于无人机控制装置610发送唤醒信号,将无人机的当前位置发送给服务器。
在一些实施例中,警报装置630可以包括GPS(Global Positioning System,全球定位系统)模块和通信模块,GPS模块用于获取无人机的当前位置,通信模块用于与服务器进行信息交互,例如将无人机的当前位置发送给服务器。
在一些实施例中,无人机控制系统600中还可以包括备用电池,例如可以为纽扣电池,以便为警报装置630供电。
图7为根据本发明另一些实施例的无人机控制装置的示例性结构图。如图7所示,该实施例的无人机控制装置700包括:存储器710以及耦接至该存储器710的处理器720,处理器720被配置为基于存储在存储器710中的指令,执行前述任意一个实施例中的无人机控制方法。
其中,存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图8为根据本发明又一些实施例的无人机控制装置的示例性结构图。如图8所示,该实施例的无人机控制装置800包括:存储器810以及处理器820,还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830,840,850以及存储器810和处理器820之间例如可以通过总线860连接。其中,输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口。存储接口850为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现前述任意一种无人机控制方法。
本领域内的技术人员应当明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (24)
1.一种无人机控制方法,包括:
获取无人机下方的环境图像;
将环境图像输入到预测模型中,获得输出的预测控制量,其中,所述预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的;
根据预测控制量对无人机进行降落控制。
2.根据权利要求1所述的无人机控制方法,其中,所述预测控制量包括无人机在三维空间的三个轴向上的线速度和一个轴向上的角速度中的至少一种。
3.根据权利要求1所述的无人机控制方法,
还包括:根据所述输出的预测控制量中的无人机在垂直方向上的速度、以及根据无人机的高度信息计算的无人机在垂直方向上的速度,确定无人机在垂直方向上的调整后的速度,其中,所述无人机的高度信息是无人机上的高度检测装置获取的;
所述根据预测控制量对无人机进行降落控制包括:采用所述调整后的速度对无人机进行垂直方向上的降落控制。
4.根据权利要求1所述的无人机控制方法,还包括:
采集无人机下方的用于训练的环境图像,以及采集图像的时刻对应的无人机的控制量,其中,所述用于训练的环境图像是在无人机向目标降落区域飞行的过程中采集的;
将所述用于训练的环境图像作为输入数据、所述采集图像的时刻对应的无人机的控制量作为标记值,对神经网络模型进行训练,获得预测模型。
5.根据权利要求4所述的无人机控制方法,其中,
在手动控制无人机向目标降落区域飞行的情况下,所述采集图像的时刻对应的无人机的控制量为无人机的实际控制量;和/或,
在基于规划的飞行路线令无人机自动向目标降落区域飞行的情况下,所述采集图像的时刻对应的无人机的控制量为无人机解算的期望控制量。
6.根据权利要求4所述的无人机控制方法,其中,根据欧式距离损失函数对神经网络模型进行训练,获得预测模型。
7.根据权利要求1或4所述的无人机控制方法,其中,所述预测模型的全连接层的输出数量与预测控制量中的参数数量一致。
8.根据权利要求1或4所述的无人机控制方法,其中,将环境图像的灰度通道信息输入到预测模型中,获得输出的预测控制量。
9.根据权利要求1所述的无人机控制方法,还包括:
检测无人机的故障信号,以便在获取到无人机的故障信号的情况下获取无人机下方的环境图像。
10.根据权利要求9所述的无人机控制方法,还包括:
响应于获取到无人机的故障信号,向处于休眠状态的警报装置发送唤醒信号,以便所述警报装置将无人机的当前位置发送给服务器。
11.一种无人机控制装置,包括:
图像获取模块,被配置为获取无人机下方的环境图像;
控制量预测模块,被配置为将环境图像输入到预测模型中,获得输出的预测控制量,其中,所述预测模型是根据无人机飞往目标降落区域的过程中所获取的无人机下方的环境图像以及采集图像时刻的无人机的控制量进行训练的;
降落控制模块,被配置为根据预测控制量对无人机进行降落控制。
12.根据权利要求11所述的无人机控制装置,其中,所述预测控制量包括无人机在三维空间的三个轴向上的线速度以及其中一个轴向上的角速度。
13.根据权利要求11所述的无人机控制装置,
还包括:速度调整模块,被配置为根据所述输出的预测控制量中的无人机在垂直方向上的速度、以及根据无人机的高度信息计算的无人机在垂直方向上的速度,确定无人机在垂直方向上的调整后的速度;
所述降落控制模块进一步被配置为采用所述调整后的速度对无人机进行垂直方向上的降落控制,其中,所述无人机的高度信息是无人机上的高度检测装置获取的。
14.根据权利要求11所述的无人机控制装置,还包括:
预测模型训练模块,被配置为记录在无人机向目标降落区域飞行的过程中采集的无人机下方的用于训练的环境图像,以及采集图像的时刻对应的无人机的控制量;将所述用于训练的环境图像作为输入数据、所述采集图像的时刻对应的无人机的控制量作为标记值,对神经网络模型进行训练,获得预测模型。
15.根据权利要求14所述的无人机控制装置,其中,
在手动控制无人机向目标降落区域飞行的情况下,所述采集图像的时刻对应的无人机的控制量为无人机的实际控制量;和/或,
在基于规划的飞行路线令无人机自动向目标降落区域飞行的情况下,所述采集图像的时刻对应的无人机的控制量为无人机解算的期望控制量。
16.根据权利要求14所述的无人机控制装置,其中,所述控制量预测模块进一步被配置为根据欧式距离损失函数对神经网络模型进行训练,获得预测模型。
17.根据权利要求11或14所述的无人机控制装置,其中,所述预测模型的全连接层的输出数量与预测控制量中的参数数量一致。
18.根据权利要求11或14所述的无人机控制装置,其中,所述图像获取模块进一步被配置为将环境图像的灰度通道信息输入到预测模型中,获得输出的预测控制量。
19.根据权利要求11所述的无人机控制装置,还包括:
故障信号检测模块,被配置为检测无人机的故障信号,以便在获取到无人机的故障信号的情况下获取无人机下方的环境图像。
20.根据权利要求19所述的无人机控制装置,还包括:
唤醒模块,被配置为响应于获取到无人机的故障信号,向处于休眠状态的警报装置发送唤醒信号,以便所述警报装置将无人机的当前位置发送给服务器。
21.一种无人机控制系统,包括:
权利要求11~20中任一项所述的无人机控制装置,和
摄像机,被配置为采集无人机下方的环境图像,并将采集的图像发送给所述无人机控制装置。
22.根据权利要求21所述的无人机控制系统,还包括:
警报装置,被配置为响应于所述无人机控制装置发送唤醒信号,将无人机的当前位置发送给服务器。
23.一种无人机控制装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1~10中任一项所述的无人机控制方法。
24.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1~10中任一项所述的无人机控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810161048.9A CN110196601A (zh) | 2018-02-26 | 2018-02-26 | 无人机控制方法、装置、系统和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810161048.9A CN110196601A (zh) | 2018-02-26 | 2018-02-26 | 无人机控制方法、装置、系统和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110196601A true CN110196601A (zh) | 2019-09-03 |
Family
ID=67751102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810161048.9A Pending CN110196601A (zh) | 2018-02-26 | 2018-02-26 | 无人机控制方法、装置、系统和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110196601A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110749324A (zh) * | 2019-10-28 | 2020-02-04 | 深圳市赛为智能股份有限公司 | 无人机救援定位方法、装置、计算机设备及存储介质 |
CN111580560A (zh) * | 2020-05-29 | 2020-08-25 | 中国科学技术大学 | 一种基于深度模仿学习的无人直升机自主特技飞行方法 |
CN112286216A (zh) * | 2020-11-11 | 2021-01-29 | 鹏城实验室 | 基于视觉识别的无人机自主降落无人艇的方法及系统 |
WO2021179293A1 (zh) * | 2020-03-13 | 2021-09-16 | 深圳市大疆创新科技有限公司 | 云台的控制方法、装置、无人机及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105599912A (zh) * | 2016-01-27 | 2016-05-25 | 谭圆圆 | 无人飞行器的自动降落方法及自动降落装置 |
CN106444797A (zh) * | 2016-12-01 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 一种控制飞行器降落的方法以及相关装置 |
CN106527455A (zh) * | 2017-01-03 | 2017-03-22 | 北京博瑞空间科技发展有限公司 | 无人机降落控制方法及装置 |
US20170160751A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for controlling drone movement for object tracking using estimated relative distances and drone sensor inputs |
CN107273929A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种基于深度协同神经网络的无人机自主降落方法 |
-
2018
- 2018-02-26 CN CN201810161048.9A patent/CN110196601A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170160751A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for controlling drone movement for object tracking using estimated relative distances and drone sensor inputs |
CN105599912A (zh) * | 2016-01-27 | 2016-05-25 | 谭圆圆 | 无人飞行器的自动降落方法及自动降落装置 |
CN106444797A (zh) * | 2016-12-01 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 一种控制飞行器降落的方法以及相关装置 |
CN106527455A (zh) * | 2017-01-03 | 2017-03-22 | 北京博瑞空间科技发展有限公司 | 无人机降落控制方法及装置 |
CN107273929A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种基于深度协同神经网络的无人机自主降落方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110749324A (zh) * | 2019-10-28 | 2020-02-04 | 深圳市赛为智能股份有限公司 | 无人机救援定位方法、装置、计算机设备及存储介质 |
WO2021179293A1 (zh) * | 2020-03-13 | 2021-09-16 | 深圳市大疆创新科技有限公司 | 云台的控制方法、装置、无人机及存储介质 |
CN111580560A (zh) * | 2020-05-29 | 2020-08-25 | 中国科学技术大学 | 一种基于深度模仿学习的无人直升机自主特技飞行方法 |
CN111580560B (zh) * | 2020-05-29 | 2022-05-13 | 中国科学技术大学 | 一种基于深度模仿学习的无人直升机自主特技飞行方法 |
CN112286216A (zh) * | 2020-11-11 | 2021-01-29 | 鹏城实验室 | 基于视觉识别的无人机自主降落无人艇的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220003213A1 (en) | Unmanned Aerial Vehicle Wind Turbine Inspection Systems And Methods | |
US20220397917A1 (en) | Systems and methods for 3d model based drone flight planning and control | |
US11749124B2 (en) | User interaction with an autonomous unmanned aerial vehicle | |
US11017679B2 (en) | Unmanned aerial vehicle visual point cloud navigation | |
CN102854881B (zh) | 无人机uav自动控制系统 | |
CN110196601A (zh) | 无人机控制方法、装置、系统和计算机可读存储介质 | |
CN103984355B (zh) | 一种巡检飞行机器人与架空电力线路距离预测和保持方法 | |
CN106527481A (zh) | 无人机飞行控制方法、装置及无人机 | |
CN203038112U (zh) | 无人机uav自动控制系统 | |
CN109720588A (zh) | 用于生成包括预测过压事件符号体系的航空电子显示的系统和方法 | |
CN104166355A (zh) | 电动无人机及其智能电量保护方法 | |
CN110244753A (zh) | 风速测算方法及无人机 | |
CN111983936B (zh) | 一种无人机半物理仿真系统及测评方法 | |
CN106020220A (zh) | 无人机、无人机飞行控制方法及装置 | |
CN109035665A (zh) | 一种新型森林火灾预警系统及火灾预警方法 | |
CN102190081A (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
CN109801484A (zh) | 一种应急通信无人机系统及应急通信系统 | |
CN111813151A (zh) | 基于机器视觉的无人机集群控制方法 | |
CN114897507A (zh) | 基于bim的建筑施工管理系统及管理方法 | |
CN110375710A (zh) | 飞行器高度的确定方法、装置和飞行器系统 | |
CN210072405U (zh) | 一种无人机协同控制验证平台 | |
CN115657494A (zh) | 虚拟对象仿真方法、装置、设备及存储介质 | |
CN104020681A (zh) | 自由飞行模拟仿真平台 | |
CN115185300A (zh) | 无人机巡视航线安全检测方法、装置、设备及存储介质 | |
CN114379802A (zh) | 无人飞行系统的自动安全着陆地点选择 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |