CN110209846A - 基于无人机指令序列的数据集构建方法、装置及终端设备 - Google Patents

Abstract

本发明适用于数据集构建方法技术领域，提供了一种基于无人机指令序列的数据集构建方法、装置及终端设备，方法包括：S1、获取指令序列，并将指令序列分为N组，N为正整数；S2、获取无人机执行第i组指令序列时的传感器数据，i为小于或等于N的正整数，i的初始值为1；S3、将传感器数据映射为预设像素的数据图像，或映射为以时间和传感器数据为变量的曲线图像；S4、在i小于N时，令i＝i+1，并返回S2进行循环，循环结束后得到数据图像集和/或曲线图像集，并用于构建基于无人机指令序列的数据集。通过本发明能够将传感器中的通用数据转换为可视化数据，使无人机的传感器数据能够准确反馈实际场景，有利于构建合理的无人机指令序列。

Description

基于无人机指令序列的数据集构建方法、装置及终端设备

技术领域

本发明涉及数据集构建方法技术领域，尤其涉及一种基于无人机指令序列的数据集构建方法、装置及终端设备。

背景技术

在人工智能这门技术科学中，机器学习可以说是实现人工智能的核心方法。而机器学习不是一个单一的方法，而是众多算法的合集，其中，神经网络、以及基于神经网络的深度学习都是机器学习众多算法中的一类。在无人机的机器学习中，通常通过传感器感知信息和获取数据，然后将获取的数据直接应用到控制器中辅助决策处理，例如使用传感器数据对神经网络进行训练，再利用训练后的神经网络，辅助生成有效的传感器数据，应用于无人机的路线规划，或对应生成基于无人机的指令序列。

目前可以通过无人机上的传感器直接获取可视化数据，作为生成无人机指令序列的数据集，也可以通过无人机上的传感器获取通用数据，作为生成无人机指令序列的数据集，但通过传感器直接获取的可视化数据，受环境影响大，若根据此数据集生成的指令序列，则实际误差较大，而通用数据虽然能更加精确辅助生成指令序列，但其用于生成指令序列时计算过程复杂，进行排错和优化的难度大。

发明内容

本发明的主要目的在于提出一种基于无人机指令序列的数据集构建方法、装置及终端设备，以解决现有技术中构建无人机指令序列的数据集时，使用通用数据所造成的计算复杂、排错及优化难度大的问题。

为实现上述目的，本发明实施例第一方面提供一种基于无人机指令序列的数据集构建方法，包括：

S1、获取指令序列，并将所述指令序列分为N组，N为正整数；

S2、获取无人机执行第i组所述指令序列时的传感器数据，i为小于或等于N的正整数，i的初始值为1；

S3、将所述传感器数据映射为预设像素的数据图像，或映射为以时间和所述传感器数据为变量的曲线图像；

S4、在i小于N时，令i＝i+1，并返回S2进行循环，循环结束后得到数据图像集和/或曲线图像集，并用于构建基于无人机指令序列的数据集。

结合本发明第一方面，本发明第一实施方式中，所述S3包括：

通过归一化数据处理将所述传感器数据映射为预设像素的数据图像；

通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像。

结合本发明第一方面的第一实施方式，本发明第二实施方式中，所述通过归一化数据处理将所述传感器数据映射为预设像素的数据图像，或映射为以时间和所述传感器数据为变量的曲线图像包括：

归一化所述传感器数据，获得M条归一化传感器数据，M为正整数；

将M条所述归一化传感器数据保存为预设像素的所述数据图像；

其中，任一条所述归一化传感器数据对应所述数据图像的一个像素点。

结合本发明第一方面的第二实施方式，本发明第三实施方式中，所述将M条所述归一化传感器数据保存为预设像素的所述数据图像，包括：

设置与所述预设像素相同的矩阵；

将所述归一化传感器数据顺序填充至所述矩阵中。

结合本发明第一方面的第三实施方式，本发明第四实施方式中，所述归一化传感器数据的长度小于所述矩阵的长度时，以0或1填充。

结合本发明第一方面的第一实施方式，本发明第五实施方式中，所述通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像包括：

获取传感器样本数据和数据样本图像，所述样本图像包括与所述传感器样本数据对应的曲线图像；

将所述传感器样本数据和所述样本图像输入所述神经网络进行训练，当所述神经网络输出的图像与所述样本图像近似时，记录训练网络参数；

根据不同的传感器样本数据和数据样本图像重复训练所述神经网络，获得训练网络参数集；

根据所述训练网络参数集优化所述神经网络，获得图像映射神经网络；

将所述传感器数据输入所述图像映射神经网络，获得以时间和所述传感器数据为变量的曲线图像。

本发明实施例第二方面提供了一种基于无人机指令序列的数据集构建装置，包括：

指令序列获取模块，用于获取指令序列，并将所述指令序列分为N组，N为正整数；

传感器数据获取模块，用于获取无人机执行第i组所述指令序列时的传感器数据，i为小于或等于N的正整数，i的初始值为1；

图像映射模块，用于将所述传感器数据映射为预设像素的数据图像，或映射为以时间和所述传感器数据为变量的曲线图像；

数据集构建模块，用于在i小于N时，令i＝i+1，并返回所述传感器数据获取模块和所述图像映射模块进行循环，循环结束后得到数据图像集和/或曲线图像集，并用于构建基于无人机指令序列的数据集。

结合本发明第二方面，本发明第一实施方式中，所述图像映射模块包括：

第一映射单元，用于通过归一化数据处理将所述传感器数据映射为预设像素的数据图像；

第二映射单元，用于通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。

本发明实施例提出一种基于无人机指令序列的数据集构建方法，将指令序列分为组，无人机每飞行一次，则执行其中一组指令序列，分析无人机每次飞行并执行指令序列时的传感器数据，获取到与传感器数据对应的数据图像，以及以时间和传感器数据为变量的、通过曲线图像表现的工作图像；通过上述的数据图像和工作图像，完成对无人机一次执行过程的记录。当无人机执行了所有的指令序列后，则可以获得基于所有指令序列的数据图像和工作图像，即数据图像集和工作图像集，最后通过数据图像集和/或工作图像集构建无人机指令序列的数据集。本发明实施例提供的方法将传感器中的通用数据转换为可视化数据，使得用于构建基于无人机指令序列的数据集来源于通用数据，但最终转换为不同形式的可视化数据，当此数据集用于生成指令序列，如应用在通用数据和可视化数据转换的神经网络的训练中时，能够简化计算过程，便于排错和优化，当此数据集应用在无人机指令序列的设计时，根据可视化数据，能够高效地规划出无人机飞行路线。

附图说明

图1为本发明实施例一提供的基于无人机指令序列的数据集构建方法的实现流程示意图；

图2为本发明实施例一提供的传感器数据；

图3为本发明实施例一提供的数据图像；

图4为本发明实施例一提供的曲线图像；

图5为本发明实施例二提供的基于无人机指令序列的数据集构建方法的实现流程示意图；

图6为本发明实施例三提供的基于无人机指令序列的数据集构建方法的实现流程示意图；

图7为本发明实施例四提供的基于无人机指令序列的数据集构建装置的组成结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

在后续的描述中，发明实施例序号仅仅为了描述，不代表实施例的优劣。

实施例一

如图1所示，本发明实施例一提供了一种基于无人机指令序列的数据集构建方法，包括但不限于以下步骤：

S1、获取指令序列，并将所述指令序列分为N组，N为正整数。

在上述步骤S1中，无人机每飞行一次，则执行一组指定的指令序列。

在具体应用中，指令序列的分组可以根据无人机的实际飞行场景划分。

S2、获取无人机执行第i组所述指令序列时的传感器数据，i为小于或等于N的正整数，i的初始值为1。

在上述步骤S2中，假设在无人机执行指令序列飞行过程中，以100hz的采集频率，去采集传感器中TOF距离的测量值，即每间隔10ms采集一次TOF距离的值，并将每次采集的数据保存到指定文件夹，直至一组指令序列执行完毕。

在具体应用中，无人机执行不同组的指令序列时，其飞行场景也有所变化，则设置于无人机上的传感器所采集的传感器数据也不相同。例如，第一组指令序列所对应的飞行场景为：起飞—上升50—降落，则传感器数据将包括一个离地高度数据；第二组指令序列所对应的飞行场景为：起飞—上升50—上升50—降落，则传感器数据将包括两个离地高度数据。

在本发明实施例中，传感器数据可以为任意的与无人机飞行场景有关的数据，如飞行速度、飞行时间和飞行高度等。

S3、将所述传感器数据映射为预设像素的数据图像，或映射为以时间和所述传感器数据为变量的曲线图像。

上述步骤S3通过映射，将通用数据转换为可视化数据；其中，传感器数据为通用数据，使用具体的数值进行精确表示；数据图像和曲线图像则是一种可视化数据，数据图像和曲线图像可以直观地表示传感器数据，适用于神经网络的训练。

在具体应用中，可以通过不同的转换方法，将通用数据转换为两种形式的可视化数据，即数据图像和曲线图像。

在具体应用中，映射所获得的数据图像为彩色图像。

在一个实施例中，上述步骤S3的实现方式可以包括：

通过归一化数据处理将所述传感器数据映射为预设像素的数据图像；

通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像。

在具体应用中，将传感器数据输入神经网络之前，也需要对传感器数据进行归一化等数据处理流程。

S4、在i小于N时，令i＝i+1，并返回S2进行循环，循环结束后得到数据图像集和/或曲线图像集，并用于构建基于无人机指令序列的数据集。

在上述步骤S4中，N次重复S2至S3中的步骤，以使无人机将N组指令序列执行完毕，而每次执行指令序列时，由S2至S3中的步骤，可以获得数据图像或曲线图像，N次执行指令序列则获得了多个数据图像或多个曲线图像，形成数据图像集和曲线图像集。

在实际应用中，无人机指令序列是基于数据集进行构建的，也就是说数据集可以用于辅助决策处理无人机指令序列的构建，因此数据集中的数据既需要能够有效的反应无人机飞行场景，还需要具有精确的环境数据，数据集的获取渠道主要为设置在无人机上的传感器数据，则通过上述步骤S1至步骤S4，使无人机的传感器数据能够准确反馈实际场景，有利于构建合理的无人机指令序列，同时也可以提高无人机路线规划的效率。

在具体应用中，在根据上述的数据图像集和/或曲线图像集构建基于无人机指令序列的数据集时，包括以下情况：

获取了多个数据图像和多个曲线图像，并根据数据图像集和曲线图像集构建基于无人机指令序列的数据集；

获取了多个数据图像，并根据数据图像集构建基于无人机指令序列的数据集；

获取了多个曲线图像，并根据曲线图像集构建基于无人机指令序列的数据集。

本发明实施例还提供了一份无人机指令序列，示例性地说明根据数据图像集和曲线图像集，构建基于无人机指令序列的数据集的过程：

其中，上述的无人机指令序列根据无人机的飞行场景进行分组划分，划分结果如下表：

基准场景	场景1	场景2	场景3	场景4	场景5
						command	command	command	command	command	command
takeoff	takeoff	takeoff	takeoff	takeoff	takeoff
						land	up 50	down 50	up 50	up 50	down 50
	land	land	up 50	down 50	up 50
									land	land	land

由于无人机指令序列被划分为了5个组，因此，无人机将分别执行上表所述的5组指令序列。

图2示出了无人机在执行每一组指令序列时，通过程序，记录的传感器数据，总计5组。其中，最初保存的传感器数据为通用数据，本发明实施例将上述的通用数据将转换为可视化数据。

在本发明实施例中，以传感器器中的TOF数据作为进行映射的传感器数据，映射后的结果均以图像格式保存。而在实际应用中，还可以将传感器中的其他数据作为进行映射的传感器数据。

如图3所示，是由4组TOF数据分别映射而成的具有预设像素的4组数据图像；如图4所示，是由4组TOF数据分别映射而成的4组曲线图像，其中，横轴表示时间，纵轴表示传感器采集到的距离测量值，即无人机的飞行高度。

上述的4组数据图像作为图像数据集，4组曲线图像作为曲线图像集，通过此图像数据集和曲线图像集，则可以构建基于无人机指令序列的数据集。

本发明实施例提供的于无人机指令序列的数据集构建方法，将指令序列分为组，无人机每飞行一次，则执行其中一组指令序列，分析无人机每次飞行并执行指令序列时的传感器数据，获取到与传感器数据对应的数据图像，以及以时间和传感器数据为变量的、通过曲线图像表现的工作图像；通过上述的数据图像和工作图像，完成对无人机一次执行过程的记录。当无人机执行了所有的指令序列后，则可以获得基于所有指令序列的数据图像和工作图像，即数据图像集和工作图像集，最后通过数据图像集和/或工作图像集构建无人机指令序列的数据集。本发明实施例提供的方法将传感器中的通用数据转换为可视化数据，使得用于构建基于无人机指令序列的数据集来源于通用数据，但最终转换为不同形式的可视化数据，当此数据集用于生成指令序列，如应用在通用数据和可视化数据转换的神经网络的训练中时，能够简化计算过程，便于排错和优化，当此数据集应用在无人机指令序列的设计时，根据可视化数据，能够高效地规划出无人机飞行路线。

实施例二

本发明实施例对实施例一的步骤S3中，映射出数据图像的过程进行说明。

如图5所示，在本发明实施例中，步骤S3中的通过归一化数据处理将所述传感器数据映射为预设像素的数据图像，包括：

S311、归一化所述传感器数据，获得M条归一化传感器数据；

在上述步骤S311中，归一化后的传感器数据在[0,1]的范围内，因此可以映射出彩色图。

其中，M为正整数。

S312、将M条所述归一化传感器数据保存为预设像素的所述数据图像。

其中，任一条所述归一化传感器数据对应所述数据图像的一个像素点。

在一个实施例中，S312包括：

设置与所述预设像素相同的矩阵；

将所述归一化传感器数据顺序填充至所述矩阵中。

以传感器数据为TOF数据为例，假设预设像素为32x32，则设置矩阵时，矩阵中的元素数量及排布与应与预设像素相同，即此矩阵应设置为32x32大小；若无人机所执行的指令序列中包括32组指令序列，则归一化传感器数据的数量与矩阵匹配，每一条归一化传感器数据都可以单独映射到矩阵的一个元素位置中去，最终将映射完成后的矩阵以图像形式保存。

在一个实施例中，归一化传感器数据的长度小于矩阵的长度时，以0或1填充。

例如，无人机所执行的指令序列中仅包括31组指令序列，则需设置第32组指令序列，填充指令序列，即令第32组指令序列为0或1。

在具体应用中，归一化传感器数据填充至矩阵中时，其填充顺序可以为行或者列填充的方式。

实施例三

本发明实施例对实施例一的步骤S3中，映射出曲线图像的过程进行说明。

如图6所示，在本发明实施例中，步骤S3中的通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像包括：

S321、获取传感器样本数据和数据样本图像。

其中，样本图像包括与传感器样本数据对应的曲线图像。

S322、将所述传感器样本数据和所述样本图像输入所述神经网络进行训练，当所述神经网络输出的图像与所述样本图像近似时，记录训练网络参数。

S323、根据不同的传感器样本数据和数据样本图像重复训练所述神经网络，获得训练网络参数集。

S324、根据所述训练网络参数集优化所述神经网络，获得图像映射神经网络。

S325、将所述传感器数据输入所述图像映射神经网络，获得以时间和所述传感器数据为变量的曲线图像。

上述步骤S321至步骤S324为图像映射神经网络的训练，以样本图像为标准，参考不同参数的神经网络所输出的图像是否与样本图像接近，从而选择有效的训练网络参数，最终获得图像映射神经网络。

由于样本图像包括曲线图像，因此使得步骤S325中，可以通过训练好的图像映射神经网络，根据传感器数据输出与传感器数据对应的曲线图像。

实施例四

如图7所示，本发明实施例提供了一种基于无人机指令序列的数据集构建装置70，包括：

指令序列获取模块71，用于获取指令序列，并将指令序列分为N组，其中，N为正整数。

传感器数据获取模块72，用于获取无人机执行第i组指令序列时的传感器数据，其中，i为小于或等于N的正整数，i的初始值为1。

图像映射模块73，用于将传感器数据映射为预设像素的数据图像，或映射为以时间和传感器数据为变量的曲线图像。

数据集构建模块74，用于在i小于N时，令i＝i+1，并返回传感器数据获取模块和图像映射模块进行循环，循环结束后得到数据图像集和/或曲线图像集，并用于构建基于无人机指令序列的数据集。

在一个实施例中，图像映射模块73包括：

第一映射单元，用于通过归一化数据处理将传感器数据映射为预设像素的数据图像；

第二映射单元，用于通过神经网络将传感器数据映射为以时间和传感器数据为变量的曲线图像。

在本发明实施例中，图像映射模块根据外部指令，选择由第一映射单元或第二映射单元进行映射处理。

本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如实施例一中所述的基于无人机指令序列的数据集构建方法中的各个步骤。

本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如实施例一中所述的基于无人机指令序列的数据集构建方法中的各个步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人机指令序列的数据集构建方法，其特征在于，包括：

S1、获取指令序列，并将所述指令序列分为N组，N为正整数；

S2、获取无人机执行第i组所述指令序列时的传感器数据，i为小于或等于N的正整数，i的初始值为1；

S3、将所述传感器数据映射为预设像素的数据图像，或映射为以时间和所述传感器数据为变量的曲线图像；

S4、在i小于N时，令i＝i+1，并返回S2进行循环，循环结束后得到数据图像集和/或曲线图像集，并用于构建基于无人机指令序列的数据集。

2.如权利要求1所述的基于无人机指令序列的数据集构建方法，其特征在于，所述S3包括：

通过归一化数据处理将所述传感器数据映射为预设像素的数据图像；

通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像。

3.如权利要求2所述的基于无人机指令序列的数据集构建方法，其特征在于，所述通过归一化数据处理将所述传感器数据映射为预设像素的数据图像，包括：

归一化所述传感器数据，获得M条归一化传感器数据，M为正整数；

将M条所述归一化传感器数据保存为预设像素的所述数据图像；

其中，任一条所述归一化传感器数据对应所述数据图像的一个像素点。

4.如权利要求3所述的基于无人机指令序列的数据集构建方法，其特征在于，所述将M条所述归一化传感器数据保存为预设像素的所述数据图像，包括：

设置与所述预设像素相同的矩阵；

将所述归一化传感器数据顺序填充至所述矩阵中。

5.如权利要求4所述的基于无人机指令序列的数据集构建方法，其特征在于，所述归一化传感器数据的长度小于所述矩阵的长度时，以0或1填充。

6.如权利要求2所述的基于无人机指令序列的数据集构建方法，其特征在于，所述通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像包括：

获取传感器样本数据和数据样本图像，所述样本图像包括与所述传感器样本数据对应的曲线图像；

将所述传感器样本数据和所述样本图像输入所述神经网络进行训练，当所述神经网络输出的图像与所述样本图像近似时，记录训练网络参数；

根据不同的传感器样本数据和数据样本图像重复训练所述神经网络，获得训练网络参数集；

根据所述训练网络参数集优化所述神经网络，获得图像映射神经网络；

将所述传感器数据输入所述图像映射神经网络，获得以时间和所述传感器数据为变量的曲线图像。

7.一种基于无人机指令序列的数据集构建装置，其特征在于，包括：

指令序列获取模块，用于获取指令序列，并将所述指令序列分为N组，N为正整数；

传感器数据获取模块，用于获取无人机执行第i组所述指令序列时的传感器数据，i为小于或等于N的正整数，i的初始值为1；

图像映射模块，用于将所述传感器数据映射为预设像素的数据图像，或映射为以时间和所述传感器数据为变量的曲线图像；

数据集构建模块，用于在i小于N时，令i＝i+1，并返回所述传感器数据获取模块和所述图像映射模块进行循环，循环结束后得到数据图像集和/或曲线图像集，并用于构建基于无人机指令序列的数据集。

8.如权利要求7所述的基于无人机指令序列的数据集构建装置，其特征在于，所述图像映射模块包括：

第一映射单元，用于通过归一化数据处理将所述传感器数据映射为预设像素的数据图像；

第二映射单元，用于通过神经网络将所述传感器数据映射为以时间和所述传感器数据为变量的曲线图像。

9.一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一项所述的基于无人机指令序列的数据集构建方法中的各个步骤。

10.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的基于无人机指令序列的数据集构建方法中的各个步骤。