CN115617079B - 一种可交互无人机系统 - Google Patents

Abstract

本发明公开了一种可交互无人机系统，涉及无人机领域，其包括表演无人机、辅助定位无人机、地面定位器和地面控制台；地面控制台包括主控中心、通信模块、地图绘制模块、交互模块、定位模块和参数生成模块。本发明使用表演无人机的惯性里程计作为基础的定位信息，并使用辅助定位无人机将表演无人机修正定位数据回传到地面控制台。地面控制台通过实时精准的定位数据可以快速进行轨迹规划，建立起各个无人机的安全飞行走廊。本发明通过图像识别和航点智能分配使得复杂的无人机群表演拥有了实时交互性。

Description

一种可交互无人机系统

技术领域

本发明涉及无人机领域，具体涉及一种可交互无人机系统。

背景技术

随着无人机相关技术的快速发展，无人机编队表演逐渐走进了人们的视野，但是因为无人机本身的自主飞行能力和编队编程难度，市场上并没有一款能提供给消费者拥有时实交互体验的无人机编队表演方案和系统。

根据现有的研究现状来看：大型的室外无人机集群灯光秀表演主要是使用RTK(Real-time kinematic，实时动态)通过建立在地面的基准站校准，通过地面站将RTK的修正数据通过飞行控制器的数传系统发送给无人机，使得差分GPS的精度可以达到厘米级；室内的无人机群表演，一般则是通过无人机的底部的超声波高度计，用来测量无人机距地面高度，而向下的摄像头可以识别这些地面上的标记点来完成定位。满足定位要求之后室内外的无人机表演由于现有的无人机集群中所使用的无人机个体只是通过自己的定位数据来飞行，无人机本身对于环境感知和智能自主飞行能力几乎为零。这增加了无人机编队的训练成本，在需要完成既定的飞行表演时编程人员需要通过人工进行对每个无人机进行单独编程、训练整合以达到集群飞行的效果，对于队形提前进行的模拟仿真、建模和学习的过程一般需要两到三天，这样的模式需要大量的时间和人力成本进行表演平台的搭建无法满足无人机实时可交互表演的需求。

发明内容

针对现有技术中的上述不足，本发明提供的一种可交互无人机系统解决了现有无人机系统难以满足实时交互的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种可交互无人机系统，其包括表演无人机、辅助定位无人机地面定位器和地面控制台；地面控制台包括主控中心、通信模块、地图绘制模块、交互模块、定位模块和参数生成模块；

表演无人机包括至少一个飞行控制器、惯性测量单元、灯光单元、第一通信单元和第一机载处理器；其中惯性测量单元用于获取表演无人机的位置信息，记为第一定位信息；

辅助定位无人机包括至少一个飞行控制器、惯性测量单元、气压高度传感器、机载相机、第二通信单元和第二机载处理器；其中机载相机用于拍摄包含表演无人机的图像；

地面定位器，用于向辅助定位无人机提供自定位标识；

通信模块，用于与表演无人机和辅助定位无人机进行数据交互；

定位模块，用于根据辅助定位无人机的位置信息和机载相机拍摄的图像获取表演无人机的位置信息，记为第二定位信息；

地图绘制模块，用于绘制表演全域地图，并根据第二定位信息绘制实时定位地图；

交互模块，用于识别并生成交互方案；

参数生成模块，用于对各个表演无人机进行飞行走廊的生成和轨迹优化，即生成表演无人机的飞行参数；

飞行控制器，用于根据第二定位信息校正第一定位信息，并执行参数生成模块生成的飞行参数。

进一步地，辅助定位无人机和地面定位器均为3个，每个辅助定位无人机通过一个地面定位器进行水平位置的确定，并通过自身的气压高度传感器进行高度控制，实现稳定悬停；3个辅助定位无人机分别位于表演无人机群的左侧、右侧和后侧。

进一步地，定位模块获取第二定位信息的具体方法为：

预设各个表演无人机在编队时的灯光RGB数据，获取机载相机拍摄的每架表演无人机在编队时的灯光RGB图像，通过张正友标定法根据灯光RGB图像获取表演无人机的编号及其三维坐标数据，得到第二定位信息。

进一步地，当在设定时间内未取得所有表演无人机的第二定位信息时，通过主控中心使取得第二定位信息的表演无人机关闭灯光，并使未取得第二定位信息的表演无人机提高灯光亮度，直至得到所有表演无人机的第二定位信息。

进一步地，参数生成模块生成表演无人机的飞行参数的具体方法包括以下步骤：

A1、根据表演方案为各个表演无人机分配当前终点坐标；

A2、将表演无人机的当前坐标与当前终点坐标进行连线，得到若干预设轨迹和预设飞行参数；

A3、判断是否存在最小距离小于最小安全距离的两个预设轨迹，若是则将该两个预设轨迹记为相互干涉轨迹并进入步骤A4；否则将当前的预设轨迹和预设飞行参数作为表演无人机的运动轨迹和飞行参数，生成飞行走廊；

A4、获取a轨迹上距离b轨迹最近的点a^*，以及b轨迹上距离a轨迹最近的点b^*；其中a轨迹和b轨迹为相互干涉轨迹；最近的点为干涉点；

A5、分别获取a轨迹的表演无人机到达点a^*的时间t_a和b轨迹的表演无人机到达点b^*的时间t_b；

A6、判断t_a和t_b的差值是否大于安全间隔时间，若是则判定该相互干涉轨迹的表演无人机无碰撞风险，将当前的预设轨迹和预设飞行参数作为对应表演无人机的运动轨迹和飞行参数，生成飞行走廊；否则进入步骤A7；

A7、延迟较晚到达干涉点的表演无人机达到干涉点的时间，使两个表演无人机分别达到对应干涉点的时间差大于等于安全间隔时间，获取对应的轨迹和飞行参数，生成飞行走廊。

进一步地，交互模块识别并生成交互方案的具体方法包括以下步骤：

B1、获取用户通过小程序或移动设备画出的表演图案和选择的灯光特效；

B2、通过图像识别将用户画出的图案分解为特征点，通过参数生成模块生成相应的飞行参数；

B3、通过地面控制台处的摄像头拍摄达到相应位置的表演无人机群的图像；

B4、判断摄像头获取的图像与用户画出的图像的相似度是否达到阈值，若是则进行相应的灯光表演；否则单独调整部分表演无人机的位置直至摄像头获取的图像与用户画出的图像的相似度达到阈值。

进一步地，交互模块内预置有表演图案，当用户画出的图案与预置的表演图案相似度达到阈值时，通过提示框供用户确认是否选择相应的预置表演图案。

进一步地，表演无人机上还设置有电量监控模块；当一段表演结束后，电量监控模块根据其所在表演无人机的实时电量控制灯光单元进行电量显示：

若表演无人机的实时电量无法满足下一段表演，则控制灯光单元进行红灯常亮；

若表演无人机的实时电量足够进行表演，则根据预设的单次表演需电量获取可进行表演的次数，并通过绿灯闪烁的方式进行通告；其中绿灯闪烁次数表示可进行表演的次数；

灯光单元展示的电量信息由辅助定位无人机获取并发送至地面控制台。

本发明的有益效果为：本发明使用辅助定位无人机通过视觉方案获取表演无人机的真实位置数据。地面控制台通过实时精准的定位数据可以快速进行轨迹规划，建立起各个无人机的安全飞行走廊；飞行控制器根据地面控制台反馈的真实位置数据和飞行参数进行自定位数据校准与飞行，降低了信道压力和干扰提升了数据传输的效率。本发明通过图像识别和航点智能分配使得复杂的无人机群表演拥有了实时交互性。

附图说明

图1为本可交互无人机系统结构框图；

图2为左右两侧的辅助定位无人机得到每个表演无人机在世界坐标系下的Y轴和Z轴定位信息示意图；

图3为左侧辅助定位无人机的视角示意图；

图4为后侧的辅助定位无人机可以得到每个表演无人机在世界坐标系下的X轴和Z轴定位信息示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该可交互无人机系统包括表演无人机、辅助定位无人机、地面定位器和地面控制台；地面控制台包括主控中心、通信模块、地图绘制模块、交互模块、定位模块和参数生成模块；

表演无人机包括至少一个飞行控制器、惯性测量单元、灯光单元、第一通信单元和第一机载处理器；其中惯性测量单元用于获取表演无人机的位置信息，记为第一定位信息；

辅助定位无人机包括至少一个飞行控制器、惯性测量单元、气压高度传感器、机载相机、第二通信单元和第二机载处理器；其中机载相机用于拍摄包含表演无人机的图像；

地面定位器，用于向辅助定位无人机提供自定位标识；

通信模块，用于与表演无人机和辅助定位无人机进行数据交互；

定位模块，用于根据辅助定位无人机的位置信息和机载相机拍摄的图像获取表演无人机的位置信息，记为第二定位信息；

地图绘制模块，用于绘制表演全域地图，并根据第二定位信息绘制实时定位地图；

交互模块，用于识别并生成交互方案；

参数生成模块，用于对各个表演无人机进行飞行走廊的生成和轨迹优化，即生成表演无人机的飞行参数；

飞行控制器，用于根据第二定位信息校正第一定位信息，并执行参数生成模块生成的飞行参数。

辅助定位无人机和地面定位器均为3个，每个辅助定位无人机通过一个地面定位器进行水平位置的确定，并通过自身的气压高度传感器进行高度控制，实现稳定悬停；3个辅助定位无人机分别位于表演无人机群的左侧、右侧和后侧。

定位模块获取第二定位信息的具体方法为：预设各个表演无人机在编队时的灯光RGB数据，获取机载相机拍摄的每架表演无人机在编队时的灯光RGB图像，通过张正友标定法根据灯光RGB图像获取表演无人机的编号及其三维坐标数据，得到第二定位信息。

当在设定时间内未取得所有表演无人机的第二定位信息时，通过主控中心使取得第二定位信息的表演无人机关闭灯光，并使未取得第二定位信息的表演无人机提高灯光亮度，直至得到所有表演无人机的第二定位信息。

参数生成模块生成表演无人机的飞行参数的具体方法包括以下步骤：

A1、根据表演方案为各个表演无人机分配当前终点坐标；

A2、将表演无人机的当前坐标与当前终点坐标进行连线，得到若干预设轨迹和预设飞行参数；

A3、判断是否存在最小距离小于最小安全距离的两个预设轨迹，若是则将该两个预设轨迹记为相互干涉轨迹并进入步骤A4；否则将当前的预设轨迹和预设飞行参数作为表演无人机的运动轨迹和飞行参数，生成飞行走廊；

A4、获取a轨迹上距离b轨迹最近的点a^*，以及b轨迹上距离a轨迹最近的点b^*；其中a轨迹和b轨迹为相互干涉轨迹；最近的点为干涉点；

A5、分别获取a轨迹的表演无人机到达点a^*的时间t_a和b轨迹的表演无人机到达点b^*的时间t_b；

A6、判断t_a和t_b的差值是否大于安全间隔时间，若是则判定该相互干涉轨迹的表演无人机无碰撞风险，将当前的预设轨迹和预设飞行参数作为对应表演无人机的运动轨迹和飞行参数，生成飞行走廊；否则进入步骤A7；

A7、延迟较晚到达干涉点的表演无人机达到干涉点的时间，使两个表演无人机分别达到对应干涉点的时间差大于等于安全间隔时间，获取对应的轨迹和飞行参数，生成飞行走廊。

交互模块识别并生成交互方案的具体方法包括以下步骤：

B1、获取用户通过小程序或移动设备画出的表演图案和选择的灯光特效；此外，用户也可以通过地面控制台的触摸屏现场进行表演方案绘制；

B2、通过图像识别将用户画出的图案分解为特征点，通过参数生成模块生成相应的飞行参数；

B3、通过地面控制台处的摄像头拍摄达到相应位置的表演无人机群的图像；

B4、判断摄像头获取的图像与用户画出的图像的相似度是否达到阈值，若是则进行相应的灯光表演；否则单独调整部分表演无人机的位置直至摄像头获取的图像与用户画出的图像的相似度达到阈值。

交互模块内预置有表演图案，当用户画出的图案与预置的表演图案相似度达到阈值时，通过提示框供用户确认是否选择相应的预置表演图案。

表演无人机上还设置有电量监控模块；当一段表演结束后，电量监控模块根据其所在表演无人机的实时电量控制灯光单元进行电量显示：

若表演无人机的实时电量无法满足下一段表演，则控制灯光单元进行红灯常亮；

若表演无人机的实时电量足够进行表演，则根据预设的单次表演需电量获取可进行表演的次数，并通过绿灯闪烁的方式进行通告；其中绿灯闪烁次数表示可进行表演的次数；

灯光单元展示的电量信息由辅助定位无人机获取并发送至地面控制台。

在具体实施过程中，惯性测量单元主要为惯性传感器，其航位推算方法是作为相对定位的常用方法，思想是利用三轴的加速度计和三轴的陀螺仪，加速度计用于输出无人机坐标系中的三个坐标轴上的加速度信息，而陀螺仪用于输出世界坐标系中三个坐标轴方向上的角速度信息，之后根据载体在三维空间中的角速度以及加速度值算出对应的位姿。因为基于惯性传感器的定位方法随着时间的增长会有漂移，比较小的常数误差被积分后会无限放大，所以本系统增加了辅助定位无人机来获取表演无人机的真实位置信息。

在首次编队时可以先规划好表演无人机飞行的正方体空间，并在其左右两侧和面对于控制台的后侧一共放置好三架辅助定位无人机，并在三架辅助定位无人机的下方地面各自固定好一个发光的二维码板作为定位标识，再通过辅助定位无人机机载的气压传高度感器获得一个优秀的稳定悬停能力。以此辅助定位无人机可以稳定的悬停在表演正方体空间的左右侧和后侧的矩形面的正中间，并通过机载相机进行拍摄，通过张正友标定法处理好图像的畸变并传递到主控平台。表演无人机在调整编队的时候灯光会进入到编队模式，每一架表演无人机都会拥有它自己的对应灯光颜色，这时分别在左、右、后侧的辅助无人机就会根据每架表演无人机灯光RGB（red green blue）数据进行判断识别，每一个颜色对应上每一架飞机，如图2所示，左右两侧的辅助定位无人机可以得到每个表演无人机在世界坐标系下的Y轴和Z轴定位信息，后侧的辅助定位无人机可以得到每个表演无人机在世界坐标系下的X轴和Z轴定位信息。其中左侧辅助定位无人机的视角如图3所示，后侧的辅助定位无人机的视角如图4所示。图2、图3和图4中的圆圈均表示表演无人机。

需要说明的是，表演无人机在进行灯光表演时，辅助定位无人机也可以通过机载相机进行拍照，地面控制台可以根据照片拍摄时间、灯光RGB数据和相应的灯光参数对表演无人机进行识别与定位。

考虑到无人机表演是在开阔空间进行没有多余的障碍物，无人机向航点飞行的轨迹可以用一条笔直的线段为预设轨迹。地面控制台可以先将用户画出的二维图案分解成一个个的特征点作为无人机的目标航点，再依次以每个目标航点为中心选出到该航点直线距离最短的表演无人机，将无人机和目标航点匹配并规划出无人机到航点的直线轨迹，由于表演无人机达到目标航点后会悬停在该航点处，为了避免目标航点阻挡航迹，在连续规划表演编队时将会以一高一低两个基准编队高度轮换进行编队，高度差距约为2m在保证表演效果的前提下保证飞行轨迹的可优化性。所有无人机的轨迹建立好之后检测是否出现轨迹与轨迹之间的相交，直线轨迹间的最小距离可以表示为：

其中

为生成的轨迹数量，

和

分别为轨迹

和

上的点，

表示距离；

表示任意。

交点的检测可以表示为：

其中

表示存在，

为轨迹

上距离轨迹

最短的一点，

为轨迹

上距离轨迹

最短的一点，即干涉点；

表示约束；C1表示检验两轨迹间的最小距离

小于或等于无人机间的最小距离；C2表示在出现最小安全距离时轨迹上的空间点。

以无人机群到达交点时间的先后顺序提取出交点并检验是否为可能的碰撞点，检验的过程为：

其中

是表演无人机以匀速飞行的速度，

和

为轨迹的起点，

为表演无人机不会发生碰撞的安全间隔时间。C3计算出两轨迹对应无人机到轨迹相交点的达到时间

和

。C4对到达时间做差值得出到达相差时间T并与安全间隔时间作对比，T大于等于

表示不会发生碰撞，即可以保持原来的速度继续匀速飞行安全通过干涉点。T小于

表示可能会发生碰撞，因此需要对表演无人机的飞行参数进行优化。优化的过程为：

为优化后的到达相差时间满足安全间隔时间；

为延迟的时间，

为减速区间的固定长度，

为表演无人机飞过减速区间需要的时间，

为表演无人机匀减速的加速度且不大于表演无人机的最大加速度

；

表示求二阶导数。

地面控制台会将减速区间分配给较晚达到交点的表演无人机，让该表演无人机进行匀减速运动，使轨迹上的表演无人机达到交点的时间差稍大于安全间隔时间保证不发生碰撞，当表演无人机通过交点后恢复原来的飞行速度并保持匀速飞向指定航点。之后地面控制台将所有飞行的控制数据通过WIFI网络传给表演无人机群后开始飞行，在飞行过程中辅助定位无人机将实时的定位数据传回到地面控制台并对表演无人机的定位数据进行修正，由于地面控制台只需要实时单向给表演无人机发送定位和轨迹信息，信号干扰小且传输效率高，让表演无人机的反应速度大大提升。当受到外部影响出现轨迹的突然改变，地面控制台会识别到将会出现的碰撞情况，并快速发出指令使会发生的表演无人机间建立通信，让它们迅速按照不同的速率减缓速度增加它们的速度差来规避碰撞，如轨迹偏移量过大则会发出悬停指令保证区域无人机的飞行安全。

当需要结束表演时，只需要统一向无人机发出回收指令，表演无人机将会根据自己各自的出发点自主返回到各自起飞点，最后辅助定位无人机下降回到二维码标定的起始点。

综上所述，本发明采用辅助定位无人机，对表演无人机群进行定位并绘制定位地图，实时感知表演无人机的具体位置，并通过检测表演无人机灯光的变化可以知晓它们的状态信息。由于无人机群的定位信息只需要由辅助定位无人机整合回传，降低了信道压力和干扰提升了数据传输的效率，使得地面控制台可以通过精准简洁的实时定位和状态信息进行优化轨迹并给每一架表演无人机建立起具有实时性的飞行走廊，让无人机进行自主飞行，且拥有一定的修正路线和避障能力，进一步提升了飞行稳定性和编队速度。地面控制台处的摄像头也作为无人机定位感知的一部分，在修正定位数据的同时，由于它的位置和用户位置相近，它的最终视觉检测既是观众最终能够看到的效果，以求达到最佳的表演效果。最终将用户对飞行效果的感知和无人机群对飞行指令感知有效的结合在一起，达到真正的实时交互式操作。

Claims (7)

1.一种可交互无人机系统，其特征在于，包括表演无人机、辅助定位无人机、地面定位器和地面控制台；地面控制台包括主控中心、通信模块、地图绘制模块、交互模块、定位模块和参数生成模块；

表演无人机包括至少一个飞行控制器、惯性测量单元、灯光单元、第一通信单元和第一机载处理器；其中表演无人机的惯性测量单元用于获取表演无人机的位置信息，记为第一定位信息；

辅助定位无人机包括至少一个飞行控制器、惯性测量单元、气压高度传感器、机载相机、第二通信单元和第二机载处理器；其中机载相机用于拍摄包含表演无人机的图像；

地面定位器，用于向辅助定位无人机提供自定位标识；

通信模块，用于与表演无人机和辅助定位无人机进行数据交互；

定位模块，用于根据辅助定位无人机的位置信息和机载相机拍摄的图像获取表演无人机的位置信息，记为第二定位信息；

地图绘制模块，用于绘制表演全域地图，并根据第二定位信息绘制实时定位地图；

交互模块，用于识别并生成交互方案；

参数生成模块，用于对各个表演无人机进行飞行走廊的生成和轨迹优化，即生成表演无人机的飞行参数；

表演无人机的飞行控制器，用于根据第二定位信息校正第一定位信息，并执行参数生成模块生成的飞行参数；

参数生成模块生成表演无人机的飞行参数的具体方法包括以下步骤：

A1、根据表演方案为各个表演无人机分配当前终点坐标；

A2、将表演无人机的当前坐标与当前终点坐标进行连线，得到若干预设轨迹和预设飞行参数；

A3、判断是否存在最小距离小于最小安全距离的两个预设轨迹，若是则将该两个预设轨迹记为相互干涉轨迹并进入步骤A4；否则将当前的预设轨迹和预设飞行参数作为表演无人机的运动轨迹和飞行参数，生成飞行走廊；

A4、获取a轨迹上距离b轨迹最近的点a^*，以及b轨迹上距离a轨迹最近的点b^*；其中a轨迹和b轨迹为相互干涉轨迹；最近的点为干涉点；

A5、分别获取a轨迹的表演无人机到达点a^*的时间t_a和b轨迹的表演无人机到达点b^*的时间t_b；

A6、判断t_a和t_b的差值是否大于安全间隔时间，若是则判定该相互干涉轨迹的表演无人机无碰撞风险，将当前的预设轨迹和预设飞行参数作为对应表演无人机的运动轨迹和飞行参数，生成飞行走廊；否则进入步骤A7；

A7、延迟较晚到达干涉点的表演无人机达到干涉点的时间，使两个表演无人机分别达到对应干涉点的时间差大于等于安全间隔时间，获取对应的轨迹和飞行参数，生成飞行走廊。

2.根据权利要求1所述的一种可交互无人机系统，其特征在于，辅助定位无人机和地面定位器均为3个，每个辅助定位无人机通过一个地面定位器进行水平位置的确定，并通过自身的气压高度传感器进行高度控制，实现稳定悬停；3个辅助定位无人机分别位于表演无人机群的左侧、右侧和后侧。

3.根据权利要求2所述的一种可交互无人机系统，其特征在于，定位模块获取第二定位信息的具体方法为：

预设各个表演无人机在编队时的灯光RGB数据，获取机载相机拍摄的每架表演无人机在编队时的灯光RGB图像，通过张正友标定法根据灯光RGB图像获取表演无人机的编号及其三维坐标数据，得到第二定位信息。

4.根据权利要求3所述的一种可交互无人机系统，其特征在于，当在设定时间内未取得所有表演无人机的第二定位信息时，通过主控中心使取得第二定位信息的表演无人机关闭灯光，并使未取得第二定位信息的表演无人机提高灯光亮度，直至得到所有表演无人机的第二定位信息。

5.根据权利要求1所述的一种可交互无人机系统，其特征在于，交互模块识别并生成交互方案的具体方法包括以下步骤：

B1、获取用户通过小程序或移动设备画出的表演图案和选择的灯光特效；

B2、通过图像识别将用户画出的图案分解为特征点，通过参数生成模块生成相应的飞行参数；

B3、通过地面控制台处的摄像头拍摄达到相应位置的表演无人机群的图像；

B4、判断摄像头获取的图像与用户画出的图像的相似度是否达到阈值，若是则进行相应的灯光表演；否则单独调整部分表演无人机的位置直至摄像头获取的图像与用户画出的图像的相似度达到阈值。

6.根据权利要求5所述的一种可交互无人机系统，其特征在于，交互模块内预置有表演图案，当用户画出的图案与预置的表演图案相似度达到阈值时，通过提示框供用户确认是否选择相应的预置表演图案。

7.根据权利要求1所述的一种可交互无人机系统，其特征在于，表演无人机上还设置有电量监控模块；当一段表演结束后，电量监控模块根据其所在表演无人机的实时电量控制灯光单元进行电量显示：

若表演无人机的实时电量无法满足下一段表演，则控制灯光单元进行红灯常亮；

若表演无人机的实时电量足够进行表演，则根据预设的单次表演需电量获取可进行表演的次数，并通过绿灯闪烁的方式进行通告；其中绿灯闪烁次数表示可进行表演的次数；

灯光单元展示的电量信息由辅助定位无人机获取并发送至地面控制台。

Images