CN114089784B - 一种基于mr眼镜的无人机控制方法及系统 - Google Patents

Abstract

本发明涉及无人机控制技术领域，尤其涉及一种基于MR眼镜的无人机控制方法及系统。本发明提供的基于MR眼镜的无人机控制方法，首先通过MR眼镜构建全息MR控制单元，接着将全息MR操控单元的姿态与无人机的姿势进行算法匹配，使得无人机的每一个姿势都对应着全息MR操控单元的某一个姿态，然后控制全息MR操控单元的姿态发生改变，最后无人机根据变化后的全息MR操控单元的姿态控制其自身进入对应姿势，实现对无人机精准便捷的控制。

Description

一种基于MR眼镜的无人机控制方法及系统

技术领域

本发明涉及无人机控制技术领域，尤其涉及一种基于MR眼镜的无人机控制方法及系统。

背景技术

混合现实技术(Mixed Reality,简称MR) 是物理世界和数字世界的混合，开启了人、计算机和环境之间的自然且直观的 3D 交互。作为虚拟现实技术的进一步发展，混合现实技术追求沉浸感—通过创建数字对象并将它们放置在真实环境中，使它们看起来确实存在，模糊真实空间与虚拟空间之间的界限，增强用户体验的真实感。

无人机是一种利用无线电遥控设备和自备的程序控制装置操纵飞行状态的无人飞行器。它能够趋于完美的利用人工智能、信号处理和自动驾驶等精尖技术，并因其它具有体积小、无人驾驶和航程远等优势而被广泛应用在自然环境考察、科普研究、农业领域诸多方面。最常使用的无人机控制方法是通过双手操控双杆遥控器向无人机下达控制指令，随着无人机的迅速发展，其功能越来越多样化，双杆遥控器亦需进行适配，若在双杆遥控器上设置与功能数量相匹配的功能控制键，虽能精准地操控无人机，但过多的功能控制键会使操作变得复杂，增加操作的难度，使得用户丧失良好的使用体验；若在双杆遥控器上设置有限的功能控制键，虽保证了用户能便捷地操作双杆遥控器，但有限的功能控制键所能下传的操控指令是有限的，无法实现对无人机的精准操纵。即通过无线电遥控设备无法实现对无人机精准便捷的控制，因此 在无人机功能越来越多样化的发展趋势下，通过MR技术简化用户的操作，实现无人机的精准便捷控制是必要的。

发明内容

本发明提供了一种基于MR眼镜的无人机控制方法，解决了通过无线电遥控设备无法精准便捷地控制无人机的问题。

本发明第一方面提供一种基于MR眼镜的无人机控制方法，包括：

构建全息MR操控单元；

将该全息MR操控单元的姿态与无人机的姿势进行匹配，包括：将交点c在XY平面的投影移动方向与该无人机在水平方向上的飞行方向进行算法匹配，将交点c的角度变化量与该无人机在水平方向上的飞行速度进行算法匹配，将球心g在该Z坐标轴上的位移与该无人机的升降和升降速度进行算法匹配，将交点a绕该Z坐标轴旋转的方向、角度和速度分别与摄像头的旋转方向、角度和速度进行算法匹配，该全息MR操控单元的姿态包括：旋转方向、旋转速度、旋转角度、平移方向、平移速度、平移高度、缩小和/或放大，该无人机的姿势包括：速度、方向、该摄像头的旋转方向、角度和速度；

控制该全息MR操控单元的姿态；

根据该全息MR操控单元的姿态的变化情况控制该无人机的姿势，包括：将该全息MR操控单元的姿态的变化情况转换成控制指令，根据该控制指令控制该无人机的姿势。

在第一方面的第一种可能实现的方法中，该控制该姿态包括：

通过人机交互控制该姿态，该人机交互包括：语音、手势虚拟抓取、旋转、缩放、平移和/或眼球视线跟随；

该根据该姿态的变化情况控制该姿势包括：

云服务器根据匹配算法将该姿态的变化情况转换成控制指令；

该无人机执行该控制指令进入对应的该姿势。

在第一方面的第二种可能实现的方法中，该将该全息MR操控单元的姿态与无人机的姿势进行匹配之前还包括：

构建全息MR监控界面和全息MR地图；

该全息MR监控界面包括：该无人机的联通状态交互界面和运行状态展示界面，该联通状态交互界面包括该无人机的名称列表、在线状态、当前电量、联通状态和群控通道，该运行状态展示界面包括该无人机所采集的实时图像信息和该姿势。

结合第一方面的第二种可能实现的方法，在第三种可能实现的方法中，构建全息MR地图包括：

利用第三方地图SDK构建全息MR地图；

将该全息MR地图与世界坐标进行网格坐标匹配并与该无人机的位置进行关联；

为该全息MR地图设置控制手势，该控制手势包括移动、旋转、缩放和/或触碰点击。

结合第一方面的第四种可能实现的方法，在第四种可能实现的方法中，该将该全息MR操控单元的姿态与无人机的姿势进行匹配之后还包括：

通过该全息MR地图选定该无人机的目标坐标点；

将根据该目标坐标点和该无人机的当前坐标点形成的路径规划信息叠加在该全息MR地图上。

结合第一方面的第二种可能实现的方法，在第五种可能实现的方法中，该构建全息MR操控单元之后还包括：

构建多人协同控制MR场景模块，具体为：将该全息MR监控界面、该全息MR地图和该全息MR操控单元加入Azure空间定位点，通过Azure服务器将协同控制设备接入该云服务器；

该全息MR监控界面包括：该无人机的联通状态交互界面和运行状态展示界面，该联通状态交互界面包括该无人机的名称列表、在线状态、当前电量、联通状态和群控通道，该运行状态展示界面包括该无人机所采集的实时图像信息和该姿势；

该协同控制设备包括MR眼镜、手机和/或电脑。

本发明第二方面提供一种基于MR眼镜的无人机控制系统，包括：

MR眼镜、无人机和云服务器；

该云服务器分别与该MR眼镜和该无人机网络连接；

该MR眼镜用于构建全息MR操控单元以及显示全息MR操控单元和该无人机的姿势，该全息MR操控单元为全息MR操控球，该全息MR操控球包括：垂直相交于球心g的X、Y和Z坐标轴、球面线以及该X、Y和Z坐标轴与该球面线的交点a、b和c，该无人机的姿势包括：速度、方向、该摄像头的旋转方向、角度和速度；

该无人机根据该全息MR操控单元的姿态的变化情况进行姿势调整，该全息MR操控单元的姿态包括：旋转方向、旋转速度、旋转角度、平移方向、平移速度、平移高度、缩小和/或放大；

该云服务器用于将该姿态和该姿势进行算法匹配，具体为：将交点c在XY平面的投影移动方向与该无人机在水平方向上的飞行方向进行算法匹配，将交点c的角度变化量与该无人机在水平方向上的飞行速度进行算法匹配，将球心g在该Z坐标轴上的位移与该无人机的升降和升降速度进行算法匹配，将交点a绕该Z坐标轴旋转的方向、角度和速度分别与摄像头的旋转方向、角度和速度进行算法匹配。

在第二方面的第一种可能实现的系统中，还包括：

协同控制设备和Azure服务器；

该云服务器分别与该协同控制设备网络连接；

该MR眼镜和该协同控制设备用于显示全息MR监控界面、全息MR地图和该全息MR操控单元，并通过该云服务器与该无人机进行数据交换；

该云服务器通过匹配算法将该全息MR操控单元的姿态的变化情况转换成该无人机的控制指令；

该Azure服务器用于将该全息MR监控界面、该全息MR地图和该全息MR操控单元与该协同控制设备共享。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的基于MR眼镜的无人机控制方法，首先通过MR眼镜构建全息MR操控单元，接着将全息MR操控单元的姿态与无人机的姿势进行算法匹配，使得无人机的每一个姿势都对应着全息MR操控单元的某一个姿态，然后控制全息MR操控单元的姿态发生改变，最后无人机根据变化后的姿态控制其自身进入对应姿势，实现对无人机的控制。因为全息MR操控单元的姿态数量足以对应所有的无人机功能，通过控制全息MR操控单元的姿态即可控制无人机执行其所有功能，实现对无人机的精准控制，且控制全息MR操控单元从一个姿态进入另一个姿态的动作符合人体动作习惯，使得控制无人机的操作难度大大降低，实现了对无人机的便捷控制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例示出的一种基于MR眼镜的无人机控制方法的流程示意图；

图2为本发明实施例示出的一种基于MR眼镜的无人机控制方法的另一流程示意图；

图3为本发明实施例示出的全息MR操控球的结构示意图；

图4为本发明实施例示出的全息MR监控界面；

图5为本发明实施例示出的全息MR地图；

图6为本发明实施例示出的一种基于MR眼镜的无人机控制系统的示意图；

图7为本发明实施例示出的一种基于MR眼镜的无人机控制系统的结构示意图。

具体实施方式

本发明实施例提供了一种基于MR眼镜的无人机控制方法，用于解决的技术问题是通过无线电遥控设备无法精准便捷地控制无人机。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

最常使用的无人机控制方法是通过双手操控双杆遥控器向无人机下达控制指令，随着无人机的迅速发展，其功能越来越多样化，双杆遥控器亦需进行适配，若在双杆遥控器上设置与功能数量相匹配的功能控制键，虽能精准地操控无人机，但过多的功能控制键会使操作变得复杂，增加操作的难度，使得用户丧失良好的使用体验；若在双杆遥控器上设置有限的功能控制键，虽保证了用户能便捷地操作双杆遥控器，但有限的功能控制键所能下传的操控指令是有限的，无法实现对无人机的精准操纵。即通过无线电遥控设备无法实现对无人机精准便捷的控制，因此 在无人机功能越来越多样化的发展趋势下，通过MR技术简化用户的操作，实现无人机的精准便捷控制是必要的。

实施例一

请参阅图1，图1为本发明实施例提供的基于MR眼镜的无人机控制方法的流程图。

本实施例提供的基于MR眼镜的无人机控制方法，包括：

101、构建全息MR操控单元；

MR（Mixed Reality）中文翻译为混合现实。混合现实技术通过在现实环境中引入虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，能让用户同时保持与真实世界和虚拟世界的联系，并根据用户自身的需要及所处情境调整操作，以增强用户体验的真实感，具有真实性、实时互动性以及构想性等特点。如采用视频透视（Video See-Through，或VST）技术的MR眼镜，将通过摄像头采集的现实世界的画面和通过计算机设计的虚拟世界的画面结合显示在眼镜屏幕上，当真实世界发生改变或用户对虚拟世界进行动作时，MR眼镜屏幕上的画面会进行实时反映。

全息MR操控单元即通过MR眼镜投射到真实空间中的虚拟3D模型，在本发明中，全息MR操控单元的形状可以为被控制的无人机的形状，还可以为球状，不对其形状作具体限定，具体形状可以根据用户的喜好设定。

构建全息MR操控单元即设计全息MR操控单元的形状并将全息MR操控单元与交互指令进行关联，使得用户下达交互指令时，全息MR操控单元能作出相应的状态响应。交互指令包括手势、语音、眼球跟随或其他身体动作。

102、将所述全息MR操控单元的姿态与无人机的姿势进行匹配；

也即，将无人机的每一个姿势与全息MR操控单元的某一个姿态进行关联，使得全息MR操控单元由一个姿态转变成另一个姿态时，无人机会相应地从进行姿势转换，进入与另一个姿态相对应的姿势。在本实施例中全息MR操控单元的形状设计成被控制的无人机，如此，姿态与姿势进行等同匹配后，全息MR操控单元的姿态与无人机的姿势将完全相同，可简单地将全息MR操控单元理解为无人机的“影子”。

优选地，为了方便控制，一个姿态仅对应一个姿势，姿态数量多于姿势数量时，可选用最优部分姿态与姿势进行匹配，剩余部分姿态为无效姿态。

103、控制所述姿态；

经过步骤102的匹配后，全息MR操控单元的姿态已经与无人机的姿势产生关联，要控制无人机，只需将控制无人机的意愿作用于全息MR操控单元，控制其姿态发生改变。在本实施例中，因为全息MR操控单元的形状为无人机，且进行等同匹配，控制全息MR操控单元的姿态等同于需要无人机进入的姿势即可。

104、根据所述姿态的变化情况控制所述姿势；

因姿态与姿势已经进行关联，全息MR操控单元姿态的改变，等于给无人机下达了控制指令，控制指令的内容是调整姿态至与全息MR操控单元当前姿态相匹配的姿态，无人机会对控制指令作出响应，控制自身进入与改变后的姿态相匹配的姿势。在本实施例中，当控制全息MR操控单元以10米/秒的速度向前移动并逐渐向右倾斜30度，无人机同样以10米/秒的速度向前飞行并逐渐向右倾斜30度。

本实施例具有的有益效果是：首先通过MR眼镜构建全息MR操控单元，接着将全息MR操控单元的姿态与无人机的姿势进行算法匹配，使得无人机的每一个姿势都对应着全息MR操控单元的某一个姿态，然后控制全息MR操控单元的姿态发生改变，最后无人机根据变化后的姿态控制其自身进入对应姿势，实现对无人机的控制。因为全息MR操控单元的姿态数量足以对应所有的无人机功能，通过控制全息MR操控单元的姿态即可控制无人机执行其所有功能，实现对无人机的精准控制，且控制全息MR操控单元从一个姿态进入另一个姿态的动作符合人体动作习惯，使得控制无人机的操作难度大大降低，实现了对无人机的便捷控制。

实施例二

请参阅图2至5，图2为本发明实施例提供的基于MR眼镜的无人机控制方法的另一流程图。

本实施例提供的基于MR眼镜的无人机控制方法，包括：

201、构建全息MR操控单元、全息MR监控界面和全息MR地图；

在本实施例中，构建全息MR操控单元即将全息MR操控单元设置成如图3所示的全息MR操控球并为全息MR操控球设置交互方式。全息MR操控球设置有垂直相交于球心g的X、Y和Z坐标轴、两根球面线以及X、Y和Z坐标轴与球面线的交点a、b和c，坐标轴的长度相同且与全息MR操控球的半径相等，一根球面线设置在XY平面上，另一根球面线设置在YZ平面上。全息MR操控球具备弹性回归机制，即交互结束后，全息MR操控球自动回归初始位置。

构建全息MR监控界面即设置一个如图4所示的界面并为该界面设置交互方式，该界面包括：一级监控面板和二级监控面板，一级监控面板即无人机的联通状态交互界面，二级监控界面即运行状态展示界面，联通状态交互界面展示的内容包括无人机的名称列表、在线状态、当前电量、联通状态和群控通道，运行状态展示界面展示的内容包括无人机的当前运行方向、当前运行速度、目标定点坐标及其所采集的实时图像信息—视频流。视频流、当前运行方向和当前运行速度通过无人机回传给云服务器，云服务器再发送给MR眼镜进行展示。监控界面的交互方式可以是手势虚拟点击，可以是语音控制或其他交互方式，当用户通过交互方式触发预先设定的响应事件时，MR眼镜在器显示屏幕作出显示响应并通过云服务器向无人机下发所设定的响应指令。响应事件包括无人机列表多选交互框，联通状态交互按钮及群控通道多选交互框。可根据无人机控制目标自由选择无人机数量及对象，根据群控方式自由选择群控通道。群控通道即为群控目标分类，单一通道单独控制所选择联通的无人机群体。

构建全息MR地图即利用Mapbox等第三方地图SDK构建全息MR地图，并为全息MR地图设置交互方式，全息MR地图为三维地图，如图5所示。同时将全息MR地图与世界坐标进行网格坐标匹配以获得全息MR地图不同位置所对应的真实世界坐标，将全息MR地图与无人机的位置进行关联—在全息MR地图上实时显示无人机的当前位置，更优的，将无人机当前位置以全息闪烁点的形式叠加显示在全息MR地图中。全息MR地图的交互方式包括移动、旋转、缩放和/或触碰点击。

本实施例中利用游戏开发引擎构建全息MR操控单元、全息MR监控界面和全息MR地图形成MR交互场景，并将MR交互场景与云服务器连接，通过MR眼镜将MR交互场景展示于真实空间中。

202、构建多人协同控制MR场景模块；

也即，通过使用Azure空间定位点跨平台服务，将全息MR监控界面、全息MR地图和全息MR操控单元加入Azure空间定位点，通过Azure服务器将协同控制设备接入云服务器，于同一虚拟空间中的虚拟全息对象进行交互，用户可以来回传递动作。

Azure服务器即Azure混合现实云服务平台是一种灵活和支持互操作的平台，它可以被用来创建云中运行的应用或者通过基于云的特性来加强现有应用。它开放式的架构给开发者提供了Web应用、互联设备的应用、个人电脑、服务器、或者提供最优在线复杂解决方案的选择。

协同控制设备分为三种，第一种为MR眼镜设备如Hololens2、Nreal Light等。可与共享的虚拟全息对象进行手势、语音、视线跟随等MR交互；第二种为移动端设备如安卓、苹果手机、平板电脑。可查看共享的虚拟全息对象，但受硬件设备功能限制，不具备手势、视线跟随等MR交互功能，可在屏幕端点击、拖拽等方式对共享的虚拟全息对象进行交互；第三种为PC端设备，仅可查看共享的虚拟全息对象。参与控制的协同控制设备均使用同一MR应用程序，借助OpenXR标准引擎，自动识别对应的硬件平台，根据不同硬件平台实现最优配置，获得最大性能和最小延迟。

203、将所述全息MR操控球的姿态与无人机的姿势进行匹配；

全息MR操控球的姿态包括：旋转方向、旋转速度、旋转角度、平移方向、平移速度、平移高度、缩小和/或放大；无人机的姿势包括：速度、方向、倾斜角和/或摄像头的旋转方向、角度和速度。

在本实施例中，在云服务器上进行姿态和姿势的匹配，姿态和姿势的第一种匹配逻辑是：将X坐标轴与球面线的交点a绕Z坐标轴的旋转方向与无人机摄像头的转动方向进行匹配，让摄像头的转动方向等同于a的旋转方向；将a绕Z坐标轴的旋转速度与无人机摄像头的转动速度进行匹配，让摄像头的转动速度等于a的旋转速度；将Z坐标轴与球面线的交点c绕球心g转动时，c在XY平面上的投影的移动方向与无人机在水平方向上的飞行方向进行匹配，让无人机在水平方向上的飞行方向等同于c在XY平面上的投影的移动方向，如：当c绕X坐标轴向右转动时，c在XY平面上的投影会从球心g沿Y坐标轴向b移动，即c在XY平面上的投影向右移动，无人机在水平方向上向右飞行；将c绕球心g转动时，cg连线与XY平面的夹角变化量与无人机的在水平面上的飞行速度进行匹配，让无人机在水平面上的飞行速度与夹角变化量成正比关系，如：当c绕X坐标轴向右转动，cg连线与XY平面的夹角由原来的90°变为60°—夹角变化量θ为30°，为90°的1/3，则无人机在水平面上以其最大速度的1/3向右飞行，注：还需选定夹角变化量的区间与飞行速度进行匹配，此处选定的夹角变化量区间为[0°，90°]，即无人机在水平方向的最大飞行速度与90°的夹角变化量相对应；将球心g沿Z坐标轴的移动方向与无人机在垂直方向上的飞行方向进行匹配，让无人机在垂直方向上的飞行方向等同于g的移动方向，如当g沿Z坐标轴向下移动时，无人机垂直向下飞行；将球心g沿Z坐标轴的移动距离与无人机在垂直方向上的飞行速度进行匹配，让无人机在垂直方向上的飞行速度与移动距离成正比关系，如：设定全息MR操控球的球半径为R，设定移动距离的区间为[0,R]，R与无人机在垂直方向上的最大飞行速度相对应，则当g向上移动1/3R时，无人机以最大垂直飞行速度的1/3向上飞行。

可选的，姿态和姿势的第二种匹配逻辑是：将全息MR操控球在XY平面上的移动方向和移动速度分别与无人机在水平方向上的飞行方向和飞行速度进行算法匹配，让无人机在水平方向上的飞行速度与全息MR操控球在XY平面上的移动速度成比例关系，让无人机在水平方向上的飞行方向等同于全息MR操控球在XY平面上的移动方向，如：设定V1=100*V2,V1为无人机水平飞行速度，V2为全息MR操控球水平移动速度，则当全息MR操控球在XY平面上以0.1m/s的速度向右移动，无人机以10m/s的速度向右飞行；将全息MR操控球在Z坐标轴上的移动方向和移动速度分别与无人机的升降和升降速度进行算法匹配，让无人机在垂直方向上的飞行速度与全息MR操控球沿Z坐标轴的移动速度成比例关系，让无人机在垂直方向上的飞行方向等同于全息MR操控球在Z坐标轴上的移动方向，如设定V3=50*V4，V3为无人机垂直飞行速度，V4为全息MR操控球垂直移动速度，则当全息MR操控球以0.1m/s的速度沿Z坐标轴向上移动，无人机以5m/s的速度向上飞行；将c绕X坐标轴旋转的角度变化与无人机的左右倾斜角进行算法匹配，让无人机的左右倾斜角等同于c绕X坐标轴旋转的角度变化量，如当c绕X坐标轴向右旋转30°，无人机向右倾斜30°；将c绕Y坐标轴旋转的角度变化与无人机的前后倾斜角进行算法匹配，让无人机的前后倾斜角等同于c绕Y坐标轴旋转的角度变化量，如当c绕Y坐标轴向前旋转60°，无人机向前倾斜60°；将a绕Z坐标轴旋转的方向、角度和速度分别与无人机摄像头的旋转方向、角度和速度进行算法匹配。算法匹配即将姿态和姿势进行函数关联，可将姿态理解为“自变量”，姿势为“因变量”，全息MR操控单元的姿态按用户的意愿被操控发生变化，无人机的姿势跟随姿态的变化发生变化，姿势的变化和姿态的变化之间是存在函数关系的，算法匹配就是人为地设定两者之间的函数关系，如上述的设定V1=100*V2。

204、在全息MR地图上选定无人机的目标坐标点并通过人机交互控制姿态；

选定无人机的目标坐标点即先通过手势放大目标地所在区域的全息MR地图，接着触碰点击目标地以获得目标地在真实世界中的坐标点，即目标坐标点。然后将目标坐标点发送给云服务器，云服务器将根据目标坐标点和无人机的当前坐标点计算出路径规划信息，将路径规划信息发送给MR眼镜，MR眼镜将路径规划信息中的具体路径以线条的形式叠加在全息MR地图上，将路径规划信息中的路径长度和当前速度所需的飞行时间在全息MR监控界面中展示。同时云服务器将路径规划信息转换成无人机能识别的控制指令发送给无人机，无人机接收到控制指令后飞向目标坐标点。

人机交互包括：语音、手势虚拟抓取、旋转、缩放、平移和/或眼球视线跟随；

以第一种匹配逻辑为例，当需要控制无人机在水平方向上向某方向飞行时，用手握住全息MR操控球在XY平面上向某方向旋转；当需要控制无人机进行上升时，用手握住全息MR操控球沿Z坐标轴向上移动，当需要控制无人机进行下降，用手握住全息MR操控球沿Z坐标轴向下移动；当需要控制无人机向右飞行时，用手握住全息MR操控球带动c绕X坐标轴向右旋转，当需要控制无人机向左飞行时，用手握住全息MR操控球带动c绕X坐标轴向左旋转；当需要控制无人机向前飞行时，用手握住全息MR操控球带动c绕Y坐标轴向前旋转，当需要控制无人机向后飞行时，用手握住全息MR操控球带动c绕Y坐标轴向后旋转；当需要控制无人机的摄像头逆时针旋转时，用手握住全息MR操控球带动a绕Z坐标轴逆时针旋转，顺时针同理。在本实施例中，全息MR操控球的旋转角θ与无人机的飞行速度成正比，全息MR操控球的旋转方向与无人机的飞行方向相同。需要一提的是，c和全息MR操控球球心的连线和Z坐标轴所构成的角度为旋转角θ。如此即可较小的空间内完成对无人机的控制。

205、根据匹配算法将所述姿态的变化情况转换成控制指令；

MR眼镜将全息MR操控球的姿态变化情况发送至云服务器，云服务器将全息MR操控球的旋转方向、旋转速度、移动方向和移动速度进行算法匹配，输出无人机能够解析执行的控制指令，然后将控制指令发送至无人机，无人机执行该控制指令进入相对应的姿势。

本实施例的有益效果是：本实施例中用户可通过全息MR地图可视化触碰点击确定无人机的飞行目的地，而且全息MR监控界面实时全息展示在真实世界中，可以实时监控无人机当前状态，提高用户远程控制监控能力；通过多人协同控制MR场景模块实现混合现实空间的开放共享，可多人同时控制和监控无人机，提高无人机群控的团队协作能力。

实施例三

请参阅图6和7，图6为本发明实施例提供的基于MR眼镜的无人机控制系统的结构示意图。

本实施例提供的基于MR眼镜的无人机控制系统，包括：MR眼镜、无人机和云服务器；云服务器分别与MR眼镜和无人机网络连接；MR眼镜用于构建全息MR操控单元以及显示全息MR操控单元和无人机的姿势，全息MR操控单元为全息MR操控球，全息MR操控球包括：垂直相交于球心g的X、Y和Z坐标轴、球面线以及X、Y和Z坐标轴与球面线的交点a、b和c，无人机的姿势包括：速度、方向、摄像头的旋转方向、角度和速度；无人机根据全息MR操控单元的姿态的变化情况进行姿势调整，全息MR操控单元的姿态包括：旋转方向、旋转速度、旋转角度、平移方向、平移速度、平移高度、缩小和/或放大；云服务器用于将姿态和姿势进行算法匹配，具体为：将交点c在XY平面的投影移动方向与无人机在水平方向上的飞行方向进行算法匹配，将交点c的角度变化量与无人机在水平方向上的飞行速度进行算法匹配，将球心g在Z坐标轴上的位移与无人机的升降和升降速度进行算法匹配，将交点a绕Z坐标轴旋转的方向、角度和速度分别与摄像头的旋转方向、角度和速度进行算法匹配。

优化地，为了实现多人共同控制，基于MR眼镜的无人机控制系统还设置有协同控制设备和Azure服务器；如图7所示，云服务器分别与协同控制设备、MR眼镜和无人机网络连接，Azure服务器分别与MR眼镜和协同控制设备网络连接；MR眼镜和协同控制设备用于显示全息MR监控界面、全息MR地图和全息MR操控单元，并通过云服务器与无人机进行数据交换—向云服务器发送全息MR操控单元的姿态信息并接收云服务器所发送的无人机监控信息；云服务器用于将姿态和姿势进行算法匹配，然后接收MR眼镜发送的姿态信息并通过匹配算法将姿态的变化情况转换成无人机能识别的控制指令，再将控制指令发送给无人机，同时接收无人机发送的无人机监控信息，并将接收到的无人机监控信息发送给MR眼镜；Azure服务器用于将全息MR监控界面、全息MR地图和全息MR操控单元与协同控制设备共享。共享即其他用户可在协同控制设备上观察到MR眼镜屏幕上所呈现的全部内容，并在设备硬件支持的情况下控制全息MR操控单元，协同控制设备会将全息MR操控单元的姿态变化情况发送给云服务器，云服务器同样将协同控制设备所发送的姿态信息根据匹配算法转换成无人机能够识别的控制指令，并将控制指令发送给无人机。

无人机监控信息包括无人机的姿势和无人机摄像头所采集到的视频流，其中无人机的姿势至少包括当前电量、当前运行方向、当前运行速度。

本实施例的有益效果是：通过MR眼镜控制无人机，突破了实体无线遥控的限制，脱离实物操控设备，实现对无人机的虚拟控制，降低控制无人机的操作难度，提高控制无人机的精准度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于MR眼镜的无人机控制方法，其特征在于，包括：

构建全息MR操控单元，所述全息MR操控单元为全息MR操控球，所述全息MR操控球包括：垂直相交于球心g的X、Y和Z坐标轴、球面线以及所述X、Y和Z坐标轴与所述球面线的交点a、b和c；

将所述全息MR操控单元的姿态与无人机的姿势进行匹配，包括：将交点c在XY平面的投影移动方向与所述无人机在水平方向上的飞行方向进行算法匹配，将交点c的角度变化量与所述无人机在水平方向上的飞行速度进行算法匹配，将球心g在所述Z坐标轴上的位移与所述无人机的升降和升降速度进行算法匹配，将交点a绕所述Z坐标轴旋转的方向、角度和速度分别与摄像头的旋转方向、角度和速度进行算法匹配，所述全息MR操控单元的姿态包括：旋转方向、旋转速度、旋转角度、平移方向、平移速度、平移高度、缩小和/或放大，所述无人机的姿势包括：速度、方向、所述摄像头的旋转方向、角度和速度；

控制所述全息MR操控单元的姿态；

根据所述全息MR操控单元的姿态的变化情况控制所述无人机的姿势，包括：将所述全息MR操控单元的姿态的变化情况转换成控制指令，根据所述控制指令控制所述无人机的姿势。

2.根据权利要求1所述的一种基于MR眼镜的无人机控制方法，其特征在于， 所述控制所述姿态包括：

通过人机交互控制所述姿态，所述人机交互包括：语音、手势虚拟抓取、旋转、缩放、平移和/或眼球视线跟随；

所述根据所述姿态的变化情况控制所述姿势包括：

云服务器根据匹配算法将所述姿态的变化情况转换成控制指令；

所述无人机执行所述控制指令进入对应的所述姿势。

3.根据权利要求1所述的一种基于MR眼镜的无人机控制方法，其特征在于，所述将所述全息MR操控单元的姿态与无人机的姿势进行匹配之前还包括：

构建全息MR监控界面和全息MR地图；

所述全息MR监控界面包括：所述无人机的联通状态交互界面和运行状态展示界面，所述联通状态交互界面包括所述无人机的名称列表、在线状态、当前电量、联通状态和群控通道，所述运行状态展示界面包括所述无人机所采集的实时图像信息和所述姿势。

4.根据权利要求3所述的一种基于MR眼镜的无人机控制方法，其特征在于，构建全息MR地图包括：

利用第三方地图SDK构建全息MR地图；

将所述全息MR地图与世界坐标进行网格坐标匹配并与所述无人机的位置进行关联；

为所述全息MR地图设置控制手势，所述控制手势包括移动、旋转、缩放和/或触碰点击。

5.根据权利要求 3所述的一种基于MR眼镜的无人机控制方法，其特征在于，所述将所述全息MR操控单元的姿态与无人机的姿势进行匹配之后还包括：

通过所述全息MR地图选定所述无人机的目标坐标点；

将根据所述目标坐标点和所述无人机的当前坐标点形成的路径规划信息叠加在所述全息MR地图上。

6.根据权利要求3所述的一种基于MR眼镜的无人机控制方法，其特征在于，所述构建全息MR操控单元之后还包括：

构建多人协同控制MR场景模块，具体为：将所述全息MR监控界面、所述全息MR地图和所述全息MR操控单元加入Azure空间定位点，通过Azure服务器将协同控制设备接入所述云服务器；

所述全息MR监控界面包括：所述无人机的联通状态交互界面和运行状态展示界面，所述联通状态交互界面包括所述无人机的名称列表、在线状态、当前电量、联通状态和群控通道，所述运行状态展示界面包括所述无人机所采集的实时图像信息和所述姿势；

所述协同控制设备包括MR眼镜、手机和/或电脑。

7.一种基于MR眼镜的无人机控制系统，其特征在于，包括：

MR眼镜、无人机和云服务器；

所述云服务器分别与所述MR眼镜和所述无人机网络连接；

所述MR眼镜用于构建全息MR操控单元以及显示全息MR操控单元和所述无人机的姿势，所述全息MR操控单元为全息MR操控球，所述全息MR操控球包括：垂直相交于球心g的X、Y和Z坐标轴、球面线以及所述X、Y和Z坐标轴与所述球面线的交点a、b和c，所述无人机的姿势包括：速度、方向、所述摄像头的旋转方向、角度和速度；

所述无人机根据所述全息MR操控单元的姿态的变化情况进行姿势调整，所述全息MR操控单元的姿态包括：旋转方向、旋转速度、旋转角度、平移方向、平移速度、平移高度、缩小和/或放大；

所述云服务器用于将所述姿态和所述姿势进行算法匹配，具体为：将交点c在XY平面的投影移动方向与所述无人机在水平方向上的飞行方向进行算法匹配，将交点c的角度变化量与所述无人机在水平方向上的飞行速度进行算法匹配，将球心g在所述Z坐标轴上的位移与所述无人机的升降和升降速度进行算法匹配，将交点a绕所述Z坐标轴旋转的方向、角度和速度分别与摄像头的旋转方向、角度和速度进行算法匹配。

8.根据权利要求7所述的一种基于MR眼镜的无人机控制系统，其特征在于，还包括：

协同控制设备和Azure服务器；

所述云服务器分别与所述协同控制设备网络连接；

所述MR眼镜和所述协同控制设备用于显示全息MR监控界面、全息MR地图和所述全息MR操控单元，并通过所述云服务器与所述无人机进行数据交换；

所述云服务器通过匹配算法将所述全息MR操控单元的姿态的变化情况转换成所述无人机的控制指令；

所述Azure服务器用于将所述全息MR监控界面、所述全息MR地图和所述全息MR操控单元与所述协同控制设备共享。

Images