CN105739525B - 一种配合体感操作实现虚拟飞行的系统 - Google Patents

Abstract

本发明适用于无人机领域，提供一种配合体感操作实现虚拟飞行的系统，包括可穿戴传感器、遥控器、无人机、可视设备，其中所述无人机内设置有无人机控制器，并且无人机上安装有全景相机，所述遥控器或者无人机中设置有指令转换器。通过可穿戴传感器捕捉人体动作，将其转换成相应的飞行指令，无人机控制器接收到飞行指令后控制无人机运动轨迹，全景相机实时获取图像，最终回传至VR可视设备，VR可视设备对图像进行三维还原与重建，呈现给玩家达到VR飞行目的。本发明中，可穿戴传感器能捕捉人体细微的动作改变，并精准地判断是何种动作，并进行相应的协议转换成无人机可识别指令，此飞行交互性极强，给无人机飞行带来了全新的体验。

Description

一种配合体感操作实现虚拟飞行的系统

技术领域

本发明属于无人机技术领域，尤其涉及一种配合体感操作实现虚拟飞行的系统。

背景技术

VR(Virtual Reality，即虚拟现实，简称VR)技术是利用计算机图形系统和各种现实及控制等接口设备，生成的可交互的三维环境中提供沉浸感觉的技术。无人机现在生活中应用越来越广泛，无人机玩家也越来越多，传统的无人机是通过遥控及手机软件控制实现对无人机飞行进行一定操作，遥控操作与传统的遥控玩具飞机并无太大差异，可玩性不强，且无交互，在飞机飞行距离过远时，看不到无人机当前位置，容易导致误操作，具有一定的风险性。

发明内容

鉴于上述问题，本发明的目的在于提供一种配合体感操作实现虚拟飞行的系统，旨在解决现有无人机操作简单、可玩性不强的技术问题。

本发明采用如下技术方案：

所述配合体感操作实现虚拟飞行的系统包括可穿戴传感器、遥控器、无人机、可视设备，其中所述无人机内设置有无人机控制器，并且无人机上安装有全景相机，所述遥控器或者无人机中设置有指令转换器，其中，

所述可穿戴传感器，佩戴于人体各个部位，用于感知人体各部位的运动动作、趋势，并输出相应大小的运动数据值；

所述指令转换器，用于接收所述运动数据值并转换成无人机可识别的飞行指令；

所述无人机控制器，用于接收所述飞行指令并控制无人机执行相应动作；以及用于接收全景相机输出的实时图像，并将实时图像回传至无人机遥控器；

所述全景相机，用于拍摄实时图像，并将实时图像传给无人机控制器；

所述遥控器，用于接收无人机控制器回传的实时图像，并转发至可视设备；

所述可视设备，包括该内部图形处理器及控制器，用于实时接收遥控器回传的实时图像，并快速进行图像处理还原成真实3D场景，实时展示；

其中，若所述指令转换器位于遥控器中，所述遥控器接收指令转换器输出的飞行指令，并通过遥控器无线发送至无人机控制器；若所述指令转换器位于无人机中，所述遥控器接收可穿戴传感器输出的运动数据值，并转发至指令转换器，所述指令转换器将所述运动数据值转换成无人机可识别的飞行指令并发送至无人机控制器。

进一步的，所述指令转换器将所述可穿戴传感器读取到的一些运动数据值，按照预设算法和相应协议配置表，转换成相应的飞行指令发送给无人机控制器，所述协议配置表可修改、可扩充，支持用户多种动作。

进一步的，所述运动数据值包括运动类型以及运动幅度值，每一个运动类型对应一个飞行动作。

进一步的，所述指令转换器可并行接收多个运动数据值，并对应转换成多个飞行指令并行发送至无人机控制器。

进一步的，根据预设算法，对于无法同时执行的多个飞行指令，根据对应的运动幅度值，丢弃较小值保留较大值，如果运动幅度值相同，则根据预先定义的优先级优先执行其中一项动作。

进一步的，所述可视设备内置眼球传感器和头部传感器，所述眼球传感器用于捕捉眼球运动，所述头部传感器用于捕捉头部运动，实现眼球转动和头部运动时画面实时切换。

本发明的有益效果是：本发明提供了一种交互性极强且非常容易操控的虚拟飞行系统，玩家通过身体各种动作控制无人机的飞行状态，安装在无人机上的全景相机获取到无人机的视角，将获取到的实时图像发送至可视设备中，然后可视设备还原成相应的3D场景，如真实飞行一般沉浸其中，能得到更好的飞行体验。

附图说明

图1是配合体感操作实现虚拟飞行的系统的一种结构图；

图2是配合体感操作实现虚拟飞行的系统的另一种结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

如图1所示，本实施例提供的配合体感操作实现虚拟飞行的系统包括可穿戴传感器10、遥控器30、无人机50、可视设备70，其中所述无人机50内设置有无人机控制器40，并且无人机50上安装有全景相机60，所述遥控器30中设置有指令转换器20，所有指令和数据都可以双向传输，图中实线为内部线路传输通道，虚线则是无线传输通道。其中，

所述可穿戴传感器10，佩戴于人体各个部位，用于感知人体各部位的运动动作、趋势，并输出相应大小的运动数据值；

所述指令转换器20，用于接收所述运动数据值并转换成无人机可识别的飞行指令；

所述无人机控制器40，用于接收所述飞行指令并控制无人机执行相应动作；以及用于接收全景相机输出的实时图像，并将实时图像回传至无人机遥控器；

所述全景相机60，用于拍摄实时图像，并将实时图像传给无人机控制器；

所述遥控器30，用于接收指令转换器输出的飞行指令，并无线发送至无人机控制器；以及用于接收无人机控制器回传的实时图像，并转发至可视设备；

所述可视设备70，包括该内部图形处理器及控制器，用于实时接收遥控器回传的实时图像，并快速进行图像处理还原成真实3D场景，实时展示；

需要使用时，玩家将所述可穿戴感应器佩戴到身体各部位，比如在手腕、脚腕、要不、头部等等，可以细微地感知每一个细小的运动，如身体倾斜、移动、跳跃等，如在身体向左倾斜时，获取当前倾斜的角度，可转换成相应的飞行指令让无人机也同步倾斜同样的角度，感应到左手挥动时，则无人机持续向左转，右手挥动则向右转，向前移动则加速，向后移动则减速，可穿戴传感器只需要将感应到的运动数据值通过无线传输到指令转换器即可，如当前移动方向、移动数据、倾斜方向及角度等等。这里所述运动数据值包括运动类型以及运动幅度值，每一个运动类型对应一个飞行动作。比如位于左手腕上的传感器输出的运动数据值包含一个类型标签，用于标识运动类型，该运动类型对应无人机的左转动作；运动数据值还包含一个运动幅度值，用于表示运动幅度大小，此例中，所述运动幅度值表示了无人机的左转速度，玩家左手臂转动越快，无人机左转越快。

遥控器中的指令转换器接收到运动数据值后，解析出运动类型和运动幅度值，然后按照预设算法和相应协议配置表，转换成相应的飞行指令发送给无人机控制器，所述协议配置表可修改、可扩充，支持用户多种动作，如跳跃，挥手，跑步等。所述协议配置表为运动类型与对应飞行动作的映射表，项目内容可根据需求进行增减。由于可穿戴传感器有多件并分配在人体不同部位，所以输出的运动数据值可能是多样的，比如可能在倾斜的同时前进，指令转换器将会处理这些多发性的数据。所述指令转换器并行接收到多个运动数据值后，对应转换成多个飞行指令，然后并行发送至无人机控制器，如在向左倾斜时也可同时加速，右转时也可同步减速。当然也会出现无法同时执行的飞行指令，比如玩家同时转动左手臂和右手臂，飞行器无法同时左转和右转，因此需要预设算法进行相应控制，比如对于无法同时执行的多个飞行指令，根据对应的运动幅度值，丢弃较小值保留较大值，如果运动幅度值相同，则根据预先定义的优先级优先执行其中一项动作。例如同时挥动左手臂与右手臂，同时控制左转与右转，如果左手运动幅度更大，则只会左转，不会处理右转指令。

无人机接收到飞行指令后，立即执行相关的指令动作，无需再作各种复杂的判断。

全景相机在无人机开机立即开始工作，在飞行同时实时抓取全景视频图像，将实时图像通过内部链路传输给无人机控制器，只要遥控器与无人机建立连接，无人机控制器将获取到的实时图像转发至遥控器，与遥控器连接的外部设备或者与无人机控制器连接的外部设备都可以获取到该图像并显示。所述外部设备为可视设备，包括但不限于手机、VR眼镜、头盔、显示屏等可显示的设备。每个连接的可视设备都可以获取当前实时图像。

可视设备通过无线连接到遥控器，当可视设备收到实时的全景视频图像后，马上开启内部控制器，通过3D还原处理，将实时视频图像显示到其内部的多块电子显示屏上，形成3D实景显示，给人一种身临其境的感觉。另外，进一步的，还可以在可视设备内设置眼球传感器和头部传感器，所述眼球传感器用于捕捉眼球运动，所述头部传感器用于捕捉头部运动，实现眼球转动和头部运动时画面实时切换。在人眼球和头部运动时，可根据视线方向切换到无人机相应的视角，看到360度全景的实时图像。如看向左边时显示全景视频左侧图像显示，头朝下时选择全景视频的正下方进行显示。

经过两个通路的同时工作，完成了整个通过体感实现VR飞行的过程，在玩家身体运动的同时飞机跟着运动，玩家看到的视频影像与运动方向一致，如同自己在飞行一般。

实施例二：

如图2所示，本实施例提供的配合体感操作实现虚拟飞行的系统包括可穿戴传感器10、遥控器30、无人机50、可视设备70，其中所述无人机50内设置有无人机控制器40，并且无人机50上安装有全景相机60，所述无人机50中设置有指令转换器20，所有指令和数据都可以双向传输，图中实线为内部线路传输通道，虚线则是无线传输通道。其中，

所述可穿戴传感器10，佩戴于人体各个部位，用于感知人体各部位的运动动作、趋势，并输出相应大小的运动数据值；

所述遥控器30，用于接收可穿戴传感器输出的运动数据值，并转发至指令转换器；以及用于接收无人机控制器回传的实时图像，并转发至可视设备；

所述指令转换器20，用于接收所述运动数据值并转换成无人机可识别的飞行指令，并发送至无人机控制器；

所述无人机控制器40，用于接收所述飞行指令并控制无人机执行相应动作；以及用于接收全景相机输出的实时图像，并将实时图像回传至无人机遥控器；

所述全景相机60，用于拍摄实时图像，并将实时图像传给无人机控制器；

所述可视设备70，包括该内部图形处理器及控制器，用于实时接收遥控器回传的实时图像，并快速进行图像处理还原成真实3D场景，实时展示。

与实施例一不同在于，本实施例中，指令转换器20置于无人机中，遥控器只是起到转发可穿戴传感器输出的运动数据值的作用，由无人机中的指令转换器进行相应指令转换，得到对应的飞行指令，然后控制飞行即可。其他的都与实施例一相同，这里也不赘述。

由于本实施例中，无人机需要执行数据解析转换，效率较低，影响了无人机的反应速度，而且还需要对无人机进行改造。而实施例一中，数据解析转换在遥控器中完成，无需改造无人机，进需对遥控器进行相应改造即可，成本低，而且无人机反应速度快。一般实现时，优选实施例一方案。

综上，本发明通过设置多个可穿戴传感器，收集人体的各种运动参数，遥控器或者无人机中设置的指令转换器进行指令转换，得到飞行指令，无人机收到飞行指令后立即执行相关动作，同时全景相机将所有的实时图像数据回传到无人机，再通过无人机无线传输给遥控器，遥控器传输到可视设备中，可视设备可对图像进行二次处理，3D还原真实视角和场景，并根据眼球和头部运动流畅地切换视频场景，完成整套交互流程。这样玩家可实时通过身体动作实时控制飞机飞行，并通过可视设备观看当前飞机视角，如真实飞行一般，飞行交互性极强，给无人机飞行带来了全新的体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种配合体感操作实现虚拟飞行的系统，其特征在于，所述系统包括可穿戴传感器、遥控器、无人机、可视设备，其中所述无人机内设置有无人机控制器，并且无人机上安装有全景相机，所述遥控器或者无人机中设置有指令转换器，其中，

所述可穿戴传感器，佩戴于人体各个部位，用于感知人体各部位的运动动作、趋势，并输出相应大小的运动数据值；

所述指令转换器，用于接收所述运动数据值并转换成无人机可识别的飞行指令；

所述无人机控制器，用于接收所述飞行指令并控制无人机执行相应动作；以及用于接收全景相机输出的实时图像，并将实时图像回传至无人机遥控器；

所述全景相机，用于拍摄实时图像，并将实时图像传给无人机控制器；

所述遥控器，用于接收无人机控制器回传的实时图像，并转发至可视设备；

所述可视设备，包括内部图形处理器及控制器，用于实时接收遥控器回传的实时图像，并快速进行图像处理还原成真实3D 场景，实时展示；所述可视设备内置眼球传感器和头部传感器，所述眼球传感器用于捕捉眼球运动，所述头部传感器用于捕捉头部运动，实现眼球转动和头部运动时画面实时切换，在人眼球和头部运动时，可视设备根据视线方向切换到无人机相应的视角，看到360 度全景的实时图像，当看向左边时显示全景视频左侧图像显示，头朝下时选择全景视频的正下方进行显示；

需要使用时，玩家将所述可穿戴感应器佩戴到身体各部位，细微地感知每一个细小的运动，当在身体向左倾斜时，获取当前倾斜的角度，转换成相应的飞行指令让无人机也同步倾斜同样的角度，感应到左手挥动时，则无人机持续向左转，右手挥动则向右转，向前移动则加速，向后移动则减速，可穿戴传感器只需要将感应到的运动数据值通过无线传输到指令转换器即可，运动数据值包括当前移动方向、移动数据、倾斜方向及角度；

所述运动数据值包括运动类型以及运动幅度值，每一个运动类型对应一个飞行动作，位于左手腕上的传感器输出的运动数据值包含一个类型标签，用于标识运动类型，该运动类型对应无人机的左转动作；运动数据值还包含一个运动幅度值，用于表示运动幅度大小，当运动幅度值表示无人机的左转速度，玩家左手臂转动越快，无人机左转越快，遥控器中的指令转换器接收到运动数据值后，解析出运动类型和运动幅度值，然后按照预设算法和相应协议配置表，转换成相应的飞行指令发送给无人机控制器，所述协议配置表可修改、可扩充，支持用户多种动作，所述协议配置表为运动类型与对应飞行动作的映射表，项目内容可根据需求进行增减；

由于可穿戴传感器有多件并分配在人体不同部位，所述指令转换器并行接收到多个运动数据值后，对应转换成多个飞行指令，然后并行发送至无人机控制器，在向左倾斜时也可同时加速，右转时也可同步减速，根据预设算法，对于无法同时执行的多个飞行指令，根据对应的运动幅度值，丢弃较小值保留较大值，如果运动幅度值相同，则根据预先定义的优先级优先执行其中一项动作，无人机接收到飞行指令后，立即执行相关的指令动作，无需再作各种复杂的判断。

2.如权利要求1 所述配合体感操作实现虚拟飞行的系统，其特征在于，若所述指令转换器位于遥控器中，所述遥控器接收指令转换器输出的飞行指令，并通过遥控器无线发送至无人机控制器。

3.如权利要求1 所述配合体感操作实现虚拟飞行的系统，其特征在于，若所述指令转换器位于无人机中，所述遥控器接收可穿戴传感器输出的运动数据值，并转发至指令转换器，所述指令转换器将所述运动数据值转换成无人机可识别的飞行指令并发送至无人机控制器。