CN105704501B - 一种基于无人机全景视频的虚拟现实直播系统 - Google Patents

Abstract

本发明适用于无人机领域，提供一种基于无人机全景视频的虚拟现实直播系统，包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备、VR处理器、全景视频相机；优选方案中，还包括用于佩戴在用户各部位的各种可穿戴智能传感器。本发明有三种体验方式实现无人机全景视频的VR直播，特别的，通过可穿戴智能传感器感受用户身体的运动趋势，将其转换成相应的无人机飞行控制指令，通过VR直播云服务器转发到移动控制终端，移动控制终端将控制指令发送到无人机，无人机接收到控制指令后同步实现其飞行动作，并将其全景视频相机抓取的全景视频中，嵌入虚拟的操作用户,然后反向实时传递到用户的沉浸式可视设备，达到VR互动直播的效果。

Description

一种基于无人机全景视频的虚拟现实直播系统

技术领域

本发明属于无人机领域，尤其涉及一种基于无人机全景视频的虚拟现实直播系统。

背景技术

VR（Virtual Reality，即虚拟现实，简称VR）技术是采用以计算机技术为核心的现代高科技手段生成逼真的视觉、听觉、触觉、嗅觉、味觉等一体化的虚拟环境，用户从自己的视点出发，借助特殊的输入输出设备，采用自然的方式与虚拟世界的物体进行交互，相互影响。传统的无人机是通过遥控器及手机软件对无人机飞行进行一定操作，遥控操作与传统的遥控玩具飞机无太大差异，可玩性不强，无新颖性。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于无人机全景视频的虚拟现实直播系统，该系统能够为用户提供一种便利性、交互性、真实性极强的虚拟现实飞行体验，如同普通的电视直播一样观看无人机全景视频并进行VR交互体验。

本发明采用如下技术方案：

所述基于无人机全景视频的虚拟现实直播系统包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备，所述无人机内设置有VR处理器，并且无人机搭载有全景视频相机，所述无人机与移动控制端采用无线数据连接，所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接，其中，

所述全景视频相机包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息；

所述VR处理器作为VR图像处理中心，接收所述360°全景视频以及全景视频相机参数，确定场景内各目标的相关信息，最终生成三维全景视频，所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度；

所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；

所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，根据直播用户需求进行实时转播；

所述沉浸式可视设备具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示。

进一步的，所述VR直播云服务器还用于根据直播用户需求配置离线缓存后进行用户体验转播；所述沉浸式可视设备还用于从VR直播云服务器中下载用户选择的三维全景视频离线缓存实现全景体验或模拟VR飞行。

进一步的，所述系统还包括用于佩戴在用户各部位的各种可穿戴智能传感器，所述可穿戴智能传感器用于捕捉人体动作运动趋势，并实时转换为控制指令，通过VR直播云服务器、移动控制终端发送至前端的无人机，无人机更新控制信息和飞行状态；所述VR处理器还用于将根据无人机最新状态虚拟出现实模型，模拟出操控者和无人机人机一体的个体模型，并将所述个体模型插入到所述三维全景视频中，得到完整的VR场景。

本发明的有益效果是：本发明中，直播用户可以选择实时在线飞行的任何一架支持VR直播的无人机进行点播，选择全景体验，或VR飞行，或选择已离线缓存到VR直播云服务器的三维全景视频做全景体验或模拟VR飞行，这样普通用户在互联网或虚拟专网远程终端，也能体验无人机全景视频或交互的虚拟飞行，让用户在获得授权的前提下能直接通过身体的各种动作控制无人机的飞行，并同时获取到飞机的视角，称为真正的空中飞人。

附图说明

图1是基于无人机全景视频的VR直播系统的结构图；

图2是实现基于无人机全景视频的VR直播方法的一种流程图；

图3是实现基于无人机全景视频的VR直播方法的另一种流程图；

图4是实现基于无人机全景视频的VR直播方法的第三种流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

如图1所示，本实施例提供的基于无人机全景视频的虚拟现实直播系统包括无人机10、移动控制终端50、VR直播云服务器70、沉浸式可视设备80，所述无人机10内设置有VR处理器20，并且无人机搭载有全景视频相机30，所述无人机10与移动控制端50采用无线数据连接，所述VR直播云服务器70与移动控制终端50、可视设备80采用互联网或者虚拟专用网VPN方式连接。

本实施例中，所述无人机10由智能飞控、电调、电机、螺旋桨、机架、动力锂电池等组成，用于携带全景视频相机，或载荷云台等任何可挂载物件飞行。

所述全景视频相机30包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息。

所述VR处理器20作为VR图像处理中心，接收全景视频相机输出的360°全景视频，根据全景视频相机参数，确定场景内各目标的空间位置、距离、大小、方位、速度等相关信息，最终生成三维全景视频。

所述移动控制终端50用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；这里所述移动控制终端包括但不限于传统遥控器、手机、平板、遥控手环等针对无人机飞行平台的移动控制装置，可以与VR直播云服务器进行互联网或VPN连接，能够将从无人机回传的三维全景视频实时上传到VR直播云服务器。

所述VR直播云服务器70基于云存储、云计算和云负载均衡技术，用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，即接收一路或多路三维全景视频，根据直播用户需求进行实时转播。

所述沉浸式可视设备80包括但不限于眼镜、头盔、显示屏等可VR显示的设备，具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示，形成与玩家的实时互动。

本实施例中，所述无人机与移动控制端采用的无线数据连接，包括所有基于无线射频传输图像或控制状态数字信息的传输方式，用于无线传递三维全景视频和状态控制信息，包括各种频段的射频传输、WIFI或编码正交频分复用COFDM等等。所述VR直播云服务器与移动控制终端、可视设备采用的互联网或者虚拟专用网连接方式，具备高速度高带宽，能满足三维全景视频的传输需要，能够传播无人机回传的三维全景视频和无人机的状态控制信息。所述移动控制终端是针对无人机的移动控制装置，用于将从无人机回传的三维全景视频实时上传到VR直播云服务器，所述移动控制终端包括遥控器、手机、平板、遥控手环等等。

所述VR处理器20作为VR图像处理中心，具体实现时，包括：

实时场景抓取模块，用于当用户选定无人机直播频道之后，接收前端无人机的全景视频相机采集的实时场景信息；

全景拼接成像模块，用于将接收到的实时场景信息，进行实时360度全景图像拼接，单帧的360度全景成像信息开始生成，得到360°全景视频；

立体三维建模模块，用于通过拼接的360°全景视频信息和全景视频相机参数，并结合无人机的遥测定位信息，开始执行立体三维建模，该模型具备场景内所有目标的空间位置、距离、大小、方位、速度等相关信息。

下面通过具体步骤来描述本系统的具体实现方法。如图2所示，包括下述步骤：

S201、用户选择无人机VR直播频道。本步骤中，用户选择跟随系统飞行VR体验，即只进行立体三维环游，但飞行状态跟随当前的前端无人机控制。

S202、实时场景信息抓取。用户选定无人机直播频道之后， 前端无人机的全景视频相机的数据通道开始向用户开放，无人机携带的全景视频相机获取实时场景信息。

S203、全景拼接成像。无人机携带的全景视频相机接收到实时场景信息后，立即进行实时360度全景图像拼接，单帧的360度全景成像信息开始生成。

S204、立体三维建模。通过全景视频相机拼接的360°全景视频信息和全景视频相机参数，结合无人机遥测定位信息等等，VR处理器开始执行立体三维建模，得到三维全景视频；该模型具备所有目标的空间位置、距离、大小、方位、速度等相关信息。

S205、移动控制终端将所述三维全景视频实时上传到VR直播云服务器。

S206、VR直播云服务器存储转发。VR直播云服务器接收到三维全景视频后，将进行离线缓存，然后转发到VR直播用户。

S207、用户头显展示体验。VR直播用户通过头显或其他VR展现显示，读取实时无人机VR视频。

实施例二：

本实施例提供的基于无人机全景视频的虚拟现实直播系统与实施例一相同，包括无人机10、移动控制终端50、VR直播云服务器70、沉浸式可视设备80，所述无人机10内设置有VR处理器20，并且无人机搭载有全景视频相机30，所述无人机10与移动控制端50采用无线数据连接，所述VR直播云服务器70与移动控制终端50、沉浸式可视设备80采用互联网或者虚拟专用网VPN方式连接。

与实施例一不同之处在于，本实施例中，VR直播云服务器70还用于根据直播用户需求配置离线缓存后进行用户体验转播；类似于电视节目录制和重播。所述沉浸式可视设备80还用于从VR直播云服务器中下载用户选择的三维全景视频离线缓存实现全景体验或模拟VR飞行。

下面通过具体步骤来描述本系统的具体实现方法。如图3所示，包括下述步骤：

S301、用户选择无人机VR直播频道。本步骤中，用户点播VR直播云服务器已录制的三维全景视频，可以自由模拟VR飞行，全景漫游和交互。

S302、离线视频下载。VR直播云服务器接收到三维全景视频，直接记录为离线文件，可用来后期重播。当用户选择点播时，从VR直播云服务器中下载用户选择的三维全景视频离线缓存

S303、用户头显展示体验。通过离线三维全景视频实现全景体验或模拟VR飞行。

实施例三：

本实施例提供的基于无人机全景视频的虚拟现实直播系统包括实施例一所述无人机10、移动控制终端50、VR直播云服务器70、沉浸式可视设备80、 VR处理器20、全景视频相机30，还包括用于佩戴在用户各部位的各种可穿戴智能传感器90。所述可穿戴智能传感器用于捕捉人体动作运动趋势，并实时转换为控制指令，通过VR直播云服务器、移动控制终端发送至前端的无人机，无人机更新控制信息和飞行状态；所述VR处理器还用于将根据无人机最新状态虚拟出现实模型，模拟出操控者和无人机人机一体的个体模型，并将所述个体模型插入到所述三维全景视频中，得到完整的VR场景。VR处理器具有专用图像处理芯片和超强的运算速度，海量高速存储，以满足立体三维全景视频计算的需要。

本实施例通过设置可穿戴智能传感器，佩戴到直播用户身体的各部位，感知身体细微的运动趋势，并可实时抓取动作转换为控制指令，通过通讯链路传到前端无人机。控制指令包括无人机的飞行控制、载荷控制，及一切可搭载部件的控制，人体运动动作到控制指令间的对应关系可随时新增及自定义。

下面通过具体步骤来描述本系统的具体实现方法。如图4所示，包括下述步骤：

S401、用户选择无人机VR直播频道。本步骤中，用户选择实时在线控制VR体验，即体验立体三维场景视频的同时能通过可穿戴智能传感器控制当前无人机的实时飞行，需要请求权限确保无人机飞行控制的唯一性。

S402、实时场景信息抓取。用户选定无人机直播频道之后， 前端无人机的全景视频相机的数据通道开始向用户开放，无人机携带的全景视频相机获取实时场景信息。

S403、全景拼接成像。无人机携带的全景视频相机接收到实时场景信息后，立即进行实时360度全景图像拼接，单帧的360度全景成像信息开始生成。

S404、立体三维建模。通过全景视频相机拼接的360°全景视频信息和全景视频相机参数，结合无人机遥测定位信息等等，VR处理器开始执行立体三维建模，得到三维全景视频；该模型具备所有目标的空间位置、距离、大小、方位、速度等相关信息。

S405、可穿戴智能传感器根据直播用户的身体运动动作，输出运动数据值，并根据现有或者新增自定义的身体动作与飞行控制指令的对应关系，得到飞行控制指令，并通过通讯链路传输到前端无人机。

S406、飞行状态控制信息更新。飞行控制指令传输到无人机后，将实时影响到无人机的飞行动作，产生最新的控制信息和无人机飞行状态，该信息也代表了无人机的实时姿态，同时代表了VR体验用户（即直播用户）的对应姿态。

S407、VR现实模型插入。在飞行状态及控制信息实时更新后，将根据最新状态虚拟出现实模型，模拟出操控者和飞机人机一体的个体模型。

S408、VR交互整合模型。在立体三维模型建立完毕和VR现实模型插入后，两者将整合出完整的VR场景，在该场景中现实与虚拟一体化，真正融为一体。

S409、移动控制终端将合成后的三维全景视频实时上传到VR直播云服务器。

S410、VR直播云服务器存储转发。VR直播云服务器接收到三维全景视频后，将进行离线缓存，然后转发到VR直播用户。

S411、用户头显展示体验。VR直播用户通过头显或其他VR展现显示，读取实时无人机VR视频。通过可穿戴智能传感器与系统交互，真实体验到VR畅游、空中飞行的感觉。

上述三个实施例分别为直播用户选择无人机VR直播频道的三种体验方式，

第一种是实时在线控制VR体验，即体验立体三维场景视频的同时能通过可穿戴智能传感器控制当前无人机的实时飞行，需要请求权限确保无人机飞行控制的唯一性；第二种是跟随系统飞行VR体验，即只进行立体三维环游，但飞行状态跟随当前的前端无人机控制；第三种是点播VR直播服务器已录制的立体三维全景视频，可以自由模拟VR飞行，全景漫游和交互。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种为用户提供模拟VR飞行体验的基于无人机全景视频的虚拟现实直播系统，其特征在于，所述系统包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备，所述无人机内设置有VR处理器，并且无人机搭载有全景视频相机，所述无人机与移动控制端采用无线数据连接，所述移动控制终端为针对无人机飞行平台的移动控制装置，所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接，其中，

所述全景视频相机包含双目或多目摄像头，用于采集现场360°全景视频，保证视场的全方位覆盖，能够提供立体三维建模所需要的全部信息；

所述VR处理器作为VR图像处理中心，接收所述360°全景视频以及全景视频相机参数，确定场景内各目标的相关信息，最终生成三维全景视频，所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度；

所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器；

所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频，根据直播用户需求进行实时转播；以及用于根据直播用户需求配置离线缓存后进行用户体验转播；所述沉浸式可视设备还用于从VR直播云服务器中下载用户选择的三维全景视频离线缓存实现全景体验或模拟VR飞行；

所述沉浸式可视设备具有内部图形处理器及控制器，用于实时接收VR直播云服务器转播的三维全景视频，并快速处理视频图像还原真实的3D场景，实时展示；

以及用于佩戴在用户各部位的各种可穿戴智能传感器，所述可穿戴智能传感器用于捕捉人体动作运动趋势，并实时转换为控制指令，通过VR直播云服务器、移动控制终端发送至前端的无人机，无人机更新控制信息和飞行状态；所述VR处理器还用于将根据无人机最新状态虚拟出现实模型，模拟出操控者和无人机人机一体的个体模型，并将所述个体模型插入到所述三维全景视频中，得到完整的VR场景；

用户可选择跟随所述基于无人机全景视频的虚拟现实直播系统进行飞行VR体验，只进行立体三维环游，且飞行状态跟随当前的前端无人机控制；

用户可点播所述VR直播云服务器已录制的三维全景视频，以自由模拟VR飞行，实现全景漫游和交互；

用户可选择实时在线控制VR体验，以在体验立体三维场景视频的同时通过所述可穿戴智能传感器控制当前无人机的实时飞行，并通过请求权限确保无人机飞行控制的唯一性。

2.如权利要求1所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述VR处理器包括：

实时场景抓取模块，用于当用户选定无人机直播频道之后，接收前端无人机的全景视频相机采集的实时场景信息；

全景拼接成像模块，用于将接收到的实时场景信息，进行实时360度全景图像拼接，单帧的360度全景成像信息开始生成，得到360°全景视频；

立体三维建模模块，用于通过拼接的360°全景视频信息和全景视频相机参数，并结合无人机的遥测定位信息，开始执行立体三维建模，该模型具备场景内所有目标的空间位置、距离、大小、方位、速度相关信息。

3.如权利要求1-2任一项所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述无人机与移动控制端采用的无线数据连接，包括所有基于无线射频传输图像或控制状态数字信息的传输方式，用于无线传递三维全景视频和状态控制信息，可以为各种频段的射频传输、WIFI或编码正交频分复用COFDM。

4.如权利要求3所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所述VR直播云服务器与移动控制终端、可视设备采用的互联网或者虚拟专用网连接方式，具备高速度高带宽，能满足三维全景视频的传输需要，能够传播无人机回传的三维全景视频和无人机的状态控制信息。

5.如权利要求4所述基于无人机全景视频的虚拟现实直播系统，其特征在于，所VR直播云服务器采用云存储、云计算和云负载均衡技术，可以缓存一路或多路三维全景视频，并根据直播用户需要进行高速转播。

Images