CN112804547B - 一种基于无人机vr摄像的交互式直播系统 - Google Patents

Abstract

本发明公开了一种基于无人机VR摄像的交互式直播系统，该系统包括无人机拍摄终端、直播云服务器、沉浸式VR终端以及远程控制终端，无人机拍摄终端、沉浸式VR终端和远程控制终端均与直播云服务器通信连接。该系统通过直播云服务器将现场画面转发至观看者一端，观看者通过沉浸式VR终端可以更加立体化、形象化的观看现场画面，观看效果更佳，同时观看者还可以通过远程控制终端操控无人机拍摄终端的拍摄角度，从而观看到符合自己需求的现场画面，操控过程提高了直播观看过程的趣味性和互动性，因此，该系统不仅功能更加完善，而且更加人性化，更能满足不同观看者的观看需求和互动体验效果。

Description

一种基于无人机VR摄像的交互式直播系统

技术领域

本发明涉及无人机航拍以及视频直播技术领域，更具体的说是涉及一种基于无人机VR摄像的交互式直播系统。

背景技术

目前，无人机越来越多的应用于各种活动现场的直播过程中，通过无人机搭载高清摄像机进行航拍，可以实现更优质的直播画面捕捉效果。现有的无人机辅助直播的过程，一般由专业人员远程控制无人机的拍摄角度，进而将直播现场画面展示给观看者。由于专业人员与观看者的观看视角差异，无人机的拍摄角度难以满足观看者的观看需求，且观看者仅通过肉眼观看直播现场画面，观看效果不够生动、立体。同时，观看者仅具有观看权限，观看过程的趣味性不足。

因此，如何提供一种功能更加完善、观看效果更佳的直播系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于无人机VR摄像的交互式直播系统，该系统通过合理的结构架构布置解决了现有的直播方式给观看者的观看效果不佳、观看趣味性不足等问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于无人机VR摄像的交互式直播系统，该系统包括：无人机拍摄终端、直播云服务器、沉浸式VR终端以及远程控制终端，所述无人机拍摄终端、所述沉浸式VR终端和所述远程控制终端均与所述直播云服务器通信连接；

所述无人机拍摄终端用于实时采集现场图像数据，并将采集到的现场图像数据发送至所述直播云服务器；

所述直播云服务器用于接收并存储所述现场图像数据，并将所述现场图像数据转发至所述沉浸式VR终端；

所述沉浸式VR终端用于接收所述现场图像数据，对所述现场图像数据进行虚拟现实处理，得到现场VR图像，并展示所述现场VR图像；

所述远程控制终端用于输入拍摄控制指令，并将所述拍摄控制指令发送至所述直播云服务器，所述直播云服务器对所述拍摄控制指令进行分析处理，并向所述无人机拍摄终端下发拍摄调整指令，所述无人机拍摄终端接收所述拍摄调整指令，并调整拍摄角度。

本发明的有益效果是：该系统通过直播云服务器将现场画面转发至观看者一端，观看者通过沉浸式VR终端可以更加立体化、形象化的观看现场画面，观看效果更佳，同时观看者还可以通过远程控制终端操控无人机拍摄终端的拍摄角度，从而观看到符合自己需求的现场画面，操控过程提高了直播观看过程的趣味性和互动性，因此，该系统不仅功能更加完善，而且更加人性化，更能满足不同观看者的观看需求和互动体验效果。

进一步地，所述无人机拍摄终端包括无人机本体、控制组件、云台以及全景摄像机；

所述控制组件设于所述无人机本体内部，所述云台设于所述无人机本体的底部，所述云台的一端与所述控制组件传动连接，所述云台的另一端与所述全景摄像机固定连接。

本发明中无人机拍摄终端通过无人机本体搭载全景摄像机实现360°全景视频拍摄，控制组件作为全景摄像机与直播云服务器交互的中间媒介，主要用于接收直播云服务器下发的拍摄调整指令并控制云台转动进而带动全景摄像机调整拍摄方向，从而拍摄出更能满足观看者需求的现场画面。

进一步地，所述控制组件包括通信模块、微处理器、电机控制器以及驱动电机，所述通信模块与所述直播云服务器通信连接，所述通信模块还与所述微处理器电连接，所述微处理器与所述电机控制器电连接，所述电机控制器与所述驱动电机电连接，所述驱动电机与所述云台传动连接；

所述通信模块用于接收所述直播云服务器下发的拍摄调整指令，所述微处理器用于接收所述拍摄调整指令，并生成相应的电机控制信号，所述电机控制器接收所述电机控制信号，并根据所述电机控制信号控制所述驱动电机运转带动所述云台转动。

进一步地，所述控制组件还包括故障检测模块，所述故障检测模块的输入端与所述全景摄像机电连接，所述故障检测模块的输出端与所述微处理器电连接；

所述故障检测模块用于实时检测所述全景摄像机的运行数据，并判断所述运行数据中是否存在异常数据，在提取到异常数据时，生成故障预警信号，并将所述故障预警信号发送至所述微处理器；

所述微处理器接收所述故障预警信号，并获取信号接收时间以及当前的位置信息，将所述故障预警信号、所述信号接收时间以及所述位置信息打包，并通过所述通信模块发送至所述直播云服务器，所述直播云服务器生成故障提示信息，并将所述故障提示信息发送所述远程控制终端。

故障检测模块主要用于检测全景摄像机是否出现故障，在检测到故障发生时，可以及时将故障信息上报，以便得到更加及时、有效的处理，保证了整个系统的工作稳定性、可靠性和安全性。

进一步地，所述直播云服务器包括：

接收模块，用于接收所述无人机拍摄终端发送的现场图像数据以及所述远程控制终端发送的拍摄控制指令；

分析模块，用于对所述拍摄控制指令进行分析处理，并生成相应的拍摄调整指令；

转发模块，用于将所述现场图像数据转发至所述沉浸式VR终端，并将所述拍摄调整指令下发至所述无人机拍摄终端；

数据库，用于存储所述接收模块接收到的现场图像数据以及拍摄控制指令。

本发明中直播云服务器主要提供信息交互、数据存储以及联网控制等服务，从而将直播现场与观看者联系起来，配合远程控制终端实现直播过程的互动功能，提高了整个系统的互动性和趣味性。

进一步地，上述基于无人机VR摄像的交互式直播系统还包括维护监管终端，所述维护监管终端分别与所述无人机拍摄终端和所述直播云服务器通信连接；

所述维护监管终端用于实时监控所述无人机拍摄终端的运行状态，在所述无人机拍摄终端出现运行状态异常时，控制所述无人机拍摄终端降落在预先设定的位置，并将运行状态异常信息和降落位置信息上报至所述直播云服务器。

为了保证无人机拍摄终端运行过程的稳定、安全，本发明设置了维护监管终端，主要用于监测无人机拍摄终端中无人机本体的飞行状态和运行状况，在发现异常时，可以及时控制无人机在预设位置降落，保证直播过程中无人机拍摄终端的安全。

进一步地，所述远程控制终端包括手持控制终端和穿戴式体感控制终端，所述手持控制终端和所述穿戴式体感控制终端均与所述直播云服务器通信连接；

所述手持式控制终端用于供观看者手动输入拍摄控制指令，并显示相关提示信息；所述穿戴式体感控制终端用于实时采集观看者的肢体运动信息，并将所述肢体运动信息转换成拍摄控制指令。

本发明中观看者既可以通过手持式控制终端手动输入控制指令，也可以通过穿戴式体感控制终端输入动作指令，利用穿戴式体感控制终端捕获手臂和腿部动作，进而实现拍摄控制指令输入功能，设计更加人性化和智能化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种基于无人机VR摄像的交互式直播系统的结构架构示意图；

图2为本发明实施例中无人机拍摄终端的整体结构示意图；

图3为本发明实施例中控制组件的结构架构示意图；

图4为本发明实施例中直播云服务器的结构架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见附图1，本发明实施例公开了一种基于无人机VR摄像的交互式直播系统，该系统包括：无人机拍摄终端1、直播云服务器2、沉浸式VR终端3以及远程控制终端4，无人机拍摄终端1、沉浸式VR终端3和远程控制终端均4与直播云服务器2通信连接；

无人机拍摄终端1用于实时采集现场图像数据，并将采集到的现场图像数据发送至直播云服务器2；

直播云服务器2用于接收并存储现场图像数据，并将现场图像数据转发至沉浸式VR终端3；

沉浸式VR终端3用于接收现场图像数据，对现场图像数据进行虚拟现实处理，得到现场VR图像，并展示现场VR图像；

远程控制终端4用于输入拍摄控制指令，并将拍摄控制指令发送至直播云服务器2，直播云服务器2对拍摄控制指令进行分析处理，并向无人机拍摄终端1下发拍摄调整指令，无人机拍摄终端1接收拍摄调整指令，并调整拍摄角度。

本实施例中沉浸式VR终端3主要采用沉浸式VR眼镜，VR眼镜是一种虚拟现实头戴式显示设备，一般分为外接式头显设备、一体式头显设备和移动端头显设备，可以将直播画面立体化、形象化展示给观看者，给观看者带来更佳的观看体验效果。

具体地，参见附图2和图3，无人机拍摄终端1包括无人机本体11、控制组件12、云台13以及全景摄像机14；

控制组件12设于无人机本体11内部，云台13设于无人机本体11的底部，云台13的一端与控制组件12传动连接，云台13的另一端与全景摄像机14固定连接。

具体地，参见附图3，控制组件12包括通信模块121、微处理器122、电机控制器123以及驱动电机124，通信模块121与直播云服务器2通信连接，通信模块121还与微处理器122电连接，微处理器122与电机控制器123电连接，电机控制器123与驱动电机124电连接，驱动电机124与云台13传动连接；

通信模块121用于接收直播云服务器2下发的拍摄调整指令，微处理器122用于接收拍摄调整指令，并生成相应的电机控制信号，电机控制器123接收电机控制信号，并根据电机控制信号控制驱动电机124运转带动云台13转动。

本实施例中驱动电机带动云台以及其下方的全景摄像机做360度水平旋转运动，同时云台下方具有角度调节架，可以带动全景摄像机做竖直、倾斜等角度调节，实现范围更全、更广的全景拍摄效果。

同时，微处理器还与无人机本体内部的飞行控制系统连接，在需要调整拍摄高度时，与无人机本体内的飞行控制系统配合控制无人机飞行高度，实现拍摄高度的调整。

具体地，参见附图3，控制组件12还包括故障检测模块125，故障检测模块125的输入端与全景摄像机14电连接，故障检测模块125的输出端与微处理器122电连接；

故障检测模块125用于实时检测全景摄像机14的运行数据，并判断运行数据中是否存在异常数据，在提取到异常数据时，生成故障预警信号，并将故障预警信号发送至微处理器122；

微处理器122接收故障预警信号，并获取信号接收时间以及当前的位置信息，将故障预警信号、信号接收时间以及位置信息打包，并通过通信模块121发送至直播云服务器2，直播云服务器2生成故障提示信息，并将故障提示信息发送远程控制终端4。

本实施例中故障检测模块125主要用于检测全景摄像机是否存在故障，在发现故障后，可以及时上报至微处理器，微处理器会将与故障相关联的信息打包发送给直播云服务器，进而告知观看者摄像机故障，避免摄像机维护过程中观看者因不知情影响观看体验效果。

具体地，参见附图4，直播云服务器2包括：

接收模块21，用于接收无人机拍摄终端发送的现场图像数据以及远程控制终端发送的拍摄控制指令；

分析模块22，用于对拍摄控制指令进行分析处理，并生成相应的拍摄调整指令；

转发模块23，用于将现场图像数据转发至沉浸式VR终端，并将拍摄调整指令下发至无人机拍摄终端；

数据库24，用于存储接收模块接收到的现场图像数据以及拍摄控制指令。

具体地，上述基于无人机VR摄像的交互式直播系统还包括维护监管终端5，维护监管终端5分别与无人机拍摄终端1和直播云服务器2通信连接；

维护监管终端5用于实时监控无人机拍摄终端1的运行状态，在无人机拍摄终端1出现运行状态异常时，控制无人机拍摄终端1降落在预先设定的位置，并将运行状态异常信息和降落位置信息上报至直播云服务器2。

维护监管终端5主要用于保障无人机拍摄终端1的运行安全，主要针对无人机本体的状态监控，因为无人机本体的正常工作与否关系到直播拍摄环节能否正常进行，所以保障无人机本体的运行安全是保障系统稳定可靠工作的关键，本实施例中维护监管终端5主要对无人机本体的运行速度、航向、偏角等工作状态进行监控，在发现异常后，及时控制无人机本体降落到指定的位置进行维护工作。

具体地，远程控制终端4包括手持控制终端和穿戴式体感控制终端，手持控制终端和穿戴式体感控制终端均与直播云服务器2通信连接；

手持式控制终端用于供观看者手动输入拍摄控制指令，并显示相关提示信息；穿戴式体感控制终端用于实时采集观看者的肢体运动信息，并将肢体运动信息转换成拍摄控制指令。

本实施例中手持控制终端可以选用平板电脑、智能手机等具有信息录入、数据收发、信息查看等功能的智能终端实现。

穿戴式体感控制终端可以通过在观看者的两个手臂和腿部安装体感传感器配合微型处理器实现，通过捕捉观看者手臂和腿部的动作，并进行数据分析、解析，提取指令信息，实现拍摄指令的获取，具体地，可以预先设置动作与拍摄指令的对应关系，比如抬手臂对应拍摄角度上调，抬腿对应拍摄视角拉近，手臂或者腿部左右移动对应拍摄角度左调、右调，进而实现体感控制功能，增加了直播观看过程的趣味性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种基于无人机VR摄像的交互式直播系统，其特征在于，包括：无人机拍摄终端、直播云服务器、沉浸式VR终端以及远程控制终端，所述无人机拍摄终端、所述沉浸式VR终端和所述远程控制终端均与所述直播云服务器通信连接；

所述无人机拍摄终端用于实时采集现场图像数据，并将采集到的现场图像数据发送至所述直播云服务器；

所述直播云服务器用于接收并存储所述现场图像数据，并将所述现场图像数据转发至所述沉浸式VR终端；

所述沉浸式VR终端用于接收所述现场图像数据，对所述现场图像数据进行虚拟现实处理，得到现场VR图像，并展示所述现场VR图像；

所述远程控制终端用于输入拍摄控制指令，并将所述拍摄控制指令发送至所述直播云服务器，所述直播云服务器对所述拍摄控制指令进行分析处理，并向所述无人机拍摄终端下发拍摄调整指令，所述无人机拍摄终端接收所述拍摄调整指令，并调整拍摄角度；

所述无人机拍摄终端包括无人机本体、控制组件、云台以及全景摄像机；

所述控制组件设于所述无人机本体内部，所述云台设于所述无人机本体的底部，所述云台的一端与所述控制组件传动连接，所述云台的另一端与所述全景摄像机固定连接；

所述控制组件包括通信模块、微处理器、电机控制器以及驱动电机，所述通信模块与所述直播云服务器通信连接，所述通信模块还与所述微处理器电连接，所述微处理器与所述电机控制器电连接，所述电机控制器与所述驱动电机电连接，所述驱动电机与所述云台传动连接；

所述通信模块用于接收所述直播云服务器下发的拍摄调整指令，所述微处理器用于接收所述拍摄调整指令，并生成相应的电机控制信号，所述电机控制器接收所述电机控制信号，并根据所述电机控制信号控制所述驱动电机运转带动所述云台转动；

所述控制组件还包括故障检测模块，所述故障检测模块的输入端与所述全景摄像机电连接，所述故障检测模块的输出端与所述微处理器电连接；

所述故障检测模块用于实时检测所述全景摄像机的运行数据，并判断所述运行数据中是否存在异常数据，在提取到异常数据时，生成故障预警信号，并将所述故障预警信号发送至所述微处理器；

所述微处理器接收所述故障预警信号，并获取信号接收时间以及当前的位置信息，将所述故障预警信号、所述信号接收时间以及所述位置信息打包，并通过所述通信模块发送至所述直播云服务器，所述直播云服务器生成故障提示信息，并将所述故障提示信息发送所述远程控制终端；

所述远程控制终端包括手持控制终端和穿戴式体感控制终端，所述手持控制终端和所述穿戴式体感控制终端均与所述直播云服务器通信连接；

所述手持式控制终端用于供观看者手动输入拍摄控制指令，并显示相关提示信息；所述穿戴式体感控制终端用于实时采集观看者的肢体运动信息，并将所述肢体运动信息转换成拍摄控制指令。

2.根据权利要求1所述的一种基于无人机VR摄像的交互式直播系统，其特征在于，所述直播云服务器包括：

接收模块，用于接收所述无人机拍摄终端发送的现场图像数据以及所述远程控制终端发送的拍摄控制指令；

分析模块，用于对所述拍摄控制指令进行分析处理，并生成相应的拍摄调整指令；

转发模块，用于将所述现场图像数据转发至所述沉浸式VR终端，并将所述拍摄调整指令下发至所述无人机拍摄终端；

数据库，用于存储所述接收模块接收到的现场图像数据以及拍摄控制指令。

3.根据权利要求1所述的一种基于无人机VR摄像的交互式直播系统，其特征在于，还包括维护监管终端，所述维护监管终端分别与所述无人机拍摄终端和所述直播云服务器通信连接；

所述维护监管终端用于实时监控所述无人机拍摄终端的运行状态，在所述无人机拍摄终端出现运行状态异常时，控制所述无人机拍摄终端降落在预先设定的位置，并将运行状态异常信息和降落位置信息上报至所述直播云服务器。

Images