CN106303554A - 一种视频直播系统及方法 - Google Patents

Abstract

本发明实施例提供了一种视频直播系统及方法，该视频直播系统包括无人机终端和视频控制终端。所述无人机终端包括无人机、图像采集装置和图像处理装置，所述视频控制终端包括VR可视设备和VR直播云服务器。该视频直播系统通过VR直播云服务器接收无人机终端发送的三维全景视频并缓存以进行实时转播。VR可视设备接收VR直播云服务器转播的三维全景视频，根据该三维全景视频生成3D场景并进行实时播放。实现了基于无人机的VR全景视频的实时播放，并实现了多人跨平台对同一视频源的观看体验。

Description

一种视频直播系统及方法

技术领域

本发明涉及无人机领域，具体而言，涉及一种视频直播系统及方法。

背景技术

随着无人机技术的快速发展，无人机的应用范畴越发广泛，已不再局限于航拍等领域，对无人机的随时、随地、随性的应用要求越来越多。移动直播技术是结合移动通信技术和网络直播技术发展起来的一种通信技术，可以通过移动终端来实现视频等信息的直播与共享。虚拟现实(Virtual Reality,VR)技术是一种综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中的提供沉浸感的技术，近年越发受到大众喜爱。传统的基于无人机的VR视频直播系统一般是将采集到的视频信息直接存储到本地SD卡或通过无线传输方式传输到地面进行播放。只能实现近距离的视频实时播放或将其缓存进行离线查看，无法实现异地实时播放或多人跨平台实时观看同一视频源。

发明内容

本发明旨在改善上述的技术问题。为此，本发明提供一种视频直播系统，旨在实现基于无人机的VR全景视频的实时直播。

为实现上述目的，本发明提供一种视频直播系统，包括无人机终端和视频控制终端，所述无人机终端包括无人机、图像采集装置和图像处理装置，所述视频控制终端包括VR可视设备和VR直播云服务器，所述图像采集装置设置于所述无人机上，所述图像采集装置与所述图像处理装置连接，所述图像处理装置、所述VR可视设备分别与所述VR直播云服务器通信连接；

所述图像采集装置用于采集视频信息；所述图像处理装置用于对所述图像采集装置采集到的视频信息进行处理以生成三维全景视频并发送至所述VR直播云服务器；所述VR直播云服务器用于接收及缓存所述图像处理装置发送的所述三维全景视频并进行实时转播；所述VR可视设备用于接收所述VR直播云服务器转播的所述三维全景视频，根据所述三维全景视频生成3D场景并进行实时播放。

优选地，所述图像采集装置包括多个全景视频相机，所述多个全景视频相机安装在所述无人机的不同位置，用于对不同角度的视频进行采集以保证视场的全方位覆盖，所述图像处理装置用于对所述多个全景视频相机采集到的视频进行处理，以生成三维全景视频。

优选地，所述图像处理装置包括VR处理器，所述VR处理器中预设有所述多个全景视频相机的拼接参数，所述VR处理器用于根据所述拼接参数将所述多个全景视频相机采集到的视频信息进行图像拼接以生成三维全景视频。

优选地，所述图像处理装置还包括视频编码器，所述视频编码器用于对拼接后的所述三维全景视频进行编码，并将编码后的所述三维全景视频发送至所述VR直播云服务器。

优选地，所述VR直播云服务器用于接收所述视频编码器发送的所述三维全景视频，将所述三维全景视频以VR视频播放器支持的播放格式缓存于所述VR直播云服务器中，并进行实时转播。

优选地，所述视频直播系统还包括移动控制终端，所述移动控制终端用于对所述无人机的飞行参数进行控制。

此外，为实现上述目的，本发明还提供一种应用于上述视频直播系统的视频直播方法，该视频直播方法包括：

所述图像采集装置采集视频信息；

所述图像处理装置对所述图像采集装置采集到的视频信息进行处理以生成三维全景视频并发送至所述VR直播云服务器；

所述VR直播云服务器接收及缓存所述图像处理装置发送的所述三维全景视频并进行实时转播；

所述VR可视设备接收所述VR直播云服务器转播的所述三维全景视频，根据所述三维全景视频生成3D场景并进行实时播放。

优选地，所述图像采集装置包括多个全景视频相机，所述多个全景视频相机安装在所述无人机不同位置，对不同角度的视频进行采集，保证视场的全方位覆盖，所述图像处理装置对所述图像采集装置采集到的视频信息进行处理以生成三维全景视频并发送至所述VR直播云服务器的步骤包括：

所述图像处理装置对所述多个全景视频相机采集到的视频信息进行处理，生成三维全景视频并发送至所述VR直播云服务器。

优选地，所述图像处理装置包括VR处理器和视频编码器，所述图像处理装置对所述多个全景视频相机采集到的视频信息进行处理，生成三维全景视频并发送至所述VR直播云服务器的步骤包括：

所述VR处理器根据预设的所述多个全景视频相机的拼接参数将所述多个全景视频相机采集到的视频信息进行图像拼接，生成现场三维全景视频；

所述视频编码器对拼接后的所述三维全景视频进行编码，并将编码后的所述三维全景视频发送至所述VR直播云服务器。

优选地，所述VR直播云服务器接收及缓存所述图像处理装置发送的所述三维全景视频并进行实时转播的步骤包括：

所述VR直播云服务器接收所述视频编码器发送的所述三维全景视频，将所述三维全景视频以VR视频播放器支持的播放格式缓存于所述VR直播云服务器中，并进行实时转播。

与现有技术相比，本发明的视频直播系统通过VR直播云服务器接收无人机终端发送的三维全景视频并缓存以进行实时转播，VR可视设备接收VR直播云服务器转播的三维全景视频，根据该三维全景视频生成3D场景并进行实时播放。实现了基于无人机的VR全景视频的实时播放，并实现了多人跨平台对同一视频源的观看体验。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的一种视频直播系统的结构框图。

图2为本发明较佳实施例提供的一种图像处理装置的结构框图。

图3为本发明较佳实施例提供的一种视频直播方法的流程图。

图标：100-无人机终端；110-无人机；120-图像采集装置；130-图像处理装置；131-VR处理器；132-视频编码器；200-视频控制终端；210-VR直播云服务器；220-VR可视设备；300-移动控制终端。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明提供的视频直播系统包括无人机终端100和视频控制终端200。所述无人机终端100包括无人机110、图像采集装置120和图像处理装置130。所述视频控制终端200包括VR直播云服务器210和VR可视设备220。所述图像采集装置120设置于所述无人机110上，所述图像采集装置120与所述图像处理装置130连接，所述图像处理装置130、所述VR可视设备220分别与所述VR直播云服务器210通信连接。

可选地，本实施例中，所述无人机110包括电机、旋翼、支架、智能飞控和电控等，用于搭载图像采集装置120等。

所述图像采集装置120为多个全景视频相机，所述多个全景视频相机安装于所述无人机110的不同位置，用于对不同角度的现场视频进行采集，以保证视场的全方位覆盖，为立体三维建模提供全面的视频信息。所述多个全景视频相机与处理板卡连接。可选地，在本实施例中，所述处理板卡采用的是树莓派的Linux系统的嵌入式板卡。

结合图2所示，所述图形处理装置130包括VR处理器131和视频编码器132。所述VR处理器131中预设有所述多个全景视频相机的拼接参数。在第一次启动时，需要计算所述拼接参数并将其固化下来，只有当所述多个全景视频相机的相对位置发生变化时，才需要重新计算所述拼接参数。所述VR处理器131读取所述多个全景视频相机的预置的所述拼接参数，对所采集到的现场视频进行仿射变换，并将仿射变换后的图像进行拼接操作以生成现场全景视频。

仿射变换是一种二维坐标到二维坐标之间的线性变换，经过变换后的图像能保持自身的“平直性”和“平行性”。实质上，仿射变换就是对图像进行平移、缩放、旋转、翻转和错切这五种变换的组合。可选地，图像的仿射变换可由如下形式表示：

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{ccc}{a}_2& a_1& a_0\\ b_2& b_1& b_0\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

其中，x，y为原始图像坐标；u，v为变换后的图像坐标；a_i，b_i是计算后并固化下来的拼接参数。

所述VR处理器131根据仿射变换后的全景视频信息和所述多个全景视频相机参数等进行立体三维建模以得到现场三维全景视频。

所述视频编码器132对生成的所述三维全景视频进行编码，减少视频数据量以便于传输。可选地，在本实施例中，采用ffmpeg将视频流压缩为高级串流格式(AdvancedStreaming Format，ASF)。ffmpeg是一个用c++实现的开源库，可以实现视频的编码、解码、格式转换和播放的功能。ffmpeg库是开源免费的，用户可以从官网上自行下载安装后使用。所述视频编码器132将经过编码后的所述三维全景视频发送至所述VR直播云服务器210。

请参阅图1和图2，可选地，所述VR直播云服务器210包括射频模块，所述射频模块可用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或其他设备进行通讯。可选地，所述视频编码器132和所述VR直播云服务器210之间采用无线数据连接，包括所有基于无线射频传输图像或控制状态数字信息的传输方式。可为各种频段的射频传输、WIFI或编码正交频分复用COFDM等等。可选地，本实施例中，所述视频编码器132和所述VR直播云服务器210之间使用600MHz和900MHz两个频段的射频信号进行传输。可以实现20Km范围内的视频信息实时传输。

所述VR直播云服务器210基于云存储、云计算和云负载均衡技术，用于高速缓存所述视频编码器132发送过来的所述三维全景视频。可选地，在本实施例中，VR视频播放器的代码以JS脚本的方式打包部署于所述VR直播云服务器210中。并采用了HTML5的方式，开发视频的直播播放服务。所述VR直播云服务器210用于接收所述视频编码器132发送的所述三维全景视频，将所述三维全景视频以所述VR视频播放器支持的格式缓存于所述VR直播云服务器210中，并根据客户的需求进行实时转播。

所述可视设备220与所述VR直播云服务器210之间采用互联网或者虚拟专用网连接。具备高速度高带宽，能实现所述三维全景视频的实时传输需求。所述可视设备220内置有图形处理器和控制器，用于实时接收所述VR直播云服务器210转播的所述三维全景视频，并对所述三维全景视频进行快速处理以还原逼真的3D场景，实现实时播放并提高用户的沉浸感。在任何地方，用户只需连上所述VR直播云服务器210开发的视频地址，即可直接在所述VR可视设备220上观看实时直播。可选地，所述VR可视设备220包括但不限于眼镜、头盔、显示屏等可VR显示的设备。

在本实施例中，所述视频直播系统还包括移动控制终端300。所述移动控制终端300是针对所述无人机110的移动终端，用于对所述无人机110的飞行参数进行控制。可选地，所述移动控制终端300包括但不限于遥控器、手机、平板及遥控手环等针对所述无人机110的控制装置。

请参阅图3，是本发明较佳实施例提供的应用于图1所示的视频直播系统的视频直播方法的流程图。下面将对图3所示的具体流程进行详细阐述。

步骤S101,图像采集装置120采集现场视频信息。将所述多个全景视频相机安装于所述无人机110不同位置上，所述多个全景视频相机以不同角度采集现场视频信息。

步骤S102,VR处理器131将采集到的现场视频进行图像拼接。所述VR处理器131接收所述多个全景视频相机采集到的现场视频信息。所述VR处理器131读取预置的所述多个全景视频相机的拼接参数。将接收到的所述视频信息进行图像仿射变换以生成现场全景视频。其中，图像的仿射变换可根据以下公式进行：

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{ccc}{a}_2& a_1& a_0\\ b_2& b_1& b_0\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

其中，x，y为原始图像坐标；u，v为变换后的图像坐标；a_i，b_i是计算后并固化下来的拼接参数。

步骤S103,VR处理器131将拼接后的视频进行立体三维建模以生成三维全景视频。所述VR处理器131根据拼接后的现场全景视频信息和所述多个全景视频相机的参数，并结合所述无人机的遥测定位信息等，进行立体三维建模，最终生成三维全景视频，并将所述三维全景视频发送至所述视频编码器132。

步骤S104,视频编码器132将接收到的三维全景视频进行编码以减少数据量。所述视频编码器132将VR处理器131传送的所述三维全景视频进行视频编码以减少视频数据量。采用ffmpeg将视频流压缩为ASF格式，并将编码后的所述三维全景视频发送至所述VR直播云服务器210。

步骤S105,VR直播云服务器210将接收到的经过编码后的三维全景视频进行缓存及转播。所述VR直播云服务器210接收从所述视频编码器132传送过来的所述三维全景视频，将所述三维全景视频以VR视频播放器支持的播放格式缓存于所述VR直播云服务器210中，并根据用户的需求进行实时转播。

步骤S106,用户通过VR可视设备220接收转播的三维全景视频进行实时播放。VR可视设备220接收所述VR直播云服务器210转播的视频信息并进行快速处理以还原逼真的3D场景。用户借助VR可视设备220，连上所述VR直播云服务器210开发的视频地址，就可直接在所述VR可视设备220上观看视频实时直播。

综上所述，本发明提供的一种视频直播系统及方法。该视频直播系统通过VR直播云服务器210接收无人机终端100发送的三维全景视频并缓存其中以进行实时转播。VR可视设备220接收VR直播云服务器210转播的三维全景视频，根据该三维全景视频还原逼真的3D场景以进行实时播放。实现了基于无人机的VR全景视频的实时播放，并实现了多人跨平台进行同一视频源的观看。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频直播系统，其特征在于，包括无人机终端和视频控制终端，所述无人机终端包括无人机、图像采集装置和图像处理装置，所述视频控制终端包括VR可视设备和VR直播云服务器，所述图像采集装置设置于所述无人机上，所述图像采集装置与所述图像处理装置连接，所述图像处理装置、所述VR可视设备分别与所述VR直播云服务器通信连接；

所述图像采集装置用于采集视频信息；所述图像处理装置用于对所述图像采集装置采集到的视频信息进行处理以生成三维全景视频并发送至所述VR直播云服务器；所述VR直播云服务器用于接收及缓存所述图像处理装置发送的所述三维全景视频并进行实时转播；所述VR可视设备用于接收所述VR直播云服务器转播的所述三维全景视频，根据所述三维全景视频生成3D场景并进行实时播放。

2.根据权利要求1所述的视频直播系统，其特征在于，所述图像采集装置包括多个全景视频相机，所述多个全景视频相机安装在所述无人机的不同位置，用于对不同角度的视频进行采集以保证视场的全方位覆盖，所述图像处理装置用于对所述多个全景视频相机采集到的视频进行处理，以生成三维全景视频。

3.根据权利要求2所述的视频直播系统，其特征在于，所述图像处理装置包括VR处理器，所述VR处理器中预设有所述多个全景视频相机的拼接参数，所述VR处理器用于根据所述拼接参数将所述多个全景视频相机采集到的视频信息进行图像拼接以生成三维全景视频。

4.根据权利要求3所述的视频直播系统，其特征在于，所述图像处理装置还包括视频编码器，所述视频编码器用于对拼接后的所述三维全景视频进行编码，并将编码后的所述三维全景视频发送至所述VR直播云服务器。

5.根据权利要求4所述的视频直播系统，其特征在于，所述VR直播云服务器用于接收所述视频编码器发送的所述三维全景视频，将所述三维全景视频以VR视频播放器支持的播放格式缓存于所述VR直播云服务器中，并进行实时转播。

6.根据权利要求1所述的视频直播系统，其特征在于，所述视频直播系统还包括移动控制终端，所述移动控制终端用于对所述无人机的飞行参数进行控制。

7.一种视频直播方法，应用于视频直播系统，其特征在于，所述视频直播系统包括无人机终端和视频控制终端，所述无人机终端包括无人机、图像采集装置和图像处理装置，所述视频控制终端包括VR可视设备和VR直播云服务器，所述图像采集装置设置于所述无人机上，所述视频直播方法包括：

所述图像采集装置采集视频信息；

所述图像处理装置对所述图像采集装置采集到的视频信息进行处理以生成三维全景视频并发送至所述VR直播云服务器；

所述VR直播云服务器接收及缓存所述图像处理装置发送的所述三维全景视频并进行实时转播；

所述VR可视设备接收所述VR直播云服务器转播的所述三维全景视频，根据所述三维全景视频生成3D场景并进行实时播放。

8.根据权利要求7所述的视频直播方法，其特征在于，所述图像采集装置包括多个全景视频相机，所述多个全景视频相机安装在所述无人机不同位置，对不同角度的视频进行采集，保证视场的全方位覆盖，所述图像处理装置对所述图像采集装置采集到的视频信息进行处理以生成三维全景视频并发送至所述VR直播云服务器的步骤包括：

所述图像处理装置对所述多个全景视频相机采集到的视频信息进行处理，生成三维全景视频并发送至所述VR直播云服务器。

9.根据权利要求8所述的视频直播方法，其特征在于，所述图像处理装置包括VR处理器和视频编码器，所述图像处理装置对所述多个全景视频相机采集到的视频信息进行处理，生成三维全景视频并发送至所述VR直播云服务器的步骤包括：

所述VR处理器根据预设的所述多个全景视频相机的拼接参数将所述多个全景视频相机采集到的视频信息进行图像拼接，生成现场三维全景视频；

所述视频编码器对拼接后的所述三维全景视频进行编码，并将编码后的所述三维全景视频发送至所述VR直播云服务器。

10.根据权利要求9所述的视频直播方法，其特征在于，所述VR直播云服务器接收及缓存所述图像处理装置发送的所述三维全景视频并进行实时转播的步骤包括：

所述VR直播云服务器接收所述视频编码器发送的所述三维全景视频，将所述三维全景视频以VR视频播放器支持的播放格式缓存于所述VR直播云服务器中，并进行实时转播。