CN106992959A - 一种3d全景音视频直播系统及音视频采集方法 - Google Patents

Abstract

本发明公开了一种3D全景音视频直播系统及音视频采集方法。该3D全景音视频直播系统包括音视频采集设备、服务器以及多个用户终端。音视频采集设备用于硬件同步采集多路原始视频数据以及多路原始音频数据，对多路原始视频数据以及多路原始音频数据进行处理，获得3D全景音视频数据，并将3D全景音视频数据推流到服务器；服务器接收音视频采集设备推流的3D全景音视频数据，将3D全景音视频数据进行转码处理，并将转码后的3D全景音视频数据分发给用户终端；用户终端从服务器实时获取转码后的3D全景音视频数据，并实时直播转码后的3D全景音视频数据。本发明实施例可以提高画质的清晰度、减小图像畸变，实现多路视频数据与多路音频数据的硬件同步采集。

Description

一种3D全景音视频直播系统及音视频采集方法

技术领域

本发明涉及音视频处理技术领域，尤其涉及一种3D全景音视频直播系统及音视频采集方法。

背景技术

随着计算机技术、微电子技术、光学技术以及多媒体技术的飞速发展，人们信息交流互通的需求不断加大，信息沟通方式革新的需求更是与日俱增，传统的单个摄像头进行音视频信息采集和网络传输到远程的方式进行可视对讲等等的方式已经不满足人们日益增长无死角的图像视频信息采集的需求，一种突破传统，带给用户720度无死角沉浸式体验的全景音视频采集设备应运而生。

目前，全景音视频采集设备主要分为两大类，第一类是采用双目摄像头方案，即两个摄像头模组背靠背放置或者水平方向错位放置，第二类则是多个摄像头方案，即多目摄像头模组自由排布使得能够无死角采集。然而实践中发现，第一类存在着像素密度不够、图像畸变较大和画质不清晰等问题，第二类无法进行多个摄像头的视频数据帧同步，这两类全景音视频采集设备采集的视频数据都给全景视频的拼接带来影响。可见，如何实现一种图像畸变比较小、画质清晰、多个摄像头采集且同步性好的全景音视频采集系统是一个亟待解决的技术难题。

发明内容

本发明实施例提供了一种3D全景音视频直播系统及音视频采集方法，可以提高画质的清晰度、减小图像畸变，同时，实现多路视频数据与多路音频数据的硬件同步采集。

本发明实施例第一方面公开了一种3D全景音视频直播系统，包括：音视频采集设备、服务器以及多个用户终端，其中：

所述音视频采集设备，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；

所述服务器，用于接收所述音视频采集设备推流的所述3D全景音视频数据，将所述3D全景音视频数据进行转码处理，以及将转码后的3D全景音视频数据分发给所述用户终端；

所述用户终端，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。

本发明实施例中，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据以及硬件同步采集来自多路拾音器的原始音频数据，在对该原始视频数据以及原始音频数据进行处理后获得3D全景音视频数据，实现了多路视频数据与多路音频数据的硬件同步采集，同时，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，这样，用户终端直播3D全景音视频数据时将会有更高的像素和清晰度，图像畸变也会减小，从而可以提高画质的清晰度、减小图像畸变，提高用户体验。

本发明实施例第二方面公开了一种音视频采集方法，包括：

硬件同步采集来自多路摄像头模组的原始视频数据；

硬件同步采集来自多路拾音器的原始音频数据；

对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。

本发明实施例中，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据以及硬件同步采集来自多路拾音器的原始音频数据，进一步地，音视频采集设备对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。可见，通过实施本发明实施例，能够实现多路原始视频数据以及多路原始音频数据的硬件同步采集。此外，摄像头模组为高清摄像头模组，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，此外，多路高清摄像头模组的感光晶元的总尺寸会更大，进一步分担了拍摄全景中每个像素点承担成像角度的压力，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，从而能够提高画质的清晰度、减小图像畸变。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种3D全景音视频直播系统的结构示意图；

图2是本发明实施例公开的另一种3D全景音视频直播系统的结构示意图；

图3是本发明实施例公开的一种音视频采集方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种3D全景音视频直播系统及音视频采集方法，提高画质的清晰度、减小图像畸变，同时，实现多路视频数据与多路音频数据的硬件同步采集。以下分别进行详细说明。

请参阅图1，图1是本发明实施例公开的一种3D全景音视频直播系统的结构示意图。如图1所示，该3D全景音视频直播系统包括音视频采集设备10、服务器20以及用户终端30，其中：

所述音视频采集设备10，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；

所述服务器20，用于接收所述音视频采集设备推流的所述3D全景音视频数据；

所述用户终端30，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。

其中，音视频采集设备10可以为全景拍摄装置，如全景相机。服务器20为广域网服务器或局域网服务器。多个所述用户终端30可以同时观看实时直播的所述转码后的3D全景音视频数据。

具体的，局域网服务器主要用于搭建局域网环境下支持多用户同时观看本地3D全景音视频数据的流媒体直播，它能够接受音视频采集设备推流过来的RTMP格式的音视频流，同时，支持多种音视频流格式的转换，例如转换成HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等协议，并进行音视频流的多路分发工作，以便于用户终端进行身临其境的实时3D全景音视频直播体验。

广域网服务器主要用于接收音视频采集设备通过以太网推流过来的音视频流并在云平台创建直播、生成推流地址或播放地址分发到用户终端，广域网服务还可以进行协议转换，把接收到的音视频流的格式转换成为HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等等多种视频格式，并分发到能够接受相应视频格式直播的用户终端。同时，音视频流在传输过程中还经过了CDN加速过程。

其中，所述用户终端30上配置有所述用户终端30的操作系统对应的全景播放器，所述操作系统包括以下中的任一个：视窗操作系统Windows、Mac电脑、IOS、安卓Android以及VR一体机。

其中，用户终端30为广域网用户终端或局域网用户终端。

广域网用户终端可以包括但不限于：VR一体机（Virtual Reality All-in-oneHeadset）、手机、平板电脑、MAC电脑，笔记本电脑和台式机电脑等等，用户可以通过不同广域网用户终端上的播放器来实时体验远程的经过CDN加速的至少4K/30fps的3D全景音视频直播。此外，广域网用户终端能够支持多人同时在线观看。

局域网用户终端可以包括但不限于：VR一体机（Virtual Reality All-in-oneHeadset）、手机、平板电脑、MAC电脑，笔记本电脑和台式机电脑等等，用户可以通过局域网用户终端上的播放器来实时体验本地的至少4K/30fps的3D全景音视频直播。此外，局域网用户终端能够支持多人同时在线观看。

本发明实施例中，音视频采集设备10硬件同步采集多路原始视频数据以及多路原始音频数据，实现了多路原始视频数据以及多路原始音频数据的硬件同步采集，此外，获得的3D全景音视频数据的画质更清晰、图像畸变较小。音视频采集设备10将所述3D全景音视频数据推流到所述服务器20，经所述服务器20对所述3D全景音视频数据进行转码处理之后，用户终端30就可以从所述服务器20实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据，这样，用户就可以观看清晰度更高、图像畸变更小，全景拼接指令更高的3D全景音视频了，从而能够增强用户的沉浸式体验。

请参阅图2，图2是本发明实施例公开的另一种3D全景音视频直播系统的结构示意图。其中，图2所示的3D全景音视频直播系统是在图1所示3D全景音视频直播系统的基础上进一步优化得到的，与图1所示的3D全景音视频直播系统相比，图2所示的3D全景音视频直播系统除了包括图1所示的3D全景音视频直播系统的所有模块外，

音视频采集设备10包括采集模块100和处理模块200，所述采集模块100通过M路第一移动产业处理器接口MIPI（比如第一MIPI 1、第一MIPI 2……第一MIPI M）与所述处理模块200连接，所述采集模块100包括N路摄像头模组（比如摄像头模组1、摄像头模组2……摄像头模组N）、P路拾音器（比如拾音器1、拾音器2……拾音器N）以及现场可编程门阵列FPGA芯片110，所述N路摄像头模组通过N路第二MIPI（比如第二MIPI 1、第二MIPI 2……第二MIPIN）与所述FPGA芯片连接，所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接，其中，M、N、P均为正整数，且M小于N；其中：

所述FPGA芯片110，用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块；

所述FPGA芯片110，还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，并通过第二音频数据接口将所述原始音频数据发送给所述处理模块；

所述处理模块200，用于对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。

其中，现场可编程门阵列（Field-Programmable Gate Array，FPGA），移动产业处理器接口(Mobile Industry Processor Interface，MIPI）。

本发明实施例中，所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片110直接相连，由于第二MIPI的传输速度快，可以用于传输更高清、数据量更大的图像传感器数据，所述FPGA芯片110具有接口丰富且能够并行工作的特点，故所述FPGA芯片110能够通过N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，以及通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，即能够实现多路视频数据与多路音频数据的硬件同步采集。此外，所述N路摄像头模组为高清摄像头模组，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，故处理模块200获得的3D全景音视频数据的清晰度会很高，同时，N路高清摄像头模组的感光晶元的总尺寸会更大，进一步分担了拍摄全景中每个像素点承担成像角度的压力，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，从而能够提高画质的清晰度、减小图像畸变。

其中，针对每路所述摄像头模组，所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头（图中未示出）；可选的，N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，或者，N个所述镜头按照镜头朝外均匀分布在一个球体上。

作为一种可选的实施方式，若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，则所述镜头为角度大于或等于180度的鱼眼镜头，每个所述图像传感器竖立放置；

在该实施方式中，需要每个所述图像传感器竖立放置，即图像传感器的长边与多个图像传感器水平均匀排布的圆周相垂直，这样，能够提高图像传感器的像素利用率和成像画质质量。

作为另一种可选的实施方式，若N个所述镜头按照镜头朝外均匀分布在一个球体上，则所述镜头为广角镜头，所述广角镜头的角度与所述图像传感器的数量相对应。

在该实施方式中，需要采用广角镜头，广角镜头的角度与所述图像传感器的数量相对应，即广角镜头的角度会根据图像传感器数目的不同而不同。

FPGA芯片110能够在同一时刻对N个图像传感器按照10bit精度进行硬件同步的原始视频数据采集，采集得到N路图像传感器的RAW DATA格式的原始视频数据。

作为另一种可选的实施方式，所述FPGA芯片110包括：N个视频数据输入缓存单元以及M个视频数据输出缓存单元（图中为示出），N为M的整倍数，其中，

所述视频数据输入缓存单元，用于存储与所述视频数据输入缓存单元对应的所述摄像头模组的原始视频数据；

所述FPGA芯片110，还用于将N个所述视频数据输入缓存单元存储的原始视频数据均分为M组，获得每个分组的原始视频数据；

所述视频数据输出缓存单元，用于存储与所述视频数据输出缓存单元对应的分组的原始视频数据，以及用于通过所述第一MIPI将存储的原始视频数据发送给所述处理模块。

具体的，FPGA芯片110通过N路第二MIPI硬件同步采集来自N路摄像头模组的原始视频数据。同时，FPGA芯片110为这N路摄像头模组分别建立了视频数据输入缓存单元，即总共建立了N个视频数据输入缓存单元。其中，每个视频数据输入缓存单元可以存储X帧的视频数据帧，X大于等于1，这样有利于每一路摄像头模组高速且高帧率传输过来的原始视频数据能够及时地被接收与缓存，便于后续原始视频数据的处理，同时，防止因为后续处理工作效率不能够与摄像头模组输出效率匹配而造成的视频数据的丢失。

其中，每经过一次FPGA芯片110对N路摄像头模组的硬件同步采集所得到的原始视频数据可以称之为一组采集输入，N个经过硬件同步采集得到的原始视频数据，即一组采集输入，就会并行的存储到对应的视频数据输入缓存单元中，而且在每一个视频数据输入缓存单元中，每一次硬件同步采集到的对应于该视频数据输入缓存单元的原始视频数据会按照存储空间地址从低到高的顺序或者从高到低的顺序依次地存储，直到该视频数据输入缓存单元的原始视频数据帧的数目达到X，如果再有新的原始视频数据帧输入进来，就会覆盖掉第一个存储到视频数据输入缓存单元的数据帧，并继续按照顺序依次存储并覆盖之前存储的原始视频数据。

此外，FPGA芯片110在进行N路摄像头模组的原始视频数据的采集并传输给视频数据输入缓存单元的过程中，FPGA芯片110还将N个视频数据输入缓存单元存储的原始视频数据均分为M组，获得每个分组的原始视频数据，并把每个分组的原始视频数据存储到与该分组对应的视频数据输出缓存单元，其中，视频数据输出缓存单元的数量为M个，每个分组的原始视频数据帧的数目为N/M个，其中，N为M的整倍数。M路视频数据输出缓存单元将通过M路所述第一MIPI将存储的原始视频数据并行地发送给所述处理模块。

同时，M路视频数据输出缓存单元也会向FPGA芯片110发出数据请求，该请求用于请求把N路视频数据输入缓存单元中所存储的一组采集输入继续均分为M组，并传递给M路视频数据输出缓存单元。这样FPGA芯片110内部依次实时地进行着N路摄像头模组的原始视频数据的硬件同步采集，并作为一组采集输入按照地址存储顺序存储到对应的N路视频数据输入缓存单元中，然后等到M路视频数据输出缓存单元发出数据请求的时候，再依次地把N路视频数据输入缓存单元中的原始视频数据以一组采集输入的方式，按照先进先出的原则依次的传递给M路视频数据输出缓存单元。

这样，M路视频数据输出缓存单元就可以通过M路所述第一MIPI将存储的原始视频数据发送给所述处理模块200，以便于所述处理模块200对原始视频数据进行后续处理。

作为另一种可选的实施方式，所述P路拾音器为P路模拟麦克，所述第一音频数据接口为音频输入AIN接口。

具体的，FPGA芯片110通过P路AIN接口与P路模拟麦克进行连接，通过FPGA芯片110进行P路模拟音频信号放大、AGC(自动增益控制)、A/D采样、量化和编码，最后得到P路原始音频数据。可以根据精度和音质的不同需求来择取采集位数，比如8位、16位、24位等，可以根据不同音质要求来择取采样频率，比如22.05KHz、44.1KHz、48KHz。

作为另一种可选的实施方式，所述P路拾音器为P路数字麦克，所述第一音频数据接口为集成电路内置音频总线I2S接口。

具体的，FPGA芯片110通过P路I2S接口来接收P路数字麦克的原始音频数据，采样精度主要由数字麦克本身特性来限制。

作为另一种可选的实施方式，所述FPGA芯片110包括：P个音频数据输入缓存单元以及一个音频数据输出缓存单元，其中，

所述音频数据输入缓存单元，用于存储与所述音频数据输入缓存单元对应的所述拾音器的原始音频数据；

所述音频数据输出缓存单元，用于存储来自P个所述音频数据输入缓存单元的原始音频数据，以及用于通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块。

其中，第二音频数据接口可以包括但不限于USB2.0、USB3.0、McBSP、HDMI等接口。

具体的，FPGA芯片110为每路拾音器建立了一个音频数据输入缓存单元。同时，FPGA芯片110也为采集到的P路原始音频数据建立了一个总的音频数据输出缓存单元。无论拾音器是模拟麦克还是数字麦克，对于每个音频数据输入缓存单元来说，音频数据输入缓存单元存储与该音频数据输入缓存单元对应的拾音器的原始音频数据，

当处理模块200对FPGA芯片110发送数据获取请求或音频数据输入缓存单元存储的数据填满了之后，P个音频数据输入缓存单元就会把存储的P路原始音频数据按照第1路~第P路的顺序依次传输给音频数据输出缓存单元，该音频数据输出缓存单元按照一定的格式对接收到的原始音频数据进行缓存，并通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块200。

作为另一种可选的实施方式，处理模块200包括：主控模块210、M路图像信号处理ISP模块（比如ISP模块1、ISP模块2……ISP模块M）、图形处理器GPU模块220、编码模块230以及外部存储模块240，其中，

所述主控模块210，用于通过所述M路第一MIPI并行接收所述原始视频数据，并通过调度所述M路ISP模块以及所述GPU模块220对所述原始视频数据进行处理，获得3D全景视频数据；

所述主控模块210，还用于通过所述第二音频数据接口接收所述原始音频数据，并对所述原始音频数据进行处理，获得全景音频数据；

所述主控模块210，还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；

所述主控模块210，还用于通过调度所述编码模块230对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据；

所述主控模块210，还用于通过调度所述外部存储模块240存储所述3D全景音视频数据。

其中，所述主控模块210通过调度所述M路ISP模块以及所述GPU模块220对所述原始视频数据进行处理，获得3D全景视频数据的方式具体为：

所述主控模块210通过调度所述M路ISP模块对所述原始视频数据进行ISP处理，获得M路视频数据；

所述主控模块210通过调度所述GPU模块220对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据。

其中，所述主控模块210对所述原始音频数据进行处理，获得全景音频数据的方式具体为：

所述主控模块210对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据。

其中，主控模块210可以为中央处理器（Central Processing Unit，CPU），图像信号处理（Image Signal Processin，ISP），图形处理器（Graphics Processing Unit，GPU）。

具体的，本发明实施例中，FPGA芯片110通过M路第一MIPI将N路摄像头模组的RAWDATA格式的原始视频数据帧传输给处理模块200之后，处理模块200中的主控模块210通过所述M路第一MIPI并行接收所述原始视频数据，通过调度所述M路ISP模块对所述原始视频数据进行ISP处理，即进行3D降噪处理、图像质量优化处理以及将转换RAW DATA格式的原始视频数据转换成YUV格式的原始视频数据，最后获得M路视频数据；进一步地，通过调度所述GPU模块220对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；同时，所述主控模块210对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据。其中，3D全景视频数据的分辨率、帧率和视频流的码率主要受到处理模块200本身性能的影响，至少能够实现编码4K/30fps且低码率的实时视频流。

进一步地，所述主控模块210还对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理，这样，可以使得全景音频能够根据3D全景视频不同的视角位置匹配模拟出真实场景中人耳感受到的声源位置的发生情况，进一步加强了体验者身临其境的震撼感。

此外，所述主控模块210还通过调度所述编码模块230对匹配后的3D全景视频数据进行硬件加速的H264/H265编码，以及对匹配后的全景音频数据进行硬件加速的AAC编码，进一步地，所述主控模块210把经过编码的3D全景视频数据以及全景音频数据进行音视频同步处理，以确保音视频数据的同步，这样，就获得了3D全景音视频数据。

作为另一种可选的实施方式，所述主控模块210还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。

具体的，所述主控模块210还用于通过以太网以无线或者有线的方式将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。

其中，主控模块210的处理器可以是intel处理器，手机平台处理器（高通、联发科、海思、三星、德州仪器）或者是英伟达的显卡处理器等等。

请参阅图3，图3是本发明实施例公开的一种音视频采集方法的流程示意图，其中，该方法应用于音视频采集设备，如图3所示，该方法可以包括以下步骤：

301、音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据。

具体的，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据的方式具体可以为：

通过多路移动产业处理器接口MIPI硬件同步采集来自所述多路摄像头模组的原始视频数据。

本发明实施例中，音视频采集设备中的FPGA芯片通过多路移动产业处理器接口MIPI硬件同步采集来自多路摄像头模组的原始视频数据，其中，摄像头模组通过MIPI与FPGA芯片直接相连，MIPI的传输速度快，可以用于传输更高清、数据量更大的图像传感器数据，FPGA芯片具有接口丰富且能够并行工作的特点，故所述FPGA芯片能够通过多路MIPI硬件同步采集来自多路摄像头模组的原始视频数据。

302、音视频采集设备硬件同步采集来自多路拾音器的原始音频数据。

具体的，音视频采集设备通过多路第一音频数据接口硬件同步采集来自多路拾音器的原始音频数据，该第一音频数据接口可以包括但不限于USB2.0、USB3.0、McBSP、HDMI等接口。

303、音视频采集设备对原始视频数据以及原始音频数据进行处理，获得3D全景音视频数据。

作为一种可选的实施方式，所述音视频采集设备对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据的方式具体包括以下步骤：

11）音视频采集设备对所述原始视频数据进行处理，获得3D全景视频数据；

12）音视频采集设备对所述原始音频数据进行处理，获得全景音频数据；

13）音视频采集设备对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据。

具体的，音视频采集设备对所述原始视频数据进行处理，获得3D全景视频数据的方式具体为：

音视频采集设备对所述原始视频数据进行图像信号处理ISP处理，获得多路视频数据；对所述多路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；

所述音视频采集设备对所述原始音频数据进行处理，获得全景音频数据的方式具体为：

音视频采集设备对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据；

所述音视频采集设备对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据的方式具体为：

音视频采集设备对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据。

在该可选的实施方式中，音视频采集设备对所述原始视频数据进行ISP处理，即进行3D降噪处理、图像质量优化处理以及将转换RAW DATA格式的原始视频数据转换成YUV格式的原始视频数据，最后获得多路视频数据；进一步地，音视频采集设备对所述多路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；同时，音视频采集设备对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据。更进一步地，音视频采集设备还对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理，这样，可以使得全景音频能够根据3D全景视频不同的视角位置匹配模拟出真实场景中人耳感受到的声源位置的发生情况，进一步加强了体验者身临其境的震撼感。

此外，音视频采集设备对匹配后的3D全景视频数据进行硬件加速的H264/H265编码，以及对匹配后的全景音频数据进行硬件加速的AAC编码，把经过编码的3D全景视频数据以及全景音频数据进行音视频同步处理，以确保音视频数据的同步，这样，就获得了3D全景音视频数据。

作为一种可选的实施方式，该方法还包括以下步骤：

音视频采集设备通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。

具体的，音视频采集设备通过以太网以无线或者有线的方式将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。

在该可选的实施方式中，局域网服务器主要用于搭建局域网环境下支持多用户同时观看本地3D全景音视频数据的流媒体直播，它能够接受音视频采集设备推流过来的RTMP格式的音视频流，同时，支持多种音视频流格式的转换，例如转换成HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等协议，并进行音视频流的多路分发工作，以便于用户终端进行身临其境的实时3D全景音视频直播体验。

广域网服务器主要用于接收音视频采集设备通过以太网推流过来的音视频流并在云平台创建直播、生成推流地址或播放地址分发到用户终端，广域网服务还可以进行协议转换，把接收到的音视频流的格式转换成为HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等等多种视频格式，并分发到能够接受相应视频格式直播的用户终端。同时，音视频流在传输过程中还经过了CDN加速过程。

需要说明的是，图3中相关步骤的描述具体还可以参照图1或图2中的描述，在此不再赘述。

在图3所描述的方法流程中，音视频采集设备硬件同步采集来自多路摄像头模组的原始视频数据以及硬件同步采集来自多路拾音器的原始音频数据，进一步地，音视频采集设备对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。可见，通过实施本发明实施例，能够实现多路原始视频数据以及多路原始音频数据的硬件同步采集。此外，由于摄像头模组为高清摄像头模组，多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度，同时，高清摄像头模组的感光晶元的总尺寸会更大，进一步分担了拍摄全景中每个像素点承担成像角度的压力，使得图像畸变大大减小，同时像素稀释度大大降低，最终使得拼接的全景视频质量增高，从而能够提高画质的清晰度、减小图像畸变。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：Read-Only Memory ，简称：ROM）、随机存取器（英文：Random Access Memory，简称：RAM）、磁盘或光盘等。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种3D全景音视频直播系统，其特征在于，包括：音视频采集设备、服务器以及多个用户终端，其中：

所述音视频采集设备，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；

所述服务器，用于接收所述音视频采集设备推流的所述3D全景音视频数据，将所述3D全景音视频数据进行转码处理，以及将转码后的3D全景音视频数据分发给所述用户终端；

所述用户终端，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据。

2.根据权利要求1所述的3D全景音视频直播系统，其特征在于，所述音视频采集设备包括采集模块和处理模块，所述采集模块通过M路第一移动产业处理器接口MIPI与所述处理模块连接，所述采集模块包括N路摄像头模组、P路拾音器以及现场可编程门阵列FPGA芯片，所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片连接，所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接，其中，M、N、P均为正整数，且M小于N；其中：

所述FPGA芯片，用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块；

所述FPGA芯片，还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，并通过第二音频数据接口将所述原始音频数据发送给所述处理模块；

所述处理模块，用于对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。

3.根据权利要求2所述的3D全景音视频直播系统，其特征在于，所述处理模块包括：主控模块、M路图像信号处理ISP模块、图形处理器GPU模块、编码模块以及外部存储模块，其中，

所述主控模块，用于通过所述M路第一MIPI并行接收所述原始视频数据，并通过调度所述M路ISP模块以及所述GPU模块对所述原始视频数据进行处理，获得3D全景视频数据；

所述主控模块，还用于通过所述第二音频数据接口接收所述原始音频数据，并对所述原始音频数据进行处理，获得全景音频数据；

所述主控模块，还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；

所述主控模块，还用于通过调度所述编码模块对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据；

所述主控模块，还用于通过调度所述外部存储模块存储所述3D全景音视频数据。

4.根据权利要求3所述的3D全景音视频直播系统，其特征在于，所述主控模块还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到所述服务器。

5.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，针对每路所述摄像头模组，所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头；其中，

N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，或者，N个所述镜头按照镜头朝外均匀分布在一个球体上。

6.根据权利要求5所述的3D全景音视频直播系统，其特征在于，若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，则所述镜头为角度大于或等于180度的鱼眼镜头，每个所述图像传感器竖立放置；

若N个所述镜头按照镜头朝外均匀分布在一个球体上，则所述镜头为广角镜头，所述广角镜头的角度与所述图像传感器的数量相对应。

7.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述FPGA芯片包括：N个视频数据输入缓存单元以及M个视频数据输出缓存单元，N为M的整倍数，其中，

所述视频数据输入缓存单元，用于存储与所述视频数据输入缓存单元对应的所述摄像头模组的原始视频数据；

所述FPGA芯片，还用于将N个所述视频数据输入缓存单元存储的原始视频数据均分为M组，获得每个分组的原始视频数据；

所述视频数据输出缓存单元，用于存储与所述视频数据输出缓存单元对应的分组的原始视频数据，以及用于通过所述第一MIPI将存储的原始视频数据发送给所述处理模块。

8.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述FPGA芯片包括：P个音频数据输入缓存单元以及一个音频数据输出缓存单元，其中，

所述音频数据输入缓存单元，用于存储与所述音频数据输入缓存单元对应的所述拾音器的原始音频数据，

所述音频数据输出缓存单元，用于存储来自P个所述音频数据输入缓存单元的原始音频数据，以及用于通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块。

9.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述P路拾音器为P路模拟麦克，所述第一音频数据接口为音频输入AIN接口；或，

所述P路拾音器为P路数字麦克，所述第一音频数据接口为集成电路内置音频总线I2S接口。

10.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述服务器为广域网服务器或局域网服务器，所述用户终端为广域网用户终端或局域网用户终端。

11.根据权利要求2~4任一项所述的3D全景音视频直播系统，其特征在于，所述用户终端上配置有所述用户终端的操作系统对应的全景播放器，所述操作系统包括以下中的任一个：视窗操作系统Windows、Mac电脑、IOS、安卓Android以及VR一体机。

12.一种音视频采集方法，应用于音视频采集设备，其特征在于，所述方法包括：

硬件同步采集来自多路摄像头模组的原始视频数据；

硬件同步采集来自多路拾音器的原始音频数据；

对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。

13.根据权利要求12所述的音视频采集方法，其特征在于，所述硬件同步采集来自多路摄像头模组的原始视频数据包括：

通过多路移动产业处理器接口MIPI硬件同步采集来自所述多路摄像头模组的原始视频数据。

14.根据权利要求12所述的音视频采集方法，其特征在于，所述对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据包括：

对所述原始视频数据进行处理，获得3D全景视频数据；

对所述原始音频数据进行处理，获得全景音频数据；

对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据。

15.根据权利要求14所述的音视频采集方法，其特征在于，所述对所述原始视频数据进行处理，获得3D全景视频数据的方式具体为：

对所述原始视频数据进行图像信号处理ISP处理，获得M路视频数据；对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理，获得3D全景视频数据；

所述对所述原始音频数据进行处理，获得全景音频数据的方式具体为：

对所述原始音频数据进行环绕立体声算法处理与合成，获得全景音频数据；

所述对所述3D全景视频数据以及所述全景音频数据进行处理，获得3D全景音视频数据的方式具体为：

对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据。

16.根据权利要求12~15任一项所述的音视频采集方法，其特征在于，所述方法还包括：

通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。