CN107592452B - 一种全景音视频采集设备及方法 - Google Patents

Abstract

本发明公开了一种全景音视频采集设备及方法。该方法包括：M路摄像头模组硬件同步采集M路原始视频数据；控制M路摄像头模组的曝光时间长短来处理M路原始视频数据；将处理过的M路原始视频数据进行全景拼接和编码；采集N路原始音频数据；确定N路原始音频数据所对应的N路声源方向信息，且将N路原始音频数据进行处理得到一路音频数据，并将一路音频数据与N路声源方向信息进行算法融合得到全景音频数据，并进行编码。将全景视频数据与全景音频数据进行同步，得到全景音视频数据。本发明提供的一种全景音视频采集设备及方法实现拼接全景视频无拖影和错位、拼接区域无盲区和重影，并解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象。

Description

一种全景音视频采集设备及方法

技术领域

本发明涉及全景领域，尤其涉及一种全景音视频采集设备及方法。

背景技术

目前，现有的全景音视频采集设备的多个摄像头模组进行视频或者图像采集的时候，由于传感器sensor本身可能出自于不同批次的晶元，加上同一款镜头之间可能也存在生产过程中的不一致性问题，例如：镀膜，使得不同摄像头模组拍摄出的视频或者图像之间存在明显的色差、色温和曝光一致性等等问题，多个摄像头的3A参数（AE/AWB/AF）非常难调节，最终导致多路视频或者图像进行全景拼接后，全景视频或者照片不同区域存在很明显的色差和明暗等现象，尤其是拼接过渡区域对比更加直接和明显，整个全景片源看上去效果非常的不理想。

同时，现有的全景音视频采集设备中，由于不同摄像头模组的视频数据帧在进行全景拼接时在拼接区域处会存在盲区和重影的问题，一直是本行业的一个痛点，无法解决或者无法在相机端本地进行实时的处理，只能够通过后期的处理，效率很低，操作复杂，用户体验很不好。

再次，现有的全景音视频采集设备在移动场景使用过程中，由于抖动和晃动等因素，使得采集到的片源在播放过程中画面颤抖非常厉害，体验极为不好。

本方案能够很好的解决上述行业痛点问题，同时保证整个采集系统轻巧便携，人机交互体验好。

发明内容

本发明实施例提供了一种全景音视频采集设备及方法，可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

本发明实施例第一方面公开了一种全景音视频采集设备，包括视频采集模块、音频采集模块以及处理器模块，处理器模块包括视频处理模块、音频处理模块以及同步模块，其中：

视频采集模块用于采集M路原始视频数据；音频采集模块用于采集N路原始音频数据；视频处理模块用于控制M路原始视频数据的硬件同步采集，且控制视频采集模块的曝光时间长短来处理M路原始视频数据，并将硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据，并将全景视频数据进行编码；音频处理模块用于通过N路原始音频数据确定N路原始音频数据所对应的N路声源方向信息，且对N路原始音频数据进行处理得到一路音频数据，并将处理过的一路原始音频数据与N路声源方向信息进行算法融合得到全景音频数据，并将全景音频数据进行编码；同步模块用于将编码后的全景视频数据与编码后的全景音频数据进行同步，得到全景音视频数据；其中，M、N为正整数，且M≥2，N≥3。

优选的，视频采集模块由M路摄像头模组组成，M路摄像头模组通过M路数据接口与处理器模块相连，M路摄像头模组包括M路镜头、M路图像传感器以及M路电路板，音频采集模块由N路拾音器组成，N路拾音器组成与处理器模块相连，其中，M路摄像头模组以及N路拾音器都是水平均匀的排布成一圈，或者均匀的排布在一个球面上，又或者非均匀的排布在一个球面上。

优选的，视频处理模块包括硬件同步模块、曝光处理模块、全景拼接模块以及视频编码模块，其中：硬件同步模块用于控制M路摄像头模组同步采集M路原始视频数据，或者控制M路摄像头模组中的一个摄像头模组为主控模式，处于主控模式的摄像头模组控制其他M-1个摄像头模组同步采集M路原始视频数据；曝光处理模块用于控制M个摄像头模组采集的M路原始视频数据在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光来采集不同曝光值下的视频数据帧，并通过分时处理或者同时处理不同曝光值下的视频数据帧，把来自同一个摄像头模组不同曝光值下的数据帧的明暗部分进行合成，得到曝光处理过后的视频数据；全景拼接模块用于将硬件同步过以及曝光处理过的原始视频数据进行全景拼接，得到全景视频数据；视频编码模块用于将全景视频数据进行编码。

优选的，设备还包括深度信息采集模块和惯性测量模块，其中：深度信息采集模块用于检测M路原始视频数据所对应的实际物点到全景音视频采集设备之间的距离；惯性测量模块用于采集全景音视频采集设备的姿态和方向信息。

优选的，全景拼接模块还用于：结合所有实际物点到全景音视频采集设备之间的距离，调用全景拼接算法对硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据；将姿态和方向信息与全景视频数据进行匹配，并通过视频防抖算法对全景视频数据进行实时的校准，得到校准后的全景视频数据。

优选的，深度信息采集模块由P个小型化的结构光三维深度信息测量部件或飞行时间（ToF）深度信息测量部件组成，其中，P为正整数，且P≥3。

优选的，全景音视频采集设备采集的全景音视频采用流媒体协议，流媒体协议可以为RTSP协议或者RTMP协议，全景音视频可用有线方式、无线方式或者4G/5G方式进行推流直播。

优选的，全景音视频采集设备采用的液晶触摸屏或者柔性触摸屏进行人机交互。

优选的，全景音视频采集设备为全景相机，全景相机为双目全景相机或者多目全景相机。

本发明实施例中，提供了一种全景音视频采集设备，可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

本发明实施例第二方面公开了一种全景音视频采集方法，包括：

接收硬件同步请求，M路摄像头模组硬件同步采集M路原始视频数据；

控制的M路摄像头模组的曝光时间长短来处理M路原始视频数据；

将硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据，并对全景视频数据进行编码；

采集N路原始音频数据；

通过N路原始音频数据确定N路原始音频数据所对应的N路声源方向信息，且将N路原始音频数据进行处理得到一路音频数据，并将处理得到的一路音频数据与N路声源方向信息进行算法融合得到全景音频数据，并将全景音频数据进行编码；

将编码后的全景视频数据与全景音频数据进行同步，得到全景音视频数据；其中，M、N为正整数，且M≥2，N≥3。

优选的，处理视频数据的方法包括：

控制M路摄像头模组同步采集M路原始视频数据，或者控制M路摄像头模组中的一个摄像头模组为主控模式，处于主控模式的摄像头模组控制其他M-1个摄像头模组同步采集M路原始视频数据；

控制M个摄像头模组采集的M路原始视频数据在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光来采集不同曝光值下的视频数据帧，并通过分时处理或者同时处理不同曝光值下的视频数据帧，把来自同一个摄像头模组不同曝光值下的数据帧的明暗部分进行合成，得到曝光处理过后的视频数据；

将硬件同步过以及曝光处理过的原始视频数据进行全景拼接，得到全景视频数据；

将全景视频数据进行编码。

优选的，方法还包括：

检测M路原始视频数据所对应的实际物点到全景音视频采集设备之间的距离，结合所有实际物点到全景音视频采集设备之间的距离，调用全景拼接算法对硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据；

采集全景音视频采集设备的姿态和方向信息，并将姿态和方向信息与全景视频数据进行匹配，并通过视频稳定算法对全景视频数据进行实时的校准，得到校准后的全景视频数据。

优选的，采集的全景音视频基于流媒体协议，流媒体协议可以为RTSP协议或者RTMP协议，可以用有线方式、无线方式或者4G/5G方式进行推流直播。

本发明实施例中，提供了一种全景音视频采集方法，可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种全景音视频采集设备一实施方式的结构图；

图2是本发明实施例公开的一种全景音视频采集设备一实施方式的具体细化结构图；

图3是本发明实施例公开的一种全景音视频采集方法一实施方式的流程图；

图4是本发明实施例公开的一种全景音视频采集方法中处理视频数据一实施方式的流程图；

图5是本发明实施例公开的一种全景音视频采集方法另一实施方式的流程图。

主要元件符号说明

视频采集模块	10
		音频采集模块	20
处理器模块	30
		深度信息采集模块	40
惯性测量模块	50
		视频处理模块	310
音频处理模块	320
		同步模块	330
硬件同步模块	3110
		曝光处理模块	3120
全景拼接模块	3130
		视频编码模块	3140

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、设备、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供了一种全景音视频采集设备及方法，可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

请参阅图1，图1是本发明实施例公开的一种全景音视频采集设备一实施方式的结构图。如图1所示，本发明实施例公开的一种全景音视频采集设备包括视频采集模块10、音频采集模块20、以及处理器模块30。处理器模块30包括视频处理模块310、音频处理模块320以及同步模块330。视频采集模块10、音频采集模块20分别与处理器模块30进行通信连接。视频处理模块310、音频处理模块320以及同步模块330相互通信连接。

在本实施方式中，视频采集模块10用于采集M路原始视频数据，M为大于2的自然数：若实现3D全景音视频采集，则M为大于等于4的偶数；若实现2D全景，则M≥2，且为自然数。

音频采集模块20用于采集N路原始音频数据，N为大于等于3的自然数，另外，音频采集模块20还用于一路外部音频设备的采集输入。

具体而言，音频采集模块20实现N路模拟MIC音频信号或者N路数字MIC音频信号的采集，N≥3，再把采集到的N路音频数据通过音频通信接口传递给处理器模块，也可以通过处理器模块直接实现N路模拟MIC音频信号或者N路数字MIC音频信号的采集。

视频处理模块310用于控制M路原始视频数据的硬件同步采集，且控制视频采集模块的曝光时间长短来处理M路原始视频数据，并将硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据，并对全景视频数据进行编码。

音频处理模块320用于通过N路原始音频数据确定N路原始音频数据所对应的N路声源方向信息，且将N路原始音频数据进行处理得到一路音频数据，并将处理得到的一路音频数据与N路声源方向信息进行算法融合得到全景音频数据，并将全景音频数据进行编码。

具体而言，对N路原始音频数据进行噪声抑制、消除扬声器的声音、音频的3A（AEC/ANR/ALC）处理后得到一路音频数据。

同步模块330用于将编码后的全景视频数据与全景音频数据进行同步，得到全景音视频数据。

一般而言，经过本发明全景音视频采集设备处理过的全景音视频数据可以直接解码后进行推流直播。

具体来说，通过用户的人机交互功能选择，实现基于RTSP协议或者RTMP协议的有线方式、无线方式或者4G/5G方式进行推流直播、直播分辨率可以实现8K/30fps，6K/60fps，4K/120fps ，编码方式H.264/H.265，码率可以实现4Mbps以上可调，或者实现8K/30fps，6K/60fps，4K/120fps的录像和最高10000*5000的拍照等功能。

在进行4G/5G模块直播的时候，由于4G/5G直播网络上行传输带宽的限制，本方案支持把全景视频进行分包处理，并通过集成有多张4G/5G的SIM卡的模块进行直播，增大上行带宽，同时在服务器端接收视频数据的时候配到重新组包的程序，把完整的全景视频流重新组建起来，便于后续的视频直播分发等处理工作。

本发明实施例的人机交互方式采用的液晶触摸屏或者柔性触摸屏，可以通过显示屏非常直观的实时预览全景视频的效果，同时也可以通过触控方式来实现功能选择操作，如拍照、录像、直播等操控和参数设置，也可以直接通过触控方式选择查看已经拍摄或者录制的全景照片或者视频，同时相机上面也配有快捷物理按键，便于拍摄的快捷操作和盲拍等使用。

本实施例提供了的一种全景音视频采集设备可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

参阅图2，图2是本发明实施例公开的一种全景音视频采集设备一实施方式的具体细化结构图。其中，图2所示的全景音视频采集设备是在图1所示全景音视频采集设备的基础上进一步优化得到的。

在本实施方式中，本发明实施例公开的一种全景音视频采集设备包括视频采集模块 10、音频采集模块20、以及处理器模块30。处理器模块30包括视频处理模块310、音频处理模块320以及同步模块330。视频处理模块310包括硬件同步模块3110、曝光处理模块3120、全景拼接模块3130以及视频编码模块3140。视频采集模块10、音频采集模块20分别与处理器模块30进行通信连接。视频处理模块310、音频处理模块320以及同步模块330相互通信连接。硬件同步模块3110、曝光处理模块3120、全景拼接模块3130以及视频编码模块3140相互通信连接。

具体而言，视频采集模块10由M路摄像头模组组成，M路摄像头模组通过M路数据接口与处理器模块30相连，M路数据接口M路第一移动产业处理器接口MIPI接口，也可以是M路低电压差分信号LVDS接口，M路摄像头模组包括M路镜头、M路图像传感器以及M路电路板，音频采集模块20由N路拾音器组成，N路拾音器通过音频数据接口与处理器模块30相连，其中，M路摄像头模组以及N路拾音器都是水平均匀的排布成一圈，或者均匀的排布在一个球面上，又或者非均匀的排布在一个球面上。

在本实施方式中，视频采集模块10用于采集M路原始视频数据，M为大于2的自然数，若实现3D全景音视频采集，则M为大于等于4的偶数，若实现2D全景，则M≥2，且为自然数。

在本实施方式中，音频采集模块20用于采集N路原始音频数据，N为大于等于3的自然数，另外，音频采集模块20还用于一路外部音频设备的采集输入（图2未画出）。

具体而言，音频采集模块20实现N路模拟MIC音频信号或者N路数字MIC音频信号的采集，N≥3，再把采集到的N路音频数据通过音频通信接口传递给处理器模块，也可以通过处理器模块直接实现N路模拟MIC音频信号或者N路数字MIC音频信号的采集。

在本实施方式中，硬件同步模块3110用于控制M路摄像头模组同步采集M路原始视频数据，或者控制M路摄像头模组中的一个摄像头模组为主控模式，处于主控模式的摄像头模组控制其他M-1个摄像头模组同步采集M路原始视频数据。

具体而言，为了实现M路摄像头的硬件同步采集，本方案设计了两种硬件同步方式：其一，如图2中箭头标识数据流，M个图像传感器sensor全部工作在Slave（从）模式，作为M路视频采集的处理器模块40工作在Master(主)模式，由处理器模块40发出帧同步信号给其他工作在Slave（从）模式的M个图像传感器sensor，以达到M个sensor同步输出数据帧的目的；其二，未在图中所述，其中任一个图像传感器sensor做为Master(主)模式，其余M-1个sensor作为Slave（从）模式，由工作在Master模式的图像传感器sensor发出帧同步信号给其余的M-1个工作在Slave(从)模式的图像传感器sensor，以达到M个sensor同步输出数据帧的目的。

曝光处理模块3120用于控制M个摄像头模组采集的M路原始视频数据在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光来采集不同曝光值下的视频数据帧，并通过分时处理或者同时处理不同曝光值下的视频数据帧，把来自同一个摄像头模组不同曝光值下的数据帧的明暗部分进行合成，得到曝光处理过后的视频数据。

具体而言，为了达到使得图像传感器能够实现高帧率、高分辨率，并在高速切换不同曝光情况下的实时视频采集，曝光处理模块3120也能够实时高效率的处理来自M个摄像头的数据，曝光处理模块3120需要做如下操作。

在本实施方式中，曝光处理模块3120来配置M个摄像头模组（图像传感器+镜头+电路板）在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光以实现M个摄像头模组在不同曝光值下进行视频数据帧的采集，并采集来自M个摄像头模组的不同曝光值，曝光处理模块3120通过两路或者两路以上的图形信号处理ISP分时处理或者同时处理来自M个摄像头模组不同曝光值的下采集到的数据帧，把来自同一个摄像头模组不同曝光值下的数据帧的明暗部分进行合成，达到同时保留高光细节与暗部细节的目的，使得每个摄像头模组最终得到的数据帧拥有更高的色深、更广的动态范围和更强的色彩表现力，同时在经过度信息采集模块50的降噪、坏点去除等图像质量处理工作，最终得到了M个经过硬件同步采集和处理的视频数据帧。

全景拼接模块3130用于将硬件同步过以及曝光处理过的原始视频数据进行全景拼接，得到全景视频数据。

视频编码模块3140用于将全景视频数据进行编码，方便推流直播。

音频处理模块320用于通过N路原始音频数据确定N路原始音频数据所对应的N路声源方向信息，且将N路原始音频数据进行处理得到一路音频数据，并将处理得到的一路音频数据与N路声源方向信息进行算法融合得到全景音频数据，并将全景音频数据进行编码。

具体而言，对N路原始音频数据进行噪声抑制、消除扬声器的声音、音频的3A（AEC/ANR/ALC）处理后得到一路音频数据。

同步模块330用于将编码后的全景视频数据与全景音频数据进行同步，得到全景音视频数据。

一般而言，经过本发明全景音视频采集设备处理过的全景音视频数据可以直接解码后进行推流直播，但是在实际过程中会存在以下问题：

其一、拼接区域存在盲区和重影等现象；其二、全景音视频采集设备在移动场景使用过程中，由于抖动和晃动等因素，使得采集到的片源在播放过程中画面不稳定。

本发明提供的全景音视频设备还包括深度信息采集模块40和惯性测量模块50，其中：深度信息采集模块40用于检测M路原始视频数据所对应的实际物点到全景音视频采集设备之间的距离；惯性测量模块50用于采集全景音视频采集设备的姿态和方向信息。

全景拼接模块3130还用于结合所有实际物点到全景音视频采集设备之间的距离，调用全景拼接算法对硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据，且将姿态和方向信息与全景视频数据进行匹配，并通过视频防抖算法对全景视频数据进行实时的校准，得到校准后的全景视频数据。

具体来说，深度信息采集模块40解决拼接区域中盲区或重影问题，深度信息采集模块40通过检测M路原始视频数据所对应的实际物点到全景音视频采集设备之间的距离，能够消除二义性，使得全景视频在3D环境中能够找到准确的位置，从而避免出现盲区或重影问题。

深度信息采集模块40由多个小型化的结构光三维深度信息测量部件或飞行时间（ToF）深度信息测量部件组成，根据需要排布在图像采集模组之间，可有效判断全景视频中物点的实际距离，为全景拼接提供辅助信息，其中，深度信息采集模块50可以均匀或非均匀的排布于球面上。

惯性测量模块50通过对相机的姿态、方向等信息的采集，处理器模块30把某一时刻的全景视频数据帧与该时刻惯性测量模块50所采集到的信息进行匹配，并结合惯性测量模块50所采集的信息，通过视频稳定算法对全景视频数据帧进行实时的校准，这样就形成了一个经过惯性测量模块50信息校准的全景视频数据流，保证全景视频的稳定，从而防止全景视频的抖动。

本实施方式中，深度信息采集模块40还包括辅助信息优化算法，利用辅助信息优化算法在全景拼接过程中接缝处的效果，实现实时动态脚本拼接，再经过处理器模块内部的GPU硬件图像处理加速，把这M个视频数据帧进行实时的全景拼接，以此类推，就形成了一个完整的实时全景视频数据流。若实现2D的全景视频，则M个摄像头采集到的视频数据帧用于实时拼接一路完整的实时全景视频，若实现3D的全景视频，则M个摄像头分成两组，分别实现实时M/2路视频采集和全景拼接，最终拼接出2路同步的全景视频，可以根据用户实际需求，通过软件配置实现2D全景视频和3D全景视频的功能切换。

一般而言，经过本发明全景音视频采集设备处理过的全景音视频数据可以直接进行推流直播。

具体来说，通过用户的人机交互功能选择，实现基于RTSP协议或者RTMP协议的有线方式、无线方式或者4G/5G方式进行推流直播、直播分辨率可以实现8K/30fps，6K/60fps，4K/120fps ，编码方式H.264/H.265，码率可以实现4Mbps以上可调，或者实现8K/30fps，6K/60fps，4K/120fps的录像和最高10000*5000的拍照等功能。

在进行4G/5G模块直播的时候，由于4G/5G直播网络上行传输带宽的限制，本方案支持把全景视频进行分包处理，并通过集成有多张4G/5G的SIM卡的模块进行直播，增大上行带宽，同时在服务器端接收视频数据的时候配到重新组包的程序，把完整的全景视频流重新组建起来，便于后续的视频直播分发等处理工作。

本发明实施例的人机交互方式采用的液晶触摸屏或者柔性触摸屏，可以通过显示屏非常直观的实时预览全景视频的效果，同时也可以通过触控方式来实现功能选择操作，如拍照、录像、直播等操控和参数设置，也可以直接通过触控方式选择查看已经拍摄或者录制的全景照片或者视频，同时相机上面也配有快捷物理按键，便于拍摄的快捷操作和盲拍等使用。

本实施例提供了的一种全景音视频采集设备可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

请参阅图3，图3是本发明实施例公开的一种全景音视频采集方法一实施方式的流程图。本实施方法流程是基于图1或者图2的全景音视频设备下实现的，具体流程如下。

步骤S300，接收硬件同步请求，M路摄像头模组硬件同步采集M路原始视频数据。

步骤S302，控制的M路摄像头模组的曝光时间长短来处理M路原始视频数据。

步骤S304，将硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据，并对全景视频数据进行编码。

步骤S306，采集N路原始音频数据。

步骤S308，通过N路原始音频数据确定N路原始音频数据所对应的N路声源方向信息，且将N路原始音频数据进行处理得到一路音频数据，并将处理得到的一路音频数据与N路声源方向信息进行算法融合得到全景音频数据，并将全景音频数据进行编码。

具体而言，对N路原始音频数据进行噪声抑制、消除扬声器的声音、音频的3A（AEC/ANR/ALC）处理后得到一路音频数据。

步骤S310，将编码后的全景视频数据与全景音频数据进行同步，得到全景音视频数据。

其中，M、N为正整数，且M≥2，N≥3。

一般而言，经过本发明实施例处理过的全景音视频数据可以直接解码后进行推流直播。

具体来说，通过用户的人机交互功能选择，实现基于RTSP协议或者RTMP协议的有线方式、无线方式或者4G/5G方式进行推流直播、直播分辨率可以实现8K/30fps，6K/60fps，4K/120fps ，编码方式H.264/H.265，码率可以实现4Mbps以上可调，或者实现8K/30fps，6K/60fps，4K/120fps的录像和最高10000*5000的拍照等功能。

在进行4G/5G模块直播的时候，由于4G/5G直播网络上行传输带宽的限制，本方案支持把全景视频进行分包处理，并通过集成有多张4G/5G的SIM卡的模块进行直播，增大上行带宽，同时在服务器端接收视频数据的时候配到重新组包的程序，把完整的全景视频流重新组建起来，便于后续的视频直播分发等处理工作。

本发明实施例的人机交互方式采用的液晶触摸屏或者柔性触摸屏，可以通过显示屏非常直观的实时预览全景视频的效果，同时也可以通过触控方式来实现功能选择操作，如拍照、录像、直播等操控和参数设置，也可以直接通过触控方式选择查看已经拍摄或者录制的全景照片或者视频，同时相机上面也配有快捷物理按键，便于拍摄的快捷操作和盲拍等使用。

本实施例提供了的一种全景音视频采集方法可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

请参阅图4，图4是本发明实施例公开的一种全景音视频采集方法中处理视频数据一实施方式的流程图。本实施方法流程是基于图1或者图2的全景音视频设备下实现的，具体流程如下。

步骤S400，控制M路摄像头模组同步采集M路原始视频数据，或者控制M路摄像头模组中的一个摄像头模组为主控模式，处于主控模式的摄像头模组控制其他M-1个摄像头模组同步采集M路原始视频数据。

具体而言，为了实现M路摄像头的硬件同步采集，本方案设计了两种硬件同步方式：其一，M个图像传感器sensor全部工作在Slave（从）模式，作为M路视频采集的处理器模块工作在Master(主)模式，由处理器模块发出帧同步信号给其他工作在Slave（从）模式的M个图像传感器sensor，以达到M个sensor同步输出数据帧的目的；其二，未在图中所述，其中任一个图像传感器sensor做为Master(主)模式，其余M-1个sensor作为Slave（从）模式，由工作在Master模式的图像传感器sensor发出帧同步信号给其余的M-1个工作在Slave(从)模式的图像传感器sensor，以达到M个sensor同步输出数据帧的目的。

步骤S402，控制M个摄像头模组采集的M路原始视频数据在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光来采集不同曝光值下的视频数据帧，并通过分时处理或者同时处理不同曝光值下的视频数据帧，把来自同一个摄像头模组不同曝光值下的数据帧的明暗部分进行合成，得到曝光处理过后的视频数据。

具体而言，为了达到使得图像传感器能够实现高帧率、高分辨率，并在高速切换不同曝光情况下的实时视频采集，需要做如下操作。

在本实施方式中，配置M个摄像头模组（图像传感器+镜头+电路板）在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光以实现M个摄像头模组在不同曝光值下进行视频数据帧的采集，并采集来自M个摄像头模组的不同曝光值，通过两路或者两路以上的图形信号处理ISP分时处理或者同时处理来自M个摄像头模组不同曝光值的下采集到的数据帧，把来自同一个摄像头模组不同曝光值下的数据帧的明暗部分进行合成，达到同时保留高光细节与暗部细节的目的，使得每个摄像头模组最终得到的数据帧拥有更高的色深、更广的动态范围和更强的色彩表现力，同时在经过度信息采集模块50的降噪、坏点去除等图像质量处理工作，最终得到了M个经过硬件同步采集和处理的视频数据帧。

步骤S404，将硬件同步过以及曝光处理过的原始视频数据进行全景拼接，得到全景视频数据，并对全景视频数据进行编码。

经过这三个步骤，就可以完成视频数据的处理。

请参阅图5，图5是本发明实施例公开的一种全景音视频采集方法另一实施方式的流程图。本实施方法流程是基于图1或者图2的全景音视频设备下实现的，具体流程如下。

步骤S500，接收硬件同步请求，M路摄像头模组硬件同步采集M路原始视频数据。

步骤S502，控制的M路摄像头模组的曝光时间长短来处理M路原始视频数据。

步骤S504，检测M路原始视频数据所对应的实际物点到全景音视频采集设备之间的距离，并依据检测的距离判断出M路原始视频数据在3D环境中的准确位置。

步骤S506，将硬件同步过以及曝光处理过的M路原始视频数据进行全景拼接，得到全景视频数据，并对全景视频数据进行编码。

步骤S508，采集全景音视频采集设备的姿态和方向信息，并将姿态和方向信息与全景视频数据进行匹配，并通过视频稳定算法对全景视频数据进行实时的校准，得到校准后的全景视频数据。

步骤S510，采集N路原始音频数据。

步骤S512，通过N路原始音频数据确定N路原始音频数据所对应的N路声源方向信息，且将N路原始音频数据进行处理得到一路音频数据，并将处理得到的一路音频数据与N路声源方向信息进行算法融合得到全景音频数据，并将全景音频数据进行编码。

具体而言，对N路原始音频数据进行噪声抑制、消除扬声器的声音、音频的3A（AEC/ANR/ALC）处理后得到一路音频数据。

步骤S514，将编码后的全景视频数据与全景音频数据进行同步，得到全景音视频数据。

其中，M、N为正整数，且M≥2，N≥3。

经过与图3对比，可知出步骤S504和步骤S508外，其他步骤与图3所示的流程图基本一致，在此不再赘述，现在着重说明步骤S504和步骤S508。

本实施方式中，全景音视频采集中会存在以下问题：

其一、拼接区域存在盲区和重影等现象；其二、全景音视频采集设备在移动场景使用过程中，由于抖动和晃动等因素，使得采集到的片源在播放过程中画面不稳定。

具体来说，为了解决拼接区域中盲区或重影问题，通过检测M路原始视频数据所对应的实际物点到全景音视频采集设备之间的距离，能够消除二义性，使得全景视频在3D环境中能够找到准确的位置，从而避免出现盲区或重影问题。

为了解决画面抖动的问题，通过对相机的姿态、方向等信息的采集，把某一时刻的全景视频数据帧与该时刻所采集到的信息进行匹配，通过视频稳定算法对全景视频数据帧进行实时的校准，这样就形成了一个经过信息校准的全景视频数据流，保证全景视频的稳定。

特别的，在本实施方式中，利用辅助信息优化算法在全景拼接过程中接缝处的效果，实现实时动态脚本拼接，再经过处理器模块内部的GPU硬件图像处理加速，把这M个视频数据帧进行实时的全景拼接，以此类推，就形成了一个完整的实时全景视频数据流。若实现2D的全景视频，则M个摄像头采集到的视频数据帧用于实时拼接一路完整的实时全景视频，若实现3D的全景视频，则M个摄像头分成两组，分别实现实时M/2路视频采集和全景拼接，最终拼接出2路同步的全景视频，可以根据用户实际需求，通过软件配置实现2D全景视频和3D全景视频的功能切换。

一般而言，经过本发明全景音视频采集设备处理过的全景音视频数据可以直接进行推流直播。

具体来说，通过用户的人机交互功能选择，实现基于RTSP协议或者RTMP协议的有线方式、无线方式或者4G/5G方式进行推流直播、直播分辨率可以实现8K/30fps，6K/60fps，4K/120fps ，编码方式H.264/H.265，码率可以实现4Mbps以上可调，或者实现8K/30fps，6K/60fps，4K/120fps的录像和最高10000*5000的拍照等功能。

在进行4G/5G模块直播的时候，由于4G/5G直播网络上行传输带宽的限制，本方案支持把全景视频进行分包处理，并通过集成有多张4G/5G的SIM卡的模块进行直播，增大上行带宽，同时在服务器端接收视频数据的时候配到重新组包的程序，把完整的全景视频流重新组建起来，便于后续的视频直播分发等处理工作。

本发明实施例的人机交互方式采用的液晶触摸屏或者柔性触摸屏，可以通过显示屏非常直观的实时预览全景视频的效果，同时也可以通过触控方式来实现功能选择操作，如拍照、录像、直播等操控和参数设置，也可以直接通过触控方式选择查看已经拍摄或者录制的全景照片或者视频，同时相机上面也配有快捷物理按键，便于拍摄的快捷操作和盲拍等使用。

本实施例提供了的一种全景音视频采集方法可以解决处理器模块本身实现同时多路视频采集的功能，无需借助于外部其他芯片辅助，可解决多路视频硬件同步采集功能，使得拼接的全景视频无拖影和错位等现象，可解决拼接区域的盲区和重影等现象，使得全景拼接效果更好，可解决不同摄像头全景拼接时的色差、色温和曝光不一致等现象，保证全景拼接后的效果更好，可解决全景采集设备在移动应用场景中的抖动、晃动等因素对片源质量的影响，保证全景视频的播放体验效果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种全景音视频采集设备，其特征在于，所述设备包括视频采集模块、音频采集模块以及处理器模块，所述处理器模块包括视频处理模块、音频处理模块以及同步模块，其中：

所述视频采集模块，用于采集M路原始视频数据；

所述音频采集模块，用于采集N路原始音频数据；

所述视频处理模块，用于控制所述M路原始视频数据的硬件同步采集，且控制所述视频采集模块的曝光时间长短来处理所述M路原始视频数据，并将硬件同步过以及曝光处理过的所述M路原始视频数据进行全景拼接，得到全景视频数据，并将所述全景视频数据进行编码；

所述音频处理模块，用于通过所述N路原始音频数据确定所述N路原始音频数据所对应的N路声源方向信息，且将所述N路原始音频数据进行处理得到一路音频数据，并将所述处理得到的一路音频数据与所述N路声源方向信息进行算法融合得到全景音频数据，并将所述全景音频数据进行编码；

所述同步模块，用于将编码后的全景视频数据与编码过的全景音频数据进行同步，得到编码后的全景音视频数据；

其中，M、N为正整数，且M≥2，N≥3；

所述设备还包括深度信息采集模块和惯性测量模块，其中：

所述深度信息采集模块，用于检测所述M路原始视频数据中视场角重合区域所对应的空间中所有实际物点到所述全景音视频采集设备之间的距离；

所述惯性测量模块，用于采集所述全景音视频采集设备的姿态和方向信息；

所述视频处理模块包括全景拼接模块，所述全景拼接模块用于：

结合所述所有实际物点到所述全景音视频采集设备之间的距离，调用全景拼接算法对所述硬件同步过以及曝光处理过的所述M路原始视频数据进行全景拼接，得到全景视频数据；

将所述姿态和方向信息与所述全景视频数据进行匹配，并通过视频防抖算法对所述全景视频数据进行实时的校准，得到校准后的全景视频数据。

2.根据权利要求1所述的全景音视频采集设备，其特征在于，所述视频采集模块由M路摄像头模组组成，所述M路摄像头模组通过M路数据接口与所述处理器模块相连，所述M路摄像头模组包括M路镜头、M路图像传感器以及M路电路板，所述音频采集模块由N路拾音器组成，所述N路拾音器与所述处理器模块相连，其中，所述M路摄像头模组以及所述N路拾音器都是水平均匀的排布成一圈，或者均匀的排布在一个球面上，又或者非均匀的排布在一个球面上。

3.根据权利要求2所述的全景音视频采集设备，其特征在于，所述视频处理模块还包括硬件同步模块、曝光处理模块、以及视频编码模块，其中：

所述硬件同步模块，用于控制所述M路摄像头模组同步采集所述M路原始视频数据，或者控制所述M路摄像头模组中的一个摄像头模组为主控模式，处于主控模式的摄像头模组控制其他M-1个摄像头模组共同实现所述M路原始视频数据的同步采集；

所述曝光处理模块，用于控制所述M个摄像头模组采集的所述M路原始视频数据在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光来采集不同曝光值下的视频数据帧，并通过分时处理或者同时处理所述不同曝光值下的视频数据帧，把来自同一个摄像头模组不同曝光值下的数据帧进行合成，得到曝光处理过后的视频数据；

所述全景拼接模块，还用于将硬件同步过以及曝光处理过的所述M路原始视频数据进行全景拼接，得到全景视频数据；

视频编码模块，用于将所述全景视频数据进行编码。

4.根据权利要求1所述的全景音视频采集设备，其特征在于，所述深度信息采集模块由P个小型化的结构光三维深度信息测量部件或飞行时间ToF深度信息测量部件组成，其中，P为正整数，且P≥2。

5.根据权利要求1-3任一项所述的全景音视频采集设备，其特征在于，所述全景音视频采集设备采集的全景音视频基于流媒体协议，所述流媒体协议为RTSP协议或者RTMP协议，所述全景音视频可用有线方式、无线方式或者4G/5G方式进行推流直播。

6.根据权利要求5所述的全景音视频采集设备，其特征在于，所述全景音视频采集设备采用液晶触摸屏或者柔性触摸屏进行人机交互。

7.根据权利要求1-4任一项所述的全景音视频采集设备，其特征在于，所述全景音视频采集设备为全景相机，所述全景相机为双目全景相机或者多目全景相机。

8.一种应用于权利要求1-7任一项所述的全景音视频采集设备的全景音视频采集方法，其特征在于，所述方法包括：

接收硬件同步请求，M路摄像头模组硬件同步采集M路原始视频数据；

控制M路摄像头模组的曝光时间长短来处理所述M路原始视频数据；

将硬件同步过以及曝光处理过的所述M路原始视频数据进行全景拼接，得到全景视频数据，并将所述全景视频数据进行编码；

采集N路原始音频数据；

通过所述N路原始音频数据确定所述N路原始音频数据所对应的N路声源方向信息，且将所述N路原始音频数据进行处理得到一路音频数据，并将所述处理得到的一路音频数据与所述N路声源方向信息进行算法融合得到全景音频数据，并将所述全景音频数据进行编码；

将编码过的全景视频数据与编码过的全景音频数据进行同步，得到全景音视频数据；

其中，M、N为正整数，且M≥2，N≥3；

所述方法还包括：

检测所述M路原始视频数据所对应的实际物点到所述全景音视频采集设备之间的距离，调用全景拼接算法对所述硬件同步过以及曝光处理过的所述M路原始视频数据进行全景拼接，得到全景视频数据；

采集所述全景音视频采集设备的姿态和方向信息，并将所述姿态和方向信息与所述全景视频数据进行匹配，并通过视频稳定算法对所述全景视频数据进行实时的校准，得到校准后的全景视频数据。

9.根据权利要求8所述的全景音视频采集方法，其特征在于，处理所述视频数据的方法包括：

控制所述M路摄像头模组同步采集所述M路原始视频数据，或者控制所述M路摄像头模组中的一个摄像头模组为主控模式，处于主控模式的摄像头模组控制其他M-1个摄像头模组共同实现所述M路原始视频数据的同步采集；

控制所述M个摄像头模组采集的所述M路原始视频数据在相同时刻分别进行长曝光和短曝光或者长曝光、中曝光和短曝光来采集不同曝光值下的视频数据帧，并通过分时处理或者同时处理所述不同曝光值下的视频数据帧，把来自同一个摄像头模组不同曝光值下的数据帧进行合成，得到曝光处理过后的视频数据；

将硬件同步过以及曝光处理过的所述M路原始视频数据进行全景拼接，得到全景视频数据；

将所述全景视频数据进行编码。

10.根据权利要求8所述的全景音视频采集方法，其特征在于，所述方法还包括：所述采集的全景音视频全景音视频基于流媒体协议，所述流媒体协议为RTSP协议或者RTMP协议，所述全景音视频可用有线方式、无线方式或者4G/5G方式进行推流直播。

Images