CN108848354A - 一种vr内容摄像系统及其工作方法 - Google Patents

Abstract

本发明提供了一种VR内容摄像系统及其工作方法，包括相机阵列、预处理板和上位机；需要采集VR内容时，上位机发送图像采集控制信号给预处理板；所述图像采集控制信号包括图像采集频率参数；所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端，以控制相机阵列的多个视频采集终端同步曝光。与现有技术相比，便于对多个图像采集终端进行任意采集频率控制，实时性更强，采用高清图像采集系统，图像分辨率更高，图像更清晰。

Description

一种VR内容摄像系统及其工作方法

技术领域

本发明涉及一种VR内容摄像系统及其工作方法，涉及全景内容摄像领域。

背景技术

近些年来，随着虚拟现实VR技术的发展，VR视频内容的需求量也急剧放大，同时，对VR视频内容的生产方式有了更高的要求。全景摄像系统作为VR产业中的核心内容生产工具，是VR直播、VR影视以及VR视频等消费内容必不可少的关键生产工具。该系统产生的全景视频内容可通过VR眼镜、360度环视投影等显示媒介进行展示。

目前全景摄像系统存在的两大不足：

实时性不强

由于全景实时高清摄像系统需要多台相机的图像拼接技术，其中的数据量非常之大。拼接涉及的算法复杂，数据量大，影响拼接实时性，因此实时拼接是全景拼接技术拓展应用的一个难点问题。高速视频图像数据的传输、处理与拼接是整个系统的另一关键技术，其处理的多通道、高速视频图像数据（速度超过10Gbps），实时性要求严苛。

分辨率低，清晰度不高

全景相机的好处是可以实现360度或者180度大范围无死角拍摄监控，但是宽泛的拍摄角度也给目前传统的相机带来了新的难题。

从技术上看，监控范围越大相同大小成像芯片上的每个像素点的接受图像信息就会越多，这就会造成监控画质的分辨率下降。直接表现为全景相机在监控大场景时很难达到相同像素的普通相机。这就造成了很多全景监控相机只有在图像画质要求不高或者高分辨昂贵的成像器材才能使用。另外，低照度都是评判监控相机中的一个重要指标。随着监控需求的日益空大，大家对低照度的应用越发的看重。不过采用低照度的全景相机在低照度方面表现的不尽人意。

按照摄像机的目数和分辨率，市面上的产品可简单分为民用级、专业级和影视级三种。国内厂家的产品大多定位民用消费级,如暴风魔眼,德图F4,instra360，Wipet等，近期内都已面世，但是针对专业级和影视级的产品，国内目前还是空白。本发明申请基于现有技术缺陷，受四川省科研院所科技成果转化资金项目（计划编号：2017YSZH0012）“面向虚拟现实应用的全景视频处理系统” 资助下，提出了相应解决方案。

发明内容

本发明提供了一种VR内容摄像系统及其工作方法，具有便于对多个图像采集终端进行任意采集频率控制的特点，实时性更强。

本发明采用的技术方案如下：

根据本发明提供的一种VR内容摄像系统，包括相机阵列、预处理板和上位机；

所述相机阵列包括多个视频采集终端，在接收到外部触发信号后，完成视频的采集和输出；所述视频采集终端采用高清图像传感器、驱动与时序配置模块、视频数据接口与控制接口模块；

所述预处理板包括同步信号控制模块，接收上位机发送的图像采集控制信号，并发送同步曝光控制信号给相机阵列。

所述视频采集终端采用CMOS图像传感器。

所述预处理板还包括图像预处理模块，对接收的采集图像进行初步处理后发送给上位机；所述初步处理包括图像亮度、对比度校正和图像畸变校正。

所述预处理板还包括视频拼接处理模块，对完成初步处理的视频图像进行视频的拼接处理。

所述预处理板还包括参数配置模块，接收上位机发送的参数控制信号，根据参数控制指令配置相机阵列的各种参数。

所述预处理板通过光纤与上位机相连。

根据本发明提供的一种VR内容摄像系统工作方法，在上述VR内容摄像系统的基础上，方法包括：需要采集VR内容时，上位机发送图像采集控制信号给预处理板；所述图像采集控制信号包括图像采集频率参数；所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端，以控制相机阵列的多个视频采集终端同步曝光。

所述方法还包括，预处理板对采集的图像进行初步处理后发送给上位机；所述初步处理包括图像亮度、对比度校正和图像畸变校正。

所述方法还包括，预处理板对初步处理后的图像进行数据编码后，通过分组的形式发送给上位机。

所述方法还包括，预处理板对初步处理后的图像完成视频的拼接处理后，发送给上位机。

所述方法还包括，预处理板根据上位机发送的参数控制信号配置相机阵列的各种参数。

与现有技术相比，便于对多个图像采集终端进行任意采集频率控制，实时性更强，采用高清图像采集系统，图像分辨率更高，图像更清晰；减轻了上位机的数据处理压力，使数据处理更快。

附图说明

图1为本发明其中一实施例的整体框架原理示意图。

图2为本发明其中一实施例的相机阵列结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

一种VR内容摄像系统，包括相机阵列、预处理板和上位机；

所述相机阵列包括多个视频采集终端，在接收到外部触发信号后，完成视频的采集和输出；所述视频采集终端采用高清图像传感器、驱动与时序配置模块、视频数据接口与控制接口模块；

所述预处理板包括同步信号控制模块，接收上位机发送的图像采集控制信号，并发送同步曝光控制信号给相机阵列。

预处理板根据全景视频拼接软件平台发送的控制信号，为组成相机阵列的视频采集终端提供同步控制信号。由于相机阵列在采集图像的时候要求同时曝光，即相机必须采集同一时刻的图像，所以预处理板为多个视频采集终端提供了统一的曝光控制信号。如图2所示，在图2所示的具体实施例中，有8个视频采集终端。

现有技术为相机阵列中某一视频采集终端发出同步曝光信号控制其他视频采集终端，该某一视频采集终端的同步曝光信号的频率是固定的，受到触发后，根据其固定的采集频率（比如30帧）发出同步曝光信号控制全部的视频采集终端以该固定的采集频率同步曝光，不能任意改变同步频率，即拍摄帧率。

本发明方案中，在上位机和相机阵列之间增加与处理板，采用预处理板的同步信号控制模块控制相机阵列的多个视频采集终端进行统一曝光，这样就能够在上位机任意改变同步频率，使预处理板可以根据上位机的控制命令任意改变同步频率，从而进一步提高VR摄像内容的实时性。

在图1所示的实施例中，所述上位机为全景视频拼接软件平台。

作为本发明的一种具体实施例方式，所述视频采集终端采用CMOS图像传感器。

所述预处理板还包括图像预处理模块，对接收的采集图像进行初步处理后发送给上位机；所述初步处理包括图像亮度、对比度校正和图像畸变校正。

如图1所示，预处理模块接收视频采集终端产生的视频数据后，进一步完成视频图像的初步处理，如图像亮度、对比度校正和图像畸变校正等，以减轻后端上位机数据处理压力。全景视频拼接软件平台接收图像预处理板发送的视频图像数据，并完成视频图像拼接的处理（图像的特征匹配、拼接、渲染等），视频图像的编码、长时存储、以及视频数据的输出等功能。

在图1的实施例中，磁盘存储阵列用于存储经过全景拼接和压缩编码之后的视频数据。

全景实时高清摄像系统研制的VR全景拍摄专业设备实现多通道、3D全场景视频图像采集，大数据量图像处理与拼接，用户可通过网页、VR头盔等设备观看直播或视频。

多摄像头360度全景3D视频采集，采用8个或8个以上1080P 30fps全高清传感器，360度相机矩阵排列，实时进行360度-3D现场全景图像信息采集，高精度同步以及全局快门技术为相机矩阵同步拍摄以及后续图像优化与拼接处理提供技术保障；摄像头矩阵散热技术保证图像采集稳定工作。

多通道、大数据量3D图像处理与拼接，图像处理与拼接是整个设备的关键，其处理的多通道、高速图像数据（速度超过10Gbps），实时性要求严苛，并需要确保较好的主观3D拼接质量、本系统提出的高速图像拼接引擎综合应用计算机图形学、计算机视觉技术对高速图像数据进行分布式快速处理，通过颜色校正、传感器镜头畸变校正、图像投影变换、基于光流算法分别计算双眼成像差异，最后完成3D全景图像融合与拼接；全景图像达到4K分辨率，单眼达到2K分辨率，真实环境还原度高，真实感强。

作为本发明的一种实施方式，所述预处理板还包括视频拼接处理模块，对完成初步处理的视频图像进行视频的拼接处理。预处理板具备一定的计算能力，在某些对图像质量要求不高的嵌入式应用场景，该处理板除了完成视频图像的初步处理外，还需完成视频最终的拼接处理。

作为本发明的一种实施方式，所述预处理板还包括参数配置模块，接收上位机发送的参数控制信号，根据参数控制指令配置相机阵列的各种参数。

作为本发明的一种实施方式，所述预处理板通过光纤与上位机相连。预处理板通过光纤与上位机之间进行通信，包括控制信号的通信及图像数据的通信。

一种VR内容摄像系统工作方法，在上述VR内容摄像系统的基础上，方法包括：需要采集VR内容时，上位机发送图像采集控制信号给预处理板；所述图像采集控制信号包括图像采集频率参数；所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端，以控制相机阵列的多个视频采集终端同步曝光。

作为本发明的一种实施方式，所述方法还包括，预处理板对采集的图像进行初步处理后发送给上位机；所述初步处理包括图像亮度、对比度校正和图像畸变校正。

作为本发明的一种实施方式，所述方法还包括，预处理板对初步处理后的图像进行数据编码后，通过分组的形式发送给上位机。

作为本发明的一种实施方式，所述方法还包括，预处理板对初步处理后的图像完成视频的拼接处理后，发送给上位机。

作为本发明的一种实施方式，所述方法还包括，预处理板根据上位机发送的参数控制信号配置相机阵列的各种参数。

Claims (10)

1.一种VR内容摄像系统，其特征在于，包括相机阵列、预处理板和上位机；

所述相机阵列包括多个视频采集终端，在接收到外部触发信号后，完成视频的采集和输出；所述视频采集终端采用高清图像传感器、驱动与时序配置模块、视频数据接口与控制接口模块；

所述预处理板包括同步信号控制模块，接收上位机发送的图像采集控制信号，并发送同步曝光控制信号给相机阵列。

2.根据权利要求1所述的VR内容摄像系统，其特征在于，所述视频采集终端采用CMOS图像传感器。

3.根据权利要求1所述的VR内容摄像系统，其特征在于，所述预处理板还包括图像预处理模块，对接收的采集图像进行初步处理后发送给上位机；所述初步处理包括图像亮度、对比度校正和图像畸变校正。

4.根据权利要求1所述的VR内容摄像系统，其特征在于，所述预处理板还包括视频拼接处理模块，对完成初步处理的视频图像进行视频的拼接处理。

5.根据权利要求1所述的VR内容摄像系统，其特征在于，所述预处理板还包括参数配置模块，接收上位机发送的参数控制信号，根据参数控制指令配置相机阵列的各种参数。

6.一种VR内容摄像系统工作方法，在权利要求1到5之一所述的VR内容摄像系统的基础上，方法包括：需要采集VR内容时，上位机发送图像采集控制信号给预处理板；所述图像采集控制信号包括图像采集频率参数；所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端，以控制相机阵列的多个视频采集终端同步曝光。

7.根据权利要求6所述的VR内容摄像系统工作方法，所述方法还包括，预处理板对采集的图像进行初步处理后发送给上位机；所述初步处理包括图像亮度、对比度校正和图像畸变校正。

8.根据权利要求6所述的VR内容摄像系统工作方法，所述方法还包括，预处理板对初步处理后的图像进行数据编码后，通过分组的形式发送给上位机。

9.根据权利要求6所述的VR内容摄像系统工作方法，所述方法还包括，预处理板对初步处理后的图像完成视频的拼接处理后，发送给上位机。

10.根据权利要求6所述的VR内容摄像系统工作方法，所述方法还包括，预处理板根据上位机发送的参数控制信号配置相机阵列的各种参数。