CN108848354B - 一种vr内容摄像系统及其工作方法 - Google Patents

一种vr内容摄像系统及其工作方法 Download PDF

Info

Publication number
CN108848354B
CN108848354B CN201810884132.3A CN201810884132A CN108848354B CN 108848354 B CN108848354 B CN 108848354B CN 201810884132 A CN201810884132 A CN 201810884132A CN 108848354 B CN108848354 B CN 108848354B
Authority
CN
China
Prior art keywords
image
video
camera
computer
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810884132.3A
Other languages
English (en)
Other versions
CN108848354A (zh
Inventor
刘海章
武同
田才林
朱静宁
苏力
肖斌
刘思远
邹泽亚
赵树龙
黄大池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sigma Photoelectric Technology Co ltd
Sichuan Broadcasting Research
Original Assignee
Chengdu Sigma Photoelectric Technology Co ltd
Sichuan Broadcasting Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sigma Photoelectric Technology Co ltd, Sichuan Broadcasting Research filed Critical Chengdu Sigma Photoelectric Technology Co ltd
Priority to CN201810884132.3A priority Critical patent/CN108848354B/zh
Publication of CN108848354A publication Critical patent/CN108848354A/zh
Application granted granted Critical
Publication of CN108848354B publication Critical patent/CN108848354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2353Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the exposure time, e.g. shutter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

本发明提供了一种VR内容摄像系统及其工作方法,包括相机阵列、预处理板和上位机;需要采集VR内容时,上位机发送图像采集控制信号给预处理板;所述图像采集控制信号包括图像采集频率参数;所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端,以控制相机阵列的多个视频采集终端同步曝光。与现有技术相比,便于对多个图像采集终端进行任意采集频率控制,实时性更强,采用高清图像采集系统,图像分辨率更高,图像更清晰。

Description

一种VR内容摄像系统及其工作方法
技术领域
本发明涉及一种VR内容摄像系统及其工作方法,涉及全景内容摄像领域。
背景技术
近些年来,随着虚拟现实VR技术的发展,VR视频内容的需求量也急剧放大,同时,对VR视频内容的生产方式有了更高的要求。全景摄像系统作为VR产业中的核心内容生产工具,是VR直播、VR影视以及VR视频等消费内容必不可少的关键生产工具。该系统产生的全景视频内容可通过VR眼镜、360度环视投影等显示媒介进行展示。
目前全景摄像系统存在的两大不足:
实时性不强
由于全景实时高清摄像系统需要多台相机的图像拼接技术,其中的数据量非常之大。拼接涉及的算法复杂,数据量大,影响拼接实时性,因此实时拼接是全景拼接技术拓展应用的一个难点问题。高速视频图像数据的传输、处理与拼接是整个系统的另一关键技术,其处理的多通道、高速视频图像数据(速度超过10Gbps),实时性要求严苛。
分辨率低,清晰度不高
全景相机的好处是可以实现360度或者180度大范围无死角拍摄监控,但是宽泛的拍摄角度也给目前传统的相机带来了新的难题。
从技术上看,监控范围越大相同大小成像芯片上的每个像素点的接受图像信息就会越多,这就会造成监控画质的分辨率下降。直接表现为全景相机在监控大场景时很难达到相同像素的普通相机。这就造成了很多全景监控相机只有在图像画质要求不高或者高分辨昂贵的成像器材才能使用。另外,低照度都是评判监控相机中的一个重要指标。随着监控需求的日益空大,大家对低照度的应用越发的看重。不过采用低照度的全景相机在低照度方面表现的不尽人意。
按照摄像机的目数和分辨率,市面上的产品可简单分为民用级、专业级和影视级三种。国内厂家的产品大多定位民用消费级,如暴风魔眼,德图F4,instra360,Wipet等,近期内都已面世,但是针对专业级和影视级的产品,国内目前还是空白。本发明申请基于现有技术缺陷,受四川省科研院所科技成果转化资金项目(计划编号:2017YSZH0012)“面向虚拟现实应用的全景视频处理系统” 资助下,提出了相应解决方案。
发明内容
本发明提供了一种VR内容摄像系统及其工作方法,具有便于对多个图像采集终端进行任意采集频率控制的特点,实时性更强。
本发明采用的技术方案如下:
根据本发明提供的一种VR内容摄像系统,包括相机阵列、预处理板和上位机;
所述相机阵列包括多个视频采集终端,在接收到外部触发信号后,完成视频的采集和输出;所述视频采集终端采用高清图像传感器、驱动与时序配置模块、视频数据接口与控制接口模块;
所述预处理板包括同步信号控制模块,接收上位机发送的图像采集控制信号,并发送同步曝光控制信号给相机阵列。
所述视频采集终端采用CMOS图像传感器。
所述预处理板还包括图像预处理模块,对接收的采集图像进行初步处理后发送给上位机;所述初步处理包括图像亮度、对比度校正和图像畸变校正。
所述预处理板还包括视频拼接处理模块,对完成初步处理的视频图像进行视频的拼接处理。
所述预处理板还包括参数配置模块,接收上位机发送的参数控制信号,根据参数控制指令配置相机阵列的各种参数。
所述预处理板通过光纤与上位机相连。
根据本发明提供的一种VR内容摄像系统工作方法,在上述VR内容摄像系统的基础上,方法包括:需要采集VR内容时,上位机发送图像采集控制信号给预处理板;所述图像采集控制信号包括图像采集频率参数;所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端,以控制相机阵列的多个视频采集终端同步曝光。
所述方法还包括,预处理板对采集的图像进行初步处理后发送给上位机;所述初步处理包括图像亮度、对比度校正和图像畸变校正。
所述方法还包括,预处理板对初步处理后的图像进行数据编码后,通过分组的形式发送给上位机。
所述方法还包括,预处理板对初步处理后的图像完成视频的拼接处理后,发送给上位机。
所述方法还包括,预处理板根据上位机发送的参数控制信号配置相机阵列的各种参数。
与现有技术相比,便于对多个图像采集终端进行任意采集频率控制,实时性更强,采用高清图像采集系统,图像分辨率更高,图像更清晰;减轻了上位机的数据处理压力,使数据处理更快。
附图说明
图1为本发明其中一实施例的整体框架原理示意图。
图2为本发明其中一实施例的相机阵列结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本说明书(包括摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或者具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
一种VR内容摄像系统,包括相机阵列、预处理板和上位机;
所述相机阵列包括多个视频采集终端,在接收到外部触发信号后,完成视频的采集和输出;所述视频采集终端采用高清图像传感器、驱动与时序配置模块、视频数据接口与控制接口模块;
所述预处理板包括同步信号控制模块,接收上位机发送的图像采集控制信号,并发送同步曝光控制信号给相机阵列。
预处理板根据全景视频拼接软件平台发送的控制信号,为组成相机阵列的视频采集终端提供同步控制信号。由于相机阵列在采集图像的时候要求同时曝光,即相机必须采集同一时刻的图像,所以预处理板为多个视频采集终端提供了统一的曝光控制信号。如图2所示,在图2所示的具体实施例中,有8个视频采集终端。
现有技术为相机阵列中某一视频采集终端发出同步曝光信号控制其他视频采集终端,该某一视频采集终端的同步曝光信号的频率是固定的,受到触发后,根据其固定的采集频率(比如30帧)发出同步曝光信号控制全部的视频采集终端以该固定的采集频率同步曝光,不能任意改变同步频率,即拍摄帧率。
本发明方案中,在上位机和相机阵列之间增加与处理板,采用预处理板的同步信号控制模块控制相机阵列的多个视频采集终端进行统一曝光,这样就能够在上位机任意改变同步频率,使预处理板可以根据上位机的控制命令任意改变同步频率,从而进一步提高VR摄像内容的实时性。
在图1所示的实施例中,所述上位机为全景视频拼接软件平台。
作为本发明的一种具体实施例方式,所述视频采集终端采用CMOS图像传感器。
所述预处理板还包括图像预处理模块,对接收的采集图像进行初步处理后发送给上位机;所述初步处理包括图像亮度、对比度校正和图像畸变校正。
如图1所示,预处理模块接收视频采集终端产生的视频数据后,进一步完成视频图像的初步处理,如图像亮度、对比度校正和图像畸变校正等,以减轻后端上位机数据处理压力。全景视频拼接软件平台接收图像预处理板发送的视频图像数据,并完成视频图像拼接的处理(图像的特征匹配、拼接、渲染等),视频图像的编码、长时存储、以及视频数据的输出等功能。
在图1的实施例中,磁盘存储阵列用于存储经过全景拼接和压缩编码之后的视频数据。
全景实时高清摄像系统研制的VR全景拍摄专业设备实现多通道、3D全场景视频图像采集,大数据量图像处理与拼接,用户可通过网页、VR头盔等设备观看直播或视频。
多摄像头360度全景3D视频采集,采用8个或8个以上1080P 30fps全高清传感器,360度相机矩阵排列,实时进行360度-3D现场全景图像信息采集,高精度同步以及全局快门技术为相机矩阵同步拍摄以及后续图像优化与拼接处理提供技术保障;摄像头矩阵散热技术保证图像采集稳定工作。
多通道、大数据量3D图像处理与拼接,图像处理与拼接是整个设备的关键,其处理的多通道、高速图像数据(速度超过10Gbps),实时性要求严苛,并需要确保较好的主观3D拼接质量、本系统提出的高速图像拼接引擎综合应用计算机图形学、计算机视觉技术对高速图像数据进行分布式快速处理,通过颜色校正、传感器镜头畸变校正、图像投影变换、基于光流算法分别计算双眼成像差异,最后完成3D全景图像融合与拼接;全景图像达到4K分辨率,单眼达到2K分辨率,真实环境还原度高,真实感强。
作为本发明的一种实施方式,所述预处理板还包括视频拼接处理模块,对完成初步处理的视频图像进行视频的拼接处理。预处理板具备一定的计算能力,在某些对图像质量要求不高的嵌入式应用场景,该处理板除了完成视频图像的初步处理外,还需完成视频最终的拼接处理。
作为本发明的一种实施方式,所述预处理板还包括参数配置模块,接收上位机发送的参数控制信号,根据参数控制指令配置相机阵列的各种参数。
作为本发明的一种实施方式,所述预处理板通过光纤与上位机相连。预处理板通过光纤与上位机之间进行通信,包括控制信号的通信及图像数据的通信。
一种VR内容摄像系统工作方法,在上述VR内容摄像系统的基础上,方法包括:需要采集VR内容时,上位机发送图像采集控制信号给预处理板;所述图像采集控制信号包括图像采集频率参数;所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端,以控制相机阵列的多个视频采集终端同步曝光。
作为本发明的一种实施方式,所述方法还包括,预处理板对采集的图像进行初步处理后发送给上位机;所述初步处理包括图像亮度、对比度校正和图像畸变校正。
作为本发明的一种实施方式,所述方法还包括,预处理板对初步处理后的图像进行数据编码后,通过分组的形式发送给上位机。
作为本发明的一种实施方式,所述方法还包括,预处理板对初步处理后的图像完成视频的拼接处理后,发送给上位机。
作为本发明的一种实施方式,所述方法还包括,预处理板根据上位机发送的参数控制信号配置相机阵列的各种参数。

Claims (7)

1.一种VR内容摄像系统,其特征在于,包括相机阵列、预处理板和上位机;
所述相机阵列包括多个视频采集终端,在接收到外部触发信号后,完成视频的采集和输出;所述视频采集终端采用高清图像传感器、驱动与时序配置模块、视频数据接口与控制接口模块;
所述预处理板包括同步信号控制模块,接收上位机发送的图像采集控制信号,并发送同步曝光控制信号给相机阵列;
所述预处理板还包括图像预处理模块,对接收的采集图像进行初步处理后发送给上位机;所述初步处理包括图像亮度、对比度校正和图像畸变校正;
所述上位机接收预处理板发送的视频图像数据,并完成视频图像拼接处理、视频图像的编码、长时存储及视频数据的输出;所述预处理板还包括视频拼接处理模块,在某些对图像质量要求不高的嵌入式应用场景,除了完成视频图像的初步处理外,还需对完成初步处理的视频图像进行视频的拼接处理。
2.根据权利要求1所述的VR内容摄像系统,其特征在于,所述视频采集终端采用CMOS图像传感器。
3.根据权利要求1所述的VR内容摄像系统,其特征在于,所述预处理板还包括参数配置模块,接收上位机发送的参数控制信号,根据参数控制指令配置相机阵列的各种参数。
4.一种VR内容摄像系统工作方法,在权利要求1到3之一所述的VR内容摄像系统的基础上,方法包括:需要采集VR内容时,上位机发送图像采集控制信号给预处理板;所述图像采集控制信号包括图像采集频率参数;所述预处理板根据接收到的图像采集控制信号输出多个频率和相位一致的同步脉冲给相机阵列的多个视频采集终端,以控制相机阵列的多个视频采集终端同步曝光;
所述方法还包括,预处理板对采集的图像进行初步处理后发送给上位机;所述初步处理包括图像亮度、对比度校正和图像畸变校正。
5.根据权利要求4所述的VR内容摄像系统工作方法,所述方法还包括,预处理板对初步处理后的图像进行数据编码后,通过分组的形式发送给上位机。
6.根据权利要求4所述的VR内容摄像系统工作方法,所述方法还包括,预处理板对初步处理后的图像完成视频的拼接处理后,发送给上位机。
7.根据权利要求4所述的VR内容摄像系统工作方法,所述方法还包括,预处理板根据上位机发送的参数控制信号配置相机阵列的各种参数。
CN201810884132.3A 2018-08-06 2018-08-06 一种vr内容摄像系统及其工作方法 Active CN108848354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810884132.3A CN108848354B (zh) 2018-08-06 2018-08-06 一种vr内容摄像系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810884132.3A CN108848354B (zh) 2018-08-06 2018-08-06 一种vr内容摄像系统及其工作方法

Publications (2)

Publication Number Publication Date
CN108848354A CN108848354A (zh) 2018-11-20
CN108848354B true CN108848354B (zh) 2021-02-09

Family

ID=64192706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810884132.3A Active CN108848354B (zh) 2018-08-06 2018-08-06 一种vr内容摄像系统及其工作方法

Country Status (1)

Country Link
CN (1) CN108848354B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187140B (zh) * 2019-05-10 2021-06-25 北京理工大学 一种图像获取装置及图像获取方法
CN110996011A (zh) * 2019-12-20 2020-04-10 易思维(杭州)科技有限公司 多相机同步触发系统
CN112449172B (zh) * 2021-02-01 2021-04-23 南京爱奇艺智能科技有限公司 一种vr设备多摄像头曝光同步方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082766A (zh) * 2006-06-01 2007-12-05 上海杰图软件技术有限公司 一种快速采集全景图像的设备和方法
WO2012048173A2 (en) * 2010-10-07 2012-04-12 Siemens Corporation Multi-sensor system for high performance and reconfigurable outdoor surveillance
KR101049928B1 (ko) * 2011-02-21 2011-07-15 (주)올라웍스 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN102137229A (zh) * 2011-03-09 2011-07-27 上海贝威科技有限公司 嵌入式高清全景摄像机及方法
CN103002249A (zh) * 2011-09-09 2013-03-27 中国航天科工集团第三研究院第八三五八研究所 基于图像拼接的sdi全景摄像系统
CN103888751A (zh) * 2014-03-12 2014-06-25 天津理工大学 一种基于dsp的嵌入式全景立体球视觉图像采集系统
US9900505B2 (en) * 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
CN104601954B (zh) * 2015-01-13 2017-11-07 广州杰赛科技股份有限公司 一种全景图像拼接装置、方法及监控系统
US20160330408A1 (en) * 2015-04-13 2016-11-10 Filippo Costanzo Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments
CN105376471A (zh) * 2015-12-21 2016-03-02 景好 一种基于移动平台的全景拍摄系统及方法
CN105979150A (zh) * 2016-06-24 2016-09-28 湖北工业大学 高清三维全景信息采集与拼接系统
CN107205118A (zh) * 2017-06-27 2017-09-26 中国地质环境监测院 七镜头无人机全景摄像机及其图像处理方法
CN107257427A (zh) * 2017-06-27 2017-10-17 四川大学 九镜头无人机全景摄像机及其图像处理方法
CN107360413A (zh) * 2017-08-25 2017-11-17 秦山 一种多目立体图像信号传输方法和系统

Also Published As

Publication number Publication date
CN108848354A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
US10511825B2 (en) Digital camera system for recording, editing and visualizing images
US9578224B2 (en) System and method for enhanced monoimaging
CN105744137A (zh) 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统
US10965868B2 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
KR20110118540A (ko) 셔터 지연을 방지하는 영상 획득 모듈 및 영상 획득 방법
CN106331850A (zh) 浏览器直播客户端、浏览器直播系统及浏览器直播方法
CN110708513B (zh) 一种8k视频多核异构处理装置
US9961272B2 (en) Image capturing apparatus and method of controlling the same
US20120050494A1 (en) Method and system for creating a view-angle dependent 2d and/or 3d image/video utilizing a monoscopic video camera array
CN107426491B (zh) 一种360度全景视频的实现方法
CN206117890U (zh) 一种全景360度虚拟现实成像系统
CN105959562A (zh) 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备
WO2021093584A1 (zh) 基于深度卷积神经网络的自由视点视频生成及交互方法
CN205647708U (zh) 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统
CN109089048B (zh) 多镜头全景联动装置及方法
CN109640051B (zh) 一种大场景的分布式拼接监控系统
CN202721763U (zh) 一种全景视频采集装置
US20200244950A1 (en) Image Sensor Blemish Detection
CN202818497U (zh) 基于高清数字摄像头监控的电子ptz装置
CN106101530A (zh) 一种高速适应性夜视图像增强的方法
CN210536770U (zh) 一种亿级像素阵列摄像装置
CN214014396U (zh) 一种多路视频图像处理装置
CN201733405U (zh) 一种双镜头3d照相机影像处理系统
CN109688314B (zh) 低延时少缓存且数据输出方式可控的摄像头系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant