CN108886611B - 全景立体视频系统的拼接方法和装置 - Google Patents

全景立体视频系统的拼接方法和装置 Download PDF

Info

Publication number
CN108886611B
CN108886611B CN201680078524.XA CN201680078524A CN108886611B CN 108886611 B CN108886611 B CN 108886611B CN 201680078524 A CN201680078524 A CN 201680078524A CN 108886611 B CN108886611 B CN 108886611B
Authority
CN
China
Prior art keywords
side camera
eye image
eye
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680078524.XA
Other languages
English (en)
Other versions
CN108886611A (zh
Inventor
虞晶怡
马毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Publication of CN108886611A publication Critical patent/CN108886611A/zh
Application granted granted Critical
Publication of CN108886611B publication Critical patent/CN108886611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

提供一种生成立体全景图的方法，该方法包括：通过处理第一右眼图像、第二右眼图像、第一左眼图像和第二左眼图像以获得所述第一右眼图像和第二右眼图像之间的右眼单应性以及所述第一左眼图像和第二左眼图像之间的左眼单应性；将所述第一右眼图像与第二右眼图像进行拼接以生成右眼全景图，并将所述第一左眼图像与第二左眼图像进行拼接以生成左眼全景图，其中，所述右眼单应性与左眼单应性对应；以及利用所述右眼全景图和左眼全景图生成立体全景图。该方法还包括：使用包括第一右侧摄像头、第二右侧摄像头、第一左侧摄像头以及第二左侧摄像头的摄像头阵列拍摄所述第一右眼图像、第二右眼图像、第一左眼图像及第二左眼图像，其中，所述第一右侧摄像头和第二右侧摄像头之间的相对位置与所述第一左侧摄像头和第二左侧摄像头之间的相对位置基本相同，所述第一右侧摄像头和第二右侧摄像头具有平行光轴。

Description

全景立体视频系统的拼接方法和装置
相关申请的交叉引用
本申请要求申请号为PCT/CN2016/070712，名称为“全景立体视频系统的校准方法和装置”，申请日为2016年1月12日的国际专利申请的权益和优先权。该申请的全部公开内容通过引用并入本文。
技术领域
本发明涉及用于拍摄、处理、压缩及显示3D全景立体视频的全景立体视频系统，尤其涉及通过图像拼接以在全景立体视频系统内生成3D全景立体视频的方法和装置。
背景技术
在全景立体视频系统中，常常使用具有特定几何结构的多摄像头阵列拍摄图像。例如，该摄像头阵列可具有安装于正八边形安装框架上的8对摄像头，而且每对摄像头均设于该八边形的一条边上且具有平行光轴。该摄像头阵列可拍摄八对视频数据，每对摄像头均拍摄两个视频以生成立体视频。通过将所述八对摄像头中的所有左侧摄像头和所有右侧摄像头分别拍摄的视频进行拼接，可生成两个全景视频。然后，这两个全景视频可发送至显示系统以显示全景立体视频。
与传统的单幅全景图拼接相比，立体拼接面临更多的约束。具体而言，由于所述摄像头阵列通常具有特定的几何结构，因此该摄像头阵列内的各摄像头所拍摄的视频数据之间通常具有一定的关系，对于这种关系，人们不得不加以考虑。因此，需要一种通过拼接图像生成全景视频的新方法，其可在满足特定约束的同时优化性能。
发明内容
为了解决现有技术中的问题，本发明实施方式提供一种通过拼接图像生成全景视频的方法和装置，其可在满足特定约束的同时优化性能。
根据本发明的一种实施方式，提供一种用于拍摄图像以生成全景图的图像获取和处理装置，该图像获取和处理装置包括：摄像头阵列，该摄像头阵列包括第一右侧摄像头、第二右侧摄像头、第一左侧摄像头以及第二左侧摄像头，其中，所述第一右侧摄像头和所述第二右侧摄像头之间的相对位置与所述第一左侧摄像头和所述第二左侧摄像头之间的相对位置基本相同；以及图像处理单元，该图像处理单元用于将所述第一右侧摄像头所拍摄的第一右眼图像与所述第二右侧摄像头拍摄的第二右眼图像进行拼接以生成右眼全景图，并将所述第一左侧摄像头所拍摄的第一左眼图像与所述第二左侧摄像头所拍摄的第二左眼图像进行拼接以生成左眼全景图，其中，该图像处理单元用于获得所述第一右眼图像和第二右眼图像之间的右眼单应性，该右眼单应性与所述第一左眼图像和第二左眼图像之间的左眼单应性对应。
优选地，所述图像处理单元用于对所述第一右眼图像和第二右眼图像中的特征进行识别和匹配。
优选地，所述图像处理单元用于通过采用随机抽样一致性(RANSAC)算法估算所述右眼单应性。
优选地，所述第一右侧摄像头和第二右侧摄像头具有平行光轴。
优选地，所述第一右侧摄像头、第二右侧摄像头、第一左侧摄像头及第二左侧摄像头基本位于一个平面上。
优选地，所述第一右侧摄像头和第二右侧摄像头位于正多边形的第一条边上，所述第一左侧摄像头和第二左侧摄像头位于该正多边形的与所述第一条边相邻的第二条边上。
根据本发明另一实施方式，提供一种生成立体全景图的方法，该方法包括：通过处理第一右眼图像、第二右眼图像、第一左眼图像和第二左眼图像以获得所述第一右眼图像和第二右眼图像之间的右眼单应性以及所述第一左眼图像和第二左眼图像之间的左眼单应性；将所述第一右眼图像与第二右眼图像进行拼接以生成右眼全景图，并将所述第一左眼图像与第二左眼图像进行拼接以生成左眼全景图，其中，所述右眼单应性与左眼单应性对应；以及通过所述右眼全景图和左眼全景图生成立体全景图。
优选地，所述方法还包括：对所述第一右眼图像和第二右眼图像中的特征进行识别和匹配。
优选地，所述方法还包括：通过随机抽样一致性(RANSAC)算法估算所述右眼单应性。
优选地，所述方法还包括：使用包括第一右侧摄像头、第二右侧摄像头、第一左侧摄像头以及第二左侧摄像头的摄像头阵列拍摄所述第一右眼图像、第二右眼图像、第一左眼图像及第二左眼图像，其中，所述第一右侧摄像头和第二右侧摄像头之间的相对位置与所述第一左侧摄像头和第二左侧摄像头之间的相对位置基本相同，所述第一右侧摄像头和第二右侧摄像头具有平行光轴。
优选地，所述第一右侧摄像头、第二右侧摄像头、第一左侧摄像头及第二左侧摄像头基本位于一平面上。
优选地，所述第一右侧摄像头和第二右侧摄像头位于正多边形的第一条边上，所述第一左侧摄像头和第二左侧摄像头位于该正多边形的与所述第一条边相邻的第二条边上。
根据本发明实施方式，采用具有特定几何结构的摄像头阵列拍摄图像，并采用可在满足特定约束的同时优化性能的方法对该摄像头阵列所拍摄的图像进行拼接以生成立体全景视频。
附图说明
为了更好地说明本发明实施方式的技术特征，以下结合附图对本发明各种实施方式进行简单描述。
图1为根据本发明实施方式的全景立体视频系统的例示示意图。
图2为根据本发明实施方式的全景立体视频系统的摄像头阵列的例示示意图。
图3为根据本发明实施方式的全景立体视频系统的数据处理单元的例示示意图。
图4为根据本发明实施方式的全景立体视频拼接方法的例示流程图。
图5为根据本发明实施方式的全景立体视频显示方法的例示流程图。
图6为根据本发明实施方式的立体全景图生成方法的例示流程图。
具体实施方式
为了更好地说明本发明实施方式的目的、技术特征及优点，以下结合附图对本发明各种实施方式进行进一步的描述。容易理解的，附图仅用于说明本发明例示实施方式，本领域技术人员可在不脱离本发明原理的前提下获得其他附图。
根据本发明实施方式，提供一种具有多摄像头视频拍摄、数据处理、立体视频编码、传输及3D显示功能的全景立体视频系统。该全景立体视频系统采用实时多视野视频拍摄，图像修正和预处理，以及基于关注区域(ROI)的立体视频压缩。在传输和解码过程之后，使用头戴式显示器(HMD)耳机显示左右视场。
1.系统概述
图1为根据本发明实施方式的全景立体视频系统的例示示意图。全景立体视频系统采用摄像头阵列拍摄3D全景视频，并将所拍摄的3D全景视频显示于3D电视或头戴式虚拟现实显示装置上。如图1所示，全景立体视频系统包括数据采集单元200，数据处理单元300及数据显示单元400。数据采集单元200包括摄像头阵列210内的多个摄像头以及摄像头校准单元220。数据处理单元300包括数据预处理单元310及高级立体视频转码单元320。数据显示单元400包括解码单元410及显示器耳机420。
2.数据采集单元
如图1所示，数据采集单元200包括摄像头阵列210内的多个摄像头，以及对摄像头阵列210进行校准的摄像头校准单元220。
2.1摄像头阵列
图2为根据本发明实施方式的全景立体视频系统内摄像头阵列的例示示意图。
如图2所示，摄像头阵列210具有安装于正八边形安装框架上的16个高清晰度摄像头c1～c16，该八边形的每条边上安装有一对摄像头。每条边上的两个摄像头，如c1和c2，具有平行的光轴且相互间间隔距离d。由摄像头阵列210所采集的原始视频数据经线缆发送至计算机以供进一步处理。所述摄像头的参数列于下表1。
Figure BDA0001725792980000051
表1
需要注意的是，虽然所述摄像头阵列在图2中示为正八边形，但是在本发明的其他实施方式中，该摄像头阵列也可设置为其他形状。具体而言，在本发明的一种实施方式中，各摄像头安装于刚性框架上，从而使得该多个摄像头之间的相对位置基本恒定。在本发明得出一种其他实施方式中，所述摄像头基本设于同一平面上，例如设于多边形的各条边上。
2.2摄像头校准
为了将各摄像头所拍摄的图像拼接在一起并生成3D效果，需要同时获得这些摄像头的内部和外部参数。该外部参数包括各摄像头之间的旋转和平移，从而使得由不同摄像头所拍摄的图像能沿水平方向得到修正和对齐。此外，各摄像头所拍摄的图像可能存在失真，为了获得无失真的图像，需要了解各摄像头的失真参数。这些参数可在摄像头校准过程中获得。
2.2.1内部和失真参数的校准
各摄像头的内部和失真参数可通过各种方法获得，例如Zhengyou Zhang所提出的校准方法。此外，MatLab等工具可用于获得此类参数。
2.2.2外部参数的校准
在获得各摄像头的内部参数之后，采用基于运动恢复结构的方法获得各摄像头之间的旋转和平移。该方法具有如下优点：
高效性：无需逐对校准摄像头。相反，所有摄像头在校准过程中均同时拍摄一个场景，并且可同时获得所有摄像头的外部参数。
精确性：在基于图案的校准方法中，需要由两个相邻的摄像头对图案进行拍摄，这往往造成该图案的分辨率及校准精度降低。在本发明的基于运动恢复结构的方法中，每一摄像头的运动均可通过独立估算而获得上述参数，而且相邻摄像头无需具有重叠视场。因此，各摄像头可放置于离待拍摄场景更近的位置，从而实现更高的精度。
可扩展性：由于本发明方法的相邻摄像头不需要重叠视场，因此其甚至可以适用于以背靠背姿态放置的摄像头。
2.3数据采集方法
来自所述16个摄像头的数据在采集后通过软件保存，然后提供于所述数据处理单元。各摄像头所拍摄的每一帧的图像数据可通过例如FFmpeg和DirectShow(或称DShow)等软件收集。每个摄像头所拍摄的各帧在压缩后保存为视频文件。由于摄像头的个数为多个，因此需要利用时间戳等使得各摄像头所拍摄的各帧同步。例如，各摄像头所拍摄的每一帧都可在添加时间戳后置于队列中，从而使得其与具有相同时间戳的其他各帧同步。同步后的各帧被编码为视频流后本地保存，或者经网络同时传输。
3.数据处理单元
如图1所示，数据处理单元300包括数据预处理单元310和高级立体视频转码单元320。
图3为根据本发明实施方式的全景立体视频系统内的数据处理单元的例示示意图。如图3所示，数据预处理单元310包括：用于使各摄像头所拍摄的图像同步的时间轴同步311；用于解码原始视频流的若干解码器312；用于原始视频修正的若干修正器313；用于实施包括降噪和编辑在内的视频处理的编码器314；用于将各视频拼接成全景视频的拼接单元。数据预处理单元310向高级立体视频转码单元320输出左眼视频和右眼视频。高级立体视频转码单元320生成视频的运动映射321和纹理映射322。混合关注区域(ROI)生成单元323根据该运动映射321和纹理映射322识别视频中的关注区域。比特分配单元324根据所识别出的关注区域分配比特，HEVC编码单元325对视频进行编码。H.265打包器326将编码后的视频进行打包以供传输。
图4为根据本发明实施方式的全景立体视频拼接方法的例示流程图。
3.1失真校正和预处理
根据校准过程中获得的失真参数，将各摄像头所拍摄的各帧卷曲，以获得无失真的帧。为了提高图像对齐和拼接精度，需首先对帧进行滤波以减少噪声。
3.2图像对齐
对设于所述八边形每条边上的每对摄像头进行图像对齐，而且将每对摄像头所拍摄的图像沿水平方向对齐。根据本发明的一种实施方式，由各对摄像头所拍摄的每一帧均卷曲至与该对摄像头的光轴平行的平面。
4.全景视频拼接
所述摄像头阵列具有8对摄像头。在将所有左侧摄像头所拍摄的各帧均投影至圆柱体上后，将其拼接成全景图像。通过对左侧各摄像头所拍摄的所有帧重复上述步骤，可获得全景视频。通过以相同方式对右侧各摄像头所拍摄的帧进行处理，可获得另一全景视频。此两全景视频形成了全景立体视频。
5.数据显示单元
如图1所示，数据显示单元400包括解码单元410和显示器耳机420。在通过编解码系统后，所述全景立体视频播放于显示器耳机420之上，该显示器耳机可以为可穿戴虚拟现实(VR)设备，例如Oculus VR公司提供的此类设备。所述全景立体视频分别渲染于该Oculus设备的左眼显示器和右眼显示器上。该全景立体视频的显示区域可根据检测装置的移动进行调节，以模拟虚拟现实中的视角变化。
图5为根据本发明实施方式的全景立体视频显示方法的例示流程图。如图5所示，在步骤501中，首先将所编码的视频流解码为YUV。在步骤502中，根据Oculus传感器数据，进行位置计算和视场选择。在步骤503中，对左眼和右眼图像进行分别渲染。在步骤504中，将所渲染的图像显示于所述Oculus显示器耳机上。
6.立体拼接方法
立体拼接与传统的单幅全景图拼接。立体拼接具有如下几个具体问题：
(1)每对立体图像均需修正；
(2)不同立体图像的视差不同，因此需要考虑保存视差；
(3)图1中的每一左侧摄像头所拍摄的两个重叠图像的单应性与与其相应的每一右侧摄像头所拍摄的立体图像的单应性相关。
图6为根据本发明实施方式的立体全景图生成方法例示流程图。如图6所示，该方法包括如下步骤：
6.1图像拍摄及预处理
步骤601：由具有第一右侧摄像头、第二右侧摄像头、第一左侧摄像头以及第二左侧摄像头的摄像头阵列拍摄第一右眼图像、第二右眼图像、第一左眼图像以及第二左眼图像。其中，该摄像头阵列可具有图2所示的结构，并且具有设于正八边形的各边上的八对摄像头。每对摄像头具有平行的光轴。具体而言，所述右侧摄像头之间的相对位置与所述左侧摄像头之间的相对位置基本相同。如此，由右侧各摄像头所拍摄的图像便与由左侧各摄像头所拍摄的图像以特定方式相关。
虽然所述摄像头阵列的各摄像头位于一个较小的范围之内，但由于部分摄像头与其他摄像头的朝向相反，因此不同帧的光线条件可能存在较大差异。为了提高摄像头参数估计和校准的鲁棒性，预处理过程中采用曝光补偿。此外，为了提高处理速度，预处理过程中还采用图像大小调整。
6.2图像匹配
步骤602：对所述第一右眼图像和第二右眼图像中的特征进行识别和匹配。
特征检测和匹配为拼接方法的基本步骤。在一种实施方式中，采用SURF特征找出匹配图像。由于在相邻图像中仅需找出少量匹配特征即可，因此可高效地完成图像匹配。
6.3单应性估算
步骤603：通过处理所述第一右眼图像、第二右眼图像、第一左眼图像及第二左眼图像，获得所述第一右眼图像和第二右眼图像之间的右眼单应性，以及所述第一左眼图像和第二左眼图像之间的左眼单应性。
如上所述，立体拼接比传统单幅全景拼接面临更多约束。因此，采用一种新的优化方法，以在满足特定约束的同时，提供一种解决方案。
假设xl，xr为由一对摄像头(如图2所示的一个左侧摄像头和一个右侧摄像头)所拍摄的两个帧，yl，yr为由相邻一对摄像头所拍摄的两个帧。此外，xl与yl重叠，且xr与yr重叠。为了生成全景图，需要将xl与yl拼接，以及将xr与yr拼接。在一种实施方式中，xl和yl之间的单应性Hl与xr和yr之间的单应性Hr保持一致。在一种优选实施方式中，Hl和Hr相同，记为H。以下等式(1)所示为从xl至yl的再投影误差，其中，Ω表示xl和yl之间的一组匹配特征。类似地，xr和yr之间的再投影误差通过等式(2)计算。
Figure BDA0001725792980000091
Figure BDA0001725792980000092
在一种实施方式中，通过加入另一约束来保证所述单应性的一致性。由于立体拼接的目的在于生成两个立体全景图，因此在计算单应性时，需考虑水平视差。如以下等式(3)所示，为了获得理想的单应性，应仅侧重水平视差，与此同时，需抑制累积误差和特征匹配中的异常值所导致的垂直视差，其中，D为含有一对帧(由一对左右摄像头拍摄)之间的匹配特征点的组，Ev为垂直方向(表示为y轴)上的正交投影。
Figure BDA0001725792980000093
整体优化问题如式(4)所示，其中，引入额外的参数λ作为用于平衡式中两个部分的超参数。
min(El+Er)+λEv (4)
在一种实施方式中，采用RANSAC来估算每两对重叠图像间的单应性的鲁棒解，该做法为用于降低异常值影响以提高鲁棒性的基本惯常做法。
6.4图像组合
步骤604：将所述第一右眼图像与所述第二右眼图像进行拼接以生成右眼全景图，将所述第一左眼图像与所述第二左眼图像进行拼接以生成左眼全景图，其中，右眼单应性与左眼单应性一致。优选地，右眼单应性与左眼单应性相同。
在单应性估算完成后，可将两对图像卷曲并融合。在一种实施方式中，采用现有的卷曲接缝寻找以及融合惯用法时，可获得良好的性能结果。可采用基于颜色的图像分割算法进行接缝寻找，而且采用多频段融合以生成最终的全景图。
步骤605：利用所述右眼全景图和左眼全景图生成立体全景图。其中，最终通过圆柱坐标将所述两个全景图进行卷曲以生成立体全景图。
根据本发明实施方式，采用具有特定几何结构的摄像头阵列拍摄图像，并采用可在满足特定约束的同时优化性能的方法对该摄像头阵列所拍摄的图像进行拼接以生成立体全景视频。
上述各种模块、单元和部件可实施为：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器(共享、专用或成组)；或者提供上述功能的其他合适的硬件部件。所述处理器可以为Intel公司的微处理器，或者为IBM公司的大型计算机。
需要注意的是，上述功能当中的一项或多项可由软件或固件实施，该软件或固件存储于存储器内并由处理器执行，或者存储于程序存储器内并由处理器执行。此外，该软件或固件可存储和/或传输于任何计算机可读介质之内，以供指令执行系统、装置或设备使用或与其结合使用，该指令执行系统、装置或设备例如为基于计算机的系统、含处理器的系统或者可从所述指令执行系统、装置或设备中获取指令并对其加以执行的其他系统。在本文语境中，“计算机可读介质”可以为任何可含有或存储供所述指令执行系统、装置或设备使用或用于与其结合使用的程序的介质。该计算机可读介质可包括，但不限于，电子、磁性、光学、电磁、红外或半导体系统、装置或设备，便携式计算机磁盘(磁性)，随机存取存储器(RAM)(磁性)，只读存储器(ROM)(磁性)，可擦除可编程只读存储器(EPROM)(磁性)，如CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW等便携式光盘，或袖珍闪存卡、安全数字卡、USB存储装置、记忆棒等的闪存。
上述各种本发明实施方式仅为优选实施方式，并不旨在限制本发明的范围，而且本发明范围涵盖不脱离本发明精神和原则的任何修饰、等同及改进方案。

Claims (14)

1.一种用于拍摄图像以生成全景图的图像获取和处理装置，其特征在于，所述图像获取和处理装置包括：
摄像头阵列，所述摄像头阵列包括第一右侧摄像头、第二右侧摄像头、第一左侧摄像头以及第二左侧摄像头，其中，所述第一右侧摄像头和所述第二右侧摄像头之间的相对位置与所述第一左侧摄像头和所述第二左侧摄像头之间的相对位置相同；以及
图像处理单元，所述图像处理单元用于将所述第一右侧摄像头所拍摄的第一右眼图像与所述第二右侧摄像头所拍摄的第二右眼图像进行拼接以生成右眼全景图，并将所述第一左侧摄像头所拍摄的第一左眼图像与所述第二左侧摄像头所拍摄的第二左眼图像进行拼接以生成左眼全景图，其中，所述图像处理单元用于获得所述第一右眼图像和所述第二右眼图像之间的右眼单应性，所述右眼单应性与所述第一左眼图像和所述第二左眼图像之间的左眼单应性相同，
所述图像处理单元还用于在第一方向上对所述第一右眼图像和所述第一左眼图像进行修正，
所述图像处理单元还用于将所述第一右眼图像和所述第一左眼图像卷曲至与所述第一右侧摄像头和所述第一左侧摄像头的光轴平行的平面。
2.如权利要求1所述的图像获取和处理装置，其特征在于，所述图像处理单元用于对与所述第一方向垂直的第二方向上的视差进行抑制。
3.如权利要求1所述的图像获取和处理装置，其特征在于，所述图像处理单元用于对所述第一右眼图像和所述第二右眼图像中的一特征进行识别和匹配。
4.如权利要求1所述的图像获取和处理装置，其特征在于，所述图像处理单元通过采用随机抽样一致性算法估算所述右眼单应性。
5.如权利要求1所述的图像获取和处理装置，其特征在于，所述第一右侧摄像头和所述第二右侧摄像头具有平行光轴。
6.如权利要求1所述的图像获取和处理装置，其特征在于，所述第一右侧摄像头、所述第二右侧摄像头、所述第一左侧摄像头及所述第二左侧摄像头位于一个平面上。
7.如权利要求6所述的图像获取和处理装置，其特征在于，所述第一右侧摄像头和所述第二右侧摄像头位于正多边形的第一条边上，所述第一左侧摄像头和所述第二左侧摄像头位于所述正多边形的与所述第一条边相邻的第二条边上。
8.一种生成立体全景图的方法，其特征在于，所述方法包括：
通过处理第一右眼图像、第二右眼图像、第一左眼图像和第二左眼图像以获得所述第一右眼图像和所述第二右眼图像之间的右眼单应性以及所述第一左眼图像和所述第二左眼图像之间的左眼单应性；
将所述第一右眼图像与所述第二右眼图像进行拼接以生成右眼全景图，并将所述第一左眼图像与所述第二左眼图像进行拼接以生成左眼全景图，其中，所述右眼单应性与所述左眼单应性相同；以及
通过所述右眼全景图和左眼全景图生成立体全景图，
其中，所述方法还包括在第一方向上对所述第一右眼图像和所述第一左眼图像进行修正，
其中，所述方法还包括将所述第一右眼图像和所述第一左眼图像卷曲至一平面。
9.如权利要求8所述的方法，其特征在于，还包括：
对与所述第一方向垂直的第二方向上的视差进行抑制。
10.如权利要求8所述的方法，其特征在于，还包括：
对所述第一右眼图像和第二右眼图像中的一特征进行识别和匹配。
11.权利要求8的所述方法，其特征在于，还包括：
通过采用随机抽样一致性算法估算所述右眼单应性。
12.如权利要求8所述的方法，其特征在于，还包括：
使用包括第一右侧摄像头、第二右侧摄像头、第一左侧摄像头以及第二左侧摄像头的摄像头阵列拍摄所述第一右眼图像、所述第二右眼图像、所述第一左眼图像及所述第二左眼图像，其中，所述第一右侧摄像头和所述第二右侧摄像头之间的相对位置与所述第一左侧摄像头和所述第二左侧摄像头之间的相对位置相同，所述第一右侧摄像头和所述第二右侧摄像头具有平行光轴。
13.如权利要求12所述的方法，其特征在于，所述第一右侧摄像头、所述第二右侧摄像头、所述第一左侧摄像头及所述第二左侧摄像头位于一个平面上。
14.如权利要求13所述的方法，其特征在于，所述第一右侧摄像头和所述第二右侧摄像头位于正多边形的第一条边上，所述第一左侧摄像头和所述第二左侧摄像头位于所述正多边形的与所述第一条边相邻的第二条边上。
CN201680078524.XA 2016-01-12 2016-01-13 全景立体视频系统的拼接方法和装置 Active CN108886611B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2016/070712 2016-01-12
PCT/CN2016/070712 WO2017120776A1 (en) 2016-01-12 2016-01-12 Calibration method and apparatus for panoramic stereo video system
PCT/CN2016/070823 WO2017120802A1 (en) 2016-01-12 2016-01-13 Stitching method and apparatus for panoramic stereo video system

Publications (2)

Publication Number Publication Date
CN108886611A CN108886611A (zh) 2018-11-23
CN108886611B true CN108886611B (zh) 2021-07-09

Family

ID=59310625

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201680078559.3A Active CN109076200B (zh) 2016-01-12 2016-01-12 全景立体视频系统的校准方法和装置
CN201680078524.XA Active CN108886611B (zh) 2016-01-12 2016-01-13 全景立体视频系统的拼接方法和装置
CN201680078558.9A Active CN108886598B (zh) 2016-01-12 2016-01-18 全景立体视频系统的压缩方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680078559.3A Active CN109076200B (zh) 2016-01-12 2016-01-12 全景立体视频系统的校准方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201680078558.9A Active CN108886598B (zh) 2016-01-12 2016-01-18 全景立体视频系统的压缩方法和装置

Country Status (4)

Country Link
US (3) US10636121B2 (zh)
EP (3) EP3403403B1 (zh)
CN (3) CN109076200B (zh)
WO (3) WO2017120776A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958834B2 (en) 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
WO2018136951A1 (en) * 2017-01-23 2018-07-26 Virtual Diamond Boutique Inc. System, method and computer-accessible medium for displaying a three-dimensional digital version of an object
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
WO2018156321A1 (en) * 2017-02-27 2018-08-30 Thomson Licensing Method, system and apparatus for visual effects
CN108886616A (zh) * 2017-12-27 2018-11-23 深圳市大疆创新科技有限公司 视频编码的方法、装置和计算机系统
US11025888B2 (en) 2018-02-17 2021-06-01 Dreamvu, Inc. System and method for capturing omni-stereo videos using multi-sensors
JP7223978B2 (ja) * 2018-05-23 2023-02-17 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US10878276B2 (en) * 2018-06-05 2020-12-29 Hrl Laboratories, Llc Method and system for detecting change of context in video streams
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
CN109887036A (zh) * 2019-01-21 2019-06-14 广州市安晓科技有限责任公司 一种汽车环视全景的半自动标定系统及方法
CN110749994A (zh) * 2019-10-25 2020-02-04 江苏荣策士科技发展有限公司 一种穿透式hmd眼镜
CN111193920B (zh) * 2019-12-31 2020-12-18 重庆特斯联智慧科技股份有限公司 一种基于深度学习网络的视频画面立体拼接方法和系统
CN111464805B (zh) * 2020-03-13 2021-08-10 宁波大学 一种基于全景显著性的立体全景视频快速编码方法
CN111935474A (zh) * 2020-08-17 2020-11-13 广东申义实业投资有限公司 一种参展式发光转盘及其图像摄取方法
US11677979B2 (en) 2020-08-24 2023-06-13 Tencent America LLC Freeview video coding
US11758101B2 (en) 2020-08-25 2023-09-12 Samsung Electronics Co., Ltd. Restoration of the FOV of images for stereoscopic rendering
US11900561B2 (en) 2020-11-25 2024-02-13 Electronics And Telecommunications Research Institute Deep learning-based image stitching method and apparatus
CN112637601B (zh) * 2020-12-14 2023-01-03 天津光电通信技术有限公司 基于鱼眼全景视频的编码方法及装置
CN112884844B (zh) * 2021-01-13 2023-02-03 深圳市豪恩汽车电子装备股份有限公司 全景影像系统的标定方法、装置及计算机可读存储介质
CN113573058B (zh) * 2021-09-23 2021-11-30 康达洲际医疗器械有限公司 一种基于时空显著性融合的帧间图像编码方法
CN113965698B (zh) * 2021-11-12 2024-03-08 白银银珠电力(集团)有限责任公司 一种用于消防物联网的监控图像校准处理方法、装置和系统
KR20230115819A (ko) * 2022-01-27 2023-08-03 삼성전자주식회사 파노라마 이미지를 생성하기 위한 전자 장치 및 그 동작 방법
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065763A2 (en) 2001-02-12 2002-08-22 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
US20040001138A1 (en) 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
US7119816B2 (en) 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
EP1679659A1 (en) 2005-01-06 2006-07-12 Thomson Licensing Method and device for selecting quantization parameters in a picture using side information
US8014034B2 (en) 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
KR100739730B1 (ko) 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
US7697839B2 (en) * 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
RU2689191C2 (ru) 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
US20110255589A1 (en) 2009-08-03 2011-10-20 Droplet Technology, Inc. Methods of compressing data and methods of assessing the same
WO2011037964A1 (en) 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US10095953B2 (en) * 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US20110235706A1 (en) 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
US20120154518A1 (en) 2010-12-17 2012-06-21 Microsoft Corporation System for capturing panoramic stereoscopic video
CN102055982B (zh) 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
CN102592124B (zh) * 2011-01-13 2013-11-27 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
US20120236934A1 (en) 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US8581961B2 (en) 2011-03-31 2013-11-12 Vangogh Imaging, Inc. Stereoscopic panoramic video capture system using surface identification and distance registration technique
WO2012136388A1 (en) 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
CN102243432A (zh) 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置
US9202278B2 (en) 2011-08-19 2015-12-01 Adobe Systems Incorporated Plane-based self-calibration for structure from motion
KR101638173B1 (ko) * 2011-09-06 2016-07-12 한국전자통신연구원 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
US8928729B2 (en) 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
JP5791818B2 (ja) * 2011-11-01 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 突出ベース視差マッピング
CN110139108B (zh) 2011-11-11 2023-07-18 Ge视频压缩有限责任公司 用于将多视点信号编码到多视点数据流中的装置及方法
US20130176390A1 (en) 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth
US9392274B2 (en) 2012-03-22 2016-07-12 Qualcomm Incorporated Inter layer texture prediction for video coding
WO2013151883A1 (en) 2012-04-02 2013-10-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US9131208B2 (en) * 2012-04-06 2015-09-08 Adobe Systems Incorporated Opt-keyframe reconstruction for robust video-based structure from motion
CN103516995A (zh) 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
EP2880630B1 (en) * 2012-08-02 2020-09-02 HERE Global B.V. Three-dimensional plane panorama creation through hough-based line detection
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US20140098185A1 (en) 2012-10-09 2014-04-10 Shahram Davari Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources
CN103020985B (zh) 2012-11-12 2015-12-09 华中科技大学 一种基于场量分析的视频图像显著性检测方法
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
TWI602152B (zh) * 2013-02-06 2017-10-11 聚晶半導體股份有限公司 影像擷取裝置及其影像處理方法
CN103108187B (zh) 2013-02-25 2016-09-28 清华大学 一种三维视频的编码方法、解码方法、编码器和解码器
CN103179405B (zh) 2013-03-26 2016-02-24 天津大学 一种基于多级感兴趣区域的多视点视频编码方法
US20140300691A1 (en) 2013-04-04 2014-10-09 Panasonic Corporation Imaging system
US9398215B2 (en) 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
US9542773B2 (en) * 2013-05-23 2017-01-10 Google Inc. Systems and methods for generating three-dimensional models using sensed position data
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
CN104424642B (zh) 2013-09-09 2017-09-12 华为软件技术有限公司 一种视频显著性区域检测方法及系统
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
EP3080986A4 (en) 2013-12-13 2017-11-22 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
KR101537174B1 (ko) * 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법
US9552061B2 (en) * 2014-03-26 2017-01-24 Microsoft Technology Licensing, Llc Eye gaze tracking using binocular fixation constraints
JP2017521897A (ja) * 2014-05-20 2017-08-03 ネクストブイアール・インコーポレイテッド １つ以上のカメラを含む、または、１つ以上のカメラとともに使用するための方法及び装置
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
EP3140988B1 (en) * 2014-06-26 2019-09-11 Huawei Technologies Co., Ltd. Method and device for reducing a computational load in high efficiency video coding
US9973694B1 (en) * 2014-08-21 2018-05-15 Jaunt Inc. Image stitching to form a three dimensional panoramic image
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
CN104580933A (zh) 2015-02-09 2015-04-29 上海安威士科技股份有限公司 基于特征点的多尺度实时监控视频拼接装置及拼接方法
CN105049850B (zh) 2015-03-24 2018-03-06 上海大学 基于感兴趣区域的hevc码率控制方法
CN104822058B (zh) 2015-04-14 2016-08-17 宁波大学 一种立体图像显著图提取方法
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
CN108370454B (zh) * 2015-12-03 2020-11-03 深圳市大疆创新科技有限公司 用于视频处理的系统和方法
WO2017098090A1 (en) * 2015-12-12 2017-06-15 Aalto University Foundation Calibration technique for capturing panoramic images
CN108700798A (zh) * 2016-01-03 2018-10-23 人眼技术有限公司 在创建全景帧过程中的帧适应拼接
WO2017188714A1 (ko) * 2016-04-26 2017-11-02 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
US10447993B2 (en) 2016-09-27 2019-10-15 Laduma, Inc. Stereoscopic 360 degree digital camera systems
CN109587203A (zh) * 2017-09-29 2019-04-05 索尼公司 信息处理设备和方法、电子装置以及计算机可读介质
US10902556B2 (en) * 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams

Also Published As

Publication number Publication date
US20190028707A1 (en) 2019-01-24
CN109076200B (zh) 2021-04-23
EP3403400A1 (en) 2018-11-21
EP3403403B1 (en) 2023-06-07
US20190035055A1 (en) 2019-01-31
CN108886598A (zh) 2018-11-23
EP3403401A1 (en) 2018-11-21
US10643305B2 (en) 2020-05-05
CN108886611A (zh) 2018-11-23
WO2017120981A1 (en) 2017-07-20
US10489886B2 (en) 2019-11-26
EP3403400A4 (en) 2019-10-09
US20190028693A1 (en) 2019-01-24
EP3403401B1 (en) 2021-10-13
WO2017120776A1 (en) 2017-07-20
WO2017120802A1 (en) 2017-07-20
CN109076200A (zh) 2018-12-21
EP3403403A4 (en) 2019-08-21
EP3403400B1 (en) 2022-04-20
EP3403401A4 (en) 2019-06-12
CN108886598B (zh) 2020-08-25
US10636121B2 (en) 2020-04-28
EP3403403A1 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
CN108886611B (zh) 全景立体视频系统的拼接方法和装置
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
Anderson et al. Jump: virtual reality video
JP6872131B2 (ja) 符号化装置および符号化方法、復号装置および復号方法
CN107637060B (zh) 相机装备和立体图像捕获
JP6273163B2 (ja) 立体パノラマ
EP2761878B1 (en) Representation and coding of multi-view images using tapestry encoding
US20190019299A1 (en) Adaptive stitching of frames in the process of creating a panoramic frame
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
JP6911765B2 (ja) 画像処理装置および画像処理方法
EP2603834B1 (en) Method for forming images
US20110222757A1 (en) Systems and methods for 2D image and spatial data capture for 3D stereo imaging
CN108243629B (zh) 图像处理设备和图像处理方法
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
US11812009B2 (en) Generating virtual reality content via light fields
Knorr et al. A modular scheme for artifact detection in stereoscopic omni-directional images
JP7009996B2 (ja) 画像処理装置および画像処理方法
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
Perek et al. Efficient uncalibrated rectification method for stereo vision systems
US20180007344A1 (en) Stereoscopic image capture
US20140002615A1 (en) System and method for correcting binocular photography with homographic transformations
Zilly Method for the automated analysis, control and correction of stereoscopic distortions and parameters for 3D-TV applications
Zilly Method for the automated analysis, control and correction of stereoscopic distortions and parameters for 3D-TV applications: new image processing algorithms to improve the efficiency of stereo-and multi-camera 3D-TV productions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant