CN109076200A - 全景立体视频系统的校准方法和装置 - Google Patents

全景立体视频系统的校准方法和装置 Download PDF

Info

Publication number
CN109076200A
CN109076200A CN201680078559.3A CN201680078559A CN109076200A CN 109076200 A CN109076200 A CN 109076200A CN 201680078559 A CN201680078559 A CN 201680078559A CN 109076200 A CN109076200 A CN 109076200A
Authority
CN
China
Prior art keywords
camera
array
image
acquiring device
camera array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680078559.3A
Other languages
English (en)
Other versions
CN109076200B (zh
Inventor
虞晶怡
马毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Publication of CN109076200A publication Critical patent/CN109076200A/zh
Application granted granted Critical
Publication of CN109076200B publication Critical patent/CN109076200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种摄像头阵列校准方法，该摄像头阵列包括多个摄像头，该多个摄像头用于拍摄多个图像以生成全景图，其中，该多个摄像头之间的相对位置基本恒定，所述方法包括：将摄像头阵列从第一位置移动到第二位置；测量摄像头阵列上的参考点在第一位置和第二位置之间的齐次变换矩阵；由所述摄像头阵列的第一摄像头和第二摄像头在所述第一位置和第二位置处拍摄图像；以及根据由所述第一摄像头和第二摄像头在所述第一位置和第二位置处拍摄的图像，确定该第一摄像头和第二摄像头之间的齐次变换矩阵。该方法还包括：识别由所述第一摄像头在所述第一位置和第二位置处拍摄的图像中的特征；以及根据该特征，估算所述第一摄像头从所述第一位置至所述第二位置的旋转。

Description

全景立体视频系统的校准方法和装置
技术领域
本发明涉及用于拍摄、处理、压缩及显示3D全景立体视频的全景立体视频系统，尤其涉及对全景立体视频系统内的摄像头阵列进行校准的方法和装置。
背景技术
多摄像头阵列已经在立体视觉和全景视频系统中得到广泛使用。恰当校准此类摄像头的外部参数为运行任何复杂视觉或视频算法的先决条件，这是因为当摄像头间的空间关系未精确定义时此类算法往往遭遇失败。当摄像头视场(FOV)内存在较大重叠区域时，现有的摄像头校准方法表现良好。然而，当重叠区域较小或者甚至不存在重叠区域时，此类现有方法往往因重叠区域的低分辨率或因无法在重叠区域内找出共同图案而无能为力。
因此，需要一种对重叠视场较小或甚至无重叠视场的摄像头进行校准的可靠方法。
发明内容
为了解决现有技术中的问题，本发明实施方式提供一种对全景立体视频系统中各摄像头具有较小共同视场或甚至没有共同视场的摄像头阵列进行校准的方法和装置。
根据本发明一种实施方式，提供一种图像获取装置，该图像获取装置用于拍摄图像以生成全景图，该图像获取装置包括：摄像头阵列，该摄像头阵列包括多个摄像头，所述多个摄像头用于拍摄多个图像以生成全景图，其中，该多个摄像头之间的相对位置基本恒定；以及用于校准所述多个摄像头的摄像头校准单元，其中，当所述摄像头阵列从第一位置移动至第二位置时，所述多个摄像头用于在所述第一位置和第二位置处拍摄图像，所述摄像头校准单元根据由第一摄像头和第二摄像头在所述第一位置和第二位置处所拍摄的图像，确定该第一摄像头和第二摄像头之间的齐次变换矩阵。
优选地，所述摄像头校准单元用于识别由所述第一摄像头在所述第一位置和第二位置处所拍摄的图像中的特征，并根据该特征估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
优选地，所述摄像头阵列设置为从所述第一位置随机移动至所述第二位置。
优选地，在所述第一位置处的所述摄像头阵列的轴线与在所述第二位置处的该摄像头阵列的轴线不平行。
优选地，所述第一摄像头和第二摄像头具有不重叠的视场。
根据本发明另一实施方式，提供一种摄像头阵列校准方法，该摄像头阵列包括多个摄像头，该多个摄像头用于拍摄多个图像以生成全景图，其中，该多个摄像头之间的相对位置基本恒定，所述方法包括：将所述摄像头阵列从第一位置移动到第二位置；测量所述摄像头阵列上的参考点在所述第一位置和第二位置之间的齐次变换矩阵；由所述摄像头阵列的第一摄像头和第二摄像头分别在所述第一位置和第二位置处拍摄图像；以及根据所述第一摄像头和第二摄像头在所述第一位置和第二位置处所拍摄的图像，确定该第一摄像头和第二摄像头之间的齐次变换矩阵。
优选地，所述方法还包括：识别由所述第一摄像头在所述第一位置和第二位置处所拍摄的图像中的特征；以及根据该特征，估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
优选地，所述方法还包括：将所述摄像头阵列从所述第一位置随机移动至所述第二位置。
优选地，在所述第一位置处的所述摄像头阵列的轴线与所述摄像头阵列在所述第二位置处的所述摄像头阵列的轴线不平行。
优选地，所述第一摄像头和第二摄像头具有不重叠的视场。
根据本发明实施方式，所述摄像头阵列内的摄像头仅需通过在不同位置上同时拍摄照片便可实现有效而精确的校准，并且这些摄像头无需具有重叠视场。
附图说明
为了更好地说明本发明实施方式的技术特征，以下结合附图对本发明各种实施方式进行简单描述。
图1为根据本发明实施方式的全景立体视频系统的例示示意图。
图2为根据本发明实施方式的全景立体视频系统中的摄像头阵列的例示示意图。
图3为根据本发明实施方式的全景立体视频系统中的数据处理单元的例示示意图。
图4为根据本发明实施方式的全景立体视频拼接方法的例示流程图。
图5为根据本发明实施方式的全景立体视频显示方法的例示流程图。
图6为根据本发明实施方式摄像头阵列在校准过程中从起点位置移动至终点位置的例示示意图。
图7为根据本发明实施方式的摄像头阵列校准方法的例示流程图。
具体实施方式
为了更好地说明本发明实施方式的目的、技术特征及优点，以下结合附图对本发明各种实施方式进行进一步的描述。容易理解的，附图仅用于说明本发明例示实施方式，本领域技术人员可在不脱离本发明原理的前提下获得其他附图。
根据本发明实施方式，提供一种具有多摄像头视频拍摄、数据处理、立体视频编码、传输及3D显示功能的全景立体视频系统。该全景立体视频系统采用实时多角度视频拍摄，图像修正和预处理，以及基于关注区域(ROI)的立体视频压缩。在传输和解码过程之后，使用头戴式显示器(HMD)耳机显示左右视场。
1.系统概述
图1为根据本发明实施方式的全景立体视频系统的例示示意图。全景立体视频系统采用摄像头阵列拍摄3D全景视频，并将所拍摄的3D全景视频显示于3D电视或头戴式虚拟现实显示装置上。如图1所示，全景立体视频系统包括数据采集单元200，数据处理单元300及数据显示单元400。数据采集单元200包括摄像头阵列210内的多个摄像头以及摄像头校准单元220。数据处理单元300包括数据预处理单元310及高级立体视频转码单元320。数据显示单元400包括解码单元410及显示器耳机420。
2.数据采集单元
如图1所示，数据采集单元200包括摄像头阵列210内的多个摄像头，以及对摄像头阵列210进行校准的摄像头校准单元220。
2.1摄像头阵列
图2为根据本发明实施方式的全景立体视频系统内的摄像头阵列的例示示意图。
如图2所示，摄像头阵列210具有安装于正八边形安装框架上的16个高清晰度摄像头c1～c16，该八边形的每个侧面上安装有一对摄像头。每个侧面上的两个摄像头，如c1和c2，具有平行光轴且相互间隔距离d。摄像头阵列210所采集的原始视频数据经线缆发送于计算机，以供进一步处理。所述摄像头的参数列于下表1。
表1
需要注意的是，虽然所述摄像头阵列在图2中示为正八边形，但是在本发明其他实施方式中，该摄像头阵列也可设置为其他形状。具体而言，在本发明的一种实施方式中，各摄像头安装于刚性框架上，从而使得该多个摄像头之间的相对位置基本恒定。在本发明的一种其他实施方式中，所述摄像头基本设于同一平面上，例如设于多边形的各侧面上。
2.2摄像头校准
为了将各摄像头拍摄的图像拼接在一起并生成3D效果，需要同时获得这些摄像头的内部和外部参数。该外部参数包括各摄像头之间的旋转和平移，从而使得由不同摄像头拍摄的图像能沿水平方向得到修正和对齐。此外，各摄像头拍摄的图像可能存在失真，为了获得无失真的图像，需要了解各摄像头的失真参数。这些参数可在摄像头校准过程中获得。
2.2.1内部和失真参数的校准
各摄像头的内部和失真参数可通过各种方法获得，例如Zhengyou Zhang所提出的校准方法。此外，MatLab等工具可用于获得此类参数。
2.2.2外部参数的校准
在获得各摄像头的内部参数之后，采用基于运动恢复结构的方法获得各摄像头之间的旋转和平移。该方法具有如下优点：
高效性：无需逐对校准摄像头。相反，所有摄像头在校准过程中均同时拍摄一个场景，而且可同时获得所有摄像头的外部参数。
精确性：在基于图案的校准方法中，需要由两个相邻的摄像头对图案进行拍摄，这往往造成该图案的分辨率及校准精度降低。在本发明的基于运动恢复结构的方法中，每一摄像头的运动均可通过独立估算而获得上述参数，并且相邻的摄像头无需具有重叠视场。因此，各摄像头可放置于离待拍摄场景更近的位置，从而实现更高的精度。
可扩展性：由于本发明方法的相邻摄像头不需要重叠视场，因此其甚至可以适用于以背靠背姿态设置的摄像机。
2.3数据采集方法
来自所述16个摄像头的数据在采集后通过软件保存，然后提供至所述数据处理单元。各摄像头拍摄的每一帧的图像数据可通过FFmpeg和DirectShow(或称DShow)等而被软件收集。每个摄像头拍摄的各帧在压缩后保存为视频文件。由于摄像头的个数为多个，因此需要利用时间戳等，使得各摄像头拍摄的各帧同步。例如，各摄像头所拍摄的每一帧都可在添加时间戳后置于队列中，从而使得其与具有相同时间戳的其他各帧同步。同步后的各帧编码为视频流后本地保存，或者经网络同时传输。
3.数据处理单元
如图1所示，数据处理单元300包括数据预处理单元310和高级立体视频转码单元320。
图3为根据本发明实施方式的全景立体视频系统内的数据处理单元的例示示意图。如图3所示，数据预处理单元310包括：用于使各摄像头拍摄的图像同步的时间轴同步311；用于解码原始视频流的若干解码器312；用于原始视频修正的若干修正器313；用于实施包括降噪和编辑在内的视频处理的编码器314；用于将各视频拼接成全景视频的拼接单元。数据预处理单元310向高级立体视频转码单元320输出左眼视频和右眼视频。高级立体视频转码单元320生成视频的运动映射321和纹理映射322。混合关注区域(ROI)生成单元323根据该运动映射321和纹理映射322识别视频中的关注区域。比特分配单元324根据识所别出的关注区域分配比特，HEVC编码单元325对视频进行编码。H.265打包器326将编码后的视频进行打包，以供传输。
图4为根据本发明实施方式的全景立体视频的拼接方法的例示流程图。
3.1失真校正和预处理
根据校准过程中获得的失真参数，将各摄像头拍摄的各帧卷曲，以获得无失真帧。为了提高图像对齐和拼接的精度，需首先对各帧进行滤波以减少噪声。
3.2图像对齐
对设于所述八边形每个侧面的每对摄像头进行图像对齐，而且将每对摄像头拍摄的图像沿水平方向对齐。根据本发明一种实施方式，各对摄像头所拍摄的每一帧均卷曲至与该对摄像头的光轴平行的平面。
4.全景视频拼接
所述摄像头阵列具有8对摄像头。在将所有左侧摄像头拍摄的各帧均投影至圆柱体上后，将其拼接成全景图像。通过在左侧各摄像头拍摄的所有帧上重复上述步骤，可获得全景视频。通过以相同方式对右侧各摄像头拍摄的帧进行处理，可获得另一全景视频。此两全景视频形成全景立体视频。
5.数据显示单元
如图1所示，数据显示单元400包括解码单元410和显示器耳机420。在通过编解码系统后，所述全景立体视频播放于显示器耳机420之上，该显示器耳机可以为可穿戴虚拟现实(VR)设备，例如Oculus VR公司提供的此类设备。所述全景立体视频分别渲染于该Oculus设备的左眼显示器和右眼显示器上。该全景立体视频的显示区域可根据检测装置的移动进行调节，以模拟虚拟现实中的视角变化。
图5为根据本发明实施方式的全景立体视频显示方法的例示流程图。如图5所示，在步骤501中，首先将编码视频流解码为YUV。在步骤502中，根据Oculus传感器数据，进行位置计算和视场选择。在步骤503中，对左眼和右眼图像进行分别渲染。在步骤504中，将所渲染的图像显示于所述Oculus显示耳器机上。
图6为根据本发明实施方式摄像头阵列在校准过程中从起点位置移动至终点位置的例示示意图。如图6所示，在该校准过程中，所述摄像头阵列从起点位置移动到终点位置，其中，该摄像头阵列在所述起点位置上的轴线与其在所述第二位置上的轴线不平行。
可选地，除了上述摄像头之外，所述摄像头阵列还与可用于获得该摄像头阵列的运动的惯性测量单元(IMU)相连接。该IMU可以为运动传感器。该IMU可设于所述摄像头阵列的固定位置上。例如，其可设于所述摄像头阵列的中心，或者与其中一个摄像头设于同一位置上。
或者，所述摄像头阵列从起点位置到终点位置的运动也可通过其他手段测量，并分别发送于所述校准单元。
需要注意的是，虽然图6仅示出了所述起点位置和终点位置，但是所述摄像头阵列在移动过程中可经历若干位置。优选地，该摄像头阵列在所述校准过程中可经历的所述起点位置、终点位置和任何其他位置为随机选择的位置。具体而言，通过使所述摄像头阵列移动经过若干位置，可进一步提供校准精度。以下，利用下述符号，对该校准方法进行进一步的描述：
pi，k：第k次移动后摄像头i的位置；
Xi，j：摄像头i和j之间的齐次变换矩阵，其中，
Ai，k：摄像头i从位置k过渡到位置k+1的齐次变换矩阵，
其中，知为pi，k和pi，k+1的相对旋转和变换；
Xi：摄像头i和IMU之间的齐次变换矩阵，
Bk：IMU从位置k过渡到位置k+1的齐次变换矩阵，
在以下计算中，所有摄像头均按照带有失真的针孔摄像头模型建模，且其内在矩阵Ki和失真参数kci假设为已知参数。
根据本发明一种实施方式，所述校准方法包括如下步骤：
1.n次移动所述摄像头阵列，并使所有摄像头在每一位置处同时拍摄照片。记录IMU数据，并获得Bk。其中，为了获得更好的性能，最好避免绕平行旋转轴的旋转；
2.利用运动恢复结构方法，计算其中，k表示所述摄像头阵列的第k次移动；
3.针对所有的n次移动，计算可令最小的其中，d为SO(3)的某一恰当定义的距离度量值；
4.针对所有次移动及所有摄像头的某一误差极限γ，找出满足
∠(uikl，Yikl)≤γ
的其中，来自以上步骤3，uikl和vikl为摄像头i在位置k和k+1之间的第l个对应点，可通过二分法找出最佳
5.通过下述等式获得摄像头i和摄像头j之间的外部参数，
图7为根据本发明实施方式的摄像头阵列校准方法的例示流程图。如图7所示，该校准包括如下步骤：
步骤701：将所述摄像头阵列从第一位置移动到第二位置。
步骤702：确定该摄像头阵列在所述第一位置和第二位置之间的移动。其中，该摄像头阵列的移动可利用该摄像头阵列在所述第一位置和第二位置之间的参考点的齐次变换矩阵确定。
步骤703：由第一摄像头和第二摄像头在所述第一位置和第二位置拍摄图像。其中，我们仅需利用此两摄像头在所述两位置上拍摄照片即可。
步骤704：计算所述第一摄像头从所述第一位置至所述第二位置的旋转。其中，可使用运动恢复结构方法首先识别由所述第一摄像头在所述第一位置和第二位置上拍摄的图像中的特征，然后根据识别出的该图像中的特征的位置，计算所述第一摄像头从所述第一位置至所述第二位置的旋转。
步骤705：通过最小化已定义的距离，确定所述第一摄像头和所述参考点之间的旋转。
步骤706：通过再投影误差的最小化，确定所述第一摄像头和所述参考点之间的变换。
步骤707：根据所述第一摄像头和第二摄像头在所述第一位置和第二位置上拍摄的图像，确定该第一摄像头和第二摄像头之间的齐次变换矩阵。其中，可根据以上步骤中所确定的参数，计算所述第一摄像头和第二摄像头之间的相对旋转和平移。
上述校准方法具有如下优点：
1.高效性：无需逐对校准摄像头，也无需为了校准而将所述框架拿起，仅需在不同位置对场景进行同时拍摄即可。
2.精确性：在基于图案的校准方法的设置中，两个摄像头的重叠视场常常远离该两摄像头，然而由于需要将图案设于此两摄像头的共同视场区域内，因此图案分辨率极低，从而对校准精度造成不良影响。与此相反，本发明方法对不同摄像头的运动分别进行独立地计算，而且摄像头视场无需具有共同区域。因此，摄像头可放置于离场景更近的位置，从而实现更高的校准精度。
3.可扩展性：由于运动恢复结构方法不需要摄像头具有重叠视场，因此本发明方法甚至可以适用于背靠背设置的摄像头。如此，可通过计算任意摄像头坐标至参考摄像机坐标的变换而减小累积误差。
总之，根据本发明实施方式，所述摄像头阵列内的摄像头仅需通过在不同位置上同时拍摄照片便可实现有效而精确的校准，而且这些摄像头无需具有重叠视场。
上述各种模块、单元和部件可实施为：专用集成电路(ASIC)；电子电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器(共享、专用或成组)；或者提供上述功能的其他合适硬件部件。所述处理器可以为Intel公司的微处理器，或者为IBM公司的大型计算机。
需要注意的是，上述功能当中的一项或多项可由软件或固件实施，该软件或固件存储于存储器内并由处理器执行，或者存储于程序存储器内并由处理器执行。此外，该软件或固件可存储和/或传输于任何计算机可读介质之内，以供指令执行系统、装置或设备使用或与其结合使用，该指令执行系统、装置或设备例如为基于计算机的系统、含处理器的系统或者其他可从所述指令执行系统、装置或设备中获取指令并对其加以执行的系统。在本文语境中，“计算机可读介质”可以为任何可含有或存储供所述指令执行系统、装置或设备使用或用于与其结合使用的介质。该计算机可读介质可包括，但不限于，电子、磁性、光学、电磁、红外或半导体系统、装置或设备，便携式计算机磁盘(磁性)，随机存取存储器(RAM)(磁性)，只读存储器(ROM)(磁性)，可擦除可编程只读存储器(EPROM)(磁性)，CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW等便携式光盘，或袖珍闪存卡、安全数字卡、USB存储装置、记忆棒等闪存。
上述各种本发明实施方式仅为优选实施方式，并不旨在限制本发明的范围，而且本发明范围涵盖不脱离本发明精神和原则的任何修饰、等同及改进方案。

Claims (26)

1.一种图像获取装置，其特征在于，所述图像获取装置用于拍摄图像以生成全景图，所述图像获取装置包括：
摄像头阵列，所述摄像头阵列包括多个摄像头，所述多个摄像头用于拍摄多个图像以生成全景图，其中，所述多个摄像头之间的相对位置基本恒定；以及
摄像头校准单元，所述摄像头校准单元用于校准所述多个摄像头，
其中，当所述摄像头阵列从第一位置移动至第二位置时，所述多个摄像头用于在所述第一位置和所述第二位置处拍摄图像，所述摄像头校准单元根据由第一摄像头和第二摄像头在所述第一位置和所述第二位置处所拍摄的图像，确定所述第一摄像头和所述第二摄像头之间的齐次变换矩阵。
2.如权利要求1所述的图像获取装置，其特征在于，所述摄像头校准单元用于识别由所述第一摄像头在所述第一位置和第二位置处所拍摄的图像中的特征，并根据所述特征估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
3.如权利要求1所述的图像获取装置，其特征在于，所述摄像头校准单元通过最小化已定义距离来确定所述第一摄像头和参考点之间的旋转。
4.如权利要求3所述的图像获取装置，其特征在于，所述摄像头校准单元通过将再投影误差最小化来确定所述第一摄像头和所述参考点之间的变换。
5.如权利要求1所述的图像获取装置，其特征在于，所述摄像头阵列从所述第一位置随机移动至所述第二位置。
6.如权利要求1所述的图像获取装置，其特征在于，在所述第一位置处的所述摄像头阵列的轴线与在所述第二位置处的所述摄像头阵列的轴线不平行。
7.如权利要求1所述的图像获取装置，其特征在于，还包括用于测量所述摄像头阵列的运动的传感器。
8.如权利要求7所述的图像获取装置，其特征在于，所述传感器位于所述摄像头阵列上的参考点处，并用于测量该摄像头阵列上的参考点从所述第一位置至所述第二位置的旋转和变换。
9.如权利要求1所述的图像获取装置，其特征在于，所述摄像头校准单元用于接收所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的所述旋转和变换。
10.如权利要求1所述的图像获取装置，其特征在于，所述第一摄像头和所述第二摄像头具有不重叠的视场。
11.如权利要求1所述的图像获取装置，其特征在于，所述多个摄像头基本位于一个平面上。
12.如权利要求11所述的图像获取装置，其特征在于，所述多个摄像头位于正八边形的各边上。
13.如权利要求11所述的图像获取装置，其特征在于，所述八边形的每一边均包括具有平行光轴的两个摄像头，且所述图像获取装置用于生成立体全景图。
14.一种摄像头阵列校准方法，其特征在于，所述摄像头阵列包括多个摄像头，所述多个摄像头用于拍摄多个图像以生成全景图，其中，所述多个摄像头之间的相对位置基本恒定，所述方法包括：
将所述摄像头阵列从第一位置移动到第二位置；
测量所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的齐次变换矩阵；
由所述摄像头阵列的第一摄像头和第二摄像头分别在所述第一位置和所述第二位置处拍摄图像；以及
根据由所述第一摄像头和所述第二摄像头在所述第一位置和所述第二位置处所拍摄的图像，确定所述第一摄像头和所述第二摄像头之间的齐次变换矩阵。
15.如权利要求14所述的方法，其特征在于，还包括：
识别由所述第一摄像头在所述第一位置和所述第二位置处所拍摄的图像中的特征；以及
根据所述特征，估算所述第一摄像头从所述第一位置至所述第二位置的旋转。
16.如权利要求14所述的方法，其特征在于，还包括：
通过最小化已定义距离来确定所述第一摄像头和所述参考点之间的旋转。
17.如权利要求16所述的方法，其特征在于，还包括：
通过将再投影误差最小化来确定所述第一摄像头和所述参考点之间的变换。
18.如权利要求17所述的方法，其特征在于，还包括：
将所述摄像头阵列从所述第一位置随机移动至所述第二位置。
19.如权利要求14所述的方法，其特征在于，在所述第一位置处的所述摄像头阵列的轴线与在所述第二位置处的所述摄像头阵列的轴线不平行。
20.如权利要求14所述的方法，其特征在于，还包括：
由传感器测量所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的齐次变换矩阵。
21.如权利要求20所述的方法，其特征在于，所述传感器位于所述摄像头阵列上的参考点处，并用于测量该摄像头阵列上的参考点从所述第一位置至所述第二位置的旋转和变换。
22.如权利要求14所述的方法，其特征在于，还包括：
接收所述摄像头阵列上的参考点在所述第一位置和所述第二位置之间的所述旋转和变换。
23.如权利要求14所述的方法，其特征在于，所述第一摄像头和所述第二摄像头具有不重叠的视场。
24.如权利要求14所述的方法，其特征在于，所述多个摄像头基本位于一个平面上。
25.如权利要求24所述的方法，其特征在于，所述多个摄像头位于正八边形的各边上。
26.如权利要求24所述的方法，其特征在于，所述八边形的每一边均包括具有平行光轴的两个摄像头，且所述方法还包括：
利用由所述摄像头阵列所拍摄的图像生成立体全景图。
CN201680078559.3A 2016-01-12 2016-01-12 全景立体视频系统的校准方法和装置 Active CN109076200B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/070712 WO2017120776A1 (en) 2016-01-12 2016-01-12 Calibration method and apparatus for panoramic stereo video system

Publications (2)

Publication Number Publication Date
CN109076200A true CN109076200A (zh) 2018-12-21
CN109076200B CN109076200B (zh) 2021-04-23

Family

ID=59310625

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201680078559.3A Active CN109076200B (zh) 2016-01-12 2016-01-12 全景立体视频系统的校准方法和装置
CN201680078524.XA Active CN108886611B (zh) 2016-01-12 2016-01-13 全景立体视频系统的拼接方法和装置
CN201680078558.9A Active CN108886598B (zh) 2016-01-12 2016-01-18 全景立体视频系统的压缩方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201680078524.XA Active CN108886611B (zh) 2016-01-12 2016-01-13 全景立体视频系统的拼接方法和装置
CN201680078558.9A Active CN108886598B (zh) 2016-01-12 2016-01-18 全景立体视频系统的压缩方法和装置

Country Status (4)

Country Link
US (3) US10636121B2 (zh)
EP (3) EP3403403B1 (zh)
CN (3) CN109076200B (zh)
WO (3) WO2017120776A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965698A (zh) * 2021-11-12 2022-01-21 白银银珠电力(集团)有限责任公司 一种用于消防物联网的监控图像校准处理方法、装置和系统
CN115209181A (zh) * 2022-06-09 2022-10-18 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694102B2 (en) * 2016-07-22 2020-06-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
WO2018136951A1 (en) * 2017-01-23 2018-07-26 Virtual Diamond Boutique Inc. System, method and computer-accessible medium for displaying a three-dimensional digital version of an object
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
AU2018225269B2 (en) * 2017-02-27 2022-03-03 Thomson Licensing Method, system and apparatus for visual effects
CN108886616A (zh) * 2017-12-27 2018-11-23 深圳市大疆创新科技有限公司 视频编码的方法、装置和计算机系统
KR20200122323A (ko) * 2018-02-17 2020-10-27 드림뷰, 인크. 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법
WO2019225681A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 校正装置および校正方法
US10878276B2 (en) * 2018-06-05 2020-12-29 Hrl Laboratories, Llc Method and system for detecting change of context in video streams
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
CN109887036A (zh) * 2019-01-21 2019-06-14 广州市安晓科技有限责任公司 一种汽车环视全景的半自动标定系统及方法
CN110749994A (zh) * 2019-10-25 2020-02-04 江苏荣策士科技发展有限公司 一种穿透式hmd眼镜
CN111193920B (zh) * 2019-12-31 2020-12-18 重庆特斯联智慧科技股份有限公司 一种基于深度学习网络的视频画面立体拼接方法和系统
CN111464805B (zh) * 2020-03-13 2021-08-10 宁波大学 一种基于全景显著性的立体全景视频快速编码方法
CN111935474A (zh) * 2020-08-17 2020-11-13 广东申义实业投资有限公司 一种参展式发光转盘及其图像摄取方法
US11677979B2 (en) 2020-08-24 2023-06-13 Tencent America LLC Freeview video coding
US11758101B2 (en) * 2020-08-25 2023-09-12 Samsung Electronics Co., Ltd. Restoration of the FOV of images for stereoscopic rendering
US11900561B2 (en) 2020-11-25 2024-02-13 Electronics And Telecommunications Research Institute Deep learning-based image stitching method and apparatus
CN112637601B (zh) * 2020-12-14 2023-01-03 天津光电通信技术有限公司 基于鱼眼全景视频的编码方法及装置
CN112884844B (zh) * 2021-01-13 2023-02-03 深圳市豪恩汽车电子装备股份有限公司 全景影像系统的标定方法、装置及计算机可读存储介质
CN113573058B (zh) * 2021-09-23 2021-11-30 康达洲际医疗器械有限公司 一种基于时空显著性融合的帧间图像编码方法
KR20230115819A (ko) * 2022-01-27 2023-08-03 삼성전자주식회사 파노라마 이미지를 생성하기 위한 전자 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139674A1 (en) * 2012-11-21 2014-05-22 Fujitsu Limited Image processing apparatus and image processing method
WO2015179574A1 (en) * 2014-05-20 2015-11-26 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US20150363971A1 (en) * 2013-05-23 2015-12-17 Google Inc. Systems and Methods for Generating Three-Dimensional Models Using Sensed Position Data

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7102666B2 (en) 2001-02-12 2006-09-05 Carnegie Mellon University System and method for stabilizing rotational images
US20040001138A1 (en) 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
US7119816B2 (en) 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
EP1679659A1 (en) 2005-01-06 2006-07-12 Thomson Licensing Method and device for selecting quantization parameters in a picture using side information
US8014034B2 (en) 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
KR100739730B1 (ko) 2005-09-03 2007-07-13 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
US7697839B2 (en) * 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
AU2010206977B2 (en) 2009-01-26 2016-02-25 Interdigital Vc Holdings, Inc. Frame packing for video coding
US20110255589A1 (en) 2009-08-03 2011-10-20 Droplet Technology, Inc. Methods of compressing data and methods of assessing the same
EP2481209A1 (en) 2009-09-22 2012-08-01 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US10095953B2 (en) * 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US20110235706A1 (en) 2010-03-25 2011-09-29 Texas Instruments Incorporated Region of interest (roi) video encoding
US20120154518A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation System for capturing panoramic stereoscopic video
CN102592124B (zh) * 2011-01-13 2013-11-27 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
CN102055982B (zh) 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
US20120236934A1 (en) 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US8581961B2 (en) 2011-03-31 2013-11-12 Vangogh Imaging, Inc. Stereoscopic panoramic video capture system using surface identification and distance registration technique
WO2012136388A1 (en) 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
CN102243432A (zh) 2011-06-28 2011-11-16 浙江工业大学 全景立体摄像装置
US9202278B2 (en) 2011-08-19 2015-12-01 Adobe Systems Incorporated Plane-based self-calibration for structure from motion
KR101638173B1 (ko) * 2011-09-06 2016-07-12 한국전자통신연구원 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
US8928729B2 (en) 2011-09-09 2015-01-06 Disney Enterprises, Inc. Systems and methods for converting video
US9041709B2 (en) * 2011-11-01 2015-05-26 Koninklijke Philips N.V. Saliency based disparity mapping
CN104247432B (zh) 2011-11-11 2019-06-11 Ge视频压缩有限责任公司 使用深度图估计和更新的高效多视点编码
US20130176390A1 (en) 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth
US9392274B2 (en) 2012-03-22 2016-07-12 Qualcomm Incorporated Inter layer texture prediction for video coding
US9338439B2 (en) 2012-04-02 2016-05-10 Intel Corporation Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
US8934677B2 (en) * 2012-04-06 2015-01-13 Adobe Systems Incorporated Initialization for robust video-based structure from motion
CN103516995A (zh) 2012-06-19 2014-01-15 中南大学 一种基于orb特征的实时全景视频拼接方法和装置
US9836871B2 (en) * 2012-08-02 2017-12-05 Here Global B.V. Three-dimentional plane panorama creation through hough-based line detection
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US20140098185A1 (en) 2012-10-09 2014-04-10 Shahram Davari Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources
CN103020985B (zh) 2012-11-12 2015-12-09 华中科技大学 一种基于场量分析的视频图像显著性检测方法
TWI602152B (zh) 2013-02-06 2017-10-11 聚晶半導體股份有限公司 影像擷取裝置及其影像處理方法
CN103108187B (zh) 2013-02-25 2016-09-28 清华大学 一种三维视频的编码方法、解码方法、编码器和解码器
CN103179405B (zh) 2013-03-26 2016-02-24 天津大学 一种基于多级感兴趣区域的多视点视频编码方法
US20140300691A1 (en) 2013-04-04 2014-10-09 Panasonic Corporation Imaging system
US9398215B2 (en) 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
CN104424642B (zh) 2013-09-09 2017-09-12 华为软件技术有限公司 一种视频显著性区域检测方法及系统
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
WO2015085406A1 (en) 2013-12-13 2015-06-18 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
KR101537174B1 (ko) * 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법
US9552061B2 (en) * 2014-03-26 2017-01-24 Microsoft Technology Licensing, Llc Eye gaze tracking using binocular fixation constraints
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
CN106464880B (zh) * 2014-06-26 2019-05-10 华为技术有限公司 用于减少高效率视频编码中的计算负荷的方法和设备
US9973694B1 (en) * 2014-08-21 2018-05-15 Jaunt Inc. Image stitching to form a three dimensional panoramic image
US9870617B2 (en) * 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
CN104580933A (zh) 2015-02-09 2015-04-29 上海安威士科技股份有限公司 基于特征点的多尺度实时监控视频拼接装置及拼接方法
CN105049850B (zh) 2015-03-24 2018-03-06 上海大学 基于感兴趣区域的hevc码率控制方法
CN104822058B (zh) 2015-04-14 2016-08-17 宁波大学 一种立体图像显著图提取方法
US9877016B2 (en) * 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
CN108370454B (zh) * 2015-12-03 2020-11-03 深圳市大疆创新科技有限公司 用于视频处理的系统和方法
WO2017098090A1 (en) * 2015-12-12 2017-06-15 Aalto University Foundation Calibration technique for capturing panoramic images
KR20180101165A (ko) * 2016-01-03 2018-09-12 휴먼아이즈 테크놀로지즈 리미티드 파노라마 프레임으로의 프레임 스티칭
US20190141311A1 (en) * 2016-04-26 2019-05-09 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, apparatus for receiving 360-degree video
US10447993B2 (en) 2016-09-27 2019-10-15 Laduma, Inc. Stereoscopic 360 degree digital camera systems
CN109587203A (zh) * 2017-09-29 2019-04-05 索尼公司 信息处理设备和方法、电子装置以及计算机可读介质
US10902556B2 (en) * 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140139674A1 (en) * 2012-11-21 2014-05-22 Fujitsu Limited Image processing apparatus and image processing method
US20150363971A1 (en) * 2013-05-23 2015-12-17 Google Inc. Systems and Methods for Generating Three-Dimensional Models Using Sensed Position Data
WO2015179574A1 (en) * 2014-05-20 2015-11-26 Nextvr Inc. Methods and apparatus including or for use with one or more cameras

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BO LI等: "A Multiple-Camera System Calibration Toolbox Using A Feature Descriptor-Based Calibration Pattern", 《2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965698A (zh) * 2021-11-12 2022-01-21 白银银珠电力(集团)有限责任公司 一种用于消防物联网的监控图像校准处理方法、装置和系统
CN113965698B (zh) * 2021-11-12 2024-03-08 白银银珠电力(集团)有限责任公司 一种用于消防物联网的监控图像校准处理方法、装置和系统
CN115209181A (zh) * 2022-06-09 2022-10-18 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质
CN115209181B (zh) * 2022-06-09 2024-03-22 咪咕视讯科技有限公司 一种基于环绕视角的视频合成方法、控制器及存储介质

Also Published As

Publication number Publication date
EP3403403A1 (en) 2018-11-21
WO2017120981A1 (en) 2017-07-20
EP3403400A4 (en) 2019-10-09
EP3403401B1 (en) 2021-10-13
EP3403401A4 (en) 2019-06-12
WO2017120802A1 (en) 2017-07-20
EP3403403B1 (en) 2023-06-07
EP3403400A1 (en) 2018-11-21
US20190028693A1 (en) 2019-01-24
CN109076200B (zh) 2021-04-23
EP3403401A1 (en) 2018-11-21
US10636121B2 (en) 2020-04-28
US10643305B2 (en) 2020-05-05
US20190028707A1 (en) 2019-01-24
US10489886B2 (en) 2019-11-26
CN108886611A (zh) 2018-11-23
CN108886611B (zh) 2021-07-09
EP3403403A4 (en) 2019-08-21
CN108886598B (zh) 2020-08-25
WO2017120776A1 (en) 2017-07-20
EP3403400B1 (en) 2022-04-20
US20190035055A1 (en) 2019-01-31
CN108886598A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN109076200A (zh) 全景立体视频系统的校准方法和装置
US10848743B2 (en) 3D Camera calibration for adjustable camera settings
US8897502B2 (en) Calibration for stereoscopic capture system
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
JPWO2011096251A1 (ja) ステレオカメラ
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
US20180146136A1 (en) Full-spherical video imaging system and computer-readable recording medium
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
Krutikova et al. Creation of a depth map from stereo images of faces for 3D model reconstruction
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
BR112021008558A2 (pt) aparelho, método de estimativa de disparidade, e produto de programa de computador
JP2015019346A (ja) 視差画像生成装置
Swaminathan et al. Polycameras: Camera clusters for wide angle imaging
Perek et al. Efficient uncalibrated rectification method for stereo vision systems
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
TWI626603B (zh) 圖像獲取方法及圖像獲取裝置
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법
KR101569787B1 (ko) 멀티 카메라에 의한 3d 동영상 정보 획득방법
Swaminathan et al. Polycameas: Camera Clusters for Wide Angle Imaging CUCS-013-99
JP7312594B2 (ja) キャリブレーション用チャートおよびキャリブレーション用器具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant