CN108305293A - 使用至少一个光场相机来创建一对立体图像的方法和装置 - Google Patents

使用至少一个光场相机来创建一对立体图像的方法和装置 Download PDF

Info

Publication number
CN108305293A
CN108305293A CN201710491073.9A CN201710491073A CN108305293A CN 108305293 A CN108305293 A CN 108305293A CN 201710491073 A CN201710491073 A CN 201710491073A CN 108305293 A CN108305293 A CN 108305293A
Authority
CN
China
Prior art keywords
sub
light
loop graph
graph picture
light loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710491073.9A
Other languages
English (en)
Inventor
尤尔根·施陶德尔
贝诺特·范达姆
塞德里克·泰博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108305293A publication Critical patent/CN108305293A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

用于使用至少一个光场相机(1)来创建一对立体图像的方法，包括：接收用于左视图(41)和右视图(42)的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取(S3)由所述光场相机(1)基于所捕获的图像生成的各个子光圈图像(411、421；400)的各个实际相机参数；通过比较用于左视图(41)的所需相机参数与各个子光圈图像的实际相机参数来确定(S5)左视图的最佳匹配子光圈图像(L4)；通过比较用于右视图(42)的所需相机参数与各个子光圈图像的实际相机参数来确定(S5)右视图的最佳匹配子光圈图像(R4)；以及将左视图的最佳匹配子光圈图像(L4)与右视图的最佳匹配子光圈图像(R4)关联(S6)为一对立体图像。

Description

使用至少一个光场相机来创建一对立体图像的方法和装置
技术领域
本公开总体上涉及成像领域，且更具体地涉及使用全光(plenoptic)相机的光场成像技术。
背景技术
本节意在向读者介绍可能与下文所述的和/或所要求保护的本公开各个方面相关的各技术方面。相信该讨论有助于向读者提供背景信息以便帮助更好地理解本公开的各个方面。因此，应当理解：这些陈述应按这种方式解读，而不是作为对现有技术的承认。
在立体(或多视图)成像的框架中，需要在支持3D的屏幕上创建、处理和再现立体(或多视图)视频内容。对立体视频内容的处理允许对3D信息的创建或增强(例如，视差估计)。其还允许使用3D信息来增强2D图像(例如，视图插值)。
一般地，立体视频内容是根据捕获的两个(或更多个)2D视频来创建的。2D视频是具有帧的时间序列的经典意义下的视频，每个帧是由像素行构成的经典2D图像。每个像素具有由颜色空间中的颜色坐标来定义的颜色。一般地，立体成像是多视图成像，其中，捕获来自场景的多于两个2D视频。立体成像还可以是以合成方式根据3D模型和计算机图形来生成的。这样，可以创建动画，得到立体图像和具有多视图的其他相关图像。
图1示出了用于创建多视图的传统过程。示出了若干传统2D相机22，其被固定到用于创建原始图像视图33的云台(rig)输出。在一个实施例中，相机校准模块44执行相机校准。该校准基于所捕获的图像视图33提供了对外部和内部相机参数的估计。随后，视图生成器模块55生成经校准的视图66。
每个相机是由外部和内部参数来定义的。外部参数以世界坐标系来表达，并定义了相机的位置和定向(orientation)。外部参数包括3D旋转矩阵R和3D平移向量t。内部相机参数包括焦距f和主点在像平面中的坐标px、py。
例如，对于针孔相机，根据以下公式将齐次场景世界坐标下的点X＝(X Y Z 1)T投影到像位置x＝(x y)T：
x＝PX
且P是根据以下公式的相机矩阵：
P＝K[R|Rt]
且R是3x3旋转矩阵，t是3D平移向量以及
且K是根据以下公式定义的相机校准矩阵：
具有2个参数
或者
具有3个参数，
或者
具有4个参数。
可以例如使用用于校准的对象来执行相机校准，该用于校准的对象具有在齐次场景世界坐标下的位置(fX，i fY，i fZ，i 1)T处的已知特征点，且其投影到像平面中具有齐次坐标(fx，i fy，i 1)T的位置处。相机参数可以根据由Richard Hartley和Andrew Zissermann在他们的于2004年3月24日在剑桥出版社出版的题为“Multiple view geometry incomputer vision”的书中描述的方法来估计。
多视图成像中的已知处理的下一步是视图修正。修正是用于将立体云台上的相机所拍摄的视图(两个或更多个视图)变换为校正过几何形状的视图的必要步骤。通过执行对视图的修正，校正视图的几何形状使得每个视图好像是由具有相同像平面的相机来拍摄的。然而存在对修正的一些限制。例如，在不旋转视图的情况下不能容易地校正垂直视差，这在大多数情况下是不能被接受的。在例如相机的光学中心并未水平对准(即，具有不同的垂直位置)的情况下，出现垂直视差。
由例如Simon Reeve等人在他的作为2010年来自BskyB的白皮书的报告“BasePrinciples of stereoscopic 3D”中解释了与垂直视差有关的该问题。垂直视差是由在垂直方向上不具有相同位置或查看方向的相机引起的。即使立体相机的云台经过机械校准，也经常保留残余的垂直错位(misalignment)。垂直错位在查看立体内容时产生了问题。
发明内容
根据本原理，一种用于使用至少一个光场相机来创建一对立体图像的方法，所述方法包括：获取用于左视图和右视图的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取基于由所述光场相机捕获的图像生成的各个子光圈图像的各个实际相机参数；通过比较用于所述左视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述左视图的最佳匹配子光圈图像，并通过比较用于所述右视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述右视图的最佳匹配子光圈图像；以及将所述左视图的最佳匹配子光圈图像与所述右视图的最佳匹配子光圈图像关联为立体对图像。
本原理还涉及用于创建立体对图像的设备，所述设备执行：获取用于左视图和右视图的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；获取基于由光场相机捕获的图像生成的各个子光圈图像的各个实际相机参数；通过比较用于所述左视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述左视图的最佳匹配子光圈图像，并通过比较用于所述右视图的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述右视图的最佳匹配子光圈图像；以及将所述左视图的最佳匹配子光圈图像与所述右视图的最佳匹配子光圈图像关联为立体对图像。
附图说明
图1示出了现有技术中多视图成像的处理；
图2示出了根据本公开实施例的光场相机的配置；
图3A示出了根据本公开实施例的在所捕获的光场图像和子光圈图像序列之间的转换；
图3B示出了根据本公开实施例的在所捕获的光场图像和子光圈图像序列之间的转换；
图4示出了根据本公开实施例的设备的高层功能框图；
图5示出了根据本公开实施例的设备的硬件配置的框图；
图6示出了根据本公开实施例的包括旋转矩阵R参数和平移向量t参数在内的所需相机参数的示例；
图7示出了根据本公开实施例的基于所需相机参数和实际相机参数之间的比较对子光圈图像的关联；
图8示出了根据本公开实施例的用于执行计算实际相机参数和关联子光圈图像的步骤的流程图图示；
图9示出了根据本公开实施例的用于对左视图的剩余子光圈图像与右视图的剩余子光圈图像进行关联的流程图图示；
图10示出了根据本公开实施例的在使用2个光场相机的情况下左视图的剩余子光圈图像与右视图的剩余子光圈图像的关联；
图11示出了根据本公开实施例的在使用单个光场相机来创建立体对时关联子光圈图像的示例实施例；
图12示出了根据本公开实施例的在使用单个光场相机时将子光圈图像分类为不同类别的示例实施例；以及
图13示出了根据本公开实施例的使用单个光场相机对子光圈图像进行分类的流程图图示。
具体实施方式
在本公开的一个实施例中，提供了一种用于创建一对立体图像以克服与现有技术相关联的一些校准问题的方法，特别是当由一个或多个全光相机(在下文中也可被互换地称为光场相机)来创建多视图时。光场相机传统上输出针对特定查看方向的具有不同子光圈图像的序列。在校准步骤中，估计与子光圈图像有关的各个相机参数(下文中，该参数被称为“实际相机参数”)。此后，将实际相机参数与呈现出针对立体图像对的理想值的理论所需相机参数(下文中，该参数被称为“所需相机参数”)进行比较。
定义了针对立体图像对的理想或理论值的这些所需相机参数还包括内部和/或外部相机参数。所需相机参数可以是标准化组织内通过桌边的理论讨论来准备的，或者可以是用于(例如，在相机的生产线上)参考立体相机的平均化参数。所需相机参数描述了为了创建一对立体图像而预期什么类型的相机。例如，在立体成像系统中，所需相机参数可以包括相机之间的特定距离、平行查看、特定焦距和在图像中心的主点。
所需相机参数的值可以依据对立体对图像的要求(例如视差和某些其他不同要求)而变更。所需相机参数的值还可以依据光场相机1的设置或配置而变更。随着对立体对图像的要求改变，所需相机参数可以改变或更新。所需相机参数可以例如提前从外部源获取并存储在设备的存储器中，以供与实际相机参数比较。
在一个实施例中，提供了如将要讨论的方法，其根据来自至少一个或多个光场相机的子光圈图像来创建立体对图像。每个光场相机输出子光圈图像序列。各个子光圈图像具有单独的查看方向且通过子相机参数(实际相机参数)来描述。
除了本公开之外，附图中所示的要素是众所周知的且将不被详细描述。例如，除了本公开之外，基于处理器的设备是众所周知的且本文中将不被详细描述。基于处理器的设备的一些示例是移动电话、平板电脑(table)、数字静态相机、膝上型计算机、台式计算机、数字电视等。还应当注意到：本创造性概念可以使用传统的编程技术来实现，例如API(应用编程接口)，其因此在本文中将不被描述。最终，附图上相似的数字表示相似的要素。
图2示出了根据本公开实施例的光场相机的配置。光场相机1包括与图像传感器阵列13相关联的镜头布置。图像传感器阵列13包括以Nx列和Ny行的网格形式布置的较大数量(m)的像素131、132、133至13m，m与Nx×Ny相对应。镜头布置包括主要镜头10(也被称为主镜头)和小镜头(lenslet)阵列11，小镜头阵列11包括多个(n)微镜头111、112、11n，n是大于等于2的正整数。微镜头111、112、11n以下述方式布置：每个微镜头在光学上与多个像素相关联。与一个微镜头光学关联的p×p个像素的该数目对应于使用光场相机获取的场景的视图的数目。在图2中，每个微镜头111、112、11n由(i，j)引用，主镜头10上的坐标由(u，v)引用。传感器阵列13记录由2D图像内布置的2D小图像的聚集构成的图像。
图3A和3B示出了根据本公开实施例的在所捕获的光场图像和子光圈图像序列之间的转换。将所捕获的光场图像坐标L(x，y，i，j)转换为子光圈图像序列S(α，β，u，v)，其中，(u，v)标识子光圈图像坐标，且(α，β)是坐标(u，v)的子光圈图像内的像素坐标。子光圈图像的数目等于p×p。覆盖传感器阵列13的微镜头111、112、11n的数目由(I，J)引用。定义I＝Nx/p且J＝Ny/p。子光圈图像的轴由(α，β)来标记，使得(α，β)∈[0，I/p[×[0，J/p[。子光圈图像由满足以下定义的(u，v)坐标来标识：(u，v)∈[0，p[2。为了获得不同的子光圈图像，将原始图像(即，使用图像传感器阵列13获取的颜色传感器数据)去马赛克化，然后解复用。在去马赛克化步骤之后，针对每个视图在每个像素位置处获得RGB图像数据值。子光圈图像收集具有相同(u，v)坐标的所有4D光场像素，其与主镜头10上的坐标u和v相关，即具有相同的查看方向。
解复用过程包括重新组织原始图像的像素，使得将捕获具有某个入射角的光线的所有像素存储在同一图像中，从而创建子光圈图像。
图4示出了根据本公开实施例的设备的高层功能框图。仅示出了与本创造性概念相关的那些部分。因此，设备5可以执行其他功能。
系统包括至少一个光场相机1和设备5。本领域技术人员将理解：在设备5内图示的功能可以在光场相机1中实现或与光场相机1分开地实现。尽管在图4中描述了用于左视图的光场相机1L和用于右视图的光场相机1R，本公开的实现可以通过使用单个光场相机来实现。在使用用于左视图的光场相机1L和用于右视图的光场相机1R的情况下，这些光场相机1L和1R需要被固定到云台上，以捕获相关图像。为了估计每个子光圈图像的实际相机参数，光场相机1捕获对象2，对象2可以是具有已知大小或几何形状的对象，例如国际象棋棋盘图案。不言自明的是，可以使用具有已知大小或几何形状的特征的用于校准的其他对象。在子光圈图像S(α，β，u，v)的像素坐标(α，β)中检测到对象(例如，国际象棋棋盘图案)2的黑格和白格的角。
基于对象2的特征点的齐次场景世界坐标和子光圈图像S(α，β，u，v)中的对应像素坐标，参数估计单元32有可能使用最小二乘估计来计算旋转矩阵R和平移向量t。在BarbaraFrank、Cyrill Stachniss、Giorgio Grisetti、Kai Arras、Wolfram Burgard的文档“Robotics 2Camera Calibration”中解释了使用众所周知的国际象棋棋盘图案来估计旋转矩阵R和平移向量t。根据本公开，“实际相机参数”意味着基于由光场相机1“实际捕获”的对象2的图像和对象2的特征点的上述对应齐次场景世界坐标来计算的子光圈图像的相机参数(旋转矩阵R和平移向量t)。
在光场相机1捕获对象2的图像之后，向子光圈图像生成单元31发送该捕获到的图像，然后由子光圈图像生成单元31对原始图像进行去马赛克化和解复用。在存在具有i×j个微镜头111、112、11n的阵列和与一个微镜头光学关联的数目p×p个像素的情况下，根据每个光场相机1来创建p×p个子光圈图像。
参数估计单元32用于计算由子光圈图像生成单元31来解复用的各个子光圈图像的R矩阵和t平移向量。如上所述，参数估计单元32基于对象2的已知特征点的已知场景世界坐标与已知特征点在子光圈图像S(α，β，u，v)中的像素坐标之间的对应关系来计算各个子光圈图像的旋转矩阵R和平移向量t。例如，如果校准矩阵K是已知的，可以使用例如在Barbara Frank等人的“Robotics 2Camera Calibration”中描述的方法针对每个子光圈图像来确定旋转矩阵R和平移向量t。在另一示例中，在光场相机由覆盖3x3个像素(p＝3)的微镜头构成的情况下，提取总共9个子光圈图像。
对于3x3总共9个子光圈图像(u，v)∈[0，p[2，参数估计单元32针对每个子光圈图像来估计Ruvtuv和Kuv(对于每个子光圈图像，R、t和K分别代表旋转矩阵、平移向量和校准矩阵)的总共8至10个参数(例如，3个参数用于t，3个参数用于R，且2或3或4个参数用于K)。在使用各自具有每微镜头3x3个像素的左1L和右1R光场相机对(从而3x3个子光圈图像(u，v)∈[0，p[2)的情况下，参数估计单元32估计总共18个相机参数集合。ActRL，uv，tL，uv，KL，uv的9个集合(由用于左视图的光场相机1L捕获的各个子光圈图像的各个相机参数)和ActRR， uvtR，uv，KR，uv的9个集合(由用于右视图的光场相机1R捕获的各个子光圈图像的各个相机参数)。参数估计单元32根据如前所述的已知方法来估计实际相机参数。将理解的是：可以使用若干不同方案来估计实际相机参数的集合。
参数分析单元33负责通过比较各个实际相机参数与所需相机参数来找到最佳匹配子光圈图像。参数分析单元33将计算出的各个实际相机参数(例如，旋转矩阵R和平移向量t)与包括矩阵R和t在内的所需相机参数进行比较，以找到最佳匹配。在1个光场相机的情况下，参数分析单元33从ActRuvtuv中搜索。对于左和右光场相机对1L和1R，参数分析单元33将Req_RLtL(左视图的所需相机参数)与由用于左视图的光场相机1L所捕获的子光圈图像的ActRL，uvtL，uv(其中，(u，v)∈[0，p[2)进行比较，并将Req_RR，tR(右视图的所需相机参数)与由用于右视图的光场相机1R所捕获的子光圈图像的ActRR，uvtR，uv(其中，(u，v)∈[0，p[2)进行比较。在不存在精确匹配的子光圈图像的情况下，参数分析单元33可以确定具有最接近所需相机参数的实际相机参数的子光圈图像是最佳匹配子光圈图像。对于所有子光圈图像，参数分析单元33可以确定子光圈图像的实际相机参数和所需相机参数之差是否在阈值内。如果不存在实际相机参数与所需相机参数之差在阈值内的子光圈图像，则参数分析单元33可以返回结果为“未找到匹配子光圈图像”。可以存在以下情况：参数分析单元33可能找到实际相机参数与所需相机参数之差小于阈值的若干子光圈图像。参数分析单元33可以确定具有最接近所需相机参数的实际相机参数的子光圈图像是最佳匹配子光圈图像。可以使用其他匹配方法，例如将预定义的3D位置投影到2D位置上，然后评估2D位置上的差。其他匹配方法可以是将预定义的2D位置重新投影到3D位置上，并评估3D位置上的差。
视图关联单元34用于基于参数分析单元33提供的比较结果来关联各个子光圈图像。在图5至7和以下描述中给出对关联步骤的详细描述。
图5是示出了根据本公开实施例的设备的硬件配置的框图。尽管在图5中示出了设备5包括光场相机1，但光场相机1可被配置为与设备5分离。设备5可以是任何设备，诸如例如智能电话、智能手表、平板电脑、计算机、移动电话、便携式/个人数字助理(“PDA”)、以及便于终端用户之间的信息通信的其它设备，也可以是光场相机1。
设备5包括通过地址和数据总线54(其还传输时钟信号)彼此相连的以下要素：处理器51(或CPU)、ROM(只读存储器)类型的非易失性存储器52、随机存取存储器或RAM 53、无线电接口56、适于数据传输的接口55、光场相机1、适于为用户显示信息和/或输入数据或参数的MMI(人机界面)58。
应注意：在对存储器52和53的描述中使用的单词“寄存器”或“存储”在每个提到的存储器中表示低容量的存储区域和大容量的存储区域(使得整个程序能够被存储或表示所接收和解码的数据的全部或部分数据)。
ROM 52具体地包括程序“prog”。实现特定于本公开的且下文描述的方法的步骤的算法被存储在与实现这些步骤的设备5相关联的ROM 52存储器中。当加电时，处理器51加载并运行这些算法的指令。
值得一提地，RAM 53在寄存器中包括处理器51的负责设备5上的开关的操作程序、接收参数(例如，用于调制、编码、MIMO、帧的重现的参数)、发送参数(例如，用于调制、编码、MIMO、帧的重现的参数)、与无线电接口56所接收和解码的数据相对应的入局数据、为了在该接口处向应用58发送所形成的解码数据、主镜头10的参数和/或表示由微镜头阵列的微镜头所形成的微图像的中心的信息。
设备5中除结合图5描述的那些结构之外的其他结构与本公开兼容。具体地，根据变体，设备5可以根据纯硬件实施来实现，例如，以专用组件(例如，ASIC(专用集成电路)或FPGA(现场可编程门阵列)或VLSI(超大规模集成电路)或嵌入在设备中的若干电子组件)的形式、或以硬件元件和软件元件混合的形式。
无线电接口56和接口55适于根据一个或若干电信标准来接收和发送信号，例如IEEE 802.11(Wi-Fi)、符合IMT-2000规范的标准(也被称为3G)、符合3GPP LTE的标准(也被称为4G)、IEEE 802.15.1(也被称为蓝牙)。
根据变体，设备5不包括任何ROM，而仅包括RAM，实现特定于本公开的方法的步骤的算法被存储在RAM中。
图6示出了根据本公开实施例的包括旋转矩阵R参数和平移向量t参数在内的所需相机参数的定义了理论立体图像对的示例。根据本公开实施例，在该情况下的所需相机参数包括参数旋转矩阵R和平移向量t的集合。用于左视图和右视图的所需相机参数的对是在存储器中准备和存储的。用于左视图的所需相机参数41被指示为Req_RLtL，而用于右视图的所需相机参数被指示为Req_RRtR。
[第一实施例]
本发明的第一方面的优选实施例涉及将两个光场相机(1L和1R)用于创建立体对的情况。
图7示出了根据本公开实施例的基于所需相机参数和实际相机参数之间的比较对子光圈图像的关联。估计左视图的各个子光圈图像411的实际相机参数和右视图的各个子光圈图像421的实际相机参数。在本示例中，生成3x 3总共9个子光圈图像，使得估计各个左和右子光圈图像的实际相机参数的9个集合。在图7中，左视图的子光圈图像411的实际相机参数被指示为Act_RLtL，而右视图的子光圈图像421相机参数被指示为Act_RRtR。左视图41的所需相机参数(Req_RLtL)可以与左视图的子光圈图像411的各个实际相机参数(Act_RLtL)进行比较。右视图42的所需相机参数(Req_RRtR)可以与右视图的子光圈图像421的各个实际相机参数(Act_RRtR)进行比较。比较是例如对Req_RLtL和Act_RLtL的度量之间的距离的计算或对Req_RRtR和Act_RRtR的度量之间的距离的计算。
在本示例实施例中，参数分析单元33可以确定图7中的中心子光圈图像(u，v)＝(1，1)的实际相机参数ActRL，1，1tL，1，1L4(在左视图的子光圈图像411的所有实际相机参数中)最接近左视图41的所需相机参数(Req_RLtL)。在该情况下，参数分析单元33可以确定图7中的中心子光圈图像(u，v)＝(1，1)L4是左视图的最佳匹配子光圈图像411。
参数分析单元33还可以确定在图7中的左端处中间的子光圈图像的实际相机参数(u，v)＝(1，0)Act_RR，1，0tR，1，0R4(在右视图的子光圈图像421的所有实际相机参数中)最接近右视图42的所需相机参数(Req_RRtR)。在该情况下，参数分析单元33可以确定图7中的左端处中间的子光圈图像(u，v)＝(1，0)R4是右视图的最佳匹配子光圈图像421。
视图关联单元34将左视图的最佳匹配子光圈图像(图7中的L4)关联到右视图的最佳匹配子光圈图像(图7中的R4)。如图7中所指示的，视图关联单元34将左视图的剩余子光圈图像与右视图的剩余子光圈图像相关联。在本公开中，“剩余子光圈图像”指的是除了最佳匹配子光圈图像之外的各个子光圈图像。在一个示例实施例中，如图7所示，视图关联单元34可以将左视图的各个子光圈图像与右视图中距离最佳匹配子光圈图像(图7中的L4或R4)相对相同位置的各个子光圈图像相关联。在本说明书的稍后部分中描述将左视图的各个剩余子光圈图像与右视图的各个剩余子光圈图像相关联的详细步骤。
如图7所示，一些子光圈图像(图7中的N4)不能与子光圈图像的其他视图相关联，这些子光圈图像可以被忽略或被记录为非匹配视图。视图关联单元34向存储器存储其关联结果。
图8示出了根据本公开实施例的用于执行计算实际相机参数和关联子光圈图像的步骤的说明性流程图。在该示例流程图中，根据使用两个光场相机1L和1R的设置来解释，然而不言自明的是这些步骤可以使用单个光场相机来执行。
在步骤S1，光场相机1L和1R捕获被放置在光场相机1L和1R前面的场景内的对象2的图像。对象2可以设置在预定位置处，以正确设置或测量对象2在场景内的世界坐标。在该步骤中或在后续步骤中，可以获取对象2的各个特征点的场景世界坐标。对象2的各个特征点的场景世界坐标可以用例如飞行时间(ToF)相机、立体三角测量、或本领域中某个其他已知的方法来获取。对象2的各个特征点的场景世界坐标还可以由用户来输入或注册，并在系统中预注册。可以向设备5发送所捕获的图像信号和所获取的对象2的各个特征点的场景世界坐标。不言自明的是：光场相机1L和1R以机械方式被设置在立体云台上，使得每个视图好像由具有几乎相同像平面的相机所拍摄的。在对准两个相机时的瑕疵由所提出的公开来处理。
在步骤S2，子光圈图像生成单元31根据在步骤S1处获取的图像生成子光圈图像。如上面所解释的，该步骤和后续步骤可以由光场相机1或设备5来执行。在光场相机1之外的设备5执行这些步骤的情况下，可以经由通信网络接口向设备5发送所捕获的图像信号。在光场相机1中执行所有步骤的情况下，可以在光场相机1中对所捕获的图像信号进行去马赛克化，然后解复用。
在步骤S3处，参数估计单元32估计各个子光圈图像的各个实际相机参数。如上所述，参数估计单元32使用前一部分中解释的已知方法来估计实际相机参数。例如，参数估计单元32基于子光圈图像Si(αi，βi，0，0)中的各个特征点的像素坐标和对应特征点的场景世界坐标(Xi，Yi，Zi)来估计子光圈图像(u，v)＝(0，0)的实际相机参数(i可以是正整数，如，i＝1...n)。假定图像中设置的各个特征点的像素坐标是α1，β1...αn，βn，对应的场景世界坐标可以表示为X1，Y1，Z1...Xn，Yn，Zn。[αi，βi，1]＝P[Xi，Yi，Zi，1]
在将对象2放在光场相机前面之后，在接收到发起信号(例如，通过按压开始按钮(附图中未示出)所接收的发起信号，例如“开始计算实际相机参数”，或发起命令)之后，可以自动执行计算实际相机参数的步骤。一旦给出用于计算实际相机参数的发起信号或命令，可以重复执行步骤S1至S3，直到在步骤S4确定成功导出实际相机参数为止。
一旦导出各个子光圈图像的实际相机参数，则过程移动到步骤S5。在步骤S5，参数分析单元33确定最佳匹配子光圈图像。在步骤S5，参数分析单元33访问存储器中存储的或用户指定的所需相机参数(左视图41的Req_RLtL和右视图42的Req_RRtR)，然后将所需相机参数(Req_RLtL或Req_RRtR与各个子光圈图像的各个实际相机参数进行比较。在使用两个光声相机1L和1R的情况下，参数分析单元33将左视图41的所需相机参数(Req_RLtL)与左视图的各个子光圈图像411的各个实际相机参数(Act_RLtL)进行比较，还将右视图42的所需相机参数(Req_RRtR)与右视图的各个子光圈图像421的各个实际相机参数(Act_RRtR)进行比较。
在步骤S6，视图关联单元34将左视图的子光圈图像与右视图的相应子光圈图像相关联。该步骤将在本说明书中稍后参照图9的部分中详细描述。
在步骤S7，视图关联单元34将向存储器注册关联结果。
图9示出了根据本公开实施例的用于对左视图的剩余子光圈图像与右视图的剩余子光圈图像进行关联的流程图图示。尽管根据使用2个光场相机1L和1R的情况来解释，这些步骤可以在使用单个光场相机的情况下使用。
在用于左视图的第(u，v)个剩余子光圈图像的步骤S11，视图关联单元34计算能够将实际相机参数Act_RLrem，uvtLrem，uv转移为左视图的上述最佳匹配子光圈图像的实际相机参数Act_RLbesttLbest的转移矩阵DLrem，uv。转移矩阵可以例如通过以下公式来计算：
在步骤S11中，视图关联单元34根据左视图的第(u，v)个剩余子光圈图像的实际相机参数Act_RLrem，uvtLrem，uv和左视图的上述最佳匹配子光圈图像的实际相机参数Act_RLbesttLbest来计算转移矩阵DLrem，uv。
在用于右视图的第(u，v)个剩余子光圈图像的步骤S12中，视图关联单元34计算能够将实际相机参数Act_RRrem，uvtRrem，uv转移为右视图的上述最佳匹配子光圈图像的实际相机参数Act_RRbesttRbest的转移矩阵DRrem，uv。转移矩阵可以例如通过以下公式来计算：
在步骤S12中，视图关联单元34根据右视图的第(u，v)个剩余右子光圈图像的实际相机参数Act_RRrem，uvtRrem，uv和右视图的上述最佳匹配子光圈图像的实际相机参数Act_RRbesttRbest来计算转移矩阵。
在步骤S13中，确定是否计算了左视图的所有剩余子光圈图像的所有DLrem和右视图的所有剩余子光圈图像的所有DRrem。重复步骤S11和S12，直到计算了左视图的所有剩余子光圈图像的所有DLrem和右视图的所有剩余子光圈图像的所有DRrem为止。在光场相机1L和1R可以产生子光圈图像的9个集合的情况下，可以计算DLrem和DRrem的8个集合。如果确定未计算左视图的所有剩余子光圈图像的所有DLrem和右视图的所有剩余子光圈图像的所有DRrem，则过程回到步骤S11。
在步骤S14中，视图关联单元34确定右视图的具有最接近(或最相似)左视图的剩余子光圈图像的DLrem的DRrem的剩余子光圈图像。例如，视图关联单元34计算(第(u，v)个的)DLrem与右视图的所有剩余子光圈图像的各个DRrem之间的距离，并确定右视图的具有最接近(例如，第(u，v)个的)DLrem的DRrem的剩余子光圈图像。
DRrem和DLrem之间的距离可以使用以下公式来计算：
在步骤S15中，视图关联单元34确定左视图的第(u，v)个剩余子光圈图像的DLrem与右视图的所确定的剩余子光圈图像的DRrem之间的距离小于等于阈值。如果确定左视图的第(u，v)个剩余子光圈图像的DLrem与最接近左视图的第(u，v)个剩余子光圈图像的DLrem的DRrem之间的距离不小于等于阈值，则过程进行到步骤S17，否则进行到步骤S16。
在视图关联单元34确定距离不小于等于阈值的情况下，在步骤S17，视图关联单元34确定没有能够与左视图的第(u，v)个剩余子光圈图像相关联的右视图的剩余子光圈图像，并向存储器注册其结果(无关联)。
在步骤S16中，在视图关联单元34确定第(u，v)个的DLrem与(最接近第(u，v)个的DLrem)的DRrem之间的距离小于等于阈值的情况下，视图关联单元34将左视图的第(u，v)个剩余子光圈图像与右视图的具有最接近左视图的第(u，v)个剩余子光圈图像的DLrem的DRrem的剩余子光圈图像相关联。
在步骤S18中，视图关联单元34确定是否完成了对左视图的所有剩余子光圈图像的关联。如果确定完成了所有计算和关联，则过程将终止。否则，其将回到步骤S14，以重复针对左视图的下一第(u，v)个剩余左子光圈图像的关联的步骤。
图10示出了根据本公开实施例的在使用2个光场相机的情况下对左视图的剩余子光圈图像与右视图的剩余子光圈图像进行关联。左视图的各个剩余子光圈图像RM411或右视图的各个剩余子光圈图像RM421可以根据距离左视图的最佳子光圈图像411或右视图的最佳子光圈图像421的各自距离来关联。在图10中，左视图的剩余子光圈图像RM411以点填充类型来表示，而右视图的剩余子光圈图像RM421以镶边填充类型来表示。左视图的剩余子光圈图像RM411可以与右视图的具有最接近左视图的剩余子光圈图像RM411的转移矩阵(DLrem)的转移矩阵(DRrem)的剩余子光圈图像RM421相关联。
[第二实施例]
本发明的第二方面的优选实施例涉及将单个光场相机用于创建立体对的情况。此处将省略对第一实施例中描述的布置和过程的重复描述。
图11示出了根据本公开实施例的在使用单个光场相机来创建立体对时关联子光圈图像的示例实施例。该示例实施例将应用于以下情况：光场相机具有很多微镜头(以及相对较大的传感器平面大小)并创建了具有不同视图的很多子光圈图像400，足以从单个光场相机拍摄的子光圈图像中找到立体对。
在备选实施例中，参数分析单元33可以通过比较左视图41的所需相机参数(Req_RLtL)与各个子光圈图像400的各个实际相机参数来确定图11中的L4(u，v)＝(2，1)是左视图的最佳匹配子光圈图像。参数分析单元33还可以通过比较右视图42的所需相机参数(Req_RRtR)与各个子光圈图像400的各个实际相机参数来确定图11中的R4(u，v)＝(2，5)是右视图的最佳匹配子光圈图像。
基于该(匹配)结果，视图关联单元34根据左视图的最佳匹配子光圈图像L4和右视图的最佳匹配子光圈图像R4来关联剩余子光圈图像RM4。如图11所示，可以存在没有对应关系的子光圈图像(图11中的N4)。在图11中，相关联的子光圈图像以相同的填充类型来示出。剩余子光圈图像RM4指的是除了最佳匹配子光圈图像之外的所有子光圈图像。
图12示出了根据本公开实施例的在使用单个光场相机情况下的分类技术的示例，其中，将每个子光圈图像分为两类，一类是左视图的剩余子光圈图像的类，且第二类是右视图的剩余子光圈图像的类。在使用1个光场相机的情况下，必须在考虑到第(u，v)个剩余子光圈图像的实际相机参数(Act_RRrem，uvtRrem，uv)和左视图的最佳匹配子光圈图像L4的实际相机参数(Act_RLbesttLbest)之间的距离和第(u，v)个剩余子光圈图像的实际相机参数(Act_RRrem，uvtRrem，uv)和右视图的最佳匹配子光圈图像R4的实际相机参数(Act_RRbesttRbest)之间的距离对每个子光圈图像400进行分类。在图12中，被分类为左视图的剩余子光圈图像RM411的剩余子光圈图像以点填充类型来表示，而被分类为右视图的剩余子光圈图像RM421的剩余子光圈图像以镶边填充类型来表示。在图12中，可以在考虑到DLrem，00＜DRrem，00的情况下将剩余子光圈图像(0，0)分类到左视图的子光圈图像RM411，而可以在考虑到DLrem，04＞DRrem，04的情况下将剩余子光圈图像(0，4)分类到右视图的子光圈图像RM421。
图13示出了根据本公开实施例的使用单个光场相机将各个子光圈图像分类为左视图的剩余子光圈图像或右视图的剩余子光圈图像的流程图图示。
在用于第(u，v)个剩余子光圈图像的步骤S111，视图关联单元34计算转移矩阵DLrem，uv，该转移矩阵DLrem，uv表示在第(u，v)个剩余子光圈图像的实际相机参数Act_RRrem， uvtRrem，uv和左视图的上述最佳匹配子光圈图像L4的实际相机参数Act_RLbesttLbest之间的转移矩阵。
在用于第(u，v)个剩余子光圈图像的步骤S112，视图关联单元34计算转移矩阵DRrem，uv，该转移矩阵DRrem，uv表示在第(u，v)个剩余子光圈图像的实际相机参数Act_RRrem， uvtRrem，uv和右视图的上述最佳匹配子光圈图像R4的实际相机参数Act_RRbesttRbest之间的转移矩阵。
在步骤S113，视图关联单元34比较第(u，v)个剩余子光圈图像的DLrem，uv和DRrem，uv，然后确定第(u，v)个剩余子光圈图像属于左视图的剩余子光圈图像411还是右视图的剩余子光圈图像421。例如，如果确定DLrem，uv＜DRrem，uv，则确定该第(u，v)个剩余子光圈图像属于左视图的剩余子光圈图像RM411。在确定DLrem＝DRrem的情况下，可以将该第(u，v)个剩余子光圈图像注册为没有对应关系。
例如，通过验证|RLDreme+tLDrem|＜|RRDreme+tRDrem|(其中，e是三维测试向量，例如eT＝(1 1 1))，可以检查DLrem＜DRrem情况。在另一示例中，可以通过验证|RLDrem|＜|RRDrem|∧|tLDrem|＜|tRDrem|来验证DLrem＜DRrem情况。在后一示例中，以下情况可以发生：DLrem＜DRrem和DLrem＜DrremRrem都不为真。这些子光圈图像将不用于进一步处理。
在步骤S114，视图关联单元34确定是否对所有子光圈图像进行了分类。如果这不是要分类的最后一个子光圈图像，则过程回到步骤S111，否则过程将结束。
在将所有剩余子光圈图像分类为左视图或右视图的子光圈图像之后，可以执行上述步骤11至步骤18，以进行关联。这些仅是示例流程图。计算和过程流程的顺序不限于本示例。
根据本公开的实施例，将各个子光圈图像的各个实际参数与左视图或右视图的所需相机参数进行比较。左视图和右视图的所需相机参数是用于立体图像对的理论和理想相机参数。根据本公开，可以在考虑到每个子光圈图像的实际参数和左视图或右视图的所需相机参数之间的关系的情况下将子光圈图像彼此关联。
自然地，本公开不限于上述实施例。
具体地，本公开不限于光场相机，而是还扩展到对其进行控制和/或校准的方法以及扩展到实现该控制/校准方法的硬件电路。
本领域技术人员应清楚，实施方式可以产生被格式化为携带例如所存储的或所传输的信息的多种信号。信息可以包括例如用于执行方法的指令、或通过描述的实施方式之一所产生的数据。例如，信号可以被格式化为将用于写入或读取所述实施例的语法的规则作为数据进行携带，或将由所述实施例写入的真实语法值作为数据进行携带。这种信号可被格式化为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码或者使用已编码数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。可以通过公知的多种不同的有线或无线链路来传输该信号。信号可以存储在处理器可读介质上。
已经描述了多个实现。然而，将理解，可以进行各种修改。例如，可以合并、增补、修改或去除不同实施方式的元素，以便产生其它实施方式。附加地，本领域普通技术人员将理解的是，其他结构或过程可以替代那些公开的结构或过程，并且所得到的实施方式将用至少基本相同的方式来执行至少基本相同的功能，以实现与所公开的实施方式基本相同的结果。因此，本申请还涵盖这些和其它实施方式。
考虑到上述内容，前述仅仅说明了本公开的远离，且将因此意识到本领域技术人员将能够想到尽管本文未显式描述但体现了本公开的原理且在其精神和范围内的大量备选布置。因此应当理解可以对说明性实施例进行大量修改，且可以在不脱落本原理的范围的情况下想到其他布置。

Claims (13)

1.一种用于使用至少一个光场相机(1)来创建一对立体图像的方法，包括：
接收用于左视图(41)和右视图(42)的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；
获取(S3)(S4)基于由所述光场相机(1)捕获的图像生成的各个子光圈图像(411、421；400)的各个实际相机参数；
通过比较用于所述左视图(41)的所需相机参数和所述各个子光圈图像的实际相机参数来确定(S5)所述左视图的最佳匹配子光圈图像(L4)，并通过比较用于所述右视图(42)的所需相机参数和所述各个子光圈图像的实际相机参数来确定(S5)所述右视图的最佳匹配子光圈图像(R4)；以及
将所述左视图的最佳匹配子光圈图像(L4)与所述右视图的最佳匹配子光圈图像(R4)关联(S6)为一对立体图像。
2.根据权利要求1所述的方法，其中，所述子光圈图像(411、421；400)的实际相机参数是通过以下方式来估计的：
接收(S1)由所述光场相机(1)捕获的图像中的场景内的对象(2)的图像并获取(S1)所述对象(2)的各个特征点的场景世界坐标；
根据所接收的所述对象(2)的图像来生成(S2)多个子光圈图像(411、421；400)；
基于所述对象的各个特征点的场景世界坐标和各个特征点的场景世界坐标在子光圈图像中的对应像素坐标来估计(S2)所述实际相机参数。
3.根据权利要求1所述的方法，其中，所述实际相机参数和所需相机参数分别包括旋转矩阵R和平移向量t。
4.根据权利要求1所述的方法，其中，所确定的左视图的最佳匹配子光圈图像(L4)的实际相机参数具有最接近左视图(41)的所需相机参数的值，且所确定的右视图的最佳匹配子光圈图像(R4)的实际相机参数具有最接近右视图(42)的所需相机参数的值。
5.根据权利要求1所述的方法，其中，所述光场相机(1)包括用于左视图的光场相机(1L)和用于右视图的光场相机(1R)，所述确定还包括：
通过比较用于左视图(41)的所需相机参数和基于由用于左视图的光场相机(1L)捕获的图像生成的各个子光圈图像的各个实际相机参数来确定(S5)左视图的最佳匹配子光圈图像(L4)；以及
通过比较用于右视图(42)的所需相机参数和基于由用于右视图的光场相机(1R)捕获的图像生成的各个子光圈图像的各个实际相机参数来确定(S5)右视图的最佳匹配子光圈图像(R4)。
6.根据权利要求4所述的方法，所述关联还包括：
计算(S11)转移矩阵DLrem，所述转移矩阵DLrem能够将左视图的剩余子光圈图像(RM411)的实际相机参数转移为左视图的最佳匹配子光圈图像(L4)的实际相机参数，其中，DLrem是针对左视图的各个子光圈图像(411)计算的；
计算(S12)转移矩阵DRrem，所述转移矩阵DRrem能够将右视图的剩余子光圈图像(RM421)的实际相机参数转移为右视图的最佳匹配子光圈图像(R4)的实际相机参数，其中，DRrem是针对右视图的各个子光圈图像(421)计算的；以及
将左视图的剩余子光圈图像(RM411)关联(S14)到右视图的具有最接近DLrem的值的DRrem的剩余子光圈图像(RM421)，
其中，所述剩余子光圈图像是除了所述最佳匹配子光圈图像之外的子光圈图像。
7.根据权利要求1所述的方法，还包括：
将除了所述最佳匹配子光圈图像之外的剩余子光圈图像(RM4)分类为左视图的剩余子光圈图像(411)或右视图的剩余子光圈图像(421)，所述分类包括：
计算(S111)能够将所述剩余子光圈图像的实际相机参数转移为左视图的最佳匹配子光圈图像(L4)的实际相机参数的DLrem；
计算(S112)能够将所述剩余子光圈图像的实际相机参数转移为右视图的最佳匹配子光圈图像(R4)的实际相机参数的DRrem；以及
比较DLrem和DRrem，以及如果DLrem小于DRrem，则将所述剩余子光圈图像(RM4)分类为左视图的剩余子光圈图像(RM411)，否则分类为右视图的剩余子光圈图像(RM421)(S113)。
8.根据权利要求7所述的方法，还包括：
比较DLrem和DRrem(S113)，以及如果DLrem等于DRrem，则既不分类为左视图(411)的剩余子光圈图像，也不分类为右视图(421)的剩余子光圈图像。
9.根据权利要求7所述的方法，还包括：
将被分类为左视图的剩余子光圈图像(RM411)的剩余子光圈图像关联(S14)到被分类为右视图的剩余子光圈图像中具有最接近被分类为左视图的剩余子光圈图像(RM411)的DLrem的值的DRrem的剩余子光圈图像。
10.一种包括处理器(51)在内的用于创建一对立体图像的设备(5)，所述设备(5)被配置为：
接收用于左视图(41)和右视图(42)的各个所需相机参数，其中，所需相机参数定义了理论立体图像对；
获取基于由光场相机(1)捕获的图像生成的各个子光圈图像(411、421；400)的各个实际相机参数；
通过比较用于所述左视图(41)的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述左视图的最佳匹配子光圈图像(L4)，并通过比较用于所述右视图(42)的所需相机参数和所述各个子光圈图像的实际相机参数来确定所述右视图的最佳匹配子光圈图像(R4)；以及
将所述左视图的最佳匹配子光圈图像(L4)与所述右视图的最佳匹配子光圈图像(R4)关联为一对立体图像(S6)。
11.根据权利要求10所述的设备(5)，其中，所述子光圈图像(411、421；400)的实际相机参数是通过以下方式来估计的：
接收由所述光场相机(1)捕获的场景内的对象(2)的图像并获取所述对象(2)的各个特征点的场景世界坐标；
根据所接收的所述对象(2)的图像来生成多个子光圈图像(411、421；400)；
基于所述对象的各个特征点的场景世界坐标和各个特征点的场景世界坐标在子光圈图像中的对应像素坐标来估计所述实际相机参数(S2)。
12.一种计算机程序产品，能够从通信网络下载和/或记录在能够由计算机读取的介质上和/或能够由处理器执行，所述计算机程序产品包括用于实现根据权利要求1至9中至少一项所述的方法的程序代码指令。
13.一种非瞬时性计算机可读介质，包括记录在其上且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据权利要求1至9中至少一项所述的方法的程序代码指令。
CN201710491073.9A 2016-06-23 2017-06-23 使用至少一个光场相机来创建一对立体图像的方法和装置 Pending CN108305293A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305760 2016-06-23
EP16305760.7 2016-06-23

Publications (1)

Publication Number Publication Date
CN108305293A true CN108305293A (zh) 2018-07-20

Family

ID=56497690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710491073.9A Pending CN108305293A (zh) 2016-06-23 2017-06-23 使用至少一个光场相机来创建一对立体图像的方法和装置

Country Status (5)

Country Link
US (1) US10594999B2 (zh)
EP (1) EP3264761A1 (zh)
JP (1) JP2017229067A (zh)
KR (1) KR20180000696A (zh)
CN (1) CN108305293A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019040004A1 (en) * 2017-08-25 2019-02-28 Maker Trading Pte Ltd STEREO ARTIFICIAL VISION SYSTEM AND METHOD FOR IDENTIFYING LOCATIONS OF NATURAL TARGET ELEMENTS
CN108257185A (zh) * 2018-01-03 2018-07-06 上海兴芯微电子科技有限公司 多棋盘格角点检测方法及摄像机标定方法
KR102617940B1 (ko) * 2019-01-24 2023-12-22 주식회사 케이티 멀티 mla 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치및 그 방법
KR20220121533A (ko) 2021-02-25 2022-09-01 삼성전자주식회사 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175632A1 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20100103266A1 (en) * 2007-01-11 2010-04-29 Marcel Merkel Method, device and computer program for the self-calibration of a surveillance camera
US20120194514A1 (en) * 2010-05-28 2012-08-02 Tatsumi Sakaguchi Image processing apparatus and method, and program
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
CN104089628A (zh) * 2014-06-30 2014-10-08 中国科学院光电研究院 光场相机的自适应几何定标方法
US20150170370A1 (en) * 2013-11-18 2015-06-18 Nokia Corporation Method, apparatus and computer program product for disparity estimation
US20150208060A1 (en) * 2014-01-23 2015-07-23 Electronics And Telecommunications Research Institute Apparatus and method for inputting and outputting stereo light field supporting generation of eye's moved point of sight
CN104902254A (zh) * 2014-03-03 2015-09-09 诺基亚公司 用于立体图像的视差图估计的方法、装置及计算机程序产品
TW201537950A (zh) * 2014-03-21 2015-10-01 Univ Nat Taiwan 利用光場相機產生立體影像的方法及光場相機
CN105488810A (zh) * 2016-01-20 2016-04-13 东南大学 一种聚焦光场相机内外参数标定方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
BE1011175A3 (fr) * 1997-05-23 1999-07-06 Ursel Wauthier D Procede d'obtention d'images en relief et dispositif pour la mise en oeuvre de ce procede.
JP2003141527A (ja) 2001-11-07 2003-05-16 Japan Science & Technology Corp 多視点画像処理システムのキャリブレーション装置及びキャリブレーション方法
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7671893B2 (en) 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
US9094675B2 (en) * 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
EP2375376B1 (en) 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
JP2012034215A (ja) * 2010-07-30 2012-02-16 Sony Corp 画像処理装置および方法、並びにプログラム
CN103907188B (zh) * 2011-09-14 2016-12-28 株式会社尼康 摄像元件、摄像装置及图像处理装置
EP2808645B1 (en) * 2012-01-23 2019-02-20 Nec Corporation Camera calibration device, camera calibration method, and camera calibration program
CN103297677B (zh) * 2012-02-24 2016-07-06 卡西欧计算机株式会社 生成重构图像的图像生成装置以及图像生成方法
JP5310890B2 (ja) * 2012-02-24 2013-10-09 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
EP2835613B1 (de) * 2013-08-08 2019-01-16 Hexagon Technology Center GmbH Geodätisches Vermessungsgerät mit Mikrolinsenarray
JP2015056790A (ja) * 2013-09-12 2015-03-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2015128918A1 (ja) * 2014-02-28 2015-09-03 パナソニックＩｐマネジメント株式会社 撮像装置
US9436987B2 (en) * 2014-04-30 2016-09-06 Seiko Epson Corporation Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
KR102240568B1 (ko) * 2014-08-18 2021-04-16 삼성전자주식회사 영상 처리 방법 및 장치
EP3026884A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Plenoptic camera comprising a light emitting device
US10085005B2 (en) * 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103266A1 (en) * 2007-01-11 2010-04-29 Marcel Merkel Method, device and computer program for the self-calibration of a surveillance camera
EP2175632A1 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US20120194514A1 (en) * 2010-05-28 2012-08-02 Tatsumi Sakaguchi Image processing apparatus and method, and program
US20150170370A1 (en) * 2013-11-18 2015-06-18 Nokia Corporation Method, apparatus and computer program product for disparity estimation
US20150208060A1 (en) * 2014-01-23 2015-07-23 Electronics And Telecommunications Research Institute Apparatus and method for inputting and outputting stereo light field supporting generation of eye's moved point of sight
CN104902254A (zh) * 2014-03-03 2015-09-09 诺基亚公司 用于立体图像的视差图估计的方法、装置及计算机程序产品
TW201537950A (zh) * 2014-03-21 2015-10-01 Univ Nat Taiwan 利用光場相機產生立體影像的方法及光場相機
CN104089628A (zh) * 2014-06-30 2014-10-08 中国科学院光电研究院 光场相机的自适应几何定标方法
CN105488810A (zh) * 2016-01-20 2016-04-13 东南大学 一种聚焦光场相机内外参数标定方法

Also Published As

Publication number Publication date
EP3264761A1 (en) 2018-01-03
US10594999B2 (en) 2020-03-17
KR20180000696A (ko) 2018-01-03
JP2017229067A (ja) 2017-12-28
US20170374345A1 (en) 2017-12-28

Similar Documents

Publication Publication Date Title
CN109118581B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106210501B (zh) 图像合成方法与图像处理装置
CN108305293A (zh) 使用至少一个光场相机来创建一对立体图像的方法和装置
EP2299726B1 (en) Video communication method, apparatus and system
KR20200100558A (ko) 이미지 처리 방법 및 장치, 전자 디바이스 및 컴퓨터 판독 가능 저장 매체
CN107454468A (zh) 对沉浸式视频进行格式化的方法、装置和流
US20180364032A1 (en) Image processing apparatus and method, data, and recording medium
CN107637061A (zh) 处理光场内容的方法和设备
US11908241B2 (en) Method for correction of the eyes image using machine learning and method for machine learning
CN105814875A (zh) 选择用于立体成像的相机对
CN102474662A (zh) 根据无线显示协议制备视频数据
CN103973963B (zh) 图像获取装置及其图像处理方法
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN109672827A (zh) 用于组合多个图像的电子装置及其方法
CN109716757A (zh) 用于沉浸式视频格式的方法、装置和流
CN109190533B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108198161A (zh) 一种双摄像头图像的融合方法、装置及设备
CN108665415A (zh) 基于深度学习的图像质量提升方法及其装置
CN108460794B (zh) 一种双目立体红外显著目标检测方法及系统
CN109194946A (zh) 数据处理方法及装置、电子设备及存储介质
CN105791793A (zh) 图像处理方法及其电子装置
CN114331918B (zh) 图像增强模型的训练方法、图像增强方法及电子设备
CN106101575A (zh) 一种增强现实照片的生成方法、装置及移动终端
WO2022224112A1 (en) Inherited geometry patches
CN104284193A (zh) 编码装置和编码方法、以及解码装置和解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20190522

Address after: Paris France

Applicant after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Applicant before: THOMSON LICENSING

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180720

WD01 Invention patent application deemed withdrawn after publication