CN105898282A - 光场相机 - Google Patents

光场相机 Download PDF

Info

Publication number
CN105898282A
CN105898282A CN201610084524.2A CN201610084524A CN105898282A CN 105898282 A CN105898282 A CN 105898282A CN 201610084524 A CN201610084524 A CN 201610084524A CN 105898282 A CN105898282 A CN 105898282A
Authority
CN
China
Prior art keywords
dimensional image
numeral
light
machine
parafacies
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610084524.2A
Other languages
English (en)
Other versions
CN105898282B (zh
Inventor
弗雷德里克·杰尼
约阿希姆·凯纳特
马赛厄斯·齐格勒
迈克尔·舍贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN105898282A publication Critical patent/CN105898282A/zh
Application granted granted Critical
Publication of CN105898282B publication Critical patent/CN105898282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种用于捕获场景的多个视图的光场相机，该多个视图表示光场的采样，该光场相机包括：主相机，配置为捕获场景的主数字二维图像；二维相机阵列，包括多个副相机，其中每个副相机配置为捕获场景的副数字二维图像，以便产生场景的副数字二维图像的至少一个集合；半透反射镜，布置为使得源自场景的入射光束被拆分成第一部分光束和第二部分光束，第一部分光束被引导至主相机，第二部分光束被引导至相机阵列；以及处理单元，配置为接收主数字二维图像和该至少一个副数字二维图像集合，并配置为基于该副数字二维图像集合，计算针对主数字二维图像的或针对与主数字二维图像相对应的数字二维图像的深度信息。

Description

光场相机
技术领域
本发明涉及光场相机(或摄像机，以下统称“相机”)。
背景技术
光场图像和视频处理与传统2D图像相比提供了更丰富多样的图像操控可能性。然而，由于需要以极佳图像质量(例如动态范围、颜色保真度以及分辨率)将极大量不同视图相结合，因此对高质量光场的捕获仍未得以解决。
传统2D图像表示将三维世界投影到二维平面上。在数字图像中，将该屏面栅格化成所谓像素的网格。对于空间中的每个可见点而言，2D图像记录了一个或多个像素的强度。
立体图像通过记录场景的两个不同视图扩展了该原理。通过向左眼示出左捕获图像而向右眼示出右捕获图像，可以向用户提供深度印象。尽管这在理论上显著提高了视觉体验，然而文献报告出了各种缺陷，例如，收敛冲突、难以将内容与变化的屏幕尺寸适配等。
数学上，可以通过向空间中的每个点以及每个方向分配对应辐射的五维函数Lλ，t(x，y，z，θ，φ)来描述光场。参数λ和t定义了波长(颜色信息)和时间。光场成像通过捕获场景的更多观看位置而超越了先前提及的技术。这些视图典型地沿诸如平面等表面布置(所谓的4D光场[4]或光流场(Lumigraph)技术[5])。于是，这些视图不仅具有关于立体图像的不同水平位置，而且还具有沿竖直方向的位置。理想地，各视图以任意疏密程度隔开，使得能够捕获从场景横穿所选表面的所有光线。
与传统2D技术相比，这种极大量信息实现了对捕获图像的更丰富编辑和操控可能性。这包括了焦点和深度的改变、虚拟观看位置的创建、基于深度的合成和特效(如移动变焦(dolly zoom)[6])。在[7]中描述了可能的处理链。
然而，捕获光场使其具有充分质量仍是未解决的问题，该问题在以下发明中得以解决。
存在用于捕获光场的两种基本技术。一方面，存在各种全光相机[8，9，10]。与传统相机相比，这些全光相机在主透镜与传感器之间引入了所谓微透镜的附加阵列。通过这些手段，确实能够捕获不同的观看位置。然而，这些不同的观看位置仍相当类似。此外，由于微透镜的尺寸较小，因此达到数字影院质量的高质量成像仍未得以解决。
另一方面，可以通过多相机阵列来获取光场[11，12，13]。在执行图像操控时需要许多不同视图来避免伪像的情况下，相机的扩展需要相当小。此外，典型地使用降低成本的相机来使得总体系统更实惠。
然而，由于尺寸和成本限制，这些相机提供的图像质量不能达到当今技术上可行的最高质量水平。例如，对于小尺寸和廉价相机而言，颜色再现的质量、动态范围和信噪比与数字影院电影制作中使用的专业设备相比差得多。在这些影院相机较大并昂贵的情况下，将这些影院相机组合成大型多相机阵列来进行光场获取是极为昂贵的。因此，尽管获得的编辑可能性极受欢迎，但是光场技术不能服务于具有最高质量需要的应用。同样的缺陷存在于由于成本原因单个2D相机不能由多个2D相机代替来捕获光场的所有应用成立。
发明内容
本发明的目的在于提供一种光场获取的改进构思。
该目的可以通过用于捕获场景的多个视图的光场相机来实现，该多个视图表示光场的采样，其中该光场相机包括：
主相机，配置为捕获场景的主数字二维图像；
二维相机阵列，包括多个副相机，其中每个副相机配置为捕获场景的副数字二维图像，以便产生场景的副数字二维图像的至少一个集合；
半透反射镜，布置为使得源自场景的入射光束被拆分成第一部分光束和第二部分光束，第一部分光束被引导至主相机，第二部分光束被引导至相机阵列；以及
处理单元，配置为接收主数字二维图像和该至少一个副数字二维图像集合，并配置为基于该副数字二维图像集合，计算针对主数字二维图像的或针对与主数字二维图像相对应的数字二维图像的深度信息。
深度信息可以具有视差图(disparity map)或深度图的形式。
主相机可以包括主光学物镜和主光电探测器阵列，其中主光学物镜配置为在主光电探测器阵列上产生场景的实像。
该多个副相机中的每个副相机可以包括副光学物镜和副光电探测器阵列，其中，副光学物镜配置为在副光电探测器阵列上产生场景的实像。
本发明实现了给定质量下的较低成本光场相机，换言之，在给定成本下提高了光场相机的质量。数字二维输出图像的质量主要对应于主相机的质量。此外，基于从多个副相机聚集的数据产生深度信息，其中副相机的质量对于数字二维输出图像以及对于产生深度信息而言不那么重要。出于这些原因，本发明允许使用副相机，副相机的质量显著低于主相机，使得可以提高质量成本比。
半透反射镜的使用使得可以使用包括副相机的相机阵列。这样的相机阵列可以比多个单独副相机更廉价，从而可以进一步提高质量成本比。通过半透反射镜，可以确保即使在主相机与相机阵列彼此间隔开的情况下主相机的视觉角度(angle of vision)或视角(perspective)以及副相机的视觉角度也基本上相同，这在某种程度上是重要的，原因在于高质量相机通常需要相当宽敞的空间。此外，应注意，主相机和副相机的公共视角有助于所捕获图像的处理，这同样导致更好的质量成本比。
与主数字二维图像相对应的数字二维图像是通过对主数字二维图像应用数字图像编辑处理(例如图像尺寸改变、剪切、降噪、颜色适配、透镜失真校正、矫正、锐化、柔化、对比度改变、亮化、暗化、伽马校正等)而产生的图像。
根据本发明的优选实施例，主相机满足以下条件中的至少一个：具有比副相机高的分辨率，具有比副相机好的颜色再现质量、具有比副相机宽的动态范围、具有比副相机大的信噪比、具有比副相机高的位深度(bit depth)。
根据本发明的优选实施例，主相机的主物镜具有比副相机的副物镜少的失真。通过这些特征，可以进一步提高质量成本比。
根据本发明的优选实施例，处理单元配置为仅基于副数字二维图像集合和主相机相对于副相机的位置，计算与主数字二维图像相对应的数字二维输出图像的深度信息。在该实施例中，仅根据副数字二维图像集合并基于主相机相对于副相机的位置计算深度信息，可以避免主数字二维图像和副数字二维图像的不同质量引起的问题。
根据本发明的优选实施例，副相机具有实质上平行的光轴。这些特征导致用于获取深度信息的计算算法复杂度较低。
根据本发明的优选实施例，副相机具有相同的光和/或电特性。这种光特性的示例是分辨率、颜色再现质量、动态范围、信噪比、副光学物镜的透镜失真以及位深度。这种电特性的示例是供能电压、能耗、输出电压和电子信号处理链。这些特征导致用于获取深度信息的计算算法复杂度较低。
根据本发明的优选实施例，副相机按照格状方式布置。术语“格状”是指副相机的规则间隔或布置。这些特征导致用于获取深度信息的计算算法复杂度较低。
根据本发明的优选实施例，主相机、相机阵列和半透反射镜安装到支架(rig)。支架的使用有助于组件位置的适当调整。
根据本发明的优选实施例，支架包括用于调整主相机的光轴与副相机之一的光轴的交叉点的机械调整装置。
根据本发明的优选实施例，支架包括用于补偿从场景到主相机的光路长度与从场景到相机阵列的光路长度之间的差异的机械调整装置。
根据本发明的实施例，支架包括用于相对于相机阵列关于绕与副相机的光轴平行的旋转轴旋转的角取向，调整主相机关于绕与主相机的光轴平行的第一旋转轴旋转的角取向的机械调整装置。
根据本发明的实施例，支架包括用于补偿从第一部分光束到主相机的光轴的角度与从第二部分光束到副相机之一的光轴的角度之间的差异的机械调整装置。
上述机械调整装置实现光场相机的组件的高度精确调整，最小化用于产生二维输出图像和对应深度信息的计算工作量。
根据本发明的优选实施例，副相机配置为在主相机捕获一个主数字二维图像的同时捕获多个副数字二维图像集合，其中每个副数字二维图像集合具有与其他副数字二维图像集合不同的曝光设置，并且处理单元配置为基于该多个副数字二维图像集合计算深度信息。曝光设置的示例是曝光时间、焦距、光圈和滤光器(例如，中性密度滤光器)。
通过这些特征，可以确保在主相机中可见的所有物体(既非过曝光也非欠曝光)在每个副相机的各捕获中的至少一个捕获中也以足够精度可见。
根据本发明的优选实施例，副相机组合成组，其中每个组配置为产生场景的副数字二维图像集合的子集，其中每个副相机具有与相同组内的其他副相机相同的曝光设置，而具有与其他组内的副相机不同的曝光设置。
通过这些特征，可以确保主相机中可见的所有物体(既非过曝光也非欠曝光)在至少一个副相机组的捕获中也可见。
根据本发明的优选实施例，处理单元包括：矫正(rectification)模块，配置为通过使用特征点或棋盘(checkerboard，方格图案)，同时矫正副数字二维图像集合中的副数字二维图像以及主数字二维图像，以便产生经矫正的副数字二维图像的集合和经矫正的主数字二维图像。
根据本发明的优选实施例，处理单元包括：深度信息计算模块，配置为基于经矫正副数字二维图像集合，计算每个副相机的深度信息。
根据本发明的优选实施例，处理单元包括：深度翘曲(warping)模块，配置为将每个深度信息翘曲到经矫正主数字二维图像的位置，以便产生针对主数字二维图像的或针对与主数字二维图像相对应的数字二维图像的深度信息。
通过这种方式，主相机和相机阵列的数据可以组合为高质量光场。
根据本发明的优选实施例，处理单元包括：矫正模块，配置为通过使用特征点或棋盘，矫正副数字二维图像集合中的副数字二维图像，以便产生经矫正的副数字二维图像的集合。
根据本发明的优选实施例，处理单元包括：深度信息计算模块，配置为基于经矫正副数字二维图像集合，计算每个副相机的深度信息。
根据本发明的优选实施例，处理单元包括：深度翘曲模块，配置为将每个深度信息翘曲到主数字二维图像的位置，以便产生针对主数字二维图像的或针对与主数字二维图像相对应的数字二维图像的深度信息。
通过这种方式，主相机和相机阵列的数据可以组合为高质量光场。
根据本发明的优选实施例，处理单元包括：深度信息计算模块，配置为基于经矫正副数字二维图像集合和经矫正主图像，计算针对每个副相机的深度信息和针对主相机的深度信息。
根据本发明的优选实施例，光场相机包括后处理单元，后处理单元包括：主图像翘曲模块，配置为通过使用深度信息，将经矫正主数字二维图像翘曲为与主相机的虚拟相机位置相对应的翘曲的经矫正主数字二维图像。
根据本发明的优选实施例，后处理单元包括：副图像翘曲模块，配置为将经矫正副数字二维图像中的每一个翘曲为与翘曲的经矫正主二维图像的位置相对应的翘曲的经矫正副二维数字图像。
根据本发明的优选实施例，后处理单元包括：去遮挡(disocclusion)填充模块，配置为利用从翘曲的经矫正副数字二维图像聚集的信息，填充翘曲的经矫正主数字二维图像WRPDI中的去遮挡，以便产生增强的数字二维输出图像。
本发明的目的还通过一种用于捕获场景的多个视图的方法来实现，该多个视图表示光场的采样，该方法包括以下步骤：
使用主相机捕获场景的主数字二维图像；
使用包括多个副相机的二维相机阵列，产生副数字二维图像的至少一个集合，其中每一个副相机配置为捕获场景的副数字二维图像；
提供半透反射镜，该半透反射镜布置为使得源自场景的输入光束被拆分成第一部分光束和第二部分光束，第一部分光束被引导至主相机，第二部分光束被引导至相机阵列；以及
使用处理单元，接收主数字二维图像和该至少一个副数字二维图像集合，并且基于该副数字二维图像集合，计算针对主数字二维图像的或针对与主数字二维图像相对应的数字二维图像的深度信息。
此外，本发明的目的通过在计算机或处理器上运行时执行本发明方法的计算机程序来实现。
附图说明
随后参照附图讨论本发明的优选实施例，在附图中：
图1以示意图示出了根据本发明的光场相机的第一实施例；
图2以示意图示出了二维相机阵列的实施例；
图3以示意图示出了根据本发明的光场相机的第二实施例；
图4以示意图示出了处理单元和后处理单元的第一实施例；
图5以示意图示出了处理单元和后处理单元的第二实施例；
图6示出了与副相机的光轴垂直的副相机之一的相机视角的翘曲；
图7示出了沿副相机的光轴的副相机之一的相机视角的翘曲；
图8示出了主相机的相机视角导致的遮挡(occlusion)；以及
图9以示意图示出了处理单元和后处理单元的第三实施例。
具体实施方式
关于所描述的实施例的设备和方法，应提及以下内容：
尽管在装置的情境中描述了一些方面，但是应清楚这些方面还表示对应方法的描述，其中，模块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的情境中描述的方面还表示对应模块或对应装置的部件或特征的描述。
图1以示意图示出了根据本发明的光场相机1的第一实施例。
光场相机用于捕获场景SC的多个视图，该多个视图表示光场的采样，该光场相机1包括：
主相机2，配置为捕获场景SC的主数字二维图像PDI；
二维相机阵列3，包括多个副相机4aa…4ce，其中副相机4aa…4ce中的每一个配置为捕获场景SCI的副数字二维图像SDIaa…SDIce，以便产生场景的副数字二维图像SDIaa…SDIce的至少一个集合；
半透反射镜5，布置为使得源自场景SC的入射光束LB1、LB2、LB3被拆分成第一部分光束FLB1、FLB2、FLB3和第二部分光束SLB1、SLB2、SLB3，第一部分光束被引导至主相机2，第二部分光束被引导至相机阵列3；以及
处理单元6，配置为接收主数字二维图像PDI和该至少一个副数字二维图像SDIaa…SDIce集合，并配置为基于该副数字二维图像SDIaa…SDIce集合，计算针对主数字二维图像PDI的或针对与主数字二维图像PDI相对应的数字二维图像RPDI的深度信息DM。
在图1的示例中，副相机4aa…4ce按照二维网格3布置，并且通过半透反射镜5观察场景SC。通常，使用50％的透明度，但并非必须严格如此。主相机2的光轴OAP相对于相机阵列3的光轴OAaa、OAba、OAca旋转大约90°，并观察反射的图像。然而，也可以将主相机2与相机阵列3的位置互换。
根据本发明的优选实施例，主相机2满足以下条件中的至少一个：具有比副相机4aa…4ce高的分辨率，具有比副相机4aa…4ce好的颜色再现质量，具有比副相机4aa…4ce宽的动态范围，具有比副相机4aa…4ce大的信噪比，具有比副相机4aa…4ce高的位深度。
根据本发明的优选实施例，主相机2的主物镜具有比副相机4aa…4ce的副物镜少的失真。通过这些特征，可以进一步提高质量成本比。
根据本发明的优选实施例，处理单元6配置为仅基于副数字二维图像SDIaa…SDIce集合并且基于主相机2相对于副相机4aa…4ce的位置，计算针对与主数字二维图像PDI相对应的数字二维输出图像OI的深度信息DM。在计算深度信息之前，图像可以存储在存储单元中。
根据本发明的优选实施例，副相机4aa…4ce具有实质上平行的光轴OAaa、OAba、OAca。
根据本发明的优选实施例，主相机2、相机阵列3和半透反射镜5安装到支架。
根据本发明的优选实施例，支架包括用于调整主相机2的光轴OAP与副相机4aa…4ce之一的光轴OAba的交叉点的机械调整装置。在图1的实施例中，调整装置允许如箭头A1所示沿x方向以及如箭头A2所示沿z方向移动主相机2。通过这样的调整装置，可以调整主相机2的光轴OAP与副相机4aa…4ce的光轴OAaa、OAba、OAca的交叉点。
根据本发明的优选实施例，支架包括用于补偿从场景SC到主相机2的光路长度与从场景SC到相机阵列3的光路长度之间的差异的机械调整装置。在图1的实施例中，可以通过如箭头A3所示沿x方向移动相机阵列3来调整从场景SCI到相机阵列3的光路长度。
根据本发明的实施例，支架包括用于相对于相机阵列3关于绕与副相机4aa…4ce的光轴OAaa、OAba、OAca之一平行的旋转轴旋转的角取向，调整主相机2关于绕与主相机2的光轴OAP平行的第一旋转轴旋转的角取向的机械调整装置。在图1的实施例中，主相机2可以如箭头A4所示绕光轴OAP旋转，以便相对于相机3的角取向调整主相机2的角取向。在其他实施例中，主相机固定，而相机阵列A3相对于副相机4aa…4ce的光轴OAaa、OAba、OAca之一可旋转。
根据本发明的实施例，支架包括用于补偿从主相机2的光轴OAP到第一部分光束FLB1、FLB2、FLB3的角度与从第二部分光束SLB1、SLB2、SLB3到副相机4aa…4ce之一的光轴OAaa、OAba、OAca的角度之间的差异的机械调整装置。在图1的实施例中，可以通过如箭头A5所示旋转半透反射镜来进行这样的补偿。备选地，可以相应地旋转主相机2或相机阵列3。
根据本发明的优选实施例，副相机4aa…4ce配置为在主相机2捕获一个主数字二维图像PDI的同时捕获多个副数字二维图像SDIaa…SDIce集合，其中每个副数字二维图像SDIaa…SDIce集合具有与其他副数字二维图像SDIaa…SDIce集合不同的曝光设置，并且其中处理单元6配置为基于该多个副数字二维图像SDIaa…SDIce集合，计算深度信息DM。
由于主相机2的高质量，其动态范围可能比副相机SDIaa…SDIce高得多。这可能导致在主相机2中可见的物体SC可能在副相机SDIaa…SDIce中过曝光或欠曝光，阻碍了正确的光场捕获。在这种情况下，一种策略对于副相机SDIaa…SDIce使用时间包围(temporalbracketing)。换言之，在主相机2捕获一个曝光的同时，副相机SDIaa…SDIce捕获两个或更多个图像，每个图像具有不同曝光设置。这些单独图像可以融合为具有更高动态范围的总体图像[16]，但并非必须严格如此。通过这些方式，可以确保主相机2中可见的所有物体(既非过曝光也非欠曝光)在每个副相机SDIaa…SDIce的各包围曝光(exposure bracket)中的至少一个中也是可见的。
此外，本发明提供了一种用于捕获场景SC的多个视图的方法，该多个视图表示光场的采样，该方法包括以下步骤：
使用主相机2捕获场景SC的主数字二维图像PDI；
使用包括多个副相机4aa…4ce的二维相机阵列3，产生场景SC的副数字二维图像SDIaa…SDIce的至少一个集合，其中，副相机4aa…4ce中的每一个配置为捕获场景SC的副数字二维图像SDIaa…SDIce；
提供半透反射镜5，半透反射镜5布置为使得源自场景SC的入射光束LB1、LB2、LB3被拆分成第一部分光束FLB1、FLB2、FLB3和第二部分光束SLB1、SLB2、SLB3，第一部分光束被引导至主相机2，第二部分光束被引导至相机阵列3；以及
使用处理单元6，接收主数字二维图像PDI和该至少一个副数字二维图像SDI-aa…SDIce集合，并且基于该副数字二维图像SDIaa…SDIce集合，计算针对主数字二维图像PDI的或针对与主数字二维图像PDI相对应的数字二维输出图像RPDI的深度信息DM。
在另一方面中，本发明提供了一种在计算机或处理器上运行时执行根据本发明的方法的计算机程序。
图2以示意图示出了二维相机阵列3的实施例。
根据本发明的优选实施例，副相机4aa…4ce具有相同的光和/或电特性。
根据本发明的优选实施例，副相机4aa…4ce按照格状方式布置。
根据本发明的优选实施例，副相机4aa…4ce组合成组7a、7b、7c，其中每一组7a、7b、7c配置为产生场景SC的副数字二维图像SDIaa…SDIce集合的子集，其中每个副相机SDIaa…SDIce具有与相同组7a、7b、7c内的其他副相机SDIaa…SDIce相同的曝光设置，而具有与其他组7a、7b、7c内的副相机SDIaa…SDIce不同的曝光设置。
在图2的示例中，使用三个不同组7a、7b、7c，但是不同数目的组也是可能的。属于一个组7a、7b、7c的所有副相机SDIaa…SDIce使用相同捕获设置，例如曝光时间、焦距、光圈和中性密度滤光器。使用中性密度滤光器允许在既不改变曝光时间也不改变光圈的情况下，调整副相机SDIaa…SDIce的灵敏度。具有不同中性密度滤光器的多个图像的组合允许捕获动态范围比主相机2中高的图像[16]，同时实现相同的移动物体外观。在不同组7a、7b、7c中使用不同焦距允许更好地补偿主相机2中的焦距改变。此外，通过偏移不同组7a、7b、7c的曝光时刻，可以提高标准相机的帧率。
必须注意到图2中将相机分配到各个组仅是示例。明显地，其他分配也是可能的。
图3以示意图示出了根据本发明的光场相机1的第二实施例。
在图3中示出的实施例中，相机阵列3具有固定位置，而主相机2可以沿x、y和z方向移动。在另一实施例中，主相机2固定，而相机阵列3可以沿x、y和z方向移动。在另一实施例中，相机3可以沿x和y方向移动，而主相机2可以沿y方向移动。
在所有这些配置中，反射镜5可选地可移动，使得相机阵列具有关于场景的直接视图，而没有反射镜对光的任何反射或损失。在另一实施例中，相机阵列3和主相机2的位置可以互换。
在又一实施例中，消除一些机械调整可能性，以便简化支架的构造。例如，在图3中，主相机2的位置可能是固定的，阵列的位置可能是固定的，或者阵列和主相机2二者可能具有固定位置。
图4以示意图示出了处理单元6和后处理单元16的第一实施例。
根据本发明的优选实施例，处理单元6包括：矫正模块8，配置为通过使用特征点或棋盘，同时矫正副数字二维图像SDIaa…SDIce集合中的副数字二维图像SDIaa…SDIce以及主数字二维图像PDI，以便产生经矫正的副数字二维图像RSDIaa…RSDIce的集合和经矫正的主数字二维图像RPDI。
根据本发明的优选实施例，处理单元6包括：深度信息计算模块9，配置为基于经矫正副数字二维图像RSDIaa…RSDIce集合，计算针对副相机4aa…4ce中每一个的深度信息DIMaa…DIMce。
根据本发明的优选实施例，处理单元6包括：深度翘曲模块10，配置为将视差图DIMaa...DIMce中的每一个翘曲到经矫正主数字二维图像RPDI的位置，以便产生针对主数字二维图像PDI的或针对与主数字二维图像PDI相对应的数字二维图像RPDI的深度信息DM。
根据本发明的优选实施例，光场相机1包括后处理单元16，后处理单元16包括主图像翘曲模块13，配置为通过使用深度信息DM将经矫正主数字二维图像RPDI翘曲为与主相机2的虚拟相机位置相对应的翘曲的经矫正主数字二维图像WRPDI。
根据本发明的优选实施例，后处理单元16包括副图像翘曲模块14，配置为将经矫正副数字二维图像RSDIaa…RSDIce中的每一个翘曲成与翘曲的经矫正主二维图像WRPDI的位置相对应的翘曲的经矫正副二维数字图像WRSDIaa…WRSDIce。
根据本发明的优选实施例，后处理单元16包括去遮挡填充模块11，配置为利用从翘曲的经矫正副数字二维图像WRSDIaa…WRSDIce聚集的信息，填充翘曲的经矫正主数字二维图像WRPDI中的去遮挡，以便产生增强的数字二维输出图像EOI。
首先，相机阵列3的图像SDIaa…SDIce需要进行矫正，以便确保对应像素位于相同行或列中。通过如SIFT或SURF之类的方法检测到的特征点使得能够推导出所谓的单应矩阵(homography)[P3，18]。应用到输入图像SDIaa…SDIce，这些单应矩阵可以变换为使得对应像素近似位于一行(对于水平放置的相机)或一列(对于竖直放置的相机)中。可以在影响相机4aa…4ce的机械对准的大移动风险的情况下，连续执行单应矩阵的确定。否则，单应矩阵可以在序列开始处确定，然后应用到序列中随后的所有图像SDIaa…SDIce。在该方法的情况下，代替特征点检测，棋盘可以用于校准。
在主相机2和相机阵列3的精确机械调整的情况下，对单应矩阵的确定可以直接包括相机阵列3的所有副相机4aa…4ce以及主相机2。换言之，特征检测器收集相机阵列3的副相机4aa…4ce和主相机2二者中的特征点。然后将这些特征注入用于计算单应矩阵的算法，每个相机2、4aa…4ce一个单应矩阵。应用到输入图像PDI、SDIaa…SDIce导致对应像素位于相同行或列。
注意，在相机阵列3和主相机的分辨率不匹配的情况下，单应矩阵需要包括对应的缩放项，将副相机4aa…4ce上采样到与主相机2相同的分辨率。此外，必须注意到，如SIFT和SURF之类的特征检测器对于照度改变是鲁棒的，使得主相机2和副相机4aa…4ce的不同质量不会造成主要困难。
在该情境中，重要的是明了在矫正处理期间应用的单应矩阵可以相对于相机的光学枢轴转动点旋转图像。为此，理想地，所有相机的所有光学枢轴转动点应当位于规则的二维网格中。否则，使用单应矩阵的理想矫正是不可能的。
图5以示意图示出了处理单元6和后处理单元16的第二实施例。
根据本发明的优选实施例，处理单元6包括：矫正模块12，配置为通过使用特征点或棋盘，矫正副数字二维图像SDIaa…SDIce集合中的副数字二维图像SDIaa…SDIce，以便产生经矫正的副数字二维图像RSDIaa...RSDIce的集合。
根据本发明的优选实施例，处理单元6包括：深度信息计算模块9，配置为基于经矫正副数字二维图像RSDIaa...RSDIce集合，计算针对副相机4aa…4ce中每一个的深度信息DIMaa…DIMce。
根据本发明的优选实施例，处理单元6包括：深度翘曲模块10，配置为将深度信息DIMaa…DIMce中的每一个翘曲到主数字二维图像PDI的位置，以便产生针对主数字二维图像PDI的或针对与主数字二维图像PDI相对应的数字二维图像RPDI的深度信息DM。
不幸地，实际上主相机2的位置极有可能偏离该理想网格位置。原因在于主相机2与相机阵列3的副相机4aa…4ce相比具有不同光学器件和尺寸。解决该问题是图5实施例的目的。
在两级矫正中，首先独立于主相机2矫正相机阵列3的所有图像SDIaa…SDIce。此外，通过识别在主相机2和相机阵列3的副相机4aa…4ce中均可以看到的特征点，可以计算主相机2的画面PDI相对于相机阵列3的副相机4aa…4ce的经矫正画面RSDIaa...RSDIce的位置。
接着，可以通过利用对应像素位于相同行或列中，针对相机阵列3的每个相机4aa…4ce计算深度信息DIMaa...DIMce。注意，在该处理中不考虑主相机2。
一旦深度信息DIMaa...DIMce已知，接下来的任务在于将这些深度信息DIMaa…DIMce翘曲到主相机2的位置和取向，对于主相机2，迄今为止无深度信息可用。
翘曲深度信息DIMaa...DIMce可以包括沿x、y和z方向的移位以及偏离(sheering)、旋转和缩放操作。此外，如果主相机2和副相机4aa…4ce表现出明显不同的透镜失真，则需要考虑这些透镜失真，或者在翘曲图像之前校正这些透镜失真。
图6示出了与副相机4aa…4ce的光轴OAaa…OAce垂直的副相机4aa…4ce之一的相机视角的翘曲。
图6解释了水平或竖直方向的相机视角的翘曲。给出两个副相机4aa和4ba。每个相机4aa、4ba具有关联的经矫正图像RSDiaa、RSDIba以及关联的深度信息DIMaa、DIMba。
每个像素的视差值(disparity value)d依赖于物体的距离dx和相机间距离s：
d～s/dx
副相机4aa的经矫正图像的所有像素的视差值d形成包含深度信息DIMaa的所谓视差图。
不失一般性，取s＝1可以对视差值d进行归一化。已知视差值d等于两个对应像素之间的距离，沿着两个相机之间连接线的翘曲是直接的：副相机4aa的经矫正图像的每个像素需要移位d/s·s’＝d·s′，以便获得中间虚拟相机IVC会观察到的视图。
类似地，可以对相机4ab的包含深度信息DIMab的视差图进行翘曲，使得该视差图对应于针对中间虚拟相机IVC会获得的视图。
类似地，可以对相机4ba的包含深度信息DIMba的视差图进行翘曲，使得该视差图对应于针对中间虚拟相机IVC会获得的视图。
这样，重点注意场景CN中并非对于中间虚拟相机IVC而言可见的所有部分对于副相机4aa也是可见的，这是由于所谓的遮挡(occlusion)。因此，当将相机4aa的图像或视差图翘曲到中间虚拟相机IVC的位置时，可能存在无信息可用的区域。
然而，在对象在副相机4ba中可见的情况下，将来自相机4aa和4ba的翘曲图像进行组合可以解决该问题。组合的相机越多，得到图像中剩余孔洞的概率就越小。
图7示出了沿副相机4aa…4ce的光轴OAaa…OAce的副相机4aa…4ce之一的相机视角的翘曲。
图7示出了与相机的光轴OA平行的x方向上的翘曲。图7示出了应当翘曲到具有不同z位置的目标虚拟相机TVC的两个物理相机4aa、4ba。遵照简单射线模型，对于目标虚拟相机TVC的每个像素而言，像素和中间虚拟相机可以识别为被相同射线隐藏。中间虚拟相机IVC位于物理相机4aa、4ba的平面中。因此，可以通过上述对应翘曲产生中间虚拟相机的图像。请注意，附图7示出了物理相机的线性阵列，但是当对二维图像进行翘曲时需要物理相机的完整二维网格，以便处理出现的去遮挡(deocclusion)。
通过这些方式，因此能够产生目标虚拟相机TVC的视差图，目标虚拟相机TVC的光学枢轴转动点与主相机2的光学枢轴转动点匹配。对主相机2的RGB图像应用单应矩阵并且缩放视差图，使得它们逐像素匹配。必须注意，可以应用超分辨率算法，以便补偿由于翘曲和缩放引起的分辨率损失。
因此，即使没有理想地机械对准，也可以基于相机阵列3的数据，计算针对主相机2的正确深度信息。
图8示出了主相机2a的相机视角导致的遮挡。
一旦针对主相机2a的深度信息DM可用，大量图像处理操控是可能的。作为示例，在下文中说明竖直主相机图像的合成。
如上所述，图像的视差图的存在允许将该图像翘曲到不同的x、y和z位置。因此这对于主相机图像也是可能的。然而，这样的翘曲在所选虚拟相机位置应当“看到”主相机2a不可见的物体或者物体细节的情况下可能引起去遮挡。
图8示出了对应的问题。假定仅相机2a可用于产生所示虚拟相机图像，在虚拟相机中不能正确重构整个阴影区域。另一方面相机2b的存在可以容易地提供该信息。
因此，根据经验，虚拟相机应当仅在现有的物理相机之间移动。此外，前景和背景物体之间的视差差异不应太大。转换到虚拟主相机VC的问题，必须要多于一个主相机2a，2b以实现足够的图像质量。然而，这由于成本原因而不可行。
因此，在本发明中，发明人提出了利用相机3的图像填充出现的去遮挡。尽管相机阵列3与主相机2相比表现出较低的图像质量，但是这不会引起主要困难，原因在于去遮挡典型地具有相当小的扩展。此外，可以将相机阵列3的所有图像翘曲到与主相机2相同的位置。通过比较可用于主相机2和相机阵列3的副相机二者的像素，可以识别标准相机中的质量缺陷，并且全局或局部地补偿它们。
补偿策略包括主相机2和相机阵列3的直方图匹配[1]。
图9以示意图示出了处理单元6和后处理单元16的第三实施例。
如图4中的实施例，处理单元6包括：矫正模块8，配置为通过使用特征点或棋盘，同时矫正副数字二维图像SDIaa…SDIce集合中的副数字二维图像SDIaa…SDIce以及主数字二维图像PDI，以便产生经矫正的副数字二维图像RSDIaa…RSDIce的集合和经矫正的主数字二维图像RPDI。
根据本发明的优选实施例，处理单元6包括：深度信息计算模块15，配置为基于经矫正副数字二维图像RSDIaa…RSDIce集合和经矫正主图像RPDI，计算每个副相机4aa…4ce的深度信息DIMaa…DIMce和主相机2的深度信息DM。
根据一些实现方式要求，本发明的实施例可以以硬件或软件来实现。实现方式可以使用其上存储有电子可读控制信号的数字存储介质(例如，软盘、DVD、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行，这些电子可读控制信号与(或者能够与)可编程计算机系统协作，使得执行相应方法。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，这些电子可读控制信号能够与可编程计算机系统协作，使得执行本文描述的方法之一。
一般地，本发明的实施例可以实现为具有程序代码的计算机程序产品，程序代码可操作为当计算机程序产品运行在计算机上时执行方法之一。程序代码例如可以存储在机器可读载体上。
其他实施例包括用于执行本文描述的方法之一的计算机程序，计算机程序存储在机器可读载体或非暂时存储介质上。
换言之，本发明方法的实施例因此是具有程序代码的计算机程序，当计算机程序在计算机上运行时程序代码执行本文描述的方法之一。
因此本发明方法的另一实施例是数据载体(或数字存储介质或计算机可读介质)，数据载体包括、其上记录有用于执行本文描述的方法之一的计算机程序。
因此本发明方法的另一实施例是数据流或信号序列，表示用于执行本文描述的方法之一的计算机程序。例如，数据流或信号序列可以配置为经由数据通信连接(例如，经由互联网)传送。
另一实施例包括处理装置(例如，计算机或可编程逻辑器件)，配置或适合于执行本文描述的方法之。
另一实施例包括计算机，其上安装有用于执行本文描述的方法之一的计算机程序。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或所有功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以执行本文描述的方法之一。一般地，方法有利地由任何硬件装置来执行。
尽管以若干实施例描述了本发明，但是存在落在本发明范围内的备选、置换和等同物。还应当注意，存在实现本发明的方法和组成的许多备选方式。因此所附权利要求意在解释为包括落在本发明真实精神和范围内的所有这样的备选、置换和等同物。
参考文献：
专利文献：
[P1]US 2014/0098199A1，
[P2]US 2013/0021448A1
[P3]US 6，711，293B1
[P4]US 2014/0049536 A1
[P5]US7948515 B1
其他文献：
[1]Shapira D.，Avidan S.，Hel-Or Y.(2013)：“MULTIPLE HISTOGRAMMATCHING”，In Proceedings of The IEEE International Conference on ImageProcessing
[2]Fraunhofer HHI，“First Trifocal 3D film at NAB Show”，http：//www.hhi.fraunhofer.de/fields-of-competence/image-processing/news/news-article/article/first-trifocal-3d-film-at-nab-show.html
[3]Frederik Zilly，“Multi Camera Content Creation-New Technologies forNext Generation 3D”，Fraunhofer HHI，http：//www.hhi.fraunhofer.de/fields-of-competence/image-processing/solutions/capture/multi-camera-content-creation.html，accessed 27/01/2015
[4]Levoy，M.，Hanrahan，P.(1996).″Light Field Rendering″，Proc.ACMSIGGRAPH，ACM Press，pp.31-42.
[5]Gortler，S.J.，Grzeszczuk，R.，Szeliski，R.，Cohen，M.(1996).″TheLumigraph″，Proc.ACM SIGGRAPH，ACM Press，pp.43-54.
[6]Zilly，Frederik；Michael；Peter；Ziegler，Matthias；Keinert，Joachim；Foessel，Siegfried(2013).，，Lightfield Media Production Systemusing Sparse Angular Sampling“，Proceedings，SIGGRAPH′13ACM SIGGRAPH2013Posters
[7]Zilly，Frederik；Ziegler，Matthias；Keinert，Joachim；Michael；Foessel，Siegfried(2014).，，Computational Imaging for Stop-Motion animatedVideo Productions“，Proceedings，IBC2014Conference
[8]Georgiev，T.；Yu，Z.；Lumsdaine，A.&Goma，S.(2013).“Lytro cameratechnology：theory，algorithms，performance analysis”，In Proc.SPIE 8667，Multimedia Content and Mobile Devices
[9]Lytro，“Lytro Illum Camera”
[10]Bishop，T.E.&Favaro，P.(2012).“The light field camera：Extendeddepth of field，aliasing，and superresolution”，IEEE PAMI
[11]Wilburn，B.；Joshi，N.；Vaish，V.；Talvala，E.；Antunez，E.；Barth，A.；Adamas，A.；Horowitz，M.&Levoy，(2005).“M.High performance imaging using largecamera arrays”，ACM Trans.Graph.(Proe.SIGGRAPH)，24，765-776
[12]Marton，F.；Gobbetti，E.；Bettio，F.；Guitian，J.&Pintus，R.(2011).“Areal-time coarse-to-fine multiview capture system for all-in-focus renderingon a light-field display”，3DTV-CON，1-4
[13]Balogh，T.&Kovács，P.T.(2010).“Real-time 3D light fieldtransmission”，Proe.SPIE，772406：1-7
[14]Fehn，C.A(2003).，，3D-TV approach using depth-image-based rendering(DIBR)″，VIIP
[15]Zilly，F.(2012).“Multi-Camera Rectification using LinearizedTrifocal Tensor Proc.”，ICPR
[16]Keinert，J.；Wetzel，M.；M.；P.；Zilly，F.；M.；S.；Kaup，A.(2014).，，Cost-effective multi-camera array for high qualityvideo with very high dynamic range”，Proc.SPIE9023，Digital Photography X，90230Y
[17]Seitz，S.；Curless，B.；Diebel，J.；Scharstein，D.&Szeliski，R.(2006).，，AComparison and Evaluation of Multi-View Stereo Reconstruction Algorithms”，Proc.CVPR，1，519-528
[18]Herbert Bay，Tinne Tuytelaars and Luc Van Gool(2006).“SURF：SpeededUp Robust Features”，Proceedings of the 9th European Conference on ComputerVision，Springer Verlag
[19]http：//www.stereo-3d-info.de/stereo-rigs-und-professionelle-3drigs.html，accessed 27/01/2015
[20]Tauber，Z.，Li，Z.N.，&Drew，M.S.(2007).，，Review and preview：Disocclusion by inpaintingfor image-based rendering”.IEEE TRANSACTIONS ONSYSTEMS MAN AND CYBERNETICS PART C APPLICATIONS AND REVIEWS，37(4)，527.
[21]Zilly，F.；Riechert，C.；Muller，M.；Kauff，P.(2012).″Generation ofmulti-view video plus depth content using mixed narrow and wide baselinesetup，″3DTV-Conference：The True Vision-Capture，Transmission and Display of 3DVideo(3DTV-CON)，doi：10.1109/3DTV.2012.6365483
[22]Jeroen Van Baar(Disney Research Zurich).“Multi-Sensor FusionCam”，http：//www.disneyresearch.com/project/multi-sensor-fusioncam/，accessed 27/01/2015
附图标记：
1 光场相机
2 主相机
3 二维相机阵列
4 副相机
5 半透反射镜
6 处理单元
7 副相机组
8 矫正模块
9 深度信息计算模块
10 深度翘曲模块
11 去遮挡填充模块
12 矫正模块
13 主图像翘曲模块
14 副图像翘曲模块
15 深度信息计算模块
16 后处理单元
PDI 主数字二维图像
SC 场景
OA 副相机的光轴
SDI 副数字二维图像
LB 光束
FLB 第一部分光束
SLB 第二部分光束
DM 数字二维输出图像的深度信息
OAP 主相机的光轴
RSDI 经校正副数字二维图像
RPDI 经校正主数字二维图像
DIM 经校正副数字二维图像的深度信息
WRPDI 翘曲的经矫正主数字二维图像
WRSDI 翘曲的经矫正副二维数字图像
EOI 增强的数字二维输出图像
IVC 中间虚拟副相机
TVC 目标虚拟副相机
VC 虚拟主相机

Claims (26)

1.一种光场相机，用于捕获场景(SC)的多个视图，所述多个视图表示光场的采样，所述光场相机(1)包括：
主相机(2)，配置为捕获场景(SC)的主数字二维图像(PDI)；
二维相机阵列(3)，包括多个副相机(4aa...4ce)，其中副相机(4aa...4ce)中的每一个配置为捕获场景(SCI)的副数字二维图像(SDIaa...SDIce)，以便产生场景的副数字二维图像(SDIaa...SDIce)的至少一个集合；
半透反射镜(5)，布置为使得源自场景(SC)的入射光束(LB1，LB2，LB3)被拆分成第一部分光束(FLB1，FLB2，FLB3)和第二部分光束(SLB1，SLB2，SLB3)，第一部分光束被引导至主相机(2)，第二部分光束被引导至相机阵列(3)；以及
处理单元(6)，配置为接收主数字二维图像(PDI)和该至少一个副数字二维图像(SDIaa...SDIce)集合，并配置为基于该副数字二维图像(SDIaa...SDIce)集合，计算针对主数字二维图像(PDI)的或针对与主数字二维图像(PDI)相对应的数字二维图像(RPDI)的深度信息(DM)。
2.根据权利要求1所述的光场相机，其中主相机(2)满足以下条件中的至少一个：具有比副相机(4aa...4ce)高的分辨率，具有比副相机(4aa...4ce)好的颜色再现质量，具有比副相机(4aa...4ce)宽的动态范围，具有比副相机(4aa...4ce)大的信噪比，具有比副相机(4aa...4ce)高的位深度。
3.根据权利要求1所述的光场相机，其中主相机(2)的主物镜具有比副相机(4aa...4ce)的副物镜少的失真。
4.根据权利要求1所述的光场相机，其中处理单元(6)配置为仅基于副数字二维图像(SDIaa...SDIce)集合以及主相机(2)相对于副相机(4aa...4ce)的位置，计算针对与主数字二维图像(PDI)相对应的数字二维输出图像(OI)的深度信息(DM)。
5.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)具有实质上平行的光轴(OAaa，OAba，OAca)。
6.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)具有相同的光和/或电特性。
7.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)按照格状方式布置。
8.根据权利要求1所述的光场相机，其中主相机(2)、相机阵列(3)和半透反射镜(5)安装到支架。
9.根据权利要求7所述的光场相机，其中支架包括用于调整主相机(2)的光轴(OAP)与副相机(4aa...4ce)之一的光轴(OAba)的交叉点的机械调整装置。
10.根据权利要求7所述的光场相机，其中支架包括用于补偿从场景(SC)到主相机(2)的光路长度与从场景(SC)到相机阵列(3)的光路长度之间的差异的机械调整装置。
11.根据权利要求7所述的光场相机，其中支架包括用于相对于相机阵列(3)关于绕与副相机(4aa...4ce)的光轴(OAaa，OAba，OAca)平行的旋转轴旋转的角取向，调整主相机(2)关于绕与主相机(2)的光轴(OAP)平行的第一旋转轴旋转的角取向的机械调整装置。
12.根据权利要求7所述的光场相机，其中支架包括用于补偿从主相机(2)的光轴(OAP)到第一部分光束(FLB1，FLB2，FLB3)的角度与从第二部分光束(SLB1，SLB2，SLB3)到副相机(4aa...4ce)之一的光轴(OAaa，OAba，OAca)的角度之间的差异的机械调整装置。
13.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)配置为在主相机(2)捕获一个主数字二维图像(PDI)的同时捕获多个副数字二维图像(SDIaa...SDIce)集合，其中每个副数字二维图像(SDIaa...SDIce)集合具有与其他副数字二维图像(SDIaa...SDIce)集合不同的曝光设置，并且其中处理单元(6)配置为基于该多个副数字二维图像(SDIaa...SDIce)集合，计算深度信息(DM)。
14.根据权利要求1所述的光场相机，其中副相机(4aa...4ce)组合成组(7a，7b，7c)，其中每一组(7a，7b，7c)配置为产生场景(SC)的副数字二维图像(SDIaa...SDIce)集合的子集，其中每个副相机(SDIaa...SDIce)具有与相同组(7a，7b，7c)内的其他副相机(SDIaa...SDIce)相同的曝光设置，而具有与其他组(7a，7b，7c)内的副相机(SDIaa...SDIce)不同的曝光设置。
15.根据权利要求1所述的光场相机，其中处理单元(6)包括：矫正模块(8)，配置为通过使用特征点或棋盘，同时矫正副数字二维图像(SDIaa...SDIce)集合中的副数字二维图像(SDIaa...SDIce)以及主数字二维图像(PDI)，以便产生经矫正的副数字二维图像(SDIaa...SDIce)的集合和经矫正的主数字二维图像(RPDI)。
16.根据权利要求14所述的光场相机，其中处理单元(6)包括：深度信息计算模块(9)，配置为基于经矫正副数字二维图像(RSDIaa...RSDIce)集合，计算针对副相机(4aa...4ce)中每一个的深度信息(DIMaa...DIMce)。
17.根据权利要求15所述的光场相机，其中处理单元(6)包括：深度翘曲模块(10)，配置为将深度信息(DIMaa...DIMce)中的每一个翘曲到经矫正主数字二维图像(RPDI)的位置，以便产生针对主数字二维图像(PDI)的或针对与主数字二维图像(PDI)相对应的数字二维图像(RPDI)的深度信息(DM)。
18.根据权利要求1所述的光场相机，其中处理单元(6)包括：矫正模块(12)，配置为通过使用特征点或棋盘，矫正副数字二维图像(SDIaa...SDIce)集合中的副数字二维图像(SDIaa...SDIce)，以便产生经矫正的副数字二维图像(RSDIaa...RSDIce)的集合。
19.根据权利要求17所述的光场相机，其中处理单元(6)包括：深度信息计算模块(9)，配置为基于经矫正副数字二维图像(RSDIaa...RSDIce)集合，计算针对副相机(4aa...4ce)中每一个的深度信息(DIMaa...DIMce)。
20.根据权利要求18所述的光场相机，其中处理单元(6)包括：深度翘曲模块(10)，配置为将视差图(DIMaa...DIMce)中的每一个翘曲到主数字二维图像(PDI)的位置，以便产生针对主数字二维图像(PDI)的或针对与主数字二维图像(PDI)相对应的数字二维图像(RPDI)的深度信息(DM)。
21.根据权利要求14所述的光场相机，其中处理单元(6)包括深度信息计算模块(15)，配置为基于经矫正副数字二维图像(RSDIaa...RSDIce)集合和经矫正主图像(PRDI)，计算针对每个副相机(4aa...4ce)的深度信息(DIMaa...DIMce)和针对主相机(2)的深度信息(DM)。
22.根据权利要求14所述的光场相机，其中光场相机(1)包括后处理单元(16)，后处理单元(16)包括：主图像翘曲模块(13)，配置为通过使用深度信息(DM)将经矫正主数字二维图像(RPDI)翘曲为与主相机(2)的虚拟相机位置相对应的翘曲的经矫正主数字二维图像(WRPDI)。
23.根据权利要求21所述的光场相机，其中后处理单元(16)包括：副图像翘曲模块(14)，配置为将经矫正副数字二维图像(RSDIaa...RSDIce)中的每一个翘曲成与翘曲的经矫正主二维图像(WRPDI)的位置相对应的翘曲的经矫正副二维数字图像(WRSDIaa...WRSDIce)。
24.根据权利要求22所述的光场相机，其中后处理单元(16)包括：去遮挡填充模块(11)，配置为利用从翘曲的经矫正副数字二维图像(WRSDIaa...WRSDIce)聚集的信息，填充翘曲的经矫正主数字二维图像(WRPDI)中的去遮挡，以产生增强的数字二维输出图像(EOI)。
25.一种用于捕获场景(SC)的多个视图的方法，所述多个视图表示光场的采样，所述方法包括以下步骤：
使用主相机(2)捕获场景(SC)的主数字二维图像(PDI)；
使用包括多个副相机(4aa...4ce)的二维相机阵列(3)，产生场景(SC)的副数字二维图像(SDIaa...SDIce)的至少一个集合，其中，副相机(4aa...4ce)中的每一个配置为捕获场景(SC)的副数字二维图像(SDIaa...SDIce)；
提供半透反射镜(5)，半透反射镜(5)布置为使得源自场景(SC)的入射光束(LB1，LB2，LB3)被拆分成第一部分光束(FLB1，FLB2，FLB3)和第二部分光束(SLB1，SLB2，SLB3)，第一部分光束被引导至主相机(2)，第二部分光束被引导至相机阵列(3)；以及
使用处理单元(6)，接收主数字二维图像(PDI)和该至少一个副数字二维图像(SDIaa...SDIce)集合，并且基于该副数字二维图像(SDIaa...SDIce)集合，计算针对主数字二维图像(PDI)的或针对与主数字二维图像(PDI)相对应的数字二维图像(RPDI)的深度信息(DM)。
26.一种计算机程序，用于在计算机或处理器上运行时执行权利要求25所述的方法。
CN201610084524.2A 2015-02-12 2016-02-14 光场相机 Active CN105898282B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15154934 2015-02-12
EP15154934.2 2015-02-12

Publications (2)

Publication Number Publication Date
CN105898282A true CN105898282A (zh) 2016-08-24
CN105898282B CN105898282B (zh) 2018-05-29

Family

ID=52472212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610084524.2A Active CN105898282B (zh) 2015-02-12 2016-02-14 光场相机

Country Status (3)

Country Link
US (1) US10511787B2 (zh)
EP (1) EP3057317B1 (zh)
CN (1) CN105898282B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266922A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 摄像头模组以及电子设备
CN112040203A (zh) * 2020-09-02 2020-12-04 Oppo（重庆）智能科技有限公司 计算机存储介质、终端设备、图像处理方法及装置
CN117615257A (zh) * 2024-01-18 2024-02-27 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792511B2 (en) 2015-03-21 2023-10-17 Mine One Gmbh Camera system utilizing auxiliary image sensors
US10038887B2 (en) * 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
EP3099076B1 (en) * 2015-05-29 2019-08-07 InterDigital CE Patent Holdings Method for displaying a content from 4d light field data
US9998692B1 (en) * 2015-06-26 2018-06-12 The United States Of America As Represented By The Secretary Of The Navy Motion picture high dynamic range imaging
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
CN110520768B (zh) 2017-06-05 2021-10-22 上海科技大学 高光谱光场成像方法和系统
CN111465885A (zh) * 2017-09-26 2020-07-28 巴里大学 用于对标准图像和全光图像的同时捕捉的设备和过程
US11057573B2 (en) * 2017-12-20 2021-07-06 Texas Instruments Incorporated Multi camera image processing
EP3553590A1 (de) 2018-04-13 2019-10-16 Deutsche Telekom AG Vorrichtung und verfahren zur aufzeichnung, übertragung und räumlichen rekonstruktion von bildern dreidimensionaler objekte
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
CN109410345A (zh) * 2018-10-15 2019-03-01 四川长虹电器股份有限公司 基于Unity3D的目标光场创建方法
EP4018645A4 (en) * 2019-08-20 2023-08-16 Mine One GmbH CAMERA SYSTEM USING AUXILIARY IMAGE SENSORS
EP4162440A1 (en) * 2020-06-09 2023-04-12 InterDigital VC Holdings France, SAS Local light field flow as an alternative to plane-sweep volumes
CN116528052B (zh) * 2023-04-14 2024-05-31 北京拙河科技有限公司 一种增加高速运动下光场相机曝光精度的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2133726A1 (en) * 2008-06-10 2009-12-16 THOMSON Licensing Multi-image capture system with improved depth image resolution
US20140063332A1 (en) * 2012-09-04 2014-03-06 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
US20140198187A1 (en) * 2013-01-15 2014-07-17 Disney Enterprises, Inc. Camera with plenoptic lens

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
DE10301941B4 (de) * 2003-01-20 2005-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kamera und Verfahren zur optischen Aufnahme eines Schirms
US20050265633A1 (en) * 2004-05-25 2005-12-01 Sarnoff Corporation Low latency pyramid processor for image processing systems
EP2180362A4 (en) * 2007-10-02 2011-03-30 Nikon Corp LIGHT RECEIVING DEVICE, FOCUS DETECTION DEVICE AND IMAGING APPARATUS
WO2009073950A1 (en) * 2007-12-13 2009-06-18 Keigo Izuka Camera system and method for amalgamating images to create an omni-focused image
US7948515B1 (en) 2009-06-05 2011-05-24 Hines Stephen P Mini 3-D camera rig
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US20130021448A1 (en) 2011-02-24 2013-01-24 Multiple Interocular 3-D, L.L.C. Stereoscopic three-dimensional camera rigs
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
US8957892B2 (en) 2012-08-20 2015-02-17 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
JP6305053B2 (ja) * 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US8866912B2 (en) * 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9679360B2 (en) * 2013-05-10 2017-06-13 Trustees Of Princeton University High-resolution light-field imaging
US10007109B2 (en) * 2013-06-20 2018-06-26 The University Of North Carolina At Charlotte Wavelength discriminating imaging systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2133726A1 (en) * 2008-06-10 2009-12-16 THOMSON Licensing Multi-image capture system with improved depth image resolution
US20140063332A1 (en) * 2012-09-04 2014-03-06 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
US20140198187A1 (en) * 2013-01-15 2014-07-17 Disney Enterprises, Inc. Camera with plenoptic lens

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENNETT WILBURN ET AL: "High performance imaging using large camera arrays", 《ACM TRANSACTIONS ON GRAPHICS》 *
ZILLY F ET AL: "Computational imaging for stop-motion animated video productions", 《IBC 2014 CONFERENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266922A (zh) * 2019-06-28 2019-09-20 Oppo广东移动通信有限公司 摄像头模组以及电子设备
CN112040203A (zh) * 2020-09-02 2020-12-04 Oppo（重庆）智能科技有限公司 计算机存储介质、终端设备、图像处理方法及装置
CN117615257A (zh) * 2024-01-18 2024-02-27 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备
CN117615257B (zh) * 2024-01-18 2024-04-05 常州微亿智造科技有限公司 一种成像方法、装置、介质及设备

Also Published As

Publication number Publication date
US20160248987A1 (en) 2016-08-25
CN105898282B (zh) 2018-05-29
US10511787B2 (en) 2019-12-17
EP3057317A1 (en) 2016-08-17
EP3057317B1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
CN105898282B (zh) 光场相机
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
Wanner et al. Generating EPI representations of 4D light fields with a single lens focused plenoptic camera
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
EP2715669A1 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3d display
CN101872491A (zh) 基于光度立体的自由视角重光照方法和系统
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN115578296B (zh) 一种立体视频处理方法
Gul et al. A high-resolution high dynamic range light-field dataset with an application to view synthesis and tone-mapping
CN111064945B (zh) 一种裸眼3d图像采集及生成方法
CN105657268A (zh) 一种基于多分辨率的多视点视频拼接融合算法
Ziegler et al. Multi-camera system for depth based visual effects and compositing
Knorr et al. A modular scheme for artifact detection in stereoscopic omni-directional images
Goldlücke et al. Plenoptic Cameras.
Kurillo et al. Geometric and color calibration of multiview panoramic cameras for life-size 3D immersive video
Zhu et al. Breaking the spatio-angular trade-off for light field super-resolution via lstm modelling on epipolar plane images
TWI504936B (zh) 影像處理裝置
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
Orozco et al. HDR multiview image sequence generation: Toward 3D HDR video
Xie et al. Calibration and target signal-to-noise ratio enhancement method of infrared camera array based on refocus
Yu et al. Dynamic depth of field on live video streams: A stereo solution
Hwang et al. P‐73: Lenticular Lens Parameter Estimation Using Single Image for Crosstalk Reduction of Three‐Dimensional Multi‐View Display
Yu et al. Racking focus and tracking focus on live video streams: a stereo solution
Zilly Method for the automated analysis, control and correction of stereoscopic distortions and parameters for 3D-TV applications: new image processing algorithms to improve the efficiency of stereo-and multi-camera 3D-TV productions
Orozco et al. Multiview HDR video sequence generation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant