CN102959945A - 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统 - Google Patents

根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统 Download PDF

Info

Publication number
CN102959945A
CN102959945A CN2011800325436A CN201180032543A CN102959945A CN 102959945 A CN102959945 A CN 102959945A CN 2011800325436 A CN2011800325436 A CN 2011800325436A CN 201180032543 A CN201180032543 A CN 201180032543A CN 102959945 A CN102959945 A CN 102959945A
Authority
CN
China
Prior art keywords
image
image pick
virtual
pick
device position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800325436A
Other languages
English (en)
Other versions
CN102959945B (zh
Inventor
H.A.W.施梅茨
F.J.德布瑞恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102959945A publication Critical patent/CN102959945A/zh
Application granted granted Critical
Publication of CN102959945B publication Critical patent/CN102959945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

在用于提供来自图像捕捉设备阵列的虚拟输出图像的方法和系统中，从设备（C1，C2）取得图像数据（I1(s,t)，I2(s,t)）。该图像数据通过下述操作来处理：把图像数据与诸如路径（S）之类的函数卷积，以及此后把它们在求和（SUM）之后或者之前与和其等效的反向点扩散函数（IPSF）或滤波器（HP）反卷积以产生全聚焦图像数据（I0(s,t)）。

Description

根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统
技术领域
本发明涉及根据通过图像捕捉设备（其用于从不同视点捕捉多个单独图像）的阵列提供的各个输入图像的输入图像数据产生虚拟输出图像的输出图像数据的方法，该方法包括基于场景中多个深度层、各个输入图像的相应像素值的相加和反向过滤。
本发明还涉及根据通过图像捕捉设备的阵列获得的输入图像来构建虚拟输出图像的系统，该系统包括用于从不同视点捕捉图像的图像捕捉设备的阵列，其中该系统包括用于从阵列的图像捕捉设备捕捉图像数据的装置，所述系统包括用于基于场景中多个深度层、各个输入图像的相应像素值的相加和反向过滤的装置。
背景技术
图像捕捉设备能够捕捉图像。典型的图像捕捉设备是摄像器，包括透镜和透镜后方的图像传感器。透镜前方对象的图像由透镜投影在图像传感器上。如此产生的图像具有有限的景深，以及仅提供来自一个视点的图像中对象的信息。透镜的光圈制约图像中可以提供的空间分辨率。
已知可以通过提供包括图像捕捉设备阵列的系统减少这些问题中的至少一些。
这种系统的实例是所谓的全光摄像器。全光摄像器（也称为光场摄像器）是使用微透镜阵列（也称为透镜状透镜阵列）捕捉关于场景的光场信息的摄像器。微透镜阵列位于透镜与图像传感器之间。微透镜阵列向图像传感器上重新聚焦透镜捕捉的光，从而创建从略微不同的视点取得的许多小图像，这些图像通过软件操控以提取深度信息。小图像中每一个具有相对较低的空间分辨率。通过微透镜阵列的微透镜中的一个捕捉小图像的微透镜阵列后方传感器的每个部分本身形成图像捕捉设备。因而，全光摄像器是或充当包括图像捕捉设备阵列的系统。
基于通过全光摄像器捕捉的数据，可以在特定平面上数字地重新聚焦。例如在NG等人的Stanford Tech Report CTSR 2005－02，第1－11页，“Light Field Photography with a Hand-held Plenoptic Camera”中解释了此内容。然而，虽然在单个平面上重新聚焦是可能的，但如此所得图像的景深很有限。难以产生扩展景深图像。在Stanford Tech Report CTSR 2005－02的第6页，右侧栏，最后一段上，Ng等人已经通过重新聚焦多个深度处的光场并随后应用数字合成照片技术产生虚拟输出图像进行了实验。在数字合成照片技术中应用两个技术：图形切割优化，用以选取构成图像内的良好接缝以使得可以尽可能无缝地组合它们；以及梯度域融合，基于泊松方程的过程，用以进一步减少复合体中的任何剩余可见伪影。基本上合成照片技术是切割和经过（cut-and-past）技术，各种深度处各种图像的焦点中像素被组合以产生虚拟输出图像。通常所得虚拟输出图像的质量取决于使用估计的深度图以便获知哪些像素在焦点中。Ng等人还通过提取单个子光圈图像而产生了扩展景深，但是此技术导致相当嘈杂的图像。
然而，所得图像相当嘈杂和/或需要用户的主动作用。
Visual Communications and Image Processing，Proc. of SPIE-IS&T Electronic Imaging，SPIE第6508卷中Akira Kubota、Kazuya Kodama和Yohisnori Hatori的“View Interpolation by Inverse Filtering: Generating the Center View using Multiview images of Circular Camera Array”中公开了一种开始段落的方法和系统。
在此文章中描述了在圆上布置的摄像器阵列的中心处重构虚拟输出图像的方法。总的来说，统计（aal）在针对多个深度层从阵列中的摄像器获得的输入图像的相应像素值，创建候选图像并通过候选图像的反向过滤重构虚拟输出图像。此方法的优点是并非必须预先获知深度信息。
然而已知系统仅具有有限的可能性并且特别是在交互式系统中不提供现实的仿真成像。
发明内容
本发明的目的是提供具有增加的可能性的方法和系统。
为此，根据本发明的方法的特征在于，通过表示虚拟摄像器位置的输入虚拟摄像器位置信号提供虚拟摄像器位置，以及依据虚拟摄像器位置执行相加和反向过滤以产生如从虚拟摄像器位置所见的虚拟输出图像的图像数据。
在已知系统和方法中虚拟摄像器位置固定在圆形摄像器阵列的中心处并且产生的图像是来自圆形阵列的所述中心的图像。发明人认识到了使用虚拟摄像器位置的信号并依据虚拟摄像器位置的信号的相加和反向过滤允许更现实的模拟成像，特别是在交互式系统中。这允许例如真正的眼对眼接触仿真，这对现有方法和系统而言是不可能的。
在实施例中相加和反向过滤包括以下方法步骤：
根据各个图像的输入图像数据构建在多个深度处多个合成聚焦的图像的图像数据，
把各种深度处多个合成聚焦的图像的图像数据相加以形成积分的模糊图像的图像数据，以及此后
使用反向点扩散函数对积分的模糊图像反卷积以便根据各个图像的输入图像数据产生虚拟输出图像的图像数据。
点扩散函数是通过对重新聚焦图像的栈积分来表示由于图像中的像素所致的预期模糊的函数。
乍看上去，产生模糊积分图像似乎适得其反。通过把多个重新聚焦图像相加（由于积分意味着相加）形成积分图像，每个重新聚焦图像是特定景深处的重新聚焦图像。下面用于这种积分图像的另一表示是焦点栈的积分。栈是多个图像；焦点栈是每个图像在特定景深处的图像的栈。积分意味着把图像的焦点栈相加在一起。特定景深处的任何重新聚焦图像将会具有在焦点中的图像的一些部分，即，位于特定景深处的那些部分。图像中对象的其它部分将会不在焦点中因而模糊。如果把多个这种重新聚焦图像相加在一起，则所得积分图像将会严重模糊。因而，由于该步骤导致非常模糊的积分图像，所以此步骤似乎会适得其反。
然而，除了积分之外，该方法还提供点扩散函数（即，提供点的模糊图像的函数）的使用和使用此点扩散函数、或者更精确地反向点扩散函数来对重新聚焦图像的积分栈进行反卷积。
在获知点扩散函数的情况下，可以对积分图像反卷积并得到景深范围上焦点中的每个像素。结果是扩展景深的图像。虚拟摄像器位置的输入允许图像的查看点是灵活的，从而允许从各种有利点的查看。
不需要具有图像的深度模型；不需要用于切割和经过方法的复杂算法。点扩散函数对于取得的所有图像而言基本上相同。这些优点提供较高质量的图像。
在实施例中，该方法包括：
a 对于多个深度，与在特定图像捕捉设备的位置与虚拟摄像器位置之间的距离成比例地、并依据特定深度移位图像捕捉设备提供的各个输入图像，以把各输入图像对齐到虚拟摄像器位置，且然后
b. 把每个深度处移位的图像的图像数据相加在一起以形成多个深度处合成聚焦的图像的图像数据，
c 把多个合成聚焦的图像相加以形成积分模糊图像，
d. 通过积分对像素的预期模糊内核而生成点扩散函数，
e. 使用点扩散函数的反向点扩散函数，对积分模糊图像反卷积，以便产生由输入虚拟摄像器位置信号提供的虚拟摄像器位置处虚拟输出图像的图像数据。
所得虚拟输出图像是自视点起的大景深（DoF）的图像。
注意，在本申请中提到“虚拟输出图像”的情况下参考虚拟输出图像的图像数据。通常通过把虚拟输出图像的图像数据发送给用于制造图像的设备（例如，显示设备或打印设备）制成虚拟输出图像本身，在此设备中使用图像数据寻址图像像素生成部分（如，LCD单元或打印头），以在例如显示屏幕上或在打印屏幕上产生图像。不排除在显示它或打印它之前对虚拟输出图像的图像数据进行后期处理（例如，以校正差错），以便用背景替换图像的一部分或使得数据更好地适合于将会向其呈现数据的设备。
此第一实施例提供基本解决方案。
然而，所需处理能力相对较大，这会特别是在实时应用中造成问题。
在第二实施例中方法包括以下方法步骤：
a. 生成阵列的每个图像捕捉设备针对虚拟摄像器位置的图像移位的投影路径，投影路径是平移脉冲响应函数的总和，以便在多个深度处使图像捕捉设备的图像与虚拟摄像器位置对准
b. 把各个图像与它们各自的投影路径卷积以形成卷积图像
c. 把卷积图像相加以形成积分模糊图像
d. 通过投影路径的积分生成点扩散函数
e. 使用点扩散函数的反向点扩散函数，对积分图像反卷积，以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据。
在此第二实施例的步骤c中提供的积分模糊图像对应于第一实施例中步骤c的积分图像，即，它对应于通过把各种深度处的多个合成聚焦的图像相加而产生的图像（即使尚未制造出全焦点栈本身）。
取代如在第一实施例中所进行的生成全焦点栈和随后积分，在第二实施例中把来自阵列图像捕捉设备的各图像与它们各自的投影路径卷积。步骤c的所得生成图像是与通过制造全焦点栈和随后对全焦点栈积分而生成的图像对应的图像。然而，根据第二实施例的方法相比于第一实施例而言大大减少了所需运算的量。第二实施例提供可替换、更少计算机能力需求的路线，通过对各种深度处重新聚焦图像的栈积分而产生图像所对应的提供图像。接下来的步骤（使用反向点扩散函数的反卷积）是第一和第二实施例这二者的一部分。因为第二实施例需要较少计算能力，所以它与这一点重要的系统或装备或状况特别相关。实时应用形成它们中的一个，因为图像之间的次数有限。真实眼对眼接触仿真系统是另一个，因为真实眼对眼接触仅在实时和在可以足够快速跟随眼睛移动的情况下（即，在可以快速改变虚拟摄像器位置的情况下）是可能的。另外，第二实施例在想要可选择在方法中涉及多少摄像器的状况中和/或在阵列内的摄像器将会故障的状况中非常有利。对各个图像卷积的事实允许更快的方法。
注意，第二实施例中相比于第一实施例而言计算的这种减少是可能的，因为像素位置的移位是深度以及特定图像捕捉设备与虚拟摄像器位置的视点之间距离的线性函数。与可以互换各种数学函数次序的见解结合的此见解允许发明人达成此更快的方法。
根据本发明方法的另一实施例特征在于：
a. 生成阵列的每个图像捕捉设备针对虚拟摄像器位置的图像移位的投影路径，投影路径是平移脉冲响应函数的总和以便在多个深度处将图像与虚拟摄像器位置对准
b. 通过投影路径的积分生成点扩散函数
c. 对于每个图像，把各自的投影路径与反向点扩散函数卷积
d. 把每个图像与路径和反向点扩散函数的卷积相卷积以便提供卷积图像
e. 把卷积图像相加以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据。
这是第二实施例的变型，其中，使可以互换各种数学运算的见解更进一步。
在进一步的实施例中，相加和反向过滤包括以下方法步骤：
a. 生成阵列的每个图像捕捉设备的图像移位的投影路径，该路径针对虚拟摄像器位置来确定，投影路径是平移脉冲响应函数的总和以便使在多个深度处的图像捕捉设备的图像对准虚拟摄像器位置
b. 把各摄像器图像与它们各自的投影路径卷积
c. 把每个图像捕捉设备的图像与和投影路径垂直的高通滤波器卷积，
d. 把卷积图像相加以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据。
高通滤波器补偿模糊，即，它具有与第一方面的第一和第二实施例中反向点扩散函数的应用对应的函数。
在进一步实施例的变型中，相加和反向过滤包括以下方法步骤：
a. 生成阵列的每个图像捕捉设备的图像移位的投影路径，针对虚拟摄像器位置确定该路径，投影路径是平移脉冲响应函数的总和以使在多个深度处的图像捕捉设备的图像与虚拟摄像器位置对准
b. 通过把它各自的投影路径与和它垂直的高通滤波器卷积来生成每个图像的卷积滤波器
c. 把各输入图像与如b中所生成的它们各自的滤波器卷积
d. 把卷积图像相加以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据。
在根据后两个实施例的方法中，在一些准确性的代价下，更加进一步减少所需计算能力。该方法可以被看作第一个提到的实施例的方法衍生物。
虽然可以使用具有固定参数的滤波器，但优选地高通滤波器具有的参数是投影路径的、特别是投影路径长度的函数。
可以通过全光摄像器执行本发明的方法。
扩展聚焦深度例如对于显微镜和数字病理学而言是很有用的。
单个获取可以涵盖大或甚至整个样本深度范围，以减少对例如显微镜中确切聚焦的需要。减少数据速率和采样时间。
也可以通过位于例如计算机屏幕周围的各摄像器的阵列执行本发明的方法。除了其他之外，这使得虚拟摄像器位置在屏幕表面内。对于计算能力的缩减需求简化了屏幕表面内虚拟视点的创建，使得实时执行它变得可能。
特别地，在利用各自包括在显示屏幕周围的图像捕捉设备阵列的两个交互系统时，本发明的方法揭露了已知方法未提供的可能性。通过使交互系统中的一个提供用于另一系统的虚拟摄像器位置的信号且反之亦然，真实性眼对眼接触仿真是可能的。使得虚拟摄像器位置的信号中的至少一个信号与坐在系统前方的人的眼睛位置重合允许这种真实性眼对眼接触仿真。
本发明也体现在包括用于执行本发明方法的程序代码装置的计算机程序中以及体现在包括存储在计算机可读介质上的程序代码装置的计算机程序产品中，用于在计算机上运行所述程序时执行本发明方法。
本发明还体现在根据由图像捕捉设备的阵列获得的输入图像构建输出图像的系统中，该系统包括用于从不同视点捕捉图像的图像捕捉设备的阵列，其中，该系统包括用于从阵列的图像捕捉设备捕捉图像数据的装置，该系统包括用于使各输入图像的相应像素值基于场景中多个深度层相加和反向过滤的装置，其特征在于，该系统包括用以通过表示虚拟摄像器位置的输入虚拟摄像器位置信号提供虚拟摄像器位置的装置，并且用于相加和反向过滤的装置被布置成作为选定虚拟摄像器位置的函数操作以产生由输入虚拟摄像器位置信号提供的虚拟摄像器位置处虚拟输出图像的图像数据。
在实施例中，用于相加和反向过滤的装置包括：
用于根据各图像的输入图像数据构建多个深度处多个合成聚焦的图像的图像数据的装置，
用于把各种深度处多个合成聚焦图像的图像数据相加以形成积分模糊图像的图像数据的装置，以及
用于使用反向点扩散函数对积分模糊图像反卷积以便根据各图像的输入图像数据产生虚拟图像的图像数据的装置。
在实施例中，该系统包括：
－ 用于对于多个深度而与特定图像捕捉设备的位置和虚拟摄像器位置之间的距离成比例地、并依据具体深度移位由图像捕捉设备提供的各输入图像以使各输入图像对准虚拟摄像器位置的装置，以及
用于把每个深度处经移位图像的图像数据相加在一起以形成多个深度处合成聚焦图像的图像数据的装置，
用于把多个合成聚焦图像相加以形成积分模糊图像的装置，
用于通过积分对像素的预期模糊内核来生成点扩散函数的装置，
用于使用点扩散函数的反向点扩散函数而对积分模糊图像反卷积以便产生由输入虚拟摄像器位置信号提供的虚拟摄像器位置处虚拟输出图像的图像数据的装置。
在实施例中，用于相加和反向过滤的装置包括：
用于生成阵列的每个图像捕捉设备针对虚拟摄像器位置的图像移位的投影路径的装置，投影路径S是平移脉冲响应函数的总和，以使在多个深度处图像捕捉设备的图像与虚拟摄像器位置对准，
用于把各图像与它们各自的投影路径卷积以形成卷积图像的装置，
用于把卷积图像相加以形成积分模糊图像的装置，
用于通过投影路径的积分生成点扩散函数的装置，
用于使用点扩散函数的反向点扩散函数对积分图像反卷积、以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据的装置。
在进一步的实施例中，用于相加和反向过滤的装置包括：
用于生成阵列的每个图像捕捉设备针对虚拟摄像器位置的图像移位的投影路径的装置，该投影路径是平移脉冲响应函数的总和，以使在多个深度处图像对准虚拟摄像器位置，
用于通过投影路径的积分生成点扩散函数的装置，
用于对于每个图像把各自的投影路径与反向点扩散函数卷积的装置，
用于把每个图像与路径和反向点扩散函数的卷积相卷积以便提供卷积图像的装置
用于把卷积图像相加以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据的装置。
在实施例中，用于相加和反向过滤的装置包括：
用于生成阵列的每个图像捕捉设备的图像移位的投影路径的装置，该路径相对于虚拟摄像器位置而被确定，投影路径是平移脉冲响应函数的总和以使在多个深度处图像捕捉设备的图像对准虚拟摄像器位置，
用于把各摄像器图像与它们各自的投影路径卷积的装置，
用于把每个图像捕捉设备的图像与和投影路径垂直的高通滤波器卷积的装置，
用于把卷积图像相加以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据的装置。
在实施例中，用于相加和反向过滤的装置包括：
用于生成阵列的每个图像捕捉设备的图像移位的投影路径的装置，该路径相对于虚拟摄像器位置而被确定，投影路径是平移脉冲响应函数的总和以便使在多个深度处图像捕捉设备的图像对准虚拟摄像器位置，
用于通过把它各自的投影路径与和它垂直的高通滤波器卷积而生成每个图像的卷积滤波器的装置，
用于把各输入图像与它们各自的滤波器卷积的装置，
用于把卷积图像相加以便产生由输入虚拟摄像器位置信号提供的竖直摄像器位置处虚拟输出图像的图像数据的装置。
优选地图像捕捉设备的阵列是显示屏幕周边处摄像器的阵列并且虚拟摄像器位置是显示屏幕处的点。
甚至更优选地，系统包括两个交互子系统，每个子系统包括显示屏幕周边处摄像器的阵列，并且系统中的一个的显示屏幕处的虚拟摄像器位置由系统中的另一个通过测量该另一系统的查看者的眼睛位置来确定。于是，真实性眼/对眼接触仿真是可能的。
在实施例中系统包括全光摄像器，全光摄像器包括图像捕捉设备的阵列。
阵列在实施例中被细分成两个或更多个子阵列。
附图说明
将通过实例和参照附图更详细地解释本发明的这些和进一步方面，其中
图1图释了光场中符号的一些定义
图2A和2B图释了通过主透镜和微透镜阵列的光路径
图3图释了把光场数据重新聚焦到合成图像平面
图4示意性地描绘了观测点P的摄像器阵列的顶视图
图5示出了具有观测点P的摄像器C 1的三维印象
图6图释了基于移位图像累加的合成重新聚焦的概念
图7提供了滤波器内核的图形描绘
图8示出了周边摄像器阵列的示意性前视图
图9给出了合成聚焦输出图像的计算的方框图
图10示出了合成聚焦输出图像的进一步计算的方框图
图11示出了其中借助摄像器的阵列采集的光场数据重新聚焦在鼻子（左方）和耳朵（右方）的图像
图12示出了利用估计的深度图创建全聚焦图像的尝试
图13示出了由于散焦所致的图像模糊
图14图释了经由改变传感器与透镜之间距离的扫射聚焦
图15图释了经由改变透镜L焦点长度的扫射聚焦
图16图释了模糊图
图17示出了有效系统模糊内核
图18示出了对数刻度上的所述内容
图19图释了模糊图
图20示出了有效系统模糊内核
图21示出了对数刻度上的所述内容
图22图释了扫射聚焦摄像器的内核的谱属性
图23示出了传统摄像器的所述内容
图24图释了扫射聚焦内核的反向滤波器的横截面
图25示出了与从标称对象平面向上（线A）至扫射幅度0.8（线B）的对象偏移对应的反向滤波器
图26示意性地描绘了具有四个摄像器的阵列的图像
图27图释了在各摄像器的位置上合成重新聚焦对输出图像的贡献的效果
图28示出了来源于合成聚焦扫射的输出图像
图29示出了12摄像器阵列的所得累加点扩散函数
图30图释了用于计算全聚焦图像的方框图
图31图释了滤波器内核
图32示出了方法的快速确切实施的方框图
图33示出了两个虚拟视点周围的12个摄像器位置的投影路径PP和相应的点扩散函数PSF
图34A至34B图释了根据本发明的多用户系统
图35图释了图32方案的变型
图36图释了在与各自路径S的卷积之后执行与高通滤波器（HP）的卷积的方框图
图37图释了本发明进一步的实施例
图38图释了按照本发明的方法的结果
图39提供了具有在显示屏幕周围16个摄像器的阵列的系统的印象。
这些图并非按比例绘制。通常，相同组件通过图中的同样附图标记来标注。
具体实施方式
光场概念的解释：
透镜平面与传感器平面之间光线的完全采集常常称作光场，斯坦福大学的Marc Levoy引入的术语。光场是从透镜光圈离开并到达传感器平面的所有光线的完全（强度方面）描述。用以定义它的最简单方式是作为函数
Figure DEST_PATH_IMAGE001
，其中u和v是透镜平面中的坐标，s和t是图像平面中的坐标。光场的完整知识允许各种深度处图像的全部重构。图1图释了某些符号的定义。L代表透镜平面，S代表传感器平面。
坐标
Figure 731701DEST_PATH_IMAGE002
处的像素值与该部位处的辐照度
Figure DEST_PATH_IMAGE003
成正比，它是来自所有可能角度的光的累加/积分，或者以公式形式，
Figure 586525DEST_PATH_IMAGE004
（1）
其中，在透镜平面(u,v)上取积分。
像素值本身不提供总光场的直接和完整信息。
通过将微透镜阵列M放置在起初为传感器平面（见图2A和2B）的平面S中以及将传感器P放置在微透镜阵列后方微透镜阵列的焦点距离处，可以构建可直接测量
Figure DEST_PATH_IMAGE005
的所谓全光摄像器。在此设计中，每个微透镜可以被看作能够捕捉到达光线的强度和入射角度的‘元’像素。微透镜阵列M按低空间分辨率在图像传感器P上重新聚焦光。如此，以空间分辨率为代价存储定向信息。图像传感器P的一小部分由微透镜阵列M的每个微透镜引起，图像传感器P从而形成图像捕捉设备的阵列，每个图像捕捉设备捕捉由微透镜之一制造的低空间分辨率的图像。下标代表主体。
已知强度作为检测器平面处角度和位置的函数，可以合成不同光圈/聚焦设置的图像。通过限制贡献光线的角度（仅在
Figure 303945DEST_PATH_IMAGE006
平面的一部分上积分），可以合成属于任何光圈的图像，例如以使得仅来自透镜顶部一半的光作贡献。类似地，通过首先施加对光场
Figure DEST_PATH_IMAGE007
的变换和随后在
Figure 699154DEST_PATH_IMAGE006
平面上的积分步骤，可以计算不同聚焦平面图处的图像，换言之可以合成不同焦平面处的图像并得到完整3-D信息。
图3更详细地示出了此内容。
在给定传感器平面SP 的和透镜平面LP 的坐标中描述的捕捉光场
Figure 2011800325436100002DEST_PATH_IMAGE009
的情况下，我们可以计算自透镜平面LP起距离
Figure 976924DEST_PATH_IMAGE010
处新合成焦平面SFP
Figure DEST_PATH_IMAGE011
内聚焦、且通过在自传感器平面SP起距离
Figure 113507DEST_PATH_IMAGE012
处具有坐标的合成光圈平面SA取得的任何图像。在图3中描绘了此情况。通过定义
Figure 782386DEST_PATH_IMAGE014
（2）
合成图像由通用表达式产生
Figure DEST_PATH_IMAGE015
（3）
其中，α≠1的值表明除了传感器平面SP以外的合成焦平面SFP，以及其中，β≠1表明与原始透镜平面不同的合成光圈平面。注意，积分中
Figure 713432DEST_PATH_IMAGE013
范围的限制允许合成除了圆形以外任何形状的光圈。
全光摄像器和摄像器阵列的对应性：
在具有单个摄像器（即，全光摄像器）的微透镜的阵列与具有单个透镜的摄像器的扩展阵列之间存在对应性。这二者均是具有图像捕捉设备阵列的系统；在全光摄像器中，通过微透镜中的每个微透镜捕捉光的图像传感器一小部分的阵列在图像传感器中形成图像捕捉设备的阵列；在具有单个透镜的摄像器的扩展阵列中，摄像器本身形成图像捕捉设备的阵列。因此，如本申请中所述的，对于全光摄像器中的微透镜阵列，合成光圈技术和生成各种深度处的重新聚焦图像也可以应用于扩展摄像器阵列，反之亦然。然而，全光摄像器与摄像器阵列之间的主要差别是摄像器的阵列可以分布在较之由全光摄像器覆盖的区域而言的较大区域上。包括摄像器扩展阵列的系统随后起着单个摄像器的作用，其光圈与通常比全光摄像器的光圈大得多的整个摄像器阵列一样大。
具有大光圈具有很大优点，该优点在于由于大有效光圈的缘故可以提供很清晰的图像。然而，它的缺点是景深很小。因而，与对于全光摄像器相比，提供景深充分的清晰图像更是困难任务。
摄像器的阵列：
图4示意性地描绘了观测点P的摄像器阵列的顶视图。摄像器被当作针孔摄像器；此简化未制约分析的实践值。每个摄像器的位置由摄像器中心Ck 指示，其中k为索引号（k＝1、2、3…）；摄像器中心是摄像器针孔的地点。此针孔、或者更一般而言的光学中心，起着摄像器图像平面上世界透视投影的中心的作用。每个摄像器的图像平面处于位于自摄像器中心起的焦点距离f处；图像平面在针孔前方而非后方的放置在数学上等效。每个摄像器图像具有坐标系统为
Figure 640992DEST_PATH_IMAGE008
。原则上，每个摄像器可以具有任意的位置、焦点距离和朝向。然而，为了简单起见，我们继续假定摄像器位于具有坐标系统为
Figure 164377DEST_PATH_IMAGE006
的单个平面上。摄像器中心Ck 的坐标定义成Ck ＝
Figure DEST_PATH_IMAGE017
。最初，我们假定摄像器位于水平线上。假定焦长度（focal length）相同，并且摄像器面向前边以使得它们的图像平面重合。这些简化并非约束分析的普遍有效性。
图5示出了具有观测点P和其在图像平面
Figure 531905DEST_PATH_IMAGE018
中的投影P1 的摄像器C 1的三维印象，该投影具有水平坐标s1 （以及某个任意的竖直坐标t1 ，我们假定像我们最初考虑摄像器位置仅在水平方向上不同的情形那样t1 ＝t2 ＝t3 ）。
合成重新聚焦：
图6图释了基于移位图像累加的合成重新聚焦的概念。在左方，描绘了三个不同摄像器图像，摄像器1的I1(s,t)、摄像器2的I2(s,t)、摄像器3的I3(s,t)，对象的同一个点P的投影分别在水平图像坐标s1 、s2 和s3 处。通过图6中的Δs (C1，C2)给出投影s1与s2之间的距离。通过Δs (C1，C3)给出投影s1与s3之间的距离。可以通过对摄像器C2的图像在距离Δs (C1，C2)上移位和对摄像器C3的图像在距离Δs (C1，C3)上移位，使得点s1、s2和s3对齐。由于视差所致的三个投影点之间的距离与观测点P的距离直接有关。图像坐标差异与所述距离之间的关系遵从
Figure DEST_PATH_IMAGE019
（4）
例如，比较摄像器C 1和C 2，我们定义
Figure 773530DEST_PATH_IMAGE020
和，其中，u 1和u 2分别是摄像器中心C 1和C 2的水平坐标，如图4中所描绘的。
视差移位与对象距离之间的线性关系在水平和竖直方向上均有效，使得点P仅在栈中的所有图像（在此实例中为摄像器1、2和3的图像）适当对齐（即，如此移位以使得点P的投影重合）时显得清晰。对齐的图像栈中像素值的累加导致合成重新聚焦在点P上的图像。此外，如表达式（4）所建议的，由于视差移位与对象距离之间的线性关系的缘故，距离与点P一样的所有点将会在合成聚焦图像中显得清晰。
在此实例中，摄像器C 1＝(u 1,v 1)的位置隐含被视为所有其它摄像器的参考，所以。作为结果，对于摄像器C 1，
Figure DEST_PATH_IMAGE023
。作为结果，同样，对于它的图像坐标系统也成立，以使得
Figure 567491DEST_PATH_IMAGE024
。再次对于摄像器C 1，
Figure DEST_PATH_IMAGE025
。在使用摄像器中心C 1的位置作为参考的情况下，在距离z处聚焦的合成图像
Figure 902657DEST_PATH_IMAGE026
现在遵从将每个图像Ik 平移（translating）向量
Figure DEST_PATH_IMAGE027
之后所有摄像器图像的累加，
（5）
其中，N是摄像器的数量，以及其中，每个平移向量遵从
Figure DEST_PATH_IMAGE029
（6）
符号()T标识矩阵或向量转置运算。
在预期应用为全聚焦成像的情况下，我们已经通过根据与移位的δ函数的卷积表达平移的过程来引入摄像器图像移位的更正式的符号，
Figure 84295DEST_PATH_IMAGE030
（7）
其中，符号*表示卷积，
Figure 582272DEST_PATH_IMAGE032
（8）
以及其中，滤波器内核
Figure DEST_PATH_IMAGE033
是移位δ函数，使得输入数据显现在输出图像帧中在卷积之后向量
Figure 291602DEST_PATH_IMAGE027
上的平移位置处，
Figure 242240DEST_PATH_IMAGE034
（9）
δ函数被定义成脉冲响应函数，
Figure DEST_PATH_IMAGE035
（10）
在图7中描绘了根据表达式（9）的滤波器内核的图形描绘。
虽然起初明显繁琐，但我们可以组合表达式（5）、（6）以便计算重新聚焦图像
Figure 62429DEST_PATH_IMAGE026
（11）
在以上表达式中，摄像器C1的位置被取为参考。
并非选取摄像器C 1作为参考摄像器，表达式11示出了可以使用任何任意摄像器位置作为参考位置来计算合成重新聚焦图像Iz 。
此参考摄像器位置并非必须与阵列中真实摄像器中的任何摄像器重合。我们将会引用参考摄像器中心RCC作为C 0＝(u 0,v 0)。参考摄像器中心RCC的物理意义在于它描述了位于通常将会在现有摄像器平面内的位置(u 0,v 0)处的虚拟摄像器的中心。如此，C 0起着此虚拟摄像器的光学中心的作用，定义虚拟摄像器图像平面上的透视投影的中心。尽管此虚拟查看位置任意选取，但虚拟摄像器将合成焦点保留在与位于距离z处的摄像器中心的平面平行的平面上。
本发明的方法和系统在使用周边摄像器阵列时（但不限于此）特别有用。屏幕周边处的摄像器提供用于从位于显示器周边内任意位置处的新的、非现有的摄像器合成摄像器图像的输入；在图8中描绘了此内容。图8示出了可以被置于计算机显示器周界的周边摄像器阵列的示意性前视图。表示成(u,v)的坐标指示阵列的平面中每个摄像器的位置。DP代表显示帧，且ADA代表活动的显示区域。
总之，在假定我们的虚拟参考摄像器中心RCC被定位在C 0＝(u 0,v 0)处的情况下，在活动的显示区域中我们可以在摄像器被合成地重新聚焦在距离z处时计算来自此摄像器的视图。
Figure DEST_PATH_IMAGE037
（12）。
图9给出了使用阵列摄像器图像Ik 的集合根据虚拟摄像器位置(u 0,v 0)计算合成聚焦输出图像I 0的方框图。虚拟摄像器位置是方框图的输入并且用信号C0表示。根据表达式6定义每个图像移位向量(Δsk ,Δtk )。图8提供了使用阵列摄像器图像Ik 的集合根据虚拟摄像器位置(u 0,v 0)计算合成聚焦输出图像I 0的方框图。根据表达式（6）定义每个图像移位向量(Δsk,Δtk)。虚拟摄像器位置是该方法的输入。
使用图像平移的基于卷积的实施方式，我们可以写出表达式（12）为
Figure 793679DEST_PATH_IMAGE038
（13）
其中
Figure DEST_PATH_IMAGE039
（14）。
使用基于卷积的实施方式，我们构建如图10中所描绘的方框图。
图10示出了使用阵列摄像器图像Ik 的集合根据虚拟摄像器位置(u 0,v 0)计算合成聚焦输出图像I 0的方框图。虚拟摄像器位置是方框图的输入并用信号C0表示。该图描绘了根据表达式13和14的实施方式。通过与根据表达式9定义的内核
Figure 231614DEST_PATH_IMAGE033
的卷积执行(Δsk ,Δtk )上的每个图像移位。
图9和10使用摄像器阵列的输入数据提供重新聚焦图像，其中，该方法具有虚拟摄像器位置RCC和焦点距离z作为输入。
注意，在它本身中和通过它本身，图9和10中图释的方法独立于所得图像数据I0(s,t)的进一步使用而提供新颖和创新的方法和这样的方法用在其中的系统。通常摄像器阵列的问题是合成图像的极小景深。这归因于由摄像器阵列的尺寸确定的合成光圈的大尺寸。
图11示出了其中借助摄像器的阵列采集的光场数据被重新聚焦在鼻子（左方）和耳朵（右方）上的图。
对于重新聚焦图像中的每个重新聚焦图像，显然，景深（DoF）对于整个头部而言太小。
为了获得足够景深DoF的图像，可以如现有技术中一样使用切割和经过方法，即，合成照片方法。然而，为了创建具有足够DoF的图像，需要场景的深度模型。通过深度图，输出图像中每个像素的重新聚焦距离被确定。这种深度图的估计是计算上要求高的任务。再者，估计的深度图可能不是足够精确的，因为小误差可以引起非常明显的伪影。
图12示出了利用估计的深度图创建全聚焦图像的尝试。清楚的是，深度估计中的甚至小误差也会引起可见伪影。
本发明采取实现全聚焦成像的另一个路线。
本发明的方法处置摄像器阵列的有限焦深，但是它既不基于明确深度估计也不基于焦点栈数据的迭代分类。
本发明的方法基于分离的摄像器图像中每个摄像器图像的像素值的积分累加的统一使用，因为它们将会在焦点变化期间重新组合。每摄像器图像的具体累加像素组的此特定使用提供用以把摄像器图像与大大扩展的景深合成的计算上非常高效的方式。这允许利用摄像器阵列创建“全聚焦”图像的新颖方式。如以上所解释的，在摄像器阵列与全光摄像器之间存在对应性，以使得该方法同样地适用于全光摄像器设施。
如下面对于单个摄像器所解释的，聚焦变化概念允许扩展景深。考虑包括点源、透镜和传感器的概念摄像器模型。透镜把来自点源的光聚焦在图像平面上。图像平面的位置取决于点源与透镜之间的距离。如果传感器平面与图像平面重合，则传感器接收清晰图像。否则，图像在传感器上显得模糊，见图13至15。
图13示出了由于散焦所致的图像模糊。如透镜L所聚焦的点源PS的图像平面IP未对应于传感器平面SP。图14图释了经由改变传感器与透镜之间距离的扫射聚焦。传感器从图像平面前方的位置向图像平面后方的位置移动，因而扫射聚焦。图15图释了经由改变透镜L焦长度的扫射聚焦，传感器平面SP停留在一个位置处，但是通过改变透镜L的焦长度，图像平面从传感器平面前方的位置向后方的位置移动。
在传统成像中，传感器的位置被固定以使得仅某个标称距离处的对象在传感器上清晰显现。其它距离处的对象将会显得在传感器上散焦，其中，散焦模糊的量与传感器和标称图像平面之间的距离成比例。
在所谓的‘扫射聚焦’摄像器中，传感器平面在曝光期间扫射通过图像平面的某个范围（图14），或可替换地图像平面扫射通过传感器平面周围位置的某个范围（图15）。相比于传统摄像器，不存在可以在传感器上清晰显现的对象所处的单个距离，因为清晰和模糊数据的混合体在曝光期间累加。累加的模糊使得图像中的所有对象显得模糊，而不管对象距离如何。然而，累加的模糊显得对场景中对象的距离几乎不变。作为结果，单个空间不变反向滤波器足以根据累加的模糊图像恢复清晰图像。恢复的图像中的对象现在都显得清晰，不管它们至摄像器的距离如何。
为了更好地理解扫射聚焦摄像器如何使图像模糊，可以考虑距摄像器一定距离处单个点源的成像。随后，考虑来自至对象的距离的模糊效果的依赖性。
下面，考虑扫射聚焦概念的两个不同的实现方式。在第一个中，传感器沿着光轴平移，见图13。第二个实现方式包括变焦透镜（优选地具有固定的放大率）的使用，其中传感器的轴向平移由透镜的焦长度中的等效改变来替换，见图15。在这两个实现方式中，传感器扫射通过其中对象完美地在焦点中的图像平面。因而，对象仅在一刹那停留在焦点中，对于剩余的获取时间它或多或少被散焦。散焦量与传感器与图像平面之间的距离成正比（图13）。瞬间模糊可以表示成清晰图像与均匀内核的卷积，其中均匀内核形状为透镜光圈，在大多数情形中是盘（disk）。当传感器扫射通过图像平面时，模糊内核在空间上被缩放。内核的半径首先在传感器平面和图像平面重合的位置处，减小为（几近几乎）零，以及随后再次增大。在以下内容中，考虑线性聚焦扫射，其中模糊内核K的半径R随着时间t而线性改变和并且其中开始和结束模糊半径相等。见图16。通过观看图16，可以发现模糊图的形状为指向图像平面的两个锥体。系统在摄像器上产生的总模糊是在具有线性增大半径的盘内核上的时间积分。在示出了有效系统模糊内核的图17和示出了对数刻度上同样内容的图18中给出了此系统内核的图释。可以看出系统内核的形状在对应于清晰聚焦图像的狄拉克δ之间，平坦盘使传统摄像器的内核散焦。
显然，扫射聚焦摄像器不为已知距离处的单个平坦对象的成像提供超越传统相机的任何益处，因为在该情形中通过把摄像器确切聚焦在该单个平坦对象处获取最佳图像。然而，我们将会在以下内容中示出，在至对象的确切距离未知时或当场景中存在至摄像器不同距离处的若干对象时，所述优点变得明显，以使得图像需要足够的景深以提供所有关注对象的清晰图像。对于传统摄像器，散焦的量随着至图像平面的距离而线性增加。在至摄像器一个特定距离处的对象将会清晰成像，但是随着对象进一步远离或更靠近摄像器，模糊增加。下面我们将会示出扫射聚焦摄像器设计中模糊的量对对象-摄像器距离的变化较不敏感得多，或者换言之，模糊对于任何对象而言差不多一样，无论它距透镜的距离如何。
考虑下述情形：当至对象的距离与标称不同但是扫射范围仍覆盖它（即，摄像器在扫射期间穿过对象图像平面，尽管并非精确半途）时。这将会导致传感器将跨越实际图像平面的时刻的时间偏移。因而实际图像平面周围的双锥体模糊图的形状将保持不变，但是开始和结束模糊半径将会不同，见图19。图20和21与上面的图16和17类似，示出了系统内核和系统内核的对数。系统内核是点源提供的模糊图像，因而函数也称为点扩散函数，即，点如何在虚拟输出图像上扩散开。
我们看出每个对象无论它至摄像器的距离如何将会在一定时刻显得清晰聚焦，并且此外，大约在这时，它将会经历同样模糊效果。注意，每个时刻（图18中的水平分片）的模糊内核能量是恒定的。当对象靠近它的图像平面时，滤波器能量高度集中以使得清晰聚焦的时刻对应于狄拉克δ内核。空间-时间积分区域的此部分支配时间积分的结果。因此，对象类似地在传感器上模糊，无论它至摄像器的距离如何。系统内核之间的小差异将会仅影响相对中低空间频率，而让图片细节不变。扫射聚焦内核的光谱具有非常类似的幅度轮廓。
扫射聚焦内核的最大优点之一是它的响应在频率响应中没有‘零’，以使得它的反向运算对于所有空间频率而言存在，扫射内核因而允许良好定义和紧凑的反向滤波器。对于标准内核，这是不可能的。
图22和23图释了此效果。下面的图22图释了扫射聚焦摄像器的内核的谱属性。由于二维内核的傅立叶变换对于圆形光圈而言是各向同性的，所以图22仅示出了单个空间方向上相应变换的横截面。线对应于扫射范围的偏移与幅度之间比率的多样性。图23示出了同样内容但是随后是用于传统摄像器的。
可以看出扫射聚焦内核谱的幅度轮廓很类似，而传统摄像器中的幅度轮廓相当不同。在传统摄像器中无法通过单个函数把内核的频率行为表征为任何准确性。在扫射摄像器中，可以使用单个函数。这允许有效反卷积。
由于扫射聚焦摄像器中的模糊效果仅仅取决于实际摄像器－对象距离，所以可以使用同样的反向滤波器（即，同一个反向点扩散函数）高效地使图像去模糊，因而避免局部深度估计的必要性。
作为结果，可以通过利用与在扫射中途聚焦的对象的模糊内核对应的相同反向滤波器来处理获取的积分模糊图像而得到很良好的结果。
图24图释了与摄像器（其扫射通过零与三十个像素之间的模糊半径）对应的扫射聚焦内核的反向滤波器的横截面。
下面的图25通过示出与从标称对象平面向上（线A）至扫射幅度0.8（线B）的对象偏移对应的反向滤波器在实践上是相同的来确认此内容。
以上解释了扫射聚焦途径。发明人认识到了可以使用摄像器阵列获得同样积极效果。
发明人认识到了利用全光摄像器、以及如以上所解释的因而也利用摄像器的扩展阵列，可以在数字上生成重新聚焦图像的栈。重新聚焦图像的栈在数学上与有扫射摄像器取得的图像一样或很类似。重新聚焦相当于如以上例如在图9和10中所解释的将图像捕捉设备阵列的各图像移位和相加。移位如以上所解释的与进行重新聚焦的平面的位置以及与特定图像捕捉设备与视点之间的距离成比例。因而，提供重新聚焦图像的栈在概念上与聚焦扫射动作一样或类似。
可以对焦点栈积分以提供正如将会通过扫射聚焦途径做出的积分图像。这种积分图像将会严重模糊。对于重新聚焦图像中的每个重新聚焦图像，仅图像的一部分在焦点中，即，对象的该部分存在于聚焦的平面中，对象的其余部分在焦点外。对焦点栈积分（即，把所有数据相加在一起）将会提供通过基本上相同的系统内核（即，基本上相同的点扩散函数）而到处模糊的图像。可以随后使用相同的反向点扩散函数对图像反卷积并得到合成的全聚焦图像，正如利用扫射聚焦途径那样。
通过使用摄像器的阵列，在本发明中使用的额外优点（其无法通过单个摄像器获得，因为单个摄像器的位置固定）在于也可以选取虚拟摄像器位置，即，根据虚拟摄像器位置构建全聚焦图像。这是位置固定的扫射聚焦摄像器未提供的优点。
可以把积分图像与单个点扩散函数（PSF）反卷积。此反卷积得出积分范围上（即，焦点栈的景深范围上）的焦点中图像。DoF得到大大改进，而不需要估计深度图。点扩散函数也称为脉冲响应函数。点扩散函数提供脉冲函数的涂污（smear）。对象的任何图像是对象数据和脉冲函数的卷积结果。通过对焦点栈积分做出的图像中对象的模糊图像是重新聚焦和积分的对象和响应函数的卷积结果。
反卷积的一个简单计算方式是利用如下事实：在傅立叶空间中表示，第一和第二函数卷积的傅立叶变换是第一函数的傅立叶变换和第二函数的傅立叶变换的乘积。所以，反卷积等同于模糊图像的傅立叶变换除以点扩散函数的傅立叶变换，所述图像通过对象和点扩散函数的卷积形成。随后获得对象的傅立叶变换。而后通过向所得函数施加反向傅立叶变换获得对象的‘清理”图像。得出对象的不模糊图像（除了由于计算而致的模糊之外，因为必须施加傅立叶变换、除法函数并施加反向傅立叶变换）。
作为实例，可以采取包括显示屏幕周围四个摄像器的系统。
在正常摄像器中，可以认为散焦模糊是来自整个光圈区域的光线的线性累加。以类似方式，摄像器阵列的合成聚焦图像由各分离图像的线性累加产生。整个阵列起着单个摄像器的作用，其中光圈具有阵列尺寸和摄像器图案形状。在周边摄像器阵列的情形中，光圈是沿着矩形外廓分布的斑点的集群。未在合成焦平面中的对象通过此离散化内核被模糊并产生矩形形状中对象离散副本的累加。在图26和图27中图释了此情况，图26是具有四个摄像器图像I1、I2、I3和I4 、并且合成聚焦图像I0处于虚拟摄像器位置C0处的阵列的图像的示意性描绘。坐标(s,t)指示每个摄像器帧中对象（三角形）的位置，坐标(u,v)指示摄像器阵列的平面内每个摄像器中心（圆形）的位置。位置(u0,v0)图像处描绘的虚拟摄像器在不移位图像的情况下根据四个输入图像的累加得出。不移位图像等同于合成聚焦虚拟摄像器图像在无穷远处。三角形描绘了摄像器1、2、3和4取得的图像中对象的位置。P’1、P’2等把输出图像中所述对象的位置描述成所有四个图像的累加。虚拟摄像器位置是图的输入。
图27图释了各摄像器的位置上的合成重新聚焦对输出图像的贡献的效果。用zp指示点P的真正距离对象距离。从顶部至底部把合成焦点距离z设置为无穷（z＝∞）、比对象距离大（得多）、等于对象距离（z＝zp）（在此焦点距离处四个图像重合）、以及小于对象距离。并非熟悉的散焦模糊，不正确聚焦的对象显现为多个叠加副本。
当我们通过来自摄像器阵列的图像合成焦点扫射的过程时，光圈的离散本性致使叠加副本的图像积分。在图28中图释了此内容，其图释了来源于自点源的合成焦点距离z > zp上起、向下至真正对象距离z＝zp的合成聚焦扫射的输出图像。通过收敛到z＝zp处单点的四个线形成系统内核。对于自zp<z起的扫射，从单个点发散的四个线将会是结果。累加的点扩散函数是虚拟摄像器位置(u0,v0)、摄像器的阵列中摄像器的数量和位置(u1,v1；u2,v2等)和扫射zmin至zmax的函数。对于六个摄像器，累加的点扩散函数将会具有六个“臂”，对于八个摄像器为八个等。
图29示出了具有离散焦点步长的12摄像器阵列的所得累加点扩散函数，其中，虚拟摄像器位置很接近显示屏幕的中心。
对于每个虚拟摄像器位置和摄像器的每个阵列，可以建立累加的点扩散函数。
正如对于焦点扫射途径一样，点扩散函数将不会太依赖于对象的实际距离，并且单个反向点扩散函数可以用于反卷积对于所有点而言具有高精确度的精确图像。
可以通过各种方式计算通过合成焦点扫射的结果计算输出图像的过程。第一实施将会是步进穿过多个焦点距离并且如图30的方框图中示意性描绘地执行计算。虚拟摄像器位置是方框图的输入并且用信号C0表示，以表示虚拟摄像器位置u0,v0。此处，通过使用足够小的增量、步进穿过最靠近距离zmin与最远距离zmax之间合成聚焦距离值的范围来获得不同聚焦图像的累加。在图30中，用索引值z1、z2至zM指示单独离散距离值。具有虚线的矩形中方框图的部分表示用于提供合成聚焦图像的如图10中所描绘的方案。I 0z1(s,t)代表焦点距离z1处的合成聚焦图像，I 0z2(s,t)代表焦点距离z2处的合成聚焦图像，等等。
Ĩ0(s,t)代表在加法器SUM中执行的合成重新聚焦虚拟摄像器图像的累加。这是严重模糊的图像。然而，如以上通过把此严重模糊图像与点扩散函数反卷积所解释的，可以获得合成全聚焦图像。Ī0(s,t)代表最终合成全聚焦图像，IPSF是累加点扩散函数的逆。
确定累加点扩散函数的参数是虚拟摄像器位置C 0＝(u 0 ,v 0)和合成聚焦范围zmin至zmin。在本文中也称为虚拟输出图像的此合成全聚焦图像通常是数据信号形式的。可以把此数据信号发送给图像显示设备、或者图像数据处置设备。可以向虚拟输出图像数据信号添加附加信息，例如，作为元数据或以标志的形式。这种附加数据在实施例中优选地包括虚拟摄像器位置和/或注视方向。针对来自中心虚拟摄像器位置的阵列，从中心外虚拟摄像器位置取得的人的图像可以与从坐在中心外的人取得的图像几乎不可辨别。通过提供相关联的或在数据信号内的关于虚拟摄像器位置C0的信息，可以做出区分。进一步的附加信息可以是阵列内摄像器的布置。
图30示出了通过M个合成重新聚焦图像的范围累加对合成焦点扫射的或多或少强力计算。存在其中许多导致线性运算的用以转换的各种实施例。为了简单起见，此处描绘了使用与累加PSF的逆的卷积的转换。
第一实施将会是步进穿过多个焦点距离并执行如图30中所描绘的计算。此处，通过使用足够小的增量、步进穿过最靠近距离zmin与最远距离zmax之间合成焦点距离值的范围而获得不同聚焦图像的累加。在图30中，用索引值z1、z2至zM指示各分离的离散距离值。用指示所有计算距离的合成聚焦图像的累加总和；这是在合成焦点扫射之后的累加图像。使用表达式（13）基于卷积的平移，在合成聚焦扫射之后的累加图像遵从
Figure 62484DEST_PATH_IMAGE042
（15）
其中，
Figure DEST_PATH_IMAGE043
为表达式（9）中先前定义和下面重复的我们的平移脉冲响应函数
Figure 113616DEST_PATH_IMAGE044
（9）
以及其中，平移向量为如（14）中先前定义和下面重复的，
Figure DEST_PATH_IMAGE045
（14）
使用基于卷积的实现方式，我们构建如下面所描绘的方框图。
假设我们使用充分合成焦点距离值z，则累加的PSF典型地如图28中所描绘地采用辐条与阵列中存在的摄像器一样多的“星形”形状。
可以通过各种方式根据
Figure 38847DEST_PATH_IMAGE046
获得全聚焦重构。图30中描绘了通过扫射焦点摄像器阵列的有效PSF的反向频率响应而与线性滤波器的卷积。
图28描绘了合成焦点扫射如何得出如下输出图像：其中一定距离处空间中单个点贡献作为直线投影。每个线对应于单个阵列摄像器。如此每个线形成对合成焦点-扫射系统的累加PSF的贡献。基于合成焦点扫射的虚拟摄像器图像的计算是完全线性的。这意味着我们可以在不改变计算结果的情况下改变各种运算的次序，
（16）
其中，
Figure 200838DEST_PATH_IMAGE043
为（9）中定义的平移脉冲响应函数。
现在把每个摄像器图像Ik 与平移脉冲响应函数的总和卷积，以基本上形成δ函数的线。由于合成扫射需要近似焦点中的连续变化，因此平移脉冲响应函数的总和形成可以当作单个脉冲响应的连续线。
Figure DEST_PATH_IMAGE051
（17）
其中，通过合成聚焦范围的开始和结束值（分别为
Figure 281107DEST_PATH_IMAGE052
和
Figure DEST_PATH_IMAGE053
）定义开始和结束点（分别为向量
Figure 333114DEST_PATH_IMAGE054
和
Figure DEST_PATH_IMAGE055
），
（18）
由于物理或者合成的焦点扫射是连续过程，我们的线状卷积的更确切表达式需要使用黎曼积分，
Figure DEST_PATH_IMAGE057
（19）
因而，鉴于在图30中示出了其中开始点是来自阵列各摄像器的数据以及做出多个合成聚焦图像Iozik(s,t)其随后求和以产生Ĩ0(s,t)的方框图，也可以如图31中所示把阵列摄像器的图像数据与线状卷积相卷积。使用线状卷积事实上等同于与使用栈中无穷数量的重新聚焦图像等效的方法以使得使用路径S的后者方法事实上如以上所澄清的那样在数学上与使用无穷数量的合成聚焦图像等效。虽然在数学上等效，但计算的速度增加，因为可以直接对每个图像卷积。在路径S是平移脉冲函数的总和的情况下，该方法与使用重新聚焦图像的栈等效。
使用路径卷积增加计算的速度。
图31描绘了表达式19中定义的滤波器内核。
图32示出了此快速确切实现方式的方框图。
图33示出了合成聚焦在从至
Figure DEST_PATH_IMAGE059
的距离z的连续范围处的合成全聚焦图像的高效计算。存在用以把
Figure 943776DEST_PATH_IMAGE040
转变为、其中许多得出线性运算的各种实施例。为了简单起见，此处描绘了使用与累加PSF的逆的卷积的转换。
可以把图30中示意性地示出的第一实施例描述成如下：
1. 通过重复重新聚焦来自摄像器阵列（或来自全光摄像器）的光场数据创建焦点栈（I 0z1(s,t)、I 0z2(s,t)等）。
用以向特定深度重新聚焦光场数据的一种技术是与它们距视点的距离成比例地移位各摄像器图像，以及随后把移位图像相加在一起。对于每个单独焦点距离重复此内容。
2. 对形成Ĩ0(s,t)的焦点栈（沿着深度方向的求和）积分。
3. 通过例如对包含单位脉冲δ的图像执行步骤1和2、以及对焦点栈积分，生成点扩散函数（PSF）。
4. 使用来自步骤3的PSF，对步骤2的积分图像反卷积，例如，通过FFT域中的直接相除或者另一反卷积方法，如Wiener或Lucy-Richardson反卷积。
此第一实施例是很有用的，但是需要大计算能力。
然而，包含合成焦点扫射的虚拟摄像器图像的计算是完全线性的。这意味着我们可以如以上所解释的那样在不改变计算结果的情况下改变各种运算的次序。
并非生成全焦点栈和随后积分，我们可以直接生成积分图像，从而节省如图32中所图释的计算的数量。
在这种实施例中，可以把所述计算重新排序如下：
a. 生成阵列的每个图像捕捉设备的图像移位的投影路径（公式19）
b. 把各图像与它们各自的投影路径卷积以提供卷积图像Iconv1(s,t)、Iconv2(s,t)。
c. 把卷积图像相加以形成积分图像。中间结果现在与此前实施例的步骤1和2相同。如以上所解释的那样这并非巧合，两个实施例在数学上等效，它们在数学上表示相同的计算，各种运算的次序已被改变，而不改变计算结果。然而，后者方法特别是在路径是连续函数时更快速且更精确。
d. 通过投影路径的积分生成点扩散函数（公式17）
e. 通过例如FFT（快速傅立叶变换）域中的直接相除、或者另一反卷积方法（如，Wiener或Lucy-Richardson反卷积）使用反向点扩散函数，对积分图像反卷积。
此第二实施例的步骤c中提供的积分图像对应于第一实施例中步骤b的积分图像，即，它对应于通过对各种深度处重新聚焦图像的栈积分而产生的图像（即使在尚未做出全焦点栈本身的情况下）。
图33图释了中心虚拟摄像器位置（左侧图）、以及非中心虚拟摄像器位置（右侧图）的12个摄像器的投影路径PP。虚拟摄像器位置用圆圈指示。每个路径上的积分相等，因而更短路径的幅度更高。图33还图释了两个虚拟摄像器位置的点扩散函数PSF，以及最终在左侧，中心虚拟摄像器位置的点扩散函数的等距视图的较低大部分。可以看出针对摄像器的阵列定义虚拟摄像器位置，并且路径针对虚拟摄像器位置来定义。
并非生成全焦点栈和随后积分，把来自阵列图像捕捉设备的各图像与它们各自的投影路径卷积。所得生成的图像是仿佛将会做出和随后积分了全焦点栈一样的图像。根据第二实施例的方法相比于第一实施例而言强力减少所需计算的数量。图32中图释的第二实施例如图30中所图释的那样提供可替换的、更少计算机能力需求的路线，其提供通过对各种深度处重新聚焦图像的栈积分产生图像所对应的图像。接下来的步骤（使用反向点扩散函数IPSF的反卷积）是第一和第二实施例这二者的一部分。因为第二实施例需要更少的计算能力，所以它与这重要的系统或装备或状况特别相关。实时应用形成它们中的一个，因为图像之间的次数有限。此方法还由于它的速度而特别适合于3D应用。虚拟摄像器位置u0,v0是方法的输入并且可以被选取为任何位置。因而，也可以创建来自略微不同摄像器位置的两个图像，从而创建全聚焦左和右眼图像。这对于本发明实施例中的任何实施例成立，但是需要较少处理能力的实施例甚至更适合。可以根据来自摄像器的相同阵列的相同数据创建来自不同摄像器位置的两个或更多个全聚焦图像。这可以通过并行处理相同数据来完成。
在其中阵列包括相对较大数量摄像器的实施例中，在实施例中把阵列分割成两个子阵列，以便提供来自不同视点的图像。例如在其中阵列具有16个摄像器的实施例中，可以使用它们中的8个创建来自‘右眼’摄像器位置的全聚焦图像，以及使用它们中的8个创建来自‘左眼’摄像器位置的全聚焦图像。可替换地，在其中摄像器以高帧速率记录图像的实施例中，可以使用奇数帧创建一个类型的图像，而使用偶数帧创建另一类型。
图30和32提供了产生与焦点栈对应的图像的方案。随后对此图像反卷积。使用的点扩散函数取决于选取的摄像器位置和聚焦范围。
可以对于每个虚拟摄像器位置u0,v0和聚焦范围（zmin至zmax）计算点扩散函数，或者可替换地，可以使用作为虚拟摄像器位置和聚焦范围的函数给出点扩散函数参数的表格。
在其中使用的摄像器也是参数的实施例中，点扩散函数是使用的摄像器的函数。要使用的摄像器的选取对于多个应用可能是有用的：
－ 左眼图像，其中子阵列用于生成图像中的一个图像以及另一子阵列用于生成另一个。
－ 高分辨率-低分辨率，其中可以选取使用的多个摄像器以创建定义的清晰度的图像。这可能对平衡所需计算能力和可用计算能力是有利的。
－ 考虑摄像器中一个或更多个摄像器的故障。如果阵列包括x个摄像器并且点扩散函数假定所有摄像器在运作中，则摄像器之一的数据丢失将会导致点扩散函数不完全正确。在使用大量摄像器的情况下，这可能将不会导致图像质量的可观损失。然而，通过检查摄像器的运作和对使用中的摄像器采用点扩散函数，可以在摄像器中一个或更多个摄像器故障的情形中获得较好结果。
它的实施例中的任何一个的系统可以生成分辨率比阵列的各摄像器高的输出图像。为了从附加清晰度获益，摄像器图像优选地展现采样别名。随后借助像素重复来提升这些摄像器图像。系统的其余部分等同于其它实施例中的一个实施例。
我们验证了我们使用X－Y平台上安装的摄像器的重构方法。通过此设置，我们可以评估摄像器的最优数量和放置。下面是来自我们当前实现方式的一些样本图像。这允许根据相对较低分辨率的摄像器图像阵列得到高分辨率图像。与图30和32的方案（或任何其它方案）的差异是在输入图像数据以前，通过像素重复来提升摄像器图像，因而例如使得1024*1024数据成为2048*2048像素阵列，其中，每个像素加倍。每个各摄像器的分辨率增大当然是虚假的，但是最终图像中分辨率增大的效果是真实的。
在以上实例中选取虚拟摄像器位置u0,v0。光场的概念允许除了选择虚拟摄像器位置之外也允许选择注视方向。可以重新布置来自摄像器阵列的总信息以使得向阵列的每个摄像器分配看向特定注视方向上的虚拟摄像器，即，向数据施加变换以创建用于看向特定注视方向上的摄像器的图像数据。这些摄像器数据随后是如图30和32中所图释的方案的输入。结果是在具有区域的角度下构建合成聚焦的图像，或者换言之焦点栈具有注视方向并且所得图像是来自看向选取注视方向的虚拟摄像器位置的图像。
以上描述了如何合成虚拟摄像器位置的图像。在本文中下面给出用以确定或选取虚拟摄像器位置的一些方法和其中利用本发明可能性的系统。
显微镜：
虚拟摄像器起初放置在查看的中心。可以随后在用户控制下修改位置。（以便在对象‘周围’看）。在这些系统中，系统包括用于虚拟摄像器位置输入的装置。
与实现3D的屏幕组合，优选地生成两个（或更多个）视图，从而提供立体视觉。优选地，用户可以调整视图之间隔开的量以优化3D效果。在这些系统中系统包括用于生成两个虚拟摄像器位置之间差异的输入。
同样的优选实施例（即，选取视点和量立体视觉）对于诸如（微型）手术的系统也很有用，其中，外科医生基于摄像器图像手术。同样内容应用于其中必须远程操控危险材料的系统。系统允许操作者选取他的或她的视点并实时得到精确的3D全焦点中图像。
视频会议
在远程呈现设置中，取得自然眼睛接触是重要的，以使得会谈中的每个参与者得知正寻址谁。例如可以把参与者放置在虚拟圆桌周围，以使得拓扑结构简单明了地映射到屏幕上（见图34A和34B）。每个参与者向其它方发送根据与屏幕上的每个参与者头部（眼睛更好）地点对应的虚拟摄像器位置生成的视频流。因而系统A向系统B发送流AB（系统A上B的屏幕地点处的虚拟摄像器），向系统C发送流AC（显示器A上C屏幕地点处的虚拟摄像器）。图34A给出了完全示意性的设定，图34B示出了更多细节。
在图34B中对于从系统A向系统B和C发送的图像数据分别用(u0,v0)B、(u0,v0)C指示的虚拟摄像器位置分别由系统A基于显示器A上人B和C头部（眼睛）的位置确定。确定的眼睛位置提供信号C0B和C0C，其中，信号指示分别在A的屏幕上的B和C的眼睛的位置。A的系统使用输入信号C0B做出如从视点(u0,v0)B（即，B的眼睛）所见的虚拟图像并且把虚拟输出图像的数据发送给系统B。系统A发送Ī0(s,t)B，即，如从(u0,v0)B向系统B所见的虚拟图像。当系统A前方的人看人B的眼睛中的屏幕时，人B将会感知与人A的直接眼睛接触。系统A向系统C发送Ī0(s,t)C，即，如从(u0,v0)C所见的虚拟图像。人C将不会感知直接眼睛接触。由于可以在系统A上执行所有必要操作，所以在本发明的此实施例中它向后兼容现有的电话会议系统，即，B和C可以坐在传统系统前方，尽管在这种实施例中仅远程方B和C可以体验真正眼睛接触。然而，当所有方A、B和C采用用于如本发明中一样生成虚拟摄像器位置的装置时，所有人以一致方式感知眼睛接触的方向。
虚拟摄像器位置优选地如它们在屏幕上显现一样与接收人的眼睛位置重合。可以手动选择此位置或最优选地通过诸如Viola和Jones提出的计算机视觉算法（见P. Viola和M. Jones，Proc. CVPR 2001中的“Rapid object detection using a boosted cascade of simple features”）自动检测。眼睛的自动动态检测可以在没有任何人类交互必要的情况下跟踪眼睛的更新位置和移动，从而给出真正乃至实况的眼对眼接触。面部辨识算法可以用于通过例如角膜或视网膜上光的反射来标记眼睛位置的系统或者眼睛检测。
当所有参与者坐在用于生成虚拟摄像器位置的装置前方时，因而对于每个参与者生成唯一视点以使得每个人获知谁在会谈中正寻址谁和真正眼对眼接触是可能的。也可以重新创建其中参与者中的一个参与者在桌子最前面的会议。在该情形中从一个参与者至另一个的信息流需要包括关于桌旁参与者位置的信息，或必须设置桌子布置。
可替换地，在会议期间可以变动桌面座席，例如以把解释事项的人暂时放置在桌子最前面。该系统可以包括其中参与者中的一个参与者、或者外部的人（如，秘书）控制视频会议参与者座席的装置。并非使用圆形或矩形桌子布置，也可以使用诸如法庭设置或演讲室设置之类的不同设置。实施例中的系统包括用以在会议以前或期间选取设置以及座席布置的装置。
3D 屏幕
对于立体屏幕，生成两个视点，每个眼睛位置一个。在不存在确切眼睛位置的情况下，可以采取头部位置（或屏幕/窗口的中心），添加/减去小的偏移以取得虚拟摄像器位置。标准两眼距离是大约7.5 cm。实施例中的系统包括用于建立头部位置的装置。
对于自动立体化屏幕，可以生成显示视图对应的多个视图。此处也添加/减去位置偏移以创建每个视点。
由图30和32的方框图图释的以上两个实施例基于使用点扩散函数PSF，其中，第二实施例需要较少运算能力并且在一定意义上，提供第一实施例的计算捷径。
解释了系统的各种实施例。
发明人认识到了，基于同样通用概念，存在可能的进一步计算简化。
参照图32可以把反向滤波器（与累加PSF逆的卷积）和特定于摄像器的内核组合成与图像数据的单个卷积。因而对于每个摄像器生成唯一滤波器内核。合成全聚焦图像由滤波阵列摄像器图像的总和产生。
在图35中图释了此方案。优点是需要单个卷积。卷积和求和是可交换的，因而可以变动卷积和求和的顺序。因而，(Ii*Si)*IPSF＝＝(Si*IPSF)*Ii ，其中，Ii 是图像数据，Si 是路径上的卷积，IPSF是反向点扩散函数。合成全聚焦图像直接遵从滤波的阵列摄像器图像的总和。实际上图32和图35的方案在数学上相同。
Si *IPSF不取决于图像数据。
可以更进一步。可以通过一套摄像器特定的、旋转1D卷积来近似摄像器特定的卷积内核Si *IPSF。此实现方式基于各卷积内核（Si *IPSF）的（近似）可分离性。通过根据各自的摄像器位置旋转的一对垂直1D卷积内核（Si ’和HPi ）近似每个2D卷积内核。
可以把滤波器内核S1 .. SN （即，投影路径）描述成旋转1D箱式滤波器，即，Si ＝Ri ∙ Si ’，其中，Si ’表示1D内核，Ri 表示旋转矩阵。箱式滤波器沿着它的路径削减高频率，以及因此抑制此方向上IPSF（其具有高通行为）的效果。与箱式滤波器Si 卷积的IPSF的剩余高通效果主要与箱式滤波器（即，投影路径）垂直，以及可以简化为旋转1D内核Ri · HPi ，其中，HPi 表示1D内核。
总结：通过1D卷积内核（Si ’和HPi ）的旋转对来近似Si *IPSF
Figure 811555DEST_PATH_IMAGE060
（20）
其中，Ri表示根据摄像器位置ui ,vi ,u0 ,v0 导出的旋转矩阵。旋转角度φ由下式给出
Figure DEST_PATH_IMAGE061
（21）
箱式滤波器Si （投影路径）的长度是
Figure 109812DEST_PATH_IMAGE062
（22）
箱式滤波器Si 的幅度是1/
Figure DEST_PATH_IMAGE063
。
卷积内核HPi 具有高通滤波器行为，以及作为频率响应大致遵照|f|（绝对频率值），以创建V状幅度响应。可以通过以下方法中的一个导出内核HPi ：
• 沿着摄像器角度φ i （如同IPSF的Radon变换）对生成的IPSF积分
• 假定与Radon的等效性和使用Ram-Lak滤波器，优选地具有滤波器长度
Figure 434614DEST_PATH_IMAGE063
• 使用固定高通滤波器，例如，[-2 5 -2]
• Ri -1 ∙ (Si*IPSF)的单数值分解。使用旋转矩阵Ri -1 旋转2D内核以使得将会把Si 和HPi 对准水平和竖直轴，从而简化分解。
• 基于频率的方法（傅立叶空间中的分片）
试错法当然也是可能的，其中，把确切方法的结果与近似方法相比较，并且微调滤波器的参数。
可以按任何顺序执行两个卷积，即，与投影路径Si 的第一卷积后是与和投影路径垂直的滤波器HPi 的卷积，或反之亦然。
图36图释了其中在与各自路径S的卷积之后执行与高通滤波器（HP）的卷积的方框图。
图36图释了基于滤波背向投影从最小聚焦距离至最大聚焦距离对距离的连续范围处合成聚焦的合成全聚焦图像的快速近似计算。
对于第一个方面，可以变动卷积的顺序。
因而可以在各种实施例中执行本发明的此方面：
通过如下内容给出第一实施例：
a. 生成阵列每个图像捕捉设备的图像移位的投影路径
b. 把各摄像器图像与它们各自的投影路径卷积，以及此后
c. 把每个图像捕捉设备的图像与和投影路径垂直的高通滤波器卷积，
这是图36中图释的实施例。
通过如下内容给出第二实施例：
a. 生成阵列每个图像捕捉设备的图像移位的投影路径
b. 把每个图像捕捉设备的图像与和投影路径垂直的高通滤波器卷积，以及此后
c. 把各摄像器图像与它们各自的投影路径卷积
这等同于切换卷积的顺序。
通过如下内容给出第三实施例：
a. 生成阵列每个图像捕捉设备的图像移位的投影路径，该路径相对于阵列针对虚拟摄像器位置确定
b. 通过把每个图像各自的投影路径与和它垂直的高通滤波器卷积生成每个图像的卷积滤波器。
c. 把各摄像器图像与如b中所生成的它们各自的滤波器卷积
此实施例与图35类似。
本发明此方面的优点是方法很快速的事实，缺点是计算是近似的。这将会以某种精确度为代价更进一步减少计算能力。
虽然可以使用参数固定的滤波器，但优选地高通滤波器的参数是投影路径、特别是投影路径长度的函数。
既然卷积内核已被分解成一套旋转1D滤波器，它进一步通过析出旋转因素从而对优化系统有意义，以使得投影路径和高通滤波器是真正一维的。可能看来旋转图像在计算上更昂贵，但是这种运算在现代图形卡上容易获得，其中，把成本减少为单个坐标变换，从而需要少量计算努力，而强力减少滤波运算的后续计算努力。
在图37中图释了所得方案。
注意，在图37中框Ri*Si 和Ri*HP现在是纯粹水平和竖直1D滤波器。图37图释了优选实施例。
图38图释了按照本发明的方法的结果。顶部一半示意性地示出了显示屏幕周边周围的24个摄像器取得的24个图像。底部一半示出了获得全聚焦图像，示出了从各种虚拟摄像器位置取得的图像，中心虚拟摄像器位置和左和右虚拟摄像器位置一个。
图39提供了具有显示屏幕周围16个摄像器阵列的系统的印象。大窗口中描画的接收方接收来自虚拟视点VP的视频流。他在被看时感知直接眼睛接触。
可以通过全光摄像器执行本发明的方法。
扩展聚焦深度例如对于显微镜和数字病理学很有用。
单个获取可以涵盖大或甚至整个样本深度范围，从而减少对于例如显微镜中确切聚焦的需要。减少数据速率和采样时间。
也可以通过位于例如计算机屏幕周围的各摄像器的阵列执行本发明的方法。这实现除了别的之外的屏幕表面内的虚拟摄像器位置。对于计算能力的减小需求简化了屏幕的表面内虚拟视点的创建，以使得实时执行它变得可能。
在优选实施例中屏幕周围摄像器的数量至少是四个，优选地八个或更多个。对于虚拟视点的精确确定和PSF的精确确定，四个或更多个摄像器是有用的。在其中使用偶数和均匀分布的相对较大数量摄像器的实施例中，方法在实施例中可以包括如以上所解释的可替换地使用摄像器阵列的两个子集。如果两个子集具有略微不同的虚拟视点，则实时全聚焦3D记录是可能的。
本发明并非受给定示范性实施例制约。
在权利要求中，括号之间放置的任何附图标记不应当解释成限制权利要求。
词语“包括”不排除除了权利要求中列出的以外的元素或步骤。可以通过如上所述各种不同优选实施例的特征的任何组合实现本发明。
摄像器是用于记录图像的任何设备。它可以是也用于诸如通信之类的其它目的或者附接到通信设备、集成在通信设备中或与这种通信设备协作的设备的一部分。
用于执行方法中步骤的装置可以是硬件、软件或其任何组合的形式的。在根据本发明各种实施例的系统和设备中，提供了用于执行方法的步骤的装置。在说明书或权利要求中继提到的“用于……的装置”后是方法的步骤中多于一个步骤的情况下，装置可以是用于执行步骤中所有步骤的组合装置、或者多个装置的速记符号，所述装置中的每一个用于执行方法的步骤中的一个或更多个步骤。所以，‘用于积分的装置’也可以作为软件或者硬件或者其组合用作‘积分器’。‘用于生成的装置’可以称为用于生成的生成器，‘用于卷积的装置’为卷积器，‘用于相加的装置’为加法器，‘用于构建的装置’为构建器，‘用于反卷积的装置’为反卷积器，并且在本发明的概念中这些可以是软件、硬件、或者任何其它物件的一部分。把各种装置描述成了单独的以便描述容易。这不意味着本发明将会被限于作为单独单元的这种装置，可以在集成设备或软件块中组合功能。
在利用方法和系统的情况下，可以在摄像器中或附近或连接摄像器的场景处或附近的设备中出现任何这种装置。然而，也可以如可以远程控制系统那样，远程分析或处理图像数据。用于以无论什么方式处置数据的装置不需要位于同样地点处。可以通过位于摄像器处或附近的装置执行数据处置中的一些数据处置，特别是在其中把来自摄像器的数据与单个卷积相卷积的那些实施例中，如图35中，而可以通过CPU中的装置执行诸如求和或相加之类的更一般的数据处置。单独摄像器的图像数据经历处置（例如，把各图像与各自的路径（S）卷积）的实施例在这方面是有利的，因为在本发明的这种实施例中可以在可以通过靠近、附接到或集成到摄像器中的装置进行的捕捉图像之后立即执行这些处置。这增大运算的速度。
本发明还涉及计算机程序，其包括在计算机上运行所述程序时执行根据本发明的方法的程序代码装置；以及计算机程序产品，其包括用于执行根据本发明的方法的、存储在计算机可读介质上的程序代码装置。
在提到‘每个图像捕捉设备’的情况下，意指本发明的方法中使用和/或系统中活动的每个设备。当在例如显示屏幕周围存在摄像器的大阵列时，阵列可以细分成子阵列，子阵列中的一个或更多个执行方法，以及并非必定是本发明的同样实施例。也可能在系统包括N个图像捕捉设备的阵列时仅使用图像捕捉设备的一部分（M<N），例如以减少采集和必须处理和/或发送的数据的量。这可以响应于从预期的接收设备接收的数据来进行。如果例如要向诸如例如仅具有有限分辨率的便携式设备之类的设备发送虚拟输出图像，则在给定在接收端仅有限分辨率可用因而用于提供图像的方法中使用的图像捕捉设备的数量可能受约束（例如，仅使用显示屏幕周围摄像器的一半或四分之一，例如，仅16个中的8个）的情况下，不需要生成高质量图像。
简言之可以通过如下内容描述本发明：
在用于提供来自图像捕捉设备阵列的虚拟输出图像的方法和系统中，从设备（C1，C2）取得图像数据（I1(s,t)，I2(s,t)）。通过把图像数据（I1(s,t)，I2(s,t)）与函数（例如，路径（S））卷积并且此后把它们在求和（SUM）之后或者之前与和其等效或类似的反向点扩散函数（IPSF）或滤波器（HP）反卷积来处理此图像数据，以产生全聚焦图像数据（Ī0(s,t)）。该可以相对于虚拟摄像器位置来进行，其中的位置形成输入方法和系统。特别地，本方法和系统在使用两个或更多个交互（子）系统时是有利的。本发明随后允许实时真实性眼对眼接触仿真。

Claims (26)

1. 一种根据图像捕捉设备（C1，C2，CK，CN）的阵列提供的各输入图像（I1(s,t)，I2(s,t)，IK(s,t)，IN (s,t)）的输入图像数据产生虚拟输出图像（Ī0(s,t)）的输出图像数据的方法，所述图像捕捉设备用于从不同视点捕捉多个单独图像，
该方法包括各输入图像的相应像素值基于场景中多个深度层相加和反向过滤，
其特征在于，由表示虚拟摄像器位置（u0，v0）的输入虚拟摄像器位置信号（C0）提供虚拟摄像器位置（u0,v0），所述相加和反向过滤根据虚拟摄像器位置（u0，v0）执行以产生如从虚拟摄像器位置（u0,v0）所见的虚拟输出图像（Ī0 (s,t)）的图像数据。
2. 如权利要求1所述的方法，其中，相加和反向过滤包括方法步骤：
根据各图像（I1(s,t)，I2(s,t)，IK(s,t)，IN (s,t)）的输入图像数据构建多个深度（I0z1 (s,t)，I0z2 (s,t)）处多个合成聚焦图像的图像数据，
把各种深度处多个合成聚焦图像的图像数据相加以形成积分模糊图像（Ĩ0(s,t)）的图像数据，以及此后
使用反向点扩散函数（IPSF）对积分模糊图像（Ĩ0(s,t)）反卷积，以便根据各图像（I1(s,t)，I2(s,t)，IK(s,t)，IN (s,t)）的输入图像数据产生虚拟图像（Ī0 (s,t)）的图像数据。
3. 如权利要求2所述的方法，其中，所述方法包括：
a 对于多个深度（z1，z2，..）与特定图像捕捉设备的位置和虚拟摄像器位置（u0,v0）之间的距离成比例地、且按照特定深度（z1，z2，..）移位由图像捕捉设备提供的各输入图像，以把各输入图像对准虚拟摄像器位置（u0,v0），以及随后
b. 把每个深度处移位图像的图像数据相加在一起以形成多个深度（I0z1 (s,t)）处合成聚焦图像的图像数据，
c 把多个合成聚焦图像相加以形成积分模糊图像（Ĩ0(s,t)）,
d. 通过对像素的预期模糊内核积分生成点扩散函数（PSF）,
e. 使用点扩散函数（PSF）的反向点扩散函数（IPSF），对积分模糊图像（Ĩ0(s,t)）反卷积，以便产生由输入虚拟摄像器位置信号（C0）提供的虚拟摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据。
4. 如权利要求1所述的方法，其中，相加和反向过滤包括方法步骤：
a. 生成阵列的每个图像捕捉设备针对虚拟摄像器位置（u0,v0）的图像移位的投影路径（S），投影路径S是平移脉冲响应函数的总和，以便使在多个深度处的图像捕捉设备的图像对准虚拟摄像器位置（u0,v0）,
b. 把各图像（I1，I2，..）与它们各自的投影路径（S）卷积以形成卷积图像（Iconv1(s,t)，Iconv2(s,t)，….）,
c. 把卷积图像（Iconv1(s,t)，Iconv2(s,t)，….）相加以形成积分模糊图像（Ĩ0(s,t)）,
d. 通过投影路径的积分生成点扩散函数（PSF）,
e. 使用点扩散函数（PSF）的反向点扩散函数（IPSF），对积分图像（Ĩ0(s,t)）反卷积，以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据。
5. 如权利要求1所述的方法，其中，相加和反向过滤包括方法步骤：
a. 生成阵列的每个图像捕捉设备针对虚拟摄像器位置（u0,v0）的图像移位的投影路径（S），投影路径（S）是平移脉冲响应函数的总和，以便使在多个深度处图像对准虚拟摄像器位置,
b. 通过投影路径（S）的积分生成点扩散函数（PSF）,
c. 对于每个图像，把各自的投影路径（S）与反向点扩散函数（IPSF）卷积,
d. 把每个图像（I1(s,t)，I2(s,t)）与路径和反向点扩散函数的卷积（S*IPSF）相卷积提供卷积图像,
e. 把卷积图像相加以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据。
6. 如权利要求1所述的方法，其中，相加和反向过滤包括方法步骤：
a. 生成阵列的每个图像捕捉设备（C1，C2，CK，CN）的图像移位的投影路径（S），该路径针对虚拟摄像器位置（u0,v0）来确定，投影路径（S）是平移脉冲响应函数的总和，以便使在多个深度处图像捕捉设备的图像对准虚拟摄像器位置（u0,v0）,
b. 把各摄像器图像（I1，I2，..）与它们各自的投影路径（S）卷积,
c. 把每个图像捕捉设备的图像与和投影路径垂直的高通滤波器（HP）卷积，
d. 把卷积图像相加以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据。
7. 如权利要求1所述的方法，其中，相加和反向过滤包括方法步骤：
a. 生成阵列的每个图像捕捉设备的图像移位的投影路径（S），该路径（S）针对虚拟摄像器位置（u0,v0）来确定，投影路径（S）是平移脉冲响应函数的总和，以便使多个深度处图像捕捉设备的图像对准虚拟摄像器位置（u0,v0）,
b. 通过把每个图像各自的投影路径（S）与和它垂直的高通滤波器（S*HP）卷积生成每个图像的卷积滤波器,
c. 把各输入图像（I1(s,t)，I2(s,t)）与如b中所生成的它们各自的滤波器卷积,
d. 把卷积图像相加以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据。
8. 如在前权利要求中任一项所述的方法，其中，根据由图像捕捉设备的阵列捕捉的图像集合同时生成多个虚拟视点（(u0,v0)B，(u0,v0)C）。
9. 如在前权利要求中任一项所述的方法，其中，图像捕捉设备的阵列是显示屏幕周边处摄像器的阵列，并且虚拟摄像器位置是显示屏幕处的点。
10. 如权利要求9所述的方法，其中，通过测量显示屏幕上眼睛的位置确定至少一个虚拟摄像器位置。
11. 如权利要求10所述的方法，其中，通过眼睛检测位置装置自动和动态确定所述至少一个虚拟摄像器位置。
12. 如在前权利要求中任一项所述的方法，其中，提供左-右眼虚拟摄像器位置的两个虚拟摄像器位置以提供两个虚拟摄像器位置处的两个虚拟输出图像。
13. 一种计算机程序，包括用于所述程序在计算机上运行时执行如在前权利要求中任一项所述的方法的程序代码装置。
14. 一种计算机程序产品，包括计算机可读介质上存储的、用于所述程序在计算机上运行时执行如权利要求1至12中任一项所述的方法的程序代码装置。
15. 一种根据图像捕捉设备的阵列获得的输入图像构建输出图像的系统，该系统包括用于从不同视点捕捉图像的图像捕捉设备（C1，C2，CK，CN）的阵列，其中，该系统包括用于从阵列的图像捕捉设备捕捉图像数据（I1(s,t)，I2(s,t)）的装置，该系统包括用于将各输入图像的相应像素值基于场景中多个深度层相加和反向过滤的装置，其特征在于，该系统包括用以通过表示虚拟摄像器位置（u0，v0）的输入虚拟摄像器位置信号（C0）提供选定的虚拟摄像器位置（u0,v0）的装置，并且用于相加和反向过滤的装置被布置成作为选定虚拟摄像器位置（u0，v0）的函数操作以产生由输入虚拟摄像器位置信号（C0）提供的虚拟摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据。
16. 如权利要求15所述的系统，其中，用于相加和反向过滤的装置包括：
用于根据各图像（I1(s,t)，I2(s,t)，IK(s,t)，IN (s,t)）的输入图像数据构建多个深度（I0z1 (s,t)，I0z2 (s,t)）处多个合成聚焦图像的图像数据的装置，
用于把各种深度处多个合成聚焦图像的图像数据相加以形成积分模糊图像（Ĩ0(s,t)）的图像数据的装置，以及
用于使用反向点扩散函数（IPSF）对积分模糊图像（Ĩ0(s,t)）反卷积，以便根据各图像（I1(s,t)，I2(s,t)，IK(s,t)，IN (s,t)）的输入图像数据产生虚拟图像（Ī0 (s,t)）的图像数据的装置。
17. 如权利要求16所述的系统，其中，系统包括：
a 用于对于多个深度（z1，z2，..）与特定图像捕捉设备的位置和虚拟摄像器位置（u0,v0）之间的距离成比例地、且根据特定深度（z1，z2，..）移位图像捕捉设备提供的各输入图像、以把各输入图像对准虚拟摄像器位置（u0,v0）的装置，以及
b. 用于把每个深度处移位图像的图像数据相加在一起以形成多个深度（I0z1 (s,t)）处合成聚焦图像的图像数据的装置，
c 用于把多个合成聚焦图像相加以形成积分模糊图像（Ĩ0(s,t)）的装置,
d. 用于通过对像素的预期模糊内核积分生成点扩散函数（PSF）的装置,
e. 用于使用点扩散函数（PSF）的反向点扩散函数（IPSF）对积分模糊图像（Ĩ0(s,t)）反卷积、以便产生由输入虚拟摄像器位置信号（C0）提供的虚拟摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据的装置。
18. 如权利要求15所述的系统，其中，用于相加和反向过滤的装置包括：
a. 用于生成阵列的每个图像捕捉设备针对虚拟摄像器位置（u0,v0）的图像移位的投影路径（S）的装置，投影路径S是平移脉冲响应函数的总和，以便使多个深度处图像捕捉设备的图像对准虚拟摄像器位置（u0,v0）,
b. 用于把各图像（I1，I2，..）与它们各自的投影路径（S）卷积以形成卷积图像Iconv(s,t)的装置,
c. 用于把卷积图像Iconv(s,t)相加以形成积分模糊图像（Ĩ0(s,t)）的装置,
d. 用于通过投影路径的积分生成点扩散函数（PSF）的装置,
e. 用于使用点扩散函数（PSF）的反向点扩散函数（IPSF）对积分图像（Ĩ0(s,t)）反卷积、以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据的装置。
19. 如权利要求15所述的系统，其中，用于相加和反向过滤的装置包括：
a. 用于生成阵列的每个图像捕捉设备针对虚拟摄像器位置（u0,v0）的图像移位的投影路径（S）的装置，投影路径（S）是平移脉冲响应函数的总和以使在多个深度处图像对准虚拟摄像器位置,
b. 用于通过投影路径（S）的积分生成点扩散函数（PSF）的装置,
c. 用于对于每个图像把各自的投影路径（S）与反向点扩散函数（IPSF）卷积的装置,
d. 用于把每个图像（I1(s,t)，I2(s,t)）与路径和反向点扩散函数的卷积（S*IPSF）相卷积以提供卷积图像的装置,
e. 用于把卷积图像相加以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据的装置。
20. 如权利要求15所述的系统，其中，用于相加和反向过滤的装置包括：
a. 用于生成阵列的每个图像捕捉设备（C1，C2，CK，CN）的图像移位的投影路径（S）的装置，该路径针对虚拟摄像器位置（u0,v0）来确定，投影路径（S）是平移脉冲响应函数的总和以使在多个深度处图像捕捉设备的图像对准虚拟摄像器位置（u0,v0）,
b. 用于把各摄像器图像（I1，I2，..）与它们各自的投影路径（S）卷积的装置,
c. 用于把每个图像捕捉设备的图像与和投影路径垂直的高通滤波器（HP）卷积的装置，
d. 用于把卷积图像相加以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据的装置。
21. 如权利要求15所述的系统，其中，用于相加和反向过滤的装置包括：
a. 用于生成阵列的每个图像捕捉设备的图像移位的投影路径（S）的装置，该路径（S）针对虚拟摄像器位置（u0,v0）来确定，投影路径（S）是平移脉冲响应函数的总和以使在多个深度处图像捕捉设备的图像对准虚拟摄像器位置（u0,v0）,
b. 用于通过把每个图像各自的投影路径（S）与和它垂直的高通滤波器卷积（S*HP）而生成每个图像的卷积滤波器的装置,
c. 用于把各输入图像（I1(s,t)，I2(s,t)）与如b中所生成的它们各自的滤波器卷积的装置,
d. 用于把卷积图像相加以便产生由输入虚拟摄像器位置信号（C0）提供的竖直摄像器位置（u0,v0）处虚拟输出图像（Ī0 (s,t)）的图像数据的装置。
22. 如权利要求15至21中任一项所述的系统，其中，图像捕捉设备的阵列是显示屏幕周边处摄像器的阵列并且虚拟摄像器位置是显示屏幕处的点。
23. 如权利要求22所述的系统，其中，所述系统包括两个交互子系统，每个子系统包括显示屏幕周边处摄像器的阵列，系统之一的显示屏幕处的虚拟摄像器位置由系统中的另一个通过测量该另一系统的查看者的眼睛位置来确定。
24. 如权利要求15至21中任一项所述的系统，其中，所述系统包括全光摄像器，其具有透镜和图像传感器以及位于透镜与图像传感器之间的微透镜阵列，该全光摄像器包括图像捕捉设备的阵列。
25. 如权利要求15至24中任一项所述的系统，其中，所述阵列被细分成两个或更多个子阵列。
26. 如权利要求25所述的系统，其中，所述系统被布置成向子阵列分配不同虚拟摄像器位置。
CN201180032543.6A 2010-06-29 2011-06-20 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统 Active CN102959945B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10167628A EP2403234A1 (en) 2010-06-29 2010-06-29 Method and system for constructing a compound image from data obtained by an array of image capturing devices
EP10167628.6 2010-06-29
PCT/IB2011/052677 WO2012001568A1 (en) 2010-06-29 2011-06-20 Method and system for producing a virtual output image from data obtained by an array of image capturing devices

Publications (2)

Publication Number Publication Date
CN102959945A true CN102959945A (zh) 2013-03-06
CN102959945B CN102959945B (zh) 2016-09-21

Family

ID=43127439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180032543.6A Active CN102959945B (zh) 2010-06-29 2011-06-20 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统

Country Status (5)

Country Link
US (1) US9013477B2 (zh)
EP (2) EP2403234A1 (zh)
JP (1) JP6279321B2 (zh)
CN (1) CN102959945B (zh)
WO (1) WO2012001568A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363369A (zh) * 2014-11-17 2015-02-18 清华大学深圳研究生院 一种光场相机的图像恢复方法及装置
CN106105193A (zh) * 2014-03-13 2016-11-09 三星电子株式会社 用于产生具有深度信息的图像的图像拾取设备和方法
CN106233329A (zh) * 2014-04-24 2016-12-14 高通股份有限公司 3d拉东图像的产生和使用
CN107508788A (zh) * 2016-06-14 2017-12-22 波音公司 用于保护ads‑b消息的隐私的系统和方法
CN108922273A (zh) * 2018-07-16 2018-11-30 湖南城市学院 一种智能化英语学习桌
CN109325992A (zh) * 2018-10-19 2019-02-12 珠海金山网络游戏科技有限公司 图像绘制方法和装置、计算设备及存储介质
CN109716751A (zh) * 2016-09-15 2019-05-03 佳能株式会社 与虚拟视点图像的生成有关的信息处理设备、方法和程序
CN109754064A (zh) * 2017-11-07 2019-05-14 三星电子株式会社 执行解卷积的神经网络的方法和装置
CN110024002A (zh) * 2016-12-30 2019-07-16 谷歌有限责任公司 用于使用贡献区域来光场重构的系统和方法
CN110068328A (zh) * 2018-01-22 2019-07-30 腾讯科技（深圳）有限公司 导航路线生成方法、装置、计算机可读存储介质和计算机设备
TWI725620B (zh) * 2019-11-14 2021-04-21 大陸商南京深視光點科技有限公司 全向立體視覺的相機配置系統及相機配置方法

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US9137441B2 (en) * 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
JP5943785B2 (ja) * 2012-09-12 2016-07-05 キヤノン株式会社 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) * 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
KR102065687B1 (ko) * 2012-11-01 2020-02-11 아이캠, 엘엘씨 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
JP6091176B2 (ja) * 2012-11-19 2017-03-08 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
US20140176532A1 (en) * 2012-12-26 2014-06-26 Nvidia Corporation Method for image correction and an electronic device embodying the same
WO2014113583A1 (en) * 2013-01-18 2014-07-24 Intel Corporation Variance estimation light field reconstruction for defocus blur
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014133481A1 (en) * 2013-02-26 2014-09-04 Hewlett-Packard Development Company, L.P. Multiview 3d telepresence
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) * 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
TWI605418B (zh) * 2013-04-15 2017-11-11 晨星半導體股份有限公司 影像編輯方法以及影像處理裝置
TWI508554B (zh) * 2013-05-21 2015-11-11 Univ Nat Taiwan 基於光場相機的影像對焦處理方法及其系統
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
EP3116216A4 (en) * 2014-03-03 2017-02-15 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9762895B1 (en) * 2014-03-11 2017-09-12 Rockwell Collins, Inc. Dual simultaneous image presentation for a three-dimensional aviation display
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016002578A1 (ja) * 2014-07-04 2016-01-07 ソニー株式会社 画像処理装置および方法
US9786057B2 (en) * 2014-09-19 2017-10-10 Lasertec Coporation Inspection apparatus, coordinate detection apparatus, coordinate detection method, and wavefront aberration correction method
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9292926B1 (en) 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
EP3035284A1 (en) * 2014-12-19 2016-06-22 Thomson Licensing Method and apparatus for generating an adapted slice image from a focal stack
JP6376974B2 (ja) * 2014-12-26 2018-08-22 キヤノン株式会社 撮像装置及び撮像システム
CN105825493B (zh) * 2015-01-09 2019-05-03 华为技术有限公司 图像配准方法和装置
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3094076A1 (en) * 2015-05-13 2016-11-16 Thomson Licensing Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
EP3099055A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
EP3106912A1 (en) 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US10701318B2 (en) * 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
CL2015003495A1 (es) * 2015-11-30 2016-07-15 Univ Concepcion Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital.
WO2017106603A1 (en) * 2015-12-16 2017-06-22 Stc.Unm System and methods for computing 2-d convolutions and cross-correlations
JP6534455B2 (ja) * 2016-02-04 2019-06-26 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
JP6681068B2 (ja) * 2016-06-14 2020-04-15 国立研究開発法人理化学研究所 データ復元装置、顕微鏡システム、およびデータ復元方法
WO2018064502A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
WO2018213840A1 (en) 2017-05-19 2018-11-22 Google Llc Depthwise separable convolutions for neural machine translation
US10841537B2 (en) 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
US11227405B2 (en) 2017-06-21 2022-01-18 Apera Ai Inc. Determining positions and orientations of objects
EP3422288B1 (en) 2017-06-26 2020-02-26 Tecan Trading Ag Imaging a well of a microplate
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2019079790A1 (en) 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
JP7238381B2 (ja) * 2017-12-21 2023-03-14 株式会社ニコン 画像処理装置、画像処理プログラム、画像処理方法および顕微鏡
JP6569769B2 (ja) * 2018-04-25 2019-09-04 株式会社ニコン 任意視点画像合成方法及び画像処理装置
JP6938719B2 (ja) * 2018-07-26 2021-09-22 キヤノン株式会社 撮像装置及び撮像システム
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
US11954819B1 (en) * 2020-02-28 2024-04-09 Unm Rainforest Innovations System and methods for fast and scalable 2D convolutions and cross-correlations for processing image databases and videos on CPUs
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN113793284B (zh) * 2021-11-17 2022-03-15 武汉工程大学 气动光学效应空变模糊图像不均匀分块的图像复原方法
US20230186550A1 (en) * 2021-12-09 2023-06-15 Unity Technologies Sf Optimizing generation of a virtual scene for use in a virtual display environment
JP2023120969A (ja) * 2022-02-18 2023-08-30 株式会社東京精密 画像処理装置、画像処理方法及び三次元形状測定装置
US12034907B2 (en) * 2022-08-12 2024-07-09 Varjo Technologies Oy Selective extended depth-of-field correction
US12112457B2 (en) * 2022-11-21 2024-10-08 Varjo Technologies Oy Selective extended depth-of-field correction for image reconstruction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077008A2 (en) * 2002-03-13 2003-09-18 Yeda Research And Development Company Ltd. Auto-focusing method and device
US20040228520A1 (en) * 2003-02-18 2004-11-18 Oklahoma Medical Research Foundation Extended depth of focus microscopy

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130768A (ja) * 1995-02-16 1997-05-16 Sumitomo Electric Ind Ltd 伝送手段を介して対話者間の視線を一致させる機構を備えた双方向対話型システム、端末装置、及び撮像装置
JPH09107534A (ja) * 1995-10-11 1997-04-22 Canon Inc テレビ会議装置及びテレビ会議システム
JP2003009108A (ja) * 2001-06-26 2003-01-10 Minolta Co Ltd 画像通信システム、画像通信装置、および画像通信方法
JP2005142765A (ja) * 2003-11-05 2005-06-02 Sony Corp 撮像装置及び方法
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077008A2 (en) * 2002-03-13 2003-09-18 Yeda Research And Development Company Ltd. Auto-focusing method and device
US20040228520A1 (en) * 2003-02-18 2004-11-18 Oklahoma Medical Research Foundation Extended depth of focus microscopy

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106105193B (zh) * 2014-03-13 2019-01-11 三星电子株式会社 用于产生具有深度信息的图像的图像拾取设备和方法
CN106105193A (zh) * 2014-03-13 2016-11-09 三星电子株式会社 用于产生具有深度信息的图像的图像拾取设备和方法
CN106233329A (zh) * 2014-04-24 2016-12-14 高通股份有限公司 3d拉东图像的产生和使用
CN104363369B (zh) * 2014-11-17 2017-11-03 清华大学深圳研究生院 一种光场相机的图像恢复方法及装置
CN104363369A (zh) * 2014-11-17 2015-02-18 清华大学深圳研究生院 一种光场相机的图像恢复方法及装置
CN107508788A (zh) * 2016-06-14 2017-12-22 波音公司 用于保护ads‑b消息的隐私的系统和方法
CN109716751A (zh) * 2016-09-15 2019-05-03 佳能株式会社 与虚拟视点图像的生成有关的信息处理设备、方法和程序
CN109716751B (zh) * 2016-09-15 2021-02-26 佳能株式会社 信息处理设备、方法和计算机可读存储介质
CN110024002A (zh) * 2016-12-30 2019-07-16 谷歌有限责任公司 用于使用贡献区域来光场重构的系统和方法
CN110024002B (zh) * 2016-12-30 2021-05-04 谷歌有限责任公司 用于根据光场渲染视图的方法和系统
CN109754064A (zh) * 2017-11-07 2019-05-14 三星电子株式会社 执行解卷积的神经网络的方法和装置
CN109754064B (zh) * 2017-11-07 2024-04-12 三星电子株式会社 执行解卷积的神经网络的方法和装置
US11960999B2 (en) 2017-11-07 2024-04-16 Samsung Electronics Co., Ltd. Method and apparatus with neural network performing deconvolution
CN110068328A (zh) * 2018-01-22 2019-07-30 腾讯科技（深圳）有限公司 导航路线生成方法、装置、计算机可读存储介质和计算机设备
CN108922273A (zh) * 2018-07-16 2018-11-30 湖南城市学院 一种智能化英语学习桌
CN109325992A (zh) * 2018-10-19 2019-02-12 珠海金山网络游戏科技有限公司 图像绘制方法和装置、计算设备及存储介质
CN109325992B (zh) * 2018-10-19 2023-07-04 珠海金山数字网络科技有限公司 图像绘制方法和装置、计算设备及存储介质
TWI725620B (zh) * 2019-11-14 2021-04-21 大陸商南京深視光點科技有限公司 全向立體視覺的相機配置系統及相機配置方法

Also Published As

Publication number Publication date
US9013477B2 (en) 2015-04-21
US20130088489A1 (en) 2013-04-11
EP2403234A1 (en) 2012-01-04
CN102959945B (zh) 2016-09-21
JP2013531309A (ja) 2013-08-01
EP2589215A1 (en) 2013-05-08
WO2012001568A1 (en) 2012-01-05
EP2589215B1 (en) 2016-01-20
JP6279321B2 (ja) 2018-02-14

Similar Documents

Publication Publication Date Title
CN102959945A (zh) 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统
Wu et al. Light field image processing: An overview
EP3101624B1 (en) Image processing method and image processing device
US10397545B2 (en) 3-D light field camera and photography method
Adelson et al. Single lens stereo with a plenoptic camera
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
JPH06194758A (ja) 奥行画像形成方法及び装置
WO2012056685A1 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
JP6003578B2 (ja) 画像生成方法及び装置
CN108769462A (zh) 自由视角场景漫游方法及装置
US10255664B2 (en) Image processing device and method
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
EP3549334A1 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
JP2016225811A (ja) 画像処理装置、画像処理方法およびプログラム
Chan et al. Super-resolution reconstruction in a computational compound-eye imaging system
JP7014175B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2017034682A (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
JP6330955B2 (ja) 撮像装置及び撮像方法
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
Gregory et al. A gigapixel computational light-field camera
Gregory et al. Computational version of the correlation light-field camera
Abdul Fatah Post-production of holoscopic 3D image
Ai et al. Adaptive periodic δ-function array-based three-dimensional optical refocusing from elemental image array

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant