CN102026011B - 获得光场数据的设备以及处理光场数据的设备和方法 - Google Patents

获得光场数据的设备以及处理光场数据的设备和方法 Download PDF

Info

Publication number
CN102026011B
CN102026011B CN201010288391.3A CN201010288391A CN102026011B CN 102026011 B CN102026011 B CN 102026011B CN 201010288391 A CN201010288391 A CN 201010288391A CN 102026011 B CN102026011 B CN 102026011B
Authority
CN
China
Prior art keywords
pattern
attenuation
light field
block
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010288391.3A
Other languages
English (en)
Other versions
CN102026011A (zh
Inventor
姜周泳
朴炳冠
韩相旭
李性德
崔瑗熙
任宰均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102026011A publication Critical patent/CN102026011A/zh
Application granted granted Critical
Publication of CN102026011B publication Critical patent/CN102026011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46—Systems using spatial filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

提供了一种获得光场数据的设备以及处理光场数据的设备和方法。光场数据获得设备包括：具有衰减图案的调制器，空间地调制图像的4D光场；传感器，获得空间地调制的4D光场的2D信号；通过利用调制器的衰减图案，可在低角度频率区域获得比在高角度频率区域获得的更多的空间数据。

Description

获得光场数据的设备以及处理光场数据的设备和方法
本申请要求于2009年9月22日提交的第10-2009-89780号韩国专利申请的权益，该申请的公开通过引用全部包含于此。
技术领域
以下描述涉及图像处理，更具体地讲，涉及使用调制器获得和处理光场数据，以在频域中空间地调制图像的四维(4D)光场的技术。
背景技术
大多数商业化的成像系统在单幅图像中显示捕获的画面。近来，已进行了对重聚焦图像的全光相机(plenoptic camera)的研究。全光相机，也被称为光场(light field)相机，使用微透镜阵列(通常地，双凸透镜)获得图像的四维(4D)光场信息。全光相机提供给用户各种功能，例如，重聚焦图像的选项，允许在拍摄图像之后调节图像的焦平面。全光相机还允许用户能够在不同视角查看图像的变化。
为了获得这样的光场数据，必需获得关于光取向(orientation)的角度数据以及关于传感器像素的数量的空间数据。结果，当得到角度数据时通常发生分辨率恶化。因此，传统的光场成像无法创建高分辨率图像。因为作为结果的4D数据是从2D传感器接收的二维(2D)角度数据加上2D空间数据，所以空间数据的分辨率被角度数据的量降低。例如，如果需要12×12(即，144)条角度数据来满足透镜的角度分辨率的度数，则作为结果的分辨率将降低至通过使用所有传感器像素而达到的最大分辨率的1/144。
此外，传统的光场系统将均匀采样应用到空间数据。光场系统利用微透镜阵列或光调制器。微透镜阵列由于其结构而必须服从均匀采样，在所述结构中排列具有相同大小的微透镜。同样地，在光调制器的情况下，在均匀分配空间带宽和角度带宽的假设下使用均匀采样。
即，用于空间地调制光场的现有调制器在频域中空间数据针对取向数据的每个频带具有相同的带宽的假设下而被设计。因此，通过这样的现有的调制器创建的频率响应对空间数据以均匀间隔出现。
然而，当光场数据的图像信息被变换到频域时，发生频域越高，空间数据越少的现象。
发明内容
在一个总体方面，提供一种用于获得光场数据来创建图像的设备，所述设备包括：调制器，所述调制器包括衰减图案，所述衰减图案被配置为在频域中空间地调制四维(4D)光场图像；传感器，配置为获得空间地调制的4D光场的二维(2D)信号，其中，衰减图案被配置为通过频域中的空间调制，产生取决于位置的2D信号的频率响应。
所述设备还可包括：调制器包括：透明层；安装在透明层上的金属层，所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
所述设备还可包括：衰减图案被配置为通过以下方法产生多个灰度值，所述方法包括：将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
所述设备还可包括：衰减图案被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
在另一总体方面，提供一种用于处理光场数据来创建图像的设备，所述设备包括：调制器，所述调制器包括衰减图案，所述衰减图案被配置为空间地调制四维(4D)光场图像；传感器，配置为获得空间地调制的4D光场的二维(2D)信号；数据处理器，配置为使用所述2D信号来恢复4D光场数据，其中，衰减图案还被配置为通过频域中的空间调制，产生取决于位置的2D信号的频率响应。
所述设备还可包括：调制器包括：透明层；安装在透明层上的金属层，所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
所述设备还可包括：衰减图案还被配置为通过以下方法产生多个灰度值，所述方法包括：将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
所述设备还可包括：衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
所述设备还可包括：数据处理器还被配置为：将傅里叶变换应用到由传感器感获得的2D信号以创建2D区块；对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀；将经过补零的2D区块重配置为4D区块堆；将傅里叶反变换应用到4D区块堆来恢复4D光场图像。
所述设备还可包括：数据处理器还被配置为执行补零，以使2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
所述设备还可包括：数据处理器还被配置为使用恢复的4D光场数据，从来自至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
在另一总体方面，提供一种光场数据处理方法，所述方法由光场数据处理器执行，所述方法包括：使用具有衰减图案的调制器空间地调制4D光场图像，以获得空间地调制的4D光场的2D信号；使用所述2D信号恢复4D光场数据，其中，衰减图案通过频域中的空间调制产生取决于位置的2D信号的频率响应。
所述光场数据处理方法还可包括：恢复4D光场数据的步骤包括：将傅里叶变换应用到2D信号以获得2D区块；对2D区块中的至少一个2D区块执行补零以使2D区块的大小统一；将经过补零的2D区块重配置为4D区块堆；对4D区块堆执行傅里叶反变换来恢复4D光场图像。
所述光场数据处理方法还可包括：以这样的方法执行补零，2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
所述光场数据处理方法还可包括：使用恢复的4D光场数据从来自场景的至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
在另一总体方面，提供一种用于在频域中空间地调制光场的调制器，所述调制器包括：透明层；安装在透明层上的金属层，所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度，其中，衰减图案被配置为通过频域中的空间调制产生取决于位置的二维(2D)信号的频率响应。
所述调制器还可包括：衰减图案还被配置为通过以下方法产生多个灰度值，所述方法包括：将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
所述调制器还可包括：衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
在另一总体方面，提供一种图像处理设备，包括：数据获得单元，配置为接收四维(4D)光场图像，并通过频域的空间调制产生多个非均匀二维(2D)频率响应信号；处理器，配置为处理多个感测的非均匀2D频率响应信号来产生4D光场数据。
所述图像处理设备还可包括：数据获得单元包括调制器，所述调制器包括非谐波衰减图案，所述非谐波衰减图案被配置为将经过的光削弱为多个非均匀2D频率响应信号。
所述图像处理设备还可包括：数据获得单元还包括透镜和配置为感测非均匀2D频率响应信号的多个传感器，调制器位于透镜和多个传感器之间。
所述图像处理设备还可包括：多个传感器被划分为多个部分，每个部分包括多个单元，非谐波衰减图案还被配置为阻挡一个部分的一个或多个单元以产生用于所述部分的灰度值。
所述图像处理设备还可包括：通过组合两个或多个余弦信号来设计所述非谐波图案，所述余弦信号有具有非谐波特征的和。
所述图像处理设备还可包括：通过组合两个或多个正弦信号来设计所述非谐波图案，所述正弦信号有具有非谐波特征的和。
所述图像处理设备还可包括：通过组合余弦信号和正弦信号的组合来设计所述非谐波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
所述图像处理设备还可包括：衰减图案还被配置为在存在较多空间数据的低角度频率区域获得较多空间数据并在存在较少空间数据的高角度频率区域获得较少空间数据。
所述图像处理设备还可包括：处理器还被配置为将傅里叶变换应用到感测的非均匀2D频率响应信号，以获得2D区块。
所述图像处理设备还可包括：处理器还被配置为对至少一个2D区块执行补零，以将2D区块的大小调整至均匀。
所述图像处理设备还可包括：处理器还被配置为：将经过补零的2D区块重配置为4D区块堆；将傅里叶反变换应用到4D区块堆来产生4D光场图像。
所述图像处理设备还可包括：补零的结果是所述2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
在另一总体方面，提供一种在四维(4D)图像的处理中使用的光学掩膜，所述光学掩膜包括：透明层；附于所述透明层的金属层，并且所述金属层包括被配置为进行以下处理的衰减图案，所述处理包括：接收四维(4D)光场图像；通过频域中的空间调制来将经过的4D光图像削弱为多个非均匀二维(2D)频率响应信号。
所述光学掩膜还可包括：衰减图案包括多个部分，所述部分包括多个单元，使得每个单元在0.1μm至1μm的范围内被隔开。
所述光学掩膜还可包括：一个部分的单元中的一个或多个单元被阻挡，以阻止光经过以及产生用于所述部分的灰度值。
所述光学掩膜还可包括：衰减图案包括2D非谐波图案。
所述光学掩膜还可包括：通过组合两个或多个余弦信号来设计所述非谐波图案，所述余弦信号有具有非谐波特征的和。
所述光学掩膜还可包括：通过组合两个或多个正弦信号来设计所述非谐波图案，所述正弦信号有具有非谐波特征的和。
所述光学掩膜还可包括：通过组合余弦信号和正弦信号的组合来设计所述非谐波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
所述光学掩膜还可包括：衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
其他特点和方面从以下描述、附图和权利要求会是清楚的。
附图说明
图1是示出光场数据处理器的示例的示图。
图2是示出非谐波调制器(non-harmonic modulator)的示例的示图。
图3是示出应用到单元图案的灰度调整方法的示例的示图。
图4是示出非谐波调制器的横断面视图的示例的示图。
图5是示出关于由非谐波调制器获得的频率响应的光谱复制的示例的示图。
图6是示出从将傅里叶变换应用到由光场数据处理器获得的二维(2D)信号而获得的图像的示例的示图。
图7是示出解调光场频谱来恢复光场数据的处理的示例的示图。
图8是示出从将补零应用到图6中显示的图像而获得的图像的示例的示图。
贯穿附图及说明书，除非另有描述，否则相同的附图标号应该被理解为是指相同的元件、特征和结构。为了清楚、说明和方便的目的，可夸大这些元件的相对大小和描述。
具体实施方式
提供以下描述来帮助读者获得对在此描述的方法、设备和/或系统更充分地理解。因此，可对本领域的普通技术人员建议这里描述的方法、设备和/或系统的各种改变、修改和等同物。描述的处理步骤和/或操作的进行是示例；然而，除非步骤和/或操作必需按特定顺序发生，否则步骤和/或操作的顺序不限于在此所阐述的，并可如本领域中所公知的被改变。此外，为了更加清楚和简明，可省略公知功能和构造的描述。
图1示出光场数据处理器的示例。
参照图1，光场数据处理器100包括透镜110、调制器120、传感器130和数据处理器140。光场数据处理器100可以是相机或具有相机的电子装置，例如，个人计算机、移动终端等。
对象或场景105的图像可经由透镜110并经由调制器120而获得，并可被传递到传感器130，在传感器130，所述图像被传感器130感测为光场数据。
调制器120包括衰减图案(attenuation pattern)来空间地调制形成的图像的四维(4D)光场。所述衰减图案可通过频域中的空间调制产生包括二维(2D)信号的频率响应。所述2D信号可取决于位置。例如，衰减图案可通过频域中的空间调制使频率响应的位置不均匀。调制器120可沿光轴排列。在该示例中，调制器120位于透镜100与传感器130之间。然而，应该理解，调制器120可安装在传感器130上。
传感器130可包括多个像素元件。传感器130获得2D信号的空间调制的4D光场。光场数据可存储在预定存储器(未示出)。
当由传感器130感测的空间调制的图像经过傅里叶变换时，图像信息可被变换到频域。换句话说，可通过处理由传感器130感测的空间调制的图像来恢复原始光场数据。
该处理与这样的传输方案类似，在所述传输方案中基带信号被调制为使用载波信号的高频信号，然后在没有能量损耗的情况下被发送到的边远地区。接收器对调制的信号解调来恢复基带信号。该方法被广泛的用于各种无线电/通信系统。因此，应该理解，光场数据处理器100被设计来将传输方案应用到光域。
用于空间地调制光场的现有调制器在频域中空间数据针对取向数据的每个频带具有相同的带宽的假设下被设计。因此，通过这样的现有的调制器创建的频率响应对空间数据以均匀间隔出现。
然而，当光场数据的图像信息被变换到频域时，发生频域越高，空间数据越少的现象。考虑到这种现象，调制器120可被配置使2D数据的频率响应取决于位置，降低获得相对较少空间数据的高角度频率区域的空间分辨率。此外，调制器可被用来增加获得相对较多空间数据的低角度频率区域的空间分辨率。
针对该处理，调制器120可具有2D非谐波图案。可通过组合两个或多个余弦信号来设计2D非谐波图案，所述余弦信号的和具有非谐波特征。参照图2、3和4描述调制器120的示例。
再次参照图1，透镜110、调制器120和传感器130可集成在一个光场数据获得单元。
数据处理器140使用2D信号恢复4D光场数据。例如，数据处理器140将傅里叶变换应用到由传感器130感测的2D信号来获得2D区块(tile)，然后对2D区块中的至少一个执行补零以将2D区块的大小调整至均匀。数据处理器140将经过补零的2D区块重配置为4D区块堆(stack)，并将傅里叶反变换应用到4D区块堆，恢复4D光场数据。
例如，数据处理器140可执行补零来使2D区块具有与最大区块的大小相同的大小。最大区块可与低角度频率区域中的空间数据对应，在所述低角度频率区域，较多信息存在于光场数据中。
数据处理器140可根据现有4D光场数据处理方法，使用恢复的4D光场数据创建来自相应图像的至少一个角度的查看图像或处于不同深度的重聚焦图像。可选择地，数据处理器140可使用恢复的4D光场数据创建高分辨率图像。此外，数据处理器140可收集查看图像来创建立体三维(3D)图像。因此，图像处理器140可按各种方式执行图像处理。
光场数据处理器100还可包括：显示器，显示处理过的图像；发送器，将图像数据发送到其他电子装置。
图2示出非谐波调制器的示例。
在图2中，左部分是显示调制器120的非谐波图案的一维版本(version)，右部分是显示非谐波图案的二维版本。例如，可通过组合多个余弦信号(例如，四个余弦信号)来产生非谐波图案。作为另一示例，可通过组合多个正弦信号来产生非谐波图案。作为又一示例，可通过组合余弦信号和正弦信号的组合来产生非谐波图案。
图3示出应用到单元图案的灰度调整控制方法的示例。
现有相关技术以将化学溶液施加到胶片的这种方式形成衰减图案。然而，利用化学溶液和胶片用于图案形成的方法在形成纳米(即，微米(μm))级的精细图案方面有困难。
为了提供用于准确的灰度呈现的具有精确衰减图案的调制器，调制器120可利用使用纳米处理制造的金属掩膜。如在此所描述的，衰减图案或掩膜可包括以纳米相隔的单元，以提高图像的光谱分辨率。例如，所述单元可被隔开0.05μm、0.1μm、0.5μm、1.0μm、2.5μm、5μm、10μm、25μm或其他需要的距离量。例如，所述单元可在大约0.1μm至10μm范围内被隔开。
衰减图案可被配置为通过将它的单元图案划分为多个部分，并屏蔽所述部分的一个或多个单元来产生多个灰度值。例如，单元图案可包括一个或多个像素或传感器(例如，2个传感器、5个传感器、12个传感器、25个传感器、50个传感器等)。每个单元图案可被划分为大量部分。每个部分可包括多个单元(例如，2个单元、5个单元、15个单元、30个单元、60个单元等)。为了产生灰度，可在允许一些单元使光通过时阻挡一些单元。
图3示出具有不同灰度值的三个部分310、310和330。如图3所示，部分310被全部屏蔽以产生近似“0”的灰度值，部分320被半屏蔽以产生近似“0.5”的灰度值并且部分330不被屏蔽以产生近似“1”的灰度值。
如320所示，传感器区域可被划分为具有大量单元的多个部分。在该示例中，所述部分包括25个单元。为了产生灰度值，掩膜能够阻挡所述单元中的一个或多个，以阻止光通过。例如，掩膜可阻挡25个单元中的13个单元来产生近似“0.5”的灰度值。应该理解，灰度值“0.5”仅是示例的目的。灰度值可被调制到任何需要的值。
图4示出非谐波调制器的横断面示图的示例。
调制器120可包括透明层410和安装在透明层410上的金属层420。金属层420可被形成为衰减图案来将穿过透明层410的光削弱为不同程度。通过利用调制器120可获得正确的光场数据。
图5示出关于通过非谐波调制器获得的频率响应的光谱复制的示例。
图5示出当利用一维(1D)传感器时，在2D光场空间(即，一个空间维度x和一个角度维度θ)通过非谐波调制器120形成的光谱复制。在图5显示的示例中，fx表示关于空间维度x的频域中的维度，fθ表示关于角度维度θ的频域中的维度。
fx和fθ两者具有带宽限制，并且沿fx轴表示的条带(slice)(虚线框)510与由传感器(例如，图1的传感器130)感测的图像对应。在该示例中，由调制器120通过光场空间调制产生的频率响应是如图5所示的脉冲。
当光场被调制器120空间地调制时，每个脉冲在其中心频率形成光场的光谱复制。因此，如图5所示，光场的多个光谱复制沿斜线501排列。
调制的光场频谱的条带510包括关于其原始光场的信息。可根据由θ维度和x维度需要的频率分辨率以及接收的光场的带宽来确定斜线501相对于fx轴的倾斜角度。
参照图5，每个区块表示光场数据。当光场被非谐波调制器120调制时，如图5所示，2D信号的频率响应变成取决于位置。因此，空间数据的带宽也变得不均匀。调制器120可被配置为按这样的方式来获得光场数据，所述方法在低角度频率区域获得较高空间分辨率并在高角度频率区域获得较低空间分辨率。
图6示出从将傅里叶变换应用到由光场数据处理器获得的2D信号而获得的图像的示例。
可通过将傅里叶变换应用到由传感器130感测的2D信号来获得图像610。如图6中示出的图像610所示，非谐波调制器120在图像610的低角度频率区域(中心部分)获得较多空间数据，在图像610的高角度频率区域(边缘部分)获得较少空间数据。
图7示出对光场频谱解调来恢复光场数据的处理的示例。
当提供有1D传感器并且处理了2D光场数据时，对光场频谱解调的处理可被用来将感测的1D信号的能量重新分布在2D光场空间。
在图7中，由虚线表示的框710表示通过将补零应用到图5中显示的条带510而获得的结果。
(由箭头表示的)解调处理重新排列由1D传感器感测的频率响应以恢复带限光场数据720。恢复光场数据的该处理还可被应用到将由2D传感器感测的2D信号恢复为4D光场数据。
高角度频率区域中的空间数据可经过补零以具有与低角度频率区域中的空间数据相同大小，将空间数据解调为4D光场数据。可将傅里叶反变换应用到解调的信号，获得具有彻底改善的空间分辨率的图像。
图8示出从将补零应用到图6中显示的图像而获得的图像的示例。图8中显示的图像与通过执行补零的2D传感器感测的信号(见图6)而获得的结果对应。
例如，因为通过调制器获得光场数据，所以可创建具有改善的空间分辨率的图像，所述调制器使用非谐波图案在频域中空间地调制光场来使2D信号的频率响应取决于位置。以上描述的示例涉及静止图像。然而，应该理解，非谐波调制器也可应用到运动图像。此外，调制器的衰减图案可被应用到多视点图像和运动画面图像来产生3D画面。
如在此所描述的，可通过非谐波衰减图案(例如，金属掩膜)削弱光场。因此，可执行图像的非均匀采样来放弃或抛弃不必需的数据，以改善传感器的使用并提高图像的空间分辨率的质量。使用纳米级分辨率(例如，包括以纳米相隔的单元的金属掩膜)能够克服传统文件或LCD屏幕中的限制。
上述处理、功能、方法和/或软件可被记录、存储或固定在一个或多个计算机可读存储介质中，所述计算机可读存储介质包括将被计算机执行以使处理器完成或执行所述程序指令的程序指令。所述介质还可包括程序指令、数据文件、数据结构等或其组合。所述介质和程序指令可以是那些被空间地设计和构造的介质和程序指令，或者它们可以是对那些计算机软件领域的技术人员而言公知的和可用的介质和程序指令。计算机可读存储介质的示例包括磁介质(例如，硬盘、软盘和磁带)；光介质(例如，CD-ROM盘和DVD)；磁光介质(例如，光盘)；以及被专门地配置为存储和执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(例如，由编译器产生的机器代码)和包含由计算机使用翻译器可执行的高级代码的文件。描述的硬件装置可被配置为用作一个或多个软件模块以执行上述操作和方法，反之亦然。此外，所述计算机可读存储介质可分布于通过网络连接的计算机系统，并且计算机可读代码或程序指令可以以分布式方式被存储和执行。
仅作为不完全的阐述，在此描述的终端装置可指与在此所公开的一致的能够进行无线通信或网络通信的移动装置(例如，手机、个人数字助理(PDA)、数字相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、便携式膝上型和/或平板个人计算机(PC)、全球定位系统(GPS)导航)以及诸如桌上型PC、高清电视(HDTV)、光盘播放器、机顶盒等的装置。
计算系统或计算机可包括与总线、用户接口和存储器控制器电连接的微处理器。它还可包括闪存装置。所述闪存装置可经由存储器控制器存储N比特数据。所述N比特数据被微处理器处理或将被微处理器处理，并且N可以是1或大于1的整数。在计算系统或计算机是移动设备的情况下，可额外地通过电池来供应计算系统或计算机的操作电压。
本领域的普通技术人员应该理解，计算系统或计算机还可包括应用芯片集、相机图像处理器(CIS)、移动动态随机存取存储器(DRAM)等。存储器控制器和闪存装置可组成使用非易失性存储器存储数据的固态驱动器/盘(SSD)。
在此使用的术语“像素”是指包含用于将光子转换为电变化的至少一个光传感器的光电管单位单元。仅作为非限制示例，每个像素的检测器或光传感器可被实现为针形光电二极管、p-n结光电二极管、肖特基光电二极管、光电管或其他合适的光电转换装置或可积累和/或存储光电荷的装置。
以上描述了大量示例。然而，应该理解，可进行各种修改。例如，如果按不同顺序执行描述的技术和/或在描述的系统、架构、装置或电路中的组件按不同方式和/或被其他组件或其等同物代替和补充，可达到合适的效果。因此，其他执行方案在权利要求的范围内。

Claims (33)

1.一种用于获得光场数据来创建图像的设备，所述设备包括：
调制器，所述调制器包括衰减图案，所述衰减图案被配置为在频域中空间地调制四维4D光场图像；
传感器，配置为获得空间地调制的4D光场的二维2D信号，
其中，衰减图案被配置为通过频域中的空间调制，产生取决于位置的2D信号的非均匀频率响应。
2.如权利要求1所述的设备，其中，所述调制器包括：
透明层；
金属层，所述金属层安装在透明层上，所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
3.如权利要求1所述的设备，其中，所述衰减图案被配置为通过以下方法产生多个灰度值，所述方法包括：
将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；
屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
4.如权利要求1所述的设备，其中，所述衰减图案被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
5.一种用于处理光场数据来创建图像的设备，所述设备包括：
调制器，所述调制器包括衰减图案，所述衰减图案被配置为空间地调制四维4D光场图像；
传感器，配置为获得空间地调制的4D光场的二维2D信号；
数据处理器，配置为使用所述2D信号恢复4D光场数据，
其中，衰减图案还被配置为通过频域中的空间调制产生取决于位置的2D信号的非均匀频率响应，
其中，所述数据处理器将傅里叶变换应用到传感器获得的2D信号以创建2D区块，对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀，将经过补零的2D区块重配置为4D区块堆，并将傅里叶反变换应用到4D区块堆来恢复4D光场数据。
6.如权利要求5所述的设备，其中，所述调制器包括：
透明层；
金属层，所述金属层安装在透明层上，所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
7.如权利要求5所述的设备，其中，所述衰减图案还被配置为通过以下方法产生多个灰度值，所述方法包括：
将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；
屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
8.如权利要求5所述的设备，其中，所述衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
9.如权利要求5所述的设备，其中，所述数据处理器执行补零，以使2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
10.如权利要求5所述的设备，其中，所述数据处理器还被配置为使用恢复的4D光场数据，从来自至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
11.一种光场数据处理方法，所述方法由光场数据处理器执行，所述方法包括：
使用具有衰减图案的调制器空间地调制4D光场图像，以获得空间地调制的4D光场的2D信号；
使用所述2D信号恢复4D光场数据，
其中，衰减图案通过频域中的空间调制产生取决于位置的2D信号的非均匀频率响应，
其中，恢复4D光场数据的步骤包括：
将傅里叶变换应用到2D信号以获得2D区块；
对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀；
将经过补零的2D区块重配置为4D区块堆；
对4D区块堆执行傅里叶反变换来恢复4D光场数据。
12.如权利要求11所述的光场数据处理方法，其中，以这种方式执行补零，2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
13.如权利要求11所述的光场数据处理方法，还包括：使用恢复的4D光场数据，从来自场景的至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
14.一种用于在频域中空间地调制光场的调制器，所述调制器包括：
透明层；
金属层，所述金属层安装在透明层上，所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度，
其中，衰减图案被配置为通过频域中的空间调制产生取决于位置的二维2D信号的非均匀频率响应。
15.如权利要求14所述的调制器，其中，所述衰减图案还被配置为通过以下方法产生多个灰度值，所述方法包括：
将衰减图案的单元图案划分为多个部分，每个部分包括多个单元；
屏蔽每个部分的单元中的一个或多个单元，以产生用于每个部分的灰度。
16.如权利要求14所述的调制器，其中，所述衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
17.一种图像处理设备，包括：
数据获得单元，配置为接收四维4D光场图像，并通过频域中的空间调制产生多个非均匀二维2D频率响应信号；
处理器，配置为处理多个感测的非均匀2D频率响应信号来产生4D光场数据，
其中，所述处理器将傅里叶变换应用到数据获得单元获得的非均匀2D频率响应信号以创建2D区块，对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀，将经过补零的2D区块重配置为4D区块堆，并将傅里叶反变换应用到4D区块堆来恢复4D光场数据。
18.如权利要求17所述的图像处理设备，其中，所述数据获得单元包括：调制器，包括非谐波衰减图案，所述非谐波衰减图案被配置为将经过的光削弱为多个非均匀2D频率响应信号。
19.如权利要求18所述的图像处理设备，其中：
数据获得单元还包括：透镜和配置为感测非均匀2D频率响应信号的多个传感器；
调制器位于透镜和多个传感器之间。
20.如权利要求19所述的图像处理设备，其中：
多个传感器被划分为多个部分；
每个部分包括多个单元；
非谐波衰减图案还被配置为阻挡一个部分的一个或多个单元以产生用于所述部分的灰度值。
21.如权利要求18所述的图像处理设备，其中，通过组合两个或多个余弦信号来设计非谐波图案，所述余弦信号有具有非谐波特征的和。
22.如权利要求18所述的图像处理设备，其中，通过组合两个或多个正弦信号来设计非谐波图案，所述正弦信号有具有非谐波特征的和。
23.如权利要求18所述的图像处理设备，其中，通过组合余弦信号和正弦信号的组合来设计非谐波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
24.如权利要求18所述的图像处理设备，其中，衰减图案还被配置为在存在较多空间数据的低角度频率区域获得较多空间数据并在存在较少空间数据的高角度频率区域获得较少空间数据。
25.如权利要求17所述的图像处理设备，其中，补零的结果是：所述2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
26.一种在四维4D图像的处理中使用的光学掩膜，所述光学掩膜包括：
透明层；
附于所述透明层的金属层，并且所述金属层包括被配置为进行以下处理的衰减图案：
接收四维4D光场图像；
通过频域的空间调制将经过的4D光图像削弱为多个非均匀二维2D频率响应信号。
27.如权利要求26所述的光学掩膜，其中，所述衰减图案包括多个部分，所述部分包括多个单元，使得每个单元在0.1μm至10μm的范围内被隔开。
28.如权利要求27所述的光学掩膜，其中，一个部分的单元中的一个或多个单元被阻挡，以阻止光经过以及产生用于所述部分的灰度值。
29.如权利要求26所述的光学掩膜，其中，衰减图案包括2D非谐波图案。
30.如权利要求29所述的光学掩膜，其中，通过组合两个或多个余弦信号来设计非谐波图案，所述余弦信号有具有非谐波特征的和。
31.如权利要求29所述的光学掩膜，其中，通过组合两个或多个正弦信号来设计非谐波图案，所述正弦信号有具有非谐波特征的和。
32.如权利要求29所述的光学掩膜，其中，通过组合余弦信号和正弦信号的组合来设计非谐波图案，所述余弦信号和正弦信号的组合有具有非谐波特征的和。
33.如权利要求26所述的光学掩膜，所述衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
CN201010288391.3A 2009-09-22 2010-09-19 获得光场数据的设备以及处理光场数据的设备和方法 Active CN102026011B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090089780A KR101600010B1 (ko) 2009-09-22 2009-09-22 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
KR10-2009-0089780 2009-09-22

Publications (2)

Publication Number Publication Date
CN102026011A CN102026011A (zh) 2011-04-20
CN102026011B true CN102026011B (zh) 2015-02-18

Family

ID=43063265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010288391.3A Active CN102026011B (zh) 2009-09-22 2010-09-19 获得光场数据的设备以及处理光场数据的设备和方法

Country Status (5)

Country Link
US (1) US8442397B2 (zh)
EP (1) EP2309718B1 (zh)
JP (1) JP2011071981A (zh)
KR (1) KR101600010B1 (zh)
CN (1) CN102026011B (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
KR101756910B1 (ko) * 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
US9100574B2 (en) 2011-10-18 2015-08-04 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9160900B2 (en) 2012-02-29 2015-10-13 Canon Kabushiki Kaisha Systems and methods for compressive light sensing using multiple spatial light modulators
US8581929B1 (en) * 2012-06-05 2013-11-12 Francis J. Maguire, Jr. Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
FR2994735B1 (fr) * 2012-08-22 2014-08-01 Onera (Off Nat Aerospatiale) Procede et dispositif d'imagerie telemetrique
US9380221B2 (en) * 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
DE112014005866B4 (de) 2013-12-24 2018-08-02 Lytro, Inc. Verbesserung der plenoptischen Kameraauflösung
EP3001672A1 (en) 2014-09-25 2016-03-30 Thomson Licensing Plenoptic camera comprising a spatial light modulator
US9625632B2 (en) * 2015-03-31 2017-04-18 Sony Corporation Camera, optical system and interchangeable lens with birefringent device
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
EP3112920A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN105208373B (zh) * 2015-09-16 2017-04-12 西安建筑科技大学 一种基于光场压缩采样的通用集成成像记录装置
CN105704476B (zh) * 2016-01-14 2018-03-20 东南大学 一种基于边缘修复的虚拟视点图像频域快速获取方法
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3485322A4 (en) 2016-07-15 2020-08-19 Light Field Lab, Inc. SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS
WO2018014040A1 (en) * 2016-07-15 2018-01-18 Light Field Lab, Inc. Holographic superimposition of real world plenoptic opacity modulation through transparent waveguide arrays
US20180096494A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN108206901B (zh) * 2016-12-16 2020-09-22 深圳超多维科技有限公司 一种光场相机
CN108206902B (zh) * 2016-12-16 2020-09-22 深圳超多维科技有限公司 一种光场相机
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
WO2019014847A1 (zh) * 2017-07-18 2019-01-24 辛特科技有限公司 一种利用透镜分时还原光场的方法
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
WO2019140398A1 (en) 2018-01-14 2019-07-18 Light Field Lab, Inc. Holographic and diffractive optical encoding systems
KR20200116941A (ko) 2018-01-14 2020-10-13 라이트 필드 랩 인코포레이티드 정렬된 구조를 사용해 에너지 릴레이의 횡방향 에너지 편재를 위한 시스템 및 방법
US11163176B2 (en) 2018-01-14 2021-11-02 Light Field Lab, Inc. Light field vision-correction device
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10898818B2 (en) 2018-07-25 2021-01-26 Light Field Lab, Inc. Light field display system based amusement park attraction
US10904479B2 (en) 2019-03-12 2021-01-26 Light Field Lab, Inc. Video communication including holographic content
US11212514B2 (en) 2019-03-25 2021-12-28 Light Field Lab, Inc. Light field display system for cinemas
US11428933B2 (en) 2019-05-13 2022-08-30 Light Field Lab, Inc. Light field display system for performance events
KR20220045166A (ko) 2019-08-09 2022-04-12 라이트 필드 랩 인코포레이티드 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템
US10981046B2 (en) 2019-08-26 2021-04-20 Light Field Lab, Inc. Light field display system for sporting events
CN113489924A (zh) * 2021-07-14 2021-10-08 长春长光奥闰光电科技有限公司 成像方法
CN115185100B (zh) * 2022-06-22 2023-08-04 成都飞机工业（集团）有限责任公司 一种加密点阵式光场的生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430426A (zh) * 2007-02-06 2009-05-13 三菱电机株式会社 用于获取场景的4d光场的设备和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05127366A (ja) * 1991-11-06 1993-05-25 Olympus Optical Co Ltd ハーフトーンパターン形成装置
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
JP2007515842A (ja) * 2003-05-13 2007-06-14 エクシード イメージング リミテッド 解像度を向上させるための光学的方法およびシステム
US20060204861A1 (en) * 2005-03-14 2006-09-14 Eyal Ben-Eliezer Optical mask for all-optical extended depth-of-field for imaging systems under incoherent illumination
JP2006319932A (ja) 2005-05-11 2006-11-24 Kazutora Yoshino 多次元入力、出力、転送、任意のメモリ、及び、産出高比例法
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
WO2009020977A1 (en) * 2007-08-06 2009-02-12 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
KR101563728B1 (ko) * 2009-01-30 2015-10-27 삼성전자 주식회사 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430426A (zh) * 2007-02-06 2009-05-13 三菱电机株式会社 用于获取场景的4d光场的设备和方法

Also Published As

Publication number Publication date
EP2309718A1 (en) 2011-04-13
KR20110032345A (ko) 2011-03-30
EP2309718B1 (en) 2016-04-20
JP2011071981A (ja) 2011-04-07
CN102026011A (zh) 2011-04-20
KR101600010B1 (ko) 2016-03-04
US20110069324A1 (en) 2011-03-24
US8442397B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
CN102026011B (zh) 获得光场数据的设备以及处理光场数据的设备和方法
EP3134868B1 (en) Generation and use of a 3d radon image
US10116867B2 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
CN101356546B (zh) 图像高分辨率化装置、方法及系统
US9048153B2 (en) Three-dimensional image sensor
CN102521814B (zh) 基于多聚焦融合和图像拼接的无线传感网络图像融合方法
CN101894364B (zh) 基于光学非下采样轮廓波变换的图像融合方法和装置
CN111201776B (zh) 成像设备和方法以及图像处理设备和方法
CN106256124B (zh) 结构化立体
KR20110124701A (ko) 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
US20120201477A1 (en) Kinetic Super-Resolution Imaging
WO2019033673A1 (zh) 海域全景监控方法、装置、服务器及系统
US10762612B2 (en) Method and an apparatus for generating data representative of a pixel beam
CN104025151A (zh) 用于创建组合图像的方法和电子装置
US10341546B2 (en) Image processing apparatus and image processing method
US20220094848A1 (en) Imaging device, imaging system, and imaging method
CN109716350B (zh) 光学采集装置和电子设备
CN110324513A (zh) 摄像装置，摄像模块和摄像方法
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
US10306146B2 (en) Image processing apparatus and image processing method
CN103390370A (zh) 行车记录器及其录像影像嵌入电子地图画面的应用方法
US10453183B2 (en) Image processing apparatus and image processing method
Maesen et al. Omnidirectional free viewpoint video using panoramic light fields
Varghese Angle sensitive imaging: A new paradigm for light field imaging
CN106161921A (zh) 图像采集控制方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant