CN106575035B - 用于光场成像的系统和方法 - Google Patents

用于光场成像的系统和方法 Download PDF

Info

Publication number
CN106575035B
CN106575035B CN201580043326.5A CN201580043326A CN106575035B CN 106575035 B CN106575035 B CN 106575035B CN 201580043326 A CN201580043326 A CN 201580043326A CN 106575035 B CN106575035 B CN 106575035B
Authority
CN
China
Prior art keywords
light
image data
data
polychromatic
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580043326.5A
Other languages
English (en)
Other versions
CN106575035A (zh
Inventor
D·门得洛维奇
拉恩·施莱恩
乌里·埃利泽·门得洛维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology Innovation Momentum Fund Israel LP
Original Assignee
Technology Innovation Power Fund Israel LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology Innovation Power Fund Israel LP filed Critical Technology Innovation Power Fund Israel LP
Priority to CN202010833612.4A priority Critical patent/CN111812838A/zh
Publication of CN106575035A publication Critical patent/CN106575035A/zh
Application granted granted Critical
Publication of CN106575035B publication Critical patent/CN106575035B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/10—Simultaneous recording or projection
    • G03B33/16—Simultaneous recording or projection using colour-pattern screens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提出了光场成像系统和用于生成光场图像数据的方法。该系统包括成像透镜单元、检测器阵列和位于所收集的光的光学路径中的多色图案化滤波器，该多色图案化滤波器处于该透镜单元和该检测器阵列之间的中间平面处。该方法包括：通过使来自所述感兴趣的区域的输入光经过所述成像透镜单元和所述多色图案化滤波器以由所述检测器阵列检测来采集所述感兴趣的区域的图像数据，以生成相应的图像数据；以及对所述图像数据进行处理，以确定经过所述多色图案化滤波器的不同区域的与感兴趣的区域的不同部分和不同颜色对应的光分量，从而提供所述感兴趣的区域的光场图像数据。

Description

用于光场成像的系统和方法
技术领域
本发明涉及用于对场景进行成像的系统和方法。本发明具体涉及光场数据的收集和记录，其允许对场景进行成像同时使所采集的图像能够重新聚焦到不同物体平面上。
背景技术
以下列出了被认为作为与本公开的主题相关的背景的参考文献：
-Marwah、Kshitij、Gordon Wetzstein、Yosuke Bando和Ramesh Raskar。“Compressive light field photography using overcomplete dictionaries andoptimized projections.”ACM Transactions on Graphics(TOG)32,no.4(2013):46。
-Mairal、Julien、Michael Elad和Guillermo Sapiro。“Sparse representationfor color image restoration.”Image Processing,IEEE Transactions on 17,no.1(2008):53-69
本文中对上述参考文献的确认并不被推断为意指这些是以任何方式与本公开的主题的专利性相关。
背景
光场成像技术使用关于光传播的数据的收集，以生成感兴趣的区域的四维图像数据。4D图像数据允许重新聚焦到不同物体平面上并在采集图像数据之后改变聚焦区域。
常规的光场成像系统使用几种技术来提供关于光线到检测器中的传播路径的信息。一些已知的技术使用位于所收集的光的光学路径中的灰度级图案化滤波器或微透镜阵列。
Marwath等人描述到，光场摄影在过去二十年中获得了显著的研究兴趣；如今，商用光场相机被广泛使用。然而，大多数现有采集方法将低分辨率的光场复用到单一2D传感器图像中或者需要拍摄多张相片，以获取高分辨率的光场。我们提出了压缩式光场相机架构，其允许比先前可能的分辨率更高的分辨率的光场从单一图像恢复。所提出的架构包括三个关键要素：作为自然光场的稀疏表示的多色光场原子，允许捕获优化的2D光场投影的光学设计，以及用于从单一编码的2D投影恢复4D光场的鲁棒稀疏重构方法。此外，我们展示了关于光场原子和稀疏编码技术的各种其他应用，包括4D光场的压缩和去噪。
总体描述
本发明提供了用于收集光场图像数据的新技术。本发明的技术使用了位于(例如相机单元的)检测器阵列和成像透镜装置之间的中间平面处的多色图案化滤波器。这样的多色图案化滤波器将不同波长范围(颜色)的入射光空间调制成结构光，该结构光允许从所采集的图像中对射线跟踪数据进行后提取。应注意的是，使用多色图案化滤波器避免了对直接位于检测器阵列上的RGB滤波器(例如，拜耳滤波器或其他彩色滤波器阵列(CFA))的需要。
还应注意的是，虽然系统通常被描述为使用放置在成像透镜和检测器阵列之间的中间平面处的一个多色图案化滤波器，但可使用两个或更多个图案化滤波器，其中滤波器中的至少一个是多色的。附加滤波器的使用可能是用于完成可能难以在单个滤波器上打印的颜色或者增加图案化滤波器的横向分辨率。两个或更多个图案化滤波器位于成像透镜和检测器阵列之间的中间平面处，以允许对输入光进行图案化，使得其适当的后处理提供光场数据。
多色图案化滤波器还可被配置为例如通过使用空间光调制器(SLM)设备来动态改变其图案。这样的动态滤波器可根据所观看的场景的变化而使施加到输入光的图案发生变化。此外，提供了对需要极高分辨率的光场图像数据时的后处理的优化。这可通过使用不同的传感矩阵(过滤图案)采集相同场景的几个图像来提供，其中每个这样的传感矩阵与其他传感矩阵中的每个传感矩阵正交。不同的过滤图案可通过改变图案化滤波器来实现。这种多成像技术提供了场景数据的更高的采样，并因而允许所得到的图像数据中的更高分辨率。
应注意的是，如以上所指示的，多色图案化滤波器可由三个单独的SLM单元使用，使得SLM单元中的每一个将图案化应用到不同颜色的光。
本发明的光场成像系统包括含有一个或多个透镜的光学成像装置、检测器阵列和多色图案化滤波器，该检测器阵列包括多个光学检测元件，该多色图案化滤波器位于光学装置和检测器阵列之间的中间平面处。
应注意的是，为了简化事项并增强理解，光学成像装置在下文中被称作成像透镜。应理解的是，在下文中所使用的术语成像透镜指具有一个或多个透镜并且可能具有诸如光孔/孔径等的附加的元件的任何光学成像装置。
所采集的图像的光场数据可通过对由检测器阵列收集的图像数据进行后处理来确定。后处理通常可以使用压缩传感技术来确定不同光部分的传播路径，使所得到的图像能够重新聚焦到场景的不同部分上。
为此，光场成像系统可包括控制单元，其被配置为使用关于多色滤波器的数据来确定指示场景的光场图像数据的四维数据组。控制单元的模块/电路可与检测器阵列构成整体和/或可(经由任何已知合适的通信技术的有线或无线信号传输)连接到检测器阵列以及
因此，本发明根据其广泛方面提供了一种光场成像系统，其包括成像透镜单元、检测器阵列和多色图案化滤波器，该多色图案化滤波器位于所收集的光的光学路径中、处于透镜单元和检测器阵列之间的中间平面处。
根据本发明的另一广泛方面，提供了用于生成感兴趣的区域的光场图像数据的方法，该方法包括：
收集指示感兴趣的区域的图像数据的光，将预定的空间调制应用到所收集的光中的不同颜色的光分量，并且将所收集的光的空间调制的光分量导向检测器阵列，以生成感兴趣的区域的图像数据；以及
使用指示所述预定的空间调制的数据并对所述图像数据进行处理，并且识别与感兴趣的区域的不同部分和不同颜色对应的光分量，以及生成所述感兴趣的区域的光场图像数据。
因此，根据本发明的一个广泛的方面，本发明提供了一种光场成像系统，其包括成像透镜单元、检测器阵列和多色图案化滤波器，该多色图案化滤波器位于所收集的光的光学路径中、处于透镜单元和检测器阵列之间的中间平面处。多色图案化滤波器可携带两个或更多个二元图案的叠加。该两个或更多个二元图案中的每个通常可与相应的波长范围的光的传输或阻断对应。可替代地，多色图案化滤波器可携带与相应的波长范围的光的部分阻断或传输对应的两个或更多个灰度级图案的叠加。
根据本发明的一些实施例，多色图案化滤波器可携带至少第一图案、第二图案和第三图案的叠加，每个图案与过滤相应的第一波长范围、第二波长范围和第三波长范围的光对应。通常，第一波长范围、第二波长范围和第三波长范围提供原色组。例如，第一波长范围、第二波长范围和第三波长范围可选自以下：红色、绿色和蓝色；以及青色、洋红色和黄色。
在一些其他实施例中，多色图案化滤波器可例如使用三个原色的波长和红外波长(例如大约900nm)来携带四个波长范围的叠加图案。更具体地，多色图案化滤波器还可携带被配置用于在第四波长范围内过滤/调制传输的图案，所述第四波长范围包括红外。
根据本发明的一些实施例，系统还可包括控制单元。控制单元包括处理工具，其被配置并可操作用于从检测器阵列接收与被成像的场景对应的灰度级图像数据，以及用于根据关于多色图案化滤波器的数据来处理所述灰度级图像数据，从而生成所述场景的重建的多色光场数据。
处理工具可包括数据优化模块，其被配置并可操作用于根据关于多色图案化滤波器的所述数据迭代地确定指示重建的图像数据的数据，从而确定所述场景的所述重建的多色光场数据。
另外地或可替代地，处理工具可包括字典选择模块，其被配置并可操作用于根据关于多色图案化滤波器的所述数据来确定基变换运算符。可选择基变换运算符，使得重建的多色光场数据在所选择的基中是稀疏的。字典模块可被配置并可操作用于确定基变换运算符，同时保持字典原子和所采集的图像数据之间的色调等级。
根据另一个广泛的方面，本发明提供了用于生成光场图像数据的方法，该方法包括：
在介于成像透镜单元和检测器阵列之间的中间平面处提供多色图案化滤波器；
通过使来自感兴趣的区域的输入光经过所述成像透镜单元和所述多色图案化滤波器以由所述检测器阵列检测来采集所述感兴趣的区域的图像数据，以生成相应的图像数据；以及
将所述图像数据进行处理，以确定经过所述多色图案化滤波器的不同区域的与感兴趣的区域的不同部分和不同颜色对应的光分量，从而提供所述感兴趣的区域的光场图像数据。
对图像数据的处理可包括：根据所采集的图像数据和通过多个图像原子对所采集的图像数据的表示来确定光场图像数据。由所述多个图像原子对所采集的图像数据的表示在所述多个图像原子中可能是稀疏的。此外，在一些实施例中，可选择多个图像原子以维持所述图像数据的色调等级。
附图简述
为了更好地理解本文中所公开的主题并且举例说明如何可以在实践中执行该主题，现在将参考附图仅通过非限制性示例的方式来描述实施例，在附图中：
图1A和图1B示意性地图示了根据本发明的光场成像系统的两个示例，其中，图1A更具体地图示了该成像系统中的光传播方案，以及图1B更具体地图示了与图1A的成像系统相关联的后处理单元；
图2示出了使用本发明的技术的作为稀疏条件的要求等级的函数的模拟的峰值信噪比；
图3A和图3B例示了根据本发明的使用多色图案化滤波器的一些优点；
图4示出了根据本发明的技术的重建和以单独颜色的重建的模拟峰值信噪比；
图5A和图5B示出了本发明的系统的配置和图案化滤波器的相对位置(图5A)以及关于该图案化滤波器的不同布置的模拟的峰值信噪比(图5B)；以及
图6示出了根据图案化滤波器的动态范围的具有不同噪声等级的图像重建的模拟的峰值信噪比。
具体实施方式
参照图1A，其图示了根据本发明的被配置为采集光场图像数据的系统100。如所示，系统100包括成像透镜单元110、位于成像透镜单元110的预定平面的下游处的检测器阵列130和位于该成像透镜单元和该检测器阵列之间的中间平面处的多色图案化滤波器120。
应注意到的是，成像透镜单元110可以是单一透镜或者是包括一个或多个透镜并还可能包括诸如一个或多个光孔等的附加光学元件的任何其他成像透镜装置。还应注意到的是，在成像透镜单元包括多个透镜的光学装置的情况下，多色图案化滤波器120可位于第一透镜元件(在光从感兴趣的区域传播的方向上)和检测器之间的任何中间光学平面处，即滤波器可介于光学装置的任意两个透镜元件之间。
成像透镜110被配置为收集来自场景的输入光并在检测器阵列130上生成相应的图像数据。通常，成像透镜单元110的特征在于有效的焦平面f(其在单一透镜单元的情况下是透镜的焦平面)。由于场景可包括位于距离系统100的不同距离(即，距离成像透镜单元的第一透镜的不同距离)处的各种不同的物体，因此检测器通常可处于假定的像平面。例如，这可以是在图像采集期间聚焦到无穷远的情况下的透镜单元的后焦平面，或者在与聚焦到感兴趣的区域中的最大物体上或聚焦到距离透镜单元的任意预定距离(本文中被定义为Zfs)上的、透镜单元对应的任何平面处。
如图1A所示，朝向系统100传播的光线由透镜单元110收集，以在检测器130上形成图像。同时，所收集的光通过多色图案化滤波器120，该多色图案化滤波器120以预定图案对通过其中的所收集的光进行空间调制。这允许将后处理技术应用到如此创建的图像数据，以确定透镜单元的、所收集的光的不同部分已经通过的区域。
应注意到的是，与常规的检测器阵列不同，根据本发明的检测器阵列130不使用直接位于常规系统中的检测器单元上的彩色滤波器阵列(CFA)，诸如拜耳(Bayer)滤波器或常见的任何“传感器上的”彩色滤波器阵列。拜耳滤波器是已知的且通常是最常见的CFA，其是直接位于常规的检测器阵列的顶部上的图案化滤波器并被配置为对到达阵列的所选择的检测器的不同颜色的光进行过滤。这给常规的检测器提供了用于提供有色图像但指示某些检测器元件测量所收集的光的红色分量的能力。一些其他元件测量光的蓝色分量，以及一些其他元件测量光的绿色分量。使用拜耳滤波器实际上需要混合检测器元件，以提供关于每个像素的信息。与检测器阵列的元件的数量相比，这导致了实际采样的像素数量显著降低。以及针对任何彩色图像采集强制不可避免的分辨率降低。然而，可以使用所采集的数据的内插来将最终图像数据中的像素的数量保持相似。
此外，使用CFA(例如拜耳类型的CFA)还可降低测量的光的强度。通常，检测器单元仅检测到蓝色或红色中的约25％的强度以及绿色中的约50％的强度。结合图案化滤波器，该效应可降低所采集的图像的信噪比。本发明的发明人已经了解到，通过消除对CFA的需要并如以上所描述的在中间平面处使用多色图案化滤波器来实现对图像数据的后处理，由于颜色过滤引起的数据丢失可在光场数据中显著减少。
因此，同样如以上所指示的，本发明的光场成像系统使用多色图案化滤波器，其允许基于照射在检测器阵列上的图案化照明来重建彩色图像。如下面将进一步更具体描述的，这允许检测器阵列的所有实际的检测器元件参与光收集，从而提供所收集的图像的更高的分辨率。此外，这允许更高的光强度到达检测器，从而提供更大的信噪比。
此外，检测器元件之间的混合将可实现的最大有效的光学分辨率限制到光斑大小的最大有效的光学分辨率，为至少三个检测器元件。这是为了保持采样所需的奈奎斯特条件。
根据本发明，颜色数据由经过多色图案化滤波器120的光通过来编码。这使得不需要使用拜耳滤波器，从而能够提供具有与检测器元件的数量类似的像素数量的图像数据。此外，这将最小有效的光斑大小减小到仅两个像素的大小，其允许增加光学分辨率和几何分辨率两者。
应注意到的是，多色图案化滤波器可基于RGB(红色、绿色和蓝色)颜色方案，或可替代地，基于特定用途所需的任何其他颜色方案。例如，多色图案化滤波器可基于诸如青色、洋红色和黄色的其他颜色方案来配置。在一些实施例中，多色图案化滤波器可包括对第四波长范围内的传输进行滤波的附加的图案，例如，这样的第四波长范围可包括近红外光。此外，滤波器可配置有区域，使得其不同的区域基于不同的颜色方案来图案化。例如，滤波器内的小区域可被配置为根据红色、绿色和蓝色的线性组合来对输入光进行图案化，而另一区域可根据红外和青色的线性组合来对输入光进行图案化。
多色图案化滤波器120以对于不同波长范围(颜色)的光具有不同传输特性的不同区域形成，例如包括二元传输区域，使得该类型的区域传输一种或多种颜色而不传输一种或多种其他颜色。例如，滤波器120可形成为三个单独的图案化滤波器的叠加，该三个单独的图案化滤波器被配置为改变蓝色、绿色和红色的光分量的光传输。滤波器可包括作为二值或高斯变化的传输区域的不同的光学传输区域的随机生成的图案，并且随后提供关于这样的随机图案的数据。可替代地或此外，滤波器可具有用于对所选择的图像场景进行后处理而优化的预定图案。例如，该图案可被配置并优化，以提供诸如手部运动、人的面部、建筑区域(例如建筑物)等的所选择的对象的更高的图像分辨率。这样的图案优化可用于向如本文中所描述的光场成像系统提供用于识别手势运动、面部识别的更高能力以及/或者可用于提供所选择的区的准确3D配置。
例如，如下面将进一步更详细描述的，多色图案化滤波器可被配置为多个区域，其中每个区域被配置为允许传输光或相应的颜色或者阻挡它们的传输。在这样的配置中，滤波器可以是三个单独的二元图案的形式，其中，图案中的一个被配置为过滤蓝光，第二图案被配置为过滤红光以及第三图案被配置为过滤绿光。该配置提供了高对比度滤波器，因为噪声是恒定的，所以该高对比度滤波器提供了针对校准误差的高免疫力(对此的直觉是掩模对所校准的值的对比度用作SNR或校准噪声比(CNR))，增加掩模上的对比度将意味着提高CNR。
参照图1B，其图示了用于光场成像的系统100的附加配置。图1B的系统包括控制单元150，该控制单元150连接到检测器阵列130并被配置为接收由检测器生成的图像数据。控制单元150被配置并可操作用于对与被成像的场景对应的、从检测器130接收的输入数据进行处理并生成重建的多色光场图像数据。通常，由检测器130生成的输入数据是单色的并提供了关于光强度的数据，控制单元150对输入数据的处理将颜色数据引入到所得到的光场图像数据。为此，控制单元被配置为使用关于图案化滤波器120的多色图案的数据，该数据可被预储存在控制单元150中(例如在它的储存工具中)或被提供到控制单元，以用于确定被成像的场景的所述光场图像数据。
就此而言，根据本发明的一些实施例，控制单元150通常可被配置为包括处理工具160以及这里未具体示出的诸如储存工具以及输入和输出工具/端口的一个或多个其他工具的计算单元。处理工具160可配置有一个或多个软件和/或硬件模块，其被配置为执行用于确定光场数据的计算步骤。例如，如图1B所示，处理工具160可包括以下中的一个或多个：原始数据采集模块170，其被配置用于接收来自检测器单元130的图像数据；图案数据模块180，其被配置用于提供关于图案化滤波器120的多色图案的数据；字典选择模块185，其被配置用于提供关于在处理中使用的适当基变换的数据；函数生成模块190，其被配置为确定与由检测器单元130所收集的输入图像数据和通过多色图案化滤波器120施加到该检测器单元的一个或多个图案之间的关系对应的能量函数；以及数据优化模块200，其被配置用于确定能量函数的优化状态/等级。通常，根据本技术，能量函数的优化状态对应于重建的光场图像数据210。
就此而言，应注意到的是，术语能量函数或能量应被广义地解释为通常涉及系统的底层交互的函数或泛函。确定优化状态通常包括确定与能量函数的最小值或最大值对应的状态。此外，本发明的技术涉及通过将输入光传输经过多色图案化滤波器来形成图案化光或结构光，从而能够重建所收集的图案化光，以提供关于输入光(或输入光起源的场景)的附加数据。就此而言，能量函数通常对应于所收集的图像数据(通常是单色的)、调制的多色图案化滤波器和流经系统的完整光线组之间的关系。
如以上所指示的，控制单元被配置并可操作用于根据关于多色图案化滤波器120的数据对所采集的图像数据进行后处理，以生成包括光场信息的相应的四维图像数据，这使所采集的图像能够重新聚焦到场景中的不同物体表面上。就此而言，执行该后处理技术以基于线性欠采样问题来确定期望的4D图像数据：
I＝ΦL (方程1)
其中，I是从检测器阵列130接收的图像数据，Φ是指示多色图案化滤波器120的配置的预定传感矩阵，以及L是期望的4D光场数据。
例如，让我们考虑具有N个检测器元件(例如N个像素)的检测器阵列和具有M个不同传输特性的区域的多色图案化滤波器，I是长度为N的向量。传感矩阵Φ表示经过滤波器120的某个区域并到达某个检测器元件的光分量。因此，传感矩阵Φ是维度Nx(NxM)的矩阵。期望的光场数据L表示经过滤波器的每个区域并到达每个检测器元件的光分量的量(或强度)。因此，期望的光场图像是长度为NxM的向量。应注意的是，由于图案化滤波器的不同区域相对于不同颜色的光分量而具有不同的传输特性，因此光场数据L的元素提供了关于所观察的场景中的颜色的信息。
更具体地，根据本发明的技术，关于图案化滤波器120的多色图案的数据包括关于与不同波长范围(颜色)对应的至少三个叠加的图案的数据。这是在由检测器单元130提供的输入图像数据通常可包括与单色图像数据对应的单个数据组的时候。就此而言，处理单元被配置为从输入图像数据确定并提取关于形状和颜色的数据。这可通过方程1来例示，该方程1被重写为：
I灰度级＝ΦRGB[LR，LG，LB] (方程2)
使得由原始数据采集模块170接收的所检测的图像数据I包括关于检测器单元130的每像素的所测量的强度的信息，但通常不包括颜色数据。根据对于不同颜色/波长的光具有不同传输区域的图案化滤波器，在对输入数据进行处理时确定关于从场景中的某个位置到达特定像素的光线中的波长的信息。
如以上所指示的，图案数据模块180被配置用于(例如直接从图案化滤波器120)接收关于其多色图案的数据，并且(例如在作为控制单元的一部分或在其外部的储存工具中)储存关于该图案的信息。如以上所指示的，如以上由ΦRGB所描述的图案数据的公式包括图案化滤波器120的不同区域的传输等级的指示和它们对经过这些区域并到达检测器单元130的不同像素的光分量的影响。在一些实施例中，图案数据包括关于多色图案的数据和关于图案化滤波器120相对于检测器单元130和成像透镜装置110的位置的数据。
由于方程1和方程2相对于代数方程的数量具有更高数量的未知数，因此确定适当的解需要某些方法。通常，可通过使用足够的样本(对滤波器具有正交变化的许多图像)或使用一些先验以限制可能的解的空间来完全恢复解。
优选地，本发明的技术被配置为与压缩传感技术共同使用，以确定光场图像数据L＝[LR,LG,LB]。压缩传感技术的一般已知的概念假设光场图像数据在至少一个基的情况下是稀疏的。
更具体地，压缩传感的概念在本领域中通常是已知的并且将不在本文中详细描述，其他注意以下。压缩传感技术使用期望的数据(在该情况下是光场图像数据)可被表示为某个基中的稀疏向量(优选为最稀疏向量)的假设。因此，光场图像数据L可被表示为L＝Dx，其中，D是适当的基变换，以及x是其在基中的表示且仅具有几个非零系数。
为此，处理单元160通常可包括字典选择模块185，其被配置用于确定适当的基和基变换运算符D。选择用于变换的基可以是手动的，即通过操作者选择适当的基，或者可根据关于多色图案的数据或根据所测量的输入图像数据来完成。这旨在适当地确定在其中图像数据是足够稀疏的基，以提供有效的处理和重建。
因此，本发明的技术可使用压缩传感技术，以用于根据本发明对所采集的图像数据I进行后处理，以在x只有几个非零系数的条件下确定以下方程的适当的解。
|ΦDx-I|＜ε (方程3)
例如，这可通过要求最小化|x|1＝∑n|xn|的值来完成。应注意的是，方程3可使用[ΦDx-I]的第一范数或第二范数来应用，因为情况可能是例如，|ΦDx-I|2＜ε2或||ΦDx-I||1＜ε。
在本领域中已知各种技术，以用于优化用于确定方程3的解的过程，同时满足对解的最大稀疏性的要求。根据本发明的一些实施例，函数生成模块190被配置为接收来自数据采集模块170的输入图像数据、来自图案数据模块180的滤波器图案数据和来自字典选择模块185的基变换数据，并被配置为确定待优化的能量函数。能量函数通常涉及方程3，并包括对期望的适当的解的稀疏性的要求。根据一些实施例，能量可采取以下的形式：
Figure BDA0001224196710000121
其中，I、D、Φ和x是如以上所描述的，以及λ用作稀疏性拉格朗日权重。
处理工具160的数据优化模块200被配置并可操作以分析能量函数并确定它的优化向量xn。通常，优化向量xn提供了能量函数的最小值且与期望的重建图像数据对应。为此，数据优化模块200可被配置并可操作以执行若干次迭代，以确定期望的向量xn。此外，数据优化模块200可被配置为确定拉格朗日权重λ的期望值，可对其进行选择以简化处理。
通常，与(方程3中的)ε的适当值的选择不同，并不事先确定λ的可能值。图2示出了作为λ值的函数的重建的峰值信噪比(PSNR)的依从关系的模拟结果。如所示，发明人已经发现对于大于约0.01的λ值，重建的PSNR急剧降低。通常，较低的λ值提供了
Figure BDA0001224196710000131
的最小值，而较大的值加强了解的稀疏性。
应注意的是，通常，λ和ε两者的优选值可根据成像条件来确定。例如，对于低光成像，可选择ε以相比于亮光条件接收更高的值。通常，ε的值可根据成像条件中的噪声来确定，而λ被确定来强制执行用于重建的稀疏性条件并且可以是系统设计的结果。
根据本发明的一些实施例，多色图案化滤波器通常可根据预定的优选(或最佳)基变换D来设计。可替代地或此外，合适的基变换D可根据多色图案化滤波器来选择。就此而言，多色滤波器120的图案可被配置为最小化关于不同的D系数的互相干性，如下：
Figure BDA0001224196710000132
其中，di是D的第i个元素，以及k是基维度。可替代地或此外，可优选地配置多色图案化滤波器120，使得其图案优化相干性μ(M)，如方程3中所定义的，其中M＝Φ·D。
就此而言，应注意的是，以及如以上所指示的，可应用一个或多个合适的基变换以提高重建的效率。此外，处理单元可包括字典选择模块185，其被配置为接收关于多色图案的数据并且例如从储存在储存工具中的多个这样的基中相应地选择用于基变换的合适的字典。可替代地，这样的选择可由操作者手动完成。
为此，应注意的是，通常，用于重建的合适的基可通过识别用于提供所采集的图像的适当表示的基组同时要求最小数量的基元素来确定。通常，识别用于表示的合适基(在本文中也被称作字典)的技术基于迭代技术，其包括选择基和确定实际的图像数据和作为被选择的基的图像数据的表示之间的误差度量。随后，可根据所确定的误差度量，例如通过将表示误差度量的向量纳入到基组中和/或调整基表示来调整所选择的基。
本发明的发明者发现，确定需要关于图像数据的每个区域或像素的波长分量之间的特定关系的适当字典(基表示)允许在恢复的图像中的颜色保持。就此而言，波长分量之间的关系可由图像数据的不同区域的色调等级来定义，其指示原色的每个波长范围中的光强度之间的关系。维持字典原子/元素之间的色调等级强制实现重建中的颜色保持。为此，图像的字典元素(原子)中的特定表示和图像数据本身之间的误差度量可根据以下方程在与每个原色相关的波长范围中确定：
Figure BDA0001224196710000141
其中，y是由字典原子构成的向量表示，x是图像数据，I是指示所使用的原色的波长范围的合适维度的单位矩阵，K是可表示为以下形式的矩阵的色调维持运算符
Figure BDA0001224196710000142
可以调整权重因数γ/n，以确定色调维持的等级。这种用于字典选择的技术对恢复的图像数据提供了颜色方案的维持，并降低了由图像区域之间的非均匀重建所引起的误差和噪声。
如以上所指示的，本发明的光场成像系统使用了位于成像透镜单元和检测器阵列之间的中间平面处的多色图案化滤波器。图3A和图3B例示了该配置的一些有利特征。图3A图示了使用拜耳滤波器以在不同波长的光分量之间进行区分的检测器阵列。不同的检测器元件被配置为检测如图中所标记的红色、绿色或蓝色中的光。为了提供可靠的彩色图像数据，这些检测器元件的输出数据被混合，以提供在图中编号为1-8的每个像素的数据。这减少了在所得到的图像数据中的像素的数量，实际上减小了成像系统的几何分辨率。实际上，这样减小的几何分辨率限制了有意义的光学分辨率，其要求检测器上的最小光斑将覆盖至少三个检测器元件以提供所需的奈奎斯特采样率。
图3B例示了根据本发明的检测器阵列。成像透镜单元和检测器阵列之间的多色图案化滤波器的使用提供了颜色信息，同时使得能够不使用诸如常用的拜耳滤波器的CFA。这导致了每个检测器元件可表示像素数据，该像素数据为给定的检测器阵列提供更高数量的像素。此外，更高的几何分辨率实现对高的光学分辨率的使用，使支持较小光斑的奈奎斯特采样率能被准确测量。
参照图4，其示出了作为使用本发明的基于多色图案化滤波器的成像系统100采集的帧的数量的函数(曲线G1)以及作为在使用拜耳滤波器以提供颜色数据的常规光场成像单元中采集的帧的数量的函数(曲线G0)的峰值信噪比(PSNR)的模拟结果。如清楚地示出的，增加的曝光次数能够增加测量的信噪比。然而，同样如所示，使用多色图案化滤波器120和适当的后处理以结合所收集的光分量经过的滤波器120的区域来推断彩色图像数据的本发明的技术提供了改进的PSNR，其能够降低噪声和混叠，同时以对应于检测器130中的像素的实际数量的分辨率提供图像数据。
就此而言，可以改变图案化滤波器120的设计和位置，以优化系统100的成像性能。与图案化滤波器的结构有关的一些考虑在图5A和图5B中例示。图5A例示了成像系统100和三条光线R1,R2和R3。光线R1和R2在成像透镜110的中心处通过，并到达检测器单元130的不同像素。光线R3在距离透镜中心的距离u’处经过成像透镜，并与光线R1一样到达检测器单元130的类似像素。另外，如所示，成像透镜110和检测器130之间的距离为Zfs，图案化滤波器120位于距离检测器130的距离Δz处，并且两个不同像素(通常是相邻的像素)之间的距离为ps。使用该标记法，光线R1和R2在其之间具有距离h1的不同位置处经过图案化滤波器，其中h1由以下方程给出：
Figure BDA0001224196710000151
为了允许图像数据的有效重建，图案化滤波器120可优选地被配置为增加诸如R1和R2的两条光线之间的对比度。此外，图案化滤波器120可优选地被配置为增加光线R1和R3之间的对比度，以能够进行后处理来对由这些光线携带的数据进行区分。独立于光线R1和R2，经过滤波器120的光线R1和R3之间的距离可由以下方程给出：
Figure BDA0001224196710000152
如图5A的示例所示，假设h1＝h2则：
Figure BDA0001224196710000153
并且进一步得出(由于像素间隔通常相对于系统的期望的角分辨率更小)：
Figure BDA0001224196710000161
其中P是每像素的观察的角的数量，以及D是透镜单元的直径。由于透镜单元110和检测器单元130之间的距离根据透镜单元的焦距来提供，因此方程6可被重新写为：
Figure BDA0001224196710000162
从而为图案化滤波器120提供了期望的最佳位置。通常，在一些实施例中，对应于最紧凑的成像系统的典型配置和通用方案，图案化滤波器120和检测器单元130之间的距离Δz可介于1微米和5毫米之间。在一些其他配置中，距离Δz可介于5微米和500微米之间。通常，图案化滤波器可位于相比于方程10或11的结果或多或少25％的距离范围处。
在方程8中使用方程10的结果指示了，如果图案化滤波器120具有基本上类似于检测器单元130的几何分辨率的图案分辨率，则可提供诸如高的分辨率和SNR的高性能。更具体地，图案化滤波器的可区分区域之间的距离h1优选地被配置为基本上类似于检测器单元130的相邻像素之间的距离ps。图5B示出了针对滤波器120的图案分辨率和检测器130的几何分辨率之间的不同比率所模拟的PSNR。如所示，当滤波器120的区域大小和检测器130的像素大小之间的比率介于0.5和2之间时可实现最佳性能，并且对于0.75和1.25之间的比率，甚至实现了更好的结果。
此外，图6示出了在三个等级的加性噪声的情况下将使用不同动态范围的图案化滤波器的图像重建的PSNR特性进行比较的模拟结果。图案化滤波器的动态范围由特定波长的光的100％传输和0％传输之间的多个中间传输等级来限定(即，滤波器的特定区域可允许传输红光，而阻断蓝光和绿光或任何其他组合)。更具体地，动态范围2指示二元图案。如图6所示，动态范围在不存在加性噪声的情况下不影响重建性能，而在噪声存在的情况下，相对于多色图案化滤波器120的更高的动态范围，动态范围2(二元图案)提供了更高的性能。
因此，本发明提供了一种光场成像系统，其包括成像透镜单元、检测器阵列和多色图案化滤波器，该多色图案化滤波器位于所收集的光的光学路径中、处于透镜单元和检测器阵列之间的中间平面处。本发明的系统在消除了按照惯用方法对检测器阵列处的任何CFA的需要的同时，实现了比常规光场成像技术的图像分辨率更高的图像分辨率，同时要求类似的后处理复杂性。

Claims (17)

1.一种光场成像系统，包括：
检测器单元，所述检测器单元包括检测器元件的阵列，并被配置且可操作以生成指示由所述检测器元件收集的光的灰度级图像数据，
成像透镜单元，所述成像透镜单元被配置用于收集来自场景的输入光并将所述输入光朝向所述检测器单元进行导向以在所述检测器元件的阵列上生成所述场景的相应图像，
多色图案化滤波器，所述多色图案化滤波器位于所述成像透镜单元与所述检测器元件的阵列之间的中间平面处，所述多色图案化滤波器以对于不同波长范围的光具有不同传输特性的不同区域形成，并位于所收集的光的光学路径中，所述多色图案化滤波器将不同波长范围的入射光空间调制成结构光，该结构光允许从所述灰度级图像数据中对射线跟踪数据进行后提取，以及
控制单元，所述控制单元被配置并可操作用于接收并处理来自所述检测器元件的阵列的所述灰度级图像数据以及用于根据关于所述多色图案化滤波器的数据处理所述灰度级图像数据，从而生成所述场景的重建的多色光场数据，
其中，所述灰度级图像数据指示与利用所述多色图案化滤波器进行入射光的空间调制对应的所述检测器元件之间的光特性的混合。
2.如权利要求1所述的光场成像系统，其中，所述多色图案化滤波器包括两个或更多个二元图案的叠加，所述两个或更多个二元图案中的每个与对相应的波长范围的光的传输或阻断对应。
3.如权利要求1所述的光场成像系统，其中，所述多色图案化滤波器包括至少第一图案、第二图案和第三图案的叠加，每个图案与过滤波长范围的光对应，使得第一相应的波长范围、第二相应的波长范围和第三相应的波长范围提供原色组。
4.如权利要求3所述的光场成像系统，其中，所述第一相应的波长范围、所述第二相应的波长范围和所述第三相应的波长范围选自红色、绿色和蓝色或者选自青色、洋红色和黄色。
5.如权利要求2所述的光场成像系统，其中，所述多色图案化滤波器还包括被配置用于过滤第四相应的波长范围内的传输的图案，所述第四相应的波长范围包括红外。
6.如权利要求1到5中任一项所述的光场成像系统，其中，所述控制单元包括处理工具并被配置且可操作用于从所述检测器元件的阵列接收与被成像的场景对应的灰度级图像数据，并且用于根据关于所述多色图案化滤波器的数据来对所述灰度级图像数据进行处理，从而生成所述场景的重建的多色光场数据。
7.如权利要求6所述的光场成像系统，其中，所述处理工具包括数据优化模块，所述数据优化模块被配置并可操作以根据关于所述多色图案化滤波器的所述数据迭代地确定指示所重建的图像数据的数据，从而确定所述场景的所述重建的多色光场数据。
8.如权利要求7所述的光场成像系统，其中，所述数据优化模块被配置并可操作用于确定满足条件I＝φL的四维图像数据L，其中I指示所述灰度级图像数据以及φ是指示所述多色图案化滤波器的配置的传感矩阵，以及其中L可被表示为L＝Dx，其中D是适当的基变换以及x是其在基中的表示且仅具有几个非零系数。
9.如权利要求1到5中任一项所述的光场成像系统，其中，所述重建的多色光场图像包括四维图像数据，使能够将所得到的图像重新聚焦到所述场景的不同部分上。
10.如权利要求1到5中任一项所述的光场成像系统，其中，所述处理单元还包括字典选择模块，所述字典选择模块被配置并可操作以根据关于所述多色图案化滤波器的所述数据来确定基变换运算符，所述基变换运算符被选择，使得所述重建的多色光场数据在所选择的基中是稀疏的。
11.如权利要求10所述的光场成像系统，其中，所述字典选择模块被配置并可操作以确定基变换运算符，同时保持在字典原子和所采集的图像数据之间的色调等级。
12.如权利要求1到5中任一项所述的光场成像系统，所述光场成像系统被配置为相机单元。
13.一种用于生成感兴趣的区域的光场图像数据的方法，所述方法包括：
将多色图案化滤波器放置在透镜单元与检测器阵列之间的中间平面中，所述多色图案化滤波器以对于不同波长范围的光具有不同传输特性的不同区域形成；
通过使用所述多色图案化滤波器收集指示所述感兴趣的区域的灰度级图像数据的光，所述多色图案化滤波器用于在所述透镜单元与所述检测器阵列之间的所述中间平面处将预定的空间调制应用到所收集的光中的不同颜色的光分量以形成允许从灰度级图像数据中对射线跟踪数据进行后提取的结构光，以及将所述结构光进行导向以在所述检测器阵列上形成图像，从而生成所述感兴趣的区域的图像数据；以及
使用指示所述预定的空间调制的数据来对所述图像数据进行处理，并且所述处理包括识别与所述感兴趣的区域的不同部分和不同颜色对应的光分量，以及生成所述感兴趣的区域的光场图像数据。
14.如权利要求13所述的方法，其中，所述处理包括根据所采集的图像数据和由多个图像原子对所采集的图像数据的表示来确定四维图像数据。
15.如权利要求14所述的方法，其中，由所述多个图像原子对所采集的图像数据的所述表示在所述多个图像原子中是稀疏的。
16.如权利要求13到15中任一项所述的方法，其中，所述处理包括确定满足条件I＝φL的四维图像数据L，其中I指示所述灰度级图像数据以及φ是指示所述多色图案化滤波器的配置的预定的传感矩阵，以及其中L可表示为L＝Dx，其中D是适当的基变换以及x是其在基中的表示且仅具有几个非零系数。
17.如权利要求15所述的方法，其中，所述多个图像原子被选择以维持所述图像数据的色调等级。
CN201580043326.5A 2014-06-25 2015-06-25 用于光场成像的系统和方法 Expired - Fee Related CN106575035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010833612.4A CN111812838A (zh) 2014-06-25 2015-06-25 用于光场成像的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462016740P 2014-06-25 2014-06-25
US62/016,740 2014-06-25
PCT/IL2015/050660 WO2015198331A1 (en) 2014-06-25 2015-06-25 System and method for light-field imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010833612.4A Division CN111812838A (zh) 2014-06-25 2015-06-25 用于光场成像的系统和方法

Publications (2)

Publication Number Publication Date
CN106575035A CN106575035A (zh) 2017-04-19
CN106575035B true CN106575035B (zh) 2020-09-11

Family

ID=54937493

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580043326.5A Expired - Fee Related CN106575035B (zh) 2014-06-25 2015-06-25 用于光场成像的系统和方法
CN202010833612.4A Pending CN111812838A (zh) 2014-06-25 2015-06-25 用于光场成像的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010833612.4A Pending CN111812838A (zh) 2014-06-25 2015-06-25 用于光场成像的系统和方法

Country Status (4)

Country Link
US (1) US9900562B2 (zh)
EP (1) EP3161554A4 (zh)
CN (2) CN106575035B (zh)
WO (1) WO2015198331A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170084650A1 (en) * 2015-09-22 2017-03-23 Qualcomm Incorporated Color filter sensors
CN105812614B (zh) * 2016-03-21 2018-05-22 上海理工大学 基于光场成像与数字重聚焦技术的多图像加密和解密方法
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
US10411798B2 (en) * 2017-07-13 2019-09-10 Qualcomm Incorporated Power optimized VLC signal processing with efficient handling of ISP/VFE
US11043006B1 (en) 2017-12-29 2021-06-22 Perceive Corporation Use of machine-trained network for misalignment identification
IL257635A (en) * 2018-02-20 2018-04-30 Tech Innovation Momentum Fund Israel Limited Partnership System and method for light field imaging
US11473969B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Channel-specific micro-optics for optical arrays
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
CN109239914B (zh) * 2018-09-12 2020-05-01 南京大学 一种实现高空间带宽积的成像方法
US20200288965A1 (en) * 2019-03-11 2020-09-17 Spring Biomed Vision Ltd. System and method for enhanced imaging of biological tissue
CN110716211B (zh) * 2019-10-22 2023-09-15 辽宁大学 一种迭代滤波关联成像方法
CN110996104B (zh) * 2019-12-05 2021-10-08 华中科技大学 一种光场焦点堆栈图像序列编、解码方法、装置及系统
CN113050101A (zh) * 2019-12-26 2021-06-29 宁波飞芯电子科技有限公司 相干信号接收装置、方法以及相干探测系统
CN112702474B (zh) * 2020-12-02 2022-12-06 首都师范大学 光场成像系统及光场成像方法
WO2024105664A1 (en) 2022-11-15 2024-05-23 Scenera Technologies Ltd Imaging system and method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909213A (zh) * 2009-01-28 2010-12-08 索尼公司 成像装置和成像方法
CN102812709A (zh) * 2009-11-20 2012-12-05 M·辛格 压缩彩色图像采样和重建的方法和系统
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
CN103119516A (zh) * 2011-09-20 2013-05-22 松下电器产业株式会社 光场摄像装置和图像处理装置
US8761534B2 (en) * 2012-02-16 2014-06-24 Ricoh Co., Ltd. Optimization of plenoptic imaging systems
CN103913807A (zh) * 2013-01-07 2014-07-09 株式会社理光 光场成像系统、及调节全光成像系统的方法
CN105210361A (zh) * 2013-02-13 2015-12-30 萨尔布吕肯大学 全光成像设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004085965A (ja) * 2002-08-28 2004-03-18 Nippon Hoso Kyokai <Nhk> 立体撮像装置および立体表示装置
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
WO2007092581A2 (en) * 2006-02-07 2007-08-16 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
AU2008244493A1 (en) 2007-04-23 2008-11-06 California Institute Of Technology Single-lens, single-aperture, single-sensor 3-D imaging device
EP2051051B1 (en) * 2007-10-16 2020-06-03 Cambridge Research & Instrumentation, Inc. Spectral imaging system with dynamic optical correction
US8189065B2 (en) * 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
US8143565B2 (en) * 2009-09-30 2012-03-27 Ricoh Co., Ltd. Adjustable multimode lightfield imaging system having an actuator for changing position of a non-homogeneous filter module relative to an image-forming optical module
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US9137503B2 (en) * 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US8949078B2 (en) * 2011-03-04 2015-02-03 Ricoh Co., Ltd. Filter modules for aperture-coded, multiplexed imaging systems
JP5310837B2 (ja) * 2011-12-28 2013-10-09 カシオ計算機株式会社 画像生成装置、デジタルカメラ、方法、及びプログラム
US9363425B2 (en) * 2012-12-06 2016-06-07 Semiconductor Components Industries, Llc Color filter arrangements for fused array imaging systems
CN203163728U (zh) 2013-04-07 2013-08-28 南京理工大学 多光谱光场相机
US9207066B2 (en) * 2014-02-14 2015-12-08 Palo Alto Research Center Incorporated Spatial modulation of light to determine dimensional characteristics of objects in a flow path
US9426383B1 (en) * 2014-06-20 2016-08-23 Amazon Technologies, Inc. Digital camera for capturing spectral and spatial information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101909213A (zh) * 2009-01-28 2010-12-08 索尼公司 成像装置和成像方法
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
CN102812709A (zh) * 2009-11-20 2012-12-05 M·辛格 压缩彩色图像采样和重建的方法和系统
CN103119516A (zh) * 2011-09-20 2013-05-22 松下电器产业株式会社 光场摄像装置和图像处理装置
US8761534B2 (en) * 2012-02-16 2014-06-24 Ricoh Co., Ltd. Optimization of plenoptic imaging systems
CN103913807A (zh) * 2013-01-07 2014-07-09 株式会社理光 光场成像系统、及调节全光成像系统的方法
CN103913807B (zh) * 2013-01-07 2016-09-28 株式会社理光 光场成像系统、及调节全光成像系统的方法
CN105210361A (zh) * 2013-02-13 2015-12-30 萨尔布吕肯大学 全光成像设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections》;Kshitij Marwah etc.;《ACM transactions on Graphics》;20130731;第32卷(第4期);第46：3-46：4页 *

Also Published As

Publication number Publication date
CN106575035A (zh) 2017-04-19
EP3161554A4 (en) 2018-03-14
US9900562B2 (en) 2018-02-20
CN111812838A (zh) 2020-10-23
US20170201727A1 (en) 2017-07-13
EP3161554A1 (en) 2017-05-03
WO2015198331A1 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
CN106575035B (zh) 用于光场成像的系统和方法
Farid Image forgery detection
US8767047B2 (en) Angle sensitive pixel (ASP)-based image processing system, method, and applications
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
CN114189665B (zh) 图像生成装置及拍摄装置
JP5186517B2 (ja) 撮像装置
US10237519B2 (en) Imaging apparatus, imaging system, image generation apparatus, and color filter
Lapray et al. Energy balance in Spectral Filter Array camera design
US10446600B2 (en) Imaging system and imaging device having a random optical filter array
US20200404248A1 (en) System and method for compressed sensing light field camera
CN105765630B (zh) 通过创建多个色度斑点图案测量受到应力的结构部件的形状、移动和/或变形的多尺度测量方法
Paramonov et al. Depth camera based on color-coded aperture
Lv et al. An integrated enhancement solution for 24-hour colorful imaging
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
Pan et al. Deep panchromatic image guided residual interpolation for multispectral image demosaicking
KR101243285B1 (ko) 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법
Rueda et al. Compressive spectral imaging based on colored coded apertures
Huang et al. High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model
Llanos et al. Simultaneous demosaicing and chromatic aberration correction through spectral reconstruction
KR20220040025A (ko) 딥러닝 기반 열 영상 재구성 장치 및 방법
KR101671927B1 (ko) 이미지 처리 장치 및 방법
Rafi Nazari Denoising and demosaicking of color images
WO2016203760A1 (ja) 映像撮影装置および映像撮影方法
CN106852190B (zh) 图像处理单元、拍摄装置及图像处理方法
Navinprashath et al. Learning based demosaicing and color correction for RGB-IR patterned image sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181219

Address after: Israel Tel Aviv

Applicant after: TECHNOLOGY INNOVATION MOMENTUM FUND (ISRAEL) L.P.

Address before: Israel Tel Aviv

Applicant before: RAMOT AT TEL-AVIV University Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200911

CF01 Termination of patent right due to non-payment of annual fee