CN109792511A - 用于更丰富颜色采样的全光子孔径视图滑移 - Google Patents

用于更丰富颜色采样的全光子孔径视图滑移 Download PDF

Info

Publication number
CN109792511A
CN109792511A CN201780040731.0A CN201780040731A CN109792511A CN 109792511 A CN109792511 A CN 109792511A CN 201780040731 A CN201780040731 A CN 201780040731A CN 109792511 A CN109792511 A CN 109792511A
Authority
CN
China
Prior art keywords
light
image
main lens
state
modulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780040731.0A
Other languages
English (en)
Other versions
CN109792511B (zh
Inventor
瓦尔特·德拉克斯
阿诺·舒伯特
尼古拉斯·勒·斯库纳克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN109792511A publication Critical patent/CN109792511A/zh
Application granted granted Critical
Publication of CN109792511B publication Critical patent/CN109792511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics

Abstract

一种用于使用全光相机生成具有丰富色彩获取的的多个图像的系统和方法，所述全光相机具有设置微透镜阵列前面的主透镜、镶嵌滤色器阵列和图像传感器，特征在于，其包括：使用设置在所述主透镜和所述微透镜阵列之间的电控双折射介质的普通状态捕获第一图像集合，所述普通状态为每个像素提供普通光线；使用所述电控双折射介质的异常状态捕获第二图像集合，所述异常状态将来自所述主透镜的光分成普通光线和异常光线，分别照射在不同颜色的两个相邻像素上，所述异常光线被移位通过所述图像传感器上的一个像素的距离；从关于所述第一图像集合的信息中执行关于所述第二图像集合的信息的加权扣除；从所述加权扣除和所述第一图像集合生成具有丰富颜色信息的最终图像集合。

Description

用于更丰富颜色采样的全光子孔径视图滑移
技术领域
本公开内容总体上涉及数字图像处理，具体而言，涉及使用去马赛克的全光成像技术。
背景技术
该部分旨在向读者介绍本领域的各个方面，其可以与下面描述和/或要求保护的本发明的各个方面相关。相信该讨论有助于为读者提供背景信息以便于更好的理解。因此，应该理解，这些陈述应该从这个角度来阅读，而不是承认是现有技术。
捕获场景的光场一直是计算摄影领域所感兴趣的。然而，最近发布的手持式全光相机已经将光场成像的潜力引入了大众市场。全光相机使用微透镜阵列，该微透镜阵列位于主透镜的成像平面中并且在光传感器阵列之前，其上投射一个微图像(也称为子图像)。通过在主透镜和传感器之间放置微透镜阵列，全光相机捕获进入相机的光束的方向，以及它们的位置、强度和颜色。然后对捕获的数据进行解复用，以从场景上的略微不同的视点提供水平和垂直对齐的视图的矩阵。因此，每个微图像描绘了捕获的场景的区域，并且与该微图像相关联的每个像素从主透镜出射光瞳上的特定子孔径位置的视点示出了该特定区域。然后获得场景的原始图像，作为从光传感器阵列的各个部分获取的所有微图像的总和的结果。
借助光场，出现了许多自然应用，例如深度估计或后期捕捉重新聚焦。原始数据转换很复杂，涉及需要解决的几个问题。一个这样的问题是准确的颜色转换。去马赛克处理目的是从用马赛克镶嵌的捕获原始数据中恢复场景的颜色内容。不幸的是，存在许多干扰全色图像重构的实际问题。执行几何操作时会出现另一个问题。这些操作经常造成由于插值颜色值的计算不良而导致的错误。这些问题和其他问题会影响完全恢复和颜色转换，例如通过去马赛克处理解决的问题。因此，需要能够使用捕获的原始数据提供更好的颜色恢复的改进技术。
发明内容
一种用于使用全光相机生成不同颜色强度和特性的多个图像的系统和方法，所述全光相机具有设置在具有多个孔径的微透镜阵列前面的主透镜。在一个实施例中，该方法包括使用电光偏振调制器的第一状态捕获第一图像集合，以及使用电光偏振调制器的第二状态捕获第二图像集合。调制器设置在所述主透镜和具有多个孔径的透镜阵列之间。随后，从关于第一集合的信息中扣除关于第二图像集合的信息。在扣除之后生成最终图像集合，使得最终图像集合具有增强的颜色强度和特性。
在另一个实施例中，提供了一种用于生成不同颜色强度和特性的多个图像的系统，包括设置在与多个孔径相关联的微透镜阵列前面的主透镜和设置在微透镜和透镜阵列之间的电控电光调制器。电光调制器在第一状态和施加电压时的第二状态之间运行。提供了用于使用电光偏振调制器的所述第一状态捕获第一图像集合的模块和用于使用电光偏振调制器的第二状态捕获第二图像集合的模块。还提供了处理器，被配置为从关于第一捕获图像集合的信息中扣除关于第二图像集合的信息，以创建具有增强的颜色强度和特性的最终图像集合。
通过本公开内容的技术实现了额外的特征和优点。本文详细描述了本发明的其他实施例和方面，并将其视为要求保护的发明的一部分。为了更好地理解本发明的优点和特征，请参考说明书和附图。
附图说明
参考附图，通过以下绝非限制性的实施例和执行示例将更好地理解和说明本公开内容，附图中：
图1是示出在去马赛克处理中使用的滤色器阵列(CFA)的方框图。
图2A是用滤色器阵列(CFA)图案捕获的图像和微透镜阵列的图示；
图2B是使用滤色器和微透镜阵列捕获的解复用图像的图示；
图3A是根据一个实施例的用于普通和异常状态的子孔径到像素映射的图的图示；
图3B提供了图3A中所示实施例的放大和更详细的图示；及
图4是根据一个实施例的上述过程的流程图。
在图1-图4中，所表示的附图提供了纯粹功能实体的示例，并且不一定对应于物理上分离的实体。即，它们可以以软件、硬件的形式开发，或者在包括一个或多个处理器的一个或多个集成电路中实现。
在可能的情况下，在所有附图中将使用相同的附图标记来表示相同或相似的部分。
具体实施方式
应当理解，已经简化了本发明的附图和描述，以说明与清楚理解本发明相关的元件，同时为了清楚起见，省略了在典型的数字多媒体内容传输方法和系统中见到的许多其他元件。然而，因为这些元件在本领域中是公知的，所以本文不提供对这些元件的详细讨论。本文的公开内容针对所有这些变化和修改。
在常规相机中，在定时曝光期间，使用镜头将从物体反射或发射的光聚焦到相机内部的光敏表面上的真实图像中。利用电子图像传感器，在每个像素处产生电荷，然后将其处理并存储在数字图像文件中以供进一步使用。在经典摄影中，焦面大致是平面或焦平面。焦面垂直于相机的光轴。
相比之下，在全光相机中，每个微图像描绘捕获的场景的区域，并且与该微图像相关联的每个像素从主透镜出射光瞳上的特定子孔径位置的视点示出了该特定区域。然后获得场景的原始图像，作为所有微图像的总和的结果，原始图像包含光场的角度信息。因此，原始图像中的相邻像素包含不同的角度信息，因为每个像素对应于不同的视图。
图1是使用在去马赛克过程中使用的滤色器阵列(CFA)的全光微图像矩阵的图示。在去马赛克过程中使用的滤色器阵列是数字图像处理技术，其使用滤色器阵列从不完全的颜色样本重构全色图像。颜色样本通常是覆盖有CFA的一个或多个图像传感器的输出。滤色器阵列是在一个或多个图像传感器前面的滤色器的镶嵌。在商业上，最常用的CFA配置是拜耳滤波器。图1的示例提供了这种滤波器的示例。如图所示，用于奇数行的交替的红色(R)和绿色(G)滤波器在偶数行中进一步交替，其居间行包括散布的绿色(G)和蓝色(B)滤波器。
在这个示例中，绿色滤波器的数量是红色或蓝色滤波器的两倍，以满足人眼对绿光的更高灵敏度。CFA的颜色子采样本身导致混叠，因此将光学抗混叠滤波器放置在图像传感器和透镜之间的光路中，以减少由插值引入的伪色伪像(色彩混叠)。由于传感器的每个像素位于滤色器后面，因此输出是像素值阵列，每个像素值指示三种滤色器颜色之一的原始强度。拜耳滤波器是CFA的示例，它在均匀网格上使用多变量插值。因此，需要一种算法来为每个像素估计所有颜色分量的颜色级别，而不是单个分量。传统的去马赛克算法从CFA或其他滤波器输出的这种空间欠采样的颜色通道重构全色图像。
这种算法中涉及的数学运算很简单，因为它基于相同颜色分量的附近实例。这种插值算法的最简单方法依赖于最近邻插值，其简单地复制相同颜色通道的相邻像素。然而，这种滤波器不适用于图像的细节和质量很重要的任何应用。此外，尽管这些方法可以在均匀图像区域中获得良好结果，但是当与纯色CFA一起使用时，它们在具有边缘和细节的区域中易于出现严重的去马赛克伪像。更复杂的去马赛克算法利用彩色图像内像素的空间和/或光谱相关性，但它们仍然存在问题，如将参考图2B更详细地见到的。
图2A是示出使用全光相机利用滤色器阵列(CFA)图案和六边形透镜网格获得的图像的示例性实施例。图2A示出了全光相机中微图像的外观。较浅的阴影表示绿色(G)，而最暗的阴影表示蓝色(B)，中等灰色阴影表示红色(R)。在该示例中，每个像素由主透镜的出射光瞳的子孔径照射。由于六边形采样，透镜和像素网格之间以及CFA之间的残余旋转，一旦解复用子孔径视图，随后的视图可能在某些区域中缺失信息或颜色。
为了恢复场景中的视图或对象的缺失部分，可以对由全光相机获得的原始数据进行去马赛克，然后解复用以恢复视图。问题是在大多数情况下，这会导致视图上出现彩色伪像。考虑在包含不同角度信息的全光原始图像上使用相邻像素构造的情况(微透镜下的每个像素对应于不同视图)。在这种情况下对原始全光图像去马赛克可能会错误地混合角度信息。在产生所谓的视图串扰伪像的内插相邻颜色值的传统算法中，这会导致错误的结果。此外，已经示出了从去马赛克原始图像获得的视图的视差估计容易出现更大的误差。
图2B是所讨论的解复用图像的图示。在图2B的所示示例中，向场景提供一个或多个对象的视图或图像。在图2B中通过全光相机捕获图像。观察图2B的视图，难以识别正在呈现的场景中的图像。在图2B中可以看到对象的整体轮廓，但是在图像中没有提供足够的信息以允许详细的对象识别。即使在阴影、强度和颜色不完全缺失的情况下，也必须从远处像素内插互补色信息，这在大多数情况下存在问题。后者意味着最好从其他对象估计(或甚至猜测)缺失的颜色，这些对象甚至可能不是图像本地的。
在图2B中，由于缺失颜色信息，但是以适当的方式解复用图像，仍将图像去马赛克。如果没有去马赛克，原始数据需要在未去马赛克的情况下被解复用到场景的视图中。这将有助于避免出现颜色伪像并帮助恢复例如由串扰产生的缺失颜色信息。块匹配技术可用于估计像素视差。随后，需要使用可靠的估计视差来对图像和视图进行去马赛克，利用场景的冗余采样。与现有技术方法相比，结果不包含颜色伪像。准确的视图解复用和估计的视差的子像素精度导致更高质量的去马赛克视图的空间分辨率。可以在不承受额外的超分辨率步骤的复杂性的情况下实现这种质量改进。在一个实施例中，该概念可用于提供用于更丰富的颜色获取的手段。在该实施例中，使用电光偏振调制器。在一个实施例中，电光偏振调制器是在施加电压时变成双折射的介质。
双折射是结晶材料的特性，当光线照射它们时会产生两条折射光线。这种性质是由于介质中原子的非各向同性分布，并且发生在结晶介质中，其结晶网状结构是强非各向同性的。石英和方解石是呈现双折射的天然材料。利用那些介质，当非偏振光线照射其特定方向的一个表面时，有两条光线在折射时产生。其中一条光线具有一种偏振特性，另一条光线略有不同。根据斯涅尔-笛卡尔定律：nisinθi＝nrsinθr，其中ni和nr是入射和折射介质的相应(和不同)折射率，θi和θr是入射和折射角度。
在双折射介质中，服从斯涅尔-笛卡尔定律的光线称为普通光线，而介质具有一个普通折射率n0。所产生的第二条光线经过另一个折射ne，它在材料内具有异常折射率ne的方向上传播，并垂直于普通光线偏振。在双折射介质中，使用不同的传播方向产生两条光线。
双折射材料根据斯涅尔定律折射光线，但材料内的有效折射率取决于输入偏振态和折射光线相对于晶轴的角度。在双折射材料中，两种类型的光线可以定义为普通和异常。普通光线根据斯涅尔原理n sinθ＝n0 sinθ'折射，其中“0”表示普通折射率。对于异常光线，在双折射情况下，折射定律规定n sinθ＝n(θw)sinθ'，其中双折射材料中的有效折射率是角度θw的函数。角度θw是晶轴矢量“a”和折射波矢量“k”之间的角度。另外，作为指向能量传播方向的矢量的光线矢量“s”不遵循波矢量“k”，而是相对于矢量“k”形成小角度。在各向同性的介质中，矢量“k”和“s”是相同的。因此，对于大多数光学设计，必须考虑矢量“k”。在这些情况下，将角度θw定义为：
有效折射率由
定义，其中n0是普通折射率，ne是异常折射率。
和之间的角度α由
定义，其中
矢量和都与晶轴矢量共面。波矢量指向波前的法线，而指向能量传播的方向。
图3A示出了普通和异常状态的子孔径到像素映射的图。如图所示，多条光线(总体用320表示)通过附图标记325所示的电光调制器。在该图的右侧，存在总体用附图标记327表示主透镜的出射光瞳。该主透镜出射进一步分成子孔径V1至V12，共同如附图标记352所示。在该实施例中，提供了可以电控制的双折射介质。如本领域技术人员可以理解的，可以使用各种这样的介质。一个这样的示例可以是包含扭曲液晶向列(TN)的示例。在一个实施例中，TN液晶可以夹在具有透明氧化铟锡(ITO)电极的两个玻璃板之间。在一个示例中，在其基态，在没有电压施加到TN单元的情况下，子孔径各自跟随示出普通光线的绿色线成像到每个微图像上的一个唯一像素上。
图3B提供了放大且更详细的图片，其示出了线310圈出所示的区域310。在该放大图片(310)中，示出了一个微透镜和来自CFA(例如拜耳CFA)的一列红绿像素。红色部分由312示出，绿色部分由附图标记315示出。310的图示示出了如何映射普通光线使得每个子孔径与一个像素对准。为了帮助理解，最好首先沿图3A中提供的异常光线330开始并且以相反的顺序沿它们返回到图3B的更详细区域。这将导致从像素到子孔径方向的流动。
观察图3A，并且沿从左到右的光线，异常光线320沿电光调制器绿光路径。它穿过其微透镜的光学中心，然后射中双折射单元。单元处于其“异常”状态，施加电压，因此，这次生成两条光线，绿色光线像普通光线一样折射，蓝色光线像异常光线那样折射。当两者都射中主透镜的出射光瞳时，普通光线在一个子孔径中结束，而异常光线映射到上面的一个子孔径中。这意味着如果我们从出射光瞳开始，子孔径的V11普通光线将射中最底部的像素，该像素是绿色的。从相同的V11子孔径，异常光线将射中从底部的第二个像素，该像素是红色的。
将颜色信息添加到全光图像需要顺序拍摄两个图像。在t0处拍摄第一图像，其中单元处于普通状态。传感器上的像素会记录以下状态：
PV(t0,V11),PR(t0,V10),PV(t0,V9),PR(t0,V8)，......
在t1处拍摄第二图像，其中单元处于其异常状态。如果场景中没有偏振现象，则会生成两条强度相等的光线：
PV(t1,V11)/2+PV(t1,V12)/2,PR(t1,V10)/2+PR(t1,V11)/2,PV(t1,V9)/2+PV(tl,V10)/2,PR(tl,V8)/2+PR(tl,V9)/2,......
观察图3，显然，孔径的边界不会受益于颜色信息的增加，但是由于微图像串扰和渐晕，无论如何都会丢弃边界像素。因此，在一个实施例中，对于非边界的像素，从第二照片中两次减去第一图像。这将是从底部开始的第二个像素，并且可以定义为：PR＝2x[PR(t1,V10)/2+PR(t1,11)/2]-PR(t0,V10)。
如果在t＝0和t＝1(t0和t1)的两个场景之间没有移动，则：PR＝2x[PR(t1,V10)/2+PR(t1,V11)/2]-PR(t0,V10)＝PR(V10)+PR(V11)-PR(V10)＝PR(V11)。
因此，产生用于子孔径V11的红色分量，而从t0处的照片，还存在用于子孔径VI1的绿色分量。
将该概念应用于其余像素，如果在t0和t1处产生两个场景照片，则可以从这些场景照片获得像素值的线性组合，其允许比使用传统方法通常提供的颜色信息多两倍的颜色信息。在一个示例中，该系统中使用的附加部件是扭曲向列(TN)单元。
液晶(LC)在普通n0和异常ne折射率之间数值可以相差很大。在一些情况下，已知名为MLC-9200-100(用于显示器应用的液晶的折射率)的LC混合物具有ne-n0>0.2，这是一个非常大的差异但是为了减小图3中的单元的厚度是需要的。该厚度与微透镜阵列和传感器之间的单元放置仍不兼容，但是它可以放置在出射光瞳和微透镜阵列之间，因为它减小到几毫米厚度。(微透镜到传感器的距离在10-100微米的范围内。)
图4是根据一个实施例的上述过程的流程图。图4示出了使用全光相机生成不同颜色强度和特性的多个图像的方法的步骤，该全光相机具有设置在具有多个孔径的透镜阵列之前的主透镜。如图4中的步骤410所示，使用电光偏振调制器的第一状态捕获第一图像集合。在一个实施例中，调制器设置在所述主透镜和具有多个孔径的透镜阵列之间。在步骤420中，使用电光偏振调制器的第二状态捕获第二图像集合。在步骤430中，例如利用配置的处理器，从关于第一集合的信息中扣除关于第二图像集合的信息。在步骤440中，在扣除之后生成最终图像集合，使得所述最终图像集合具有增强的颜色强度和特性。在一个实施例中，用于生成不同颜色强度和特性的多个图像的系统可用于进行图4的方法步骤和图3A和3B的布置。在该实施例中，主透镜(310)设置在与多个孔径相关联的微透镜阵列(352)前面。如图3A所示的电控电光调制器(325)可以设置在微透镜和所示透镜阵列之间。在施加电压时，电光调制器在两种状态(图3A中的330和340)之间运行。然后使用电光偏振调制器的第一状态捕获第一图像集合，并且还使用电光偏振调制器的第二状态捕获第二图像集合，如结合图4所讨论的。随后，处理器可以并入系统中，处理器被配置为从关于第一捕获图像集合的信息中扣除关于所述第二图像集合的信息，以生成(图4中的440)具有增强的颜色强度和特性的最终图像集合。以这种方式，即使在非常复杂的情况下也可以获得丰富的颜色信息，其中，全光相机传递非常稀疏的颜色信息。

Claims (14)

1.一种生成多个图像的方法，包括：
使用电光偏振调制器的第一状态生成(410)第一图像集合；所述调制器设置在主透镜和具有多个孔径的微透镜阵列之间；
使用电光偏振调制器的第二状态生成(420)第二图像集合；
从关于所述第一集合的信息计算(430)关于所述第二图像集合的信息；以及
在所述扣除之后生成(440)最终图像集合。
2.一种用于生成多个图像的系统，包括：
主透镜(310)，设置在与多个孔径相关联的微透镜阵列(352)的前面；
电控电光调制器(325)，设置在所述微透镜阵列和所述主透镜之间；所述电光调制器在第一状态(340)和施加电压时的第二状态(330)之间运行；
用于使用电光偏振调制器的所述第一状态生成第一图像集合的模块；
用于使用电光偏振调制器的第二状态生成第二图像集合的模块；以及
处理器(430)，被配置为从关于所述第一捕获图像集合的信息计算关于所述第二图像集合的信息，以生成(440)具有增强的颜色强度和特性的最终图像集合。
3.根据权利要求1所述的方法或根据权利要求2所述的系统，其中，在计算步骤之前丢弃从产生微图像串扰的孔径生成的边界像素。
4.根据权利要求1或3所述的方法，或者根据权利要求2或3所述的系统，其中，所述电光偏振调制器最初处于第一状态，并且在电压施加到所述电光偏振调制器之后变为第二状态。
5.根据权利要求4所述的方法，或根据权利要求4所述的系统，其中所述电光偏振调制器在没有电压的情况下返回到其第一原始状态。
6.根据权利要求1或4所述的方法，或根据权利要求2或4所述的系统，其中，所述电光偏振调制器由双折射晶体材料制成。
7.根据权利要求6所述的方法或根据权利要求6所述的系统，其中，所述双折射晶体材料是液晶(LC)。
8.根据权利要求1或7所述的方法，或者根据权利要求2或6所述的系统，其中，所述电光偏振调制器产生从所述主透镜接收的光的两个同时的光线，使得将第一光线映射到第一下孔径和位于所述第一下孔径上方的第二孔径。
9.根据权利要求1所述的方法或根据权利要求2所述的系统，其中，所述全光相机具有设置在所述微透镜阵列和所述主透镜之间的传感器。
10.根据权利要求9所述的方法，或权利要求9所述的系统，其中，所述微透镜阵列和所述传感器之间的距离大于10微米但小于100微米。
11.根据权利要求8所述的方法，或根据权利要求8所述的系统，其中，所述第一和所述第二光线具有不同的折射角。
12.根据权利要求11所述的方法，或根据权利要求11所述的系统，其中，所述第一和第二光线具有不同的折射率。
13.根据权利要求12所述的方法，或根据权利要求12所述的系统，其中，使所述第一普通光线和所述第二异常光线在彼此垂直的方向上偏振。
14.根据权利要求13所述的方法，或根据权利要求13所述的系统，其中，以不同的传播距离产生所述两条普通和异常光线。
CN201780040731.0A 2016-06-30 2017-06-27 用于更丰富颜色采样的全光子孔径视图滑移 Active CN109792511B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305822.5 2016-06-30
EP16305822.5A EP3264755A1 (en) 2016-06-30 2016-06-30 Plenoptic sub aperture view shuffling for a richer color sampling
PCT/EP2017/065922 WO2018002097A1 (en) 2016-06-30 2017-06-27 Plenoptic sub aperture view shuffling for a richer color sampling

Publications (2)

Publication Number Publication Date
CN109792511A true CN109792511A (zh) 2019-05-21
CN109792511B CN109792511B (zh) 2021-10-12

Family

ID=56411559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780040731.0A Active CN109792511B (zh) 2016-06-30 2017-06-27 用于更丰富颜色采样的全光子孔径视图滑移

Country Status (6)

Country Link
US (1) US10931936B2 (zh)
EP (2) EP3264755A1 (zh)
JP (1) JP7049274B2 (zh)
KR (1) KR102437510B1 (zh)
CN (1) CN109792511B (zh)
WO (1) WO2018002097A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018112875A1 (en) * 2016-12-23 2018-06-28 Intel Corporation Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras
RU2690757C1 (ru) 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
KR20230082554A (ko) 2021-12-01 2023-06-08 한국전자통신연구원 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001866A1 (en) * 2009-07-01 2011-01-06 Sony Corporation Image pickup apparatus
CN102812709A (zh) * 2009-11-20 2012-12-05 M·辛格 压缩彩色图像采样和重建的方法和系统
US20130270421A1 (en) * 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope
KR20140061234A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
US20150362637A1 (en) * 2013-02-05 2015-12-17 Seiko Epson Corporation Electro-optical device and electronic apparatus
CN206301242U (zh) * 2016-10-27 2017-07-04 珠海市魅族科技有限公司 显示组件及移动终端
CN108833618A (zh) * 2018-05-28 2018-11-16 Oppo广东移动通信有限公司 电子装置
CN109618033A (zh) * 2018-12-29 2019-04-12 河海大学 一种折叠全面屏手机
CN110545342A (zh) * 2019-09-03 2019-12-06 深圳传音控股股份有限公司 一种移动终端
CN111641743A (zh) * 2020-06-04 2020-09-08 Oppo广东移动通信有限公司 电子设备
CN111984063A (zh) * 2020-08-11 2020-11-24 捷开通讯(深圳)有限公司 一种用于伸缩屏幕的伸缩结构、方法及终端
CN213043713U (zh) * 2020-10-26 2021-04-23 Oppo广东移动通信有限公司 电子设备
CN112839115A (zh) * 2019-11-22 2021-05-25 北京小米移动软件有限公司 柔性屏模组、终端设备及拍摄方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4589030A (en) * 1983-07-25 1986-05-13 Kley Victor B Solid state camera
JPH0595517A (ja) * 1991-03-26 1993-04-16 Olympus Optical Co Ltd 高解像度撮像装置
JPH09130818A (ja) * 1995-08-29 1997-05-16 Casio Comput Co Ltd 撮像装置と撮像方法
US6909554B2 (en) * 2000-12-27 2005-06-21 Finisar Corporation Wafer integration of micro-optics
JP4059066B2 (ja) * 2002-11-15 2008-03-12 セイコーエプソン株式会社 プロジェクタ
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP2006350177A (ja) * 2005-06-20 2006-12-28 Seiko Epson Corp 光学シートの製造方法、光学シート、面状照明装置、電気光学装置
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
DE102010031535A1 (de) * 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
JP5218611B2 (ja) * 2011-07-19 2013-06-26 株式会社ニコン 画像合成方法及び撮像装置
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US20140183334A1 (en) * 2013-01-03 2014-07-03 Visera Technologies Company Limited Image sensor for light field device and manufacturing method thereof
US9936188B2 (en) * 2013-02-13 2018-04-03 Universität des Saarlandes Plenoptic imaging device
CN105637320B (zh) * 2013-08-19 2018-12-14 巴斯夫欧洲公司 光学检测器
JP6291747B2 (ja) * 2013-08-28 2018-03-14 ソニー株式会社 光学的ローパスフィルタ、撮像デバイスおよび撮像装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001866A1 (en) * 2009-07-01 2011-01-06 Sony Corporation Image pickup apparatus
CN102812709A (zh) * 2009-11-20 2012-12-05 M·辛格 压缩彩色图像采样和重建的方法和系统
US20130270421A1 (en) * 2011-09-02 2013-10-17 Panasonic Corporation Polarization image sensor and endoscope
KR20140061234A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
US20150362637A1 (en) * 2013-02-05 2015-12-17 Seiko Epson Corporation Electro-optical device and electronic apparatus
CN206301242U (zh) * 2016-10-27 2017-07-04 珠海市魅族科技有限公司 显示组件及移动终端
CN108833618A (zh) * 2018-05-28 2018-11-16 Oppo广东移动通信有限公司 电子装置
CN109618033A (zh) * 2018-12-29 2019-04-12 河海大学 一种折叠全面屏手机
CN110545342A (zh) * 2019-09-03 2019-12-06 深圳传音控股股份有限公司 一种移动终端
CN112839115A (zh) * 2019-11-22 2021-05-25 北京小米移动软件有限公司 柔性屏模组、终端设备及拍摄方法
CN111641743A (zh) * 2020-06-04 2020-09-08 Oppo广东移动通信有限公司 电子设备
CN111984063A (zh) * 2020-08-11 2020-11-24 捷开通讯(深圳)有限公司 一种用于伸缩屏幕的伸缩结构、方法及终端
CN213043713U (zh) * 2020-10-26 2021-04-23 Oppo广东移动通信有限公司 电子设备

Also Published As

Publication number Publication date
US10931936B2 (en) 2021-02-23
EP3479569A1 (en) 2019-05-08
JP2019519996A (ja) 2019-07-11
KR102437510B1 (ko) 2022-08-29
US20190166335A1 (en) 2019-05-30
CN109792511B (zh) 2021-10-12
WO2018002097A1 (en) 2018-01-04
EP3264755A1 (en) 2018-01-03
KR20190025643A (ko) 2019-03-11
EP3479569B1 (en) 2023-08-30
JP7049274B2 (ja) 2022-04-06

Similar Documents

Publication Publication Date Title
CN105210361B (zh) 全光成像设备
Huang et al. Lensless imaging by compressive sensing
CN102356628B (zh) 图像处理装置及图像处理方法
CN101960859B (zh) 图像处理方法、图像处理装置、图像合成方法和图像合成装置
US11438503B2 (en) Plenoptic sub aperture view shuffling with improved resolution
TWI505693B (zh) 攝像裝置
JP5995084B2 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
CN109792511A (zh) 用于更丰富颜色采样的全光子孔径视图滑移
Pistellato et al. Deep demosaicing for polarimetric filter array cameras
KR20060039136A (ko) 홍채의 정면 측면 영상을 동시에 획득하기 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant