CN106331445A - 全光凹相机 - Google Patents

全光凹相机 Download PDF

Info

Publication number
CN106331445A
CN106331445A CN201610498800.XA CN201610498800A CN106331445A CN 106331445 A CN106331445 A CN 106331445A CN 201610498800 A CN201610498800 A CN 201610498800A CN 106331445 A CN106331445 A CN 106331445A
Authority
CN
China
Prior art keywords
image
micro
region
sensor
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610498800.XA
Other languages
English (en)
Other versions
CN106331445B (zh
Inventor
B.范达姆
T.波莱尔
L.谢瓦利尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106331445A publication Critical patent/CN106331445A/zh
Application granted granted Critical
Publication of CN106331445B publication Critical patent/CN106331445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/22—Absorbing filters
    • G02B5/223—Absorbing filters containing organic substances, e.g. dyes, inks or pigments
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Abstract

一种目标为安装在全光相机1上的传感器4，包括目标为感测由微透镜阵列3折射的微图像的至少一个微图像区域5，该微图像区域5至少被滤色阵列6部分地覆盖，其中，当远离微图像区域5的形心(xi,j,yi,j)时，滤色阵列6的色彩饱和度降低。

Description

全光凹相机
技术领域
本公开的领域涉及光场成像。更具体地，本公开涉及用于记录有色光场图像的技术。
更具体地，本公开涉及一种目标为安装在全光相机的传感器上的滤色阵列(ColorFilter Array，CFA)。
背景技术
该部分意图为读者介绍可能与在下面所描述和/或要求保护的本公开的各个方面有关的领域的各个方面。相信本讨论就向读者提供背景信息以促进更好地理解本公开的各个方面而言是有用的。因此，应当理解，将从这个角度来阅读这些陈述，并且这些陈述不作为对现有技术的承认。
常规的图像捕捉设备将三维场景呈现到二维传感器上。在操作期间，常规的捕捉设备捕捉表示到达该设备内的传感器(或光电探测器)上的每个点的光量的二维(2-D)图像。然而，该2-D图像不包含关于到达传感器的光射线的方向分布(可以被称为光场)的信息。例如在获取期间丢失深度。因而，常规的捕捉设备不存储关于来自场景的光分布的大多数信息。
光场捕捉设备(也被称为“光场数据获取设备”)已经被设计为通过捕捉来自场景的不同视点的光来测量该场景的四维(4D)光场。因而，通过测量沿着与传感器相交的每个光束传播的光量，这些设备能够捕捉附加的光学信息(关于光射线的束的方向分布的信息)以便通过后处理提供新的成像应用。由光场捕捉设备所获取/获得的信息被称为光场数据。光场捕捉设备在本文被定义为能够捕捉光场数据的任何设备。
光场数据处理显著地包括、但是不限于：生成场景的重聚焦图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像，和/或这些的任何组合。
在光场捕捉设备的若干现有分组之中，“全光设备”或“全光相机”具体化为微透镜阵列，该微透镜阵列定位在主透镜的图像焦场中并且在每个微透镜的微图像(microimage)被投射到其上的传感器之前。在以下描述中，一个(或若干)微图像目标要投射到其上的传感器的区域被称为“微图像区域”或“传感器微图像”或“传感器的微图像”或“暴露区”或“投射区”。作为结果所获得的场景的原始图像是属于一个传感器微图像和/或另一个传感器微图像的传感器的所有像素的总和。然后通过像素在微图像区域中相对于它们的中心的相对位置来给出光场的角度信息。基于该原始图像，能够执行也被称作“解复用”的、来自某视点的所捕捉的场景的图像的提取。解复用处理可以被看作从2D原始图像到4D光场的数据转换。可以通过其中所有视图水平且垂直地对准的视图的矩阵来表示所得到的解复用的光场数据。
关于色彩检测，多数传感器的像素仅仅记录经过它们的可见光子的数量，而不管它们的色彩。为了获取有色(colored)4D光场数据，从背景技术可知,将滤色阵列(CFA)安装在传感器之上。例如，覆盖具有按以下R、G、G、B的顺序被定位在2乘2矩阵内的三个不同色彩红(R)绿(G)蓝(B)的2乘2像素的拜耳滤色器(Bayer filter)通常被用作CFA。然而，技术人员将理解，在以下描述中所使用的表述“滤色阵列”不仅仅指的是拜耳滤色器，而且也指的是对现有技术的所有可替换CFA。
该技术的一个主要缺点是减弱了传感器的光敏性，这是因为至少一半光子被CFA阻挡。此外，色像差(chromatic aberration)可能出现在传感器微图像的边缘上，并且因而影响所呈现的图像的质量。在尝试解决这些问题时，专利文献US2014/0146201A1公开了一种仅仅覆盖传感器微图像的一部分的CFA。然而，这不足以提高传感器的光敏性。
因此，理想的是提供一种展现相对于背景技术的改善的传感器。
显著地，理想的是提供这样的传感器：其能够以更好的光敏性为特征，同时保持满意的色彩灵敏度并且限制色像差出现的风险。
发明内容
在说明书中对“一个实施例”、“一实施例”、“示例实施例”的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不一定包括该特定特征、结构或特性。此外，这样的短语不一定指代相同的实施例。此外，当与实施例结合来描述特定特征、结构或特性时，在此提出，结合其它实施例(不管是否被明确地描述)实现这样的特征、结构或特性处于本领域技术人员的知识范围内。
在该技术的一个特定实施例中，公开了一种目标为安装在全光相机上的传感器。传感器包括目标为感测由微透镜阵列所折射的微图像的至少一个微图像区域，该微图像区域至少被滤色阵列部分地覆盖。当远离微图像区域的形心(centroid)时，滤色阵列的色彩饱和度降低。
在以下描述中，表述“部分地覆盖”指的是与传感器微图像(微图像区域)相比的CFA的位置。在一个实施例中，这种CFA覆盖传感器微图像的全部。在另一个实施例中，CFA仅覆盖包括或不包括微图像区域的形心的传感器微图像的一部分。基于要被考虑的CFA的点与传感器微图像的形心之间的距离，当该距离增加时，该点的色彩饱和度降低。
当更靠近传感器微图像边界时，该CFA的色彩饱和度的降低允许捕捉比背景技术的CFA更多的光子。因此，这样的传感器特征在于提高光敏性。此外，由于与穿过主透镜光瞳边界的光子相比的较少像差的光子照射在形心处的像素，因此，这样的传感器还允许限制色像差出现的风险，同时将其色彩灵敏度保持在满意的水平。
在一个实施例中，滤色阵列的形心对应于微图像区域的形心。
由于色像差现象，在传感器微图像的形心处的像素带来比位于传感器微图像的边界处的像素更锐利的细节和色彩。因而，对于CFA表面的相等值，将CFA定位在传感器微图像的形心允许提高所呈现的微透镜图像的质量。
根据实施例，滤色阵列的色彩饱和度从微图像区域的形心(xi,j,yi,j)到微图像区域的边界降低。
在一个实施例中，滤色阵列的色彩饱和度从在微图像区域的形心处的1变化到在微图像区域的边界附近的0。
在一个实施例中，CFA是拜耳滤色器，并且在HSV色彩空间中给出色彩分量：
其中(x,y)是微透镜(i,j)下面的像素的坐标，(xi,j,yi,j)是微透镜图像区域的形心的坐标，并且p是两个相邻的微图像区域的相应形心之间的距离。
从微图像区域的形心(xi,j,yi,j)到微图像区域的边界的饱和度的这种平滑变化防止了重聚焦图像的色彩饱和度的阶梯效应。
在一个实施例中，微图像区域仅被滤色阵列部分地覆盖。
根据该特定CFA布局，与所记录的光子的数量相比于光子的总数量相对应的比率较高，这是因为较少像素被CFA覆盖。因而，与覆盖整体传感器微图像的CFA相比，该传感器对光更敏感。
在一个实施例中，滤色阵列仅覆盖在微图像区域的形心处的4*4像素区域。
根据该特定布局，每个微透镜图像覆盖50.26个像素，并且仅16个像素接收较少的光。传感器微图像从16个像素收集减小的光子数量并且从剩余的像素收集所有可见光子。因此，这样的传感器捕捉超过84％的光子，与背景技术的CFA相比，这有显著改善。出于说明的目的，对于覆盖所有像素的常用拜耳图案，该比率下降到大约50％。
在该技术的一个特定实施例中，公开了一种用于确定被滤色阵列部分地覆盖的微图像区域的至少一个重聚焦图像色彩分量RX的方法。这样的方法包括：
·确定被滤色阵列覆盖的微图像区域像素的重聚焦图像Ra,b，其中，当远离微图像区域的形心(xi,j,yi,j)时，滤色阵列的色彩饱和度降低；
·确定未被滤色阵列覆盖的微图像区域像素的重聚焦图像RT；
·通过将重聚焦图像Ra,b和重聚焦图像RT进行组合来确定色彩分量RX；
其中，所述确定色彩分量RX对重聚焦图像RT实现权重。
这种权重的实现具有以下优点：将遭受较大光学像差的光子与较少受到主透镜的光学像差影响的光子相区分。本领域技术人员将理解，表述“色彩分量”指的是所实现的CFA的任何色彩分量。例如，当考虑被拜耳滤色器覆盖的传感器时，要确定的色彩分量可以是红色、绿色或蓝色分量。
在该技术的一个特定实施例中，本公开涉及可从通信网络下载的和/或记录在计算机可读的介质上和/或可由处理器执行的计算机程序产品。这种计算机程序产品包括实现方法的程序代码指令。
在该技术的一个特定实施例中，本公开涉及包括记录在其上并且能够由处理器运行的计算机程序产品(包含实现方法的程序代码指令)的非暂时性计算机可读载体介质。
虽然未明确地描述，但可以以任何组合或子组合来采用本实施例。
附图说明
可以参考以示例的方式给出的并且不限制保护的范围的以下描述和附图来更好地理解本公开，在附图中：
图1是示出常用拜耳滤色器的示意表示，
图2是示出HSV色彩空间的示意表示，
图3是示出对于各个滤色器的像素响应的图，
图4是示出全光相机的示意表示，
图5是示出由全光相机的传感器所记录的光场数据的示意表示，
图6是示出其中W＞P的全光相机的示意表示，
图7是示出其中W＜P的全光相机的示意表示，
图8是色像差现象的示意表示，
图9是示出全光相机的示意表示，
图10是示出对于各个射线波长的、由全光相机的传感器所记录的光场数据的示意表示，
图11是示出由全光相机的传感器所记录的光场数据的示意表示，该传感器被拜耳滤色器覆盖，
图12是示出根据本公开的一个实施例的、由全光相机的传感器所记录的光场数据的示意表示，
图13是示出由被CFA部分覆盖的传感器所记录的光场数据的示意表示，
图14是当执行根据本公开的一个实施例的方法时所实施的连续步骤的流程图，
图15是示出根据本公开的一个实施例的、用于确定重聚焦图像色彩分量的装置的示意框图。
附图中的组件不一定是按比例的，而是将重点放在示出本公开的原理上。
具体实施方式
在以下描述中并且在图1至13中阐述本公开的某些实施例的一般概念和具体细节以提供对这样的实施例的彻底理解。然而，本领域技术人员将理解，本公开可以具有附加的实施例，或者可以在没有以下描述中所描述的若干细节的情况下被实践。
1.1 一般概念
1.1.1 滤色阵列
典型地通过每个像素三个色彩分量来形成色彩图像。常用分量是略微地对应于眼睛的色彩灵敏度的红色、绿色和蓝色。不幸地，大多数传感器与光子波长无关地记录进入像素的可见光子。为了使灰度传感器成为有色彩能力的传感器，常常将滤色阵列(CFA)安装在传感器上。最常见的CFA是由2乘2像素构成的并且在传感器上重复的所谓的拜耳图案(拜耳滤色器)，如图1中所示。
利用CFA记录的图像是不完善的，这是因为每个像素仅仅记录一个色彩。如在名称为“Adaptive color plan interpolation in single sensor color electronic camera(单传感器色彩电子相机中的适配性色彩平面内插)”的专利文献US5506619A中所描述的，在拜耳图案的情况下，根据所谓的去马赛克算法使用周围色彩、通过内插进行给定像素的两个其它色彩的计算。这种算法影响图像质量并且可能需要大量计算。
1.1.2 与RGB和HSV色彩空间有关的概念
RGB(红-绿-监)是用于以三个色彩分量来表征像素的色彩的色彩空间。能够将这三个值转换为其它色彩空间，举例来说，色度饱和度明度(HSV)色彩空间。如图2所示出的HSV空间允许定义从纯色(给定的色度、饱和度和明度被设置为最大值)到白色(相同的色度、饱和度被设置为0，明度被设置为最大值)的色彩梯度。
通过以下等式来执行从RGB色彩空间到HSV色彩空间的转换：
Δ＝max(R，G，B)-min(R，G，B)
H = 4 + R - G Δ S = V - m i n ( R , G , B ) V V = max ( R , G , B )
通过以下来执行从HSV到RGB色彩空间的转换：
H ′ = H 60
P＝V(1-S)
Q＝V(1-S{H′})
T＝V(1-S(1-{H′}))
其中，{H}表示H′的小数部分。从三元组(P,V,Q)，根据I＝[H'」(小于H′的最大整数)来定义值(R,G,B)。如果I＝0，则(R,G,B)＝(V,T,P)；如果I＝1，则(R,G,B)＝(Q,V,P)；如果I＝2，则(R,G,B)＝(P,V,T)；如果I＝3，则(R,G,B)＝(P,Q,V)；如果I＝4，则(R,G,B)＝(T,P,V)；如果I＝5，则(R,G,B)＝(V,P,Q)。
先前的等式假定三个色彩分量是在0和1之间的实数。作为结果，分量H和S是在0和1之间的实数，并且H是在0到360度之间的实数。
如在本文前面所指出的，CFA的重大缺点是滤色器阻挡一些光子并且因而传感器的灵敏度有所减弱。例如，在拜耳图案的情况下，在滤光器中至少丢失一半光子。图3示出对于KodakTM传感器的各个滤色器、相对于进入像素的光子的总数量有多少光子被收集。传感器的效率受到滤色器的很大影响。
1.1.2 全光相机的描述
图4示出由主透镜2、微透镜阵列3和传感器4组成的示意全光相机1。主透镜2接收来自其物场中将被捕捉的场景(未示出)的光，并且通过位于主透镜像场上的微透镜阵列3来呈现该光。在一个实施例中，该微透镜阵列3包括以二维(2D)阵列布置的多个圆形微透镜。在另一个实施例中，在不脱离本公开的范围的情况下，这样的微透镜具有不同的形状，例如椭圆形。每个微透镜具有将对应的微图像(传感器微图像5)的光引导到传感器4的专用区域的透镜属性。
在一个实施例中，在微透镜阵列3与传感器4之间围绕每个透镜存在一些间隔物，以防止在传感器侧来自一个透镜的光与其它透镜的光重叠。
1.1.3 4D光场数据：
在传感器4上所捕捉的图像由布置在2D图像内的2D小图像的聚集组成。由来自微透镜阵列3的微透镜(i,j)产生每个小图像。图5示出由传感器4所记录的图像的示例。每个微透镜(i,j)产生由圆形表示的微图像(小图像的形状取决于微透镜的形状，该形状典型地是圆形)。将像素坐标标记为(x,y)。p是两个连续的微图像5之间的距离。选取微透镜(i,j)使得p大于像素尺寸δ。通过它们的坐标(i,j)来引用微透镜图像区域5。一些像素(x,y)可能没有接收到来自任何微透镜(i,j)的任何光；将那些像素(X)丢弃。实际上，将微透镜间的空间遮住以防止光子从微透镜外部通过(如果微透镜具有方形形状，则无需遮住)。微透镜图像(i,j)的中心(xi,j,yi,j)位于处于坐标(xi,j,yi,j)处的传感器4上。θ是像素的正方形栅格(square lattice)和微透镜的正方形栅格之间的角度。可以通过考虑(x0,0,y0,0)(微透镜图像(0,0)的像素坐标)的以下等式来计算(xi,j,yi,j)：
x i , j y i , j = p c o s θ - s i n θ s i n θ cos θ i j + x 0 , 0 y 0 , 0 - - - ( 1 )
该等式假定微透镜阵列3被布置在正方形栅格之后。然而，本公开不受限于该栅格，并且同样地适用于六方栅格或者甚至不规则栅格。
图5还示出在若干连续的微透镜图像上来自场景的对象是可见的(暗点)。对象的两个连续视图之间的距离是w，该距离在下面也被称为术语“视差”。
1.1.4 光场相机的光学属性
以像素为单位给出在先前子章节中所引入的距离p和w。通过将它们乘以像素尺寸δ而将它们分别转换为物理单位距离(米)P和W：
W＝δw以及P＝δp
这些距离取决于光场相机特征。
图6和图7示出假定理想薄透镜模型的示意性光场。主透镜具有焦距F和孔径Φ。微透镜阵列由具有焦距f的微透镜组成。微透镜阵列的间距是φ。微透镜阵列位于距主透镜的距离D处，以及距传感器的距离d处。(在图上不可见的)对象位于距主透镜(左侧)的距离z处。通过位于距主透镜(右侧)的距离z’的主透镜来聚焦该对象。图6和图7示出其中分别D＞z’和D＜z’的情况。在这两种情况下，可以根据d和f将微透镜图像对准焦点。
视差W随对象的距离z而变化。
1.1.5 图像重聚焦
光场相机的主要属性是能够计算其中重聚焦化距离可自由地调整的2D重聚焦图像。仅通过对微透镜图像进行移位和缩放并且然后将它们求和到2D图像中来将4D光场数据投射到2D图像中。移位的量控制重聚焦化距离。4D光场像素(x,y,i,j)到重聚焦2D图像坐标(X,Y)的投射由以下定义：
X Y = s g ( x y - x i , j y i , j ) + s x i , j y i , j - - - ( 2 )
其中，s控制2D重聚焦图像的尺寸，并且g控制重聚焦图像的聚焦化距离。
1.1.6 色像差问题
如图8所示出的，色像差问题来自透镜缺陷，这妨碍了在相同的图像平面中聚集点源的所有色彩。
当研究如图9和图10所示的全光相机系统中的色像差的影响时，我们可以注意到，取决于波长的会聚平面的变化转化为也取决于波长的视差W的变化。
关于这点，技术人员认识到，与进入光瞳的中间的光子相比，在主透镜2的边界处进入的光子更加受到色像差的影响。现在，穿过主透镜光瞳的中间和边界的光子是分别在传感器微图像5的中心(xi,j,yi,j)和边界所收集的光子。因而，与在传感器微图像5的中心(xi,j,yi,j)附近所收集的光子相比，在传感器微图像5的边界处所收集的光子更加受到色像差的影响。
换句话说，每个微透镜图像的图像质量从中心(xi,j,yi,j)到边界有所变化。与位于传感器微图像5的边界处的像素相比，在传感器微图像5的中心处的像素带来更锐利的细节和色彩。
1.1.6 安装在全光相机上的CFA
为了记录有色4D光场，将CFA定位在记录4D光场的传感器上。例如，假定CFA由坐标(a,b)的M×M个像素构成，其中(a,b)∈[0,M[2。4D光场加上色彩参数变为5D光场(x,y,i,j,ca,b)，其中ca,b是CFA坐标(a,b)的色彩。图11示出设置在记录4D光场的传感器之上的拜耳图案(M＝2)。
利用等式(2)执行5D光场的重聚焦，但是5D光场的重聚焦被独立地应用至CFA的每个色彩ca,b。因而可以获得M2重聚焦图像Ra,b，然后将这些图像Ra,b进行组合，以便计算RGB重聚焦图像的3个色彩分量：Rred、Rgreen和Rblue。
例如，在拜耳图案M＝2的情况下，c0,0＝Red(红)、c1,1＝Blue(蓝)、c1,0＝c1,0＝Green(绿)。RGB重聚焦图像的三个色彩分量等于Rred＝R0,0、Rgreen＝(R0,1+R1,0)/2以及Rred＝R1,1。
1.2 本公开的第一实施例的描述
图12示出根据本公开的一个实施例的传感器4。该传感器4可以被安装在全光相机1上，其包括多个微图像区域5，每一个微图像区域被CFA 6覆盖。
传感器4是使用CMOS(互补金属氧化物半导体)技术的CCD(电荷耦合器件)类型。然而，本领域技术人员将理解，这种传感器4可以可替换地具体化为基于光流尖峰的传感器(例如，人造硅视网膜)或者从背景技术已知的任何其它类型的光电传感器。
如图12所示出的CFA 6是拜耳滤色器。然而，本领域技术人员将理解，在不脱离公开的范围的情况下，这种CFA 6可以可替换地具体化为RGBE滤色器、CYYM滤色器或者从背景技术已知的任何其它类型的CFA。
在本公开的一个实施例中，CFA 6的色彩饱和度从传感器微图像5的中心(X)到边界降低。图12的上部示出色彩饱和度的这种减小，其中对于分别位于中心(xi,j,yi,j)的以及位于远离中心(xi,j,yi,j)一个、两个和三个像素处的像素，色彩饱和度被设置为100％、50％、25％和12.5％。
在本公开的另一个实施例中，如图12的下部所示出的，根据函数f(该函数返回[0.0,1.0]之间的值并且从f(d＝0)到f(p/2)降低)给出色彩饱和度
在该特定实施例中，色彩的饱和度从传感器微图像5的中心(xi,j,yi,j)处的1线性地变化为在其边界处的0。给定的色彩分量是HSV色彩空间：
从微图像区域5的中心(xi,j,yi,j)到边界的饱和度的这样平滑的变化防止了重聚焦图像的色彩饱和度的阶梯效应。
与常用拜耳滤色器相比，该CFA的饱和度的降低允许捕捉更多光子，因此改善了传感器4的光敏性。此外，由于与穿过主透镜光瞳边界的光子相比，由较少像差的光子照射在中心(xi,j,yi,j)处的像素，因此这样的传感器4允许限制色像差出现的风险，同时保持满意的色彩灵敏度。
1.3 本公开的第二实施例的描述
根据本公开的第二实施例，仅仅将CFA 6应用于传感器微图像5的一部分上。图13示出由具有微透镜阵列3的全光相机1所捕捉的4D光场，该微透镜阵列3具有正方形栅格以及间距φ＝8δ(8个像素)。仅仅在位于每个传感器微图像5的中心(xi,j,yi,j)处的4×4像素上重复拜耳图案。微透镜图像的直径p等于p＝φ(D+d)/D。但是由于(D+d)/D非常接近于1.0，所以可以认为通过微透镜阵列的间距给出微透镜图像的直径。
与覆盖传感器微图像5的全部的CFA 6相比，该特定设计使得传感器4对光更敏感。
出于说明的目的，在运行条件中对如图13所示的根据第二实施例的、且具有CFA 6的不变的色彩饱和度的传感器4进行测试。对于这样的传感器4，每个微透镜图像覆盖50.26个像素，并且仅仅16个像素(即，被拜耳图案覆盖的4x4个像素)接收减小量的光。传感器微图像5从16个像素收集一半光子并且从剩余的像素收集所有可见光子。所记录的光子的数量相比于光子的总数量是(50.26-16*0.5)/50.26＝84％。与覆盖所有像素的典型50％的拜耳图案相比，该比率更大。
本领域技术人员将理解，在具有从传感器微图像5的中心(xi,j,yi,j)到边界降低的CFA的色彩饱和度的、根据第二实施例的传感器4的情况下，与所记录的光子的数量相比于光子的总数量相对应的比率明显更高，进一步改善了传感器4的光敏性。
1.4 计算RGB重聚焦图像
以下段落涉及根据本公开的第二实施例的传感器4。本领域技术人员将理解，可以在不脱离本公开的范围的情况下将这种实施方式应用于根据本公开的第一实施例的传感器4。
现在考虑根据本公开的第二实施例的传感器4，可以计算与CFA图案的M2滤色器相对应的M2重聚焦图像Ra,b加上与未被滤色器6覆盖的像素相对应的单个重聚焦图像RT。
可以使用若干方法来将M2重聚焦图像Ra,b和RT重聚焦图像转换为3个色彩分量：重聚焦图像的Rred、Rgreen和Rblue。例如，在拜耳图案M＝2的情况下，c0,0＝Red、c1,1＝Blue、c1,0＝c1,0＝Green。可以通过Rred＝(R0,0+RT)/2、Rgreen＝(R0,1/2+R1,0/2+RT)/2以及Rred＝(R1,1+RT)/2来计算RGB重聚焦图像的三个色彩分量。明显地，可以在不脱离本公开的范围的情况下使用其它组合。
如图14所示的，根据本公开的一个实施例的该方法包括：
·确定7被滤色阵列6覆盖的微图像区域像素(i,j)的重聚焦图像Ra,b，
·确定8未被滤色阵列6覆盖的微图像区域像素(i,j)的重聚焦图像RT，
·通过将重聚焦图像Ra,b和重聚焦图像RT进行组合来确定9色彩分量RX。
所述确定RX 9对重聚焦图像RT实现权重(W)。
本领域技术人员将理解，表述“色彩分量”指的是所实现的CFA的任何色彩分量。例如，当考虑被拜耳滤色器覆盖的传感器时，要被确定的色彩分量可以是红色Rr、绿色Rg或蓝色Rb分量。
与另一个Ra,b重聚焦图像相比，RT重聚焦图像具有较低的图像质量，这是因为其收集受到主透镜2的光学像差较大影响的光子。为了考虑该图像属性，根据局部对比度将RT与Ra,b的值混合。例如：在Ra,b上局部所识别的纹理周围，减小RT相对于Ra,b的权重(W)。
RT相对于Ra,b的这种权重W到Ra,b和RT的组合的实施方式具有以下优点：将遭受较大光学像差的光子与受到主透镜的光学像差较少影响的光子相区分。
图15是示出根据本公开的实施例的、用于确定被滤色阵列6部分覆盖的微图像区域5的至少一个重聚焦图像色彩分量RX的装置10的示例的示意性框图。这种装置10包括通过总线14连接的处理器11、存储单元12、接口单元13和传感器4。当然，可以通过与使用总线14的总线连接不同的连接将计算机装置10构成元件进行连接。
处理器11控制装置10的操作。存储单元12存储将要由处理器11执行的至少一个程序以及各种数据，所述各种数据包括全光图像的数据、由处理器11执行的计算所使用的参数、由处理器11执行的计算的中间数据等。可以通过任何已知的和合适的硬件或软件，或者通过硬件和软件的组合来形成处理器11。例如，可以通过诸如处理电路之类的专用硬件，或者通过执行存储在其存储器中的程序的诸如CPU(中央处理单元)之类的可编程处理单元来形成处理器11。
可以通过任何适当的存贮器或能够以计算机可读方式存储程序、数据等的部件来形成存储单元12。存储单元12的示例包括诸如半导体存储器设备之类的非暂时性计算机可读存储介质，以及加载到读和写单元中的磁性、光学或磁光记录介质。程序使得处理器11执行如上参考图14所描述的根据本公开的实施例的、用于确定被滤色阵列6部分覆盖的微图像区域5的至少一个重聚焦图像色彩分量RX的处理。
接口单元13提供装置10和外部装置之间的接口。接口单元13可以经由电缆或无线通信与外部装置进行通信。在该实施例中，外部装置可以是全光相机。在这种情况下，可以通过接口单元13将全光图像从全光相机输入到装置10，并且然后将其存储在存储单元12中。
装置10和全光相机可以经由电缆或无线通信与彼此进行通信。
虽然在图15上仅示出一个处理器11，但技术人员将理解，这种处理器可以包括体现由根据本公开的实施例的装置10所执行的功能的不同模块和单元，诸如：
‐用于确定被滤色阵列6覆盖的微图像区域像素(i,j)的重聚焦图像Ra,b的模块；
‐用于确定未被滤色阵列6覆盖的微图像区域像素(i,j)的重聚焦图像RT的模块；
‐用于通过将重聚焦图像Ra,b和重聚焦图像RT进行组合来确定色彩分量RX的模块。
这些模块也可以被具体化在彼此通信且协作的若干处理器9中。
本领域技术人员将理解，本发明的原理的各方面可以被具体化为系统、方法或计算机可读介质。因此，本发明的原理的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微指令，等等)，或者组合软件和硬件方面的实施例的形式。
当通过一个或若干硬件组件实施本发明的原理时，可以注意到，硬件组件包括诸如中央处理单元之类的作为集成电路的处理器，和/或微处理器，和/或专用集成电路(ASIC)，和/或专用指令集处理器(ASIP)，和/或图形处理单元(GPU)，和/或物理处理单元(PPU)，和/或数字信号处理器(DSP)，和/或图像处理器，和/或协处理器，和/或浮点单元，和/或网络处理器，和/或音频处理器，和/或多核处理器。而且，硬件组件也可以包括基带处理器(例如包括存储器单元，和固件)和/或接收或传送无线电信号的无线电电子电路(其可以包括天线)。在一个实施例中，硬件组件符合一个或多个标准，诸如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、GlobalPlatform(即，安全元件)。在变型中，硬件组件是射频识别(RFID)标签。在一个实施例中，硬件组件包括使得能够进行蓝牙通信和/或Wi-Fi通信和/或Zigbee通信和/或USB通信和/或火线通信和/或NFC(用于近场)通信的电路。
此外，本发明的原理的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
因此例如，将理解的是，任何流程、流程图、状态转移图、伪代码等表示可以基本上以计算机可读存储介质表示的并且因而由计算机或处理器执行(不管是否明确示出这种计算机或处理器)的各种处理。
尽管已经参考一个或多个示例描述了本公开，但技术人员将认识到，在不脱离本公开的范围和/或所附权利要求的情况下可以在形式和细节方面进行改变。

Claims (11)

1.一种目标为安装在全光相机(1)上的传感器(4)，包括目标为感测由微透镜阵列(3)折射的微图像的至少一个微图像区域(5)，该微图像区域(5)至少被滤色阵列(6)部分地覆盖，其中，当远离微图像区域(5)的形心(xi,j,yi,j)时，滤色阵列(6)的色彩饱和度降低。
2.根据权利要求1所述的传感器(4)，其中，滤色阵列(6)的形心对应于微图像区域(5)的形心(xi,j,yi,j)。
3.根据权利要求1至2中的任一项所述的传感器(4)，其中，滤色阵列(6)的色彩饱和度从微图像区域(5)的形心(xi,j,yi,j)到微图像区域(5)的边界降低。
4.根据权利要求1至3中的任一项所述的传感器(4)，其中，滤色阵列(6)的色彩饱和度从在微图像区域(5)的形心(xi,j,yi,j)处的1变化到在微图像区域(5)的边界附近的0。
5.根据权利要求4所述的传感器(4)，其中，滤色阵列(3)是拜耳滤色器，并且在HSV色彩空间中给出色彩分量：
其中(x,y)是微透镜(i,j)下面的像素的坐标，(xi,j,yi,j)是微透镜图像区域(5)的形心的坐标，并且p是两个相邻的微图像区域(5)的相应中心(xi,j,yi,j)之间的距离。
6.根据权利要求1至5中的任一项所述的传感器(4)，其中，微图像区域(5)仅被滤色阵列(6)部分地覆盖。
7.根据权利要求6所述的传感器(4)，其中，滤色阵列(6)仅覆盖在微图像区域(5)的形心(xi,j,yi,j)处的4*4像素区域。
8.一种用于确定被滤色阵列(6)部分地覆盖的微图像区域(5)的至少一个重聚焦图像色彩分量RX的方法，包括：
·确定(7)被滤色阵列(6)覆盖的微图像区域像素(i,j)的重聚焦图像Ra,b，其中，当远离微图像区域(5)的形心(xi,j,yi,j)时，滤色阵列(6)的色彩饱和度降低；
·确定(8)未被滤色阵列(6)覆盖的微图像区域像素(i,j)的重聚焦图像RT；
·通过将重聚焦图像Ra,b和重聚焦图像RT进行组合来确定(9)色彩分量RX；
其中，确定(9)对重聚焦图像RT实现权重(W)。
9.一种包括传感器(4)的光场数据获取设备，该传感器(4)包括目标为感测由微透镜阵列(3)折射的微图像的至少一个微图像区域(5)，该微图像区域(5)至少被滤色阵列(6)部分地覆盖，其中，当远离微图像区域(5)的形心(xi,j,yi,j)时，滤色阵列(6)的色彩饱和度降低。
10.一种计算机程序产品，其可从通信网络下载和/或被记录在计算机可读的介质上和/或可由处理器执行，包括用于实现根据权利要求8所述的方法的程序代码指令。
11.一种非暂时性计算机可读载体介质，包括记录在其上的并且能够由处理器运行的计算机程序产品，所述计算机程序产品包含用于实现根据权利要求8所述的方法的程序代码指令。
CN201610498800.XA 2015-06-30 2016-06-29 全光凹相机 Active CN106331445B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306053.8A EP3113478A1 (en) 2015-06-30 2015-06-30 Plenoptic foveated camera
EP15306053.8 2015-06-30

Publications (2)

Publication Number Publication Date
CN106331445A true CN106331445A (zh) 2017-01-11
CN106331445B CN106331445B (zh) 2021-01-12

Family

ID=53724155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610498800.XA Active CN106331445B (zh) 2015-06-30 2016-06-29 全光凹相机

Country Status (6)

Country Link
US (1) US9900582B2 (zh)
EP (2) EP3113478A1 (zh)
JP (1) JP6887223B2 (zh)
KR (1) KR20170003423A (zh)
CN (1) CN106331445B (zh)
TW (1) TWI699117B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212538A (zh) * 2017-06-29 2019-01-15 苹果公司 具有视差补偿的飞行时间深度映射
CN112219153A (zh) * 2018-03-13 2021-01-12 交互数字Ce专利控股公司 包括具有两种不同折射率的颜色分离器的图像传感器
US11573356B2 (en) 2018-03-13 2023-02-07 Interdigital Ce Patent Holdings Diffraction grating comprising double-materials structures
US11972508B2 (en) 2018-07-02 2024-04-30 Interdigital Ce Patent Holdings, Sas Image sensor comprising a color splitter with two different refractive indexes, and different height

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102502452B1 (ko) * 2016-02-15 2023-02-22 삼성전자주식회사 이미지 센서 및 복원 이미지 생성 방법
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
EP3486866A1 (en) 2017-11-15 2019-05-22 Thomson Licensing A method for processing a light field video based on the use of a super-rays representation
CA3084679C (en) * 2017-12-05 2023-03-07 Airy3D Inc. Light field image processing method for depth acquisition
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
CN110595365B (zh) * 2019-09-19 2021-06-25 上海兰宝传感科技股份有限公司 一种减少激光三角位移传感器检测色差的自适应算法
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101124462A (zh) * 2004-10-25 2008-02-13 Rp风险技术有限公司 多光谱和超光谱成像系统
US20100321542A1 (en) * 2009-06-23 2010-12-23 Nokia Corporation Gradient color filters for sub-diffraction limit sensors
US20120008039A1 (en) * 2010-07-07 2012-01-12 Andrea Del Monte Image sensors with graded refractive index microlenses
CN102683363A (zh) * 2011-03-16 2012-09-19 株式会社东芝 固体拍摄装置以及照相机模块
US20130222652A1 (en) * 2012-02-28 2013-08-29 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US6882364B1 (en) 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
JP2007311447A (ja) * 2006-05-17 2007-11-29 Sanyo Electric Co Ltd 光電変換装置
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
JP5239417B2 (ja) 2008-03-14 2013-07-17 凸版印刷株式会社 マイクロレンズアレイの製造方法及び濃度分布マスク及びその設計方法
US8358365B2 (en) * 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US20130076966A1 (en) * 2011-09-22 2013-03-28 John Norvold Border Digital imaging system with refocusable imaging mode
US8831377B2 (en) * 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
JP5591851B2 (ja) * 2012-03-15 2014-09-17 株式会社東芝 固体撮像装置および携帯情報端末
JP5537618B2 (ja) 2012-08-01 2014-07-02 キヤノン株式会社 撮像装置
JP2015060067A (ja) * 2013-09-18 2015-03-30 株式会社東芝 撮像レンズ及び固体撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101124462A (zh) * 2004-10-25 2008-02-13 Rp风险技术有限公司 多光谱和超光谱成像系统
US20100321542A1 (en) * 2009-06-23 2010-12-23 Nokia Corporation Gradient color filters for sub-diffraction limit sensors
US20120008039A1 (en) * 2010-07-07 2012-01-12 Andrea Del Monte Image sensors with graded refractive index microlenses
CN102683363A (zh) * 2011-03-16 2012-09-19 株式会社东芝 固体拍摄装置以及照相机模块
US20130222652A1 (en) * 2012-02-28 2013-08-29 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212538A (zh) * 2017-06-29 2019-01-15 苹果公司 具有视差补偿的飞行时间深度映射
CN109212538B (zh) * 2017-06-29 2023-01-06 苹果公司 具有视差补偿的飞行时间深度映射
CN112219153A (zh) * 2018-03-13 2021-01-12 交互数字Ce专利控股公司 包括具有两种不同折射率的颜色分离器的图像传感器
US11573356B2 (en) 2018-03-13 2023-02-07 Interdigital Ce Patent Holdings Diffraction grating comprising double-materials structures
US11604363B2 (en) 2018-03-13 2023-03-14 Interdigital Ce Patent Holdings Image sensor comprising a color splitter with two different refractive indexes
US11972508B2 (en) 2018-07-02 2024-04-30 Interdigital Ce Patent Holdings, Sas Image sensor comprising a color splitter with two different refractive indexes, and different height

Also Published As

Publication number Publication date
TW201713108A (zh) 2017-04-01
CN106331445B (zh) 2021-01-12
TWI699117B (zh) 2020-07-11
EP3113479B1 (en) 2020-10-21
US20170006278A1 (en) 2017-01-05
EP3113478A1 (en) 2017-01-04
JP6887223B2 (ja) 2021-06-16
KR20170003423A (ko) 2017-01-09
JP2017017690A (ja) 2017-01-19
US9900582B2 (en) 2018-02-20
EP3113479A1 (en) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106331445A (zh) 全光凹相机
US10348947B2 (en) Plenoptic imaging device equipped with an enhanced optical system
CN102768412B (zh) 红外成像系统和操作方法
CN108141571A (zh) 无掩模相位检测自动聚焦
CN204697179U (zh) 具有像素阵列的图像传感器
US20180220060A1 (en) Focus detection device and image-capturing apparatus
CN101778221B (zh) 固态成像装置
CN102385168B (zh) 将像素矩阵划分为子组的立体成像方法和系统
US20090167927A1 (en) Image sensor, focus detection device, focus adjustment device and image-capturing apparatus
CN102378015A (zh) 使用亮度和色度传感器的图像捕获
CN107409177A (zh) 电子设备和计算机程序产品
US20160337632A1 (en) Method for obtaining a refocused image from a 4d raw light field data using a shift correction parameter
CN108781265A (zh) 特征提取元件、特征提取系统及判定装置
US20190110028A1 (en) Method for correcting aberration affecting light-field data
CN107534718A (zh) 光场的元数据
CN107534747A (zh) 拍摄装置
TW201813371A (zh) 鬼偽影去除系統和方法
CN115462066A (zh) 图像传感器和图像感光方法
CN104170377A (zh) 图像处理装置、摄像装置及图像处理程序
US11747714B2 (en) Image sensor and image-capturing device that selects pixel signal for focal position
CN103098480B (zh) 图像处理装置及方法、三维摄像装置
CN103621078B (zh) 图像处理装置和图像处理程序
CN105359519A (zh) 摄像装置
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
CN108093230A (zh) 一种摄像装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190610

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant