CN102334333A - 改善成像系统的景深 - Google Patents

改善成像系统的景深 Download PDF

Info

Publication number
CN102334333A
CN102334333A CN2009801575249A CN200980157524A CN102334333A CN 102334333 A CN102334333 A CN 102334333A CN 2009801575249 A CN2009801575249 A CN 2009801575249A CN 200980157524 A CN200980157524 A CN 200980157524A CN 102334333 A CN102334333 A CN 102334333A
Authority
CN
China
Prior art keywords
radiation
aperture
filter
infrared
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801575249A
Other languages
English (en)
Other versions
CN102334333B (zh
Inventor
A·A·瓦杰斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Two aperture International Co., Ltd
Original Assignee
IPLINK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IPLINK Ltd filed Critical IPLINK Ltd
Publication of CN102334333A publication Critical patent/CN102334333A/zh
Application granted granted Critical
Publication of CN102334333B publication Critical patent/CN102334333B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

本发明描述一种捕获图像的方法。该方法包括以下步骤:将图像传感器曝光于来自使用至少第一光圈的电磁谱的第一部分的辐射、和来自使用具有与第一光圈不同的尺寸的至少第二光圈的电磁谱的第二部分的辐射;以及基于由来自电磁谱的第一部分的辐射产生的第一图像数据和由来自电磁谱的第二部分的辐射产生的第二图像数据来形成图像。

Description

改善成像系统的景深
技术领域
本发明涉及改善成像系统的景深,尤其涉及但不限于用于捕获具有改善的景深的图像的方法以及利用该方法的成像系统。
背景技术
在现在的照相机中使用的全部光学系统中存在孔径和景深(DOF)之间的折中的限制。孔径确定进入照相机的光量,DOF确定当捕获图像时离照相机的聚焦的距离的范围。孔径越宽(接收的光越多),对DOF的限制越多。
在很多应用中,孔径和DOF之间的折中变得明显。例如,大部分移动电话具有固定的聚焦透镜,从而仅在限制范围内的对象被聚焦。还对照相机的孔径设置有约束,因为照相机必须具有较小的孔径以确保尽可能多的物体被聚焦。该折中降低了照相机在低光情况中的性能,通常将快门速度减小到1/4或1/8倍。
另外,在低光应用中,需要宽孔径,这导致DOF的损失。在物体位于距照相机不同距离处的图片中,即使使用聚焦透镜,一些物体也将离焦。宽孔径透镜需要更高精度的光学性能,从而是昂贵的。
增加DOF的技术在现有技术中是已知的。一种称为“叠焦(focus stacking)”的技术组合在相继的时间点和不同焦距处捕获的多个图像,以产生相比于任何单独的源图像具有更大景深DOF的合成图像。叠焦的实现需要调节照相机电子元件和巨大的(非线性)处理并图像分析较大量的图像数据。而且,由于叠焦需要在相继的时间点捕获的多个图像,所以该技术对于移动模糊较敏感。
在Green等人的文章“Multi-aperture photography”(ACMTransactions on Graphics,26(3),July 2007,pp.68:1-68:7)中描述了另一种方法。在该文章中,作者提出了使用同时以不同的孔径尺寸捕获多个图像的系统来增加FOD。该系统使用孔径分割反射镜,其在中心盘和一组同心环中分割孔径。然而,孔径分割反射镜较复杂而难于制造并且产生高的光学像差。而且,在照相机中使用这样的分割反射镜需要要求精确对准的较复杂的光学系统。
从而,现有技术中需要用于改善成像系统的景深的简单而便宜的方法和系统。
发明内容
本发明的目的在于减少或消除现有技术中已知的至少一个缺陷,并在本发明的第一方面提供一种捕获图像的方法。该方法包括以下步骤:将图像传感器曝光于使用第一光圈的来自电磁谱的第一部分的辐射和使用第二光圈的来自电磁谱的第二部分的辐射,所述第二光圈具有与所述第一光圈不同的尺寸;以及基于由来自电磁谱的第一部分的辐射产生的第一图像数据和由来自电磁谱的第二部分的辐射产生的第二图像数据形成图像。
通过用来自两个不同光圈的辐射对图像传感器进行曝光,可以非常简单地改善光学系统的DOF。该方法允许固定的聚焦透镜具有较宽孔径,从而在较低光情况下有效地操作,而同时提供导致更清晰图片的更大DOF。另外,该方法有效地增加透镜的光学性能,降低实现相同性能所需的透镜的成本。
在一个实施例中,用来自第一和第二光圈的辐射同时对图像传感器进行曝光。图像传感器的一个光圈允许有效地捕获小光圈和大光圈图像信息二者,从而减少在使用诸如叠焦的常规技术时发生的移动模糊的影响。
在另一个实施例中,该方法还包括以下步骤:使第一图像数据经过高通滤波器;将第一图像数据的滤波的高频成分加入到第二图像数据。使用该实施例,通过由小光圈图像数据产生的高频信息,可以容易地获得清晰图像信息。
在另一个实施例中,第一光圈适合于控制来自红外光谱的一部分的辐射的曝光,并且其中第二光圈适合于控制来自可见光谱的一部分的辐射的曝光。另外,在一个实施例中,第二光圈通过用反射红外辐射并透射可见辐射的滤波器部分地覆盖基片来形成。针对在光学系统中使用的光学透镜系统和/或图像传感器的类型,可以容易地修改和优化光圈系统的光学特性。一个实施例使用硅图像传感器对红外辐射的敏感性。
在另一个实施例中,所述方法中使用的图像传感器包括与滤波器阵列耦合的像素阵列,滤波器阵列中的每个滤波器适合于使一部分谱的辐射通过,并且,其中滤波器阵列包括:一个或多个彩色滤波器,其被配置为使一个彩色带中的辐射通过;和/或一个或多个红外滤波器,其被配置为反射可见辐射并透射红外辐射。对于特定光圈结构可以容易地优化滤波器阵列。
在另一个实施例中,该方法包括以下步骤:响应于一个或多个红外带中的辐射确定来自像素的第一图像数据;响应于一个或多个彩色带中的辐射确定来自像素的第二图像数据;使第一图像数据经过高频滤波器;将第一图像数据的滤波的高频成分加入到第二图像数据,优选为第二图像数据的颜色成分。
在另一方面,本发明涉及用于控制图像传感器对辐射的曝光的光圈系统。光圈系统包括:至少第一光圈,用于控制图像传感器对来自谱的第一部分的辐射的曝光;以及至少第二光圈,用于控制对来自谱的第二部分的辐射的曝光,第一和第二光圈的尺寸不同。
在一个实施例中,光圈系统包括透明基片,其中基片包括限定第一光圈的开口,基片包括限定第二光圈的滤波器,优选为薄膜滤波器。在另一个实施例中,光圈系统包括透明基片,该基片的第一部分被限定第一光圈的第一薄膜滤波器覆盖,并且,该基片的第二部分被限定第二光圈的第二薄膜滤波器覆盖。
薄膜技术允许容易地调节光圈系统的光学特性。在一个实施例中,至少一个滤波器被配置为可调滤波器,该可调滤波器包括设置在聚合物层之间的介质层,其中聚合物层用作弹性弹簧,并且其中通过对多层系统施加电压来控制介质层之间的厚度。在另一个实施例中,光圈系统的至少一个光圈被配置为可调光圈,该可调光圈在电活性材料片中包括孔,其中通过在该片上施加电压来控制孔的尺寸(直径)。
在另一个实施例中,本发明涉及与上述光圈系统一起使用的图像传感器。该图像传感器包括:像素阵列,优选为二维像素阵列,其中每个像素包括至少一个感光元件;滤波器阵列,其与所述像素阵列耦合,所述滤波器阵列包括多批的像素滤波器,其中每个批包括:一个或多个彩色滤波器,每个彩色滤波器适合于使彩色带中的辐射通过;以及一个或多个红外通滤波器,其适合于反射可见光谱中的辐射并使红外带中的辐射通过。
本发明还涉及成像系统,该成像系统包括图像传感器;透镜系统,用于将辐射聚焦到图像传感器上;以及上述光圈系统。
将参考附图进一步说明本发明,附图示意性地示出了根据本发明的实施例。可以理解,本发明不限于这些具体实施例。
附图说明
图1示出了根据本发明一个实施例的成像系统。
图2A和2B示出了根据本发明一个实施例的光圈系统。
图3示出了根据本发明一个实施例的方法的流程图。
图4A和4B示出了用于根据本发明一个实施例的图像传感器的滤波器阵列结构。
具体实施方式
图1示出了根据本发明一个实施例的成像系统100。成像系统包括:图像传感器102;透镜系统104,其用于将场景中的物体聚焦到图像传感器的成像平面上;快门106;以及光圈系统108,其具有两个或多个光圈,用于允许辐射进入成像系统。成像系统可以是数字照相机的一部分,或者可以被集成到需要图像捕获功能的移动电话、网络摄影机和其他多媒体设备中。
快门可以是机械快门,或者,可选地,快门可以是集成到图像传感器中的电子快门。图像传感器包括形成二位像素阵列的多行和多列感光点(像素)。图像传感器可以是CMOS(互补金属氧化物半导体)有源像素传感器或者CCD(电荷耦合器件)图像传感器。
当通过透镜系统将辐射投射到图像传感器上时,每个像素产生与入射到该像素上的电磁辐射(能量)成比例的电信号。利用可集成到图像传感器的芯片上的一个或多个模拟至数字(A/D)转换器110,将从像素接收的信号采样、量子化并转变成数字格式的文字。通过与图像传感器耦合的数字信号处理器112(DSP)处理数字化的图像数据,所述数字信号处理器被配置为进行例如内插、白平衡、亮度校正、数据压缩技术(例如MPEG或JPEG型技术)等的信号处理功能。DSP与中央处理器114、用于存储捕获的图像的储存存储器116以及程序存储器118耦合,程序存储器118例如为EEPROM或另一种非易失性存储器,包括一个或多个软件程序,所述软件程序由DSP用来处理图像数据,或者由中央处理器用来管理成像系统的操作。
为了获得颜色信息和分离图像的颜色成分,在透镜和图像传感器之间插入彩色滤波器阵列120(CFA)。
通常,彩色滤波器阵列与图像传感器一起集成,使得图像传感器的每个像素具有对应的像素滤波器。每个彩色滤波器适合于将预定彩色带的辐射通过到像素中。通常使用红色、绿色和蓝色(RGB)滤波器的组合,然而也可以使用其他滤波器方案,例如CYGM(青色、黄色、绿色、品红色),RGBE(红色、绿色、蓝色、翠绿色)等。
常用的CFA是Bayer彩色滤波器。在US 3,971,065中描述了在Bayer CFA中设置彩色像素滤波器,US 3,971,065以引用的方式并入本文。Bayer CFA被分割为具有四个像素滤波器的批,其中每个批包括一个蓝色像素滤波器、一个红色像素滤波器和两个绿色像素滤波器。为了从利用Bayer CFA产生的图像重构彩色图像,从相邻像素内插从每个像素缺少的另外两种颜色。该彩色图像重构方法也称为去拼凑(demosaicking),这是本领域熟知的技术。
被曝光的图像传感器的每个像素产生同通过与像素相关的彩色滤波器的电磁辐射成比例的电信号。从而,像素阵列产生图像数据(帧),其表示通过彩色滤波器阵列的电磁能(辐射)的空间分布。由于下面描述的原因,成像系统100允许红外辐射或至少部分红外辐射进入成像系统。因此,成像系统不使用完全阻挡红外辐射的位于透镜系统的前方的滤波器。从而,通过透镜系统进入成像系统的电磁辐射122可以是光谱中的可见部分和红外部分的辐射。在特定曝光时间内将图像传感器曝光于辐射会获得至少一个图像帧。
通过快门或光圈系统的两个或多个光圈控制图像传感器的曝光。当快门打开时,这些光圈控制曝光图像传感器的辐射的准直程度和辐射量。在一个实施例中,成像系统包括光圈系统,该光圈系统包括两个光圈。该双光圈系统在图2A中示意性地示出。在一个实施例中,双光圈系统包括在中间具有开口202(例如圆形孔)的基片200。基片材料可以是对至少可见辐射透明的,并且可被例如介质滤波器的薄膜滤波器材料204涂敷。在一个实施例中,基片被涂敷有二向色滤波器,其反射红外光谱中的辐射并透射可见光谱中的辐射。二向色滤波器也称作干涉滤波器,其在本领域中是公知的,并通常包括大量的特定厚度的薄膜介质层,所述薄膜介质层被配置为反射红外辐射(例如具有在约750至1250纳米之间的波长的辐射)并透射可见光谱部分中的辐射。
在另一个实施例中,滤波器可包括用于红外区域的聚合物纳米复合薄膜反射镜。例如,这种基于聚合物的薄膜反射镜在Mandzy等人的文章“Polymer nanocomposite thin film mirror for the infra-redregions”(在2007年5月由University of Kentucky预印刷)中描述。聚合物纳米复合反射镜反射红外辐射而透射可见辐射,并包括分散在丙烯酸脂聚合物的连续基体中的具有窄尺寸分布的基本球形的金属氧化物纳米颗粒(例如氧化钛)。这些滤波器可以通过低成本制造技术制造并尤其适合塑料和/或弹性基片。
可以利用不透明材料的支架206在成像系统中将基片置于透镜前。支架包括圆形开口208,并被配置为接收和放置基片,使得基片中的开口位于支架的圆形开口的中心。由于支架开口的直径大于基片开口的直径,所以被涂敷有滤波器的基片的部分被通过透镜进入成像系统的辐射曝光。曝光的部分形成围绕基片孔的同心环210。
可见光谱和不可见红外光谱的辐射通过光圈系统进入成像系统。由于在光圈系统中使用的二向色红外阻挡滤波器对可见光透明,所以进入成像系统的可见光谱的辐射量由支架开口的直径控制。另一方面,由于滤波器阻挡红外辐射,所以进入成像系统的红外光谱中的辐射量由小于支架开口的直径的基片的开口的直径控制。从而,与使用单个光圈(其通常与用于阻挡红外辐射的红外滤波器结合)的常规成像系统相反,根据本发明的成像系统使用包括两个或多个不同尺寸的光圈的光圈系统,用于控制曝光图像传感器的不同光谱带中的辐射的量和准直度。从而,本发明允许具有通常f数为7(例如,7mm的焦距f和1mm的直径)的简单移动电话照相机通过具有在例如对于0.5mm直径的14至对于等于或小于0.2mm的直径的70以上之间变化的f数的第二光圈改善其DOF,其中f数由焦距f和光圈的有效直径的比值限定。
本发明的优选实施方式包括光学系统,所述光学系统包括用于增大近物体的清晰度的大约2至4的用于可见辐射的f数与用于增大远物体的清晰度的大约16至22的用于红外光圈的f数的组合。
在另一实施例中,光圈系统可包括具有两个不同薄膜滤波器的透明基片:第一圆形薄膜滤波器,其在基片的中心,形成透射光谱的第一带中的辐射的第一光圈;和第二薄膜滤波器,其(例如以同心环的方式)形成在所述第一滤波器的周围,透射光谱的第二带中的辐射。第一滤波器可配置为透射可见辐射和红外辐射二者,第二滤波器可配置为反射红外辐射并透射可见辐射。外同心环的外直径可由不透明光圈支架中的开口限定,或者可选地,由沉积在基片上的不透明薄膜层中限定的开口限定,上述二者都阻挡红外辐射和可见辐射。
在另一个实施例中,光圈元件可包括多个形成为开口或圆形薄膜滤波器周围的同心环的薄膜滤波器光圈。每个薄膜滤波器环形成光圈并且可以适合于控制入射到图像传感器上的光谱的特定带中的辐射的量和准直度。例如,三光圈系统可由以下形成:第一圆形滤波器,其对可见辐射和红外辐射都透明;第二滤波器,其形成在第一滤波器周围,反射红外辐射并透射可见辐射;以及第三滤波器,其形成在第二滤波器周围,反射红色和红外辐射并透射绿色和蓝色辐射。其他实施例包括用于近红外(NIR)、中红外(MIR)和/或远红外(FIR)的滤波器。
在另外的变型中,用于限定光圈的滤波器可控制进一步的预定光学性质。例如,进入光学系统的辐射的偏振可以通过用于限定光圈系统的一个或多个滤波器控制。在一个实施例中,二向色滤波器可以是偏振红外滤波器。
在另一个实施例中,用于光圈系统中的一个或多个滤波器可包括可调红外滤波器。这样的可调滤波器可以包括聚合物层之间的介质层,所述聚合物层用作弹性弹簧,其允许通过对多层系统施加电压来控制介质层之间的厚度。在Almarsi等人的文章“Tunable infraredfilter based on elastic polymer springs”(SPIE,San Diego,美国,2005年3月,Vol.5770,第190-198页)中描述了可调红外系统的实施方式。
在另一实施例中,光圈系统可包括可调光圈。这样的可调光圈在WO2007/104829中已知,通过例如透明电约束聚合物片的电活性材料形成,所述电活性材料包括孔并被置于两个透明电极之间。聚合物片可包括如上所述的聚合物纳米复合薄膜滤波器,其反射红外光并透射可见光。当对电极施加电压时,电场将使片变形(即,膨胀和/或收缩),从而允许通过施加到电极的电压来控制片中的孔(光圈)的尺寸。
根据本发明的多光圈可通过使用多个分离的光圈元件形成,例如,包括第一圆形滤波器涂层的第一透明基片与包括第二圆形滤波器的第二透明基片以及光学系统的一个或多个透镜光学对准,从而有效地提供与关于图2A描述的双光圈系统相同的效果。可选地,通过使用透镜作为用于形成光圈系统的第一和第二滤波器涂层的基片,光圈系统可与透镜集成。
可以理解,本发明可容易地被扩展至包括两个或多个透镜系统的光学系统,所述透镜系统例如为具有关联的第一光圈系统的第一透镜系统和具有关联的第二光圈系统的第二透镜系统。
如图2A所示的双光圈系统可用于改善成像系统的DOF。这在图2B中示意性地示出。可见光谱和红外光谱中的辐射通过包括具有预定直径的圆形孔202的被涂敷滤波器的透明基片200的双光圈系统而进入成像系统。滤波器204透射可见辐射并反射红外辐射。不透明覆盖物206包括直径大于孔202的直径的圆形开口。覆盖物可以是反射红外辐射和可见辐射的薄膜涂层,或者可以是用于在光学系统中保持和定位基片200的支架的部分。可见光谱和红外光谱中的辐射通过光圈系统并通过透镜212随后被投射到图像传感器的成像平面214上。从而,图像传感器的像素接收覆盖具有大DOF的第二小光圈红外辐射图像信号218的具有限制的DOF的第一(较)宽光圈可见辐射图像信号216。从而,通过可见辐射将接近透镜的焦点f的平面的物体214投射到具有较小散焦模糊的像平面上,而通过红外辐射将远离焦平面的物体216投射到具有较小散焦模糊的像平面上。一旦曝光,图像传感器在一个图像帧同时获得可见和红外图像信号。然后,可以通过DSP分离和处理图像帧的不同的捕获的颜色和红外成分。通过组合(可见)颜色成分和(非可见)红外成分,可以以改善的DOF产生图像。图2A所示的原理可以容易地被扩展到多光圈系统,其可被配置为将在离焦平面的不同距离处的物体以小散焦模糊投射到图像传感器的像平面上。
当使用包括如关于图1所述的Bayer彩色滤波器阵列的常规彩色图像传感器时,由图像传感器接收的红外辐射主要通过红色像素滤波器透射。从而,捕获的图像帧的红色成分包括高振幅可见红色信号和清晰的低振幅非可见红外信号二者。通常,红外成分是可见红色成分的1/8至1/16。可调节红平衡以补偿由于红外光的存在而产生的轻微畸变。
在图3的流程图中示意性地示出对捕获的图像的图像处理。在第一步骤300,捕获Bayer滤波的原始图像数据。然后,DSP产生由红色像素生成的信号的复制,并使这些信号通过高通滤波器(步骤302),以提取包括红外图像的清晰度信息的红外图像信号的高频成分。由于较小尺寸的红外光圈产生较小的红外图像信号,所以与可见光光圈相对于红外光圈的比值成比例地放大滤波的高频成分(步骤304)。
由于由红色像素捕获的红外辐射的带是红色辐射的带的大约四倍宽(通常数字红外照相机的敏感度是可见光照相机的敏感度的四倍),所以红外光圈的较小尺寸的影响部分地得以补偿。
在放大后,从红外图像信号获得的放大的高频成分被加入(混合)到Bayer滤波的原始图像数据的每个颜色成分。然后,可以使用本领域公知的去拼凑算法将组合的图像数据转换成全RGB彩色图像(步骤308)。
在一个变型(未示出)中,Bayer滤波的原始图像数据首先被拼凑成RGB彩色图像,然后通过加法(混合)与放大的高频成分组合。
该方法允许具有固定聚焦透镜的成像系统具有宽光圈,从而在低光情况下有效地操作,同时具有导致更清晰的图像的较大DOF。另外,该方法有效地增加透镜的光学性能,降低了获得相同性能所需的透镜的成本。
在另一实施例中,Bayer滤波的原始图像数据可首先被去拼凑为RBG彩色图像并然后被转换至合适的彩色空间,例如LAB彩色空间,其基于由Commission International de l’ éclairage定义并接近人类视觉的CIE 1931 XYZ彩色空间。然后,高频红外成分被加入到LAB彩色图像的L(光对比度)成分。
根据本发明的改善DOF的方法还可以被应用到除了Bayer型彩色传感器之外的图像传感器结构。在一个实施例中,多光圈元件可与如US2007/0145273或WO2007/015982中所述的包括CFA的图像传感器结合使用。这些CFA被设计为,通过将红、绿、蓝色(RGB)像素与对整个可见光谱或者可见光谱和非可见光(红外)光谱灵敏的一个或多个单色像素组合,增加彩色图像传感器的灵敏度。
使用单色像素的这些CFA方案可与根据本发明的多光圈系统结合使用。例如,当使用关于图2A和2B所述的双光圈系统时,通过红色像素和单色像素捕获清晰的小光圈红外图像信号。这些信号被高通滤波并加入到可见光图像信号的颜色成分。
在另一实施例中,成像系统可使用被优化用于多光圈元件的图像传感器。在该变型中,图像传感器包括与一个或多个红外(I)像素组合的可见彩色像素(例如RGB、CYGM等)。CFA可包括像素批,例如2×2像素,每个批包括红色、绿色、蓝色和红外像素。这样的RGBI批的实例在图4A中示出。红外像素通过连接到红外(I)通滤波器的像素形成。这样的滤波器可以是介质滤波器,其被配置为反射可见辐射而透射红外辐射。可从红色像素和红外像素信号的高通滤波成分获得清晰的小光圈红外图像信号。该信号可用于增加DOF。通过红外像素形成的红外图像信号通过从彩色图像信号的每个颜色成分减去这些信号中可用于有效地消除由红外辐射产生的彩色像素中的彩色畸变。从而,与多光圈系统组合使用具有这样优化的RGBI滤波器阵列的图像传感器允许产生具有改善的DOF、SNR和彩色平衡的彩色图像。
在另一个实施例中,可通过增加批中的红外像素的数目来增加图像传感器对红外光的灵敏度。在一种结构中,图像传感器滤波器阵列可包括16个像素的批、4个彩色像素RGGB和12个红外像素。图4B中示出这样的RGBI批的优选实施例。
可以理解,与任何一个实施例相关的任何特征可单独地使用,或者与所述的其他特征组合使用,并还可以与任何其他实施例中的一个或多个特征组合使用或者与任何其他实施例组合使用。另外,在不偏离在所附权利要求中限定的本发明的范围的情况下,还可使用以上未描述的等同物和修改。

Claims (16)

1.一种捕获图像的方法,该方法包括以下步骤:
将图像传感器曝光于来自使用至少第一光圈的电磁谱的第一部分的辐射、以及来自使用具有与所述第一光圈不同的尺寸的至少第二光圈的电磁谱的第二部分的辐射;
基于由来自电磁谱的第一部分的辐射产生的第一图像数据和由来自电磁谱的第二部分的辐射产生的第二图像数据来形成图像。
2.根据权利要求1的方法,其中图像传感器被来自第一和第二光圈的辐射同时曝光。
3.根据权利要求1或2的方法,该方法还包括以下步骤:
使第一图像数据经过高通滤波器;
将第一图像数据的滤波的高频成分加入到第二图像数据。
4.根据权利要求1至3中任一项的方法,其中第一光圈适合于控制来自电磁谱的第一部分、优选为红外光谱中的一部分的辐射的曝光,并且其中第二光圈适合于控制来自电磁谱的第二部分、优选为可见光谱中的一部分的辐射的曝光。
5.根据权利要求1至4中任一项的方法,其中第一光圈通过基片中的开口或用滤波器部分地覆盖基片来形成,该滤波器反射电磁谱的第一部分中的辐射并透射电磁谱的第二部分中的辐射。
6.根据权利要求1至5中任一项的方法,其中第二光圈通过用滤波器部分地覆盖基片来形成,该滤波器反射电磁谱的第一部分、优选为红外部分中的辐射,并透射电磁谱的第二部分、优选为可见部分中的辐射。
7.根据权利要求1至6中任一项的方法,其中图像传感器包括与滤波器阵列耦合的像素阵列,该滤波器阵列中的每个滤波器适合于使电磁谱的一部分的辐射通过。
8.根据权利要求7的方法,其中滤波器阵列包括被配置为使彩色带中的辐射通过的一个或多个彩色滤波器、和/或被配置为反射可见辐射并透射红外辐射的一个或多个红外滤波器。
9.根据权利要求8的方法,其中该方法还包括以下步骤:
响应于一个或多个红外带中的辐射确定来自像素的第一图像数据;
响应于一个或多个彩色带中的辐射确定来自像素的第二图像数据;
使第一图像数据经过高频滤波器;
将第一图像数据的滤波的高频成分与第二图像数据、优选为第二图像数据的颜色成分共混。
10.一种用于控制图像传感器对辐射的曝光的光圈系统,该系统包括:
至少第一光圈,用于控制图像传感器对来自电磁谱的第一部分的辐射的曝光;以及
至少第二光圈,用于控制对来自电磁谱的第二部分的辐射的曝光,第一光圈和第二光圈的尺寸不同。
11.根据权利要求11的光圈系统,其中光圈系统包括透明基片,该基片包括限定第一光圈的开口,该基片包括限定第二光圈的滤波器,优选为薄膜滤波器。
12.根据权利要求11的光圈系统,其中光圈系统包括透明基片,该基片的第一部分由限定第一光圈的第一薄膜滤波器覆盖,并且该基片的第二部分由限定第二光圈的第二薄膜滤波器覆盖。
13.根据权利要求10的光圈系统,其中第一滤波器位于基片的中心,并且其中第二滤波器围绕第一滤波器形成,优选地,围绕第一滤波器以同心环形成。
14.一种与根据权利要求8至13的光圈系统一起使用的图像传感器,该传感器包括:
像素阵列,优选地,二维像素阵列,其中每个像素包括至少一个感光元件;
与像素阵列耦合的滤波器阵列,滤波器阵列包括多批的像素滤波器,其中每个批包括:一个或多个彩色滤波器,每个彩色滤波器适合于使彩色带中的辐射通过;以及一个或多个红外通滤波器,适合于反射可见光谱中的辐射并通过红外带中的辐射。
15.一种成像系统,包括:
图像传感器;
透镜系统,用于将辐射聚焦到图像传感器上;以及
根据权利要求10至13中任一项的光圈系统。
16.根据权利要求15的系统,其中成像系统被配置为用来自光圈系统的第一和第二光圈的辐射同时曝光图像传感器。
CN200980157524.9A 2009-01-16 2009-01-16 改善成像系统的景深 Expired - Fee Related CN102334333B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2009/050502 WO2010081556A1 (en) 2009-01-16 2009-01-16 Improving the depth of field in an imaging system

Publications (2)

Publication Number Publication Date
CN102334333A true CN102334333A (zh) 2012-01-25
CN102334333B CN102334333B (zh) 2016-05-11

Family

ID=41082432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980157524.9A Expired - Fee Related CN102334333B (zh) 2009-01-16 2009-01-16 改善成像系统的景深

Country Status (5)

Country Link
US (2) US9077916B2 (zh)
EP (1) EP2380345B1 (zh)
JP (1) JP5486017B2 (zh)
CN (1) CN102334333B (zh)
WO (1) WO2010081556A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104241301A (zh) * 2013-06-20 2014-12-24 力智电子股份有限公司 具有多个光感测器的光感测芯片及其制造方法
CN107924045A (zh) * 2015-10-20 2018-04-17 谷歌有限责任公司 具有基于光类型来提供不同有效入射光瞳尺寸的滤镜的相机组件
CN109120823A (zh) * 2013-08-01 2019-01-01 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
TWI701637B (zh) * 2018-07-02 2020-08-11 緯創資通股份有限公司 影像合成方法與系統
US11743604B2 (en) 2018-03-27 2023-08-29 Sony Semiconductor Solutions Corporation Imaging device and image processing system

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
DE102010003668B4 (de) * 2010-04-07 2020-03-26 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera
US8917349B2 (en) 2010-07-16 2014-12-23 Dual Aperture, Inc. Flash system for multi-aperture imaging
ES2463390T3 (es) * 2011-06-24 2014-05-27 Tomra Systems Asa Máquina expendedora inversa y método de representación mediante imágenes para ella
US8655162B2 (en) 2012-03-30 2014-02-18 Hewlett-Packard Development Company, L.P. Lens position based on focus scores of objects
JP2014095688A (ja) * 2012-10-09 2014-05-22 Ricoh Co Ltd 撮像装置及び撮像システム
US20140152566A1 (en) * 2012-12-05 2014-06-05 Brent A. Safer Apparatus and methods for image/sensory processing to control computer operations
US9712688B2 (en) * 2013-03-15 2017-07-18 Cam Ranger LLC Wireless adapter and method for communication with digital camera
WO2015099209A1 (ko) * 2013-12-23 2015-07-02 엘지전자 주식회사 카메라 모듈
CN107111009B (zh) * 2014-08-08 2019-11-08 快图有限公司 用于图像获取装置的光学系统、图像获取装置以及图像获取系统
US9929198B2 (en) * 2014-10-02 2018-03-27 Taiwan Semiconductor Manufacturing Co., Ltd. Infrared image sensor
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US20160254300A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Sensor for dual-aperture camera
US20160255334A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Generating an improved depth map using a multi-aperture imaging system
KR20170030789A (ko) * 2015-09-10 2017-03-20 엘지전자 주식회사 스마트 디바이스 및 이의 제어방법
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
EP3242114B1 (en) * 2016-05-04 2019-05-01 ams AG Arrangement of an aperture and a filter region for a filter sensor device and filter sensor device
US10267111B2 (en) * 2016-05-05 2019-04-23 Baker Hughes, A Ge Company, Llc Multi-tool bottom hole assembly with selective tool operation feature
KR102521406B1 (ko) 2016-06-19 2023-04-12 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
US10677972B2 (en) 2017-12-08 2020-06-09 Viavi Solutions Inc. Multispectral sensor response balancing
US10725292B2 (en) * 2018-02-01 2020-07-28 Varjo Technologies Oy Gaze-tracking system and aperture device
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
EP4013046A1 (en) * 2020-12-08 2022-06-15 Valeo Comfort and Driving Assistance Image sensor and image capture apparatus
US11606517B1 (en) 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning
WO2023118256A1 (en) * 2021-12-21 2023-06-29 Leica Instruments (Singapore) Pte. Ltd. Microscope system and corresponding method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0858208A1 (en) * 1997-02-07 1998-08-12 Eastman Kodak Company Method of producing digital images with improved performance characteristic
US20020186976A1 (en) * 2001-06-08 2002-12-12 Asahi Kogaku Kogyo Kabushiki Kaisha Image-capturing device and diaphragm
US20050146634A1 (en) * 2003-12-31 2005-07-07 Silverstein D. A. Cameras, optical systems, imaging methods, and optical filter configuration methods
US20080013943A1 (en) * 2006-02-13 2008-01-17 Janos Rohaly Monocular three-dimensional imaging
CN101238397A (zh) * 2005-08-12 2008-08-06 飞利浦拉米尔德斯照明设备有限责任公司 带有波长相关的孔径光阑的成像光学装置
CN101263708A (zh) * 2005-06-28 2008-09-10 摩托罗拉公司 采用一个或多个浮栅器件的图像传感器结构
US20080308712A1 (en) * 2007-03-22 2008-12-18 Fujifilm Corporation Image capturing apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
EP1062636A1 (en) * 1998-03-13 2000-12-27 Applied Science Fiction, Inc. Image defect correction method
US7053928B1 (en) 2000-03-20 2006-05-30 Litton Systems, Inc. Method and system for combining multi-spectral images of a scene
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
JP3926363B2 (ja) * 2004-11-04 2007-06-06 三菱電機株式会社 画素信号処理装置及び画素信号処理方法
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US20070145273A1 (en) * 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
US7585122B2 (en) 2006-03-15 2009-09-08 Nokia Corporation Aperture construction for a mobile camera
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US7773317B2 (en) * 2008-07-01 2010-08-10 Aptina Imaging Corp. Lens system with symmetrical optics
TWI377367B (en) * 2008-09-03 2012-11-21 Young Optics Inc Fixed-focus lens
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
KR101739880B1 (ko) * 2010-12-01 2017-05-26 삼성전자주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0858208A1 (en) * 1997-02-07 1998-08-12 Eastman Kodak Company Method of producing digital images with improved performance characteristic
US20020186976A1 (en) * 2001-06-08 2002-12-12 Asahi Kogaku Kogyo Kabushiki Kaisha Image-capturing device and diaphragm
US20050146634A1 (en) * 2003-12-31 2005-07-07 Silverstein D. A. Cameras, optical systems, imaging methods, and optical filter configuration methods
CN101263708A (zh) * 2005-06-28 2008-09-10 摩托罗拉公司 采用一个或多个浮栅器件的图像传感器结构
CN101238397A (zh) * 2005-08-12 2008-08-06 飞利浦拉米尔德斯照明设备有限责任公司 带有波长相关的孔径光阑的成像光学装置
US20080013943A1 (en) * 2006-02-13 2008-01-17 Janos Rohaly Monocular three-dimensional imaging
US20080308712A1 (en) * 2007-03-22 2008-12-18 Fujifilm Corporation Image capturing apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104241301A (zh) * 2013-06-20 2014-12-24 力智电子股份有限公司 具有多个光感测器的光感测芯片及其制造方法
CN109120823A (zh) * 2013-08-01 2019-01-01 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN109120823B (zh) * 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN107924045A (zh) * 2015-10-20 2018-04-17 谷歌有限责任公司 具有基于光类型来提供不同有效入射光瞳尺寸的滤镜的相机组件
US11743604B2 (en) 2018-03-27 2023-08-29 Sony Semiconductor Solutions Corporation Imaging device and image processing system
TWI701637B (zh) * 2018-07-02 2020-08-11 緯創資通股份有限公司 影像合成方法與系統

Also Published As

Publication number Publication date
JP5486017B2 (ja) 2014-05-07
WO2010081556A1 (en) 2010-07-22
US20120008023A1 (en) 2012-01-12
US9077916B2 (en) 2015-07-07
JP2012515480A (ja) 2012-07-05
EP2380345B1 (en) 2016-10-26
CN102334333B (zh) 2016-05-11
EP2380345A1 (en) 2011-10-26
US20160088239A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
CN102334333A (zh) 改善成像系统的景深
US9578257B2 (en) Geometrically distorted luminance in a multi-lens camera
JP5670456B2 (ja) カラー画像のノイズを低減すること
US20170034456A1 (en) Sensor assembly with selective infrared filter array
US9497370B2 (en) Array camera architecture implementing quantum dot color filters
JP5399215B2 (ja) 多眼カメラ装置および電子情報機器
US7916180B2 (en) Simultaneous multiple field of view digital cameras
TWI549273B (zh) 用於具彩色濾光片之分割影像感測器之鏡片陣列
US9324754B2 (en) Imaging sensors including photodetecting devices with different well capacities and imaging devices including the same
CN103703413B (zh) 使用颜色相关波前编码扩展透镜系统中景深的系统和方法
WO2021134450A1 (zh) 图像传感器及其制备方法和电子设备
WO2016158128A1 (ja) 光検出装置および撮像装置
WO2012157210A1 (ja) 3次元撮像装置、画像処理装置、画像処理方法、およびプログラム
US9124828B1 (en) Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
Drysdale Plasmonic angle sensitive pixel for digital imagers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DUAL APERTURE INTERNATIONAL CO., LTD.

Free format text: FORMER OWNER: IP LINK LTD.

Effective date: 20150427

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150427

Address after: Daejeon

Applicant after: Two aperture International Co., Ltd

Address before: American California

Applicant before: Iplink Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160511

Termination date: 20180116