CN103229509B - 处理多孔径像数据 - Google Patents

处理多孔径像数据 Download PDF

Info

Publication number
CN103229509B
CN103229509B CN201080066095.7A CN201080066095A CN103229509B CN 103229509 B CN103229509 B CN 103229509B CN 201080066095 A CN201080066095 A CN 201080066095A CN 103229509 B CN103229509 B CN 103229509B
Authority
CN
China
Prior art keywords
data
picture
aperture
high frequency
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080066095.7A
Other languages
English (en)
Other versions
CN103229509A (zh
Inventor
A·A·维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Two aperture International Co., Ltd
Original Assignee
Two Aperture International Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Two Aperture International Co Ltd filed Critical Two Aperture International Co Ltd
Publication of CN103229509A publication Critical patent/CN103229509A/zh
Application granted granted Critical
Publication of CN103229509B publication Critical patent/CN103229509B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

处理多孔径像数据。一种用于处理多孔径像数据的方法和系统被描述，其中该方法包括：通过令成像系统中的像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量，以及使用至少第二和第三孔径的与电磁波光谱的至少第二部分相关联的光谱能量，捕获与一个或多个物体相关联的像数据；产生与电磁波光谱的所述第一部分相关联的第一像数据，以及与电磁波光谱的所述第二部分相关联的第二像数据；然后，在所述第二像数据中位移信息的基础上，最好是在与所述第二像数据相关联的高频像数据的自相关函数中位移信息的基础上，产生与所述捕获的像相关联的深度信息。

Description

处理多孔径像数据
技术领域
本发明涉及处理多孔径像数据，尤其是，但不是排他地涉及：用于处理多孔径像数据的方法及系统、供这种系统中使用的像处理设备、以及使用这种方法的计算机程序产品。
背景技术
在各种不同技术领域，诸如移动远程通信、汽车和生物测量学中，数字图片和视频成像技术的日益增加的使用，要求发展小的集成的摄像机，它提供的像质量与单镜头反光摄像机提供的像质量匹配或至少相近。但是，集成和小型化的数字摄像机技术对光学系统和像传感器的设计提出严格限制，从而负面地影响该成像系统产生的像质量。宽广的机械焦距和孔径设定机构，不适合用于这种集成的摄像机应用。因此，各种不同数字摄像机捕获和处理技术被发展，为的是增强基于固定焦距透镜的成像系统的成像质量。
以国际专利申请号PCT/EP2009/050502和PCT/EP2009/060936的PCT申请，描述通过使用组合彩色和红外成像技术二者的光学系统，扩展固定焦距透镜成像系统的景深的方式，这些申请在此被引用，供参考。适合用于在彩色和红外光谱二者中成像的像传感器，以及波长选择性多孔径的孔径的组合使用，允许有固定焦距透镜的数字摄像机，以简单和良好性价比方式扩展景深和增加ISO速度。它要求对已知数字成像系统较小的修正，从而使该过程特别适合于大规模生产。
虽然多孔径成像系统的使用，提供大体上优于已知数字成像系统的优点，但这样的系统可能仍然不提供如在单镜头反光摄像机中所提供的相同功能性。尤其是，使固定透镜多孔径成像系统允许摄像机参数调整，诸如可调整景深和/或焦距调整，是合乎需要的。此外，提供有类似于已知3D数字摄像机的3D成像功能性的这种多孔径成像系统，是合乎需要的。因此，本领域需要允许提供增强功能性的多孔径成像系统的方法和系统。
发明内容
本发明的一个目的，是降低或消除至少一个现有技术中已知的缺点。在第一方面中，本发明可以涉及用于处理多孔径像数据的方法，其中，该方法可以包括：通过令成像系统中的像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二和第三孔径的与电磁波光谱的至少第二部分相关联的光谱能量，捕获与一个或多个物体相关联的像数据；产生与电磁波光谱的所述第一部分相关联的第一像数据以及与电磁波光谱的所述第二部分相关联的第二像数据；以及，在所述第二像数据中位移信息的基础上，最好是在与所述第二像数据相关联的高频像数据的自相关函数中位移信息的基础上，产生与所述捕获的像相关联的深度信息。因此，在多孔径像数据，即，多孔径成像系统产生的像数据的基础上，该方法允许深度信息的产生，该深度信息建立像中物体与物体到摄像机距离的关系式。使用该深度信息，与捕获的像相关联的深度映射（depth map）可以被产生。该距离信息和深度映射，允许像处理功能的实施，该像处理功能可以提供增强功能性的固定透镜成像系统。
在一个实施例中，所述至少第二和第三孔径可以被彼此相对放置，以便使所述第二像数据中的高频信息，作为物体和所述成像系统之间距离的函数被位移。因此，该多孔径配置在像数据中引进位移信息，该位移信息可以被用于产生深度信息。
在另一个实施例中，该方法可以包括：在所述自相关的第二高频像数据的一个或多个区域中，识别一个或多个峰，所述一个或多个峰与被成像物体的边缘相关联；在所述一个或多个被识别峰的基础上，确定所述成像系统和至少一个所述物体之间的距离。使用该自相关函数，第二像数据中的位移信息可以被精确确定。
在再一个实施例中，该方法可以包括：识别与焦点对准的被成像物体的边缘相关联的单个峰，和/或识别与离焦的被成像物体相关联的双峰或更多峰；通过使用预定深度函数，建立所述单个峰和/或所述双峰或更多峰中峰之间的距离，与所述成像系统和至少一个所述物体之间的距离的关系。
在又再一个实施例中，电磁波光谱的所述第一部分，可以与可见光谱的至少一部分相关联，和/或电磁波光谱的所述第二部分，可以与不可见光谱，最好是红外光谱的至少一部分相关联。红外光谱的使用，允许像传感器的灵敏度的有效使用，从而允许信噪比的显著改进。使用波长选择式多孔径光阑，同时捕获彩色像和红外像，允许产生用红外像中的清晰度信息增强的彩色像。
在一个实施例中，该方法可以包括：通过把所述第二像数据提交高通滤波器处理，确定所述高频第二像数据；和/或消除由所述第二和第三孔径产生的所述高频第二像数据中的位移。
在另一个实施例中，该方法包括：通过使所述第二像数据中的位移信息，最好是与所述第二像数据相关联的高频像数据的自相关函数中的位移信息，与所述成像系统和至少一个所述物体之间的距离相关联，产生与所述捕获的像的至少一部分相关联的深度映射。在该实施例中，捕获的像的深度映射可以被产生。该深度映射使像中每一像素数据或每一组像素数据与某一距离值相关联。
在一种变型中，该方法包括：在所述深度信息的基础上，通过使所述第一像数据中的像素移位，产生供立体观察使用的至少一个像。因此，用于立体观察的像可以被产生。这些像可以在被多孔径成像系统捕获的像和它的相关联的深度映射的基础上产生。该捕获的像可以用高频红外信息增强。
在另一种变型中，该方法可以包括：提供至少一个阈值距离或至少一个距离范围；在所述深度信息的基础上，在所述高频第二像数据中，识别与大于或小于所述阈值距离的距离相关联的一个或多个区域，或者在所述高频第二像数据中，识别与所述至少一个距离范围内的距离相关联的一个或多个区域；把所述第二高频像数据的所述被识别的一个或多个区域中的高频分量，设定为零或设定为一个或多个预定值；把所述第二高频像数据添加到所述第一像数据中。在该变型中，深度信息由此可以提供景深的控制。
在又另一种变型中，该方法可以包括：提供至少一个焦距；在所述深度信息的基础上，在所述高频第二像数据中，识别与大体上等于所述至少一个焦距的距离相关联的一个或多个区域；把不同于所述被识别的一个或多个区域的区域中的高频第二像数据，设定为零或设定为一个或多个预定值；把所述高频第二像数据添加到所述第一像数据中。在该实施例中，深度信息由此可以提供焦点的控制。
在再一种变型中，该方法可以包括：使用像处理功能，处理所述捕获的像，其中一个或多个像处理功能参数依赖于所述深度信息，最好是，通过应用滤波器处理所述第二像数据，其中一个或多个滤波器参数按照所述深度信息变化。因此，该深度信息还可以被用在诸如滤波的常用像处理步骤中。
在一个实施例中，该方法可以包括：提供至少一个阈值峰宽度和/或峰高度阈值；在所述自相关的第二高频像数据中，识别包括具有的峰宽度大于所述阈值峰宽度的一个或多个峰的区域，和/或包括具有的峰高度小于所述峰高度阈值的一个或多个峰的区域；按照掩模函数，在所述第二高频像数据的所述被识别的一个或多个区域中，设定高频分量；把所述第二高频像数据添加到所述第一像数据中。
在另一个实施例中，该方法可以包括：使用边缘检测算法，识别所述捕获的像中的一个或多个区域；在所述一个或多个被识别区域中，产生所述深度信息。
在另一方面中，本发明可以涉及多孔径系统，可取的是波长选择性多孔径系统，更可取的是包括波长选择性多孔径系统的光阑，其中所述多孔径系统可以包括：至少第一孔径，用于控制像传感器曝光于电磁波光谱的至少第一部分；至少第二和第三孔径，用于控制成像系统中的像传感器曝光于电磁波光谱的至少第二部分；与电磁波光谱的所述第二部分相关联的第二像数据，其中所述第二和第三孔径被彼此相对放置，以便使所述第二像数据中的高频信息，作为物体和所述成像系统之间距离的函数被位移。
在一个实施例中，所述第一孔径的尺寸可以大体上大于所述第二和第三孔径的尺寸。
在再一个实施例中，所述第一孔径，可以作为透明基底或透镜上不透明薄膜中的开孔被形成，所述不透明薄膜阻挡所述电磁波光谱的至少第一和第二部分二者。
在又再一个实施例中，所述至少第二和第三孔径，可以作为被定位在所述第一孔径内的薄膜滤波器中的开孔被形成，所述薄膜滤波器阻挡电磁波光谱的所述第二部分中的辐射而透射电磁波光谱的所述第一部分中的辐射。
在另一个实施例中，所述至少第二和第三多孔径，可以作为多个小红外孔径，沿所述第一孔径的周边被定位。
在另一方面中，本发明可以涉及多孔径成像系统，包括：像传感器；光学透镜系统；波长选择性多孔径，被配置成令所述像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二和第三孔径的与电磁波光谱的至少第二部分相关联的光谱能量；第一处理模块，用于产生与电磁波光谱的所述第一部分相关联的第一像数据以及与电磁波光谱的所述第二部分相关联的第二像数据；以及，第二处理模块，用于在所述第二像数据中位移信息的基础上，最好是在与所述第二像数据相关联的高频像数据的自相关函数中位移信息的基础上，产生与所述捕获的像相关联的深度信息。
在又再一方面中，本发明可以涉及使用多孔径像数据确定深度函数的方法，包括：在不同的预定的物体到摄像机距离上，捕获一个或多个物体的一个或多个像，每一像的捕获，都通过令成像系统中的像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二和第三孔径的与电磁波光谱的至少第二部分相关联的光谱能量；对至少一部分所述捕获的像，产生与电磁波光谱的所述第二部分相关联的第二像数据；通过建立所述第二像数据中的位移信息，最好是与所述第二像数据相关联的高频像数据的自相关函数中的位移信息，与所述预定的物体到摄像机距离的关系，产生深度函数。
本发明还可以涉及信号处理模块，包括：输入，用于接收与电磁波光谱的所述第一部分相关联的第一捕获的像数据以及与电磁波光谱的所述第二部分相关联的第二捕获的像数据；至少一个高通滤波器，用于产生与所述第一和/或第二捕获的像数据相关联的高频数据；自相关处理器，用于确定所述高频第二像数据的自相关函数；包括深度函数的储存器，所述深度函数建立所述第二像数据中的位移信息，最好是与所述第二像相关联的高频像数据的自相关函数中的位移信息，与物体到摄像机距离的关系；以及，深度信息处理器，用于在所述深度函数和所述第二像数据中的位移信息，最好是与所述第二像相关联的高频像数据的自相关函数中的位移信息的基础上，产生深度信息。
本发明还可以涉及数字摄像机，最好是供移动终端使用的数字摄像机，包括如上所述的信号处理模块和/或如上所述的多孔径成像系统。
本发明还可以涉及用于处理像数据的计算机程序产品，所述计算机程序产品包括软件代码部分，该软件代码部分被配置成当在计算机系统的存储器中运行时，执行按照如上所述任一方法的方法步骤。
本发明将进一步参照附图被示出，附图将示意地展示按照本发明的实施例。应当理解，本发明无论如何不受这些具体的实施例的限制。
附图说明
图1按照本发明一个实施例，画出多孔径成像系统。
图2画出数字摄像机的彩色响应。
图3画出热反射镜滤波器的响应和硅的响应。
图4画出使用多孔径系统的示意光学系统。
图5按照本发明一个实施例，画出供与多孔径成像系统一道使用的像处理方法。
图6A照本发明一个实施例，画出用于确定深度函数的方法。
图6B画出作为距离函数的深度函数和描绘高频彩色及红外信息的曲线图的示意图。
图7照本发明一个实施例，画出用于产生深度映射的方法。
图8照本发明一个实施例，画出用于获得立体观察的方法。
图9按照本发明一个实施例，画出用于控制景深的方法。
图10照本发明一个实施例，画出用于控制焦点的方法。
图11照本发明另一个实施例，画出使用多孔径系统的光学系统。
图12照本发明另一个实施例，画出用于确定深度函数的方法。
图13照本发明另一个实施例，画出用于控制景深的方法。
图14画出供多孔径成像系统中使用的多孔径系统。
具体实施方式
图1示出按照本发明一个实施例的多孔径成像系统100。该成像系统可以是数字摄像机或被集成在移动电话、网络摄像头、生物测量传感器、像扫描器或要求像捕获功能性的任何其他多媒体装置中的一部分。图1中画出的系统包括：像传感器102、用于使景物中物体聚焦到像传感器的成像平面上的透镜系统104、快门106和包括预定数量孔径的孔径系统108，这些孔径允许光（电磁辐射）的第一部分，如可见部分，以及至少EM光谱的第二部分，如不可见部分，诸如电磁（EM）光谱的红外部分，按受控制方式进入该成像系统。
该多孔径系统108，下面将更详细讨论，被配置成控制像传感器曝光于EM光谱的可见部分的光，以及任选地不可见部分，如红外部分。尤其是，该多孔径系统可以定义至少第一大小的第一孔径和至少第二大小的第二孔径，该第一孔径用于使像传感器曝光于EM光谱的第一部分，该第二孔径用于使像传感器曝光于EM光谱的第二部分。例如，在一个实施例中，该EM光谱的第一部分可以涉及彩色光谱，而该第二部分可以涉及红外光谱。在另一个实施例中，该多孔径系统可以包括预定数量的孔径，各被设计成使像传感器曝光于EM光谱的预定范围内的辐射。
像传感器对EM辐射的曝光，受快门106和多孔径系统108的孔径的控制。当快门被打开时，孔径系统控制光的量和使像传感器102曝光的光的准直度。快门可以是机械快门，或换种方式，快门可以是被集成在像传感器中的电子快门。该像传感器包括形成两维像素阵列的光敏部位（像素）的行及列。该像传感器可以是CMOS（互补型金属氧化物半导体）有源像素传感器，或CCD（电荷耦合器件）像传感器。另外，该像传感器可以涉及另一种Si（如，a-Si）、III-V（如，GaAs）或基于导电聚合物的像传感器结构。
当光被透镜系统投射到像传感器上时，每一像素产生电信号，该电信号与入射该像素上的电磁辐射（能量）成比例。为了获得彩色信息并分离投射到像传感器成像平面上的像的彩色成分，通常，彩色滤波器阵列120（CFA）被置于透镜和该像传感器之间。该彩色滤波器阵列可以与像传感器集成，以便像传感器的每一像素有对应的像素滤波器。每一彩色滤波器适合使预定彩色频带通过，进入该像素。常常是，红色、绿色和蓝色（RGB）滤波器的组合被使用，但是，其他滤波器方案也是可能的，如，CYGM（蓝绿色、黄色、绿色、绛红色）、RGBE（红色、绿色、蓝色、鲜绿色）等等。
被曝光的像传感器的每一像素，产生与通过与该像素相关联的彩色滤波器的电磁辐射成比例的电信号。该像素阵列由此产生像数据（帧），代表通过该彩色滤波器阵列的电磁能量（辐射）的空间分布。从像素接收的信号，可以用一个或多个芯片上放大器放大。在一个实施例中，像传感器的每一颜色通道，可以用分开的放大器放大，从而允许分开地控制不同颜色的ISO速度。
另外，像素信号可以被抽样、量化和用一个或多个模拟到数字（A/D）转换器110变换为数字格式的字，该转换器110可以被集成在像传感器的芯片上。数字化的像数据由与像传感器耦合的数字信号处理器112（DSP）处理，该数字信号处理器112被配置成进行熟知的信号处理功能，诸如内插、滤波、白平衡、亮度校正、数据压缩技术（如，MPEG或JPEG类型的技术）。该DSP被耦合到中央处理器114、存储捕获的像的存储器116和程序存储器118，诸如EEPROM或包括一种或多种软件程序的非易失性存储器的另一种类型，这些软件程序供DSP处理像数据使用，或供中央处理器管理成像系统的操作使用。
另外，该DSP可以包括一种或多种信号处理功能124，这些功能被配置成获得与多孔径成像系统捕获的像相关联的深度信息。这些信号处理功能，可以提供有扩展的成像功能性的固定透镜多孔径成像系统，该成像功能性包含可变DOF和聚焦控制及立体3D像观察能力。与这些信号处理功能相关联的细节和优点，下面将更详细讨论。
如上所述，该成像系统的灵敏度通过使用红外成像功能性被扩展。为此，透镜系统可以被配置成允许可见光和红外辐射或至少一部分红外辐射二者进入成像系统。透镜系统前面的滤波器，被配置成允许至少一部分红外辐射进入该成像系统。尤其是，这些滤波器不包括常常被称为热反射镜滤波器的红外阻挡滤波器，它在常用彩色成像摄像机中被使用，以阻挡红外辐射进入摄像机。
因此，进入多孔径成像系统的EM辐射122，可以由此包括与EM光谱的可见和红外部分二者相关联的辐射，从而允许像传感器的光响应扩展到红外光谱。
（没有）红外阻挡滤波器对常用CFA彩色像传感器的作用，在图2-3中示出。在图2A和2B中，曲线202代表没有红外阻挡滤波器（热反射镜滤波器）的数字摄像机典型的彩色响应。曲线图A更详细示出使用热反射镜滤波器的作用。热反射镜滤波器210的响应，限制像传感器对可见光谱的光谱响应，从而实际上限制像传感器的整个灵敏度。如果把热反射镜滤波器拿走，一些红外辐射将通过彩色像素滤波器。这一作用由曲线图B画出，曲线图B示出包括蓝色像素滤波器204、绿色像素滤波器206和红色像素滤波器208的常用彩色像素的光响应。这些彩色像素滤波器，尤其是红色像素滤波器，可以（部分地）透射红外辐射，因此，一部分像素信号可以被认为由红外辐射贡献。这些红外贡献可以使彩色平衡畸变，导致包括所谓伪彩色的像。
图3画出热反射镜滤波器302的响应和硅304（即，数字摄像机中使用的像传感器的主要半导体部件）的响应。这些响应清楚示出，硅像传感器对红外辐射的灵敏度，比它对可见光的灵敏度高出大致4倍。
为了利用如图2和3所示的由像传感器提供的光谱灵敏度，图1的成像系统中的像传感器102，可以是常用的像传感器。在常用的RGB传感器中，红外辐射主要由红色像素感测。在这样的情形下，DSP可以处理红色像素信号，以便提取其中的低噪声红外信息。这一处理过程下面将更详细描述。换种方式，像传感器可以被具体配置成对至少一部分红外光谱成像。该像传感器可以包括，例如一个或多个与彩色像素结合的红外（I）像素，从而允许该像传感器产生RGB彩色像和相对低噪声的红外像。
红外像素可以通过用滤波器材料覆盖光敏部位（photo-site）而实现，该材料大体上阻挡可见光而大体上透射红外辐射，最好是在约700到1100nm范围内的红外辐射。该红外透射像素滤波器可以设在红外/彩色滤波器阵列（ICFA）中，并可以用熟知的滤波器材料实现，该材料对光谱的红外频带中的波长有高的透射率，例如由Brewer Science以商标“DARC400”出售的黑色聚酰亚胺材料。
实现这样的滤波器的方法，在US2009/0159799中描述。ICFA可以含有像素的块，如，2×2像素的块，其中每一块包括红色、绿色、蓝色和红外像素。当被曝光时，这种像ICFA彩色像传感器，可以产生包括RGB彩色信息和红外信息二者的原始马赛克像。在用熟知的消马赛克算法处理该原始马赛克像之后，RGB彩色像和红外像可以被获得。这样的ICFA像彩色传感器，对红外辐射的灵敏度，可以通过增加块中红外像素的数量而增加。在一种配置（未画出）中，该像传感器滤波器阵列，例如可以包括16个像素的块，包括4个彩色像素RGGB和12个红外像素。
代替ICFA像彩色传感器，在另一个实施例中，该像传感器可以涉及光敏部位的阵列，其中每一光敏部位包括一定数量叠层的本领域熟知的光电二极管。最好是，这样叠层的光敏部位，包括至少4个分别对至少基色RGB和红外响应的叠层的光电二极管。这些叠层的光电二极管可以被集成进像传感器的硅基底中。
该多孔径系统，如，多孔径光阑，可以被用于改进摄像机的景深（DOF）。这样的多孔径系统400的原理，在图4中示出。当捕获像时，该DOF确定离焦点对准的摄像机的距离范围。在该范围内，物体是可接受地清晰的。对适度大的距离和给定的像格式，DOF由透镜焦距N、与透镜开孔（孔径）相关联的f数、以及物体到摄像机距离s确定。孔径越宽（接收的光越多），DOF受到的限制越大。
可见和红外光谱能量，可以经由多孔径系统进入成像系统。在一个实施例中，该多孔径系统可以包括有预定直径D1的圆孔402的滤波器涂覆的透明基底。该滤波器涂层404可以透射可见辐射和反射和/或吸收红外辐射。不透明的盖板406可以包括具有直径D2的圆形开孔，该直径D2大于孔402的直径D1。该盖可以包括反射红外和可见辐射二者的薄膜涂层，或者换种方式，该盖可以是把基底夹持和定位在光学系统中的不透明夹持器的一部分。这样，该多孔径系统包括多个波长选择性孔径，允许像传感器受控地曝光于EM光谱的不同部分的光谱能量。通过孔径系统的可见和红外光谱能量，随后被透镜412投射到像传感器的成像平面414上，该像传感器包括用于获得与可见光谱能量相关联的像数据的像素，以及用于获得与不可见（红外）光谱能量相关联的像数据的像素。
像传感器的像素由此可以接收第一（相对地）宽孔径像信号416，该像信号416与具有有限的DOF的可见光谱能量相关联，叠加在第二小孔径像信号418上，该像信号418与具有大DOF的红外光谱能量相关联。接近透镜焦距N的平面的物体420，以相对小的散焦模糊通过可见辐射投射到像平面上，而被定位在离焦距平面更远的物体422，以相对小的散焦模糊通过红外辐射投射到像平面上。因此，与包括单一孔径的常用成像系统相反，双孔径或多孔径成像系统，使用包括两个或更多不同大小的孔径的孔径系统，用于控制使像传感器曝光的光谱的不同频带中辐射的量和准直。
DSP可以被配置成处理捕获的彩色和红外信号。图5画出与多孔径成像系统一道使用的典型的像处理步骤500。在该例子中，多孔径成像系统包括常用彩色像传感器，例如使用Bayer彩色滤波器阵列。在该情形中，主要是红色像素滤波器使红外辐射透射到像传感器。捕获的像帧的红色像素数据，包括高振幅的可见红色信号和清晰的、低振幅的不可见红外信号二者。该红外分量可以比可见红色分量低8到16倍。另外，使用已知彩色平衡技术，该红色平衡可以被调整，以补偿由红外辐射的存在而产生的轻微畸变。在其他的变型中，RGBI像传感器可以被使用，其中该红外像可以用I像素直接获得。
在第一步骤502中，捕获经Bayer滤波器滤波的原始像数据。此后，DSP可以提取红色像数据，该像数据还包括红外信息（步骤504）。此后，DSP可以从红色像数据中提取与红外像相关联的清晰度信息，并使用该清晰度信息增强彩色像。
在空间域中提取清晰度信息的一种方式，可以通过把高通滤波器应用于红色像数据而获得。高通滤波器可以保存红色像内的高频信息（高频分量），同时降低低频信息（低频分量）。高通滤波器的核可以被设计成增加中心像素相对于邻域像素的亮度。该核阵列常常在它的中心含有单独的正值，该单独的正值完全被负值包围。用于高通滤波器的3×3核的简单非限制性例子，可以看似：
|-1/9 -1/9 -1/9|
|-1/9 8/9 -1/9|
|-1/9 -1/9 -1/9|
因此，为了提取与红外像信号相关联的高频分量（即，清晰度信息），该红色像数据被通过高通滤波器（步骤506）。
因为红外孔径的相对地小的大小产生相对地小的红外像信号，该被滤波的高频分量按与可见光孔径相对于红外孔径的比值成正比地被放大（步骤508）。
红外孔径的相对地小的大小的作用，部分地由红色像素捕获的红外辐射的频带比红色辐射频带约宽4倍（数字红外摄像机的灵敏度通常比可见光摄像机大4倍）的事实补偿。在放大之后，从红外像信号导出的放大的高频分量，被添加到（被一道混合）经Bayer滤波器滤波的原始像数据的每一彩色分量中（步骤510）。这样，红外像数据的清晰度信息被添加到彩色像中。此后，组合的像数据可以用本领域熟知的消马赛克算法，变换为全RGB彩色像（步骤512）。
在一种变型（未画出）中，该经Bayer滤波器滤波的原始像数据，首先被消马赛克而成为RGB彩色像，并随后通过相加（混合）与被放大的高频分量组合。
图5画出的方法，允许多孔径成像系统有宽的孔径，以便在较低光的情形中有效的操作，与此同时有导致更清晰图像的更大DOF。另外，该方法有效地增加透镜的光学性能、降低要求达到相同性能的透镜的费用。
该多孔径成像系统因此允许简单的移动电话摄像机有典型的f数7（如，7mm的焦距N和1mm的直径），以通过有变化的f数的第二孔径，如，f数在直径0.5mm的14直到直径等于或小于0.2mm的70或更大之间变化，改进它的DOF，其中，该f数由焦距f和孔径的有效直径的比值定义。较可取的实施方案包含的光学系统，包括用于增加近处物体清晰度的可见辐射的约2到4的f数，与用于增加远处物体清晰度的红外孔径的约16到22的f数的组合。
由多孔径成像系统提供的在DOF和ISO速度方面的改进，在有关申请PCT/EP2009/050502和PCT/EP2009/060936中被更详细描述。此外，如参照图1-5所述的多孔径成像系统，可以被用于产生与单个捕获的像相关联的深度信息。尤其更甚的是，多孔径成像系统的DSP可以包括至少一个深度函数，该深度函数依赖于光学系统的参数，且该深度函数在一个实施例中，可以事先由制造商确定并存储在摄像机的存储器中，供数字像处理功能使用。
像可以含有位于离摄像机透镜不同距离处的不同物体，因此，更接近摄像机焦平面的物体，将比更远离该焦平面的物体更清晰。深度函数可以建立清晰度信息与涉及的距离信息的关系，该清晰度信息与被成像在像的不同区域的物体相关联，该距离是这些物体从摄像机被移开的距离。在一个实施例中，深度函数R可以包含对离开摄像机透镜不同距离上的物体，确定彩色像分量和红外像分量的清晰度比值。在另一个实施例中，深度函数D可以包含被高通滤波的红外像的自相关分析。这些实施例在下面参照图6-14更详细地被描述。
在第一实施例中，深度函数R可以由彩色像中的清晰度信息和红外像中的清晰度信息的比值定义。在此，清晰度参数可以涉及所谓弥散圆，该弥散圆对应于由物空间中不清晰地成像点的像传感器测得的模糊光斑直径。代表散焦模糊的模糊盘直径，对焦平面中的点是非常小的（零），而当在物空间中向前景或背景移动离开该平面时，逐步地增长。只要该模糊盘比最大可接受弥散圆c更小，则被认为足够清晰并被认为是DOF范围的一部分。根据已知DOF公式，由此得出，在物体深度，即它离摄像机的距离s，和该物体在摄像机中的模糊（即，清晰度）量之间存在直接关系。
因此，在多孔径成像系统中，彩色像RGB分量的清晰度，相对于红外像中IR分量的清晰度的增加或减小，取决于被成像物体离透镜的距离。例如，如果透镜被聚焦在3米，RGB分量和IR分量二者的清晰度可以相同。相反，由于对1米距离上的物体，用于红外像的小的孔径，RGB分量的清晰度可以显著地小于红外分量的那些清晰度。这一依赖性可以被用于估算物体离摄像机透镜的距离。
尤其是，如果透镜被设定成大的（“无限远”）焦点（该点可以被称为该多孔径系统的超焦距H），则摄像机可以确定像中彩色和红外分量同样清晰的点。像中的这些点，对应于被定位在离摄像机相对大距离（通常是背景）上的物体。对于被定位在远离超焦距H的物体，在红外分量和彩色分量之间的清晰度中的相对差，将作为物体和透镜之间距离s的函数而增加。彩色像中清晰度信息和在一个光斑（如，一个或一组像素）上测得的红外信息中清晰度信息之间的比值，本文此后将称为深度函数R(s)。
该深度函数R(s)，可以通过对离摄像机透镜不同距离s的一个或多个测试物体，测量清晰度比值而获得，其中该清晰度由相应像中的高频分量确定。图6A按照本发明一个实施例，画出与深度函数的确定相关联的流程图600。在第一步骤602中，测试物体可以被放置在离摄像机至少在超焦距H上。此后，用多孔径成像系统捕获像数据。然后，与彩色像及红外信息相关联的清晰度信息，从捕获的数据提取（步骤606-608）。清晰度信息R(H)之间的比值，随后被存储在存储器中（步骤610）。然后，该测试物体在离开超焦距H的距离Δ上被移动，而R在该距离上被确定。这一过程被重复，直到对接近摄像机透镜的所有距离，R都被确定为止（步骤612）。这些值可以被存储在存储器中。为了获得连续的深度函数R(s)，内插可以被使用（步骤614）。
在一个实施例中，R可以被定义为在像中特定光斑上测得的高频红外分量Dir的绝对值和高频彩色分量Dcol的绝对值之间的比值。在另一个实施例中，在特定区域中红外和彩色分量之间的差，可以被计算。在该区域中该差的和，可以在其后被当作距离的测量。
图6B画出作为距离函数的Dcol和Dir曲线（曲线图A），以及作为距离函数的R=Dir/Dcol曲线（曲线图B）。在曲线图A中，表明在焦距N周围，高频彩色分量有最高值，而远离该焦距，高频彩色分量作为模糊效应的结果迅速下降。此外，作为相对小的红外孔径的结果，高频红外分量在离开焦点N的大距离上，将有相对高的值。
曲线图B画出作为Dir/Dcol之间比值定义而得到的深度函数R，该曲线图指出，对大体上大于焦距N的距离，清晰度信息被包括在高频红外像数据中。该深度函数R(s)可以事先由制造商获得，并可以存储在摄像机的存储器中，它在那里可以被DSP在一种或多种后处理功能中使用，以便处理被多孔径成像系统捕获的像。在一个实施例中，该后处理功能之一可以涉及与被多孔径成像系统捕获的单幅像相关联的深度映射的产生。图7按照本发明的一个实施例，画出用于产生这样的深度映射的过程的示意图。在该多孔径成像系统中的像传感器在一帧像帧中同时捕获可见和红外像信号二者之后（步骤702），DSP可以使用例如熟知所消马赛克算法，分离捕获的原始马赛克像中的彩色和红外像素信号（步骤704）。此后，DSP可以对彩色像数据（如，RGB像）和红外像数据使用高通滤波器，以便获得两种像数据的高频分量（步骤706）。
此后，DSP可以令距离与每一像素p（i，j）或像素组相关联。为此，DSP可以对每一像素p（i，j）确定高频红外分量和高频彩色分量之间的清晰度比值R（i，j）：R（i，j）=Dir（i，j）/Dcol（i，j）（步骤708）。在深度函数R(s)，尤其是反深度函数R′(R)的基础上，DSP然后可以令每一像素上测得的清晰度比值R（i，j）与到摄像机透镜的距离s（i，j）相关联（步骤710）。该过程将产生距离映射，其中映射中每一距离值被与像中某一像素相关联。如此产生的映射可以被存储在摄像机的存储器中（步骤712）。
向每一像素指配距离，可能要求大量数据处理。为了降低计算量，在一种变型中，在第一步骤中，像中的边缘可以用熟知的边缘检测算法检测。此后，围绕这些边缘的区域可以被用作样本区域，以便用这些区域中的清晰度比值R，确定离摄像机透镜的距离。该变型提供的优点是，它要求较少的计算。
因此，在被多孔径摄像机系统捕获的像，即像素帧{p（i，j）}的基础上，该包括深度函数的数字成像处理器，可以确定相关联的深度映射{s（i，j）}。对该像素帧中每一像素，该深度映射包括相关联的距离值。该深度映射可以通过对每一像素p（i，j）计算相关联的深度值s（i，j）而被确定。换种方式，该深度映射可以通过令深度值与像中像素组相关联而被确定。该深度映射可以与捕获的像一起，按任一种合适的数据格式，被存储在摄像机的存储器中。
该过程不受参照图7所述步骤限制。各种不同的变型是可能的，并不违背本发明。例如，高通滤波可以在消马赛克步骤之前施行。在该情形中，高频彩色像是通过对被高通滤波的像数据消马赛克而获得的。
另外，在清晰度信息的基础上确定距离的其他方式，也是可能的，并不违背本发明。例如，代替用例如高通滤波器在空间域中分析清晰度信息（即，边缘信息），该清晰度信息也可以在频域中被分析。例如，在一个实施例中，运行离散傅里叶变换（DFT）可以被采用，以便获得清晰度信息。DFT可以被用于计算彩色像和红外像二者的傅里叶系数。分析这些系数，尤其是高频系数，可以提供距离的指示。
例如，在一个实施例中，与彩色像和红外像中特定区域相关联的高频DFT系数之间的绝对差，可以被用作距离的指示。在再一个实施例中，傅里叶分量可以被用于分析与红外及彩色信号相关联的截止频率。例如，如果在像的特定区域中，红外像信号的截止频率大于彩色像信号的截止频率，那么该差可以提供距离的指示。
在深度映射的基础上，各种不同像处理功能被实现。图8按照本发明的一个实施例，画出用于获得立体观察的方案800。在被放置在离物体P距离s上的原来摄像机位置C0的基础上，两个虚拟摄像机位置C1和C2（一个用于左眼而一个用于右眼）可以被定义。这些虚拟摄像机位置的每一个，相对于原来摄像机位置在距离-t/2和+t/2上被对称地位移。给定焦距N、C0、C1、C2、t和s之间的几何关系，要求产生与该两个虚拟摄像机位置相关联的两个被移位的“虚拟”像的像素移位量，可以由下面表达式确定：
P1=p0-(t*N)/(2s)和P2=p0+(t*N)/(2s)；
因此，在这些表达式和深度映射中距离信息s（i，j）的基础上，像处理功能可以对原来像中每一像素p0（i，j），计算与第一和第二虚拟像相关联的像素p1（i，j）和p2（i，j）（步骤802-806）。这样，原来像中每一像素p0（i，j）可以按照上面的表达式被移位，产生适合供立体观察的两个移位的像{p1（i，j）}和{p2（i，j）}。
图9按照一个实施例，画出又一种像处理功能900。该功能允许在多孔径成像系统中控制DOF的缩减。因为多孔径成像系统使用固定透镜和固定多孔径系统，所以光学系统以该光学系统的固定（被改进）的DOF提交像。但是，在一些情况下，有可变的DOF可能是期望的。
在第一步骤902中，像数据和相关联的深度映射可以被产生。此后，该功能可以允许特定距离s′的选择（步骤904），该距离可以被用作截止距离，在它之后，在高频红外分量基础上的清晰度增强可以被舍弃。使用该深度映射，DSP可以识别像中第一区域和第二区域，该第一区域与大于被选择的距离s′的物体到摄像机距离相关联（步骤906），该第二区域与小于被选择的距离s′的物体到摄像机距离相关联。此后，DSP可以检索高频红外像，并按照掩模函数，把被识别的第一区域中的高频红外分量设定为某一值（步骤910）。该如此修改的高频红外像，然后按图5所示类似方式与RGB像混合（步骤912）。这样，其中像中物体离开摄像机透镜直到距离s′，都被用从高频红外分量获得的清晰度信息增强的RGB像可以被获得。这样，DOF可以按受控方式被缩减。
应当承认，各种不同的变型是可能的，并不违背本发明。例如，代替单一的距离，距离范围[s1，s2]可以被该多孔径系统的用户选择。像中的物体可以与离开摄像机的距离有关。此后，DSP可以确定哪些物体区域被定位在该范围之内。这些区域随后被高频分量中的清晰度信息增强。
再一种像处理功能，可以涉及控制摄像机的焦点。该功能示意地在图10中画出。在该实施例中，（虚拟）焦距N′可以被选择（步骤1004）。使用深度映射，与该被选择焦距相关联的像中的区域，可以被确定（步骤1006）。此后，DSP可以产生高频红外像（步骤1008），并按照掩模函数，把被识别的区域以外的所有高频分量设定为某一值（步骤1010）。该如此修改的高频红外像，可以与RGB像混合（步骤1012），从而只增强与焦距N′相关联的像中该区域中的清晰度。这样，像中焦点可以按可控方式被改变。
控制焦距的另外的变型，可以包含多个焦距N′、N″、等等的选择。对这些被选定距离的每一个，红外像中相关联的高频分量可以被确定。高频红外像的随后修改并参照与图10所示类似方式与彩色像的混合，可以产生的像例如是：在2米处的物体是焦点对准的，在3米处的物体是散焦的和在4米处的物体是焦点对准的。在再另一个实施例中，如参照图9和10所示的焦点控制，可以被应用于像中一个或多个特定区域。为此，用户或DSP可以选择像中需要焦点控制的一个或多个特定区域。
在又另一个实施例中，距离函数R(s)和/或深度映射，可以被用于使用熟知像处理功能（如，滤波、混合、平衡，等等）处理所述捕获的像，其中，与该功能相关联的一种或多种像处理功能参数，依赖于深度信息。例如，在一个实施例中，该深度信息可以被用于控制截止频率和/或控制被用于产生高频红外像的高通滤波器的滚降。当该像的某个区域的彩色像和红外像中清晰度信息大体上相同时，要求红外像的较小的清晰度信息（即，高频红外分量）。因此，在这种情形中，有非常高截止频率的高通滤波器可以被使用。相反，当彩色像和红外像中清晰度信息不同时，有较低截止频率的高通滤波器可以被使用，以便彩色像中的模糊，可以被红外像中清晰度信息补偿。这样，整幅像或像的特定部分中，高通滤波器的滚降和/或截止频率，可以按照彩色像和红外像中清晰度信息的差而被调整。
深度映射的产生和在该深度映射基础上像处理功能的实施，不受上面的实施例的限制。
图11按照再一个实施例，画出用于产生深度信息的多孔径成像系统1100的示意图。在该实施例中，深度信息是通过使用修改的多孔径配置获得的。代替如图4所示在中心的一个红外孔径，图11中的多孔径1101包括多个（即，两个或更多）小的红外孔径1102、1104在形成更大彩色孔径1106的光阑的边缘（或沿周边）。这些多个小的孔径大体上比如图4所示的单个红外孔径更小，从而提供的作用是，焦点对准的物体1108，作为清晰的单幅红外像1112，被成像到成像平面1110上。与此相反，离焦的物体1114，作为两个红外像1116、1118，被成像到成像平面上。与第一红外孔径1102相关联的第一红外像1116，相对于与第二红外孔径相关联的第二红外像1118在距离Δ上被位移。不同于通常与散焦透镜相关联的连续模糊的像，包括多个小红外孔径的多孔径允许不连续的、清晰的像的形成。当与单个红外孔径比较时，多个红外孔径的使用，允许更小孔径的使用，从而达到景深的进一步增强。物体离焦越远，像被位移的距离Δ越大。因此，两个成像的红外像之间的位移距离Δ，是物体和摄像机透镜之间的距离的函数，并可以被用于确定深度函数Δ(s)。
深度函数Δ(s)可以通过令测试物体在离摄像机透镜的多个距离上成像，并在这些不同距离上测量Δ而被确定。Δ(s)可以被存储在摄像机的存储器中，它在那里可以供DSP在一种或多种后处理功能中使用，如在下面更详细的讨论。
在一个实施例中，一种后处理功能，可以涉及与多孔径成像系统捕获的单幅像相关联的深度信息的产生，该多孔径成像系统包括不连续的多个孔径，如参照图11所述。在一帧像帧中同时捕获可见和红外像信号两者之后，DSP可以使用例如熟知的消马赛克算法，分离捕获的原始马赛克像中的彩色和红外像素信号。DSP可以随后对红外像数据使用高通滤波器，以便获得红外像数据的高频分量，该红外像数据可以包括物体是焦点对准的区域和物体是离焦的区域。
另外，DSP可以用自相关函数，从高频红外像数据导出深度信息。该过程被示意地画在图12中。当取高频红外像1204（一部分）的自相关函数1202时，单个尖峰1206将出现在对准焦点的被成像物体1208的高频边缘。相反，该自相关函数将在离焦的被成像物体1212的高频边缘上产生双尖峰1210。在此，尖峰之间的移位代表两个高频红外像之间的移位Δ，它依赖于被成像物体和摄像机透镜之间的距离s。
因此，高频红外像（一部分）的自相关函数，将在离焦物体的高频红外像的位置上包括双峰，且其中双峰之间的距离给出距离的测量（即，离开焦距的距离）。另外，自相关函数将在焦点对准的物体的像的位置上包括单峰。DSP可以通过令双峰之间的距离与使用预定深度函数Δ(s)的距离相关联，处理该自相关函数，并把其中信息变换为与“真实距离”相关联的深度映射。
使用该深度映射，相似的功能，如，立体观察、DOF和焦点的控制，可以如上所述，参照图8-10被施行。例如，Δ(s)或深度映射，可以被用于选择与特定选择的摄像机到物体距离相关联的红外像中的高频分量。
某些像处理功能，可以通过分析高频红外像的自相关函数获得。图13画出例如过程1300，其中DOF通过比较自相关函数中的峰宽度与某个阈值宽度而被缩减。在第一步骤1302中，使用如图11所示多孔径成像系统捕获像，彩色和红外像数据被提取（步骤1304），以及高频红外像数据被产生（步骤1306）。此后，高频红外像数据的自相关函数被计算（步骤1308）。另外，阈值宽度w被选定（步骤1310）。如果与某个被成像物体相关联的自相关函数中的峰，比该阈值宽度更窄，则与自相关函数中该峰相关联的高频红外分量被选定，以便与彩色像数据组合。如果与某个被成像物体的边缘相关联的自相关函数中的峰或两个峰之间的距离，比阈值宽度更宽，则与自相关函数中该峰相关联的高频红外分量，按照掩模函数被设定（步骤1312-1314）。此后，该如此修改的高频红外像，用标准像处理技术处理，以便消除由多孔径引入的移位Δ，由此它可以与彩色像数据混合（步骤1316）。混合之后，有缩减DOF的彩色像被形成。该过程通过选择预定阈值宽度而允许DOF的控制。
图14画出供上述多孔径成像系统中使用的两种多孔径的非限制性例子1402、1410。第一种多孔径1402可以包括透明基底，上有两个不同薄膜滤波器：第一圆形薄膜滤波器1404在基底的中心，形成透射EM光谱的第一频带中的辐射的第一孔径，以及第二薄膜滤波器1406，围绕该第一滤波器形成（如，在同心环中），透射EM光谱的第二频带中的辐射。
该第一滤波器可以被配置成透射可见和红外辐射二者，而该第二滤波器可以被配置成反射红外辐射并透射可见辐射。外同心环的外直径，可以由不透明孔径夹持器1408中的开孔定义，或者换种方式，由淀积在该基底上的阻挡红外和可见辐射二者的不透明薄膜层1408中的开孔定义。本领域熟练技术人员应当清楚，薄膜多孔径的形成背后的原理，可以容易推广到包括3个或更多孔径的多孔径，其中每一孔径透射与EM光谱中特定频带相关联的辐射。
在一个实施例中，该第二薄膜滤波器可以涉及分色滤波器，该分色滤波器反射红外光谱中的辐射而透射可见光谱中的辐射。亦称干涉滤波器的分色滤波器，是本领域周知的，并通常包括一定数量的指定厚度的薄膜介质层，这些介质层被配置成反射红外辐射（如，波长在约750到1250纳米之间的辐射）而透射该光谱的可见部分中的辐射。
第二种多孔径1410可以供参照图11所述的多孔径系统中使用。在该变型中，该多孔径包括相对地大的第一孔径1412，它作为不透明孔径夹持器1414中的开孔被定义，或者换种方式，由淀积在透明基底上的不透明薄膜层中的开孔定义，其中该不透明薄膜阻挡红外和可见辐射二者。在该相对地大的第一孔径中，多个小的红外孔径1416-1422被定义为薄膜热反射镜滤波器1424中的开孔，该热反射镜滤波器1424被形成在第一孔径内。
多个小的红外孔径被彼此相对放置，以便使经由这些孔径获得的像数据中的高频信息（即，边缘信息），作为物体和所述成像系统之间距离的函数被位移。在一个实施例中，该多个孔径可以作为沿第一孔径周边的多个小红外孔径而被定位。
本发明的各实施例，可以作为程序产品被实施，供与计算机系统一道使用。该程序产品的程序，定义各实施例（包含本文描述的方法）的功能，并能够被包含在多种多样的计算机可读存储媒体上。说明性计算机可读存储媒体包括，但不限于：（i）不可写存储媒体（如，计算机内的只读存储器装置，诸如可由CD-ROM驱动器读取的CD-ROM盘，快速擦写存储器，ROM芯片或固态非易失性半导体存储器的任何类型），在该不可写存储媒体上，信息被永久地存储；和（ii）可写存储媒体（如，软磁盘驱动器或硬盘驱动器内的磁盘，或固态随机存取半导体存储器的任何类型），在该可写存储媒体上，存储可变的信息。
应当理解，涉及任何一个实施例中描述的任一特性，可以被单独使用，或与被描述的其他特性组合使用，并还可以与任何其他实施例的一种或多种特性组合使用，或与任何其他实施例的任何组合使用。此外，本发明不限于上述的实施例，本发明可以在所附权利要求书的范围内变化。

Claims (18)

1.一种用于处理多孔径像数据的方法，包括：
通过令成像系统中的像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二和第三孔径的与该电磁波光谱的至少第二部分相关联的光谱能量，捕获与一个或多个物体相关联的像数据；
产生与该电磁波光谱的所述第一部分相关联的第一像数据以及与该电磁波光谱的所述第二部分相关联的第二像数据；和
在所述第二像数据中位移信息的基础上，产生与所述捕获的像相关联的深度信息。
2.按照权利要求1的方法，其中所述深度信息是在与所述第二像数据相关联的高频像数据的自相关函数中位移信息的基础上被产生。
3.按照权利要求1的方法，其中所述至少第二和第三孔径被彼此相对放置，以便使所述第二像数据中的高频信息，作为物体和所述成像系统之间距离的函数被位移。
4.按照权利要求2的方法，包括：
在所述自相关的第二高频像数据的一个或多个区域中，识别一个或多个峰，所述一个或多个峰与被成像物体的边缘相关联；
在所述一个或多个被识别峰的基础上，确定所述成像系统和至少一个所述物体之间的距离。
5.按照权利要求1的方法，包括：
识别与焦点对准的被成像物体的边缘相关联的单个峰，和/或识别与离焦的被成像物体相关联的双峰或更多峰；
通过使用预定深度函数，建立所述单个峰和/或所述双峰或更多峰中峰之间的距离与所述成像系统和至少一个所述物体之间的距离的关系。
6.按照权利要求1的方法，其中电磁波光谱的所述第一部分与 至少一部分可见光谱相关联，和/或其中电磁波光谱的所述第二部分与至少一部分不可见光谱相关联。
7.按照权利要求1的方法，包括：
通过把所述第二像数据提交高通滤波器处理，确定高频第二像数据。
8.按照权利要求7的方法，包括：
消除由所述第二和第三孔径产生的所述高频第二像数据中的位移。
9.按照权利要求1的方法，包括：
通过使所述第二像数据中的位移信息，与所述成像系统和至少一个所述物体之间的距离相关联，产生与所述捕获的像的至少一部分相关联的深度映射。
10.按照权利要求9的方法，其中该位移信息是与所述第二像数据相关联的高频像数据的自相关函数中的位移信息。
11.按照权利要求1-9任一项的方法，包括：
在所述深度信息的基础上，通过使所述第一像数据中的像素移位，产生供立体观察使用的至少一个像。
12.按照权利要求7的方法，包括：
提供至少一个阈值距离或至少一个距离范围；
在所述深度信息的基础上，在所述高频第二像数据中，识别与大于或小于所述阈值距离的距离相关联的一个或多个区域，或者在所述高频第二像数据中，识别与所述至少一个距离范围内的距离相关联的一个或多个区域；
把所述高频第二像数据的所述被识别的一个或多个区域中的高频分量，设定为零或设定为一个或多个预定值；
把所述高频第二像数据添加到所述第一像数据中。
13.按照权利要求7的方法，包括：
提供至少一个焦距；
在所述深度信息的基础上，在所述高频第二像数据中，识别与等 于所述至少一个焦距的距离相关联的一个或多个区域；
把不同于所述被识别的一个或多个区域的区域中的高频第二像数据，设定为零或设定为一个或多个预定值；
把所述高频第二像数据添加到所述第一像数据中。
14.按照权利要求1的方法，包括：
使用像处理功能，处理所述捕获的像，其中一个或多个像处理功能参数依赖于所述深度信息。
15.按照权利要求14的方法，其中处理所述第二像数据包括应用滤波器，其中一个或多个滤波器参数按照所述深度信息变化。
16.一种多孔径系统，包括：
至少第一孔径，用于控制像传感器曝光于电磁波光谱的至少第一部分；
至少第二和第三孔径，用于控制成像系统中的像传感器曝光于该电磁波光谱的至少第二部分；
与该电磁波光谱的所述第二部分相关联的第二像数据，
其中所述第二和第三孔径被彼此相对放置，以便使所述第二像数据中的高频信息，作为物体和所述成像系统之间距离的函数被位移。
17.一种多孔径成像系统，包括：
像传感器；
光学透镜系统；
波长选择式多孔径，被配置成令所述像传感器，同时曝光于使用至少第一孔径的与电磁波光谱的至少第一部分相关联的光谱能量以及使用至少第二和第三孔径的与该电磁波光谱的至少第二部分相关联的光谱能量；
第一处理模块，用于产生与电磁波光谱的所述第一部分相关联的第一像数据以及与该电磁波光谱的所述第二部分相关联的第二像数据；和
第二处理模块，用于在所述第二像数据中位移信息的基础上，产生与由所述像传感器捕获的像相关联的深度信息。
18.按照权利要求17的系统，其中所述深度信息是在与所述第二像数据相关联的高频像数据的自相关函数中位移信息的基础上被产生。
CN201080066095.7A 2010-02-19 2010-02-19 处理多孔径像数据 Expired - Fee Related CN103229509B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2010/052154 WO2011101036A1 (en) 2010-02-19 2010-02-19 Processing multi-aperture image data

Publications (2)

Publication Number Publication Date
CN103229509A CN103229509A (zh) 2013-07-31
CN103229509B true CN103229509B (zh) 2016-08-17

Family

ID=42458671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080066095.7A Expired - Fee Related CN103229509B (zh) 2010-02-19 2010-02-19 处理多孔径像数据

Country Status (5)

Country Link
US (1) US9495751B2 (zh)
EP (1) EP2537345A1 (zh)
JP (1) JP5670481B2 (zh)
CN (1) CN103229509B (zh)
WO (1) WO2011101036A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012007049A1 (en) 2010-07-16 2012-01-19 Iplink Limited Flash system for multi-aperture imaging
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
WO2013054160A1 (en) * 2011-10-11 2013-04-18 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置
WO2013146066A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP5687803B2 (ja) 2012-05-09 2015-03-25 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2014006514A2 (en) * 2012-07-04 2014-01-09 Opera Imaging B.V. Image processing in a multi-channel camera
WO2014008939A1 (en) 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface
TWI451344B (zh) 2012-08-27 2014-09-01 Pixart Imaging Inc 手勢辨識系統及手勢辨識方法
US9083959B2 (en) 2013-02-20 2015-07-14 Intel Corporation Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video
EP3217659B1 (en) 2013-03-13 2018-06-13 Fujitsu Frontech Limited Image processing apparatus, image processing method, and program
WO2014160510A2 (en) * 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy
CN108718376B (zh) * 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
KR102066938B1 (ko) * 2013-08-20 2020-01-16 한화테크윈 주식회사 영상 처리 장치 및 방법
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
FR3022377B1 (fr) * 2014-06-13 2017-08-25 Morpho Dispositif d'acquisition optique pour systemes biometriques
KR20170120567A (ko) * 2015-01-20 2017-10-31 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 심도 정보를 추출하기 위한 방법 및 장치
US9674466B2 (en) * 2015-02-26 2017-06-06 Dual Aperture International Co., Ltd. Hybrid image correction for dual-aperture camera
WO2016137238A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co., Ltd. Processing multi-aperture image data
US20160255334A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Generating an improved depth map using a multi-aperture imaging system
US20160255323A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
US9712809B2 (en) 2015-05-22 2017-07-18 Intel Corporation Integrated digital camera platform with NIR apodization filter for enhanced depth sensing and image processing
DE102015215837A1 (de) * 2015-08-19 2017-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Verfahren zum Herstellen derselben und Abbildungssystem
KR102374116B1 (ko) * 2015-09-30 2022-03-11 삼성전자주식회사 전자 장치
US9456195B1 (en) 2015-10-08 2016-09-27 Dual Aperture International Co. Ltd. Application programming interface for multi-aperture imaging systems
TWI577971B (zh) * 2015-10-22 2017-04-11 原相科技股份有限公司 雙孔徑測距系統
US20170140221A1 (en) * 2015-11-13 2017-05-18 Intel Corporation Dual function camera for infrared and visible light with electrically-controlled filters
US10051263B2 (en) * 2015-11-23 2018-08-14 Center For Integrated Smart Sensors Foundation Multi-aperture camera system using scan line processing
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
KR101684194B1 (ko) * 2015-12-17 2016-12-07 재단법인 다차원 스마트 아이티 융합시스템 연구단 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
CN105635548A (zh) * 2016-03-29 2016-06-01 联想(北京)有限公司 一种摄像模组
EP3343894B1 (en) 2016-12-28 2018-10-31 Axis AB Ir-filter arrangement
EP3343897B1 (en) 2016-12-28 2019-08-21 Axis AB Camera and method of producing color images
EP3422700B1 (en) * 2017-06-29 2021-03-10 Axis AB A method for enhancing color images, and an assembly performing such method
EP3343287B1 (en) 2016-12-28 2018-11-21 Axis AB A method for sequential control of ir-filter, and an assembly performing such method
KR102635884B1 (ko) 2018-10-31 2024-02-14 삼성전자주식회사 조리개를 포함하는 카메라 모듈
DE102019204075B4 (de) * 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
CN115128799B (zh) * 2020-02-18 2023-04-25 中国人民解放军陆军工程大学 多孔径单探测器光学成像系统
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
CN116529785A (zh) * 2020-11-23 2023-08-01 指纹卡安娜卡敦知识产权有限公司 包括滤光器的生物特征成像装置和使用生物特征成像装置进行成像的方法
US11606517B1 (en) 2021-06-07 2023-03-14 Waymo Llc Enhanced depth of focus cameras using variable apertures and pixel binning

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2921509A (en) * 1955-10-24 1960-01-19 Freund Karl Multiple exposure camera
US4965840A (en) 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
JP3614898B2 (ja) 1994-11-08 2005-01-26 富士写真フイルム株式会社 写真撮影装置、画像処理装置及び立体写真作成方法
US5814803A (en) * 1994-12-23 1998-09-29 Spectra-Physics Scanning Systems, Inc. Image reader with multi-focus lens
US7006132B2 (en) * 1998-02-25 2006-02-28 California Institute Of Technology Aperture coded camera for three dimensional imaging
US7683926B2 (en) * 1999-02-25 2010-03-23 Visionsense Ltd. Optical device
US8248457B2 (en) * 1999-02-25 2012-08-21 Visionsense, Ltd. Optical device
JP4020527B2 (ja) * 1999-03-16 2007-12-12 オリンパス株式会社 電子カメラ
SE518050C2 (sv) 2000-12-22 2002-08-20 Afsenius Sven Aake Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild
JP2002344999A (ja) * 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
US7224540B2 (en) * 2005-01-31 2007-05-29 Datalogic Scanning, Inc. Extended depth of field imaging system using chromatic aberration
US7577309B2 (en) * 2005-06-18 2009-08-18 Muralidhara Subbarao Direct vision sensor for 3D computer vision, digital imaging, and digital video
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
JP2007139893A (ja) 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
JP4147273B2 (ja) * 2006-01-20 2008-09-10 松下電器産業株式会社 複眼方式のカメラモジュール及びその製造方法
US7819591B2 (en) * 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging
US7372642B2 (en) * 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
CN101390131B (zh) 2006-02-27 2013-03-13 皇家飞利浦电子股份有限公司 呈现输出图像
JP5315574B2 (ja) * 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
WO2008127685A1 (en) * 2007-04-13 2008-10-23 John Kesterson Filter assembly and image enhancement system for a surveillance camera and method of using the same
JP4359855B2 (ja) 2007-07-09 2009-11-11 Ｓｍｃ株式会社 電磁弁駆動回路及び電磁弁
US20090015681A1 (en) * 2007-07-12 2009-01-15 Sony Ericsson Mobile Communications Ab Multipoint autofocus for adjusting depth of field
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US20090159799A1 (en) 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
US8824833B2 (en) * 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
JP2009232348A (ja) 2008-03-25 2009-10-08 Nikon Corp 撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法
US8958539B2 (en) * 2008-04-23 2015-02-17 Centurylink Intellectual Property Llc System and method for network based call transfers
EP4336447A1 (en) * 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
US8558940B2 (en) * 2008-11-27 2013-10-15 Nikon Corporation Image sensor and image-capturing device
US8830377B2 (en) * 2010-01-04 2014-09-09 Duke University Monocentric lens-based multi-scale optical systems and methods of use
EP2380345B1 (en) 2009-01-16 2016-10-26 Dual Aperture International Co. Ltd. Improving the depth of field in an imaging system
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5670456B2 (ja) 2009-08-25 2015-02-18 アイピーリンク・リミテッド カラー画像のノイズを低減すること
EP2537332A1 (en) 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9247238B2 (en) * 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8749636B2 (en) * 2011-07-12 2014-06-10 Lockheed Martin Corporation Passive multi-band aperture filters and cameras therefrom
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US9264676B2 (en) * 2012-01-06 2016-02-16 Microsoft Technology Licensing, Llc Broadband imager

Also Published As

Publication number Publication date
US20130033578A1 (en) 2013-02-07
WO2011101036A1 (en) 2011-08-25
US9495751B2 (en) 2016-11-15
EP2537345A1 (en) 2012-12-26
JP5670481B2 (ja) 2015-02-18
JP2013520855A (ja) 2013-06-06
CN103229509A (zh) 2013-07-31

Similar Documents

Publication Publication Date Title
CN103229509B (zh) 处理多孔径像数据
CN103210641B (zh) 处理多孔径像数据
CN103250405B (zh) 用于多孔径成像的闪光系统
US20160042522A1 (en) Processing Multi-Aperture Image Data
US9615030B2 (en) Luminance source selection in a multi-lens camera
US20160286199A1 (en) Processing Multi-Aperture Image Data for a Compound Imaging System
US9871980B2 (en) Multi-zone imaging sensor and lens array
CN105917641B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9721344B2 (en) Multi-aperture depth map using partial blurring
EP2664153B1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US9077916B2 (en) Improving the depth of field in an imaging system
US8363093B2 (en) Stereoscopic imaging using split complementary color filters
US20110018993A1 (en) Ranging apparatus using split complementary color filters
JP2017118293A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DUAL APERTURE INTERNATIONAL CO., LTD.

Free format text: FORMER OWNER: DUAL APERTURE INC.

Effective date: 20150421

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150421

Address after: Daejeon

Applicant after: Two aperture International Co., Ltd

Address before: American California

Applicant before: Dual Aperture Inc.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

Termination date: 20190219

CF01 Termination of patent right due to non-payment of annual fee