CN102768412B - 红外成像系统和操作方法 - Google Patents

红外成像系统和操作方法 Download PDF

Info

Publication number
CN102768412B
CN102768412B CN201210137558.5A CN201210137558A CN102768412B CN 102768412 B CN102768412 B CN 102768412B CN 201210137558 A CN201210137558 A CN 201210137558A CN 102768412 B CN102768412 B CN 102768412B
Authority
CN
China
Prior art keywords
picture signal
image
mtf
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210137558.5A
Other languages
English (en)
Other versions
CN102768412A (zh
Inventor
穆罕默德·阿蒂夫
穆罕默德·西迪奎
克利斯汀·昂鲁
马库斯·凯姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102768412A publication Critical patent/CN102768412A/zh
Application granted granted Critical
Publication of CN102768412B publication Critical patent/CN102768412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/005—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for correction of secondary colour or higher-order chromatic aberrations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G02B27/4211—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant correcting chromatic aberrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation

Abstract

本发明涉及红外成像系统和操作方法。透镜单元(120)表现出纵向色差，并在第一焦平面中将被成像场景聚焦成针对红外范围的第一图像，在第二焦平面中将其聚焦成针对可见范围的第二图像。光学元件(150)对被赋予第一和第二图像的调制传递函数进行操纵以延伸视场深度。图像处理单元(200)可以放大第一和第二图像中的调制传递函数对比度。更改焦平面之间的焦点偏移可以得到补偿。在针对RGBIR传感器的传统途径中，对于同一场景同时提供传统图像和红外图像，红外图像严重离焦；本发明的途径提供了以延伸的视场深度进行成像，以校正对于红外辐射的离焦问题。可以在没有任何复消色差镜头的情况下实现成像系统。

Description

红外成像系统和操作方法
技术领域
本发明涉及红外成像技术的领域。一种实施例涉及成像系统，该系统包括具有纵向色差的、未完全受到色彩校正的透镜单元，并包括用于进行捕获后的数字式图像处理的图像处理单元。另一实施例涉及对具有红外成像系统的电子设备进行操作的方法，该系统包括具有纵向色差的、未完全受到色彩校正的透镜单元。
背景技术
Jeong-Ho Lyu等人在"IR/Color Composite Image Sensor with VIP(Vertically Integrated Photodiode Structure)",Proceedings of 2007International Image Sensors Workshop,Pages 267-270,2007中描述了一种具有红外敏感光电二极管的图像传感器，这些光电二极管在衬底中埋在传统的光电二极管下方。通过这种图像传感器，不再需要IR(红外)截止滤波器。US2007/0145273A1涉及红外彩色相机，在这些相机中，可见的和非可见的光谱能量选择性地经过色彩滤波器阵列。非可见的光谱能量的空间分布被映射到经校正的彩色图像中可见光谱能量的空间分布。
F.Guichard等人在"Extended Depth-of-Field using Sharpness Transportacross Colour Channels",SPIE,Proceedings of Electronic Imaging,2009中涉及到一种以延伸的视场深度(depth of field)获得图像的方法，在该方法中，对于给定的物距，RGB图像的至少一个色彩平面包含准焦(in-focus)场景信息。Oliver Cossairt等人在"Spectral Focal Sweep:Extended Depth of Field from Chromatic Aberrations",IEEEInternational Conference on Computational Photography(ICCP),March 2010中提供了一种光谱焦点扫描相机，该相机对用具有大的纵向色差的透镜获得的二进制图像展开卷积，从而以经扩展的视场深度恢复图像。Shen.C.H和Chen,HH在"Robust focus measurefor low-contrast images",International Conference on Consumer Electronics(ICCE),2006中提出了使用离散余弦变换能量措施来评估焦点和锐度(sharpness)信息。
Manu Parmar和Brian Wandell在"Interleaved Imaging:An Imaging SystemDesign Inspired by Rod-Con Vision",Proceedings of SPIE,2009中提出了一种成像架构，该架构由高灵敏度单色像素组来获得灰度图像并由低灵敏度三色像素组来获得彩色图像。在低光照情况下，输出图像的空间信息主要是从灰度图像导出，而在高灵敏度像素已饱和的适光(photopic)条件下，输出图像只由彩色图像导出。在过渡光(mesopic)条件下，输出图像由彩色和灰度图像这二者导出，其中，通过使用距离函数和相似度函数把相邻像素值考虑在内，来更新每个像素值。相似度函数提供了既来自各个色彩图像又来自灰度图像的信息，其中，灰度信息的权重是由相邻像素(当前正在评估该像素的距离和相似度)周围的图像片中已饱和的像素的一部分来确定的。
Josep Garcia等人在"Chromatic aberration and depth extraction",Proceedings of 15th International Conference on Pattern Recognition,Pages762-765,2000中描述了一种方法，用于提取由色差造成的深度信息以导出自动聚焦信息。S.Chung等人在"Removing Chromatic Aberration by Digital Image Processing",Optical Engineering,Vol.49(6),June 2010中提出了通过对不表现出色差的那些边缘的色彩行为进行分析以评估对于色差信号的范围限制，来消除色差。违反了范围限制条件的像素值被识别成由色差造成的彩色条纹，并由被允许的值来代替。Anat Levin等人在"Image and depth from a conventional camera with a coded aperture",ACMTransactions on Graphics–Proceedings of ACM SIGGRAPH 2007,Volume 26,Issue 3,July2007中描述了使用经过编码的孔径并利用与孔径形状有关的信息来获得深度信息。
发明内容
本发明的一个目的是提供一种增强的红外成像系统，用于对图像成分中的至少一种(例如对于红外图像成分)获得扩展的视场深度。该目的是通过独立权利要求的主题来实现的。从属权利要求中分别限定了进一步的实施例。通过下文结合附图对实施例进行的说明，可以更加了解本发明的细节和优点。各个实施例的特征可以组合，除非它们彼此排斥。
附图说明
图1A是根据本发明一种实施例的成像系统的示意性框图，该系统包括具有纵向色差的、未受到色彩校正的透镜单元。
图1B示出了用于理解图1A的成像系统工作原理的调制传递函数。
图1C示出了用于理解图1A的图像处理单元工作原理的滤波器和调制传递函数。
图2A是根据本发明一种实施例的成像系统的成像单元的示意性剖视图。
图2B是根据关于具有仅一个传感器平面的成像传感器单元的实施例的成像单元的示意性剖视图。
图2C是根据一种实施例的彩色滤波器单元的示意性平面图。
图2D是关于包括相位元件的成像系统的实施例的成像系统的成像单元的示意性剖视图。
图2E是关于包括双折射元件的成像系统的实施例的成像系统的成像单元的示意性剖视图。
图2F是根据本发明一种实施例的双折射元件的示意性俯视图。
图2G是根据一种实施例(关于包括孔径元件的成像系统的实施例)的成像单元的示意性剖视图。
图2H是根据本发明一种实施例的孔径元件的示意性俯视图。
图3A是根据一种实施例的成像处理单元的示意性框图，该实施例在每个图像信号路径中都提供逆滤波器。
图3B示出的示意图图示了图3A的图像处理单元的功能。
图4A是根据一种实施例的图像处理单元的示意性框图，该实施例提供了对于图像信号的加权总和信号有效的逆滤波器。
图4B示出的示意图图示了图4A的图像处理单元的功能。
图5A是根据一种实施例的图像处理单元的示意性框图，该实施例在每个图像信号路径中提供了逆滤波器，并在成像系统中提供了相位元件。
图5B示出的示意图图示了图5A的图像处理单元的功能。
图6是根据一种实施例的图像处理单元的示意性框图，该实施例在成像系统中提供了孔径元件。
图7是根据关于对红外传感器延伸视场深度的实施例对具有成像系统的电子设备进行操作的方法的简化流程图。
具体实施方式
为了简化对本文的阅读，作为约定，我们将把可见和红外(IR)辐射光谱的任何子范围称为“色彩”。尤其是，我们将把IR也称为一种色彩，尽管这种命名方式从人类视觉的角度来看是不正确的。例如，仅透射IR光谱范围中的辐射的滤波器也将被称为“色彩滤波器”。
图1示出了具有成像单元100的成像系统400。成像系统400可以是移动相机系统或静止相机系统(例如监视(surveillance)相机系统、用于诊断或外科手术方法的相机、制造工艺控制系统中嵌入的相机、数字式显微镜、数字式望远镜、或者针对消费应用和专业应用的静态照相机和视频摄像机、以及为进行遥控或游戏应用而对手势或姿势进行检测的相机)的一部分。根据其他实施例，该成像系统一体集成在包括相机系统的手持式设备中，该设备例如蜂窝电话、个人数字助理、或者音乐播放器。
成像单元100包括孔径单元110，孔径单元被布置成使得经过孔径单元110的孔径的辐射经过透镜单元120并入射到成像传感器单元140上。孔径单元110也可以位于透镜单元120内部，尤其是在透镜单元120的光瞳平面(pupil plane)的位置处。
透镜单元120可以是单透镜、微透镜阵列、或者包括多个透镜的透镜组件。透镜单元120以纵向色差为特征，成像单元100不包含对该纵向(轴向)色差进行补偿以生成受到色彩校正的图像的元件。例如，透镜单元120是由色散材料(例如玻璃或塑料)形成的复合透镜，在该材料中，折射率是以入射光的波长为变量的函数，使得焦距作为以波长为变量的函数而变化。例如，透镜单元120把红外辐射成像在第一焦平面FIR中，把可见的红色光成像在焦平面FR中，把绿色光成像在焦平面FG中，并把蓝色光成像在焦平面FB中。
根据一种实施例，透镜单元120可以包括补偿元件，该元件对于球差和/或与视场有关的相差进行补偿，使得透镜单元120不表现出(或者仅表现出可忽略的量)球差和与视场有关的相差。
成像传感器单元140包括多个像素传感器，其中，每个像素传感器包含光电传感器，光电传感器用于把光电信号从入射辐射转换成电子信号。成像传感器单元140以数字化的形式输出图像信号，该图像信号包含成像传感器单元140的全部像素传感器的像素值。
成像单元100可以提供灰度图像和红外图像。根据其他实施例，色彩滤波器单元130可以被布置在透镜单元120与成像传感器单元140之间。色彩滤波器单元130可以包括多个色彩滤波器部分，其中，每个色彩滤波器部分具有滤波器色彩，例如蓝色、红色、绿色、白色或IR(红外)。每个色彩滤波器部分可以被赋予仅一个像素传感器，使得每个像素传感器接收特定色彩的图像信息。成像传感器单元140输出两个、三个、四个或更多个不同的子图像，其中，每个子图像包含关于输入辐射的具体频率范围的图像信息，至少一个子图像描述了被成像场景的红外部分。
成像传感器单元140从被成像场景捕获第一图像信号以及至少一个第二图像信号，第一图像信号信号描述的图像由红外频率范围组成，或者包含红外频率范围的至少一部分，第二图像信号描述包含可见光或由可见光组成的第二图像。成像传感器单元140可以捕获一个、两个、三个或者更多个未受到色彩校正的第二图像，这些第二图像具有不同的光谱内容或组分。例如，第二图像可以包括使用滤波器色彩“红色”的“红色”图像、使用滤波器色彩“蓝色”的“蓝色”图像、以及使用滤波器色彩“绿色”的“绿色”图像。第二图像信号也可以描述具有重叠光谱内容的图像。例如，成像传感器单元140可以包括宽敏感带的像素传感器，这些传感器被赋予宽带色彩滤波器部分，滤波器色彩“白色”对于整个可见光谱近似透明。下文中，第一和第二图像信号被称为第一和第二色彩平面，或者第一和第二图像。这些第二图像中的一个可以是灰度图像，包含了整个可见光谱范围上的信息。
成像系统还包括光学元件150，该元件通过使第一图像的视场深度延伸的方式来对由第一图像信号描述的第一图像的第一MTF(调制传递函数)进行操纵。例如，光学元件150把赋予第一图像的MTF曲线抬升。根据一种实施例，光学元件150被设计成把被赋予第一图像的MTF曲线的值偏移到更高的值(把MTF曲线“抬升”)，使得表现出零值的最低空间频率接近或者超过乃奎斯特频率极限。
光学元件150被布置在成像系统的光路中。通常，光学元件150通过把对于第一图像的第一MTF对比度(contrast)抬升，反过来也对于被赋予可见光谱的这些第二图像中的至少一个图像降低了第二MTF对比度。根据一种实施例，光学元件150被涉及来操纵第一图像，使得从零直至乃奎斯特频率极限的频率范围中，第二MTF对比度都不表现出零值。
图像处理单元200接收第一和第二图像信号，并且例如基于第一和第二图像信号来计算经修改的输出图像信号，其中，输出图像信号包含了与被成像场景有关的信息，并且，与在没有光学元件150的情况下生成的第一图像信号或至少一个第二图像信号的视场深度相比，对于红外和/或可见范围展现出经扩展的视场深度。根据一种实施例，图像处理单元200通过逆滤波处理，来对第一图像信号和/或至少一个第二图像信号中的调制传递函数对比度进行放大。
图1B在左侧一栏示出了在没有光学元件的成像系统中对于绿色(G)和红外(IR)辐射的典型调制传递函数，并在右侧一栏视场了使用上述光学元件150获得的对于绿色(G)和红外(IR)辐射的典型调制传递函数。光学元件150增大了对于红外图像的MTF的值，使得在零与乃奎斯特频率极限之间的频率范围内不出现零值。进而，对于绿色图像的MTF的值可以被降低，其中，这种降低使得对于绿色图像的MTF仍然在零与乃奎斯特频率之间的频率范围内不表现出零。只要MTF曲线不在某个频率处变成零，高于该频率的图像信号就不会全部丢失，图像信息就可以用合适的图像处理技术(例如逆滤波)来恢复。
逆滤波处理把MTF对比度放大，但是同时也把图像中存在的噪声放大。根据一种实施例，对图像中的噪声水平进行测量，并且，与包含较高噪声水平的图像相比，对于低噪声图像施加较高的滤波器增益。成像系统可以被设计成在包括红外通道在内的全部的色彩通道中具有低的MTF，但是在这些色彩通道的任一者中，在零与乃奎斯特频率极限之间的频率范围中都没有零MTF。光学元件150被用来使MTF偏移，使它们满足这些要求。
如图1C所示，图像处理单元200可以把光学元件150对于其他色彩通道可能具有的不利效果衰减。根据所示的实施例，图像处理单元200通过逆滤波器对于各个色彩通道施加逆滤波。根据另一实施例，图像处理单元200可以对于全部色彩通道一起施加一个共用的逆滤波器。每个逆滤波器可以是空间可变的(space-variant)，以对这些MTF的位置依赖关系进行平衡(例如相对于图像中心的距离)。
如图1A进一步示出的，经修改的图像可以被储存在成像系统400的非易失性存储器310中，例如作为代表彩色图像的一组数字式值，或者作为两组数字式值，其中第一组可以代表与被捕获的图像的红外内容有关的灰度图像而第二组可以代表深度图。非易失性存储器310可以是相机系统的存储卡。替代地或者另外地，经修改的图像可以被显示在成像系统400的显示设备上，或者可以通过有线或无线通信通道而输出到与成像系统400相连的另一系统，可以被提供给处理系统或处理应用以对红外图像中包含的信息进行进一步处理。
图2A涉及根据一种实施例的成像单元100的示意图剖视图。成像单元100可以包括孔径单元110，其中，在曝光周期中，对场景或物体的图像进行描述的辐射经过孔径单元110的孔径115以及透镜单元120，并入射到成像传感器单元140上。成像传感器单元140包括第一像素传感器组143和第二像素传感器组145。根据一种实施例，第一像素传感器组143被布置在第一传感器平面中，第二像素传感器组145被布置在第二传感器平面中，该平面与第一传感器平面隔开，例如隔开约500nm至3000nm。根据另一实施例，第一和第二传感器平面是共面的。
每个像素传感器包含光电传感器，光电传感器把光电信号从入射辐射转换到电子信号。这些像素传感器可以被形成在半导体衬底中。例如，成像传感器单元140可以具有垂直集成(vertically integrated)光电二极管结构，其中，深光电二极管在衬底部分中形成于表面光电二极管下方几微米处，表面光电二极管被形成为与半导体衬底的衬底表面相邻。可见光在半导体衬底的表面部分被吸收，而红外辐射较深地穿透到半导体衬底中。结果，深光电二极管只接收红外辐射。在另一示例中，成像传感器单元140可以具有横向集成(lateral integrated)光电二极管结构，多个光电二极管布置成阵列。
成像单元100可以包括色彩滤波器单元130，色彩滤波器单元可以被布置成与成像传感器单元140紧密接触。色彩滤波器单元130可以包括多个色彩滤波器部分135，其中，每个色彩滤波器部分135具有滤波器色彩，例如绿色、红色、蓝色、品红(magenta)、黄色、白色或IR。每个色彩滤波器部分135被赋予仅一个像素传感器145，使得第二像素传感器组145的每个像素传感器接收特定色彩的图像信息。例如，色彩滤波器部分135可以被按照行列布置成矩阵状。被赋予不同滤波器色彩的色彩滤波器部分135可以沿着行方向和列方向规则地交替。例如，形成2×2矩阵的每四个色彩滤波器部分135可以被布置成形成Bayer马赛克图案，其中，具有滤波器色彩“绿色”的色彩滤波器部分135被布置在2×2矩阵的第一对角线上，而具有滤波器色彩“红色”的一个色彩滤波器部分135和具有滤波器色彩“蓝色”的一个色彩滤波器部分135被布置在2×2矩阵的另一对角线上。通过Bayer马赛克图案，对于滤波器色彩“绿色”的采样率是滤波器色彩“红色”和“蓝色”的采样率的两倍以把下述情况考虑在内：对于人眼而言，绿色携带了大多数亮度(luminance)信息。
根据另一实施例，色彩滤波器部分135可以被布置成形成RGBE马赛克图案(其中“翠绿(Emerald)”作为第四滤波器色彩)、CYYM马赛克图案(具有一个青色、两个黄色和一个品红色滤波器部分135)、或者CYGM马赛克图案(具有一个青色、一个黄色、一个绿色和一个品红色滤波器部分135)，滤波器部分135被布置成2×2的单位矩阵，色彩滤波器单元130中重复地布置多个单位矩阵。根据另一实施例，色彩滤波器单元130包括单位矩阵的马赛克图案，单位矩阵具有三种不同滤波器色彩的三个色彩滤波器部分以及不具有色彩滤波特性、并对于可见光谱内的全部色彩透明的一个透明滤波器部分。这些透明的和彩色的滤波器部分135可以被布置成形成例如RGBW马赛克图案，例如4×4或者2×4的RGBW马赛克图案。
红外辐射可以在各个色彩滤波器部分135之间对于红外辐射透明的部分133中经过色彩滤波器单元130。根据一种实施例，色彩滤波器130包含至少一个对于红外辐射透明的色彩滤波器部分类型。例如，色彩滤波器130是RGBIR滤波器，其中，每个2×2的单位矩阵包含一个红色、一个绿色、一个蓝色和一个红外色彩滤波器部分135，并且多个单位矩阵被规则地布置以形成马赛克图案。根据其他实施例，色彩滤波器单元130不包括被赋予深光电二极管的部分，因为色彩滤波器部分135可以对于红外辐射的一部分频率范围透明。
透镜单元120可以由物镜实现，包括几个单独的透镜，适于把物空间的物体成像到传感器平面。由于色差，每个彩色图像蓝色、绿色、红色和红外将聚焦在处于不同距离的另一焦平面中。在关于具有两个或更多个传感器平面的成像传感器单元的实施例中，针对红外辐射的第一焦平面与被赋予可见光的任何第二焦平面之间的距离不与第一、第二传感器平面之间的垂直距离相匹配。结果，在此情况下，当红外图像和针对可见光的图像都被同时捕获时，第一和第二图像中的至少一者也严重地离焦(out of focus)。
成像传感器单元140输出第一图像和至少一个第二图像，第一图像针对被成像场景的红外内容，第二图像在可见光谱范围中描述被成像场景。光学元件150被布置在光路中。光学元件150对第一图像的MTF进行修改以获得具有延伸的视场深度的第一图像。
图2B关于根据具有仅一个传感器平面的实施例的成像单元100的示意性剖视图。成像单元100可以包括孔径单元110，其中，在曝光期间，对场景或物体的图像进行描述的辐射经过孔径单元110的孔径115和透镜单元120，并入射到成像传感器单元140上。成像传感器单元140包括像素传感器组146。根据一种实施例，像素传感器组146被布置在一个共用的传感器平面中。光学元件150对第一图像的MTF进行修改以获得具有延伸的视场深度的第一图像。
图2C涉及另一实施例，其中，色彩滤波器单元130的色彩滤波器部分135可以形成以“红外”作为第四滤波器色彩并布置成2×2单位矩阵的R-G-B-IR马赛克图案。这四种色彩R、G、B和IR可以在2×2单位矩阵内按照任何排列方式布置。色彩滤波器单元130可以被集成到图2B的成像单元100中。
在图2D的成像单元100中，光学元件是相位元件152，该元件适于针对包括透镜单元120和相位元件152的成像系统100获得或者近似深度不变(depth-invariant)的PSF(点扩散函数)。用通过施加几乎深度不变的PSF而设计的逆滤波器来对被成像信号进行卷积造成了近似于全准焦的图像。对成像系统100的PSF进行调谐，使该PSF在足够大的视场深度上是不变的，这种情况能够减小透镜单元120的纵向色差以及第一图像和第二图像之间的焦点偏移的效果。也可以不用相位元件152，而是用双折射元件153或者孔径滤波器元件154。
图2E涉及一种实施例，其中，光学元件是双折射元件153，该元件在成像单元100的光路中布置在透镜单元120的光瞳平面中。双折射元件153被设计成对被赋予第一图像的第一调制传递函数进行修改，以扩展第一图像的视场深度，其中，被赋予第一图像信号和/或至少一个第二图像信号的调制传递函数在直至乃奎斯特频率极限的频率范围中没有零值。双折射元件153可以包括双折射材料，例如液晶聚合物层。液晶聚合物层可以被形成在载体衬底上。液晶的单轴(uniaxial)轴线的方向大致平行于双折射元件153的表面，其中，双折射元件153被布置成使表面与成像单元100的光路正交。在表面中，单轴轴线的方向对于整个所述双折射元件153而言是变化的。也可以使用相位元件152或者孔径滤波器元件154而不使用双折射元件153。
图2F图示了图2E的双折射元件153的一种实施例。根据该实施例，双折射元件153被划分成多个区153a、153b、153c，其中，在这些区153a、153b和153c中的至少两个区中，单轴轴线的方向彼此不同。区153a、153b、153c可以呈现不同的集合形状。根据一种实施例，这些区中除了一个之外的区153b、153c是同心的环形，围绕着圆形的中心区153a。
除了图2D的相位元件152，或者代替该元件，图2G的成像系统包括孔径元件154。孔径元件154可以是支撑着图案的载体，该图案具有不同透射性的结构。孔径元件154可以用来对被赋予第一图像的第一调制传递函数进行修改，以延伸第一图像的视场深度，其中，被赋予第一图像信号和/或至少一个第二图像信号的调制传递函数在直至乃奎斯特频率极限的频率范围中没有零值。孔径元件154可以被布置在成像单元100的透镜单元120的光瞳平面中。
图2H示出了孔径元件154的细节。根据一种实施例，孔径元件154的图案包括透明结构154a和不透明结构154b。根据另一实施例，这些结构中的至少一些结构是板透明的，透射率在0％与100％之间。这些结构可以呈现任何集合形状，并且可以布置成适于以所需方式对MTF进行修改的任何顺序。根据一种实施例，这些部分的透射率取决于光的波长。
图3A示出了使用第一图像信号IR和至少一个第二图像信号中包含的信息的图像处理单元200，第一图像信号代表了包含红外辐射的频率范围中的图像场景，第二图像信号例如是代表包含红色光的频率范围中的图像场景的第二图像信号R、代表包含绿色光的频率范围中的图像场景的另一第二图像信号G、以及代表包含蓝色光的频率范围中的图像场景的另一第二图像信号B。图像处理单元200包括逆滤波器单元205。每个逆滤波器单元205被赋予由成像单元100输出的图像信号中的一个信号。每个逆滤波器单元205是线性空间滤波器，其滤波器函数是针对相应图像信号的模糊(blurring)函数的频率响应的逆。由于每个图像信号受到另一散焦(defocus)，所以这些逆滤波器单元205代表不同的滤波器函数。
图3B在左侧示出了光学MTF(调制传递函数)的示意图，这些光学MTF代表了用基于RGBIR成像传感器的成像系统获得的被成像场景的图像信号R、G、B、IR。该图在中间那栏示意性地图示了对于逆滤波器单元205事先已知的逆滤波器函数。该图在右侧示出了所得的光学－数字式MTF曲线。
根据图4A的实施例，图像处理单元200通过从第一和第二图像信号生成强度信号，来使用第一图像信号和所述至少一个第二图像信号中包含的信息。图像处理单元200可以包括加权单元208，用于以预定的系数CB、CR、CG、CIR对各个图像信号进行加权。求和单元203可以把经过加权的图像信号叠加或相加，以获得强度信号。逆滤波器单元205向强度信号施加用于强度信号的预定逆滤波器函数。这些系数和/或逆滤波器函数可以从透镜数据事先计算出来。
图4B在左侧示出了从使用基于RGBIR成像传感器的成像系统获得的被成像场景导出的强度信号的MTF的示意图。该图在中间示意性地图示了用于逆滤波器单元205的事先已知的/自适应的逆滤波器函数。该图在右侧示出了所得的用于强度信号的光学－数字式MTF曲线。由于不处理色度，所以这种途径与使用各个逆滤波器函数的那些实施例相比，不易受到的彩色噪声增强的影响。
图5A涉及在图2D和图2E所示的成像系统的光路中使用相位元件或双折射元件以在某个范围上获得深度不变的PSF的实施例。图像处理单元200包括逆滤波器单元205，其中，每个逆滤波器单元205向由成像单元100输出的相应图像信号施加相同的逆滤波器函数。逆滤波器函数是基于对于包含相位元件或双折射元件的图像系统所获得的PSF而设计的，使得获得全准焦的图像。
图5B在左侧示出了示意图，这些光学MTF代表了用基于RGBIR成像传感器但没有任何相位元件的成像系统获得的被成像场景的图像信号R、G、B、IR。第二栏的示意图示意性地图示了使用相位元件所得的MTF。在没有相位元件的情况下，针对绿色平面的MTF曲线在很宽的空间频率范围上具有显著的幅度，而全部的其他MTF曲线迅速下降到零。结果，只有对于绿色色彩的图像信号会聚焦在传感器平面中，而其他色彩会聚焦在其他焦平面不同距离处。相位元件的效果是略微降低了对于绿色色彩的MTF，同时显著把其他色彩的MTF曲线抬升到零以上。如第三栏所示，各个逆滤波器函数由逆滤波器单元205施加于各个图像信号，以事先目标光学－数字式MTF曲线。该图在右侧示出了在成像处理单元200的输出处所得的光学－数字式MTF曲线。
图6涉及一种具有图像处理单元200的实施例，该单元包括计算单元209，计算单元被配置成基于图2G所示的孔径元件的孔径形状来计算全准焦图像。
在上述各个实施例中，图像处理单元200的全部元件可以仅由硬件实现(例如以集成电路、FPGA(现场可编程门阵列)、ASIC(专用集成电路)的方式)，仅由软件实现(例如可以在计算机程序中或者微控制器存储器中实现)、或者由硬件和软件要素组合实现。根据一种实施例，图像处理单元200被集成在集成电路中。
图7涉及对电子设备进行操作的方法，该电子设备具有表现出纵向色差的成像系统。通过使用布置在成像单元的光路中的光学元件，被赋予第一图像的第一调制传递函数受到操纵以扩展第一图像的视场深度(702)，其中第一图像在包含了红外范围的第一频率范围中描述被成像场景。从被成像场景生成第一图像信号以及至少一个第二图像信号(704)，其中第一图像信号描述第一图像，第二图像信号在包含了可见范围的第二频率范围中对被成像场景进行成像。图像信号处理提供了输出图像信号，该信号包含了红外和/或可见频率范围中与被成像场景有关的信息。
根据一种实施例，图像信号处理通过逆滤波处理来对第一图像信号和/或至少一个第二图像信号中的调制传递函数进行放大，以补偿光学元件对第二图像的不利效果。
在被成像场景对于第一频率范围被聚焦在第一焦平面处并对于第二频率范围被聚焦在第二焦平面处的情况下，输出图像信号的经延伸的视场深度可以对于由第一、第二焦平面之间的距离所造成的焦点偏移进行补偿。
在针对RGBIR传感器的传统途径中，这些传感器对于同一场景同时地提供可见范围中的传统图像以及IR图像，IR图像严重地离焦；本发明的途径提供了全准焦方式的成像或以经延伸的视场深度进行成像，以校正对于红外辐射以及可见范围中的辐射的离焦模糊问题。这种成像系统能够在没有任何复消色差(apochromatic)镜头的情况下实现。

Claims (27)

1.一种成像系统，包括：
成像单元(100)，其包括：
透镜单元(120)，其表现出纵向色差，
成像传感器单元(140)，其被配置成从场景生成第一图像信号和至少一个第二图像信号，所述第一图像信号在包含红外范围的第一波长范围中对所述场景进行成像，所述第二图像信号在包含可见范围的第二波长范围中对所述场景进行成像，和
光学元件(150)，其被配置成通过将第一调制传递函数的值中的至少部分值偏移至更高的值，对被赋予在所述第一波长范围成像所述场景的所述第一图像信号的所述第一调制传递函数进行操纵，以延伸所述第一图像信号的视场深度，
使得所述第一调制传递函数的值直至指定空间频率极限没有零值，并且使得被赋予所述至少一个第二图像信号的至少一个第二调制传递函数的值直至所述指定空间频率极限没有零值，以及
图像处理单元(200)，其被配置成计算输出图像信号，所述输出图像信号包含所述红外范围和/或所述可见范围中与所述场景有关的信息。
2.根据权利要求1所述的成像系统，其中，
所述光学元件(150)被配置成对被赋予所述第一图像信号的第一调制传递函数和/或被赋予所述至少一个第二图像信号的第二调制传递函数进行操纵，使得全部的调制传递函数在直至目标频率极限的频率范围内没有零值。
3.根据权利要求1所述的成像系统，其中，
所述图像处理单元(200)被配置成通过逆滤波处理来放大所述第一图像信号和/或至少一个第二图像信号的调制传递函数。
4.根据权利要求1所述的成像系统，其中，
所述图像处理单元(200)包括至少一个逆滤波器单元(205)，所述逆滤波器单元(205)被配置成用滤波器函数对所述第一图像信号和所述第二图像 信号中的至少一项进行滤波，所述滤波器函数表示对所述成像单元(100)进行描述的点扩散函数的逆。
5.根据权利要求4所述的成像系统，其中，
所述至少一个逆滤波器单元(205)被配置成施加下述空间滤波器函数：该函数的频率响应是对所述成像单元(100)的成像特性进行描述的模糊函数的频率响应的逆。
6.根据权利要求1所述的成像系统，其中，
所述图像处理单元(200)包括多于一个逆滤波器单元，每个逆滤波器单元被赋予所述第一图像信号和第二图像信号中的一项。
7.根据权利要求1所述的成像系统，其中，
所述图像处理单元(200)包括一个逆滤波器单元，所述逆滤波器单元被配置成对于把所述第一图像信号和第二图像信号以预定权重进行叠加所获得的强度信号施压逆滤波器函数。
8.根据权利要求4所述的成像系统，其中，
相应的逆滤波器函数是对空间变量调制传递函数进行补偿的空间变量逆滤波器函数。
9.根据权利要求1所述的成像系统，其中，
所述光学元件(150)在所述成像单元(100)的光路中被布置在所述透镜单元(120)的光瞳平面中，所述光学元件(150)被配置成对所述透镜单元(120)的点扩散函数的深度变动进行补偿，以在所述第一波长范围和第二波长范围中对于所述成像单元(100)实现深度不变的点扩散谱。
10.根据权利要求9所述的成像系统，其中，
所述光学元件(150)是相位元件(152)或包括相位元件。
11.根据权利要求9所述的成像系统，其中，
所述光学元件(150)是双折射元件(153)或包括双折射元件。
12.根据权利要求9所述的成像系统，其中，
所述光学元件(150)是孔径元件(154)或包括孔径元件。
13.根据权利要求1所述的成像系统，其中，
所述光学元件(150)在所述成像单元(100)的光路中被布置在所述透镜单元(120)的光瞳平面中，所述光学元件(150)还被配置成使得被赋予所述第一图像信号的第一调制传递函数和/或被赋予所述至少一个第二图像信号的第二调制传递函数在直至目标频率极限的频率范围内没有零值。
14.根据权利要求13所述的成像系统，其中，
所述光学元件(150)是相位元件(152)或包括相位元件。
15.根据权利要求13所述的成像系统，其中，
所述光学元件(150)是双折射元件(153)或包括双折射元件。
16.根据权利要求13所述的成像系统，其中，
所述光学元件(150)是孔径元件(154)或包括孔径元件。
17.根据权利要求15所述的成像系统，其中，
所述双折射元件(153)包括液晶聚合物层，所述液晶的单轴轴线方向大致平行于所述双折射元件(153)的表面，所述双折射元件被布置成使所述表面与所述光路正交，其中，所述表面中的所述单轴轴线的方向对于整个所述双折射元件(153)而言是变化的。
18.根据权利要求17所述的成像系统，其中，
所述双折射元件(153)被划分成多个区(153a、153b、153c)；在至少两个所述区(153a、153b、153c)中，所述单轴轴线的方向彼此不同。
19.根据权利要求1所述的成像系统，其中，
所述光学元件(150)是布置在所述成像单元(100)的光路中并且具有图案的孔径元件(154)，或者包括该孔径元件；所述图案包括光谱透射性不同的多个部分(154a、154b)。
20.一种电子设备，包括根据前述权利要求中任一项所述的成像系统。
21.根据权利要求20所述的电子设备，其中，所述电子设备是从包含下列成员的组中选择的一种：相机系统、数字式望远镜、数字式显微镜、诊断系统、外科手术系统、手持式通信设备和个人数字助理。
22.根据权利要求21所述的电子设备，其中，所述相机系统包括监视 相机、静态照相机或视频摄像机、以及为进行遥控或游戏应用而对手势或姿势进行检测的相机。
23.根据权利要求21所述的电子设备，其中，所述手持式通信设备包括蜂窝电话。
24.一种集成电路，包括：
图像处理单元(200)，其被配置成：基于第一图像信号以及至少一个第二图像信号，或者基于第一图像信号以及图案形状，来计算输出图像信号，所述图案包括透明部分和不透明部分，
所述第一图像信号在包含红外辐射的第一频率范围中对被成像场景进行成像，
所述第二图像信号在包含可见光的第二频率范围中对所述被成像场景进行成像，
所述第一图像信号和所述第二图像信号是从成像单元(100)的成像传感器单元(140)获得的，所述成像单元包括表现出纵向色差的透镜单元(120)，
所述图案被施加在所述成像单元(100)的光路中，并且
所述输出信号包含红外频率范围中与所述被成像场景有关的信息，其中，所述图像处理单元(200)被配置成通过逆滤波处理来对所述第一图像信号和/或至少一个第二图像信号中的调制传递函数对比度进行放大。
25.一种对电子设备进行操作的方法，所述电子设备包括表现出纵向色差的成像单元(100)，所述方法包括：
从场景生成第一图像信号和至少一个第二图像信号，所述第一图像信号在包含红外范围的第一波长范围中对所述场景进行成像，所述第二图像信号在包含可见范围的第二波长范围中对所述场景进行成像，
使用所述成像单元(100)的光路中布置的光学元件(150)，通过将第一调制传递函数的值中的至少部分值偏移至更高的值，对被赋予在所述第一波长范围成像所述场景的所述第一图像信号的所述第一调制传递函数进行操纵，以延伸所述第一图像信号的视场深度，使得所述第一调制传递函数的值直至指定空间频率极限没有零值，并且使得被赋予所述至少一个 第二图像信号的至少一个第二调制传递函数的值直至所述指定空间频率极限没有零值，以及
计算输出图像信号，所述输出图像信号包含所述红外范围和/或可见范围中与所述场景有关的信息。
26.根据权利要求25所述的方法，其中，
用所述光学元件(150)进行操纵的步骤包括：对被赋予所述第一图像信号的第一调制传递函数和/或被赋予所述至少一个第二图像信号的第二调制传递函数进行操纵，使得全部传递函数对比度在直至目标频率极限的频率范围中没有零值。
27.根据权利要求25所述的方法，其中，
计算所述输出图像信号的步骤包括：通过逆滤波处理对所述第一图像信号和/或至少一个第二图像信号中的调制传递函数进行放大。
CN201210137558.5A 2011-05-02 2012-04-25 红外成像系统和操作方法 Active CN102768412B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11003573.0 2011-05-02
EP11003573 2011-05-02

Publications (2)

Publication Number Publication Date
CN102768412A CN102768412A (zh) 2012-11-07
CN102768412B true CN102768412B (zh) 2016-12-14

Family

ID=47089981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210137558.5A Active CN102768412B (zh) 2011-05-02 2012-04-25 红外成像系统和操作方法

Country Status (2)

Country Link
US (3) US9055248B2 (zh)
CN (1) CN102768412B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000773B2 (ja) * 2012-09-13 2016-10-05 キヤノン株式会社 収差推定方法、プログラムおよび撮像装置
US9148589B2 (en) * 2012-11-12 2015-09-29 NBCUniversal, LLC Image capture using infrared and visible spectrum light
JP6112872B2 (ja) * 2013-01-18 2017-04-12 キヤノン株式会社 撮像システム、画像処理方法、および撮像装置
US9251615B2 (en) * 2013-03-15 2016-02-02 Fluke Corporation Thermal image animation
FR3013491B1 (fr) * 2013-11-19 2016-01-15 Commissariat Energie Atomique Determination de la carte de profondeur image d'une scene
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
DE102013020203A1 (de) * 2013-11-30 2015-06-03 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Elektronische Kamera und diese verwendendes Kraftfahrzeug
CN103685898B (zh) * 2014-01-01 2016-09-07 中南林业科技大学 一种具有卡口的集成式镜头
CN103716522B (zh) * 2014-01-01 2017-01-11 中南林业科技大学 一种具有卡口和集成式镜头的影像获取系统
EP3103261B1 (en) * 2014-02-07 2018-09-19 Sony Corporation Method and apparatus for reducing color fringing in composite images
WO2015195417A1 (en) 2014-06-20 2015-12-23 Rambus Inc. Systems and methods for lensed and lensless optical sensing
WO2016002578A1 (ja) * 2014-07-04 2016-01-07 ソニー株式会社 画像処理装置および方法
DE102014218254A1 (de) 2014-09-11 2016-03-17 BSH Hausgeräte GmbH Kondensationstrockner mit einem Temperatursensor, sowie Verfahren zu seinem Betreiben
CN104539825B (zh) * 2014-12-18 2018-04-13 北京智谷睿拓技术服务有限公司 信息发送、接收方法及装置
JP6247794B2 (ja) * 2015-04-23 2017-12-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN107534732B (zh) * 2015-04-23 2020-03-06 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及记录介质
CN107534727B (zh) * 2015-04-23 2020-06-26 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及记录有图像处理程序的计算机可读非暂时性有形记录介质
US9945777B2 (en) * 2016-01-14 2018-04-17 Hand Held Products, Inc. Multi-spectral imaging using longitudinal chromatic aberrations
TWI620955B (zh) * 2016-09-13 2018-04-11 先進光電科技股份有限公司 光學成像系統
CN106231203A (zh) * 2016-09-29 2016-12-14 深圳聚融科技股份有限公司 在可见光和非可见光下拍摄时都能精确对焦的方法和装置
TWI628460B (zh) * 2016-10-19 2018-07-01 先進光電科技股份有限公司 光學成像系統
TWI628461B (zh) * 2016-10-19 2018-07-01 先進光電科技股份有限公司 光學成像系統
US11510548B2 (en) * 2016-12-16 2022-11-29 Sony Corporation Capturing an image of a scene
TWI639863B (zh) * 2017-01-04 2018-11-01 先進光電科技股份有限公司 光學成像系統
US20180231748A1 (en) * 2017-02-14 2018-08-16 Ability Opto-Electronics Technology Co., Ltd. Optical image capturing system
TWI645720B (zh) * 2017-03-17 2018-12-21 瑞昱半導體股份有限公司 影像處理裝置及方法
US11402635B1 (en) * 2018-05-24 2022-08-02 Facebook Technologies, Llc Systems and methods for measuring visual refractive error
JP7171254B2 (ja) * 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US10490778B1 (en) * 2018-08-16 2019-11-26 Int Tech Co., Ltd. Light emitting device
US10998387B2 (en) * 2018-08-16 2021-05-04 Int Tech Co., Ltd. Light emitting device
US10948715B2 (en) 2018-08-31 2021-03-16 Hellman Optics, LLC Chromatic lens and methods and systems using same
CN110957432B (zh) * 2018-09-27 2022-11-15 台州观宇科技有限公司 发光装置
CN112513677A (zh) * 2018-09-28 2021-03-16 松下知识产权经营株式会社 纵深取得装置、纵深取得方法以及程序
JP2020162628A (ja) * 2019-03-28 2020-10-08 ソニー株式会社 光学系、内視鏡、および医療用画像処理システム
US20200342623A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
CN111123538B (zh) * 2019-09-17 2022-04-05 印象认知（北京）科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN111986171B (zh) * 2020-08-14 2024-02-27 西安应用光学研究所 一种用于红外线阵探测器的异常元检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101048691A (zh) * 2004-09-03 2007-10-03 自动识别与控制公司 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US6166800A (en) * 1998-12-29 2000-12-26 Xerox Corporation Solid-state image capture system including H-PDLC color separation element
US6166300A (en) 1999-09-02 2000-12-26 Stine Seed Farm, Inc. Soybean cultivar 738594
ATE471369T1 (de) * 2001-07-30 2010-07-15 Meso Scale Technologies Llc Assay-elektroden mit schichten aus immobilisiertem lipid/protein sowie verfahren zu deren herstellung und verwendung
US7224540B2 (en) * 2005-01-31 2007-05-29 Datalogic Scanning, Inc. Extended depth of field imaging system using chromatic aberration
US20070145273A1 (en) 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
US8054732B2 (en) * 2006-03-29 2011-11-08 Pioneer Corporation Optical recording and reproducing apparatus having an optical pickup including a liquid crystal correcting element
US20070291277A1 (en) * 2006-06-20 2007-12-20 Everett Matthew J Spectral domain optical coherence tomography system
JP5315574B2 (ja) * 2007-03-22 2013-10-16 富士フイルム株式会社 撮像装置
JP2010288150A (ja) 2009-06-12 2010-12-24 Toshiba Corp 固体撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101048691A (zh) * 2004-09-03 2007-10-03 自动识别与控制公司 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Extended depth-of-field using sharpness transport across color channels;Frederic Guichard等;《Proc. SPIE7250, Digital Photography V》;20090119;第1-13页 *
Spectral Focal Sweep: Extended Depth of Field from Chromatic Aberrations;Oliver Cossairt等;《Computational Photography (ICCP), 2010 IEEE Conference》;20100330;第1-8页 *

Also Published As

Publication number Publication date
US20150237270A1 (en) 2015-08-20
US10306158B2 (en) 2019-05-28
US20180013965A1 (en) 2018-01-11
US20120281081A1 (en) 2012-11-08
US9800804B2 (en) 2017-10-24
US9055248B2 (en) 2015-06-09
CN102768412A (zh) 2012-11-07

Similar Documents

Publication Publication Date Title
CN102768412B (zh) 红外成像系统和操作方法
EP2664153B1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
CN206759600U (zh) 成像系统
JP6780503B2 (ja) 固体撮像素子、および電子装置
US8988582B2 (en) Multi-channel image sensors
US8259213B2 (en) Digital camera and digital camera system
KR102353634B1 (ko) 촬상 장치, 촬상 소자, 및 화상 처리 장치
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
US9900582B2 (en) Plenoptic foveated camera
US9883149B2 (en) Imaging sensor and method for color night vision
CN102037734A (zh) 照相机传感器校正
CN103458162B (zh) 用于分区图像传感器的透镜阵列
CN104170377A (zh) 图像处理装置、摄像装置及图像处理程序
CN108370422A (zh) 利用单个矩阵传感器采集可见和近红外图像的系统和方法
CN104580950B (zh) 多透镜阵列模块中的紧凑间隔件
CN104412586A (zh) 图像处理装置、摄像装置及图像处理程序
CN107534732A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US9124828B1 (en) Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
EP2937903B1 (en) Masked pixel arrays
CN108093230A (zh) 一种摄像装置及电子设备
CN105338264B (zh) 图像传感器和包括该图像传感器的图像拾取设备
WO2012008070A1 (ja) 撮像装置及び信号処理方法
JP5234165B2 (ja) 固体撮像装置および撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant