CN105452825B - 一种用于彩色图像获取的系统和方法 - Google Patents

一种用于彩色图像获取的系统和方法 Download PDF

Info

Publication number
CN105452825B
CN105452825B CN201480043482.7A CN201480043482A CN105452825B CN 105452825 B CN105452825 B CN 105452825B CN 201480043482 A CN201480043482 A CN 201480043482A CN 105452825 B CN105452825 B CN 105452825B
Authority
CN
China
Prior art keywords
image
curve
color
spectral
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480043482.7A
Other languages
English (en)
Other versions
CN105452825A (zh
Inventor
D·门得洛维奇
A·雷茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technology Innovation Momentum Fund Israel LP
Original Assignee
Technology Innovation Momentum Fund Israel LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology Innovation Momentum Fund Israel LP filed Critical Technology Innovation Momentum Fund Israel LP
Publication of CN105452825A publication Critical patent/CN105452825A/zh
Application granted granted Critical
Publication of CN105452825B publication Critical patent/CN105452825B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/001—Optical devices or arrangements for the control of light using movable or deformable optical elements based on interference in an adjustable optical cavity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

用于彩色图像获取的成像系统包括：图像传感器；可调谐光谱过滤器，其设置在朝着图像传感器的光传播的光学路径中；以及控制器，其连接至图像传感器并连接至可调谐光谱过滤器。控制器被配置且可操作用于在三个或更多个对应积分时间持续期间，通过顺序地操作可调谐光谱过滤器，以利用三个或更多个不同光谱过滤曲线顺序地过滤朝着图像传感器传递的光，来生成彩色图像。可调谐光谱过滤器被配置为标准具并包括一对反射表面。反射表面中的至少一个包括具有至少n＝2.3或甚至高于3的高折射率的层，或具有小于n＝1的低折射率的层。标准具的构造提供具有处于大约50nm至80nm的范围的全宽度半最大值FWHM、至少300nm的自由光谱FSR范围的光谱曲线的宽透射峰值，且标准具的厚度为大约1mm或甚至更小。

Description

一种用于彩色图像获取的系统和方法
技术领域
本发明涉及彩色图像获取，并且更具体地说，提供了一种用于光谱过滤用于创建彩色图像的光的系统和方法。
背景技术
通过数码相机来生成彩色图像有几种已知技术。常规地讲，彩色图像基于通过分别居中于红(R)、绿(G)以及蓝(B)色光谱区中的过滤器来检测三个光谱范围。
成为工业标准的、一种彩色图像获取方法利用一组固定滤色器(即，滤色器阵列(CFA))的布置，其被放置在单色传感器前面，以使传感器的每一个像素测量入射光的、来自为生成彩色图像所需的RGB三个分量的仅一个光谱分量的强度。例如，Bayer阵列是这种类型的一个具体CFA，其通常用于获取RGB图像(参见图1A)。为了生成彩色图像(其中，每一个像素都包含有关全部RGB三个分量的信息)，通过该像素测量的其余两个颜色分量基于通过相邻像素所测量的这些分量的值来计算。该处理(已知为“去马赛克(de-mosaicing)”可以通过各种公知算法来执行。
用于获取彩色图像的另选技术利用三个单色传感器和一个光谱分束器组件，该光谱分束器组件根据其颜色来分裂入射光，并将入射光的RGB三个分量分别引导至三个图像传感器。根据该技术配置的系统在图1C中按自我解释方式进行了例示(从www.zeiss.de取得的图像)。
用于获取彩色图像的又一另外技术利用其中每一个像素都适于同时测量全部三个RGB颜色的颜色传感器，例如，X3传感器。
发明内容
本发明提供了一种用于获取彩色图像的新颖技术。根据本发明，通过顺序地获取并且叠加三个或更多个窄带图像来创建彩色图像。例如，顺序获取并叠加三个红、绿和蓝图像，或者顺序获取并叠加四个红、绿、蓝和红外(IR)图像(典型地讲，该IR图像处于范围大约为700nm-1200nm的近红外(NIR)波长带)。而且，在某些情况下，本发明的技术被用于获得丰富的彩色图像，包括有关可见光谱(400nm-700nm)中三个以上色泽(color shade)的颜色信息，并且可选地包括有关IR光谱中一个或更多个深浅的颜色信息。
在这点上，针对用于获得彩色图像的常规技术进行以下解释。最常见的常规技术(其利用空间滤色器阵列(CFA))过滤到达像素的光的颜色(即，使得该传感器中的一些像素感测蓝光、一些感测红光，而一些感测绿光)。结果，通过这种技术获取的真实空间分辨率比所使用的传感器的分辨率低很多(例如，范围在1/2与1/4之间变动的系数)，并且典型地讲，利用空间插值来完成/估计该图像中的颜色信息。而且，由于CFA的光谱特性通常固定，因而，这种技术受限于颜色数量和通过像素测量的光的光谱内容。在利用颜色传感器的技术中(即，其中，每一个像素同时测量三个RGB颜色，如Foveon X3)，颜色的数量和光谱内容也通常固定。而且，在这种颜色传感器中，与标准基于硅的CMOS和/或CCD传感器相比，像素的尺寸相当大且噪声更大，因此对于同一传感器尺寸来说，生成差分辨率和SNR的图像。
本发明提供了一种方法和系统，其能够生成具有每一个颜色的空间分辨率匹配所使用的图像传感器的分辨率的高质量彩色图像。另外，本发明提供了用于获得丰富彩色图像的方法和系统，其可以具有三个以上的色泽，和/或范围可以在包括可见光谱和至少部分NIR光谱的宽光谱上变动。而且，本发明提供了一种用于自适应颜色获取的技术，其中，用于获取每一种颜色的时间可以基于被成像的场景中的颜色内容而现场自适应设置(例如，利用预备/校准阶段，其中，估计被成像的场景中的颜色强度，并因此设置/选择针对每一种颜色的积分时间(该阶段例如可以在摄像机自动聚焦期间一起/同时执行))。为此，用于成像每一种颜色的积分时间，和要成像的颜色的数量和光谱分布图可以基于被成像的场景而自适应地确定，以在缩减所获得图像中的噪声的同时缩减总曝光时间(通过用指定成像光谱以及传感器的动态范围和敏感度作出最多)，同时还可选地获得具有针对该场景最优化的具体选择色泽的富色彩图像。
这通过如下来实现：利用放置在朝着恰当(例如，单色)图像传感器的光传播的光学路径中的可控制光谱过滤器，并且控制该光谱过滤器顺序地传递三个或更多个宽光谱带的光，同时从传感器获取这三个或更多个光谱带的单色图像/帧。为此，提供相对较低空间颜色分辨率的常规CFA技术被本发明中的时间性颜色采样所替代。一方面，这改进了最终彩色图像的空间分辨率，而另一方面，允许在选择所获取的颜色和/或每颜色获取/积分时间方面具有灵活性的自适应颜色成像。
例如，在某些情况下，可以获得任意颜色(例如，非标准颜色)的几个帧并且利用颜色插值来处理，以生成具有标准调色板的彩色图像。在低光情况下，在可见范围下的一组颜色帧(如RGB)可以加上NIR光谱中的一个或更多个帧来获得。接着，可以处理该可见和NIR中的帧，以生成低光场景的增强图像。而且，对于可见和/或NIR颜色的一些获得帧呈现太低强度的情况来说，可以获得相似或相同颜色的附加帧(以补偿第一帧的低强度)。例如，如果在红帧和绿帧的处理期间，确定这些帧的强度低于特定阈值，则可能以更长的积分时间重新获得相似颜色的帧。
特别地讲，如下更进一步详细描述的，本发明提供了一种新颖的自适应彩色成像方法，该方法用于选择针对每一种颜色的不同积分时间和/或用于选择要获取的特定颜色，并且可以用于获得相似颜色的多个(两个或更多个)图像，以获得有关与低强度相关联的颜色的更多信息。因此，本发明的技术使能获取针对指定传感器的更好质量图像，同时改进该图像的图像分辨率和信噪比。
在这点上，应注意到，在此使用术语单色(monochrome/monochromatic)图像，来指定灰度级图像/数据(例如，位图)，其中，该单色图像的每一个像素都对应于/具有一灰度值，指定与该单色图像相关联的颜色强度/光谱分布图。术语颜色(彩色)应被理解为有关可见光内的特定光谱分布图，并且还可能有关NIR光谱带。为此，彩色图像/帧要被理解为其中每一个像素都表示几种(典型为三个或更多个)颜色的强度的图像。
本发明的技术适用于紧凑成像器系统。这通过具有标准具类型的可控制光谱过滤器的新颖设计来便利化，该标准具类型配置有足够薄的形状因子，并且可以适配在更紧凑的摄像机模块的光学系统/路径中。为此，应当明白，一方面，本发明的光谱过滤器设计有薄形状因子(在一些实施方式中，其厚度不超出1mm)，而另一方面，其光学特性(并且具体来说，其自由光谱范围(FSR)和精细度(Finesse))针对成像应用而最优化。具体来说，该可控制光谱过滤器被配置成提供足够宽的自由光谱范围(FSR)(例如，至少200nm或更大)，以允许颜色之间的良好光谱分隔(即，使得例如在采样红色时，蓝光谱区段的光分量不穿过该过滤器，并且不干涉红光分量的测量)。
具体来说，在一些实施方式中，该可调谐标准具被配置用于在短可见波长(例如，大约400nm)并且直至NIR的长波长(例如，直至大约1100nm或1200nm)中，在相对较宽光谱范围(例如，范围从蓝光变动)上可调谐。然而，即使在将该标准具配置用于选择性过滤在可见和NIR光谱上延伸的宽频带中的光的情况下，该标准具也配置有至少300nm的足够FSR，以使在调谐成传递NIR中的光时，绿和蓝光谱区段中的光基本上被阻挡/衰减。
而且，为了使能生成准确的彩色图像，该标准具配置有低精细度(即，具有大约50nm-80nm的全宽度半最大值的足够宽的光谱透射峰值)，以使在调谐成特定颜色(波长)时，不仅该颜色的单色光被传递至该传感器，而是多种色泽的该颜色也被传递至该传感器。一方面，这为创建具有准确(例如，正确)颜色的图像作准备，而另一方面，允许足够的光传递至该传感器。
在这点上，应注意到，常规标准具(其典型地用于光学传送目的)，通常不适于本发明的目的。这至少是因为它们通常配置用于传递预定波长的大致单色光(即，设置有高精细度)，如果用于成像目的，则其将导致不足的光强度到达传感器和不准确的颜色。
由此，根据本发明的一宽泛方面，提供了一种用于获取彩色图像的成像系统。该成像系统包括：图像传感器(例如，单色图像传感器)；可调谐光谱过滤器，该可调谐光谱过滤器设置在朝着所述图像传感器的光传播的光学路径中；以及控制器，该控制器连接至所述图像传感器并连接至所述可调谐光谱过滤器。所述控制器(例如，控制系统)适于通过在三个或更多个对应积分时间持续期间，顺序地操作所述可调谐光谱过滤器，以利用三个或更多个不同光谱过滤曲线顺序地过滤朝着所述图像传感器传递的光，来生成彩色图像。根据本发明的某些实施方式，所述可调谐光谱过滤器被配置为标准具，该标准具包括一对反射表面，并且其中，所述反射表面中的至少一个反射表面包括下列各项中的至少一个：(i)具有至少n＝2.3的高折射率的层，或(ii)具有比n＝1小的低折射率的层；由此，提供具有处于大约50nm至80nm的范围中的全宽度半最大值(FWHM)、至少300nm的自由光谱范围的所述光谱曲线的宽透射峰值，并且所述标准具的厚度不超出1mm。
在本发明的一些实施方式中，所述控制器被配置且可操作用于在所述三个或更多个积分时间持续期间操作所述传感器，以分别获取具有所述三个或更多个光谱过滤曲线的所述光的三个或更多个图像。而且，所述控制器被配置且可操作用于接收和处理来自所述传感器的、指示所述三个或更多个图像的读出数据，并且生成指示彩色图像的数据，该数据包括与所述彩色图像的每一个像素中的至少三个颜色的强度有关的信息。
在本发明的一些实施方式中，按照每一个光谱过滤曲线(即，按照每一种颜色)来限定所述积分时间的持续。另选的是或者另外地，所述控制器可以被配置且可操作用于自适应地基于要成像的场景来确定下列各项中的至少一个：所述三个或更多个不同光谱过滤曲线，和所述积分时间的所述持续。为此，在本发明的一些实施方式中，所述控制器可操作用于在生成所述彩色图像之前执行校准阶段。所述校准阶段包括如下步骤：
-将所述光谱过滤器调谐成所述三个或更多个不同光谱过滤曲线中的至少一个光谱过滤曲线；
-获取并处理来自所述传感器的、与通过所述至少一个光谱过滤曲线过滤的所述光相对应的读出数据，并且估计所述场景中的、具有所述光谱过滤曲线的光的强度；
-利用所述强度来确定获得通过所述光谱过滤曲线过滤的光的图像的最佳积分时间持续。
在某些实施方式中，所述控制器被设置且可操作用于估计具有所述三个或更多个光谱过滤曲线的所述三个或更多个图像中的至少一个图像的亮度，并且在确定所述亮度低于特定阈值时，操作所述可调谐光谱过滤器和所述成像器，以获得具有相似或相同光谱过滤曲线的另一图像。
在本发明的一些实施方式中，对来自所述传感器的、所述三个或更多个图像的所述读出数据以生成所述彩色图像的所述处理包括以下步骤：将图像融合处理应用至所述三个或更多个图像。所述图像融合算法包括下列各项中的至少一个：
-处理所述三个或更多个图像，以确定所述图像之间的空间配准；
-基于下列各项中的至少一个来标准化所述三个或更多个图像的相应强度：相应图像的所述积分时间持续，与所述图像相对应的所述光谱过滤曲线，以及所述传感器的针对与所述光谱过滤曲线相对应的波长的灵敏度；以及
-合并来自所述三个或更多个图像的所述数据，以生成指示所述彩色图像的数据。
在一些实施方式中，所述合并包括颜色插值，该颜色插值用于在和所述三个或更多个图像相关联的所述光谱过滤曲线与和所述彩色图像相关联的特定调色板之间转换。
在本发明的一些示例中，所述三个或更多个不同光谱过滤曲线包括处于可见光谱区段的三个RGB光谱过滤曲线。
另选的是或者另外，在本发明的一些实施方式中，所述三个或更多个光谱过滤曲线包括：与所述可见光谱区段中的至少三个特定颜色相对应的至少三个光谱过滤曲线；和至少一个附加光谱过滤曲线，与透射通过在被调谐成所述至少三个光谱过滤曲线时的所述过滤器的光强度相比，该至少一个附加光谱过滤曲线适于将相对较高的光强度透射通过所述过滤器。
在本发明的某些实施方式/实现中，所述至少一个附加光谱过滤曲线包括下列中的至少一个：
(i)使能够(用于)在亮成像条件(例如，日光成像)下获取高强度图像的白光谱曲线；和
(ii)用于获取暗(例如，夜间)成像条件下的高强度图像的NIR光谱曲线。
可以将这些用于各种成像场景中，以获得高强度图像。
为此，在某些实施方式中，所述系统被配置且可操作用于通过执行下列步骤来生成所述彩色图像：
-操作所述可调谐光谱过滤器，以利用所述至少一个附加光谱过滤曲线来过滤朝着所述图像传感器传递的光，并且操作所述传感器达预定积分时间，以获取所述传感器上的具有相对较高光强度的特定图像；并且
-操作所述可调谐光谱过滤器，以通过与所述至少三个颜色相对应的所述至少三个光谱过滤曲线来过滤朝着所述图像传感器传递的光，以从所述传感器获取与所述至少三个颜色相对应的至少三个图像；因为具有相对较高强度的所述特定图像中的噪声内容低于所述至少三个图像的噪声内容，所述系统因此还被配置且可操作用于基于具有更低噪声内容的所述特定图像，来执行去噪声处理，以缩减所述至少三个图像的噪声内容。所述去噪声处理可以是多帧去噪声，如双边过滤。
根据本发明的一些实施方式，所述标准具的反射表面中的至少一个安装在设置用于控制所述反射表面之间的光学距离的致动器上。所述一个或更多个致动器可以包括压电致动器和/或MEMS致动器，如静电MEMS致动器。另选的是或者另外，所述标准具可以包括放置在所述反射表面之间的空间中的光电介质。所述光电介质被配置且可操作用于在所述反射表面之间的所述光学距离上提供控制。
根据本发明的一些实施方式，高折射率的所述涂层被配置为/具有n>3的折射率(例如，利用多晶硅、GaAs以及/或其它涂覆材料)。这为改进通过所述标准具提供的光谱透射曲线与常规RGB颜色之间的匹配作准备。
根据本发明的一些实施方式，所述反射表面包括防反射涂层，该防反射涂层被具体选择成：在通过所述标准具改进所述光谱曲线的波长的透射的同时，最优化所述标准具的所述光谱过滤曲线与常规RGB颜色的光谱曲线之间的匹配。
根据本发明的一些实施方式，所述系统包括远心光学模块，该远心光学模块位于朝着所述可调谐光谱过滤器传播的光的所述光学路径中。所述远心光学模块/透镜被配置且可操作用于缩减下列各项中的至少一个：(i)入射在所述可调谐光谱过滤器上的光束的主光线角的空间变化；和(2)所述光束的角距；由此，改进所述可调谐光谱过滤器的光谱过滤操作的空间均匀性。
根据本发明的又一广泛方面，提供了一种用于获取彩色图像的成像系统。该系统包括：图像传感器；可调谐光谱过滤器，该可调谐光谱过滤器设置在朝着所述图像传感器的光传播的光学路径中；以及控制系统，该控制系统连接至所述图像传感器并连接至所述可调谐光谱过滤器。所述控制系统适于通过如下方式来生成彩色图像：(i)在三个或更多个对应积分时间持续期间，顺序地操作所述可调谐光谱过滤器，以利用三个或更多个不同光谱过滤曲线顺序地过滤朝着所述图像传感器传递的光；(ii)从所述图像传感器抓取与所述三个或更多个不同光谱过滤曲线相对应的三个或更多个图像；以及(iii)处理所述图像以产生所述彩色图像。根据本发明该实施方式，所述三个或更多个光谱过滤曲线包括：与所述可见光谱区段中的至少三个特定颜色相对应的至少三个光谱过滤曲线；和至少一个附加光谱过滤曲线，所述至少一个附加光谱过滤曲线被选择用于，与透射通过在被调谐成所述至少三个光谱过滤曲线时的所述过滤器的光强度相比，将相对较高的光强度透射通过所述可调谐光谱过滤器。所述附加光谱过滤曲线提供所述三个或更多个图像中的、具有改进的动态范围和缩减的噪声内容的至少一个图像。因此，所述控制系统适于针对下列各项中的至少一个，利用所述至少一个图像来执行伴随所述三个或更多个图像的多帧处理(例如，双边过滤处理)：(i)从所述彩色图像缩减噪声内容；和(ii)改进所述彩色图像的动态范围。
在本发明的一些实施方式中，所述至少一个附加光谱过滤曲线包括下列各项中的至少一个：(i)用于获取所述可见光谱内的高强度图像的白光谱曲线；和(ii)用于获取特定成像条件下的高强度图像的NIR光谱曲线。而且，在一些实施方式中，所述至少三个特定颜色包括三个RGB颜色。
根据本发明的又一广泛方面，提供了一种用于彩色图像获取的方法。该方法包括以下步骤：顺序地操作设置在朝着图像传感器的光传播的光学路径中的可调谐光谱过滤器，以利用与三个或更多个颜色相对应的三个或更多个不同光谱过滤曲线，顺序地过滤朝着所述图像传感器传递的光。所述顺序过滤针对三个或更多个相应积分时间持续执行。根据本发明该实施方式，该方法还包括利用可调谐光谱过滤器，该可调谐光谱过滤器被配置为标准具，该标准具具有一对反射表面，并且其中，所述反射表面中的至少一个反射表面包括下列中的至少一个：(i)具有至少n＝2.3的高折射率的层，和(ii)具有比n＝1小的低折射率的层；由此，提供具有处于大约50nm至80nm的范围的全宽度半最大值FWHM的、所述光谱曲线的宽透射峰值。
附图说明
为了更好地理解在此公开的主旨，并且例证其可以怎样在实际中执行，下面，参照附图，仅通过非限制例的方式对实施方式进行描述，其中：
图1A至图1C是常规彩色成像系统的例示图，其中，图1A和图1B示出了利用滤色器阵列和对应图像获取流水线的成像系统。图1C示意性地例示了利用通过光谱分束的颜色分隔的彩色成像器；
图2A和图2B是示意性地例示根据本发明的实施方式的、彩色图像获取的系统和方法的框图；
图2C更具体地例示了根据本发明的实施方式的、用于自适应颜色获取的方法；
图2D按自我解释方式示出了根据本发明的实施方式的、用于获取多个单色RGB图像并且根据其生成彩色图像的图像获取方法(流水线)；
图3A例示了根据本发明配置的、具有标准具类型的可调谐光谱过滤器的实施方式，其用于通过顺序颜色获取来获取可见光谱带，并且可以获取NIR光谱带的图像；
图3B示出了根据本发明的实施方式配置的标准具的R-G-B和IR光谱透射分布图(过滤曲线)的图形；
图3C例示了在根据本发明一些实施方式的标准具镜中使用的多晶硅材料的折射率分布图，用以获取具有足够薄的形状因子的可调谐标准具并且可调谐成匹配标准RGB颜色分布图与足够宽的FSR；
图3D示出了根据国际照明委员会(CIE)色彩空间(还已知为CIE 1931彩色空间标准)的RGB颜色的光谱分布图；
图4A和图4B例示了根据本发明两个实施方式的用于可调谐光谱过滤器的、利用用于调节标准具镜之间的间距的压电致动的两种机械构造；以及
图5A和图5B分别以图形方式示出了通过配置有多晶硅涂层的标准具所获取的NIR和白光谱透射曲线。
具体实施方式
对示意性地例示了根据本发明的实施方式设置的用于彩色成像的系统100的图2A进行说明。该系统100包括：传感器130和放置在朝着该传感器传播光的一般光学路径(例如，相交图中的Z轴)中的可调谐光谱过滤器120，以及电连接至该图像传感器和连接至该可调谐光谱过滤器的控制系统(控制器)，并且被设置且可操作以通过从该传感器顺序获取与不同颜色(不同光谱分布图)相对应的单色帧来获得彩色图像。在图2A中，还示意性地例示了布置在传感器的光学路径中的光学系统140(例如，透镜)。应注意到，该光学系统140是可选的，并且不形成本发明的系统100的组成部分。
根据本发明，该控制器110适于通过顺序地操作所述可调谐光谱过滤器120，以利用三个或更多个不同光谱过滤曲线/分布图，顺序地过滤投射在其上的光，并且操作传感器130，以获取该光的、分别通过所述三个或更多个光谱曲线过滤的三个或更多个图像(单色图像/帧)，来创建/获得彩色图像。该可调谐光谱过滤器120被操作以保持每一个光谱过滤曲线达对应时隙持续时间，在其期间，传感器130被操作用于利用在这些时隙中适配(fitting)的相应积分时间来获得相应单色图像。因此，每一个拍所摄的单色图像都对应于在预定积分时间期间通过不同的相应光谱过滤曲线过滤且通过传感器130获得的光。
该控制器被配置用于接收和处理来自该传感器的、指示所述三个或更多个单色图像的读出数据，接着生成指示彩色图像的数据(即，包括有关该图像的每一个像素中的至少三个颜色的强度的信息的图像)。
本发明的系统100利用敏感于要检测的光的整个波长频带(例如，可见光范围或NIR可见光范围)的图像传感器130，使该传感器顺序地采样希望波长频带中的几种颜色。每一种颜色典型地按用于获得彩色图像的标准/常规积分时间的一部分来采样。例如，在本发明的技术中，如果正常/典型积分时间范围在1毫秒至30秒钟之间变动，则仅在该积分时间的一部分内获得每一种颜色。
因此，该可调谐光谱过滤器120被配置成提供大约几毫秒或更小，并且优选地不超出一毫秒量级的足够快速的可调谐性(即，颜色/光谱过滤曲线之间的渡越时间)。根据本发明一些实施方式，这通过利用基于标准具(etalon)的光谱过滤器的具体构造，同时以机械方式耦合标准具的一个或两个镜子与被设置成充任在该镜子之间的间距上提供敏捷且准确控制的压电致动器的材料来实现。在这点上，应当明白，在本发明的各个实施方式中，还可以使用使能准确且快速控制镜子之间的光学距离/间隔的其它类型机构。这些可以是控制镜子之间的几何距离的机械机构(如MEMS致动器)，和/或可以提供对标准具的镜子之间的光学长度的控制的光学或光电机构(改变/或不改变镜子之间的实际相对几何位移)。例如，该标准具可以被配置成使能通过下列技术中的任一种来控制镜子之间的光学路径长度：(i)将一个或两个标准具镜安装在致动器上，如基于机械或电容或静电或电磁的微机电(MEM)致动器，或者通过将诸如电压这样的不同外部条件施加在诸如压电晶体这样的易感(susceptible)材料上；(ii)另选的是或者另外地，在本发明的一些实施方式中，标准具镜之间的间距容纳有光学介质，其折射率可以通过将诸如电压这样的不同外部条件施加至其来控制(例如，以电方式控制)。例如，可以将光电晶体和/或液晶材料用于控制和调节标准具镜之间的光学长度。应当明白，针对标准具镜之间的光学距离并因此针对标准具的光学过滤功能的控制可以根据本发明通过技术(i)和(ii)的任何组合来实现。
为此，控制器可连接至标准具(例如，连接至标准具的机械/压电致动器和/或标准具镜之间的光电介质)，以控制标准具的光谱过滤透射/过滤分布图。该控制器还可以连接至传感器，并且被配置成，将标准具顺序地调谐成每一种希望颜色，并且顺序地抓取/读出和存储与这些颜色相对应的图像数据。该控制器通常与存储器114(数据存储部)和处理器112相关联。该处理器可操作以执行一组指令116.1(例如，硬/软编码指令)，该指令用于协调标准具和传感器的操作，并且用于在存储器114中存储图像数据118(例如，从传感器读出)。
应注意到，在本发明的一些实施方式中，该光学系统140被配置成以穿越过滤器平面的相对类似的主光线角(Chief Ray Angle：CRA)(即，具有低可变性的CRA)，并且以穿越过滤器平面的不同光束的低可变性的边缘至边缘角范围(marginal-to-marginal anglerange)，来引导光传播通过可调谐光谱过滤器。在这点上，应当明白，术语主光线角对应于光束据以相交光学平面的标称角(nominal angle)，如图像光学平面、作为传感器的平面、和/或可调谐光学过滤器120所驻留于的光学平面。短语边缘至边缘角范围涉及光束环绕其相应主光线角的角跨度。
另选的是，针对CRA>10度的情况，可以应用颜色/光谱修正算法并且替换支持光学设计。而且，可以组合光学设计和这种算法，来改进颜色/光谱修正结果。
由此，该光学系统(其通过低CRA可变性和穿过过滤器的光束的每两个边缘光线角的角差异的低可变性来特征化)被设计并配置成，如果入射角为α，并且在不同光线的入射角之间具有小的差异Δα，则引导所有/大部分光线入射在具有大致相似角的可调谐光谱过滤器上。因此，当利用这种光学系统140时，过滤器向在相似角内穿过那里的光线提供相似的过滤效果(即，针对按不同位置穿过过滤器(穿过过滤器中心和边缘)的光束获取光谱过滤的相似分布图)。
应注意到，在系统100的某些配置中，可调谐光谱过滤器120放置在传感器130前面，并且与传感器120的平面相邻。因此，光学系统140被配置用于缩减交叉可调谐光谱过滤器并且穿越传感器表面碰撞的光束的角变化。这通过缩减碰撞在传感器的不同像素上的光束的主光线角的变化，并且还可以缩减每一个光束的边缘至边缘角范围的变化来实现。典型地(例如，在常规光学设计中)，由于对称考虑，因而，碰撞传感器中心的光束的主光线角为0°，其中，在常规光学设计中，碰撞传感器边缘附近的光束的主光线角可以相对较大(例如，大约32°或更多)。然而，根据本发明，因为使用基于标准具的可调谐光谱过滤器120，所以该过滤器120的光谱过滤分布图取决于光束的角(而且尤其取决于其主光线角)。因此，希望缩减在传感器130上成像的光束的主光线角的变化，以改进穿越传感器上的不同像素/位置的颜色过滤分布图的空间均匀性。为实现其，在本发明的某些实施方式中，光学系统140包括有远心光学装置(例如，远心透镜模块)，其适于缩减被引导至传感器的光束的主光线角的变化，同时保持上下角差异在一特定范围内。该远心光学装置被配置成将传感器边缘处的主光线角缩减至低于32°，以改进通过可调谐光谱过滤器120进行颜色过滤的空间均匀性。而且，该远心光学系统140可以被配置成，缩减2个边缘光线之间的差异(其是该光束中的、碰撞传感器130中的相应像素的光线的角跨度)。结果，接近可调谐光谱过滤器表面的光锥在平面光谱过滤器的任何地方具有大致相同的入射角和角距(angular subtense)。例如，在某些实施方式中，该光学系统被期望为，使得针对碰撞传感器中的不同像素的光束的边缘至边缘角范围的变化优选地小于8°，以改进对碰撞传感器的不同光线的光谱过滤的均匀性。
应当明白，光学设计领域的普通技术人员容易清楚怎样基于上面的描述来设计和配置光学系统，以缩减主光线角的变化和/或缩减碰撞传感器的2个边缘光线之间的差异变化，并由此，改进穿越传感器的光谱过滤的均匀性。
图2B是更详细例示根据本发明的一些实施方式执行的方法200的流程图，该方法用于通过顺序地获得与不同光谱分布图/颜色相对应的单色图像来并创建彩色图像。方法200通过用于操作系统100的控制器110来执行，该系统用于获得所述多个单色图像并根据所述多个单色图像生成彩色图像。
在可选操作210中，该控制器分配用于通过传感器获得每一种颜色的预定积分时间(时隙)。在这点上，应注意到，在一些实施方式中，每颜色预先预定预定积分时间(例如，硬编码)(操作210.1)。然而，在本发明的一些实施方式中，应用自适应颜色获取方法，根据该方法，基于所成像的场景来自适应地/动态地分配(例如，现场)每颜色积分时间(操作210.2)。在后一情况下(210.2)下，控制器可以自适应执行用于确定针对每一种颜色的最佳积分时间的预备校准步骤，并且还可能确定要抓取的颜色的数量和/或中心波长。参照图2C，对自适应颜色获取方法进行更详细描述。
在操作220中，控制器操作可调谐光谱过滤器和传感器，以按照每一种希望颜色顺序地获取单色图像数据。该希望颜色和用于获得每一种颜色的图像的积分时间在上面步骤210中获取。为此，操作220.1至220.4针对每一种希望颜色来执行(光谱分布图)。在220.1中，获取指示要获取的特定颜色/光谱分布图的数据和相应积分时间。在这点上，该光谱分布图可以按不同方式来表示，例如，通过任何合适颜色代码，和/或简单地通过指示标准具镜之间的光学距离的数据，或者要提供给用于实现该光学距离的标准具的机械/压电致动器和/或光电介质的电气信号的幅度。在220.2中，控制器针对希望颜色/光谱分布图来操作可调谐光谱过滤器(例如，通过适当地调节标准具镜之间的间距)。在220.3年，控制器保持该光谱分布图达足够时隙持续时间，并且在该颜色的相应积分时间期间，操作传感器来获得彩色图像的单色图像。最后，在220.4中，控制器获取并存储指示来自传感器的单色图像的读出(原始)数据。如在220.5中所示，针对每一种颜色重复操作220.1至220.4，直到抓取所有希望颜色的单色图像为止。
操作230典型地在抓取并存储与几种颜色相对应的至少一些单色图像的原始数据之后执行。控制器通过利用用于将这些图像合并以生成一个彩色图像的一个或更多个图像融合处理来处理原始数据。
应注意到，在一些实施方式中，不同颜色的单色图像在将它们合并成单一彩色图像之前被检查，以便验证/检查它们的特性/质量。对于标识不足质量的单色图像的情况来说，可以重新获得相同或相似颜色/光谱分布图的另一单色图像(例如，通过适当地操作可调谐光谱过滤器和传感器)。例如，在一些情况下，估计/确定在单色图像中获得的亮度/高强度，并且在确定/标识亮度太低的单色图像(例如，低于某一阈值)、获得相同/相似颜色/光谱的附加图像(可能利用更长的积分时间)时关联图像，以便获取有关该颜色的更好质量的图像/信息。接着，以相同/相似颜色分布图所获得的原始图像和/或附加图像中的至少一个可以与其它单色图像一起使用/合，并以生成彩色图像。
该图像融合算法可以可选地包括适于补偿不同颜色的单色图像之间的移位的图像配准(registration)处理(操作230.1)(这种移位可以因不同颜色的图像通常按稍微不同的时间(在其期间，可能出现轻微的摄像机移动)获得而发生)。该配准算法可以为缩减模糊(其出现在所有单幅获取中)作准备。
在这点上，应注意到，诸如依靠Bayer CFA和Bayer去马赛克方案这样的常规成像技术通过应用考虑摄像机移动的稳定化机制来补偿图像模糊。然而，因场景中的物体移动而造成的图像模糊不能通过这种方案来处理，由此仍产生模糊图像。为此，有利的是，本发明为补偿摄像机和场景的两种这种移动而作准备。这通过利用用于在单色图像之间配准的配准处理来实现。由于每一个单色图像仅在总曝光时间的一部分中获得，因而，大致缩减这些图像的移动模糊影响(因摄像机和场景移动两者而造成)。由此，用于补偿随时间获取的单色图像(其被用于组成彩色图像)之间的相对布置的配准处理230.1(通过常规图像配准技术来执行)提供了图像模糊的实质缩减(每一个单色图像帧都花费比总典型彩色图像曝光时间更短的时间)。
而且，该图像融合算法可以可选地包括用于校准/标准化所抓取单色图像中的强度的颜色校准处理(操作230.2)。这通过处理不同颜色的单色图像的原始数据以标准化它们的强度来实现，例如，通过考虑分配给每一种颜色的积分时间、光谱过滤器在调谐成不同颜色(还可能是，标准具的透射光谱分布图/过滤曲线)时的透射/损失、以及传感器针对每一种颜色的灵敏度。为此，针对每一种颜色，可以确定特定强度标准化因子并乘以相应单色图像。
在本发明的一些实施方式中，执行可选操作230.3，以缩减来自图像的噪声(如镜头噪声)。在一些情况下，在被用于构造彩色图像的一个或更多个单色帧中执行帧间噪声缩减技术，以缩减该帧中的噪声。执行诸如非本地手段(non-local mean)噪声缩减这样的帧间噪声缩减技术。这种技术利用有关图像帧本身的信息来缩减来自该帧的噪声。
另选的是或者另外地，在本发明的一些实施方式中，针对要生成的每一个彩色图像抓取不同光谱分布图的多个单色帧的事实，有利地针对噪声缩减/过滤的目的而加以利用。为此，在230.3中，可以将多帧噪声缩减处理应用至要据以构造彩色图像的单色帧(例如，应用至它们中的至少两个)。例如，在本发明的某些实施方式中，可以执行基于双边过滤去噪声技术的多帧去噪声处理，以缩减来自所述多个单色帧的镜头噪声。
在这点上，应注意到，在本发明的某些实施方式中，被用于构造彩色图像的所述多个单色图像可以包括：以相对较长的积分时间抓取并因此具有相对较低噪声内容的至少一个单色帧；和以相对较短的积分时间抓取并因此具有相对较高噪声内容的一个或更多个单色帧。例如，在本发明的一些实施方式中，抓取四个单色帧：以长积分时间抓取利用被调谐成白色(即，调谐成提供大致平坦透射-例如，在至少90％可见光谱范围上大于60％的透射)的光谱过滤器的一个单色帧(由此，具有低噪声内容)；而R、G和B这三个帧以相对较短积分时间抓取，由此具有相对较高噪声内容(还可能抓取NIR帧，其可以替换白帧)。接着，在230.3中，执行基于双边过滤技术的去噪声处理(其它多帧去噪声技术也可以应用)，以通过利用以更长积分时间抓取的白帧的低噪声内容，来缩减R、G和B帧中的噪声，并且还能够缩减NIR帧中的噪声。
由此，一般来说，根据本发明的某些实施方式，被用于构造彩色图像的单色帧包括至少一个帧，与其它单色帧(被暴露至场景达更长积分时间和/或曝光至来自场景的更高光强度的帧–例如，在过滤掉更少光时–如在白帧中)相比，该至少一个帧与用于场景照明的改进曝光相关联。根据本发明，在这种实施方式中，可以执行双边过滤处理，以利用具有用于场景照明的改进曝光的帧中的信息，以向针对该场景照明欠曝光的帧应用去噪声，并由此，从根据那些单色帧所生成的最终彩色图像缩减噪声内容。噪声过滤和信号处理领域的普通技术人员容易清楚的是，怎样应用诸如双边去噪声这样的多帧去噪声技术，以缩减来自与类似场景相对应的多个帧的噪声。
在230.4中，执行图像融合算法，以根据单色图像的相应颜色/光谱分布图来合并它们(可能在适当地标准化和配准之后)，并且生成彩色图像数据。在这点上，在一些情况下，该最终合并步骤是直接的(straightforward)。特别地讲，在本发明的一些实施方式中，如在图3A中所示和下面更详细描述的，该标准具被有利且独特地配置成，可调谐成匹配诸如Bayer CFA这样的常规滤色器阵列的标准颜色/光谱分布图的颜色/光谱分布图。在这种情况下，生成彩色图像/位图可以通过在来自单色图像的位图中构造每一个像素的RGB数据来实现。
然而，一般来说，在某些情况下，合并可能不会这样直接的，而是可选地需要颜色修正和/或插值。根据本发明的技术应用的颜色修正处理通常可以包括两类颜色修正处理：
(1)可以执行帧间颜色修正，以重新校准颜色强度，其中：
R校准＝a1*R+a2*G+a3*B
G校准＝b1*R+b2*G+b3*B
B校准＝c1*R+c2*G+c3*B
(2)每像素颜色修正(例如，帧内颜色修正)，其中，按指定帧，每像素执行强度校准，以补偿光谱过滤器透射中的空间变化。
可以每像素应用这两种颜色修正技术(每一个像素颜色都可以稍微不同地变换)。为此，将帧间颜色修正用于在单色图像的特定颜色/光谱分布图/波长(即，在抓取单色图像时将标准具调谐成的透射光谱分布图)与要生成的彩色图像的调色板之间转换。例如，可以利用分别被调谐成青色、品红色以及黄色(CMY)的标准具来抓取四个单色图像，而要生成的彩色图像的调色板可以是RGB调色板。为此，在本发明的一些实施方式中，可以使用颜色插值/处理，以通过基于获得单色图像的标准具的相应光谱分布图而插值那些图像的对应像素，来确定彩色图像像素(例如，RGB像素)的强度。
在这点上，在本发明的一些实施方式中，该系统可以被设置用于抓取三个以上的颜色，例如，抓取与NIR、R、G、B相对应的单色图像，并且该彩色图像要用RGB或CMYK来表示。在某些情况下，该单色图像可以对应于各种任意(例如，预定)颜色/光谱过滤器–例如涉及非标准调色板。为此，可以使用颜色插值，以从标准具的选定光谱分布图的多个单色图像转换成标准调色板的彩色图像。
具体来说，在除了抓取可见光谱中的单色图像以外还抓取NIR光谱中的单色图像的实施方式中，可以使用NIR图像来增强具体在暗/夜间场景中生成的最终彩色图像。例如，颜色插值处理可以利用来自NIR的信息，来加强出现在可见光谱中的物体，由此创建暗/低光场景的更重要图像。
在本发明的一些实施方式中，该系统可以被配置用于抓取与三个或更多个颜色分布图/组合相对应的“单色”图像，据此，可以确定与三个RGB颜色相对应的彩色图像信息，并且还可能确定NIR图像数据。为此，应当明白，术语/短语“单色”和“单色/灰度级图像”应当按其广泛意义来理解，如涉及与某一特定光谱过滤分布图相对应的图像数据，并且其中，根据本发明抓取并使用三个或更多个这种单色图像来获取彩色图像信息。在这点上，应注意到，这三个或更多个相应单色图像的三个或更多个光谱过滤分布图可以包括与{红(R)、绿(G)、蓝(B)、白(W)，以及近红外(NIR)}颜色中的任三个或更多个不同组合相对应的光谱分布图。可以被用于抓取可以据以构造彩色图像的所述三个或更多个单色帧的可能过滤曲线组合的一些非限制例包括：
i、{红、绿、蓝}帧和可选NIR帧。
ii、{白+红、白+绿、白+蓝}帧加可选NIR帧。
iii、{白-红、白-绿、白-蓝}帧加可选NIR帧。
iv、{NIR+红、NIR+绿、NIR++蓝}帧加可选NIR帧。
该标准具/可调谐光谱过滤器可以根据本发明来配置，以使可调谐成光谱过滤曲线的希望组合(例如，i至iv的任何组合，或者诸如CMY、RGB和白这样的光谱过滤曲线的其它组合，以及其它)。为此，该标准具针对希望组合的过滤曲线的配置可以通过以下各项中的适当选择来实现：(i)标准具镜之间的光学间距；和/或(ii)镜子之间的介质的折射率参数；和/或(iii)标准具镜的内部涂覆材料。
应当明白，将可调谐光谱过滤器调谐成白(W)光谱过滤分布图(即，调谐成其基本上不过滤任何可见颜色的状态)可以通过将标准具镜之间的光学距离设置成为比任何可见波长短来实现。例如，该标准具可以被调节成，使得其镜子之间的光学距离不超出大约100nm或甚至更低(例如，不超出60nm)。这提供了可见波长区段(例如，大约400nm至700nm)的光线在标准具内基本上不干扰，并由此，获取白光谱过滤分布图。
由此，在230.4中，可以应用两种颜色修正。在可调谐光谱过滤器/标准具提供非标准光谱透射分布图(即，其不对应于要生成彩色图像所使用/需要的标准调色板)的情况下，需要这种帧间颜色修正(颜色插值)。当光谱过滤因CRA和边缘光线变化而穿越过滤器不均匀时，需要帧内颜色修正。
为此，穿越传感器的光谱均匀性通过如下方式来获取：通过修正光学设计(例如，利用远心光学装置)，跟着是“弱”光谱修正算法，或者通过“硬”光谱修正算法。如上所示，具有远心特性的修正透镜的这种用途限制CRA(主光线角)的变化，和穿越传感器的每两个边缘光线之间的角差异。剩余非均匀性，或者如果不使用修正光学装置，则光谱过滤中的所有空间非均匀性可以通过颜色修正算法来修正。这种算法(上面称作帧内颜色修正)可以针对抵达传感器上的每一个像素的颜色的光，基于指示通过标准具的光谱透射的空间不均匀性的数据，按照每一种颜色来执行。
例如，考虑到可调谐光谱过滤器可调谐成诸如上面ii这样的调色板的情况，例如，其中，单色帧的像素强度如下：
第一单色帧对应于：50％白+50％红；
第二单色帧对应于：50％白+50％绿；
第三单色帧对应于：50％白+50％蓝。
该RGB帧可以基于这三个帧的加权和来估计。
如上所示，在某些情况下，还执行帧间颜色修正，以补偿可调谐光谱过滤器的缺陷/生产公差。在使用诸如标准具这样的干涉光谱过滤器时，根据本发明执行帧间颜色修正。在这种情况下，每一种颜色的光谱透射分布图因两个原因而穿越标准具在空间上不均匀：(1)不同CRA角和边缘光线的角差异；(2)生产/制造公差。制造变化因标准具镜未彼此平行、和/或在一个或两个镜子不精确地平坦时造成。因此，在抓取单色帧时，可能通过图像传感器获得不均匀的颜色。
因此，根据本发明，可以因标准具的固有结构和不准确性而应用帧间和帧内颜色修正两者以修正颜色。该帧间颜色修正可以通过利用特定光学设计而以光学方式来应用，和/或通过应用每图像像素颜色修正/规范矩阵以校准该像素的颜色来应用。而且，可以应用其它图像处理方法。例如，通过比较图像的不同位置内的相似斑块和区域中的颜色内容，并且利用另一区域(例如，用作基准区域)中的颜色来调节一个区域中的颜色。
如上所示，在本发明的实施方式中，抓取诸如NIR帧/白帧这样的附加非RGB帧，并且用于增强彩色图像的特性。这种附加帧(其可以与任何非标准RGB颜色光谱相关联)可以根据本发明用于改进最终彩色图像的特性，例如，通过利用用于改进低光/夜间拍照的NIR帧来改进动态范围，通过利用以高曝光获得的白帧来缩减噪声；和/或通过利用非RGB帧的多次曝光以允许针对附加颜色的颜色校准最优化来提供更好的彩色逼真度，和/或例如通过利用超分辨率技术以获取清晰(sharper)图像来改进分辨率(例如，利用子像素技术的数字超分辨率)。
对示出了根据本发明一些实施方式的、用于自适应彩色成像的方法300的流程图的图2C进行说明(例如，在上述方法200的步骤10中)。如上所述，在本发明的时间性(temporal)彩色采样技术中，按总图像获取时段的一部分来采样每一种颜色。将总图像获取时间划分成针对每一种颜色(单色图像)的特定积分时间可以按两个另选来设置：(I)预定方案(例如，每颜色的总获取时段的1/3)；和(II)自适应/动态方案，其取决于所成像的场景。计算机模拟示出了，在21个彩色图像中的7个图像中，非对称划分方案在颜色密度值的均方误差(MSE)方面优于对称方案。
本发明提供了这样一种新颖方法/算法，即，其用于基于场景和照明来确定针对每一个单色图像的积分时段的比率，以提供最佳积分时段。在本发明的一些实施方式中，该方法300在预备颜色校准阶段执行(其例如可以在摄像机自动聚焦期间和/或在在实际曝光时间之前的其它过程期间同时进行)。因此，随着该场景的图像在该阶段在传感器上不能聚焦，例如可以根据相应图像像素的平均强度来计算颜色强度Ic。
为此，在本发明的一些实施方式中，在上述步骤210中使用方法300，以确定针对每一种颜色的最佳积分时间(还可能确定应当测量的附加颜色分量)，并由此为执行该场景的自适应彩色成像作准备。该方法300包括操作320，其中，控制器110操作可调谐光谱过滤器和传感器，以顺序地测量该场景中的几种/预定颜色的强度Ic(其中，c在此被用于指示色索引)。在这点上，在操作320.1中，提供应当测量其强度的几种颜色的特定颜色/光谱分布图c。在320.2中，控制器110将可调谐光谱过滤器120调谐成该特定颜色c，并且在320.3中，传感器130获得该颜色的图像。在320.4中，控制器抓取来自传感器130的、该颜色c的读出/图像数据，并接着处理该图像，以确定颜色c的强度Ic。如在320.5中所示，针对要测量强度的几种/预定颜色{c}中的每一种颜色重复操作320.1-320.4。例如，在某些情况下，测量与红、绿以及蓝相对应的颜色/光谱范围(即，c∈{R,G,B})(例如，测量颜色强度I红、I绿以及I蓝)。
在330中，控制器110确定/计算总强度I总；举例来说，如I总＝ΣIc(例如，I总＝I红+I绿+I蓝)，和/或不同颜色(索引为c)的强度Ic与总强度I总之间的比率Xc。例如，确定/计算比率X红＝I红/I总、X绿＝I绿/I总，以及X蓝＝I蓝/I总。
在340中，控制器110基于比率Xc和/或基于强度Ic来确定/计算每颜色(例如，每颜色c)积分时间。在一些实施方式中，控制器110利用预定阈值(例如，一组每颜色预定强度阈值THc(例如，{TH红、TH绿、TH蓝}))，并且基于那些阈值来处理比率Xc和/或强度Ic，以确定要针对每一种颜色使用的最佳传感器积分时间(例如，通过比较颜色强度比率{X红、X绿、X蓝}与预定相应阈值{TH红、TH；绿、TH蓝})。
在一些实施方式中，使用计算机化状态机来确定每颜色适当积分时间。具体来说，该状态机可以被配置且可以以下列模式中的任一种操作：(i)全自适应模式(图中的340.4)和(ii)部分自适应模式(例如，预配置模式)(图中的340.2)。在某些情况下，该状态机被配置用于通过基于颜色强度Ic和/或比率Xc，计算针对每一种颜色c的积分时间(一般来说，针对更高的强度/比率，提供更短的积分时间)，来提供全颜色自适应性。在其它情况下，该状态机可以用于从可能积分时间的预定集合/查寻表中选择积分时间(例如，基于预定阈值数据，其例如可以包括关联所确定强度/比率与所需积分时间的阈值条件(例如，每颜色))。
而且，在某些情况下，控制器可以被配置且可操作以基于所测量的强度/比率I总/Ic/Xc来确定应当获得的附加颜色(单色帧/图像)并且被用于组成彩色图像。例如，在表示总强度I总太低(例如，低于一预定阈值)时，控制器110可以确定还应当获得NIR中的附加帧，以增强低光成像。而且，在标识某些光条件(例如，如果一个或更多个颜色强度Ic小于一预定阈值–可能存在其它实现)时，在控制器110中，附加帧可以确定应当获得可见频带中的各种颜色的附加单色帧(例如，R、G、B帧)，并且用于组成彩色图像。
由此，参照本发明的方法200和300描述的所建议的图像获取流水线提供了用于彩色成像的几个优点，如全分辨率、真彩色分量测量和每颜色积分时间的时间灵活性。而且，这些方法因更短积分时间而允许每颜色几个帧和每帧清晰图像。而且，与常规Bayer去马赛克(BD)流水线相比，具有几个主要优点。
图2D是按自我解释方式示出根据本发明的方法200的一些实施方式的获取流水线的示意性例示图，其中，标准具被具体配置(如下参照图3A所述)用于提供配合常规RGB光谱曲线的光谱透射曲线。这里，代替常规Bayer过滤器和去马赛克(在图1A和1B中所示)地，该标准具被顺序地调谐，以获得红、绿以及蓝三个单色图像，其由传感器获得并且合并在一起以形成彩色图像。为此，针对同一曝光时间，就最终彩色图像的颜色强度的MSE而言，本发明的技术提供了清晰且更高质量的图像。具体来说，因为单色图像的分辨率匹配传感器的实际真实分辨率(即，因为图像在没有CFA的情况下获得，并由此消除CFA的去马赛克)，并且还作为每颜色短积分时间和单色图像之间的空间配准的结果，所以可以获取清晰图像。单色图像通常可以以大约取决于本发明以外的其它部件(如快门、致动器稳定化时间等)的曝光时间来获取。本发明不限制(最小或最大化)该曝光时间，其通常短于常规积分时间(例如，常规积分时间的10％-50％)。由此，最终图像因单色图像的更短积分时间而清晰(其由此很少受场景和摄像机移动影响)。因此，以改进分辨率和缩减总MSE来获取更高质量的图像。而且，由于本发明允许改变红、绿以及蓝中的光获取比率(其比率在BD方案中恒定，而且分别针对“红”、“绿”和“蓝”(RGB)典型地设置成1:2:1)，因而，其通过选择最合适的曝光方案来为颜色强度的MSE方面的更好图像质量作准备。
如上所述，根据本发明的各个实施方式，通过可调谐标准具来执行颜色过滤(如Fabry-Perot(FP))。图3A是根据本发明的实施方式配置的可调谐标准具400的示意性例示图，其用于提供最佳配合在常规CFA中使用的滤色器的光谱透射曲线的光谱透射曲线。另外，该可调谐标准具400足够薄，以适配在摄像机的光学路径中。
该实施方式的可调谐标准具过滤器400被配置为具有两个镜子M1和M2的两个反射表面的空气间隔标准具。镜子M1和M2按一距离(标准具间距)d隔开，该距离小于可见波长(例如，d<～400nm)，由此实现至少FSR>300nm的足够宽的自由光谱范围(FSR)。该镜子(或其中至少一个)被安装/联接至合适机械致动器(例如，压电材料，该图中未具体示出)，以使镜子M1与M2之间的间距可以调节。
在这点上，应注意到，镜子之间的间距为气态的(例如，空气，并且就此而言，包括真空)，以在内部涂覆材料(例如，多晶硅，或其它高折射率内部涂层)与介质本身(例如，空气)之间提供足够大的折射率差。而且，因为没有针对致动镜子的阻力，所以允许致动器准确且快速地改变镜子的位置。出于成像目的，这提供了可以利用颜色之间的渡越时间(例如，大约1毫秒或更小)，以足够的准确度和速度来调谐标准具400。
镜子M1与M2的内侧涂覆有具有至少n>2.3的高折射率n的高折射率涂层(材料)IC，并且更优选为具有n>3.0的折射率的涂覆材料IC。另选的是或者另外地，在某些情况下，所使用的内部涂层IC具有小于1的折射率：n<1；这些材料可以包括金属和其它材料。应注意到，根据本发明，使用具有高折射率的涂覆材料向标准具提供相对宽的光谱透射峰值(例如，匹配常规CFA光谱的光谱峰值宽度)，而该标准具足够薄(大约1mm或更小)，以适配摄像机(更加紧凑的摄像机)的光轴，而且同时还允许利用镜子之间的气态/空气间距，使能实现快速且准确的可保持性，如上所述。在这点上，应注意到，因为该间隔中的气态/空气介质具有通常较低的折射率，所以产生大的折射率差，其导致宽的光谱透射峰值。因此，尽管在本发明的某些实施方式中，使用具有大约2.3或以上的折射率n的涂覆材料，但在某些实施方式中，更优选的是，使用具有更高折射率的涂覆材料，例如，n等于大约3或以上，而在某些情况下，针对整个可见光谱范围，利用具有高于3.0的高折射率的多晶硅/或GaAs。可以使用更高的折射率来改进常规CFA光谱与本发明的标准具的光谱分布图之间的适配。
例如，在本示例中，使用玻璃镜子M1和M2(其由BK7玻璃制成)，并且涂覆有有多晶硅材料形成的内部涂覆材料/层。该玻璃厚度大约200nm，内部涂层IC厚度大约20nm，以缩减/最小化介质吸收损耗，并且镜子之间的间距/距离d在200nm至350nm之间的范围中改变，以在可见光谱区段中提供可调谐性(例如，用于调谐成RGB三个颜色)，和/或针对NIR的大约20nm至100nm间距。为此，该薄且快速的可调谐标准具设置有光谱峰值的全宽度半最大值(FWHM)在大约为50nm-80nm量级，其与常规CFA光谱的光谱峰值类似。
在这点上，根据本发明，涉及使用具有折射率n>3.8的内部涂层IC和比可见波长更小的标准具间距d<400nm的标准具参数组合，模仿(mimic)普通CFA透射光谱及其宽峰值的透射曲线(例如，参见图3F)。这意指通过标准具实现的滤色器最接近于事实上(de-facto)的彩色光谱标准。
图3B例示了当分别针对为匹配IR和R-G-B光谱而居中的四个中心波长进行调谐时，图3A的实施方式的标准具120的所得光谱透射曲线(补充光谱过滤曲线)。
在这点上，应注意到，在没有标准具120的防反射涂层AR1(其执行IR截止过滤)而仅在镜子M2上包括防反射涂层AR2的情况下，获取图3B的图形。为此，图3B中的图形包括还处于NIR IR中的光谱透射曲线。
针对IR和R-G-B波长中的每一个例示了两个、实和虚透射图形，其中，实图形对应于以处于相对于法线±20°的范围内的入射角(AOI)入射在标准具上的光的透射，而虚图形对应于以处于相对于法线±30°的AOI入射在标准具上的光的透射。尽管在这个示例中仅使用一个AR涂层(AR2)，但该标准具仍提供了良好的透射效率(低损耗)，对于直至20°的AOI大约80％透射，而对于直至30°的AOI大约60％透射。在本发明的一些实施方式中，还使用AR涂层AR1(有或没有IR截止过滤器)，以便进一步改进标准具的效率。下面，对本示例所使用的特定AR涂层AR2进行更详细描述。
图形B1和B2对应于标准具镜之间的间距235nm，其随着蓝波长区段(例如，波长450nm附近)中的光谱透射峰值而取得。图形G1和G2对应于标准具镜之间的间距275nm，其随着绿波长区段(例如，接近于波长530nm)中的光谱透射峰值而取得。在图形R1和R2中，将标准具镜之间的间距设置成325nm，其导致红波长区段(例如，接近于波长600nm)中的光谱透射峰值。在图形IR1和IR2中，将标准具镜之间的间距设置成60nm，其导致NIR红外波长区段(例如，大约接近波长950nm)中的光谱透射峰值。标准具的透射光谱的计算是基于多晶硅材料的折射率的分散，其按自我解释方式在图3C的图形中进行了例示。
该光谱过滤结果展示了针对CIE 1931透射光谱的良好适配。为此，图3D例示了分别示出CIE的标准R-G-B颜色的三个图形gR、gG以及gB。如从图3B看出，图形R1、G1和B1以及图形R2、G2和B2示出了，适配图3D中所示的标准彩色CIE 1931的透射光谱的标准具120R-G-B颜色透射光谱，其针对直至30°的AOI具有相对高的效率。如还在这些图形中示出，获取足够的FSR，提供良好的颜色分离(即，光谱的旁瓣主要保持在要检测的波长带(在这种情况下，可见光和NIR带)之外)。另外，获取峰值的足够宽的FWHM，以模仿标准RGB光谱的宽峰值和它们之间的交叠(即，峰值展示足够宽的光谱变化)。
应当明白，还可以修改标准具的透射曲线(例如，适配摄像机设计方的具体需求/优先选择)。例如，标准具特性可以通过改变内部涂层材料IC(例如，多晶硅材料)或其厚度来修改，以影响标准具的光谱峰值的宽度(因此，影响标准具的精细度)。而且，BK7玻璃可以用另一玻璃替换，并且可以通过修改标准具镜之间的间距(改变空气间距)来移动标准具所调谐至的中心波长。
根据本发明的一些实施方式，镜子M1和M2(或者它们中的至少一个)还涂覆有具体选定的防反射(AR)涂层。例如，在图3A的标准具120中，使用AR涂层AR1和AR2。外部涂层AR1和AR2的目的是缩减因折射率差而造成的光反射，并且改进标准具透射效率。由此，该涂层被选择用于最小化损耗，并且还可能用于替代在可见光区段的常规图像传感器中使用的常规IR-cut过滤器。在本示例中，BK7玻璃镜M1和M2皆从外侧涂覆有AR涂层，并且从内侧涂覆有多晶硅材料的薄高折射率涂层IC，其具有大约n＝3.8的折射率。
应注意到，本发明的标准具的总厚度大约为～400μm。因此，在某些情况下，该标准具可能未被集成在微透镜与传感器之间(例如，代替该传感器的CFA(其厚度在常规上更低于～1μm)。然而，在这种情况下，该过滤器应当放置在传感器的微透镜阵列外侧，例如，其可以替换传感器的IR–cut过滤器。
为此，根据本发明的一些实施方式，该标准具还被配置用于利用IR截止(IR-cutoff)过滤器(具有～700nm截止频率)低通过滤光。这可以通过利用标准具上的具有IR截止特性的特定AR涂层来实现。
例如，左手侧玻璃涂层AR1可以实现防反射(空气至BK7分界面)和400nm–700nm的带–通过滤器(操作为IR截止过滤器)，而AR2涂层仅可以应用BK7至空气分界面的、400nm–700nm范围的防反射特性。
在本示例中，使用下列AR涂层(这些在标题为Optical System Design，Fischer,R.E.；Tadic-Galeb,B.；Yoder,P.R.的书(2008)中有更详细描述)：
针对AR1涂层：
空气|1.07L|(2H2L)8|2.6H|2.64L|2.8H|2.46L|2.14H|2.2L|
(2.6H2.6L)3|2.6H|2.74L|(2.9H2.9L)5|2.74H|3.08L|0.4H|BK7
其中：
L＝75.8800nm,H＝92.6753nm nL＝1.463,nH＝2.239
总涂层宽度为6.1μm。
针对AR2涂层：
|BK7|M|2H|L|空气
其中：
L＝92.1243nm,M＝78.2689nm,H＝59.9718nm
nL＝1.384,nM＝1.629,nH＝2.126
总涂层宽度为0.3μm。
有几种可能构造用于将标准具镜安装在机械致动器上，以向标准具提供准确且快速的调谐。例如，图4A和4B是图3A的标准具120的两种可能机械构造的两个示意性自我解释例示，其中，标准具镜之间的距离d的准确控制通过将一个镜子安装在压电致动器上来实现。该致动器包括具有预定尺度的适当选择的压电晶体，该预定尺度被配置用于提供用于控制镜子之间的间距的希望移动范围。该压电晶体联接至电极，通过该电极，控制器(图1A中的110)控制距离d。图4A示出了其中接近传感器定位的标准具镜以机械方式联接至压电致动器的构造。标准具的第二镜子被固定安装(该安装在图中未具体例示)。在图4B中，示出了这样的构造，其中通过机械安装来固定安装接近传感器定位的标准具镜，而更远离传感器的镜子以机械方式联接至压电致动器。
如上所示，通过利用该标准具镜内侧上的高折射率内涂层，来实现使本发明的标准具构造具体适于成像应用的某些希望光学特性。例如，具有至少n>2.3并且更优选为n>3.0的折射率的涂层。为此，本发明的发明人已经模拟了具有高折射率的几种涂覆材料的光谱透射，例如包括：其指定波长为520nm的多晶硅、二氧化钛(TiO2)、磷化镓(GaP)、GaAs、钡钛氧化物(BaTiO2)、铋钛氧化物(Bi4Ti3O12)分别与下列折射率相关联：分别为4.2、2.6、3.5、4.2、2.5、2.7。当镜子涂覆有上面列出的每一种涂层时，下表示出了标准具镜之间的距离，其提供估计RGB颜色的过滤曲线。
红 绿 蓝
多晶硅 340nm 285nm 245nm
TiO2 355nm 310nm 270nm
GaP 355nm 295nm 255nm
BaTiO2 355nm 310nm 270nm
Bi4Ti3O12 360nm 310nm 370nm
图5A和5B分别是IR和白透射光谱的自我解释图形例示，其通过根据本发明的实施方式配置的标准具获取，在该标准具的镜子上具有多晶硅涂层。如图5A所示，当标准具镜之间的间距在100nm至140nm之间变动时，获取NIR透射光谱。当标准具镜按10nm至60nm间隔时，获取图5B所示的白透射光谱。由此，根据本发明，可以使用该标准具来获取提供彩色信息的几个帧(例如，与RGB颜色相对应的两个或更多个帧)以及与IR和/或白光谱曲线相对应的附加帧。后者可以以相对较高的强度来获取，由此，为从最终图像缩减噪声和/或改进其图像质量和/或动态范围作准备。应当明白，还可以利用上述其它涂层来获取相似白和NIR透射光谱。
由此，本发明的各个实施方式提供了一种新颖的成像系统和方法(流水线)，其用于通过以相应预定(预先定义/自适应)积分时间顺序获取单色图像，并且融合这种图像来形成高质量彩色图像，来进行彩色成像。而且，本发明的各个实施方式提供了一种新颖可调谐标准具光谱过滤器，其特别适于获得可见和/或可见NIR光谱中的彩色图像。该标准具光谱过滤器提供透射峰值的足够宽的全宽度半最大值(例如，大约50nm-80nm的FWHM)和宽泛的足够自由的光谱范围(FSR>300nm)，以生成准确的彩色图像。另外，该标准具可以配置有小厚度形状因子(例如，大约1mm甚或更小)，其可以适配在紧凑/微型成像器的光轴中，同时还提供快速且准确的光谱调谐。

Claims (35)

1.一种用于获取彩色图像的成像系统，该成像系统包括：
图像传感器；
可调谐光谱过滤器，该可调谐光谱过滤器设置在朝着所述图像传感器的光传播的光学路径中；以及
控制器，该控制器连接至所述图像传感器并连接至所述可调谐光谱过滤器，并且该控制器适于通过在三个或更多个对应积分时间持续期间，顺序地操作所述可调谐光谱过滤器，以利用三个或更多个不同光谱过滤曲线顺序地过滤朝着所述图像传感器传递的光，来生成彩色图像；
其中，所述可调谐光谱过滤器是标准具，该标准具被配置为使得所述光谱过滤曲线的透射峰值具有处于50nm至80nm的范围中的全宽度半最大值FWHM和至少300nm的自由光谱范围；所述标准具包括一对反射表面，并且其中，所述反射表面中的至少一个包括下列各项中的至少一个：(i)具有至少n＝2.3的高折射率的层，或(ii)具有比n＝1小的低折射率的层；并且其中所述标准具的厚度不超出1mm；以及
其中，所述控制器适于操作所述可调谐光谱过滤器，使得所述三个或更多个不同光谱过滤曲线包括：与在可见光谱范围中的至少三个特定颜色相对应的至少三个光谱过滤曲线；和至少一个附加光谱过滤曲线，与透射通过在被调谐成所述至少三个光谱过滤曲线时的所述可调谐光谱过滤器的光强度相比，所述至少一个附加光谱过滤曲线适于将相对较高的光强度透射通过所述可调谐光谱过滤器。
2.根据权利要求1所述的系统，其中，所述控制器被配置且可操作用于在所述三个或更多个积分持续期间操作所述图像传感器，以分别获取所述三个或更多个不同光谱过滤曲线的光的三个或更多个图像；并且接收和处理来自所述图像传感器的、指示所述三个或更多个图像的读出数据，并且生成指示彩色图像的数据，该指示彩色图像的数据包括与所述彩色图像的每一个像素中的至少三个颜色的强度有关的信息。
3.根据权利要求1所述的系统，其中，按照每一个光谱过滤曲线来限定所述积分时间的持续。
4.根据权利要求1至3中的任一项所述的系统，其中，所述控制器可操作用于自适应地基于要成像的场景来确定下列各项中的至少一个：所述三个或更多个不同光谱过滤曲线，和所述积分时间的所述持续。
5.根据权利要求4所述的系统，其中，所述控制器可操作用于在所述彩色图像的所述生成之前执行校准阶段；所述校准阶段包括如下步骤：
-将所述可调谐光谱过滤器调谐成所述三个或更多个不同光谱过滤曲线中的至少一个光谱过滤曲线；
-获取并处理来自所述图像传感器的、与通过所述至少一个光谱过滤曲线过滤的所述光相对应的读出数据，并且估计所述场景中的、具有所述光谱过滤曲线的光的强度；
-利用所述强度来确定获得通过所述光谱过滤曲线过滤的光的图像的最佳积分时间持续。
6.根据权利要求1至3中的任一项所述的系统，其中，所述控制器可操作用于估计所述三个或更多个不同光谱过滤曲线的三个或更多个图像中的至少一个图像的亮度，并且在确定所述亮度低于特定阈值时，操作所述可调谐光谱过滤器和所述图像传感器，以获得具有相似或相同光谱过滤曲线的另一图像。
7.根据权利要求2所述的系统，其中，对来自所述图像传感器的、指示所述三个或更多个图像的所述读出数据的所述处理包括以下步骤：将图像融合处理应用至所述读出数据，以生成所述彩色图像；所述图像融合处理包括下列各项中的至少一个：
-处理所述三个或更多个图像，以确定所述图像之间的空间配准；
-基于下列各项中的至少一个来标准化所述三个或更多个图像的相应强度：相应图像的所述积分时间持续，与所述图像相对应的所述光谱过滤曲线，以及所述图像传感器的针对与所述光谱过滤曲线相对应的波长的敏感度；以及
-合并来自所述三个或更多个图像的所述数据，以生成指示所述彩色图像的数据。
8.根据权利要求7所述的系统，其中，所述合并包括颜色插值，该颜色插值用于在和所述三个或更多个图像相关联的所述光谱过滤曲线与和所述彩色图像相关联的特定调色板之间转换。
9.根据权利要求1至3中的任一项所述的系统，其中，所述三个或更多个不同光谱过滤曲线包括处于可见光谱范围的三个RGB光谱过滤曲线。
10.根据权利要求1所述的系统，所述系统被配置且可操作用于通过执行下列步骤来生成所述彩色图像：
操作所述可调谐光谱过滤器，以利用所述至少一个附加光谱过滤曲线来过滤朝着所述图像传感器传递的光，并且操作所述图像传感器达预定积分时间，以获取所述图像传感器上的具有相对较高光强度的特定图像；
操作所述可调谐光谱过滤器，以通过与所述至少三个特定颜色相对应的所述至少三个光谱过滤曲线来过滤朝着所述图像传感器传递的光，以从所述图像传感器获取与所述至少三个特定颜色相对应的至少三个图像；并且
其中，具有相对较高强度的所述特定图像中的噪声内容低于所述至少三个图像的噪声内容，并且所述系统还被配置且可操作用于基于具有较低噪声内容的所述特定图像来执行去噪声处理，以缩减所述至少三个图像的噪声内容。
11.根据权利要求10所述的系统，其中，所述去噪声处理是多帧去噪声。
12.根据权利要求1所述的系统，其中，所述至少一个附加光谱过滤曲线包括下列各项中的至少一个：
(i)使能够在亮成像条件下获取高强度图像的白光谱曲线；以及
(ii)使能够在暗成像条件下获取高强度图像的NIR光谱曲线。
13.根据权利要求1至3中的任一项所述的系统，其中，所述标准具的反射表面中的至少一个安装在设置用于控制所述反射表面之间的光学距离的一个或更多个致动器上。
14.根据权利要求13所述的系统，其中，所述一个或更多个致动器包括压电致动器或静电MEMS致动器。
15.根据权利要求1至3中的任一项所述的系统，其中，所述标准具包括放置在所述反射表面之间的空间中的光电介质；所述光电介质被配置且可操作用于在所述反射表面之间的光学距离上提供控制。
16.根据权利要求1至3中的任一项所述的系统，其中，高折射率的所述层具有折射率n>3，由此，改进通过所述标准具提供的光谱透射曲线与常规RGB颜色之间的匹配。
17.根据权利要求1至3中的任一项所述的系统，其中，所述反射表面包括防反射涂层，该防反射涂层被具体选择成：在通过所述标准具改进所述光谱过滤曲线的波长的透射的同时，最优化所述标准具的所述光谱过滤曲线与常规RGB颜色的光谱曲线之间的匹配。
18.根据权利要求1至3中的任一项所述的系统，所述系统包括：远心光学模块，该远心光学模块位于朝着所述可调谐光谱过滤器传播的光的所述光学路径中；所述远心光学模块被配置且可操作用于缩减下列各项中的至少一个：入射在所述可调谐光谱过滤器上的光束的主光线角的空间变化，和所述光束的角距；由此改进所述可调谐光谱过滤器的光谱过滤操作的空间均匀性。
19.一种用于获取彩色图像的成像系统，该成像系统包括：
图像传感器；
可调谐光谱过滤器，该可调谐光谱过滤器设置在朝着所述图像传感器的光传播的光学路径中；以及
控制系统，该控制系统连接至所述图像传感器并连接至所述可调谐光谱过滤器；所述控制系统适于通过如下方式来生成彩色图像：在三个或更多个对应积分时间持续期间，顺序地操作所述可调谐光谱过滤器，以利用三个或更多个不同光谱过滤曲线顺序地过滤朝着所述图像传感器传递的光，从所述图像传感器抓取与所述三个或更多个不同光谱过滤曲线相对应的三个或更多个图像，并且处理所述图像以产生所述彩色图像；
其中，所述三个或更多个不同光谱过滤曲线包括：与可见光谱范围中的至少三个特定颜色相对应的至少三个光谱过滤曲线；和至少一个附加光谱过滤曲线，所述至少一个附加光谱过滤曲线被选择用于，与透射通过在被调谐成所述至少三个光谱过滤曲线时的所述可调谐光谱过滤器的光强度相比，将相对较高的光强度透射通过所述可调谐光谱过滤器；所述附加光谱过滤曲线提供所述三个或更多个图像中的、具有改进的动态范围和缩减的噪声内容的至少一个图像，所述可调谐光谱过滤器是标准具，该标准具被配置为使得所述光谱过滤曲线的透射峰值具有处于50nm至80nm的范围中的全宽度半最大值FWHM和至少300nm的自由光谱范围；所述标准具包括一对反射表面，所述反射表面中的至少一个包括下列各项中的至少一个：(i)具有至少n＝2.3的高折射率的层，或(ii)具有比n＝1小的低折射率的层；并且
其中，所述控制系统适于针对下列各项中的至少一个，利用所述至少一个图像来执行所述三个或更多个图像的双边过滤处理：(i)根据所述彩色图像缩减噪声内容；和(ii)改进所述彩色图像的动态范围。
20.根据权利要求19所述的系统，其中，所述至少一个附加光谱过滤曲线包括下列各项中的至少一个：(i)用于获取可见光谱内的高强度图像的白光谱曲线；和(ii)用于获取特定成像条件下的高强度图像的NIR光谱曲线。
21.根据权利要求19或20所述的系统，其中，所述至少三个特定颜色包括三个RGB颜色。
22.一种用于彩色图像获取的方法，该方法包括以下步骤：
顺序地操作设置在朝着图像传感器的光传播的光学路径中的可调谐光谱过滤器，以在三个或更多个相应积分时间持续期间，利用与三个或更多个颜色相对应的三个或更多个不同光谱过滤曲线，顺序地过滤朝着所述图像传感器传递的光，所述可调谐光谱过滤器被配置为提供具有宽透射峰值的所述光谱过滤曲线，所述宽透射峰值具有处于50nm至80nm的范围中的全宽度半最大值FWHM和至少300nm的自由光谱范围；所述可调谐光谱过滤器具有标准具构造并包括一对反射表面，其中，所述反射表面中的至少一个包括下列中各项的至少一个：(i)具有至少n＝2.3的高折射率的层，和(ii)折射率小于1的层；
在所述三个或更多个积分时间持续期间操作所述图像传感器，以分别获取所述三个或更多个颜色的光的三个或更多个图像；以及处理来自所述图像传感器的、指示所述三个或更多个图像的读出数据，以生成指示彩色图像的数据，该指示彩色图像的数据包括与所述图像的每一个像素中的至少三个颜色的强度有关的信息；以及
其中，所述获取三个或更多个图像的步骤包括以下步骤：利用被调谐成与可见光谱范围中的至少三个特定颜色相对应的至少三个光谱过滤曲线的所述可调谐光谱过滤器来获取至少三个图像，并且利用被调谐成相对于所述至少三个光谱过滤曲线透射较高光强度的至少一个附加光谱过滤曲线的所述可调谐光谱过滤器来获取至少一个附加图像；由此能够提供具有改进的动态范围和缩减的噪声内容的所述彩色图像。
23.根据权利要求22所述的方法，其中，按照每一个光谱过滤曲线来预定所述积分时间持续。
24.根据权利要求22或23所述的方法，所述方法包括以下步骤：在对场景的实际成像之前执行校准阶段，所述校准阶段包括：获得指示所述场景中的一个或更多个颜色的强度的一个或更多个图像，并且处理所述一个或更多个图像，以基于所述场景确定下列各项中的一个或更多个：要在所述场景的所述实际成像期间成像的所述三个或更多个颜色，和所述积分时间持续。
25.根据权利要求24所述的方法，其中，所述校准阶段包括：将所述可调谐光谱过滤器顺序地调谐成与所述一个或更多个颜色相对应的光谱过滤曲线，处理来自所述图像传感器的读出数据以估计所述场景中的所述三个或更多个颜色的强度；以及利用所估计的强度来确定用于成像从所述场景抵达的、所述三个或更多个颜色中的每一种颜色的光的积分时间。
26.根据权利要求25所述的方法，所述方法包括以下步骤：
通过执行下列各项中的至少一个来确定所述积分时间：(i)基于所估计的强度，从预定组的预定积分时间中选择所述积分时间；和(ii)基于所述强度来计算所述积分时间。
27.根据权利要求22或23所述的方法，所述方法包括以下步骤：估计与所述三个或更多个颜色中的一个相关联的至少一个图像的亮度，并且在确定所述亮度低于特定阈值时，操作所述可调谐光谱过滤器和所述图像传感器，以获得相似或相同颜色的另一图像。
28.根据权利要求22或23所述的方法，所述方法包括以下步骤：将图像融合处理应用至所述三个或更多个图像，并且生成所述彩色图像；所述图像融合处理包括下列各项中的至少一个：
-确定所述三个或更多个图像之间的空间配准；
-基于下列各项中的至少一个来标准化所述三个或更多个图像的相应强度：相应图像的所述积分时间，分别与所述图像相对应的所述光谱过滤曲线，以及所述图像传感器的针对与所述光谱过滤曲线相对应的波长的敏感度；以及
-合并来自所述三个或更多个图像的所述数据，以生成指示所述彩色图像的数据。
29.根据权利要求28所述的方法，其中，所述合并包括颜色插值，该颜色插值用于在和所述三个或更多个图像相关联的所述光谱过滤曲线与所述彩色图像的特定调色板之间转换。
30.根据权利要求22或23所述的方法，其中，所述获取三个或更多个图像的步骤包括以下步骤：获取相应RGB颜色的至少三个图像。
31.根据权利要求22或23所述的方法，所述方法还包括以下步骤：利用所述至少一个附加图像用于执行多帧过滤处理，以便执行如下操作：(i)从所述彩色图像缩减噪声内容；和/或(ii)改进所述彩色图像的动态范围。
32.根据权利要求22或23所述的方法，其中，所述至少一个附加光谱过滤曲线包括下列各项中的至少一个：(i)用于获取高强度图像的白光谱曲线；和(ii)用于获取暗成像条件下的高强度图像的NIR光谱曲线。
33.根据权利要求22或23所述的方法，其中，所述至少三个特定颜色包括三个RGB颜色。
34.根据权利要求22或23所述的方法，所述方法包括以下步骤：利用沿朝着所述可调谐光谱过滤器的光的光学路径放置的至少一个远心光学模块，由此，改进透过所述可调谐光谱过滤器的光谱透射的空间均匀性。
35.根据权利要求22或23所述的方法，所述方法包括以下步骤：应用颜色校准图像处理，以补偿透过所述可调谐光谱过滤器的光谱透射的空间变化。
CN201480043482.7A 2013-06-24 2014-06-24 一种用于彩色图像获取的系统和方法 Expired - Fee Related CN105452825B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361838525P 2013-06-24 2013-06-24
US61/838,525 2013-06-24
PCT/IL2014/050566 WO2014207742A2 (en) 2013-06-24 2014-06-24 A system and method for color image acquisition

Publications (2)

Publication Number Publication Date
CN105452825A CN105452825A (zh) 2016-03-30
CN105452825B true CN105452825B (zh) 2018-05-29

Family

ID=51210702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043482.7A Expired - Fee Related CN105452825B (zh) 2013-06-24 2014-06-24 一种用于彩色图像获取的系统和方法

Country Status (5)

Country Link
US (2) US9652827B2 (zh)
EP (1) EP3014875A2 (zh)
KR (1) KR20160023838A (zh)
CN (1) CN105452825B (zh)
WO (1) WO2014207742A2 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019251A1 (en) 2013-08-03 2015-02-12 Ramot At Tel-Aviv University Ltd. Color imaging using a monochromatic digital camera
KR101637671B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 Rgbw 센서를 이용한 rgb 및 nir 추출방법
US9719856B2 (en) * 2014-08-27 2017-08-01 ARETé ASSOCIATES Coded spectral imager
US10482361B2 (en) 2015-07-05 2019-11-19 Thewhollysee Ltd. Optical identification and characterization system and tags
JP7046792B2 (ja) 2015-07-15 2022-04-04 テクノロジー イノベーション モメンタム ファンド（イスラエル）リミテッド パートナーシップ 調整可能なｍｅｍｓエタロン
US10178360B2 (en) * 2015-08-03 2019-01-08 Sony Corporation Imaging sensor coupled with layered filters
EP3465144A4 (en) * 2016-05-27 2020-01-15 The Government of the United States of America, as represented by the Secretary of the Navy ANALYSIS OF REFLECTION-BASED COLOR CHANGES IN SENSOR APPLICATIONS
KR20190111906A (ko) 2016-11-20 2019-10-02 유니스펙트럴 리미티드. 다중-대역 이미징 시스템
CN110383138B (zh) * 2016-11-20 2021-12-28 尤尼斯拜特罗有限责任公司 可调谐标准具设备和成像设备
JP2018169512A (ja) * 2017-03-30 2018-11-01 住友化学株式会社 光学積層体
CN110945561A (zh) * 2017-06-13 2020-03-31 爱色丽公司 高光谱成像分光光度计和系统
WO2019220263A1 (en) 2018-05-18 2019-11-21 Unispectral Ltd. Optical device with expansion compensation
CN109239704B (zh) * 2018-08-21 2023-03-10 电子科技大学 一种基于序贯滤波交互式多模型的自适应采样方法
US11470287B2 (en) 2019-12-05 2022-10-11 Samsung Electronics Co., Ltd. Color imaging apparatus using monochrome sensors for mobile devices
CN113099078B (zh) * 2020-01-08 2023-06-27 华为技术有限公司 摄像头模组、成像方法和成像装置
CN113257846A (zh) 2020-02-11 2021-08-13 三星电子株式会社 图像传感器和包括图像传感器的电子设备
FI129998B (fi) * 2020-04-22 2022-12-15 Teknologian Tutkimuskeskus Vtt Oy Hyperspektraalinen kuvantamislaite

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI98325C (fi) 1994-07-07 1997-05-26 Vaisala Oy Selektiivinen infrapunadetektori
US6031653A (en) * 1997-08-28 2000-02-29 California Institute Of Technology Low-cost thin-metal-film interference filters
JP3682834B2 (ja) * 1998-12-01 2005-08-17 ホーチキ株式会社 波長可変干渉フィルタを用いた光学装置
WO2001028224A2 (en) 1999-10-13 2001-04-19 Cambridge Research & Instrumentation Inc. Colorimetric imaging system
US6587484B1 (en) 2000-10-10 2003-07-01 Spectrasensor, Inc,. Method and apparatus for determining transmission wavelengths for lasers in a dense wavelength division multiplexer
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
WO2005010474A2 (en) 2003-07-18 2005-02-03 Chemimage Corporation Method and apparatus for multiwavelength imaging spectrometer
JP2005055670A (ja) 2003-08-04 2005-03-03 Seiko Epson Corp Ｍｅｍｓデバイス及びその製造方法並びにｍｅｍｓモジュール
US20050029437A1 (en) 2003-08-08 2005-02-10 Akira Hasegawa Capsule optical sensor
WO2005046248A1 (ja) 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
US7177505B2 (en) 2004-03-04 2007-02-13 Rosemount Inc. MEMS-based actuator devices using electrets
EP1869526B1 (en) * 2005-03-30 2019-11-06 Necsel Intellectual Property, Inc. Manufacturable vertical extended cavity surface emitting laser arrays
US7554667B1 (en) 2005-08-25 2009-06-30 Ball Aerospace & Technologies Corp. Method and apparatus for characterizing hyperspectral instruments
KR101100431B1 (ko) * 2005-11-22 2011-12-30 삼성전자주식회사 고효율 2차 조화파 생성 외부 공진기형 면발광 레이저
FI20060959A0 (fi) * 2006-11-01 2006-11-01 Chun Ye Menetelmä ja kokoonpano kierrätysmassan ja massan analysoimiseksi
JP4919780B2 (ja) * 2006-11-24 2012-04-18 オリンパス株式会社 蛍光観察装置
US8039816B2 (en) 2006-11-24 2011-10-18 Olympus Corporation Fluorescence observation apparatus
US20080144001A1 (en) 2006-12-15 2008-06-19 Bauke Heeg Spectral imaging device
JP2008182103A (ja) 2007-01-25 2008-08-07 Olympus Corp 気密封止パッケージ
JP2008256837A (ja) 2007-04-03 2008-10-23 Yamaichi Electronics Co Ltd ファブリペロー型波長可変フィルタおよびその製造方法
JP5082648B2 (ja) * 2007-07-24 2012-11-28 カシオ計算機株式会社 撮像装置、撮像装置制御プログラム及び撮像装置制御方法
US8537354B2 (en) 2007-07-31 2013-09-17 ChemImage Technologies, LLC System and method for instrument response correction based on independent measurement of the sample
US7759644B2 (en) * 2008-03-18 2010-07-20 Drs Rsta, Inc. Spectrally tunable infrared image sensor having multi-band stacked detectors
US8384905B2 (en) 2009-11-10 2013-02-26 Corning Incorporated Tunable light source for label-independent optical reader
EP4137790A1 (en) * 2009-11-30 2023-02-22 Imec VZW Integrated circuit for spectral imaging system
JP5531832B2 (ja) * 2010-07-06 2014-06-25 セイコーエプソン株式会社 光フィルター、光フィルターモジュール、分光測定器および光機器
JP5810512B2 (ja) * 2010-11-12 2015-11-11 セイコーエプソン株式会社 光学装置
CN102053361A (zh) 2010-11-24 2011-05-11 福州高意通讯有限公司 一种可调标准具
CN102148999A (zh) * 2011-01-10 2011-08-10 南京理工大学 宽波段大跨度调谐滤波单通道彩色微光夜视方法及装置
US9019358B2 (en) * 2011-02-08 2015-04-28 Xerox Corporation Method for classifying a pixel of a hyperspectral image in a remote sensing application
CN103608654A (zh) * 2011-06-21 2014-02-26 奥林巴斯株式会社 分光图像拍摄装置
WO2013035532A1 (ja) * 2011-09-05 2013-03-14 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに画像作成方法
CN103048781A (zh) 2011-10-11 2013-04-17 福州高意通讯有限公司 一种mems可调标准具
EP3074800B1 (en) 2013-11-26 2021-09-08 Inphenix, Inc. Wavelength tunable mems-fabry perot filter

Also Published As

Publication number Publication date
US10229476B2 (en) 2019-03-12
CN105452825A (zh) 2016-03-30
WO2014207742A2 (en) 2014-12-31
WO2014207742A3 (en) 2015-02-26
KR20160023838A (ko) 2016-03-03
US9652827B2 (en) 2017-05-16
US20160171653A1 (en) 2016-06-16
EP3014875A2 (en) 2016-05-04
US20170316547A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
CN105452825B (zh) 一种用于彩色图像获取的系统和方法
JP5976676B2 (ja) レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
US8717485B2 (en) Picture capturing apparatus and method using an image sensor, an optical element, and interpolation
Ohsawa et al. Six band HDTV camera system for spectrum-based color reproduction
Imai et al. Comparison of spectrally narrow-band capture versus wide-band with a priori sample analysis for spectral reflectance estimation
CN104811675B (zh) 电子设备及电子设备的控制方法
US11747533B2 (en) Spectral sensor system using optical filter subarrays
US9188841B2 (en) Imaging device
JP2002303548A (ja) 平坦な測定対象物の光電測定用装置
CN105865624B (zh) 高光谱采集系统的光谱提取方法及装置
JP2003284082A (ja) 正確な電子色捕獲及び再生の装置および方法
WO2015053860A1 (en) Reference color slide for use in color correction of transmission-microscope slides
CN113676628A (zh) 多光谱传感器、成像装置和图像处理方法
JP2020176873A (ja) 校正装置、校正方法、分光カメラ、及び表示装置
US11696043B2 (en) White balance compensation using a spectral sensor system
JP7428090B2 (ja) 校正装置、校正方法、校正プログラム、及び分光カメラ
de Lasarte et al. Influence of the number of samples of the training set on accuracy of color measurement and spectral reconstruction
JP2002335538A (ja) スペクトル画像の色補正方法およびこの方法を用いるスペクトル画像撮影装置、並びに上記方法を実行するためのプログラム
JP2022038102A (ja) 校正装置、校正方法、及び校正プログラム
JP7169110B2 (ja) 倍率色収差測定装置
JP5054659B2 (ja) 撮像装置
Melis et al. Development of a UV to IR extension to the standard colorimetry, based on a seven band modified DSLR camera to better characterize surfaces, tissues and fabrics
JP2019153931A (ja) 測定装置、該測定装置における測色換算用パラメータの設定方法、該測定装置によって検査された工業製品
US20230082539A1 (en) Illuminant correction in an imaging system
WO2022234753A1 (ja) 固体撮像装置及び電子機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180529

Termination date: 20200624

CF01 Termination of patent right due to non-payment of annual fee