CN101124462A - 多光谱和超光谱成像系统 - Google Patents

多光谱和超光谱成像系统 Download PDF

Info

Publication number
CN101124462A
CN101124462A CNA2005800412674A CN200580041267A CN101124462A CN 101124462 A CN101124462 A CN 101124462A CN A2005800412674 A CNA2005800412674 A CN A2005800412674A CN 200580041267 A CN200580041267 A CN 200580041267A CN 101124462 A CN101124462 A CN 101124462A
Authority
CN
China
Prior art keywords
filter
color
mosaic
image
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800412674A
Other languages
English (en)
Other versions
CN101124462B (zh
Inventor
哈迈德·哈米德·穆罕默德
弗雷德里克·贝里霍尔姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Forskarpatent I Uppsala AB
Original Assignee
Forskarpatent I Uppsala AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Forskarpatent I Uppsala AB filed Critical Forskarpatent I Uppsala AB
Publication of CN101124462A publication Critical patent/CN101124462A/zh
Application granted granted Critical
Publication of CN101124462B publication Critical patent/CN101124462B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0294—Multi-channel spectroscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G01N2021/1797—Remote sensing in landscape, e.g. crops
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/317—Special constructive features
    • G01N2021/3177—Use of spatially separated filters in simultaneous way

Abstract

本发明涉及待变换成多光谱或超光谱图像的瞬时或非瞬时多频带图像的产生，包括光收集装置(11)、具有至少一个二维传感器阵列(121)和位于装置(1)的光路(OP)中的所述图像传感器阵列(121)之前的瞬时颜色分离装置(123)的图像传感器(12)、以及以使成像局限于电磁谱的特定部分为目的的位于所述光路(OP)中的第一均匀滤谱器(13)。本发明特别教导了包括安装在滤光器轮(114)上或由透射式显示器(115)显示的均匀滤色器或滤谱器和/或滤色器或滤谱器马赛克的滤光器单元(FU)永久地或可互换地位于所述光路(OP)中的所述颜色分离装置(123)之前，或者接近会聚光(B)。每个滤色器或滤谱器马赛克由众多均质滤光区组成。滤色器或滤谱器马赛克的所述滤光区的透射率曲线(TC)可以部分重叠，除此之外，这些透射率曲线与属于所述颜色分离装置(123)的所述滤光区的透射率曲线重叠。所述滤色器或滤谱器马赛克和所述颜色分离装置(123)的透射率曲线(TC)适当遍布待研究的光谱区间。所述颜色分离装置(123)与所述滤色器或滤谱器马赛克的组合产生不同组的线性无关的透射率曲线(TC)。通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克，且在任选的插值步骤之后，获得多频带图像。所得多频带图像被变换成多光谱或超光谱图像。

Description

多光谱和超光谱成像系统
技术领域
本发明总体上涉及一种包括用于产生光谱信息丰富的多频带图像以及多光谱和超光谱图像、或者产生光谱或光谱信息丰富的信号的装置和方法的系统。该装置包括光收集装置、包括嵌入式(与图像传感器集成)颜色分离装置的带有至少一个二维传感器阵列的图像传感器、和以使成像局限于电磁谱的特定部分为目的、处在该装置的光路中的任选的均匀滤谱器。本发明还涉及用于产生多光谱和超光谱图像的光学辅助设备和方法。在本发明的装置或本发明的光学辅助设备中可以包括彩色马赛克、均匀滤色器和/或滤色器轮。由图像传感器记录的图像被去马赛克成每个频带由记录特定滤光器的响应信号的像素组成的多频带图像。利用插值填充每个频带中的空区。针对每个多频带像素对光谱进行估算，并因此获得多光谱或超光谱图像。当然，可以通过计算所得图像中所有光谱的平均值来为整个成像场景产生一个光谱，但是，更高效的方法是计算多频带图像的每个频带(或每个频带的特定部分)的平均值，最后，将所得多频带向量变换成光谱，即，获得一种光谱仪。可以使用光纤将光引向图像传感器阵列的特定部分，并因此获得可以并行地测量数量与所使用光纤的数量一样多的光源的多光谱仪。当该装置中未包括滤色器轮或用于滤光器互换或交换的其它装置时，获得瞬时多光谱和超光谱图像。滤光器互换或交换可以利用带有移动部分的任何滤光器夹持器来执行，还可以利用扁平透射式显示器显示所需均匀滤色器和/或滤光器马赛克的序列来执行。
背景技术
尽管通常称为光谱仪的多光谱和超光谱传感器发生了重大的演变，但仍然只有非常少或粗糙的获得环境的瞬时的所谓多光谱或超光谱2D图像、即具有多于三个谱带的2D图像的方式。我们将超光谱图像定义为包含多于十个谱带的图像，而多光谱图像具有四个到十个谱带。
现今的多光谱和超光谱传感器系统依赖于空间扫描和/或光谱扫描来产生所得图像。这些系统中的一些在如下出版物中有描述：
-T.H.Barnes的“Photodiode array Fourier transform spectrometerwith improved dynamic range”Appl.Opt.24，3702-3706(1985)；
-T.Okamoto，S.Kawata和S.Minani的“Fourier TransformSpectrometer with a Self-scanning Photodiode Array”Appl.Opt.23，269(1984)；
-Slough，W.，J.，Rafert，J.B.，Rohde，C.A.，Hart，C.L.，的“THRIFTI：tomographic hyperspectral remote imaging Fourier transforminterferometer”Proceedings SPIE Vol.3393，207-216，(1998)；
-Rafert，J.B.，Holbert，E.T.，Rusk，E.T.，Durham，S.E.，Caudill，E.，Keating，D.，Newby，H.的“A Visible，Spatially-Modulated Imaging FourierTransform Spectrometer(SMIFTS)for Astronomical Application”Bulletin of the American Astronomical Society，24，1282，(1992)；以及
-Tugbayev，V.A.的“Polarization interferometer for visible Fouriertransform spectrometer of static type”Proceeding SPIE Vol.2089，292，(1994)。
在空间扫描的情况中，传感器系统瞬时捕捉整个光谱，但在每个瞬间只针对场景的一个小区域，且利用空间扫描来覆盖整个场景。这可以通过例如利用跨待成像的场景而平移的一行传感器单元来实现，这是产生如航空和卫星图像以及工业检查方面大多数多光谱和超光谱图像的方式。光谱扫描的情况相反，因此需要时间来获得完整的光谱。光谱扫描可以例如利用包含若干不同窄带或宽带滤光器的滤光器轮来实现，并且利用这些滤光器中的每一个来记录完全相同的场景。
与扫描过程的需要相关联的缺点是所得图像对比扫描时间快的场景变化敏感。这对于快速变化事件的近距离成像尤其严重。本发明的目的在于当不执行滤光器互换或交换、即不需要对场景执行光谱扫描时捕捉瞬时多光谱和超光谱2D图像。
数码彩色相机可以利用与图像传感器芯片集成的滤色器马赛克(例如，Bayer滤色器阵列)产生瞬时RGB(红色、绿色、蓝色)彩色图像。所用滤色器马赛克可以由RGB、RGBE(E＝翠绿色)、CMY(青色、洋红色、黄色)或CMYG颜色区组成。处理在所用马赛克的不同着色的区之后的传感器的响应产生最终RGB图像。
换句话说，三个或四个宽谱带滤光器用于产生RGB图像；3色带图像。这种技术的一种扩展是使用若干高质量窄带滤光器马赛克来产生具有与用在马赛克中的不同滤光器的数量一样多数量的频带的图像，如US 4885 634，其示出了用于显示单色和彩色图像的内诊镜(其中光学内诊镜与用于特定谱波长成分的图像信号处理器和TV相机连接)、以及用于关于特定波长区的单色图像以及普通彩色图像的显示装置。但是，这种方法的高成本限制了它的实用性。
Zhang，C.，Bin，X.，Zhao，B.的出版物“Static polarization interferenceimaging spectrometer(SPIIS)”Proceedings SPIE Vol.4087，p.957，(2000)教导了一种可以用于瞬时超光谱成像的发展中的新技术。
发明内容
本发明教导了使用若干重叠宽谱带滤光器来(在适当的图像去马赛克和处理之后)产生可以变换成具有若干窄谱带的多光谱或超光谱图像的光谱信息丰富的多频带图像。一系列重叠滤光器(这些滤光器直接物理接触或者位于该装置的光路中的不同位置)构建所谓的多重滤光器，即输入光依次穿过组分滤光器层。若干低成本滤色器可以用于构建与使用更大数量的高成本窄带滤光器等价的多重滤光器。因此，当使用这些多重滤光器代替对应的窄带滤光器时，光谱扫描时间减少(注意，每个滤光器必须覆盖整个场景)。此外，通过(利用由这些滤光器组成的周期性图案)来构造这些多重滤光器的高分辨率马赛克，可以完全省去扫描时间。实现这个目的的另一种可能方式是使用需要复杂和昂贵光学硬件及电子硬件的多芯片传感器。
在数码彩色相机中，制造商已经放入与传感器集成的彩色马赛克(例如，Bayer滤色器阵列)，且替换或改变这些滤光器非常困难和昂贵。因此，需要一种得到比对应彩色图像包含更多光谱信息的瞬时多光谱或超光谱2D图像或瞬时多频带图像的节省成本的灵活设备。
本发明的一个被提出的实施例教导了将数码彩色相机(包含CCD或CMOS图像传感器芯片)与在光路中具有彩色马赛克的附加透镜系统一起使用，以便获取具有许多谱带的瞬时2D图像。通过在光路中设置滤光层，可以做到这一点。其也是节省成本的。
另一种方法是利用作为覆盖图像传感器单元的松散放置的薄膜(或薄膜堆，即一块层叠薄膜)、或作为与图像传感器单元集成(嵌入有图像传感器单元)的层的多重滤光器马赛克薄膜来覆盖图像传感器芯片(其可能已经自带有嵌入的滤色器马赛克)。必须实现图像传感器单元与覆盖膜或层之间的直接接触，以保证将这个额外膜或层放置在光路中的会聚光中。微透镜可用于为膜和传感器提供会聚光。
如果扫描时间不是关键的(在获取图像立方体(image cube)时，关于相机位置和场景的移动或变化都未发生)，还可以利用被对准并定位在光路中的会聚光中的若干重叠滤光器轮来获得多重滤光器：也就是说，当前均匀滤色器通过其而显现的每个滤光器轮的窗口位于光路中的会聚光中。完全相同的场景利用通过选择安装在滤光器轮上的均匀滤色器的不同组合而产生的不同多重滤光器来记录。还可以利用均匀滤色器轮(等价于使用可互换的均匀滤色器)与固定滤色器马赛克的组合来产生多重滤光器马赛克。更为一般的方法是将均匀滤色器轮与彩色马赛克滤光器轮(等价于使用可互换的滤色器马赛克)相组合。利用移动部分得到非瞬时成像系统。还可以使用扁平透射式显示器来起到滤光器互换或交换设备的作用。在任何瞬时，所需的均匀滤色器或滤色器马赛克由这些显示器简单地显示。图像立方体记录期间的滤光器互换得到非瞬时图像，而不同图像记录任务之间的滤光器互换可以用于改变系统的波长范围并针对不同应用对其进行优化。
另一种更昂贵的瞬时成像方法是使用其中可以将均匀滤色器与滤色器马赛克相组合以产生多重滤光器马赛克的多芯片相机(例如，三芯片相机)。
本发明是一种用于产生光谱信息丰富的多频带图像以及多光谱和超光谱2D图像的成像系统，该成像系统被构造成通过使用重叠滤色器和/或滤色器马赛克在光路中产生透射滤光器的组合(称为多重滤光器)。所使用的滤光器或马赛克可以通过普通打印技术来产生，所述普通打印技术通常得到就透明度而言质量适中的宽带滤色器。但是，将这些滤光器放置在光路中的会聚光中补偿了这些不完美。当然，还可以利用对可见光和/或近红外光敏感的常规透射滤光器和滤光器马赛克。依次穿透重叠滤色器(可以是滤色器马赛克中的小的均质颜色区)的光线穿过整个光学系统。
普通打印技术产生放置在(光学透镜系统内)的光路中的会聚光中的(和/或直接覆盖图像传感器单元的)有用的滤色器和滤色器马赛克。这使本发明的系统的滤光部分是节省成本的。
本发明还示出了如何将该附加多重滤光器马赛克构造为单独的模块，从而例如具有此马赛克的透镜系统可以容易地附着到自带或不自带(嵌入的)相机透镜的单色或彩色相机、普通数码相机。如果相机已经具有固定的(嵌入的)相机透镜，则附着配备有目镜的透镜系统可做到这一点。否则，如果相机不自带(嵌入的)相机透镜，则透镜系统起到配备有滤色器马赛克的相机透镜的作用。根据提出的实施例，这样的透镜系统于是可以视为自带或不自带固定的(嵌入的)相机透镜的常规数码相机的透镜附件。其它提出的实施例教导了使用滤光器轮来夹持均匀滤色器和/或滤色器马赛克(等价于使用可互换的滤光器和马赛克)。当然，可以使用诸如LCD、等离子体或电致变色显示器的扁平透射式显示器，来通过简单地显示所需颜色图片来起到均匀滤色器和/或滤色器马赛克的作用。可以使用这些显示器来代替滤光器轮。但是，这些类型显示器的新设计需要增强其透明度和光谱特性。
本发明的目的还在于通过应用于来自系统的成像部分的输出图像的去马赛克和插值方法继之以变换方法来产生最终所得图像中的光谱。这种变换方法将宽带彩色马赛克单元响应取作输入，并利用例如线性代数将这些信号转换成近似按单元的光谱。这使本发明的系统能够产生在像素中存在光谱的瞬时2D图像。如果系统不包括平板透射式显示器(LCD、等离子体或电致变色显示器)、滤光器轮或具有能够可互换地使用若干不同的均匀滤色器和/或滤色器马赛克的移动部分的其它滤光器夹持器，则不需要(光谱)扫描。平板透射式显示器、滤光器轮等用于获得较好的空间和光谱分辨率，但系统于是获取非瞬时图像，因为一系列图像需要利用不同的多重滤光器来记录。另一方面，在使用固定的多重滤光器马赛克(也可以显示在透射式显示器上)的情况下，只记录一个图像(其具有与图像传感器阵列相同的尺寸)，导致所得瞬时多光谱或超光谱图像的空间分辨率下降。为了增强所得瞬时多光谱或超光谱图像的空间和光谱分辨率，可以使用一种更昂贵的方法：利用其中可以使用均匀滤色器和/或滤色器马赛克的组合的多芯片图像传感器(例如，三芯片图像传感器)。
使用平板透射式显示器(LCD、等离子体或电致变色显示器)使得可以使用针对不同波长区间优化的不同滤色器马赛克。
其中利用这里提供的本发明的技术的多光谱和超光谱成像可能有用的应用的列表是相当长的，包括(但不限于)如下领域：
·精细农业/耕作(监视土地状况、预测产量、植物识别等)；
·植物病理压力检测和表征(检测病虫害)；
·兽医(医疗诊断、状况估算等)；
·食物质量检测(新鲜水果和蔬菜的检测、奶类和油类质量检测、家禽、鱼类和肉类质量检测、肉类中的脂肪估算等)；
·森林、植被和树冠研究(测绘树木品种、树木体积/大小/年龄估算、检测受损/折断树木、外来物种检测等)；
·生态系统监视；
·环境(湿地、陆地、水文等)；
·羽毛检测和分析
·水质量和珊瑚礁监视；
·海洋研究(深海测量、水体透明度等)；
·卫生保健(食品安全、医疗诊断，例如，黑素瘤检测和皮肤创伤分析等)；
·生物和化学检测(检测和识别危险物品)；
·物品识别(天然和人造物品)；
·矿物勘探和绘制；
·伪装物和隐藏物检测；
·灾难缓解；
·城市规划和房地产；
·交通能力分析；
·法律实施(测量溢出程度和污染物、跟踪化学物品或油的排放、检测保护区内的非法活动等)。
但是，显而易见，多频带图像(其在去马赛克步骤之后获得)和对应的多光谱或超光谱图像(其在变换步骤之后获得)包含相同量的光谱信息。因此，不必要将多频带图像转换成多光谱或超光谱图像以便能够分析成像场景。可以直接对多频带图像进行分析，从而得到比使用估算的(即引入估算误差)多光谱或超光谱图像时更好的性能。
优点
本发明的优点是使利用低成本常规相机和光学附件产生节省成本的、瞬时和非瞬时多光谱和超光谱图像或光谱信息丰富的多频带图像成为可能。
附图说明
现在参照附图详细描述根据本发明的包括装置和方法的系统，在附图中：
图1是产生瞬时和/或非瞬时多光谱和超光谱图像的系统的示意性的和简化的图示。
图2a是由重叠滤色器马赛克组成的滤光器单元(FU)的示意性的和简化的图示，其中，CFMi指编号为“i”的滤色器马赛克。
图2b是由重叠均匀滤色器组成的滤光器单元(FU)的示意性的和简化的图示，其中，UCFi指编号为“i”的均匀滤色器。
图2c是由重叠均匀滤色器和滤色器马赛克组成的滤光器单元(FU)的示意性的和简化的图示，其中，XCFi可以是CFMi或UCFi。
图3a是将图像传感器单元(ISU)与包括直接附着到ISU的滤光器单元FU0的多重滤光器单元(MFU)相组合的装置的示意性的和简化的图示。
图3b是将图像传感器单元(ISU)与包括直接附着到ISU的滤光器单元FU0以及位于光路(OP)中的会聚光中的若干(m≥1)滤光器单元(FUi)的多重滤光器单元(MFU)相组合的装置的示意性的和简化的图示。
图3c是将图像传感器单元(ISU)与由位于光路(OP)中的会聚光中的若干(m≥1)滤光器单元(FUi)组成的多重滤光器单元(MFU)相组合的装置的示意性的和简化的图示，注意，未使用FU0。
图4a是由两个重叠滤色器马赛克CMYT(由青色区域、洋红色区域、黄色区域和透明区域组成)和RGBT(由红色区域、绿色区域、蓝色区域和透明区域组成)组成的多重滤光器马赛克单元(其被重复以形成覆盖整个图像传感器阵列的马赛克)的示意性的和简化的图示，其中，CMYT马赛克的每个单元覆盖RGBT马赛克的2×2个单元。
图4b是利用夹持均匀滤色器的两个对准的滤光器轮(出现来自每个滤光器轮的所选滤光器的窗口必须对准)产生均匀多重滤光器的装置的示意性的和简化的图示，来自这两个滤光器轮的滤光器的不同组合产生不同的多重滤光器。
图5a、5b和5c是待与多芯片图像传感器一起使用的三个多重滤光器马赛克的示意性的和简化的图示，其中，这些多重滤光器马赛克中的每一个覆盖图像传感器的传感器阵列之一。
图6是当使用图4a中的滤色器马赛克时的所得多重滤光器马赛克的示意性的和简化的图示。
图7是多重滤光器马赛克的示意性的和简化的图示，其中，在图像传感器阵列与RGBT马赛克之间实现按单元的匹配，而具有随机分布的随机形状颜色单元的低分辨率CMYT马赛克与RGBT马赛克重叠。
图8是包括两个重叠CMY和RGB对角彩色马赛克的多重滤光器马赛克的示意性的和简化的图示，其中，在图像传感器阵列与RGB马赛克之间实现按单元的匹配，且CMY马赛克的每个单元覆盖RGB马赛克的2×2个单元。
图9是多重滤光器马赛克的示意性的和简化的图示，其中，RGB对角彩色马赛克与图像传感器阵列集成，而CMY对角彩色马赛克不能被完美地产生以包含充分分离的C、M和Y区域。
图10是如图9所示的多重滤光器马赛克的另一种变体的示意性的和简化的图示，其中，C、M和Y区域是菱形的以防止CMY马赛克的多于两个区域之间的重叠。
图11是其中使用单芯片图像传感器(包括一个传感器阵列)的本发明实施例的示意性的和简化的图示。装置1(其包括第一均匀滤谱器13)可以附着到等价于该图中的部分12的常规数码相机。
图12是如图11所示的实施例的另一种变体的示意性的和简化的图示，其中，第一均匀滤谱器是所用常规相机的一部分。
图13是本发明实施例的示意性的和简化的图示，其中，使用单芯片图像传感器，且第一滤谱器或滤色器马赛克112直接覆盖颜色分离装置123。
图14是其中使用三芯片图像传感器(包括由三个不同的均匀滤光器覆盖的三个单独的传感器阵列)的本发明实施例的示意性的和简化的图示。装置1可以附着到等价于该图中的部分12′的常规三芯片数码相机。
图15是本发明实施例的示意性的和简化的图示，其中，使用三芯片图像传感器，且包括均匀滤色器(125a、125b或125c)和滤色器马赛克(123a、123b或123c)的每个多重滤光器马赛克直接覆盖单独的传感器阵列之一。
图16是本发明实施例的示意性的和简化的图示，其中，使用四芯片图像传感器，且不同的多重滤光器马赛克直接覆盖不同的单独的传感器阵列。
图17是滤光器的线性相关透射率曲线的示意性的和简化的图示，其中，透射率曲线TC1是其它两个透射率曲线TC2和TC3的线性组合。
图18a示出了五个滤光器透射率曲线TC1、TC2、TC3、TC4和TC5。
图18b示出了透射率曲线TC6、TC7、TC8和TC9，它们分别是图18a的透射率曲线的相乘对：TC1乘以TC2、TC2乘以TC3、TC3乘以TC4和TC4乘以TC5的结果。
图18c示出了由常规光谱仪记录的滤色器的真实光谱。
图19a和19b是适合农业和医学应用的两个多重滤光器马赛克的示意性的和简化的图示。
图20示出了适合医学和农业应用的多重滤光器马赛克的示意性的和简化的图示。
图2la示出了根据本发明的包括至少一个第一滤谱器或滤色器马赛克112的光学辅助设备33。本发明的光学设备33和常规相机44当相互连接时形成本发明的装置。
图21b示出了根据本发明的包括至少一个第一滤谱器或滤色器马赛克112的目镜5l。目镜51与常规数码相机52联合作用形成本发明的装置1。
图22a示出了单独的2D阵列的一部分，其中，阴影区域代表均质区域。
图22b示出了将距离变换应用于图22a中的单独阵列的部分的结果，其中，较暗单元对应于较长距离。
图23是用于测量特定多重滤光器F2对各种颜色(通过产生彩虹光)以及各种光强(通过使用可变透射率滤光器F1)的响应的设置的示意性简化例示。响应信号利用常规光谱仪和常规数码相机来测量。
图24是波长区间的范围从300nm到1100nm的一组11个基本函数向量的示意性的和简化的图示。
图25、26和27是示出其中具有重叠透射率曲线TC的两个滤光器用于近似具有较窄曲线TC的两个或三个滤光器的一些例子的示意性的和简化的图示。在图25中，具有透射率曲线TC2和TC4的滤光器可以近似具有TC1、TC3和TC5的滤光器。在图26中，具有TC7和TC8的滤光器可以近似具有TC6、TC9和TCl0的滤光器。在图27中，具有TC12和TC13的滤光器可以近似具有TC11和TC14的滤光器。
图28是由呈现在图6中的类型的四个马赛克单元组成的多重滤光器马赛克的示意性的和简化的图示。
图29和30是呈现在图11和13中的实施例的经修改版本的示意性的和简化的图示。新实施例记录多光谱或超光谱图像或测量物体O的光谱，同时测量利用光纤OF1和OF2馈送的光信号的光谱。
图31和32是其中仅光纤OF用来将光信号提供给该装置中的多重滤光器马赛克的两个实施例(其分别对应于图29和30中的实施例)的示意性的和简化的图示。
图33示出了前馈人工神经网络的示意性图示。
具体实施方式
现在参照图1，描述产生瞬时和/或非瞬时多光谱和超光谱图像的系统。
多重滤光器单元(MFU)包括多重滤光器马赛克和/或置于光路中的会聚光中的均匀多重滤光器。多重滤光器是通过如此堆叠若干滤光器而产生的：将它们放置在光路中的会聚光中的不同位置，和/或将它们中的若干堆叠在一起(以得到一块层叠滤光器)并将它们放在会聚光中。还可以将所有它们堆叠在一起(和得到一块层叠滤光器)和将它们放在光路中的会聚光中，例如，直接位于接收输入光的图像传感器单元上。(例如用于非瞬时多光谱和超光谱图像记录的)均匀多重滤光器可以由重叠均匀滤色器产生，而(例如用于瞬时多光谱和超光谱图像记录的)多重滤光器马赛克可以由重叠滤色器马赛克以及均匀滤色器产生。这些滤光器和马赛克可以安装在固定滤光器夹持器中或安装在滤光器轮或其它类型的滤光器夹持器中，以便能够实现产生不同多重滤光器和马赛克的各种滤光器组合。扁平透射式显示器可以用于起到滤色器马赛克或均匀滤色器的作用。还可以通过显示不同颜色图案来互换或交换均匀滤光器和马赛克。
图像传感器单元(ISU)将输入光转换成电信号，并且(通常利用A/D转换器)产生与感测信号相对应的数字值。这个单元的输出依赖于嵌入功能，使得所得输出可以是一个(单频带)或三个(红、绿和蓝频带)2D阵列的数字值。
数字图像处理单元(DIPU)通过应用于图像传感器单元(ISU)的输出的任选(如果需要)去马赛克和插值方法继之以变换成光谱的方法产生最终所得图像中的光谱。该变换方法将多重滤光器响应取作输入，并且利用例如线性代数将这些信号转换成近似光谱。这使本发明的系统能够产生在像素中存在光谱的2D图像。如果利用多重滤光器马赛克，则必须采用去马赛克方法和任选的(如果需要)插值方法并获得瞬时多频带图像。这些多频带图像最终变换成多光谱或超光谱图像。
图2教导了滤光器单元(FU)被分别定义为如图2a、图2b和图2c所示的重叠滤色器马赛克、重叠均匀滤色器或重叠均匀滤色器和滤色器马赛克，其中，CFMi和UCFi分别指编号为“i”的滤色器马赛克和编号为“i”的均匀滤色器，而XCFi可以是CFMi或UCFi。若干(n≥1)滤光器(CFM和/或UCF)堆叠在一起以构建待用在系统的多重滤光器单元(MFU)中的滤光器单元(FU)(一块层叠滤光器)。这意味着FU也可以是单个CFM或UCF。
参照图3，提出了将图像传感器单元(ISU)与多重滤光器单元(MFU)相组合的三种装置，其中，FUi指系统中编号为“i”的滤光器单元。用在图3a和3b中的FU0是直接附着到图像传感器单元(ISU)的滤光器单元，且其组成部件(如图2所示)中的一些可以与传感器芯片集成(由芯片制造商)，而其余部件(如果有的话)可以被松散地或永久地安装，以覆盖芯片上的感测单元。注意，图像传感器单元位于光路(OP)中的会聚光中。图3a教导了多重滤光器单元(MFU)可以只由FU0构成，而在图3b中，除了使用FU0之外，若干(m≥1)滤光器单元(FUi)位于光路(OP)中的会聚光中。在图3c中，滤光器单元(FUi)位于光路(OP)中的会聚光中，但未使用FU0。如图3所示，在多重滤光器单元(MFU)中，光学系统包括将输入光(A)聚焦成会聚光(B)所需的任何透镜(3)和/或镜、以及将会聚光(B)转换成近似准直的输出光(C)所需的任何透镜(4)和/或镜。所有使用的透镜(3和4)和镜必须沿着光学系统中的公共光路(OP)精确对准。
如图3所示，附加滤光器单元(FUi，i≥1)可以被松散地或永久地安装到固定滤光器夹持器中或者滤光器轮或具有可互换地使用不同滤光器的移动部分的其它滤光器夹持器(出现所选滤光器的窗口必须沿着光学系统的公共光路OP对准)。还可以使用扁平透射式显示器作为滤色器马赛克或均匀滤色器或者使用扁平透射式显示器来可互换地示出不同滤光器或马赛克。
RGB、RGBE、CMY或CMYG滤色器阵列常常集成到用于RGB彩色图像记录的图像传感器中。这意味着基本技术和染料可用来能够通过将由互补色组成的两个滤色器马赛克相重叠以获得可以记录比常规彩色图像传感器更多光谱信息的图像传感器，来产生如图3所示的滤光器单元FU0。另一方面，需要新设计以产生透明度和光谱特性增强了的扁平透射式显示器。
存在几乎无限多可能的彩色马赛克图案。但是，用于瞬时成像的一个优选实施例使用根据图4a的重叠CMYT和RGBT彩色马赛克，其中，在图像传感器单元和RGBT彩色马赛克的R、G、B和T区域(每个颜色区域精确覆盖一个传感器单元)之间实现按单元的匹配。图4b示出了利用两个滤光器轮的对应非瞬时方法，而图5图示了对应瞬时四芯片方法，其中，第四传感器阵列(在图中未示出)只由RGBT彩色马赛克覆盖。这里还假设在RGBT彩色马赛克与传感器阵列之间按单元的匹配是可能的。因此，在图4和5中，CMYT彩色马赛克的每个单元覆盖RGBT彩色马赛克的2×2个单元。当CMYT彩色马赛克的空间分辨率高于RGBT彩色马赛克的空间分辨率时，获得等价的结果。在图4和5中，这通过分别用M、Y和C交换颜色R、G和B来实现。这里假设在CMYT彩色马赛克与传感器阵列之间按单元的匹配是可能的。因此，RGBT彩色马赛克的每个单元覆盖CMYT彩色马赛克的2×2个单元。
但是，如果不能实现(较高分辨率马赛克与传感器阵列之间的和/或较高分辨率马赛克与较低分辨率马赛克之间的)按单元的匹配，则每个较高分辨率马赛克单元应该完全覆盖至少一个传感器阵列单元，且每个较低分辨率马赛克单元应该完全覆盖较高分辨率马赛克的不同单元之一。
一般说来，与可用的集成图像传感器滤色器马赛克相结合，附加滤色器马赛克可以包含集成滤光器的颜色的互补色、以及其它颜色或滤谱器。除此以外，附加滤色器马赛克的每个单元必须覆盖集成滤色器马赛克的每个不同单元的至少一个颜色单元。大多数图像传感器阵列都配备有Bayer滤色器阵列(RGB或CMY)，这意味着在与图像传感器集成的马赛克中通常找不到透明单元(T)。在图4a中，用G单元替换RGBT彩色马赛克的T单元。在图像传感器阵列配备有CMY Bayer滤色器阵列的情况下，用Y单元替换CMYT彩色马赛克的T单元，这可以通过在图4中分别用M、Y和C交换颜色R、G和B、然后在现在所得(按传感器单元)CMYT彩色马赛克中用Y替换T以最终获得CMY彩色马赛克来图示。
图6图示了当使用图4a中的滤色器马赛克时的所得多重滤光器马赛克。例如，多重滤光器马赛克中的单元CR代表由CMYT和RGBT彩色马赛克的C和R单元分别覆盖的区域。
在本说明书中，滤色器马赛克与滤色器阵列之间的差异是后者假设图像传感器的传感器单元被布置为二维阵列，而滤色器马赛克不具有与滤色器单元的形状或分布有关的限制，使得甚至可以使用随机形状的和/或随机分布的滤色器单元。滤色器马赛克的这个特性的优点是：即使普通打印技术无法产生高分辨率的完美的或正确的滤色器阵列，也可以利用它们获得较高空间分辨率。换句话说，滤色器阵列是滤色器马赛克的特殊情况。
图7图示了这样的情况：假设在图像传感器阵列与RGBT滤色器阵列之间按单元的匹配是可能的，而具有随机分布的随机形状颜色单元的较低分辨率CMYT彩色马赛克与RGBT阵列重叠。
用于瞬时成像的另一个优选实施例使用根据图8的重叠CMY和RGB对角彩色马赛克，其中，在图像传感器阵列和RGB彩色马赛克(每个颜色区域精确覆盖一个传感器单元)之间实现按单元的匹配。CMY彩色马赛克的每个单元精确覆盖RGB彩色马赛克的2×2个单元。为了能够消除记录图像中的假像，使用对角彩色马赛克，使得如果C、M和Y单元布置在从右上角到左下角的对角线上，则R、G和B单元必须布置在从左上角到右下角的对角线上。
图9图示了这样的情况：RGB对角彩色马赛克与图像传感器阵列集成，而CMY对角彩色马赛克不能被完美地产生以包含充分分离的C、M和Y区域。C、M和Y区域之间的重叠区域亦丰富了记录图像的光谱内容。CMY马赛克的每个单元(可以是C、M或Y区域或它们之间的任何重叠区域)必须覆盖集成RGB马赛克的每个R、G和B单元的至少一个颜色单元。
图10示出了图9中的情况的另一种变体，其中，C、M和Y区域是菱形的以防止CMY马赛克的多于两个区域之间的重叠。
现在参照图11，描述用于产生待变换成多光谱或超光谱图像的瞬时或非瞬时多频带图像的装置1。
装置1包括光收集装置11、以及具有至少一个二维传感器阵列121和在装置1的光路OP中位于图像传感器阵列121之前的瞬时颜色分离装置123的图像传感器12。
装置1还包括以将成像局限于电磁谱的某些部分为目的的光路OP中的第一均匀滤谱器13。
在瞬时成像的情况下，本发明特别教导了至少一个第一滤谱器或滤色器马赛克112永久地或可互换地位于光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。可互换定位的第一滤谱器或滤色器马赛克112提供了容易在不同第一滤谱器或滤色器马赛克112之间切换(即滤光器交换)的可能性，以使装置1适合于不同的光学要求并因此适合于不同的光谱测量。当然，还可以将第一滤谱器或滤色器马赛克112永久地放置在光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。
光收集装置11还包括将输入光A聚焦成会聚光B并此后聚焦成近似准直的输出光C所需的任何透镜113和/或镜。从而，透镜系统在光学上将输入光从物体O移动到近似无限远。透镜系统应该能够适应各种距离处的物体。然而，由于本发明不涉及该装置的这个光学部分，由于这些光学部分可以以许多不同方式实现，且由于它们对于本领域的普通技术人员来说是显而易见的，所以不详细描述这些光学部件。由于相同的理由，在本说明书中未详细描述或在图中未描绘图像处理单元和光谱计算所需的一些其它硬件/软件部分。
第一滤谱器或滤色器马赛克112由布置为重复图案的众多小的均质滤光器区(或滤光器单元)组成，且第一滤谱器或滤色器马赛克112的这些颜色区的透射率曲线(TC，其被定义为作为波长的函数的滤光器透射率)部分重叠，除此之外，这些透射率曲线与属于颜色分离装置123的滤光器单元的透射率曲线重叠。第一滤谱器或滤色器马赛克112的透射率曲线TC和颜色分离装置123的透射率曲线TC必须遍布待考虑或研究的光谱的波长区间。
在非瞬时成像的情况下，本发明教导了至少一个滤色器轮114(代替滤光器马赛克112)位于光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。利用滤光器轮执行均匀滤色器互换，以光谱扫描整个图像立方体，从而得到非瞬时图像。关于安装在滤光器轮114上的滤光器的透射率曲线TC和颜色分离装置123的透射率曲线TC以及它们之间的关系，必须作出与使用滤光器马赛克112的情况一样的考虑。
更一般的方法是将至少一个扁平透射式显示器115(代替滤光器马赛克112或滤光器轮114)放置在光路OP中的颜色分离装置123之前，或者至少尽可能地接近会聚光B。如果显示器115用于产生滤色器马赛克，则实现瞬时成像，而互换一系列均匀滤色器(即依次产生它们)得到非瞬时图像。关于由透射式显示器115显示的滤光器的透射率曲线TC和颜色分离装置123的透射率曲线TC以及它们之间的关系，必须作出与使用滤光器马赛克112或滤光器轮114的情况一样的考虑。
常规相机通常包括用于使成像局限于电磁谱的特定部分的均匀滤谱器。还提出，为常规相机诸部分的这些均匀滤谱器构成根据图12的第一均匀滤谱器13′。
在另一个实施例中，第一滤色器马赛克112可定位成直接覆盖颜色分离装置123，如图13所示。滤光器马赛克112可松散地放置于颜色分离装置123上，或与123集成。此装置用于产生待变换成多光谱或超光谱图像的瞬时多频带图像。
一方面的颜色分离装置123与另一方面的第一滤色器马赛克112、或用在滤光器轮114中的一系列均匀滤色器、或由透射式显示器115产生的一系列均匀滤色器或滤色器马赛克的组合产生了不同组的线性无关的多重滤色器透射率曲线TC。
图14示出了包括三个单独的二维传感器阵列121a、121b和121c的图像传感器12′，即三芯片相机的使用。在这种情况下，颜色分离装置122′包括将输入光分离成三个不同光谱带或色带的装置，每个带至相应的二维传感器阵列121a、121b或121c。存在实现这一点的不同方式。一种可能的方案是使用分束器124以及三个单独的均匀滤色器125a、125b和125c。还可以使用颜色分离分束器而不使用单独的均匀滤色器，从而实现相同的光学结果。图14中的实施例的细节与如前所述的图11中的实施例相同。
图15中的实施例展示了具有包括三个单独的二维传感器阵列121a、121b和121c的图像传感器12′的三芯片相机。这里，还使用包括分束器124以及三个单独的均匀滤色器125a、125b和125c的颜色分离装置122′。除此之外，三个滤色器马赛克123a、123b和123c用于当与均匀滤色器125a、125b和125c相组合时形成多重滤光器马赛克。这里，还可以通过使用颜色分离分束器而不使用单独的均匀滤色器，即从图15中省略均匀滤色器125a、125b和125c来实现相同的光学结果。滤色器马赛克123a、123b和123c可以具有相同或不同的滤色器图案。
图16中的实施例展示了具有包括四个单独的二维传感器阵列121a、121b、121c和121d的图像传感器12′的四芯片相机。除了第四图像传感器121d在分束器之后不使用任何均匀滤色器，即在使用颜色分离分束器的情况下必须将包括整个光谱的信号提供给第四图像传感器阵列121d之外，所有细节都与图15中的实施例相同。滤色器马赛克123d(其可具有与123a、123b和123c相同或不同的滤色器图案)用于第四图像传感器阵列121d。
对于展示在图11、12、13、14、15和16中的实施例，图4a和5以及考虑到实用方面的图7、8、9和10图示了优选的多重滤色器马赛克。还考虑了CMYT彩色马赛克的空间分辨率高于RGBT彩色马赛克的空间分辨率的情况。这是通过在图4a和5中分别用M、Y和C交换颜色R、G和B实现的。当然，优选的是，在图像传感器阵列与较高分辨率滤色器马赛克之间实现按单元的匹配，且让来自较低分辨率马赛克的每个单元精确覆盖较高分辨率马赛克的2×2个单元。还可以给图像传感器阵列配备RGB Bayer滤色器阵列，其中，在图4a和5中用G单元替换RGBT彩色马赛克的T单元。在图像传感器阵列配备有CMY Bayer滤色器阵列的情况下，用Y单元替换CMYT彩色马赛克的T单元，这可以通过在图4a、5、7、8、9和10中分别用M、Y和C交换颜色R、G和B来图示。在图4a和7的情况下，在所得(按传感器单元的)CMYT彩色马赛克中用Y替换T单元，以最终获得分辨率与图像传感器阵列相同的CMY彩色马赛克。
本发明的优选实施例提出：常规数码相机为本发明的装置的一部分，其中，图像传感器12、12′和颜色分离装置123、122′(如图11、12、13、14、15和16所示)为常规相机的部分。
标准光谱辐射仪(也称为光谱仪)可以容易地测量滤色器或彩色马赛克单元的透射率曲线。这不是当均匀滤色器或彩色马赛克与传感器集成时的情况，其中，可以通过摄取整个彩虹的图像并查看这个图片中经过所有颜色的一行像素来测量这些透射率曲线。这些像素值代表所用均匀滤色器的透射率曲线。在RGB彩色马赛克的情况下，可以取所得彩色图片的R、G和B带来代表所用马赛克的R、G和B滤色器单元的透射率曲线的估算。这些曲线利用光谱辐射仪来分级，以测量并估算沿着跨彩虹图像的所选行的不同点处的波长。还可以以类似方式测量或估算其它彩色马赛克的透射率曲线。这些测量结果被输入至本发明方法的变换，即如何将经测量的频带转换成分立的光谱，这在下面将更详细地讨论。因此，当使用本发明的装置时，如果不完全知道彩色马赛克的光谱特性，则先决条件是使用例如光谱辐射仪或彩虹投影仪的辅助设备。
具有线性无关的透射率曲线TC(作为波长的函数而透射的光的一部分)的多重滤色器通过将不同滤色器相组合而产生，所述不同滤色器可以是通过不同手段如透射式显示器以及打印和影印技术而产生的滤色器马赛克中的小单元和/或均匀滤色器。术语线性无关在任何数学手册中有定义，且仅意味着每个透射率曲线不能通过将另一个透射率曲线乘以常数或者通过其它透射率曲线的线性组合来获得。图17图示了线性相关的例子，其中，为虚线的透射率曲线TC1是两个其它为实线的透射率曲线TC2和TC3的线性组合。通过普通打印技术产生的滤色器的透射率曲线通常由两个稍平区和在两个稍平区之间的透射率曲线的陡峭倾斜部分组成，当形成多重滤色器时，该陡峭倾斜部分有良好特性。两个窄峰(例如，对于洋红滤色器)是可以利用这些技术实现的另一个有用的打印滤光器单元。多重滤色器的透射率曲线近似是形成这个多重滤色器的组分滤色器的透射率曲线向量的按单元相乘的结果。作为说明性的例子，在图18a中展示了五个透射率曲线TC1、TC2、TC3、TC4和TC5，且在图18b中展示了这些透射率曲线对之间的一些按单元相乘的结果，其中，TC6、TC7、TC8和TC9分别是将TC1乘以TC2、将TC2乘以TC3、将TC3乘以TC4、和将TC4乘以TC5的结果。图18c示出了由常规光谱辐射仪记录的滤色器的真实光谱。
与图像传感器集成或嵌入在图像传感器中的滤色器马赛克不能轻易分离。该重要暗示是：这阻止用户在针对他的应用改变马赛克方面的灵活性并且排除用于产生廉价彩色马赛克的常规打印技术的使用。此外，用户不能容易地测量嵌入式滤色器马赛克的光学特性。本发明教导了总是可以使用由低成本宽带滤光器单元或低成本二向色滤光器组成的非集成滤色器马赛克。但是，在应用需要的情况下，当然可以使用由这样的滤光器组成的马赛克或昂贵的窄带滤光器。
为了提供实现本发明的节约成本的方式，提出了可以通过现有彩色(激光或喷墨)打印技术或通过其它当前影印技术在透明材料上产生滤色器马赛克。
本发明的基本思想是试图通过采用低成本宽带滤光器或低成本二向色滤光器的组合来避免使用昂贵的窄带滤光器(均匀滤光器或滤光器马赛克)。一种这样类型的低成本滤光器或马赛克事实上是透明材料例如透明膜上的打印图案。可以使用常规彩色激光打印机来产生分辨率低至每英寸200个单元的彩色马赛克。基于本发明的另一个思想是通过使用光路中的打印彩色马赛克和与图像传感器集成的彩色马赛克，来利用当前可用的大规模生产的滤色器。相机制造商已开发了高质量彩色马赛克(例如，CMYG、CMY、RGB、RGBE等)且涉及打印技术的工业已开发了高质量彩色打印机(常常为CMYK，其中K＝黑色)。这两个工业分支在寻求获得一些感觉最佳的滤光器方面具有长的发展历史，并且存在朝着提高质量以及提高空间分辨率和降低成本方向的并行趋势，这意味着对本发明起有利的作用。
会聚光指的是光线束趋向于朝着其会聚的空间位置。由于光的性质和光学系统的不完美性，该会聚不可能是严格的，但是，用日常的话来说，这些区通常被称为中间图像。打印在普通透明膜上的滤色器马赛克远非透明，似乎对滤色器无用，但当它们被放置在会聚光中时，它们达到几乎完美的透明度。远离会聚光存在模糊的副作用。
图19a图示了适合于多光谱和超光谱测量的农业和医学应用的实施例。这里，包括光谱近红外区中的频带是至关重要的。在该情况下，简单的马赛克设计是与嵌入在图像传感器中或与图像传感器集成的颜色分离装置123(RGB滤色器马赛克)相结合，在第一滤色器马赛克112中使用CMYTBrBk马赛克(Br＝棕色、Bk＝黑色)。黑色和棕色马赛克单元对光谱近红外区中的频带敏感。然后，必须去除包括在大多数图像传感器中的红外阻挡滤光器。这产生了一些期望的多重滤光器。滤色器单元由简单的打印过程例如在彩色打印机上在透明材料上获得。
图19b图示了另一个滤色器马赛克实施例，其示出由6个滤光器单元组成的图案可以用在第一滤色器马赛克112以及具有VT马赛克的第二相邻层中，其中，V代表电磁谱的可见部分(V＝红外阻挡，T＝在可见和近红外光谱区中是透明的)。在这种特殊情况下，图像传感器是单色无红外阻挡滤光器。
图20图示了适合于多光谱和超光谱测量的医学和农业应用的实施例。这里，图6中所示的多重滤光器马赛克与VT马赛克相组合。在这种特殊情况下，图像传感器是单色无红外阻挡滤光器。当然，还可以使用配备有RGBT马赛克的图像传感器，并加上由分别如图4a和图20所示的CMYT马赛克和VT马赛克构建的多重滤光器马赛克。另一种可能是使用配备有RGB马赛克(如前所述，其中用G单元替换RGBT彩色马赛克的T单元)的图像传感器，并加上由CMYT马赛克和VT马赛克构建的多重滤光器马赛克。
一般说来，在数码相机中有百万像素图像的当前趋势意味着在马赛克中使用4个、9个或16个单元的图案造成的分辨率损失是可以容忍的。但是，请注意，一般说来，我们试图使用多重滤光器来增加光谱信息。
在David L. Gilblom，Sang Keun Yoo和Peter Ventura的出版物“Real-time color imaging with a CMOS sensor having stackedphotodiodes”Proceedings SPIE，Volume 5210，pp.105-115(2004)中展示了其中单个传感器能够同时捕捉三个宽R、G和B光谱带的分层光电二极管感测。由于每个CMOS传感器单元包含三个处于不同深度的p-n结，所以这些传感器也被称为三阱图像传感器。这种特殊单芯片图像传感器等价于使用配备有R、G和B均匀滤色器的三芯片图像传感器，R、G和B均匀滤色器中的每一个覆盖三个传感器芯片之一。将CMYT马赛克添加至这个传感器阵列将产生与前面在文本和图中展示的情况类似的多重滤光效果。为了获得最佳的可能空间图像分辨率，在CMYT马赛克单元与三层图像传感器阵列单元之间按像素的匹配是优选的，即CMYT马赛克与图像传感器芯片集成。但是，如前面在文本和图中所述，CMYT马赛克可以放置在光路(OP)中发现会聚光的任何位置。
然而，还可以用多于三个的层来构造分层光电二极管，该多于三个的层包括近紫外和/或近红外敏感层。用诸如CMYT或CMYTBk的适当滤色器马赛克覆盖分层传感器单元阵列产生了有用的光谱光信号响应，该响应是足够光谱丰富的，以致被转换成覆盖近紫外、可见以及近红外波长区的光谱。
图21a示出了根据本发明的包括至少一个第一滤色器马赛克112的光学辅助设备33。光学设备33适于以使光学设备33的光轴与相机44的光轴对准的方式与常规数码相机44连接。该相机不自带相机透镜，而光学设备33起到配备有滤色器马赛克的相机透镜的作用。当相互连接时，本发明的光学设备33和常规相机44形成本发明的装置1。
图21b示出了根据本发明的包括至少一个第一滤色器马赛克112的目镜51。目镜51与常规数码相机52(该相机自带相机透镜)联合作用形成本发明的装置1重要的是，使目镜51的光轴与相机52的光轴对准。滤色器马赛克112可适于插入到嵌入例如望远镜、双筒镜或显微镜中的常规目镜51中。滤色器马赛克112应该与光路中的中间图像接近地设置。这应该在前面所示实施例(图11、12和14中)的光收集装置11之内或者在后面的实施例(图21b中)的目镜51中完成。大多数显微镜、望远镜和双筒镜透镜系统都具有适合于滤色器马赛克板的机械插入的目镜部分。对于更详细的讨论，参看出版物WO 00/41010。
彩色马赛克的取向和尺度在简单实施例中可能是自由的，但理想的是，在彩色马赛克与图像传感器阵列之间实现按像素的匹配，以及在一个彩色马赛克与另一个彩色马赛克之间实现按单元的匹配，该另一个彩色马赛克具有精确覆盖第一个彩色马赛克(较高分辨率马赛克)的2×2、2×3、3×3或其它数量的单元的单元，即两个彩色马赛克精确匹配。图像处理软件(可以内置在相机盒内，或安装在图像从相机转移至的计算机上)利用简单校准过程自动寻找图像中受不同彩色马赛克单元影响的区。摄取白色背景或白色光的图像可以例如校准成像系统，并且有助于对图像中的不同彩色马赛克单元区域进行标识和分段。假设彩色马赛克以后既不改变位置也不改变取向，以便能够假设当摄取任意场景的新图像时，同一多重滤光器马赛克或图案仍然有效。换句话说，对新图像执行完全相同的分段(白色背景图像)。每当彩色马赛克(其用在图1中的多重滤光器单元MFU中)被改变或者彩色马赛克的位置或取向被改变时，必须记录新的白色背景图像以用来校准利用当前彩色马赛克记录的图像。
图像传感器单元(ISU)利用包括如从图1开始的图所示的滤色器马赛克的多重滤光器单元(MFU)记录的图像将由小相邻区组成，每个小相邻区都受特定马赛克滤光器单元影响，即记录图像的这个区的传感器单元被该马赛克滤光器单元覆盖。可使用白色背景颜色归一化图像，以便能够标识属于特定马赛克滤光器单元的图像像素，且使用获得的信息来从任意图像中提取对应像素(其具有与所选白色背景图像像素完全相同的坐标)，并将它们放在因此包含空单元的单独阵列(其具有与图像相同的尺寸)中。这些单独阵列与在多重滤光器单元(MFU)中可发现的不同马赛克滤光器单元一样多。图4a中的装置将例如产生16个部分填充的(多孔的)阵列，其中，当考虑在所有阵列中坐标相同的所有阵列单元时，只填充一个阵列单元。这意味着来自记录图像的每个像素将只属于这些单独阵列中的一个。这个任务可以看作一种去马赛克过程。
其余空阵列单元可以利用一种插值过程来填充。如下两种方法是优选的。
利用距离变换的插值
图22a示出了由上面提到的去马赛克过程产生的单独阵列的一部分，其中，阴影或带点区域(代表均质区域)代表属于所用多重滤光器马赛克的同一单元的区。这里的目的是填充阵列中的空单元(即，图22a中的白色区域)。
距离变换可以用于计算每个空单元与最接近的阴影单元之间的距离。图22b示出了将距离变换应用于图22a中的单独阵列的部分的结果，其中，较暗单元对应于较长距离。对于每个单独阵列(整个阵列)，插值(也可以看作外插(extrapolation))开始于白色单元并结束于黑色单元。
还可以利用克里格法(kriging)填充阵列的空空间。
利用统计变换的插值
在这种方法中，每个多重滤光器响应被变换成其它多重滤光器的对应响应。在图4a所展示的情况下，必须估算所需系数，以便能够将图6中所展示的每个多重滤光器的响应变换成所有其它多重滤光器的响应。变换系数可以利用如下线性方程组计算：
FiCij＝Fj    (1)
其中，Fi和Fj是分别由多重滤光器组i和j的响应组成的两个矩阵，且Cij包含将Fi变换成Fj的变换系数。形式为Ax＝y(其中矩阵A和列向量y是已知的，而列向量x是未知的)的线性方程组的解是x＝AT(AAT)-1y，其中AT(AAT)-1是A的伪逆矩阵(其中AT表示矩阵A的转置矩阵，且A-1表示矩阵A的逆矩阵)。类似地，系数矩阵Cij可以按如下估算：
Cij＝Fi T(FiFi T)-1Fj    (2)
作为一个说明性的例子，来查看将多重滤光器CR、CG、CB和C的响应变换成MR、MG、MB和M的响应的情况。这里我们有如下方程组：
FCCCM＝FM              (3)
其中，矩阵FC和FM由N(其中N是整数)行和四列组成，而CCM是4×4矩阵，如下：
Figure A20058004126700291
Figure A20058004126700292
C CM = x x x x x x x x x x x x x x x x
其中，FC的四列包含多重滤光器CR、CG、CB和C的响应，而FM的列包含MR、MG、MB和M对完全相同光信号的并且以完全相同的顺序展示在矩阵的行上的响应；例如，FC和FM的第1行上的值对应于多重滤光器CR、CG、CB和C以及MR、MG、MB和M对完全相同光信号的响应。系数矩阵CCM利用方程(2)估算，得出：
CCM＝FC T(FCFC T)-1FM    (4)
然后，经估算的变换矩阵CCM用于将多重滤光器CR、CG、CB和C的新测量的响应变换成MR、MG、MB和M的对应响应。在FC和FM中用来估算CCM的值属于所谓的训练数据集。
相同的方法可以应用于估算其它所需变换矩阵，以便能够填充并完成经分离的或经去马赛克的(多孔的)阵列(例如，在使用图4a中所展示的多重滤光器马赛克的情况下，必须处理16个这样的阵列)。注意，还需要逆变换，例如，将FM变换成FC的CMC。但是，用于估算CCM的同一训练数据集可用于对CMC估算如下：CMC＝FM T(FMFM T)-1FC。
作为另一个说明性的例子，来查看图8中所展示的情况。这里，在彩色马赛克中未使用透明滤光器单元，从而得出例如下面的FC、FM和CCM矩阵：
Figure A20058004126700301
Figure A20058004126700302
C CM = x x x x x x x x x
方程(1)中的系数矩阵Cij还可以利用偏最小二乘(PLS)法(代替使用方程2)来估算。
所需变换矩阵的良好估算需要使用可覆盖整个数据空间的训练数据集，即训练数据集必须包含可提供给系统或需要系统在将来(即在完成训练阶段之后)处理的数据样本的所有可能变体的代表性数据样本。因此，准备良好的训练数据集是能够进行这种方法所必不可少的。
图23图示了用于测量均匀滤光器对具有变化的光强的投影彩虹的响应的设置。彩虹通过透射率变化的滤光器F1(从0平滑变化到100％)投影，从而获得或产生彩虹的每种颜色的各种光强。例如，F1影响彩虹的几乎均匀红色窄区，从而这个区的颜色朝着暗红色逐渐变化，即在彩虹的这个区中可以看到从红色变动到暗红色或黑色的一组颜色。这同样适用于其它的彩虹均匀颜色区。所关心的均匀多重滤光器在图23中用F2表示。图中所示的相机是单色相机。但是，如果多重滤色器由嵌入的相机彩色马赛克和外部彩色马赛克构建，则也可以使用彩色相机。必须将类型与外部马赛克单元相同的均匀滤色器(可互换地)用作图23中的F2。
相机记录投影在白色表面(例如白纸)上的整个彩虹的图像。该设置中的不同部分，即光源、棱镜、F1、白色表面以及相机在获取整个训练数据集期间必须保持不变，以便能够假设记录图像之间的按像素的匹配。在这种情况下，像素值是构建训练数据集所需的多重滤光器响应。
本发明还涉及一种利用本发明的装置来执行光谱测量的方法。依赖于将多频带图像变换成多光谱或超光谱图像的所用方法，常常必须测量所用多重滤色器的光谱特性，或者测量这些滤光器对各种类型入射光的响应。测量多重滤色器(均匀和马赛克)的光谱特性前面已经讨论过。这里将讨论的是如何使用光谱仪(也称为光谱辐射仪)来测量如图23所示投影在白色表面上的彩虹的不同点或区处的光谱。但是，通过例如在此白色表面中形成的孔来执行测量是更好且更容易的。可以使用包含孔的硬材料板，或者简单地使用适当硬材料网格或网眼(以利用光谱仪测量通过这些孔的光谱)，并用没有孔的松散放置的白色盖子覆盖它(以将彩虹投影在上面并利用相机记录它的图像)。
在其透射率曲线TC为组分滤色器的透射率曲线之积的多重滤色器产生N个色带的情况下，可以通过如下所述的方法估算近似光谱。注意，图像传感器单元所记录的是入射能量(作为波长的函数的输入光子数)x乘以多重滤光器的透射率曲线(例如，在多重滤光器由具有透射率曲线t1和t2的两个重叠滤色器组成的情况下为t1·t2)，该结果最后乘以传感器单元本身的灵敏度曲线σ(作为波长的函数的传感器所吸收的一部分能量)，如下面的按单元的向量积所描述的那样：
σ·t1·t2·x
但是为了简单起见，认为σ等于1。
现在描述利用线性代数估算图像单元处的近似光谱的几种方法。利用偏最小二乘法的统计方法
设x是光谱信号的向量(即具有m个元素的光谱向量)，且y是来自N个不同多重滤光器的N频带输出向量(N元素向量)。根据多频带数据y估算光谱x的高效方式是：针对各种类型的入射光使用Q个已知光谱x(由常规光谱仪测量)和Q个对应图像响应y(由相机记录)的训练数据集，来统计地估算x和y之间的线性关系P，使得
x＝Py    (5)
所测量的响应yi(i＝1，2，...，Q)可形成以yi为列的矩阵Y，类似地，对于光谱xi，形成矩阵X(m×Q)。设yi的维数是D，并且设训练对(xiyi)的数目Q超过该维数：Q＞D，使得矩阵Y为非标准(D×Q)矩形的。于是这可以用公式表示为：
X＝PY    (6)
并且可以通过偏最小二乘(PLS)法求解，从而得出估算值P′(m×Q)。最后，由x′＝P′yj形成用x′表示的x的估算值，其中yj是训练数据集之外的图像响应，即未包括在训练数据集中的新测量的图像响应。
这种方法可视为利用低成本宽带滤光器来估算窄带滤光器的近似值。图25、26和27示出了具有重叠透射率曲线TC的两个滤光器用于近似若干较窄滤光器的一些例子。在图25中，具有透射率曲线TC2和TC4的滤光器可用于近似具有TC1、TC3和TC5的滤光器。图26示出了具有TC7和TC8的滤光器可用于近似具有TC6、TC9和TC10的滤光器。最后，在图27中，具有TC12和TC13的滤光器可用于近似具有TC11和TC14的滤光器。
人工神经网络方法
可以利用人工神经网络来执行插值方法2以及变换成光谱的方法1。图33示出了可用于线性和非线性函数估算的具有三个层(输入、隐藏和输出)的前馈神经网络。输入层具有N个节点，其中N是待变换成出现在K个输出层节点上的所需结果的输入参数的数目，其中K是被估算参数的数目。隐藏层包含M个节点，其中M被选择成获得最节省成本的模型(通常，M＝N+1是最佳选择)。每个输入节点与所有隐藏层节点连接，每个隐藏层节点又与所有输出节点连接。所有信息在工作期间沿着一个方向从输入层移动到输出层。隐藏和输出层中的每个节点都具有如下两个部分，即线性求和函数和非线性激活函数：
y = a tanh ( Σ i = 1 j w i x i + b ) - - - ( 7 )
其中y是节点的输出，a是比例因子，tanh是双曲正切函数，j是至节点的输入的数目，xi是到节点的输入，wi是与至节点的每个输入连接相关的加权因子，b是偏离因子。因子a、b和wi通过利用训练数据集训练神经网络来估算，该训练数据集由神经网络所将用于的输入和输出参数对组成(即当将输入参数输入至该网络时，估算所需输出参数)。作为一个说明性的例子，来查看将多重滤光器CR、CG、CB和C的响应变换成MR、MG、MB和M的响应的情况。这里，使用具有N＝4个输入节点(接收CR、CG、CB和C信号)、M＝5个隐藏节点和K＝4个输出节点(产生MR、MG、MB和M信号)的神经网络在计算方面是高效的。
当将多重滤光器响应变换成光谱时，神经网络应该具有与不同多重滤光器一样多的输入，例如，当使用图6中所述的多重滤光器时，需要16个输入节点(和17个隐藏节点)。输出层具有与被估算光谱中所需光谱带的数目一样多的节点。
其它优点和应用
与单色图像(即单频带图像)一样小的多重滤光器马赛克图像可以被容易地转移和保存，这使得这种技术可用于机载和星载成像系统等，以及电视医疗和电子医学记录和归档，其中，所获取的图像被转移到待保存(和归档)和/或分析(在产生多光谱或超光谱图像之后)的另一地方。对多重滤光器马赛克图像去马赛克产生亦比超光谱图像小得多(并因此更易于转移和保存)的多频带图像。具有可互换均匀滤光器(利用滤光器轮或平板透射式显示器)的系统直接产生多频带图像。当需要时，多光谱或超光谱图像可以通过变换对应多频带图像来产生和分析。
本发明可能有用的另一重要应用是产生多光谱或超光谱图像，然后执行适当处理和分析，以补偿发光和周围环境对图像的影响，最后将经处理的多光谱或超光谱图像回变换成彩色RGB图像。可以通过这种方式执行高效颜色校正。还可以针对特定显示器例如系统中当前使用的显示设备而(通过选择并使用适当R、G和B滤光器)优化所得彩色RGB图像。
最后，当然可以利用上述技术和方法来构造光谱仪。主要差异在于，不需要用插值/外插来填充属于不同多重滤光器的被提取单独阵列中的空空间。代替之，这里需要完成的是简单计算每个单独阵列的非空单元的平均值。如果单独阵列包含相同数目的非空单元，则可以使用非空阵列单元之和(代替平均值)。因此，每个单独阵列将产生单个标量值。这些标量值形成单个向量，其中这些值根据特定顺序被插入。此后，这个多频带向量可以(利用上述变换成光谱的方法之一)变换成光谱分辨率和精度尽可能高的光谱。
此外，还可以构造可以并行地执行若干光谱测量的光谱测定设备，因为，图像传感器阵列的空间分辨率通常高到足以与由大数量的重复马赛克图案单元组成的多重滤光器马赛克一起使用，该重复马赛克图案单元是被重复以形成覆盖整个图像传感器阵列的马赛克的滤光器马赛克图案。因此，由至少一个马赛克图案单元覆盖的图像传感器阵列的不同部分可以用于构建独立的光谱仪，如图28所示，其中我们具有由图6中所展示的类型(即同一多重滤光器马赛克图案)的四个马赛克单元组成的多重滤光器马赛克。在图28中，可以利用四个马赛克单元中的每一个来构建独立的光谱仪，如果可以并行地将四个不同光信号递送到这些马赛克单元区域的话(这可以利用四个单独光纤OF来容易地实现，该四个单独光纤OF中的每一个将光递送到不同的马赛克单元)。但是，在图像传感器阵列与多重滤光器马赛克之间不可能实现按像素的匹配的情况下，重要的是确保光纤OF覆盖至少一个马赛克单元。还可以利用(如图3、11-16和21所述的)透镜系统来构建多光谱或超光谱相机(其可以产生在像素中存在光谱的多光谱或超光谱图像)，或者利用图像传感器阵列来构建光谱仪(其产生单个光谱)，其中该图像传感器阵列具有足以省去该传感器阵列的至少一部分(即这些部分不用于构建相机或光谱仪)的空间分辨率和单元数目，这些部分中的每一个都由将由光纤OF覆盖并构建独立的光谱仪的至少一个多重马赛克单元所覆盖(如上所述，通过直接物理接触或通过将彩色马赛克放置在光路OF中来覆盖)。
图29和30示出了可以如何修改分别如图11和13所示的实施例以构建多个设备。在图29中，可以记录多光谱或超光谱图像或测量物体O的光谱，同时测量利用光纤OF1和OF2馈送的光信号的光谱。至少需要一个光纤OF，以便能够补偿发光和周围环境对测量的光谱或记录的多光谱或超光谱图像的影响，例如，颜色校正然后可以被容易地执行。
图31和32示出了其中仅光纤OF用来将光信号提供给该装置中的多重滤光器马赛克的两个实施例(它们分别对应于图29和30中的实施例)。至少使用一个光纤OF，但如果应用需要，也可以使用多至与图像传感器阵列单元的数目一样多的光纤OF，以及可以将它们遍及图像传感器阵列区域而均匀分布。在单个光纤OF与图像传感器单元或多重滤光器单元之间按单元的匹配是优选的。
应该理解，本发明不局限于其上述和图示的示范性实施例，而可以如所附权利要求所述的那样在本发明概念的范围内作出修改。代替图像传感器中当前广泛使用的矩形网格布置，可以类似地使用六角形、八角形或其它像素布置图案。Fujifilm宣布生产了“Super CCD”(Fujifilm，2004，新闻集锦-用尖端的小型化技术产生更高分辨率和更宽动态范围的新的第四代Super CCD，Fujifilm网址：见于2005年9月的环球网@http://home.fujifilm.com/news/n030122.html)。

Claims (27)

1.一种用于产生瞬时或非瞬时多频带图像的装置(1)，包括：光收集装置(11)、具有至少一个二维传感器阵列(121)并位于所述装置(1)的光路(OP)中的所述图像传感器阵列(121)之前或嵌入所述图像传感器阵列(121)中的瞬时颜色分离装置(123)的图像传感器(12)、以及以使成像局限于电磁谱的特定部分为目的的位于所述光路(OP)中的第一均匀滤谱器(13)；其特征在于：使用包括重叠滤色器或滤谱器马赛克的滤光器单元(FU)，或包括重叠滤色器或滤谱器马赛克和均匀滤色器或滤谱器的滤光器单元(FU)；所述滤光器单元(FU)永久地或可互换地位于所述光路(OP)中的所述颜色分离装置(123)之前，或者接近会聚光(B)；所述滤色器或滤谱器马赛克包括众多均质滤光区；滤色器或滤谱器马赛克的所述滤光区、所述均匀滤光器以及所述颜色分离装置(123)的滤光区的透射率曲线(TC)之间存在重叠或部分重叠；所述滤色器或滤谱器马赛克、所述均匀滤光器以及所述颜色分离装置(123)的所述透射率曲线(TC)适当遍布待研究的光谱区间；并且，所述颜色分离装置(123)与所述滤色器或滤谱器马赛克的组合产生不同组的线性无关的透射率曲线(TC)；并且，通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克，以获得多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像。
2.一种用于产生瞬时或非瞬时多频带图像的装置(1)，包括：光收集装置(11)、具有至少一个二维传感器阵列(121)和位于所述装置(1)的光路(OP)中的所述图像传感器阵列(121)之前或嵌入所述图像传感器阵列(121)中的瞬时颜色分离装置(123)的图像传感器(12)、以及以使成像局限于电磁谱的特定部分为目的的位于所述光路(OP)中的第一均匀滤谱器(13)；其特征在于：使用包括重叠滤色器或滤谱器马赛克和均匀滤色器或滤谱器的滤光器单元(FU)，或包括重叠均匀滤色器或滤谱器的(FU)，使得所述均匀滤色器或滤谱器安装在滤光器轮(114)上或由透射式显示器(115)显示；所述滤光器单元(FU)位于所述光路(OP)中的所述颜色分离装置(123)之前，或者接近会聚光(B)；所述滤色器或滤谱器马赛克包括众多均质滤光区；滤色器或滤谱器马赛克的所述滤光区、所述均匀滤光器以及所述颜色分离装置(123)的滤光区的透射率曲线(TC)之间存在重叠或部分重叠；所述滤色器或滤谱器马赛克、所述均匀滤光器以及所述颜色分离装置(123)的所述透射率曲线(TC)适当遍布待研究的光谱区间；并且，所述颜色分离装置(123)与所述滤色器或滤谱器马赛克的组合产生不同组的线性无关的透射率曲线(TC)；并且，通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克，以获得多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像。
3.根据权利要求1或2所述的装置，其特征在于：所述图像传感器(12′)包括三个单独的二维传感器阵列(121a、121b、121c)；并且，所述颜色分离装置(122′)包括将输入光分离成三个不同光谱带的装置，每个带至相应的二维传感器阵列(121a、121b、121c)，该装置诸如分束器(124)连同三个单独的均匀滤色器(125a、125b、125c)、或者颜色分离分束器；并且，所述滤光器单元(FU)包括滤色器或滤谱器马赛克。
4.一种用于产生瞬时多频带图像的图像传感器(12)，包括：至少一个二维传感器阵列(121)、嵌入所述图像传感器阵列(121)中的瞬时颜色分离装置(123)以及滤光器单元(FU)，其特征在于：所述图像传感器包括滤色器或滤谱器马赛克(112)；并且，所述滤光器单元(FU)可以直接放置在所述颜色分离装置(123)上，或者与所述颜色分离装置(123)集成；并且，可以在所述滤光器单元(FU)和所述颜色分离装置(123)之间使用微透镜；并且，通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的图像被去马赛克，以获得多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像；并且，所述颜色分离装置(123)包括RGBT彩色马赛克，而所述滤色器或滤谱器马赛克(112)包括CMYT彩色马赛克；或者，所述颜色分离装置(123)包括CMYT彩色马赛克，而所述滤色器或滤谱器马赛克(112)包括RGBT彩色马赛克。
5.根据权利要求4所述的装置，其特征在于：所述图像传感器(12′)包括具有嵌入的滤色器马赛克(123a、123b、123c)的三个单独的二维传感器阵列(121a、121b、121c)；并且，所述颜色分离装置(122′)包括将输入光分离成三个不同光谱带的装置，每个带至相应的二维传感器阵列(121a、121b、121c)，该装置诸如分束器(124)连同三个单独的均匀滤色器或滤谱器(125a、125b、125c)、或者颜色分离分束器。
6.根据权利要求5所述的装置，其特征在于：所述图像传感器(12′)包括四个单独的二维传感器阵列(121a、121b、121c、121d)，其中，所述传感器阵列(121d)被瞬时颜色分离装置(123d)覆盖，而不对所述传感器阵列(121d)使用任何均匀滤色器或滤谱器。
7.根据权利要求1到6的任何一项所述的装置，其特征在于：至少一个附加光纤(OF)用于将光信号提供给所述装置中的多重滤光器马赛克的一部分，而所述多重滤光器马赛克区域的其余部分接收由所用透镜系统递送的光信号。
8.根据权利要求1到6的任何一项所述的装置，其特征在于：若干光纤(OF)用于将光信号提供给所述装置中的所述多重滤光器马赛克。
9.根据权利要求1到8的任何一项所述的装置，其特征在于：每个所述二维传感器阵列(121、121a、121b、121c或121d)都包括具有至少三个层的分层光电二极管，使得光谱分离或颜色分离被嵌入所述传感器阵列(121、121a、121b、121c或121d)中，且不需要附加的颜色分离装置(分别为123、123a、123b、123c或123d)。
10.根据权利要求1到9的任何一项所述的装置，其特征在于：通过现有彩色激光或喷墨打印技术，或通过其它当前影印技术在透明或半透明材料上产生所述滤色器或滤谱器马赛克和/或所述均匀滤色器或滤谱器(125a、125b、125c)。
11.根据权利要求1到8的任何一项所述的装置，其特征在于：所述图像传感器(12)包括一个单独的二维传感器阵列(121)以及颜色分离装置，所述颜色分离装置为具有与所述单独二维传感器阵列(121)上的各个像素单元相配合的小型单元的第二滤色器或滤谱器马赛克。
12.根据权利要求1到9的任何一项所述的装置，其特征在于：常规数码相机是所述装置的一部分；并且，所述图像传感器(12或12′)和所述颜色分离装置(123或122′)是所述常规相机的部分。
13.一种光学辅助设备，其适于以将所述光学设备的光轴与所述相机的光轴对准的方式与具有或不具有自带相机透镜的常规数码相机连接，其特征在于：当相互连接时，所述光学设备和所述相机形成根据权利要求1到9的任何一项所述的装置。
14.一种包括至少一个第一滤色器或滤谱器马赛克(112)的彩色或光谱马赛克，其特征在于：所述彩色或光谱马赛克(112)适于插入目镜中，由此，所述目镜和被插入的所述彩色或光谱马赛克与常规数码相机联合作用形成根据权利要求1到9的任何一项所述的装置。
15.根据权利要求14所述的彩色或光谱马赛克，其特征在于：所述彩色或光谱马赛克(112)适于插入诸如望远镜或显微镜的常规目镜中。
16.根据权利要求1到8的任何一项所述的装置，其特征在于：通过组合互补滤色器或滤谱器马赛克和/或均匀滤色器或滤谱器，如RGBT或RGB和CMYT或CMY彩色马赛克，或者这些颜色的均匀滤色器，产生均匀多重滤光器或多重滤光器马赛克的组；并且，在所述图像传感器阵列(121)和所述多重滤光器马赛克之间按像素的匹配是优选的。
17.根据权利要求9所述的装置，其特征在于：CMYT或CMY彩色马赛克用于实现所需多重滤光效果；或者，均匀C、M和Y滤色器用于实现所需多重滤光效果；所用分层光电二极管具有至少三个层(R、G和B)；并且，在所述图像传感器阵列和所述彩色马赛克之间按像素的匹配是优选的。
18.根据权利要求16或17所述的装置，其特征在于：VT马赛克被放置在会聚光中，以有助于构建所得多重滤光器马赛克。
19.根据权利要求1到8的任何一项所述的装置，其特征在于：RGB和CMYTBrBk彩色马赛克被组合以构建所得多重滤光器马赛克。
20.根据权利要求9所述的装置，其特征在于：当使用具有至少三个层(R、G和B)的分层光电二极管时，CMYTBrBk彩色马赛克用于实现所需多重滤光效果。
21.根据权利要求9所述的装置，其特征在于：当使用具有至少三个层的分层光电二极管时，CMYT或CMYTBk彩色马赛克用于实现所需多重滤光效果，在所述分层光电二极管中，至少一个层对近红外光敏感且至少另一个层对近紫外光敏感。
22.根据权利要求1到8的任何一项所述的装置，其特征在于：RGCYBrBk和VT彩色或光谱马赛克被组合以构建所得多重滤光器马赛克。
23.一种包括根据权利要求1到6的任何一项所述的装置的系统，其特征在于：通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克；并且，利用三种方法，即使用距离变换的插值方法、使用采用偏最小二乘法的统计变换的插值方法或人工神经网络方法中的一种执行插值，以获得具有完整频带的多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对所述多频带图像进行变换，以获得多光谱或超光谱图像。
24.一种包括根据权利要求1到9的任何一项所述的装置的系统，其特征在于：通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克；并且，针对特定图像区计算平均值，为每个区产生一个多频带平均向量，而利用三种方法，即使用距离变换的插值方法、使用采用偏最小二乘法的统计变换的插值方法、或人工神经网络方法中的一种来对其它图像区执行插值，以获得在这些图像区中具有完整频带内容的多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对包括所述多频带平均向量的所述多频带图像进行变换，以获得多光谱或超光谱图像以及与每个所述多频带平均向量相对应的光谱。
25.一种包括根据权利要求7所述的装置的系统，其特征在于：通过对受多重滤光器马赛克的诸区影响的图像区进行标识和分段，由所述图像传感器(12)捕捉到的多重滤光器图像被去马赛克；并且，针对图像区计算平均值，检测光纤(OF)光信号，以为每个区产生一个多频带平均向量，而利用三种方法，即使用距离变换的插值方法、使用采用偏最小二乘法的统计变换的插值方法、或人工神经网络方法中的一种来对其它图像区执行插值，以获得在这些图像区中具有完整频带内容的多频带图像；并且，利用两种方法，即使用偏最小二乘法的统计方法或人工神经网络方法中的一种来对包括所述多频带平均向量的所述多频带图像进行变换，以获得多光谱或超光谱图像以及与每个所述多频带平均向量相对应的光谱。
26.一种包括根据权利要求25所述的装置的系统，其特征在于：光纤(OF)中的至少一个递送发光源的信号，且所得所述多频带平均向量和对应的估算光谱分别用于补偿发光对所述多频带图像和所述多光谱或超光谱图像的影响，且通过这种方式，在像素中分别获得反射光谱响应和反射光谱。
27.一种包括根据权利要求26所述的装置的系统，其特征在于：通过使用具有所需或优化透射率曲线(TC)的R、G和B滤光器，所述反射光谱响应和所述反射光谱被转换成R、G和B值，以产生经颜色校正的图像。
CN2005800412674A 2004-10-25 2005-10-25 多光谱和超光谱成像系统 Expired - Fee Related CN101124462B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
SE0402576A SE0402576D0 (sv) 2004-10-25 2004-10-25 Multispectral and hyperspectral imaging
SE0402576-3 2004-10-25
SE04025763 2004-10-25
PCT/SE2005/001607 WO2006046913A1 (en) 2004-10-25 2005-10-25 A system for multi- and hyperspectral imaging

Publications (2)

Publication Number Publication Date
CN101124462A true CN101124462A (zh) 2008-02-13
CN101124462B CN101124462B (zh) 2011-01-26

Family

ID=33448699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800412674A Expired - Fee Related CN101124462B (zh) 2004-10-25 2005-10-25 多光谱和超光谱成像系统

Country Status (7)

Country Link
US (1) US7835002B2 (zh)
EP (1) EP1817558A4 (zh)
JP (1) JP2008518229A (zh)
CN (1) CN101124462B (zh)
CA (1) CA2594105C (zh)
SE (1) SE0402576D0 (zh)
WO (2) WO2006046898A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102187188A (zh) * 2008-03-19 2011-09-14 超级医药有限公司 用于实时的组织氧合测量的小型化多光谱成像器
CN101957237B (zh) * 2009-07-20 2012-07-04 中国科学院西安光学精密机械研究所 一种可编程偏振超光谱成像仪
CN102667863A (zh) * 2009-12-23 2012-09-12 诺基亚公司 使用二进制传感器确定颜色信息
CN102788751A (zh) * 2011-05-20 2012-11-21 精工爱普生株式会社 特征量估计装置及其方法以及分光图像处理装置及其方法
CN102809427A (zh) * 2011-05-31 2012-12-05 通用电气公司 自动对准光谱系统
CN106331445A (zh) * 2015-06-30 2017-01-11 汤姆逊许可公司 全光凹相机
CN106382988A (zh) * 2015-12-01 2017-02-08 中国科学院上海技术物理研究所 一种基于阶跃滤光片的超光谱成像仪
CN109313126A (zh) * 2017-05-17 2019-02-05 Eba日本株式会社 信息搜索系统和方法以及信息搜索程序
CN109827658A (zh) * 2019-03-22 2019-05-31 天津津航技术物理研究所 面向绿色植被检测的凝视型光谱芯片结构及其制备方法
CN109827907A (zh) * 2017-11-23 2019-05-31 三星电子株式会社 光学信号处理方法和装置
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置
CN110832443A (zh) * 2017-07-05 2020-02-21 微软技术许可有限责任公司 用于图像生成和对象跟踪的具有mems扫描仪的紧凑型光学系统
CN110927095A (zh) * 2019-12-05 2020-03-27 成都千嘉科技有限公司 基于光谱能量密度的气体浓度检测方法及系统
CN111788462A (zh) * 2018-03-18 2020-10-16 尤尼斯拜特罗有限责任公司 根据宽带光谱图像生成窄带光谱图像
WO2021003594A1 (en) * 2019-07-05 2021-01-14 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
CN106908146B (zh) * 2015-12-23 2021-06-29 光谱公司 分光计模块
CN113161376A (zh) * 2016-08-30 2021-07-23 三星电子株式会社 光学模块和使用该光学模块的光学装置
CN113484284A (zh) * 2021-07-07 2021-10-08 上海出版印刷高等专科学校 液体浓度检测系统
CN113676628A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 多光谱传感器、成像装置和图像处理方法
CN113676629A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 图像传感器、图像采集装置、图像处理方法及图像处理器
CN113739915A (zh) * 2020-05-28 2021-12-03 华为技术有限公司 一种光谱仪、摄像模组及终端设备
CN113841034A (zh) * 2019-04-23 2021-12-24 合刃人工智能有限责任公司 用宽带滤光片与光强探测器集成的高动态范围光学传感器
CN114343978A (zh) * 2016-03-03 2022-04-15 宝洁公司 带有传感器的吸收制品

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070224694A1 (en) * 2006-02-10 2007-09-27 Puchalski Daniel M Method and system for hyperspectral detection of animal diseases
WO2008017490A2 (de) 2006-08-09 2008-02-14 Opsolution Nanophotonics Gmbh Optisches filter und verfahren zur herstellung desselben, sowie vorrichtung zur untersuchung elektromagnetischer strahlung
DE102006039073A1 (de) * 2006-08-09 2008-02-14 Opsolution Gmbh Vorrichtung zur Untersuchung der spektralen und örtlichen Verteilung einer elektromagnetischen, von einem Gegenstand ausgehenden Strahlung
GB0622250D0 (en) 2006-11-08 2006-12-20 Univ East Anglia Illuminant estimation
GB2456482B (en) * 2006-11-08 2011-08-17 Univ East Anglia Detecting illumination in images
BRPI0721839A2 (pt) 2007-06-29 2013-05-21 Thomson Licensing equipamento e mÉtodo para reduzir distorÇÕes em imagens
US8126213B2 (en) * 2007-09-27 2012-02-28 The United States Of America As Represented By The Secretary Of Agriculture Method and system for wholesomeness inspection of freshly slaughtered chickens on a processing line
US8253824B2 (en) 2007-10-12 2012-08-28 Microsoft Corporation Multi-spectral imaging
JP2009260411A (ja) * 2008-04-11 2009-11-05 Olympus Corp 撮像装置
CA2748829C (en) 2009-01-10 2017-03-07 Goldfinch Solutions, Llc System and method for analyzing properties of meat using multispectral imaging
US10244190B2 (en) * 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
JP4904377B2 (ja) * 2009-04-28 2012-03-28 住友電気工業株式会社 ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
US8406469B2 (en) * 2009-07-20 2013-03-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration System and method for progressive band selection for hyperspectral images
US8611660B2 (en) * 2009-12-17 2013-12-17 Apple Inc. Detecting illumination in images
JP5532906B2 (ja) * 2009-12-21 2014-06-25 株式会社Ｊｖｃケンウッド 映像表示装置
EP2517171A1 (en) * 2009-12-23 2012-10-31 Nokia Corp. Pixel information reproduction using neural networks
CA2784817C (en) * 2009-12-23 2018-08-28 Nokia Corporation Filter setup learning for binary sensor
EP2550808A2 (en) * 2010-03-24 2013-01-30 Mritunjay Singh Method and system for robust and flexible extraction of image information using color filter arrays
FR2959092B1 (fr) * 2010-04-20 2013-03-08 Centre Nat Rech Scient Traitement numerique de compensation de signaux issus de photosites d'un capteur couleur.
DE102010045856A1 (de) 2010-09-17 2012-03-22 Carl Zeiss Ag Optisches Abbildungssystem zur multispektralen Bildgebung
US8743201B2 (en) * 2010-09-27 2014-06-03 National Applied Research Laboratories Time-Sequential multi-spectrum imaging device
US9297999B2 (en) 2010-12-11 2016-03-29 Jonathan K. George Synthetic focal plane imager
US9250131B2 (en) * 2011-01-17 2016-02-02 Ricoh Co., Ltd. Multi-imaging system with interleaved images
US9019358B2 (en) * 2011-02-08 2015-04-28 Xerox Corporation Method for classifying a pixel of a hyperspectral image in a remote sensing application
US9372118B1 (en) * 2011-03-07 2016-06-21 Fluxdata, Inc. Apparatus and method for multispectral based detection
CN102289673B (zh) * 2011-06-22 2013-04-10 复旦大学 基于偏最小二乘法的高光谱遥感图像波段选择方法
NO337687B1 (no) * 2011-07-08 2016-06-06 Norsk Elektro Optikk As Hyperspektralt kamera og metode for å ta opp hyperspektrale data
JP5856798B2 (ja) * 2011-10-17 2016-02-10 日本放送協会 広色域カラーチャート、広色域カラーチャート装置及び広色域カラーチャートを用いた色再現評価方法
JP6104264B2 (ja) * 2011-11-04 2017-03-29 アイメックＩｍｅｃ センサアレイ上に多重隣接画像コピーを投影するためのミラーを備えたスペクトルカメラ
WO2013064511A1 (en) * 2011-11-04 2013-05-10 Imec Spectral camera with integrated filters and multiple adjacent image copies projected onto sensor array
IN2014CN02966A (zh) * 2011-11-04 2015-07-03 Imec
WO2013064510A1 (en) 2011-11-04 2013-05-10 Imec Spectral camera with mosaic of filters for each image pixel
ES2763412T3 (es) * 2011-11-09 2020-05-28 Francois Gabriel Feugier Sistema de control de plagas, método de control de plagas y programa de control de plagas
US8761476B2 (en) 2011-11-09 2014-06-24 The Johns Hopkins University Hyperspectral imaging for detection of skin related conditions
CN104025562B (zh) 2011-12-28 2016-05-18 杜比实验室特许公司 用于图像捕捉设备处理的谱合成
US8759773B2 (en) * 2012-04-18 2014-06-24 Raytheon Company Infrared spectrometer with enhanced readout speed
US9599508B2 (en) 2012-05-18 2017-03-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
CA3088289A1 (en) 2012-05-18 2013-11-21 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system for chemical detection
US9766382B2 (en) * 2012-06-05 2017-09-19 Hypermed Imaging, Inc. Single-sensor hyperspectral imaging device
JP6021462B2 (ja) * 2012-06-21 2016-11-09 オリンパス株式会社 撮像モジュールおよび撮像装置
JP2014075780A (ja) * 2012-09-14 2014-04-24 Ricoh Co Ltd 撮像装置及び撮像システム
CN104662409B (zh) 2012-10-26 2018-01-19 索尼公司 聚光单元、聚光方法以及光学检测系统
US8975594B2 (en) * 2012-11-09 2015-03-10 Ge Aviation Systems Llc Mixed-material multispectral staring array sensor
WO2014100784A1 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9843740B2 (en) * 2013-02-13 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Multispectral imaging device and multispectral imaging method
WO2014160510A2 (en) * 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
US9430846B2 (en) 2013-04-19 2016-08-30 Ge Aviation Systems Llc Method of tracking objects using hyperspectral imagery
CA2870419C (en) 2013-11-12 2023-05-16 Rebellion Photonics, Inc. Divided-aperture infra-red spectral imaging system
US9878842B2 (en) 2013-12-23 2018-01-30 Dow Agrosciences Llc Plant imaging and spectral scanning system and method
WO2015152946A1 (en) 2014-04-05 2015-10-08 Empire Technology Development Llc Identification system and method
US11290662B2 (en) 2014-05-01 2022-03-29 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US9756263B2 (en) 2014-05-01 2017-09-05 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
US10458905B2 (en) 2014-07-07 2019-10-29 Rebellion Photonics, Inc. Gas leak emission quantification with a gas cloud imager
JP2017526910A (ja) * 2014-07-24 2017-09-14 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ （ウ・ペ・エフ・エル）Ｅｃｏｌｅ Ｐｏｌｙｔｅｃｈｎｉｑｕｅ Ｆｅｄｅｒａｌｅ Ｄｅ Ｌａｕｓａｎｎｅ （Ｅｐｆｌ） 撮像分光法用のコンパクトな多機能システム
JP6595161B2 (ja) * 2014-07-31 2019-10-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び、撮像装置
JP2017208585A (ja) * 2014-09-30 2017-11-24 株式会社ニコン 撮像装置および画像データ生成プログラム
CN107205624B (zh) 2014-10-29 2019-08-06 光谱Md公司 用于组织分类的反射式多光谱时间分辨光学成像方法和装备
CN107105977B (zh) * 2015-01-21 2019-02-12 奥林巴斯株式会社 内窥镜装置
WO2016152900A1 (ja) * 2015-03-25 2016-09-29 シャープ株式会社 画像処理装置及び撮像装置
JP2016197794A (ja) * 2015-04-03 2016-11-24 株式会社シグマ 撮像装置
CA2987404A1 (en) 2015-05-29 2016-12-08 Rebellion Photonics, Inc. Hydrogen sulfide imaging system
KR20160144006A (ko) 2015-06-07 2016-12-15 김택 복수의 반도체 광원을 이용한 휴대용 고분광 카메라 장치
WO2016203470A1 (en) * 2015-06-15 2016-12-22 Agrowing Ltd Multispectral imaging apparatus
JP2017009396A (ja) * 2015-06-19 2017-01-12 パナソニックＩｐマネジメント株式会社 撮像装置
US10262205B2 (en) * 2015-07-28 2019-04-16 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
US10178360B2 (en) * 2015-08-03 2019-01-08 Sony Corporation Imaging sensor coupled with layered filters
WO2017061432A1 (ja) * 2015-10-05 2017-04-13 株式会社ニコン 撮像装置および撮像プログラム
JP6654051B2 (ja) * 2016-01-15 2020-02-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム
JP6639920B2 (ja) * 2016-01-15 2020-02-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、及び医療用観察システム
EP3465113A4 (en) 2016-05-11 2020-04-29 Advanced Vision Technology (AVT) Ltd. COMBINED SPECTRAL MEASUREMENT AND IMAGING SENSOR
CA3024346A1 (en) * 2016-05-19 2017-11-23 Huron Technologies International Inc. Spectrally-resolved scanning microscope
CA3041105A1 (en) 2016-10-21 2018-04-26 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
CA3041100A1 (en) 2016-10-21 2018-04-26 Rebellion Photonics, Inc. Gas imaging system
CN110114645B (zh) * 2016-12-27 2021-11-26 优鲁格斯股份有限公司 在被观察物体静止时的超光谱成像
US10955355B2 (en) 2017-02-22 2021-03-23 Rebellion Photonics, Inc. Systems and methods for monitoring remote installations
WO2018160963A1 (en) 2017-03-02 2018-09-07 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
EP3413557B1 (en) 2017-06-08 2021-03-03 IMEC vzw A method, an image sensor and a device for acquiring an image of an object
WO2018231982A1 (en) * 2017-06-13 2018-12-20 X-Rite, Incorporated Hyperspectral imaging spectrophotometer and system
IL254078A0 (en) 2017-08-21 2017-09-28 Advanced Vision Tech A V T Ltd Method and system for creating images for testing
EP3450938B1 (en) 2017-08-30 2022-10-12 IMEC vzw An image sensor and an imaging apparatus
US10791283B2 (en) 2017-09-01 2020-09-29 Facebook Technologies, Llc Imaging device based on lens assembly with embedded filter
WO2019055026A1 (en) * 2017-09-15 2019-03-21 Gerlach Consulting Group, Inc. TRAINING AND PROJECTING A WIDE RANGE OF COLORS
WO2019094639A1 (en) 2017-11-09 2019-05-16 Rebellion Photonics, Inc. Window obscuration sensors for mobile gas and chemical imaging cameras
US10917178B2 (en) * 2018-03-26 2021-02-09 Phase Sensitive Innovations, Inc. Frequency agile microwave radiometer, hyperspectral microwave radiometer and methods of operation
JP6951753B2 (ja) * 2018-03-27 2021-10-20 エバ・ジャパン 株式会社 情報探索システム及びプログラム
US10972643B2 (en) 2018-03-29 2021-04-06 Microsoft Technology Licensing, Llc Camera comprising an infrared illuminator and a liquid crystal optical filter switchable between a reflection state and a transmission state for infrared imaging and spectral imaging, and method thereof
US11184510B2 (en) * 2018-04-13 2021-11-23 Panavision International, L.P. Electronic camera filter
US10924692B2 (en) 2018-05-08 2021-02-16 Microsoft Technology Licensing, Llc Depth and multi-spectral camera
US10477173B1 (en) 2018-05-23 2019-11-12 Microsoft Technology Licensing, Llc Camera with tunable filter and active illumination
DE112019003825T5 (de) * 2018-07-30 2021-04-15 Ams Ag Mehrschichtiges spektralmodulationsspektrometer
JP7183616B2 (ja) * 2018-08-02 2022-12-06 ソニーグループ株式会社 撮像装置、信号処理装置、信号処理方法およびプログラム
US20210349023A1 (en) * 2018-09-04 2021-11-11 Ams Ag Biomarker reader
EP3633334B1 (en) 2018-10-04 2022-12-28 IMEC vzw Spectral sensor for multispectral imaging
US10931894B2 (en) 2018-10-31 2021-02-23 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
BR112021011132A2 (pt) 2018-12-14 2021-08-31 Spectral Md, Inc. Sistemas de aprendizado por máquina e métodos para avaliação, predição de cicatrização e tratamento de feridas
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
JP7186298B2 (ja) 2018-12-14 2022-12-08 スペクトラル エムディー，インコーポレイテッド 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
CN109724917B (zh) * 2018-12-26 2021-01-22 西安电子科技大学 基于神经网络及宽带滤波调制的分光方法
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
RU2716454C1 (ru) * 2019-04-08 2020-03-11 Анастасия Валентиновна Гурылева Гиперспектрометр с повышенной спектральной разрешающей способностью
US11493855B2 (en) * 2019-05-31 2022-11-08 Hewlett-Packard Development Company, L.P. Adjusting print apparatus light sources
DE102019127323B4 (de) * 2019-10-10 2021-05-12 Precitec Gmbh & Co. Kg Laserbearbeitungssystem zum Durchführen eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls und Verfahren zur Überwachung eines Bearbeitungsprozesses an einem Werkstück mittels eines Laserstrahls
FR3112854A1 (fr) * 2020-07-23 2022-01-28 Thales Système optique d’imagerie multispectrale amélioré
CN111982835A (zh) * 2020-08-17 2020-11-24 吉林求是光谱数据科技有限公司 一种基于硅基多光谱芯片的水果糖度无损检测装置及方法
CN112132792B (zh) * 2020-09-04 2022-05-10 浙江大学 基于高光谱和深度学习的山核桃内源异物像素级检测方法
CN112288008B (zh) * 2020-10-29 2022-03-01 四川九洲电器集团有限责任公司 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112288721B (zh) * 2020-10-29 2022-03-01 四川九洲电器集团有限责任公司 一种用于目标检测的马赛克多光谱图像生成方法
AU2020281143B1 (en) * 2020-12-04 2021-03-25 Commonwealth Scientific And Industrial Research Organisation Creating super-resolution images
CN112557307B (zh) * 2020-12-09 2022-09-27 武汉新烽光电股份有限公司 天空地一体化湖库水质监测融合数据方法
CN112905812B (zh) * 2021-02-01 2023-07-11 上海德拓信息技术股份有限公司 媒体文件审核方法及系统
WO2022176621A1 (ja) * 2021-02-19 2022-08-25 パナソニックＩｐマネジメント株式会社 撮像システム、および撮像システムによって実行される方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5821989A (ja) * 1981-07-31 1983-02-09 Canon Inc カラ−固体撮像装置
CA1194987A (en) * 1981-09-30 1985-10-08 Yasuo Takemura Solid-state color television camera
CA1293879C (en) * 1986-06-20 1992-01-07 Laurel Jean Pace Color filter arrays
SE468414B (sv) * 1991-05-14 1993-01-11 Sune Svanberg Faergbildsregistrering i svagt ljus
JPH08233658A (ja) * 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
JPH0961244A (ja) * 1995-08-29 1997-03-07 Olympus Optical Co Ltd 色分類装置及び色分類方法
JP3713321B2 (ja) * 1995-12-19 2005-11-09 オリンパス株式会社 カラー画像記録再生システム及び画像カラー画像記録再生方法
US5929432A (en) * 1996-05-30 1999-07-27 Kabushiki Kaisha Toshiba Solid state image sensing device and image sensor using the same
WO1999002950A1 (en) * 1997-07-12 1999-01-21 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
US6057586A (en) * 1997-09-26 2000-05-02 Intel Corporation Method and apparatus for employing a light shield to modulate pixel color responsivity
US5982497A (en) * 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
JP3430093B2 (ja) * 1999-12-02 2003-07-28 三菱電機株式会社 分光撮像方法および装置
JP2002185974A (ja) * 2000-12-12 2002-06-28 Canon Inc 画像処理装置およびその方法
US6678395B2 (en) 2001-03-22 2004-01-13 Robert N. Yonover Video search and rescue device
JP2002296114A (ja) * 2001-03-30 2002-10-09 Fuji Photo Film Co Ltd 分光反射率画像の取得方法、撮影装置および分光反射率画像取得システム
EP1384051A1 (en) * 2001-05-02 2004-01-28 Csir Spectrometry using broadband filters with overlapping spectral ranges
JP2004228662A (ja) * 2003-01-20 2004-08-12 Minolta Co Ltd 撮像装置
US7474402B2 (en) * 2005-03-23 2009-01-06 Datacolor Holding Ag Reflectance sensor for integral illuminant-weighted CIE color matching filters

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102187188A (zh) * 2008-03-19 2011-09-14 超级医药有限公司 用于实时的组织氧合测量的小型化多光谱成像器
CN102187188B (zh) * 2008-03-19 2013-10-16 超级医药成像有限公司 用于实时的组织氧合测量的小型化多光谱成像器
CN101957237B (zh) * 2009-07-20 2012-07-04 中国科学院西安光学精密机械研究所 一种可编程偏振超光谱成像仪
CN102667863A (zh) * 2009-12-23 2012-09-12 诺基亚公司 使用二进制传感器确定颜色信息
CN102788751A (zh) * 2011-05-20 2012-11-21 精工爱普生株式会社 特征量估计装置及其方法以及分光图像处理装置及其方法
CN102788751B (zh) * 2011-05-20 2016-12-14 精工爱普生株式会社 特征量估计装置及其方法以及分光图像处理装置及其方法
CN102809427A (zh) * 2011-05-31 2012-12-05 通用电气公司 自动对准光谱系统
CN102809427B (zh) * 2011-05-31 2016-06-15 通用电气公司 自动对准光谱系统及自动对准光谱系统的方法
CN106331445A (zh) * 2015-06-30 2017-01-11 汤姆逊许可公司 全光凹相机
CN106331445B (zh) * 2015-06-30 2021-01-12 交互数字Ce专利控股公司 全光凹相机
CN106382988A (zh) * 2015-12-01 2017-02-08 中国科学院上海技术物理研究所 一种基于阶跃滤光片的超光谱成像仪
CN106382988B (zh) * 2015-12-01 2017-11-21 中国科学院上海技术物理研究所 一种基于阶跃滤光片的超光谱成像仪
CN106908146B (zh) * 2015-12-23 2021-06-29 光谱公司 分光计模块
CN114343978A (zh) * 2016-03-03 2022-04-15 宝洁公司 带有传感器的吸收制品
CN113161376A (zh) * 2016-08-30 2021-07-23 三星电子株式会社 光学模块和使用该光学模块的光学装置
CN109313126A (zh) * 2017-05-17 2019-02-05 Eba日本株式会社 信息搜索系统和方法以及信息搜索程序
CN110832443A (zh) * 2017-07-05 2020-02-21 微软技术许可有限责任公司 用于图像生成和对象跟踪的具有mems扫描仪的紧凑型光学系统
CN110832443B (zh) * 2017-07-05 2021-12-03 微软技术许可有限责任公司 用于图像生成和对象跟踪的具有mems扫描仪的紧凑型光学系统
CN109827907A (zh) * 2017-11-23 2019-05-31 三星电子株式会社 光学信号处理方法和装置
CN111788462A (zh) * 2018-03-18 2020-10-16 尤尼斯拜特罗有限责任公司 根据宽带光谱图像生成窄带光谱图像
US11525732B2 (en) 2018-03-18 2022-12-13 Unispectral Ltd. Generating narrow-band spectral images from broad-band spectral images
CN109827658B (zh) * 2019-03-22 2020-07-28 天津津航技术物理研究所 面向绿色植被检测的凝视型光谱芯片结构及其制备方法
CN109827658A (zh) * 2019-03-22 2019-05-31 天津津航技术物理研究所 面向绿色植被检测的凝视型光谱芯片结构及其制备方法
CN113841034A (zh) * 2019-04-23 2021-12-24 合刃人工智能有限责任公司 用宽带滤光片与光强探测器集成的高动态范围光学传感器
WO2021003594A1 (en) * 2019-07-05 2021-01-14 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
US11410273B2 (en) 2019-07-05 2022-08-09 Baidu Usa Llc Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置
CN110927095A (zh) * 2019-12-05 2020-03-27 成都千嘉科技有限公司 基于光谱能量密度的气体浓度检测方法及系统
CN110927095B (zh) * 2019-12-05 2021-05-18 成都千嘉科技有限公司 基于光谱能量密度的气体浓度检测方法及系统
CN113739915A (zh) * 2020-05-28 2021-12-03 华为技术有限公司 一种光谱仪、摄像模组及终端设备
CN113484284A (zh) * 2021-07-07 2021-10-08 上海出版印刷高等专科学校 液体浓度检测系统
CN113676629A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 图像传感器、图像采集装置、图像处理方法及图像处理器
CN113676628A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 多光谱传感器、成像装置和图像处理方法
CN113676628B (zh) * 2021-08-09 2023-05-02 Oppo广东移动通信有限公司 成像装置和图像处理方法
CN113676629B (zh) * 2021-08-09 2024-01-09 Oppo广东移动通信有限公司 图像传感器、图像采集装置、图像处理方法及图像处理器

Also Published As

Publication number Publication date
CN101124462B (zh) 2011-01-26
EP1817558A1 (en) 2007-08-15
CA2594105C (en) 2014-08-19
US7835002B2 (en) 2010-11-16
EP1817558A4 (en) 2012-02-22
SE0402576D0 (sv) 2004-10-25
CA2594105A1 (en) 2006-05-04
US20080123097A1 (en) 2008-05-29
WO2006046913A1 (en) 2006-05-04
JP2008518229A (ja) 2008-05-29
WO2006046898A1 (en) 2006-05-04

Similar Documents

Publication Publication Date Title
CA2594105C (en) A system for multi- and hyperspectral imaging
KR102543392B1 (ko) 깊이 획득을 위한 명시야 이미지 처리 방법
US7768641B2 (en) Spatial image modulation to improve performance of computed tomography imaging spectrometer
Oh et al. Do it yourself hyperspectral imaging with everyday digital cameras
JP6064290B2 (ja) 撮像装置、分光システム、および分光方法
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
Koundinya et al. 2D-3D CNN based architectures for spectral reconstruction from RGB images
US10072970B1 (en) Hyperspectral notch filter imaging
US10101206B2 (en) Spectral imaging method and system
JP6892861B2 (ja) 単一のマトリクスセンサによって可視および近赤外画像を取得するためのシステムおよび方法
Lapray et al. Database of polarimetric and multispectral images in the visible and NIR regions
Mäkeläinen et al. 2D hyperspectral frame imager camera data in photogrammetric mosaicking
Takatani et al. One-shot hyperspectral imaging using faced reflectors
JP6923897B2 (ja) フィルタ、画像撮影装置および画像撮影システム
US20180020129A1 (en) Method to remove the spectral components of illumination and background from multi-spectral and hyper-spectral images
US20070165223A1 (en) Color camera computed tomography imaging spectrometer for improved spatial-spectral image accuracy
Khan et al. Color characterization methods for a multispectral camera
WO2022163671A1 (ja) データ処理装置、方法及びプログラム並びに光学素子、撮影光学系及び撮影装置
Jia et al. Single-shot Fourier transform multispectroscopy
Tisserand Custom Bayer filter multispectral imaging: emerging integrated technology
Sun et al. Simulation of proposed eight-band camera for capturing multispectral images
Kulkarni et al. A division-of-focal-plane spectral-polarization imaging sensor
Amba et al. Spectral image recovery from Spectral Filter Array cameras using LMMSE
OHTERA Single-shot spectral sensor utilizing multilayer-type pixel-scale filter array
Ekpenyong Hyperspectral imaging: Calibration and applications with natural scenes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110126

Termination date: 20171025

CF01 Termination of patent right due to non-payment of annual fee