CN107407599A - 用于从传感器数据估计输入光谱的方法和系统 - Google Patents
用于从传感器数据估计输入光谱的方法和系统 Download PDFInfo
- Publication number
- CN107407599A CN107407599A CN201680008436.2A CN201680008436A CN107407599A CN 107407599 A CN107407599 A CN 107407599A CN 201680008436 A CN201680008436 A CN 201680008436A CN 107407599 A CN107407599 A CN 107407599A
- Authority
- CN
- China
- Prior art keywords
- calibration data
- aperture
- optical sensor
- data
- sensor assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 56
- 230000003595 spectral effect Effects 0.000 claims abstract description 47
- 238000005316 response function Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000004044 response Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000013213 extrapolation Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- BJQHLKABXJIVAM-UHFFFAOYSA-N bis(2-ethylhexyl) phthalate Chemical compound CCCCC(CC)COC(=O)C1=CC=CC=C1C(=O)OCC(CC)CCCC BJQHLKABXJIVAM-UHFFFAOYSA-N 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 241001553014 Myrsine salicina Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/45—Interferometric spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
- G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/2866—Markers; Calibrating of scan
- G01J2003/2879—Calibrating scan, e.g. Fabry Perot interferometer
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明涉及用于从通过光学传感器组装件(200)采集的传感器数据估计输入光谱的方法，该光学传感器组装件(200)包括光圈(210)、法布里‑珀罗干涉仪(220)以及光学传感器元件(230)，该方法包括：获取表示所述光学传感器组装件(200)对所述光圈(210)的第一设置的光谱响应函数的第一校准数据(110)；从所述第一校准数据计算第二校准数据(120)，所述第二校准数据表示所述光学传感器组装件(200)对所述光圈(210)的第二设置的光谱响应函数，其中所述第二设置对应于在所述传感器数据的所述采集期间应用的设置；以及因变于所述第二校准数据和所述传感器数据来估计所述输入光谱(130)。本发明还涉及对应的用于估计输入光谱的系统。
Description
发明领域
本发明涉及光学传感器组装件，尤其涉及校准多光谱或高光谱光学传感器组装件。因此，本发明提供了一种用于从所测得的光谱估计输入光谱的方法和系统。
背景
已知的光学传感器组装件可包括光圈、法布里-珀罗干涉仪或标准具以及光学传感器元件。术语“光学传感器元件”在此被用来指定光敏像素(诸如CMOS像素)阵列。
法布里-珀罗干涉仪具有窄透射带，该透射带的中心波长取决于其厚度。在上述组装件中，法布里-珀罗干涉仪的用途是减少感兴趣的波长带之外的光到传感器上的透射。法布里-珀罗干涉仪可具有针对光学传感器元件的不同的相应区域的不同属性(具体而言是不同的厚度)，以获得多光谱或高光谱传感器组装件。以此方式获得的高光谱传感器组装件的示例在国际专利申请公开WO 2011/064403 A1中公开。与同一基板上的第二传感器元件相结合的这一传感器组装件的另一示例在国际专利申请公开WO 2011/073430 A1中以本申请人的名义公开。
已知的光学传感器组装件的缺点是精确的光谱表征是复杂且耗时的任务。
发明概述
光学系统捕捉由具有非零尺寸的物理对象发出或反射的光，这些光穿过具有非零直径的光圈。结果，经由光圈到达传感器的光线将在不同的角度范围内穿过法布里-珀罗干涉仪。该范围进一步取决于所选光圈设置。
法布里-珀罗干涉仪的光谱响应取决于入射光的入射角。因此，已知的光学传感器组装件的一方面是光谱响应曲线随着光圈尺寸的变化而变化。为了处置光谱响应曲线的这一光圈相关性，有必要通过测量对特定光圈设置的光谱响应并且在光圈尺寸的总体有用范围内重复该测量来校准光学系统。一旦光学传感器被利用，就通过选择对应于用于新采集的光圈设置的正确校准测量来校正所采集的任何图像。
该校准过程是麻烦的，并且必须对光学传感器组装件中的具有基本上相同的几何属性的每一系列执行。在多光谱或高光谱传感器组装件中，必须针对每一波长带来校准该系统。用于执行对后续采集图像的校正的计算机或处理器必须可访问针对所有可能光圈设置的不同的相应校准曲线。
本发明的目标是促进校准过程和/或使校正过程更高效。
根据本公开的一方面，提供了一种用于从通过光学传感器组装件采集的传感器数据估计输入光谱的方法，该光学传感器组装件包括光圈、法布里-珀罗干涉仪以及光学传感器元件，该方法包括：获取表示光学传感器组装件对光圈的第一设置的光谱响应函数的第一校准数据；从第一校准数据计算第二校准数据，第二校准数据表示光学传感器组装件对该光圈的第二设置的光谱响应函数，其中第二设置对应于在传感器数据的采集期间应用的设置；以及因变于第二校准数据和传感器数据来估计输入光谱。
根据本发明的方法的优点是校准数据只需对单个光圈设置可用。针对可以在后续图像采集中使用的其它光圈设置的相应校准数据可以按需从可用校准数据计算出。
虽然本发明是参照第一校准数据和第二校准数据描述的，但本发明不限于将针对光圈的单个设置的测量集合(第一校准数据)用作对第二校准数据的计算的输入。具体而言，该方法可以按以下两种方式使用：
-对单个光圈使用测量集合，并且计算对所有其它光圈设置的响应；
-使用表示旨在使用的所有光圈值的子集的多个测量集合，并且计算对中间光圈值(使用如上模型的基于物理学的内插)以及对所测得的范围之外的光圈值(如上外插)的响应。
在根据本发明的方法的实施例中，获取第一校准数据包括测量光学传感器组装件针对光圈的第一设置对多个经校准光源的光谱响应。
实际校准步骤可以是本发明的实施例的一部分。然而，一旦已经执行初始校准，光学传感器组装件就可继续操作所采集的校准数据。
在根据本发明的方法的实施例中，法布里-珀罗干涉仪包括覆盖传感器元件的相应区域的具有不同光谱属性的多个部件，并且获取第一校准数据包括获取针对该多个区域的相应校准数据集。
该实施例的优点是本发明能适用于多光谱和高光谱传感器。
在根据本发明的方法的实施例中，第一校准数据被表示为第一矩阵，并且其中对第二校准数据的计算包括对第一矩阵执行矩阵乘法以获取表示第二校准数据的第二矩阵。
如将在以下示出的，矩阵乘法是执行从第一校准数据到第二校准数据的转换的计算上高效的方式。
根据本发明的一方面，提供了一种包括被配置成执行上述方法的代码装置的计算机程序产品。
根据本发明的一方面，提供了一种用于从通过具有光圈的光学传感器组装件采集的传感器数据估计输入光谱的系统，该系统包括：被配置成采集传感器数据以及表示光学传感器组装件对光圈的第一设置的光谱响应函数的第一校准数据的接口装置；以及被配置成从第一校准数据计算第二校准数据并且因变于第二校准数据和传感器数据来估计输入光谱的处理装置，第二校准数据表示光学传感器组装件对该光圈的第二设置的光谱响应函数，其中第二设置对应于在传感器数据的采集期间应用的设置。
在一实施例中，根据本发明的系统进一步包括光学传感器组装件，该光学传感器组装件包括光圈、法布里-珀罗干涉仪以及光学传感器元件。
在已经做出必要的修正的情况下，根据本发明的计算机程序产品和系统的实施例的技术效果和优点对应于根据本发明的方法的对应实施例的那些技术效果和优点。
附图简述
现在将参考附图更详细地描述本发明的这些和其他技术效果和优点，附图中：
图1示出了法布里-珀罗干涉仪的操作的原理；
图2示出了不同R值的法布里-珀罗响应峰值和效应的总体形状；
图3示出了具有不同入射角的法布里-珀罗干涉仪的透射峰值的移位；
图4示意性地示出了光学传感器元件的给定点处的光谱响应必须在其上积分的入射角范围；
图5示意性地示出了法布里-珀罗干涉仪的光谱响应的光圈相关性；
图6提供了根据本发明的实施例的方法的流程图；以及
图7示意性地示出了根据本发明的实施例的系统。
实施例描述
多光谱成像和高光谱成像是光谱成像的形式，其中来自跨电磁谱的信息被收集在各种光谱带中并被处理。高光谱成像应对连续光谱范围内的窄光谱带。多光谱成像应对更有限数目的光带，每一光带可以是窄的或更宽，其中光带集合无需覆盖连续范围，但也能包含分立光带。
从所收集的不同光谱图像中，能导出所成像的对象的信息。例如，由于某些对象在图像中留下了光谱特征(甚至可取决于对象的状态)，因此通过多光谱成像获取的信息可提供关于所成像的区域中的对象的存在和/或状态的信息。在选择将被成像的光谱范围后，由于该完整光谱范围内的光谱图像可被采集，因此无需具有这些对象的详细先验知识，并且后处理可允许获取所有可用信息。
已知的高光谱传感器组装件(诸如在WO 2011/064403 A1和WO 2011/073430 A1中公开的高光谱传感器组装件)将光敏像素的二维阵列与其厚度随该阵列中的区域变化的法布里-珀罗干涉仪相组合。由此，传感器元件的不同部件对不同的波长带敏感。
法布里-珀罗干涉仪滤光器包括两个反射表面之间的腔，如图1所描绘的。传入光在表面反射。在多次反射后，相长干涉对窄光谱带出现并由此具有非常特定的波长λ的大多数光穿过该滤光器。如果相位差δ是整数，则透射是最大化的：
对于反射表面之间的材料的给定折射率n，腔的厚度L确定对于其滤光器具有其透射峰值的中心波长。
透射对于其它波长减少：
透射通过中间量F(精细度系数)由反射率R管控。
不同R值的法布里-珀罗响应峰值和效应的总体形状在图2中描绘，其中窄曲线表示R＝0.99，而更宽的曲线表示R＝0.8。对于小δ，法布里-珀罗响应峰值逼近洛伦兹曲线(具有函数形式)，因为sinδ≈δ。
光谱响应峰值的宽度(FWHM)也根据R确定。该宽度通过下式近似地给出。
中心波长取决于入射角θ(参见方程1)。对于给定滤光器，峰值透射针对法向入射处的最长波长，并且随着入射角增大朝着更短波长移位。该移位在图3中示出。
如上讨论的光谱响应只对单个入射角下的光有效。实际上，任何光学仪器都通过其光学器件从一定范围的方向收集光。除非使用远心透镜，否则光在不同角度范围内到达滤光器。总光谱响应然后是对各个角度的响应在入射锥上的积分，如在图4中示意性地示出的。
由于入射锥随着光圈尺寸增大而变得更宽，因此光谱响应函数也是光圈相关的。对光圈范围(f16和f1.4之间)的所得光谱响应函数在图5中示出。
作为该光圈相关效应的结果，对可被应用于光学传感器组装件的所有可能光圈设置执行该组装件的校准测量变得有必要。
本发明的实施例基于发明者的以下洞察：包括法布里-珀罗干涉仪的光学传感器组装件的如针对给定光圈值获得的光谱响应函数能通过使用光圈效应的模型来转换自和转换至对任何其他光圈值的光谱响应函数。
如果给定法布里-珀罗标准具有(所测得的)光谱响应函数SRF(λ)，则对输入光谱s(λ)的光谱响应R(λ)可通过积分来获得：
R(λ)∫SRF(λ)s(λ)dλ (方程5)
实际上，在多光谱或高光谱传感器中，针对多个分立波长带执行图像采集，并且通过分立测量集合来执行校准。由此，方程5能方便地以矩阵形式重写。滤光器效应然后可通过将光谱响应函数的样本布置成矩阵SRF来建模，其中每一行(k)表示特定光谱带的光谱响应函数，而每一列(i)表示特定波长处的对所有光谱带的响应。对于所采样的输入光谱si，光带响应可通过矩阵乘法来计算：
Rk＝SRFk，i·si (方程6)
通过以如方程6中示出的矩阵形式表达光谱响应函数，在一个或多个所测得的响应矩阵SRFmeas(Ai)的基础上计算对针对特定光圈设置Ax的响应矩阵SRFest(Ax)的估计是可能的。一般而言，所测得的响应矩阵SRFmeas(Ai)对于所有可能的光圈Ai的有限子集是已知的。因此，以下情形可被区分：
所测得的光圈：如果Ax等于所测得的光圈Ai之一，则所测得的响应矩阵在不进行适配的情况下使用：SRFest(Ax)＝SRFmeas(Ai)。
外插：如果Ax严格大于或严格小于所测得的所有Ai，则应用外插。这在只有单个所测得矩阵SRFmeas(Ai)可用且Ax≠Ai的情况下是默认情形。最接近的光圈An的数据被用作起始点，并且使用光学模型来转换，如在下文中更详细地解释的。
内插：如果不止一个所测得响应矩阵可用，则所请求的响应矩阵的光圈Ax可落在两个所测得值之间(Ar＜Ax<As)，在此情形中可应用内插，如在下文中更详细地解释的。
内插和外插的数学基础如下。为了从所测得光谱重构原始光谱，对方程6求逆。
实际上，矩阵求逆是不稳定的，因此需要使用合适的正则化方法(参见V．MOREAU等人于2012年6月在斯洛文尼亚波尔托罗市发表于4S研讨会上的“Development of acompact hyperspectral/panchromatic imager formanagement of natural resources(用于管理自然资源的紧凑型高光谱/全色成像器的开发)”。正则化开始于对SRF矩阵执行奇异值分解：
SRF＝U∑VT (方程8)
其中U和V是正交矩阵，而∑是包含奇异值σi的对角矩阵。SRF矩阵的(伪)逆被获取为：
SRF-1＝V∑-1UT (方程9)
其中∑-1是在对角具有值1/σi的对角矩阵。方程9的解仍然不稳定，但这可通过将∑-1值修改为(σi/(α+σi2))以使得小特征值的贡献被抑制来解决。
注意，经重构的输出光谱的光谱采样不必与SRF采样相同。输出采样优选地比所测得光谱带的采样更粗放。在此类情形中，有必要对输出采样进行重采样，该运算也可被表达为矩阵乘法。
以上开发显示对于离散化光谱响应函数的给定集合，从所观察到(所测得)的输出光谱估计输入光谱在数学上是可能的。发明者已经发现通过明智地使用由图4和5表示的物理学，对不同的光圈设置具有单独的所测得的离散化光谱响应函数集不再是有必要的，如将在下文中解释的。
具有给定中心频率和FWHM(诸如在集成的多光谱或高光谱传感器组装件中使用的那些)的法布里-珀罗滤光器集合的光谱响应函数可使用如图2所示的理论峰形来建模、离散化并被呈现为矩阵：SRFk，i。同样，使用如图5所示的峰形来对该相同的法布里-珀罗滤光器集合的光谱响应函数建模以包括可被呈现为第二矩阵SRF’k，i的针对给定光圈的光圈效应是可能的。给定所建模的这些SRF矩阵，给定光圈设置x的光圈光学效应Tx可以在数学上隔离：
Tx＝SRF-1·SRF′ (方程10)
可针对任何光圈值构造这一矩阵。因此，通过使用合适的正矩阵和逆矩阵(参见方程8和9)，光谱可以转换自和转换至任何光圈值。该洞察可用于将光谱转换成常见光圈值。
给定该洞察，为了通过外插计算对其它光圈值的估计，执行校准测量以获得具有单个光圈的光谱响应频率的所测得的经采样版本就足够了。当所测得的输出光谱将被转换成所估计的输入光谱时，将校准SRF矩阵与针对在后续测量中使用的光圈的合适Tx矩阵进行矩阵相乘并且使用经调整的SRF来进行求逆(方程8和9)并代入方程7就足够了。
外插规程由此可以概述如下：
计算对Ax和An的理论响应矩阵：SRFmod(Ax)，SRFmod(An)；
计算转换矩阵：
T(Ax→An)＝(SRFmod(An))-1*SRFmod(Ax)’
其中*表示普通矩阵乘法，且()-1表示矩阵(伪)逆。
所估计的响应矩阵变为：
SRFest(Ax)＝T(Ax→An)*SRFmeas(An)。
该公式允许使用所建模的转换矩阵T(Ax→An)来从单个所测得响应矩阵SRF_meas(A_n)计算出所估计的响应矩阵。
在以下步骤中，可使用两个测量SRFmeas(Ar)and SRFmeas(As)来将类似方法用于内插：
计算对Ax、Ar和As的理论响应矩阵：SRFmod(Ax)，SRFmod(Ar)，SRFmod(Ax)；
计算相应的转换矩阵：
T(Ax→Ar)＝(SRFmod(Ar))-1*SRFmod(Ax)’
T(Ax→As)＝(SRFmod(As))-1*SRFmod(Ax)’
计算两个相应(独立)估计：
SRFest，r(Ax)＝T(Ax→Ar)*SRFmeas(Ar)
SRFest，s(Ax)＝T(Ax→As)*SRFmeas(As)。
实际上，这两个估计将不会产生等同的结果。为了在这两个估计之间内插，首先选择作为光圈的函数并且还可以是光谱带(b)的函数的内插变量V(A，b)。
对于每一光谱带(b)，响应的合适线性组合可被计算为：
EST(Ax)(b)＝f.SRFest，r(Ax)+(1-f).SRFest，s(Ax)，
且f＝(V(As，b)-V(Ax，b))/(V(As，b)-V(Ar，b))。
对于V(A，b)，最简单的选择是光圈本身V(A，b)＝A。
在优选实现中，使用滤光器响应峰值的半最大值全宽：V(A，b)＝FWHM(A，b)。其值因光谱带(b)而异。
最终所估计响应矩阵SRFest(Ax)由各个光谱带响应SRFest(Ax)(b)的集合来形成。
图6提供了根据本发明的实施例的方法的流程图。在对光学传感器组装件的各部件做出引用的地方，将使用图7中指示的附图标记。所解说的方法从通过光学传感器组装件200采集的传感器数据估计输入光谱，该光学传感器组装件包括光圈210、法布里-珀罗干涉仪220以及光学传感器元件230。
在所示方法的第一步骤110，获取第一校准数据，该第一校准数据表示光学传感器组装件200对光圈210的第一设置的光谱响应函数。第一校准数据110的获取可包括实际校准，即测量光学传感器组装件200针对光圈210的第一设置对多个经校准光源的光谱响应。然而，该校准还可在不同时间进行，并且第一校准数据110的获取在这一情形中可包括从存储器、存储介质或网络检索数据。
在所解说方法的第二步骤120，从第一校准数据计算第二校准数据，第二校准数据表示光学传感器组装件200对光圈210的第二设置(该第二设置对应于在传感器数据的采集期间应用的设置)的光谱响应函数。如以上结合方程6解释的，第一校准数据可被表示为第一矩阵，并且第二校准数据120的计算可包括对第一矩阵执行矩阵乘法以获得表示第二校准数据的第二矩阵。具体而言，该步骤可涉及乘以矩阵Tx，如在方程10中定义的。
在所示方法的第三步骤130中，因变于第二校准数据和传感器数据来估计输入光谱。这可通过应用方程7-9来实现，如以上更详细地解释的。
法布里-珀罗干涉仪220可包括覆盖传感器元件230的相应区域的具有不同光谱属性的多个部件，如同多光谱或高光谱传感器的情形那样。第一校准数据110的获取在这一情形中可包括获得针对该多个区域的相应校准数据集。
本发明还涉及一种包括被配置成指令处理器执行以上方法的各步骤的代码装置的计算机程序产品。该计算机程序产品可以在诸如磁盘、光盘或半导体存储器等计算机可读介质上提供；或者该计算机程序产品可经由诸如局域网、存储区域网络或因特网等网络来提供，在此情况下该计算机程序产品可供下载和本地安装或者作为软件即服务(SaaS)供应来提供。
图7示意性地示出了根据本发明的实施例的系统。该系统对由可以与该系统集成的光学传感器组装件采集的传感器数据进行操作。光学传感器组装件200可包括光圈210、法布里-珀罗干涉仪220以及光学传感器元件230。
该系统包括被配置成采集传感器数据以及表示光学传感器组装件200对光圈210的第一设置的光谱响应函数的第一校准数据110的接口装置310、320。术语“接口装置”指代用于与能够提供或接受数据的另一实体通信的必要硬件和软件。优选地，这一硬件和软件根据被接受的行业标准来操作。因此，接口装置的物理和数据链路层方面可根据诸如IEEE标准802.3(以太网)、IEEE标准802.11(无线LAN)、USB等标准来操作。接口装置的网络和传输层方面可根据TCP/IP协议栈来操作。此处提及的各种接口(310、320、330)可共享硬件和/或软件。
所解说系统还包括在操作上连接到所述接口装置310、320的处理装置350，该处理装置被配置成从第一校准数据计算第二校准数据120，第二校准数据表示光学传感器组装件200对该光圈210的第二设置的光谱响应函数，其中第二设置对应于在传感器数据的采集期间应用的设置处理装置350被进一步配置成因变于第二校准数据和传感器数据来估计输入光谱130。如对于这些操作的计算方面，对以上给出的详细描述进行参考。
处理装置350可在专用硬件(例如，ASIC)、可配置硬件(例如，FPGA)、可编程组件(例如，具有合适软件的DSP或通用处理器)或其任何组合中实现。相同的组件也可包括其它功能。
第一校准数据的输入被示意性地示为源自连接到该系统的接口320的外部存储325。同样，所估计的输入光谱的输出被示意性地示为发送到连接到该系统的接口330的外部存储335。这样做仅仅是出于解说目的；技术人员将领会该系统的输入和输出也可以在内部存储器、本地存储介质、附连到网络的存储、网络上的其它服务器等中进行。
虽然已经在上文中参照单独的系统和方法实施例来描述本发明，但这样做仅仅是出于阐明的目的。技术人员将领会单独地与该系统或方法相结合地描述的特征也可分别适用于该方法或系统，且具有相同的技术效果和优点。此外，本发明的范围不限于这些实施例，而是由所附权利要求书来限定。
Claims (7)
1.一种用于从通过光学传感器组装件(200)采集的传感器数据估计输入光谱的方法，所述光学传感器组装件包括光圈(210)、法布里-珀罗干涉仪(220)以及光学传感器元件(230)，所述方法包括：
获取表示所述光学传感器组装件(200)对所述光圈(210)的第一设置的光谱响应函数的第一校准数据(110)；
从所述第一校准数据计算第二校准数据(120)，所述第二校准数据表示所述光学传感器组装件(200)对所述光圈(210)的第二设置的光谱响应函数，其中所述第二设置对应于在所述传感器数据的所述采集期间应用的设置；以及
因变于所述第二校准数据和所述传感器数据来估计所述输入光谱(130)。
2.如权利要求1所述的方法，其特征在于，所述第一校准数据(110)的所述获取包括测量所述光学传感器组装件(200)针对所述光圈(210)的所述第一设置对多个经校准光源的光谱响应。
3.如前述权利要求中的任一项所述的方法，其特征在于，所述法布里-珀罗干涉仪(220)包括覆盖所述传感器元件(230)的各个区域的具有不同光谱属性的多个部件，并且其中所述第一校准数据(110)的所述获取包括获取针对所述多个区域的相应校准数据集。
4.如前述权利要求中的任一项所述的方法，其特征在于，所述第一校准数据被表示为第一矩阵，并且其中所述第二校准数据(120)的所述计算包括对所述第一矩阵执行矩阵乘法以获取表示所述第二校准数据的第二矩阵。
5.一种包括被配置成执行如前述权利要求中的任一项所述的方法的代码装置的计算机程序产品。
6.一种用于从由具有光圈(210)的光学传感器组装件(200)采集的传感器数据估计输入光谱的系统，所述系统包括：
被配置成采集所述传感器数据以及表示所述光学传感器组装件(200)对所述光圈(210)的第一设置的光谱响应函数的第一校准数据(110)的接口装置(310、320)；以及
处理装置(350)，所述处理装置被配置成从所述第一校准数据计算第二校准数据(120)以及因变于所述第二校准数据和所述传感器数据来估计所述输入光谱(130)，所述第二校准数据表示所述光学传感器组装件(200)对所述光圈(210)的第二设置的光谱响应函数，其中所述第二设置对应于在所述传感器数据的所述采集期间应用的设置。
7.如权利要求6所述的系统，其特征在于，还包括所述光学传感器组装件(200)，所述光学传感器组装件包括光圈(210)、法布里-珀罗干涉仪(220)以及光学传感器元件(230)。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562111291P | 2015-02-03 | 2015-02-03 | |
| GB1501731.2 | 2015-02-03 | ||
| GBGB1501731.2A GB201501731D0 (en) | 2015-02-03 | 2015-02-03 | Method and system for estimating an input spectrum from sensor data |
| US62/111,291 | 2015-02-03 | ||
| PCT/EP2016/052313 WO2016124659A1 (en) | 2015-02-03 | 2016-02-03 | Method and system for estimating an input spectrum from sensor data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107407599A true CN107407599A (zh) | 2017-11-28 |
Family
ID=52705645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680008436.2A Withdrawn CN107407599A (zh) | 2015-02-03 | 2016-02-03 | 用于从传感器数据估计输入光谱的方法和系统 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10323984B2 (zh) |
| EP (1) | EP3254072A1 (zh) |
| JP (1) | JP2018503827A (zh) |
| CN (1) | CN107407599A (zh) |
| AU (1) | AU2016214437A1 (zh) |
| CA (1) | CA2973304A1 (zh) |
| GB (1) | GB201501731D0 (zh) |
| WO (1) | WO2016124659A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2012330761B2 (en) | 2011-11-03 | 2016-01-21 | Verifood Ltd. | Low-cost spectrometry system for end-user food analysis |
| EP3028020B1 (en) | 2013-08-02 | 2021-11-24 | Verifood Ltd. | Spectrometry system |
| EP3090239A4 (en) | 2014-01-03 | 2018-01-10 | Verifood Ltd. | Spectrometry systems, methods, and applications |
| CN107250739A (zh) | 2014-10-23 | 2017-10-13 | 威利食品有限公司 | 手持式光谱仪的附件 |
| WO2016125165A2 (en) | 2015-02-05 | 2016-08-11 | Verifood, Ltd. | Spectrometry system with visible aiming beam |
| WO2016125164A2 (en) | 2015-02-05 | 2016-08-11 | Verifood, Ltd. | Spectrometry system applications |
| WO2016162865A1 (en) | 2015-04-07 | 2016-10-13 | Verifood, Ltd. | Detector for spectrometry system |
| US10066990B2 (en) | 2015-07-09 | 2018-09-04 | Verifood, Ltd. | Spatially variable filter systems and methods |
| US10203246B2 (en) | 2015-11-20 | 2019-02-12 | Verifood, Ltd. | Systems and methods for calibration of a handheld spectrometer |
| US10254215B2 (en) | 2016-04-07 | 2019-04-09 | Verifood, Ltd. | Spectrometry system applications |
| EP3488204A4 (en) | 2016-07-20 | 2020-07-22 | Verifood Ltd. | ACCESSORIES FOR HANDLABLE SPECTROMETERS |
| US10791933B2 (en) | 2016-07-27 | 2020-10-06 | Verifood, Ltd. | Spectrometry systems, methods, and applications |
| WO2018174047A1 (ja) * | 2017-03-22 | 2018-09-27 | パイオニア株式会社 | 光学装置、撮像装置、撮像方法及びプログラム |
| US10288483B2 (en) * | 2017-04-09 | 2019-05-14 | Cymer, Llc | Recovering spectral shape from spatial output |
| KR20210070801A (ko) * | 2019-12-05 | 2021-06-15 | 삼성전자주식회사 | 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈과 이를 포함하는 장치와 그 동작방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102741671A (zh) * | 2009-11-30 | 2012-10-17 | Imec公司 | 用于光谱成像系统的集成电路 |
| CN104007528A (zh) * | 2013-02-22 | 2014-08-27 | 精工爱普生株式会社 | 分光照相机 |
| CN104034418A (zh) * | 2013-03-07 | 2014-09-10 | 精工爱普生株式会社 | 分光测定装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6049762A (en) | 1997-12-18 | 2000-04-11 | Perkin Elmer Llc | Standardizing a spectrometric instrument |
| JP4074405B2 (ja) * | 1999-02-25 | 2008-04-09 | 株式会社小松製作所 | スペクトル測定方法およびその装置 |
| JP2004271498A (ja) * | 2003-02-20 | 2004-09-30 | Gigaphoton Inc | レーザ光のスペクトル指標値演算方法、レーザ光のスペクトル指標値演算装置及びスペクトル波形計測装置 |
| PL2513599T3 (pl) | 2009-12-18 | 2015-10-30 | Vito Nv Vlaamse Instelling Voor Tech Onderzoek Nv | Określanie referencji geometrycznych danych wielospektralnych |
| US9576216B2 (en) * | 2014-11-07 | 2017-02-21 | The Boeing Company | Hyperspectral resolution using three-color camera |
-
2015
- 2015-02-03 GB GBGB1501731.2A patent/GB201501731D0/en not_active Ceased
-
2016
- 2016-02-03 JP JP2017540148A patent/JP2018503827A/ja active Pending
- 2016-02-03 CN CN201680008436.2A patent/CN107407599A/zh not_active Withdrawn
- 2016-02-03 WO PCT/EP2016/052313 patent/WO2016124659A1/en active Application Filing
- 2016-02-03 AU AU2016214437A patent/AU2016214437A1/en not_active Abandoned
- 2016-02-03 EP EP16705737.1A patent/EP3254072A1/en not_active Withdrawn
- 2016-02-03 US US15/540,441 patent/US10323984B2/en not_active Expired - Fee Related
- 2016-02-03 CA CA2973304A patent/CA2973304A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102741671A (zh) * | 2009-11-30 | 2012-10-17 | Imec公司 | 用于光谱成像系统的集成电路 |
| CN104007528A (zh) * | 2013-02-22 | 2014-08-27 | 精工爱普生株式会社 | 分光照相机 |
| CN104034418A (zh) * | 2013-03-07 | 2014-09-10 | 精工爱普生株式会社 | 分光测定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170363473A1 (en) | 2017-12-21 |
| AU2016214437A1 (en) | 2017-07-27 |
| GB201501731D0 (en) | 2015-03-18 |
| WO2016124659A1 (en) | 2016-08-11 |
| EP3254072A1 (en) | 2017-12-13 |
| US10323984B2 (en) | 2019-06-18 |
| JP2018503827A (ja) | 2018-02-08 |
| CA2973304A1 (en) | 2016-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107407599A (zh) | 用于从传感器数据估计输入光谱的方法和系统 | |
| US10274420B2 (en) | Compact multifunctional system for imaging spectroscopy | |
| US7826685B2 (en) | Spatial and spectral calibration of a panchromatic, multispectral image pair | |
| US8094960B2 (en) | Spectral calibration of image pairs using atmospheric characterization | |
| JP6690860B2 (ja) | 色補正のための、３次元であり色相平面を維持し且つ微分可能な準線形変換の方法 | |
| EP2095330B1 (en) | Panchromatic modulation of multispectral imagery | |
| Pike | Using digital cameras to investigate animal colouration: estimating sensor sensitivity functions | |
| Lapray et al. | Database of polarimetric and multispectral images in the visible and NIR regions | |
| CN113506235B (zh) | 一种对抗曝光变化的自适应加权光谱重建方法 | |
| Helling et al. | Algorithms for spectral color stimulus reconstruction with a seven-channel multispectral camera | |
| CN111024229B (zh) | 单芯片集成型光谱成像微系统光谱数据校正方法 | |
| CN109313125A (zh) | 感测系统、感测方法以及感测装置 | |
| Skauli | Feasibility of a standard for full specification of spectral imager performance | |
| FR3021127A1 (fr) | Systeme et procede d'acquisition d'images hyperspectrales | |
| Monno et al. | N-to-sRGB mapping for single-sensor multispectral imaging | |
| JP2017191071A (ja) | 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム | |
| Murakami et al. | Piecewise Wiener estimation for reconstruction of spectral reflectance image by multipoint spectral measurements | |
| Andersen et al. | Weighted constrained hue-plane preserving camera characterization | |
| WO2013145201A1 (ja) | 画像生成システム及び画像生成方法 | |
| Plajer et al. | AI-based Visualization of Remotely-Sensed Spectral Images | |
| Kerouh et al. | Content-based computational chromatic adaptation | |
| Klein et al. | Methods for spectral characterization of multispectral cameras | |
| Heikkinen | Kernel methods for estimation and classification of data from spectral imaging | |
| US20240163410A1 (en) | Color reconstruction using homogeneous neural network | |
| CN110118601A (zh) | 一种基于lctf的光谱成像装置及成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20171128 |