CN111024229B - 单芯片集成型光谱成像微系统光谱数据校正方法 - Google Patents

单芯片集成型光谱成像微系统光谱数据校正方法 Download PDF

Info

Publication number
CN111024229B
CN111024229B CN201911190015.8A CN201911190015A CN111024229B CN 111024229 B CN111024229 B CN 111024229B CN 201911190015 A CN201911190015 A CN 201911190015A CN 111024229 B CN111024229 B CN 111024229B
Authority
CN
China
Prior art keywords
spectral
spectral imaging
spectrum
target
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911190015.8A
Other languages
English (en)
Other versions
CN111024229A (zh
Inventor
刘舒扬
赵安娜
吕津玮
张晨
周涛
贾晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Institute of Technical Physics
Original Assignee
Tianjin Jinhang Institute of Technical Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Institute of Technical Physics filed Critical Tianjin Jinhang Institute of Technical Physics
Priority to CN201911190015.8A priority Critical patent/CN111024229B/zh
Publication of CN111024229A publication Critical patent/CN111024229A/zh
Application granted granted Critical
Publication of CN111024229B publication Critical patent/CN111024229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1269Electrooptic filter

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明属于光谱成像技术领域,具体涉及一种单芯片集成型光谱成像微系统光谱数据校正方法。所述校正方法包括:步骤1:完成底层校正算法的设计;步骤2:根据底层校正算法计算校正矩阵;步骤3:将校正矩阵作用于光谱成像微系统输出光谱数据,得到校正后结果。本发明相对于现有迭代校正的技术方法,从硬件结构特性出发,提高了光谱成像微系统的光谱数据准确度。同时,减小校正矩阵对参考目标光谱数据的依赖性,对于不同的实际场景下应用均适用。底层校正算法的引入,初步解决了光谱成像微系统硬件结构及固有特性带来的影响光谱准确因素对光谱数据的影响问题,提高了光谱成像微系统光谱数据准确度。

Description

单芯片集成型光谱成像微系统光谱数据校正方法
技术领域
本发明属于光谱成像技术领域,具体涉及一种单芯片集成型光谱成像微系统光谱数据校正方法。
背景技术
光谱成像技术作为一种非接触式的检测方法,成为国家、社会安全等公共检测领域的主要手段。光谱成像的监测需求推动光谱成像设备的发展,为突破传统光谱成像体积、成本、系统复杂度的限制,以法布里-珀罗谐振腔(FPI)薄膜作为微型化光谱滤波器件,利用CMOS兼容工艺,将不同种中心波长的FPI薄膜,按照一定的周期性排列规律直接生长在CMOS晶圆上,即可形成单片集成型光谱成像芯片,与前端镜头及后端数据采集、传输与存储电路共同构成光谱成像微系统。
在单片集成型光谱成像芯片中,FPI由平行反射薄膜及中间的透明介质构成。FPI的中心波长由两平行腔镜间距决定,分辨率由平行腔镜反射率决定。为提高FPI透光性能,通常采用具有高反射率及低反射率的不同材料交替堆叠形成布拉格堆叠结构的平行反射薄膜,而布拉格堆叠结构的引入以及堆叠材料的选取直接影响了FPI的自由谱区范围,引起漂移的高阶谐振。除此,在FPI透射光进入CMOS像素光电转换的过程中,像素间产生光电串扰。以上漂移的高阶谐振波、自由谱区范围外的泄露光波及像素间光电串扰的产生,使单片集成型光谱成像芯片在某些谱段位置的光谱响应包含自由谱区外光波、谐振波或相邻像素中心波段光波响应,如图1所示,光谱谱线形状改变,光谱准确度下降。
目前有IMEC采用光谱成像微系统成像原理建立光谱成像模型,选择图2所示光谱范围覆盖自由谱区的三组Spectralon漫反射颜色标样为目标物,采用Tikhonov迭代方法将光谱成像微系统响应在给定约束下向目标真实谱进行投影计算,得到光谱成像微系统校正矩阵。其次,根据不同仪器自身响应特性对校正矩阵进行优化,可得到面向不同光谱成像微系统个体的校正矩阵。最后,将校正矩阵作用于光谱成像微系统采集到的原始数据,得到校正后光谱数据。漫反射颜色标样的标准谱线及校正矩阵对给定应用场景下校正效果如图2所示,谱线形状基本恢复。
但是,IMEC采取方法提高光谱成像微系统的光谱数据准确性效果有限,在校正矩阵计算过程中采用四组漫反射标样真实谱作为迭代训练标准,使校正矩阵对选定漫反射标样光谱具有较高的依赖性,校正矩阵的使用受到计算过程中样本选择影响,一定程度限制校正矩阵在实际应用中的光谱数据校正效果。因此,基于有限样本迭代训练方法的校正矩阵在不同实际应用场景中的准确度难以保证。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:如何通过底层校正算法减小谐振、泄露及串扰因素对光谱成像微系统光谱数据的影响,提高基于单片集成型光谱成像芯片的光谱成像微系统光谱数据准确度。
(二)技术方案
为解决上述技术问题,本发明提供一种单芯片集成型光谱成像微系统光谱数据校正方法,所述校正方法包括:
步骤1:完成底层校正算法的设计;
步骤2:根据底层校正算法计算校正矩阵;
步骤3:将校正矩阵作用于光谱成像微系统输出光谱数据,得到校正后结果。
其中,所述步骤1中的底层校正算法设计为:
建立底层校正算法,首先需要对光谱成像微系统硬件结构进行分析,并根据光谱成像微系统工作原理进行成像模型建立;对于光波长为λ的单色光源s((λ),经反射率为r(λ)的目标物反射后反射光s(λ)·r(λ)入射到光谱成像微系统M,在光谱成像微系统的作用下,系统输出
Output=M{input(λ)}=M{s(λ)·r(λ)} (1)
根据光谱成像微系统的结构,可将光谱成像微系统对入射光的作用分为三部分,对于波长为λ的入射光,分别为滤波器、镜头的光学因素影响o(λ)、递变厚度FPI阵列中心波长为μ的FPI对系统入射光滤波作用fpμ(λ)以及对应像素位置传感器对光信号的响应为τ·Qe(λ);
其中,τ为曝光时间,Qe(λ)为传感器像素对单位时间内接收到的光信息的光电转换率,也称像素转换的量子效率,该转换过程只与接收到的各FPI中心波长相关,与像素位置无关;
光谱成像微系统将接收到的电信号转化为数字信号响应并得以信息进行传输、存储,设转化率为κ;则光波长为λ的光入射到光谱成像微系统中,受到光谱成像微系统的作用效果为:
M=κ·τ·Qeμ(λ)·fpμ(λ)·o(λ) (2)
即对于波长为λ的单色光源,经过目标物反射后进入光谱成像微系统,在中心波长为μ的FPI对应位置传感器输出理想响应为
Outputμ(λ)=κ·τ·Qeμ(λ)·fpμ(λ)·o(λ)·s(λ)·r(λ) (3)
对于递变厚度FP阵列集成型光谱成像微系统,可获取的目标光谱谱段数目即为不同中心波长的FPI个数,设仪器光谱谱段个数为iμ,iμ=1,2,…,则对于波长为λ的单色光源,传感器的实际响应为各像素位置响应叠加:
Figure BDA0002293333320000031
当光源为λmin→λmax的宽谱光时,考虑采集电路暗电流带来的随机噪声n,则相机响应为
Figure BDA0002293333320000041
在理想状态下,对于各波段入射光,光谱成像微系统响应均为理想响应,即FPI阵列滤波效果为理想滤波效果
Figure BDA0002293333320000042
理想响应为:
Figure BDA0002293333320000043
在实际应用情况中,由系统镜头透镜组带来的图像畸变问题及光源的分布不均匀性带来的目标物响应不均问题使所采集的样本数据准确度受其在光谱图像中位置影响;因此,为消除光源不均及镜头畸变对光谱图像准确度产生影响的问题,计算目标物反射光谱,引入白色标准参考板作为参考目标物;由于该目标物对各谱段光反射率相同,即对各波段r(λ)≡rw≤1,同时引入黑色标准参考目标输出,即s(λ)=0,则根据白色标准参考目标输出Outputw及黑色场景参考目标输出Outputb,计算出包含串扰、谐振、泄露因素影响的实际目标反射光谱r(λ)的反射光谱估算R(μ):
Figure BDA0002293333320000044
Figure BDA0002293333320000045
当白色参考平面采集选取曝光时间与目标物数据采集选取曝光时间相同时,即τ=τw时,令
Figure BDA0002293333320000046
将公式(9)带入公式(8),则公式(8)可化简为:
Figure BDA0002293333320000047
对于理想传感器响应,则有:
Figure BDA0002293333320000051
Figure BDA0002293333320000052
综上,公式(6)即为基于光谱成像微系统FPI集成式结构的工作模型,公式(10)及公式(11)即为在光谱成像微系统工作模型下目标光谱的计算模型;
由公式(10)可知,通过光谱成像微系统模型计算所获取的目标物光谱R(λ)是目标物实际光谱r(λ)经系统作用后所得;
对于波长为λ的入射光,受到中心波长为μ的位置FPI集成传感器对应像素位置硬件固有特性、电路噪声对光信息影响,影响因子表示为α(λ,μ);光谱成像微系统所获取的物质光谱准确度受到硬件平台结构影响,从而影响后续基于光谱数据的分类识别应用;因此,需要采取适当的底层校正算法对基于FP集成型光谱成像微系统平台的光谱数据进行校正。
其中,所述步骤2中的根据底层校正算法计算校正矩阵,具体为:
在实际应用过程中,连续的宽谱光源难以进行计算,故将上述公式(10)中宽谱入射光离散化为iλ个谱段,则得到离散化的真实光谱与所得光谱间关系如下:
Figure BDA0002293333320000053
在FP集成型光谱成像传感器构成的光谱成像微系统中,光谱成像过程受到硬件的固有特性的影响,在目标物真实光谱的基础上产生谐振、串扰、泄露因素影响光谱准确度,使微系统所获取的谱线形状与真实谱线形状存在一定差异;已知谐振所产生的二次谐波、自由谱区外的泄露因素的产生均源于FPI的固有特性,通过滤波片进行有效滤除;除此之外的诸多因素的产生则难以通过外加光学器件的方法进行消减或去除,故建立面向除谐振、泄露问题外的光谱成像底层校正模型,根据上式,得到目标成像过程所获取的光谱关系为
Figure BDA0002293333320000061
在公式(14)中,
Figure BDA0002293333320000062
为不存在串扰、噪声影响的微系统目标成像过程,在该过程中,只包含FPI谐振产生谐波、光谱泄露的影响;
故基于均方差最小方法建立符合光谱成像微系统硬件特征的目标函数,并依据目标函数通对数学模型进行计算,求解底层校正算法;
对于目标函数的建立过程,选择基于均方差最小方法的Frobenius范数模型,使校正后光谱响应与目标物反射光谱间均方误差最小,即校正后光谱尽量接近于目标物反射实际光谱;在满足硬件特性所需要的约束条件下,对目标函数进行求解,最终求得面向硬件引入光学问题且符合该硬件特性的转换矩阵,作为该系统下的校正矩阵;
通过校正矩阵对单芯片光谱成像微系统输出光谱数据的作用,即可得校正后的光谱数据,相对于单芯片光谱成像传感器的原始响应,数据的准确度可以得到大幅提升;
设校正矩阵为C,校正算法的作用旨在利用C将实际成像过程
Figure BDA0002293333320000063
所获取的响应
Figure BDA0002293333320000064
通过算法作用变为理想成像过程
Figure BDA0002293333320000065
作用下的目标光谱
Figure BDA0002293333320000066
使结果更接近目标物真实光谱r;
即目标函数可表示为
Figure BDA0002293333320000067
其中,根据公式(14)及公式(15)可得
Figure BDA0002293333320000068
在理想条件下,可解得
Figure BDA0002293333320000069
为了使获取的目标物光谱能够更加准确地反应其真实光谱特性,选用半高全宽为5nm的阶跃信号响应过程,
Figure BDA00022933333200000610
为目标响应,则可得如下校正矩阵,
Figure BDA00022933333200000611
由上式,根据系统参数获取的目标成像模型及系统成像模型,即可获取底层校正矩阵C,采用该矩阵对微系统测量所得原始数据进行校正,即可得到目标响应情况下,更加接近目标物真实光谱的目标光谱
Figure BDA0002293333320000071
其中,所述步骤3中的将校正矩阵作用于光谱成像微系统输出光谱数据,得到校正后结果;具体如下:
底层校正算法应用过程,将底层校正矩阵存储在光谱成像微系统数据采集电路后端,光谱成像微系统采集光谱数据后,直接采用校正矩阵乘以光谱成像数据矩阵,得到结果矩阵输入数据存储模块进行存储;存储数据即为校正处理的准确度提高后数据。
(三)有益效果
本发明相对于现有迭代校正的技术方法,从硬件结构特性出发,提高了光谱成像微系统的光谱数据准确度。同时,减小校正矩阵对参考目标光谱数据的依赖性,对于不同的实际场景下应用均适用。底层校正算法的引入,初步解决了光谱成像微系统硬件结构及固有特性带来的影响光谱准确因素对光谱数据的影响问题,提高了光谱成像微系统光谱数据准确度,增强了光谱成像微系统数据可靠性,为光谱成像微系统在不同领域的广泛应用提供理论支撑,推动光谱成像技术的应用及发展。
本发明具体特点包括:
(1)底层校正算法设计及校正矩阵计算
针对光谱数据存在的高阶谐振、泄漏、像素串扰问题,考虑光谱成像微系统硬件结构及固有特性影响,直接引入光谱成像微系统响应特性光谱作为底层校正算法设计过程的问题表征模型,即应用光谱成像微系统实际光谱响应曲线作为校正矩阵计算模型基础。
(2)底层校正算法应用
将校正矩阵直接存储在系统末端数据处理模块,直接作用于系统模数转换后数字信号的光谱数据,使系统输出即为校正后准确度提高的光谱数据,故称为底层校正算法。
附图说明
图1为单芯片式光谱成像微系统单谱段光谱响应示意图。
图2为三类样本真实谱线及校正后光谱成像微系统光谱数据(带误差条)对比示意图。
图3(a)及图3(b)为光谱成像微系统工作原理示意图。其中,
图3(a)为光谱成像微系统系统入射光示意图。
图3(b)为光谱成像微系统数据数据采集原理示意图。
图4为底层校正算法建立流程示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
本发明技术方案通过对基于单片集成型光谱成像芯片的光谱成像微系统的成像原理进行成像模型建立,并利用不同光谱成像微系统光谱响应特性进行校正矩阵求解,建立底层校正算法。
为解决现有技术问题,本发明提供一种单芯片集成型光谱成像微系统光谱数据校正方法,为提高光谱成像微系统光谱数据准确度,建立底层校正算法对光谱成像数据进行校正。所述校正方法包括:
步骤1:完成底层校正算法的设计;
步骤2:根据底层校正算法计算校正矩阵;
步骤3:将校正矩阵作用于光谱成像微系统输出光谱数据,得到校正后结果。
其中,
所述步骤1中的底层校正算法设计为:
建立底层校正算法,首先需要对光谱成像微系统硬件结构进行分析,并根据光谱成像微系统工作原理进行成像模型建立,光谱成像工作原理示意图如图3所示;对于光波长为λ的单色光源s((λ),经反射率为r(λ)的目标物反射后反射光s(λ)·r(λ)入射到光谱成像微系统M,在光谱成像微系统的作用下,系统输出
Output=M{input(λ)}=M{s(λ)·r(λ)} (1)
根据光谱成像微系统的结构,可将光谱成像微系统对入射光的作用分为三部分,对于波长为λ的入射光,分别为滤波器、镜头等的光学因素影响o(λ)、递变厚度FPI阵列中心波长为μ的FPI对系统入射光滤波作用fpμ(λ)以及对应像素位置传感器对光信号的响应为τ·Qe(λ);
其中,τ为曝光时间,Qe(λ)为传感器像素对单位时间内接收到的光信息的光电转换率,也称像素转换的量子效率,该转换过程只与接收到的各FPI中心波长相关,与像素位置无关;
光谱成像微系统将接收到的电信号转化为数字信号响应并得以信息进行传输、存储,设转化率为κ;则光波长为λ的光入射到光谱成像微系统中,受到光谱成像微系统的作用效果为:
M=κ·τ·Qeμ(λ)·fpμ(λ)·o(λ) (2)
即对于波长为λ的单色光源,经过目标物反射后进入光谱成像微系统,在中心波长为μ的FPI对应位置传感器输出理想响应为
Outputμ(λ)=κ·τ·Qeμ(λ)·fpμ(λ)·o(λ)·s(λ)·r(λ) (3)
对于递变厚度FP阵列集成型光谱成像微系统,可获取的目标光谱谱段数目即为不同中心波长的FPI个数,设仪器光谱谱段个数为iμ,iμ=1,2,…,则对于波长为λ的单色光源,传感器的实际响应为各像素位置响应叠加:
Figure BDA0002293333320000091
当光源为λmin→λmax的宽谱光时,考虑采集电路暗电流带来的随机噪声n,则相机响应为
Figure BDA0002293333320000092
在理想状态下,对于各波段入射光,光谱成像微系统响应均为理想响应,即FPI阵列滤波效果为理想滤波效果
Figure BDA0002293333320000101
理想响应为:
Figure BDA0002293333320000102
在实际应用情况中,由系统镜头透镜组带来的图像畸变问题及光源的分布不均匀性带来的目标物响应不均问题使所采集的样本数据准确度受其在光谱图像中位置影响;因此,为消除光源不均及镜头畸变对光谱图像准确度产生影响的问题,计算目标物反射光谱,引入白色标准参考板作为参考目标物;由于该目标物对各谱段光反射率相同,即对各波段r(λ)≡rw≤1,同时引入黑色标准参考目标输出,即s(λ)=0,则根据白色标准参考目标输出Outputw及黑色场景参考目标输出Outputb,计算出包含串扰、谐振、泄露等因素影响的实际目标反射光谱r(λ)的反射光谱估算R(μ):
Figure BDA0002293333320000103
Figure BDA0002293333320000104
当白色参考平面采集选取曝光时间与目标物数据采集选取曝光时间相同时,即τ=τw时,令
Figure BDA0002293333320000105
将公式(9)带入公式(8),则公式(8)可化简为:
Figure BDA0002293333320000106
对于理想传感器响应,则有:
Figure BDA0002293333320000107
Figure BDA0002293333320000108
综上,公式(6)即为基于光谱成像微系统FPI集成式结构的工作模型,公式(10)及公式(11)即为在光谱成像微系统工作模型下目标光谱的计算模型;
由公式(10)可知,通过光谱成像微系统模型计算所获取的目标物光谱R(λ)是目标物实际光谱r(λ)经系统作用后所得;
对于波长为λ的入射光,受到中心波长为μ的位置FPI集成传感器对应像素位置硬件固有特性、电路噪声及其他因素对光信息影响,影响因子可表示为α(λ,μ);光谱成像微系统所获取的物质光谱准确度受到硬件平台结构影响,从而影响后续基于光谱数据的分类识别应用;因此,需要采取适当的底层校正算法对基于FP集成型光谱成像微系统平台的光谱数据进行校正。
其中,
所述步骤2中的根据底层校正算法计算校正矩阵,具体为:
在实际应用过程中,连续的宽谱光源难以进行计算,故将上述公式(10)中宽谱入射光离散化为iλ个谱段,则得到离散化的真实光谱与所得光谱间关系如下:
Figure BDA0002293333320000111
在FP集成型光谱成像传感器构成的光谱成像微系统中,光谱成像过程受到硬件的固有特性的影响,在目标物真实光谱的基础上产生谐振、串扰、泄露及其他因素影响光谱准确度,使微系统所获取的谱线形状与真实谱线形状存在一定差异;已知谐振所产生的二次谐波、自由谱区外的泄露等因素的产生均源于FPI的固有特性,可通过滤波片进行有效滤除;除此之外的诸多因素的产生则难以通过外加光学器件的方法进行消减或去除,故建立面向除谐振、泄露等问题外的光谱成像底层校正模型,根据上式,得到目标成像过程所获取的光谱关系为
Figure BDA0002293333320000112
在公式(14)中,
Figure BDA0002293333320000121
为不存在串扰、噪声影响的微系统目标成像过程,在该过程中,只包含FPI谐振产生谐波、光谱泄露的影响;
故基于均方差最小方法建立符合光谱成像微系统硬件特征的目标函数,并依据目标函数通对数学模型进行计算,求解底层校正算法;
对于目标函数的建立过程,选择基于均方差最小方法的Frobenius范数模型,使校正后光谱响应与目标物反射光谱间均方误差最小,即校正后光谱尽量接近于目标物反射实际光谱;在满足硬件特性所需要的约束条件下,对目标函数进行求解,最终求得面向硬件引入光学问题且符合该硬件特性的转换矩阵,作为该系统下的校正矩阵;
通过校正矩阵对单芯片光谱成像微系统输出光谱数据的作用,即可得校正后的光谱数据,相对于单芯片光谱成像传感器的原始响应,数据的准确度可以得到大幅提升;
设校正矩阵为C,校正算法的作用旨在利用C将实际成像过程
Figure BDA0002293333320000122
所获取的响应
Figure BDA0002293333320000123
通过算法作用变为理想成像过程
Figure BDA0002293333320000124
作用下的目标光谱
Figure BDA0002293333320000125
使结果更接近目标物真实光谱r;
即目标函数可表示为
Figure BDA0002293333320000126
其中,根据公式(14)及公式(15)可得
Figure BDA0002293333320000127
在理想条件下,可解得
Figure BDA0002293333320000128
为了使获取的目标物光谱能够更加准确地反应其真实光谱特性,选用半高全宽(Full width at half maximum,FWHM)为5nm的阶跃信号响应过程,
Figure BDA0002293333320000129
为目标响应,则可得如下校正矩阵,
Figure BDA00022933333200001210
由上式,根据系统参数获取的目标成像模型及系统成像模型,即可获取底层校正矩阵C,采用该矩阵对微系统测量所得原始数据进行校正,即可得到目标响应情况下,更加接近目标物真实光谱的目标光谱
Figure BDA0002293333320000131
其中,
所述步骤3中的将校正矩阵作用于光谱成像微系统输出光谱数据,得到校正后结果;具体如下:
底层校正算法应用过程,将底层校正矩阵存储在光谱成像微系统数据采集电路后端,光谱成像微系统采集光谱数据后,直接采用校正矩阵乘以光谱成像数据矩阵,得到结果矩阵输入数据存储模块进行存储。存储数据即为校正处理的准确度提高后数据。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种单芯片集成型光谱成像微系统光谱数据校正方法,其特征在于,所述校正方法包括:
步骤1:完成底层校正算法的设计;
步骤2:根据底层校正算法计算校正矩阵;
步骤3:将校正矩阵作用于光谱成像微系统输出光谱数据,得到校正后结果;
所述步骤1中的底层校正算法设计为:
建立底层校正算法,首先需要对光谱成像微系统硬件结构进行分析,并根据光谱成像微系统工作原理进行成像模型建立;对于光波长为λ的单色光源s((λ),经反射率为r(λ)的目标物反射后反射光s(λ)·r(λ)入射到光谱成像微系统M,在光谱成像微系统的作用下,系统输出
Output=M{input(λ)}=M{s(λ)·r(λ)} (1)
根据光谱成像微系统的结构,可将光谱成像微系统对入射光的作用分为三部分,对于波长为λ的入射光,分别为滤波器、镜头的光学因素影响o(λ)、递变厚度FPI阵列中心波长为μ的FPI对系统入射光滤波作用fpμ(λ)以及对应像素位置传感器对光信号的响应为τ·Qe(λ);
其中,τ为曝光时间,Qe(λ)为传感器像素对单位时间内接收到的光信息的光电转换率,也称像素转换的量子效率,该转换过程只与接收到的各FPI中心波长相关,与像素位置无关;
光谱成像微系统将接收到的电信号转化为数字信号响应并得以信息进行传输、存储,设转化率为κ;则光波长为λ的光入射到光谱成像微系统中,受到光谱成像微系统的作用效果为:
M=κ·τ·Qeμ(λ)·fpμ(λ)·o(λ) (2)
即对于波长为λ的单色光源,经过目标物反射后进入光谱成像微系统,在中心波长为μ的FPI对应位置传感器输出理想响应为
Outputμ(λ)=κ·τ·Qeμ(λ)·fpμ(λ)·o(λ)·s(λ)·r(λ) (3)
对于递变厚度FP阵列集成型光谱成像微系统,可获取的目标光谱谱段数目即为不同中心波长的FPI个数,设仪器光谱谱段个数为iμ,iμ=1,2,…,则对于波长为λ的单色光源,传感器的实际响应为各像素位置响应叠加:
Figure FDA0003402004190000021
当光源为λmin→λmax的宽谱光时,考虑采集电路暗电流带来的随机噪声n,则相机响应为
Figure FDA0003402004190000022
在理想状态下,对于各波段入射光,光谱成像微系统响应均为理想响应,即FPI阵列滤波效果为理想滤波效果
Figure FDA0003402004190000023
理想响应为:
Figure FDA0003402004190000024
在实际应用情况中,由系统镜头透镜组带来的图像畸变问题及光源的分布不均匀性带来的目标物响应不均问题使所采集的样本数据准确度受其在光谱图像中位置影响;因此,为消除光源不均及镜头畸变对光谱图像准确度产生影响的问题,计算目标物反射光谱,引入白色标准参考板作为参考目标物;由于该目标物对各谱段光反射率相同,即对各波段r(λ)≡rw≤1,同时引入黑色标准参考目标输出,即s(λ)=0,则根据白色标准参考目标输出Outputw及黑色场景参考目标输出Outputb,计算出包含串扰、谐振、泄露因素影响的实际目标反射光谱r(λ)的反射光谱估算R(μ):
Figure FDA0003402004190000025
Figure FDA0003402004190000026
当白色参考平面采集选取曝光时间与目标物数据采集选取曝光时间相同时,即τ=τw时,令
Figure FDA0003402004190000031
将公式(9)带入公式(8),则公式(8)可化简为:
Figure FDA0003402004190000032
对于理想传感器响应,则有:
Figure FDA0003402004190000033
Figure FDA0003402004190000034
综上,公式(6)即为基于光谱成像微系统FPI集成式结构的工作模型,公式(10)及公式(11)即为在光谱成像微系统工作模型下目标光谱的计算模型;
由公式(10)可知,通过光谱成像微系统模型计算所获取的目标物光谱R(λ)是目标物实际光谱r(λ)经系统作用后所得;
对于波长为λ的入射光,受到中心波长为μ的位置FPI集成传感器对应像素位置硬件固有特性、电路噪声对光信息影响,影响因子表示为α(λ,μ);光谱成像微系统所获取的物质光谱准确度受到硬件平台结构影响,从而影响后续基于光谱数据的分类识别应用;因此,需要采取适当的底层校正算法对基于FP集成型光谱成像微系统平台的光谱数据进行校正;
所述步骤2中的根据底层校正算法计算校正矩阵,具体为:
在实际应用过程中,连续的宽谱光源难以进行计算,故将上述公式(10)中宽谱入射光离散化为iλ个谱段,则得到离散化的真实光谱与所得光谱间关系如下:
Figure FDA0003402004190000035
在FP集成型光谱成像传感器构成的光谱成像微系统中,光谱成像过程受到硬件的固有特性的影响,在目标物真实光谱的基础上产生谐振、串扰、泄露因素影响光谱准确度,使微系统所获取的谱线形状与真实谱线形状存在一定差异;已知谐振所产生的二次谐波、自由谱区外的泄露因素的产生均源于FPI的固有特性,通过滤波片进行有效滤除;除此之外的诸多因素的产生则难以通过外加光学器件的方法进行消减或去除,故建立面向除谐振、泄露问题外的光谱成像底层校正模型,根据上式,得到目标成像过程所获取的光谱关系为
Figure FDA0003402004190000041
在公式(14)中,
Figure FDA0003402004190000042
为不存在串扰、噪声影响的微系统目标成像过程,在该过程中,只包含FPI谐振产生谐波、光谱泄露的影响;
故基于均方差最小方法建立符合光谱成像微系统硬件特征的目标函数,并依据目标函数通对数学模型进行计算,求解底层校正算法;
对于目标函数的建立过程,选择基于均方差最小方法的Frobenius范数模型,使校正后光谱响应与目标物反射光谱间均方误差最小,即校正后光谱尽量接近于目标物反射实际光谱;在满足硬件特性所需要的约束条件下,对目标函数进行求解,最终求得面向硬件引入光学问题且符合该硬件特性的转换矩阵,作为该系统下的校正矩阵;
通过校正矩阵对单芯片光谱成像微系统输出光谱数据的作用,即可得校正后的光谱数据,相对于单芯片光谱成像传感器的原始响应,数据的准确度可以得到大幅提升;
设校正矩阵为C,校正算法的作用旨在利用C将实际成像过程
Figure FDA0003402004190000043
所获取的响应
Figure FDA0003402004190000044
通过算法作用变为理想成像过程
Figure FDA0003402004190000045
作用下的目标光谱
Figure FDA0003402004190000046
使结果更接近目标物真实光谱r;
即目标函数可表示为
Figure FDA0003402004190000047
其中,根据公式(14)及公式(15)可得
Figure FDA0003402004190000051
在理想条件下,可解得
Figure FDA0003402004190000052
为了使获取的目标物光谱能够更加准确地反应其真实光谱特性,选用半高全宽为5nm的阶跃信号响应过程,
Figure FDA0003402004190000053
为目标响应,则可得如下校正矩阵,
Figure FDA0003402004190000054
由上式,根据系统参数获取的目标成像模型及系统成像模型,即可获取底层校正矩阵C,采用该矩阵对微系统测量所得原始数据进行校正,即可得到目标响应情况下,更加接近目标物真实光谱的目标光谱
Figure FDA0003402004190000055
2.如权利要求1所述的单芯片集成型光谱成像微系统光谱数据校正方法,其特征在于,所述步骤3中的将校正矩阵作用于光谱成像微系统输出光谱数据,得到校正后结果;具体如下:
底层校正算法应用过程,将底层校正矩阵存储在光谱成像微系统数据采集电路后端,光谱成像微系统采集光谱数据后,直接采用校正矩阵乘以光谱成像数据矩阵,得到结果矩阵输入数据存储模块进行存储;存储数据即为校正处理的准确度提高后数据。
CN201911190015.8A 2019-11-28 2019-11-28 单芯片集成型光谱成像微系统光谱数据校正方法 Active CN111024229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911190015.8A CN111024229B (zh) 2019-11-28 2019-11-28 单芯片集成型光谱成像微系统光谱数据校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911190015.8A CN111024229B (zh) 2019-11-28 2019-11-28 单芯片集成型光谱成像微系统光谱数据校正方法

Publications (2)

Publication Number Publication Date
CN111024229A CN111024229A (zh) 2020-04-17
CN111024229B true CN111024229B (zh) 2022-04-01

Family

ID=70202921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911190015.8A Active CN111024229B (zh) 2019-11-28 2019-11-28 单芯片集成型光谱成像微系统光谱数据校正方法

Country Status (1)

Country Link
CN (1) CN111024229B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115086581B (zh) * 2021-03-16 2024-03-01 上海与光彩芯科技有限公司 基于光谱芯片的图像传感方法、装置
CN115147287B (zh) * 2021-03-31 2024-02-27 上海与光彩芯科技有限公司 光谱芯片的光谱恢复方法、光谱恢复装置和电子设备
WO2022194040A1 (zh) * 2021-03-16 2022-09-22 上海与光彩芯科技有限公司 基于光谱芯片的图像传感方法、光谱恢复方法、装置和电子设备
CN113790818B (zh) * 2021-08-10 2023-09-26 中国电子科技集团公司第十三研究所 可见光热反射测温方法及测温设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4711009B2 (ja) * 2008-10-16 2011-06-29 ソニー株式会社 光学的測定装置
DE102012111752A1 (de) * 2012-12-04 2014-06-18 Jena-Optronik Gmbh Verfahren zur automatischen Korrektur von Ausrichtungsfehlern in Sternsensorsystemen
CN110501294B (zh) * 2019-08-07 2021-09-28 西安文理学院 一种基于信息融合的多元校正方法

Also Published As

Publication number Publication date
CN111024229A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111024229B (zh) 单芯片集成型光谱成像微系统光谱数据校正方法
US10228283B2 (en) Spectral imaging system
CN104390703B (zh) 用于确定光谱仪的校准参数的方法
EP2637004B1 (en) Multispectral imaging color measurement system and method for processing imaging signals thereof
CN108291800B (zh) 光谱成像方法和系统
CN108780142A (zh) 3d成像系统和方法
US10101206B2 (en) Spectral imaging method and system
Oiknine et al. Multi-aperture snapshot compressive hyperspectral camera
US9253420B2 (en) Hyperspectral single pixel imager with fabry perot filter
CN108259865A (zh) 一种基于单像素探测器的彩色成像方法和系统
CN113447118B (zh) 一种可实现彩色成像的多光谱成像芯片及彩色成像方法
Bongiorno et al. Spectral characterization of COTS RGB cameras using a linear variable edge filter
Monno et al. N-to-sRGB mapping for single-sensor multispectral imaging
Mahmoudi Nahavandi et al. A new manufacturable filter design approach for spectral reflectance estimation
WO2023125329A1 (zh) 活体指纹识别系统及其活体识别方法
KR102362278B1 (ko) 다중 공진 모드를 가지는 가변 분광 필터를 포함하는 분광 장치, 그리고 이의 분광 정보 획득 방법
CN114252947A (zh) 光学滤波器、分光模块以及分光测定方法
Sun et al. Simulation of proposed eight-band camera for capturing multispectral images
WO2009010593A2 (fr) Procede d'estimation d'au moins une deformation du front d'onde d'un systeme optique ou d'un objet observe par le systeme optique et dispositif associe
US20240163410A1 (en) Color reconstruction using homogeneous neural network
JP3950266B2 (ja) 画像処理方法および装置
US11064185B2 (en) Systems, methods and devices for generating depth image
US20240014233A1 (en) Image sensor, image data obtaining method, and imaging device
CN115086581B (zh) 基于光谱芯片的图像传感方法、装置
US20230402485A1 (en) Imaging system using spatially separated spectral arrays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant