CN113447118B - 一种可实现彩色成像的多光谱成像芯片及彩色成像方法 - Google Patents

Abstract

可实现彩色成像的多光谱成像芯片及彩色成像方法，该芯片包括多光谱芯片本体、色彩还原模块；其中，多光谱芯片本体包括光谱调制模块、光谱反演模块；光谱调制模块，通过由已知且透光率不同的N种材料形成的滤光薄膜来实现光谱分光；通过滤光薄膜下的光电转换基底将分光后的光信号转换成为电信号，经过放大及模数转换后转为数字信号或者编码输出；光谱反演模块，根据光谱调制模块输出的光信号强度信息和对应像素位置信息，反演出入射光谱信息；色彩还原模块，将多光谱芯片本体输出的光谱信息转换为RGB图像，转换方法为光谱信息乘以光谱到颜色变化矩阵。该芯片将光谱信息转换为RGB图像，充分利用光谱图像信息量大的优点，实现高保真的彩色成像功能。

Description

一种可实现彩色成像的多光谱成像芯片及彩色成像方法

技术领域

本发明属于多光谱芯片领域，涉及可实现彩色成像的多光谱成像芯片及彩色成像方法。

背景技术

虽然成像技术和光谱技术均有着广阔的应用前景，然而从目前可以公开检索到论文和专利等资料来分析，尚未检索到可实现彩色成像的多光谱成像芯片及其色彩还原技术。与本专利有部分相关的技术有基于液晶可调变滤色器的光谱图像获取及颜色重建方法。在颜色重建方面的资料有：[田立勋,廖宁放,王佳佳,柴阿丽,谭博能,廉玉生.基于液晶可调变滤色器的光谱图像获取及颜色重建方法[J].光学技术,2012,38(05):593-597]；然而，该液晶可调谐滤色器体积大，需要时间调谐才能获得图像，无法集成到芯片上；同时液晶可调谐滤色器每个时刻只能采集单一波长的图像，需要经过一段时间的扫描才能获得全谱段的信息，进而进行颜色的重建，耗时长。

在光谱芯片方面，可以检索到的相关资料有：一是以欧洲IMEC为代表的采用法布里-珀罗干涉滤光的方法，其专利包括[国外专利:EP2746740,2014-06-25.Gonzalez,Pilar；Jayapala,Murali；Lambrechts,Andy；Tack,Nicolaas.Spectral imaging deviceand method to calibrate the same[P]]；二是以中国科学院西安光机所等单位为代表的基于表面超材料的技术方案，其专利和论文包括[CN 106847849 B,一种基于超表面窄带滤光的多光谱芯片及其制备方法[P]]，[Zhu Wang，Soongyu Yi etc，Single-shot on-chipspectral sensors based on photonic crystal slab，nature，doi：10.1038/s41467-019-08994-5[J]]；三是以清华大学为代表基于量子点和浙江大学基于碳纳米线等新型材料的技术方案，其论文包括[Jie Bao&Moungi G.Bawendi，nature--A colloidal quantumdot spectrometer doi:10.1038/nature14576[J]]，[Yang et al.,Single-nanowirespectrometers，Science 365,1017–1020(2019)，DOI:10.1126/science.aax8814[J]]。从上述公开的材料来看，上述光谱芯片均未报导可以实现彩色图像的功能，主要原因是色散单元结构尺寸较大，难以做到与每个像素对应，降低了空间分辨率，难以实现较好的彩色成像效果。

发明内容

鉴于上述问题，本发明的第一个目的在于提供一种可实现彩色成像的多光谱成像芯片，以解决现有多光谱成像芯片无法实现彩色成像的功能。

为实现上述目的，本发明具体是采用如下技术方案实现的：

一种可实现彩色成像的多光谱成像芯片，该芯片包括多光谱芯片本体、色彩还原模块；其中，所述多光谱芯片本体包括光谱调制模块、光谱反演模块；所述光谱调制模块，通过由已知且透光率不同的N种材料形成的滤光薄膜来实现光谱分光；通过滤光薄膜下的光电转换基底将经过滤光薄膜分光后的光信号转换成为电信号，经过放大及模数转换后转为数字信号或者编码输出；

所述光谱反演模块与光谱调制模块电连接，用于根据光谱调制模块输出的光信号强度信息和对应像素位置信息，反演出入射光谱信息；

所述色彩还原模块，根据人眼的视觉响应曲线建立由光谱到颜色变换矩阵，将多光谱芯片本体输出的光谱信息转换为RGB图像，转换方法为光谱信息乘以光谱到颜色变化矩阵。

作为本发明的优选，所述光谱到颜色变化矩阵的确定方法为：

步骤S1、获取已知三基色值色块或样品的光谱数据：利用多光谱芯片本体分别测量多种色块或单一颜色样品的光谱信息，其用I_j(N)表示，即I_j(N)为光谱测量值，是已知数，N表示N种光谱透过率不同的滤光薄膜材料，j表示第j个色块；

步骤S2、计算光谱到颜色变化矩阵：由于每个色块的三基色值是已知的，即I_j(R、G、B)已知；假设存在变换矩阵[M]，使得下式成立，则上述过程描述为：

I_j(R、G、B)＝[M]·I_j(N)    (1)

其中，I_j(R、G、B)和I_j(N)均为已知，所以矩阵[M]由下式给出；

矩阵[M]即为光谱到颜色变化矩阵。

作为本发明的优选，所述光谱调制模块包括光电转换基底、设置在光电转换基底上面的滤光薄膜；其中，所述光电转换基底，用于将光信号转化为电信号并以数字信号或者编码输出；所述滤光薄膜，用于将入射光光谱进行区分，滤光薄膜为单层结构，其是由已知且透光率不同的N种材料通过逐一涂覆、刻蚀后拼接而成，滤光薄膜包括N个周期，每个周期包括T₁、T₂......T_n个单元，每个单元覆盖光电转换基底上的M个像素，其中M大于等于1，所有单元构成周期性结构，覆盖光电转换基底上的所有像素，与每个像素对应的滤光薄膜具有相同或者不同的光谱透过率，实现光谱分光。

作为本发明的优选，所述色彩还原模块集成于多光谱芯片本体内部，或独立安装在计算机、云端、手机等计算平台上。

作为本发明的进一步优选，在所述滤光薄膜上设置有微透镜阵列，所述微透镜阵列上的每个微透镜与光电转换基底的光电转换基底像素一一对应，用于将入射光光束进行汇聚。

作为本发明的进一步优选，所述光电转换基底为硅基图像传感器，具体为CMOS图像传感器或CCD图像传感器，该光电转换基底将经过滤光薄膜滤光的光信号转换为电信号，并经过放大及模数转换后转为数字信号或者编码输出。

作为本发明的更进一步优选，所述光谱调制模块的制备方法，具体包括以下步骤：

步骤S1、根据使用场景情况，选择合适的光电转换基底；

步骤S2、选择N种光谱透过率不同的滤光薄膜材料，先在光电转换基底上涂覆第一种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；之后涂覆第二种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；依次循环，直至将N种滤光薄膜材料全部涂覆到光电转换基底上，上述N种滤光薄膜材料经过逐一的涂覆和刻蚀后，最后形成一层完整的具有N个周期性的滤光薄膜，每个周期包括T₁、T₂......T_n个单元，每个单元覆盖光电转换基底上的M个像素，M大于等于1，与每个像素对应的滤光薄膜具有相同或者不同的光谱透过率；

步骤S3、在所述滤光薄膜上加工有微透镜阵列，制备微透镜阵列时，首先在滤光薄膜上面涂覆一层用于制备微透镜阵列的透明光刻胶，然后采用激光直写或者掩膜光刻的方法刻蚀不需要的部分，保留下来的部分便构成了微透镜阵列，微透镜阵列上的每个微透镜与光电转换基底的光电转换基底像素一一对应。

本发明的第二个目的在于提供一种可实现彩色成像的多光谱成像芯片的彩色成像方法，具体包括以下步骤：

步骤S1、经过滤光薄膜的光信号进入底层的光电转换基底，光电转换基底将入射光信号转换为电信号，并经过放大及模数转换后转为数字信号或者编码输出，输出的为每个像素位置上的光强度信息，即输出的光强度信息与像素位置信息有一一对应关系；

步骤S2：光谱反演：对于步骤S1输出的信号，由于该像素上的光谱透过率已知，在由N个像素组成的周期性结构中，根据光谱透过率曲线，N个像素组合，反演计算出N个像素的入射光谱值，计算方法如公式(3)所示，

S_i＝∫I(λ)T_i(λ)η(λ)dλ，

                      (3)

其中，S为光电转换基底输出的光信号强度值，I为入射光谱，是待求解信号，T为滤光薄膜的光谱透过率，η为光电转换基底的量子效率，λ为入射波长；

步骤S3、将多光谱芯片本体输出的光谱信息乘以光谱到颜色变化矩阵，从而获得RGB图像；所述光谱到颜色变化矩阵预存在所述色彩还原模块内。

本发明的优点及积极效果是：

1、本发明提供的可实现彩色成像的多光谱成像芯片可以将多光谱成像芯片输出的光谱信息转换为RGB图像，充分利用光谱图像信息量大的优点，实现高保真的彩色成像技术，成像效果优于一般彩色成像技术。

2、本发明提供的可实现彩色成像的多光谱成像芯片，具有在暗光条件下成像色彩还原度好和信噪比高的优点。在暗光下拍摄时，一般的彩色成像技术均会出现噪点，色差等现象，本发明由于采用多光谱技术，从多光谱的8个维度向色彩的3个维度进行降维变换，本身是一种强约束的降维数学运算，具有提高原始图像信噪比的优势。

3、本发明采用的多光谱成像芯片具有结构简单、体积小、厚度薄、重量轻、光谱范围广、能量利用率高、光谱分辨率高，空间分辨率高、精准度高、检测速度快、使用便捷等特点，即可以通过成像识别物体，又可以对物体的不同区域分别进行颜色反演，尤其是对于微小物体时，优势很明显，可以克服微小物体在视场中占比小，难以拍摄的问题。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为本发明可实现彩色成像的多光谱成像芯片的原理图。

图2为本发明光谱调制模块的原理图；

图3为本发明光谱调制模块的单元结构图；

图4为本发明光谱调制模块的结构图。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

实施例1可实现彩色成像的多光谱成像芯片

参阅图1至图4，本发明提供的一种可实现彩色成像的多光谱成像芯片，该芯片包括多光谱芯片本体A、色彩还原模块B；其中，所述多光谱芯片本体A包括光谱调制模块1、光谱反演模块2；所述光谱调制模块1包括光电转换基底、设置在光电转换基底上面的滤光薄膜、设置在滤光薄膜上的微透镜阵列；其中，所述光电转换基底为硅基图像传感器，具体为CMOS图像传感器或CCD图像传感器，用于将光信号转化为电信号并以数字信号或者编码输出，输出的为每个像素位置上的光谱强度信息(光谱强度信息与像素位置信息一一对应)；所述滤光薄膜，用于将入射光光谱进行区分，滤光薄膜为单层结构，其是由已知且透光率不同的N种材料通过逐一涂覆、刻蚀后拼接而成，滤光薄膜包括N个周期，每个周期包括T₁、T₂......T_n个单元，每个单元覆盖光电转换基底上的M个像素，其中M大于等于1，所有单元构成周期性结构，覆盖光电转换基底上的所有像素，与每个像素对应的滤光薄膜具有相同或者不同的光谱透过率，实现光谱分光；所述微透镜阵列上的每个微透镜与光电转换基底的光电转换基底像素一一对应，用于将入射光光束进行汇聚，提高入射光能量的利用率以及芯片的开口率；

所述光谱反演模块与光谱调制模块电连接，用于根据光谱调制模块输出的光信号强度信息和对应像素位置信息，反演出入射光谱信息；

所述色彩还原模块，根据人眼的视觉响应曲线建立由光谱到颜色变换矩阵，将多光谱芯片本体输出的光谱信息转换为RGB图像，转换方法为光谱信息乘以光谱到颜色变化矩阵；所述光谱到颜色变化矩阵的确定方法为：

步骤S1、获取已知三基色值色块或样品的光谱数据：利用多光谱芯片本体分别测量多种色块或单一颜色样品的光谱信息，其用I_j(N)表示，即I_j(N)为光谱测量值，是已知数，N表示N种光谱透过率不同的滤光薄膜材料，j表示第j个色块；

步骤S2、计算光谱到颜色变化矩阵：由于每个色块的三基色值是已知的，即I_j(R、G、B)已知；假设存在变换矩阵[M]，使得下式成立，则上述过程描述为：

I_j(R、G、B)＝[M]·I_j(N)     (1)

其中，I_j(R、G、B)和I_j(N)均为已知，所以矩阵[M]由下式给出；

矩阵[M]即为光谱到颜色变化矩阵；

本发明步骤S1测量样品或色板时，最好选择24标准色板或48标准色板，测量后分别进行保存。

本发明所述的色彩还原模块可以集成于多光谱芯片本体内部，也可以独立安装在计算机、云端、手机等计算平台上。

实施例2多光谱芯片本体中光谱调制模块的制备方法

本发明多光谱芯片本体中光谱调制模块的制备方法，具体包括以下步骤：

步骤S1、根据使用场景情况，选择合适的光电转换基底；基底选取时需考虑空间分辨率，像素大小，信噪比，动态范围等参数；

步骤S2、选择N种光谱透过率不同的滤光薄膜材料，先在光电转换基底上采用标准的喷涂或者旋涂方法，涂覆第一种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；之后涂覆第二种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；依次循环，直至将N种滤光薄膜材料全部涂覆到光电转换基底上，上述N种滤光薄膜材料经过逐一的涂覆和刻蚀后，最后形成一层完整的具有N个周期性的滤光薄膜，每个周期包括T₁、T₂......T_n个单元，每个单元覆盖光电转换基底上的M个像素，M大于等于1，与每个像素对应的滤光薄膜具有相同或者不同的光谱透过率；

步骤S3、在所述滤光薄膜上加工有微透镜阵列，制备微透镜阵列时，首先在滤光薄膜上面涂覆一层用于制备微透镜阵列的透明光刻胶，然后采用激光直写或者掩膜光刻的方法刻蚀不需要的部分，保留下来的部分便构成了微透镜阵列，微透镜阵列上的每个微透镜与光电转换基底的光电转换基底像素一一对应。

进一步，所述步骤S2进行刻蚀时，采用激光直写刻蚀方法、掩膜光刻刻蚀方法、离子束刻蚀方法、电子束刻蚀方法等；当采用掩膜光刻刻蚀时，在每种滤光薄膜材料上均涂覆一层光刻胶；之后经过曝光、显影、烘干、刻蚀、后烘干等标准光刻工艺完成刻蚀；当采用激光直写刻蚀方法、离子束刻蚀方法、电子束刻蚀方法时，制备过程与掩膜光刻刻蚀方法类似，均是采用现有方法进行刻蚀。

另外，本发明所用的滤光薄膜材料为聚酰亚胺类材料；所述透明光刻胶采用环氧树脂材料。

实施例3可实现彩色成像的多光谱成像芯片的彩色成像方法

利用本发明的可实现彩色成像的多光谱成像芯片的彩色成像方法，具体包括以下步骤：

步骤S1、经过滤光薄膜的光信号进入底层的光电转换基底，光电转换基底将入射光信号转换为电信号，并经过放大及模数转换后转为数字信号或者编码输出，输出的为每个像素位置上的光强度信息，即输出的光强度信息与像素位置信息有一一对应关系；

步骤S2：光谱反演：对于步骤S1输出的信号，由于该像素上的光谱透过率已知，在由N个像素组成的周期性结构中，根据光谱透过率曲线，N个像素组合，反演计算出N个像素的入射光谱值，计算方法如公式(3)所示，

S_i＝∫I(λ)T_i(λ)η(λ)dλ，

                         (3)

其中，S为光电转换基底输出的光信号强度值，I为入射光谱，是待求解信号，T为滤光薄膜的光谱透过率，η为光电转换基底的量子效率，λ为入射波长；

步骤S3、将多光谱芯片本体输出的光谱信息乘以光谱到颜色变化矩阵，从而获得RGB图像；所述光谱到颜色变化矩阵预存在所述色彩还原模块内，具体确定方法见实施例1。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种可实现彩色成像的多光谱成像芯片，其特征在于，该芯片包括多光谱芯片本体、色彩还原模块；其中，所述多光谱芯片本体包括光谱调制模块、光谱反演模块；所述光谱调制模块，通过由已知且透光率不同的N种材料形成的滤光薄膜来实现光谱分光；通过滤光薄膜下的光电转换基底将经过滤光薄膜分光后的光信号转换成为电信号，经过放大及模数转换后转为数字信号或者编码输出；

所述光谱反演模块与光谱调制模块电连接，用于根据光谱调制模块输出的光信号强度信息和对应像素位置信息，反演出入射光谱信息；

所述色彩还原模块，根据人眼的视觉响应曲线建立由光谱到颜色变换矩阵，将多光谱芯片本体输出的光谱信息转换为RGB图像，转换方法为光谱信息乘以光谱到颜色变化矩阵；

所述光谱到颜色变化矩阵的确定方法为：

步骤S1、获取已知三基色值色块或样品的光谱数据：利用多光谱芯片本体分别测量多种色块或单一颜色样品的光谱信息，其用I_j(N)表示，即I_j(N)为光谱测量值，是已知数，N表示N种光谱透过率不同的滤光薄膜材料，j表示第j个色块；

步骤S2、计算光谱到颜色变化矩阵：由于每个色块的三基色值是已知的，即I_j(R、G、B)已知；假设存在变换矩阵[M]，使得下式成立，则上述过程描述为：

I_j(R、G、B)＝[M]·I_j(N)      (1)

其中，I_j(R、G、B)和I_j(N)均为已知，所以[M]由下式给出；

矩阵[M]即为光谱到颜色变化矩阵。

2.根据权利要求1所述的可实现彩色成像的多光谱成像芯片，其特征在于，所述光谱调制模块包括光电转换基底、设置在光电转换基底上面的滤光薄膜；其中，所述光电转换基底，用于将光信号转化为电信号并以数字信号或者编码输出；所述滤光薄膜，用于将入射光光谱进行区分，滤光薄膜为单层结构，其是由已知且透光率不同的N种材料通过逐一涂覆、刻蚀后拼接而成，滤光薄膜包括N个周期，每个周期包括T₁、T₂......T_n个单元，每个单元覆盖光电转换基底上的M个像素，其中M大于等于1，所有单元构成周期性结构，覆盖光电转换基底上的所有像素，与每个像素对应的滤光薄膜具有相同或者不同的光谱透过率，实现光谱分光。

3.根据权利要求1所述的可实现彩色成像的多光谱成像芯片，其特征在于，所述色彩还原模块集成于多光谱芯片本体内部，或独立安装在计算机、云端、手机上。

4.根据权利要求2所述的可实现彩色成像的多光谱成像芯片，其特征在于，在所述滤光薄膜上设置有微透镜阵列，所述微透镜阵列上的每个微透镜与光电转换基底的光电转换基底像素一一对应，用于将入射光光束进行汇聚。

5.根据权利要求2所述的可实现彩色成像的多光谱成像芯片，其特征在于，所述光电转换基底为硅基图像传感器，具体为CMOS图像传感器或CCD图像传感器。

6.根据权利要求4所述的可实现彩色成像的多光谱成像芯片，其特征在于，所述光谱调制模块的制备方法，具体包括以下步骤：

步骤S1、根据使用场景情况，选择合适的光电转换基底；

步骤S2、选择N种光谱透过率不同的滤光薄膜材料，先在光电转换基底上涂覆第一种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；之后涂覆第二种滤光薄膜材料，再涂覆一层刻蚀层，根据与光电转换基底像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；依次循环，直至将N种滤光薄膜材料全部涂覆到光电转换基底上，上述N种滤光薄膜材料经过逐一的涂覆和刻蚀后，最后形成一层完整的具有N个周期性的滤光薄膜，每个周期包括T₁、T₂......T_n个单元，每个单元覆盖光电转换基底上的M个像素，M大于等于1，与每个像素对应的滤光薄膜具有相同或者不同的光谱透过率；

步骤S3、在所述滤光薄膜上加工有微透镜阵列，制备微透镜阵列时，首先在滤光薄膜上面涂覆一层用于制备微透镜阵列的透明光刻胶，然后采用激光直写或者掩膜光刻的方法刻蚀不需要的部分，保留下来的部分便构成了微透镜阵列，微透镜阵列上的每个微透镜与光电转换基底的光电转换基底像素一一对应。

7.权利要求1所述可实现彩色成像的多光谱成像芯片的彩色成像方法，其特征在于，具体包括以下步骤：

步骤S1、经过滤光薄膜的光信号进入底层的光电转换基底，光电转换基底将入射光信号转换为电信号，并经过放大及模数转换后转为数字信号或者编码输出，输出的为每个像素位置上的光强度信息，即输出的光强度信息与像素位置信息有一一对应关系；

步骤S2：光谱反演：对于步骤S1输出的信号，由于该像素上的光谱透过率已知，在由N个像素组成的周期性结构中，根据光谱透过率曲线，N个像素组合，反演计算出N个像素的入射光谱值，计算方法如公式(3)所示，

S_i＝∫I(λ)T_i(λ)η(λ)dλ，       (3)

其中，S为光电转换基底输出的光信号强度值，I为入射光谱，是待求解信号，T为滤光薄膜的光谱透过率，η为光电转换基底的量子效率，λ为入射波长；

步骤S3、将多光谱芯片本体输出的光谱信息乘以光谱到颜色变化矩阵，从而获得RGB图像；所述光谱到颜色变化矩阵预存在所述色彩还原模块内；

光谱到颜色变化矩阵的确定方法为：

步骤S1、获取已知三基色值色块或样品的光谱数据：利用多光谱芯片本体分别测量多种色块或单一颜色样品的光谱信息，其用I_j(N)表示，即I_j(N)为光谱测量值，是已知数，N表示N种光谱透过率不同的滤光薄膜材料，j表示第j个色块；

步骤S2、计算光谱到颜色变化矩阵：由于每个色块的三基色值是已知的，即I_j(R、G、B)已知；假设存在变换矩阵[M]，使得下式成立，则上述过程描述为：

I_j(R、G、B)＝[M]·I_j(N)      (1)

其中，I_j(R、G、B)和I_j(N)均为已知，所以[M]由下式给出；

矩阵[M]即为光谱到颜色变化矩阵。

Images