CN111999788A - 宽光谱编码全彩色滤光片阵列 - Google Patents
宽光谱编码全彩色滤光片阵列 Download PDFInfo
- Publication number
- CN111999788A CN111999788A CN202011041453.0A CN202011041453A CN111999788A CN 111999788 A CN111999788 A CN 111999788A CN 202011041453 A CN202011041453 A CN 202011041453A CN 111999788 A CN111999788 A CN 111999788A
- Authority
- CN
- China
- Prior art keywords
- filter array
- spectral
- lambda
- color
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Optical Filters (AREA)
Abstract
本发明公开了一种宽光谱编码全彩色滤光片阵列。在滤光片阵列的最小重复单元中,每个滤光片的光谱响应均为优化设计所得。相比于使用传统彩色滤光片阵列的图像探测器,使用宽光谱编码全彩色滤光片阵列的器件具有更高的进光量、更强的光谱信息采集能力和较好的色彩准确度。配合光谱重构算法,本发明可以将彩色图像探测器改进为光谱图像探测器,同时不损失成像的空间分辨率;还可以大大提高现有图像探测器的抗噪声性能以及成像质量。
Description
技术领域
本发明属于光学成像、光电检测以及光电器件领域。本发明可以广泛应用于现在的各种图像探测器,如手机摄像模组、光谱成像器件等。
背景技术
随着集成图像探测器制造工艺的发展,CCD、CMOS图像探测器的像素尺寸得以不断减小,以实现更高的成像分辨率和更小的器件体积。然而小像素必然使得单个像素的进光量减小,从而降低成像的信噪比。而人们对彩色成像的需求导致集成图像探测器必须具有颜色的分辨能力,最常见的方案是向图像探测器前添加一层拜耳滤光片阵列,这使得单个像素的进光量又大大减小(减小了约2/3)。
随着拜耳滤光片阵列(RGGB排列)的缺点不断凸显,诞生了许多新的滤光片排列方案,如RYYB、RGBW等。这些方案虽然在一定程度上弥补了拜耳滤光片阵列进光量少的缺陷,但是提高依然有限,为了保留颜色的分辨能力而不得不保留了拜耳滤光片阵列原有的窄带光谱响应形式。
另外,由于这些方案本质上依然采用的是少量的窄带滤光片,其光谱解析力与拜耳滤光片阵列相比并无明显提高。而随着光谱成像技术在医疗、美容、食品安全等方面的广泛应用,人们开始逐渐关注小型光谱成像设备在生活中的使用。若能够提高普通成像设备(如手机摄像模组)的光谱分辨能力,那么便携式成像设备必将焕发出新的活力,小型光谱成像设备具有广阔的市场前景。
近年来,计算成像技术的发展使得光学成像有了新的实现方式,进而诞生了许多新型计算光谱成像技术。通过引入人工智能算法,可以使以往经验主导的滤光片设计转变为算法优化设计,而且可以更加准确地实现光谱重构与颜色信息还原。同时随着材料科学和光学薄膜技术的发展,诞生了各种新型的光谱调制器件,光谱调制的精细度和可控度也越来越高。这使得使用基于宽光谱调制器件的光谱成像成为可能,且成本大大降低。
发明内容
本发明提供了一种宽光谱编码全彩色滤光片阵列。物体发出(或反射)的光由宽光谱编码滤光片调制后入射到图像探测器上,得到原始强度值,再经过光谱重构算法或颜色重构算法解算出物体的光谱图像或者彩色图像。本发明将滤光片阵列的进光量和光谱或颜色的重构精度同时作为优化目标,不仅能实现光谱信息和全彩色信息的获取,还能大大提高图像探测器中单个像素的进光量,从而提高彩色图像探测器的信噪比。
本发明的具体技术方案如下:一种宽光谱编码全彩色滤光片阵列,包括:
在滤光片阵列的最小重复单元中,每个滤光片的光谱响应均为优化设计所得,所述优化设计方法包括以下步骤:
(1)设滤光片阵列的最小重复单元中有M个滤光片,第i个滤光片的光谱透过率曲线为Si(λ),其中i=1,2,…,M。
(3)设目标物体光谱曲线为T(λ),则位于第i个滤光片下的像素所探测到的强度值使用光谱重构算法(例如神经网络),可以将最小重复单元中所有像素探测到的强度值{I1,I2,...,IM}重构出光谱响应曲线这一过程记为
(4)同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的光谱重构精度,即使用优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数;所述优化算法包括但不限于随机梯度下降、非线性规划等。
(5)步骤(3)中的光谱重构算法也可替换为颜色重构算法,以实现同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的颜色重构精度;则步骤(3)变为:
设目标物体光谱曲线为T(λ),则目标物体的三刺激值分别为
步骤(4)变为:
同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的颜色重构精度,即使用优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数;所述优化算法包括但不限于随机梯度下降、非线性规划等。
进一步地,所述滤光片阵列的最小重复单元中包含的滤光片数目M大于等于2个。
进一步地,所述滤光片阵列的有效光谱范围λmin至λmax需覆盖全彩色成像的可见光波段,即λmin≤450nm且λmax≥650nm。
进一步地,所述滤光片的材料包含但不限于光学薄膜、超表面、光子晶体、量子点材料等。
本发明原理如下:
如图1所示,假设滤光片阵列的最小重复单元中包含的滤光片数M=4,对应的滤光片透过率曲线分别用S1(λ)、S2(λ)、S3(λ)、S4(λ)表示。滤光片阵列放置于图像探测器前,设图像探测器中每个像素的光谱响应为D(λ),确定有效光谱范围为λmin至λmax,则第i个滤光片对应的进光量若将Si(λ)作为优化变量、以最大化所有滤光片的总进光量作为优化目标进行滤光片的优化设计,即可实现提高图像探测器进光量的效果。然而在提高进光量的同时必须保证图像探测器具有一定的光谱或颜色探测能力,所以优化目标中还需要加入探测器的光谱重构精度和颜色重构精度。当使用能提高进光量的宽光谱滤光片时,图像探测器的原始强度值需要经过光谱或颜色重构算法才能得到可以被用户使用的光谱或彩色图像,其过程如下:
假设物体上某一点的光谱为T(λ),成像至图像探测器上的某一像素点,该像素点处滤光片的透过率曲线为Si(λ),(i=1,2,3,4)。则图像探测器所获得的该点处的强度值Ii可表示为:
由此可得到此最小重复单元处各像素的强度值{I1,I2,I3,I4}。根据所得强度值,采用压缩感知或深度学习等光谱重构算法,即可计算得出重构的物体光谱曲线
也可采用其他压缩感知或深度学习等颜色重构算法,即可计算得出重构的物体三刺激值
设目标物体光谱曲线为T(λ),则目标物体的三刺激值分别为
由于重构出的目标物体光谱曲线或重构出的目标物体三刺激值均与每个滤光片的光谱透过率曲线Si(λ)有关,所以将Si(λ)作为优化变量,优化以使其接近T(λ)或优化以使其接近X,Y,Z,即可实现较好的光谱或颜色重构精度。结合前述提高进光量的优化目标,则优化问题变为
或者
分别对应于保证光谱重构精度和保证颜色重构精度两种情况。
通过调节权重参数β1,β2的相对大小,优化所得的宽光谱滤光片能实现比窄带滤光片更高的进光量。同时,根据压缩感知原理,当物体的光谱信息为稀疏信号时,根据宽光谱滤光片的M个强度值可以解算出N(N>M)个光谱信号值,实现高于拜耳滤光片阵列的光谱分辨率(最大为M)。如果将颜色准确度设置为优化目标之一,则本发明还可以实现较好的颜色准确度,实现全彩色成像。
与现有技术相比,本发明具有以下有益的技术效果:
(1)可以提高图像探测器的进光量。由于优化过程中将提高进光量作为优化目标,通过调节权重参数β1,β2的相对大小,优化所得的宽光谱滤光片必然能实现比窄带滤光片更高的进光量,从而改善成像的信噪比。
(2)可以提图像探测器的高光谱分辨能力。根据压缩感知原理,优化所得的宽光谱滤光片比拜耳滤光片阵列能够保留更多的光谱信息,可以实现更高的光谱分辨率。
(3)可以实现较高的颜色准确度。如果将颜色准确度设置为优化目标之一,则本发明还可以实现较好的颜色准确度。
附图说明
图1为滤光片阵列示意图;
图2为最小重复单元中各个滤光片的光谱响应示意图;
图3为另一种滤光片阵列示意图。
具体实施方式
下面结合实施例和附图来详细说明本发明,但本发明并不限于此。
本发明提供一种宽光谱编码全彩色滤光片阵列,包括:
在滤光片阵列的最小重复单元中,每个滤光片的光谱响应均为优化设计所得,所述优化设计方法包括以下步骤:
(1)设滤光片阵列的最小重复单元中有M个滤光片,第i个滤光片的光谱透过率曲线为Si(λ),其中i=1,2,…,M。
(3)设目标物体光谱曲线为T(λ),则位于第i个滤光片下的像素所探测到的强度值使用光谱重构算法(例如神经网络),可以将最小重复单元中所有像素探测到的强度值{I1,I2,...,IM}重构出光谱响应曲线这一过程记为
(4)同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的光谱重构精度,即使用优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数;所述优化算法包括但不限于随机梯度下降、非线性规划等。
(5)步骤(3)中的光谱重构算法也可替换为颜色重构算法,以实现同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的颜色重构精度;则步骤(3)变为:
设目标物体光谱曲线为T(λ),则目标物体的三刺激值分别为
步骤(4)变为:
同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的颜色重构精度,即使用优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数;所述优化算法包括但不限于随机梯度下降、非线性规划等。
进一步地,所述滤光片阵列的最小重复单元中包含的滤光片数目M大于等于2个。
进一步地,所述滤光片阵列的有效光谱范围λmin至λmax需覆盖全彩色成像的可见光波段,即λmin≤450nm且λmax≥650nm。
进一步地,所述滤光片的材料包含但不限于光学薄膜、超表面、光子晶体、量子点材料等。
实施例1
所实现的一种宽光谱编码全彩色滤光片阵列,包括:
如图1所示,在滤光片阵列的最小重复单元中,每个滤光片的光谱响应均为优化设计所得,所述优化设计的方法包括以下步骤:
(1)设滤光片阵列的最小重复单元中有4个滤光片,第i个滤光片的光谱透过率曲线为Si(λ),其中i=1,2,3,4。
(3)设目标物体光谱曲线为T(λ),则目标物体的三刺激值分别为
(4)同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的颜色重构精度,即使用随机梯度下降优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数。
进一步地,如图2所示,图像探测器的工作谱段为400-700nm,每个滤光片的光谱透过率曲线的半高全宽(FWHM)大于图像探测器工作谱段的1/4即大于75nm。
进一步地,所述滤光片的材料为光学薄膜。
实施例2
所实现的一种宽光谱编码全彩色滤光片阵列,包括:
如图3所示,在滤光片阵列的最小重复单元中,每个滤光片的光谱响应均为优化设计所得,所述优化设计的方法包括以下步骤:
(1)设滤光片阵列的最小重复单元中有9个滤光片,第i个滤光片的光谱透过率曲线为Si(λ),其中i=1,2,…,9。
(3)设目标物体光谱曲线为T(λ),则位于第i个滤光片下的像素所探测到的强度值使用压缩感知光谱重构算法,可以将最小重复单元中所有像素探测到的强度值{I1,I2,...,I9}重构出光谱响应曲线这一过程记为
(4)同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的光谱重构精度,即使用非线性规划优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数。
进一步地,图像探测器的工作谱段为300-1200nm,每个滤光片的光谱透过率曲线的半高全宽(FWHM)大于图像探测器工作谱段的1/9即大于100nm。
进一步地,所述滤光片的材料为超表面材料。
以上所述仅为本发明的较佳实施举例,并不用于限制本发明,凡在本发明精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种宽光谱编码全彩色滤光片阵列,其特征在于,包括:
在滤光片阵列的最小重复单元中,每个滤光片的光谱响应均为优化设计所得,所述优化设计方法包括以下步骤:
(1)设滤光片阵列的最小重复单元中有M个滤光片,第i个滤光片的光谱透过率曲线为Si(λ),其中i=1,2,…,M。
(3)确定优化目标,有两种情况:
情况1:同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的光谱重构精度,具体包括:
使用优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数。
情况2:同时优化滤光片阵列的进光量以及使用该滤光片阵列的图像探测器的颜色重构精度,具体包括:
设目标物体光谱曲线为T(λ),则目标物体的三刺激值分别为
使用优化算法求解下列问题,即可得到优化后的每个滤光片的光谱透过率曲线Si(λ):
式中,β1,β2为优化过程的权重参数。
2.根据权利要求1所述的宽光谱编码全彩色滤光片阵列,其特征在于,所述滤光片阵列的最小重复单元中包含的滤光片数目M大于等于2个。
3.根据权利要求1所述的宽光谱编码全彩色滤光片阵列,其特征在于,所述滤光片阵列的有效光谱范围λmin至λmax需覆盖全彩色成像的可见光波段,即λmin≤450nm且λmax≥650nm。
5.根据权利要求1所述的宽光谱编码全彩色滤光片阵列,其特征在于,所述优化算法包括但不限于随机梯度下降、非线性规划等。
6.根据权利要求1所述的宽光谱编码全彩色滤光片阵列,其特征在于,所述滤光片的材料包含但不限于光学薄膜、超表面、光子晶体、量子点材料等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011041453.0A CN111999788B (zh) | 2020-09-28 | 2020-09-28 | 宽光谱编码全彩色滤光片阵列 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011041453.0A CN111999788B (zh) | 2020-09-28 | 2020-09-28 | 宽光谱编码全彩色滤光片阵列 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111999788A true CN111999788A (zh) | 2020-11-27 |
CN111999788B CN111999788B (zh) | 2021-05-04 |
Family
ID=73475688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011041453.0A Active CN111999788B (zh) | 2020-09-28 | 2020-09-28 | 宽光谱编码全彩色滤光片阵列 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111999788B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112881308A (zh) * | 2021-01-22 | 2021-06-01 | 浙江大学 | 一种基于宽光谱编码和深度学习的光谱相机 |
CN115185030A (zh) * | 2022-06-21 | 2022-10-14 | 深圳技术大学 | 一种Rugate滤光片的制备方法 |
WO2023284570A1 (zh) * | 2021-07-16 | 2023-01-19 | 华为技术有限公司 | 光谱测量装置及其测量方法 |
CN116164841A (zh) * | 2023-04-26 | 2023-05-26 | 中国科学院长春光学精密机械与物理研究所 | 基于计算增强型像元分光光谱成像芯片的光谱重构方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104154998A (zh) * | 2014-08-15 | 2014-11-19 | 中国科学院上海技术物理研究所 | 一种基于压缩感知的计算多光谱成像图谱的重构方法 |
US20160328838A1 (en) * | 2015-05-01 | 2016-11-10 | Applied Research LLC. | Automatic target recognition system with online machine learning capability |
CN106840398A (zh) * | 2017-01-12 | 2017-06-13 | 南京大学 | 一种多光谱光场成像方法 |
CN109285132A (zh) * | 2018-09-20 | 2019-01-29 | 南京大学 | 一种基于频域编码的光谱重建方法 |
WO2019180571A1 (en) * | 2018-03-18 | 2019-09-26 | Unispectral Ltd. | Generating narrow-band spectral images from broad-band spectral images |
-
2020
- 2020-09-28 CN CN202011041453.0A patent/CN111999788B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104154998A (zh) * | 2014-08-15 | 2014-11-19 | 中国科学院上海技术物理研究所 | 一种基于压缩感知的计算多光谱成像图谱的重构方法 |
US20160328838A1 (en) * | 2015-05-01 | 2016-11-10 | Applied Research LLC. | Automatic target recognition system with online machine learning capability |
CN106840398A (zh) * | 2017-01-12 | 2017-06-13 | 南京大学 | 一种多光谱光场成像方法 |
WO2019180571A1 (en) * | 2018-03-18 | 2019-09-26 | Unispectral Ltd. | Generating narrow-band spectral images from broad-band spectral images |
CN109285132A (zh) * | 2018-09-20 | 2019-01-29 | 南京大学 | 一种基于频域编码的光谱重建方法 |
Non-Patent Citations (2)
Title |
---|
OLIVER, J. 等: "Filters with random transmittance for improving resolution in filter-array-based spectrometers", 《OPTICS EXPRESS》 * |
YANG,CHENYING 等: "Angle Robust Reflection/Transmission Plasmonic Filters Using Ultrathin Metal Patch Array", 《ADVANCED OPTICAL MATERIALS》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112881308A (zh) * | 2021-01-22 | 2021-06-01 | 浙江大学 | 一种基于宽光谱编码和深度学习的光谱相机 |
WO2023284570A1 (zh) * | 2021-07-16 | 2023-01-19 | 华为技术有限公司 | 光谱测量装置及其测量方法 |
CN115185030A (zh) * | 2022-06-21 | 2022-10-14 | 深圳技术大学 | 一种Rugate滤光片的制备方法 |
CN115185030B (zh) * | 2022-06-21 | 2023-08-22 | 深圳技术大学 | 一种Rugate滤光片的制备方法 |
CN116164841A (zh) * | 2023-04-26 | 2023-05-26 | 中国科学院长春光学精密机械与物理研究所 | 基于计算增强型像元分光光谱成像芯片的光谱重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111999788B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111999788B (zh) | 宽光谱编码全彩色滤光片阵列 | |
CN102204258B (zh) | 图像输入装置 | |
TWI255645B (en) | Image pickup device | |
CN103430551B (zh) | 使用具有纵色像差的透镜单元的成像系统及其操作方法 | |
CN102647941B (zh) | 用于执行远程光电容积描记的方法和系统 | |
CN102523456B (zh) | 双图像传感器图像处理系统和方法 | |
CN102640489B (zh) | 用于检测和校正图像传感器中的缺陷像素的系统和方法 | |
Ratnasingam | Deep camera: A fully convolutional neural network for image signal processing | |
JP2014515587A (ja) | デジタル画像装置用の画像処理パイプラインの学習 | |
CN105891928B (zh) | 一种日夜兼用的摄像滤波器 | |
CN108805265A (zh) | 神经网络模型处理方法和装置、图像处理方法、移动终端 | |
CN113676639B (zh) | 图像处理方法、处理装置、电子设备及介质 | |
JP6478579B2 (ja) | 撮像ユニット、撮像装置、及び画像処理システム | |
CN113447118A (zh) | 一种可实现彩色成像的多光谱成像芯片及彩色成像方法 | |
Parihar et al. | A comprehensive analysis of fusion-based image enhancement techniques | |
CN117321394A (zh) | 基于多路照明的高精度快照多光谱成像系统和方法 | |
US8654210B2 (en) | Adaptive color imaging | |
Matasaru | Mobile phone camera possibilities for spectral imaging | |
Sulistiyanti et al. | Noise filtering on thermal images acquired by modified ordinary digital camera | |
CN111356649B (zh) | 图像传感器及成像方法 | |
Péguillet et al. | Energy balance in single exposure multispectral sensors | |
CN205622731U (zh) | 一种图像传感器 | |
Honglie et al. | High dynamic range image enhancement technology based on guided image filter | |
Shrestha et al. | Computational color constancy using chromagenic filters in color filter arrays | |
US20230082539A1 (en) | Illuminant correction in an imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |