CN110987182B - 环形波长渐变滤光片和压缩感知的高光谱成像系统及方法 - Google Patents
环形波长渐变滤光片和压缩感知的高光谱成像系统及方法 Download PDFInfo
- Publication number
- CN110987182B CN110987182B CN201911171598.XA CN201911171598A CN110987182B CN 110987182 B CN110987182 B CN 110987182B CN 201911171598 A CN201911171598 A CN 201911171598A CN 110987182 B CN110987182 B CN 110987182B
- Authority
- CN
- China
- Prior art keywords
- mixed spectrum
- wavelength
- image
- processing module
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001228 spectrum Methods 0.000 claims abstract description 195
- 238000012545 processing Methods 0.000 claims abstract description 88
- 239000011159 matrix material Substances 0.000 claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 230000003595 spectral effect Effects 0.000 claims description 56
- 238000005070 sampling Methods 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 239000000758 substrate Substances 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000004083 survival effect Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 abstract description 5
- 238000010168 coupling process Methods 0.000 abstract description 5
- 238000005859 coupling reaction Methods 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0202—Mechanical elements; Supports for optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0237—Adjustable, e.g. focussing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0291—Housings; Spectrometer accessories; Spatial arrangement of elements, e.g. folded path arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/12—Generating the spectrum; Monochromators
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开一种环形波长渐变滤光片和压缩感知的高光谱成像系统及成像方法,用于高光谱图像的获取和重构,加快光谱图像的获取速度。本发明的成像系统包括包括中轴、高速电机、镜头、探测器阵列、混合光谱处理模块以及通过固定在外壳上的中轴与高速电机相连的环形波长渐变滤光片,使得高光谱图像的谱间分辨率可变,为高光谱图像中保留了更多的谱段信息。本发明的方法,通过计算所选像素点位置的混叠矩阵,克服了现有技术方法需要成像装置曝光时间与被动滤光片转动速率相配合问题,使得本发明的成像方法与成像系统的耦合性降低,成像系统易于控制。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及高光谱图像处理技术领域中的一种环形波长渐变滤光片和压缩感知的高光谱成像系统及方法。本发明可用于高光谱图像的获取和重构,加快光谱图像的获取速度。
背景技术
高光谱成像技术现在被广泛应用于食品安全、医学诊断、航天航空等领域。高光谱图像不仅仅是传统所谓的黑、白或者R/G/B的区分,而是在光谱维度上有N个通道,在这些通道上分别成像,组成数据立方。高光谱成像技术最主要的是得到大量不同波长波段的光谱信息。高光谱成像的目的是为了获得观测场景的图像中每个像素点的光谱向量,使用光谱信息进行目标识别,检测等图像处理任务。由于不同的物体具有不同的特定的光谱特性,因此高光谱图像可以详细描述场景信息。由于传统的高光谱成像系统拟获取高光谱图像时,通常是通过改变分光方式来获取,该方式导致所用系统精度要求高。由于精度要求高,在安装过程中需要专业人士校准。传统的高光谱成像系统固定后,系统获取的高光谱图像谱间分辨率固定,不能根据不同需要复用。
中国科学院上海技术物理研究所在其申请的专利文献“一种紧凑型折反射式平面光栅高光谱成像仪光学系统”(申请专利号201910618699.0,申请公开号110375854A)中公开了紧凑型折反射式平面光栅高光谱成像仪光学系统。该系统包括物镜和折反射式平面光栅光谱仪两个部分,场景目标的一个条带经过物镜汇聚成像在狭缝上,再经非球面反射镜、平面光栅和透镜组汇聚后按波长不同成像在面阵探测器,随着平台推扫获得图谱合一图像。该系统存在的不足之处是,该系统需要多套透镜、光栅和探测器精确配合,较为复杂。同时高光谱图像谱间分辨率固定,不能复用。
浙江大学在其申请的专利文献“一种高光谱成像方法及装置”(申请专利号201910244628.9,申请公开号110108358A)中公开了一种高光谱成像方法。该方法利用宽光谱调制编码技术,结合常规相机拍摄目标图像,从一系列不同光谱编码的目标图像中,通过光谱解调定标后,利用压缩传感算法反演处目标的高光谱分辨图像。该方法存在的不足之处是,该方法需要成像装置曝光时间与被动滤光片转动速率相配合,使得该成像方法与成像装置的耦合性较高,需要高精度的机械控制。
发明内容
本发明的目的是针对上述现有技术的不足,提供了一种环形波长渐变滤光片和压缩感知的高光谱成像系统及方法,用于减少高光谱成像系统的复杂性,加快高光谱图像的采样速度,使高光谱图像的谱间分辨率可变,降低高光谱成像方法与成像系统的耦合性。
为实现本发明目的的思路是,借鉴多光谱成像的快速滤光片转轮思想构建高光谱成像系统,用于减少高光谱成像系统的复杂性,加快高光谱图像的采样速度。将环形波长渐变滤光片沿圆周从零度位置处开始等分为N份,使高光谱图像的谱间分辨率可变。通过计算所选像素点位置的混叠矩阵,降低高光谱成像方法与成像系统的耦合性。
本发明的系统包括中轴、高速电机、镜头、探测器阵列,还包括混合光谱处理模块以及通过固定在外壳上的中轴与高速电机相连的环形波长渐变滤光片;所述环形波长渐变滤光片在不同角度位置处沉积了不同厚度的各层膜,其峰值波长与环形基底的角度成正比例相关;所述混合光谱处理模块通过数据线与探测器阵列的输出端相连;所述混合光谱处理模块包括选取单元、开始波长计算单元、结束波长计算单元、混叠矩阵生成单元、光强测算单元、观测单元、采样率判断单元、欠采样重构单元、满采样重构单元、终止判断单元和高光谱图像合成单元;其中:
所述的环形波长渐变滤光片、镜头、探测器阵列,用于通过控制环形波长渐变滤光片转动,探测器阵列对同一场景进行K次曝光,并同时将每次曝光的数据传输至混合光谱处理模块,将同一场景每次曝光的数据组成一张混合光谱图像;
所述的混合光谱处理模块中的选取单元,用于从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点;
所述的混合光谱处理模块中的开始波长计算单元,用于计算每张混合光谱图像中所选像素点对应的拍摄曝光开始时的波长值;
所述的混合光谱处理模块中的结束波长计算单元,用于计算每张混合光谱图像中所选像素点对应的拍摄曝光结束时的波长值;
所述的混合光谱处理模块中的混叠矩阵生成单元,用于生成一个行数与曝光次数K相等,列数与恢复重构出的高光谱图像的谱段总数L相等的矩阵,按照混合光谱图像序号逐行将1填充在对应序号混合光谱图像曝光开始时的波长值与曝光结束时的波长值之间的位置上,0填充在其余位置上,组成混叠矩阵;
所述的混合光谱处理模块中的光强测算单元,用于将环形波长渐变滤光片沿沿圆周从零度位置处开始等分为N份,计算每份的平均波长λ,测量自然光透过不同特定波长λ滤光片后的光强组成的光强矩阵P,N的取值与恢复重构出的高光谱图像的谱段总数L相等;
所述的混合光谱处理模块中的观测单元,用于混叠矩阵A(x,y)与光强矩阵P点乘,得到所有混合光谱图像中所选平面位置的观测矩阵P(x,y);
所述混合光谱处理模块中的采样率判断单元,用于判断采样率是否小于1,若是,采用欠采样重构单元重构所选像素点对应位置的光谱信息,否则,采用满采样重构单元重构所选像素点对应位置的光谱信息;
所述的混合光谱处理模块中的欠采样重构单元,用于对采样率小于1时的所选像素点进行重构,得到重所选像素点对应位置的光谱信息;
所述的混合光谱处理模块中的满采样重构单元,用于对采样率大于等于1时的所选像素点进行重构,得到重所选像素点对应位置的光谱信息;
所述的混合光谱处理模块中的终止判断单元,用于判断是否选完每张混合光谱图像中的所有像素点,若是,采用高光谱合成单元对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像,否则,再次使用选取单元从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点;
所述的混合光谱处理模块中的高光谱图像合成单元,用于对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像。
本发明方法的步骤包括如下:
步骤1,获取混合光谱图像:
调整环形波长渐变滤光片、镜头、探测器阵列至适合拍摄场景的位置;
开关装置控制环形波长渐变滤光片转动,探测器阵列对同一场景进行K次曝光,并同时将每次曝光的数据传输至混合光谱处理模块,将同一场景每次曝光的数据组成一张混合光谱图像,其中K表示待恢复重构图像的总数;
步骤2,选取像素点:
混合光谱处理模块中的选取单元从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点;
步骤3,生成观测矩阵:
第一步,按照曝光开始波长值计算公式,混合光谱处理模块中的开始波长计算单元计算每张混合光谱图像中所选像素点对应的拍摄曝光开始时的波长值;
第二步,按照曝光结束波长值计算公式,混合光谱处理模块中的结束波长计算单元计算每张混合光谱图像中所选像素点对应的拍摄曝光结束时的波长值;
第三步,混合光谱处理模块中的混叠矩阵生成单元生成一个行数与曝光次数K相等,列数与恢复重构出的高光谱图像的谱段总数L相等的矩阵,按照混合光谱图像序号逐行将1填充在对应序号混合光谱图像曝光开始时的波长值与曝光结束时的波长值之间的位置上,0填充在其余位置上,组成混叠矩阵A(x,y);
第四步,混合光谱处理模块中的光强测算单元将环形波长渐变滤光片沿沿圆周从零度位置处开始等分为N份,计算每份的平均波长λ,测量自然光透过不同特定波长λ滤光片后的光强组成的光强矩阵P,N的取值与恢复重构出的高光谱图像的谱段总数L相等;
第五步,混合光谱处理模块中的观测单元将混叠矩阵A(x,y)与光强矩阵P点乘,得到所有混合光谱图像中所选平面位置的观测矩阵P(x,y);
步骤4,利用压缩感知重构所选像素点对应位置的光谱信息:
第一步,混合光谱处理模块中的采样率判断单元判断K/L<1是否成立,若是,执行本步骤的第二步,否则,执行本步骤的第三步;
第二步,按照下式,根据优化目标函数和约束条件,混合光谱处理模块中的欠采样重构单元重构所选像素点对应位置的光谱信息后执行步骤5:
X0(x,y)=argmin||ΨX(x,y)||1s.t.Y(x,y)=P(x,y)×X(x,y)
其中,X0(x,y)表示重构所选像素点对应位置(x,y)处的光谱信息,argmin()表示取最小操作,Ψ表示稀疏基,X(x,y)表示真实高光谱图像中平面位置(x,y)处光谱信息,||·||1表示取1范数操作,s.t.表示条件约束符号,Y(x,y)表示所有混合光谱图像中所选像素点的像素值;
第三步,混合光谱处理模块12中的满采样重构单元将观测矩阵P(x,y)的广义逆矩阵P-1(x,y)与Y(x,y)叉乘,得到所选像素点对应位置的光谱信息;
步骤5,混合光谱处理模块中的终止判断单元判断是否选完每张混合光谱图像中的所有像素点,若是,执行步骤6,否则,执行步骤2;
步骤6,混合光谱处理模块中的高光谱图像合成单元对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像。
本发明与现有技术相比较具有如下的优点:
第一,由于本发明的系统使用了峰值波长与环形基底的角度成正比例相关的环形波长渐变滤光片,通过控制环形波长渐变滤光片转动,探测器阵列对同一场景进行K次曝光,并同时将每次曝光的数据传输至混合光谱处理模块,将同一场景每次曝光的数据组成一张混合光谱图像,克服了现有技术需要多套透镜、光栅和探测器精确配合的不足,使得本发明减少了高光谱成像系统的复杂性,加快了成像系统的图像获取速度。
第二,由于本发明的系统使用了混合光谱处理模块中的光强测算单元,用于将环形波长渐变滤光片沿圆周从零度位置处开始等分为N份,计算每份的平均波长λ,测量自然光透过不同特定波长λ滤光片后的光强组成的光强矩阵P,克服了高光谱图像谱间分辨率固定的不足,使得高光谱成像系统获取的高光谱图像谱间分辨率可变,为高光谱图像保留更多的谱段信息。
第三,由于本发明的方法中计算每张混合光谱图像中所选像素点对应的拍摄曝光开始和结束时的波长值并生成一个行数与曝光次数K相等,列数与恢复重构出的高光谱图像的谱段总数L相等的矩阵,按照混合光谱图像序号逐行将1填充在对应序号混合光谱图像曝光开始时的波长值与曝光结束时的波长值之间的位置上,0填充在其余位置上,组成混叠矩阵A(x,y),克服了现有技术方法需要成像装置曝光时间与被动滤光片转动速率相配合问题,使得本发明的成像方法与成像系统的耦合性降低,成像系统易于控制。
附图说明
图1是本发明成像系统的结构正面示意图;
图2是本发明成像系统的结构侧面示意图;
图3是本发明中成像方法的流程图;
图4是本发明系统在采样率等于1时对哥伦比亚数据集上的paints光谱图像的重构图;
图5是本发明系统在采样率小于1时对哥伦比亚数据集上的balloons光谱图像的重构图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1和图2,对本发明的系统做进一步的描述。
本发明的系统包括中轴2、高速电机6、镜头7、探测器阵列8、混合光谱处理模块12以及通过固定在外壳1上的中轴2与高速电机6相连的环形波长渐变滤光片5。
所述环形波长渐变滤光片5在不同角度位置处沉积了不同厚度的各层膜,其峰值波长与环形基底的角度成正比例相关。
所述的高速电机6和探测器阵列8通过导线9分别与开关装置11相连。
所述镜头7通过高低可调的水平支架4紧贴在外壳圆形缺口3处。
所述探测器阵列8垂直于水平支架4且置于镜头7的一次成像面上。
所述探测器阵列8采用灰度探测器阵列或红绿蓝的彩色滤镜阵列CFA中的任意一种。
所述混合光谱处理模块12通过数据线10与探测器阵列8的输出端相连。
所述混合光谱处理模块12包括选取单元、开始波长计算单元、结束波长计算单元、混叠矩阵生成单元、光强测算单元、观测单元、采样率判断单元、欠采样重构单元、满采样重构单元、终止判断单元和高光谱图像合成单元。
所述的环形波长渐变滤光片5、镜头7、探测器阵列8,用于通过控制环形波长渐变滤光片5转动,探测器阵列8对同一场景进行K次曝光,并同时将每次曝光的数据传输至混合光谱处理模块12,将同一场景每次曝光的数据组成一张混合光谱图像。
所述的混合光谱处理模块12中的选取单元,用于从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点。
所述的混合光谱处理模块12中的开始波长计算单元,用于计算每张混合光谱图像中所选像素点对应的拍摄曝光结束时的波长值。
所述的混合光谱处理模块12中的结束波长计算单元,用于计算每张混合光谱图像中所选像素点对应的拍摄曝光结束时的波长值。
所述的混合光谱处理模块12中的混叠矩阵生成单元,用于生成一个行数与曝光次数K相等,列数与恢复重构出的高光谱图像的谱段总数L相等的矩阵,按照混合光谱图像序号逐行将1填充在对应序号混合光谱图像曝光开始时的波长值与曝光结束时的波长值之间的位置上,0填充在其余位置上,组成混叠矩阵。
所述的混合光谱处理模块12中的光强测算单元,用于将环形波长渐变滤光片5沿圆周从零度位置处开始等分为N份,计算每份的平均波长λ,测量自然光透过不同特定波长λ滤光片后的光强组成的光强矩阵P,N的取值与恢复重构出的高光谱图像的谱段总数L相等。
所述的混合光谱处理模块12中的观测单元,用于混叠矩阵A(x,y)与光强矩阵P点乘,得到所有混合光谱图像中所选平面位置的观测矩阵P(x,y)。
所述混合光谱处理模块12中的采样率判断单元,用于判断采样率是否小于1,若是,采用欠采样重构单元重构所选像素点对应位置的光谱信息,否则,采用满采样重构单元重构所选像素点对应位置的光谱信息。
所述的混合光谱处理模块12中的欠采样重构单元,用于对采样率小于1时的所选像素点进行重构,得到重所选像素点对应位置的光谱信息。
所述的混合光谱处理模块12中的满采样重构单元,用于对采样率大于等于1时的所选像素点进行重构,得到重所选像素点对应位置的光谱信息。
所述的混合光谱处理模块12中的终止判断单元,用于判断是否选完每张混合光谱图像中的所有像素点,若是,采用高光谱合成单元对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像,否则,再次使用选取单元从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点。
所述的混合光谱处理模块12中的高光谱图像合成单元,用于对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像。
下面结合附图3,对本发明方法的步骤做进一步的描述。
步骤1,获取混合光谱图像。
调整环形波长渐变滤光片5、镜头7、探测器阵列8至适合拍摄场景的位置;
开关装置11控制环形波长渐变滤光片5转动,探测器阵列8对同一场景进行K次曝光,并同时将每次曝光的数据传输至混合光谱处理模块12,将同一场景每次曝光的数据组成一张混合光谱图像,其中K表示待恢复重构图像的总数。
步骤2,选取像素点。
混合光谱处理模块12中的选取单元从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点。
步骤3,生成观测矩阵。
第一步,混合光谱处理模块12中的开始波长计算单元计算每张混合光谱图像中所选像素点对应的拍摄曝光开始时的波长值,所述的曝光开始波长值计算公式如下:
b(x,y,t)=(δ(x,y)+(t-1)×(ΔT1/T0×L+ΔT2/T0×L))mod L
其中,b(x,y,t)表示第t张混合光谱图像中平面位置(x,y)处的像素点对应的曝光开始时的波长值,t表示混合光谱图像的序号,1≤t≤T,T的取值与曝光次数K相等,δ(x,y)表示第一张混合光谱图像中平面位置(x,y)处的像素点对应的曝光开始时的波长值,ΔT1表示第t张混合光谱图像曝光所用时间,T0表示环形波长渐变滤光片5转动一周所用的时间,L表示恢复重构出的高光谱图像的谱段总数,ΔT2表示第t张混合光谱图像曝光后传输所用时间,mod表示取余操作。
第二步,混合光谱处理模块12中的结束波长计算单元计算每张混合光谱图像中所选像素点对应的拍摄曝光结束时的波长值,所述的曝光结束波长值计算公式如下:
e(x,y,t)=(b(x,y,t)+ΔT1/T0×L)modL
其中,e(x,y,t)表示第t张混合光谱图像中平面位置(x,y)处的像素点对应的曝光结束时的波长值。
第三步,混合光谱处理模块12中的混叠矩阵生成单元生成一个行数与曝光次数K相等,列数与恢复重构出的高光谱图像的谱段总数L相等的矩阵,按照混合光谱图像序号逐行将1填充在对应序号混合光谱图像曝光开始时的波长值与曝光结束时的波长值之间的位置上,0填充在其余位置上,组成混叠矩阵A(x,y)。
第四步,混合光谱处理模块12中的光强测算单元用于将环形波长渐变滤光片5沿圆周从零度位置处开始等分为N份,计算每份的平均波长λ,测量自然光透过不同特定波长λ滤光片后的光强组成的光强矩阵P,其中,N的取值与恢复重构出的高光谱图像的谱段总数L相等。
第五步,混合光谱处理模块12中的观测单元将混叠矩阵A(x,y)与光强矩阵P点乘,得到所有混合光谱图像中所选平面位置的观测矩阵P(x,y)。
步骤4,利用压缩感知重构所选像素点对应位置的光谱信息。
第一步,混合光谱处理模块12中的采样率判断单元判断K/L<1是否成立,若是,执行本步骤的第二步,否则,执行本步骤的第三步。
第二步,按照下式,根据优化目标函数和约束条件,混合光谱处理模块12中的欠采样重构单元重构所选像素点对应位置的光谱信息后执行步骤5。
X0(x,y)=argmin||ΨX(x,y)||1s.t.Y(x,y)=P(x,y)×X(x,y)
其中,X0(x,y)表示重构所选像素点对应位置(x,y)处的光谱信息,argmin()表示取最小操作,Ψ表示稀疏基,X(x,y)表示真实高光谱图像中平面位置(x,y)处光谱信息,||·||1表示取1范数操作,s.t.表示条件约束符号,Y(x,y)表示所有混合光谱图像中所选像素点的像素值。
第三步,混合光谱处理模块12中的满采样重构单元将观测矩阵P(x,y)的广义逆矩阵P-1(x,y)与Y(x,y)叉乘,得到所选像素点对应位置的光谱信息。
步骤5,混合光谱处理模块12中的终止判断单元判断是否选完每张混合光谱图像中的所有像素点,若是,执行步骤6,否则,执行步骤2。
步骤6,混合光谱处理模块12中的高光谱图像合成单元对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像。
下面结合仿真实验对本发明的效果做进一步的说明:
1.仿真实验条件:
本发明的仿真实验的硬件平台为:处理器为Intel Core i7 CPU,主频3.70GHz,内存32GB。
本发明的仿真实验的软件平台为:Windows 10操作系统和python 3.6。
本发明的仿真实验所使用的输入图像为哥伦比亚大学公开的光谱图像,图像大小为512×512×31个像素,图像共包含31个波段,图像格式为png。
2.仿真内容及其结果分析:
本发明仿真实验采用本发明对输入的哥伦比亚大学公开的光谱图像31个波段的灰度图在采样率等于1和采样率小于1的情况下进行观测重构,分别获得重构结果如图4、图5所示。
下面结合图4和图5的仿真图对本发明的效果做进一步的描述。
图4是本发明系统在采样率等于1时对哥伦比亚数据集上的paints光谱图像的重构图。由于本发明仿真实验图像谱段较多,故选取波段1、波段5、波段10、波段20、波段30通过图示比较本发明仿真实验的效果。图4(a)、4(c)、4(e)、4(g)、4(i)分别为哥伦比亚大学公开的光谱图像paints波段1、波段5、波段10、波段20、波段30的真实图像,在本发明的仿真实验1中作为原始图像。利用本发明方法对输入高光谱图像进行采样率等于1的观测后进行重构。图4(b),4(d),4(f),4(h),4(j)是图4(a)、4(c)、4(e)、4(g)、4(i)所分别对应的重构结果图像。本次仿真实验为无损重构,重构光谱图像与原始光谱图像完全一致。
图5是本发明系统在采样率小于1时对哥伦比亚数据集上的balloons光谱图像的重构图。由于本发明仿真实验图像谱段较多,故选取波段1、波段5、波段10、波段20、波段30通过图示比较本发明仿真实验的效果。图5(a)、5(c)、5(e)、5(g)、5(i)分别为哥伦比亚大学公开的光谱图像balloons波段1、波段5、波段10、波段20、波段30的真实图像,在本发明的仿真实验2中作为原始图像。利用本发明方法对输入高光谱图像进行采样率小于1的观测后进行重构。图5(b),5(d),5(f),5(h),5(j)是图5(a)、5(c)、5(e)、5(g)、5(i)所分别对应的重构结果图像。重构结果图的峰值信噪比分别为37.47dB、41.57dB、37.25dB、42.20dB、36.33dB。
表1不同图像重构图像中各个谱段的峰值信噪比一览表
balloons_ms | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
-- | 37.472 | 37.291 | 37.417 | 37.075 | 41.572 | 39.268 | 38.042 | 42.137 |
9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 |
45.147 | 43.039 | 38.636 | 42.643 | 40.325 | 40.060 | 43.719 | 40.904 | 42.259 |
18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 |
43.655 | 39.741 | 45.708 | 39.904 | 41.278 | 44.157 | 39.726 | 39.398 | 40.072 |
27 | 28 | 29 | 30 | 31 | Avg | |||
39.810 | 40.196 | 42.931 | 39.159 | 35.888 | 40.408 | |||
beads_ms | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
-- | 30.846 | 34.021 | 35.956 | 36.755 | 39.184 | 35.712 | 34.901 | 38.643 |
9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 |
37.248 | 34.749 | 37.443 | 30.898 | 30.902 | 40.020 | 37.875 | 37.116 | 36.301 |
18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 |
38.261 | 40.023 | 40.224 | 35.118 | 39.814 | 37.900 | 38.257 | 38.045 | 39.031 |
27 | 28 | 29 | 30 | 31 | Avg | |||
39.034 | 38.893 | 37.789 | 37.737 | 33.006 | 36.829 |
为进一步展示本发明的优异性能,在采样率小于1的情况下计算得到balloons光谱图像和beads光谱图像的重构图像中31个谱段与原光谱图像中31个谱段之间的峰值信噪比。表1为不同图像重构图像中各个谱段的峰值信噪比一览表。由表1中的重构图像与原始图像不同谱段的峰值信噪比PSNR分析,重构图像中各个谱段的PSNR集中在37-42dB之间,本发明的重构图像相对清晰,得到的重构图像细节保留得更加完善,充分体现了本发明的优异性能。
Claims (8)
1.一种环形波长渐变滤光片和压缩感知的高光谱成像系统,包括中轴(2)、高速电机(6)、镜头(7)、探测器阵列(8);其特征在于,还包括混合光谱处理模块(12)以及通过固定在外壳(1)上的中轴(2)与高速电机(6)相连的环形波长渐变滤光片(5);所述环形波长渐变滤光片(5)在不同角度位置处沉积了不同厚度的各层膜,其峰值波长与环形基底的角度成正比例相关;所述混合光谱处理模块(12)通过数据线(10)与探测器阵列(8)的输出端相连;所述混合光谱处理模块(12)包括选取单元、开始波长计算单元、结束波长计算单元、混叠矩阵生成单元、光强测算单元、观测单元、采样率判断单元、欠采样重构单元、满采样重构单元、终止判断单元和高光谱图像合成单元;其中:
所述的环形波长渐变滤光片(5)、镜头(7)、探测器阵列(8),用于通过控制环形波长渐变滤光片(5)转动,探测器阵列(8)对同一场景进行K次曝光,并同时将每次曝光的数据传输至混合光谱处理模块(12),将同一场景每次曝光的数据组成一张混合光谱图像;
所述的混合光谱处理模块(12)中的选取单元,用于从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点;
所述的混合光谱处理模块(12)中的开始波长计算单元,用于计算每张混合光谱图像中所选像素点对应的拍摄曝光开始时的波长值;
所述的混合光谱处理模块(12)中的结束波长计算单元,用于计算每张混合光谱图像中所选像素点对应的拍摄曝光结束时的波长值;
所述的混合光谱处理模块(12)中的混叠矩阵生成单元,用于生成一个行数与曝光次数K相等,列数与恢复重构出的高光谱图像的谱段总数L相等的矩阵,按照混合光谱图像序号逐行将1填充在对应序号混合光谱图像曝光开始时的波长值与曝光结束时的波长值之间的位置上,0填充在其余位置上,组成混叠矩阵;
所述的混合光谱处理模块(12)中的光强测算单元,用于将环形波长渐变滤光片(5)沿圆周从零度位置处开始等分为N份,计算每份的平均波长λ,测量自然光透过不同特定波长λ滤光片后的光强组成的光强矩阵P,其中,N的取值与恢复重构出的高光谱图像的谱段总数L相等;
所述的混合光谱处理模块(12)中的观测单元,用于混叠矩阵A(x,y)与光强矩阵P点乘,得到所有混合光谱图像中所选平面位置的观测矩阵P(x,y);
所述混合光谱处理模块(12)中的采样率判断单元,用于判断采样率是否小于1,若是,采用欠采样重构单元重构所选像素点对应位置的光谱信息,否则,采用满采样重构单元重构所选像素点对应位置的光谱信息;
所述的混合光谱处理模块(12)中的欠采样重构单元,用于对采样率小于1时的所选像素点进行重构,得到重所选像素点对应位置的光谱信息;
所述的混合光谱处理模块(12)中的满采样重构单元,用于对采样率大于等于1时的所选像素点进行重构,得到重所选像素点对应位置的光谱信息;
所述的混合光谱处理模块(12)中的终止判断单元,用于判断是否选完每张混合光谱图像中的所有像素点,若是,采用高光谱合成单元对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像,否则,再次使用选取单元从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点;
所述的混合光谱处理模块(12)中的高光谱图像合成单元,用于对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像。
2.根据权利要求1所述的环形波长渐变滤光片和压缩感知的高光谱成像系统,其特征在于,所述的高速电机(6)和探测器阵列(8)通过导线(9)分别与开关装置(11)相连。
3.根据权利要求1所述的环形波长渐变滤光片和压缩感知的高光谱成像系统,其特征在于,所述镜头(7)通过高低可调的水平支架(4)紧贴在外壳圆形缺口(3)处。
4.根据权利要求1所述的环形波长渐变滤光片和压缩感知的高光谱成像系统,其特征在于,所述探测器阵列(8)垂直于水平支架(4)且置于镜头(7)的一次成像面上。
5.根据权利要求1所述的环形波长渐变滤光片和压缩感知的高光谱成像系统,其特征在于,所述探测器阵列(8)采用灰度探测器阵列或红绿蓝的彩色探测器阵列CFA中的任意一种。
6.一种环形波长渐变滤光片和压缩感知的高光谱成像方法,其特征在于,将同一场景不同时刻曝光的数据传输到混合光谱处理模块(12)中处理,利用压缩感知重构所选像素点对应位置的光谱信息,该方法的步骤包括如下:
步骤1,获取混合光谱图像:
调整环形波长渐变滤光片(5)、镜头(7)、探测器阵列(8)至适合拍摄场景的位置;
开关装置(11)控制环形波长渐变滤光片(5)转动,探测器阵列(8)对同一场景进行K次曝光,并同时将每次曝光的数据传输至混合光谱处理模块(12),将同一场景每次曝光的数据组成一张混合光谱图像,其中K表示待恢复重构图像的总数;
步骤2,选取像素点:
混合光谱处理模块(12)中的选取单元从每张混合光谱图像中选取相同平面位置处的未被选取的一个像素点;
步骤3,生成观测矩阵:
第一步,利用曝光开始波长值计算公式,混合光谱处理模块(12)中的开始波长计算单元计算每张混合光谱图像中所选像素点对应的拍摄曝光开始时的波长值;
第二步,利用曝光结束波长值计算公式,混合光谱处理模块(12)中的结束波长计算单元计算每张混合光谱图像中所选像素点对应的拍摄曝光结束时的波长值;
第三步,混合光谱处理模块(12)中的混叠矩阵生成单元生成一个行数与曝光次数K相等,列数与恢复重构出的高光谱图像的谱段总数L相等的矩阵,按照混合光谱图像序号逐行将1填充在对应序号混合光谱图像曝光开始时的波长值与曝光结束时的波长值之间的位置上,0填充在其余位置上,组成混叠矩阵A(x,y);
第四步,混合光谱处理模块(12)中的光强测算单元将环形波长渐变滤光片(5)沿圆周从零度位置处开始等分为N份,计算每份的平均波长λ,测量自然光透过不同特定波长λ滤光片后的光强组成的光强矩阵P,N的取值与恢复重构出的高光谱图像的谱段总数L相等;
第五步,混合光谱处理模块(12)中的观测单元将混叠矩阵A(x,y)与光强矩阵P点乘,得到所有混合光谱图像中所选平面位置的观测矩阵P(x,y);
步骤4,利用压缩感知重构所选像素点对应位置的光谱信息:
第一步,混合光谱处理模块(12)中的采样率判断单元判断K/L<1是否成立,若是,执行本步骤的第二步,否则,执行本步骤的第三步;
第二步,按照下式,根据优化目标函数和约束条件,混合光谱处理模块(12)中的欠采样重构单元重构所选像素点对应位置的光谱信息后执行步骤5:
X0(x,y)=arg min||ΨX(x,y)||1 s.t.Y(x,y)=P(x,y)×X(x,y)
其中,X0(x,y)表示重构所选像素点对应位置(x,y)处的光谱信息,argmin()表示取最小操作,Ψ表示稀疏基,X(x,y)表示真实高光谱图像中平面位置(x,y)处光谱信息,||·||1表示取1范数操作,s.t.表示条件约束符号,Y(x,y)表示所有混合光谱图像中所选像素点的像素值;
第三步,混合光谱处理模块12中的满采样重构单元将观测矩阵P(x,y)的广义逆矩阵P-1(x,y)与Y(x,y)叉乘,得到所选像素点对应位置的光谱信息;
步骤5,混合光谱处理模块(12)中的终止判断单元判断是否选完每张混合光谱图像中的所有像素点,若是,执行步骤6,否则,执行步骤2;
步骤6,混合光谱处理模块(12)中的高光谱图像合成单元对重构的光谱信息按照平面坐标进行组合,得到重构后的高光谱图像。
7.根据权利要求6所述的环形波长渐变滤光片和压缩感知的高光谱成像方法,其特征在于,步骤3第一步中所述的曝光开始波长值计算公式如下:
b(x,y,t)=(δ(x,y)+(t-1)×(ΔT1/T0×L+ΔT2/T0×L))mod L
其中,b(x,y,t)表示第t张混合光谱图像中平面位置(x,y)处的像素点对应的曝光开始时的波长值,t表示混合光谱图像的序号,1≤t≤T,T的取值与曝光次数K相等,δ(x,y)表示第一张混合光谱图像中平面位置(x,y)处的像素点对应的曝光开始时的波长值,ΔT1表示第t张混合光谱图像曝光所用时间,T0表示环形波长渐变滤光片(5)转动一周所用的时间,L表示恢复重构出的高光谱图像的谱段总数,ΔT2表示第t张混合光谱图像曝光后传输所用时间,mod表示取余操作。
8.根据权利要求7所述的环形波长渐变滤光片和压缩感知的高光谱成像方法,其特征在于,步骤3第二步中所述的曝光结束波长值计算公式如下:
e(x,y,t)=(b(x,y,t)+ΔT1/T0×L)mod L
其中,e(x,y,t)表示第t张混合光谱图像中平面位置(x,y)处的像素点对应的曝光结束时的波长值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911171598.XA CN110987182B (zh) | 2019-11-26 | 2019-11-26 | 环形波长渐变滤光片和压缩感知的高光谱成像系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911171598.XA CN110987182B (zh) | 2019-11-26 | 2019-11-26 | 环形波长渐变滤光片和压缩感知的高光谱成像系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110987182A CN110987182A (zh) | 2020-04-10 |
CN110987182B true CN110987182B (zh) | 2021-06-08 |
Family
ID=70087028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911171598.XA Active CN110987182B (zh) | 2019-11-26 | 2019-11-26 | 环形波长渐变滤光片和压缩感知的高光谱成像系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110987182B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554578B (zh) * | 2021-07-23 | 2024-05-31 | 奥比中光科技集团股份有限公司 | 一种光谱图像的确定方法、装置、终端和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030072333A1 (en) * | 2001-10-11 | 2003-04-17 | International Business Machines Corporation | NRZ to RZ conversion in mode-locked laser using wavelength locked loops |
US9645377B2 (en) * | 2015-02-06 | 2017-05-09 | The Johns Hopkins University | Compressive imaging systems and methods |
CN107560735B (zh) * | 2017-09-07 | 2019-07-23 | 西安电子科技大学 | 基于压缩感知的高分辨率红外成像系统及方法 |
CN108051086B (zh) * | 2017-12-14 | 2019-11-15 | 中国电子科技集团公司第四十一研究所 | 一种红外光谱变频测量方法 |
-
2019
- 2019-11-26 CN CN201911171598.XA patent/CN110987182B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110987182A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110175971B (zh) | 一种多光谱单像素成像的深度学习图像重构方法 | |
Oh et al. | Do it yourself hyperspectral imaging with everyday digital cameras | |
KR102269229B1 (ko) | 렌즈리스 초분광 영상 이미징 방법 및 그 장치 | |
Müller et al. | Super-resolution of multispectral satellite images using convolutional neural networks | |
CN103743482B (zh) | 一种光谱成像装置及光谱成像反演方法 | |
CN106679808B (zh) | 基于压缩光谱的关联成像系统及其方法 | |
CN106993121B (zh) | 一种基于压缩感知的高光谱图像采集成像系统与控制方法 | |
CN106768327B (zh) | 一种液晶可调谐滤波器成像光谱重建方法 | |
CN114972803B (zh) | 一种基于联合优化的快照式光谱成像方法和系统 | |
CN114022364B (zh) | 基于光谱库优化学习的多光谱图像光谱超分方法和系统 | |
CN110987182B (zh) | 环形波长渐变滤光片和压缩感知的高光谱成像系统及方法 | |
CN112834051A (zh) | 一种基于多光谱相机的辐射测温法 | |
CN110987181B (zh) | 窗扫型干涉高光谱成像系统的光程差在线定标方法 | |
CN115700727A (zh) | 基于自注意力机制的光谱超分辨率重建方法及系统 | |
CN111259991B (zh) | 一种噪声环境下欠采样单像素成像目标识别方法 | |
CN106595863B (zh) | 一种提高液晶可调谐滤波器光谱重建精度和分辨率的方法 | |
Xu et al. | Hyperspectral image reconstruction based on the fusion of diffracted rotation blurred and clear images | |
CN113790798B (zh) | 动态点目标跟踪测量用无缝光谱成像装置、系统及方法 | |
CN107655571A (zh) | 一种基于色散模糊的光谱成像系统及其光谱重建方法 | |
CN107170013B (zh) | 一种rgb相机光谱响应曲线的标定方法 | |
CN113256733A (zh) | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 | |
CN116753087A (zh) | 基于掩模技术的图谱合一测试结构 | |
JP3095970B2 (ja) | デコンボリューション処理方法及び装置 | |
Xu et al. | Fast non-iterative blind restoration of hyperspectral images with spectrally-varying PSFs | |
Wei et al. | Rapid hyperspectral imaging system via sub-sampling coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |