CN113870417B - 一种随机交错投影的无监督压缩拉曼高光谱成像方法 - Google Patents
一种随机交错投影的无监督压缩拉曼高光谱成像方法 Download PDFInfo
- Publication number
- CN113870417B CN113870417B CN202111128870.3A CN202111128870A CN113870417B CN 113870417 B CN113870417 B CN 113870417B CN 202111128870 A CN202111128870 A CN 202111128870A CN 113870417 B CN113870417 B CN 113870417B
- Authority
- CN
- China
- Prior art keywords
- hyperspectral
- raman
- compressed
- projection
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001069 Raman spectroscopy Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 35
- 238000007906 compression Methods 0.000 title claims abstract description 23
- 230000006835 compression Effects 0.000 title claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000001228 spectrum Methods 0.000 claims abstract description 38
- 230000003595 spectral effect Effects 0.000 claims abstract description 24
- 238000005070 sampling Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000010008 shearing Methods 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000001237 Raman spectrum Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 238000013178 mathematical model Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 229910044991 metal oxide Inorganic materials 0.000 claims description 3
- 150000004706 metal oxides Chemical class 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000005693 optoelectronics Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 19
- 238000003332 Raman imaging Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910052738 indium Inorganic materials 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007877 drug screening Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 230000008832 photodamage Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种随机交错投影的无监督压缩拉曼高光谱成像方法，包括：产生激光点阵，并行激发多个位点的拉曼散射；将拉曼散射随机交错地投影到成像光谱仪的输入平面上，在光谱采集探测器上形成多条压缩光谱带；从压缩光谱带中提取压缩的二维高光谱数据，利用高光谱重建算法在压缩感知框架下求解线性逆问题，重构出原始的三维高光谱图像。采用本发明方法可以将传统共聚焦拉曼高光谱成像的速度提高3个数量级以上；能够在没有光谱先验知识和模型训练的情况下准确重构高光谱图像；能够在高压缩比(>50)下同时在空间维度和光谱维度获得高保真度和高分辨率图像重建；本发明成像方法可拓展到不同形式的光谱成像技术，譬如红外高光谱成像等。
Description
技术领域
本发明属于高光谱成像领域，更具体的，涉及一种随机交错投影的无监督压缩拉曼高光谱成像技术。
背景技术
拉曼光谱(Raman spectroscopy)是一种利用分子化学键的固有振动模式来检测分子的分析方法。由于其无标记、无损的优点，拉曼光谱已广泛应用于药物筛选、医疗诊断、材料表征和环境监测等领域。将激光扫描与拉曼光谱相结合的共聚焦显微拉曼成像技术，可以无标记、高分辨率地提供样品中特定分子的空间分布情况。目前共聚焦拉曼成像常采用光栅扫描方案，但由于自发拉曼的散射横截面非常小，对空间每一位点进行采样时需要较长的积分时间，因此对大尺度空间进行成像时耗时长，严重降低了高光谱成像技术的分析通量。更严重的是，当共聚焦拉曼高光谱成像应用于光强敏感的场景时，如活体生物样本和纳米结构材料成像，高功率激光的长时间照射会产生光损伤效应，需要降低激发光功率，进一步延长了光谱的采集时间。
光谱激发和探测并行化是提高共聚焦拉曼高光谱成像速度的一种方法。例如，通过微透镜阵列或分时复用技术产生聚焦激光点阵，并行激发样品上多个位点的拉曼散射，最后将产生的散射光谱投影到阵列探测器的不同行像素上，形成多个无串扰的光谱带，从而同时采集多个焦点处的拉曼光谱。该方法本质上是采用多个光谱采集通道并行化数据采集达到提高数据采集效率的目的，但是该方法的采集速度最终受到光谱采集相机宽度的限制，无法进一步提高。
压缩感知技术是另一种光谱采集策略，它在加快光谱采集速度的同时减少了数据存储量，近年来受到了广泛的关注。拉曼光谱通常情况下只包含少量的化学特征或本征谱成分，因此只需少量精心设计的测量就足以捕捉这些特征信息或者恢复全光谱。其中，有监督的拉曼成像方法正是利用这些本征谱作为先验知识，求解线性可逆问题从而实现高光谱的重建。虽然已经取得了很大成功，但是该类方法难以应用于测量对象未知或者动态变化的场合。正因为如此，无监督的压缩拉曼成像方法是提高共聚焦拉曼成像速度的技术发展趋势。目前虽然有若干无监督压缩拉曼成像方法的成功案例，但是这些基于空间或者光谱维度随机欠采样的方法主要有两方面的问题：(1)利用微反射镜阵列(DMD)在空间或者光谱维度进行随机欠采样时，DMD总是有一半的像素处于关闭状态，减少了一半原本就比较微弱的拉曼信号；(2)这些方法在较高的压缩比时通常难以同时兼顾空间维度和光谱维度的保真度以及分辨率。
发明内容
针对上述现有技术，基于上述问题，本公开提供了一种随机交错投影的无监督压缩拉曼高光谱成像技术，解决现有技术在高压缩比(>50)下难以同时在空间维度和光谱维度获得高保真度图像重建的问题。该技术采用二维聚焦激光点阵并行激发样品中多个位置的拉曼散射，并在成像光谱仪输入端对拉曼散射的投影位置进行随机交错排列，继而将三维的光谱数据压缩在二维的光电探测器上，仅需一次曝光即可采集整个空间尺度的全部光谱信息。在此基础上，该技术在压缩感知框架下通过高光谱重建算法，在无需任何先验知识的条件下，在空间维度和光谱维度准确地重建出样品的高光谱图像，最终将共聚焦拉曼高光谱成像的速度提高了3个数量级以上。
为了解决上述技术问题，本发明提出的一种随机交错投影的无监督压缩拉曼高光谱成像方法，采用的光学器件包括：激光器、二向色镜、激光扫描模块、物镜、散射投影模块、成像光谱仪、探测器、计算机和模拟信号产生器；所述激光扫描模块包括第一扫描振镜组和中继光路；所述的散射投影模块由第二扫描振镜组和透镜构成；所述的探测器为二维阵列光电探测器；所述模拟信号产生器至少有4个模拟电压输出通道；所述模拟信号产生器用于产生采样波形和投影波形，所述的采样波形和投影波形在时间上同步；该成像方法步骤如下：
步骤一、激光点阵产生和并行激发拉曼散射：所述的激光器产生的激光束通过所述二向色镜反射进入所述激光扫描模块，依次经过第一扫描振镜组和中继光路，并在由所述模拟信号产生器产生的采样波形的作用下，以分时复用的原理在所述物镜的焦平面上产生二维聚焦激光点阵，并行激发样品中多个位置点的拉曼散射；
步骤二、拉曼散射投影和并行探测：所述二向色镜将所述二维聚焦激光点阵所激发的拉曼散射透射进入所述的散射投影模块，依次经过第二扫描振镜组和透镜，并在所述模拟信号产生器产生的投影波形的作用下，将所述拉曼散射同步扫描后随机交错地投影到所述成像光谱仪的输入平面上；所述成像光谱仪将交错排列的拉曼散射色散分光后成像于所述的二维阵列光电探测器的感光面上，设置积分时间，并行采集样品中多个位置点的拉曼散射，从而将三维的光谱数据压缩在二维阵列光电探测器上，形成多条压缩光谱带，实现三维高光谱信息的压缩探测；
步骤三、拉曼光谱数据处理和重建原始的三维高光谱图像：从所述探测器记录的多条压缩光谱带中提取压缩的二维高光谱数据，利用高光谱重建算法在压缩感知框架下求解线性可逆问题，从压缩的二维高光谱数据中重构出原始的三维高光谱图像。
进一步讲，有关器件的位置关系是：
所述中继光路将所述第一扫描振镜组成像于所述物镜的入瞳处。
所述第二扫描振镜组位于所述透镜的焦平面处。
所述第一扫描振镜组和第二扫描振镜组为均两轴振镜组，分别围绕相互垂直的两个轴快速转动，用于改变光束的偏转和俯仰角度。
所述二维聚焦激光点阵的激光焦点在点阵中等间隔地排列。
所述二维聚焦激光点阵激发的拉曼散射在所述成像光谱仪输入平面上的投影位置按照二维点阵排列，在垂直方向上采用等间隔排列方式，同一行焦点所激发的拉曼散射在水平方向上的投影位置被随机地置换；随机交错地投影到所述成像光谱仪的输入平面上由所述投影波形作用于所述第二扫描振镜组实现的。
所述采样波形在空间上对样品进行等间隔地采样，所述投影波形使得二维聚焦激光点阵所激发的拉曼散射在所述成像光谱仪的入口处的投影位置呈随机交错排列。
所述的二维阵列光电探测器包括(但不限于)电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)中的一种。
在本发明的成像方法中：
步骤一中所述的激光点阵产生和并行激发拉曼散射中的多个位置点均为Nx×Ny个位置；
步骤二中所述的拉曼散射投影和并行探测中的多个位置点均为Nx×Ny个位置；
步骤三中所述的拉曼光谱数据处理和重建原始的高光谱图像过程中，将所述二维阵列光电探测器记录的每一条压缩光谱带的像素值沿着y方向积分，获得Ny条压缩的光谱h1，h2，…，hNy，将所述的Ny条压缩的光谱h1，h2,…，hNy拼接成一个光谱向量H；
H＝CSPu＝Ku (1)
式(1)中，K为P，S，C依次作用的等效算子，其中P，S，C分别为随机置换算子、剪切算子和压缩算子；u为样品的原始高光谱数据，高光谱重建过程通过解决式(1)的逆问题来实现：
式(2)中，φ(u)为正则化函数，γ为正则化参数；其中，正则化函数采用总变分，即高光谱重建算法在梯度空间中搜索满足式(1)的最稀疏估计，结合散射投影图案对应的随机置换算子P求解式(2)，重建出原始的三维高光谱图像
激光点阵所激发的拉曼散射在所述成像光谱仪的输入平面上的投影位置按照散射投影图案随机交错排列，交错排列的高光谱数据u1表示为随机置换算子P作用于原始高光谱数据u，即u1＝Pu，在所述成像光谱仪内部，由于光栅的分光作用，到达所述二维阵列光电探测器的感光表面的高光谱数据u2表示为剪切算子S作用于交错排列的高光谱数据u1，即得到色散分光后的高光谱数据u2＝Su1，/>剪切算子S的剪切量由散射投影图案的格点间距以及所述成像光谱仪的放大倍数决定；由于所述二维阵列光电探测器的积分作用，探测器记录的压缩光谱数据为/>其中C为压缩算子，表示色散分光后的高光谱数据u2沿着x维度的积分；最后通过求解式(1)所示的数学模型的逆问题得到重建的原始的三维高光谱图像高光谱数据/>
与现有技术相比，本发明的有益效果是：
(1)将传统共聚焦拉曼高光谱成像的速度提高了3个数量级以上；
(2)拉曼散射采用随机交错投影方法，使得高光谱重建算法能够在没有光谱先验知识和模型训练的情况下准确重构高光谱图像；
(3)高光谱重建算法能够在高压缩比(>50)下同时在空间维度和光谱维度获得高保真度和高分辨率；
(4)可拓展到不同形式的光谱成像，譬如红外高光谱成像等。
附图说明
图1为本发明随机交错投影的无监督压缩拉曼高光谱成像的结构示意图。
图2为本发明中探测器7接收到的拉曼散射图像示意图。
图3为本发明随机交错投影的无监督压缩拉曼高光谱成像的图像形成和重构数学模型，其中：(1)示出了原始高光谱数据，(2)示出了随机交错投影后的高光谱数据，(3)示出了色散分光后的高光谱数据，(4)示出了探测器记录的压缩光谱数据，(5)示出了重建的高光谱数据。
图中：
1-激光器 2-二向色镜
3-激光扫描模块 31-第一扫描振镜组
32-中继光路 4-物镜
5-散射投影模块 51-第二扫描振镜组
52-透镜 6-成像光谱仪
7-探测器 8-计算机
9-模拟信号产生器 10-采样波形
11-采样图案 12-投影波形
13-散射投影图案 14-压缩光谱带
15-原始高光谱数据 16-随机交错投影后的高光谱数据
17-色散分光后的高光谱数据 18-探测器记录的压缩光谱数据
19-重建的高光谱数据
具体实施方式
下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。
本发明提出的随机交错投影的无监督压缩拉曼高光谱成像方法的设计构思是，采用的硬件结构基本上包括的光电器件有：激光器，用于激发拉曼散射；二向色镜，用于反射激光束，透射拉曼散射光束；激光扫描模块，基于分时复用的原理在后述物镜的焦平面上产生二维的聚焦激光点阵(比如但不限于50×50共2500个焦点)，并行激发样品中多个位置的拉曼散射；物镜，将激光束聚焦在样品表面，同时收集样品中分子发射的拉曼散射；散射投影模块，同步扫描退扫描之后的拉曼散射，并将激光点阵中各个焦点所激发的拉曼散射随机交错地投影到后述成像光谱仪的输入平面；成像光谱仪，将拉曼散射中不同波数成分的散射分量从空间上分开，并将它们聚焦于后述探测器的感光面上；探测器，用于将拉曼散射的光信号转化成电信号；模拟信号产生器，产生采样波形和投影波形，分别输入给所述激光扫描模块和散射投影模块，控制激发光束和拉曼散射光束的偏转方向；计算机，用于控制所述模拟信号产生器以及采集、处理所述探测器获取的图像数据；高光谱重建算法，用于重建拉曼高光谱图像。
如图1所示，本发明提出的一种随机交错投影的无监督压缩拉曼高光谱成像方法，其中的硬件结构如下，包括如下的光电器件：
激光器1，用于激发待测样品中的分子振动，产生拉曼散射。
二向色镜2，反射激光束，透射拉曼散射。所述二向色镜将激光器1产生的激光束反射进入激光扫描模块3。
激光扫描模块3，包括第一扫描振镜组31和中继光路32。所述第一扫描振镜组为两轴振镜组，可分别围绕相互垂直的两个轴快速转动，改变拉曼激发光束的偏转和俯仰角度；所述中继光路为望远镜系统，将所述第一扫描振镜组31成像于所述物镜4的入瞳处。所述激光扫描模块在采样波形10的作用下，基于分时复用的原理，在物镜4的焦平面上产生二维的聚焦激光点阵，并行激发样品中多个位置点的拉曼散射。
物镜4，将激光束聚焦在样品表面，同时收集样品中分子发射的拉曼散射。拉曼散射被所述物镜收集后沿着激发光的反方向原路返回，并在所述第一扫描振镜组31处实现退扫描。进一步的，拉曼散射在二向色镜2处与激发光束分离后进入散射投影模块5。
散射投影模块5，进一步包括第二扫描振镜组51和透镜52。所述第二扫描振镜组为两轴振镜组，可分别围绕相互垂直的两个轴快速转动，改变拉曼散射光束的偏转和俯仰角度；所述第二扫描振镜组51位于所述透镜52的焦平面处。所述激光扫描模块在投影波形12的作用下，将激光点阵所激发的拉曼散射同步扫描后随机交错地投影到所述成像光谱仪6的输入平面上。
成像光谱仪6，将交错排列的拉曼散射色散分光后成像于所述探测器7的感光面上。
本实施例中，探测器7为二维阵列光电探测器，如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或者其它可用类型的光电探测元件。所述探测器7将交错投影后的拉曼散射信号转化成电信号后传输给计算机8。
计算机8，一方面，控制模拟信号产生器9输出电压波形；另一方面，读取、保存和处理所述探测器7所采集的拉曼散射数据。
模拟信号产生器9，在所述计算机8的控制下产生模拟电压波形。所述模拟信号产生器9至少有四个模拟电压输出通道。其中两个通道输出所述采样波形10，包括电压波形Vx和Vy，作用于所述第一扫描振镜组31，分别控制激光束的偏转和俯仰角度；所述电压波形Vx和Vy均为步长恒定的阶梯状电压波形，二者组合的效果是：以分时复用的原理在所述物镜4的焦平面上产生二维的聚焦激光点阵，波形Vy的步长等于Vx的步长。并行激发样品中多个位置的拉曼散射。图1中，采样波形10可产生3×3的激光点阵。以此类推，通过改变电压波形Vx和Vy的台阶数，可产生激光焦点数目更多的激光点阵，比如50×50的激光点阵。另外两个通道输出所述投影波形12包括V1和V2，作用于所述第二扫描振镜组51，分别控制拉曼散射光束的偏转和俯仰角度；所述投影波形12中的V2为步长恒定的阶梯状电压波形，V1为波长随机可变的台阶状电压波形；二者的组合效果是：聚焦激光点阵所激发的拉曼散射在所述成像光谱仪的输入平面上呈二维阵列排列，但是来自同一行焦点的拉曼散射的水平投影位置被随机置换，呈现交错排列方式。所述采样波形10与所述投影波形12在时间上同步，保证了所述成像光谱仪6上的散射投影位置与激光点阵中的焦点一一映射。
在所述物镜4的焦平面上，激光点阵在时间上按照采样图案11所示序号依次扫描相应的焦点位置。由于每一行中的序号是从左到右依次递增，对应的激光焦点在第一扫描振镜组的作用下，按照从左到右的顺序依次扫描每一行的所有焦点位置，然后进入下一行，依旧是按照从左到右的顺序扫描，直至聚焦激光遍历激光点阵中的所有焦点位置。并且，激光焦点在焦平面上无论是沿着水平方向还是沿着垂直方向均为等间隔地排列。在图1所示的实施例中，采样图案11为一个9×9激光点阵的排列方式。
投影波形12，包括电压波形V1和电压波形V2，作用于所述第二扫描振镜组51，分别控制拉曼散射光束的偏转和俯仰角度。所述电压波形V2为步长恒定的阶梯状电压波形，但是电压波形V1是步长随机变化的台阶状电压波形，二者组合的效果是：激光点阵所激发的拉曼散射在所述成像光谱仪6的输入平面上按照散射投影图案13所示的序号排列。散射投影图案13中每一行的序号不再是从左到右依次递增，而是呈现随机的排列方式，每一行的序号的排列方式都不相同。对应地，激光点阵所激发的拉曼散射在所述成像光谱仪6输入平面上的投影以二维点阵排列，虽然在垂直方向上仍然采用等间隔排列，但同一行焦点所激发的拉曼散射在水平方向上的投影位置被随机地置换。更具体地，水平投影位置可由计算机或其它方法产生的随机数决定。该交错投影方式为使用压缩感知算法重建原始高光谱图像创造条件。在图1的实施例中，散射投影图案为9×9激光点阵所激发的拉曼散射的投影位置的一种排列方式，其中数字表示该散射投影位置所对应的激光焦点在激光点阵中所在列的索引值。对于激光焦点数目更多的激光点阵，其拉曼散射的投影位置仍可采用类似的方式进行随机置换。
图2中示出了采用激光点阵激发和随机交错投影的拉曼散射经成像光谱仪6分光后在探测器7的感光面上呈现出多个相互平行的压缩光谱带14，彼此之间的距离大于光谱带的宽度。根据本公开发明，所述压缩光谱带14的数目等于激光点阵在垂直方向的焦点数目Ny。每条所述压缩光谱带均为激光点阵中同一行焦点所激发的拉曼光谱经过一定的平移后叠加而成。每一个焦点的拉曼光谱平移量由其在所述散射投影图案13中对应位置的索引值以及所述散射投影图案的格点间距共同决定。针对每一条所述光谱带，将其像素值沿着垂直方向求和，即可获得若干相互无串扰的混合光谱h1,h2,…hNy。将这些光谱向量拼接，即可获得压缩光谱向量H，其维度是Ny×Nλ,其中Nλ为所述探测器7在水平方向具有的像素点数。
如图1和图2所示，本发明随机交错投影的无监督压缩拉曼高光谱成像方法的图像形成和重构过程可以用图3所示的数学模型表示。更具体地，如图3中的(1)所示，当待测物体用Nx×Ny的激光点阵激发时，其原始高光谱数据15可用表示。激光点阵所激发的拉曼散射在所述成像光谱仪6的输入平面上的投影位置按照所述散射投影图案13排列，相应的高光谱数据可表示为随机置换算子P作用于原始的高光谱数据15，得到随即交错投影后的高光谱数据16，Pu，如图3中的(2)所示。在成像光谱仪6内部，由于光栅的分光作用，到达所述探测器7的感光表面的高光谱数据可进一步表示为剪切算子S作用于Pu，得到色散分光后的高光谱数据17，SPu，如图3中的(3)所示。剪切量由散射投影图案13的格点间距以及成像光谱仪6的放大倍数决定。由于所述探测器7的积分作用，如图3中的(4)所示，探测器记录的压缩光谱数据18可表示为，/>其中C为压缩算子，表示高光谱数据沿着x维度的积分。最后通过求解数学模型问题得到重建的高光谱数据19，如图3中的(5)所示。综合以上步骤，本发明成像方法的图像形成过程可以用以下数学模型表示：
H＝CSPu＝Ku (1)
式中K为P,S,C依次作用的等效算子。本公开的一种随机交错投影的无监督压缩拉曼高光谱成像方法的高光谱重建过程可以通过解决(1)式的逆问题来实现：
式中φ(u)为正则化函数，γ为正则化参数。在本公开实施实列中，正则化函数采用总变分，即高光谱重建算法在梯度空间中搜索满足(1)式的最稀疏估计。需要指出的是，本公开的拉曼高光谱成像方法能够准确重建高光谱图像的关键在于拉曼散射随机交错的投影方式。因此，光谱重建过程的正则化函数不限于其它正则化方法。
本发明随机交错投影的无监督压缩拉曼高光谱成像方法的工作过程如下：
(一)激光点阵产生和并行激发拉曼散射过程：
接通第一扫描振镜组31和第二扫描振镜组51的电源，打开计算机8，打开模拟信号产生器9的运行程序，输出采样波形10；所述的激光器1产生的激光束通过所述二向色镜2反射进入所述激光扫描模块3，依次经过第一扫描振镜组31和中继光路32，并在由所述模拟信号产生器9产生的采样波形10的作用下，以分时复用的原理在物镜4的焦平面上产生采样图案11所示的聚焦激光点阵，并行激发样品中Nx×Ny个位置的拉曼散射。
(二)拉曼散射投影和并行探测过程：
所述二向色镜2将所述二维聚焦激光点阵所激发的拉曼散射透射进入所述的散射投影模块5，依次经过第二扫描振镜组51和透镜52，由模拟信号产生器9的运行程序同步输出散射投影波形12，并在所述模拟信号产生器9产生的投影波形12的作用下，将所述拉曼散射同步扫描后随机交错地投影到所述成像光谱仪6的输入平面上并按照散射投影图案13排列；打开探测器7的运行软件，设置积分时间，并行采集样品中Nx×Ny个位置的拉曼散射，从而将三维的光谱数据压缩在二维阵列光电探测器上，形成多条压缩光谱带14，实现三维高光谱信息的压缩探测；
(三)拉曼光谱数据处理和重建原始的三维高光谱图像过程：
将探测器7记录的每一条压缩光谱带的像素值沿着y方向积分，获得Ny条压缩的光谱h1，h2，…，hNy，将所述的Ny条压缩的光谱h1，h2,…，hNy拼接成一个光谱向量H；
H＝CSPu＝Ku (1)
式(1)中，K为P，S，C依次作用的等效算子，其中P，S，C分别为随机置换算子、剪切算子和压缩算子；u为样品的原始高光谱数据，高光谱重建过程通过解决式(1)的逆问题来实现：
式(2)中，φ(u)为正则化函数，γ为正则化参数；其中，正则化函数采用总变分，即高光谱重建算法在梯度空间中搜索满足式(1)的最稀疏估计，结合散射投影图案对应的随机置换算子P求解式(2)，重建出原始的三维高光谱图像
激光点阵所激发的拉曼散射在所述成像光谱仪的输入平面上的投影位置按照散射投影图案随机交错排列，交错排列的高光谱数据u1表示为随机置换算子P作用于原始高光谱数据u，即u1＝Pu，在所述成像光谱仪内部，由于光栅的分光作用，到达所述二维阵列光电探测器的感光表面的高光谱数据u2表示为剪切算子S作用于交错排列的高光谱数据u1，即得到色散分光后的高光谱数据u2＝Su1，/>剪切算子S的剪切量由散射投影图案的格点间距以及所述成像光谱仪的放大倍数决定；由于所述二维阵列光电探测器的积分作用，探测器记录的压缩光谱数据为/>其中C为压缩算子，表示色散分光后的高光谱数据u2沿着x维度的积分；最后通过求解式(1)所示的数学模型的逆问题得到重建的原始的三维高光谱图像高光谱数据/>
尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。
Claims (10)
1.一种随机交错投影的无监督压缩拉曼高光谱成像方法，采用的光电器件包括：激光器(1)、二向色镜(2)、激光扫描模块(3)、物镜(4)、散射投影模块(5)、成像光谱仪(6)、探测器(7)、计算机(8)和模拟信号产生器(9)；所述激光扫描模块(3)包括第一扫描振镜组(31)和中继光路(32)；所述的散射投影模块(5)由第二扫描振镜组(51)和透镜(52)构成；所述的探测器(7)为二维阵列光电探测器；所述模拟信号产生器(9)至少有4个模拟电压输出通道；其特征在于，所述模拟信号产生器(9)用于产生采样波形(10)和投影波形(12)，所述的采样波形(10)和投影波形(12)在时间上同步；
该方法包括：
步骤一、激光点阵产生和并行激发拉曼散射：所述的激光器(1)产生的激光束通过所述二向色镜(2)反射进入所述激光扫描模块(3)，依次经过第一扫描振镜组(31)和中继光路(32)，并在由所述模拟信号产生器(9)产生的采样波形(10)的作用下，以分时复用的原理在所述物镜(4)的焦平面上产生二维聚焦激光点阵，并行激发样品中多个位置点的拉曼散射；
步骤二、拉曼散射投影和并行探测：所述二向色镜(2)将所述二维聚焦激光点阵所激发的拉曼散射透射进入所述的散射投影模块(5)，依次经过第二扫描振镜组(51)和透镜(52)，并在所述模拟信号产生器(9)产生的投影波形(12)的作用下，将所述拉曼散射同步扫描后随机交错地投影到所述成像光谱仪(6)的输入平面上；所述成像光谱仪(6)将交错排列的拉曼散射色散分光后成像于所述的二维阵列光电探测器的感光面上，设置积分时间，并行采集样品中多个位置点的拉曼散射，从而将三维的光谱数据压缩在二维阵列光电探测器上，形成多条压缩光谱带(14)，实现三维高光谱信息的压缩探测；
步骤三、拉曼光谱数据处理和重建原始的三维高光谱图像：从所述探测器(7)记录的多条压缩光谱带(14)中提取压缩的二维高光谱数据，利用高光谱重建算法在压缩感知框架下求解线性可逆问题，从压缩的二维高光谱数据中重构出原始的三维高光谱图像。
2.根据权利要求1所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，所述中继光路(32)将所述第一扫描振镜组(31)成像于所述物镜(4)的入瞳处。
3.根据权利要求1所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，所述第二扫描振镜组(51)位于所述透镜(52)的焦平面处。
4.根据权利要求1所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，所述第一扫描振镜组(31)和第二扫描振镜组(51)为均两轴振镜组，分别围绕相互垂直的两个轴快速转动，用于改变光束的偏转和俯仰角度。
5.根据权利要求1所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，所述二维聚焦激光点阵的激光焦点在点阵中等间隔地排列。
6.根据权利要求1所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，所述二维聚焦激光点阵激发的拉曼散射在所述成像光谱仪(6)输入平面上的投影位置按照二维点阵排列，在垂直方向上采用等间隔排列方式，同一行焦点所激发的拉曼散射在水平方向上的投影位置被随机地置换；随机交错地投影到所述成像光谱仪(6)的输入平面上由所述投影波形(12)作用于所述第二扫描振镜组(51)实现的。
7.根据权利要求1所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，所述采样波形(10)在空间上对样品进行等间隔地采样，所述投影波形(12)使得二维聚焦激光点阵所激发的拉曼散射在所述成像光谱仪(6)的入口处的投影位置呈随机交错排列。
8.根据权利要求1所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，所述的二维阵列光电探测器包括电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)中的一种。
9.根据权利要求1所述的一种随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，
步骤一中，所述的激光点阵产生和并行激发拉曼散射中的多个位置点均为Nx×Ny个位置；
步骤二中，所述的拉曼散射投影和并行探测中的多个位置点均为Nx×Ny个位置；
步骤三中，所述的拉曼光谱数据处理和重建原始的高光谱图像过程中，将所述二维阵列光电探测器记录的每一条压缩光谱带(14)的像素值沿着y方向积分，获得Ny条压缩的光谱h1，h2，…，hNy，将所述的Ny条压缩的光谱h1，h2,…，hNy拼接成一个光谱向量H；
H＝CSPu＝Ku (1)
式(1)中，K为P，S，C依次作用的等效算子，其中P，S，C分别为随机置换算子、剪切算子和压缩算子；u为样品的原始高光谱数据，高光谱重建过程通过解决式(1)的逆问题来实现：
式(2)中，φ(u)为正则化函数，γ为正则化参数；其中，正则化函数采用总变分，即高光谱重建算法在梯度空间中搜索满足式(1)的最稀疏估计，结合散射投影图案对应的随机置换算子P求解式(2)，重建出原始的三维高光谱图像
10.根据权利要求9所述的随机交错投影的无监督压缩拉曼高光谱成像方法，其特征在于，激光点阵所激发的拉曼散射在所述成像光谱仪(6)的输入平面上的投影位置按照散射投影图案随机交错排列，交错排列的高光谱数据u1表示为随机置换算子P作用于原始高光谱数据u，即u1＝Pu，
在所述成像光谱仪(6)内部，由于光栅的分光作用，到达所述二维阵列光电探测器的感光表面的高光谱数据u2表示为剪切算子S作用于交错排列的高光谱数据u1，即得到色散分光后的高光谱数据u2＝Su1，剪切算子S的剪切量由散射投影图案的格点间距以及所述成像光谱仪(6)的放大倍数决定；
由于所述二维阵列光电探测器的积分作用，探测器记录的压缩光谱数据为其中C为压缩算子，表示色散分光后的高光谱数据u2沿着x维度的积分；
最后通过求解式(1)所示的数学模型的逆问题得到重建的原始的三维高光谱图像高光谱数据
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111128870.3A CN113870417B (zh) | 2021-09-26 | 2021-09-26 | 一种随机交错投影的无监督压缩拉曼高光谱成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111128870.3A CN113870417B (zh) | 2021-09-26 | 2021-09-26 | 一种随机交错投影的无监督压缩拉曼高光谱成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113870417A CN113870417A (zh) | 2021-12-31 |
| CN113870417B true CN113870417B (zh) | 2024-05-24 |
Family
ID=78994457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111128870.3A Active CN113870417B (zh) | 2021-09-26 | 2021-09-26 | 一种随机交错投影的无监督压缩拉曼高光谱成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870417B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103884704A (zh) * | 2014-03-10 | 2014-06-25 | 北京理工大学 | 分光瞳激光共焦布里渊-拉曼光谱测量方法及装置 |
| CN106442467A (zh) * | 2016-10-31 | 2017-02-22 | 北京信息科技大学 | 空间自调焦激光共焦成像拉曼光谱探测方法与装置 |
| CN111650180A (zh) * | 2020-06-08 | 2020-09-11 | 西安电子科技大学 | 一种基于信号编码和空间压缩的拉曼光谱成像系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103091299B (zh) * | 2013-01-21 | 2015-01-21 | 北京理工大学 | 激光差动共焦图谱显微成像方法与装置 |
| CN109507166A (zh) * | 2017-09-15 | 2019-03-22 | Ravr有限公司 | 一种双通道微型拉曼光谱仪 |
-
2021
- 2021-09-26 CN CN202111128870.3A patent/CN113870417B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103884704A (zh) * | 2014-03-10 | 2014-06-25 | 北京理工大学 | 分光瞳激光共焦布里渊-拉曼光谱测量方法及装置 |
| CN106442467A (zh) * | 2016-10-31 | 2017-02-22 | 北京信息科技大学 | 空间自调焦激光共焦成像拉曼光谱探测方法与装置 |
| CN111650180A (zh) * | 2020-06-08 | 2020-09-11 | 西安电子科技大学 | 一种基于信号编码和空间压缩的拉曼光谱成像系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于EZW的高光谱图像压缩技术研究;卫俊霞;相里斌;段晓峰;许朝晖;薛利军;光谱学与光谱分析;20111231;第31卷(第8期);全文 * |
| 扩散拉曼层析成像方法的可行性模拟研究;吴雨桐;贾梦宇;王兵元;赵会娟;高峰;;中国激光;20180102(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113870417A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11175489B2 (en) | Smart coded access optical sensor | |
| US20070097363A1 (en) | Coding and modulation for hyperspectral imaging | |
| US20100134792A1 (en) | Spectroscopic imaging method and system for exploring the surface of a sample | |
| CN104054266A (zh) | 一种时间分辨单光子或极弱光多维成像光谱系统及方法 | |
| US11231323B2 (en) | Time-resolved hyper-spectral single-pixel imaging | |
| CN114279564B (zh) | 一种并行压缩感知计算层析成像光谱仪及其成像光谱重建方法 | |
| JP2013531816A5 (zh) | ||
| US20170030835A1 (en) | Parallel acquisition of spectral signals from a 2-d laser beam array | |
| KR20200032203A (ko) | 코드화된 애퍼쳐 스펙트럼 이미징 디바이스 | |
| JP2022165355A (ja) | 撮像装置 | |
| CN113870417B (zh) | 一种随机交错投影的无监督压缩拉曼高光谱成像方法 | |
| US20070188747A1 (en) | System and method for image reconstruction in a fiber array spectral translator system | |
| US11199448B2 (en) | Spectroscopic measurement device and spectroscopic measurement method | |
| EP2980625A1 (en) | Spectral imaging using single-axis spectrally dispersed illumination | |
| CN108627494B (zh) | 一种用于快速二维拉曼光谱扫描成像的系统 | |
| CN102621111A (zh) | 用于扫描显微成像样本的方法和装置 | |
| CN112986160B (zh) | 一种基于dkdp晶体实现扫描偏转的多光谱高速成像装置 | |
| JP6984736B2 (ja) | 撮像装置及び撮像方法 | |
| Lu et al. | A programmable optical filter with arbitrary transmittance for fast spectroscopic imaging and spectral data post-processing | |
| RU2658140C1 (ru) | Конфокальный спектроанализатор флуоресцентных изображений | |
| Leblanc et al. | Interferometric lensless imaging: rank-one projections of image frequencies with speckle illuminations | |
| Martins et al. | Fast hyperspectral single-pixel imaging | |
| CN113702357B (zh) | 基于随机光栅压缩感知的激光诱导击穿光谱装置及测量方法 | |
| WO2023228453A1 (ja) | 分光装置、ラマン分光測定装置、及び分光方法 | |
| CN215985749U (zh) | 基于随机光栅压缩感知的激光诱导击穿光谱装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |