CN102393248A

CN102393248A - 一种时间分辨极弱光多光谱成像系统及方法

Info

Publication number: CN102393248A
Application number: CN2011103287480A
Authority: CN
Inventors: 俞文凯; 翟光杰; 王超
Original assignee: National Space Science Center of CAS
Current assignee: National Space Science Center of CAS
Priority date: 2011-10-26
Filing date: 2011-10-26
Publication date: 2012-03-28
Anticipated expiration: 2031-10-26
Also published as: CN102393248B

Abstract

本发明提供一种时间分辨极弱光多光谱成像系统及方法，属于极弱光多光谱成像领域，所述系统通过触发器触发确保时间分辨性，结合触发器触发技术、压缩传感理论、DLP数字光处理技术、分光技术、光纤耦合技术和单光子计数器线性阵列探测技术，实现对极弱光对象的多光谱高分辨率的二维彩色成像。该系统由极弱光光源或自发光生物、触发器、滤光片、光学成像系统、DMD微镜阵列、光学聚焦收集系统、分光光度计、由若干对于不同波长的单光子计数器组成的单光子计数器线阵、驱动控制模块和最优化算法模块构成，灵敏度可达单光子水平，可广泛应用于生物自发光检测、医疗成像、数据采集、通信、天文、军事、超光谱成像、量子测量等领域。

Description

一种时间分辨极弱光多光谱成像系统及方法

技术领域

本发明涉及极弱光探测的技术领域，特别涉及一种时间分辨极弱光多光谱成像系统及方法。

背景技术

多光谱成像是获得和显示精确颜色信息的重要技术，原因之一是多光谱图像包含了更多的光谱信息，原因之二是多光谱成像技术很好地克服了同色异谱现象。极弱光对象的多光谱成像更是在多种领域有广泛的应用前景。

本发明是基于前人工作的改进和创新。在该领域，本研究所已有一份专利《一种极弱光多光谱成像方法及其系统》(申请号或专利号：201110166471.6，申请人或专利权人：中国科学院空间科学与应用研究中心)，该专利是本所前人所做工作，目的是做极弱光多光谱成像，其特征在于，该极弱光多光谱成像系统采用压缩传感理论和DLP技术，并以单光子计数器线阵为探测元件，实现了单光子级别的极弱光多光谱彩色成像，但还存在一定的技术缺陷，如该专利所提供的系统没有设置触发器，仅能对静态物体成像，缺乏时间分辨，且所用算法较慢，没有考虑系统噪声对图像重建质量的影响，图像重建时间较长、效果较差、不够直观，观察对象描述不明确，没有分类讨论，透射物体和反射物体的成像没有区分处理的方案，光衰减器和滤光片的设置条件没有明确说明，系统结构图尚还存在缺陷，没有考虑计数系统与DMD的同步问题，尚无DMD的驱动控制，系统装置尚不完善(有一些技术上的漏洞)，实验条件不成熟，计数成像技术尚处在探索阶段。现基于此，特提出基于压缩传感理论的时间分辨极弱光多光谱成像系统，以解决上述一系列的缺陷。此外，该系统与本所申请的另一项专利《一种时间分辨单光子计数二维成像系统及方法》的区别在于，该系统采用了分光光度计和单光子探测器线阵，技术更加复杂，不局限于后者的灰度成像，而能够进行光谱分析，成多光谱彩色像，应用更加广泛，能精确显示颜色信息，并克服同色异谱现象，使得能在生物医疗成像上做定性定量分析。

所谓时间分辨就是能观察物理和化学的瞬态过程并能分辨其时间，在液相中，很多物理和化学过程，如分子的顺-反异构和定向弛豫、电荷和质子的转移、激发态分子碰撞预解离、能量传递和荧光寿命以及电子在水中溶剂化等，仅需10^-8秒就能完成。只有皮秒激光脉冲才有可能及时地观察这些极快的过程。在本发明中，就想在极端的时间间隔内进行单光子探测，输出时间可辨的连续变化的图像帧(采样时间间隔足够快，就能制作成视频输出)，如观察生物切片下细胞的生长情况。

当光强衰减到一定程度，达到单光子水平，就变成了离散脉冲信号。单光子是一种极微弱光，被认为是光不可分割的最小能量单位，是可以探测的极限。单光子探测技术应用于生物自发光、医疗诊断、非破坏性物质分析、天文观测、空间科学、高速现象检测、高分辨光谱测量、量子光学等领域，并在其中扮演着重要角色。一种典型的极弱光探测器就是单光子探测器，计数型的单光子探测器(即单光子计数器)工作在饱和状态，灵敏度可以到达单光子水平，采用统计学方法获得光子密度图像；具备光子数分辨能力的单光子探测器工作在亚饱和状态，输出的电信号幅值随探测到的光子数的变化而变化，据此电信号获得极弱光图像。而使用点探测器无论在探测灵敏度、波长范围具有更宽的选择范围，成本较面元探测器优势明显，利用点探测器实现单光子计数成像成为未来单光子水平成像的重要发展趋势。虽然目前的单光子探测器响应光谱范围覆盖了红外、可见光等波段，但是对于单个单光子探测器，它的响应光谱范围很窄，一般用来探测单一频率的光。现在多个单光子探测器组合，便可用来探测多个光谱波长的光，可做多光谱分析。

上述的单光子计数方法是利用弱光照射下光子探测器输出电信号自然离散的特点，采用脉冲甄别技术和数字计数技术把极其微弱的信号识别并提取出来，这种方法受不稳定因素的影响较小，可消除探测器大部分热噪声的影响，大大提高了测量结果的信噪比，并且可以输出数字信号，适合与微机接口连接进行数字数据处理。

本发明是基于压缩传感理论(Compressive Sensing，简称CS)的，这套理论是由E.J.Candès等人提出的，它打破了传统的线性采样模式，表明可压缩信号的少量线性随机投影中包含足够的信息来重建原信号。

上述CS理论包括两部分：压缩采样和稀疏重建。

压缩采样，是被测信号由高维向低维映射的过程，假设x∈Rⁿ是被测数据，y∈R^k是观测数据，Φ∈R^k×n是随机投影矩阵(k＜＜n)，e∈R^k是测量噪声，那么，压缩采样的过程可以描述为(1)式：

y＝Φx+e (1)

其中Φ满足RIP准则；如果x是变换域稀疏的，即θ＝Ψx，Ψ是稀疏变换矩阵，那么(1)式变化为(2)式：

y＝ΦΨ^-1θ+e (2)

Φ与Ψ越不相关，采样所需的测量数k越小，计算量越小，且ΦΨ^-1需满足RIP准则，所以在本发明中，(2)式中Ψ为小波变换矩阵，Φ为伪随机二值矩阵；

假设测量数为k，二维图像的像素总数为n，则(1)式中的测量矩阵则为Φ＝{Φ₁，…，Φ_i，…，Φ_k}，Φ_i是Φ的第i行，把a×b像素的二维图像的列首尾相连，化成n×1(其中n＝a×b)的一维列向量，对应(1)式中的x，其中的每一个元素代表相应位置处的光子密度。主流的DMD由1024×768的阵列构成，它的列首尾相连，化成1×n的一维行向量，对应测量矩阵Φ中的一行，其中的每个元素代表相应位置处光子透射到光学聚焦收集系统的概率，而测量矩阵Φ共计k维，即k行n列的矩阵；

假设测量周期为t，即每段的时间间隔，在这段时间间隔内，驱动控制模块确保微镜阵列的随机翻转，单光子计数器探测到的光子数为N，相当于光子密度图像与DMD上的随机测量阵列的内积值，对应于(1)式中观察向量y的一个元素，

式中，Φ_i，j、x_j分别是Φ_i和x的第j个元素。根据测量矩阵，由驱动控制模块控制每次测量时DMD微镜的排列，重复k次测量，就可以得到该t时间间隔内整组观测数据y(y为k×1的一维列向量)；

所述的稀疏重建是在已知观测数据y和测量矩阵Φ的条件下求解(1)式中的x，这是一个ill-posed问题，一般用最优化算法求解，可描述为(3)式：

\min_{x &Element; R^{n}} (\frac{1}{2} {| | y - Φx | |}_{2}^{2} + τ {| | x | |}_{1}) - - - (3)

如果x是变换域稀疏的，对应于(2)式的重建问题可以描述为(4)式：

\min_{x &Element; R^{n}} (\frac{1}{2} {| | y - Φx | |}_{2}^{2} + τ {| | Ψx | |}_{1}) - - - (4)

(3)式和(4)式中，第一项是最小二乘约束，记为f(x)；第二项是对x稀疏度的一种约束；两项之和是目标函数，记为

DLP(Digital Light Processing)数字光处理技术是美国德州仪器公司(TI)提出的一项技术，即先将影像信号经过数字处理，然后再把光投影出来。其核心是DLP芯片——数字微镜器件(Digital Micro-mirror Device，简称DMD)，这目前是世界上最精密的光开关。DMD是一种极小的反射镜，它是包含有成千上万个安装在铰链上的微镜的矩阵(主流的DMD由1024×768的阵列构成)，每个微镜的大小小于人的头发丝的五分之一，每一个镜片可以通断一个像素的光，这些微镜皆悬浮着，并均可以静电方式向两侧倾斜10-12°左右(这里取+12°和-12°)，把这两种状态记为1和0，分别对应“开”和“关”，当镜片不工作时，它们处于0°的“停泊”状态。对每一个镜片下的存储单元都以二进制平面信号进行电子化寻址。决定每个镜片倾斜在哪个方向上为多长时间的技术被称为脉冲宽度调制(PWM)。镜片可以在一秒内开关1000多次，这一相当快的速度允许数字灰度和颜色再现。

发明内容

本发明的目的在于，为解决物体不再是静态的实际问题，实现对随时间连续变化的物体的观测成像，满足了时间分辨地观察物理化学生物瞬态变化过程的强烈需求，同时结合触发器触发技术、压缩传感(Compressive Sensing，CS)理论、DLP数字光处理技术、分光技术、光纤耦合技术和单光子计数器线性阵列探测技术，解决采用单光子计数器这种点探测器实现二维成像以及极弱光多光谱成像问题，进而提供一种时间分辨极弱光多光谱成像系统及方法。

本发明提供的技术方案将各个响应波段的单光子计数器组成线性阵列，结合分光技术，即可实现极弱光多光谱二维成像。

为实现上述目的，本发明提供一种时间分辨极弱光多光谱成像系统，该系统主要基于压缩传感理论，用于对随时间动态变化的彩色物体成像，输出按时间序列排列的连续彩色视频图像帧，所述系统包含：触发器、光学成像系统、DMD微镜阵列、光学聚焦收集系统、分光光度计、单光子计数器线阵、驱动控制模块和最优化算法模块；

所述触发器由位于其前端的极弱光触发源触发，该触发器输出端与驱动控制模块的输入端相连，当触发器被触发时，驱动控制模块将输出驱动控制信号触发与其输出端相连的DMD微镜阵列和单光子计数器线阵开始工作，则该DMD微镜阵列开始翻转，单光子计数器线阵同时开始计数，反射光路上的光学聚焦收集系统和分光光度计用于对光线的聚焦收集和分光，单光子计数器线阵是对分光后的各波长光进行单光子计数；

所述单光子计数器线阵的输出端和驱动控制模块的一个输出端，均与所述最优化算法模块的输入端相连，作为最优化算法模块的输入，则该最优化算法模块的作用即根据输入的单光子计数器线阵的测量值与从驱动控制模块里导出的选定区域的随机测量矩阵来重建出对应各波长的稀疏信号，分别反演出对应各波长的光子密度图像，再将这些波长的图像重整到一起，还原出彩色图像，经过M个时间间隔，就能重建出按时间序列排列的可时间分辨的一系列二维彩色图像视频帧；

其中，所述单光子计数器线阵由对应不同波长的单光子计数器组成，每个单光子计数器对应一个特定的波长，在每t时间间隔内对相应波长的光子进行探测输出累积计数值的大小，传输至所述最优化算法模块中；

所述DMD微镜阵列为数字微镜器件，包括微镜阵列和相关集成电路部分，该集成电路为DMD微镜阵列的基于FPGA开发的DMD控制系统电路板；

所述驱动控制模块基于DLP数字光处理技术，驱动控制模块在选定DMD微镜阵列工作区域后，便下载伪随机测量矩阵来驱动控制所述DMD微镜阵列的翻转；所述DMD微镜阵列在翻转的同时会向所述单光子计数器线阵发送同步信号，保证DMD微镜阵列与单光子计数器线阵之间同步，即DMD微镜阵列每翻转一次，单光子计数器累积计数在该次翻转的时间间隔内的光单子数，DMD微镜阵列翻转完成后，单光子计数器清零重新开始累积计数，所有计数和该选定区域的随机测量矩阵均传送至最优化算法模块中。

可选的，所述的时间分辨极弱光多光谱成像系统，其特征在于，所述极弱光触发源为：极弱光光源或自发光生物体。

可选的，当所述极弱光触发源采用极弱光光源时，其投射方式主要有两种：1)极弱光光源直接透射物体对象上，光源与光学成像系统光轴在同一条直线上，物体对象可以是半透明的或者镂空的，通过透射光成像；2)极弱光光源斜着打在物体上，光源与光学成像系统光轴不在同一条直线上，通过物体对象反射极弱光来成像；

当所述极弱光光源比较强时采用滤光片滤除该极弱光的杂光，若极弱光光源的光强极其微弱，且其波长在本发明探测所要求的波长范围内，则不需要再设置滤光片；

当所述极弱光触发源采用自发光生物体时，可将其置于暗室之中，采用彩色滤光片来选择性地让生物发射的某些光通过。

所述光学成像系统和光学聚焦收集系统均采用光学透镜组，分别负责光学成像和光学聚焦，极弱光通过光学成像系统后，可在DMD微镜阵列上成等大或缩小或放大的像，按实际需求进行成像调整；

其中，所述光学聚焦收集系统采用光纤耦合技术，即将经由所述分光光度计分光后的光束耦合到光纤中，利用光纤耦合技术将分光分别收集到对应的单光子计数器上。

所述分光光度计包含：光准直部分、分光部分、角度测量部分、光度观察和测量部分，用于光谱分析和测量；

其中，所述分光光度计为棱镜分光光度计或光栅分光光度计。

基于上述系统本发明还提供一种时间分辨极弱光多光谱成像方法，该方法可实现对随时间连续动态变化的彩色物体的观测，并进行单光子级别的时间分辨极弱光多光谱成像，输出按时间序列排列的连续彩色视频图像帧，所述方法包含如下步骤：

步骤1，用于采用极弱光触发源触发触发器进行触发同步的步骤，该步骤实现了时间分辨的效果；

步骤2，用于将被测信号由高维向低维进行映射的步骤，该步骤采用压缩和采样对被测信号进行由高维向低维进行映射；

步骤3，用于对待处理的视频帧测量数据进行稀疏重建(即最优化算法的运算)，输出按时间序列排列的连续彩色视频图像帧的步骤。

所述步骤1进一步包含如下子步骤：

用于触发的步骤，所述极弱光光源或发光生物体触发触发器，该触发器进而触发激活整个成像系统的工作，所述触发器触发之后每隔t时间间隔进行一组对不同波长分量的单光子探测，最优化算法模块自动识别该t时间间隔内的极弱光对象彩色二维图像的输入，分别累积测量该t时间间隔的对应不同颜色的波长的单光子数；

用于同步步骤，DMD微镜阵列在翻转的同时向单光子计数器线阵发送同步信号，该同步脉冲在到达单光子计数器线阵后会分成多路，该单光子计数器线阵中每个单光子计数器在同一时间收到该同步脉冲，完成单光子计数器线阵内部单光子计数器之间的同步；同时DMD微镜阵列在每次翻转的同时向单光子计数器线阵发送同步信号保证DMD微镜阵列与单光子计数器线阵之间的同步，即DMD微镜阵列每翻转一次，每个单光子计数器累积计数在该次翻转的时间间隔内对应波长光的单光子数，DMD微镜阵列翻转完成后，单光子计数器清零重新开始累积计数，所有的计数被传至最优化算法模块中；

所述的时间分辨，可以针对连续变化观测物体和周期变化观测物体，对于前者而言，采用上述每t时间间隔采样k次并持续测量M×t时间的方法即可实现，对于后者而言，通常采用的观测物体的变化周期极短，假设周期为T，将该时间周期等分为d个时间间隔，记做t₁，t₂，t₃，...，t_d，在该周期T内保持对应随机矩阵不变，到下一个周期随机矩阵才发生改变，在每个小的时间间隔t₁，t₂，t₃，...，t_d内分别计数，即对落在t_i时间间隔内的单光子进行累积计数，依靠触发器²的精确触发，保证计数和随机矩阵的严格对应关系，测量k个周期，即对每个微小时间间隔测量了k次，分别对这d个时间间隔做最优化重建，便可反演出一个时间周期序列内的彩色观测对象的变化情况。

所述步骤2进一步包含如下子步骤：

用于压缩的步骤，DMD微镜阵列将可压缩的随时间动态变化的彩色物体的图像帧数据随机反射，当DMD中单个微镜+12°翻转时反射的光被单光子计数器线阵接收，当DMD中单个微镜-12°翻转时反射光不能被单光子探测器线阵接收，从而完成被对随时间动态变化的彩色物体的被测信号的压缩，同时确保DMD微镜阵列明暗阵列的最大随机性，进而控制极弱光被反射至光学聚焦收集系统的概率是随机的；

用于分光采样的步骤，经光学聚焦系统聚焦后的极弱光进入分光光度计被展开成多光谱，该分光光度计将分光后的多光谱输入至单光子计数器线阵，该线阵的每个单光子计数器对应一个特定波长的极弱光，对其进行探测采样。

所述步骤3进一步包含如下子步骤：

单光子计数器线阵中的每个单光子计数器每t时间间隔内对相应波长的光子进行计数，将该计数值作为单光子技术器线阵的测量值输入最优化算法模块；

最优化算法模块根据上步计数测量值、驱动控制模块里导出的随机测量矩阵，分别通过最优化算法重建出各对应波长的光子密度图像，反演出各波长的二维图像，然后叠加还原出该时间间隔t内随时间动态变化的彩色物体的彩色图像；

重复执行上述两个步骤共M次，得到M×t时间段的M幅彩色二维图像帧序列，输出视频帧。

所述最优化算法为运用小波进行稀疏变换的可分离逼近的稀疏重建算法SpaRSA-DWT，该算法是基于压缩传感理论编写的，在现有的IST算法(该算法为迭代算法)基础上进行改进，利用小波变换对各波长分量的单光子计数测量值进行稀疏化，并调整原有IST算法每次迭代的步长系数α_t，使α_tI逼近f(x)在x^t处的Hessian矩阵，通过自适应的步长系数提高了原有算法的迭代速度，并自适应地修改阈值，依靠反复迭代运算求解出对应的稀疏信号，最后反演出各波长的二维图像，将这些波长的二维图像叠加在一起，即可重现出彩色图像，经过M×t时间后，共读入M幅极弱光对象彩色二维变化图像，对应输出M幅随时间变化的彩色二维重建图像视频帧，以观察原对象变化情况，并计算出相关系数和峰值信噪比，用于比较原分量图和分量重建图稀疏系数的吻合程度。本发明比较了IST、TV、OMP、MP、StOMP、CoSaMP、LBI、SP、Bayesian、l1_ls、smp等算法，发现本算法的适用性更好、抗噪性更好、重建所用时间更短、重建图像的清晰度和对比度更高；

上述最优化算法在最优化算法模块里执行，输入为计数测量值、驱动控制模块里导出的随机测量矩阵，输出为M幅随时间变化的彩色二维重建图像视频帧，核心重建问题可描述为：

\min_{x &Element; R^{n}} (\frac{1}{2} {| | y - Φx | |}_{2}^{2} + τ {| | Ψx | |}_{1}) .

与现有技术相比本发明的优点在于：本发明综合触发器触发技术、压缩传感理论、DLP数字光处理技术、分光技术、光纤耦合技术和单光子计数器线性阵列探测技术后提出的方案可以解决利用单光子计数器线阵实现高探测灵敏度的时间分辨极弱光多光谱成像的问题，其灵敏度可以达到单光子水平，分辨率与DMD微镜阵列直接相关，而DMD微镜阵列目前可以达到很高的分辨率，有的已经可达2048×1152的分辨率。探测器采用单光子探测线阵，可以响应多种波长，同时完成极弱光的多光谱二维成像。本发明解决了目前该领域中观测对象连续变化、探测波长范围相对单一与极弱光多光谱成像的强烈需求之间的矛盾，改变了以往单一波长二维成像，创新地加入可多光谱同时探测的单光子计数器线阵和第三维时间轴，最后输出结果可转换为按时间序列排列的连续彩色视频图像帧。若时间间隔很短，就可制作成视频输出，实现了时间分辨，满足了目前对物理、化学、生物瞬态变化过程的时间分辨观察的强烈需求，观察对象可以不再是静态物体，而是随时间动态变化的彩色物体。本发明添置了触发器，能触发DMD微镜阵列和计数器同时开始运作，并可实现对连续变化的物体成像，具有时间分辨率。本发明改进了原有算法(IST、TV、OMP、MP、StOMP、CoSaMP、LBI、SP、Bayesian、l1_ls、smp等算法)，使其通用性、鲁棒性更强，运算更快，对比度更高，抗噪性能更佳，也更加直观。本发明新置极弱光光源，并对不同观测对象都有明确的观测方案，更具有针对性。本发明中，滤光片的灵活设置也更能贴近实际需求。此外，本发明中的光学成像系统和光学聚焦收集系统，皆为光学透镜组，不再局限于原有技术的简单的单个透镜成像和聚焦，适用范围更广，所成像面积更大，可在DMD微镜阵列上成等大或缩小或放大的像，并创新地采用光纤耦合技术将分光后的各路光线耦合进各自的光纤，分别独立地调整每路光纤的耦合，使得每个光纤耦合达到最佳状态，进一步提高成像质量。实验发现，本发明的彩色成像的清晰度比时间分辨单光子计数成像的清晰度高，更有利于后续的定量定性分析。本发明还实现了对DMD微镜阵列的驱动控制，填补了原有技术的空白，解决了计数系统与DMD微镜阵列之间的同步问题、单光子计数器线阵内部的同步问题。本发明通过一系列的实验，也进一步完善了线阵计数成像技术。本发明可广泛应用于生物自发光检测、医疗成像、数据采集、遥感通信、非破坏性物质分析、天文观测、国防军事、超光谱测量、量子测量等领域。

附图说明

图1是本发明基于压缩传感理论的时间分辨极弱光多光谱成像系统的结构示意图；

图2是当观测对象为自发光的物体时的时间分辨极弱光多光谱成像系统的结构示意图；

图3(a)是对本发明的软件模拟实验结果；

图3(b)是对本发明的软件模拟实验结果；

图3(c)是对本发明的软件模拟实验结果；

图3(d)是对本发明的软件模拟实验结果；

图3(e)是对本发明的软件模拟实验结果；

图3(f)是对本发明的软件模拟实验结果；

图3(g)是对本发明的软件模拟实验结果；

图3(h)是对本发明的软件模拟实验结果；

图3(i)是对本发明的软件模拟实验结果；

图3(j)是对本发明的软件模拟实验结果；

图3(k)是对本发明的软件模拟实验结果；

图4(a)是对本发明的软件模拟实验结果；

图4(b)是对本发明的软件模拟实验结果；

图4(c)是对本发明的软件模拟实验结果；

图4(d)是对本发明的软件模拟实验结果；

图4(e)是对本发明的软件模拟实验结果；

图4(f)是对本发明的软件模拟实验结果；

图4(g)是对本发明的软件模拟实验结果；

图4(h)是对本发明的软件模拟实验结果；

图3(i)是对本发明的软件模拟实验结果；

图4(j)是对本发明的软件模拟实验结果；

图4(k)是对本发明的软件模拟实验结果；

图5(a)是对本发明的软件模拟实验结果；

图5(b)是对本发明的软件模拟实验结果；

图5(c)是对本发明的软件模拟实验结果；

图5(d)是对本发明的软件模拟实验结果；

图5(e)是对本发明的软件模拟实验结果；

图5(f)是对本发明的软件模拟实验结果；

图5(g)是对本发明的软件模拟实验结果；

图5(h)是对本发明的软件模拟实验结果；

图5(i)是对本发明的软件模拟实验结果；

图5(j)是对本发明的软件模拟实验结果；

图5(k)是对本发明的软件模拟实验结果。

附图标识

1、极弱光触发光源 2、触发器 3、滤光片

4、光学成像系统 5、DMD微镜阵列 6、光学聚焦收集系统

7、分光光度计

8、由若干对于不同波长的单光子计数器组成的单光子计数器线阵

9、驱动控制模块 10、最优化算法模块

具体实施方式

以下结合附图对本发明作进一步的详细说明。

本发明技术方案采用触发器2触发整个成像系统开始工作，并控制时间间隔，利用DLP技术将图像信号随机投影，转化为随机的光强信号，再利用单光子计数器线阵8作为探测元件，探测到对应各波长分量光子数，作为测量值输入最优化算法模块，采用最优化算法模块的最优化算法重建图像，并叠加某一时间段内所有重建信息还原出该时间段内的彩色图像。由于所述时间段被划分为若干时间间隔很短的更小时间段，重建时间较长，采用先集中采样后批量重建计算的方式。

为实现上述目的，本发明构建了一种新的时间分辨极弱光多光谱成像系统和方法。

这种新型的时间分辨极弱光多光谱成像系统的特征在于，该系统是基于触发器触发技术、压缩传感理论、DLP数字光处理技术、分光技术、光纤耦合技术和单光子计数器线性阵列探测技术的。

可选的，本发明提供的一种时间分辨极弱光多光谱成像系统为：

极弱光光源触发触发器2后，DMD微镜阵列和单光子技术线阵开始工作，每间隔t时间间隔(按实际需求设定，在本发明中，就想在极短的时间间隔内进行单光子探测，如纳秒级或皮秒级时间间隔，即实现时间分辨)连续采样，进入系统的极弱光经由滤光片3滤除杂光(该滤光片根据光强可选)，通过光学成像系统4成像在DMD微镜阵列5上，利用DLP数字光处理技术随机化DMD微镜阵列5上的明暗矩阵，在t间隔内连续变换k次(即每t时间间隔内测量次数)，实现高分辨率的光学调制，于是极弱光被DMD微镜阵列5随机反射到光学聚焦收集系统6进行聚焦，然后再通过分光光度计7将聚焦后的极弱光光谱分开，此后在不同特定波长上分别设置相应的单光子计数器组成单光子技术线阵8，由单光子计数器线阵8完成对极弱光的不同颜色分量的探测，将探测值输入最优化算法模块分别对其进行最优化算法稀疏重建，重建出对应各颜色的二维图像，重复M次的t时间间隔的探测采样，实现对极弱光对象的连续观察，可输出视频帧，由于“M×t”时间间隔很短而系统重建时间相对稍长，因而本发明采用先集中采样后批量重建计算的方式，实现单光子级别的时间分辨极弱光多光谱二维彩色成像，以便观测极弱光对象的动态变化和后续的研究分析。

上段所述的时间分辨极弱光多光谱成像系统包含：极弱光触发光源1、触发器2、光学成像系统4、DMD微镜阵列5、光学聚焦收集系统6、分光光度计7、由若干对于不同波长的单光子计数器组成的单光子计数器线阵8、驱动控制模块9和最优化算法模块10。

其中，所述极弱光触发光源1主要有两种方式将极弱光打在物体上：1)极弱光光源1直接透射物体对象上，光源与光学成像系统光轴在同一条直线上，物体对象可以是半透明的或者镂空的，这样通过光子密度变化便能成像；2)极弱光光源1斜着打在物体上，光源与光学成像系统光轴不在同一条直线上，通过物体对象反射极弱光来成像。

所述极弱光触发光源1采用普通极弱光光源或生物荧光或星光等，生物芯片是其中一种典型的极弱光源，目前主要通过荧光标记的方法使其便于观察，实际上许多生物都有自发光的特性，并且自发光光谱包含很多重要的信息，采用时间分辨极弱光多光谱成像技术就可以直接观测，因而当观测对象为自发光的生物时，就可以去掉时间分辨极弱光多光谱成像系统中的极弱光光源1，将触发器2和滤光片3平移到自发光的连续随时间变化的物体右侧的光路上，进行直接观测，这也是对现有技术的补充。

所述触发器2与驱动控制模块9相连，触发器2当有极弱光射进来便开始触发，驱动控制模块9便发送驱动控制信号来使DMD微镜阵列5运作并使单光子计数器线阵8开始探测计数。简言之，触发器2的作用即进一步启动驱动控制模块9触发信号，进而控制DMD微镜阵列5和单光子计数器线阵开始同时工作。

优选的，本发明所述系统还可包含滤光片3，该滤光片3的作用是滤除极弱光的杂光，使进入后续系统的极弱光在探测所需的波长范围内，一般在光强比较强的时候使用。若极弱光光源1的光强极其微弱，且其波长在本发明探测所要求的波长范围内，则不需要再设置滤光片3。

上述技术方案中所述驱动控制模块9基于DLP数字光处理技术，该数字处理技术是针对DMD微镜阵列5数字微镜器件的(即通过驱动控制模块9里的驱动程序编写伪随机测量矩阵，驱动其DMD微镜阵列5的翻转，通过设置延时可调节灰度值)。DMD微镜阵列5可以翻转+12°和-12°(有些型号的DMD微镜阵列5可以翻转+10°和-10°)，在本系统中，设置+12°为能接收到的反射角度，-12°翻转能进入最后的单光子计数器线阵8的反射光微乎其微，可忽略不计，因而光学聚焦收集系统6的主光轴与光学成像系统4的主光轴所成夹角为24°。本发明可以自动生成601帧(帧数可设置)随机数文件，驱动控制模块9选定DMD微镜阵列5工作区域后，通过DMD微镜阵列5驱动控制程序下载并生成该区域的随机数文件，控制DMD微镜阵列5的随机翻转，DMD微镜阵列5在翻转的同时会向单光子计数器线阵发送同步信号，用于保证了DMD微镜阵列5与单光子计数器线阵之间的同步，这种同步为DMD微镜阵列5每翻转一次，单光子计数器线阵累积计数在该次翻转的时间间隔内的单光子数，DMD微镜阵列5翻转完成后，单光子计数器线阵的单光子计数器清零并重新开始累积计数，所有单光子计数器的计数值都会通过数据线传到最优化算法模块10上，存在txt文档中。

进一步优化的，本发明所述的光学成像系统4和光学聚焦收集系统6，皆为光学透镜组，分别负责光学成像和光学聚焦，而不再局限于原有技术的简单地用单个透镜进行成像和聚焦，因而本发明的适用范围更广，在DMD微镜阵列5上成像面积更大，最大可至768×1024像素。不同于现有的技术，在所述的光学成像系统4中，极弱光通过光学成像系统4后，将在DMD微镜阵列5上成等大或缩小或放大的像，按实际需求进行成像调整。而本发明后续的光学聚焦收集系统6较时间分辨单光子计数系统里的光学聚焦收集系统6更为复杂，涉及到更复杂的光纤耦合技术，即将经由分光光度计7分光后的光束耦合到光纤里。创新点在于利用光纤耦合技术将分光分别收集到对应的单光子计数器上，线阵前的分别独立光纤耦合的好坏直接影响成像质量，因而调节耦合也变得更加困难。

本发明中新置的分光光度计7是对聚焦准直后的极弱光进行分光，用于后续光谱分析和测量；分光光度计7放置在光学聚焦收集系统6和单光子计数器线阵8之间的光路上。分光光度计7包括：光准直部分、分光部分、角度测量部分、光度观察和测量部分，用于光谱分析和测量，而这里所述的分光光度计7为棱镜分光光度计或光栅分光光度计。

以单光子计数器线阵8作为探测元件，单光子计数器线阵8由对应不同波长的单光子计数器组成，每个单光子计数器对应一个特定的波长，在每t时间间隔内对相应波长的光子进行探测输出累积计数值的大小，传输到最优化算法模块10上，然后由压缩感知理论中的最优化算法重建出对应各波长的稀疏信号，分别反演出对应各波长的光子密度图像，再将这些波长的图像重整到一起，还原出彩色图像，经过M个时间间隔，就能重建出按时间序列排列的可时间分辨的一系列二维彩色图像视频帧，以达到实时观测极弱光对象变化的目的，并具有颜色区分度。单光子计数器线阵8所用的单光子计数器即为计数型单光子探测器，用于在一定时间内对光子进行计数，将该数值作为测量值。

为实现上述的另一发明目的，本发明还提供了一种新的时间分辨极弱光多光谱成像方法，该方法采用了触发器触发技术、压缩传感理论、DLP数字光处理技术、分光技术、光纤耦合技术和单光子计数器线性阵列探测技术，该方法可实现对随时间连续动态变化的彩色物体的观测，并进行单光子级别的时间分辨极弱光多光谱成像，输出按时间序列排列的连续彩色视频图像帧。该方法可以远低于奈奎斯特采样频率进行采样，也对原有压缩感知的理论做了一定改进，传统压缩感知将压缩和采样合并在一起，现将压缩和采样步骤分开，在采样时采用分光采样，这样实现了多光谱的测量与重建，能恢复出更接近真实色彩的图像，这种新的结构保证了时间分辨极弱光多光谱成像的优越性，且其测量过程是线性的、非自适应的，而重建过程是非线性的。

其具体步骤包括：

步骤1触发同步：通过触发器2触发来激活整个系统的工作，一旦触发器2触发之后每隔t时间间隔进行一组对不同波长分量的单光子探测，最优化算法模块10自动识别该t时间间隔内的极弱光对象彩色二维图像的输入，分别累积测量该t时间间隔的对应不同颜色的波长的单光子数，触发是至关重要的一个环节，关系到整个系统的同步问题；而DMD5在翻转的同时会向单光子计数器线阵8发送同步信号，该同步脉冲在到达线阵后会分成多路，则线阵中每个探测器会在同一时间收到这个同步脉冲，若把这个线阵看作一个整体，则其内部也是严格同步的，这便保证了DMD微镜阵列5与单光子计数器线阵8之间、线阵内部的同步，即DMD微镜阵列5每翻转一次，每个光子计数器累积计数在该次翻转的时间间隔内对应波长光的单光子数，DMD微镜阵列5翻转完成后，计数器清零重新开始累积计数，所有的计数都会通过数据线传到最优化算法模块10上；所述的时间分辨，可以针对连续变化观测物体和周期变化观测物体，对于前者而言，采用上述每t时间间隔采样k次并持续测量M×t时间的方法即可实现，对于后者而言，通常采用的观测物体的变化周期极短，假设周期为T，将该时间周期等分为d个时间间隔，记做t1，t2，t3，...，td，在该周期T内保持对应随机矩阵不变，到下一个周期随机矩阵才发生改变，在每个小的时间间隔t1，t2，t3，...，td内分别计数，即对落在ti时间间隔内的单光子进行累积计数，依靠触发器2的精确触发，保证计数和随机矩阵的严格对应关系，测量k个周期，即对每个微小时间间隔测量了k次，分别对这d个时间间隔做最优化重建，便可反演出一个时间周期序列内的彩色观测对象的变化情况；

步骤2压缩：DMD微镜阵列将可压缩的随时间动态变化的彩色物体的图像帧数据随机反射，当DMD微镜阵列中单个微镜+12°翻转时反射的光被单光子计数器线阵接收，当DMD微镜阵列中单个微镜-12°翻转时反射光不能被单光子探测器线阵接收，从而完成被对随时间动态变化的彩色物体的被测信号的压缩，同时确保DMD微镜阵列明暗阵列的最大随机性，进而控制极弱光被反射至光学聚焦收集系统的概率是随机的；

步骤3分光采样：经聚焦后的极弱光进入分光光度计7，将被展开成光谱，在分光光度计7后放置了若干对应特定波长的单光子计数器，每个单光子计数器对应一个波长的极弱光，对其进行探测采样；

步骤4稀疏重建：单光子计数器线阵8在每t时间间隔内对相应波长的光子进行计数，然后折算成探测到对应波长光子数作为测量值，最优化算法模块10根据这些测量值和DMD微镜阵列5上的测量矩阵、加载在原波长分量二维图像上的稀疏矩阵，分别通过最优化算法重建出各对应波长的光子密度图像，反演出各波长的二维图像，然后叠加还原出彩图，M×t时间后，也就重建出了M幅彩色二维图像，这样也就实现了时间分辨的效果。

作为上述技术方案的一种改进，所述的压缩、采样，是被测信号由高维向低维映射的过程，而稀疏重建是最优化的问题(以下都是针对单个特定波长而言的)，改进的具体步骤如下：

1)假设x∈Rⁿ是被测数据，y∈R^k是观测数据，Φ∈R^k×n是随机投影矩阵(k＜＜n)，e∈R^k是测量噪声，那么，压缩采样的过程可以描述为(1)式：

y＝Φx+e (1)

y＝ΦΨ^-1θ+e (2)

在本发明方案中，(2)式中的Ψ为小波变换矩阵，Φ为伪随机二值矩阵，ΦΨ^-1满足RIP准则；

2)由于自然光是由各种波长的光叠加而成，每一波长的光都携带有一定信息，对各波长光进行分别测量，假设测量数为k，单色光(对应一个特定波长)二维图像的像素总数为n，则(1)式中的测量矩阵则为Φ＝{Φ₁，…，Φ_i，…，Φ_k}，Φ_i是Φ的第i行，把a×b像素的单色光二维图像的列首尾相连，化成n×1(其中n＝a×b)的一维列向量，对应(1)式中的x，其中的每一个元素代表该波长相应位置处的光子密度；主流的DMD5由1024×768的阵列构成，它的列首尾相连，化成1×n的一维行向量，对应测量矩阵Φ中的一行，其中的每个元素代表相应位置处光子透射到光学聚焦收集系统6的概率，而测量矩阵Φ共计k维，即k行n列的矩阵，DMD微镜阵列5对极弱光的投影其实是对极弱光各分量的分别投影；

3)假设测量周期为t，即每段的时间间隔，在这段时间间隔内，驱动控制模块9确保微镜阵列的明暗矩阵以伪随机码的形式快速变换，就一个特定波长的光而言，设对应该波长的单光子计数器所探测到的光子数为N，即N相当于该波长光子密度图像与DMD5上的随机测量阵列的内积值，对应于(1)式中观察向量y的一个元素，式中，Φ_i，j、x_j分别是Φ_i和x的第j个元素；根据测量矩阵，由驱动控制模块9控制每次测量时DMD微镜阵列5微镜的排列，重复k次测量，就可以得到该t时间间隔内整组观测数据y(y为k×1的一维列向量，对应该特定波长光谱图像信息)，其它波长的光谱图像的获取可以依法炮制；

4)所述的稀疏重建是在已知观测数据y和测量矩阵Φ的条件下求解(1)式中的x，一般用最优化算法求解，可描述为(3)式：

\min_{x &Element; R^{n}} (\frac{1}{2} {| | y - Φx | |}_{2}^{2} + τ {| | x | |}_{1}) - - - (3)

\min_{x &Element; R^{n}} (\frac{1}{2} {| | y - Φx | |}_{2}^{2} + τ {| | Ψx | |}_{1}) - - - (4)

作为原有技术方案的进一步的改进，本发明做了软件模拟，创新之处在于，所述最优化算法为运用小波进行稀疏变换的可分离逼近的稀疏重建算法SpaRSA-DWT，该算法是基于压缩传感理论编写的，在现有的IST算法(该算法为迭代算法)基础上进行改进，利用小波变换对各波长分量的单光子计数测量值进行稀疏化，并调整原有IST算法每次迭代的步长系数α_t，使α_tI逼近f(x)在x^t处的Hessian矩阵，通过自适应的步长系数提高了原有算法的迭代速度，并自适应地修改阈值，依靠反复迭代运算求解出对应的稀疏信号，最后反演出各波长的二维图像，将这些波长的二维图像叠加在一起，即可重现出彩色图像，经过M×t时间后，共读入M幅极弱光对象彩色二维变化图像，对应输出M幅随时间变化的彩色二维重建图像视频帧，以观察原对象变化情况，并计算出相关系数和峰值信噪比，用于比较原分量图和分量重建图稀疏系数的吻合程度。本发明比较了IST、TV、OMP、MP、StOMP、CoSaMP、LBI、SP、Bayesian、l1_ls、smp等算法，发现本算法的适用性更好、抗噪性更好、重建所用时间更短、重建图像的清晰度和对比度更高；

为了说明本发明设计方案的可行性，计算各波长的重建图像与原彩色图像的该波长分量图像之间的相似程度，用相关系数来评价：

Cov = \frac{Σ_{i = 1}^{n} Σ_{j = 1}^{n} (X_{i, j} \times {\hat{X}}_{i, j})}{\sqrt{Σ_{i = 1}^{n} Σ_{j = 1}^{n} {X_{i, j}}^{2}} \times \sqrt{Σ_{i = 1}^{n} Σ_{j = 1}^{n} {\hat{X}}_{i, j}^{2}}}

计算各波长的重建图像的信噪比，用PSNR(Peak Signal Noise Ratio)来评价：

PSNR = 10 \log_{10} \frac{255 \times 255}{Σ_{i = 1}^{n} Σ_{j = 1}^{n} {(X_{i, j} - {\hat{X}}_{i, j})}^{2} / n^{2}} dB

其中，X_i，j和

分别表示该波长原图像和该波长重建图像第i行第j列的像素点光子密度值，n₂表示该波长图像大小(这里假设图像像素是n×n的，这里的n与上述第2)中的n属不同概念，只是个记号)，PSNR值越大，就代表失真越少。

根据上述时间分辨极弱光多光谱成像方法，本发明具体实施方式如下：

如图1所示，极弱光光源1打出极弱光触发触发器2，驱动控制模块9使得后续的装置开始正常工作，然后每隔t时间间隔(该时间间隔可以极其短，期望达到皮秒甚至纳秒级别，以便实现时间分辨)进行一次集中采样，每次集中采样k次。每次时间间隔内，该极弱光经由滤光片3滤除杂光之后打在连续变化的对象上(直接透射则后续是透射光，斜射则后续是反射光)，接着经光学成像系统4在DMD微镜阵列5上成像，利用DLP数字光处理技术调制DMD微镜阵列5随机明暗矩阵，来控制极弱光光子被反射到光学聚焦收集系统6的概率，使其尽可能随机，每t时间间隔调制k次(即每幅图像的测量数)，这些经+12°反射的极弱光光子经由光学聚焦收集系统6会聚到分光光度计7上，分光光度计7将极弱光展成光谱，探测元件则采用单光子计数器线阵8，该线性阵列是由若干个对应不同波长的单光子计数器组成，所探测的计数数值作为测量值，每个探测器上的值只对应该波长上的图像信息，然后最优化算法模块10根据测量值、DMD微镜阵列5上k行n列的测量矩阵经过最优化算法重建出对应各波长的光子密度图像，最后将这些携带着各特定波长信息的图像叠加在一起，恢复出彩色图像，输出可时间分辨的彩色二维图像帧序列，时间间隔足够短，便可输出视频。

需要说明的是，当观测对象为自发光的生物时，就可以去掉时间分辨极弱光多光谱成像系统中的极弱光光源1，将触发器2和滤光片3一起平移到自发光的连续随时间变化的生物体右侧的光路上，利用时间分辨极弱光多光谱成像方法直接观测，如图2所示。

滤光片3的作用是滤除极弱光的杂光，使进入后续系统的极弱光在探测所需的波长范围内，一般在光强比较强的时候使用。若极弱光光源1的光强极其微弱，且其波长在本发明探测所要求的波长范围内，则不需要再设置滤光片3。

所述的时间分辨，可以针对连续变化观测物体和周期变化观测物体。对于前者而言，采用上述每t时间间隔采样k次并持续测量M×t时间的方法即可实现。对于后者而言，通常采用的观测物体的变化周期极短，假设周期为T，将该时间周期等分为d个时间间隔，记做t1，t2，t3，...，td，在该周期T内保持对应随机矩阵不变，到下一个周期随机矩阵才发生改变，在每个小的时间间隔t1，t2，t3，...，td内分别计数，即对落在ti时间间隔内的单光子进行累积计数，依靠触发器2的精确触发，保证计数和随机矩阵的严格对应关系。测量k个周期，即对每个微小时间间隔测量了k次，分别对这d个时间间隔做最优化重建，便可反演出一个时间周期序列内的观测对象变化情况。

另外需要说明的是DMD微镜阵列5的反射机制，正如图1、图2中所示，当入射光线与DMD微镜阵列5单个微镜法线成24°时，反射光线也与法线成24°，但当微镜翻转+12°时，图中DMD微镜阵列5微镜的法线也顺时针翻转+12°，那根据反射定律反射光线需顺时针翻转+24°，即与初始位置时的法线在同一直线上，由于本发明的时间分辨极弱光多光谱成像系统的DMD微镜阵列5前后光学成像系统4和光学聚焦收集系统6的光轴之间设定的角度正是24°，那么微镜翻转+12°时，光线能正常反射到光学聚焦收集系统6。同理，当微镜翻转-12°时，这时的反射光线与初始位置时的法线成-48°，几乎不进入后续的光学聚焦收集系统6，因而微镜翻转-12°时的反射光可以忽略不计。这里取顺时针翻转为正，逆时针为负。

由于自然光是由各种波长的光叠加而成，每一波长的光都携带有一定信息，对各波长光进行分别测量，假设测量数为k，单色光(对应一个特定波长)二维图像的像素总数为n，则(1)式中的测量矩阵则为Φ＝{Φ₁，…，Φ_i，…，Φ_k}，Φ_i是Φ的第i行，把a×b像素的单色光二维图像的列首尾相连，化成n×1(其中n＝a×b)的一维列向量，对应(1)式中的x，其中的每一个元素代表该波长相应位置处的光子密度；主流的DMD5由1024×768的阵列构成，它的列首尾相连，化成1×n的一维行向量，对应测量矩阵Φ中的一行，其中的每个元素代表相应位置处光子透射到聚焦系统的概率，而测量矩阵Φ共计k维，即k行n列的矩阵，DMD微镜阵列5对极弱光的投影其实是对极弱光各分量的分别投影；假设测量周期为t，即每段的时间间隔，在这段时间间隔内，驱动控制模块9确保微镜阵列的明暗矩阵以伪随机码的形式快速变换，针对一个特定波长的光而言，设对应该波长的单光子计数器所探测到的光子数为N，则N相当于该波长光子密度图像与DMD微镜阵列5上的随机测量阵列的内积值，对应于(1)式中观察向量y的一个元素，

式中，Φ_i，j、x_j分别是Φ_i和x的第j个元素；根据测量矩阵，由驱动控制模块9控制每次测量时DMD5微镜的排列，重复k次测量，就可以得到该t时间间隔内整组观测数据y(y为k×1的一维列向量，对应该特定波长光谱图像信息)，其它波长的光谱图像的获取可以依法炮制。

根据光子学的知识，在一个元面积dA内，任意时刻在r点观察到一个光子的概率p(r)dA正比于该处光强。实际上许多生物体都存在着超微弱光辐射现象，这种超微弱生物发光，与生物的许多功能、生理过程都有联系，可反映生物体代谢过程的变化。例如，吞噬细胞在吞噬异物时、细胞有丝分裂时、细胞癌变的过程中，都伴有发光或超微弱发光现象。若观察对象是自发光生物体时，可将其置于暗室之中，彩色滤光片3用来选择性地让生物发射的某些光通过。

现在用软件模拟光子密度图像，采用的随时间连续变化的观测对象是400倍显微镜拍摄的马铃薯切片，观察其细胞生长情况，该对象符合本发明的观测对象的特点，是可靠可用的，特借此作为模拟用实验数据。实验调试软件环境是matlab，所选用的原始彩色图像帧的分辨率大小均为64×64×3，由于是RGB的彩图，维度有3维，分别对应red、green和blue，每个颜色分量所对应的矩阵大小为64×64，在处理时将这三个分量分别提取出来，分别做小波变换、SpaRSA-DWT算法重建、小波反变换，输出对应该三个分量的重建图像，在本发明系统中就是对应三种特定波长，然后将该3分量的重建图像信息存入64×64×3的矩阵空间里，即叠加了三个分量重建图像的信息，恢复出彩色图像。在假设不知道原序列图像帧的情况下，采用伪随机二值矩阵进行压缩采样，模拟DMD微镜阵列5的功能，再用SpaRSA稀疏重建算法分别对三种颜色分量进行二维图像重建，最后叠加三色重建信息，恢复出彩图帧，如果时间间隔足够短，便可制作视频。经过反复调试，发现每个时间间隔内的采样次数越多其重建效果越好，这里全部取k为1500次(大大小于传统奈奎斯特采样频率)，而且采样次数越多所需的迭代次数越少，但k越大测量矩阵的维数也越大，计算量也越大，因而综合以上因素不断调试后将迭代次数设置为50。由于视频都是一帧帧的图像按一定时间顺序拼接起来的，所以在此作为模拟，先一次性读入3幅(这里仅为达到模拟效果，实际可多幅图像)连续的图像帧，每隔0.01秒读入一幅图(模拟的时间间隔)，然后批量对三色分量重建，得到图3、图4和图5所示的结果。其中，图3、图4、图5是针对3个连续时间间隔内的模拟，图3(a)、4(a)和图5(a)是原始彩色图像，图3(b)、(e)、(h)、图4(b)、(e)、(h)和图5(b)、(e)、(h)是该彩色图像RGB三色分量图像，图3(c)、(f)、(i)、图4(c)、(f)、(i)和图5(c)、(f)、(i)是SpaRSA-DWT算法对该颜色分量的重建图像，图3(d)、(g)、(j)、图4(d)、(g)、(j)和图5(d)、(g)、(j)是SpaRSA-DWT算法对应该颜色分量下的残差图像，图3(k)、图4(k)和图5(k)是将该三色分量的重建图像信息叠加后的彩色恢复图像，图3(b)、(c)、(d)、图4(b)、(c)、(d)和图5(b)、(c)、(d)对应红光分量的，图3(e)、(f)、(g)、图4(e)、(f)、(g)和图5(e)、(f)、(g)是对应绿光分量的，图3(h)、(i)、(j)、图4(h)、(i)、(j)和图5(h)、(i)、(j)是对应蓝光分量的。

算法运行时间如下所示，第一行是读入3幅彩色图像帧所用的时间，是人为设定每幅读入的时间间隔为0.01秒，由于计算机时钟频率的不同，输出结果会有些出入，都在可允许的范围内，第2至10行分别是SpaRSA-DWT算法对第一幅彩图红、绿、蓝三色分量、第二幅彩图红、绿、蓝三色分量和第三幅彩图红、绿、蓝三色分量的重建运行时间，相比其他算法而言，该算法运算速度还是比较快的。

Elapsed time is 0.027545seconds.

Elapsed time is 6.029837seconds.

Elapsed time is 9.458371seconds.

Elapsed time is 10.467277seconds.

Elapsed time is 5.011699seconds.

Elapsed time is 9.396221seconds.

Elapsed time is 10.160097seconds.

Elapsed time is 7.217126seconds.

Elapsed time is 10.145479seconds.

Elapsed time is 11.412592seconds.

图3、图4和图5所示的各分量重建图像与该分量原始图像的相关系数Cov和psnr峰值信噪比如表1所示：

表1

	Color	Cov	Psnr
				图3	红	0.9998	33.6042
	绿	0.9994	31.6755
					蓝	0.9987	29.3259
图4	红	0.9998	34.7118
					绿	0.999	31.0142
	蓝	0.9991	30.2875
				图5	红	0.9997	32.0154
	绿	0.9987	29.0034
					蓝	0.998	28.2455

其中，psnr单位都是dB。PSNR值越大，就代表失真越少。从相关系数Cov和psnr峰值可以看出，最优化算法重建效果很好，生成了与原彩色图像相对应的可时间分辨的多光谱图像帧序列，完全满足对原随时间动态变化的对象的观测需求，符合本发明的意图。实验结果表明，本发明硬件可以实现压缩采样，软件算法可以实现各颜色分量图像的重建，最后恢复出连续变化的彩色视频图像帧。

另外需要说明的是，本发明另一改进之处在于，实验模拟的噪声环境是用matlab模拟的高斯白噪声，所谓的高斯白噪声中的高斯是指概率分布是正态函数，它的幅度分布服从高斯分布，而它的功率密度又是均匀分布的，这里的高斯白噪声服从N(0，1)。实验中为了更好地模拟真实环境中的噪声，特意做了加噪测试，测试中用的函数是noise＝randn(k，1)，y＝R*x+noise，其中k为测量次数，现在对noise加倍，实验结果如表2所示：

表2

	Cov	Psnr
			y＝R*x+noise	0.9988	30.7256
y＝Rx+10noise	0.997	26.6837
			y＝Rx+50noise	0.9643	16.3655
y＝Rx+70noise	0.9311	13.6902
			y＝Rx+100noise	0.8836	11.4918
y＝Rx+150noise	0.7787	8.6116
			y＝Rx+200noise	0.6863	6.9938
y＝Rx+250noise	0.6362	6.1363
			y＝Rx+300noise	0.5837	5.4176

其中，psnr单位都是dB，noise所乘上的倍数越大，噪声影响越大，重建效果越差。由于本发明实际输入信号直接是测得的单光子计数值，而没有原图，因而无法用由重建图像计算所得的信噪比来作为评价标准，为了更真实的模拟，在这里采用输入信号的信噪比作为评价标准，又作了一次加噪测试，结果如表3所示：

表3

其中，信噪比单位都是dB，可见加性噪声对重建图像效果有直接影响，但若信号加强，噪声的影响便会减弱。此外，也测试了在x(即原图对象)处加随机噪声，再乘上随机测量矩阵，会削弱一部分噪声影响，同样噪声很大时，重建效果也会变差。因而提高信噪比，对成像质量有很大帮助。

最后需要说明的是，具体实施方式中所述的实验用图仅用来说明本发明的技术方案软件算法的可行性而非局限于此例，算法已经经过大量实验数据验证，是真实可靠的，搭配硬件便可实现本发明的技术方案。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种时间分辨极弱光多光谱成像系统，该系统主要基于压缩传感理论，用于对随时间动态变化的彩色物体成像，输出按时间序列排列的连续彩色视频图像帧，所述系统包含：触发器、光学成像系统、DMD微镜阵列、光学聚焦收集系统、分光光度计、单光子计数器线阵、驱动控制模块和最优化算法模块；

所述触发器由位于其前端的极弱光触发源触发，该触发器输出端与驱动控制模块的输入端相连，当触发器被触发时，驱动控制模块将输出驱动控制信号触发与其输出端相连的DMD微镜阵列和单光子计数器线阵开始工作，即该DMD微镜阵列开始翻转，单光子计数器线阵同时开始计数；所述DMD微镜阵列反射光路上的光学聚焦收集系统和分光光度计用于对光线聚焦收集和分光，所述单光子计数器线阵用于对分光后的各波长光分别进行单光子计数；

所述单光子计数器线阵的输出端，即输出计数测量值，与所述最优化算法模块的一个输入端相连，作为最优化算法模块的一个输入值，所述最优化算法模块的另一输入端还与所述驱动控制模块的一输出端相连，用于接收驱动可知模块存储的选定区域的随机测量矩阵作为其另一个输入参数；该最优化算法模块根据输入的单光子计数器线阵的所述随机测量矩阵重建对应各波长的稀疏信号，再分别反演出对应各波长的光子密度图像，最后将这些波长的图像重整到一起还原出彩色图像，经过M个重复的t时间间隔，就能重建出按时间序列排列的可时间分辨的一系列二维彩色图像视频帧；

其中，所述单光子计数器线阵由对应不同波长的单光子计数器组成，每个单光子计数器对应一个特定的波长，在每t时间间隔内对相应波长的光子进行探测输出累积计数值至所述最优化算法模块中；

所述DMD微镜阵列为数字微镜器件；

所述驱动控制模块的另一输出端与所述DMD微镜阵列的输入端相连，用于驱动控制DMD微镜阵列的翻转；该驱动控制模块基于DLP数字光处理技术，驱动控制模块在选定DMD微镜阵列工作区域后，便下载伪随机测量矩阵来驱动控制所述DMD微镜阵列的翻转；所述DMD微镜阵列在翻转的同时会向所述单光子计数器线阵发送同步信号，保证DMD微镜阵列与单光子计数器线阵之间同步，即DMD微镜阵列每翻转一次，单光子计数器累积计数在该次翻转的时间间隔t内的光单子数，DMD微镜阵列翻转完成后，单光子计数器清零重新开始累积计数，所有计数值和选定区域的随机测量矩阵均传送至最优化算法模块中根据重建算法，进行二维彩色图像重建。

2.根据权利要求1所述的时间分辨极弱光多光谱成像系统，其特征在于，所述极弱光触发源为：极弱光光源或自发光生物体。

3.根据权利要求2所述的时间分辨极弱光多光谱成像系统，其特征在于，当所述极弱光触发源采用极弱光光源时，其投射方式主要有两种：1)极弱光光源直接透射物体对象上，光源与光学成像系统光轴在同一条直线上，物体对象可以是半透明的或者镂空的，通过透射光成像；2)极弱光光源斜着打在物体上，光源与光学成像系统光轴不在同一条直线上，通过物体对象反射极弱光来成像。

4.根据权利要求2或3所述的时间分辨极弱光多光谱成像系统，其特征在于，

当所述极弱光光源比较强时采用滤光片滤除该极弱光的杂光；

5.根据权利要求1所述的时间分辨极弱光多光谱成像系统，其特征在于，所述光学成像系统和光学聚焦收集系统均采用光学透镜组，分别负责光学成像和光学聚焦，极弱光通过光学成像系统后，可在DMD微镜阵列上成等大或缩小或放大的像，按实际需求进行成像调整；

其中，所述光学聚焦收集系统采用光纤耦合技术，即将经由所述分光光度计分光后的光束耦合到光纤中，利用光纤耦合技术将分光分别收集到对应的单光子计数器上；

6.一种时间分辨极弱光多光谱成像方法，该方法可实现对随时间连续动态变化的彩色物体的观测，并进行单光子级别的时间分辨极弱光多光谱成像，输出按时间序列排列的连续彩色视频图像帧，所述方法包含如下步骤：

步骤3，用于对待处理的视频帧测量数据进行稀疏重建，即最优化算法的运算，输出按时间序列排列的连续彩色视频图像帧的步骤。

7.根据权利要求6所述的时间分辨极弱光多光谱成像方法，其特征在于，所述步骤1进一步包含如下子步骤：

其中，所述的时间分辨能够针对连续变化观测物体和周期变化观测物体，所述连续变化观测物体的时间分辨采用所述每t时间间隔采样k次并持续测量M×t时间的方法能实现；所述周期变化观测物体的时间分辨率采用的观测物体的变化周期极短，假设周期为T，将该时间周期等分为d个时间间隔，记做t₁，t₂，t₃，...，t_d，在该周期T内保持对应随机矩阵不变，到下一个周期随机矩阵改变，在每个小的时间间隔t₁，t₂，t₃，...，t_d内分别计数，即对落在t_i时间间隔内的单光子进行累积计数，依靠触发器的触发，保证计数和随机矩阵的严格对应关系，测量k个周期，即对每个微小时间间隔测量了k次，分别对这d个时间间隔做最优化重建，便可反演出一个时间周期序列内的彩色观测对象的变化情况。

8.根据权利要求6所述的时间分辨极弱光多光谱成像方法，其特征在于，所述步骤2进一步包含如下子步骤：

用于压缩的步骤，DMD微镜阵列将可压缩的随时间动态变化的彩色物体的图像帧数据随机反射，当DMD微镜阵列中单个微镜+12°翻转时反射的光被单光子计数器线阵接收，当DMD微镜阵列中单个微镜-12°翻转时反射光不能被单光子探测器线阵接收，从而完成被对随时间动态变化的彩色物体的被测信号的压缩，同时确保DMD微镜阵列明暗阵列的最大随机性，进而控制极弱光被反射至光学聚焦收集系统的概率是随机的；

9.根据权利要求6所述的时间分辨极弱光多光谱成像方法，其特征在于，所述步骤3进一步包含如下子步骤：

10.根据权利要求6所述的时间分辨极弱光多光谱成像方法，其特征在于，所述最优化算法为运用小波进行稀疏变换的可分离逼近的稀疏重建算法SpaRSA-DWT，该算法基于压缩传感理论，利用小波变换对各波长分量的单光子计数测量值进行稀疏化，并调整IST算法每次迭代的步长系数α_t，使α_tI逼近f(x)在x^t处的Hessian矩阵，并自适应地修改阈值，依靠反复迭代运算求解出对应的稀疏信号，最后反演出各波长的二维图像；

将所述各波长的二维图像进行叠加，即可重现出彩色图像，经过M×t时间后，共读入M幅极弱光对象彩色二维变化图像，对应输出M幅随时间变化的彩色二维重建图像视频帧。