CN113296346A - 一种时空频五维压缩超快摄影装置 - Google Patents

Abstract

本发明公开了一种时空频五维压缩超快摄影装置，通过单次曝光的方式，同时获取动态场景的三维空间(x,y,z)，一维时间(t)以及一维光谱信息(λ)。该装置包括数据采集以及数据重构；数据采集系统由立体成像系统以及高光谱成像系统组成，通过压缩采样的方式分别获得两张积分图像；数据重构系统利用全变分块匹配3D滤波(TV‑BM3D)算法对采集到的两张积分图像单独重构，最后对两个重构结果进行耦合获得五维信息。本发明在超快成像领域内，突破性的首次提出能够单次曝光获得三维空间，一维光谱，一维时间(x,y,z,t,λ)五维信息，提升了现有的光学成像维度，在基础物理，生物医学以及通讯安全领域，具有重要的意义及应用前景。

Description

一种时空频五维压缩超快摄影装置

技术领域

本发明涉及超快光学、压缩感知、多维光学成像及计算成像技术领域，包括数据采集和数据重构两部分，以获得一个包含三维空间，一维时间，一维光谱信息的动态场景，尤其是一种五维压缩超快摄影装置。由于其五维成像的巨大优势，可以应用于立体荧光寿命成像，基础物理，生物医学以及信息传输等领域。

背景技术

在科学研究中，空间结构、时间演化和光谱组成是研究对象最基本的特征。多维光学成像作为一种可视化方法，可以提供涵盖这些方面的丰富信息。因此，它在科学研究中发挥着不可替代的作用，如光与物质相互作用、光在组织中散射等物理或生物化学反应。为了尽可能多的获取空间、时间、光谱信息，一方面，一些立体成像技术和光谱分辨成像的方法已被开发，如编码孔径光谱成像，自适应光学光谱相干断层扫描，立体全息空间光谱成像和压缩光谱飞行时间成像。这些技术的核心是对光谱信息到空间上的离散映射或滤波，然后利用CCD或CMOS通过扫描或快照策略的方式，最终实现多维数据采集。然而，由于多维光学扫描成像需要重复操作，并且CCD或CMOS受到数据读出速度和芯片存储的限制，成像速度被限制在每秒数百帧(fps)。因此，它不能捕捉一些超快或不可逆事件，如冲击波和随机光子传播。另一方面，由于具有超快时间分辨率的多维光学成像能够捕捉到时间尺度可达皮秒甚至飞秒，引起了研究人员的极大兴趣。而压缩超快摄影(CUP)、时间顺序全光学映射成像(STAMP)和单次拍照飞秒时间分辨光学偏振测量(SS-FTOP)只能捕捉动态场景的三维(x-y-t)信息。高光谱压缩超快摄影(HCUP)技术进一步提高了CUP的成像维度，能够捕捉动态场景的时空光谱四维(x，y，t，λ)信息，但缺乏空间深度的信息。因此，目前还没有一种成像光学技术能够在单次曝光中同时捕获动态场景的三维空间，一维时间，一维光谱信息。

发明内容

本发明针对现有的多维光学成像技术，突破了超快光学成像在探测维度上的局限性，提供了一种单次曝光时空频五维压缩超快摄影装置，实现了对动态场景的时空频五维成像。本发明装置包括主动照明系统，数据采集系统，同步控制系统以及数据重构系统。本发明的数据采集系统包含了立体成像系统以及高光谱成像系统。立体成像系统可以捕捉动态场景的三维立体信息，而高光谱成像系统可以捕捉动态场景的二维空间，时间，光谱信息。在数据采集过程中，同步控制系统会对CMOS相机以及两台条纹相机进行完全同步，确保每一个脉冲信号被三台相机同时捕捉。本发明通过数据采集系统获得两张包含三维空间以及空间时间光谱四维信息的积分图像，再由数据重构系统对两张积分图像单独进行处理，即利用全变分块匹配3D滤波算法(TV-BM3D)对积分图像进行重构及降噪处理。在重构过程中，利用CMOS相机采集到的时间积分图像对重构结果进行强度和空间限制，进一步提高重构结果的质量。

实现本发明目的的具体技术方案是：

一种时空频五维压缩超快摄影装置，该装置包括：

一个由飞秒激光器、第一反射镜、第二反射镜、工程散射器件构成的主动照明系统；

一个由待测动态场景、相机镜头、透射反射之比为1∶1的第一分术立方、CMOS相机、第一透镜、第二透镜、数字微镜器件、透射反射之比为1∶1的第二分术立方、第一滤波片、第一条纹相机、第二滤波片、透射光栅、第二条纹相机构成的数据采集系统；其中，待测动态场景、相机镜头、透射反射之比为1∶1的第一分术立方、第一透镜、第二透镜、数字微镜器件、透射反射之比为1∶1的第二分术立方、第一滤波片及第一条纹相机组成立体成像系统；待测动态场景、相机镜头、透射反射之比为1∶1的第一分术立方、第一透镜、第二透镜、数字微镜器件、透射反射之比为1∶1的第二分术立方、第二滤波片、透射光栅及第二条纹相机组成高光谱成像系统；

一个由光电探头、数字脉冲延时发生器构成的同步控制系统；

一个由计算机构成的数据重构系统；

所述主动照明系统的飞秒激光器与第一反射镜、第二反射镜、工程散射器件依次光路连接；

所述数据采集系统的待测动态场景与相机镜头连接，相机镜头与第一分术立方连接，第一分术立方反射的一路与CMOS相机连接，第一分术立方透射的一路依次与第一透镜、第二透镜及数字微镜器件连接，数字微镜器件反射的光路依次与第二透镜、第一透镜及第一分术立方连接，第一分术立方反射的另一路与第二分术立方连接，第二分束立方透射的一路依次与第一滤波片及第一条纹相机连接，第二分束立方反射的一路依次与第二滤波片、透射光栅及第二条纹相机连接；其中，所述透射光栅为300线对每毫米，用于提供光谱分辨；第一滤波片与第二滤波片分别用于滤除物体表面的光致发光与物体表面散射光；

所述的同步控制系统的数字脉冲延时发生器分别与光电探头、数据采集系统中的CMOS相机、第一条纹相机及第二条纹相机连接；

所述的数据重构系统的计算机分别与CMOS相机、第一条纹相机、第二条纹相机连接；数据重构采用全变分块匹配3D滤波即Totalvariation and block-matching 3Dfiltering算法，TV-BM3D算法对第一条纹相机与第二条纹相机相机采集到的两张积分图像进行重构，并对两次重构的结果进行耦合处理，即将立体成像的三维数据与高光谱成像的四维数据进行哈达玛积操作，最后完整的恢复出时空频五维动态场景。

主动照明系统的飞秒激光器产生的飞秒脉冲光激光：脉冲持续时间50-100fs，中心波长390-410nm，光谱带宽至少40nm，重复频率为100Hz，单脉冲能量至少0.3mJ。

所述同步控制系统的数字脉冲延时发生器，能够同时控制数据采集系统中CMOS相机、第一条纹相机、第二条纹相机的曝光延时，使其同步捕捉主动照明系统的飞秒激光器产生的每发脉冲。

本发明由计算机构成数据重构系统，重构采用全变分块匹配3D滤波(TV-BM3D)算法，具体数据处理过程如下：

数据处理过程分为对立体成像系统拍摄的积分图像重构和对高光谱成像系统拍摄到的积分图像重构，最后将重构的结果进行耦合，恢复出五维原始动态场景；

在立体成像系统中，动态场景的空间深度信息由下式计算出：

z＝ct_e/2， (1)

其中，c为光速，即3*10⁸m/s，t_e为光子的飞行时间；

因此，在立体成像系统中，第一条纹相机最后采集的结果E₁(m，n)由下式表示：

E₁(m，n)＝KTCI_sα(x，y，z)， (2)

I_s代表主动照明系统产生的照明散射激光，α(x，y，z)为物体表面强度反射系数，C为空间编码算符，T代表时间偏转算符，K为时空集成算符；为了从积分图像E₁(m，n)中还原出三维立体信息，利用全变分块匹配3D滤波(TV-BM3D)算法对积分图像进行重构，设物体表面散射光I₁＝I_sα(x，y，z)，解决下式的最小化问题：

在(3)式中，||·||₂代表l₂范数，θ为辅助可调参量，λ为正则化参数，Φ(·)是全变分正则化项，s为强度阈值限制，而ε是一个大于0的正数，实际值取决于噪声水平；设y₀为CMOS相机拍摄的静态图像，N为I₁的总像素数量，因此s优化阈值由下式表示：

其中，

代表优化结果的时空集成图像；解决等式(3)的优化问题通过不断迭代更新I₁和θ，即固定其中一个参数，更新另一个参数；因此(3)式的优化问题分解成两个下式的迭代问题，通过不断迭代更新I₁和θ：

其中，k代表迭代次数；令

利用上图设置法即epigraph setmethod求解等式(5)的投影问题；对这里的I₁和E₁分别进行向量化处理，解决下式的投影问题：

其中加入下划线的参量表示N+1维度向量；θ ^(k)＝[θ ^(k)T 0]^T∈R^N+1，R^N+1表示N+1维向量空间，G为f(I₁)的上图集，G＝{[I₁ ^Tq]^T∈R^N+1：q≥f(I₁)}，q是一个正实数；为了求解等式(7)，选择上图集G到θ ^(k)上最近的向量I₁ ^(k+1)，在集合G支持的超平面上执行连续的正交投影；利用梯度下降法即Gradient descent method来计算第j次投影后的投影点

v_j表示成：

这里设v₀的初始值等于θ^(k)，

表示方程f在点V_j-1的导数，即

在第i_max次连续投影后，上图设置G支持的超平面上执行连续投影的最优解I₁ ^(k+1)写为

将向量化的I₁和E₁变形为矩阵，得到优化结果V_jmax＝I₁ ^{(k +1)}；

求解等式(6)看成是一个图像降噪问题，I₁ ^(k+1)是一个带有噪声的图像，而θ^(K+1)是一个降噪后的图像；交替使用TV降噪器和BM3D降噪器进行图像去噪，即第一步使用TV降噪器，后续迭代使用BM3D降噪器；在每次迭代中，通过不断更新噪声标准差σ：

其中，η为[0，1)之间的正实数，ξ为小于1的实数，Δ^(k+1)为差值；最后，当迭代次数k达到最大时，得到最优解

在高光谱成像系统中，原始动态场景为I₂(x，y，t，λ)，第二条纹相机最后采集到结果为E₂，具体表达式为：

E₂(m，n)＝MTSCI₂(x，y，t，λ)， (10)

S为光谱偏移算符，M为时空频集成算符；因此，为了恢复出四维(x，y，t，λ)信息，再次利用全变分块匹配3D滤波(TV-BM3D)算法对积分图像进行重构，即解决下式的最小化问题；

重复上述(4)-(9)式优化迭代过程，得到最优解

基于等式(3)和(11)，已经分别获得了原始动态场景的三维立体信息以及二维空间，一维时间，一维光谱信息；通过对两次重构结果的耦合操作，完整的恢复出原始动态场景的五维(x，y，z，t，λ)信息；根据立体成像系统与高光谱成像系统的时间相关性，具体的耦合操作如下：

其中：

在(12)、(13)式中，H(x)是一个阈值滤波器，x_s代表强度阈值以确保噪声被完全消除，⊙代表二维(x-y)矩阵的哈达玛积操作；

经过阈值滤波后，包含了在空间深度方向的x-y平面序列切片，在耦合过程中仅提供了三维轮廓框架；基于等式(12)，

的序列深度信息通过对

与经过阈值限制的

进行哈达玛积操作获得；最后，整个时空频五维信息(x，y，z，t，λ)被完整的还原出来。

本发明的有益效果是：通过单次曝光的方式，同时获取动态场景的(x，y，z，t，λ)信息，光谱分辨率1.72nm，取决于所用的300刻线每毫米的光栅；时间分辨率为2ps，取决与所用的条纹相机；空间分辨率(x，y，z)分别为0.39mm，0.35mm，3mm(在8.8mm×6.3mm的视场下)。本发明利用两台条纹相机同时捕捉空间三维信息和时空频四维信息，利用CMOS相机拍摄下静态图像辅助重构过程，增加强度和阈值限制以提高成像质量，利用全变分块匹配3D滤波算法分别对采集到的两张积分图像进行重构，并对两次重构的结果进行耦合，首次实现在单次曝光下，捕捉动态场景的五维(x，y，z，t，λ)信息，可以拍摄超快瞬态场景或不可逆事件。

附图说明：

图1为本发明的结构图；

图2为本发明的系统工作原理图；

图3为本发明的五维数据耦合过程图；

图4为实施例1拍摄荧光木偶的实验系统图；

图5为实施例1重构恢复的三维立体图；

图6为从实施例1重构恢复时空频五维结果图。

具体实施方式

下面结合附图及实施例对本发明做详细描述。

参阅图1，本发明包括：主动照明系统100、数据采集系统200、同步控制系统300及数据重构系统400；

所述主动照明系统100由飞秒激光器101、第一反射镜102、第二反射镜103、工程散射器件104构成，所述脉冲激光101、第一反射镜102、第二反射镜103及工程散射器件104依次光路连接；

所述数据采集系统200由待测动态场景201、相机镜头202、第一分术立方203、CMOS相机204、第一透镜205、第二透镜206、数字微镜器件207、第二分术立方208、第一滤波片209、第一条纹相机210、第二滤波片211、透射光栅212及第二条纹相机213构成，所述待测动态场景201、相机镜头202、第一分术立方203依次光路连接，第一分束立方203将光路分成两路，反射的一路与CMOS相机204连接，透射的一路与第一透镜205、第二透镜206、数字微镜器件207连接，数字微镜器件将光路原路返回，依次经过第二透镜206、第一透镜205，第一分束立方203将光路再次反射，反射的另一路与第二分束立方208连接，第二分束立方208将光路分成两路，透射的一路与第一滤波片209、第一条纹相机210连接，反射的一路依次与第二滤波片211、透射光栅212、第二条纹相机213连接；

所述同步控制系统300由数字脉冲延时发生器302、光电探头301构成；

所述数据重构系统400由计算机构成，数据重构采用全变分块匹配3D滤波即Totalvariation and block-matching 3D filtering算法，TV-BM3D算法对第一条纹相机210与第二条纹相机213相机采集到的两张积分图像进行重构；

所述主动照明系统100的工程散射器件104与数据采集系统200的待测动态场景201连接；

所述同步控制系统300的光电探头301与主动照明系统100的飞秒激光器101连接，数字脉冲延时发生器302分别与光电探头301，数据采集系统200的CMOS相机204，第一条纹相机210，第二条纹相机213连接；

数据重构系统400的计算机分别与数据采集系统200的CMOS相机204，第一条纹相机210，第二条纹相机213连接。

本发明包括主动照明系统100、数据采集系统200、同步控制系统300以及数据重构系统400：本发明由主动照明系统100产生照明散射激光，经由数据采集系统200对动态场景进行数据采集。数据采集系统200可分为立体成像系统与高光谱成像系统，立体成像系统用来捕捉动态场景的三维空间信息，高光谱成像系统用来捕捉动态场景的二维空间，一维时间和一维光谱信息。在数据采集过程中，CMOS相机204会采集一张静态图像，第一条纹相机210会采集一张三维(x，y，z)积分图像，第二条纹相机213采集一张四维(x，y，t，λ)积分图像，然后数据重构系统400会对两张积分图像进行重构处理，即利用全变分块匹配3D滤波(TV-BM3D)算法对原始动态场景进行还原，并利用静态图像辅助对重构结果进行空间和强度限制，进一步提高重构图像质量。最终对两个重构结果进行耦合，恢复出五维(x，y，z，t，λ)动态场景的完整信息。本发明突破了现有的光学成像维度，首次在单次曝光下，完整的记录了物体的三维空间，一维时间，一维光谱信息。

本发明是这样工作的：

参阅图1，本发明由主动照明系统100的飞秒激光器101产生飞秒脉冲激光，依次经过第一反射镜102、第二反射镜103、工程散射器件104，工程散射器件104产生的照明散射激光照射在数据采集系统200的整个待动态场景上201，相机镜头202同时收集待测动态场景表面散射光及照明散射激光激发三维物体表面的光致发光，如荧光等，并可用于调节最后成像的大小。经相机镜头202收集的光被第一分束立方203分成两路，被第一分束立方203反射的一路进入CMOS相机204；透射的一路依次经过第一透镜205、第二透镜206组成的4f成像系统、数字微镜器件207。数字微镜器件207将光路进行编码调制并原路反射，依次经过第二透镜206、第一透镜205、第一分束立方203。第一分束立方203将光路再次反射，透射过第二分束立方208，第二分束立方208将光路分成两路，透射的一路经过第一滤波片209，到达第一条纹相机210；反射的一路依次经过第二滤波片211、透射光栅212，到达第二条纹相机213。在数据采集过程中，同步控制系统300的数字脉冲延时发生器302会调节数据采集系统200中的CMOS相机204、第一条纹相机210、第二条纹相机213的曝光延时，以保证三台相机对脉冲光信号的完全同步捕捉。数据重构系统400会对CMOS相机204、第一条纹相机210、第二条纹相机213采集到图像进行重构处理，即利用全变分块匹配3D滤波(TV-BM3D)算法对原始动态场景进行还原，并利用静态图像辅助对重构结果进行空间和强度限制，进一步提高重构图像质量。最终对两个重构结果进行耦合，恢复出五维(x，y，z，t，λ)动态场景的完整信息。

实施例

参阅图1，本实施例所用的飞秒激光器101产生的脉冲光信号为飞秒脉冲激光，单脉冲持续时间为50fs，重复频率为100Hz，谱宽为40nm，中心波长为400nm，单脉冲能量为0.3mJ。

数据采集系统200的CMOS相机204为安道尔Andor公司生产的Zeyla系列相机，具备高灵敏度特性及外触发工作模式。利用CMOS相机采集一张静态时间积分图像，用于提高重构质量。

数据采集系统200的第一条纹相机210，为中国科学院西安光学精密机械研究所皮秒条纹相机5200，具备200-800nm光谱响应波段，最高2ps的时间分辨率，及外触发工作模式。

数据采集系统200的第二条纹相机213，为滨松Hamamatsu公司生产的C7700型号相机，具备200-850nm光谱响应波段，最高2ps的时间分辨率，及外触发工作模式。

数据采集系统200的所用第一分术立方203与第二分束立方208，透射反射比为1∶1。

数据采集系统200所用透射光栅212，刻线为300线对每毫米，用于提供光谱分辨。

第一滤波片209的作用是滤除照明散射激光激发三维物体表面的光致发光。

第二滤波片211的作用是物体表面散射光。

数据采集系统200的所用数字微镜器件207，为德州仪器Texas Instrument公司生产的DLP Light Crafter 3100数字微镜器件，可以对单个微镜进行±12°的偏转控制，有选择的反射成像于微镜表面的像，从而达到空间光调制及编码的作用。

同步控制系统300所用数字脉冲延时发生器302为斯坦福研究系统StanfordResearch SystemsDG645，具备四通道单独延时调节功能，最高1ps的时间延时调节精度。

数据重构系统400的计算机采用全变分块匹配3D滤波算法(TV-BM3D)对两台条纹相机210和213采集到的两张积分图像进行重构和降噪，利用CMOS相机204采集的静态图像辅助重构，对重构进行强度和空间限制，以提高最终重构图像质量。并对两次重构的结果进行耦合处理，即将立体成像的三维数据与高光谱成像的四维数据进行耦合，最后完整的恢复出时空频(x，y，z，t，λ)五维动态场景。

参阅图2，本实施例数据采集系统200的第一条纹相机210通过将时间信息转换为空间信息，最后将三维空间信息压缩为空间二维信息，完成时空压缩，最后采集一张三维积分的二维图像。

参阅图2，本实施例数据采集系统200的第二条纹相机213将二维空间信息，一维光谱信息，一维时间信息的四维信息压缩为二维信息，完成时空频压缩，最后采集一张四维积分的二维图像。

参阅图3，本实施例具体数据耦合过程如图，图的左边为利用立体成像系统拍摄的积分图像及全变分块匹配3D滤波算法(TV-BM3D)重构出的三维立体信息；图的中间为利用高光谱成像系统拍摄的积分图像并用全变分块匹配3D滤波算法(TV-BM3D)重构出的四维信息，横轴代表波长，纵轴为时间。对于每个确定的时间与波长，都包含一张二维平面的帧。利用哈达玛积操作算符，对获得的

和

进行耦合处理。图的右侧代表耦合结果，对于每个确定的时间和波长，原本的二维数据被扩展到三维，实现了整体五维信息的恢复。

参阅图4，选定的待测动态场景201为荧光木偶1，利用本发明装置2拍摄三维物体的发光动力学过程。所用的荧光材料为CdSe量子点，激发波长为小于450nm，发射光谱的中心波长为532nm，谱宽为64nm，被制成胶液涂抹在木偶表面。

主动照明系统100工作，首先飞秒激光器101产生飞秒脉冲激光，依次经过第一反射镜102、第二反射镜103、工程散射器件104，产生照明散射激光。

数据采集系统200工作，主动照明系统100产生的照明散射激光照射在涂有量子点的木偶上，照明散射激光部分用于激发量子点产生荧光，剩余的散射光被木偶表面漫反射，产生的荧光与表面漫反射光同时被相机镜头202收集，经过第一分束立方203，第一分束立方将光路分成两路，反射的一路直接进入CMOS相机204，用于记录一张静态图像；透射的一路依次经过第一透镜205，第二透镜206组成的4f成像系统，到达数字微镜器件207，数字微镜器件207对到达的像进行一个伪随机的编码，并将光路原路反射，依次经过第二透镜206，第一透镜205，第一分束立方204，第一分束立方204将光路再次反射，经过第二分束立方208。第二分束立方208将光路再次分成两路，第一路经过第一滤波片209，光路中只剩下木偶表面经过伪随机编码的漫反射光，进入第一条纹相机210进行时间上即纵向的偏转及三维信息压缩，最后第一条纹相机210记录一张三维信息压缩的二维图片。第二路经过第二滤波片211，光路中只剩下经过伪随机编码的荧光，经过透射光栅212，光谱成分在空间上被横向的偏转，进入第二条纹相机213进行时间上即纵向偏转及四维信息压缩，最后第二条纹相机213记录一张四维信息压缩的二维图片。

同步控制系统300工作，通过光电探头301探测飞秒激光器101产生的脉冲光信号，将光信号转化为电信号，将转变的电信号输送给数字脉冲延时发生器302，数字延时脉冲发生器302对电信号进行延迟处理，来控制数据采集系统工作200中的CMOS相机204，第一条纹相机210，第二条纹相机213的对光信号的同步捕捉。

数据重构系统400工作，数据重构系统400的计算机对数据采集系统工作200中的第一条纹相机210，第二条纹相机213分别采集到的三维立体压缩图像和四维时空频压缩图像进行分别重构，重构采用基于压缩感知的全变分块匹配3D滤波TV-BM3D算法，并且在重构过程中利用数据采集系统工作200中的CMOS相机204采集到的静态图像进行强度和空间限制，以提高重构质量。最后将还原出的三维立体(x，y，z)信息与四维(x，y，t，λ)信息进行耦合操作，最后还原出(x，y，z，t，λ)时空频五维信息。

参阅图5，为立体成像系统拍摄并算法由全变分块匹配3D滤波TV-BM3D算法重构出的三维立体人偶。参阅图6，横轴方向为重构结果挑选出的代表性的部分波长，纵轴方向为重构结果挑选出的代表性的部分时间，每个子图代表特定的时间波长下的三维立体图。在波长方向上，501.04nm至564.68nm代表整个荧光光谱的谱宽，532nm代表峰值波长位置，530.28nm与533.72nm代表最靠近峰值波长的光谱。在时间方向上，选取了具有代表性的五个时间点，从80ps、180ps到480ps代表不同深度荧光被激发的过程，8.6ns代表荧光强度达到一个最大值，以及在48.8ns到达荧光寿命。重构的三维数据与实测保持一致，荧光的寿命参数与光谱参数与已报道的参数也保持一致。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种时空频五维压缩超快摄影装置，其特征在于，该装置包括：

一个由飞秒激光器(101)、第一反射镜(102)、第二反射镜(103)、工程散射器件(104)构成的主动照明系统(100)；

一个由待测动态场景(201)、相机镜头(202)、透射反射之比为1∶1的第一分术立方(203)、CMOS相机(204)、第一透镜(205)、第二透镜(206)、数字微镜器件(207)、透射反射之比为1∶1的第二分术立方(208)、第一滤波片(209)、第一条纹相机(210)、第二滤波片(211)、透射光栅(212)、第二条纹相机(213)构成的数据采集系统(200)；

一个由光电探头(301)、数字脉冲延时发生器(302)构成的同步控制系统(300)；

一个由计算机构成的数据重构系统(400)；

所述主动照明系统(100)的飞秒激光器(101)与第一反射镜(102)、第二反射镜(103)、工程散射器件(104)依次光路连接；

所述数据采集系统(200)的待测动态场景(201)与相机镜头(202)连接，相机镜头(202)与第一分术立方(203)连接，第一分术立方(203)反射的一路与CMOS相机(204)连接，第一分术立方(203)透射的一路依次与第一透镜(205)、第二透镜(206)及数字微镜器件(207)连接，数字微镜器件(207)反射的光路依次与第二透镜(206)、第一透镜(205)及第一分术立方(203)连接，第一分术立方(203)反射的另一路与第二分术立方(208)连接，第二分束立方(208)透射的一路依次与第一滤波片(209)及第一条纹相机(210)连接，第二分束立方(208)反射的一路依次与第二滤波片(211)、透射光栅(212)及第二条纹相机(213)连接；其中，待测动态场景(201)、相机镜头(202)、第一分术立方(203)、第一透镜(205)、第二透镜(206)、数字微镜器件(207)、第二分术立方(208)、第一滤波片(209)及第一条纹相机(210)组成立体成像系统；待测动态场景(201)、相机镜头(202)、第一分术立方(203)、第一透镜(205)、第二透镜(206)、数字微镜器件(207)、第二分术立方(208)、第二滤波片(211)、透射光栅(212)及第二条纹相机(213)组成高光谱成像系统；所述透射光栅(212)为300线对每毫米，用于提供光谱分辨；第一滤波片(209)与第二滤波片(211)分别用于滤除物体表面的光致发光与物体表面散射光；

所述的同步控制系统(300)的数字脉冲延时发生器(302)分别与光电探头(301)、数据采集系统(200)中的CMOS相机(204)、第一条纹相机(210)及第二条纹相机(213)连接；

所述的数据重构系统(400)的计算机分别与CMOS相机(204)、第一条纹相机(210)、第二条纹相机(213)连接；数据重构采用全变分块匹配3D滤波即TV-BM3D算法，所述TV-BM3D算法对第一条纹相机(210)与第二条纹相机(213)相机采集到的两张积分图像进行重构，并对重构的结果进行耦合处理，即将立体成像的三维数据与高光谱成像的四维数据进行哈达玛积操作，最后完整的恢复出时空频五维动态场景。

2.根据权利要求1所述的时空频五维压缩超快摄影装置，其特征在于，所述主动照明系统(100)的飞秒激光器(101)产生的飞秒脉冲光激光：脉冲持续时间50-100fs，中心波长390-410nm，光谱带宽至少40nm，重复频率为100Hz，单脉冲能量至少0.3mJ。

3.根据权利要求1所述的时空频五维压缩超快摄影装置，其特征在于，所述同步控制系统(300)的数字脉冲延时发生器(302)，能够同时控制数据采集系统(200)中CMOS相机(204)、第一条纹相机(210)、第二条纹相机(213)的曝光延时，使其同步捕捉主动照明系统(100)的飞秒激光器(101)产生的每发脉冲。

4.根据权利要求1所述的时空频五维压缩超快摄影装置，其特征在于，重构采用全变分块匹配3D滤波算法，具体数据处理过程如下：

数据处理过程分为对立体成像系统拍摄的积分图像重构和对高光谱成像系统拍摄到的积分图像重构，最后将重构的结果进行耦合，恢复出五维原始动态场景；

在立体成像系统中，动态场景的空间深度信息由下式计算出：

z＝ct_e/2， (1)

其中，c为光速，即3*10⁸m/s，t_e为光子的飞行时间；

因此，在立体成像系统中，第一条纹相机(210)最后采集的结果E₁(m，n)由下式表示：

E₁(m，n)＝KTCI_sα(x，y，z)， (2)

I_s代表主动照明系统(100)产生的照明散射激光，α(x，y，z)为物体表面强度反射系数，C为空间编码算符，T代表时间偏转算符，K为时空集成算符；为了从积分图像E₁(m，n)中还原出三维立体信息，利用全变分块匹配3D滤波(TV-BM3D)算法对积分图像进行重构，设物体表面散射光I₁＝I_sα(x，y，z)，解决下式的最小化问题：

在(3)式中，||·||₂代表l₂范数，θ为辅助可调参量，λ为正则化参数，Φ(·)是全变分正则化项，s为强度阈值限制，而ε是一个大于0的正数，实际值取决于噪声水平；设y₀为CMOS相机(204)拍摄的静态图像，N为I₁的总像素数量，因此s优化阈值由下式表示：

其中，

代表优化结果的时空集成图像；解决等式(3)的优化问题通过不断迭代更新I₁和θ，即固定其中一个参数，更新另一个参数；因此(3)式的优化问题分解成两个下式的迭代问题，通过不断迭代更新I₁和θ：

其中，k代表迭代次数；令

利用上图设置法即epigraph setmethod求解等式(5)的投影问题；对这里的I₁和E₁分别进行向量化处理，解决下式的投影问题：

其中加入下划线的参量表示N+1维度向量；θ ^(k)＝[θ ^(k)T 0]^T∈R^N+1，R^N+1表示N+1维向量空间，G为f(I₁)的上图集，G＝{[I₁ ^Tq]^T∈R^N+1：q≥f(I₁)}，q是一个正实数；为了求解等式(7)，选择上图集G到θ ^(k)上最近的向量I₁ (^k+1)，在集合G支持的超平面上执行连续的正交投影；利用梯度下降法即Gradient descent method来计算第j次投影后的投影点

v_j表示成：

这里设v₀的初始值等于θ^(k)，

表示方程f在点v_j-1的导数，即

在第j_max次连续投影后，上图设置G支持的超平面上执行连续投影的最优解I₁ ^(k+1)写为

将向量化的I₁和E₁变形为矩阵，得到优化结果V_jmax＝I₁ ^{(k +1)}；

求解等式(6)看成是一个图像降噪问题，I₁ ^(k+1)是一个带有噪声的图像，而θ^(K+1)是一个降噪后的图像；交替使用TV降噪器和BM3D降噪器进行图像去噪，即第一步使用TV降噪器，后续迭代使用BM3D降噪器；在每次迭代中，通过不断更新噪声标准差σ：

其中，η为[0，1)之间的正实数，ξ为小于1的实数，Δ^(k+1)为差值；最后，当迭代次数k达到最大时，得到最优解

在高光谱成像系统中，原始动态场景为I₂(x，y，t，λ)，第二条纹相机最后采集到结果为E₂，具体表达式为：

E₂(m，n)＝MTSCI₂(x，y，t，λ)， (10)

S为光谱偏移算符，M为时空频集成算符；因此，为了恢复出四维(x，y，t，λ)信息，再次利用全变分块匹配3D滤波(TV-BM3D)算法对积分图像进行重构，即解决下式的最小化问题；

重复上述(4)-(9)式优化迭代过程，得到最优解

基于等式(3)和(11)，已经分别获得了原始动态场景的三维立体信息以及二维空间，一维时间，一维光谱信息；通过对两次重构结果的耦合操作，完整的恢复出原始动态场景的五维(x，y，z，t，λ)信息；根据立体成像系统与高光谱成像系统的时间相关性，具体的耦合操作如下：

其中：

在(12)、(13)式中，H(x)是一个阈值滤波器，x_s代表强度阈值以确保噪声被完全消除，⊙代表二维(x-y)矩阵的哈达玛积操作；

经过阈值滤波后，包含了在空间深度方向的x-y平面序列切片，在耦合过程中仅提供了三维轮廓框架；基于等式(12)，

的序列深度信息通过对

与经过阈值限制的

进行哈达玛积操作获得；最后，整个时空频五维信息(x，y，z，t，λ)被完整的还原出来。

Images