CN113163082A - 基于散射介质和空间光调制器共同调制的单像素成像系统 - Google Patents

Abstract

本发明公开了基于散射介质和空间光调制器共同调制的单像素成像系统，包括：激光器、扩束器、空间光调制器、雾室、分光棱镜、CCD相机、光电倍增管和成像模块；激光器用于发射激光；扩束器用于对激光进行扩束；空间光调制器用于利用预注入的Hadamard矩阵的调制样式对扩束后的激光进行调制；雾室用于对空间光调制器调制后的激光再进行一次散射介质的调制；分光棱镜用于将空间光调制器和水雾联合调制后的光场分为两条光路；CCD相机用于通过一条光路拍摄调制的样式；光电倍增管，用于收集另一条光路照射目标后的光强信号；成像模块用于将光电倍增管收集到的光强信息转化为电压信号，结合CCD相机拍摄的调制样式，经过压缩感知算法将目标图像重建出来。

Description

基于散射介质和空间光调制器共同调制的单像素成像系统

技术领域

本发明涉及光学成像，具体涉及基于散射介质和空间光调制器共同调制的单像素成像系统。

背景技术

透过时变散射介质成像是许多重要领域都需要克服的难题。例如军事上的对地观测、雾霾中自动驾驶、浑浊的水下成像等等。在透明介质中，光线是沿着直线传播，所以携带的目标信息没有被破坏，能够直接进行清晰的成像。但是当光透过浑浊的散射介质时，光线不再沿着直线传播，而是跟着散射路径随机传播，这会造成像质量下降，甚至当散射严重的时候，根本无法获得图像。

由于透过散射介质成像具有十分重要的应用，所以近年来成为了科学家们的研究热点。当散射作用较弱的时候，可以通过提取弹道光子来进行成像。相关的方法有：利用各类门技术，如时间门、空间门、偏振门及相干门等；设计合适的调制光源，如时间调制的照明和结构光照明等。但是，在传输的过程中，弹道光子的数量会随着传播距离呈指数下降，这会使得提取弹道光子的成像方法失效。后来有相关研究人员提出经过散射介质后的散射光子仍然包含了有效的目标信息，因此利用散射介质来进行目标反演成像逐渐成为一种有效的新方法。目前应用较为广泛的成像方法有波前整形、散斑相关成像和基于深度学习的散射成像。波前整形的方法主要是通过先验信息来实现任意期望位置的聚焦和成像，包括基于反馈的波前整形、传输矩阵和光学相位共轭等等，但是该类方法对成像器件像波前调制器等具有一定的要求；散斑相关的方法主要是利用散斑的一些特性(浴帘效应、记忆效应)来对图像进行反演成像，该类方法适用于散射介质较薄的情况；深度学习具有强大的端到端的拟合能力，能够自主的学习散射介质系统的散斑输入和图像输出之间的复杂函数映射关系，极大的简化了透过散射介质成像的过程。但是该类方法的局限是对训练集过度的依赖，且无法说明其中物理的机理。综上所述，对于时变强散射介质的光学成像的问题，目前还没有十分有效的解决方法。

发明内容

针对时变强散射介质下光学成像的难题，本发明提出基于散射介质和空间光调制器共同调制的单像素成像系统及方法；首先是DMD对准直扩大后的激光光源进行调制，然后穿过充满水雾的烟雾箱(1×0.8×0.6m³)被时变散射介质调制，最后分光棱镜将联合调制后的光一分为二，一路被工业相机CCD拍摄作为调制矩阵，另外一路到达目标后被单像素探测器收集，将两路探测器采集到的相关信息配合单像素算法重构出目标图像。

为实现上述目的，本发明提出了一种基于散射介质和空间光调制器共同调制的单像素成像系统，所述系统包括：激光器、扩束器、空间光调制器、雾室、分光棱镜、CCD相机、光电倍增管和成像模块；

所述激光器，用于发射激光；所述扩束器，用于对激光进行扩束；

所述空间光调制器，用于利用预注入的Hadamard矩阵的调制样式对扩束后的激光进行调制；

所述雾室，用于对空间光调制器调制后的激光再进行一次散射介质的调制；雾室里充满水雾，并设置一个能够360度旋转的风扇，用于增加水雾变化强度；

所述分光棱镜，用于将空间光调制器和水雾联合调制后的光场分为两条光路；

所述CCD相机，用于通过一条光路拍摄联合调制样式，发送至成像模块；

所述光电倍增管，用于收集另一条光路照射目标后的光强信号，发送至成像模块；

所述成像模块，用于将光电倍增管收集到的光强信息转化为电压信号，并由CCD相机拍摄的调制样式生成测量矩阵，经过压缩感知算法将重建出目标图像。

作为上述系统的一种改进，所述Hadamard矩阵的元素为1或-1。

作为上述系统的一种改进，所述成像模块的具体实现过程包括：

将CCD相机拍摄的联合调制样式作为大小为M×N的测量矩阵Φ，M为采样次数，N为目标图像的大小：N＝n×n，

将光电倍增管收集到的光强信息转化为电压信号y；

选取稀疏基Ψ为傅里叶矩阵，则测量矩阵和稀疏矩阵之间的平均相关系数为0.0053，满足不相关条件；

选取最小全变分的TVAL3算法作为压缩感知算法，将测量矩阵Φ和电压信号y输入最小全变分的TVAL3算法，重建出n×n的目标图像。

作为上述系统的一种改进，当M＝N时，Φ为全采样测量矩阵。

基于上述成像系统，本发明还提出了一种基于散射介质和空间光调制器共同调制的单像素成像方法，所述方法包括：

步骤1)将成像系统的各部件按照光路放置，打开烟雾发生器，将水雾注入雾室；根据空间光调制器进行全1显示以调好CCD相机的位置，打开风扇，增加雾室的水雾变化强度；

步骤2)控制空间光调制器依次显示Hadamard调制样式，同时CCD相机记录联合调制的调制样式，光电倍增管采集携带目标的光强信息；重复该步骤M次，获得M张CCD相机照片，M个光电倍增管采集到的光强信号；

步骤3)成像模块对每张CCD相机照片进行裁剪，去除四周像素为0的部分，并将其进行像素均值合并为n×n的图像，由此生成M×N的测量矩阵Φ，以此作为联合调制样式，N为目标图像的大小：N＝n×n；

步骤4))成像模块将光电倍增管收集到的光强信息转化为电压信号y；基于测量矩阵Φ采用用最小全变分的TVAL3算法重建出目标图像。

本发明的优势在于：

1、时变强散射介质的干扰造成光学系统无法清晰成像；面对这样的难题，本发明提出了散射介质和DMD联合调制的成像系统，CCD拍摄联合调制的样式作为测量矩阵，利用单像素计算成像模型进行图像的重建，有效的解决了时变散射介质成像的难题；

2、本发明的系统中，散射介质不再成像系统的干扰，而是充当成像器件中的组成部分(和DMD共同调制)，以此来实现透过时变散射介质的光学成像。

3、本发明的系统为透过时变强散射介质的光学成像提供一种新的解决途径。

附图说明

图1为基于压缩感知的单像素成像系统；

图2为本发明的基于散射介质和空间光调制器共同调制的单像素成像光路图；

图3(a)是目标图像；

图3(b)是水雾和DMD联合调制的结果；

图3(c)是对比实验即仅用DMD调制的结果。

具体实施方式

下面结合附图给出本发明的实施流程，以详细说明本发明的技术方案。

本发明提出了基于散射介质和空间光调制器共同调制的单像素成像系统，采用如下技术方案：

1、联合调制成像系统

基于压缩感知的单像素成像系统如图1所示。目标图像经过光学系统后投影到空间光调制器(Digital Micromirror Device，DMD)上，DMD是成像的核心器件，由几百万个微米量级的微小反射镜构成。每个微镜独立的被编程控制然后转动为正反两面来实现0/1调制。表征测量矩阵的DMD对带有目标信息的光场进行调制编码后，反射的光线经过透镜被光电二极管收集，再将采集到的信号转换为数字信号。将DMD按照设计好的测量矩阵多次翻转，相应的，光电二极管对调制后的信息进行多次采集。最后根据采集的数据重构得到原始图像。

当成像系统中存在散射介质的时候，散射介质对光场也具有一定的调制编码的作用。DMD和散射介质联合调制的成像光路如图2所示。扩束后的激光光源首先被DMD调制，然后经过雾室。为了使散射介质具有动态特征，充满水雾的雾室里有一个能360度旋转的风扇。DMD和水雾联合调制后的光场被分光棱镜分为两条光路，一条由相机CCD记录其调制的样式，另外一条照射目标后被光电倍增管PMT收集。将采集到的光电信号用压缩感知算法进行反演可以得到目标图像。

2、测量矩阵

压缩感知理论指出，如果信号是稀疏的，那么它可以以远低于奈奎斯特采样率来恢复信号。压缩感知技术主要分为两个过程：采样和重建。采样过程指的是原始的信号通过特定的测量矩阵线性投影到低维空间中，这样可以降低采样频率；重建的过程是使用信号的先验信息和重构算法将原始的信号恢复出来。假设x为n维矢量信号，存在稀疏基Ψ，使得x＝Ψx'，其中x'是稀疏的。压缩感知的测量过程可以表示为：

y＝ΦΨx'+e (1)

其中Φ为m×n维测量矩阵，e为噪声。

对于压缩感知来说，决定采样编码的测量矩阵是非常重要的。衡量测量矩阵的一个标准是约束等距性(Restricted Isometry Property，RIP)。如果一个测量矩阵满足RIP条件，那么信号就可以通过算法恢复出来。RIP条件的数学表达为：

其中，c为稀疏信号，若存在大小在区间(0,1)之间的δ_K，使得不等式(2)成立，则说明测量矩阵Φ满足RIP条件。虽然RIP理论给出了测量矩阵需要满足的条件，但是在实际应用中，这种判断过于复杂且对测量矩阵的设计不具有指导意义。因此，有科学家研究发现，如果测量矩阵和所选的稀疏基不相关，那么测量矩阵将在很大程度上满足RIP条件。目前，不相关性是应用较为广泛的判断依据。平均相关系数是衡量不相关性的一个重要的指标，其数学定义为：

其中Θ为感知矩阵，它的定义为：Θ＝ΦΨ。选择常用的傅里叶矩阵作为稀疏基，经过运算得出采用联合调制的方法得到的测量矩阵和稀疏矩阵之间的平均相关系数为0.0053，满足不相关条件。

3、重构算法

信号的重构算法也是压缩感知恢复图像的核心内容。快速稳定的重构算法为压缩感知的实际应用提供保证。目前主流的算法大致可以分为三类：凸优化算法、贪婪算法和全变分算法。相比于其他算法来说，全变分算法更合适重构二维图像。最小全变分算法的模型为：

minTV(x)s.t.y＝Φx (4)

其中，目标函数TV(x)为图像的离散梯度和，为：

水平方向上和垂直方向上的梯度被表示为：

其中，n表示图像的大小，x_ij代表图像所在的位置(i,j)处的像素值。

目前，最小全变分算法已经逐渐成为主流的图像恢复算法，尤其是基于最小全变分的TVAL3(Total Variation minimization by Augmented Lagrangian andAlternating Direction Algorithms)算法。该算法结合了全变分与増广拉格朗日函数，具有较高的图像重建质量和较短的重建时间。

下面通过仿真与实验相结合的方法展示本申请的技术效果。

1、雾室成像实验过程

激光器发出的波长为532nm激光被扩束器扩大十倍后照射到DMD上，DMD上的调制样式为大小为32×32的Hadamard矩阵。被DMD调制以后的光场再进入烟雾箱被时变的水雾调制，为了增加水雾的变化强度，烟雾箱里还有一个360度旋转的风扇。联合调制后的光路被分为两路，一路由CCD拍摄联合调制后样式，另外一路到达目标，被目标反射后被光电倍增管PMT收集。控制电脑上的采集卡会将PMT收集到的光强信息转化为电压信号，配合CCD拍摄的调制样式经过压缩感知TVAL3算法将目标图像重建出来。为了说明实验结果，采用仅DMD调制作为对比实验。对比实验将注入到DMD上的对应的Hadamard矩阵作为测量矩阵，PMT采集的信号作为测量值，重构算法和实验其他操作均和联合调制实验一致。

实验具体操作步骤如下：

(1)调节实验光路：将实验器件按照实验光路放置，打开烟雾发生器，将水雾注入烟雾箱，打开激光器，DMD，CCD和PMT。DMD进行全1显示以便调好CCD拍摄的位置，打开风扇，增加水雾变化强度；

(2)电脑程序控制DMD显示第一个Hadamard调制样式，与此同时CCD记录联合调制的调制样式，PMT采集携带目标的光强信息；

(3)恢复目标图像的大小为32×32时，为了保证全采样，重复第(2)个步骤1024次；

(4)将DMD拍摄得到的1024张照片进行裁剪，去除四周像素为0的部分，并将其进行像素均值合并为32×32大小，以此作为联合调制样式，全采样的测量矩阵；

(5)将得到的联合调制样式和PMT采集到的光强信号用压缩感知的TVAL3算法恢复出目标图像。

对比实验则是将注入DMD上的Hadamard矩阵作为调制样式，其他操作和联合调制一致恢复目标图像。

2、图像重构结果

图3(a)是目标图像，图3(b)是水雾和DMD联合调制的结果，图3(c)是对比实验即仅用DMD调制的结果。根据重构结果可知，在仅用DMD调制的情况下，几乎不能重构出原来的目标，但是如果采用提出的联合调制的方法，可以较好的恢复目标图像。实验结果显示出了水雾和DMD联合调制方法的有效性和优越性。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于散射介质和空间光调制器共同调制的单像素成像系统，其特征在于，所述系统包括：激光器、扩束器、空间光调制器、雾室、分光棱镜、CCD相机、光电倍增管和成像模块；

所述激光器，用于发射激光；所述扩束器，用于对激光进行扩束；

所述空间光调制器，用于利用预注入的Hadamard矩阵的调制样式对扩束后的激光进行调制；

所述雾室，用于对空间光调制器调制后的激光再进行一次散射介质的调制；雾室里充满水雾，并设置一个能够360度旋转的风扇，用于增加水雾变化强度；

所述分光棱镜，用于将空间光调制器和水雾联合调制后的光场分为两条光路；

所述CCD相机，用于通过一条光路拍摄联合调制样式，发送至成像模块；

所述光电倍增管，用于收集另一条光路照射目标后的光强信号，发送至成像模块；

所述成像模块，用于将光电倍增管收集到的光强信息转化为电压信号，并由CCD相机拍摄的调制样式生成测量矩阵，经过压缩感知算法将重建出目标图像。

2.根据权利要求1所述的基于散射介质和空间光调制器共同调制的单像素成像系统，其特征在于，所述Hadamard矩阵的元素为1或-1。

3.根据权利要求1所述的基于散射介质和空间光调制器共同调制的单像素成像系统，其特征在于，所述成像模块的具体实现过程包括：

将CCD相机拍摄的联合调制样式作为大小为M×N的测量矩阵Φ，M为采样次数，N为目标图像的大小：N＝n×n，

将光电倍增管收集到的光强信息转化为电压信号y；

选取稀疏基Ψ为傅里叶矩阵，则测量矩阵和稀疏矩阵之间的平均相关系数为0.0053，满足不相关条件；

选取最小全变分的TVAL3算法作为压缩感知算法，将测量矩阵Φ和电压信号y输入最小全变分的TVAL3算法，重建出n×n的目标图像。

4.根据权利要求3所述的基于散射介质和空间光调制器共同调制的单像素成像系统，其特征在于，当M＝N时，Φ为全采样测量矩阵。

5.一种基于散射介质和空间光调制器共同调制的单像素成像方法，基于权利要求1-4之一所述的基于散射介质和空间光调制器共同调制的单像素成像系统实现，所述方法包括：

步骤1)将成像系统的各部件按照光路放置，打开烟雾发生器，将水雾注入雾室；根据空间光调制器进行全1显示以调好CCD相机的位置，打开风扇，增加雾室的水雾变化强度；

步骤2)控制空间光调制器依次显示Hadamard调制样式，同时CCD相机记录联合调制的调制样式，光电倍增管采集携带目标的光强信息；重复该步骤M次，获得M张CCD相机照片，M个光电倍增管采集到的光强信号；

步骤3)成像模块对每张CCD相机照片进行裁剪，去除四周像素为0的部分，并将其进行像素均值合并为n×n的图像，由此生成M×N的测量矩阵Φ，以此作为联合调制样式，N为目标图像的大小：N＝n×n；

步骤4))成像模块将光电倍增管收集到的光强信息转化为电压信号y；基于测量矩阵Φ采用用最小全变分的TVAL3算法重建出目标图像。

Images