CN112767509A - 用于关联成像系统的图像重构方法 - Google Patents

Abstract

本发明公开了一种用于关联成像系统的图像重构方法，包括获取基础数据并初始化参数；进行伪测量过程得到稀疏系数矩阵；进行交替优化得到采样矩阵；优化采样矩阵；计算得到信号矩阵；进行图像重构。本发明将关联成像光场优化问题转化为压缩感知中的测量矩阵或采样矩阵优化问题，利用稀疏系数矩阵交替优化采样矩阵和稀疏表示基，优化的采样矩阵经过非负约束和二值阈值量化处理后产生所需要的散斑模式；本发明使得优化的采样矩阵更有效地捕获与目标有关的信息；因此，本发明方法能够有效提高采样效率，降低采样次数，提高重构质量，能够实现低采样率下的高质量图像重构，而且可靠性高、稳定性好且适用范围广。

Description

用于关联成像系统的图像重构方法

技术领域

本发明属于计算关联成像领域，具体涉及一种用于关联成像系统的图像重构方法。

背景技术

关联成像又被称为鬼成像，其突出特性是能够实现“物像分离”。在典型的鬼成像系统中(如图1所示)，可以通过两束分布光束之间的关联运算重构出待测目标图像，这两束光分别称为参考光和信号光，相应的光路分别被称为参考光路和信号光路。参考光不与物体接触，可由CCD探测器采集，信号光路上放置待测物体，并由桶探测器记录物体透射或反射的光。单凭任意光路采集的数据都不能将目标重构出来，而对两路测量数据做关联运算可将待测目标重构出来。

由于背景噪声的存在，传统的鬼成像要实现较高质量的图像重构，需要进行大量的测量，这大大增加了测量和图像重构的时间成本，而信噪比提升却十分有限。为了降低采样次数，提高重构质量，Shapiro在2008年提出了计算鬼成像，Katz等人在2009年提出了压缩鬼成像，研究者将压缩感知理论与鬼成像技术相结合，利用压缩感知中的重构算法恢复待测目标图像，实现了测量次数远低于奈奎斯特采样极限，而重构图像质量相较于传统鬼成像又有所提高。

传统的压缩感知与鬼成像结合时，使用的一般是随机高斯分布的散斑照明模式，计算机预先生成随机散斑模式并加载到数字微镜器件或空间光调制器上，实现对照明光场的调制。这种方式简单易于实现，但不同的散斑模式间可能包含重叠信息，客观引入了散斑相关性噪声，导致重构图像的信噪比下降，采样效率也难以提升。

2015年，徐旭阳(Xu Xu Yang)等人基于压缩感知理论，将关联成像光场优化问题转化为压缩感知中的测量矩阵优化问题，从最小化测量矩阵和稀疏表示基间的互相干度出发，提出一种光场优化模型，在一定程度上提高了成像质量。但由于这种方式采用梯度下降算法对最小化模型进行求解，存在迭代次数多问题，只能得到局部最优，采样效率还有待进一步提升。并且对优化的采样矩阵元素进行四舍五入，相当于采用灰度散斑模式，和二进制散斑模式相比，加载到数字微镜器件上的速度较慢。

发明内容

本发明的目的在于提供一种能够实现低采样率下的高质量图像重构，而且可靠性高、稳定性好且适用范围广的用于关联成像系统的图像重构方法。

本发明提供的这种用于关联成像系统的图像重构方法，包括如下步骤：

S1.获取基础数据，并初始化参数；

S2.根据步骤S1获取的基础数据和参数，进行伪测量过程，得到稀疏系数矩阵；

S3.根据步骤S2得到的稀疏系数矩阵，进行交替优化过程，从而得到采样矩阵；

S4.对步骤S3得到的采样矩阵进行优化；

S5.根据步骤S4得到的优化后的采样矩阵，计算得到信号矩阵；

S6.根据步骤S4得到的优化后的采样矩阵和步骤S5得到的信号矩阵，进行图像重构。

步骤S1所述的获取基础数据，并初始化参数，具体为获取训练数据集X和测试数据集X'，并随机初始化采样矩阵Φ₀和稀疏表示基Ψ₀，同时设定稀疏水平K、迭代次数iter和权重因子ω；其中，训练数据集X的维度为N×P，每一列为对应样本的向量化表示；测试数据集X'的维度为N×P'，每一列为对应样本的向量化表示；P为训练样本的个数，P'为测试样本的个数；采样矩阵Φ₀的维度为M×N，稀疏表示基Ψ₀的维度为N×L。

所述的训练数据集X和测试数据集X'，为公开的MNIST数据集，也可采用其他公开的数据集，或实验数据。

所述的稀疏表示基Ψ₀，服从均值为0、方差为1的高斯分布。

步骤S2所述的根据步骤S1获取的基础数据和参数，进行伪测量过程，得到稀疏系数矩阵，具体为采用如下步骤得到稀疏系数矩阵：

A.根据步骤S1获取的基础数据和初始化参数，利用采样矩阵Φ₀对训练数据集X进行测量，得到伪测量结果Y＝Φ₀X；

B.根据步骤A得到的伪测量结果Y，对如下最小化问题进行求解，从而得到稀疏系数矩阵

s.t.||Z(:,p)||₀≤K,p＝1,…,P

式中Z为稀疏系数矩阵；Z(:,p)为稀疏系数矩阵的第p列；||||₀为

范数，表示非零元素的个数；

为Frobenius范数的平方；Φ₀为采样矩阵；Ψ₀为稀疏表示基；K为稀疏水平。

步骤B所述的求解，具体为采用压缩感知中的正交匹配追踪算法进行求解。

步骤S3所述的根据步骤S2得到的稀疏系数矩阵，进行交替优化过程，从而得到采样矩阵，具体为采用如下步骤得到采样矩阵：

定义原始目标函数ρ(Φ,Ψ)：

s.t.Φ＝U[I_M 0]V^T和Φ_m,n≥0

式中I_N为维度为N的单位矩阵；ω为权重因子；Φ为采样矩阵；X为训练数据集构成的矩阵，每一列是对应样本的向量化表示；Ψ为稀疏表示基；Z为稀疏系数矩阵；

为Frobenius范数的平方；U为维度为M×M的任意正交矩阵；I_M为维度为M的单位矩阵；V为维度为N×N的任意正交矩阵；Φ_m,n为采样矩阵Φ第m行第n列所对应的元素值；

迭代次数从1迭代值设定值iter，按照如下过程交替优化稀疏表示基和采样矩阵：

更新稀疏表示基Ψ_i，固定Φ_i-1，求解如下最小化问题：

更新采样矩阵Φ_i，固定Ψ_i，求解如下最小化问题：

s.t.Φ_i＝U[I_M 0]V^T

当迭代次数达到设定值iter时，得到优化后的采样矩阵

所述的最小化问题

具体为：

然后，将上述最小化问题转换为：

式中A_i和B_i满足：

对B_i和

进行奇异值分解如下：

按如下方式更新Ψ_i：

其中

对应

的第一分块

和

由Ψ_i-1决定：

所述的最小化问题

具体为：

式中E_i表示第i次迭代时的稀疏表示误差，

对E_i进行奇异值分解：

然后将最小化问题

转化为：

令V＝U_E，得到Φ_i的更新公式

步骤S4所述的对步骤S3得到的采样矩阵进行优化，具体为采用如下步骤进行优化：

非负约束：对步骤S3得到的优化后的采样矩阵

进行如下非负约束：

若

则直接设定

m＝1,…,M，n＝1,…,N

其中

为步骤S3得到的优化后的采样矩阵

的第m行第n列所对应的强度值，M为行数，N为列数；

二值阈值量化：对非负约束优化后采样矩阵

进行如下二值阈值量化处理：

式中α为设定的量化阈值。

所述的量化阈值，取值为非负约束优化后的采样矩阵

中，所有非零强度值的平均值。

步骤S5所述的根据步骤S4得到的优化后的采样矩阵，计算得到信号矩阵，具体为将优化后的采样矩阵的每一行展开成维度为l×l′的散斑模式，共有M个散斑模式；然后由计算机依次加载到数字微镜器件上，实现对照明光场的二进制调制；再然后，M个散斑模式构成的采样矩阵与步骤S1中给定的测试数据集X'相乘，桶探测器依次采集到每一个测试样本所对应的M个信号数据，共有P'个测试样本；最后所有测试样本的信号数据构成M×P'的信号矩阵Y'。

步骤S6所述的根据步骤S4得到的优化后的采样矩阵和步骤S5得到的信号矩阵，进行图像重构，具体为利用压缩感知中的快速迭代收缩阈值算法，将P'个测试图像重构出来。

所述的利用压缩感知中的快速迭代收缩阈值算法，将P'个测试图像重构出来，具体为求解的问题如下：

式中λ为大于0的正则化参数；

x_j为N×1的列向量，表示第j个重构图像的向量化表示形式，j＝1,2,…,P′；N＝l×l′；x_j能够展开成维度为l×l′的图像，表示与第j个测试样本所对应的重构图像。

本发明提供的这种用于关联成像系统的图像重构方法，将关联成像光场优化问题转化为压缩感知中的测量矩阵或采样矩阵优化问题，利用稀疏系数矩阵交替优化采样矩阵和稀疏表示基，优化的采样矩阵经过非负约束和二值阈值量化处理后产生所需要的散斑模式；本发明使得优化的采样矩阵更有效地捕获与目标有关的信息；因此，本发明方法能够有效提高采样效率，降低采样次数，提高重构质量，能够实现低采样率下的高质量图像重构，而且可靠性高、稳定性好且适用范围广。

附图说明

图1为现有的关联成像系统的示意图。

图2为本发明方法的方法流程示意图。

图3为给定采样率(Sampling Rate，简称SR)时Xu等人的方法与本发明方法在采样矩阵优化OGIMDF和未优化UGI的情况下MNIST手写数字的图像重构结果对比示意图。

图4为Xu等人的方法与本发明方法在采样矩阵优化OGIMDF和未优化UGI的情况下峰值信噪比PSNR随采样率变化曲线的对比示意图。

图5为Xu等人的方法与本发明方法在采样矩阵优化OGIMDF和未优化UGI的情况下平均结构相似度MSSIM随采样率变化曲线的对比示意图。

图6为给定测量次数M时本发明方法在采样矩阵优化OGIMDF和未优化UGI的情况下Frey人脸图像的重构结果的对比示意图。

具体实施方式

如图1所示为现有的关联成像系统的示意图，也为本发明方法所适用的关联成像系统：光源经过库勒照明系统后，均匀地照射到数字微镜器件上，计算机预先将优化好的散斑模式加载到数字微镜器件上，入射光场经过数字微镜器件调制后通过投影透镜照射到待测目标图像，目标物体的反射光再经过会聚透镜最终由桶探测器接收总的光强。根据数字微镜器件上预置的散斑模式和桶探测器的探测结果，利用本发明方法恢复原目标图像。

在具体实施时，光源为卤素灯或LED光源，所述库勒照明系统用于对光源进行调制形成均匀照明光场，所述桶探测器为光电倍增管；数字微镜器件上的微镜阵列偏转角度为正负12度，正12度为开状态，负12度为闭状态，实现对光场分布的二进制调制；数字微镜器件所加载的预置散斑模式采用优化的二值散斑；优化好的散斑模式是通过对伪测量过程和交替优化过程后获得的采样矩阵做非负约束和二值阈值量化处理而得到。

如图2所示为本发明方法的方法流程示意图：本发明提供的这种用于关联成像系统的图像重构方法，包括如下步骤：

S1.获取基础数据，并初始化参数；具体为获取训练数据集X和测试数据集X'(优选为公开的MNIST数据集，也可采用其他公开的数据集，或实验数据)，并随机初始化采样矩阵Φ₀和稀疏表示基Ψ₀(稀疏表示基Ψ₀，服从均值为0、方差为1的高斯分布)，同时设定稀疏水平K(表示目标图像在给定的变换域中稀疏系数矩阵每列非零元素个数不超过K)、迭代次数iter(优选为小于10的正整数)和权重因子ω；其中，训练数据集X的维度为N×P，每一列为对应样本的向量化表示；测试数据集X'的维度为N×P'，每一列为对应样本的向量化表示；P为训练样本的个数，P'为测试样本的个数；采样矩阵Φ₀的维度为M×N，稀疏表示基Ψ₀的维度为N×L；

S2.根据步骤S1获取的基础数据和参数，进行伪测量过程，得到稀疏系数矩阵；具体为采用如下步骤得到稀疏系数矩阵：

A.根据步骤S1获取的基础数据和初始化参数，利用采样矩阵Φ₀对训练数据集X进行测量，得到伪测量结果Y＝Φ₀X；

B.根据步骤A得到的伪测量结果Y，对如下最小化问题进行求解，从而得到稀疏系数矩阵

s.t.||Z(:,p)||₀≤K,p＝1,…,P

式中Z为稀疏系数矩阵；Z(:,p)为稀疏系数矩阵的第p列；||||₀为

范数，表示非零元素的个数；

为Frobenius范数的平方；Φ₀为采样矩阵；Ψ₀为稀疏表示基；K为稀疏水平；

S3.根据步骤S2得到的稀疏系数矩阵，进行交替优化过程，从而得到采样矩阵；具体为采用如下步骤得到采样矩阵：

定义原始目标函数ρ(Φ,Ψ)：

s.t.Φ＝U[I_M 0]V^T和Φ_m,n≥0

式中I_N为维度为N的单位矩阵；ω为权重因子；Φ为采样矩阵；X为训练数据集构成的矩阵，每一列是对应样本的向量化表示；Ψ为稀疏表示基；Z为稀疏系数矩阵；

为Frobenius范数的平方；U为维度为M×M的任意正交矩阵；I_M为维度为M的单位矩阵；V为维度为N×N的任意正交矩阵；Φ_m,n为采样矩阵Φ第m行第n列所对应的元素值；

迭代次数从1迭代值设定值iter，按照如下过程交替优化稀疏表示基和采样矩阵：

更新稀疏表示基Ψ_i，固定Φ_i-1，求解如下最小化问题：

更新采样矩阵Φ_i，固定Ψ_i，求解如下最小化问题：

s.t.Φ_i＝U[I_M 0]V^T

当迭代次数达到设定值iter时，得到优化后的采样矩阵

在具体实施时，

最小化问题

具体为：

然后，将上述最小化问题转换为：

式中A_i和B_i满足：

对B_i和

进行奇异值分解如下：

按如下方式更新Ψ_i：

其中

对应

的第一分块

和

由Ψ_i-1决定：

最小化问题

具体为：

式中E_i表示第i次迭代时的稀疏表示误差，

对E_i进行奇异值分解：

然后将最小化问题

转化为：

令V＝U_E，得到Φ_i的更新公式

S4.对步骤S3得到的采样矩阵进行优化；具体为采用如下步骤进行优化：

非负约束：对步骤S3得到的优化后的采样矩阵

进行如下非负约束：

若

则直接设定

m＝1,…,M，n＝1,…,N

其中

为步骤S3得到的优化后的采样矩阵

的第m行第n列所对应的强度值，M为行数，N为列数；

二值阈值量化：对非负约束优化后采样矩阵

进行如下二值阈值量化处理：

式中α为设定的量化阈值(优选取值为非负约束优化后的采样矩阵

中，所有非零强度值的平均值)；

S5.根据步骤S4得到的优化后的采样矩阵，计算得到信号矩阵；具体为将优化后的采样矩阵的每一行展开成维度为l×l′的散斑模式，共有M个散斑模式；然后由计算机依次加载到数字微镜器件上，实现对照明光场的二进制调制；再然后，M个散斑模式构成的采样矩阵与步骤S1中给定的测试数据集X'相乘，桶探测器依次采集到每一个测试样本所对应的M个信号数据，共有P'个测试样本；最后所有测试样本的信号数据构成M×P'的信号矩阵Y'；信号矩阵Y'的每一列表示对应的测试样本经过M测量，桶探测器得到的M个信号数据；

S6.根据步骤S4得到的优化后的采样矩阵和步骤S5得到的信号矩阵，进行图像重构；具体为利用压缩感知中的快速迭代收缩阈值算法，将P'个测试图像重构出来。

具体实施时，求解的问题如下：

式中λ为大于0的正则化参数；

x_j为N×1的列向量，表示第j个重构图像的向量化表示形式，j＝1,2,…,P′；N＝l×l′；x_j能够展开成维度为l×l′的图像，表示与第j个测试样本所对应的重构图像。

为了验证本发明方法的效果，以下通过仿真进行验证。

数值仿真时，将数字微镜器件上的散斑模式近似为目标物体所在平面处的光场强度分布，并将其与目标物体相乘的结果求和作为桶探测的一次信号采集结果。将M个散斑模式对一个目标测量所得到的桶探测结果记为M×1的列向量，共有P′个测试样本，最终可得到M×P′的信号矩阵Y′。根据信号矩阵Y′和M个散斑模式构成的采样矩阵

利用压缩感知中的快速迭代收缩阈值算法将P′个测试目标重构出来。

为了比较方便，将本发明所提出的方法记为OGIMDF方法，将采样矩阵未优化的情况记为UGI方法，对于MNIST手写数字集，将这两种方法与徐旭阳(Xu)等人所提出的光场优化方法进行比较。为了客观说明各种方法的性能，这里引入峰值信噪比PSNR和平均结构相似度MSSIM指标，PSNR和MSSIM越大，说明图像恢复效果越好。从区间(0,1]中选择十个不同的采样率(Sampling Rate，简称SR，SR＝M/N)，分别是0.025，0.15，0.275，0.40，0.525，0.65，0.775，0.85，0.90和1。

图3是采样率SR为0.15，0.40和0.65时，Xu等人的方法与OGIMDF和UGI方法的部分重构图像，Ground Truth代表对应的真实图像。图4和图5则是OGIMDF、UGI和Xu方法的PSNR和MSSIM在不同采样率下的变化曲线。从图3可以看出，在相同的采样率下，本发明所提出的OGIMDF方法恢复的图像比UGI和Xu等人的方法更清晰。从图4和图5中可以看出，本发明所提出的OGIMDF方法的PSNR和MSSIM性能也优于UGI和Xu等人的方法，尤其在低采样率下，如SR＝0.025，本发明所提出的OGIMDF方法的MSSIM可以达到0.589，远高于UGI和Xu等人的方法。

图6是针对Frey人脸图像，OGIMDF和UGI方法在测量次数M为476，504和560的情况下部分人脸图像的重构结果，Ground Truth代表对应的真实图像。从中可以看出，随着测量次数的增加，本发明所提出的OGIMDF方法重构图像质量也相应改善，当测量次数达到560时，可清晰重构出复杂的人脸图像，验证了本发明所提出的OGIMDF方法具有重构灰度图像的能力。

Claims (10)

1.一种用于关联成像系统的图像重构方法，包括如下步骤：

S1.获取基础数据，并初始化参数；

S2.根据步骤S1获取的基础数据和参数，进行伪测量过程，得到稀疏系数矩阵；

S3.根据步骤S2得到的稀疏系数矩阵，进行交替优化过程，从而得到采样矩阵；

S4.对步骤S3得到的采样矩阵进行优化；

S5.根据步骤S4得到的优化后的采样矩阵，计算得到信号矩阵；

S6.根据步骤S4得到的优化后的采样矩阵和步骤S5得到的信号矩阵，进行图像重构。

2.根据权利要求1所述的用于关联成像系统的图像重构方法，其特征在于步骤S1所述的获取基础数据，并初始化参数，具体为获取训练数据集X和测试数据集X'，并随机初始化采样矩阵Φ₀和稀疏表示基Ψ₀，同时设定稀疏水平K、迭代次数iter和权重因子ω；其中，训练数据集X的维度为N×P，每一列为对应样本的向量化表示；测试数据集X'的维度为N×P'，每一列为对应样本的向量化表示；P为训练样本的个数，P'为测试样本的个数；采样矩阵Φ₀的维度为M×N，稀疏表示基Ψ₀的维度为N×L。

3.根据权利要求2所述的用于关联成像系统的图像重构方法，其特征在于步骤S2所述的根据步骤S1获取的基础数据和参数，进行伪测量过程，得到稀疏系数矩阵，具体为采用如下步骤得到稀疏系数矩阵：

A.根据步骤S1获取的基础数据和初始化参数，利用采样矩阵Φ₀对训练数据集X进行测量，得到伪测量结果Y＝Φ₀X；

B.根据步骤A得到的伪测量结果Y，对如下最小化问题进行求解，从而得到稀疏系数矩阵

s.t. ||Z(:,p)||₀≤K,p＝1,…,P

式中Z为稀疏系数矩阵；Z(:,p)为稀疏系数矩阵的第p列；||||₀为l₀范数，表示非零元素的个数；

为Frobenius范数的平方；Φ₀为采样矩阵；Ψ₀为稀疏表示基；K为稀疏水平。

4.根据权利要求3所述的用于关联成像系统的图像重构方法，其特征在于步骤S3所述的根据步骤S2得到的稀疏系数矩阵，进行交替优化过程，从而得到采样矩阵，具体为采用如下步骤得到采样矩阵：

定义原始目标函数ρ(Φ,Ψ)：

s.t. Φ＝U[I_M0]V^T和Φ_m,n≥0

式中I_N为维度为N的单位矩阵；ω为权重因子；Φ为采样矩阵；X为训练数据集构成的矩阵，每一列是对应样本的向量化表示；Ψ为稀疏表示基；Z为稀疏系数矩阵；

为Frobenius范数的平方；U为维度为M×M的任意正交矩阵；I_M为维度为M的单位矩阵；V为维度为N×N的任意正交矩阵；Φ_m,n为采样矩阵Φ第m行第n列所对应的元素值；

迭代次数从1迭代值设定值iter，按照如下过程交替优化稀疏表示基和采样矩阵：

更新稀疏表示基Ψ_i，固定Φ_i-1，求解如下最小化问题：

更新采样矩阵Φ_i，固定Ψ_i，求解如下最小化问题：

s.t. Φ_i＝U[I_M0]V^T

当迭代次数达到设定值iter时，得到优化后的采样矩阵

5.根据权利要求4所述的用于关联成像系统的图像重构方法，其特征在于所述的最小化问题

具体为：

然后，将上述最小化问题转换为：

式中A_i和B_i满足：

对B_i和

进行奇异值分解如下：

按如下方式更新Ψ_i：

其中

对应

的第一分块

和

由Ψ_i-1决定：

6.根据权利要求5所述的用于关联成像系统的图像重构方法，其特征在于所述的最小化问题

具体为：

式中E_i表示第i次迭代时的稀疏表示误差，

对E_i进行奇异值分解：

然后将最小化问题

转化为：

令V＝U_E，得到Φ_i的更新公式

7.根据权利要求6所述的用于关联成像系统的图像重构方法，其特征在于步骤S4所述的对步骤S3得到的采样矩阵进行优化，具体为采用如下步骤进行优化：

非负约束：对步骤S3得到的优化后的采样矩阵

进行如下非负约束：

若

则直接设定

其中

为步骤S3得到的优化后的采样矩阵

的第m行第n列所对应的强度值，M为行数，N为列数；

二值阈值量化：对非负约束优化后采样矩阵

进行如下二值阈值量化处理：

式中α为设定的量化阈值。

8.根据权利要求7所述的用于关联成像系统的图像重构方法，其特征在于步骤S5所述的根据步骤S4得到的优化后的采样矩阵，计算得到信号矩阵，具体为将优化后的采样矩阵的每一行展开成维度为l×l′的散斑模式，共有M个散斑模式；然后由计算机依次加载到数字微镜器件上，实现对照明光场的二进制调制；再然后，M个散斑模式构成的采样矩阵与步骤S1中给定的测试数据集X'相乘，桶探测器依次采集到每一个测试样本所对应的M个信号数据，共有P'个测试样本；最后所有测试样本的信号数据构成M×P'的信号矩阵Y'。

9.根据权利要求8所述的用于关联成像系统的图像重构方法，其特征在于步骤S6所述的根据步骤S4得到的优化后的采样矩阵和步骤S5得到的信号矩阵，进行图像重构，具体为利用压缩感知中的快速迭代收缩阈值算法，将P'个测试图像重构出来。

10.根据权利要求9所述的用于关联成像系统的图像重构方法，其特征在于所述的利用压缩感知中的快速迭代收缩阈值算法，将P'个测试图像重构出来，具体为求解的问题如下：

式中λ为大于0的正则化参数；

x_j为N×1的列向量，表示第j个重构图像的向量化表示形式，j＝1,2,…,P′；N＝l×l′；x_j能够展开成维度为l×l′的图像，表示与第j个测试样本所对应的重构图像。

Images