CN112435162A - 一种基于复数域神经网络的太赫兹图像超分辨重建方法 - Google Patents

Abstract

本发明涉及一种基于复数域神经网络的太赫兹图像超分辨重建方法，包括以下过程：制作样本图像；测量成像系统的点扩散函数的幅度和相位；将样本图像与点扩散函数的矩阵进行卷积操作，得到模拟太赫兹成像的模糊图像；将原样本图像与模糊图像作为一个训练对，将训练对分为训练集、验证集和测试集；设计复数域神经网络；训练数据并进行测试，将模糊图像恢复成高分辨率的图像。本发明利用太赫兹成像系统相对于光学图像独有的相位信息，首次将复数域神经网络引入太赫兹图像的超分辨率重建领域，实现图像复原，相对于实数域神经网络能够取得更好的超分辨率重建效果，提高太赫兹成像系统的分辨率，提升了成像系统的性能。

Description

一种基于复数域神经网络的太赫兹图像超分辨重建方法

技术领域

本发明涉及太赫兹超分辨率成像领域，具体地说是一种基于训练复数域神经网络以重建太赫兹超分辨图像的方法。

背景技术

太赫兹光谱图像不仅包含物质的外观几何信息，而且还包含物质对太赫兹脉冲响应的理化信息。太赫兹波以其独特的瞬态、超宽光谱和低光子能量的物理特性而被认为是最有发展前途的技术之一。自1995年太赫兹成像被提出开始，该技术在生物医学诊断、医学成像、无损检测、工业和安全检查等诸多应用领域得到了广泛的应用。然而，由于长波长导致的衍射现象和成像系统信噪比低等原因太赫兹成像相对于光学成像分辨率低。因此，如何提高这些图像的分辨率已成为一个亟待解决的问题。

在之前的工作中，已经采用了基于数据的超分辨率重建算法和基于硬件的方法来提高太赫兹成像系统的分辨率。然而，改进硬件需要更高的成本。因此，讨论和比较一种快速有效的超分辨率重建算法是非常重要的。在早期的研究过程中采用了基于滤波器的去噪方法，如高斯滤波、中值滤波、高通滤波等，既简单高效，又平滑了图像边缘。同时，提出了基于插值的增强分辨率的方法。然而，这些方法在实际应用中存在的问题还没有解决，并没有从根本上改进成像分辨率。为解决这一问题，在此基础上采用了基于图像先验的非局部相似度先验和稀疏度先验等改进算法。尽管它们可以灵活地生成相对高质量的太赫兹图像，但当图像统计数据与之前的图像存在偏差时，它们仍然会造成时间复杂度的增加和超分辨性能的下降。

随着神经网络、人工智能等相关技术快速发展，基于神经网络的超分辨率重建技术得到了广泛的关注和研究。近年来，基于神经网络的方法被应用于实现太赫兹图像反褶积和超分辨率重建，该方法直接学习低分辨率和高分辨率图像之间的端到端映射。由于神经网络对图像恢复问题强大的映射能力，该方法可以取得比解析算法更好的图像增强效果。尽管现有方法可以灵活地生成相对高质量的THz图像，但当图像统计数据与之前的图像存在偏差时，仍然会造成耗时和性能下降，无法满足实际应用过程中对成像系统的分辨率越来越高的需求。

发明内容

复数域神经网络对音频、图像和生理信号的潜在表征能力，且太赫兹成像系统在成像过程中受到衍射现象的影响，衍射模糊的过程与相位有关，因此图像的降质过程建模为复数模型更接近实际。为此本发明提出一种太赫兹图像超分辨重建方法，利用复数域神经网络对包含幅值信息和相位信息的复数数据矩阵进行模型的训练，通过训练好的模型权值矩阵对模糊图像进行超分辨率重建，从而提高其成像分辨率，解决了太赫兹成像系统由于衍射、噪声等干扰导致的成像质量差的问题。

本发明为实现上述目的所采用的技术方案是：

一种基于复数域神经网络的太赫兹图像超分辨重建方法，包括以下步骤：

步骤1：制作样本图像；

步骤2：测量太赫兹成像系统的点扩散函数的幅度和相位；

步骤3：将每一个样本图像与成像系统的复数矩阵进行卷积操作，分别得到模拟太赫兹成像的模糊图像；

步骤4：将原始样本图像与模糊图像作为一组图像对，将多组训练图像对作为输入用于训练；

步骤5：搭建复数域神经网络，将训练图像对输入该网络用于训练优化该网络参数，使得该网络能将模糊图像恢复成高分辨率的图像实现图像重建。

所述制作样本图像为采集高分辨率图像并剪裁成固定像素规格。

所述成像系统为透射式太赫兹成像系统，能够获取成像数据的相位信息。

所述成像系统的复数矩阵psf为：

psf＝Ae^iφ

其中，A为点扩散函数的幅度信息，φ为点扩散函数的相位信息。

所述模拟太赫兹成像的模糊图像X：

X＝Y*psf

其中，X为模糊图像的复数域矩阵，Y为样本图像的复数域矩阵，psf为成像系统点扩散函数的复数矩阵。

所述搭建复数域神经网络，包括依次连接的输入层、卷积层、激活层、池化层、全连接层。

所述训练图像对输入该网络用于训练优化该网络参数包括：

将模拟太赫兹成像系统的模糊图像输入该网络，输出恢复图像，计算恢复图像的损失函数，根据损失函数与预设阈值的比较调整该网络卷积层中的复数卷积核，从而优化该网络模型。

所述卷积层中采用的超分辨率重建复数模型为：

w*X＝A*x-B*y+i(B*x+A*y)

其中，X为模拟太赫兹成像的模糊图像，w＝A+iB为复数卷积核，X＝x+iy为样本的复数矩阵；转换为矩阵形式如下式：

复数域神经网络的激活层激活函数如下式：

其中，P＝angle(X)为样本的相位。

本发明与现有技术相比具有以下优点及有益效果：

1.本发明考虑到太赫兹成像系统在成像过程中受到衍射现象的影响，电磁波的波动性导致相位的变化，因此建立复数域的图像降质模型更满足实际需求；

2.本发明首次将复数域神经网络引入太赫兹图像超分辨重建领域，用于提高太赫兹成像系统的分辨率；

3.本发明的样本数据增加了相位信息，相对于只包含幅度的实数样本数据在提高太赫兹系统的成像分辨率方面得到了更好的效果,可提取物体的相位信息。

附图说明

图1为本发明的方法流程图；

图2为复数域神经网络和实数域神经网络训练过程损失函数收敛曲线对比图；

图3为复数域神经网络和实数域神经网络超分辨率重建效果对比图；

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明的方法流程图。

一种太赫兹图像的超分辨率重建方法，包括以下过程：取一组高分辨率的图像作为样本数据的高分辨率图像；搭建太赫兹透射成像系统，将小孔样品放置于焦平面上，利用太赫兹透射式成像对小孔扫描成像，获取幅度和相位信息，通过计算得到小孔的复数矩阵，即点扩散函数的复数矩阵：psf＝Ae^iφ，其中，A为点扩散函数的幅度信息，φ为点扩散函数的相位信息。通过将高分辨率样本图像与点扩散函数的矩阵进行卷积操作，得到模拟太赫兹成像系统的模糊图像；每一对高分辨率原图像与点扩散函数卷积的模糊图像作为一个训练对，将训练对按照一定比例分为神经网络的训练集、验证集和测试集。

结合局部残差学习、全局残差学习以及多权重递归学习，搭建复数域神经网络，复数域卷积的计算过程如下：w*X＝A*x-B*y+i(B*x+A*y)，其中，w＝A+iB为复数卷积核，X＝x+iy为样本的复数矩阵，转换为矩阵形式：

复数域神经网络的激活函数为：

训练数据，得到权值矩阵，通过测试集对模型进行验证，将模糊图像恢复成高分辨率的图像；搭建相同网络结构的实数域神经网络，训练数据，得到权值矩阵，通过测试集对模型进行验证，将模糊图像恢复成高分辨率的图像；通过计算峰值信噪比、均方误差以及结构相似性将两种方法得到的高分辨率图像进行对比。

实施例1.

太赫兹成像系统在成像过程中受到衍射现象的影响，衍射模糊的过程与相位有关，因此在本发明中将图像的降质过程建模为复数模型，如下式(1)：

g(a+ib,c+id)＝f(a+ib,c+id)*k(a+ib,c+id)+n(a+ib,c+id) (1)

其中，g(a+ib,c+id)是太赫兹成像系统得到的降质图像，f(a+ib,c+id)是高分辨率的清晰图像，k(a+ib,c+id)是太赫兹成像系统的点扩散函数，n(a+ib,c+id)表示系统的噪声。

从手写体识别数据库中取一组高分辨率的图像作为样本数据的高分辨率图像，搭建太赫兹透射成像系统，将小孔样品放置于焦平面上，利用太赫兹透射式成像对小孔扫描成像，获取幅度和相位信息，通过计算得到小孔的复数矩阵，即点扩散函数的复数矩阵，如下式(2)：

psf＝Ae^iφ (2)

其中，A为点扩散函数的幅度信息，φ为点扩散函数的相位信息。

通过将高分辨率样本图像与点扩散函数的矩阵进行卷积操作，得到模拟太赫兹成像系统的模糊图像，如下式(3)：

X＝Y*psf (3)

其中，X为模糊图像的复数域矩阵，Y为高分辨率图像的复数域矩阵。

每一对高分辨率原图像与点扩散函数卷积的模糊图像作为一个训练对，将训练对按照一定比例分为神经网络的训练集、验证集和测试集。训练集数据用于输入该网络用于训练优化该网络参数；验证集数据用于将网络输出的恢复图像与原始清晰样本图像比对，判断是否符合正确率要求；测试集数据用于通过计算恢复图像的峰值信噪比和结构相似性，判断恢复图像的质量。

构建复数域神经网络，包括：依次连接的输入层、卷积层、激活层、池化层、全连接层，将模拟太赫兹成像系统的模糊图像输入该网络，输出恢复图像，并计算恢复图像的损失函数，根据损失函数与预设阈值的比较调整网络参数，即卷积层中的复数卷积核w)。

其中，复数域卷积的计算过程如下式(4)：

w*X＝A*x-B*y+i(B*x+A*y) (4)

其中，w＝A+iB为复数卷积核，X＝x+iy为样本的复数矩阵，转换为矩阵形式，如下式(5)：

复数域神经网络的激活函数，如下式(6)：

其中，P＝angle(X)为样本的相位。

训练数据，得到权值矩阵，损失函数和精度随着迭代次数增加的收敛曲线如图2(a)所示，横轴epoch代表迭代的次数，纵轴acc-loss代表损失函数的值，用来衡量复原图像质量，红线train loss代表训练集损失函数，绿线val loss代表验证集损失函数，对测试集模型进行验证，通过训练好的参数将模糊图像恢复成高分辨率的恢复图像，高分辨率的原始样本图像、模糊图像、复数域神经网络的恢复图像分别如图3(a)、(b)、(c)所示。

搭建相同网络结构的实数域神经网络，训练数据，得到权值矩阵，损失函数和精度随着迭代次数增加的收敛曲线如图2(b)所示,横轴epoch代表迭代的次数，纵轴acc-loss代表损失函数的值，用来衡量精度的，红线train loss代表训练集损失函数，绿线val loss代表验证集损失函数，通过测试集对模型进行测试，将模糊图像恢复成高分辨率的图像，实数域神经网络的恢复图像如图3(d)所示；通过计算峰值信噪比，如下式(7)：

其中，Z为恢复图像的复数域矩阵，(max|z|)²为Z模值的最大值的平方，MSE为均方误差，如下式(8)：

其中，Z为恢复图像的复数域矩阵，Y为高分辨率图像的复数域矩阵，m，n分别为每幅恢复图像的总行数和总列数，i、j分别为当前所在每幅恢复图像的行数和列数。

结构相似性，如下式(9)：

S(x,y)＝f(l(x,y),c(x,y),s(x,y)) (9)

其中，

其中，

其中，l(x,y)为亮度对比函数，c(x,y)为对比度对比函数，s(x,y)为结构相似度对比函数，μ_x为每幅恢复图像像素点的均值，δ_x为行标准差，δ_xy整幅图像的标准差。

均方误差越小说明恢复的图像与原图像差距越小，恢复效果越好，峰值信噪比越高说明图像的失真越小；结构相似性越高说明明恢复的图像与原图像差距越小。复数域神经网络与实数域神经网络恢复图像的对比数据如表1所示，可见本发明方法恢复图像的效果好。

表1

	复数域神经网络	实数域神经网络
			PSNR	26.757738947863317	19.64912459387843
MSE	0.9819392652625356	0.8814179666961051
			SSIM	0.0021097262434385524	0.010841454228750323

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (8)

1.一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，包括以下步骤：

步骤1：制作样本图像；

步骤2：测量太赫兹成像系统的点扩散函数的幅度和相位；

步骤3：将每一个样本图像与成像系统的复数矩阵进行卷积操作，分别得到模拟太赫兹成像的模糊图像；

步骤4：将原始样本图像与模糊图像作为一组图像对，将多组训练图像对作为输入用于训练；

步骤5：构建复数域神经网络，将训练图像对输入该网络用于训练优化该网络参数，使得该网络能将模糊图像恢复成高分辨率的图像实现图像重建。

2.根据权利要求1所述的一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，所述制作样本图像为采集高分辨率图像并剪裁成固定像素规格。

3.根据权利要求1所述的一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，所述成像系统为太赫兹成像系统，能够获取成像数据的相位信息。

4.根据权利要求1所述的一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，所述成像系统的复数矩阵psf为：

psf＝Ae^iφ

其中，A为点扩散函数的幅度信息，φ为点扩散函数的相位信息。

5.根据权利要求1所述的一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，所述模拟太赫兹成像的模糊图像X：

X＝Y*psf

其中，X为模糊图像的复数域矩阵，Y为样本图像的复数域矩阵，psf为成像系统点扩散函数的复数矩阵。

6.根据权利要求1所述的一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，所述构建复数域神经网络，包括依次连接的输入层、卷积层、激活层、池化层、全连接层。

7.根据权利要求6所述的一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，所述训练图像对输入该网络用于训练优化该网络参数包括：

将模拟太赫兹成像系统的模糊图像输入该网络，输出恢复图像，计算恢复图像的损失函数，根据损失函数与预设阈值的比较调整该网络卷积层中的复数卷积核，从而优化该网络模型。

8.根据权利要求7所述的一种基于复数域神经网络的太赫兹图像超分辨重建方法，其特征在于，所述卷积层中采用的超分辨率重建复数模型为：

w*X＝A*x-B*y+i(B*x+A*y)

其中，X为模拟太赫兹成像的模糊图像，w＝A+iB为复数卷积核，X＝x+iy为样本的复数矩阵；转换为矩阵形式如下式：

复数域神经网络的激活层激活函数如下式：

其中，P＝angle(X)为样本的相位。

Images