CN111652803B - 一种横向束流截面超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种横向束流截面超分辨率重建方法，该方法包括：制作所述高分辨率横向束流截面图像与对应低分辨率横向束流截面图像的训练数据集；构建生成对抗网络模型，包括生成器网络和判别器网络，所述生成器网络后端加入像素重组模块；用预处理后的训练数据集训练所述生成对抗网络模型，训练收敛时得到训练好的生成对抗网络模型；将获取的低分辨率横向束流截面图像进行预处理，然后输入到所述训练好的生成对抗网络模型的生成器网络得到超分辨率重建后的高分辨率横向束流截面图像。本发明解决了横向束流截面的测量受到光学成像系统点扩散函数影响及成像传感器像元尺寸限制，导致分辨率低，尺寸测量不精确的问题，该方法可靠性高，研发成本低，实用性强。

Description

一种横向束流截面超分辨率重建方法

技术领域

本发明涉及同步辐射光源束流诊断技术领域，尤其涉及一种横向束流截面的超分辨率重建的方法。

背景技术

横向束流截面为同步辐射光源的重要参数，通过测量横向束流截面及尺寸可以间接得到同步辐射光源的发射度参数，该参数是表征光源性能的核心要素。此外在同步辐射光源上，由于横向束流截面直观反映束流横向分布特征，因此横向束流截面的测量还可以用于监测束流轨道及束流不稳定性，可以作为逐束团反馈系统及轨道反馈系统调试的重要参照依据。下一代先进同步辐射光源如基于衍射极限储存环的同步辐射光源，横向完全相干需要储存环中的束流具有极低的发射度，其横向束流尺寸为微米量级，需要具有超高空间分辨率测量能力的技术才能实现如此微小的横向束流截面及尺寸的精确测量,因此横向束流截面的测量是一项非常重要又极具挑战性的任务。

当前，基于同步辐射光成像的已有横向束流截面测量方法由于受到成像系统点扩散函数及成像传感器像元尺寸限制的影响，导致横向束流截面的测量分辨率受限，横向束流尺寸测量的精度无法满足实际需求。由于基于同步辐射光的横向束流截面图像的失真模型可以通过建模得到，因此可以通过图像处理的手段对横向束流截面图像进行超分辨率重建，从而使得横向束流截面的测量突破光学分辨率及几何分辨率限制。

发明内容

本发明为了解决上述技术问题，本发明提供一种横向束流截面的超分辨率重建方法。本发明通过以下技术方案实现：

一种横向束流截面超分辨重建方法，包括以下步骤：

步骤S101、制作横向束流截面超分辨率重建训练数据集；

步骤S102、构建生成对抗网络模型，包括生成器网络及判别器网络，所述生成器网络末端加入像素重组模块；

步骤S103、对所述训练数据集进行预处理,利用所述预处理后的训练数据集训练所述生成对抗网络模型，训练收敛时得到训练好的生成对抗网络模型；

步骤S104、获取待处理的低分辨率横向束流截面图像；

步骤S105、对所述待处理的低分辨率横向束流截面图像进行预处理；

步骤S106、将所述预处理后的低分辨率横向束流截面图像输入到训练好的生成器网络，经所述生成器网络超分辨重建后输出高分辨率横向束流截面图像；

作为优选的，步骤S101具体为：

1a、仿真得到高分辨率横向束流截面图像；

2a、将所述高分辨率横向束流截面图像与成像系统点扩散函数进行卷积运算，然后进行下采样得到低分辨率横向束流截面图像；

3a、由一系列高分辨率横向束流截面图像与对应的低分辨率横向束流截面图像构成训练数据集；

进一步的，步骤2a中得到所述低分辨率横向束流截面图像的计算方法为：

I^LR＝D_r(I^HR*F)

其中，I^HR为高分辨率横向束流截面图像，I^LR为低分辨率横向束流截面图像，F为成像系统点扩散函数，*表示为卷积运算，D_r为降采样方法具体为双三次插值方法，r为降采样因子；

作为优选的，步骤S102具体为：

1b、由一连串顺序连接的残差块构成生成器网络主体结构，每个残差块由若干残差密集块组成，残差密集块之间通过密集连接的方式连在一起，每个残差密集块包含一个卷积层和一个激活层；

2b、在生成器网络主体结构的末端加入像素重组模块，所述像素重组模块包含卷积层及亚像素卷积层，通过所述卷积层先得到r²个通道的与输入低分辨率图像尺寸大小一致的特征图像，然后再通过亚像素卷积层将每个像素点的r²个通道依次转换为对应的r×r的图像块，最终得到放大r倍的图像，其中r为上采样因子；

3b、判别器网络为相对平均判别器，所述判别器网络主体结构由若干卷积层及激活层组成，最终通过全连接层及sigmoid激活函数得到判别结果；

步骤S103所述的利用所述预处理后的训练数据集训练所述生成对抗网络模型，具体包括以下步骤：

1c、所述训练数据集由一系列“第一横向束流截面图像/第二横向束流截面图像对”组成，所述第一横向束流截面图像为低分辨率横向束流截面图像，所述第二横向束流截面图像为高分辨率横向束流截面图像；

2c、将所述训练数据集中的第一横向束流截面图像输入所述生成对抗网络模型的生成器网络，经所述生成器网络处理输出放大r倍的第三横向束流截面图像，计算所述第二横向束流截面图像与第三横向束流截面图像的距离误差作为内容损失，由所述内容损失与生成器网络的对抗损失以及感知损失之和构成生成器损失；

3c、将所述“第二横向束流截面图像/第三横向束流截面图像对”输入生成对抗网络模型的判别器网络，根据所述判别器网络的输出结果计算判别器损失；

4c、根据所述生成器损失及判别器损失，利用Adam优化器以及反向传播算法最小化生成器损失及判别器损失，交替更新生成器网络参数及判别器网络参数。

作为优选的，步骤2c所述生成器网络的对抗损失，具体为：

其中，所述

为对抗损失，E[]表示期望值，D_Ra为相对平均判别器，x_r为第二横向束流截面图像，x_f为第三横向束流截面图像。

作为优选的，步骤3c所述判别器损失，具体包括：

其中，所述

为判别器损失，E[]表示期望值，D_Ra为相对平均判别器，x_r为第二横向束流截面图像，x_f为第三横向束流截面图像。

步骤S105所述对所述待处理的低分辨率横向束流截面图像进行预处理，具体为：

将待处理的低分辨率横向束流截面图像的大小进行裁剪，将大小裁剪后的低分辨率横向束流截面图像再进行归一化处理。

本发明与现有技术相比，具有以下优点和有益效果：

本方法通过构建生成对抗网络模型，制作的低分辨率横向束流截面图像及高分辨率横向束流截面图像训练数据集，利用训练数据集对生成对抗网络模型进行训练，使得训练完成的具有像素重组的生成器网络可以进行低分辨率横向束流截面图像到高分辨率横向束流截面图像的映射，使得横向束流截面的测量可以突破衍射极限及图像传感器像元尺寸的限制，可实现横向束流截图图像的光学超分辨率及几何超分辨率重建，此外该方法在可见光成像范围内即可实现高分辨率的横向束流截面测量，系统研发成本低，且可以在线实时处理。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明实施例提供的横向束流截面超分辨率重建方法流程图。

具体实施方式

为使得本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为本发明的限定。

实施例

一种横向束流截面图像超分辨率重建方法，包括以下步骤：

步骤S101、制作横向束流截面超分辨率重建训练数据集；

步骤S102、构建生成对抗网络模型，包括生成器网络及判别器网络，所述生成器网络末端加入像素重组模块；

步骤S103、对所述训练数据集进行预处理,利用所述预处理后的训练数据集训练所述生成对抗网络模型，训练收敛时得到训练好的生成对抗网络模型；

步骤S104、获取待处理的低分辨率横向束流截面图像；

步骤S105、对所述待处理的低分辨率横向束流截面图像进行预处理；

步骤S106、将所述预处理后的低分辨率横向束流截面图像输入到训练好的生成器网络，经所述生成器网络超分辨重建后输出高分辨率横向束流截面图像；

下面详细描述上述步骤的具体实现过程。

步骤S101制作训练数据集具体包括以下步骤：

1a、仿真得到高分辨率横向束流截面图像；

具体为，由于横向束流截面满足二维高斯分布，根据理论上的束流横向尺寸，通过数值计算的方法仿真得到高出传感器采样分辨率r倍的横向束流截面图像，r为正整数，高分辨率横向束流截面图像尺寸的大小为M×N，其中M为行数，N为列数，M和N都为正整数。

2a、将所述高分辨率横向束流截面图像与成像系统点扩散函数进行卷积运算，然后进行下采样得到低分辨率横向束流截面图像；

3a、由一系列高分辨率横向束流截面图像与对应的低分辨率横向束流截面图像构成训练数据集；

低分辨率横向束流截面图像的计算方法为：

I^LR＝D_r(I^HR*F)

其中，I^HR为高分辨率横向束流截面图像，I^LR为低分辨率横向束流截面图像，F为成像系统点扩散函数，*表示为卷积运算，D_r为降采样方法具体为双三次插值方法，r为降采样因子。所述成像系统的点扩散函数可以通过计算单电子辐射同步光经过成像系统在观察平面的强度分布得到。低分辨率横向束流截面图像的大小为m×n，其中m为行数，n为列数，m和n都为正整数，且满足m＝M/r，n＝N/r。

步骤S102具体包括以下步骤：

1b、由一连串顺序连接的残差块构成生成器网络主体结构，每个残差块由若干残差密集块组成，残差密集块之间通过密集连接的方式连在一起，每个残差密集块包含一个卷积层和一个激活层；

2b、在生成器网络主体结构的末端加入像素重组模块，所述像素重组模块包含卷积层及亚像素卷积层，通过所述卷积层先得到r²个通道的与输入低分辨率图像尺寸大小一致的特征图像，然后再通过亚像素卷积层将每个像素点的r²个通道依次转换为对应的r×r的图像块，最终得到放大r倍的图像，其中r为上采样因子；

3b、判别器网络为相对平均判别器，所述判别器网络主体结构由若干卷积层及激活层组成，最终通过全连接层及sigmoid激活函数得到判别结果；

步骤S103具体包括以下步骤:

1c、所述训练数据集由一系列“第一横向束流截面图像/第二横向束流截面图像对”组成，所述第一横向束流截面图像为低分辨率横向束流截面图像，所述第二横向束流截面图像为高分辨率横向束流截面图像；

2c、将所述训练数据集中的第一横向束流截面图像输入所述生成对抗网络模型的生成器网络，经所述生成器网络处理输出放大r倍的第三横向束流截面图像，计算所述第二横向束流截面图像与第三横向束流截面图像的距离误差作为内容损失，由所述内容损失与生成器网络的对抗损失以及感知损失之和构成生成器损失；

3c、将所述“第二横向束流截面图像/第三横向束流截面图像对”输入生成对抗网络模型的判别器网络，根据所述判别器网络的输出结果计算判别器损失；

4c、根据所述生成器损失及判别器损失，利用Adam优化器以及反向传播算法最小化生成器损失及判别器损失，交替更新生成器网络参数及判别器网络参数。

在本发明中生成器损失由内容损失与生成器网络的对抗损失以及感知损失之和构成，具体可描述为：

其中，L₁＝||x_f-x_r||₁为内容损失，表示第二横向束流截面图像x_r与第三横向束流截面图像x_f的距离误差,

为对抗损失，L_percep为感知损失，λ和η为可变系数用于平衡不同损失项占总损失的比例。

生成器网络的对抗损失，具体为：

其中，所述

为对抗损失，E[]表示期望值，D_Ra为相对平均判别器，x_r为第二横向束流截面图像，x_f为第三横向束流截面图像。

步骤3c所述判别器损失，具体为：

其中，所述

为判别器损失，E[]表示期望值，D_Ra为相对平均判别器，x_r为第二横向束流截面图像，x_f为第三横向束流截面图像。

步骤S105中，由于不同的图像传感器获取的横向束流截面图像的大小可能有所不同，首先需要将获取的待处理低分辨率横向束流截面图像的大小进行裁剪，例如在本实施例中获取的待处理低分辨率横向束流截面大小为p×q，其中p>m，q>n，p和q都为正整数，经裁剪后得到的待处理低分辨率横向束流截面大小为p₁×q₁，此处p₁＝m，q₁＝n；将大小裁剪后的低分辨率横向束流截面图像再进行归一化处理，使得低分辨率横向束流截面图像的像素值在0～1范围内，以便能够输入到生成器网络进行处理。

由步骤S105得到的预处理后的低分辨率横向束流截面图像输入到步骤S106中所述的训练好的生成器网络，得到的输出即为超分辨率重建后的高分辨率横向束流截面图像。所得的高分辨率横向束流截面图像的大小是低分辨率横向束流截面图像的r倍，且所述高分辨率横向束流截面图像中去除了成像系统点扩散函数的影响。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种横向束流截面超分辨率重建方法，其特征在于，包括如下步骤：

步骤S101、制作横向束流截面超分辨率重建训练数据集；

步骤S102、构建生成对抗网络模型，包括生成器网络及判别器网络，所述生成器网络末端加入像素重组模块；

步骤S103、对所述训练数据集进行预处理，利用所述预处理后的训练数据集训练所述生成对抗网络模型，训练收敛时得到训练好的生成对抗网络模型；

其中步骤S103所述的利用所述预处理后的训练数据集训练所述生成对抗网络模型，具体包括以下步骤:

1c、所述训练数据集由一系列“第一横向束流截面图像/第二横向束流截面图像对”组成，所述第一横向束流截面图像为低分辨率横向束流截面图像，所述第二横向束流截面图像为高分辨率横向束流截面图像；

2c、将所述训练数据集中的第一横向束流截面图像输入所述生成对抗网络模型的生成器网络，经所述生成器网络处理输出放大r倍的第三横向束流截面图像，计算所述第二横向束流截面图像与第三束流横向截面图像的距离误差作为内容损失，由所述内容损失与生成器网络的对抗损失以及感知损失之和构成生成器损失；

3c、将“第二横向束流截面图像/第三横向束流截面图像对”输入生成对抗网络模型的判别器网络，根据所述判别器网络的输出结果计算判别器损失；

4c、根据所述生成器损失及判别器损失，利用Adam优化器以及反向传播算法最小化生成器损失及判别器损失，交替更新生成器网络参数及判别器网络参数；

步骤S104、获取待处理的低分辨率横向束流截面图像；

步骤S105、对所述待处理的低分辨率横向束流截面图像进行预处理；

步骤S106、将所述预处理后的低分辨率横向束流截面图像输入到训练好的生成器网络，经所述生成器网络超分辨重建后输出高分辨率横向束流截面图像。

2.根据权利要求1所述的一种横向束流截面超分辨率重建方法，其特征在于，步骤S101具体为：

1a、仿真得到高分辨率横向束流截面图像；

2a、将所述高分辨率横向束流截面图像与成像系统点扩散函数进行卷积运算，然后进行下采样得到低分辨率横向束流截面图像；

3a、由一系列高分辨率横向束流截面图像与对应的低分辨率横向束流截面图像构成训练数据集。

3.根据权利要求2所述的一种横向束流截面超分辨率重建方法,其特征在于，步骤2a中得到所述低分辨率横向束流截面图像的计算方法为：

I^LR＝D_r(I^HR*F)

其中，I^HR为高分辨率横向束流截面图像，I^LR为低分辨率横向束流截面图像，F为成像系统点扩散函数，*表示为卷积运算，D_r为双三次插值降采样方法，r为降采样因子。

4.根据权利要求1所述的一种横向束流截面超分辨率重建方法，其特征在于，步骤S102具体为：

1b、由一连串顺序连接的残差块构成生成器网络主体结构，每个残差块包括若干残差密集块，残差密集块之间通过密集连接的方式连在一起，每个残差密集块包括一个卷积层和一个激活层；

2b、在生成器网络主体结构的末端加入像素重组模块，所述像素重组模块包含卷积层及亚像素卷积层，通过所述卷积层先得到r²个通道的与输入低分辨率图像尺寸大小一致的特征图像，然后再通过亚像素卷积层将每个像素点的r²个通道依次转换为对应的r×r的图像块，最终得到放大r倍的图像，其中r为上采样因子；

3b、判别器网络为相对平均判别器，所述判别器网络主体结构包括若干卷积层及激活层，最终通过全连接层及sigmoid激活函数得到判别结果。

5.根据权利要求1所述的一种横向束流截面超分辨率重建方法，其特征在于，其中步骤2c所述生成器网络的对抗损失，具体为：

其中，所述

为对抗损失，E[]表示期望值，D_Ra为相对平均判别器，x_r为第二横向束流截面图像，x_f为第三横向束流截面图像。

6.根据权利要求1所述的一种横向束流截面超分辨率重建方法，其特征在于，其中步骤3c所述判别器损失，具体包括：

其中，所述

为判别器损失，E[]表示期望值，D_Ra为相对平均判别器，x_r为第二横向束流截面图像，x_f为第三横向束流截面图像。

7.根据权利要求1所述的一种横向束流截面超分辨率重建方法，其特征在于，步骤S105所述对所述待处理的低分辨率横向束流截面图像进行预处理，具体为：

将待处理的低分辨率横向束流截面图像的大小进行裁剪，将大小裁剪后的低分辨率横向束流截面图像再进行归一化处理。

Images