CN111738954A - 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 - Google Patents

Abstract

本发明涉及一种基于双层空洞U‑Net模型的单帧湍流退化图像去畸变方法，包括以下步骤：(1)结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流畸变图像数据集。(2)构建双层空洞U‑Net模型，用于预测大气湍流引起的图像畸变量。(3)结合构建的大气湍流畸变图像数据集，训练双层空洞U‑Net模型，得到模型训练参量。(4)计算测试集图像畸变矩阵，利用图像反插值算法，得到大气湍流退化图像去畸变结果。

Description

一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变 方法

技术领域

本发明涉及一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法，适用于单帧大气湍流退化图像去畸变领域。

背景技术

大气湍流造成远距离光电成像质量的下降，图像出现模糊和畸变现象。大气湍流的随机起伏特性，使得基于单帧的大气湍流退化图像复原问题一直以来都是研究的难点问题。其中，基于单帧的大气湍流退化图像去模糊研究较多，传统的方法包括逆滤波、单帧盲反卷积、总变分方法、Richardson-Lucy(R-L)复原算法等经典算法。它们在对单帧大气湍流退化图像去模糊操作时，依赖很多先验知识。为此，近年出现了基于深度学习的单帧大气湍流退化图像去模糊研究方法，以BDATNet为例，该模型由一个堆叠的FENSB、一个不对称的Unet和一个图像重建子网(IRSubnetwork)组成。该模型采取端到端的大气湍流退化图像去模糊研究方法，利用STK构建了空间卫星目标退化图像数据集，该数据集仅包含了大气湍流所引起的图像模糊以及噪声现象，没有考虑大气湍流所引起的图像畸变问题。初步解决了大气湍流产生的多种模糊退化形式下的复原问题。然而大气湍流会同时引起图像的模糊和畸变，目前针对大气湍流所引起的图像畸变的处理方法，主要是基于多帧视频序列图像的方法。通过对多帧图像求取中值或者均值作为参考的无畸变图像，然后利用图像匹配技术，获得每帧无畸变图像。此外，还可以通过从序列畸变图像中筛选幸运帧作为基准，序列中其余帧通过帧配准方法得到无畸变图像。基于视频序列的图像去畸变方法通常都需要获取大量的图像帧，而对于真实大气湍流退化场景而言，很多时候只能获取非常少量的湍流畸变退化图像。因此，研究基于单帧的大气湍流图像去畸变显得尤为重要。但是目前基于单帧图像去畸变的研究工作很少。DocUnet基于U-Net逐像素分类的思路，将畸变量作为标签值进行预测，尝试解决文档中出现的畸变问题。但是文档畸变过程没有大气湍流图像畸变退化过程复杂，且文档随机畸变现象也没有大气湍流图像畸变表现的明显，因此用于文档去畸变的DocUnet模型不能直接应用于大气湍流所引起的图像去畸变研究。

针对单帧大气湍流图像去畸变研究，目前的研究难点主要表现在以下几个方面：(1)大气湍流随机起伏引起图像一定程度的随机畸变，相比文档畸变现象，大气湍流所引起的图像畸变随机性更强，很大程度上增加了湍流图像去畸变的难度；(2)目前还未有完善的大气湍流畸变图像数据库，这是实现基于深度学习的单帧大气湍流退化图像去畸变的关键环节；(3)现有的基于深度学习的图像复原方法多数针对图像模糊降质现象，未充分考虑图像畸变这一重要因素，从而限制了已有基于深度学习的图像复原模型在单帧湍流退化图像去畸变的应用。

发明内容

本发明的技术解决问题是：克服现有技术不足，针对单帧大气湍流退化图像去畸变问题，提供一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法，改善大气湍流下成像质量，提高远距离光电成像探测系统性能。

本发明的技术解决方案为一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法，实现步骤如下：

(1)结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流畸变图像数据集；

(2)设计双层空洞U-Net模型，用于预测大气湍流引起的图像畸变量；

(3)结合步骤(1)构建的大气湍流畸变图像数据集，训练双层空洞U-Net模型，得到模型训练参量；

(4)利用步骤(3)训练得到的双层空洞U-Net模型计算测试集图像畸变矩阵，结合图像反插值算法，得到大气湍流退化图像去畸变结果。

所述步骤(1)中，结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流畸变图像数据集，方法如下：

大气湍流的随机起伏会引起光波波前发生畸变，进而造成图像模糊和图像畸变等现象。本发明重点关注大气湍流所引起的图像畸变问题，实现单帧大气湍流退化图像去畸变处理。为了构建大气湍流畸变图像数据集，首先需要获取无湍流的清晰图像作为真值，利用公开的PASCAL VOC 2012和ADE20K数据集，从中人工挑选出室外大气湍流易多发的场景图像作为清晰无湍流真值。然后，结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流退化图像数据集。大气湍流所引起的图像畸变主要与光波到达角起伏这一物理现象有关。为了与真实场景下的大气湍流相吻合，仿真过程中考虑大气湍涡各向异性的特点，设置参数以保证水平与竖直方向湍涡尺度的不对称性，湍流谱指数也在[3,4]区间进行了动态取值。首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离，理论计算各向异性非Kolmogorov湍流光波到达角起伏方差理论模型；然后在频域内随机生成满足正态分布的复数矩阵，在对其进行低频平滑处理的基础上进行傅里叶反变换转换到时域空间。根据理论计算得到的光波到达角起伏方差理论模型来确定时空域矩阵的方差，从而获得大气湍流引起的图像水平和竖直方向畸变矩阵。最后，在已知图像水平和竖直方向畸变矩阵的条件下，使用图像双线性插值算法进行图像畸变仿真。通过改变大气湍流强度，构建包含多种大气湍流强度的用于大气湍流去畸变处理的图像数据集。

所述步骤(2)中，设计双层空洞U-Net模型，用于预测大气湍流引起的图像畸变量，方法如下：

U-Net网络是目前最常用于语义分割的一种轻量级网络，整个网络结构没有全连接层而只有卷积层。利用单层U-Net的结构进行大气湍流所引起的图像畸变量的预测，可以看到两个问题的相似之处在于均为逐像素点的预测，可将原始的0-1分类问题转化为畸变量范围内的n分类问题进行处理。通过单层U-Net预测出的标签和真实的标签总体趋势相近，但是预测标签均是团状类型，不如真实标签精确。即分辨率不足，预测精度不高。

在单层U-Net输出结果后再堆叠另一个U-Net，即构建双层U-Net网络模型。利用第一个U-Net得到粗粒度的图像畸变量预测结果，并将其视为先验知识，而后再将粗粒度预测结果与原始畸变图像连接，进入第二个U-Net模型中再次进行图像畸变量的预测。这种双层U-Net模型可以综合图像深层抽象特征和浅层原始特征，获得细粒度的预测结果。双层U-Net网络与语义分割的差别之处在于，其输出映射的计算是一个回归过程。语义分割一般结果图为n个通道，用来表示n个类别对应的结果。而该双层U-Net网络输出为大气湍流所引起的水平和竖直两个方向上的图像畸变量。

构建的单层U-Net以及双层U-Net模型在网络较浅时感受野较小，无法获得更丰富的图像周边像素信息，可能影响预测精度；网络较深时，虽然感受野得到了增加，但是增加训练参数后会导致训练时间较长和过拟合问题。针对该问题，本发明在构建的双层U-Net模型基础上，又构建了一种既能保证轻量级，又能扩大感受野，抑制过拟合的网络结构即空洞双层U-Net网络。空洞卷积是指在卷积核之间添加空洞，相对于标准的卷积，该卷积核多了一个称为空洞率的超参数，其表达式为：

其中x为输入，y为输出，i为变量下标，r为空洞率，表示卷积的扩张程度，k为卷积核大小。

将空洞卷积与U-Net网络结合起来，实现基于双层空洞U-Net模型的单帧大气湍流退化图像去畸变方法。构建的双层空洞U-Net模型存在两种连续空洞卷积的连接形式，即并行多尺度空洞卷积和串行多尺度空洞卷积。其中串行结构的效果更佳，主要是因为特征图经过串行空洞卷积层叠加后，类似于不断添加串级放大器来增大感受野，这使得每个像素点可以参考其周围更多像素点的信息辅助训练，从而得到更准确的结果。

所述步骤(3)中，结合步骤(1)构建的大气湍流畸变图像数据集，训练双层空洞U-Net模型，得到模型训练参量，方法如下：

首先对构建的大气湍流退化图像数据集进行图片尺寸的调整，主要是因为步骤(2)中构建的适用于大气湍流退化图像畸变量计算的双层空洞U-Net模型会随卷积层发生尺度变化，即输入与输出图片尺寸不同，在与真实值进行对比时需要统一图片大小。因此需要通过添加边界扩充来保证尺度不变，然而当输入图片尺寸过小时，经过多层下采样后边界扩充的影响将逐渐增大，甚至干扰原始图像的特征信息获取。通过对构建的整个大气湍流退化图像数据集进行预处理，即先调整图片大小后进行中心裁剪，大小为512*512，获取对应畸变量为2*512*512的浮点数矩阵。

然后对构建的双层空洞U-Net进行模型训练，在训练时设置优化器为adam优化器，超参数学习率α为0.0001，batchsize为4，训练轮数epoch设置在20-30之间，每轮训练迭代次数iteration为6600，将图片输入至网络后添加归一化等操作进行训练。经过模型训练，最终得到可用于预测大气湍流所引起的图像畸变量的模型。

所述步骤(4)中，利用步骤(3)训练得到的双层空洞U-Net模型计算测试集图像畸变矩阵，结合图像反插值算法，得到大气湍流退化图像去畸变结果，方法如下：

经过双层空洞U-Net模型训练之后，可以预测得到大气湍流所引起的图像畸变量。根据获得的图像畸变量，进行大气湍流退化图像去畸变复原。在进行大气湍流退化图像去畸变复原过程中，需要求解原始图像每点的像素值，然而原始图像一般尺寸较大，因此未知量过多，无法完全实现图像畸变操作的逆过程(图像去畸变)，经过简单的图像反插值算法之后，仍会留下部分噪点。针对该问题，本发明通首先对双层空洞U-Net模型获得的图像畸变矩阵进行高斯平滑处理，使预测得到的图像畸变量更加连续，从而更接近真实畸变情况。然后利用最近邻反插值算法，初步获得图像去畸变结果I，并对去畸变图像中赋值过的位置进行标记。访问去畸变图像I中未被赋值过的位置，即噪声点，对其周围点根据标记进行加权计算：

I(i,j)＝w₁I(i+1,j)+w₂I(i,j+1)+w₃I(i+1,j+1)

其中w₁，w₂，w₃为权值系数，根据是否有标记确定其值，可简单理解为有标记的像素对当前像素计算有贡献，无标记则无贡献。i，j为像素坐标。该式主要依据为：畸变图像中的点来自于原始图像的双线性插值，因此原始图像的某未知点如果对畸变有贡献，却未被赋值时，则I(i,j)的值只与I(i+1,j)，I(i,j+1)，I(i+1,j+1)有关。

最后通过重复该迭代过程将噪点进行填充，直到没有新的点被赋标记，从而获得大气湍流退化图像去畸变结果。

本发明与现有技术相比的优点在于：

(1)本发明针对单帧大气湍流退化图像去畸变这一特定应用，基于目前用于图像语义分割任务的U-Net模型，通过将该模型的输出设定为可描述图像畸变的水平和竖直方向畸变矩阵，然后构建了可用于单帧湍流退化图像去畸变的双层空洞U-Net模型，利用端到端的深度学习算法，实现了基于单帧大气湍流退化图像的去畸变处理。

(2)本发明相比常规基于视频序列的大气湍流退化图像去畸变方法，基于单帧图像的研究方法，不需要同时获取大量的湍流退化图像，因此适用范围更为广泛。

总之，本发明采用的方法原理简洁，可达到单帧大气湍流退化图像去畸变的目的。

附图说明

图1为本发明一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法流程图；

图2(a)为无湍流的清晰原始图像；

图2(b)为仿真的大气湍流畸变图像；

图2(c)为基于本发明单层U-Net模型获得的单帧湍流退化图像去畸变结果；

图2(d)为基于本发明双层空洞U-Net模型获得的单帧湍流退化图像去畸变结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明的具体实现步骤如下：

步骤1、结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流畸变图像数据集。大气湍流的随机起伏会引起光波波前发生畸变，进而造成图像模糊和图像畸变等现象。本发明重点关注大气湍流所引起的图像畸变问题，实现单帧大气湍流退化图像去畸变处理。为了构建大气湍流畸变图像数据集，首先需要获取无湍流的清晰图像作为真值，利用公开的PASCAL VOC 2012和ADE20K数据集，从中人工挑选出室外大气湍流易多发的场景图像作为清晰无湍流真值。然后，结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流退化图像数据集。大气湍流所引起的图像畸变主要与光波到达角起伏这一物理现象有关。为了与真实场景下的大气湍流相吻合，仿真过程中考虑大气湍涡各向异性的特点，设置参数以保证水平与竖直方向湍涡尺度的不对称性，湍流谱指数也在[3,4]区间进行了动态取值。首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离，理论计算各向异性非Kolmogorov湍流光波到达角起伏方差理论模型；然后在频域内随机生成满足正态分布的复数矩阵，在对其进行低频平滑处理的基础上进行傅里叶反变换转换到时域空间。根据理论计算得到的光波到达角起伏方差理论模型来确定时空域矩阵的方差，从而获得大气湍流引起的图像水平和竖直方向畸变矩阵。最后，在已知图像水平和竖直方向畸变矩阵的条件下，使用图像双线性插值算法进行图像畸变仿真。通过改变大气湍流强度，构建包含多种大气湍流强度的用于大气湍流去畸变处理的图像数据集。

步骤2、设计双层空洞U-Net模型，用于预测大气湍流引起的图像畸变量。

U-Net网络是目前最常用于语义分割的一种轻量级网络，整个网络结构没有全连接层而只有卷积层。针对大气湍流退化图像场景，大气湍流退化图像畸变预测问题和图像语义分割问题的相似之处在于均为逐像素点的预测，可将原始的0-1分类问题转化为畸变量范围内的n分类问题进行处理。单层U-Net预测出的标签和真实的标签总体趋势相近，但是预测标签均是团状类型，不如真实标签精确。即分辨率不足，预测精度不高。

本发明在单层U-Net输出结果后再堆叠另一个U-Net，即构建双层U-Net网络模型。利用第一个U-Net得到粗粒度的图像畸变量预测结果，并将其视为先验知识，而后再将粗粒度预测结果与原始畸变图像连接，进入第二个U-Net模型中再次进行图像畸变量的预测。这种双层U-Net模型可以综合图像深层抽象特征和浅层原始特征，获得细粒度的预测结果。改进的双层U-Net网络与语义分割的差别之处在于，其输出映射的计算是一个回归过程。语义分割一般结果图为n个通道，用来表示n个类别对应的结果。而该双层U-Net网络输出为大气湍流所引起的水平和竖直两个方向上的图像畸变量。

构建的单层U-Net以及双层U-Net模型在网络较浅时感受野较小，无法获得更丰富的图像周边像素信息，可能影响预测精度；网络较深时，虽然感受野得到了增加，但是增加训练参数后会导致训练时间较长和过拟合问题。针对该问题，本发明在双层U-Net模型基础上，为了适用于大气湍流退化图像去畸变复原，构建了一种既能保证轻量级，又能扩大感受野，抑制过拟合的网络结构即双层空洞U-Net网络。空洞卷积是指在卷积核之间添加空洞，相对于标准的卷积，该卷积核多了一个称为空洞率的超参数，其表达式为：

其中x为输入，y为输出，i为变量下标，r为空洞率，表示卷积的扩张程度，k为卷积核大小。将空洞卷积与双层U-Net网络结合起来，实现基于双层空洞U-Net模型的单帧大气湍流退化图像去畸变方法。

步骤3、结合步骤(1)构建的大气湍流畸变图像数据集，训练双层空洞U-Net模型，得到模型训练参量。

首先对构建的大气湍流退化图像数据集进行图片尺寸的调整，需要通过添加边界扩充来保证尺度不变，然而当输入图片尺寸过小时，经过多层下采样后边界扩充的影响将逐渐增大，甚至干扰原始图像的特征信息获取。通过对构建的整个大气湍流退化图像数据集进行预处理，即先调整图片大小后进行中心裁剪，大小为512*512，获取对应畸变量为2*512*512的浮点数矩阵。

然后进行模型训练，在训练时设置优化器为adam优化器，超参数学习率α为0.0001，batchsize为4，训练轮数epoch设置在20-30之间，每轮训练迭代次数iteration为6600，将图片输入至网络后添加归一化等操作进行训练。经过模型训练，最终得到可用于预测大气湍流所引起的图像畸变量的模型。

步骤4、利用步骤(3)训练得到的双层空洞U-Net模型计算测试集图像畸变矩阵，结合图像反插值算法，得到大气湍流退化图像去畸变结果。

经过模型训练之后，可以预测得到大气湍流所引起的图像畸变量。根据获得的图像畸变量，进行大气湍流退化图像去畸变复原。在进行大气湍流退化图像去畸变复原过程中，需要求解原始图像每点的像素值，然而原始图像一般尺寸较大，因此未知量过多，无法完全实现图像畸变操作的逆过程(图像去畸变)，经过简单的图像反插值算法之后，仍会留下部分噪点。针对该问题，本发明通首先对双层空洞U-Net模型获得的图像畸变矩阵进行高斯平滑处理，使预测得到的图像畸变量更加连续，从而更接近真实畸变情况。然后利用最近邻反插值算法，初步获得图像去畸变结果I，并对去畸变图像中赋值过的位置进行标记。访问去畸变图像I中未被赋值过的位置，即噪声点，对其周围点根据标记进行加权计算：

I(i,j)＝w₁I(i+1,j)+w₂I(i,j+1)+w₃I(i+1,j+1)

其中w₁，w₂，w₃为权值系数，根据是否有标记确定其值，可简单理解为有标记的像素对当前像素计算有贡献，无标记则无贡献。i，j为像素坐标。该式主要依据为：畸变图像中的点来自于原始图像的双线性插值，因此原始图像的某未知点如果对畸变有贡献，却未被赋值时，则I(i,j)的值只与I(i+1,j)，I(i,j+1)，I(i+1,j+1)有关。

最后通过重复该迭代过程将噪点进行填充，直到没有新的点被赋标记，从而获得大气湍流退化图像去畸变结果。

如图2所示，图2(a)为无湍流畸变的原始图像；图2(b)为仿真的大气湍流畸变图像，物体出现了较为明显的扭曲变形，尤其在物体边缘处表现更为明显；图2(c)为基于单层U-Net模型获得的单帧湍流退化图像去畸变结果；图2(d)为基于本发明双层空洞U-Net模型获得的单帧湍流退化图像去畸变结果；由此可见，单层U-Net模型和双层空洞U-Net模型均能在一定程度上去除大气湍流所引起的图像畸变，其中双层空洞U-Net模型具有更好的大气湍流图像去畸变效果，物体边缘处由于大气湍流所引起的扭曲畸变被很好的去除了。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法，其特征在于，包括以下步骤：

(1)结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流畸变图像数据集；

(2)利用双层空洞U-Net模型，预测大气湍流引起的图像畸变量；

(3)结合步骤(1)构建的大气湍流畸变图像数据集，训练双层空洞U-Net模型到模型训练参量；

(4)利用步骤(3)训练得到的双层空洞U-Net模型计算测试集图像畸变矩阵，结合图像反插值算法，得到大气湍流退化图像去畸变结果。

2.根据权利要求1所述的一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法，其特征在于：

所述步骤(1)中，结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流畸变图像数据集，方法如下：首先需要获取无湍流的清晰图像作为真值，利用公开的PASCAL VOC2012和ADE20K数据集，从中人工挑选出室外易发生大气湍流的场景图像作为清晰无湍流真值；然后，结合大气湍流成像退化物理模型和图像处理算法，构建大气湍流退化图像数据集；大气湍流所引起的图像畸变与光波到达角起伏这一物理现象有关，为了与真实场景下的大气湍流相吻合，仿真过程中考虑大气湍涡各向异性的特点，设置参数以保证水平与竖直方向湍涡尺度的不对称性，湍流谱指数也在[3,4]区间进行动态取值；

首先，设置仿真条件和参数数值，即各向异性因子、湍流谱指数、湍流强度、湍流内外尺度和成像距离，理论计算各向异性非Kolmogorov湍流光波到达角起伏方差理论模型；然后在频域内随机生成满足正态分布的复数矩阵，在对其进行低频平滑处理的基础上进行傅里叶反变换转换到时域空间；根据理论计算得到的光波到达角起伏方差理论模型来确定时空域矩阵的方差，从而获得大气湍流引起的图像水平和竖直方向畸变矩阵；最后，在已知图像水平和竖直方向畸变矩阵的条件下，使用图像双线性插值算法进行图像畸变仿真；通过改变大气湍流强度，构建包含多种大气湍流强度的用于大气湍流去畸变处理的图像数据集。

3.根据权利要求1所述的一种基于双层空洞U-Net模型的单帧大气湍流退化图像去畸变方法，其特征在于：所述步骤(2)中，在经典U-Net模型基础上，设计实现双层空洞U-Net模型，用于预测大气湍流引起的图像畸变量，方法如下：

在单层U-Net输出结果后再堆叠另一个U-Net，即构建双层U-Net网络模型；利用第一个U-Net得到粗粒度的图像畸变量预测结果，并将其视为先验知识，而后再将粗粒度预测结果与原始畸变图像连接，进入第二个U-Net模型中再次进行图像畸变量的预测；这种双层U-Net模型综合图像深层抽象特征和浅层原始特征，获得细粒度的预测结果；该双层U-Net网络输出为大气湍流所引起的水平和竖直两个方向上的图像畸变量；

在构建的双层U-Net模型基础上，结合空洞卷积，进一步构建网络结构即双层空洞U-Net网络；所述空洞卷积是指在卷积核之间添加空洞，相对于标准的卷积，该卷积核多了一个称为空洞率的超参数，其表达式为：

其中x为输入，y为输出，i为变量下标，r为空洞率，表示卷积的扩张程度，k为卷积核大小；

将空洞卷积与双层U-Net网络结合起来，实现基于双层空洞U-Net模型的单帧大气湍流退化图像去畸变；构建的双层空洞U-Net模型存在两种连续空洞卷积的连接形式，即并行多尺度空洞卷积和串行多尺度空洞卷积。

4.根据权利要求1所述的一种基于双层空洞U-Net模型的单帧大气湍流退化图像去畸变方法，其特征在于：所述步骤(3)中，根结合步骤(1)构建的大气湍流畸变图像数据集，训练双层空洞U-Net模型，得到模型训练参量，方法如下：

首先对构建的大气湍流退化图像数据集进行图片尺寸的调整，通过添加边界扩充来保证尺度不变，通过对构建的整个大气湍流退化图像数据集进行预处理，即先调整图片大小后进行中心裁剪，大小为512*512，获取对应畸变量为2*512*512的浮点数矩阵；

然后对构建的双层空洞U-Net进行模型训练，在训练时设置优化器为adam优化器，超参数学习率α为0.0001，batchsize为4，训练轮数epoch设置在20-30之间，每轮训练迭代次数iteration为6600，将图片输入至网络后添加归一化操作进行训练；经过模型训练，最终得到能够用于预测大气湍流所引起的图像畸变量的模型。

5.根据权利要求1所述的一种基于双层空洞U-Net模型的单帧大气湍流退化图像去畸变方法，其特征在于：所述步骤(4)中，利用步骤(3)训练得到的双层空洞U-Net模型计算测试集图像畸变矩阵，结合图像反插值算法，得到大气湍流退化图像去畸变结果，方法如下：

经过双层空洞U-Net模型训练之后，预测得到大气湍流所引起的图像畸变量，根据获得的图像畸变量，进行大气湍流退化图像去畸变复原；在进行大气湍流退化图像去畸变复原过程中，需要求解原始图像每点的像素值，首先对双层空洞U-Net模型获得的图像畸变矩阵进行高斯平滑处理，使预测得到的图像畸变量更加连续，接近真实畸变情况，然后利用最近邻反插值算法，初步获得图像去畸变结果I，并对去畸变图像中赋值过的位置进行标记，访问去畸变图像I中未被赋值过的位置，即噪声点，对其周围点根据标记进行加权计算：

I(i,j)＝w₁I(i+1,j)+w₂I(i,j+1)+w₃I(i+1,j+1)

其中w₁，w₂，w₃为权值系数，根据是否有标记确定其值，有标记的像素对当前像素计算有贡献，无标记则无贡献；i，j为像素坐标；

最后通过重复该迭代过程将噪点进行填充，直到没有新的点被赋标记，从而获得大气湍流退化图像去畸变结果。

Images