CN112085674A - 基于神经网络的航拍图像去模糊算法 - Google Patents

Abstract

本发明公开了一种基于神经网络的航拍图像去模糊算法，首先利用图像的先验信息，采用基于稀疏与低秩先验的盲复原算法来估计出准确的模糊核，再通过基于卷积神经网络的非盲复原算法来复原出清晰的图像，能有效地恢复图像中的细节信息，同时控制图像的整体相似性和统一全局色差。本发明能够有效复原出模糊图像中的边缘和细节信息，包括如车辆、车牌、车道线和图像背景中的显著性边缘和细节纹理，同时对伪影和振铃效应有较好的抑制效果。

Description

基于神经网络的航拍图像去模糊算法

技术领域

本发明涉及一种基于神经网络的航拍图像去模糊算法，属于计算机视觉领域。

技术背景

无人机航拍时其自身飞行状态以及周围不可抗的环境因素的影响，无人机会出现成像降质的问题，其中最主要的问题是含噪声的运动模糊，这会极大地影响航拍图像后续的工程应用。现阶段，研究学者大都从已知点扩散函数模型的情况入手，解决无人机航拍图像存在的单方向运动模糊问题，但考虑到无人机不规则运动的因素，仅用某一种参数模型很难恢复原始清晰图像。随着神经网络的方法在计算机视觉领域取得较大的进展，该方法作为一种效率更高、泛化能力更强的方法被应用到图像的非盲去模糊中。神经网络解决了线性模型在真实应用中表达不全的问题，从而可以有效地复原图像中的丰富细节信息。

发明内容

本发明针对航拍过程中出现的相机噪声和运动模糊问题，提出一种基于神经网络的航拍图像去模糊算法，采用基于稀疏与低秩先验的图像盲复原算法来估计出准确的模糊核，然后采用基于卷积神经网络的非盲复原算法来得到细节丰富、边缘清晰的复原图像。

为解决上述技术问题，本发明采用如下技术方案：

一种基于神经网络的航拍图像去模糊算法，包括以下步骤：

1)无人机道路航拍模糊图像模糊核的估计：采用基于稀疏与低秩先验的图像盲复原来估计出模糊图像的模糊核；

2)基于卷积神经网络的航拍图像去模糊：采用改进的卷积神经网络，通过建立类残差结构，复原出图像中的细节信息，同时保证图像的整体相似性和统一全局色差。

在所述步骤1)中，无人机道路航拍模糊图像模糊核估计的具体流程为：

1)采用图像梯度先验滤除冗余信息；

2)通过图像显著性强度的稀疏性提取出潜像的显著性边缘，在迭代过程中利用中间潜像中的显著性边缘信息指导模糊核的估计；

3)利用图像金字塔分解图像，并在不同分辨率图像上交替迭代估计出模糊核，并在全分辨率图层上，得到准确的模糊核。

在所述步骤2)中，卷积神经网络的航拍图像去模糊的具体步骤为：

1)构建网络：采用改进的卷积神经网络，通过建立类残差结构，并在残差块之间建立短跳连接，能够自适应地处理图像层之间的细微变化，有效地复原出图像中的细节信息；通过连接输入层和输出层的长跳连接有效控制图像的整体相似性和统一全局色差；

2)预处理：对输入模糊图像进行预处理，从而降低网络训练的复杂性，使网络更快收敛；采用一次最简单的维纳滤波作为预处理来降低训练复杂性，可以使得网络输入在训练过程中不依赖于模糊核的精确形状，使得网络对盲卷积估计出的模糊核也能有较好的复原效果；

3)后处理：通过测试不同网络层数下(通道数固定为32)的PSNR值和训练时间来确定最适合的网络层数，减少网络层数可能无法有效地保留非常小的细节，在不增加层数的情况下解决此限制，增加一个后处理步骤，以减少细节信息的丢失问题；

4)模型训练：给定训练数据集{x_i,y_i}，学习可以预测价值的模型y＝f(x)，对于训练集中的数据真实清晰图像x，模糊图像y和卷积核k，训练模型为：

y＝f(x*k+b)

其中，b为偏置，f(·)为激活函数。

预处理步骤中维纳逆滤波的数学模型为：

其中G(f)和H(f)是g和h在频域的傅里叶变换，S(f)是输入信号x(t)的平均功率谱密度,N(f)是噪声v(t)的平均功率谱密度。

模型训练步骤中采用PReLU函数；采用中间复原图像与清晰真实图像之间的欧式距离(L2距离)作为损失函数进行训练，即：

其中，N为数据集中图像对的个数，f(x_i)是网络预测，y_i代表模糊图像；

模型通过降采样方式将输入的数据图像分解到不同尺度上，将几个指定比例的训练数据集合并为一个大的数据集，并为每个尺度上的神经网络设置了对应的参数，对每个尺度的图像进行训练，通过形成特征金字塔，自上而下地选取两个相邻尺度，进行多尺度特征融合，最后，将高分辨率层的结果作为网络模型的参数输出。

与现有技术相比，本发明的有益效果是：

1.本发明提供的基于神经网络的航拍图像去模糊算法能够有效复原出模糊图像中的边缘和细节信息，包括如车辆、车牌、车道线和图像背景中的显著性边缘和细节纹理，同时对伪影和振铃效应有较好的抑制效果；

2.通过基于神经网络的航拍图像去模糊算法，利用连接输入层和输出层的长跳连接有效控制图像的整体相似性和图像的整体色差，解决了部分像素值丢失和异常的问题，同时保证图像背景信息的颜色与原图相一致。

附图说明

图1为无人机道路航拍模糊图像复原算法流程图；

图2为无人机道路航拍模糊图像模糊核估计流程图；

图3为残差块结构示意图；

图4为网络整体框架图；

图5为无人机道路航拍模糊图像复原算法应用实例。

具体实施方式

本发明提出的基于神经网络的航拍图像去模糊算法，算法流程图如图1所示，输入为无人机采集图像，对于无人机航拍过程中出现的模糊图像，首先采用基于稀疏与低秩先验的图像盲复原算法来估计航拍模糊图像的模糊核，再通过基于卷积神经网络的非盲去模糊算法有效复原出模糊图像中的边缘和细节信息。

如图1，本发明的基于神经网络的航拍图像去模糊算法具体运行流程为：

1.基于稀疏与低秩先验的模糊图像模糊核估计：无人机航拍图像的固有特性是模糊图像的梯度非零值分布要比清晰图像的梯度非零值分布更为密集，为了更加快速且准确地估计出无人机拍摄图像中的模糊核，本发明采取基于稀疏与低秩先验的图像盲复原算法估计模糊核，算法流程如图2，以下为详细步骤：

1)采用图像梯度先验快速有效的滤除冗余信息；

2)通过图像显著性强度的稀疏性提取出潜像的显著性边缘，在迭代过程中利用中间潜像中的显著性边缘信息指导模糊核的估计，其中模糊图像y降采样，生成图像金字塔y₀,y₁,L,y_n，y₀为原始图像，x_i和k_i为不同尺度的图像y_i恢复出对应的模糊核和中间潜像；

3)利用图像金字塔分解图像，在不同分辨率图像上交替迭代估计出模糊核，并在全分辨率图层上，得到准确的模糊核。

2.基于卷积神经网络的非盲去模糊：由于传统的非盲复原算法可能会造成图像中车辆、车牌等重要细节信息丢失的问题，在估计出准确的模糊核后，采用基于卷积神经网络的非盲复原算法来复原模糊图像。

1)构建网络：采用改进的卷积神经网络，通过建立类残差结构，并在残差块之间建立短跳连接，能够自适应地处理图像层之间的细微变化，有效地复原出图像中的细节信息；通过连接输入层和输出层的长跳连接有效控制图像的整体相似性和统一全局色差。

①卷积神经网络：卷积神经网络结构主要由三个基本层构成：

a.卷积层：基于局部感受野理论，利用卷积核对图像进行卷积运算，得到提取的特征。将卷积核在输入特征映射上多次移动，完成多次卷积计算并将卷积的结果相加生成特征图；

b.池化层：对卷积层得到的特征图进行下采样，通过降低卷积层输出的特征图维度来减少网络的计算量，简化网络的复杂度。其中最大池化和平均池化是最传统的池化方法，平均池化可以保留映射区域的平均特征主要特征和细微特征的平均值，对图像数据的背景信息更加敏感；最大池化方法保留了映射区域的主要特征；

c.全连接层：融合在卷积层或池化层中提取的局部特征信息，层中的每个神经元需要分别连接到前一层中的所有神经元，最终输出网络所需的结果。

②残差网络：应用残差网络ResNet，在训练的过程中，能够自主判断冗余层，且将该冗余层的参数设置为恒等映射，来保证这些层数输入与输出的相等。ResNet由多个残差块组成，残差块构造如图3所示。a表示输入，F(a)表示残差块在第二层激活函数之前的输出，即F(a)＝W₂σ(W₁a)，其中W₁和W₂表示第一层和第二层的权重，σ表示ReLU激活函数，最后残差块的输出是σ(F(a)+a)。由于H(a)＝F(a)+a，使得链式求导后，不管括号内右边部分的求导参数有多小，因为a的存在，并且将原来的链式求导中的连乘变成了连加状态，都能保证该节点参数更新不会发生梯度消失现象。

③网络结构：网络整体框架图如图4所示，在每一尺度图像中，神经网络由多个卷积层和激活函数(PReLU)组成。其中共包含10个卷积层，其中9层具有3×3×32个内核，通过交替卷积层和激活函数(PReLU)构成一个类残差块；最后一层包含1×1×3个内核，用于重建最终的清晰图像。每个类残差块之间采用简单地将现有层与逐元素求和相结合来实现。类残差网络中，每个卷积层包含32个大小为3*3的卷积核，输入图像经过该卷积层输出32个特征图。随后，将网络输入和网络输出相加，构成一个类残差块。将9个类残差块相连接，构成整个网络的图像处理层，最后，经过一个包含3个1*1的卷积核的卷积层，来重建出最终的清晰图像。

2)预处理：对输入模糊图像进行预处理，从而降低网络训练的复杂性，使网络更快收敛。采用一次最简单的维纳滤波作为预处理来降低训练复杂性，可以使得网络输入在训练过程中不依赖于模糊核的精确形状，使得网络对盲卷积估计出的模糊核也能有较好的复原效果。

维纳逆滤波的数学模型为：

其中G(f)和H(f)是g和h在频域的傅里叶变换，S(f)是输入信号x(t)的平均功率谱密度,N(f)是噪声v(t)的平均功率谱密度。

3)后处理：通过测试不同网络层数下(通道数固定为32)的PSNR值和训练时间来确定最适合的网络层数。减少网络层数可能无法有效地保留非常小的细节。在不增加层数的情况下解决此限制，增加一个后处理步骤，以减少细节信息的丢失问题。

其中，y表示输入的模糊图像，k表示模糊核，λ为权重，f(x)表示网络输出。可以简单的求解出潜像x的估计值：

其中，X,K,Y,F(X)分别表示x,k,y,f(x)的傅里叶变换，

表示k的复共轭傅里叶变换。e表示逐元素乘法。此步骤为最终输出提供了更多细节，同时保持网络输出的质量。

4)模型训练：给定训练数据集{x_i,y_i}，学习可以预测价值的模型y＝f(x)。对于训练集中的数据真实清晰图像x，模糊图像y和卷积核k，训练模型为：

y＝f(x*k+b)

其中，b为偏置，f(·)为激活函数。

①激活函数：激活函数的作用是引入非线性，提高输入和输出的一般性为了解决负区间内梯度消失这一问题，采用PReLU函数。在PReLU中，负值部分的斜率是根据数据来定的，由网络反馈时自动计算，在保留有部分的小于零信息的同时达到了激活函数的目的，缓解梯度消失的问题。

②损失函数：采用中间复原图像与清晰真实图像之间的欧式距离(L2距离)作为损失函数进行训练。即：

其中，N为数据集中图像对的个数，f(x_i)是网络预测，y_i代表模糊图像。

由于模糊图像y和清晰图像x在整体上具有一定的相似性，即输入和输出图像非常相似，定义一个残差图像r＝y-x，其中大多数值可能为零或较小。通过计算残差估计，将损失函数定义为：

为了控制收敛的方向，在损失函数中采用正则化项。同时具有正则化项的网络比其他方法更积极地去除伪像，更好地恢复图像中的精细结构。正则项如下：

其中，f和x分别表示网络输出和标签图像，f_i,j(x)代表图像在(i,j)坐标下的像素值。权重

表示标签图像的梯度。通过调整权重w以防止正则化项影响边缘，同时使得标签图像中的平滑图像区域更多地影响网络的权重。

③自适应多尺度训练模型：模型通过降采样方式将输入的数据图像分解到不同尺度上，将几个指定比例的训练数据集合并为一个大的数据集，并为每个尺度上的神经网络设置了对应的参数。对每个尺度的图像进行训练，通过形成特征金字塔，自上而下地选取两个相邻尺度，进行多尺度特征融合。最后，将高分辨率层的结果作为网络模型的参数输出。

④优化求解：采用梯度裁剪法进行优化求解。为避免因学习率设置较高导致的梯度消失，本发明提出一种自适应梯度裁剪法以最大程度地提高速度，同时抑制爆炸梯度。

在梯度下降的过程中，首先将各个梯度限制在预定范围(-θ,θ)内。随着学习速率逐渐减小，有效梯度(梯度乘以学习速率)接近于零，并且如果学习速率在几何上降低，则训练可能需要成倍地进行多次迭代才能收敛。为了达到最大收敛速度，将梯度裁剪为(-θ/r，θ/r)，其中r表示当前学习率。在不同尺度图像上，通过当前学习率自适应地调整梯度的范围，从而控制迭代次数，并缩短收敛时间。

5)无人机拍摄图像去模糊：无人机搭载工业相机以及NVIDIA开发板实时处理储存系统。在所拍摄的高空远景模糊图像和低空近景模糊图像实例中，开发板检测到模糊图像后，应用基于神经网络的航拍图像去模糊算法。如图5所示，对于远景模糊图像的复原，能够保留图像的固有细节信息，自适应地处理图像层之间的细微变化，有效地复原出图像中的细节信息，解决了车辆边缘的伪影和振铃效应；对于近景模糊图像的复原，解决了部分像素值丢失和异常的问题，使得复原图中的车牌信息能够清晰辨认，同时解决了全局色差问题。

Claims (5)

1.一种基于神经网络的航拍图像去模糊算法，其特征在于，包括以下步骤：

1)无人机道路航拍模糊图像模糊核的估计：采用基于稀疏与低秩先验的图像盲复原来估计出模糊图像的模糊核；

2)基于卷积神经网络的航拍图像去模糊：采用改进的卷积神经网络，通过建立类残差结构，复原出图像中的细节信息，同时保证图像的整体相似性和统一全局色差。

2.根据权利要求1所述的基于神经网络的航拍图像去模糊算法，其特征在于，在所述步骤1)中，无人机道路航拍模糊图像模糊核估计的具体流程为：

1)采用图像梯度先验滤除冗余信息；

2)通过图像显著性强度的稀疏性提取出潜像的显著性边缘，在迭代过程中利用中间潜像中的显著性边缘信息指导模糊核的估计；

3)利用图像金字塔分解图像，并在不同分辨率图像上交替迭代估计出模糊核，并在全分辨率图层上，得到准确的模糊核。

3.根据权利要求1所述的基于神经网络的航拍图像去模糊算法，其特征在于，在所述步骤2)中，卷积神经网络的航拍图像去模糊的具体步骤为：

1)构建网络：采用改进的卷积神经网络，通过建立类残差结构，并在残差块之间建立短跳连接，能够自适应地处理图像层之间的细微变化，有效地复原出图像中的细节信息；通过连接输入层和输出层的长跳连接有效控制图像的整体相似性和统一全局色差；

2)预处理：对输入模糊图像进行预处理，从而降低网络训练的复杂性，使网络更快收敛；采用一次最简单的维纳滤波作为预处理来降低训练复杂性，可以使得网络输入在训练过程中不依赖于模糊核的精确形状，使得网络对盲卷积估计出的模糊核也能有较好的复原效果；

3)后处理：通过测试不同网络层数下(通道数固定为32)的PSNR值和训练时间来确定最适合的网络层数，减少网络层数可能无法有效地保留非常小的细节，在不增加层数的情况下解决此限制，增加一个后处理步骤，以减少细节信息的丢失问题；

4)模型训练：给定训练数据集{x_i,y_i}，学习可以预测价值的模型y＝f(x)，对于训练集中的数据真实清晰图像x，模糊图像y和卷积核k，训练模型为：

y＝f(x*k+b)

其中，b为偏置，f(·)为激活函数。

4.根据权利要求3所述的基于神经网络的航拍图像去模糊算法，其特征在于，预处理步骤中维纳逆滤波的数学模型为：

其中G(f)和H(f)是g和h在频域的傅里叶变换，S(f)是输入信号x(t)的平均功率谱密度,N(f)是噪声v(t)的平均功率谱密度。

5.根据权利要求3所述的基于神经网络的航拍图像去模糊算法，其特征在于，模型训练步骤中采用PReLU函数；采用中间复原图像与清晰真实图像之间的欧式距离(L2距离)作为损失函数进行训练，即：

其中，N为数据集中图像对的个数，f(x_i)是网络预测，y_i代表模糊图像；

模型通过降采样方式将输入的数据图像分解到不同尺度上，将几个指定比例的训练数据集合并为一个大的数据集，并为每个尺度上的神经网络设置了对应的参数，对每个尺度的图像进行训练，通过形成特征金字塔，自上而下地选取两个相邻尺度，进行多尺度特征融合，最后，将高分辨率层的结果作为网络模型的参数输出。

Images