CN112967210A - 一种基于全卷积孪生网络的无人机图像去噪方法 - Google Patents

Abstract

本发明涉及一种基于全卷积孪生网络的无人机图像去噪方法，首先使用马氏距离在干净和噪声图像组合中计算出相似块组标签；随后建立全卷积孪生网络进行训练。在去噪场景中，孪生网络输出待去噪图像的相似块组，然后通过高斯混合模型构建具有外部信息和内部信息的混合正交字典。最后使用加权稀疏编码框架求解正交字典重构图像块，随后聚合图像块达到最终去噪。本发明利用马氏距离和全卷积孪生网络来寻找相似块组，解决了块匹配算法使用欧式距离寻找相似块组时不够准确且忽略图像块结构的问题。

Description

一种基于全卷积孪生网络的无人机图像去噪方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于全卷积孪生网络的无人机图像去噪方法。

背景技术

无人机具有机动性强，效率高等特点，目前在航拍、农业、灾难救援、电力巡检等领域都有着非常广泛的用途。无人机搭载高精度相机获取地面的图像数据，从而帮助人们实时准确地分析信息。但无人机在拍摄的过程中由于机体的震动，拍摄的图像往往带有噪声，因此如何去除噪声获得真实图像的准确信息成为一个难点。图像去噪是指从被噪声污染的图像中恢复干净图像，是提高高级计算机视觉任务(如分类，检测，分割)性能的基础。针对真实图像去噪问题已经产生了许多成功的算法，如BM3D，WNNM等。这些去噪算法主要是依赖图像内部的自相似性来恢复干净图像。通过在噪声图像块邻域内上寻找相似块组成相似块组来进行协同去噪，但受到噪声的干扰，这些寻找到的相似块组并不能很好地表示干净图像块。通常使用欧式距离来寻找相似块组，这忽略了图像块本身的纹理特征，寻找到的相似块组与目标图像块只在色彩上相似，结构不相似。导致去噪结果往往会出现过平滑现象。所以如何快速寻找到能够准确表达干净图像块的相似块组一直是这类图像去噪算法的难题。

发明内容

有鉴于此，本发明的目的在于提供一种基于全卷积孪生网络的无人机图像去噪方法，解决了块匹配算法使用欧式距离寻找相似块组时不够准确且忽略图像块结构的问题。

为实现上述目的，本发明采用如下技术方案：

一种基于全卷积孪生网络的无人机图像去噪方法，包括以下步骤：

步骤S1：获取初始图像数据集，并预处理得到训练噪声图像集；

步骤S2：构建灰度相似块组训练高斯混合模型；

步骤S3：将训练噪声图像集输入进全卷积孪生网络，获得输出特征图；

步骤S4：根据每个噪声参考图像块和正负样本标签的位置从特征图中取出对应的通道向量，并使用Adam优化器最小化损失函数；

步骤S5：重复步骤S3-S4，直至全卷积孪生网络训练完成；

步骤S6：将待去噪图像输入进全卷积孪生网络得到输出特征图，对于所有的参考块与邻域内的所有图像块进行马氏距离计算，选择前M个图像块作为该参考块的相似块组；

步骤S7：通过干净相似块组训练高斯混合模型，得到能够表达干净子空间分布的字典信息；

步骤S8：噪声图像块组求出均值并进行均值减法预处理，使用高斯混合模型对噪声图像块组进行子空间分类，对于子空间k结合外部信息和内部信息构建完整的字典信息；

步骤S9：建立稀疏编码框架迭代T次求解正交字典和稀疏系数矩阵：

步骤S10：通过稀疏表示恢复干净图像块组

步骤S11：聚合所有图像块；

步骤S12：重复步骤S6-S11，直至达到迭代次数，输出最终去噪结果。

进一步的，所述步骤S1具体为：获取初始图像数据集，在初始图像数据集{y⁽¹⁾,y⁽²⁾,...,y^(m)}上随机三次叠加均值为0标准差为σ的高斯噪声得到训练噪声图像集{x⁽¹⁾,x⁽²⁾,...,x^(m)}。

进一步的，所述高斯混合模型具体为：设高斯混合模型子空间K，使用高斯混合模型对干净图像上的所有参考图像块进行子空间分类得出对应的协方差矩阵，进而在参考图像块对应的噪声图像邻域w内使用马氏距离计算出相似块的正负样本标签位置

其中

表示第i张干净图像上的第j个参考块向量，

表示对应噪声图像邻域内的图像块向量，Σ表示干净图像块

在高斯混合模型所对应子空间的协方差矩阵。

进一步的，所述步骤S4具体为：根据每个噪声参考图像块和正负样本标签的位置

从特征图中取出对应的通道向量，并使用Adam优化器最小化损失函数：

其中

表示第i张噪声图像上的第j个图像块经过网络f的输出特征向量，

表示

对应的正负样本向量，N代表一张图像中参考块的个数，β为正负样本之间的相似性间隔。

进一步的，所述步骤S7具体为:设高斯混合模型子空间K，对每个子空间的协方差矩阵进行奇异值分解，得到能够表达干净子空间分布的字典信息D_k,E；

进一步的，所述步骤S9具体为：建立稀疏编码框架迭代T次求解正交字典D^(T)和稀疏系数矩阵A^(T)：

其中D省略了子空间索引k，A是稀疏系数矩阵，λ是正则化系数。

本发明与现有技术相比具有以下有益效果：

1、本发明通过引入马氏距离来解决相似性度量过程中忽略图像块结构的问题；通过寻找与参考块具有相同纹理结构的图像块来进行协同去噪，这种图像块在去噪过程中可以阻止过平滑现象，更好地保留图像块的纹理结构；

2、本发明通过引入全卷积孪生网络来建立起干净参考块与噪声图像块的潜在联系；使得寻找到的相似块组能够更准确表达干净参考块，有助于从噪声图像更准确地恢复干净图像。

附图说明

图1为本发明方法的流程图。

图2为本发明一实施例总的全卷积孪生网络架构图。

图3为本发明实施例中与其他去噪算法的去噪效果对比图。

图4为本发明实施例中与其他去噪算法的去噪效果对比图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于全卷积孪生网络的无人机图像去噪方法，按以下步骤实现：

步骤S1：在干净图像数据集{y⁽¹⁾,y⁽²⁾,...,y^(m)}上随机三次叠加均值为0标准差为σ＝5-10的高斯噪声得到训练噪声图像集{x⁽¹⁾,x⁽²⁾,...,x^(m)}。

优选的，其中训练数据集的数量m＝45；

步骤S2：通过构建灰度相似块组训练高斯混合模型，高斯混合模型子空间K＝33，使用高斯混合模型对干净图像上的所有参考图像块进行子空间分类得出对应的协方差矩阵，进而在参考图像块对应的噪声图像邻域w内使用马氏距离计算出相似块的正负样本标签位置

优选的，其中正样本标签数M＝10，负样本个数为正样本数量的4倍，w＝31；

其中

表示第i张干净图像上的第j个参考块向量，

表示对应噪声图像邻域内的图像块向量，Σ表示干净图像块

在高斯混合模型所对应子空间的协方差矩阵；

步骤S3：将训练集图像输入进全卷积孪生网络f，获得输出特征图

图2展示了全卷积孪生网络的架构图；

步骤S4：根据每个噪声参考图像块和正负样本标签的位置

从特征图中取出对应的通道向量，并使用Adam优化器最小化损失函数：

其中

表示第i张噪声图像上的第j个图像块经过网络f的输出特征向量，

表示

对应的正负样本向量，N代表一张图像中参考块的个数，β为正负样本之间的相似性间隔，取100；

步骤S5：重复步骤S3-S4，直至全卷积孪生网络训练完成；

步骤S6：将待去噪图像x⁽ⁱ⁾输入进全卷积孪生网络f得到输出特征图

对所有的参考块

与邻域内的所有图像块

进行马氏距离计算，选择前M个图像块作为该参考块的相似块组，M＝10；

步骤S7：通过干净相似块组来训练高斯混合模型，假设高斯混合模型子空间K＝33，对每个子空间的协方差矩阵进行奇异值分解，得到能够表达干净子空间分布的字典信息D_k,E；

步骤S8：噪声相似块组求出均值μ_n并进行均值减法预处理，使用高斯混合模型对噪声图像块组Y_n进行子空间分类，对于子空间k结合外部信息和内部信息构建完整的字典信息D_k＝[D_k,E,D_k,I]；

步骤S9：建立稀疏编码框架迭代T次求解正交字典D^(T)和稀疏系数矩阵A^(T)：

其中D省略了子空间索引k，A是稀疏系数矩阵，λ是正则化系数；

步骤S10：通过稀疏表示恢复干净图像块组：

步骤S11：聚合所有图像块；

步骤S12：重复步骤S6-S11，直至达到迭代次数，输出最终去噪结果；

实施例1：

本实施例中对真实图像去噪的应用具体步骤如下：

1、在干净图像数据集{y⁽¹⁾,y⁽²⁾,...,y^(m)}上随机三次加入均值为0标准差为σ＝5-10的高斯噪声得到训练噪声图像集{x⁽¹⁾,x⁽²⁾,...,x^(m)}，其中m＝45；

2、借助{x⁽¹⁾,...,x^(m)}与{y⁽¹⁾,...,y^(m)}计算马氏距离得到相似块标签

其中正样本标签数M＝10，负样本个数为正样本数量的4倍；

3、将{x⁽¹⁾,...,x^(m)}输入进神经网络f得到输出特征图

4、通过

获得标签的对应通道向量

5、最小化目标函数优化网络：

β＝100；

6、重复步骤2)-5)直至满足迭代次数要求。

7、将待去噪图像x输入进训练完成的f，计算出噪声相似块组Y_n；8、对Y_n进行均值减法预处理，高斯混合模型对Y_n进行子空间分类；

8、结合干净相似块组与噪声相似块组Y_n构建混合正交字典D；

9、用稀疏编码框架求解D和稀疏系数矩阵A：

10、重构相似块组：

11、聚合所有图像块；

12、重复步骤7)-11)直至满足迭代次数要求，输出最终的去噪结果

为了验证本发明方法的有效性，本方法将和DnCNN、PCLR、MC-WNNM、GID等近年来比较流行的去噪算法进行比较。无人机拍摄图像数据集使用Yi Yang等人在Bag-Of-Visual-Words and Spatial Extensions for Land-Use Classification一文中的提出的航拍测试图像，测试图像大小为256×256。图3和图4展示了上述不同去噪算法在无人机拍摄图像的具体去噪效果，通过对比可以发现本发明方法能够在去噪的同时更好地保留图像的纹理结构。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于全卷积孪生网络的无人机图像去噪方法，其特征在于，包括以下步骤：

步骤S1：获取初始图像数据集，并预处理得到训练噪声图像集；

步骤S2：构建灰度相似块组训练高斯混合模型；

步骤S3：将训练噪声图像集输入进全卷积孪生网络，获得输出特征图；

步骤S4：根据每个噪声参考图像块和正负样本标签的位置从特征图中取出对应的通道向量，并使用Adam优化器最小化损失函数；

步骤S5：重复步骤S3-S4，直至全卷积孪生网络训练完成；

步骤S6：将待去噪图像输入进全卷积孪生网络得到输出特征图，对于所有的参考块与邻域内的所有图像块进行马氏距离计算，选择前M个图像块作为该参考块的相似块组；

步骤S7：通过干净相似块组训练高斯混合模型，得到能够表达干净子空间分布的字典信息；

步骤S8：噪声图像块组求出均值并进行均值减法预处理，使用高斯混合模型对噪声图像块组进行子空间分类，对于子空间k结合外部信息和内部信息构建完整的字典信息；

步骤S9：建立稀疏编码框架迭代T次求解正交字典和稀疏系数矩阵：

步骤S10：通过稀疏表示恢复干净图像块组

步骤S11：聚合所有图像块；

步骤S12：重复步骤S6-S11，直至达到迭代次数，输出最终去噪结果。

2.根据权利要求1所述的一种基于全卷积孪生网络的无人机图像去噪方法，其特征在于，所述步骤S1具体为：获取初始图像数据集，在初始图像数据集{y⁽¹⁾,y⁽²⁾,...,y^(m)}上随机三次叠加均值为0标准差为σ的高斯噪声得到训练噪声图像集{x⁽¹⁾,x⁽²⁾,...,x^(m)}。

3.根据权利要求1所述的一种基于全卷积孪生网络的无人机图像去噪方法，其特征在于，所述高斯混合模型具体为：设高斯混合模型子空间K，使用高斯混合模型对干净图像上的所有参考图像块进行子空间分类得出对应的协方差矩阵，进而在参考图像块对应的噪声图像邻域_w内使用马氏距离计算出相似块的正负样本标签位置

其中

表示第i张干净图像上的第j个参考块向量，

表示对应噪声图像邻域内的图像块向量，Σ表示干净图像块

在高斯混合模型所对应子空间的协方差矩阵。

4.根据权利要求1所述的一种基于全卷积孪生网络的无人机图像去噪方法，其特征在于，所述步骤S4具体为：根据每个噪声参考图像块和正负样本标签的位置

从特征图中取出对应的通道向量，并使用Adam优化器最小化损失函数：

其中

表示第i张噪声图像上的第j个图像块经过网络f的输出特征向量，

表示

对应的正负样本向量，N代表一张图像中参考块的个数，β为正负样本之间的相似性间隔。

5.根据权利要求1所述的一种基于全卷积孪生网络的无人机图像去噪方法，其特征在于，所述步骤S7具体为:设高斯混合模型子空间K，对每个子空间的协方差矩阵进行奇异值分解，得到能够表达干净子空间分布的字典信息D_k,E。

6.根据权利要求1所述的一种基于全卷积孪生网络的无人机图像去噪方法，其特征在于，所述步骤S9具体为：建立稀疏编码框架迭代T次求解正交字典D^(T)和稀疏系数矩阵A^(T)：

其中D省略了子空间索引k，A是稀疏系数矩阵，λ是正则化系数。

Images