CN106846253A - 一种基于反向传播神经网络的图像超分辨率重建方法 - Google Patents

Abstract

本发明中提出的一种基于反向传播神经网络的图像超分辨率重建方法，其主要内容包括：图像输入、预处理、图像去噪、保持图像边缘、反向传播神经网络，其过程为，首先对合成孔径雷达图像进行预处理，将图像的乘性噪声转化为加性噪声，并利用改进的非局部均值去噪，再用求幂运算恢复图像；然后借助核函数保持缩小图像清晰的边缘；最后经由反向传播神经网络处理，获得超分辨率重建结果。本发明采用神经网络模型，节省大量的计算资源和时间；改进的非局部均值方法不仅将低分辨率图像重建为高分辨率图像，而且对合成孔径雷达图像中的斑点噪声进行去噪，并且与反向传播神经网络的组合大大地改善了这种效果。

Description

一种基于反向传播神经网络的图像超分辨率重建方法

技术领域

本发明涉及图像处理领域，尤其是涉及了一种基于反向传播神经网络的图像超分辨率重建方法。

背景技术

随着科技技术迅速发展，通过合成孔径雷达系统获取的遥感图像，因为能排除天气和季节的干扰，在灾害监测、环境监测、资源勘探等领域起着重要作用。但是，由于成像装置的限制，只能获得低分辨率的图像。此外，合成孔径雷达图像受到斑点噪声的严重影响，许多现有的超分辨率重建算法在处理这类图像时都不能获得一个较高的精度和较好的性能。而如果采用基于反向传播神经网络的图像超分辨率重建方法，则可以利用改进的非局部均值方法和反向传播神经网络的融合，重建保持大量原始图像细节的图像。在神经网络的强非线性映射能力的帮助下，可以进一步提高精度和性能。还可以应用于航空测量、航空遥感、卫星海洋观测、航天侦查、图像匹配制导等多个领域。

本发明提出了一种基于反向传播神经网络的图像超分辨率重建方法，它结合非局部均值方法和反向传播神经网络，首先对合成孔径雷达图像进行预处理，将图像的乘性噪声转化为加性噪声，并利用改进的非局部均值去噪，再用求幂运算恢复图像；然后借助核函数保持缩小图像清晰的边缘；最后经由反向传播神经网络处理，获得超分辨率重建结果。本发明由于采用神经网络模型，节省大量的计算资源和时间；改进的非局部均值方法不仅将低分辨率图像重建为高分辨率图像，而且对合成孔径雷达图像中的斑点噪声进行去噪，并且与反向传播神经网络的组合大大地改善了这种效果。

发明内容

针对合成孔径雷达图像分辨率较低的问题，本发明的目的在于提供一种基于反向传播神经网络的图像超分辨率重建方法。

为解决上述问题，本发明提供一种基于反向传播神经网络的图像超分辨率重建方法，其主要内容包括：

(一)图像输入；

(二)预处理；

(三)图像去噪；

(四)保持图像边缘；

(五)反向传播神经网络。

其中，一种基于反向传播神经网络的图像超分辨率重建方法，利用图像的自相似性，通过非局部均值处理获得针对特定超分辨率的相似像素；使用核函数，其借助细微变化使得在缩小的图像中仍能保持清晰的边缘；将去噪后的图像作为反向传播神经网络的输入，得到最终超分辨率重建结果；训练该网络的样本图像通过欠采样方法获得。

其中，所述的图像输入，选取由合成孔径雷达获取的遥感图像作为输入数据；遥感图像是地面上的目标的图像，包含从不同角度和高度获取的特征；合成孔径雷达图像充满乘性的斑点噪声，而且受成像装置的限制，分辨率较低。

其中，所述的预处理，由于非局部均值主要用于去除自然图像中的高斯噪声，高斯噪声是加性的，而合成孔径雷达图像充满乘性噪声；通过使用对数，将乘法计算转换为加法计算，从而可以应用非局部均值进行去噪。

进一步地，所述的对数转换，使用等式(1)和(2)将图像中的乘性噪声转换为加性噪声：

u(v)＝v(x)*n(x) (1)

log u(v)＝log v(x)+log n(x) (2)

最后，使用求幂运算恢复图像。

其中，所述的图像去噪，利用图像的冗余来维持图像的主要特征，同时去噪；它计算周围像素的平均值，然而，该算法还通过将权重加入到计算中来考虑周围像素和目标像素之间的相似性；随着权重的影响，该算法能够保持图像中的详细信息；

其关键思想是从周围像素的灰度的加权算术平均值获得目标像素的估计灰度，对于每个目标像素x，都有搜索窗口和邻域窗口；

对搜索窗口中的每个像素y，计算欧几里德距离‖V(x)-V(y)‖²；它们之间的权重由式(3)计算：

Z(x)被用于标准化权重，h在这里被称为平滑参数，用于修改exp()中的值；当邻域窗口很大时，‖V(x)-V(y)‖²也很大；难以从w(x,y)看到差异，因为在具有不同相似性的像素之间的方差将非常小；最后，通过公式(5)获得目标像素的灰度估计：

u(x)＝∑_y∈Iw(x,y)*v(y) (5)

针对超分辨率重建，采用改进后的非局部均值处理图像像素。

进一步地，所述的改进后的非局部均值，搜索窗口在原始图像的缩小图像中；假设有一个256*256的原始图像，然后将具有由原始图像缩小之后对应于目标像素的周围像素组成的搜索窗口，而邻域窗口仍然在原始图像中；

对于搜索窗口中的每个像素y，以与原始图像相同的方式计算欧几里德距离和权重；然后，由于128*128中的每个像素对应于256*256中的四个像素，我们可以在256*256中获得目标像素512*512中的四个对应像素；记原始图像中的y′，y″，y″′，y″″是缩小图像中y的四个对应像素，放大图像中的x′，x″，x″′，x″″是原始图像中x的四个对应像素，将非局部均值修正为：

并且原始图像将在每个像素经过该公式处理之后被放大四次。

其中，所述的保持图像边缘，当两个邻域之间的距离小时，非局部均值的理想核心函数应该产生大的权重，并且当两个邻域之间的距离非常大时，提供非常小的权重；因此每个像素必须在处理开始时经过对数处理，导致距离相当小；当变量小于0时，与原始非局部均值的核函数的低阶导数一起，原始方法在我们的算法中表现差：

此外，当使用改进后的非局部均值时，由于目标图像中的每个像素将在算法中被放大为四个像素，因此对核函数的距离的变化的敏感性变得非常显着，对此提出了余弦核函数：

但该余弦核函数在其范围内存在问题，通常很难找到一个合适的h；如果h太大，图像将很模糊，否则如果h太小，许多点将为空；通过结合以上两种核函数得到改进后的核函数，它能很好的解决上述的问题。

进一步地，所述的改进后的核函数，结合新的核函数和原来的核函数，得到：

在这个函数中，即使它有点太大，内部函数的导数很小，但是指数函数的导数将弥补这个缺陷；它在这里用于修改值，产生具有指数函数的适当导数；经改进后的核心函数处理后的图像有更好的去噪效果并保持大多数细节。

其中，所述的反向传播神经网络，选择非局部均值的像素值作为网络的输入，利用反向传播神经网络的强非线性映射能力，找出输入和输出之间的隐藏关系；在本专利中，反向传播算法在证明目标像素和结果像素之间的最大相似性发挥了非常重要的作用。

附图说明

图1是本发明一种基于反向传播神经网络的图像超分辨率重建方法的系统流程图。

图2是本发明一种基于反向传播神经网络的图像超分辨率重建方法的合成孔径雷达图像。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于反向传播神经网络的图像超分辨率重建方法的系统流程图。主要包括图像输入；预处理；图像去噪；保持图像边缘；反向传播神经网络。

其中，所述的图像输入，选取由合成孔径雷达获取的遥感图像作为输入数据；遥感图像是地面上的目标的图像，包含从不同角度和高度获取的特征；合成孔径雷达图像充满乘性的斑点噪声，而且受成像装置的限制，分辨率较低。

其中，所述的预处理，由于非局部均值主要用于去除自然图像中的高斯噪声，高斯噪声是加性的，而合成孔径雷达图像充满乘性噪声；通过使用对数，将乘法计算转换为加法计算，从而可以应用非局部均值进行去噪。

进一步地，所述的对数转换，使用等式(1)和(2)将图像中的乘性噪声转换为加性噪声：

u(v)＝v(x)*n(x) (1)

log u(v)＝log v(x)+log n(x) (2)

最后，使用求幂运算恢复图像。

其中，所述的图像去噪，利用图像的冗余来维持图像的主要特征，同时去噪；它计算周围像素的平均值，然而，该算法还通过将权重加入到计算中来考虑周围像素和目标像素之间的相似性；随着权重的影响，该算法能够保持图像中的详细信息；

其关键思想是从周围像素的灰度的加权算术平均值获得目标像素的估计灰度，对于每个目标像素x，都有搜索窗口和邻域窗口；

对搜索窗口中的每个像素y，计算欧几里德距离‖V(x)-V(y)‖²；它们之间的权重由式(3)计算：

Z(x)被用于标准化权重，h在这里被称为平滑参数，用于修改exp()中的值；当邻域窗口很大时，‖V(x)-V(y)‖²也很大；难以从w(x,y)看到差异，因为在具有不同相似性的像素之间的方差将非常小；最后，通过公式(5)获得目标像素的灰度估计：

u(x)＝∑_y∈Iw(x,y)*v(y) (5)

针对超分辨率重建，采用改进后的非局部均值处理图像像素。

进一步地，所述的改进后的非局部均值，搜索窗口在原始图像的缩小图像中；假设有一个256*256的原始图像，然后将具有由原始图像缩小之后对应于目标像素的周围像素组成的搜索窗口，而邻域窗口仍然在原始图像中；

对于搜索窗口中的每个像素y，以与原始图像相同的方式计算欧几里德距离和权重；然后，由于128*128中的每个像素对应于256*256中的四个像素，我们可以在256*256中获得目标像素512*512中的四个对应像素；记原始图像中的y′，y″，y″′，y″″是缩小图像中y的四个对应像素，放大图像中的x′，x″，x″′，x″″是原始图像中x的四个对应像素，将非局部均值修正为：

并且原始图像将在每个像素经过该公式处理之后被放大四次。

其中，所述的保持图像边缘，当两个邻域之间的距离小时，非局部均值的理想核心函数应该产生大的权重，并且当两个邻域之间的距离非常大时，提供非常小的权重；因此每个像素必须在处理开始时经过对数处理，导致距离相当小；当变量小于0时，与原始非局部均值的核函数的低阶导数一起，原始方法在我们的算法中表现差：

此外，当使用改进后的非局部均值时，由于目标图像中的每个像素将在算法中被放大为四个像素，因此对核函数的距离的变化的敏感性变得非常显着，对此提出了余弦核函数：

但该余弦核函数在其范围内存在问题，通常很难找到一个合适的h；如果h太大，图像将很模糊，否则如果h太小，许多点将为空；通过结合以上两种核函数得到改进后的核函数，它能很好的解决上述的问题。

进一步地，所述的改进后的核函数，结合新的核函数和原来的核函数，得到：

在这个函数中，即使它有点太大，内部函数的导数很小，但是指数函数的导数将弥补这个缺陷；它在这里用于修改值，产生具有指数函数的适当导数；经改进后的核心函数处理后的图像有更好的去噪效果并保持大多数细节。

其中，所述的反向传播神经网络，选择非局部均值的像素值作为网络的输入，利用反向传播神经网络的强非线性映射能力，找出输入和输出之间的隐藏关系；在本专利中，反向传播算法在证明目标像素和结果像素之间的最大相似性发挥了非常重要的作用。

图2是本发明一种基于反向传播神经网络的图像超分辨率重建方法的合成孔径雷达图像。由合成孔径雷达获取的遥感图像作为输入数据；遥感图像是地面上的目标的图像，包含从不同角度和高度获取的特征；合成孔径雷达图像充满乘性的斑点噪声，而且受成像装置的限制，分辨率较低。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于反向传播神经网络的图像超分辨率重建方法，其特征在于，主要包括图像输入(一)；预处理(二)；图像去噪(三)；保持图像边缘(四)；反向传播神经网络(五)。

2.基于权利要求书1所述的一种基于反向传播神经网络的图像超分辨率重建方法，其特征在于，利用图像的自相似性，通过非局部均值处理获得针对特定超分辨率的相似像素；使用核函数，其借助细微变化使得在缩小的图像中仍能保持清晰的边缘；将去噪后的图像作为反向传播神经网络的输入，得到最终超分辨率重建结果；训练该网络的样本图像通过欠采样方法获得。

3.基于权利要求书1所述的图像输入(一)，其特征在于，选取由合成孔径雷达获取的遥感图像作为输入数据；遥感图像是地面上的目标的图像，包含从不同角度和高度获取的特征；合成孔径雷达图像充满乘性的斑点噪声，而且受成像装置的限制，分辨率较低。

4.基于权利要求书1所述的预处理(二)，其特征在于，由于非局部均值主要用于去除自然图像中的高斯噪声，高斯噪声是加性的，而合成孔径雷达图像充满乘性噪声；通过使用对数，将乘法计算转换为加法计算，从而可以应用非局部均值进行去噪。

5.基于权利要求书4所述的对数转换，其特征在于，使用等式(1)和(2)将图像中的乘性噪声转换为加性噪声：

u(v)＝v(x)*n(x) (1)

log u(v)＝log v(x)+log n(x) (2)

最后，使用求幂运算恢复图像。

6.基于权利要求书1所述的图像去噪(三)，其特征在于，利用图像的冗余来维持图像的主要特征，同时去噪；它计算周围像素的平均值，然而，该算法还通过将权重加入到计算中来考虑周围像素和目标像素之间的相似性；随着权重的影响，该算法能够保持图像中的详细信息；

其关键思想是从周围像素的灰度的加权算术平均值获得目标像素的估计灰度，对于每个目标像素x，都有搜索窗口和邻域窗口；

对搜索窗口中的每个像素y，计算欧几里德距离‖V(x)-V(y)‖²；它们之间的权重由式(3)计算：

$w(x,y)=\frac{1}{Z\left(x\right)}\exp \left(-\frac{\left|\right|V\left(x\right)-V\left(y\right)|{|}^2}{h^2}\right)---\left(3\right)$

$Z\left(x\right)=\underset{y}{\Σ}\exp (-\frac{\left|\right|V\left(x\right)-V\left(y\right)|{|}^2}{h^2})---\left(4\right)$

Z(x)被用于标准化权重，h在这里被称为平滑参数，用于修改exp()中的值；当邻域窗口很大时，‖V(x)-V(y)‖²也很大；难以从w(x,y)看到差异，因为在具有不同相似性的像素之间的方差将非常小；最后，通过公式(5)获得目标像素的灰度估计：

u(x)＝∑_y∈Iw(x,y)*v(y) (5)

针对超分辨率重建，采用改进后的非局部均值处理图像像素。

7.基于权利要求书6所述的改进后的非局部均值，其特征在于，搜索窗口在原始图像的缩小图像中；假设有一个256*256的原始图像，然后将具有由原始图像缩小之后对应于目标像素的周围像素组成的搜索窗口，而邻域窗口仍然在原始图像中；

对于搜索窗口中的每个像素y，以与原始图像相同的方式计算欧几里德距离和权重；然后，由于128*128中的每个像素对应于256*256中的四个像素，我们可以在256*256中获得目标像素512*512中的四个对应像素；记原始图像中的y′，y″，y″′，y″″是缩小图像中y的四个对应像素，放大图像中的x′，x″，x″′，x″″是原始图像中x的四个对应像素，将非局部均值修正为：

$X^{\′}\left(x\right)=\underset{y\∈I}{\Σ}w(x,y)*Y^{\′}\left(y\right)---\left(6\right)$

$X^{\′\′}\left(x\right)=\underset{y\∈I}{\Σ}w(x,y)*Y^{\′\′}\left(y\right)---\left(7\right)$

$X^{\′\′\′}\left(x\right)=\underset{y\∈I}{\Σ}w(x,y)*Y^{\′\′\′}\left(y\right)---\left(8\right)$

$X^{\′\′\′\′}\left(x\right)=\underset{y\∈I}{\Σ}w(x,y)*Y^{\′\′\′\′}\left(y\right)---\left(9\right)$

并且原始图像将在每个像素经过该公式处理之后被放大四次。

8.基于权利要求书1所述的保持图像边缘(四)，其特征在于，当两个邻域之间的距离小时，非局部均值的理想核心函数应该产生大的权重，并且当两个邻域之间的距离非常大时，提供非常小的权重；因此每个像素必须在处理开始时经过对数处理，导致距离相当小；当变量小于0时，与原始非局部均值的核函数的低阶导数一起，原始方法在我们的算法中表现差：

$w(i,j)=\exp (-\frac{D(i,j)}{h^2})---\left(10\right)$

此外，当使用改进后的非局部均值时，由于目标图像中的每个像素将在算法中被放大为四个像素，因此对核函数的距离的变化的敏感性变得非常显着，对此提出了余弦核函数：

$w(i,j)=\left\{\begin{array}{c}cos\left(\frac{\mathrm{\π}D(i,j)}{2h}\right),D(i,j)\≤h\\ 0,D(i,j)>h\end{array}\right.---\left(11\right)$

但该余弦核函数在其范围内存在问题，通常很难找到一个合适的h；如果h太大，图像将很模糊，否则如果h太小，许多点将为空；通过结合以上两种核函数得到改进后的核函数，它能很好的解决上述的问题。

9.基于权利要求书8所述的改进后的核函数，其特征在于，结合新的核函数和原来的核函数，得到：

$w(i,j)=\left\{\begin{array}{c}\exp \left(cos\right(\frac{\mathrm{\π}D(i,j)}{2h_1})*h_2),D(i,j)\≤h_1\\ 0,D(i,j)>h_1\end{array}\right.---\left(12\right)$

在这个函数中，即使它有点太大，内部函数的导数很小，但是指数函数的导数将弥补这个缺陷；它在这里用于修改值，产生具有指数函数的适当导数；经改进后的核心函数处理后的图像有更好的去噪效果并保持大多数细节。

10.基于权利要求书1所述的反向传播神经网络(五)，其特征在于，选择非局部均值的像素值作为网络的输入，利用反向传播神经网络的强非线性映射能力，找出输入和输出之间的隐藏关系；在本专利中，反向传播算法在证明目标像素和结果像素之间的最大相似性发挥了非常重要的作用。