CN110246094B - 一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法 - Google Patents

Abstract

本发明提供了一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法，包括以下步骤，步骤A：利用去噪自动编码(DAE)作为彩色图像超分辨率重建的先验信息手段，通过复制3个信道，建立6维嵌入去噪自编码先验算法模型；步骤B：训练一个以6维变量为输入的去噪网络，然后利用网络驱动的高维先验阵嵌入的先验信息对彩色图像进行超分辨率重建；步骤C：迭代恢复阶段，将中间色图像映射为6维图像，利用网络进行处理，平均值运算符用于将其转换回三通道图像。本发明高维先验算法解决了基本数据元陷入局部最优解的问题，有效地克服了不稳定性。该算法具有良好的性能和良好的视觉检测性能。

Description

一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先 验信息算法

技术领域

本发明属于彩色图像处理技术领域，具体为一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法，主要用于彩色图像超分辨率重建领域。

背景技术

图像处理学是一门关于图像处理的综合性边缘学科，从它的研究方法来看，它与数学、物理学、生物学、生理学、心理学、电子学、计算机科学等许多学科相互借鉴、相互联系，虽然各有侧重但又互为补充。另外以上各个学科都得到了人工智能、神经网络、遗传算法、模糊逻辑等新理论、新工具、新技术的支持，并因此得到不断的进展。从它的研究范围来看，它与模式识别、计算机视觉、计算机图形学等多个专业又互相交叉，既有区别又有联系。从它的应用范围来看，它与生物医学、材料、遥感、通信、交通管理、军事侦察、文档处理和工业自动化等许多领域也是不可分割的。随着信息技术的发展，数字图像处理将在社会生活中的更多领域得到更为广泛的应用。

近年来，随着计算机性能的不断提高，计算机视觉研究的不断进步，多媒体技术和虚拟现实技术的不断完善，特别是彩色成像设备的不断改进，彩色图像的应用越来越广泛，彩色图像受到了越来越多的重视。然而，图像处理研究仍然集中在灰度图像上。对灰度图像的技术通常不能用到彩色图像，因为彩色图像更复杂。彩色图像处理已经成为了重要的研究课题。

图像恢复(IR)是从图像退化的测量中恢复高质量图像的技术，一直是许多图像处理领域的研究热点，具有监视、遥感、低层次图像处理等重要应用。IR的数学定义可表述为：

f＝Hu+n

其中f表示损坏的图像，u表示干净的图像，H表示与成像系统相关的退化矩阵，n是标准偏差的加性高斯白噪声。对于不同的退化矩阵，我们可以得到不同的图像恢复任务。当H是模糊和下采样的复合算子时，图像恢复任务是图像超分辨率，由于图像恢复任务的不适定本质，通过正则化解空间对基于正则化的技术进行了广泛的研究。从贝叶斯的观点，通过处理最大后验(MAP)问题，即：

其中，

表示与先验项关联的正则化器。保真度项||f-Hu||²确保了解决方案与退化过程的结合。λ是一个调整后的参数。

图像超分辨率是一个传统的逆问题，其目标是从相应的退化图像中恢复清晰的图像。20世纪60年代，哈里斯和古德曼首次提出了图像超分辨率的概念。由于图像超分辨率技术可以补偿退化图像在成像过程中的默认高频信息，有利于后续各种图像处理操作，如边缘提取、图像分割和目标识别等，因此一旦提出该技术，就具有吸引力。现有的单图像超分辨率(SISR)算法大致可分为三大类：基于插值的超分辨率、基于重建的超分辨率和基于实例的超分辨率，然而，这些方法通常提供过于平滑的重建图像，丢失细节和剩余的振铃效果。

基于重建的超分辨率的典型方法包括迭代反投影(IBP)、凸集投影(POCS)和最大后验概率(MAP)。基于重构的算法Rithms往往需要各种有效的先验来约束不适定问题，从而得到令人满意的解决方案，如基于边缘统计的先验、全变差(TV)、稀疏表示和基于补丁的先验。研究者们提出了一种基于先验图像的贝叶斯深度学习框架，该框架直接表示高斯平滑自然图像概率分布。使用经过训练的去噪自动编码器(DAE)可以有效地计算先验梯度。在此基础上，在迭代优化过程中引入了多去噪自编码先验(MDAEP)，并通过深卷积神经网络获得自然图像先验。

现有的图像超分辨率方法通常提供过于平滑的重建图像，丢失细节和剩余的振铃效果。

发明内容

针对上述提出的问题，本发明的目的是提出一种切实可行、性能优良、环境适应性强的一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法(M²DAEP)。

为实现上述目的，本发明提供如下技术方案：一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法，包括以下步骤：

步骤A：利用去噪自动编码(DAE)作为彩色图像超分辨率重建的先验信息手段，通过复制3个信道，建立6维嵌入去噪自编码先验算法模型。

步骤B：训练一个以6维变量为输入的去噪网络，然后利用网络驱动的高维先验阵嵌入的先验信息对彩色图像进行超分辨率重建。

步骤C：迭代恢复阶段，将中间色图像映射为6维图像，利用网络进行处理，平均值运算符用于将其转换回三通道图像。

进一步的，所述步骤A建立6维嵌入去噪自编码先验算法模型的先验项表示为：

其中，训练数据{I|I(u)＝[u，u₁]}是一组6维图像。

进一步的，所述步骤B具体包括：

自然彩色图像中的R、G、B通道具有一定的通道先验性，6通道数据的联合学习具有一定的结构信息；在彩色图像恢复中，应用辅助变量技术获得六通道网络诱导的高维结构先验信息；从6D图像中学习先前的信息，并将其用于彩色红外任务。

用于学习DAE的网络体系结构是剩余的编码器-解码器网络RedNet，网络由30层组成，其中15层为卷积层，15层为反卷积层，对称布置；快捷方式连接匹配的护航解决方案和反褶积层，每层后面都有其校正的线性单元RELU，卷积核的大小为3×3，输入和输出层的信道数为6，其余层的信道数为64。

进一步的，所述步骤C具体包括：

考虑到在6D和多模型N＝2，对于一般的彩色图像恢复可以如下：

其中，6通道辅助变量简单地称为I(u)＝[u，u₁]，表示I，N表示M²DAEP模型的数量，第一个项是数据保真度项，第二个项由网络驱动的先验信息组成，由于模型的非线性，采用近端梯度法来处理它，随后，用标准最小二乘法LS最小化模型：

其中，

和

函数G(I)是1/β-Lipschitz平滑

k表示迭代的索引数，通过计算梯度可以解决：

上式化简为：

其中，R表示六个通道上使用的平均运算符，可以观察到，解决方案公式包含

和

其中

参数已经在网络训练阶段学习，特别是，

是输入的正向网络输出，

是输入的反向网络输出；另外，通过交替更新网络估计

和LS解算器来更新解，直到值收敛。

与现有技术相比，本发明的有益效果是：

本发明提供了一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法(M²DAEP)，利用了去噪自动编码(DAE)作为彩色图像超分辨率重建的先验手段，通过复制3个信道，建立6维嵌入去噪自编码先验算法模型，训练一个以6维变量为输入的去噪网络，然后利用网络驱动的高维先验阵嵌入的先验对彩色图像进行超分辨率重建，迭代恢复阶段，将中间色图像映射为6维图像，利用网络进行处理，平均值运算符用于将其转换回三通道图像。高维先验算法解决了基本数据元陷入局部最优解的问题，有效地克服了不稳定性。该算法具有良好的性能和良好的视觉检测性能。

附图说明

图1为本发明的流程图；

图2为本发明构建的神经网络框架图；

图3为本发明算法应用于超分辨率的流程图；

图4为传统迭代算法和本发明重建结果比较图；(a)为Bicubic重建结果图；(b)为SRCNN重建结果图；(c)为DnCNN-3重建结果图；(d)为IRCNN重建结果图；(e)为DMSP重建结果图；(f)为DAEP重建结果图；(g)为MDAEP重建结果图；(h)为本发明重建结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。

本发明提供一种技术方案：一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法，包括以下步骤：

步骤A：利用去噪自动编码(DAE)作为彩色图像超分辨率重建的先验信息手段，通过复制3个信道，建立6维嵌入去噪自编码先验算法模型。

6维嵌入去噪自编码先验算法模型的先验项表示为：

其中，训练数据{I|I(u)＝[u，u₁]}是一组6维图像。

步骤B：训练一个以6维变量为输入的去噪网络，然后利用网络驱动的高维先验阵嵌入的先验信息对彩色图像进行超分辨率重建。

DAEP中ResNet块内最终卷积层的典型卷积核呈随机分布。而M²DAEP中尽管六个通道中的输入噪声是随机给定的，但其卷积内核看起来更规则，包含更多的结构信息。

自然彩色图像中的R、G、B通道具有一定的通道先验性，6通道数据的联合学习具有一定的结构信息。在彩色图像恢复中，我们应用辅助变量技术获得了六通道网络诱导的高维结构先验信息。这部分说明了M²DAEP的噪声去除能力优于DAEP的合理性。事实上，已经有许多彩色图像恢复研究中利用彩色图像中的通道先验来增强恢复过程。这里最大的创新是，我们从6D图像中学习先前的信息，并将其用于彩色红外任务。

在本发明中，用于学习DAE的网络体系结构是剩余的编码器-解码器网络(RedNet)，网络由30层组成，其中15层为卷积层，15层为反卷积层，对称布置。快捷方式连接匹配的护航解决方案和反褶积层。每层后面都有其校正的线性单元(RELU)。卷积核的大小为3×3。输入和输出层的信道数为6，其余层的信道数为64。

步骤C：迭代恢复阶段，将中间色图像映射为6维图像，利用网络进行处理，平均值运算符用于将其转换回三通道图像。

考虑到在6D和多模型(N＝2)，对于一般的彩色图像恢复可以如下：

为了方便起见，6通道辅助变量简单地称为I(u)＝[u，u₁]，表示I。N表示M²DAEP模型的数量。第一个项是数据保真度项，第二个项由网络驱动的先验信息组成。由于模型的非线性，采用近端梯度法来处理它。随后，用标准最小二乘法(LS)最小化模型：

其中，

和

函数G(I)是1/β-Lipschitz平滑

k表示迭代的索引数，通过计算梯度可以解决：

上式化简为：

其中，R表示六个通道上使用的平均运算符，可以观察到，解决方案公式包含

和

其中

参数已经在网络训练阶段学习，特别是，

是输入的正向网络输出，

是输入的反向网络输出；另外，通过交替更新网络估计

和LS解算器来更新解，直到值收敛。

本发明与最近的技术进行比较，包括SRCNN，DnCNN-3，IRCNN，DMSP和DAEP，其中网络SRCNN针对每个比例因子进行训练，DnCNN-3和IRCNN模型在×2，3和4上联合训练。对于×5尺度下的超分辨率，我们使用了×4训练的SRCNN模型，以及×2、×3和×4训练的DNCNN-3和IRCNN模型。

实验结果表明，M²DAEP实现了更高的PSNR结果。M²DAEP在不同比例因子下获得比之前的DAEP更高的PSNR值，这意味着通过嵌入高维结构显著提高了DAEP的质量，达到令人满意的效果。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法，其特征在于：包括以下步骤：

步骤A：利用去噪自动编码(DAE)作为彩色图像超分辨率重建的先验信息手段，通过复制3个信道，建立6维嵌入去噪自编码先验算法模型；

步骤B：训练一个以6维变量为输入的去噪网络，然后利用网络驱动的高维先验阵嵌入的先验信息对彩色图像进行超分辨率重建；

步骤C：迭代恢复阶段，将中间色图像映射为6维图像，利用网络进行处理，平均值运算符用于将其转换回三通道图像；

所述步骤C具体包括：

考虑到在6D和多模型N＝2，对于一般的彩色图像恢复可以如下：

其中，f表示损坏的图像，H表示与成像系统相关的退化矩阵，λ是一个调整后的参数，6通道辅助变量简单地称为I(u)＝[u,u₁]，表示I，N表示M²DAEP模型的数量，||Hu-f||²是数据保真度项，

由网络驱动的先验信息组成，由于模型的非线性，采用近端梯度法来处理它，随后，用标准最小二乘法LS最小化模型：

其中，

和

函数G(I)是1/β-Lipschitz平滑

I′和I″是在有限区间的任意值，k表示迭代的索引数，I^k表示第k个I，通过计算梯度可以解决：

上式化简为：

其中，R表示六个通道上使用的平均运算符，可以观察到，解决方案公式包含

和

其中

参数已经在网络训练阶段学习，特别是，

是输入的正向网络输出，

是输入的反向网络输出；另外，通过交替更新网络估计

和最小二乘法LS来更新解，直到值收敛。

2.根据权利要求1所述的一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法，其特征在于：所述步骤A建立6维嵌入去噪自编码先验算法模型的先验项表示为：

其中，E_η,I中 训练数据{I|I(u)＝[u,u₁]}是一组6维图像，A_ση(I)表示为M²DAE先验包含的DAE，η是标准差为σ_η的人工噪声。

3.根据权利要求1所述的一种用于彩色图像超分辨率重建的6维嵌入的去噪自编码先验信息算法，其特征在于：所述步骤B具体包括：

自然彩色图像中的R、G、B通道具有一定的通道先验性，6通道数据的联合学习具有一定的结构信息；在彩色图像恢复中，应用辅助变量技术获得六通道网络诱导的高维结构先验信息；从6D图像中学习先前的信息，并将其用于彩色红外任务；

用于学习DAE的网络体系结构是剩余的编码器-解码器网络Red Net，网络由30层组成，其中15层为卷积层，15层为反卷积层，对称布置；快捷方式连接匹配的护航解决方案和反褶积层，每层后面都有其校正的线性单元RELU，卷积核的大小为3×3，输入和输出层的信道数为6，其余层的信道数为64。

Images