CN108734675B - 基于混合稀疏先验模型的图像复原方法 - Google Patents

Abstract

本发明公开了一种自然图像复原方法，主要解决现有技术中无法得到较为满意的客观复原效果和主观视觉效果的问题。其实现方案为：1)对复原图像和循环次数进行初始化；2)构造并训练12层卷积神经网络；3)计算初始复原图像初步估计值；4)由初始复原图像初步估计值计算稀疏特征图初步估计值；5)对初始复原图像初步估计值分块，并计算块的权重；6)由块的权重计算稀疏特征图非局部估计值；7)由稀疏特征图初步估计值和非局部估计值计算稀疏特征图先验估计值；8)根据稀疏特征图的先验估计值构建求解复原图像的目标函数；9)求解目标函数并输出复原图像。本发明复原结果纹理细节清晰，可用于将数码相机中的退化图像恢复出真实图像。

Description

基于混合稀疏先验模型的图像复原方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种图像复原方法，可用于将数码相机中的退化图像恢复出真实图像。

背景技术

图像在成像、压缩、传输、记录、显示的过程中，由于成像过程受环境噪声影响，成像系统本身的不稳定性和与环境的相对运动，以及信号传输介质的影响，使得最终得到的图像相对于真实图像本身有很大程度上的退化。常见的图像退化有噪声污染、图像分辨率不足、图像模糊等，得到的退化图像是不可用的。图像复原技术就是利用退化的图像得到其潜在的真实图像。传统的基于模型的图像复原方法由于缺乏关于真实图像的鲁棒的先验信息和模型求解迭代次数过多，往往难以获得较为理想的复原效果并且算法运行时间较长，而基于学习的图像复原方法由于模型的训练数据难以构造、训练时间较长、模型复杂度较高而难以应用到实际应用之中。

Kai Zhang等人在其发表的论文“Learning Deep CNN Denoiser Prior forImage Restoration”(IEEE International Conference on Computer Vision AndPattern Recognition IEEE,2017:3929-3938)中提出了一种基于卷积神经网络降噪器的图像复原方法。该方法对图像的退化过程进行了建模，将退化的图像和真实图像之间的残差视为噪声，学习了一个卷积神经网络充当降噪器的功能，进行退化图像和真实图像之间的残差的消除，此方法利用了外部海量数据中的先验信息，对于测试图像有较好的泛化能力，然而此方法并没有利用到退化图像内部的先验信息，对于重复性的纹理结构和训练集中的未见样本不能做到很好的恢复。

国防科技大学在其申请的专利文献“一种基于观测信号拆分的快速稀疏图像复原方法”(专利申请号：2015102469757，公开号：CN104835126A)中提出了一种基于稀疏表示的图像复原方法，此方法立足于稀疏编码模型，是一种利用先验正则项进行自然图像复原的方法，由于其无法利用外部海量数据中的先验信息，因此该方法不能在测试图像上获得较好的泛化能力。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于混合稀疏先验模型的图像复原方法，旨在结合基于模型的图像复原方法和基于学习的图像复原方法，同时利用外部海量数据中的先验信息和退化图像内部的先验信息，获得更好的图像复原效果。

本发明的技术思路是：结合深度神经网络，将从海量数据中学习到的先验和图像非局部自相似性先验到稀疏编码模型中，实现自然图像的复原。其步骤包括如下：

(1)设置退化图像y，初始化复原图像x⁽⁰⁾＝H^Ty，其中H表示退化算子，，设置循环次数t＝0,1,2,...,M，M最大循环次数取值为100；

(2)构造一个12层卷积神经网络，并对其进行训练，用训练好的卷积神经网络计算初始复原图像x⁽⁰⁾的初步估计值

(3)根据初步估计值

计算稀疏特征图初步估计值：

其中w_k为卷积滤波器，*表示卷积操作；

(4)对初始复原图像x⁽⁰⁾的初步估计

进行分块，并对每一个块

进行相似块的寻找，得到L个与

相似的图像块

l＝1,2,...,L，计算相似块

的权重

其中c表示尺度常数，h表示归一化常数，

表示二范数操作；

(5)利用相似块

及权重

计算稀疏特征图非局部估计块：

并将

进行拼接得到稀疏特征图非局部估计

其中

表示

的第i个块；

(6)根据稀疏特征图非局部估计

计算稀疏特征图先验估计：

其中0＜ξ＜1为一个预定义的常数；

(7)基于已有的解析稀疏编码模型，根据所求得的稀疏特征图先验估计μ_k，构建求解复原图像x和稀疏特征图z_k的目标函数：

其中，η表示重构误差项的权重，λ表示先验项的权重，

表示F范数操作，||·||₁表示一范数操作，

表示目标函数取得最小值时x和z_k所取得的值，求解z_k和x的过程是一个交替计算z_k和x的步骤，分别描述在(8)和(9)中；

(8)记x^(t)表示第t次循环时的复原图像值，根据(7)中的目标函数得到计算第t次循环时稀疏特征图z_k的稀疏特征图：

其中soft为软阈值函数，λ为先验项的权重，当t＝0时，(1)中给出了x⁽⁰⁾＝H^Ty，当t>0时，x^(t)取上一次循环(9)中的x^(t+1)；

(9)根据(7)中的目标函数，计算第t+1次循环时的复原图像值x^(t+1)：

其中(·)^-1代表矩阵求逆操作，(·)^T代表矩阵转置操作；

(10)循环执行步骤(8)-(9)共M次，直到x^(t+1)收敛，输出最终的复原图像x。

本发明与现有技术相比具有以下优点：

第一，由于本发明融合了从海量数据中学习到的先验信息和自然图像非局部自相似性先验信息，将基于模型的方法和基于学习的方法结合起来进行图像复原操作，相比其他方法在复原图像上可以得到更好的视觉效果，在图像复原的客观评价指标上也获得了更好的结果。

第二，由于求解复原图像的目标函数中引入了图像的退化算子，因此不需要为了特定的图像复原任务而专门设计模型，对于不同的图像复原任务，如图像超分辨、图像去噪、图像去模糊，只需要构造好输入样本集和输出样本集即可完成相应的图像复原任务。

附图说明

图1为本发明的实现流程图；

图2为本发明的仿真对比图。

具体实施方式

下面结合附图，对本发明做进一步详细描述。

参照图1，对本发明的实现步骤如下。

步骤1，对复原图像和循环次数进行初始化。

(1a)设置退化图像y：

退化图像包括噪声退化图像、低分辨退化图像、模糊退化图像，其设置如下：

(1a1)噪声退化图像的设置，是在数据库中随机选取一张真实图像，先构造一个与真实图像维度相同的高斯随机数矩阵，再将高斯随机数矩阵与真实图像相加，得到噪声退化图像。

(1a2)低分辨退化图像的设置，是在数据库中随机选取一张真实图像，并对该真实图像进行下采样操作，得到低分辨退化图像。

(1a3)模糊退化图像的设置，是在数据库中随机选取一张真实图像，利用模糊卷积核对该真实图像进行卷积操作，先构造一个与真实图像维度相等的高斯随机数矩阵，再将卷积操作的结果与所构造的高斯随机数矩阵相加，得到模糊退化图像；

(1b)初始化复原图像x⁽⁰⁾＝H^Ty，其中H表示退化算子；

(1c)设置循环次数t＝0,1,2,...,M，M最大循环次数取值为100。

步骤2，构造并训练12层卷积神经网络。

(2a)构造一个12层卷积神经网络：

(2a1)设置12层卷积神经网络的结构依次为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→第四个卷积层→第五个卷积层→第六个卷积层→第七个卷积层→第八个卷积层→第九个卷积层→第十个卷积层→输出层；

(2a2)设置网络中各层参数：

将输入层的输入通道总数设置为1；

将前九个卷积层的特征映射图的总数均设置为64，每层卷积核的尺度均设置为3×3，卷积步长均设置为1；

将第十个卷积层的特征映射图的总数设置成1，该层卷积核的尺度设置为3×3，卷积步长设置为1；

将所有卷积层中的激活函数均设置为Relu激活函数；

将每层的学习率设置为0.0001；

(2b)对12层卷积神经网络进行训练：

(2b1)从数据库中随机找出1000幅图像作为输出样本集；设置每一幅图像对应的退化图像，并将所有的退化图像组成输入样本集；

(2b2)更新12层卷积神经网络：

从输入样本集中随机选取一个输入训练样本，将所选取的输入训练样本输入到12层卷积神经网络中，得到12层卷积神经网络的输出值；

(2b3)利用下面的误差计算公式，计算12层卷积神经网络的损失值，用该损失值更新12层卷积神经网络，得该卷积神经网络的模型参数θ：

其中，y_i为输入到12层卷积神经网络的退化图像，x_i为输出样本集的一个样本，CNN(y_i；θ)表示以模型参数为θ，输入为y_i时的12层卷积神经网络的输出值，

为二范数操作，i＝1,2,...,N，N为输出样本集中的样本数量。

步骤3，计算初始复原图像的初步估计值。

用训练好的卷积神经网络计算初始复原图像x⁽⁰⁾的初步估计值

即将x⁽⁰⁾输入到训练好的卷积神经网络中，用x⁽⁰⁾和卷积神经网络每个卷积层的滤波器逐层进行卷积操作，进而输出初步估计值

步骤4，计算稀疏特征图初步估计值。

根据初步估计值

计算稀疏特征图初步估计值：

其中w_k为卷积滤波器，*表示卷积操作，k＝1,2,...,P，P为稀疏特征图的数量。

步骤5，初始复原图像分块计算权重。

对初始复原图像x⁽⁰⁾的初步估计

进行分块，并对每一个块

进行相似块的寻找，得到L个与

相似的图像块

l＝1,2,...,L；

计算相似块

的权重：

其中c表示尺度常数，h表示归一化常数，

表示二范数操作。

步骤6，计算稀疏特征图非局部估计。

利用相似块

及权重

计算稀疏特征图非局部估计块：

并将

进行拼接得到稀疏特征图非局部估计

其中

表示

的第i个块。

步骤7，计算稀疏特征图先验估计。

根据稀疏特征图非局部估计

计算稀疏特征图先验估计：

其中0＜ξ＜1为一个预定义的常数。

步骤8，构建求解复原图像的目标函数。

基于已有的解析稀疏编码模型，根据所求得的稀疏特征图先验估计μ_k，构建求解复原图像x和稀疏特征图z_k的目标函数：

其中，η表示重构误差项的权重，λ表示先验项的权重，

表示F范数操作，||·||₁表示一范数操作，

表示目标函数取得最小值时x和z_k所取得的值，求解z_k和x的过程是一个交替计算z_k和x的步骤，分别描述在步骤8和步骤9中。

步骤9，求解稀疏特征图。

记x^(t)表示第t次循环时的复原图像值，根据步骤7中的目标函数得到计算第t次循环时稀疏特征图z_k的稀疏特征图：

其中soft为软阈值函数，λ为先验项的权重，当t＝0时，步骤1中给出了x⁽⁰⁾＝H^Ty，当t>0时，x^(t)取上一次循环步骤9中的x^(t+1)。

步骤10，求解复原图像。

根据步骤7中的目标函数，计算第t+1次循环时的复原图像值x^(t+1)：

其中(·)^-1代表矩阵求逆操作，(·)^T代表矩阵转置操作。

步骤11，输出复原图像。

循环执行步骤8-9共M次，直到x^(t+1)收敛，输出最终的复原图像x。

本发明的效果可通过以下仿真实验进一步说明。

1.仿真条件：

本发明的仿真实验是在单块NVIDIA GTX 1080Ti型号的GPU和Tensorflow1.2.1的软件环境下进行的。

2.仿真内容与结果分析：

使用本发明的方法和现有基于学习卷积神经网络降噪器先验的图像复原方法，对一幅退化的图像进行复原操作，结果如图2，其中，图2(a)为仿真实验所使用的原始退化图像；图2(b)为采用现有技术基于学习卷积神经网络降噪器先验的图像复原方法对退化图像复原仿真结果图；图2(c)为采用本发明方法对退化图像复原仿真结果图。图2(b)中的现有技术来源于文章“Learning Deep CNN Denoiser Prior for Image Restoration”(IEEEInternational Conference on Computer Vision And Pattern Recognition IEEE,2017:3929-3938)。

对比附图2中的复原图像图2(b)和图2(c)，可以看出采用现有技术的基于学习卷积神经网络降噪器先验的图像复原方法，对退化图像进行复原后的结果图中，不能很好的对图像进行复原，而采用本发明方法对退化图像进行复原的彩色结果图中可以很好的恢复图像的细节信息，对高频纹理结构的复原效果很好。

综上，本发明方法克服了现有技术中的复原效果不佳等问题，丰富了复原结果图的细节信息，改善了复原图像的视觉效果。

Claims (8)

1.一种自然图像复原方法，包括如下步骤：

(1)设置退化图像y，初始化复原图像x⁽⁰⁾＝H^Ty，其中H表示退化算子，设置循环次数t＝0,1,2,...,M，M最大循环次数取值为100；

(2)构造一个12层卷积神经网络，并对其进行训练，用训练好的卷积神经网络计算初始复原图像x⁽⁰⁾的初步估计值

(3)根据初步估计值

计算稀疏特征图初步估计值：

其中w_k为卷积滤波器，*表示卷积操作，k＝1,2,...,P，P为稀疏特征图的数量；

(4)对初始复原图像x⁽⁰⁾的初步估计

进行分块，并对每一个块

进行相似块的寻找，得到L个与

相似的图像块

计算相似块

的权重

，

其中c表示尺度常数，h表示归一化常数，

表示二范数操作；

(5)利用相似块

及权重

计算稀疏特征图非局部估计块：

并将

进行拼接得到稀疏特征图非局部估计

其中

表示

的第i个块；

(6)根据稀疏特征图非局部估计

计算稀疏特征图先验估计：

其中0＜ξ＜1为一个预定义的常数；

(7)基于已有的解析稀疏编码模型，根据所求得的稀疏特征图先验估计μ_k，构建求解复原图像x和稀疏特征图z_k的目标函数：

其中，η表示重构误差项的权重，λ表示先验项的权重，

表示F范数操作，||·||₁表示一范数操作，

表示目标函数取得最小值时x和z_k所取得的值，求解z_k和x的过程是一个交替计算z_k和x的步骤，分别描述在(8)和(9)中；

(8)记x^(t)表示第t次循环时的复原图像值，根据(7)中的目标函数得到计算第t次循环时稀疏特征图z_k的稀疏特征图：

其中soft为软阈值函数，λ为先验项的权重，当t＝0时，(1)中给出了x⁽⁰⁾＝H^Ty，当t>0时，x^(t)取上一次循环(9)中的x^{(t +1)}；

(9)根据(7)中的目标函数，计算第t+1次循环时的复原图像值x^(t+1)：

其中(·)^-1代表矩阵求逆操作，(·)^T代表矩阵转置操作；

(10)循环执行步骤(8)-(9)共M次，直到x^(t+1)收敛，输出最终的复原图像x。

2.根据权利要求1所述的方法，其中步骤(1)中设置的退化图像y，包括噪声退化图像、低分辨退化图像、模糊退化图像。

3.根据权利要求2所述的方法，其中噪声退化图像的设置，是在数据库中随机选取一张真实图像，先构造一个与真实图像维度相同的高斯随机数矩阵，再将高斯随机数矩阵与真实图像相加，得到噪声退化图像。

4.根据权利要求2所述的方法，其中低分辨退化图像的设置，是在数据库中随机选取一张真实图像，并对该真实图像进行下采样操作，得到低分辨退化图像。

5.根据权利要求2所述的方法，其中模糊退化图像的设置，是在数据库中随机选取一张真实图像，利用模糊卷积核对该真实图像进行卷积操作，先构造一个与真实图像维度相等的高斯随机数矩阵，再将卷积操作的结果与所构造的高斯随机数矩阵相加，得到模糊退化图像。

6.根据权利要求1所述的方法，步骤(2)中构造一个12层卷积神经网络，按如下步骤进行：

(2a)设置12层卷积神经网络的结构依次为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→第四个卷积层→第五个卷积层→第六个卷积层→第七个卷积层→第八个卷积层→第九个卷积层→第十个卷积层→输出层；

(2b)设置网络中各层的参数：

将输入层的输入通道总数设置为1；

将前九个卷积层的特征映射图的总数均设置为64，每层卷积核的尺度均设置为3×3，卷积步长均设置为1；

将第十个卷积层的特征映射图的总数设置成1，该层卷积核的尺度设置为3×3，卷积步长设置为1；

将所有卷积层中的激活函数均设置为Relu激活函数；

将每层的学习率设置为0.0001。

7.根据权利要求1所述的方法，步骤(2)中对12层卷积神经网络进行训练，按如下步骤进行：

(2c)从数据库中随机找出1000幅图像作为输出样本集；设置每一幅图像对应的退化图像，并将所有的退化图像组成输入样本集；

(2d)更新12层卷积神经网络：

从输入样本集中随机选取一个输入训练样本，将所选取的输入训练样本输入到12层卷积神经网络中，得到12层卷积神经网络的输出值；

(2e)利用下面的误差计算公式，计算12层卷积神经网络的损失值，用该损失值更新12层卷积神经网络，得该卷积神经网络的模型参数θ：

其中，y_i为(2d)中输入到12层卷积神经网络的退化图像，x_i为输出样本集的一个样本，CNN(y_i；θ)表示以模型参数为θ，输入为y_i时的12层卷积神经网络的输出值，

为二范数操作。

8.根据权利要求1所述的方法，步骤(2)中用训练好的卷积神经网络计算初始复原图像x⁽⁰⁾的初步估计值

是将x⁽⁰⁾输入到训练好的卷积神经网络中，用x⁽⁰⁾和卷积神经网络每个卷积层的滤波器逐层进行卷积操作，进而输出初步估计值

Images