CN112132757B - 一种基于神经网络的通用图像复原方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的通用图像复原方法，该方法不需要失真类型的先验信息，自动判别失真类型(噪声、低分辨率以及缺失等)和失真程度，然后进行相应的复原处理，适用于存在未知混合失真图像的复原；本发明依据失真检测模块识别出图像待处理的失真类型及其失真程度，克服了现有方法假定失真情况已知的缺点；本发明的通用图像复原网络可以处理多种失真类型，本发明的通用图像复原网络具有可扩展性，且随着技术的发展，针对各类失真的复原子模块可更新，现有的几种针对混合失真的网络，有的是可扩展性差，有的是性能差，且这些方法都假定失真类型和失真程度已知。

Description

一种基于神经网络的通用图像复原方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于神经网络的通用图像复原方法。

背景技术

美国哈佛商学院有关研究人员的分析资料表明，在人类所感知的环境信息中，视觉信息占60％。随着智能手机和监控安防设备的普及，图像成为获取视觉信息的主要载体形式，同时也是保证用户体验诉求最高的业务。

图像在成像、压缩、传输、记录、显示的过程中，由于设备的带宽和物理特性的限制，必然会发生信息丢失和外来伪像的引入而造成某些退化，如成像过程中存在多种环境噪声，成像系统本身的不稳定性和与环境的相对运动等；压缩编码过程中可能会出现块效应和伪像；传输介质对信号的影响等。图像的失真不仅导致观看体验差，而且会造成信息丢失。

当前的图像复原算法大多是针对某一类具体失真问题，例如去噪、去模糊、超分辨率重建等，实际情况中，图像大多同时经历多种不同程度的失真，采用单一的图像复原算法不能有效的提高图像的质量。

2016年Xiaojiao Mao等人在《Image Restoration Using Very DeepConvolutional Encoder Decoder Networks with Symmetric Skip Connections》一文中针对图像去噪、去模糊、修复以及超分辨率重建四类问题提出深度完全卷积编码解码网络，但是该网络不是同时处理四类失真，而是针对每一类失真，需要单独训练网络，在实际使用时，需要预先知道图像中是四类失真中的哪一种。

2017年Dmitry Ulyanov等人在《Deepimage Prior》一文中提出一种基于自编码器网络的图像复原方法，该方法认为图像的统计学信息是卷积的图像产生的而不是通过网络学习得到的，因此免去了预训练图像的过程，同样，该方法需要预先知道图像中是哪一类失真，然后设置相应的损失函数来实现图像去噪、超分辨率重建或者图像修复。

2018年Yulun Zhang等人在《Residual Dense Network for Image Restoration》一文中提出新型残差密集网络，该网络通过残差密集块提取局部特征，同时需要预知图像的失真类型来调整网络的细节，以实现相应的图像超分辨率重建、图像去噪或者图像去块。

2018年Ke Yu等人在《Crafting a Toolchain for Image Restoration by DeepReinforcement Learning》提出基于深度强化学习的图像复原算法，解决同时含有高斯噪声、模糊以及JEPG压缩块的混合失真图像的复原问题。

2019年Orest Kupyn等人在《DeblurGAN-v2:Deblurring(Orders-of-Magnitude)Faster and Better》一文中提出一个端到端的单运动去模糊对抗网络，在已知某一类失真类型的条件下分别实现了图像去模糊、去噪声和去伪像三类复原任务。

2019年Masanori Suganuma等人在《Attention-based Adaptive Selection ofOperations for Image Restoration in the Presence of Unknown CombinedDistortion》中针对存在混合失真(高斯噪声、模糊和JEPG伪像)的图像提出一个复原神经网络，并行执行多个操作，并通过注意力机制加权，以根据输入图像的特征来选择合适的操作。

2019年Guocheng Qian等人在《Trinity of Pixel Enhancement:a JointSolution for Demosaicking,Denoising and Super-Resolution》一文中提出三位一体增强网络TENet，针对同时具有低分辨率、噪声和马赛克的混合失真图像，采用流水线策略复原，先去噪，接下来实现超分辨率，最后去马赛克，但该网络只能处理上述三类混合失真的图像，对其他类型的混合失真不适用。

2019年Dahun Kim等人在《DeepVideo Inpainting》一文中将视频修复作为一种连续的多帧到单帧的图像修复任务，提出3D-2D编码解码器网络，该方法从相邻帧中提取特征合成视频缺失内容。

2017年张永兵等人在专利《一种基于自适应残差神经网络的图像复原方法》中公开了一种基于自适应残差神经网络的图像复原方法，该方法针对图像去噪、图像超分辨和图像去块问题单独训练网络，能够显著提高含噪图像、低分辨率图像以及含块图像的PSNR、SSIM和视觉效果。

2018年谢春芝和高志升在专利《基于卷积自编码卷积神经网络的空间目标图像复原方法》中公开了一种基于卷积自编码卷积神经网络的空间目标图像复原方法，该方法以不同退化程度的湍流模糊图像作为输入数据，复原出边缘结构清晰的图像。

2019年李嘉锋等人在专利《一种基于生成对抗网络的复合降质图像高质量重建方法》中公开了一种基于生成对抗网络的复合降质图像高质量重建方法，该方法利用生成网络和判别网络之间的博弈来复原同时含有雾霾、系统噪声、低照度和压缩失真等多种降质问题的低质量图像，不考虑混合失真的类型、严重程度以及失真间的相互影响等因素。

现有的基于神经网络的图像复原方法存在以下缺点：(1)一般方法都是针对单一失真类型而设计的；(2)有的方法设计的网络结构虽然是面向多种失真，但不是同时处理多种失真，针对每一类失真要单独训练，相当于多个结构相同，参数不同的网络，每组参数对应一种失真；(3)尽管有的方法(例如，2018年Ke Yu等人提出的基于深度强化学习的方法)能处理具有三类混合失真的图像，但是这种方法只适用于预先定义的三类混合失真，且失真复原性能较差。(4)所有这些方法，无论是针对单一失真的复原还是针对混合失真的复原，都需要预先知道图像的失真类型和失真程度，而实际所获得的图像中，通常存在多种未知类型的失真，所以现有的方法无法直接应用到实际的图像复原中。因此，目前尚没有通用化的图像复原方法能实现未知混合失真的复原。

发明内容

有鉴于此，本发明的目的是提供一种基于神经网络的通用图像复原方法，可自动识别出图像存在的失真类型和失真程度。

一种图像复原方法，包括如下步骤：

步骤1、获取包含所有失真类型的原始图像数据集；

步骤2、提取各原始图像的数据特征；

步骤3、对每种失真类型建立一个SVM；

对每一条数据特征的失真类型和失真程度进行标记，构成该条数据特征的标签；将同属一种失真类型的数据特征连同对应的标签，输入到对应的SVM中进行训练；

步骤4、统计失真数量N；

将待检测图像按照步骤2的方式提取数据特征，并分别输入到所有的SVM中；统计所有SVM输出的失真概率超过设定概率阈值的失真类型，得到失真类型数量N；若N＝0，直接输出原始图像作为复原图像；若N>0,执行下一步；

步骤5、构建依次由一个编码器和多个解码器串连的神经网络，其中，每一种失真类型对应一个解码器，解码器事先采用该失真类型图像进行训练，得到具有图像复原能力的解码器；

将待复原图像输入到神经网络中，先通过编码器提取共性特征；

然后根据步骤4判定的待复原图像的失真类型，将待复原图像的共性特征输入到对应类型的解码器中进行图像复原；如果待复原图像存在两种以上失真，则按照解码器的串连顺序，依次将待复原图像的共性特征输入到对应的解码器中进行复原，最终得到复原后图像。

较佳的，对于步骤1获得的每个原始图像，先使用可操纵金字塔对其进行小波分解，得到具有至少两个尺度和两个方向的多个子带；然后对每个自带进行子带分裂归一化；最后获得归一化后的子带的数据特征，组合后作为原始图像的数据特征。

较佳的，所述数据特征包括以下特征中的一种或者任意两种以上的组合：

1)、使用广义高斯分布对每个子带的系数进行参数化，估计方差σ²和形状参数γ，作为数据特征；

2)、分别对同一方向、不同尺度的子带对进行广义高斯分布拟合；估计方差σ²和形状参数γ，将形状参数γ作为一部分特征数据；再将所有子带堆叠在一起时进行广义高斯分布拟合，并将本次估计的形状参数γ作为另一部分特征数据；

3)、对于分裂归一化后的每个子带数据，计算高通和带通子带相关性，作为数据特征；

4)、对于同一尺度、不同方向的子带进行三阶多项式拟合，获得拟合曲线与真实曲线在多个设定点的误差值，连同该三阶多项式的系数，作为特征数据；

5)、在最大的尺度下，计算所有可能的子带对在窗口区域内的结构相关性，取每对子带结构相关值低于设定阈值的作为数据特征。

较佳的，当失真类型包括高斯噪声失真、图像超分辨失真和缺失失真时，对应的三个解码器在神经网络中的排列顺序为：高斯噪声失真解码器、缺失失真解码器和图像超分辨失真解码器。

较佳的，所述步骤4中设定概率阈值取为40％。

本发明具有如下有益效果：

本发明提供一种基于神经网络的通用图像复原方法，该方法不需要失真类型的先验信息，自动判别失真类型(噪声、低分辨率以及缺失等)和失真程度，然后进行相应的复原处理，适用于存在未知混合失真图像的复原；本发明依据失真检测模块识别出图像待处理的失真类型和失真程度，克服了现有方法假定失真情况已知的缺点；本发明的通用图像复原网络可以处理多种失真类型，本发明的通用图像复原网络具有可扩展性，且随着技术的发展，针对各类失真的复原子模块可更新，现有的几种针对混合失真的网络，有的是可扩展性差，有的是性能差，且这些方法都假定失真类型和失真程度已知。

附图说明

图1为本发明一种基于神经网络的通用图像复原方法的流程图。

图2为本发明的失真检测过程流程图；

图3为图像复原网络过程流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

一种基于神经网络的通用图像复原方法，如图1所示，包括如下步骤：

步骤1、获取原始图像。

原始图像指经过成像、压缩、传输、记录、显示以及存储等步骤的图像，包含未知类型的混合失真，考虑到目前没有符合要求的数据集，构造了一个含有三种混合失真(低分辨率、噪声以及缺失)的数据集，其中各类失真的添加顺序随机。

步骤2、提取原始图像的数据特征。

a.使用可操纵金字塔对图像进行小波分解，得到多个子带。

具体地，使用2尺度6方向的可操纵金字塔进行小波分解，分解结果产生12个子带，标记为

其中子带的尺度和方向分别为α∈{1,2}，θ∈{0°，30°，60°，90°，120°，150°}。

b.子带分裂归一化。

具体地，对于子带系数y，根据相邻子带的响应计算归一化参数p，以得到归一化子带系数

基于高斯尺度混合模型计算归一化参数p，对于每个子带的中心系数y_c，定义了分裂归一化变换邻域Y，Y包含15个系数，其中9个来自相同子带(y_c的3×3邻域)，1个来自父子带，5个来自同一尺度下相邻子带中的相同空间位置。由Y计算p的公式为

其中N是Y的维数，C_U是高斯随机向量的协方差。在每个子带中的每个系数上进行上述分裂归一化计算，以生成一个分裂归一化的子带集

其中α∈{1,2}，θ∈{0°，30°，60°，90°，120°，150°}。

c.计算跨子带的边际统计数据。

具体地，使用广义高斯分布(GGD)对12个子带中每个子带的系数进行参数化，GGD定义为

其中μ、σ²、γ是均值、方差和形状参数。由于小波子带响应为零均值(μ＝0)，因此每个子带需要估计σ²和γ，计算得到总共24个特征值，其中f₁-f₁₂对应于12个子带的σ²，f₁₃-f₂₄对应于12个子带的γ。

d.计算跨子带的联合统计数据。

具体地，对每一个子带对

θ∈{0°，30°，60°，90°，120°，150°}进行GGD拟合；同样地，上述拟合是零均值(μ＝0)，需要计算σ²和γ。这里仅使用计算出的γ作为特征值f₂₅-f₃₀。此外，当所有子带堆叠在一起时

再次计算GGD拟合，并将计算得到的γ参数作为特征值f₃₁。

e.对于分裂归一化后的每个子带数据，计算高通和带通子带的相关性。

使用15×15高斯窗口(σ＝1.5)对带通和高通子带进行滤波。结构相关性计算公式为

其中σ_xy是带通和高通子带窗口内区域之间的互协方差，

是带通和高通子带的窗口方差，C₂是稳定常数。由此计算得到的相关图的平均值作为相关特征值。12个子带计算得到12个相关值作为特征值f₃₂-f₄₃。

f.空间相关性统计。

对于同一尺度(α＝1)、不同方向的子带进行三阶多项式拟合，获得拟合曲线与真实曲线在设定点的误差值，连同该三阶多项式的系数，作为特征值。具体地，对于τ，τ∈{1,2,...,25}，

θ∈{0°，30°，60°，90°，120°，150°}，计算在系数(i,j)和

之间的联合经验分布，其中

表示在τ距离处的空间位置集。τ值获得的联合分布可视为两个随机变量X和Y的联合分布p_XY(x,y)。为了计算两个变量之间的相关性，计算

其中E_pX(x)[X]是X从计算的联合分布获得的边际分布p_X(x)的期望值，Y和(X,Y)类似。计算ρ(τ)后，通过使用三阶多项式拟合并参数化获得的曲线。对于

计算上述拟合，多项式系数以及拟合与实际ρ(τ)的误差值形成特征值f₄₄-f₇₃。

g.跨方向统计。

在最大的尺度，计算所有可能的子带对在窗口区域内的结构相关性，取每对子带计算的结构相关值的最低5％，共计算得到15个特征值f₇₄-f₈₈。

据此，我们就得到了图像的空间统计数据特征f₁-f₈₈。

步骤3、训练失真检测器，判断图像失真类型。

将提取的图像数据特征输入失真检测器，输出失真的类型和相应的失真概率。失真检测过程如图2所示，对噪声、低分辨率以及缺失各自单独训练一个识别失真程度的SVM：

对每一幅高斯噪声失真图像对应的空间统计数据特征进行失真类别和失真程度标记，构成该条数据的标签；最后将每条空间统计数据和对应的标签输入到高斯噪声SVM中，进行训练。其中失真程度可以是失真级别，或者百分比值。

同理，采用低分辨率失真图像对应的空间统计数据特征和标签对低分辨率失真SVM进行训练，采用缺失失真图像对应的空间统计数据特征和标签对缺失失真SVM进行训练。

失真检测器训练完成后可以对未知图像预测：将图像按照步骤2的方法提取空间统计数据特征，并分别输入到上述三个SVM中，每个SVM均输出该图像所述失真类别和属于该种失真的程度；

三个SVM的结果组合成为该图像的失真概率向量，作为后续图像复原的判别依据。

步骤4、统计失真数量N。

设定概率阈值x＝40％，当某类失真概率(概率越大失真程度越大)超过40％时，即判定此类失真存在且严重程度达到处理阈值；统计三个SVM输出的失真概率超过概率阈值的失真类型，得到失真数量N。若原始图像的各类失真严重程度均小于概率阈值，则N＝0，直接到步骤6，输出原始图像作为复原图像。否则到步骤5。概率阈值的具体设定方法依赖于实际的图像复原任务。

步骤5、利用流水线结构的编码器解码器神经网络，构建多种失真复原的统一网络架构，进行相应的失真复原。

网络结构由单编码器和多解码器两部分构成，其中编码器部分的作用是特征提取，利用10层连续卷积操作提取图像的低层纹理特征和高层语义特征，其中每一个卷积层后跟一个ELU激活层，每两个卷积层与对应反卷积层(各个图像复原过程)之间建立连接，为图像复原提供相应特征信息。多解码部分的作用是图像复原，每一种失真类型对应一个解码器，解码器利用连续10层反卷积层构建图像细节，每两个反卷积层与对应的卷积层(特征提取部分)连接，实现多层次特征融合，最后进行残差学习完成特定图像复原任务；其中，每一种失真类型对应的解码器均采用该种失真图像进行训练得到。

在N>0的情况下，则原始图像至少存在一种需要修复的失真。根据不同图像复原处理的原理和相互之间的影响，按照规定的流水线顺序进行相应的失真修复。具体的失真复原过程为：

先将原始图像输入编码器中提取共性特征，根据步骤4判定的该图像的失真类型，输入到对应类型的解码器中进行图像复原；如果图像存在两种以上失真，由于噪声对于其它图像复原过程影响较大，因此在流水线结构中，先采用高斯噪声失真解码器进行图像复原，图像超分辨会改变图像的尺寸而且受缺失影响较大，因此最后采用超分辨率失真解码器进行图像复原；缺失失真解码器排在第二对图像进行复原。其中，如果图像不存在某种失真，跳过该类型解码器。上述图像复原过程如图3所示。

步骤6、输出复原图像。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种图像复原方法，其特征在于，包括如下步骤：

步骤1、获取包含所有失真类型的原始图像数据集；对于步骤1获得的每个原始图像，先使用可操纵金字塔对其进行小波分解，得到具有至少两个尺度和两个方向的多个子带；然后对每个子带进行子带分裂归一化；最后获得归一化后的子带的数据特征，组合后作为原始图像的数据特征；

步骤2、提取各原始图像的数据特征；

步骤3、对每种失真类型建立一个SVM；

对每一条数据特征的失真类型和失真程度进行标记，构成该条数据特征的标签；将同属一种失真类型的数据特征连同对应的标签，输入到对应的SVM中进行训练；

步骤4、统计失真数量N；

将待检测图像按照步骤2的方式提取数据特征，并分别输入到所有的SVM中；统计所有SVM输出的失真概率超过设定概率阈值的失真类型，得到失真类型数量N；若N＝0，直接输出原始图像作为复原图像；若N>0,执行下一步；

步骤5、构建依次由一个编码器和多个解码器串连的神经网络，其中，每一种失真类型对应一个解码器，解码器事先采用该失真类型图像进行训练，得到具有图像复原能力的解码器；

将待复原图像输入到神经网络中，先通过编码器提取共性特征；

然后根据步骤4判定的待复原图像的失真类型，将待复原图像的共性特征输入到对应类型的解码器中进行图像复原；如果待复原图像存在两种以上失真，则按照解码器的串连顺序，依次将待复原图像的共性特征输入到对应的解码器中进行复原，最终得到复原后图像。

2.如权利要求1所述的一种图像复原方法，其特征在于，所述数据特征包括以下特征中的一种或者任意两种以上的组合：

1)、使用广义高斯分布对每个子带的系数进行参数化，估计方差σ²和形状参数γ，作为数据特征；

2)、分别对同一方向、不同尺度的子带对进行广义高斯分布拟合；估计方差σ²和形状参数γ，将形状参数γ作为一部分特征数据；再将所有子带堆叠在一起时进行广义高斯分布拟合，并将本次估计的形状参数γ作为另一部分特征数据；

3)、对于分裂归一化后的每个子带数据，计算高通和带通子带相关性，作为数据特征；

4)、对于同一尺度、不同方向的子带进行三阶多项式拟合，获得拟合曲线与真实曲线在多个设定点的误差值，连同该三阶多项式的系数，作为特征数据；

5)、在最大的尺度下，计算所有可能的子带对在窗口区域内的结构相关性，取每对子带结构相关值低于设定阈值的作为数据特征。

3.如权利要求1所述的一种图像复原方法，其特征在于，当失真类型包括高斯噪声失真、图像超分辨失真和缺失失真时，对应的三个解码器在神经网络中的排列顺序为：高斯噪声失真解码器、缺失失真解码器和图像超分辨失真解码器。

4.如权利要求1所述的一种图像复原方法，其特征在于，所述步骤4中设定概率阈值取为40％。

Images