CN108805844B - 一种基于先验滤波的轻量化回归网络构建方法 - Google Patents

Abstract

本发明公开了一种基于先验滤波的轻量化回归网络构建方法，针对原始图像集中的各原始图像进行指定退化操作，获取对应退化图像，将原始图像和对应退化图像切成图像块，获取训练样本对；在训练样本对中进行聚类，依据聚类结果将训练样本对划分为不同类别；针对每一类别样本对，计算获得该类样本的先验滤波器，并将先验滤波器进行三值量化；利用三值量化后的先验滤波器构建轻量化回归网络并进行训练，在完成轻量化回归网络的训练后，输入的退化图像能够端到端地重建出更高质量的图像。本发明使用少量固定的先验滤波器可以构建出针对性强但更为轻量化的网络，计算简单、训练速度快、所需存储空间小，并更加适应小样本问题。

Description

一种基于先验滤波的轻量化回归网络构建方法

技术领域

本发明涉及深度学习领域，具体涉及一种基于先验滤波器的轻量化网络构建方法。

背景技术

深度学习是机器学习领域的最具有潜力的方向，是一种包含多级非线性变换的层级机器学习方法，通过构建适用于不同任务的网络结构取得了远优于传统算法的效果，在计算机视觉和目标检测、自然语言处理、语音识别和语音分析等领域取得了突破性进展。随着研究的不断深入，深度网络模型在不断逼近计算机视觉任务的精度极限的同时，其深度和尺寸也在成倍增长，其所需的计算消耗以及硬件成本也随之递增，这限制了深度网络在移动端设备上的广泛应用；另外，参数量多的网络，需要大量样本来训练，所以在小样本问题上的效果不佳。因此，精简网络参数，同时不降低网络性能的轻量化网络模型的研究越来越受到各个领域的重视。

近年来提出的轻量化模型主要从两个方面考虑：一是，从模型权重数值角度压缩；二是，从网络架构角度压缩。XNornet是模型权重数值压缩的一种经典网络，通过将输入和权重都进行二值化操作，以此达到既减少模型存储空间，又加速模型的目的，但识别率却不如经典网络。同时，通过设计轻量化网络结构来减小模型规模也是研究的热点之一，例如：SqueezeNet、MobileNet、ShuffleNet、Xception，通过将3x3卷积滤波器替换为1x1卷积滤波器，以及采用名为depth-wise separable convolution的卷积方式及其改进方法代替传统卷积方式来达到减少网络参数的目的。最近，一种基于LBP思想的固定参数滤波器网络Local Binary Convolution Neural Networks(LBCnn)使用了基于LBP的滤波器，但是这种网络使用大量堆积这种滤波器来提高识别精度，参数仍然是海量的。

发明内容

本发明是为避免上述现有技术所存在的问题，提供一种基于先验滤波的轻量化回归网络构建方法，通过结合先验知识更好地设计少而精的滤波器，从而构建参数量小的轻量化网络。

本发明为解决技术问题采用如下技术方案：

本发明基于先验滤波的轻量化回归网络构建方法的特点是：首先针对原始图像集中的各原始图像进行指定退化操作，获取对应退化图像，将原始图像和对应退化图像切成图像块，获取训练样本对；在训练样本对中进行聚类，依据聚类结果将训练样本对划分为不同类别；针对每一类别样本对，计算获得该类样本的先验滤波器，并将先验滤波器进行三值量化；利用三值量化后的先验滤波器构建轻量化回归网络，所述轻量化回归网络包含多级滤波层、激活函数层，以及一个卷积输出层；通过训练所述轻量化回归网络，输入的退化图像能够端到端地重建出更高质量的图像。

本发明基于先验滤波的轻量化回归网络构建方法的特点是按如下步骤进行：

步骤101：获取训练样本集

针对原始图像集中的原始图像X进行指定退化操作，获得式(1)所表征的退化图像Y：

Y＝DX+n_d (1)，

式(1)中，D表示指定的图像退化操作，n_d为退化过程中产生的噪声；

对原始图像集中的各原始图像分别获得对应的退化图像，分切各退化图像获得3×3大小的退化图像块，将各退化图像块表示为9维的退化图像块向量y_k，k＝1，2，…，M，M为退化图像块总量，提取各退化图像块所对应的原始图像块中心像素值x_k，将退化图像块与对应的原始图像块中心像素值x_k组成一对训练样本对

共计获得M对训练样本，构成训练样本集；

步骤102：训练样本集分类

使用K均值聚类算法对M个退化图像向量y_k进行聚类，获取N个聚类中心h_c，N为聚类的数量，c＝1，2，…，N；将各退化图像块向量y_k归类为其中一类，如式(2)所表征：

其中max{·}表示取集合中的最大值，H_c表示第c类图像块类别，×表示向量外积；

在完成所有的训练样本集分类后，获得总计N类的训练样本，将第c类训练样本记为：

N_c为第c类的样本对总数，{u_i，v_i}为第c类中第i个训练样本对，并有：

步骤103：在训练样本集上计算先验滤波器：

按如下方式计算第c类训练样本

的先验滤波器F_c：

通过求解式(3)得到式(4)所示的第c类训练样本的滤波器向量f_c：

其中，上标T表示转置，运算符·为普通矩阵乘积，上标-1表示矩阵求逆；

滤波器向量f_c为9维向量，f_c＝(a₁，a₂，…，a₉)^T，将滤波器向量f_c中的每一个元素按式(5)进行三值量化：

式(5)，a_j和a_p均为滤波器向量的元素，j＝1，2，…，9，t为设定的用于量化的局部差异值；

在完成每个元素的三值量化后，滤波器向量f_c转化为三值滤波器向量；将三值滤波器向量重塑为3×3形式，即为第c类训练样本的先验滤波器F_c；

对所有N类的训练样本按照获得先验滤波器F_c的相同的方式，总计获得N个先验滤波器；

步骤104：使用先验滤波器构建回归网络的每一层，从而构建轻量化回归网络：

第一层，先验滤波层，使用先验滤波器F_c对输入图像Y_IN按式(6)进行滤波操作：

式(6)中，

为第一层偏置参数，

为第一层权重参数，运算符*为卷积操作，c＝1，2，…，N；获得如式(7)所表征的第一层输出O⁽¹⁾：

所述输入图像Y_IN为退化图像；

第二层，先验滤波层，使用先验滤波器F_c对第一层输出O⁽¹⁾按式(8)进行滤波操作：

式(8)中，

为第二层偏置参数，

为第二层权重参数，c_q＝1，2，…，N²，获得由式(9)所表征的第二层输出O⁽²⁾：

第三层，激励函数层，使用ReLU单元作为非线性化的激励函数，获得由式(10)所表征的第三层输出O⁽³⁾：

第四层，卷积输出层，所述卷积输出层是指卷积神经网络中的卷积层，由式(11)获得第四层输出Y_OUT：

其中w_c代表3×3大小的卷积核，b⁽⁴⁾为第四层偏置参数。

本发明基于先验滤波的轻量化回归网络构建方法的特点也在于：针对所构建的轻量化回归网络，使用原始图像集的原始图像X作为标定真实值，使用退化图像Y作为网络输入，将网络输出Y_OUT与标定真实值X之间的均方根误差作为损失，使用随机梯度下降或批量梯度下降的方法进行网络训练，完成所述轻量化回归网络的训练后，输入的退化图像能够端到端地重建出更高质量的图像。

与已有技术相比，本发明有益效果体现在：

1、本发明针对问题相应提取少而精的先验滤波器，可以构建出针对性强但更为轻量化的网络。使用少量固定的先验滤波器，大大减少了网络可学习参数量，其计算简单，加快了网络训练，并更加适应小样本问题。三值量化后的滤波器所需存储空间小，从内存占用上进一步降低了网络规模，使深度网络更加轻量化。

2、本发明可以针对具体问题构建先验滤波器，从而在极大降低参数量和存储需求的同时保持较好的性能，是一种高效的轻量化网络构建方法。

附图说明

图1是本发明方法的流程图。

具体实施方式

本实施例中基于先验滤波的轻量化回归网络构建方法是：首先针对原始图像集中的各原始图像进行指定退化操作，获取对应退化图像，将原始图像和对应退化图像切成图像块，获取训练样本对；在训练样本对中进行聚类，依据聚类结果将训练样本对划分为不同类别；针对每一类别样本对，计算获得该类样本的先验滤波器，并将先验滤波器进行三值量化；利用三值量化后的先验滤波器构建轻量化回归网络，所述轻量化回归网络包含多级滤波层、激活函数层，以及一个卷积输出层；通过训练所述轻量化回归网络，输入的退化图像能够端到端地重建出更高质量的图像。

具体实施中，按如下步骤进行操作：

步骤101：获取训练样本集

根据不同的问题，包括图像去噪、去模糊、去雾、超分辨率增强、去编解码块效应等各种不同的问题，针对原始图像集中的原始图像X进行指定退化操作，获得式(1)所表征的退化图像Y：

Y＝DX+n_d (1)，

式(1)中，D表示指定的图像退化操作，n_d为退化过程中产生的噪声；

对原始图像集中的各原始图像分别获得对应的退化图像，分切各退化图像获得3×3大小的退化图像块，将各退化图像块表示为9维的退化图像块向量y_k，k＝1，2，…，M，M为退化图像块总量，提取各退化图像块所对应的原始图像块中心像素值x_k，将退化图像块与对应的原始图像块中心像素值x_k组成一对训练样本对

共计获得M对训练样本，构成训练样本集；y_k是9维的向量，x_k为标量。

步骤102：训练样本集分类

使用K均值聚类算法对M个退化图像向量y_k进行聚类，获取N个聚类中心h_c，N为聚类的数量，c＝1，2，…，N；将各退化图像块向量y_k归类为其中一类，如式(2)所表征：

其中max{·}表示取集合中的最大值，H_c表示第c类图像块类别，×表示向量外积；

式(2)是指：分别计算y_k与各聚类中心h_c的外积，若y_k与第c类聚类中心h_c的外积最大，便将y_k及与之对应的x_k归类为类别H_c。

在完成所有的训练样本集分类后，获得总计N类的训练样本，将第c类训练样本记为：

N_c为第c类的样本对总数，{u_i，v_i}为第c类中第i个训练样本对，并有：

为了精简最终获取的滤波器数量，总类别N可以取值为32、64和128等比较小的数目。

步骤103：在训练样本集上计算先验滤波器：

按如下方式计算第c类训练样本

的先验滤波器F_c：

通过求解式(3)得到式(4)所示的第c类训练样本的滤波器向量f_c：

其中，上标T表示转置，运算符·为普通矩阵乘积，上标-1表示矩阵求逆。

滤波器向量f_c为9维向量，f_c＝(a₁，a₂，…，a₉)^T，将滤波器向量f_c中的每一个元素按式(5)进行三值量化：

式(5)，a_j和a_p为滤波器向量的元素，j＝1，2，…，9，其中，a_p为滤波器向量元素是a_p是由p＝1到9表示当前需要量化的滤波器向量的每个元素，a_j为滤波器向量的元素是指当前量化的滤波器向量元素，t为设定的用于量化的局部差异值；

在完成每个元素的三值量化后，滤波器向量f_c转化为三值滤波器向量；将三值滤波器向量重塑为3×3形式，即为第c类训练样本的先验滤波器F_c；

对所有N类的训练样本按照获得先验滤波器F_c的相同的方式，总计获得N个先验滤波器。

步骤104：使用先验滤波器构建回归网络的每一层，从而构建轻量化回归网络：

第一层，先验滤波层，使用先验滤波器F_c对输入图像Y_IN按式(6)进行滤波操作：

式(6)中，

为第一层偏置参数，

为第一层权重参数，运算符*为卷积操作，c＝1，2，…，N；获得如式(7)所表征的第一层输出O⁽¹⁾：

所述输入图像Y_IN即为退化图像；

第二层，先验滤波层，使用先验滤波器F_c对第一层输出O⁽¹⁾按式(8)进行滤波操作：

式(8)中，

为第二层偏置参数，

为第二层权重参数，c_q＝1，2，…，N²，获得由式(9)所表征的第二层输出O⁽²⁾：

第三层，激励函数层，使用ReLU单元作为非线性化的激励函数，获得由式(10)所表征的第三层输出O⁽³⁾：

第四层，卷积输出层，所述卷积输出层是指卷积神经网络中的卷积层，由式(11)获得第四层输出Y_OUT：

其中w_c代表3×3大小的卷积核，b⁽⁴⁾为第四层偏置参数。

具体实施中，针对所构建的轻量化回归网络，使用原始图像集的原始图像X作为标定真实值，使用退化图像Y作为网络输入，将网络输出Y_OUT与标定真实值X之间的均方根误差作为损失，使用随机梯度下降或批量梯度下降的方法进行网络训练，完成所述轻量化回归网络的训练后，输入的退化图像能够端到端地重建出更高质量的图像。

本发明例举了使用先验滤波器的最基本的回归网络的构建，可以根据需要增加先验滤波层的数目，并可以引入常见的批正则化层对滤波结果进行正则化。可以看出，通过使用先验滤波器构建的轻量化网络，本发明的网络的卷积参数量是传统CNN的

以N为128为例，本发明卷积参数不到传统的六百分之一；此外，在使用了三值量化之后，本发明构建的轻量化网络的参数存储空间只有同深度传统CNN的十分之一。

Claims (2)

1.一种基于先验滤波的轻量化回归网络构建方法，其特征是：首先针对原始图像集中的各原始图像进行指定退化操作，获取对应退化图像，将原始图像和对应退化图像切成图像块，获取训练样本对；在训练样本对中进行聚类，依据聚类结果将训练样本对划分为不同类别；针对每一类别样本对，计算获得该类样本的先验滤波器，并将先验滤波器进行三值量化；利用三值量化后的先验滤波器构建轻量化回归网络，所述轻量化回归网络包含多级滤波层、激活函数层，以及一个卷积输出层；通过训练所述轻量化回归网络，输入的退化图像能够端到端地重建出更高质量的图像；所述基于先验滤波的轻量化回归网络构建方法按如下步骤进行：

步骤101：获取训练样本集

针对原始图像集中的原始图像X进行指定退化操作，获得式(1)所表征的退化图像Y：

Y＝DX+n_d (1)

式(1)中：D表示指定的图像退化操作，n_d为退化过程中产生的噪声；

对原始图像集中的各原始图像分别获得对应的退化图像，分切各退化图像获得3×3大小的退化图像块，将各退化图像块表示为9维的退化图像块向量y_k，k＝1，2，…，M，M为退化图像块总量，提取各退化图像块所对应的原始图像块中心像素值x_k，将退化图像块与对应的原始图像块中心像素值x_k组成一对训练样本对

共计获得M对训练样本，构成训练样本集；

步骤102：训练样本集分类

使用K均值聚类算法对M个退化图像向量y_k进行聚类，获取N个聚类中心h_c，N为聚类的数量，c＝1，2，…，N；将各退化图像块向量y_k归类为其中一类，如式(2)所表征：

其中：max{·}表示取集合中的最大值，H_c表示第c类图像块类别，×表示向量外积；

在完成所有的训练样本集分类后，获得总计N类的训练样本，将第c类训练样本记为：

N_c为第c类的样本对总数，{u_i，v_i}为第c类中第i个训练样本对，并有：

步骤103：在训练样本集上计算先验滤波器：

按如下方式计算第c类训练样本

的先验滤波器F_c：

通过求解式(3)得到式(4)所示的第c类训练样本的滤波器向量f_c：

其中：上标T表示转置，运算符·为普通矩阵乘积，上标-1表示矩阵求逆；

滤波器向量f_c为9维向量，f_c＝(a₁，a₂，…，a₉)^T，将滤波器向量f_c中的每一个元素按式(5)进行三值量化：

式(5)中：

a_j和a_p均为滤波器向量的元素，j＝1，2，…，9，t为设定的用于量化的局部差异值；

在完成每个元素的三值量化后，滤波器向量f_c转化为三值滤波器向量；将三值滤波器向量重塑为3×3形式，即为第c类训练样本的先验滤波器F_c；

对所有N类的训练样本按照获得先验滤波器F_c的相同的方式，总计获得N个先验滤波器；

步骤104：使用先验滤波器构建回归网络的每一层，从而构建轻量化回归网络：

第一层，先验滤波层，使用先验滤波器F_c对输入图像Y_IN按式(6)进行滤波操作：

式(6)中：

为第一层偏置参数，

为第一层权重参数，运算符*为卷积操作，c＝1，2，…，N；获得如式(7)所表征的第一层输出O⁽¹⁾：

所述输入图像Y_IN为退化图像；

第二层，先验滤波层，使用先验滤波器F_c对第一层输出O⁽¹⁾按式(8)进行滤波操作：

式(8)中：

为第二层偏置参数，

为第二层权重参数，c_q＝1，2，…，N²；获得由式(9)所表征的第二层输出O⁽²⁾：

第三层，激励函数层，使用ReLU单元作为非线性化的激励函数，获得由式(10)所表征的第三层输出O⁽³⁾：

第四层，卷积输出层，所述卷积输出层是指卷积神经网络中的卷积层，由式(11)获得第四层输出Y_OUT：

其中：w_c代表3×3大小的卷积核，b⁽⁴⁾为第四层偏置参数。

2.根据权利要求1所述的基于先验滤波的轻量化回归网络构建方法，其特征是：针对所构建的轻量化回归网络，使用原始图像集的原始图像X作为标定真实值，使用退化图像Y作为网络输入，将网络输出Y_OUT与标定真实值X之间的均方根误差作为损失，使用随机梯度下降或批量梯度下降的方法进行网络训练，完成所述轻量化回归网络的训练后，输入的退化图像能够端到端地重建出更高质量的图像。

Images