CN110782396A - 一种轻量化的图像超分辨率重建网络和重建方法 - Google Patents

Abstract

本发明提供了一种轻量化的图像超分辨率重建网络和重建方法，使输入的低分辨率的图像转为输出的兼顾图像结构和人眼感知效果的高清图像；通过剪枝优化，使网络参数稀疏化，通过使用循环结构实现权重共享，通过使用深度可分离卷积与深度可分离反卷积在压缩网络的参数量的同时降低网络的计算量；通过基于KL距离的饱和量化截止算法，将网络的前向推理从浮点数运算转为定点数运算，提高网络的前向推理速度；在保证轻量化网络的精度水平即图像的超分辨率效果的同时降低了网络的计算量，提高了网络的前向推理速度。

Description

一种轻量化的图像超分辨率重建网络和重建方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种轻量化的图像超分辨率重建网络和重建方法。

背景技术

人类依靠图像等视觉信息载体获取的信息远高于依靠声音等相关载体获取的信息，图像分辨率是权衡图像内容含量表达的重要因素，图像超分辨率重建技术是一种能够有效提升图像分辨率的新兴技术。近年来，基于学习的图像超分辨率重建技术在精度上取得了很好地进展，然而如何解决基于学习的方法带来的参数量较大的问题，已经成为图像超分辨率技术在实际应用中的关键问题。

现有的关于加速图像超分辨率重建方法的专利有：

1)申请号为CN201811576216.7的中国发明专利《一种基于深度学习的快速图像超分辨率重建方法》，此发明采用较浅的网络结构，提升了网络的计算速度，采用嵌套网络提升网络的非线性表示，提升网络的重建效果；但这种方法由于网络卷积块较少，在放大倍数较大的图像时超分辨率重建效果较差。

2)申请号为：CN201910272182.0的中国发明专利《一种基于轻量化网络的超分辨率图像重建方法》，此发明设计的轻量高效的移动端神经卷积网络ShuffleNet unit结构改进了原有的增强深度超分辨率网络EDSR网络结构，同时使用网络剪枝、权值共享、霍夫曼编码对网络参数进行量化，极大压缩了网络参数量；但这一种方法在前向推理时每层的输入依然是浮点数的，对硬件的要求较高，不利于实际应用和推广。

发明内容

本发明要解决的技术问题是：提供一种轻量化的图像超分辨率重建网络和重建方法，用于保证轻量化网络的精度水平的同时减少参数量、提高计算速度。

本发明为解决上述技术问题所采取的技术方案为：一种轻量化的图像超分辨率重建网络，包括低分辨率特征提取模块、深度可分离循环模块和重建模块；低分辨率特征提取模块用于将输入图像从m数量通道转为n数量通道，m＜n，并提取特征送入深度可分离循环模块；深度可分离循环模块用于将收到图像循环运算T次以提取收到图像的低分辨率信息和高分辨率信息并送入重建模块；重建模块用于整合收到图像的通道数量为m，并反卷积为高分辨率图像；

按上述方案，深度可分离循环模块包括深度可分离卷积和深度可分离反卷积；深度可分离卷积与深度可分离反卷积的卷积核的大小与图像的放大倍数对应，2倍放大对应的卷积核为6x6，3倍放大对应的卷积核为7x7，4倍放大对应的卷积核为8x8。

进一步的，深度可分离卷积包括逐通道卷积和逐点卷积；深度可分离反卷积包括逐通道反卷积和逐点反卷积。

进一步的，深度可分离循环模块还包括1x1的卷积块；1x1的卷积块用于将输入的多通道图像的低分辨率特征和高分辨率特征转为r数量通道，m＜r＜n，再送入深度可分离卷积和深度可分离反卷积提取特征。

一种轻量化的图像超分辨率重建方法，包括以下步骤：

S1：构建包括低分辨率特征提取模块、深度可分离循环模块和重建模块的图像超分辨率重建网络；

S2：轻量化图像超分辨率重建网络；

S3：向轻量化的图像超分辨率重建网络输入测试低分辨率图像，通过一次前向传播计算生成高分辨率图像。

进一步的，所述的步骤S2中，具体步骤为：

S21：训练步骤S1得到的网络并保存网络模型；

S22：对步骤S21得到的网络进行剪枝优化；

S23：循环训练步骤S22得到的网络并保存网络模型；

S24：对步骤S23得到的网络的权重和特定层的输入进行量化，得到轻量化的图像超分辨率重建网络。

进一步的，所述的步骤S21中，具体步骤为：

S211：设倍数为S，将一组高分辨率图像的长宽裁剪为S的最邻近整数倍作为目标图像数据集，设目标图像尺寸大小为C_h×C_w，将所有目标图像降采样S倍后得到低分辨率图像数据集，则输入图像尺寸大小为

将两个图像数据集作为训练数据集；

S212：将低分辨率图像和目标图像一一对应，取目标图像的小块y，设目标小块y的尺寸大小为P_h×P_w，y的尺寸大小与图像的放大倍数对应，2倍放大对应P_h＝P_w＝60，3倍放大对应P_h＝P_w＝50，4倍放大对应P_h＝P_w＝40；取目标小块y对应的低分辨率图像的小块x，设低分辨率图像的小块x的尺寸大小为

将y和x作为训练样本对；

S213：将训练数据集的全部训练样本对依次输入到步骤S1得到的网络中，通过前后向传播算法逐次更新网络的参数，直至训练完成；设损失函数为L1，通过epoch次循环迭代即遍历整个训练集直至该网络的模型参数和总损失收敛后，保存整个网络的模型参数。

进一步的，所述的步骤S22中，具体步骤为：将步骤S21得到的网络的权重的绝对值小于50％的部分置零。

进一步的，所述的步骤S24中，具体步骤为：

S241：设原始权重为W_float，原始权重绝对值的最大值为|W_float|_max，量化后的权重为W_int8，向0取整函数为int()，对步骤S23得到的网络的权重进行非饱和量化，将权重值从浮点数量化为定点数为：

S242：取N张图片对步骤S241得到的网络的特定层的输入进行基于KL距离的饱和截止量化，设每层输入数据的绝对值的最大值向量为H，平均最大值向量为深度可分离循环模块的向量长度为TN，非深度可分离循环模块的向量长度为N，对向量中的所有元素的求和函数为sum()，则逐层量化求非循环模块的平均最大值为：

循环模块的平均最大值为：

将每层数据分为1024组，每组包含的数据为bin[0]，bin[1]，bin[2]，…，bin[1023]，共1024个bins，取每组的中点作为本组的代表值；设向上取整函数为ceil()，则每组数据的宽度w为

设每组数据从浮点数映射到定点数的最佳阈值为th，通过遍历的方式将th分别假设在第128～1023组数据之间，设第i组数据为最佳阈值，127＜i≤1023，构造参考数组P＝[bin[0]，bin[1]，bin[2]，…，bin[i-1]]，将边界外的数据全部加到P的最后一项用于避免丢失边界外的数据，则修正后的参考数组P’为：

归一化修正后的参考数组P’：

设候选数组Q为修正后的参考数组P’映射到第0～127组数据的数组，则Q包含128组数据，将Q扩充为i个数组使Q的长度与P’相同，归一化数组Q：

设量化后的数据与原始数据的KL距离函数为KL()，则修正后的参考数组P’与候选数组Q的KL距离d为：

d＝KL(P′，Q)；

保存遍历得到的每组KL距离，设KL距离的最小值d_min的索引为m，则每组数据从浮点数映射到定点数的最佳阈值th为：

th＝(m+0.5)·w；

设原始数据为I_float，向下取整函数为fix()，则量化后的定点数据I_int8为：

进一步的，所述的步骤S242中，所述的特定层包括低分辨率特征提取模块的1×1卷积层、深度可分离循环模块的深度可分离卷积层和深度可分离反卷积层、重建模块的深度可分离反卷积层。

本发明的有益效果为：

本发明的一种轻量化的图像超分辨率重建网络和重建方法通过构建基于深度可分离循环模块的图像超分辨率重建网络，训练从低分辨率图像到高分辨率图像的映射关系，并对训练好的网络进行轻量化操作，得到轻量化的图像超分辨率重建网络，在保证轻量化网络的精度水平即图像的超分辨率效果的同时降低了网络的计算量，提高了网络的前向推理速度。

附图说明

图1是本发明实施例的功能框图。

图2是本发明实施例的流程图。

图3是本发明实施例的前向传播计算流程图。

图4是本发明实施例的深度可分离循环模块的功能框图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明的一种轻量化的图像超分辨率重建网络，其特征在于：包括低分辨率特征提取模块、深度可分离循环模块和重建模块；深度可分离循环模块包括深度可分离卷积、深度可分离反卷积和1x1的卷积块，深度可分离卷积与深度可分离反卷积的卷积核大小根据图像放大倍数决定，2倍放大对应的卷积核为6x6，3倍放大对应的卷积核为7x7，4倍放大对应的卷积核为8x8；深度可分离卷积包括逐通道卷积和逐点卷积，深度可分离反卷积包括逐通道反卷积和逐点反卷积；参见图3，低分辨率特征提取模块用于将输入低分辨率的图像从3通道转为128数量通道，并提取特征送入深度可分离循环模块；参见图4，深度可分离循环模块用于通过1x1的卷积块将多通道的低分辨率特征和高分辨率特征转为32通道，通过深度可分离卷积和深度可分离反卷积提取特征，将收到图像循环运算4次，以提取收到图像的低分辨率信息和高分辨率信息并利用这些信息来提高网络的重建精度，然后送入重建模块；重建模块用于将收到图像的通道整合为3通道，并反卷积为兼顾图像结构和人眼感知效果的高分辨率图像。

参见图2，一种轻量化的图像超分辨率重建方法，包括以下步骤：

S1：构建包括低分辨率特征提取模块、深度可分离循环模块和重建模块的图像超分辨率重建网络。

S2：轻量化图像超分辨率重建网络：

S21：训练步骤S1得到的网络并保存网络模型：

S211：设倍数为S，将一组高分辨率图像的长宽裁剪为S的最邻近整数倍作为目标图像数据集，设目标图像尺寸大小为C_h×C_w，将所有目标图像降采样S倍后得到低分辨率图像数据集，则输入图像尺寸大小为

将两个图像数据集作为训练数据集；

S212：将低分辨率图像和目标图像一一对应，取目标图像的小块y，设目标小块y的尺寸大小为P_h×P_w，y的尺寸大小与图像的放大倍数对应，2倍放大对应P_h＝P_w＝60，3倍放大对应P_h＝P_w＝50，4倍放大对应P_h＝P_w＝40；取目标小块y对应的低分辨率图像的小块x，设低分辨率图像的小块x的尺寸大小为

将y和x作为训练样本对；

S213：将训练数据集的全部训练样本对依次输入到步骤S1得到的网络中，通过前后向传播算法逐次更新网络的参数，直至训练完成；设损失函数为L1，通过epoch次循环迭代即遍历整个训练集直至该网络的模型参数和总损失收敛后，保存整个网络的模型参数。

S22：对步骤S21得到的网络进行剪枝优化，即将步骤S21得到的网络的权重的绝对值小于50％的部分置零；

S23：循环训练步骤S22得到的网络并保存网络模型；

S24：对步骤S23得到的网络的权重和特定层的输入进行量化，得到轻量化的图像超分辨率重建网络：

S241：设原始权重为W_float，原始权重绝对值的最大值为|W_float|_max，量化后的权重为W_int8，向0取整函数为int()，对步骤S23得到的网络的权重进行非饱和量化，将权重值从浮点数量化为定点数为：

S242：取50张图片对步骤S241得到的网络的特定层的输入进行基于KL距离的饱和截止量化，特定层包括低分辨率特征提取模块的1×1卷积层、深度可分离循环模块的深度可分离卷积层和深度可分离反卷积层、重建模块的深度可分离反卷积层；设每层输入数据的绝对值的最大值向量为H，平均最大值向量为由于深度可分离循环模块在前向推理中循环4次，则深度可分离循环模块的向量长度为200，非深度可分离循环模块的向量长度为50，对向量中的所有元素的求和函数为sum()，则逐层量化求出非循环模块的平均最大值为：

循环模块的平均最大值为：

将每层数据分为1024组，每组包含的数据为bin[0]，bin[1]，bin[2]，…，bin[1023]，共1024个bins，取每组的中点作为本组的代表值；设向上取整函数为ceil()，则每组数据的宽度w为

设每组数据从浮点数映射到定点数的最佳阈值为th，通过遍历的方式将th分别假设在第128～1023组数据之间，设第i组数据为最佳阈值，127＜i≤1023，构造参考数组P＝[bin[0]，bin[1]，bin[2]，…，bin[i-1]]，将边界外的数据全部加到P的最后一项用于避免丢失边界外的数据，则修正后的参考数组P’为：

归一化修正后的参考数组P’：

设候选数组Q为修正后的参考数组P’映射到第0～127组数据的数组，则Q包含128组数据，将Q扩充为i个数组使Q的长度与P’相同，归一化数组Q：

设量化后的数据与原始数据的KL距离函数为KL()，则修正后的参考数组P’与候选数组Q的KL距离d为：

d＝KL(P′，Q)；

保存遍历得到的每组KL距离，设KL距离的最小值d_min的索引为m，则每组数据从浮点数映射到定点数的最佳阈值th为：

th＝(m+0.5)·w；

设原始数据为I_float，向下取整函数为fix()，则量化后的定点数据I_int8为：

量化算法的代码如下：

Input:FP32 histogram H with 1024bins:bin[0],…,bin[1023]

for i in range(128,1024):

P＝[bin[0],...,bin[i-1]]

P[i-1]+＝S

P/＝∑(P)

Q＝quantize[bin[0],…,bin[i-1]]into 128levels

Q＝Q expend to‘i’bins

Q/＝∑(Q)

divergence[i]＝KL_divergence(P,Q)

end for

m＝index(divergence,min(divergence))

th＝(m+0.5)*w

S3：向轻量化的图像超分辨率重建网络输入测试低分辨率图像，通过一次前向传播计算生成高分辨率图像。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种轻量化的图像超分辨率重建网络，其特征在于：包括低分辨率特征提取模块、深度可分离循环模块和重建模块；

低分辨率特征提取模块用于将输入图像从m数量通道转为n数量通道，m＜n，并提取特征送入深度可分离循环模块；

深度可分离循环模块用于将收到图像循环运算T次以提取收到图像的低分辨率信息和高分辨率信息并送入重建模块；

重建模块用于整合收到图像的通道数量为m，并反卷积为高分辨率图像。

2.根据权利要求1所述的一种轻量化的图像超分辨率重建网络，其特征在于：深度可分离循环模块包括深度可分离卷积和深度可分离反卷积；深度可分离卷积与深度可分离反卷积的卷积核的大小与图像的放大倍数对应，2倍放大对应的卷积核为6x6，3倍放大对应的卷积核为7x7，4倍放大对应的卷积核为8x8。

3.根据权利要求2所述的一种轻量化的图像超分辨率重建网络，其特征在于：深度可分离卷积包括逐通道卷积和逐点卷积；深度可分离反卷积包括逐通道反卷积和逐点反卷积。

4.根据权利要求2所述的一种轻量化的图像超分辨率重建网络，其特征在于：深度可分离循环模块还包括1x1的卷积块；1x1的卷积块用于将输入的多通道图像的低分辨率特征和高分辨率特征转为r数量通道，m＜r＜n，再送入深度可分离卷积和深度可分离反卷积提取特征。

5.基于权利要求1至4所述的一种轻量化的图像超分辨率重建网络的重建方法，其特征在于：包括以下步骤：

S1：构建包括低分辨率特征提取模块、深度可分离循环模块和重建模块的图像超分辨率重建网络；

S2：轻量化图像超分辨率重建网络；

S3：向轻量化的图像超分辨率重建网络输入测试低分辨率图像，通过一次前向传播计算生成高分辨率图像。

6.根据权利要求5所述的重建方法，其特征在于：所述的步骤S2中，具体步骤为：

S21：训练步骤S1得到的网络并保存网络模型；

S22：对步骤S21得到的网络进行剪枝优化；

S23：循环训练步骤S22得到的网络并保存网络模型；

S24：对步骤S23得到的网络的权重和特定层的输入进行量化，得到轻量化的图像超分辨率重建网络。

7.根据权利要求6所述的重建方法，其特征在于：所述的步骤S21中，具体步骤为：

S211：设倍数为S，将一组高分辨率图像的长宽裁剪为S的最邻近整数倍作为目标图像数据集，设目标图像尺寸大小为C_h×C_w，将所有目标图像降采样S倍后得到低分辨率图像数据集，则输入图像尺寸大小为将两个图像数据集作为训练数据集；

S212：将低分辨率图像和目标图像一一对应，取目标图像的小块y，设目标小块y的尺寸大小为P_h×P_w，y的尺寸大小与图像的放大倍数对应，2倍放大对应P_h＝P_w＝60，3倍放大对应P_h＝P_w＝50，4倍放大对应P_h＝P_w＝40；取目标小块y对应的低分辨率图像的小块x，设低分辨率图像的小块x的尺寸大小为

将y和x作为训练样本对；

S213：将训练数据集的全部训练样本对依次输入到步骤S1得到的网络中，通过前后向传播算法逐次更新网络的参数，直至训练完成；设损失函数为L1，通过epoch次循环迭代即遍历整个训练集直至该网络的模型参数和总损失收敛后，保存整个网络的模型参数。

8.根据权利要求7所述的重建方法，其特征在于：所述的步骤S22中，具体步骤为：将步骤S21得到的网络的权重的绝对值小于50％的部分置零。

9.根据权利要求8所述的重建方法，其特征在于：所述的步骤S24中，具体步骤为：

S241：设原始权重为W_float，原始权重绝对值的最大值为|W_float|_max，量化后的权重为W_int8，向0取整函数为int()，对步骤S23得到的网络的权重进行非饱和量化，将权重值从浮点数量化为定点数为：

S242：取N张图片对步骤S241得到的网络的特定层的输入进行基于KL距离的饱和截止量化，设每层输入数据的绝对值的最大值向量为H，平均最大值向量为

深度可分离循环模块的向量长度为TN，非深度可分离循环模块的向量长度为N，对向量中的所有元素的求和函数为sum()，则逐层量化求非循环模块的平均最大值为：

循环模块的平均最大值为：

将每层数据分为1024组，每组包含的数据为bin[0]，bin[1]，bin[2]，…，bin[1023]，共1024个bins，取每组的中点作为本组的代表值；设向上取整函数为ceil()，则每组数据的宽度w为

设每组数据从浮点数映射到定点数的最佳阈值为th，通过遍历的方式将th分别假设在第128～1023组数据之间，设第i组数据为最佳阈值，127＜i≤1023，构造参考数组P＝[bin[0]，bin[1]，bin[2]，…，bin[i-1]]，将边界外的数据全部加到P的最后一项用于避免丢失边界外的数据，则修正后的参考数组P’为：

归一化修正后的参考数组P’：

设候选数组Q为修正后的参考数组P’映射到第0～127组数据的数组，则Q包含128组数据，将Q扩充为i个数组使Q的长度与P’相同，归一化候选数组Q：

设量化后的数据与原始数据的KL距离函数为KL()，则修正后的参考数组P’与候选数组Q的KL距离d为：

d＝KL(P′，Q)；

保存遍历得到的每组KL距离，设KL距离的最小值d_min的索引为m，则每组数据从浮点数映射到定点数的最佳阈值th为：

th＝(m+0.5)·w；

设原始数据为I_float，向下取整函数为fix()，则量化后的定点数据I_int8为：

10.根据权利要求9所述的重建方法，其特征在于：所述的步骤S242中，所述的特定层包括低分辨率特征提取模块的1×1卷积层、深度可分离循环模块的深度可分离卷积层和深度可分离反卷积层、重建模块的深度可分离反卷积层。

Images