CN111724306B - 一种基于卷积神经网络的图像缩小方法及系统 - Google Patents

Abstract

本发明涉及一种基于卷积神经网络的图像缩小方法及系统，首先对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；然后设计图像缩小教师网络，并使用图像块数据集训练该网络；接着设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；最后将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像。本发明能够提高图像缩小后小图的质量。

Description

一种基于卷积神经网络的图像缩小方法及系统

技术领域

本发明涉及图像和视频处理技术领域，特别是一种基于卷积神经网络的图像缩小方法及系统。

背景技术

图像缩小是数字图像处理中的一个重要课题。随着计算机技术、多媒体技术以及网络通讯技术的快速发展，数字图像处理的相关技术被广泛地应用于人类社会生活的各个方面。视觉是人类获取外界信息的主要途径之一。最近几年来移动互联网的快速发展，越来越多用户在移动设备上观看图像，不同设备上的显示窗口大小也各不相同，如何在保证直观效果的同时，尽可能高效地将图像缩小到合适的尺寸是数字图像处理的关键性问题之一。

早期提出的基于插值的方法，虽然可以直接将图像缩小到合适的尺寸，但是由于插值算法较为简单，图像在经过缩小后经常存在模糊、过度平滑的现象，进而影响到人眼直观感受，且这类方法依赖统计出来的图像先验，因此效果较差。

目前先进的方法都是基于卷积神经网络，强大的特征表示及端到端的训练过程使得卷积神经网络能够重建出高质量的小图。但现有的方法都是在图像缩小的卷积神经网络后接上一个图像超分辨率网络来进行端到端的训练，导致生成的小图质量无法得到保证。

发明内容

有鉴于此，本发明的目的是提出一种基于卷积神经网络的图像缩小方法及系统，能够提高图像缩小后小图的质量。

本发明采用以下方案实现：一种基于卷积神经网络的图像缩小方法，具体包括以下步骤：

对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；

设计图像缩小教师网络，并使用图像块数据集训练该网络；

设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；

将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像。

本发明使用逆亚像素卷积，将图像无损地按比例缩小为特征并利用通道注意力密集残差块有效地提取出缩小后特征的信息，再利用知识蒸馏的思路，充分发挥卷积神经网络的拟合能力，对比现有的图像缩小模型，该方法能显著提高图像缩小的性能。

进一步地，所述对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集具体包括以下步骤：

将原始高分辨率图像进行无重叠的切块，得到原始高分辨率训练图像块；

将得到的图像块进行旋转和翻转，得到用于训练的图像块数据集。其中，旋转角度包括顺时针旋转90°，180°，和270°，翻转包括水平翻转和垂直翻转。

进一步地，所述设计图像缩小教师网络，并使用图像块数据集训练该网络具体包括以下步骤：

将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；

将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果；

根据图像缩小教师网络的目标损失函数loss，利用反向传播方法计算所述图像缩小教师网络中各参数的梯度，并利用随机梯度下降方法更新参数；

以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小教师网络的训练过程。

其中，所述图像缩小教师网络由逆亚像素卷积模块以及通道注意力密集残差模块构成。

进一步地，所述将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果具体包括以下步骤：

A1：将高分辨率图像块输入到一个逆亚像素卷积模块，按如下公式重新排列图像特征：

式中，s代表图像缩小的尺度，s是大于1的整数，(c,h,w)分别代表特征的通道、高度、宽度，

代表向下取整操作，invpixel( )代表逆亚像素卷积操作，F₀为经过逆亚像素卷积模块重新排列后的特征，

代表高分辨率图像块；

A2：将得到的特征F₀输入到一个通道注意力密集残差模块，首先计算密集通道注意力模块的输出：

F₁＝Ψ_channel(H_i)；

式中，F₁为密集通道注意力模块的输出，Ψ_channel为通道注意力模块，H_i代表密集连接模块，下标i表示第i个卷积层，其中密集连接模块公式如下：

式中，

代表按照通道拼接特征操作，w_i,b_i分别为第i层采用的卷积核的权重和偏置；

然后计算残差模块输出：

F₂＝ReLU(w₂(ReLU(w₁(F₀)+b₁))+b₂)；

式中，F₂为残差模块输出，该模块包括两个3×3卷积和ReLU函数，w₁,b₁,w₂,b₂分别代表模块中第一、第二层卷积层采用的卷积核的权重和偏置；其中，ReLU( )为线性整流函数，其公式如下：

其中，a表示ReLU函数的输入值；

最后计算通道注意力密集残差块的输出：

式中，F₃为通道注意力密集残差块的输出，由F₁,F₂按通道拼接而成；

A3：通过一个卷积层将输出特征的通道数调整为3，按如下公式得到图像缩小教师网络的最终输出F₄：

F₄＝w₃(F₃)+b₃；

式中，其中w₃,b₃是这一步采用的卷积核的权重和偏置。

进一步地，所述图像缩小教师网络的目标损失函数loss为：

式中，||·||₁为1范数，H_teacher( )为图像缩小教师网络，

为输入的第i个高分辨率图像块，则

为所述的图像缩小教师网络输出预测的缩小图像块；F_bic( )为双三次插值放大操作(bicubic方法)，将缩小图像块放大到与

相同的尺寸，L_teacher为目标损失函数值。

进一步地，所述设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络具体包括以下步骤：

将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；

将每个批次的图像块分别输入到预训练好的图像缩小教师网络以及需要训练的图像缩小学生网络；

根据图像缩小学生网络的目标损失函数loss，利用反向传播方法计算所述图像缩小卷积神经网络中各参数的梯度，并利用随机梯度下降方法更新参数；

以批次为单位重复进行上述步骤，直至图像缩小学生网络的目标损失函数loss值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小学生网络训练过程。

其中，所述图像缩小学生网络由逆亚像素卷积模块以及通道注意力密集残差模块构成，其结构与图像缩小教师网络相同。

进一步地，所述图像缩小学生网络的目标损失函数loss计算如下：

式中，L_distillation为蒸馏损失，H_student( )为图像缩小学生网络，则

为所述图像缩小学生网络输出的预测的缩小图像块，

为图像缩小教师网络的预测结果；F_bil( )为双线性插值放大操作(bilinear方法)，将缩小图像块放大到与

相同的尺寸；L_student为图像缩小学生网络的目标损失函数值。

本发明还提供了一种基于卷积神经网络的图像缩小系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如上文所述的方法步骤。

与现有技术相比，本发明有以下有益效果：本发明首先通过使用高分辨率训练图像块训练图像缩小教师网络，通过通道注意力密集残差模块学习结构获得浅层特征与深层特征融合的信息，解决了其他方法信息传输不充分的问题。最后使用教师网络进一步蒸馏学生网络，使学生网络在保证了自身图像缩小效果的同时，学习到了教师网络的图像缩小优势，具有较高的图像缩小性能。本发明针对图像缩小问题设计了一个独立的图像缩小卷积神经网络，能够在保证缩小后图像质量的同时较为快速地完成图像缩小操作，具有较高的使用价值。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的原理结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1以及图2所示，本实施例提供了一种基于卷积神经网络的图像缩小方法，具体包括以下步骤：

对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；

设计图像缩小教师网络，并使用图像块数据集训练该网络；

设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；

将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像。

本实施例使用逆亚像素卷积，将图像无损地按比例缩小为特征并利用通道注意力密集残差块有效地提取出缩小后特征的信息，再利用知识蒸馏的思路，充分发挥卷积神经网络的拟合能力，对比现有的图像缩小模型，该方法能显著提高图像缩小的性能。

在本实施例中，所述对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集具体包括以下步骤：

将原始高分辨率图像进行无重叠的切块，得到原始高分辨率训练图像块；

将得到的图像块进行旋转和翻转，得到用于训练的图像块数据集。其中，旋转角度包括顺时针旋转90°，180°，和270°，翻转包括水平翻转和垂直翻转。

在本实施例中，所述设计图像缩小教师网络，并使用图像块数据集训练该网络具体包括以下步骤：

将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；

将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果；

根据图像缩小教师网络的目标损失函数loss，利用反向传播方法计算所述图像缩小教师网络中各参数的梯度，并利用随机梯度下降方法更新参数；

以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小教师网络的训练过程。

其中，所述图像缩小教师网络由逆亚像素卷积模块以及通道注意力密集残差模块构成。

进一步地，在本实施例中，所述将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果具体包括以下步骤：

A1：将高分辨率图像块输入到一个逆亚像素卷积模块，按如下公式重新排列图像特征：

式中，s代表图像缩小的尺度，s是大于1的整数，(c,h,w)分别代表特征的通道、高度、宽度，

代表向下取整操作，invpixel( )代表逆亚像素卷积操作，F₀为经过逆亚像素卷积模块重新排列后的特征，

代表高分辨率图像块；

A2：将得到的特征F₀输入到一个通道注意力密集残差模块，首先计算密集通道注意力模块的输出：

F₁＝Ψ_channel(H_i)；

式中，F₁为密集通道注意力模块的输出，Ψ_channel为通道注意力模块，H_i代表密集连接模块，下标i表示第i个卷积层，其中密集连接模块公式如下：

式中，

代表按照通道拼接特征操作，w_i,b_i分别为第i层采用的卷积核的权重和偏置；

然后计算残差模块输出：

F₂＝ReLU(w₂(ReLU(w₁(F₀)+b₁))+b₂)；

式中，F₂为残差模块输出，该模块包括两个3×3卷积和ReLU函数，w₁,b₁,w₂,b₂分别代表模块中第一、第二层卷积层采用的卷积核的权重和偏置；其中，ReLU( )为线性整流函数，其公式如下：

其中，a表示ReLU函数的输入值；

最后计算通道注意力密集残差块的输出：

式中，F₃为通道注意力密集残差块的输出，由F₁,F₂按通道拼接而成；

A3：通过一个卷积层将输出特征的通道数调整为3，按如下公式得到图像缩小教师网络的最终输出F₄：

F₄＝w₃(F₃)+b₃；

式中，其中w₃,b₃是这一步采用的卷积核的权重和偏置。

在本实施例中，所述图像缩小教师网络的目标损失函数loss为：

式中，||·||₁为1范数，H_teacher( )为图像缩小教师网络，

为输入的第i个高分辨率图像块，则

为所述的图像缩小教师网络输出预测的缩小图像块；F_bic( )为双三次插值放大操作(bicubic方法)，将缩小图像块放大到与

相同的尺寸，L_teacher为目标损失函数值。

在本实施例中，所述设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络具体包括以下步骤：

将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；

将每个批次的图像块分别输入到预训练好的图像缩小教师网络以及需要训练的图像缩小学生网络；

根据图像缩小学生网络的目标损失函数loss，利用反向传播方法计算所述图像缩小卷积神经网络中各参数的梯度，并利用随机梯度下降方法更新参数；

以批次为单位重复进行上述步骤，直至图像缩小学生网络的目标损失函数loss值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小学生网络训练过程。

其中，所述图像缩小学生网络由逆亚像素卷积模块以及通道注意力密集残差模块构成，其结构与图像缩小教师网络相同。

在本实施例中，所述图像缩小学生网络的目标损失函数loss计算如下：

式中，L_distillation为蒸馏损失，H_student( )为图像缩小学生网络，则

为所述图像缩小学生网络输出的预测的缩小图像块，

为图像缩小教师网络的预测结果；F_bil( )为双线性插值放大操作(bilinear方法)，将缩小图像块放大到与

相同的尺寸；L_student为图像缩小学生网络的目标损失函数值。

本实施例还提供了一种基于卷积神经网络的图像缩小系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如上文所述的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于卷积神经网络的图像缩小方法，其特征在于，包括以下步骤：

对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集；

设计图像缩小教师网络，并使用图像块数据集训练该网络；

设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络；

将原始高分辨率的测试图像输入到训练好的图像缩小学生网络，预测其缩小后的图像；

所述设计图像缩小教师网络，并使用图像块数据集训练该网络具体包括以下步骤：

将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；

将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果；

根据图像缩小教师网络的目标损失函数loss，利用反向传播方法计算所述图像缩小教师网络中各参数的梯度，并利用随机梯度下降方法更新参数；

以批次为单位重复进行上述步骤直至得到的损失函数值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小教师网络的训练过程；

所述图像缩小教师网络由逆亚像素卷积模块以及通道注意力密集残差模块构成；

所述将每个批次的图像块分别输入到图像缩小教师网络，得到各个图像块的图像缩小预测结果具体包括以下步骤：

A1：将高分辨率图像块输入到一个逆亚像素卷积模块，按如下公式重新排列图像特征：

式中，s代表图像缩小的尺度，s是大于1的整数，(c,h,w)分别代表特征的通道、高度、宽度，

代表向下取整操作，invpixel()代表逆亚像素卷积操作，F₀为经过逆亚像素卷积模块重新排列后的特征，

代表高分辨率图像块；

A2：将得到的特征F₀输入到一个通道注意力密集残差模块，首先计算密集通道注意力模块的输出：

F₁＝Ψ_channel(H_i)；

式中，F₁为密集通道注意力模块的输出，Ψ_channel为通道注意力模块，H_i代表密集连接模块，下标i表示第i个卷积层，其中密集连接模块公式如下：

式中，

代表按照通道拼接特征操作，w_i,b_i分别为第i层采用的卷积核的权重和偏置；

然后计算残差模块输出：

F₂＝ReLU(w₂(ReLU(w₁(F₀)+b₁))+b₂)；

式中，F₂为残差模块输出，w₁,b₁,w₂,b₂分别代表模块中第一、第二层卷积层采用的卷积核的权重和偏置；

最后计算通道注意力密集残差块的输出：

式中，F₃为通道注意力密集残差块的输出，由F₁,F₂按通道拼接而成；

A3：通过一个卷积层将输出特征的通道数调整为3，按如下公式得到图像缩小教师网络的最终输出F₄：

F₄＝w₃(F₃)+b₃；

式中，其中w₃,b₃是这一步采用的卷积核的权重和偏置；

所述设计图像缩小学生网络，保持训练好的图像缩小教师网络的参数、权重不变，训练图像缩小学生网络具体包括以下步骤：

将高分辨率训练图像块随机分成一个以上的批次，每个批次包含N个图像块；

将每个批次的图像块分别输入到预训练好的图像缩小教师网络以及需要训练的图像缩小学生网络；

根据图像缩小学生网络的目标损失函数loss，利用反向传播方法计算所述图像缩小卷积神经网络中各参数的梯度，并利用随机梯度下降方法更新参数；

以批次为单位重复进行上述步骤，直至图像缩小学生网络的目标损失函数loss值收敛到预设的阈值或达到迭代次数阈值，保存网络参数，完成图像缩小学生网络训练过程。

2.根据权利要求1所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述对原始高分辨率训练图像进行预处理，得到原始高分辨率训练图像块组成的图像块数据集具体包括以下步骤：

将原始高分辨率图像进行无重叠的切块，得到原始高分辨率训练图像块；

将得到的图像块进行旋转和翻转，得到用于训练的图像块数据集。

3.根据权利要求1所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述图像缩小教师网络的目标损失函数loss为：

式中，||·||₁为1范数，H_teacher()为图像缩小教师网络，

为输入的第i个高分辨率图像块，则

为所述的图像缩小教师网络输出预测的缩小图像块；F_bic()为双三次插值放大操作，将缩小图像块放大到与

相同的尺寸，L_teacher为目标损失函数值。

4.根据权利要求3所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述图像缩小学生网络由逆亚像素卷积模块以及通道注意力密集残差模块构成，其结构与图像缩小教师网络相同。

5.根据权利要求3所述的一种基于卷积神经网络的图像缩小方法，其特征在于，所述图像缩小学生网络的目标损失函数loss计算如下：

式中，L_distillation为蒸馏损失，H_student()为图像缩小学生网络，则

为所述图像缩小学生网络输出的预测的缩小图像块，

为图像缩小教师网络的预测结果；F_bil()为双线性插值放大操作，将缩小图像块放大到与

相同的尺寸；L_student为图像缩小学生网络的目标损失函数值。

6.一种基于卷积神经网络的图像缩小系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-5任一项所述的方法步骤。

Images