CN115759202A - 一种可变空洞卷积的稠密图像超分辨率网络 - Google Patents

Abstract

本发明提供一种可变空洞卷积的稠密图像超分辨率网络，其特征在于，包括多个依次串接的基本单元BN‑ReLU‑ConvBC_N，且最后一个所述基本单元BN‑ReLU‑ConvBC_N的输出端依次连接2个卷积层和1个反卷积层；其中，每个所述基本单元BN‑ReLU‑ConvBC_N中的BN为归一化层，ReLU为损失函数L，ConvBC_N为卷积操作，通过ConvBC_N卷积操作获取特征图；输入原始图像，输出高分辨率图像。本发明有效提升不同尺度图像目标的超分辨率网络效果。训练中引入了改进的损失函数，并且随着训练轮次的深入动态调整损失函数，这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用的优点。

Description

一种可变空洞卷积的稠密图像超分辨率网络

技术领域

本发明属于图像处理技术领域，具体涉及一种可变空洞卷积的稠密图像超分辨率网络。

背景技术

空洞卷积也叫扩张卷积，简单来说就是在卷积核元素之间加入一些空格(零)来扩大卷积核的过程。由此，有效的感受野大小随之增长，而参数的数量却没有变化。

对于深度学习网络来说，感受野的大小往往是固定的，也就是跟卷积核的尺寸是相关的；而对于各种图像目标来说，其目标的大小决定的图像细节往往又是不同的，这就决定了深度学习网络对同一图像目标的最佳感受野并不相同。

目前的深度学习方法，往往采用固定尺度的滤波器，通过大量的滤波器和多层次的滤波器，来解决目标大小不同造成的最佳感受野不同的问题。如果能从底层开始选择多尺度的滤波器来解决最佳感受野选择的问题，理论上可以提升训练效率和处理效果。

发明内容

发明目的：针对上述现有技术，提出一种可变空洞卷积的稠密图像超分辨率网络；

技术方案：一种可变空洞卷积的稠密图像超分辨率网络，包括多个依次串接的基本单元BN-ReLU-ConvBC_N，且最后一个所述基本单元BN-ReLU-ConvBC_N的输出端依次连接2个卷积层和1个反卷积层；

其中，每个所述基本单元BN-ReLU-ConvBC_N中的BN为归一化层，ReLU为损失函数L，ConvBC_N为卷积操作，通过ConvBC_N卷积操作获取单通道特征图；向第一个所述基本单元BN-ReLU-ConvBC_N输入原始图像，反卷积层输出高分辨率图像。

优选的，损失函数L的计算公式为：

式中，i表示高分辨率图像的像素序号，m为像素的个数，yⁱ表示像素序号i处的像数值，

表示超分辨率后在像素序号i处的像素值，α^r为参数且满足α^r∈[0，1]。

优选的，按照计算损失函数L和反向梯度优化的方式，开始训练，在刚开始训练的轮次，α^r取值为0.8-0.9，随着迭代次数的增加，α^r取值逐渐变小，每迭代2000次，α^r减少0.1。

优选的，所述特征图的获取包括：记原始空洞卷积核BC为3x3大小，水平方向插入0的操作记为i，表示在水平方向均匀、对称的插入i行零值；垂直方向插入0的操作记为j，表示垂直方向均匀、对称的插入j行零值；其中i，j∈[0,N)，且均为整数，获得N²个扩充后的空洞卷积核，将N²个空洞卷积核作为一组，输出为N²个特征图，将N²个特征图通过1x1xN²的卷积核，获得一个单通道的特征图，该操作记为ConvBC_N。

有益效果：本发明有效提升不同尺度图像目标的超分辨率网络效果。训练中引入了改进的损失函数，并且随着训练轮次的深入动态调整损失函数，这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用的优点。

附图说明：

图1为BC00结构示意图；

图2为BC11结构示意图。

具体实施方式

下面对本发明做更进一步的解释。

一种可变空洞卷积的稠密图像超分辨率网络，有效提升不同尺度图像目标的超分辨率网络效果。

不同的空洞卷积结果，可以用1x1滤波器融合，相当于选择了不同空洞卷积子的权重。这样的逻辑符合图像细节的一般构成，总是存在低频的细节和高频的细节，他们理应由不同的滤波器来描述特征。这里提出了一系列的空洞卷积子，可以获取不同尺度的图像细节特征，从而更好地描述图像细节。具体步骤如下：

记空洞卷积子BC为3x3大小。水平方向插入0的操作记为i，表示水平方向均匀、对称的插入2*i行零值，垂直方向插入0的操作记为j，表示垂直方向均匀、对称的插入2*j行零值。则初始空洞卷积子也可以记为BC₀₀，插零值的位置均为BC₀₀的中心位置的两侧。BC₁₀表示在水平方向插入2行零值，垂直方向不操作，可以得到一个5x3的卷积子。BC₁₁表示水平和垂直方向均插入两行零值。如图1所示，圈表示存在滤波器参数。

对于i，j∈[0,N)，且为整数，可以获得N²个空洞卷积子，作为一组，输出为N²个特征图，N²特征图通过1x1xN²的卷积子，获得一个单通道的特征图。该操作可以记为ConvBC_N。

网络的基本结构为BN-ReLU-ConvBC_N，每层的空洞卷积组个数为32-256个不等。原始图像输入网络，经过5个基本单元BN-ReLU-ConvBC_N，后连接2个卷积层，输出再经过1个反卷积层，提高分辨率，最终输出高分辨率图像。

损失函数使用像素值损失，为了克服训练中的噪声、高频信号等影响，在计算损失函数的时候使用如下的公式：

式中，i表示像素序号，总共有m个像素。yⁱ表示位置i处的像数值，

表示超分辨率后在i处的像素值。

就是传统意义上的L1损失函数。α^r是一个跟训练迭代轮次相关的参数，α^r∈[0，1]，当α^r＝0时，公式等同于传统L1损失函数。在刚开始训练的轮次，α^r取值相对较大，可以移植噪声和高频信号对模型收敛的影响，当随着训练轮次的深入，α^r取值逐渐变大。实际中采取步进调整的策略，每迭代2000次，α^r减少0.1。即有：α^r＝1-R_step/2000*0.1，其中R_step表示训练的轮次。

在网络结构上，将每一层的BN-ReLU-ConvBC_N特征都输入给之后的所有层，使所有层的特征都串联起来。

本发明使用一种动态选择最佳感受野的网络结构，有效提升不同尺度图像目标的超分辨率网络效果。训练中引入了改进的L1损失函数，并且随着训练轮次的深入动态调整损失函数，这样的结构给整个网络带来了减轻梯度消失问题、加强特征传播、支持特征复用的优点。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种可变空洞卷积的稠密图像超分辨率网络，其特征在于，包括多个依次串接的基本单元BN-ReLU-ConvBC_N，且最后一个所述基本单元BN-ReLU-ConvBC_N的输出端依次连接2个卷积层和1个反卷积层；

其中，每个所述基本单元BN-ReLU-ConvBC_N中的BN为归一化层，ReLU为损失函数L，ConvBC_N为卷积操作，通过ConvBC_N卷积操作获取单通道特征图；向第一个所述基本单元BN-ReLU-ConvBC_N输入原始图像，反卷积层输出高分辨率图像。

2.如权利要求1所述的一种可变空洞卷积的稠密图像超分辨率网络，其特征在于，损失函数L的计算公式为：

式中，i表示高分辨率图像的像素序号，m为像素的个数，yⁱ表示像素序号i处的像数值，

表示超分辨率后在像素序号i处的像素值，α^r为参数且满足α^r∈[0，1]。

3.如权利要求2所述的一种可变空洞卷积的稠密图像超分辨率网络，其特征在于，按照计算损失函数L和反向梯度优化的方式，开始训练，在刚开始训练的轮次，α^r取值为0.8-0.9，随着迭代次数的增加，α^r取值逐渐变小，每迭代2000次，α^r减少0.1。

4.如权利要求3所述的一种可变空洞卷积的稠密图像超分辨率网络，其特征在于，所述特征图的获取包括：记原始空洞卷积核BC为3x3大小，水平方向插入0的操作记为i，表示在水平方向均匀、对称的插入i行零值；垂直方向插入0的操作记为j，表示垂直方向均匀、对称的插入j行零值；其中i，j∈[0,N)，且均为整数，获得N²个扩充后的空洞卷积核，将N²个空洞卷积核作为一组，输出为N²个特征图，将N²个特征图通过1x1xN²的卷积核，获得一个单通道的特征图，该操作记为ConvBC_N。

Images