CN113012046B - 一种基于动态分组卷积的图像超分辨率重构方法 - Google Patents

Abstract

本发明公开了一种基于动态分组卷积的图像超分辨率重构方法，包括：1)对低分辨率图像I_LR进行特征嵌入，得到嵌入特征图

2)利用动态分组卷积模块对嵌入特征图

进行信息提取，得到提取信息图

3)利用动态分组卷积上采样模块对提取信息图

以及嵌入特征图

进行尺寸放大，得到提取放大信息图

和嵌入放大信息图

4)对提取放大信息图

和嵌入放大信息图

进行信息融合，得到融合信息图

5)对融合信息图

进行重构，得到高分辨率图像I_HR。本发明可有效降低网络模型的计算量以及参数量，提升模型性能，实现模型轻量化的性能扩展。

Description

一种基于动态分组卷积的图像超分辨率重构方法

技术领域

本发明涉及图像超分辨率重构技术领域，尤其是指一种基于动态分组卷积的图像超分辨率重构方法。

背景技术

随着社会的发展，人们对图像的质量要求越来越高，因为高分辨率图像能提供更多的纹理细节，而这些细节信息在许多实际应用中都起着极为重要的作用，例如，在医学领域中，高分辨率的医学图像能让医生更加准确判断患者的病情；地理侦测领域中，高分辨率的遥感卫星图像能让科研工作人员更容易识别出同类物体；计算机视觉领域中，高分辨率的图像能让计算机在模式识别中发挥出更优异的性能。

目前获取高分辨率图像的方法有两个:1)使用高清摄像设备。2)对低分辨率图像进行算法处理。第一种方法使用高清摄像设备虽然能够快速获取高分辨率图像，但这种设备价格高昂，普通家庭和实验室难以购置；而第二种方法使用算法对低分辨率图像进行处理后得到高分辨率图像，则更为切实可行，容易推广普及，以满足人们巨大的高质量图像需求。这种使用算法获取高分辨率图像的方法又被称为图像超分辨率重构，简称图像超分辨率。虽然随着深度学习引进图像超分辨率领域，模型的性能越来越好，但仍然存在以下的问题：1)计算资源需求大，迁移困难。大多数深度学习模型只关注性能方面的表现，网络层数极深，使得模型参数量大，计算复杂度高，难以实现落地应用。2)可扩展性弱。为了使得模型能够实现落地应用，人们开始对模型进行轻量化。但是通常模型轻量化的方法只依靠削减网络层数，这导致了轻量化后的模型性能难以扩展，模型架构不灵活。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于动态分组卷积的图像超分辨率重构方法，结合了动态卷积技术和分组卷积技术，实现了对轻量级模型性能扩展，同时能应用到高性能模型中，使其轻量化，兼容性良好，容易迁移，提高了基于深度学习模型的应用性和可扩展性，却降低模型的计算资源需求，有助于图像超分辨率相关产品研发和落地。

为实现上述目的，本发明所提供的技术方案为：一种基于动态分组卷积的图像超分辨率重构方法，该方法利用动态分组卷积将高和宽大小分别为H和W的低分辨率图像提升为高和宽大小分别为sH和sW的高分辨率图像，包括以下步骤：

1)对低分辨率图像I_LR进行特征嵌入，得到嵌入特征图

2)利用动态分组卷积模块对嵌入特征图

进行信息提取，得到提取信息图

3)利用动态分组卷积上采样模块对提取信息图

以及嵌入特征图

进行尺寸放大，得到提取放大信息图

和嵌入放大信息图

4)对提取放大信息图

和嵌入放大信息图

进行信息融合，得到融合信息图

5)对融合信息图

进行重构，得到高分辨率图像I_HR。

在步骤1)中，对低分辨率图像I_LR进行特征嵌入，是指对I_LR进行全连接卷积操作：

式中，I_LR表示通道、高和宽为C_in×H×W的低分辨率图像；FC_embed表示全连接卷积操作，其使用的卷积核参数是高和宽为3×3、输入通道和输出通道分别为C_in和C；

表示通道、高和宽为C×H×W的嵌入特征图。

在步骤2)中，利用动态分组卷积模块对嵌入特征图

进行信息提取，包括以下步骤：

2.1)对C×H×W的嵌入特征图进行全局均值池化操作，提取出全局信息：

式中，

表示通道、高和宽为C×1×1的全局信息；

表示通道、高和宽为C×H×W的嵌入特征图；GAP表示全局池化操作，用下式表示：

式中，

表示在第k个通道，位于输入X^k第i行、第j列的值，其中i∈[1，H]，j∈[1，W]；HW表示该输入X^k的尺寸大小；Y^k表示该输入X^k经处理后所得到的输出；

2.2)使用全连接卷积层对全局信息

进行通道压缩：

式中，

表示通道、高和宽为C/r×1×1的压缩全局信息；FC_compress表示全连接卷积操作，其使用的卷积核参数是高和宽为1×1，输入通道和输出通道分别为C和C/r，其中r为压缩率，必须能被C整除；

2.3)使用ReLU函数对压缩全局信息

进行信息过滤，并通过全连接卷积层进行通道恢复：

式中，

表示通道、高和宽为n×1×1的权重信息，其中n为分组卷积核的数目；FC_restore表示全连接卷积操作，其使用的卷积核参数是高和宽为1×1，输入通道和输出通道分别为C/r和n；

2.4)利用Softmax函数，将权重信息

转化为权重ωⁿ：

式中，ωⁿ表示通道、高和宽为n×1×1的权重；

2.5)使用权重ωⁿ分别对n个分组卷积核

进行加权求和，得到的动态分组卷积核dkernel_g：

式中，dkernel_g表示动态分组卷积核，其参数是高和宽为3×3，输入通道和输出通道分别为C/g和C；

表示第i个分组卷积核，其中每个分组卷积核的高和宽都为3×3，输入通道和输出通道都分别为C/g和C；上述提及的g皆为分组数，必须能被C整除；

2.6)利用动态分组卷积核dkernel_g对嵌入特征图进行分组卷积操作，提取其信息图

式中，

表示分组卷积操作后得到通道、高和宽为C×H×W的提取信息图；GConv表示使用动态分组卷积核dkernel_g进行分组卷积操作。

在步骤3)中，利用动态分组卷积上采样模块对提取信息图

以及嵌入特征图

进行尺寸放大，具体如下：

利用动态分组卷积模块对通道、高和宽为C×H×W的嵌入特征图

进行操作，得到通道、高和宽为s²C×H×W的嵌入放大信息图，其中s为放大倍数，取值为正整数；

利用动态分组卷积模块对通道、高和宽为C×H×W的提取信息图

进行操作，得到通道、高和宽为s²C×H×W的提取放大信息图；

使用像素重排技术，将通道、高和宽为s²C×H×W的嵌入放大信息图转变为C×sH×sW，实现尺寸放大s倍；

使用像素重排技术，将通道、高和宽为s²C×H×W的提取放大信息图转转变为C×sH×sW，实现尺寸放大s倍。

在步骤4)中，对提取放大信息图

和嵌入放大信息图

进行信息融合，即实现二者的逐像素求和：

式中，

表示通道、高和宽为C×sH×sW的嵌入放大信息图，

表示通道、高和宽为C×sH×sW的提取放大信息图，

表示通道、高和宽为C×sH×sW的融合信息图。

在步骤5)中，对融合信息图

进行重构，得到高分辨率图像I_HR：

式中，FC_{reconstruction}表示全连接卷积操作，使用的卷积核参数是高和宽为3×3、输入通道和输出通道分别为C和C_out，I_HR表示重构后所得到通道、高和宽为C_out×sH×sW的高分辨率图像。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明可实现对轻量级深度学习模型的性能扩展，提高其实际性能。

2、本发明可实现深度学习模型的轻量化，推动其落地应用。

3、本发明具有良好的迁移性能，适用任何深度学习模型。

4、本发明技术特点简明，容易实现，能够快速投入使用。

附图说明

图1为本发明逻辑流程示意图。

图2为本发明使用的动态分组卷积模块结构图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于动态分组卷积的图像超分辨率重构方法，结合了动态卷积以及分组卷积技术，包括以下步骤：

1)对通道、高和宽为3×H×W的低分辨率RGB彩色图像I_LR进行特征嵌入，是指对该RGB彩色图像I_LR进行全连接卷积操作：

式中，I_LR表示通道、高和宽为3×H×W的低分辨率RGB彩色图像；FC_embed表示全连接卷积操作，其使用的卷积核参数是高和宽为3×3、输入通道和输出通道分别为3和64；

表示通道、高和宽为64×H×W的嵌入特征图。

2)如图2所示，利用动态分组卷积模块对嵌入特征图

进行信息提取，包括以下步骤：

2.1)对64×H×W的嵌入特征图

进行全局均值池化操作，提取出全局信息：

式中，

表示通道、高和宽为64×1×1的全局信息；GAP表示全局池化操作，可用下式表示：

式中，

表示在第k个通道，位于输入X^k第i行、第j列的值，其中i∈[1，H]，j∈[1，W]；HW表示X^k的尺寸大小，Y^k表示X^k经处理后所得到的输出。

2.2)使用全连接卷积层对全局信息

进行通道压缩：

式中，

表示通道、高和宽为16×1×1的压缩全局信息；FC_compress表示全连接卷积操作，其使用的卷积核参数是高和宽为1×1，输入通道和输出通道分别为64和16，压缩率取4。

2.3)使用ReLU函数对压缩全局信息

进行信息过滤，并通过全连接卷积层进行通道恢复：

式中，

表示通道、高和宽为4×1×1的权重信息；FC_restore表示全连接卷积操作，其使用的卷积核参数是高和宽为1×1，输入通道和输出通道分别为16和4，即分组卷积核数目取4。

2.4)利用Softmax函数，将权重信息

转化为权重：

式中，ω¹,ω²,ω³,ω⁴都表示权重。

2.5)使用权重ω¹,ω²,ω³,ω⁴分别对4个分组卷积核进行加权求和，得到的动态分组卷积核：

式中，dkernel₈表示动态分组卷积核，其参数是高和宽为3×3，输入通道和输出通道分别为8和64；

都表示分组卷积核，且每个分组卷积核的高和宽都为3×3，输入通道和输出通道都分别为8和64，即分组数取8。

2.6)利用动态分组卷积核对嵌入特征图

进行分组卷积操作，提取其信息图：

式中，

表示分组卷积操作后得到通道、高和宽为64×H×W的提取信息图；GConv表示使用动态分组卷积核dkernel₈进行分组卷积操作。

3)利用动态分组卷积上采样模块对嵌入特征图和提取信息图进行尺寸放大，具体如下：

利用动态分组卷积模块对通道、高和宽为64×H×W的嵌入特征图

进行操作，得到通道、高和宽为16*64×H×W的嵌入放大信息图，即放大倍数s为4；

利用动态分组卷积模块对通道、高和宽为64×H×W的提取信息图

进行操作，得到通道、高和宽为16*64×H×W的提取放大信息图；

使用像素重排技术，将通道、高和宽为16*64×H×W的嵌入放大信息图转变为64×4H×4W，实现尺寸放大4倍；

使用像素重排技术，将通道、高和宽为16*64×H×W的提取放大信息图转变为C×4H×4W，实现尺寸放大4倍。

4)对嵌入放大信息图

和提取放大信息图

进行信息融合，实现二者的逐像素求和：

式中，

表示通道、高和宽为64×4H×4W的嵌入放大信息图，

表示通道、高和宽为64×4H×4W的提取放大信息图，

表示通道、高和宽为64×4H×4W的融合信息图。

5)对融合信息图

进行重构，得到高分辨率RGB彩色图像I_HR：

式中，FC_{reconstruction}表示全连接卷积操作，使用的卷积核参数是高和宽为3×3、输入通道和输出通道分别为64和3，I_HR表示重构后所得到通道、高和宽为3×4H×4W的高分辨率RGB彩色图像。

常规全连接卷积实质是分组数g为1的分组卷积，且该分组卷积的分组卷积核数目n为1,而动态分组卷积结合了动态卷积以及分组卷积技术，把分组卷积核的数目扩大为n倍，同时设置分组数为g，使模型的计算量减少g倍，而同时仅增加n/g倍参数量。在实施例中，动态分组卷积的分组卷积核数目为4、分组数为8，在增加4/8即一半参数量的情况下，模型计算量减少了8倍，性能却得到了提高，从而实现了模型轻量化的性能扩展。

综上所述，在采用以上方案后，本发明为图像超分辨率重构提供了新的方法，将动态卷积以及分组卷积相结合，能够有效降低网络模型的计算量以及参数量，提升模型的性能，实现了模型轻量化的性能扩展，解决了应用性和可扩展性的问题，具有实际推广价值，值得推广。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于动态分组卷积的图像超分辨率重构方法，其特征在于：该方法利用动态分组卷积将高和宽大小分别为H和W的低分辨率图像提升为高和宽大小分别为sH和sW的高分辨率图像，包括以下步骤：

1)对低分辨率图像I_LR进行特征嵌入，得到嵌入特征图

2)利用动态分组卷积模块对嵌入特征图

进行信息提取，得到提取信息图

包括以下步骤：

2.1)对C×H×W的嵌入特征图进行全局均值池化操作，提取出全局信息：

式中，

表示通道、高和宽为C×1×1的全局信息；

表示通道、高和宽为C×H×W的嵌入特征图；GAP表示全局池化操作，用下式表示：

式中，

表示在第k个通道，位于输入X^k第i行、第j列的值，其中i∈[1，H]，j∈[1，W]；HW表示该输入X^k的尺寸大小；Y^k表示该输入X^k经处理后所得到的输出；

2.2)使用全连接卷积层对全局信息

进行通道压缩：

式中，

表示通道、高和宽为C/r×1×1的压缩全局信息；FC_compress表示全连接卷积操作，其使用的卷积核参数是高和宽为1×1，输入通道和输出通道分别为C和C/r，其中r为压缩率，必须能被C整除；

2.3)使用ReLU函数对压缩全局信息

进行信息过滤，并通过全连接卷积层进行通道恢复：

式中，

表示通道、高和宽为n×1×1的权重信息，其中n为分组卷积核的数目；FC_restore表示全连接卷积操作，其使用的卷积核参数是高和宽为1×1，输入通道和输出通道分别为C/r和n；

2.4)利用Softmax函数，将权重信息

转化为权重ωⁿ：

式中，ωⁿ表示通道、高和宽为n×1×1的权重；

2.5)使用权重ωⁿ分别对n个分组卷积核

进行加权求和，得到的动态分组卷积核dkernel_g：

式中，dkernel_g表示动态分组卷积核，其参数是高和宽为3×3，输入通道和输出通道分别为C/g和C；

表示第i个分组卷积核，其中每个分组卷积核的高和宽都为3×3，输入通道和输出通道都分别为C/g和C；上述提及的g皆为分组数，必须能被C整除；

2.6)利用动态分组卷积核dkernel_g对嵌入特征图进行分组卷积操作，提取其信息图

式中，

表示分组卷积操作后得到通道、高和宽为C×H×W的提取信息图；GConv表示使用动态分组卷积核dkernel_g进行分组卷积操作；

3)利用动态分组卷积上采样模块对提取信息图

以及嵌入特征图

进行尺寸放大，得到提取放大信息图

和嵌入放大信息图

4)对提取放大信息图

和嵌入放大信息图

进行信息融合，得到融合信息图

5)对融合信息图

进行重构，得到高分辨率图像I_HR。

2.根据权利要求1所述的一种基于动态分组卷积的图像超分辨率重构方法，其特征在于：在步骤1)中，对低分辨率图像I_LR进行特征嵌入，是指对I_LR进行全连接卷积操作：

式中，I_LR表示通道、高和宽为C_in×H×W的低分辨率图像；FC_embed表示全连接卷积操作，其使用的卷积核参数是高和宽为3×3、输入通道和输出通道分别为C_in和C；

表示通道、高和宽为C×H×W的嵌入特征图。

3.根据权利要求1所述的一种基于动态分组卷积的图像超分辨率重构方法，其特征在于：在步骤3)中，利用动态分组卷积上采样模块对提取信息图

以及嵌入特征图

进行尺寸放大，具体如下：

利用动态分组卷积模块对通道、高和宽为C×H×W的嵌入特征图

进行操作，得到通道、高和宽为s²C×H×W的嵌入放大信息图，其中s为放大倍数，取值为正整数；

利用动态分组卷积模块对通道、高和宽为C×H×W的提取信息图

进行操作，得到通道、高和宽为s²C×H×W的提取放大信息图；

使用像素重排技术，将通道、高和宽为s²C×H×W的嵌入放大信息图转变为C×sH×sW，实现尺寸放大s倍；

使用像素重排技术，将通道、高和宽为s²C×H×W的提取放大信息图转变为C×sH×sW，实现尺寸放大s倍。

4.根据权利要求1所述的一种基于动态分组卷积的图像超分辨率重构方法，其特征在于：在步骤4)中，对提取放大信息图

和嵌入放大信息图

进行信息融合，即实现二者的逐像素求和：

式中，

表示通道、高和宽为C×sH×sW的嵌入放大信息图，

表示通道、高和宽为C×sH×sW的提取放大信息图，

表示通道、高和宽为C×sH×sW的融合信息图。

5.根据权利要求1所述的一种基于动态分组卷积的图像超分辨率重构方法，其特征在于：在步骤5)中，对融合信息图

进行重构，得到高分辨率图像I_HR：

式中，FC_{reconstruction}表示全连接卷积操作，使用的卷积核参数是高和宽为3×3、输入通道和输出通道分别为C和C_out，I_HR表示重构后所得到通道、高和宽为C_out×sH×sW的高分辨率图像。

Images