CN112215754A - 图像放大方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供图像放大方法、装置、电子设备和存储介质。该方法包括：对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。由此，本公开通过将待处理图像的放大过程中分阶段来对图像进行放大，每个阶段产生的数据量较少，故此能够节约内存开销。由此，在图像放大的过程中的参数量也能大大的减少，解决了现有技术中在图像放大的过程中的内存开销比较大并且计算复杂度较高的问题。

Description

图像放大方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术领域，特别涉及一种图像放大方法、装置、电子设备和存储介质。

背景技术

超分辨率视频增强一般是指：对输入低分辨率视频，利用传统图像处理算法、传统机器学习方法乃至深度学习方法将低分辨率视频放大至高分辨率视频的过程。作为近几年深度学习在图像应用领域的一个热门方向，超分辨率视频增强被证明是深度学习在图像增强领域的成功样例。基于神经网络深度学习方法的超分方法大幅提高了基于传统超分算法的性能上限，受到了学界以及工业界的广泛关注，涌现了大量有价值的研究成果。

现有技术中，对待处理图像能够一步到位进行整数倍放大，但是此方法在图像放大的过程中内存开销比较大并且计算复杂度较高。因此，急需一种新的方法来解决上述问题。

发明内容

本公开提供一种图像放大方法、装置、电子设备和存储介质，用于解决现有技术中在图像放大的过程中的内存开销比较大并且计算复杂度较高的问题。

第一方面，本公开提供一种图像放大方法，所述方法包括：

对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；

对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；

对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；

对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。

在一个实施例中，所述对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集，包括：

针对所述第一特征集中的任一特征图分别执行：

采用r个第一卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第一特征图组，所述第一特征图组中包括r个特征子图；

对所述第一特征图组中的所述r个特征子图在所述第一方向进行特征重排；得到属于所述第二特征集的且与所述特征图对应的在所述第一方向放大r倍的特征图。

在一个实施例中，所述对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集，包括：

针对所述第二特征集中的任一特征图分别执行：

采用r个第二卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第二特征图组，所述第二特征图组中包括r个特征子图；

对所述第二特征图组中的所述r个特征子图在所述第二方向进行特征重排，得到属于所述第三特征集的且与所述特征图对应的在所述第二方向放大r倍的特征图。

在一个实施例中，所述对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集，包括：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数；并，

针对所述第一特征集中的任一特征图分别执行：

采用与在所述第一方向的初始放大倍数相同数量的第三卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第三特征图组，所述第三特征图组中特征子图的总数量与所述第三卷积核的数量相等；

对所述第三特征图组中的各特征子图在所述第一方向进行特征重排，得到属于第一中间特征集的且与所述特征图对应的在所述第一方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数的步骤，并将所述第一中间特征集作为所述第一特征集进行处理，直到在所述第一方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第一中间特征集为所述第二特征集。

在一个实施例中，所述对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集，包括：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数；并，

针对所述第二特征集中的任一特征图分别执行：

并采用与在所述第二方向的初始放大倍数相同的数量的第四卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第四特征图组，所述第四特征图组中特征子图的总数量与所述第四卷积核的数量相等；

对所述第四特征图组中的各特征子图在所述第二方向进行特征重排，得到属于第二中间特征集的且与所述特征图对应的在所述第二方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数的步骤，并将所述第二中间特征集作为第二特征集进行处理，直到在所述第二方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第二中间特征集为所述第三特征集。

第二方面，本公开提供一种图像放大装置，所述装置包括：

特征提取模块，被配置为执行对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；

第一方向放大模块，被配置为执行对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；

第二方向放大模块，被配置为执行对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；

特征融合模块，被配置为执行对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。

在一个实施例中，所述第一方向放大模块，具体被配置为执行：

针对所述第一特征集中的任一特征图分别执行：

采用r个第一卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第一特征图组，所述第一特征图组中包括r个特征子图；

对所述第一特征图组中的所述r个特征子图在所述第一方向进行特征重排；得到属于所述第二特征集的且与所述特征图对应的在所述第一方向放大r倍的特征图。

在一个实施例中，所述第二方向放大模块，具体被配置为执行：

针对所述第二特征集中的任一特征图分别执行：

采用r个第二卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第二特征图组，所述第二特征图组中包括r个特征子图；

对所述第二特征图组中的所述r个特征子图在所述第二方向进行特征重排，得到属于所述第三特征集的且与所述特征图对应的在所述第二方向放大r倍的特征图。

在一个实施例中，所述第一方向放大模块，具体被配置为执行：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数；并，

针对所述第一特征集中的任一特征图分别执行：

采用与在所述第一方向的初始放大倍数相同数量的第三卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第三特征图组，所述第三特征图组中特征子图的总数量与所述第三卷积核的数量相等；

对所述第三特征图组中的各特征子图在所述第一方向进行特征重排，得到属于第一中间特征集的且与所述特征图对应的在所述第一方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数的步骤，并将所述第一中间特征集作为所述第一特征集进行处理，直到在所述第一方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第一中间特征集为所述第二特征集。

在一个实施例中，所述第二方向放大模块，具体被配置为执行：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数；并，

针对所述第二特征集中的任一特征图分别执行：

并采用与在所述第二方向的初始放大倍数相同的数量的第四卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第四特征图组，所述第四特征图组中特征子图的总数量与所述第四卷积核的数量相等；

对所述第四特征图组中的各特征子图在所述第二方向进行特征重排，得到属于第二中间特征集的且与所述特征图对应的在所述第二方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数的步骤，并将所述第二中间特征集作为第二特征集进行处理，直到在所述第二方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第二中间特征集为所述第三特征集。

根据本公开实施例的第三方面，提供一种电子设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

根据本公开实施例提供的第四方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本公开提供一种图像放大方法、装置、设备和存储介质。该方法包括：对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。整个过程分阶段来对图像进行放大，每个阶段产生的数据量较少，故此能够节约内存开销。由此，在图像放大的过程中的参数量也能大大的减少，解决了现有技术中在图像放大的过程中的内存开销比较大并且计算复杂度较高的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1为根据本公开一个实施例中的现有技术中的图像放大流程示意图；

图2为根据本公开一个实施例的图像放大的适用场景示意图；

图3为根据本公开一个实施例的图像放大的流程示意图之一；

图4为根据本公开一个实施例的图像放大的过程示意图之一；

图5为根据本公开一个实施例的图像放大的过程示意图之二；

图6为根据本公开一个实施例的图像放大的过程示意图之三；

图7为根据本公开一个实施例的图像放大的过程示意图之四；

图8为根据本公开一个实施例的图像放大的流程示意图之二；

图9为根据本公开一个实施例的图像放大装置；

图10为根据本公开一个实施例的电子设备的结构示意图。

具体实施方式

为进一步说明本公开实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本公开实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

本公开实施例中术语“多个”是指两个或两个以上，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本公开，并不用于限定本公开，并且在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

发明人研究发现，在进行图像放大的过程中，通常对待处理图像进行一步到位的放大。如图1所示，图1为现有技术中对待处理图像进行2倍放大的过程，101为对待处理图像的大小进行扩展后的待处理图像，将原来的单通道4*4大小的待处理图像扩展为单通道5*5大小的待处理图像。102为使用4种2*2大小的卷积核对单通道5*5的待处理图像进行卷积操作，得到103中的4通道的4*4大小的特征图。最后对该4通道特征图在横轴方向和纵轴方向同时进行特征重排，得到104中的特征图，该特征图为进行2倍放大后的单通道8*8大小的特征图。在此过程中参数量为：4*k*k。其中，k*k为卷积核的代大小。

若待处理图像的输入维度为(N,H,W)，其中，N为待处理图像的通道数，H为待处理图像的高度，W为待处理图像的宽度。假设放大倍数为r(即高度放大倍数为r,宽度放大倍数为r)，则使用上述方法在图像放大过程中的参数量为：k*k*N*N*r*r。由此可知，占用的内存开销比较大并且计算复杂度较高。

由此，本公开提出一种图像放大方法、装置、电子设备和存储介质。本公开通过分阶段来对图像进行放大，使得图像在进行放大的过程中的参数量减少，以此来减少内存开销，以及降低计算复杂度。下面结合附图，对本公开进行详细的说明。

如图2所示，为一种图像放大的应用场景示意图，该应用场景中包括多个终端设备210和服务器230，图1中是以三个终端设备210为例，实际上不限制终端设备210的数量。终端设备210中安装有用于展示网络资源信息的客户端220(例如用于制作和浏览图像或视频的客户端)。客户端220和服务器230之间可以通过通信网络进行通信。终端设备210例如手机、平板电脑和个人计算机等。服务器230可以通过单个服务器实现，也可以通过多个服务器实现。服务器230可以通过实体服务器实现，也可以通过虚拟服务器实现。

在一种可能的应用场景中，用户A使用终端设备210中的客户端220制作了一个视频1，客户端220将视频中的各帧图像发送给服务器230。针对任意一帧图像，将所述图像作为待处理图像。服务器230对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；然后服务器230对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；最后服务器230对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。在对整个视频中各帧图像进行放大后，服务器230将放大后的各帧图像合成新的短视频发送给终端设备210的客户端220(如图1中用户B和用户C的客户端)。

如图3所示，图3为本公开实施例的图像放大的流程示意图，可包括以下步骤：

步骤301：对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；

步骤302：对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；

其中，步骤302的具体实施方式可包括以下两种方法：

方法一：针对所述第一特征集中的任一特征图分别执行：采用r个第一卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第一特征图组，所述第一特征图组中包括r个特征子图；对所述第一特征图组中的所述r个特征子图在所述第一方向进行特征重排；得到属于所述第二特征集的且与所述特征图对应的在所述第一方向放大r倍的特征图。

例如，第一特征集中只包括一个特征图，若放大倍数为4倍。如图4所示，特征图1为4*4大小的特征图，在进行卷积操作之前，将特征图1进行的边缘进行扩充，得到5*5大小的特征图1。对扩充后的特征图1采用4个第一卷积核进行卷积操作，得到4个4*4大小的特征子图，分别为第一特征子图1、第一特征子图2、第一特征子图3和第一特征子图4。然后将其四个特征子图在第一方向进行特征重排，此时的第一方向为列方向。得到在列方向放大四倍的特征图2。此时的特征图2的大小为4*16。

若第一卷积核的大小为k*k，放大倍数为r，输入维度为(N，H，W)，在第一方向进行放大后的输出维度为(N，r*H，W)。此时在第一方向进行放大的过程中的参数量为：k*k*N*N*r。

方法二：将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数；并，针对所述第一特征集中的任一特征图分别执行：采用与在所述第一方向的初始放大倍数相同数量的第三卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第三特征图组，所述第三特征图组中特征子图的总数量与所述第三卷积核的数量相等；对所述第三特征图组中的各特征子图在所述第一方向进行特征重排，得到属于第一中间特征集的且与所述特征图对应的在所述第一方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数的步骤，并将所述第一中间特征集作为所述第一特征集进行处理，直到在所述第一方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第一中间特征集为所述第二特征集。

例如，若放大倍数为4倍，则可将放大倍数划分为子放大倍数1和子放大倍数2。其中，子放大倍数1为2倍，子放大倍数2为2倍。从子放大倍数1和子放大倍数2中随机选取一个未被处理的子放大倍数作为初始放大倍数，例选取的子放大倍数为子放大倍数1。若第一特征集包括特征图1和特征图2。以特征图1为例进行说明。如图5所示，如前文所述特征图1的大小为4*4，扩充之后的大小为5*5。采用2个2*2大小第三卷积核对特征图1进行卷积操作，得到与特征图1对应的第三特征图组，第三特征组中包括4*4大小的第二特征子图1和4*4大小的第二特征子图2。对第二特征子图1和第二特征子图2在第列方向进行特征重排。得到中间特征图1。然后再选取子放大倍数2作为初始放大倍数。同样然后采用两个2*2大小的第三卷积核对扩充后的中间特征图1进行卷积操作，此时扩充后的特征图2的大小为5*9，卷积操作后得到4*8大小的第二特征子图3和4*8大小的第二特征子图4。将第二特征子图3和第二特征子图4在列方向进行特征重排，得到最终的在列方向进行4倍放大的特征图2。此时特征图2的大小为4*16。

若第三卷积核的大小为k*k，放大倍数为r，输入维度为(N，H，W)，在第一方向上第一次进行放大后的输出维度为(N，r*H，W)。此时在第一方向进行放大的过程中的参数量为：k*k*N*N*r/2+k*k*N*N*r/2＝k*k*N*N*r。

由此，本公开通过上述两种方法在第一方向上对第一特征集中的各特征图进行放大，以此来降低内存开销以及计算复杂度。

步骤303：对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；

其中，步骤303的具体实施方式可包括以下两种方式：

方式一：针对所述第二特征集中的任一特征图分别执行：采用r个第二卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第二特征图组，所述第二特征图组中包括r个特征子图；对所述第二特征图组中的所述r个特征子图在所述第二方向进行特征重排，得到属于所述第三特征集的且与所述特征图对应的在所述第二方向放大r倍的特征图。

例如，第二特征集中只包括一个特征图，以前文所述的在列方向进行4倍放大的特征图2为例进行说明。此时在第二方向的放大倍数同样为4倍。如图6所示，对4*16大小的特征图2采用4个2*2的第二卷积核进行卷积操作，得到4个4*16的特征子图，分别为第三特征子图1、第三特征子图2。然后将第三特征子图1和第三特征子图2在第二方向进行特征重排，此时的第二方向为行方向。得到在行方向放大4倍的特征图3。此时的特征图3的大小为16*16。

若第一卷积核的大小为k*k，放大倍数为r，输入维度为(N，H，W)，在第一方向进行放大后的输出维度为(N，H，r*W)。此时在第二方向进行放大的过程中的参数量为：k*k*N*N*r。

方法二：将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数；并，针对所述第二特征集中的任一特征图分别执行：并采用与在所述第二方向的初始放大倍数相同的数量的第四卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第四特征图组，所述第四特征图组中特征子图的总数量与所述第四卷积核的数量相等；对所述第四特征图组中的各特征子图在所述第二方向进行特征重排，得到属于第二中间特征集的且与所述特征图对应的在所述第二方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数的步骤，并将所述第二中间特征集作为第二特征集进行处理，直到在所述第二方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第二中间特征集为所述第三特征集。

例如，此时的在第二方向的放大倍数也为4倍。则可将放大倍数划分为子放大倍数3和子放大倍数4。其中，子放大倍数3为2倍，子放大倍数4为2倍。从子放大倍数3和子放大倍数4中随机选取一个未被处理的子放大倍数作为初始放大倍数，例选取的子放大倍数为子放大倍数3。若第二特征集中只包括一个特征图，以前文所述的在列方向进行4倍放大的特征图2为例进行说明。如图7所示，采用2个大小为2*2的第四卷积核对特征图2进行卷积操作，得到与特征图2对应的第四特征图组，第四特征组中包括第四特征子图1和第四特征子图2。对第四特征子图1和第四特征子图2在行方向进行特征重排。得到第二中间特征图。然后再选取子放大倍数4作为初始放大倍数。然后采用两个大小为2*2第四卷积核对扩充后的第二中间特征图进行卷积操作，得到第四特征子图3和第四特征子图4。将第四特征子图3和第四特征子图4在行方向进行特征重排，得到最终的在行方向进行放大4倍的特征图3。此时的特征图3的大小为16*16。

若第四卷积核的大小为k*k，放大倍数为r，输入维度为(N，H，W)，在第一方向进行放大后的输出维度为(N，H，r*W)。此时在第二方向进行放大的过程中的参数量为：k*k*N*N*r。

综上，在对待处理图像进行r倍放大的整个过程的参数量为：k*k*N*N*r(在第一方向进行放大)+k*k*N*N*r(在第二方向进行放大)＝k*k*N*N*r*2。

前文所述的现有技术中放大过程中的参数量为k*k*N*N*r*r。而在卷积核大小，放大倍数，输入维度和输出维度相等的情况下，在进行超倍数(r>2)方法的过程中的参数量远远小于现有技术中的参数量。由此本公开降低了内存开销以及计算复杂度。

步骤304：对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。

综上，本公开将待处理图像的放大过程中分阶段来对图像进行放大，每个阶段产生的数据量较少，故此能够节约内存开销。由此，在图像放大的过程中的参数量也能大大的减少，解决了现有技术中在图像放大的过程中的内存开销比较大并且计算复杂度较高的问题。

为了进一步了解本公开提供的技术方案，下面结合图8进行详细说明，可包括以下步骤：

步骤801：对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；

步骤802：针对所述第一特征集中的任一特征图分别执行：采用r个第一卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第一特征图组，所述第一特征图组中包括r个特征子图；

步骤803：对所述第一特征图组中的所述r个特征子图在所述第一方向进行特征重排；得到属于所述第二特征集的且与所述特征图对应的在所述第一方向放大r倍的特征图；

步骤804：针对所述第二特征集中的任一特征图分别执行：采用r个第二卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第二特征图组，所述第二特征图组中包括r个特征子图；

步骤805：对所述第二特征图组中的所述r个特征子图在所述第二方向进行特征重排，得到属于所述第三特征集的且与所述特征图对应的在所述第二方向放大r倍的特征图；

需要说明的是：所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；

步骤806：对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。

基于相同的发明构思，本公开如上所述的图像放大方法还可以由一种图像放大装置实现。该装置的效果与前述方法的效果相似，在此不再赘述。

图9为根据本公开一个实施例的图像放大装置的结构示意图。

如图9所示，本公开的图像放大装置900可以包括特征提取模块910、第一方向放大模块920、第二方向放大模块930和特征融合模块940。

特征提取模块910，被配置为执行对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；

第一方向放大模块920，被配置为执行对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；

第二方向放大模块930，被配置为执行对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；

特征融合模块940，被配置为执行对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。

在一个实施例中，所述第一方向放大模块920，具体被配置为执行：

针对所述第一特征集中的任一特征图分别执行：

采用r个第一卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第一特征图组，所述第一特征图组中包括r个特征子图；

对所述第一特征图组中的所述r个特征子图在所述第一方向进行特征重排；得到属于所述第二特征集的且与所述特征图对应的在所述第一方向放大r倍的特征图。

在一个实施例中，所述第二方向放大模块930，具体被配置为执行：

针对所述第二特征集中的任一特征图分别执行：

采用r个第二卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第二特征图组，所述第二特征图组中包括r个特征子图；

对所述第二特征图组中的所述r个特征子图在所述第二方向进行特征重排，得到属于所述第三特征集的且与所述特征图对应的在所述第二方向放大r倍的特征图。

在一个实施例中，所述第一方向放大模块920，具体被配置为执行：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数；并，

针对所述第一特征集中的任一特征图分别执行：

采用与在所述第一方向的初始放大倍数相同数量的第三卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第三特征图组，所述第三特征图组中特征子图的总数量与所述第三卷积核的数量相等；

对所述第三特征图组中的各特征子图在所述第一方向进行特征重排，得到属于第一中间特征集的且与所述特征图对应的在所述第一方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数的步骤，并将所述第一中间特征集作为所述第一特征集进行处理，直到在所述第一方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第一中间特征集为所述第二特征集。

在一个实施例中，所述第二方向放大模块930，具体被配置为执行：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数；并，

针对所述第二特征集中的任一特征图分别执行：

并采用与在所述第二方向的初始放大倍数相同的数量的第四卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第四特征图组，所述第四特征图组中特征子图的总数量与所述第四卷积核的数量相等；

对所述第四特征图组中的各特征子图在所述第二方向进行特征重排，得到属于第二中间特征集的且与所述特征图对应的在所述第二方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数的步骤，并将所述第二中间特征集作为第二特征集进行处理，直到在所述第二方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第二中间特征集为所述第三特征集。

在介绍了本公开示例性实施方式的一种图像放大方法和装置之后，接下来，介绍根据本公开的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本公开的电子设备可以至少包括至少一个处理器、以及至少一个计算机存储介质。其中，计算机存储介质存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本公开各种示例性实施方式的图像放大方法中的步骤。例如，处理器可以执行如图3中所示的步骤301-304。

下面参照图10来描述根据本公开的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用电子设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理器1001、上述至少一个计算机存储介质1002、连接不同系统组件(包括计算机存储介质1002和处理器1001)的总线1003。

总线1003表示几类总线结构中的一种或多种，包括计算机存储介质总线或者计算机存储介质控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

计算机存储介质1002可以包括易失性计算机存储介质形式的可读介质，例如随机存取计算机存储介质(RAM)1021和/或高速缓存存储介质1022，还可以进一步包括只读计算机存储介质(ROM)1023。

计算机存储介质1002还可以包括具有一组(至少一个)程序模块1024的程序/实用工具1025，这样的程序模块1024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备1000也可以与一个或多个外部设备1004(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1005进行。并且，电子设备1000还可以通过网络适配器1006与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1006通过总线1003与用于电子设备1000的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本公开提供的一种图像放大方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的一种图像放大方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。

本公开的实施方式的用于图像放大的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。

本公开是参照根据本公开的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种图像放大方法，其特征在于，所述方法包括：

对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；

对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；

对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；

对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集，包括：

针对所述第一特征集中的任一特征图分别执行：

采用r个第一卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第一特征图组，所述第一特征图组中包括r个特征子图；

对所述第一特征图组中的所述r个特征子图在所述第一方向进行特征重排；得到属于所述第二特征集的且与所述特征图对应的在所述第一方向放大r倍的特征图。

3.根据权利要求1所述的方法，其特征在于，所述对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集，包括：

针对所述第二特征集中的任一特征图分别执行：

采用r个第二卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第二特征图组，所述第二特征图组中包括r个特征子图；

对所述第二特征图组中的所述r个特征子图在所述第二方向进行特征重排，得到属于所述第三特征集的且与所述特征图对应的在所述第二方向放大r倍的特征图。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集，包括：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数；并，

针对所述第一特征集中的任一特征图分别执行：

采用与在所述第一方向的初始放大倍数相同数量的第三卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第三特征图组，所述第三特征图组中特征子图的总数量与所述第三卷积核的数量相等；

对所述第三特征图组中的各特征子图在所述第一方向进行特征重排，得到属于第一中间特征集的且与所述特征图对应的在所述第一方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第一方向的初始放大倍数的步骤，并将所述第一中间特征集作为所述第一特征集进行处理，直到在所述第一方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第一中间特征集为所述第二特征集。

5.根据权利要求1所述的方法，其特征在于，所述对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集，包括：

将所述放大倍数r划分成多个子放大倍数，且各所述子放大倍数的乘积等于所述放大倍数r；

从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数；并，

针对所述第二特征集中的任一特征图分别执行：

并采用与在所述第二方向的初始放大倍数相同的数量的第四卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第四特征图组，所述第四特征图组中特征子图的总数量与所述第四卷积核的数量相等；

对所述第四特征图组中的各特征子图在所述第二方向进行特征重排，得到属于第二中间特征集的且与所述特征图对应的在所述第二方向放大所述初始放大倍数的特征图之后，返回执行所述从所述多个子放大倍数中随机选取一个未被处理的子放大倍数作为在所述第二方向的初始放大倍数的步骤，并将所述第二中间特征集作为第二特征集进行处理，直到在所述第二方向的所述多个子放大倍数依次被处理完毕，则结束循环；所述循环结束后得到的第二中间特征集为所述第三特征集。

6.一种图像放大装置，其特征在于，所述装置包括：

特征提取模块，被配置为执行对待处理图像进行特征提取，得到第一特征集，所述第一特征集中包括多个特征图；

第一方向放大模块，被配置为执行对所述第一特征集中的各特征图在第一方向放大r倍，得到第二特征集；r为正整数；

第二方向放大模块，被配置为执行对所述第二特征集中的各特征图在第二方向放大r倍，得到第三特征集；其中，所述第二方向和所述第一方向中一个方向为行方向、另一个方向为列方向；

特征融合模块，被配置为执行对所述第三特征集中的各特征图进行特征融合，得到所述待处理图像放大r倍后的目标图像。

7.根据权利要求6所述的装置，其特征在于，所述第一方向放大模块，具体被配置为执行：

针对所述第一特征集中的任一特征图分别执行：

采用r个第一卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第一特征图组，所述第一特征图组中包括r个特征子图；

对所述第一特征图组中的所述r个特征子图在所述第一方向进行特征重排；得到属于所述第二特征集的且与所述特征图对应的在所述第一方向放大r倍的特征图。

8.根据权利要求6所述的装置，其特征在于，所述第二方向放大模块，具体被配置为执行：

针对所述第二特征集中的任一特征图分别执行：

采用r个第二卷积核对所述特征图进行卷积操作，得到与所述特征图对应的第二特征图组，所述第二特征图组中包括r个特征子图；

对所述第二特征图组中的所述r个特征子图在所述第二方向进行特征重排，得到属于所述第三特征集的且与所述特征图对应的在所述第二方向放大r倍的特征图。

9.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令；所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-5中任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行根据权利要求1-5中任一项所述的方法。

Images