CN112668619A - 图像处理方法、装置、终端及存储介质 - Google Patents

Abstract

本发明申请公开了一种图像处理方法、装置、终端及存储介质。其中，图像处理方法包括：获取待处理的低分辨率图像信息；根据所述待处理的低分辨率图像信息，获取第一特征图；将所述第一特征图输入图像还原模型进行处理；所述图像还原模型为基于级联残差卷积神经网络训练得到的模型；获取处理后的还原图像信息，能够应用特征图和级联残差卷积神经网络进行图像处理，减小了图像处理时模型大小，提高了进行图像处理时的效率。

Description

图像处理方法、装置、终端及存储介质

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置、终端及存储介质。

背景技术

随着科技的发展，越来越多的人应用视频图片留念生活中的宝贵瞬间。但是，为了高效传输、节省空间时间，在储存传输过程中需要对视频图片文件进行压缩。而压缩则会对图像信息进行选择性的保留，再次将图像放大后会因为图像信息的缺失而降低清晰度和保真度。因此，需要对压缩后的图像进行复原放大。

目前，常通过超分算法进行图像放大，由于超分算法不同于检测分类分割类算法，是在原有输入图像的基础之上进行放大，需要大量的浮点型计算，从而导致处理模型较大，还可能导致图像的失真。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种图像处理方法，能够应用特征图和级联残差卷积神经网络进行图像处理，提高了进行图像还原处理时的还原效果和模型的推理速度，并减小了图像还原时模型的大小。

根据本发明的第一方面实施例的图像处理方法，其特征在于，包括：获取待处理的低分辨率图像信息；根据所述待处理的低分辨率图像信息，获取第一特征图；将所述第一特征图输入图像还原模型进行处理；所述图像还原模型为基于级联残差卷积神经网络训练得到的模型；获取处理后的还原图像信息。

根据本发明实施例的图像处理方法，至少具有如下有益效果：应用特征图和级联残差卷积神经网络进行图像还原处理，减小了图像处理时模型大小，提高了进行图像处理时的效率。

根据本发明的一些实施例，所述待处理的图像信息包括：图像内容信息、批次信息、图像类型信息、图像高度信息和图像宽度信息；对应的，所述处理所述待处理的图像信息，以获取所述第一特征图，包括：根据所述图像内容信息、所述批次信息、图像类型信息、图像高度信息和图像宽度信息，将所述待处理的图像信息输入浅层卷积神经网络层，以获取第一特征图。

根据本发明的一些实施例，所述图像还原模型包括至少一个级联神经网络模块、至少一个加权计算模块和至少一个通道注意力计算模块；对应的，所述将第一特征图输入图像还原模型进行处理，包括：将第一特征图输入第一特征提取模块得到第一加权特征图和第二特征图；将所述第二特征图，输入第二特征提取模块得到第一级联特征和第三特征图将所述第三特征图，输入第三特征模块得到第二级联特征和第四特征图；将所述第四特征图，输入第四特征提取模块得到第三级联特征和第五特征图；将所述第五特征图，输入第五特征提取模块得到第四级联特征；级联所述第一级联特征、所述第二级联特征、所述第三级联特征和所述第四级联特征，并输入所述第一通道注意力计算模块以获取第一通道注意力权重；将第一通道注意力权重与第一加权特征图加权得到第二加权特征图和第六特征图。

根据本发明的一些实施例，其特征在于，图像还原模型包括N个级联神经网络模块、N个加权计算模块和N个通道注意力计算模块，N为大于等于2的正整数；所述将第一特征图输入图像还原模型进行处理，还包括：根据所述第4N-2特征图，经过第4N-2特征提取模块得到4N-3特征级联信息和第4N-1特征图；将所述第4N-1特征图，经过第4N-1特征提取模块得到第4N-2特征级联信息和第4N特征图；将所述第4N特征图，经过第4N特征提取模块得到第4N-1特征级联信息和第4N+1特征图；将所述第4N+1特征图，经过第4N+1特征提取模块得到第4N特征级联信息；将所述第4N-3特征级联信息、所述第4N-2特征级联信息、所述第4N-1特征级联信息和所述第4N特征级联信息级联得到第N通道注意力特征图。

根据本发明的一些实施例，其特征在于，所述根据将第N通道注意力特征图，经过第N通道注意力计算模块得到第N通道注意力权重信息，包括：将第N通道注意力特征图，经过第N通道注意力计算模块得到第N通道注意力权重信息；将第N加权特征图与第N通道注意力权重信息加权得到第N+1加权特征图；将所述特征级联信息和所述特征提取信息做加权计算，获取处理后的还原图像信息。

根据本发明的一些实施例，所述第N级联模块包括M个卷积计算子模块；所述将第N加权特征图与第N通道注意力权重信息加权得到第N+1加权特征图，包括：，包括：根据N-1特征级联信息，得到第一特征级联子信息和第一特征提取子信息；将第一特征级联子信息输入第一卷积计算子模块进行卷积计算处理，得到第一子特征图；将第一特征级联子信息和第一子特征图输入加权计算处理，得到第二子特征图；依次类推，直到：根据第2M-2特征图，得到第M特征级联子信息和第M特征提取子信息；将第M特征级联子信息输入第M级联模块进行卷积计算处理，得到第2M-1特征图；将第2M-2特征提取子信息和第2M-1特征图输入第M加权计算处理，得到第2M特征图。

根据本发明的第二方面实施例的图像处理装置，其特征在于，包括：低分辨率图像信息获取模块，获取待处理的低分辨率图像信息；图像还原模块，用于根据所述待处理的低分辨率图像信息，获取第一特征图；将所述第一特征图输入图像还原模型进行处理；所述图像还原模型为基于级联残差卷积神经网络训练得到的模型；输出模块，用于获取处理后的还原图像信息。

根据本发明实施例的图像处理装置，至少具有如下有益效果：应用特征图和级联残差卷积神经网络进行图像处理，减小了模型大小，提高了进行图像处理时的效率。

根据本发明的一些实施例，所述图像还原模块包括：至少一个级联神经网络模块、至少一个注意力计算模块和至少一个加权计算模块。

根据本发明的第三方面实施例的终端，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如第一方面所述的图像处理方法。

根据本发明的第四方面实施例的计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于：执行第一方面所述的图像处理方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一实施例提供的图像处理方法的流程示意图；

图2为本发明另一实施例提供的图像处理方法的流程示意图；

图3为本发明一实施例提供的图像处理装置结构示意图；

图4为本发明另一实施例提供的图像处理装置结构示意图；

图5为本发明一实施例提供的图像处理装置的级联残差卷积神经网络模块结构示意图。

附图标记：

图像处理装置1000；低分辨率图像信息获取模块1100；还原图像输出模块1200；图像还原模块1300；第一残差卷积神经网络模块1310；第二残差卷积神经网络模块1320；第三残差卷积神经网络模块1330；第四残差卷积神经网络模块1340；第五残差卷积神经网络模块1350；第六残差卷积神经网络模块1360；输入模块1301；特征级联模块1302；第一特征级联1303；第一特征提取1304；第二特征级联1305；第二特征提取1306；第三特征级联1307；第三特征提取1308；输出模块1309。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

随着科技的发展，人们喜越来越多的应用视频图片留念生活中的宝贵瞬间。但是，为了高效传输、节省空间时间，在储存传输过程中需要对视频图片文件进行压缩。而压缩则会对图像信息进行选择性的保留，再次将图像放大后会因为图像信息的缺失而降低清晰度和保真度。因此，需要对压缩后的图像进行复原。

目前，常通过超分算法进行图像复原，由于超分算法不同于检测分类分割类算法，是在原有输入图像的基础之上进行放大，需要大量的浮点型计算量，还可能导致图像的失真。超分网络不同于其他检测识别分割类算法，它不对输入特征进行任何下采样操作，因为一旦下采样图像丢失信息，超分结果就会不理想。处理速度过慢，另外也有一些算法采用生成类算法网络，但这可能直接导致图像的失真，如何能既快又准的恢复、放大图像是当前业界难点。

接下来描述本申请中涉及的概念：

1)叠加操作(add)，是两个完全相同维度的特征图进行图像信息相加；

2)级联(concat)，是对两个维度的特征图在某一个方向上进行级联；

3)组卷积，是在普通卷积的基础上对其分组卷积操作，然后将其每组得到的特征图进行级联；

4)深度可分离卷积，是在组卷积的基础上的一种变形和延申，深度可分离卷积是由空间(depthwise)卷积和点(pointwise)卷积组合而成；

5)空间(depthwise)卷积，是组卷积的一种特例，即分组数＝输入通道数；

6)点(pointwise)卷积组，是用于改变输出通道数以及通道注意力权重的计算。

下面，结合附图描述本申请实施例提供的图像处理方法。

在一些实施例中，根据本发明的第一方面实施例的图像处理方法，包括：获取待处理的低分辨率图像信息；根据待处理的低分辨率图像信息，获取第一特征图；将第一特征图输入图像还原模型进行处理；图像还原模型为基于级联残差卷积神经网络训练得到的模型；获取处理后的还原图像信息。

参照图1，图1是本发明一实施例提供的图像处理方法的流程示意图，如图1所示的图像处理方法，至少包括一下步骤：S110：获取待处理的低分辨率图像信息；S120：根据待处理的低分辨率图像信息获取第一特征图；S130：将第一特征图输入图像还原模型进行处理；S140：获取处理后的还原图像信息。

S110：获取待处理的低分辨率图像信息。

在一些实施例中，获取待处理的图像信息包括获取图像的四维信息，以供图像处理方法进行处理。

S120：据待处理的低分辨率图像信息获取第一特征图。

在一些实施例中，应用浅层卷积神经网络对待处理的图像信息进行处理，并获取第一特征图。

S130：将第一特征图输入图像还原模型进行处理。

在一些实施例中，将第一特征图输入图像还原模型以进行图像处理。在进行图像处理的过程中，还会对第一特征图进行进一步的解析，以获取更多的特征图来进行图像处理。图像还原模型为基于级联残差卷积神经网络训练得到的模型。

S140：获取处理后的还原图像信息。

在一些实施例中，获取联残差卷积神经网络最后输出的图像信息，即处理后的图像信息。联残差卷积神经网络对第一特征图进行升采样，以获取高分辨率的图像。

在一些实施例中，本发明实施例基于多重信息蒸馏方式，通过残差结构将不同的信息滤波后得到的特征图叠加多重特征图，将得到的特征图经过通道注意力机制网络得到赋予通道注意力权重的特征图。

在一些实施例中，本发明实施例采用浅层的高效卷积神经网络网络，通过不断迭代残差结构获取不同深度的特征图信息，其中高效卷积神经网络网络减小了网络模型大小，浅层卷积神经网络网络结构降低运算速度。

在一些实施例中，本发明实施例提供的图像处理方法基于对比度的通道注意力，依据标准与均值之和来调整频道的权重，以实现卷积神经网络的特性更偏向底层卷积神经网络，而不是浅层卷积神经网络。

在一些实施例中，本发明实施例提供的图像处理方法整体应用残差结构，每次提取一部分有用的特征，其余特征继续向下通过卷积再进行提取的过程，即“多重蒸馏”，在完成提取的过程后，将每一步提取出来的特征连接起来，再通过一个通道注意力层，最后利用1×1的卷积降维，以调整通道的数量。

在一些实施例中，根据本发明实施例的图像处理方法，至少具有如下有益效果：应用特征图和级联残差卷积神经网络进行图像处理，减小了模型大小，提高了进行图像处理时的效率。

在一些实施例中，待处理的图像信息包括：批次信息、图像类型信息、图像高度信息和图像宽度信息。

在一些实施例中，通过高效卷积，层剪枝和残差网络结构叠加上层特征图信息与经过级联后的高层语义信息得到下一层的输入特征图，以此类推，经过N层得到最终的特征图，再将特征图进行上采样得到最终多通道图像。

在一些实施例中，以输入图片信息为一张分辨率180×320的RBG图像，即输入四维数据：1×3×180×320，其中1代表批次(batch size)，3代表通道数也就是RBG图像，180为图像高，320为图像宽。

在一些实施例中，处理待处理的图像信息，以获取第一特征图，包括：根据批次信息、图像类型信息、图像高度信息和图像宽度信息，将待处理的图像信息输入浅层卷积神经网络层，以获取第一特征图。

在一些实施例中，输入图像先经过一个浅层卷积神经网络层，该浅层卷积神经网络层为32×3×3×3，其中32代表卷积核数量，3为输入通道数，3×3为卷积核的大小，经过该卷积神经网络层后得到特征图大小为：1×32×180×320浅层特征图，即第一特征图，其中1代表批次(batch size)，32代表卷积核数量，3为输入通道数，3×3为卷积核的大小，可知输出特征图的宽高与输入一致。

在一些实施例中，由于超分网络需要对图像进行放大，因此，不会对输入宽高做任何的下采样，但是最后会进行上采样。

在一些实施例中，将第一特征图输入级联残差卷积神经网络，包括：将第一特征图分三路输入级联残差卷积神经网络；获取第二特征图。

在一些实施例中，将浅层特征图分三路输入，并将第一路与处理后的高级卷积层特征图进行叠加(add)操作，由于原始图像在经历过一系列的卷积操作会丢失绝大部分的浅层信息，通过叠加(add)操作，在原有图像信息上叠加高级语义信息以丰富原始图像信息，即残差结构。

在一些实施例中，图像处理方法还包括：第一特征图的第一路与第二特征图进行叠加操作；第一特征图的第二路与通道权重进行叠加操作；第一特征图的第三路经过组卷积获取第三特征图，对第三特征图进行级联处理，将第三特征图分别做特征级联处理和特征提取处理。

在一些实施例中，进行叠加操作时两个特征图维度一致，能够丰富当前维度的特征语义信息，并图像维度保持。

在一些实施例中，将浅层特征图的第二路与通道权重进行叠加(add)操作，其中，通道权重是通过一个卷积核大小为1×1的卷积得到的。

在一些实施例中，将浅层特征图的第二路进行较高级特征语义提取，将该信息经过一个组卷积，该组卷积的参数为32×1×3×3，由于分组数等于输入通道数，因此相当于将输入通道分为32等分，即每一分的维度大小为：32×1×3×3，其中，32是输出通道数，1是输入通道数，3×3是卷积核大小。随后，将32份特征图再级联得到大小为：1×32×180×320的特征图。将第三特征图通过激活层(LeakyReLU)进行特征级联和特征提取。

在一些实施例中，级联(concat)是对两个维度的特征图在某一个方向上进行级联，这两个维度在这个方向上的维度可以不同，通过级联可以实现图像维度增加，丰富了特征语义信息。

在一些实施例中，应用残差网络结构、高效网络卷积层和一定的网络模型层剪枝，通过叠加浅层和级联经过不同卷积层得到的深层特征图对低分辨率图像进行放大N倍。

在一些实施例中，待处理的图像信息包括：图像内容信息、批次信息、图像类型信息、图像高度信息和图像宽度信息；对应的，处理待处理的图像信息，以获取第一特征图，包括：根据图像内容信息、批次信息、图像类型信息、图像高度信息和图像宽度信息，将待处理的图像信息输入浅层卷积神经网络层，以获取第一特征图。

在一些实施例中，图像还原模型包括至少一个级联神经网络模块和至少一个加权计算模块；对应的，将第一特征图输入图像还原模型进行处理，包括：将第一特征图输入级联神经网络模块处理，得到第二特征图；将第一特征图和第二特征图输入加权计算模块进行处理得到第三特征图。

在一些实施例中，图像还原模型还包括：根据特征级联信息处理第2N+1特征图获取权重信息；根据权重信息对特征提取信息进行叠加操作；特征级联信息与特征提取信息的比例为1比3；获取还原后的还原图像信息。

在一些实施例中，特征级联处理和特征提取处理的比例为1比3。

在一些实施例中，经过激活层(LeakyReLU)，再对该分组卷积核在列方向上(dim＝1)进行25％和75％的特征分块，其中25％的分块特征图做特征级联，75％的分块特征图做卷积滤波进行更精细的特征提取。其中，特征级联图的大小为1×8×180×320。其中，分块特征图的大小为1×24×180×320。在分块以后输入到第一个深度可分离卷积，得到大小为1×32×180×320的特征图输出。然后第二次将这两个卷积后的在列方向上(dim＝1)25％分块特征留作后面级联，75％的特征进行更精细的卷积滤波。其中，第二次特征级联的分块大小为1×8×180×320。其中，第二次卷积滤波的分块大小为1×24×180×320。随后再输入到pointwise卷积中，跟上面的方法一样，经过pointwise卷积滤波后得到1×32×180×320特征图，将该特征图进行块方向(dim＝1)分块，25％的特征图和75％的特征图进行更高级的卷积特征提取，即卷积滤波。其中，第三次特征级联的分块大小为1×8×180×320。其中，第三次卷积滤波的分块大小为1×24×180×320。最后一个深度可分离卷积层24×1×3×3的depthwise卷积层和8×24×1×1的pointwise卷积层，得到1×8×180×320的输出特征图，可以看到最后的卷积滤波结果也不再进行分块，而是直接与上面的每层25％的特征图进行级联，这里级联的每个特征图大小为1×8×180×320，将四个特征图级联后得到1×32×180×320大小的特征图。

在一些实施例中，组卷积是在普通卷积的基础上对其分组卷积操作，然后将其每组得到的特征图进行级联(concat)，得到的输出特征图维度与普通卷积一样，组卷积将乘法操作变成加法操作，降低其参数量，减小模型大小，且组卷积提取到的语义信息更比普通卷积更加丰富。

在一些实施例中，空间(depthwise)卷积是组卷积的一种特例，即分组数＝输入通道数，同样参数量呈1/分组数的数量级减小，其卷积核大小为3×3。点(pointwise)卷积核大小为1×1，一般是用在改变输出通道数。两者结合使用就是深度可分离卷积。将其替代普通卷积的目的是减少模型参数量，压缩模型大小，不光能减少模型参数量，也能达到高效提取特征语义信息的作用。

在一些实施例中，图像处理方法还包括：根据特征级联处理后的第三特征图获取权重信息；根据权重信息对特征提取信息进行叠加操作；获取处理后的图像信息。

在一些实施例中，所述待处理的图像信息包括：图像内容信息、批次信息、图像类型信息、图像高度信息和图像宽度信息；对应的，所述处理所述待处理的图像信息，以获取所述第一特征图，包括：根据所述图像内容信息、所述批次信息、图像类型信息、图像高度信息和图像宽度信息，将所述待处理的图像信息输入浅层卷积神经网络层，以获取第一特征图。

在一些实施例中，图像还原模型包括至少一个级联神经网络模块、至少一个加权计算模块和至少一个通道注意力计算模块；对应的，将第一特征图输入图像还原模型进行处理，包括：将第一特征图输入第一特征提取模块得到第一加权特征图和第二特征图；将第二特征图，输入第二特征提取模块得到第一级联特征和第三特征图将第三特征图，输入第三特征模块得到第二级联特征和第四特征图；将第四特征图，输入第四特征提取模块得到第三级联特征和第五特征图；将第五特征图，输入第五特征提取模块得到第四级联特征；级联第一级联特征、第二级联特征、第三级联特征和第四级联特征，并输入第一通道注意力计算模块以获取第一通道注意力权重；将第一通道注意力权重与第一加权特征图加权得到第二加权特征图和第六特征图。

在一些实施例中，图像还原模型包括N个级联神经网络模块、N个加权计算模块和N个通道注意力计算模块，N为大于等于2的正整数；将第一特征图输入图像还原模型进行处理，还包括：根据第4N-2特征图，经过第4N-2特征提取模块得到4N-3特征级联信息和第4N-1特征图；将第4N-1特征图，经过第4N-1特征提取模块得到第4N-2特征级联信息和第4N特征图；将第4N特征图，经过第4N特征提取模块得到第4N-1特征级联信息和第4N+1特征图；将第4N+1特征图，经过第4N+1特征提取模块得到第4N特征级联信息；将第4N-3特征级联信息、第4N-2特征级联信息、第4N-1特征级联信息和第4N特征级联信息级联得到第N通道注意力特征图。

在一些实施例中，根据将第N通道注意力特征图，经过第N通道注意力计算模块得到第N通道注意力权重信息，包括：将第N通道注意力特征图，经过第N通道注意力计算模块得到第N通道注意力权重信息；将第N加权特征图与第N通道注意力权重信息加权得到第N+1加权特征图；将特征级联信息和特征提取信息做加权计算，获取处理后的还原图像信息。

在一些实施例中，第N级联模块包括M个卷积计算子模块；将第N加权特征图与第N通道注意力权重信息加权得到第N+1加权特征图，包括：，包括：根据N-1特征级联信息，得到第一特征级联子信息和第一特征提取子信息；将第一特征级联子信息输入第一卷积计算子模块进行卷积计算处理，得到第一子特征图；将第一特征级联子信息和第一子特征图输入加权计算处理，得到第二子特征图；依次类推，直到：根据第2M-2特征图，得到第M特征级联子信息和第M特征提取子信息；将第M特征级联子信息输入第M级联模块进行卷积计算处理，得到第2M-1特征图；将第2M-2特征提取子信息和第2M-1特征图输入第M加权计算处理，得到第2M特征图。

参照图2，图2为本发明另一实施例提供的图像处理方法的流程示意图，如图2所示的图像处理方法，至少包括以下步骤：S141：根据特征级联处理后的第三特征图获取权重信息；S142：根据权重信息对特征提取信息进行叠加操作；S143：获取还原后的图像信息。

S141：根根据特征级联处理后的第三特征图获取权重信息。

在一些实施例中，最后一个层是基于通道注意力机制设计的通道方向上(dim＝0)的权重计算，将级联后得到的特征图输入到卷积层32×32×1×1，得到一个输入与输出一样大小的特征图：1×32×180×320，即得到每个通道所占的权重。最后将得到的每个通道的权重值与最开始的1×32×180×320浅层特征图进行叠加操作，得到1×32×180×320的输出特征图。

S142：根据权重信息对特征提取信息进行叠加操作。

在一些实施例中，通过不同通道之间的权重信息，进行叠加操作，以获取优化的图片信息。

S143：获取还原后的还原图像信息。

在一些实施例中，本申请实施例提出的图像处理方法，还可以包括多个图像处理模块。不同的模块直接采用残差网络结构进行布置，可以通过叠加获得语义信息更丰富的特征图，并根据相应的特征图进行升采样，以获取高分辨率的图像。

在一些实施例中，残差网络结构用于将原始输入与经过一系列卷积滤波后的结果进行叠加，以获取更加优化的结果。

在一些实施例中，当本申请实施例提出的图像处理方法，包括多个图像处理模块时，将第一个卷积层结果与网络模块倒数第二层的结果进行叠加操作，第二个卷积层与第一个模块的卷积滤波结果进行叠加。类似的第二个模块的第一个卷积层的结果与该模块的卷积滤波结果进行叠加。第三个模块的第一个卷积层的结果与该模块的卷积滤波结果进行叠加。

在一些实施例中，以本申请实施例提出的图像处理方法，包括六个图像处理模块时为例。第六个模块的第一个卷积层的结果与该模块的卷积滤波结果进行叠加得到的特征图，然后再经过一个32×32×3×3的卷积层进行高级特征提取得到1×32×180×320的输出特征图，随后与第一个浅层卷积层特征图1×32×180×320进行叠加得到语义信息更丰富的大小为1×32×180×320的特征图，最后进行升采样，以获取分辨率更高的图像。

在一些实施例中，采用像素重组(PixelShuffle)实现升采样，将叠加后得到的特征图再经过卷积层得到大小为1×48×180×320的特征图，再经过像素重组(PixelShuffle)层，将图像缩放四倍，得到1×3×720×1280的输出。其中，卷积层的参数为48×32×3×3，其中，48是输出通道数，32是输入通道数，3×3是卷积核大小。其中，输出通道数跟上采样因子相关，输入通道数＝输出通道数×上采样因子的平方，即3×4²＝48。

在一些实施例中，采用像素重组的实现过程不是直接通过插值等方式产生这个高分辨率图像，而是通过卷积先得到r乘以r个通道的特征图，随后通过周期筛选(periodicshuffing)的方法得到高分辨率的图像。其中，特征图大小和输入低分辨率图像一致，r为上采样因子(upscaling factor)，即图像的扩大倍率。

在一些实施例中，本申请实施例提出的图像处理方法，将普通卷积替换成深度可分离卷积层和组卷积，这可以使模型的大小缩小15倍。然后通过模型剪枝，将模型需要的CPU运行速度和占用的空间进一步降低。

在一些实施例中，本申请实施例提出的图像处理方法，可以应用连续帧的数据进行训练，经过连续帧训练的算法模型可以获得连续视频数据的效果。

在一些实施例中，根据本申请的第二方面实施例的图像处理装置，包括：信息获取模块，用于获取待处理的图像信息；图像处理模块，用于处理待处理的图像信息，以获取第一特征图；至少一个级联残差卷积神经网络模块，用于将第一特征图输入级联残差卷积神经网络，以获取处理后的图像信息。

在一些实施例中，根据本申请实施例的图像处理装置，至少具有如下有益效果：应用特征图和级联残差卷积神经网络进行图像处理，减小了模型大小，提高了进行图像处理时的效率。

参照图3，图3为本发明一实施例提供的图像处理装置结构示意图，如图3所示的图像处理装置，至少包括以下部分：图像处理装置1000、低分辨率图像信息获取模块1100、还原图像输出模块1200、图像还原模块1300。

在一些实施例中，图像处理装置1000包括有低分辨率图像信息获取模块1100、还原图像输出模块1200和图像还原模块1300。应用图像处理装置1000可以通过残差结构将不同的信息滤波后得到的特征图叠加多重特征图，将得到的特征图经过通道注意力机制网络得到赋予通道注意力权重的特征图。

参照图4，图4为本发明另一实施例提供的图像处理装置结构示意图，如图4所示的图像处理装置，至少包括以下部分：图像处理装置1000、低分辨率图像信息获取模块1100、还原图像输出模块1200、图像还原模块1300、第一残差卷积神经网络模块1310、第二残差卷积神经网络模块1320、第三残差卷积神经网络模块1330、第四残差卷积神经网络模块1340、第五残差卷积神经网络模块1350和第六残差卷积神经网络模块1360。

在一些实施例中，图像处理装置1000还可以包括有低分辨率图像信息获取模块1100、还原图像输出模块1200、图像还原模块1300、第一残差卷积神经网络模块1310、第二残差卷积神经网络模块1320、第三残差卷积神经网络模块1330、第四残差卷积神经网络模块1340、第五残差卷积神经网络模块1350和第六残差卷积神经网络模块1360。应用图像处理装置1000可以包括多个残差卷积神经网络模块，第三个模块的第一个卷积层的结果与该模块的卷积滤波结果进行叠加得到的特征图，然后再经过一个32×32×3×3的卷积层进行高级特征提取得到1×32×180×320的输出特征图，随后与第一个浅层卷积层特征图1×32×180×320进行叠加得到语义信息更丰富的大小为1×32×180×320的特征图，最后进行升采样，以获取分辨率更高的图像。

参照图5，图5为本发明一实施例提供的图像处理装置的级联残差卷积神经网络模块结构示意图，如图5所示的级联残差卷积神经网络模块，至少包括以下部分：输入模块1301、特征级联模块1302、第一特征级联1303、第一特征提取1304、第二特征级联1305、第二特征提取1306、第三特征级联1307、第三特征提取1308、输出模块1309。

在一些实施例中，图像还原模块1300包括：输入模块1301、特征级联模块1302、第一特征级联1303、第一特征提取1304、第二特征级联1305、第二特征提取1306、第三特征级联1307、第三特征提取1308和输出模块1309。应用图像还原模块1300可以实现升采样，将叠加后得到的特征图再经过卷积层得到大小为1×48×180×320的特征图，再经过像素重组(PixelShuffle)层，将图像缩放四倍，得到1×3×720×1280的输出。

在一些实施例中，根据本申请的第三方面实施例的终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现：如第一方面的图像处理方法。

在一些实施例中，根据本申请的第四方面实施例的计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行第一方面的图像处理方法。

在一些实施例中，用本申请实施例提供的图像处理方法进行图像处理时，应用深度可分离卷积层和组卷积，减小了模型大小，提高了进行图像处理时的效率。

在一些实施例中，以应用型号为i7-8500的CPU进行图像处理为例，当应用相关技术中的图像处理方法进行图像处理时，当输入的图像分辨率为180×120、帧数为51帧时，模型的建立时长为4.392s；当输入的图像分辨率为480×270、帧数为51帧时，模型的建立时长为40.534s。当应用本申请实施例提供的图像处理方法进行图像处理时，当输入的图像分辨率为180×120、帧数为51帧时，模型的建立时长为1.117s；当输入的图像分辨率为480×270、帧数为51帧时，模型的建立时长为6.776s。由此可见，应用本申请实施例提供的图像处理方法进行图像处理可以提高模型的推理速度。

在一些实施例中，本申请实施例通过对图像处理方法的改进可以将图像处理模型的推理速度提高四至六倍。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取待处理的低分辨率图像信息；

根据所述待处理的低分辨率图像信息，获取第一特征图；

将所述第一特征图输入图像还原模型进行处理；所述图像还原模型为基于残差卷积神经网络训练得到的模型；

获取处理后的还原图像信息。

2.根据权利要求1所述的图像处理方法，其特征在于，所述待处理的图像信息包括：

图像内容信息、批次信息、图像类型信息、图像高度信息和图像宽度信息；

对应的，所述处理所述待处理的图像信息，以获取所述第一特征图，包括：

根据所述图像内容信息、所述批次信息、图像类型信息、图像高度信息和图像宽度信息，将所述待处理的图像信息输入浅层卷积神经网络层，以获取第一特征图。

3.根据权利要求1所述的图像处理方法，其特征在于，

所述图像还原模型包括至少一个级联神经网络模块、至少一个加权计算模块和至少一个通道注意力计算模块；

对应的，所述将所述第一特征图输入图像还原模型进行处理，包括：

将第一特征图输入第一特征提取模块得到第一加权特征图和第二特征图；

将所述第二特征图，输入第二特征提取模块得到第一级联特征和第三特征图

将所述第三特征图，输入第三特征模块得到第二级联特征和第四特征图；

将所述第四特征图，输入第四特征提取模块得到第三级联特征和第五特征图；

将所述第五特征图，输入第五特征提取模块得到第四级联特征；

级联所述第一级联特征、所述第二级联特征、所述第三级联特征和所述第四级联特征，并输入第一通道注意力计算模块以获取第一通道注意力权重；

将所述第一通道注意力权重与第一加权特征图加权得到第二加权特征图和第六特征图。

4.根据权利要求3所述的图像处理方法，其特征在于，图像还原模型包括N个级联神经网络模块、N个加权计算模块和N个通道注意力计算模块，N为大于等于2的正整数；所述将第一特征图输入图像还原模型进行处理，还包括：

根据第4N-2特征图，经过第4N-2特征提取模块得到4N-3特征级联信息和第4N-1特征图；

将所述第4N-1特征图，经过第4N-1特征提取模块得到第4N-2特征级联信息和第4N特征图；

将所述第4N特征图，经过第4N特征提取模块得到第4N-1特征级联信息和第4N+1特征图；

将所述第4N+1特征图，经过第4N+1特征提取模块得到第4N特征级联信息；

将所述第4N-3特征级联信息、所述第4N-2特征级联信息、所述第4N-1特征级联信息和所述第4N特征级联信息级联得到第N通道注意力特征图。

5.根据权利要求4所述的图像处理方法，其特征在于，所述根据将第N通道注意力特征图，经过第N通道注意力计算模块得到第N通道注意力权重信息，包括：

将第N通道注意力特征图，经过第N通道注意力计算模块得到第N通道注意力权重信息；

将第N加权特征图与第N通道注意力权重信息加权得到第N+1加权特征图；

将所述特征级联信息和所述特征提取信息做加权计算，获取处理后的还原图像信息。

6.根据权利要求5所述的图像处理方法，其特征在于，所述第N级联模块包括M个卷积计算子模块；

所述将第N加权特征图与第N通道注意力权重信息加权得到第N+1加权特征图，包括：

根据N特征级联信息，得到第一特征级联子信息和第一特征提取子信息；

将第一特征级联子信息输入第一卷积计算子模块进行卷积计算处理，得到第一子特征图；

将第一特征级联子信息和第一子特征图输入加权计算处理，得到第二子特征图；

依次类推，直到：

根据第2M-2特征图，得到第M特征级联子信息和第M特征提取子信息；

将第M特征级联子信息输入第M级联模块进行卷积计算处理，得到第2M-1特征图；

将第2M-2特征提取子信息和第2M-1特征图输入第M加权计算处理，得到第2M特征图。

7.一种图像处理装置，其特征在于，包括：

低分辨率图像信息获取模块，获取待处理的低分辨率图像信息；

图像还原模块，用于根据所述待处理的低分辨率图像信息，获取第一特征图；将所述第一特征图输入图像还原模型进行处理；所述图像还原模型为基于级联残差卷积神经网络训练得到的模型；

输出模块，用于获取处理后的还原图像信息。

8.根据权利要求7所述的图像处理装置，其特征在于，所述图像还原模块包括：

至少一个级联神经网络模块至少一个注意力计算模块和至少一个加权计算模块。

9.一种终端，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：

如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于：

执行权利要求1至6中任一项所述的图像处理方法。

Images