CN111724292B - 图像处理方法、装置、设备以及计算机可读介质 - Google Patents

Abstract

公开了一种图像处理方法和装置，包括：接收输入图像，对所述输入图像进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征，其中所述第一尺寸小于所述第二尺寸，所述第二尺寸小于所述第三尺寸；利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征；利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征；以及基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像。

Description

图像处理方法、装置、设备以及计算机可读介质

技术领域

本公开涉及图像处理领域，具体涉及一种用于图像处理方法、装置、设备以及计算机可读介质。

背景技术

在现有的图像处理方法中，使用递归的方式实现针对输入图像相关联的多个不同尺寸的图像特征的处理。然而，在使用递归的图像处理算法中，由于需要保存每一级递归生成的结果用于后续使用，因此将占用较大的内存空间。

此外，在现有的使用递归的图像处理方法中，高分辨率的图像信息会被转移到低分辨率的图像信息中，并导致更为复杂的参数优化环境，从而使得图像处理的结果更坏。

发明内容

针对以上问题，本公开提供一种新的图像处理方法，其能够不使用递归结构而实现对于图像的多个不同尺寸的图像特征的处理。

根据本公开的一方面，提出了一种图像处理方法，包括：接收输入图像，对所述输入图像进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征，其中所述第一尺寸小于所述第二尺寸，所述第二尺寸小于所述第三尺寸；利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征；利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征；以及基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像。

在一些实施例中，利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征包括：对所述第二尺寸的第二图像特征进行下采样，以得到第一尺寸的下采样后的第二图像特征；对下采样后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第一补偿图像特征；对第一补偿图像特征进行上采样，以得到第二尺寸的上采样后的第一补偿图像特征；对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征执行叠加操作，以生成第二尺寸的补偿后的第二图像特征。

在一些实施例中，对下采样后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作包括：对下采样后的第二图像特征和所述第一尺寸的第一图像特征中的对应元素执行减法操作；或对下采样后的第二图像特征和所述第一尺寸的第一图像特征的组合执行卷积操作。

在一些实施例中，对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征执行叠加操作包括：对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征中的对应元素执行加法操作。

在一些实施例中，利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成补偿后的第三图像特征包括：对所述第三尺寸的第三图像特征进行下采样，以得到第二尺寸的下采样后的第三图像特征；对下采样后的第三图像特征和所述补偿后的第二图像特征执行去叠加操作，以生成第二尺寸的第二补偿图像特征；对所述第二尺寸的第二补偿图像特征进行上采样，以得到第三尺寸的上采样后的第二补偿图像特征；对所述第三尺寸的第三图像特征和上采样的第二补偿图像特征执行叠加操作，以生成第三尺寸的补偿后的第三图像特征。

在一些实施例中，基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像包括：对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征；对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征；对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征；对所述补偿后的第二图像特征和所述上采样后的第三补偿图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征；对所述补偿后的第三图像特征进行下采样，以得到第二尺寸的下采样后的补偿后的第三图像特征；对下采样后的补偿后的第三图像特征和所述进一步补偿的第二图像特征执行去叠加操作，以生成第二尺寸的第四补偿图像特征；对所述第二尺寸的第四补偿图像特征进行上采样，以得到第三尺寸的上采样后的第四补偿图像特征；对所述补偿后的第三图像特征和上采样的第四补偿图像特征执行叠加操作，以生成第三尺寸的进一步补偿的第三图像特征；以及基于所述进一步补偿的第二图像特征或所述进一步补偿的第三图像特征生成输出图像。

在一些实施例中，对所述输入图像进行处理以确定与所述输入图像相关联的具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征包括：根据所述输入图像确定具有第一尺寸的第一输入图像，具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像，分别对所述第一输入图像、所述第二输入图像和所述第三输入图像进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第一输入图像特征和具有第三尺寸的第二输入图像特征；对所述第一尺寸的第一图像特征进行上采样，并对所述第一输入图像特征和上采样后的第一图像特征执行叠加操作，以获得第二尺寸的第二图像特征；对所述第二尺寸的第二图像特征进行上采样，并对上采样后的第二图像特征和所述第二输入图像特征执行叠加操作，以获得第三尺寸的第三图像特征。

在一些实施例中，所述输入图像具有第一尺寸，根据所述输入图像确定具有第一尺寸的第一输入图像，具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像包括：将所述输入图像确定为具有第一尺寸的第一输入图像；对第一尺寸的第一输入图像进行上采样以生成具有第二尺寸的第二输入图像；对第二尺寸的第二输入图像进行上采样以生成具有第三尺寸的第三输入图像。

在一些实施例中，基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像包括：利用所述第一尺寸的第一图像特征对所述补偿后的第二图像特征进行补偿，以生成进一步补偿的第二图像特征；利用所述进一步补偿的第二图像特征对所述补偿后的第三图像特征进行补偿，以生成进一步补偿的第三图像特征；以及基于所述进一步补偿的第二图像特征或所述进一步补偿的第三图像特征生成输出图像。

在一些实施例中，利用所述第一尺寸的第一图像特征对所述补偿后的第二图像特征进行补偿，以生成进一步补偿的第二图像特征包括：对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征；对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征；对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征；对上采样后的第三补偿图像特征和所述第二尺寸的补偿后的第二图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征。

在一些实施例中，利用所述进一步补偿的第二图像特征对所述补偿后的第三图像特征进行补偿，以生成进一步补偿的第三图像特征包括：对所述补偿后的第三图像特征进行下采样，以得到第二尺寸的下采样后的补偿后的第三图像特征；对下采样后的补偿后的第三图像特征和所述进一步补偿的第二图像特征执行去叠加操作，以生成第二尺寸的第四补偿图像特征；对所述第二尺寸的第四补偿图像特征进行上采样，以得到第三尺寸的上采样后的第四补偿图像特征；对所述补偿后的第三图像特征和上采样的第四补偿图像特征执行叠加操作，以生成第三尺寸的进一步补偿的第三图像特征。

在一些实施例中，所述第二尺寸是所述第一尺寸的N倍，第三尺寸是所述第二尺寸的N倍，N是大于1的整数。

根据本公开的另一方面，提出了一种图像处理装置，包括：接收模块，配置成接收输入图像；图像特征处理模块，配置成对所述输入图像进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征，其中所述第一尺寸小于所述第二尺寸，所述第二尺寸小于所述第三尺寸；图像特征补偿模块，包括：第一补偿单元，配置成利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征；以及第二补偿单元，配置成利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征；以及输出模块，配置成基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像。

在一些实施例中，所述第一补偿单元进一步配置成：利用下采样子单元对所述第二尺寸的第二图像特征进行下采样，以得到第一尺寸的下采样后的第二图像特征；利用去叠加子单元对下采样后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第一补偿图像特征；利用上采样子单元对第一补偿图像特征进行上采样，以得到第二尺寸的上采样后的第一补偿图像特征；以及利用叠加子单元对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征执行叠加操作，以生成第二尺寸的补偿后的第二图像特征。

在一些实施例中，所述去叠加子单元进一步配置成：对下采样后的第二图像特征和所述第一尺寸的第一图像特征中的对应元素执行减法操作；或对下采样后的第二图像特征和所述第一尺寸的第一图像特征的组合执行卷积操作。

在一些实施例中，所述叠加子单元进一步配置成：对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征中的对应元素执行加法操作。

在一些实施例中，所述第二补偿单元进一步配置成：利用下采样子单元对所述第三尺寸的第三图像特征进行下采样，以得到第二尺寸的下采样后的第三图像特征；利用去叠加子单元对下采样后的第三图像特征和所述补偿后的第二图像特征执行去叠加操作，以生成第二尺寸的第二补偿图像特征；利用上采样子单元对所述第二尺寸的第二补偿图像特征进行上采样，以得到第三尺寸的上采样后的第二补偿图像特征；利用叠加子单元对所述第三尺寸的第三图像特征和上采样的第二补偿图像特征执行叠加操作，以生成第三尺寸的补偿后的第三图像特征。

在一些实施例中，所述输出模块进一步配置成：利用下采样子单元对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征；利用去叠加子单元对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征；利用上采样子单元对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征；利用叠加子单元对所述补偿后的第二图像特征和所述上采样后的第三补偿图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征；利用下采样子单元对所述补偿后的第三图像特征进行下采样，以得到第二尺寸的下采样后的补偿后的第三图像特征；利用去叠加子单元对下采样后的补偿后的第三图像特征和所述进一步补偿的第二图像特征执行去叠加操作，以生成第二尺寸的第四补偿图像特征；利用上采样子单元对所述第二尺寸的第四补偿图像特征进行上采样，以得到第三尺寸的上采样后的第四补偿图像特征；利用叠加子单元对所述补偿后的第三图像特征和上采样的第四补偿图像特征执行叠加操作，以生成第三尺寸的进一步补偿的第三图像特征；以及基于所述进一步补偿的第二图像特征或所述进一步补偿的第三图像特征生成输出图像。

在一些实施例中，所述图像特征处理模块进一步配置成：根据所述输入图像确定具有第一尺寸的第一输入图像，具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像，分别对所述第一输入图像、所述第二输入图像和所述第三输入图像进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第一输入图像特征和具有第三尺寸的第二输入图像特征；对所述第一尺寸的第一图像特征进行上采样，并对所述第一输入图像特征和上采样后的第一图像特征执行叠加操作，以获得第二尺寸的第二图像特征；对所述第二尺寸的第二图像特征进行上采样，并对上采样后的第二图像特征和所述第二输入图像特征执行叠加操作，以获得第三尺寸的第三图像特征。

在一些实施例中，所述输入图像具有第二尺寸，根据所述输入图像确定具有第一尺寸的第一输入图像，具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像包括：对第二尺寸的所述输入图像进行下采样以生成具有第一尺寸的第一输入图像；将所述输入图像确定为第二尺寸的第二输入图像；对第二尺寸的所述输入图像进行上采样以生成具有第三尺寸的第三输入图像。

在一些实施例中，所述图像处理装置包括级联的N级图像特征补偿模块，其中第i+1级图像特征补偿模块配置成利用第一尺寸的第一图像特征对第i级图像特征补偿模块的生成的补偿后的第二图像特征进行补偿以获得进一步补偿的第二图像特征，并利用进一步补偿的第二图像特征对第i级图像特征补偿模块的生成的补偿后的第三图像特征进行补偿，以获得进一步补偿的第三图像特征，其中N是大于1的整数，1≤i＜N；以及，所述输出模块还配置成：基于第N级图像特征补偿单元生成的补偿后的第二图像特征或第N级图像特征补偿单元生成的补偿后的第三图像特征确定输出图像。

在一些实施例中，所述第i+1级图像特征补偿模块进一步配置成：对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征；对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征；对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征；对上采样后的第三补偿图像特征和所述第二尺寸的补偿后的第二图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征。

在一些实施例中，所述第i+1级图像特征补偿模块进一步配置成：对所述补偿后的第三图像特征进行下采样，以得到第二尺寸的下采样后的补偿后的第三图像特征；对下采样后的补偿后的第三图像特征和所述进一步补偿的第二图像特征执行去叠加操作，以生成第二尺寸的第四补偿图像特征；对所述第二尺寸的第四补偿图像特征进行上采样，以得到第三尺寸的上采样后的第四补偿图像特征；对所述补偿后的第三图像特征和上采样的第四补偿图像特征执行叠加操作，以生成第三尺寸的进一步补偿的第三图像特征。

在一些实施例中，所述第二尺寸是所述第一尺寸的N倍，所述第三尺寸是所述第二尺寸的N倍，N是大于1的整数。

根据本公开的另一方面，还提供了一种图像处理设备，包括处理器和存储器，其中存储器中存储有指令，所述指令在被处理器执行时，使得所述处理器执行如前所述的图像处理方法。

根据本公开的另一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如前所述的图像处理方法。

利用本公开提供的技术方案，通过对与输入图像相关联的不同尺寸的图像特征依次进行补偿，能够在不需要递归的情况下实现对输入图像的多个不同尺寸的图像特征的处理，从而减少图像处理过程中的内存消耗。此外，利用本公开提供的技术方案，由于始终是利用更低分辨率的图像特征对更高分辨率的图像特征进行补偿，因此高分辨率的图像信息不会对低分辨率的图像信息造成影响，从而能够简化图像处理方法的参数优化过程，并提高最终的输出图像的图像质量。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本公开的主旨。

图1示出了根据本公开的实施例的图像处理方法的示意性的流程图；

图2示出了利用反向投影方法生成超分辨率图像的原理的示意图；

图3示出了根据本公开的实施例的一种图像处理装置的示意性的框图；

图4示出了根据本公开的实施例的另一种图像处理装置的示意性的框图；

图5示出了根据本公开的实施例的图像特征处理模块的示例；

图6示出了根据本公开的实施例的图像处理装置的一种示例型的网络结构；

图7示出了根据本公开的实施例的图像特征补偿单元的示意性的结构图；

图8A示出了根据本公开的叠加子单元的工作原理的示意图；

图8B示出了根据本公开的去叠加子单元的工作原理的示意图；以及

图9示出了根据本公开的实施例的计算设备的架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、

“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性连接或信号连接，不管是直接的还是间接的。

用于图像处理的卷积网络可以使用图像作为输入和输出，并且在卷积网络的中间层对与输入图像相关联的图像特征进行处理。在经过一定的训练之后，可以利用卷积网络实现图像处理。例如，可以训练卷积网络以生成基于输入图像的超分辨率图像或对输入图像进行去模糊、去噪、着色、去雾等处理。可以利用原始的高分辨率图像或清晰图像对对卷积网络进行训练。

图1示出了根据本公开的实施例的图像处理方法的示意性的流程图100。在步骤S102中，可以接收输入图像。

在步骤S104中，可以对接收的输入图像进行处理以确定与所述输入图像相关联的具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征，其中所述第一尺寸小于所述第二尺寸，所述第二尺寸小于所述第三尺寸。这里所说的图像尺寸可以是以像素为单位的尺寸，因此，图像或图像特征的尺寸越大意味着其分辨率越高。

这里所述的尺寸指的是图像或图像特征的长或宽的尺寸。在一些实施例中，所述第二尺寸是所述第一尺寸的N倍，所述第三尺寸是所述第二尺寸的N倍，N是大于1的整数。例如，N可以等于2、3、4等。在本公开中以N＝2为，即第二尺寸是第一尺寸的×2倍、第三尺寸是第二尺寸的×2倍描述本公开涉及的原理。例如，假设第一图像特征的尺寸是16*16，那么第二图像特征的尺寸是32*32，第三图像特征的尺寸是64*64。

在一些实施例中，可以基于所接收的输入图像生成不同尺寸的其他输入图像，从而生成之后的图像处理过程中所需要的不同尺寸的图像特征。本公开提供的技术方案不限制输入图像的尺寸，可以利用上采样和下采样的方式对输入图像进行处理以满足本公开提供的图像处理装置的输入要求。

在一些实施例中，可以基于第一输入图像、第二输入图像以及第三输入图像确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征。

在本公开的实施例中，“图像特征”指的是利用训练好的分析网络对图像进行处理后输出的结果。例如，分析网络可以实现为卷积网络。通过对图像进行卷积处理得到的图像特征能够表示图像中更高阶的信息，例如图像中的语义信息。通过利用训练好的神经网络对图像特征进行进一步处理能够实现对输入图像产生预定义的处理结果。

可以利用第一尺寸的第一图像特征对分辨率更高的第二图像特征和第三图像特征进行补偿。

在一些实施例中，在步骤S104中，可以根据所述输入图像确定具有第一尺寸的第一输入图像，具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像。

例如，如果输入图像具有第一尺寸，那么可以将输入图像确定为第一输入图像，并对输入图像分别进行一次上采样和两次上采样以生成具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像。又例如，如果输入图像具有第二尺寸，那么可以将输入图像确定为第二输入图像，并对输入图像进行一次下采样以生成具有第一尺寸的第一输入图像，对输入图像进行一次上采样以生成具有第三尺寸的第三输入图像。再例如，如果输入图像具有的第三尺寸，那么可以将输入图像确定为第三输入图像，并对输入图像分别进行一次下采样和两次下采样以生成具有第二尺寸的第二输入图像和具有第一尺寸的第一输入图像。以此类推，本公开提供的技术方案不限制输入图像的尺寸，可以利用上采样和下采样的方式对输入图像进行处理以满足本公开提供的图像处理装置的输入要求。

分别对所述第一输入图像、所述第二输入图像和所述第三输入图像进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第一输入图像特征和具有第三尺寸的第二输入图像特征。

然后，可以对所述第一图像特征进行上采样，并对所述第一输入图像特征和上采样后的第一图像特征执行叠加操作，以获得第二尺寸的第二图像特征。进一步地，可以对所述第二图像特征进行上采样，并对上采样后的第二图像特征和所述第二输入图像特征执行叠加操作，以获得第三图像特征。

在步骤S106中，可以利用所述第一图像特征对所述第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征。

图2示出了利用反向投影方法生成超分辨率图像的原理的示意图。如图2所示，其中带有上箭头的方块210表示上采样操作，带有下箭头的方块220表示下采样操作。包括加号的圆圈230表示叠加操作，带有负号的包括加号的圆圈240表示去叠加操作。

如果要基于低分辨率图像LR生成更大尺寸的高分辨率图像，可以利用例如上采样单元210对低分辨率图像LR进行上采样以增加低分辨率图像LR的尺寸。然而，可以理解的是，仅通过一次上采样得到的高分辨率图像的质量是不高的。为了提升高分辨率图像的质量，可以通过反向投影的方式对高分辨率图像进行补偿。

例如，可以利用下采样单元220对高分辨率图像进行下采样，并利用去叠加单元240确定下采样后的高分辨率图像与原低分辨率图像之间的差别图像，这样的差别图像可以用来表示高分辨率图像与原低分辨率图像之间的差异。可以利用这样确定的差别图像对高分辨率图像进行补偿。例如可以将上述差别图像上采样至与高分辨率图像相同的尺寸，并将所述差别图像与高分辨率图像相叠加，从而生成与原低分辨率图像更接近的高分辨率图像。

在一些实施例中，在步骤S106中，可以利用下采样子单元对所述第二图像特征进行下采样，以得到第一尺寸的下采样后的第二图像特征。然后，可以利用去叠加子单元对下采样后的第二图像特征和第一图像特征执行去叠加操作，以生成第一尺寸的第一补偿图像特征。进一步地，可以利用上采样子单元对第一补偿图像特征进行上采样，以得到第二尺寸的上采样后的第一补偿图像特征。进一步地，可以利用叠加子单元对上采样后的第一补偿图像特征和所述第二图像特征执行叠加操作，以生成第二尺寸的补偿后的第二图像特征。

其中，去叠加子单元可以用于生成两个图像特征之间的差别信息，其可以配置成对下采样后的第二图像特征和第一图像特征中的对应元素执行减法操作。或者去叠加子单元可以对下采样后的第二图像特征和第一图像特征的组合执行卷积操作，即利用训练好的卷积层生成下采样后的第二图像特征和第一图像特征之间的差别。此外，叠加子单元可以用于叠加两个图像特征之间的信息，例如，其可以配置成对上采样后的第一补偿图像特征和所述第二图像特征执行卷积操作或对上采样后的第一补偿图像特征和所述第二图像特征中的对应元素执行加法操作。

在步骤S108中，可以利用所述补偿后的第二图像特征对第三尺寸的第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征。

在一些实施例中，步骤S908可以进一步包括：利用下采样子单元对所述第三图像特征进行下采样，以得到第二尺寸的下采样后的第三图像特征。然后，可以利用去叠加子单元对下采样后的第三图像特征和所述补偿后的第二图像特征执行去叠加操作，以生成第二尺寸的第二补偿图像特征。进一步地，可以利用上采样子单元对第二补偿图像特征进行上采样，以得到第三尺寸的上采样的第二补偿图像特征。进一步地，可以利用叠加子单元对所述第三图像特征和上采样的第二补偿图像特征执行叠加操作，以生成第三尺寸的补偿后的第三图像特征。

其中，去叠加子单元可以配置成对下采样后的第三图像特征和所述补偿后的第二图像特征中的对应元素执行减法操作。例如可以用补偿后的第二图像特征中的元素的值减去下采样后的第三图像特征中对应元素的值。在一些实施例中，去叠加子单元可以配置成对下采样后的第三图像特征和所述补偿后的第二图像特征的组合执行卷积操作，即利用训练好的卷积层生成下采样后的第三图像特征和补偿后的第二图像特征之间的差别。例如，可以将下采样后的第二图像特征和第一图像特征进行拼接，形成一个尺寸更大的特征。通过对这个尺寸更大的特征进行卷积处理，能够得到与下采样后的第二图像特征和第一图像特征尺寸相同的一个新的图像特征。利用上述方法卷积得到的新的图像特征能够表示下采样后的第二图像特征和第一图像特征之间的差别。在下文中结合图8B描述了上述卷积处理的具体过程。

叠加子单元可以用于叠加两个图像特征之间的信息，例如，其可以配置成对第三图像特征和上采样的第二补偿图像特征执行卷积操作或对第三图像特征和上采样的第二补偿图像特征中的对应元素执行加法操作。在下文中结合图8A描述了上述卷积处理的具体过程。

在步骤S110中，可以基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像。在一些实施例中，可以利用合成网络对步骤S906输出的补偿后的第二图像特征进行合成，从而生成具有第二尺寸的输出图像。因此，利用本公开提供的图像处理方法可以对第一尺寸的输入图像进行处理以生成2倍放大的输出图像，也可以对第二尺寸的输入图像进行处理以生成尺寸不变的图像增强的输出图像。或者可以利用合成网络对步骤S908输出的补偿后的第三图像特征进行合成，从而生成具有第三尺寸的输出图像。因此，利用本公开提供的图像处理方法可以对第一尺寸的输入图像进行处理以生成4倍放大的输出图像，也可以对第二尺寸的输入图像进行处理以生成2倍放大的输出图像，也可以对第三尺寸的输入图像进行处理以生成尺寸不变的图像增强的输出图像。由于本公开提供的图像处理方法中能够处理多个不同尺寸的图像特征，因此，本领域技术人员可以根据需要选择不同尺寸的输出图像特征用来获得最终的输出图像。

在一些实施例中，在步骤S110中，可以利用所述第一图像特征对所述补偿后的第二图像特征进行补偿，以生成进一步补偿的第二图像特征。然后，可以利用所述进一步补偿的第二图像特征对所述补偿后的第三图像特征进行补偿，以生成进一步补偿的第三图像特征。进一步地，可以基于所述进一步补偿的第二图像特征或所述进一步补偿的第三图像特征生成输出图像。

在一些实施例中，利用所述第一尺寸的第一图像特征对所述补偿后的第二图像特征进行补偿，以生成进一步补偿的第二图像特征可以包括：对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征。然后，可以对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征。进一步地，可以对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征。进一步地，对上采样后的第三补偿图像特征和所述第二尺寸的补偿后的第二图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征。

利用所述进一步补偿的第二图像特征对所述补偿后的第三图像特征进行补偿，以生成进一步补偿的第三图像特征可以包括对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征。然后，可以对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征。然后，可以对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征。进一步地，可以对上采样后的第三补偿图像特征和所述第二尺寸的补偿后的第二图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征。

利用本公开提供的图像处理方法，能够利用图像特征补偿模块对两个或更多的高分辨率的图像特征进行补偿，而不需要利用复杂的递归结构。此外，通过按照分辨率从低到高的顺序对不同尺寸的图像特征依次进行补偿，能够确保只有低分辨率的信息被转移到高分辨率的图像特征中，而高分辨率的信息不会被转移到低分辨率的图像特征中，从而降低图像处理方法的复杂性。

图3示出了根据本公开的实施例的一种图像处理装置的示意性的框图。如图3所示，图像处理装置300可以包括接收模块310、图像特征处理模块320、图像特征补偿模块330以及输出模块340。

接收模块310可以配置成接收输入图像。在一些实施例中，可以取回存储在数据库中的图片作为输入图像。在另一些实施例中，可以通过图像采集设备(例如照相机、摄像机)等采集图像作为输入图像。

图像特征处理模块320可以配置成对接收模块310接收的输入图像进行处理以确定与所述输入图像相关联的具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征，其中所述第一尺寸小于所述第二尺寸，所述第二尺寸小于所述第三尺寸。在一些实施例中，所述第二尺寸是所述第一尺寸的N倍，第三尺寸是所述第二尺寸的N倍，N是大于1的整数。

在一些实施例中，接收模块310可以基于所接收的输入图像生成不同尺寸的其他输入图像，从而生成之后的图像处理过程中所需要的不同尺寸的图像特征。在一些实施例中可以对接收的输入图像进行上采样或下采样，从而获得第一尺寸的第一输入图像、第二尺寸的第二输入图像以及第三尺寸的第三输入图像。

在一些实施例中，可以基于第一输入图像、第二输入图像以及第三输入图像确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征。

图像特征补偿模块330可以配置成利用第一尺寸的第一图像特征对分辨率更高的第二图像特征和第三图像特征进行补偿。如图3所示，图像特征补偿模块330可以包括第一补偿单元331和第二补偿单元332。其中，第一补偿单元331可以配置成利用所述第一图像特征对所述第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征。第二补偿单元332可以配置成利用所述补偿后的第二图像特征对所述第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征。在一些实施例中，第一补偿单元331和第二补偿单元332可以实现为相同的结构。

在一些实施例中，第一补偿单元331和第二补偿单元332可以采用反向投影(back-projection)的原理进行补偿。

图3中示出的图像特征补偿模块330仅包括两个补偿单元，也就是说，图3中示出的图像特征补偿模块可以对两种不同尺寸的较大尺寸的图像特征进行补偿。然而，本公开的内容不止于此。可以理解的是，本领域技术人员可以根据实际情况在图像特征补偿模块中设置更多级补偿单元，从而能够对更多尺寸的图像特征进行补偿。

在一些实施例中，第一补偿单元331可以进一步配置成：利用下采样子单元对所述第二图像特征进行下采样，以得到第一尺寸的下采样后的第二图像特征；利用去叠加子单元对下采样后的第二图像特征和第一图像特征执行去叠加操作，以生成第一尺寸的第一补偿图像特征；利用上采样子单元对第一补偿图像特征进行上采样，以得到第二尺寸的上采样后的第一补偿图像特征；以及利用叠加子单元对上采样后的第一补偿图像特征和所述第二图像特征执行叠加操作，以生成第二尺寸的补偿后的第二图像特征。

其中，去叠加子单元可以用于生成两个图像特征之间的差别信息，其可以配置成对下采样后的第二图像特征和第一图像特征中的对应元素执行减法操作；或对下采样后的第二图像特征和第一图像特征的组合执行卷积操作，即利用训练好的卷积层生成下采样后的第二图像特征和第一图像特征之间的差别。例如，可以将下采样后的第二图像特征和第一图像特征进行拼接，形成一个尺寸更大的特征。通过对这个尺寸更大的特征进行卷积处理，能够得到与下采样后的第二图像特征和第一图像特征尺寸相同的一个新的图像特征。利用上述方法卷积得到的新的图像特征能够表示下采样后的第二图像特征和第一图像特征之间的差别。

叠加子单元可以用于叠加两个图像特征之间的信息，例如，其可以配置成对上采样后的第一补偿图像特征和所述第二图像特征执行卷积操作或对上采样后的第一补偿图像特征和所述第二图像特征中的对应元素执行加法操作。

然后，第二补偿单元332可以配置成利用下采样子单元对所述第三图像特征进行下采样，以得到第二尺寸的下采样后的第三图像特征；利用去叠加子单元对下采样后的第三图像特征和所述补偿后的第二图像特征执行去叠加操作，以生成第二尺寸的第二补偿图像特征；利用上采样子单元对第二补偿图像特征进行上采样，以得到第三尺寸的上采样的第二补偿图像特征；以及利用叠加子单元对所述第三图像特征和上采样的第二补偿图像特征执行叠加操作，以生成第三尺寸的补偿后的第三图像特征。

其中，去叠加子单元可以配置成对下采样后的第三图像特征和所述补偿后的第二图像特征中的对应元素执行减法操作。例如可以用补偿后的第二图像特征中的元素的值减去下采样后的第三图像特征中对应元素的值。在一些实施例中，去叠加子单元可以配置成对下采样后的第三图像特征和所述补偿后的第二图像特征的组合执行卷积操作，即利用训练好的卷积层生成下采样后的第三图像特征和补偿后的第二图像特征之间的差别。

叠加子单元可以用于叠加两个图像特征之间的信息，例如，其可以配置成对第三图像特征和上采样的第二补偿图像特征执行卷积操作或对第三图像特征和上采样的第二补偿图像特征中的对应元素执行加法操作。

输出模块340可以配置成基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像。在一些实施例中，可以利用合成网络对图像特征补偿模块330输出的补偿后的第二图像特征进行合成，从而生成具有第二尺寸的输出图像。因此，利用本公开提供的图像处理方法可以对第一尺寸的输入图像进行处理以生成2倍放大的输出图像，也可以对第二尺寸的输入图像进行处理以生成尺寸不变的图像增强的输出图像。或者，可以利用合成网络对图像特征补偿模块330输出的补偿后的第三图像特征进行合成，从而生成具有第三尺寸的输出图像。因此，利用本公开提供的图像处理装置可以对第一尺寸的输入图像进行处理以生成4倍放大的输出图像，也可以对第二尺寸的输入图像进行处理以生成2倍放大的输出图像，也可以对第三尺寸的输入图像进行处理以生成尺寸不变的图像增强的输出图像。由于本公开提供的图像处理方法中能够处理多个不同尺寸的图像特征，因此，本领域技术人员可以根据需要选择不同尺寸的输出图像特征用来获得最终的输出图像。其中，合成网络可以实现为卷积网络。合成网络可以用于将图像特征合成为图像。

利用本公开提供的图像处理方法可以对输入图像进行超分辨率、图像增强、去模糊、去噪、去雾、着色等处理。

以超分辨率处理为例，输入图像可以是一个低分辨率的图像，例如具有第一尺寸。通过对输入图像进行至少一次上采样可以将输入图像上采样为第二尺寸和第三尺寸。利用如前所述的图像处理方法能够分析得到第一尺寸、第二尺寸和第三尺寸的输入图像特征，并通过利用第一尺寸的输入图像特征对第二尺寸和第三尺寸的输入图像特征进行补偿处理，能够得到补偿后的第二尺寸和第三尺寸的图像特征，并可以利用补偿后的第二尺寸或第三尺寸的图像特征合成得到第二尺寸或第三尺寸的超分辨率图像。

以图像增强处理为例，输入图像可以是一个高分辨率的图像，例如具有第三尺寸。通过对输入图像进行至少一次下采样可以将输入图像下采样为第一尺寸和第二尺寸。利用如前所述的方法，通过分析得到第一尺寸、第二尺寸和第三尺寸的输入图像特征，并通过利用第一尺寸的输入图像特征对第二尺寸和第三尺寸的输入图像特征进行补偿处理，能够得到补偿后的第二尺寸和第三尺寸的图像特征。利用补偿后的第三尺寸的图像特征能够合成得到第三尺寸的图像增强后的图像。如果输入图像是第二尺寸的，则可以利用补偿后的第二尺寸的图像特征合成得到第二尺寸的图像增强后的图像。

利用本公开提供的图像处理装置，能够利用图像特征补偿模块对两个或更多的高分辨率的图像特征进行补偿，而不需要利用复杂的递归结构。此外，通过按照分辨率从低到高的顺序对不同尺寸的图像特征依次进行补偿，能够确保只有低分辨率的信息被转移到高分辨率的图像特征中，而高分辨率的信息不会被转移到低分辨率的图像特征中，从而降低图像处理装置的复杂性。

图4示出了根据本公开的实施例的另一种图像处理装置的示意性的框图。如图4所示，图像处理装置400可以包括接收模块410、图像特征处理模块420、级联的N个图像特征补偿模块430-1至430-N、以及输出模块440。其中，接收模块410、图像特征处理模块420以及输出模块440可以实现为图3中示出的接收模块310、图像特征处理模块320以及输出模块340，在此不再加以赘述。

级联的N个图像特征补偿模块430-1至430-N中的每一个可以实现为图3中示出的图像特征补偿模块330。其中，每个图像特征补偿模块可以利用第一尺寸的第一图像特征补偿比第一尺寸更大的图像特征。其中，对于第i级图像特征补偿模块来说，可以利用第一尺寸的第一图像特征对第二尺寸的第二图像特征和第三尺寸的第三图像特征进行补偿。然后可以将第i级图像特征补偿模块输出的补偿后的第二图像特征和补偿后的第三图像特征输入第i+1级图像特征补偿模块。因此，输入第i+1级图像特征补偿模块的第二图像特征是第i级图像特征补偿模块输出的补偿后的第二图像特征，输入第i+1级图像特征补偿模块的第三图像特征是第i级图像特征补偿模块输出的补偿后的第三图像特征。因此，第i+1级图像特征补偿模块可以配置成利用第一图像特征对第i级图像特征补偿模块的生成的补偿后的第二图像特征进行补偿以获得进一步补偿的第二图像特征，并利用进一步补偿的第二图像特征对第i级图像特征补偿模块的生成的补偿后的第三图像特征进行补偿，以获得进一步补偿的第三图像特征。

在一些实施例中，利用所述第一尺寸的第一图像特征对所述补偿后的第二图像特征进行补偿，以生成进一步补偿的第二图像特征可以包括：对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征。然后，可以对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征。进一步地，可以对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征。进一步地，对上采样后的第三补偿图像特征和所述第二尺寸的补偿后的第二图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征。

利用所述进一步补偿的第二图像特征对所述补偿后的第三图像特征进行补偿，以生成进一步补偿的第三图像特征可以包括对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征。然后，可以对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征。然后，可以对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征。进一步地，可以对上采样后的第三补偿图像特征和所述第二尺寸的补偿后的第二图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征。

如图4所示，在图像处理装置400中，输出模块440可以配置成基于第N级图像特征补偿单元生成的补偿后的第二图像特征和第N级图像特征补偿单元生成的补偿后的第三图像特征确定输出图像。例如，输出模块440可以利用合成网络将第N级图像特征补偿单元生成的补偿后的第二图像特征合成为第二尺寸的输出图像，或者利用合成网络将第N级图像特征补偿单元生成的补偿后的第三图像特征合成为第三尺寸的输出图像。

利用图4中示出的图像处理装置，可以通过多级特征补偿单元对高分辨率的图像特征进行多次补偿，从而能够输出质量更好的图像。

图5示出了根据本公开的实施例的图像特征处理模块的示例。如图5所示，图像特征处理模块520可以包括分析网络521-1、521-2和521-3以及第一图像特征处理单元522、第二图像特征处理单元523以及第三图像特征处理单元524。

如图5所示，图像特征处理模块520可以用于对所接收的输入图像进行处理。在一些实施例中，可以基于输入模块确定的第一尺寸的第一输入图像、第二尺寸的第二输入图像以及第三尺寸的第三输入图像确定对应于第一输入图像的第一图像特征、对应于第二输入图像的第二输入图像特征以及对应于第三输入图像的第三输入图像特征。

然后可以利用分析网络521-1、521-2、521-3对第一输入图像、第二输入图像以及第三输入图像分别进行处理，以获得对应于第一输入图像的第一图像特征、对应于第二输入图像的第一输入图像特征以及对应于第三输入图像的第三输入图像特征。

如图5所示，可以利用第一图像特征处理单元522、第二图像特征处理单元523以及第三图像特征处理单元524对第一输入图像特征、第二输入图像特征以及第三输入图像特征进行处理以确定第一图像特征、第二图像特征和第三图像特征。

第一图像特征处理单元522可以配置成对所述第一图像特征进行上采样，并将上采样后的第一图像特征输出到第二图像特征处理单元。进一步地，第一图像特征处理单元522还可以配置成向连接到图像特征处理模块520的图像特征补偿模块输出第一图像特征。

第二图像特征处理单元523可以配置成对所述第二输入图像特征和上采样后的第一图像特征执行叠加操作，以获得第二尺寸的第二图像特征。进一步地，第二图像特征处理单元523还可以配置成向连接到图像特征处理模块520的图像特征补偿模块和第三图像特征处理单元524输出第二图像特征。

第三图像特征处理单元524可以配置成对所述第二图像特征进行上采样，并对上采样后的第二图像特征和所述第三输入图像特征执行叠加操作，以获得第三图像特征。进一步地，第三图像特征处理单元524还可以配置成向连接到图像特征处理模块520的图像特征补偿模块输出第三图像特征。

图6示出了根据本公开的实施例的图像处理装置的一种示例型的网络结构。如图6所示，图像处理装置600可以包括输入模块(未示出)、图像特征处理模块620、级联的三级图像特征补偿模块630-1、630-2以及630-3、以及输出模块640。

如图6所示，图像特征处理模块620可以包括上采样子单元611。在一些实施例中，图像特征处理模块620还可以包括下采样子单元(未示出)。利用上采样子单元和下采样子单元对输入图像进行上采样和下采样，可以基于输入图像确定第一尺寸的第一输入图像、第二尺寸的第二输入图像以及第三尺寸的第三输入图像。

图像特征处理模块620还可以包括分别用于处理第一输入图像、第二输入图像以及第三输入图像的分析网络621-1、621-2、621-3。图像特征处理模块620还可以包括第一图像特征处理单元622、第二图像特征处理单元623以及第三图像特征处理单元624。图像特征处理模块620可以配置成用于对所述第一输入图像、第二输入图像以及第三输入图像进行处理以确定第一图像特征、第二图像特征和第三图像特征。图像特征处理模块620可以实现为图像特征处理模块520的形式，在此不再加以赘述。

级联的三级图像特征补偿模块630-1、630-2以及630-3可以是相同的，以下以图像特征补偿模块630-1为例解释本公开的原理。

如图6所示，图像特征补偿模块630-1可以由多个图像特征补偿单元631形成。尽管图6中图像特征补偿模块630-1仅包括三个图像特征补偿单元，然而本领域技术人员可以理解，在符合本公开原理的情况下，图像特征补偿模块可以包括更多或更少的图像特征补偿单元，例如两个图像特征补偿单元或四个以上的图像特征补偿单元。

图7示出了根据本公开的实施例的图像特征补偿单元的示意性的结构图。如图7所示，图像特征处理单元631可以包括3个输入端、3个输出端以及上采样子单元710、叠加子单元720、下采样子单元730以及去叠加单元740。在一些实施例中，图像特征处理单元可以执行以下操作：利用上采样子单元710对输入1执行上采样；利用叠加子单元720对上采样后的输入1和输入2执行叠加操作；利用下采样子单元730对输入3执行下采样；以及利用去叠加单元740对下采样后的输入3和叠加子单元输出的图像特征执行去叠加操作。

在一些实施例中，上采样子单元710可以实现为包括归一化层和带步长的卷积层(strided convolution)的卷积网络。下采样子单元730可以实现为包括归一化层和转置的带步长的卷积层(strided transposed convolution)的卷积网络。在另一些实施例中，上采样子单元710也可以实现为常规的上采样，例如线性插值、双三次插值、Lanczos插值等。

在一些实施例中，叠加子单元720可以实现为包括卷积层的卷积网络。例如，可以将待叠加的两个图像特征组合成一个尺寸更大的特征并输入卷积网络形式的叠加子单元进行处理。卷积网络的输出被配置成与待叠加的图像特征尺寸相同的图像特征。通过训练好的卷积网络能够输出叠加有两个图像特征的图像信息的结果。在另一些实施例中，叠加子单元720也可以配置成直接对要叠加的两个图像特征的对应元素的值进行相加，以实现两个图像特征的信息叠加。例如，图8A示出了根据本公开的叠加子单元的工作原理的示意图。为了对图像特征810和图像特征820实现叠加，可以将图像特征810和图像特征820合成一个尺寸更大的特征并输入卷积网络，利用卷积网络能够输出叠加后的图像特征830。

在一些实施例中，去叠加子单元740可以实现为包括卷积层的卷积网络。例如，可以将待处理的两个图像特征组合成一个尺寸更大的特征并输入卷积网络形式的去叠加子单元进行处理。卷积网络的输出被配置成与待处理的图像特征尺寸相同的图像特征。通过训练好的卷积网络能够输出表示两个图像特征的差别信息的结果。在另一些实施例中，去叠加子单元740也可以配置成直接对要处理的两个图像特征的对应元素的值进行相减，以确定两个图像特征之间的差别信息。例如，图8B示出了根据本公开的去叠加子单元的工作原理的示意图。为了确定图像特征840和图像特征850的差别信息，可以将图像特征840和图像特征850合成一个尺寸更大的特征并输入卷积网络，利用卷积网络能够输出表示差别图像特征860。

继续参考图7，由于图7中示出的图像特征补偿单元包括3个输入端和3个输出端，因此，当向图像特征补偿单元输入3个图像特征时，图像特征补偿单元能够实现前述功能。如果缺少其中的一个或两个输入，那么图像特征补偿单元将跳过相应的操作。例如，当仅将输入1和输入2输入图像特征补偿单元时，图像特征补偿单元将省略下采样子单元730的操作和去叠加子单元740的操作，直接输出叠加子单元720的结果作为输出1、输出2和输出3。又例如，当仅将输入2输入图像特征补偿单元时，图像特征补偿单元将不执行任何操作，直接将输入2输出作为输出1、输出2和输出3。再例如，当仅将输入2和输入3输入图像特征补偿单元时，图像特征补偿单元将图像特征补偿单元将省略上采样子单元710的操作和针对输入1和输入2的叠加操作，直接对输入2和下采样后的输入3执行去叠加操作。并且可以直接将输入2输出作为输出2和输出1。

利用上述原理，可以将图6中的图像特征处理模块中的第一图像特征处理单元622、第二图像特征处理单元623以及第三图像特征处理单元624也实现为图7中示出的图像特征补偿单元的形式。其中，图6中示出的表示各单元622、623、624和631中的箭头代表了处理单元的输入和输出方向。可以看出，第一图像特征处理单元622按照仅有输入2的方式进行操作，第二图像特征处理单元623按照仅有输入1和输入2的方式进行操作，第三图像特征处理单元624按照仅有输入1和输入2的方式进行操作。

因此，利用图6中示出的网络结构能够实现图4中示出的根据本公开的实施例的图像处理装置。可以理解的是，利用图6中示出的网络结构，本公开不限制输入图像和输出图像的尺寸。无论输入的是低分辨率的小尺寸图像还是高分辨率的大尺寸图像，利用图6中示出的网络结构都可以对与输入图像相关联的不同尺寸的图像特征进行处理。

利用针对不同目的确定的训练集可以对图6中示出的网络结构进行训练。例如可以使用高分辨率的原始图像对网络600进行训练，以确定用于基于低分辨率图像生成超分辨率图像的网络600。又例如，可以使用高清晰度的原始图像对网络600进行训练，以确定用于基于模糊图像生成清晰图像的网络600。再例如，可以使用彩色的原始图像对网络600进行训练，以确定用于对灰度图像进行着色的网络600。

在一些实施例中，可以利用网络600对用于训练的样本图像进行处理，并比较网络600输出的图像和真实图像之间的差别。例如，可以基于网络600的输出图像和真实图像之间的L1正则项、L2正则项中的至少一项确定为网络的损失函数，并调整网络600中的参数使得损失函数最小。例如，可以调整实现为卷积网络的上采样子单元、下采样子单元叠加子单元以及去叠加子单元中的卷积核的参数，以使得网络600的损失函数最小。

此外，根据本申请实施例的方法或装置也可以借助于图9所示的计算设备的架构来实现。图9示出了该计算设备的架构。如图9所示，计算设备1000可以包括总线910、一个或多个处理器(CPU)920、只读存储器(ROM)930、随机存取存储器(RAM)940、连接到网络的通信端口

950、输入/输出组件960、硬盘970等。计算设备900中的存储设备，例如ROM 930或硬盘970可以存储本申请提供的用于定位电子设备的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备900还可以包括用户界面980。当然，图9所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图9示出的计算设备中的一个或多个组件。

本申请的实施例也可以被实现为计算机可读存储介质。根据本申请实施例的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本申请实施例的方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。

此外，如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

此外，虽然本申请对根据本申请的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。

此外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (19)

1.一种图像处理方法，包括：

接收输入图像，

基于所述输入图像获得具有不同尺寸的第一输入图像、第二输入图像和第三输入图像，其中所述第一输入图像的尺寸小于所述第二输入图像的尺寸，所述第二输入图像的尺寸小于所述第三输入图像的尺寸；

对所述第一输入图像、所述第二输入图像以及所述第三输入图像分别进行处理，以获得对应于所述第一输入图像的第一输入图像特征、对应于所述第二输入图像的第二输入图像特征以及对应于所述第三输入图像的第三输入图像特征；

通过图像特征处理单元分别对所述第一输入图像特征、所述第二输入图像特征和所述第三输入图像特征进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征，其中所述第一尺寸小于所述第二尺寸，所述第二尺寸小于所述第三尺寸；

通过第一补偿单元利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征；

通过第二补偿单元利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征；以及

基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像。

2.如权利要求1所述的图像处理方法，其中，利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征包括：

对所述第二尺寸的第二图像特征进行下采样，以得到第一尺寸的下采样后的第二图像特征；

对下采样后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第一补偿图像特征；

对第一补偿图像特征进行上采样，以得到第二尺寸的上采样后的第一补偿图像特征；

对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征执行叠加操作，以生成第二尺寸的补偿后的第二图像特征。

3.如权利要求2所述的图像处理方法，其中对下采样后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作包括：

对下采样后的第二图像特征和所述第一尺寸的第一图像特征中的对应元素执行减法操作；或

对下采样后的第二图像特征和所述第一尺寸的第一图像特征的组合执行卷积操作。

4.如权利要求2所述的图像处理方法，其中对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征执行叠加操作包括：对上采样后的第一补偿图像特征和所述第二尺寸的第二图像特征中的对应元素执行加法操作。

5.如权利要求2所述的图像处理方法，其中，利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成补偿后的第三图像特征包括：

对所述第三尺寸的第三图像特征进行下采样，以得到第二尺寸的下采样后的第三图像特征；

对下采样后的第三图像特征和所述补偿后的第二图像特征执行去叠加操作，以生成第二尺寸的第二补偿图像特征；

对所述第二尺寸的第二补偿图像特征进行上采样，以得到第三尺寸的上采样后的第二补偿图像特征；

对所述第三尺寸的第三图像特征和上采样的第二补偿图像特征执行叠加操作，以生成第三尺寸的补偿后的第三图像特征。

6.如权利要求5所述的图像处理方法，基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像包括：

对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征；

对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征；

对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征；

对所述补偿后的第二图像特征和所述上采样后的第三补偿图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征；

对所述补偿后的第三图像特征进行下采样，以得到第二尺寸的下采样后的补偿后的第三图像特征；

对下采样后的补偿后的第三图像特征和所述进一步补偿的第二图像特征执行去叠加操作，以生成第二尺寸的第四补偿图像特征；

对所述第二尺寸的第四补偿图像特征进行上采样，以得到第三尺寸的上采样后的第四补偿图像特征；

对所述补偿后的第三图像特征和上采样的第四补偿图像特征执行叠加操作，以生成第三尺寸的进一步补偿的第三图像特征；以及

基于所述进一步补偿的第二图像特征或所述进一步补偿的第三图像特征生成输出图像。

7.如权利要求1-6任一项所述的图像处理方法，对所述输入图像进行处理以确定与所述输入图像相关联的具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征包括：

根据所述输入图像确定具有第一尺寸的第一输入图像，具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像，

分别对所述第一输入图像、所述第二输入图像和所述第三输入图像进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第一输入图像特征和具有第三尺寸的第二输入图像特征；

对所述第一尺寸的第一图像特征进行上采样，并对所述第一输入图像特征和上采样后的第一图像特征执行叠加操作，以获得第二尺寸的第二图像特征；

对所述第二尺寸的第二图像特征进行上采样，并对上采样后的第二图像特征和所述第二输入图像特征执行叠加操作，以获得第三尺寸的第三图像特征。

8.如权利要求7所述的图像处理方法，其中，所述输入图像具有第一尺寸，

根据所述输入图像确定具有第一尺寸的第一输入图像，具有第二尺寸的第二输入图像以及具有第三尺寸的第三输入图像包括：

将所述输入图像确定为具有第一尺寸的第一输入图像；

对第一尺寸的第一输入图像进行上采样以生成具有第二尺寸的第二输入图像；

对第二尺寸的第二输入图像进行上采样以生成具有第三尺寸的第三输入图像。

9.如权利要求1所述的图像处理方法，其中，基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像包括：

利用所述第一尺寸的第一图像特征对所述补偿后的第二图像特征进行补偿，以生成进一步补偿的第二图像特征；

利用所述进一步补偿的第二图像特征对所述补偿后的第三图像特征进行补偿，以生成进一步补偿的第三图像特征；以及

基于所述进一步补偿的第二图像特征或所述进一步补偿的第三图像特征生成输出图像。

10.如权利要求9所述的图像处理方法，其中，利用所述第一尺寸的第一图像特征对所述补偿后的第二图像特征进行补偿，以生成进一步补偿的第二图像特征包括：

对所述补偿后的第二图像特征进行下采样，以得到第一尺寸的下采样后的补偿后的第二图像特征；

对下采样后的补偿后的第二图像特征和所述第一尺寸的第一图像特征执行去叠加操作，以生成第一尺寸的第三补偿图像特征；

对所述第三补偿图像特征进行上采样，以得到第二尺寸的上采样后的第三补偿图像特征；

对上采样后的第三补偿图像特征和所述第二尺寸的补偿后的第二图像特征执行叠加操作，以生成第二尺寸的进一步补偿的第二图像特征。

11.如权利要求10所述的图像处理方法，其中，利用所述进一步补偿的第二图像特征对所述补偿后的第三图像特征进行补偿，以生成进一步补偿的第三图像特征包括：

对所述补偿后的第三图像特征进行下采样，以得到第二尺寸的下采样后的补偿后的第三图像特征；

对下采样后的补偿后的第三图像特征和所述进一步补偿的第二图像特征执行去叠加操作，以生成第二尺寸的第四补偿图像特征；

对所述第二尺寸的第四补偿图像特征进行上采样，以得到第三尺寸的上采样后的第四补偿图像特征；

对所述补偿后的第三图像特征和上采样的第四补偿图像特征执行叠加操作，以生成第三尺寸的进一步补偿的第三图像特征。

12.如权利要求1所述的图像处理方法，其中所述第二尺寸是所述第一尺寸的N倍，第三尺寸是所述第二尺寸的N倍，N是大于1的整数。

13.如权利要求1所述的图像处理方法，其中，所述图像特征处理单元所述第一补偿单元、所述第二补偿单元具有相同的形式的处理单元，所述处理单元包括上采样子单元、叠加子单元、下采样子单元及去叠加单元，并且所述处理单元具有三个输入端和三个输出端。

14.如权利要求13所述的图像处理方法，其中，所述上采样子单元用于对第一输入端的第一输入执行上采样；所述叠加子单元用于对所述第一输入经上采样后的结果和第二输入端的第二输入执行叠加操作；所述下采样子单元用于对第三输入端的第三输入执行下采样；所述去叠加单元用于对所述第三输入经下采样后的结果和所述叠加子单元输出的结果执行去叠加操作；并且

在所述三个输入端中仅一个或两个输入端有输入的情况下，所述处理单元跳过相应的操作。

15.如权利要求14所述的图像处理方法，其中，通过图像特征处理单元分别对所述第一输入图像特征、所述第二输入图像特征和所述第三输入图像特征进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征包括：

在将所述第一输入图像特征输入所述处理单元的第二输入端的情况下，所述处理单元的三个输出端输出所述具有第一尺寸的第一图像特征；

在将所述具有第一尺寸的第一输入图像特征输入所述处理单元的第一输入端，将所述第二输入图像特征输入所述处理单元的第二输入端的情况下，所述处理单元的上采样子单元对第一输入端的第一输入执行上采样；所述处理单元的叠加子单元对所述第一输入经上采样后的结果和第二输入端的第二输入执行叠加操作，所述处理单元的三个输出端输出所述第二尺寸的第二图像特征；

在将所述具有第二尺寸的第二输入图像特征输入所述处理单元的第一输入端，将所述第三输入图像特征输入所述处理单元的第二输入端的情况下，所述处理单元的上采样子单元对第一输入端的第一输入执行上采样；所述处理单元的叠加子单元对所述第一输入经上采样后的结果和第二输入端的第二输入执行叠加操作，所述处理单元的三个输出端输出所述第三尺寸的第三图像特征。

16.如权利要求14所述的图像处理方法，其中，

通过第一补偿单元利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征包括：在将所述第一尺寸的第一图像特征输入所述处理单元的第一输入端，将所述具有第二尺寸的第二图像特征输入所述处理单元的第二输入端，将所述具有第三尺寸的第二图像特征输入所述处理单元的第三输入端的情况下，所述处理单元的上采样子单元对第一输入端的第一输入执行上采样；所述处理单元的叠加子单元对所述第一输入经上采样后的结果和第二输入端的第二输入执行叠加操作；所述处理单元的下采样子单元对第三输入端的第三输入执行下采样；所述处理单元的去叠加单元对所述第三输入经下采样后的结果和所述叠加子单元输出的结果执行去叠加操作，所述处理单元的第二输出端输出所述补偿后的第二图像特征；

通过第二补偿单元利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征包括：在将所述补偿后的第二图像特征输入所述处理单元的第一输入端，并将所述具有第三尺寸的第三图像特征输入所述处理单元的第二输入端的情况下，所述处理单元的上采样子单元对第一输入端的第一输入执行上采样；所述处理单元的叠加子单元对所述第一输入经上采样后的结果和第二输入端的第二输入执行叠加操作，所述处理单元的第二输出端输出第三尺寸的补偿后的第三图像特征。

17.一种图像处理装置，包括：

接收模块，配置成接收输入图像；

图像特征处理模块，配置成基于所述输入图像获得具有不同尺寸的第一输入图像、第二输入图像和第三输入图像，其中所述第一输入图像的尺寸小于所述第二输入图像的尺寸，所述第二输入图像的尺寸小于所述第三输入图像的尺寸；对所述第一输入图像、所述第二输入图像以及所述第三输入图像分别进行处理，以获得对应于所述第一输入图像的第一输入图像特征、对应于所述第二输入图像的第二输入图像特征以及对应于所述第三输入图像的第三输入图像特征；通过图像特征处理单元分别对所述第一输入图像特征、所述第二输入图像特征和所述第三输入图像特征进行处理以确定具有第一尺寸的第一图像特征、具有第二尺寸的第二图像特征和具有第三尺寸的第三图像特征，其中所述第一尺寸小于所述第二尺寸，所述第二尺寸小于所述第三尺寸；

图像特征补偿模块，包括：

第一补偿单元，配置成利用所述第一尺寸的第一图像特征对所述第二尺寸的第二图像特征进行补偿，以生成第二尺寸的补偿后的第二图像特征；以及

第二补偿单元，配置成利用所述补偿后的第二图像特征对所述第三尺寸的第三图像特征进行补偿，以生成第三尺寸的补偿后的第三图像特征；以及

输出模块，配置成基于所述补偿后的第二图像特征或所述补偿后的第三图像特征确定输出图像。

18.一种图像处理设备，包括处理器和存储器，其中存储器中存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-16中任一项所述的图像处理方法。

19.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-16中任一项所述的图像处理方法。