CN113298705A - 一种图像超分辨率处理方法及装置 - Google Patents

Abstract

本申请涉及图像处理技术领域，公开了一种图像超分辨率处理方法及装置，用以解决图像超分辨率处理在终端设备的实时性和功耗问题。该方法包括：获取输入图像的一个或多个层级的中间特征图，其中所述中间特征图随层级增加分辨率减小；对分辨率最小的中间特征图进行细节还原，生成中间还原特征图；基于所述中间还原特征图，按照分辨率从小到大依次与所述一个或多个层级的中间特征图进行融合重建，生成还原图像，所述还原图像与所述输入图像的分辨率相同；对所述还原图像和所述输入图像进行融合重建，生成输出图像，所述输出图像的分辨率大于所述输入图像的分辨率。

Description

一种图像超分辨率处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像超分辨率处理方法及装置。

背景技术

图像超分辨率(超分)处理是近几年迅速发展起来的一项图像放大和画质修复技术，即通过硬件或软件的方法提高原有图像的分辨率，同时尽可能地恢复图像细节和修复画质损伤。对于视频超分辨率处理而言，可以理解为针对视频的每一帧图像进行图像超分辨率处理，如对于每一帧图像，可以通过一帧或多帧低分辨率的图像来得到一帧高分辨率的图像。在实时通信(real-time communication，RTC)多方通话、RTC直播拉流、或带宽受限或网络状况不好的RTC两方通话等场景，采用图像超分辨率处理技术，可以通过在发送端降低图像分辨率进行传输，在接收端进行分辨率放大和画质提升，显著降低视频传输过程中的码流大小以及数据量，保证RTC质量。

现有图像超分辨率处理的技术方案如图1所示，输入的RGB图像经过卷积神经网络的提取，得到若干的中间特征图。最后通过全局的跨连接，融合输入图像以及中间特征图，通过重建得到输出的RGB超分图像。从图1中可以看出，整个图像超分辨率处理过程中，除了最后一步的重建过程，图像或中间特征图的分辨率都是保持不变的。这就导致参与卷积神经网络计算的数据量非常庞大，在算力受限的手机、电视盒子等终端设备应用时，因计算的数据量非常庞大，会给终端设备带来功耗增加等问题，并易引起严重的发热。并且在RTC领域，由于实时性的要求，需要每帧图像的处理时延不能高于传输帧率的倒数，否则会违背“生成-消费的平衡”原则，出现对图像进行图像超分辨率处理的速度，小于图像传输的速度，导致丢帧甚至卡顿。因此，图像超分辨率处理如果要真正实现在RTC等场景中的广泛应用，需要解决图像超分辨率处理在终端设备的实时性和功耗问题。

发明内容

本申请提供一种图像超分辨率处理方法及装置，用以解决图像超分辨率处理在终端设备的实时性和功耗问题。

第一方面，本申请实施例提供一种图像超分辨率处理方法，该方法包括：获取输入图像的一个或多个层级的中间特征图，其中所述中间特征图随层级增加分辨率减小；对分辨率最小的中间特征图进行细节还原，生成中间还原特征图；基于所述中间还原特征图，按照分辨率从小到大依次与所述一个或多个层级的中间特征图进行融合重建，生成还原图像，所述还原图像与所述输入图像的分辨率相同；对所述还原图像和所述输入图像进行融合重建，生成输出图像，所述输出图像的分辨率大于所述输入图像的分辨率。

本申请实施例中，所描述的图像超分辨率处理方法可以由终端设备实现，也可以由终端设备的部件实现，如由终端设备中的处理芯片、电路等部件实现，所述终端设备可以是机顶盒、手机、平板电脑、个人电脑、虚拟现实(virtual reality，VR)终端、增强现实(augmented reality，AR)终端、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。采用上述方法，终端设备在图像超分辨率处理过程中，随层级增加提取的输入图像的中间特征图分辨率减小，并且计算密度最高的细节还原部分，仅存在于分辨率最小的中间特征图上，能够大幅减少参与运算的数据，大大降低时延和功耗。因此，能够很好地解决图像超分处理在终端设备的实时性和功耗的性能瓶颈问题，并且由于存在多层级的跨连接和融合，能够很好的继承来自输入图像的信息，使输出图像保持鲁棒，对超分辨率处理的主观效果基本无影响，做到了效果和速度兼备。

在一种可能的设计中，所述获取输入图像的一个或多个层级的中间特征图，包括：获取输入图像的Y通道数据的一个或多个层级的中间特征图。

上述设计中，采用Y、U、V通道分离策略，仅对Y通道数据进行中间特征图提取及细节还原，可以有效提高图像超分辨率处理的速度。

在一种可能的设计中，所述方法还包括：对所述输入图像的U、V通道数据进行插值放大，生成所述输出图像的U、V通道数据；对所述还原图像和所述输入图像进行融合重建，生成输出图像，包括：对所述还原图像的Y通道数据和所述输入图像的Y通道数据进行融合重建，生成所述输出图像的Y通道数据；根据所述输出图像的U、V通道数据和所述输出图像的Y通道数据，合成所述输出图像。

上述设计中，采用Y、U、V通道分离策略，仅对Y通道数据进行中间特征图提取及细节还原，对U、V通道数据采取传统插值放大方法进行分辨率放大，可以有效提高图像超分辨率处理的速度。

在一种可能的设计中，所述获取输入图像的一个或多个层级的中间特征图，包括：基于卷积神经网络获取输入图像的一个或多个层级的中间特征图。

上述设计中，基于卷积神经网络获取输入图像的一个或多个层级的中间特征图，可以提高中间特征图获取效率，也可以保证获取的中间特征图的质量。

在一种可能的设计中，对所述分辨率最小的中间特征图进行细节复原，生成中间还原特征图，包括：基于神经网络模型将所述分辨率最小的中间特征图还原为所述中间还原特征图。

上述设计中，基于神经网络模型将所述分辨率最小的中间特征图还原为所述中间还原特征图，可以保证获得的中间还原特征图的质量。

第二方面，本申请实施例还提供了一种图像超分辨率处理装置，有益效果可以参见第一方面的描述此处不再赘述。该装置具有实现上述第一方面的方法示例中的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元(模块)。在一个可能的设计中，所述装置的结构中包括提取单元、还原单元以及重建单元，这些单元可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。

第三方面，本申请实施例还提供了一种图像超分辨率处理装置，有益效果可以参见第一方面的描述此处不再赘述。所述图像超分辨率处理装置的结构中包括处理器，还可以包括收发器和存储器，所述处理器被配置为支持所述图像超分辨率处理装置执行上述第一方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述通信装置必要的程序指令和数据。所述收发器，用于与其他设备进行通信，还可以包括显示器，用于接收所述处理器的指示，显示图像。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被执行时，可实现上述第一方面所述的方法。

第五方面，本申请还提供一种包含指令的计算机程序产品，当所述指令被执行时，可实现上述第一方面所述的方法。

第六方面，本申请还提供一种芯片，所述芯片用于实现上述第一方面所述的方法。

附图说明

图1为现有图像超分辨率处理的技术方案示意图；

图2为本申请实施例提供的一种RTC视频通话流程示意图；

图3为本申请实施例提供的一种图像超分辨率处理方法示意图之一；

图4为本申请实施例提供的一种色彩转换示意图；

图5为本申请实施例提供的一种双漏斗多层级残差模型示意图之一；

图6为本申请实施例提供的一种双漏斗多层级残差模型示意图之二；

图7为本申请实施例提供的一种基于插值的分辨率放大示意图；

图8为本申请实施例提供的一种图像超分辨率处理方法示意图之二；

图9为本申请实施例提供的一种双漏斗多层级残差模型示意图之三；

图10为本申请实施例提供的一种图像超分辨率处理装置的框图；

图11为本申请实施例提供的一种图像超分辨率处理装置的结构示意图。

具体实施方式

本申请提供一种图像超分辨率处理方法及装置，用以解决图像超分辨率处理在终端设备的实时性和功耗问题。

如图2所示，为本申请实施例提供的一种图像超分辨率处理适用的应用场景示意图，在RTC视频通话过程中，为了降低视频传输过程中的数据量，使得视频传输的时效性更高，保证RTC视频通话的质量，发送设备可以对视频进行前处理(如分辨率压缩处理)，并将生成的压缩视频进行编码后发送给终端设备，终端设备解码接收到的视频数据得到压缩视频后，可以对压缩视频(每帧图像)进行图像超分辨率处理，从得到分辨率更高、细节更丰富的视频，提高用户的体验。

不同于现有技术中，在整个图像超分辨率处理过程中，除了最后一步的重建过程，图像或中间特征图的分辨率都是保持不变的，在本申请实施例中，在进行图像超分辨率处理的过程中，提取的输入图像的中间特征图，随层级增加分辨率减小，并且计算密度最高的细节还原部分，仅存在于分辨率最小的中间特征图上，能够大幅减少图像超分辨率处理过程中参与运算的数据量，大大降低时延和功耗。

下面对本申请实施例提供的图像超分辨率处理方法进行说明，如图3所示，所述方法包括：

S301：终端设备获取输入图像的一个或多个层级的中间特征图，其中所述中间特征图随层级增加分辨率减小。

在本申请实施例中，对压缩视频进行图像超分辨率处理，并不限定压缩视频的格式，所述压缩视频可以是YUV格式的视频，也可以是RGB格式的视频。可选的，在RTC视频通话的过程中，视频中的图像帧通常采用YUV格式，不同于图1和图4所示的现有图像超分辨率处理时，输入和输出都是RGB格式的图像帧，需要发生YUV格式至RGB格式以及RGB格式至YUV格式的两次色彩转换，本申请实施例中，在RTC视频通话的场景下，可以直接采用YUV格式的图像帧作为图像超分辨率处理的输入和输出，以避免两次色彩转换带来的时延。

S302：所述终端设备对分辨率最小的中间特征图进行细节还原，生成中间还原特征图。

S303：所述终端设备基于所述中间还原特征图，按照分辨率从小到大依次与所述一个或多个层级的中间特征图进行融合重建，生成还原图像。

其中，所述还原图像与所述输入图像的分辨率相同。

S304：所述终端设备对所述还原图像和所述输入图像进行融合重建，生成输出图像。

其中，所述输出图像的分辨率大于所述输入图像的分辨率。

在本申请实施例中，终端设备对压缩视频的某一帧图像进行图像超分辨率处理。可以基于如图5所示的双漏斗多层级残差模型实现。以获取输入图像(压缩视频中的某一帧图像)的两个层级的中间特征图为例，如图5所示，(1)终端设备可以将输入图像作为双漏斗多层级残差模型的输入，通过双漏斗多层级残差模型中两个层级的特征提取单元，获取输入图像层级1的中间特征图1，并基于中间特征图1获取层级2的中间特征图2，其中获取的中间特征图随层级增加分辨率减小，即中间特征图1的分辨率小于输入图像的分辨率，中间特征图2的分辨率小于中间特征图1的分辨率；(2)获取输入图像层级1的中间特征图1和层级2的中间特征图2后，通过细节恢复网络，对分辨率最小的中间特征图进行细节还原，即对中间特征图2进行细节还原，生成中间还原特征图2；(3)生成中间还原特征图2后，根据单位跨连接，将中间还原特征图2和中间特征图2进行融合重建，生成中间还原特征图1；将中间还原特征图1和中间特征图1进行融合重建，生成还原图像；并将还原图像和输入图像进行融合重建，生成分辨率大于输入图像的输出图像，实现对图像的超分辨率处理。

需要理解的是，上述单位跨连接的两个图像(或特征图)的分辨率相同，例如：中间还原特征图2和中间特征图2的分辨率相同、中间还原特征图1和中间特征图1的分辨率相同。上述特征提取单元可以是卷积神经网络(convolutional neural network)，上述细节恢复网络可以为任意的神经网络模型(如卷积神经网络模型)，融合过程可以为任意的结合操作，如通道叠加或者逐像素相加等；重建过程可以为任意的分辨率放大操作，如反卷积或者亚像素卷积等。

另外，在双漏斗多层级残差模型中残差的层数(单位跨连接的数量)可以灵活变化，如可以为如图5所示的双漏斗多层级残差模型中的3层，也可以为如图6所示的双漏斗多层级残差模型中的2层，以此类推，残差层数可以为2至N层(N为大于2的正整数)，其中残差层级数越多，时延和功耗将会越低；但是层数过多会导致模型的训练过程较为困难，并且可能会影响任务的精度或者主观效果。

上述双漏斗多层级残差模型可以是以低分辨率且细节缺失的图像作为输入，高分辨率且细节丰富的图像作为输出，通过学习算法训练生成的，其中所述低分辨率且细节缺失的图像可以是所述高分辨率且细节丰富的图像经过降采样生成的。下面对构建双漏斗多层级残差模型的方法进行介绍。

具体的构建双漏斗多层级残差模型，可以分为训练集构建阶段和双漏斗多层级残差模型训练阶段。在训练集构建阶段，可以通过拍摄等方式获得大量高分辨率且细节丰富的图像，作为训练集中高分辨率且细节丰富的图像样本，并针对训练集中每个高分辨率且细节丰富的图像样本进行降采样，获得与高分辨率且细节丰富的图像样本对应的低分辨率且细节缺失的图像样本，其中训练集中每个高分辨率且细节丰富的图像样本与对应的低分辨率且细节缺失的图像样本构成一个样本对。

在双漏斗多层级残差模型训练阶段，训练集中每个样本对中的低分辨率且细节缺失的图像样本作为双漏斗多层级残差模型的输入，高分辨率且细节丰富的图像样本作为双漏斗多层级残差模型的期望输出。作为一种示例，训练设备可以将样本对中的低分辨率且细节缺失的图像样本(图像矩阵)，输入到双漏斗多层级残差模型(当然了，在第一次将样本对中的低分辨率且细节缺失的图像样本，输入到双漏斗多层级残差模型之前通常会有初始化的过程，即为双漏斗多层级残差模型的每层网络配置权重)，得到双漏斗多层级残差模型输出的预测图像，通过损失函数(loss function)，计算所述预测图像(图像矩阵)与所述样本对中的高分辨率且细节丰富的图像样本(图像矩阵)的差异，损失函数的输出值(loss)越高表示差异越大，那么对双漏斗多层级残差模型的训练过程就变成了尽可能缩小这个loss的过程。通过基于训练集中的样本对不断对双漏斗多层级残差模型进行训练，当这个loss缩小至预设范围，即可得到训练完成的双漏斗多层级残差模型。

另外，输入图像经过图像超分辨率处理得到的输出图像，相对于输入图像而言，只是增加了部分细节和/或对部分像素值进行了轻微修正，而输出图像相对于输入图像的整体的纹理或结构上是基本一致的，也即输出图像相对于输入图像用于表征纹理或结构的U、V通道数据(U通道数据和V通道数据)基本一致，因此在一种可能的实施中，图像超分辨率处理方法可以采用Y、U、V通道分离策略，用以进一步降低图像超分辨率处理的运算量，解决图像超分辨率处理带来的实时性和功耗问题。

在一种可能的实施中，可以仅对输入图像的Y通道数据基于上述双漏斗多层级残差模型，得到分辨率放大的Y通道数据(即输出图像的Y通道数据)，对输入图像的U、V通道数据进行传统的分辨率放大(如插值放大)得到分辨率放大的U、V通道数据(即输出图像的U、V通道数据)，并对得到的分辨率放大的Y通道数据和U、V通道数据进行合成，得到输出图像。

以对输入图像中U通道数据进行插值放大为例，如图7所示，图7(A)为输入图像中U通道数据中的4个像素点，这4个像素点的值是已知的，该帧图像进行插值放大后，则会形成如图7(B)所示的图像，已知的4个像素点周围存在多个未知的像素点，对于任一未知的像素点的值，可以根据周围已知的像素点的值以及未知像素点与周围各个已知像素点的关系确定。例如：对于像素点B1的值可以根据像素A1和像素A2平均值确定。

下面对仅对输入图像的Y通道数据基于上述双漏斗多层级残差模型，得到分辨率放大的Y通道数据，实现图像超分辨率处理进行说明，如图8所示，为图像超分辨率处理方法示意图。该方法包括：

S801：终端设备获取输入图像的Y通道数据的一个或多个层级的中间特征图。

S802：所述终端设备对分辨率最小的中间特征图进行细节还原，生成中间还原特征图。

S803：所述终端设备基于所述中间还原特征图，按照分辨率从小到大依次与所述一个或多个层级的中间特征图进行融合重建，生成还原图像的Y通道数据。

其中，所述还原图像与所述输入图像的分辨率相同。

S804：所述终端设备对所述还原图像的Y通道数据和所述输入图像的Y通道数据进行融合重建，生成输出图像的Y通道数据。

其中，所述输出图像的分辨率大于所述输入图像的分辨率。

S805：所述终端设备对所述输入图像的U、V通道数据进行插值放大，生成所述输出图像的U、V通道数据。

S806：所述终端设备根据所述输出图像的U、V通道数据和所述输出图像的Y通道数据，合成所述输出图像。

需要理解的是，上述S805的实现可以在S804之后，也可以与S804同时进行，还可以在S804之前，本申请实施例中，对此不进行限定。

另外，由于图像超分辨率处理的本质上是学习残差，即学习输出与输入之间的像素变化，和其他的计算机视觉任务有很多相似之处。如图9所示，为了得到更加泛化的双漏斗多层级残差模型，可以剔除图5中最后一个融合重建的过程，使得输出和输入的分辨率一致。因此，本申请实施例提供的图像超分辨率处理方法还可以广泛应用在一些无需分辨率放大的计算机视觉任务中，解决实时性和功耗的性能瓶颈问题。这些计算机视觉任务可为视频/图像去雾、视频/图像低照度提升、视频/图像去噪、视频/图像去块效应等。

上述主要从终端设备的角度对本申请提供的方案进行了介绍。可以理解的是，为了实现上述功能，终端设备包括了执行各个功能相应的硬件结构和/或软件单元(模块)。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在采用集成的单元(模块)的情况下，图10示出了本申请实施例中所涉及的一种图像超分辨率处理装置可能的示例性框图，具体用于实现上述方法实施例中所述终端设备执行的方法。装置1000可以包括：提取单元1001、还原单元1002以及重建单元1003。

提取单元1001，用于获取输入图像的一个或多个层级的中间特征图，其中所述中间特征图随层级增加分辨率减小；

还原单元1002，用于对分辨率最小的中间特征图进行细节还原，生成中间还原特征图；

重建单元1003，用于基于所述中间还原特征图，按照分辨率从小到大依次与所述一个或多个层级的中间特征图进行融合重建，生成还原图像，所述还原图像与所述输入图像的分辨率相同；

所述重建单元1003，还用于对所述还原图像和所述输入图像进行融合重建，生成输出图像，所述输出图像的分辨率大于所述输入图像的分辨率。

在一种可能的设计中，所述提取单元1001在获取输入图像的一个或多个层级的中间特征图时，具体用于：

获取输入图像的Y通道数据的一个或多个层级的中间特征图。

在一种可能的设计中，所述重建单元1003，还用于：

对所述输入图像的U、V通道数据进行插值放大，生成所述输出图像的U、V通道数据；

所述重建单元1003对所述还原图像和所述输入图像进行融合重建，生成输出图像时，具体用于：

对所述还原图像的Y通道数据和所述输入图像的Y通道数据进行融合重建，生成所述输出图像的Y通道数据；

根据所述输出图像的U、V通道数据和所述输出图像的Y通道数据，合成所述输出图像。

在一种可能的设计中，所述提取单元1001在获取输入图像的一个或多个层级的中间特征图时，具体用于：

基于卷积神经网络获取输入图像的一个或多个层级的中间特征图。

在一种可能的设计中，所述还原单元1002在对所述分辨率最小的中间特征图进行细节复原，生成中间还原特征图时，具体用于：

基于神经网络模型将所述分辨率最小的中间特征图还原为所述中间还原特征图。

本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，手机，或者网络设备等)或处理器(processor)执行本申请各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请实施例中，终端设备还可以采用集成的方式，来划分各个功能模块。这里的“模块”可以指特定ASIC，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。

在一个简单的实施例中，本领域的技术人员可以想到所述终端设备可采用图11所示的形式。

如图11所示的装置1100，包括至少一个处理器1101，可选的，还可以包括收发器1102、存储器1103。

一种可能的实现方式中，所述装置1100还可以包括显示器1104。所述显示器1104可以用于显示视频或图像。

存储器1103可以是易失性存储器，例如随机存取存储器；存储器也可以是非易失性存储器，例如只读存储器，快闪存储器，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1103是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1103可以是上述存储器的组合。

本申请实施例中不限定上述处理器1101以及存储器1103之间的具体连接介质。本申请实施例在图中以存储器1103和处理器1101之间通过总线1105连接，总线1105在图中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线1105可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器1101可以具有数据收发功能，能够与其他设备进行通信，如在本申请实施例中，处理器1101可以从发送设备接收压缩视频，在如图11装置中，也可以设置独立的数据收发模块，例如收发器1102，用于收发数据；处理器1101在与其他设备进行通信时，可以通过收发器1102进行数据传输，如在本申请实施例中，处理器1101可以通过收发器1102从发送设备接收压缩视频。

当所述终端设备采用图11所示的形式时，图11中的处理器1101可以通过调用存储器1103中存储的计算机执行指令，使得所述装置可以执行上述任一方法实施例中的终端设备执行的方法。

具体的，存储器1103中存储有用于实现图11中的提取单元、还原单元以及重建单元的功能的计算机执行指令，图11中的提取单元、还原单元以及重建单元的功能/实现过程均可以通过图11中的处理器1101调用存储器1103中存储的计算机执行指令来实现。

作为本实施例的另一种形式，提供一种计算机可读存储介质，其上存储有指令，该指令被执行时可以执行上述方法实施例中的图像超分辨率处理方法。

作为本实施例的另一种形式，提供一种包含指令的计算机程序产品，该指令被执行时可以执行上述方法实施例中的图像超分辨率处理方法。

作为本实施例的另一种形式，提供一种芯片，所述芯片运行时，可以执行上述方法实施例中的图像超分辨率处理方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像超分辨率处理方法，其特征在于，包括：

获取输入图像的一个或多个层级的中间特征图，其中所述中间特征图随层级增加分辨率减小；

对分辨率最小的中间特征图进行细节还原，生成中间还原特征图；

基于所述中间还原特征图，按照分辨率从小到大依次与所述一个或多个层级的中间特征图进行融合重建，生成还原图像，所述还原图像与所述输入图像的分辨率相同；

对所述还原图像和所述输入图像进行融合重建，生成输出图像，所述输出图像的分辨率大于所述输入图像的分辨率。

2.如权利要求1所述的方法，其特征在于，所述获取输入图像的一个或多个层级的中间特征图，包括：

获取输入图像的Y通道数据的一个或多个层级的中间特征图。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

对所述输入图像的U、V通道数据进行插值放大，生成所述输出图像的U、V通道数据；

对所述还原图像和所述输入图像进行融合重建，生成输出图像，包括：

对所述还原图像的Y通道数据和所述输入图像的Y通道数据进行融合重建，生成所述输出图像的Y通道数据；

根据所述输出图像的U、V通道数据和所述输出图像的Y通道数据，合成所述输出图像。

4.如权利要求1所述的方法，其特征在于，所述获取输入图像的一个或多个层级的中间特征图，包括：

基于卷积神经网络获取输入图像的一个或多个层级的中间特征图。

5.如权利要求1所述的方法，其特征在于，对所述分辨率最小的中间特征图进行细节复原，生成中间还原特征图，包括：

基于神经网络模型将所述分辨率最小的中间特征图还原为所述中间还原特征图。

6.一种图像超分辨率处理装置，其特征在于，包括：

提取单元，用于获取输入图像的一个或多个层级的中间特征图，其中所述中间特征图随层级增加分辨率减小；

还原单元，用于对分辨率最小的中间特征图进行细节还原，生成中间还原特征图；

重建单元，用于基于所述中间还原特征图，按照分辨率从小到大依次与所述一个或多个层级的中间特征图进行融合重建，生成还原图像，所述还原图像与所述输入图像的分辨率相同；

所述重建单元，还用于对所述还原图像和所述输入图像进行融合重建，生成输出图像，所述输出图像的分辨率大于所述输入图像的分辨率。

7.如权利要求6所述的装置，其特征在于，所述提取单元在获取输入图像的一个或多个层级的中间特征图时，具体用于：

获取输入图像的Y通道数据的一个或多个层级的中间特征图。

8.如权利要求7所述的装置，其特征在于，所述重建单元，还用于：

对所述输入图像的U、V通道数据进行插值放大，生成所述输出图像的U、V通道数据；

所述重建单元对所述还原图像和所述输入图像进行融合重建，生成输出图像时，具体用于：

对所述还原图像的Y通道数据和所述输入图像的Y通道数据进行融合重建，生成所述输出图像的Y通道数据；

根据所述输出图像的U、V通道数据和所述输出图像的Y通道数据，合成所述输出图像。

9.如权利要求6所述的装置，其特征在于，所述提取单元在获取输入图像的一个或多个层级的中间特征图时，具体用于：

基于卷积神经网络获取输入图像的一个或多个层级的中间特征图。

10.如权利要求6所述的装置，其特征在于，所述还原单元在对所述分辨率最小的中间特征图进行细节复原，生成中间还原特征图时，具体用于：

基于神经网络模型将所述分辨率最小的中间特征图还原为所述中间还原特征图。

Images