CN110322400A - 图像处理方法及装置、图像处理系统及其训练方法 - Google Patents

图像处理方法及装置、图像处理系统及其训练方法 Download PDF

Info

Publication number
CN110322400A
CN110322400A CN201810280478.2A CN201810280478A CN110322400A CN 110322400 A CN110322400 A CN 110322400A CN 201810280478 A CN201810280478 A CN 201810280478A CN 110322400 A CN110322400 A CN 110322400A
Authority
CN
China
Prior art keywords
image
sampling
input picture
residual
sampled images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810280478.2A
Other languages
English (en)
Other versions
CN110322400B (zh
Inventor
那彦波
朱丹
刘瀚文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810280478.2A priority Critical patent/CN110322400B/zh
Priority to EP18889945.4A priority patent/EP3776451A4/en
Priority to US16/465,294 priority patent/US11189013B2/en
Priority to JP2020527902A priority patent/JP7359395B2/ja
Priority to PCT/CN2018/121466 priority patent/WO2019184462A1/en
Publication of CN110322400A publication Critical patent/CN110322400A/zh
Application granted granted Critical
Publication of CN110322400B publication Critical patent/CN110322400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像处理方法，包括：利用上采样卷积网络对输入图像执行上采样操作，获得第一上采样图像；利用下采样卷积网络对所述第一上采样图像执行下采样操作，获得第一下采样图像；确定所述第一下采样图像与所述输入图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样图像与所述输入图像之间的差别；利用上采样卷积网络对所述第一残差图像执行上采样操作，获得第一上采样残差图像；利用所述第一上采样残差图像对所述第一上采样图像进行校正；根据校正后的第一上采样图像生成基于所述输入图像的第一超分辨率图像；其中所述第一上采样图像的分辨率大于所述输入图像的分辨率，所述第一下采样图像的分辨率与所述输入图像的分辨率相同。

Description

图像处理方法及装置、图像处理系统及其训练方法
技术领域
本公开涉及图像处理领域，具体涉及一种用于生成超分辨率图像的图像处理方法及装置、图像处理系统及其训练方法。
背景技术
在传统的实现方式中，超分辨率图像是采用插值方法生成的。例如，常用的插值算法包括最临近插值、线性插值、双三次插值、Lanczos差值等等。利用传统的插值算法，可以基于原图中的一个像素生成多个像素从而获得基于原图的超分辨率的图像。
然而，利用传统的插值方法直接生成的超分辨率图像中可能缺少图像的细节特征。
发明内容
针对以上问题，本公开提供一种新的生成超分辨率图像的方法，其可以补偿超分辨率图像中的细节信息。
根据本公开的一方面，提出了一种图像处理方法，包括：利用上采样卷积网络对输入图像执行上采样操作，获得第一上采样图像；利用下采样卷积网络对所述第一上采样图像执行下采样操作，获得第一下采样图像；确定所述第一下采样图像与所述输入图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样图像与所述输入图像之间的差别；利用上采样卷积网络对所述第一残差图像执行上采样操作，获得第一上采样残差图像；利用所述第一上采样残差图像对所述第一上采样图像进行校正；根据校正后的第一上采样图像生成基于所述输入图像的第一超分辨率图像；其中所述第一上采样图像的分辨率大于所述输入图像的分辨率，所述第一下采样图像的分辨率与所述输入图像的分辨率相同。
根据本公开的另一方面，提出了一种图像处理装置，包括存储器和处理器，其中所述存储器上存储有处理器可读的程序代码，当处理器执行所述程序代码时，使得图像处理装置执行以下步骤：利用上采样卷积网络对输入图像执行上采样操作，获得第一上采样图像，利用下采样卷积网络对所述第一上采样图像执行下采样操作，获得第一下采样图像；确定所述第一下采样图像与所述输入图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样图像与所述输入图像之间的差别；利用上采样卷积网络对所述第一残差图像执行上采样操作，获得第一上采样残差图像；利用所述第一上采样残差图像对所述第一上采样图像进行校正；根据校正后的第一上采样图像生成基于所述输入图像的第一超分辨率图像；其中所述第一上采样图像的分辨率大于所述输入图像的分辨率，所述第一下采样图像的分辨率与所述输入图像的分辨率相同。
根据本公开的另一方面，提出了一种图像处理系统，包括：第一上采样模块，配置成利用上采样卷积网络对输入图像执行上采样操作，获得第一上采样图像；下采样模块，利用下采样卷积网络对所述第一上采样图像执行下采样操作，获得第一下采样图像；以及残差确定模块，确定所述第一下采样图像与所述输入图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样图像与所述输入图像之间的差别；第二上采样模块，配置成利用上采样卷积网络对所述残差图像执行上采样操作，获得第一上采样残差图像；校正模块，配置成利用所述第一上采样残差图像对所述第一上采样图像进行校正；生成模块，配置成利用校正后的第一上采样图像生成基于所述输入图像的第一超分辨率图像；其中所述第一上采样图像的分辨率大于所述输入图像的分辨率，所述第一下采样图像的分辨率与所述输入图像的分辨率相同。
根据本公开的另一方面，提出了一种用于如前所述的图像处理系统的训练方法，包括：接收输入图像；对所述输入图像执行下采样操作，确定基于所述输入图像的下采样图像；利用所述图像处理系统对所述下采样图像进行图像处理，调整所述分析卷积网络、上采样卷积网络、下采样卷积网络中各卷积层中的参数，运行有限次迭代以使目标函数最优化，其中所述目标函数是基于所述下采样图像生成的超分辨率图像和所述输入图像的损失函数。
本公开介绍了使用卷积网络生成超分辨率图像的图像处理方法、装置、系统以及系统的训练方法。根据本公开的实施例的图像处理方法可以利用最新的深度学习的发展和表现的优点对图像进行上采样，并优化基于原始图像的超分辨率图像的细节特征。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本公开的主旨。
图1是图示用于图像处理的卷积网络的示意图；
图2图示了根据现有技术的上采样器；
图3图示了根据现有技术的下采样器；
图4A示出了根据本公开实施例的一种图像处理系统的示意图；
图4B示出了根据本公开实施例的一种残差确定模块的示意图；
图4C示出了根据本公开实施例的另一种残差确定模块的示意图；
图4D示出了根据本公开实施例的拼接图像的示意图；
图5示出了根据本公开实施例的另一图像处理系统的示意图；
图6A示出了根据本公开实施例的残差控制模块的第一示例；
图6B示出了根据本公开实施例的残差控制模块的第二示例；
图6C示出了根据本公开实施例的残差控制模块的第三示例；
图7A示出了根据本公开实施例的又一图像处理系统的示意图；
图7B示出了根据本公开实施例的又一图像处理系统的示意图；
图8A示出了根据本公开实施例的示例性的上采样过程；
图8B示出了根据本公开实施例的示例性的另一上采样过程；
图8C示出了根据本公开实施例的示例性的又一上采样过程；
图9A示出了根据本公开实施例的又一图像处理系统的示意图；
图9B示出了根据本公开实施例的又一图像处理系统的示意图；
图10A示出了根据本公开实施例的示例性的上采样过程；
图10B示出了根据本公开实施例的示例性的另一上采样过程；
图10C示出了根据本公开实施例的示例性的又一上采样过程；
图10D示出了根据本公开实施例的示例性的又一上采样过程；以及
图11示出了根据本公开的实施例的图像处理方法的示例性的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性连接或信号连接，不管是直接的还是间接的。
图1是图示用于图像处理的卷积网络的示意图。用于图像处理的卷积网络是使用图像作为输入和输出，并且通过滤波器(即，卷积)替代标量权重。图1中示出了具有3层的简单结构。如图1所示，在输入层101输入4个输入图像，在中间的隐藏层102存在3个单元以输出3个输出图像，而在输出层103存在2个单元以输出2个输出图像。输入层101中的具有权重wij k的每个盒子对应于滤波器，其中k是指示输入层号的标签，并且i和j分别是指示输入和输出单元的标签。偏置bj k是添加到卷积的输出的标量。若干卷积和偏置的相加结果然后通过激活盒，其通常对应于线性整流函数(ReLU)、S型函数或双曲正切函数。在利用卷积网络的图像处理系统中，各滤波器和偏置在系统的操作期间是固定的。各滤波器和偏置是预先通过使用一组输入/输出示例图像并且调整以满足依赖于应用的一些优化标准来获取的。典型的配置涉及每层中的十分之一或数百个过滤器。具有3层的网络被认为是浅的，而大于5或10的层的数目通常被认为是深的。
利用图1所示的卷积网络，在经过一定的训练之后，可以用来生成基于输入图像的超分辨率图像。例如，可以利用原始的高分辨率图像以及对高分辨率图像经过传统算法下采样后生成的低分辨率图像对卷积网络进行训练。
图2图示了根据现有技术的上采样器。标准的上采样器可以是例如双三次插值、线性插值、lanczos差值等。图2示出的是2*2上采样的示例，其中每个小正方形代表图像中的一个像素。可以根据输入的1个像素确定输出的四个像素。在一种实现方式中，使用四个过滤器F1、F2、F3、F4对输入的一个像素进行处理。这里的四个过滤器可以是不同的。经过过滤器处理后可以形成基于输入的一个像素的四个输出像素。对输入图像中的每个像素进行如上的上采样处理后，可以利用基于每个输入像素的四个输出像素得到超分辨率的输出图像，该输出图像的长度和宽度分别是输入图像的长度和宽度的两倍。
图3图示了根据现有技术的下采样器，其中每个小正方形代表图像中的一个像素。利用如图3所示的下采样器可以基于输入的四个像素确定一个输出像素。例如，可以对四个输入像素应用过滤器F1、F2、F3、F4，其中F1、F2、F3、F4可以是不同的。对过滤器F1、F2、F3、F4输出的四个像素执行叠加操作可以获得一个目标输出像素。通过如上的下采样处理可以得到低分辨率的输出图像，该输出图像的长度和宽度分别是输入图像的长度和宽度的一半。
图4A示出了根据本公开实施例的一种图像处理系统400的示意图。如图4A所示，图像处理系统400可以包括分析模块401、上采样模块402、下采样模块403、残差确定模块404和合成模块405。图4A中的I0表示图像处理系统400接收的原始输入图像，I1表示经过图像处理系统400处理后得到的超分辨率图像。图像处理系统400中的分析模块401、上采样模块402、下采样模块403和合成模块405可以利用图1所示的卷积网络实现。示例性的卷积网络模型包括卷积神经网络CNN、残差网络ResNet、密集连接的卷积网络DenseNet、CliqueNet、滤波器库Filter Banks等。
在一些实施例中，上采样模块402可以是如图1所示的卷积网络和上采样层的组合。也就是说，上采样模块402可以包括如前所述的卷积网络，其用于对特征图像进行图像变换，然后再利用上采样层对变换后的图像进行上采样。上采样层可以包括Muxout层、条纹反向卷积(Strided Transposed Convolution)或标准的每通道上采样器(如双三次插值)。
类似地，下采样模块403可以是如图1所示的卷积网络和下采样层的组合。也就是说，下采样模块403可以利用下采样层对变换后的图像进行下采样，然后再利用卷积网络对特征图像进行图像变换。下采样层可以包括反向Muxout层、条纹卷积(StridedConvolution)、最大池化层(Maxpool Layer)或标准的每通道下采样器(如双三次插值)。
分析模块401配置成确定输入图像I0的特征图像R0，其中输入图像的特征图像R0的分辨率与输入图像I0的分辨率相同，以及输入图像的特征图像R0的通道数大于输入图像I0的通道数。例如，如果输入图像I0是分辨率为128*128的彩色图像，则输入图像I0包括R、G、B三个通道。经过分析模块401的处理后得到的特征图像R0的分辨率与输入图像I0相同，即，128*128，通道数大于三。例如，特征图像R0的通道数可以是64、128或其他预先设定的通道数。通过将输入图像分解为表示输入图像的多个维度的特征的具有更多通道数的特征图像，可以更好地在下面的步骤中利用卷积网络实现图像的上采样和下采样。
上采样模块402配置成对所述输入图像的特征图像R0执行上采样操作，获得第一上采样特征图像R0 1。其中，第一上采样特征图像R0 1的分辨率大于输入图像的特征图像R0的分辨率，通道数与输入图像的特征图像R0的通道数相同。例如，以上采样模块402配置成执行2*2的上采样操作为例，当输入图像的特征图像R0是128*128*64的图像时，经过上采样模块402的处理后输出的第一上采样特征图像R0 1是256*256*64的图像。
下采样模块403配置成对第一上采样特征图像R0 1执行下采样操作，获得第一下采样特征图像R1 0。其中，第一下采样特征图像R1 0的分辨率等于输入图像的特征图像R0的分辨率，通道数与特征图像R0的通道数相同。
残差确定模块404配置成根据第一下采样特征图像R1 0和输入图像的特征图像R0确定第一下采样特征图像R1 0与输入图像的特征图像R0之间的残差图像，该残差图像可以指示第一下采样特征图像R1 0与输入图像的特征图像R0之间差别的大小。在一些实施例中，利用残差确定模块404，可以通过对第一下采样特征图像R1 0与输入图像的特征图像R0进行线性组合生成残差图像D1 0。例如，D1 0＝αR1 0+βR0。当α＝1，β＝-1时，残差图像即是第一下采样特征图像R1 0与输入图像的特征图像R0的差值。本领域技术人员也可以根据实际情况设置不同的α值和β值，例如，α＝1.1，β＝-0.9。上述α值和β值仅作为一种示例性的情况，而不作为对本公开保护范围的限制。在另一些实施例中，可以利用卷积网络生成基于第一下采样特征图像R1 0与输入图像的特征图像R0的残差图像。
图4B示出了根据本公开实施例的一种示例性的残差确定模块的示意图。如图4B所示，残差确定模块404可以包括去叠加模块。利用去叠加模块可以实现第一下采样特征图像R1 0与输入图像的特征图像R0的线性组合。图4B中示出的是如上所述的α＝1，β＝-1的情况。可以利用去叠加模块对第一下采样特征图像R1 0与输入图像的特征图像R0执行去叠加操作，即，将第一下采样特征图像R1 0的像素矩阵减去输入图像的特征图像R0中对应的像素矩阵，从而得到第一下采样特征图像R1 0与输入图像的特征图像R0之间的残差D1 0。
图4C示出了根据本公开实施例的另一种示例性的残差确定模块的示意图。利用图4C中示出的残差确定模块，可以利用卷积网络对第一下采样特征图像R1 0与输入图像的特征图像R0进行图像变换，并将卷积网络的输出确定为第一下采样特征图像R1 0与输入图像的特征图像R0之间的残差。
如图4C所示，残差确定模块404可以包括拼接模块。拼接模块可以配置成对第一下采样特征图像R1 0与输入图像的特征图像R0进行拼接。例如，可以以预定的方式拼接第一下采样特征图像R1 0与输入图像的特征图像R0。如前所述，第一下采样特征图像R1 0与输入图像的特征图像R0的分辨率是相同的。假设第一下采样特征图像R1 0与输入图像的特征图像R0的大小均是32*5*5，那么，经过拼接模块得到的拼接图像A的大小是64*5*5。例如，可以以输入图像的特征图像R0在上，第一下采样特征图像R1 0在下的方式得到拼接图像A。又例如，可以以输入图像的特征图像R0在下，第一下采样特征图像R1 0在上的方式得到拼接图像A。在此不对图像拼接的具体方式进行限定，只要满足在图像处理过程中始终以预定的顺序对两个图像进行拼接即可。
图4D示出的是拼接图像A的一种示例性的示意图。通过拼接第一下采样特征图像R1 0与输入图像的特征图像R0可以得到尺寸为输入图像的特征图像R0的两倍的拼接图像。
残差确定模块404还可以包括变换模块。这里的变换模块可以是如图1所示的卷积网络。变换模块配置成接收拼接模块输出的拼接图像作为输入，并将拼接图像变换成与输入图像的特征图像R0大小相同的特征图像。可以将变换模块输出的特征图像用作第一下采样特征图像R1 0与输入图像的特征图像R0之间的残差。
如前所述，第一下采样特征图像R1 0是对输入图像的特征图像R0经过先上采样再下采样的处理后得到的与输入图像的特征图像R0分辨率相同的图像。对于一个精确系统来说，经过先上采样再下采样的处理后得到的第一下采样特征图像R1 0与没有经过处理的原始输入图像的特征图像R0应当是相同的。然而，在实际的图像处理系统中，由于在对图像进行上采样操作时需要通过估计的方法增加图像的分辨率，因此，对通过估计方法得到的第一上采样特征图像R0 1进行下采样后得到的第一下采样特征图像R1 0与原始输入图像的特征图像R0之间存在差异。可以利用第一下采样特征图像R1 0与原始输入图像的特征图像R0之间的差异对第一上采样特征图像R0 1进行校正。例如，可以通过对第一下采样特征图像R1 0与输入图像的特征图像R0之间的残差D1 0执行上采样操作，从而获得与第一上采样特征图像R1 0分辨率相同的上采样残差D1 1。通过将上采样残差D1 1叠加到第一上采样特征图像R0 1上，可以实现对第一上采样特征图像R0 1的校正。
如图4A所示，在一些实施例中，可以利用上采样模块402对利用残差确定模块404确定的残差D1 0执行上采样操作，获得上采样的残差D1 1。其中，上采样的残差D1 1与第一上采样特征图像R1 0的分辨率相同。通过对上采样的残差D1 1和第一上采样特征图像R0 1执行叠加操作可以得到校正后的第一上采样特征图像R1 1。在另一些实施例中，可以利用卷积网络实现对第一上采样特征图像R0 1的校正。例如，可以将上采样的残差D11与第一上采样特征图像R1 0输入卷积网络，并将卷积网络的输出作为校正结果。
合成模块405配置成根据校正后的第一上采样特征图像R1 1生成基于原始输入图像I0的超分辨率图像I1。其中合成模块405输出的超分辨率图像I1的分辨率与第一上采样特征图像R0 1相同，通道数与原始输入图像I0的通道数相同。例如，当原始输入图像I0是彩色图像时，基于原始输入图像I0生成的超分辨率图像I1也是彩色图像。当原始输入图像I0是灰度图像时，基于原始输入图像生成的超分辨率图像I1也是灰度图像。在图4A中示出的图像处理系统中，最终输出的超分辨率图像I1相对于输入图像I0的放大率就是上采样模块的放大率。
利用图4A示出的图像处理系统400，可以实现利用卷积网络对输入图像进行上采样以获得基于输入图像的超分辨率图像。在这个过程中，可以利用对上采样后的输入图像进行下采样，并比较经过上采样后再下采样获得的图像与原始输入图像之间的差别。可以利用这个差别对上采样的输入图像进行校正，并输出校正后的上采样图像作为基于输入图像的超分辨率图像。
图5示出了根据本公开实施例的另一种图像处理系统500的示意图。其中，图5中示出的分析模块501、上采样模块502、下采样模块503以及合成模块505与图4A中示出的分析模块401、上采样模块402、下采样模块403和合成模块405是相同的，都可以利用图1中示出的卷积网络实现。以下不再加以赘述。
在图5中示出的图像处理系统500中包括多个残差确定模块504，利用多个下采样模块和多个残差确定模块，可以实现对上采样后的输入图像进行多次下采样以及对上采样图像的多次残差校正。例如，以图4A中示出的图像处理系统400为例，得到经过一次残差校正后的第一上采样特征图像R1 1后，可以利用下采样模块进一步对校正后的第一上采样特征图像R1 1(下文中称作第二上采样特征图像R1 1)执行下采样操作，从而获得第二下采样特征图像R2 0。通过比较第二下采样特征图像R2 0和输入图像的特征图像R0之间的差异，可以对第二上采样特征图像R1 1实现进一步的校正。
图5中示出的残差确定模块504可以进一步包括残差控制模块506。利用残差控制模块506可以对残差校正过程中使用的残差大小进行控制。
例如，如图5所示，当通过对第一上采样特征图像和输入图像的特征图像进行去叠加以确定残差时。在得到第二上采样特征图像R1 1后，可以利用下采样模块503对第二上采样特征图像R1 1执行下采样处理，并获得第二下采样特征图像R2 0。通过对第二下采样特征图像R2 0和输入图像的特征图像R0执行去叠加操作，可以确定第二下采样特征图像R2 0和输入图像的特征图像R0之间的第二残差D2 0。
在一些实施例中，可以根据上一步骤中生成的第一残差D1 0与当前步骤中生成的第二残差D2 0确定当前步骤中用于校正上采样图像的残差。在一些实施例中，可以通过残差控制模块506比较迭代过程中上一步生成的第一残差D1 0与本次生成的第二残差D2 0的大小。当第二残差D2 0小于第一残差D1 0时，可以认为通过迭代进一步减小了上采样后获得的图像与原始输入图像之间的差别，因此，残差控制模块将输出第二残差D2 0作为用于对第二上采样特征图像R1 1进行校正的残差。在一些实施例中，残差控制模块506可以输出第一残差D1 0和第二残差D2 0中较大的残差作为用于对第二上采样特征图像R1 1进行校正的残差。在一些实施例中，残差控制模块506可以输出第一残差D1 0和第二残差D2 0的平均值作为用于对第二上采样特征图像R1 1进行校正的残差。
如图5中所示出的，可以利用上采样模块502对残差控制模块506输出的第二残差D2 0执行上采样处理，并生成上采样的第二残差D2 1。在一些实施例中，可以通过对上采样的第二残差D2 1和第二上采样特征图像R1 1执行叠加处理，从而实现利用第二残差D2 0对第二上采样特征图像R1 1进行校正。
如图5所示，在上述多次残差校正的过程中，在生成第一残差D1 0后也需要执行残差控制步骤，由于不存在前一次步骤中生成的残差，可以将第一次残差校正中残差控制模块的前一次结果输入设置为无穷大(或任意一个足够大的残差)。
如前所述，可以利用图5示出的图像处理系统500实现残差校正的多次迭代。在一些实施例中，用户可以为上述迭代过程设定最大迭代次数作为迭代终止条件。当达到预设的最大迭代次数时，迭代过程停止。在一些实施例中，当利用图像处理系统500生成基于输入图像的超分辨率图像时，如果本次迭代过程中生成的残差大于上一次迭代中生成的残差时，可以认为通过迭代已经不能进一步改善上采样后的图像与原始图像之间的差别。因此，可以将迭代过程的终止条件设置成：当本次迭代过程中生成的残差大于上一次迭代中生成的残差时，迭代过程停止。
利用图5中示出的图像处理系统500，可以对基于输入图像的上采样后的图像特征进行多次残差校正，从而实现更好的超分辨率图像的效果。
图6A-图6C示出了根据本公开实施例的残差控制模块506的示例性的实施例。
残差控制模块506可以配置成接收上一次迭代中生成的残差c和本次迭代中生成的残差x作为输入，并根据残差x和残差c确定此次迭代中用于校正上采样图像的残差。
图6A示出了残差控制模块506的第一示例。在第一示例中，可以利用残差控制模块506比较残差x与残差c，并将其中更小的残差输出作为此次迭代中用于校正上采样图像的残差。
图6B示出了残差控制模块506的第二示例。在第二示例中，可以利用残差控制模块506确定残差x与残差c的平均值，并将确定的平均值输出作为此次迭代中用于校正上采样图像的残差。
图6C示出了残差控制模块506的第三示例。在第三示例中，可以利用残差控制模块506比较残差x与残差c，并将其中更大的残差输出作为此次迭代中用于校正上采样图像的残差。
在图6A和图6C中示出的示例中，可以通过定义残差x和残差c的残差值并比较确定残差x和残差c分别的残差值的大小，从而对残差x和残差x进行比较。上述定义的残差值可以表示生成残差的两个图像之间的差异的大小。
例如，本领域技术人员可以理解，对第一下采样特征图像R1 0与输入图像的特征图像R0执行去叠加操作得到的残差c和对第二下采样特征图像R2 0和输入图像的特征图像R0执行去叠加操作得到的残差x可以分别表示为第一残差矩阵和第二残差矩阵，在第一残差矩阵和第二残差矩阵中的每一个元素的元素值可以表示两个特征图像像素之间的差异。在一些，可以将残差矩阵中每一个元素的绝对值的平均值确定为该残差矩阵的残差值。又例如，可以将残差矩阵中所有元素的平方和或所有元素的平方和的算术平方根确定为该残差矩阵的残差值。
在一些实施例中，当需要利用如图5所示的图像处理系统生成基于输入图像的超分辨率图像时，可以使用如图6A中示出的残差控制模块。由于这样的残差控制模块可以实现防止迭代过程中残差不断变大的效果，因此可以实现更好效果的超分辨率图像。
在一些实施例中，当对如图5所示的图像处理系统中的卷积网络进行训练时，可以使用如图6B或图6C中示出的残差控制模块。通过在训练过程中始终引入更大的残差，可以实现在更差的情形下对图像处理系统进行优化。
如前所述，图4A、图5中示出的图像处理系统可以实现对输入图像的一次上采样。例如，如果上采样模块实现的是两倍的上采样，那么利用图4A、图5的图像处理系统可以生成相对于输入图像的超分辨率图像，其长度和宽度都是输入图像的两倍。例如，如果输入图像的分辨率是128*128，则图像处理系统生成的超分辨率图像的分辨率是256*256。本领域技术人员可以理解，两倍上采样仅是本公开的实施例的一个示例。根据实际情况，本领域技术人员可以设置上采样模块实现不同的上采样的倍数。
如果需要实现更高放大倍数的超分辨率图像，可以利用图4A或图5示出的图像处理系统对超分辨率图像进行再放大。例如，将如前所述的分辨率是256*256的超分辨率图像作为输入图像输入图像处理系统，可以生成分辨率是512*512的进一步放大的超分辨率图像。
图7A和图7B示出了根据本公开实施例的图像处理系统700的示意图。利用图7A和图7B示出的图像处理系统700可以实现对输入图像的多次放大。其中，图7A示出的是当残差确定模块包括残差控制模块时的系统示意图。图7B示出的是当残差确定模块包括拼接模块和变换模块时的系统示意图。
如前所述，通过将图4A或图5中示出的图像处理系统输出的超分辨率图像作为输入图像重新生成超分辨率图像也可以得到多次放大的超分辨率图像。然而，利用上述方式进行多次放大的过程中，当确定输入图像与上采样图像之间的残差时，作为比较基准的输入图像是上一次图像处理过程输出的超分辨率图像，而不是原始的输入图像。因此，在上述多次放大的图像处理过程中可能出现误差的累积而影响最终得到的超分辨率图像的效果。
如图7A所示，图像处理系统700可以包括分析模块701、上采样模块702、下采样模块703、残差控制模块706以及合成模块705。其中，上述模块与图4A、图5中示出的分析模块、上采样模块、下采样模块、残差控制模块以及合成模块相同，均可以利用图1中示出的卷积网络实现。
如图7A中所示，其中对上采样的输入图像进行残差校正的过程称为反向投影(back-projection)。图7A中示出的残差校正系统的输出即是经过残差修正的上采样特征图像。图7A中示出的图像处理系统700可以包括迭代的残差校正系统。
图像处理系统700的输入图像是经过L-1次放大的超分辨率图像IL-1，例如，假设输入图像I0的分辨率是128*128，那么当L＝2时，输入图像IL-1是经过一次放大的图像，其分辨率是256*256。
输入图像IL-1进入图像处理系统700后，首先利用分析模块确定输入图像的图像特征Rμ L-1。然后，利用上采样模块702对输入图像的图像特征Rμ L-1进行上采样，获得分辨率是512*512的第一上采样特征图像R0 L。随后，可以利用迭代的残差校正系统对第一上采样特征图像R0 L进行多次下采样，并生成基于第一上采样特征图像R0 L的与原始输入图像I0分辨率相同的下采样图像。例如，对于分辨率是512*512的第一上采样特征图像R0 L，可以通过两次下采样操作将其分辨率降低至128*128，即与原始的输入图像I0的分辨率。通过比较对第一上采样特征图像R0 L进行多次下采样后的特征图像与原始输入图像的I0特征图像Rμ 0，可以确定用于校正第一上采样特征图像R0 L的残差，并可以利用该残差对第一上采样特征图像R0 L进行校正。
图7B中示出的是图像处理系统700的另一种实现方式，其与图7A中示出的系统区别在于采用了不同的残差确定模块。上述残差确定模块的工作原理在图4A-图4C中已经加以说明，在此不再赘述。
利用图7A和/或图7B中示出的图像处理系统，可以确定经过多次上采样后得到的上采样图像与原始的输入图像之间的残差，并利用这样的残差校正上采样图像，使得输出的超分辨率图像的效果更好。
根据本公开的实施例的图像处理系统需要对参数L和μ进行配置，参数L和μ的含义如下：在本公开的描述中，可以利用Rμ L表示利用图像处理系统得到的特征图像，其中下标L表示特征图像的上采样次数。例如，原始图像I0的特征图像可以表示为R0。上标μ表示对该特征图像进行下采样从而实现残差校正的次数。例如，如图5所示，经过一次残差校正后得到的上采样特征图像可以表示为R1 1，经过两次残差校正后得到的上采样特征图像可以表示为R2 1。
通过设置以上描述的参数L和μ可以确定图像处理系统的具体结构。例如，对于图4A中示出的图像处理系统400来说，L＝1，μ＝1。对于图5中示出的图像处理系统500来说，L＝1，μ＝2。在一些实施例中，用户可以通过设置L和μ实现不同结构的图像处理系统。
图8A-图8C示出了根据本公开实施例的原理的上采样过程的示意图。
图8A示出的是不利用残差对上采样图像进行校正的示意图(即L＝3，μ＝0时)。如图8A所示，输入图像经过分析模块(图8A中的三角形代表分析模块)后输出表示输出图像的特征图像。利用上采样模块(图8A中的白色正方形代表上采样模块)对输出图像的特征图像进行多次上采样，并形成表示超分辨率图像的超分辨率特征图像。在一个示例中，如果上采样模块配置成对图像进行两倍的上采样，经过图8A中的图像处理过程，将输出8*8倍上采样的超分辨率特征图像。
图8B示出的是利用上采样图像与原始图像之间的残差对上采样图像进行一次校正的示意图(即L＝3，μ＝1时)。输入图像经过分析模块(图8B中的三角形代表分析模块)后输出表示输出图像的特征图像。利用上采样模块(图8B中的白色正方形代表上采样模块)对输出图像的特征图像进行一次上采样生成2*2倍分辨率的第一上采样特征图像。利用下采样模块(图8B中的黑色正方形代表下采样模块)对2*2倍分辨率的第一上采样特征图像进行下采样，并确定下采样后的特征图像与原始输入图像之间的残差。通过将经过上采样2*2倍分辨率的残差叠加到2*2倍分辨率的第一上采样特征图像以生成校正后的2*2倍分辨率的第一上采样特征图像。
随后，为了进一步增加图像的分辨率，可以利用上采样模块对校正后的2*2倍分辨率的第一上采样特征图像进行进一步的上采样，并生成4*4倍分辨率的第一上采样特征图像。为了对4*4倍分辨率的第一上采样特征图像进行校正，可以利用下采样模块对4*4倍分辨率的第一上采样特征图像进行两次下采样处理，并确定下采样后的特征图像与原始输入图像之间的残差，这个残差可以代表4*4倍分辨率的第一上采样特征图像与原始输入图像之间的差别。在一些实施例中，可以对这个残差直接进行两次上采样处理，从而生成4*4倍分辨率的残差，并对4*4倍分辨率的第一上采样特征图像进行校正。在另一些实施例中，可以如图8B中示出的，对下采样后的特征图像与原始输入图像之间的残差进行一次上采样处理，并将上采样后生成的2*2倍分辨率的残差叠加到4*4倍分辨率的第一上采样特征图像经过一次下采样处理后生成的图像上。对叠加后得到的图像与校正后的2*2倍分辨率的第一上采样特征图像执行去叠加操作，确定叠加后得到的图像与校正后的2*2倍分辨率的第一上采样特征图像之间的残差。然后，对上述残差执行上采样处理，并将上采样后的残差叠加到4*4倍分辨率的第一上采样特征图像上，从而得到校正的4*4倍分辨率的第一上采样特征图像。
基于以上原理，如图8B所示，通过重复上述步骤可以进一步生成校正的8*8倍分辨率的上采样特征图像。
图8C示出的是利用上采样图像与原始图像之间的残差对上采样图像进行多次校正的示意图(即L＝3，μ＝2时)。图8C与图8B的区别在于，需要对第一上采样特征图像进行多次下采样并确定下采样后得到的图像与原始输入图像之间的残差。并将多次下采样后得到的残差进行上采样并叠加到第一上采样特征图像上以对第一上采样特征图像进行多次校正。在一些实施例中，仅在后续得到的残差小于上一次得到的残差的情况下，利用后续的得到的残差对第一上采样特征图像进行多次校正。这个过程在图5示出的图像处理系统中已经详细阐述，此处不再加以赘述。
尽管图8A-图8C中仅示出了μ分别等于0、1、2的三种情况，本领域技术人员可以理解，根据实际情况可以将μ设置成任意正整数，从而实现对超分辨率图像的多次残差校正。同样地，尽管图8A-图8C中仅示出了L＝3的情况，本领域技术人员也可以根据实际情况将L设置成任意正整数，从而得到用于生成不同分辨率的超分辨率图像的图像处理系统。
图9A示出了根据本公开实施例的图像处理系统的另一示例性的示意图。在图9A示出的图像处理系统900中，可以利用插值模块对输入图像IL-1进行插值，并获得基于输入图像IL-1的更高分辨率的图像。这里的插值模块可以利用传统的上采样插值方法，如双三次插值方法。此外，输入图像IL-1经过卷积网络和残差校正系统生成基于输入图像IL-1另一超分辨率图像。通过将利用上述两个系统生成的超分辨率图像进行叠加可以获得输出图像。
图9A示出的图像处理系统900和图7A示出的图像处理系统700之间的差别在于，图像处理系统700可以直接输出基于输入图像的超分辨率图像，二图像处理系统900输出的是基于输入图像的细节图像的超分辨率图像。因此，尽管图像处理系统900和图像处理系统700在模块的结构上是类似的，但其中构成系统的卷积网络的配置是完全不同的。利用不同的训练方法可以分别确定图像处理系统700和图像处理系统900。
本领域技术人员可以理解，在图像处理系统900中，也可以采用利用卷积网络确定残差的残差确定模块。如图9B所示。
图10A示出了根据本公开实施例的又一种图像处理系统1000的示意图。可以看出，在图9B示出的残差校正系统中，每一次上采样之前都需要利用拼接模块和变换模块确定当前的残差。然而，在图像处理系统1000中，在对输入图像进行第一次上采样时，由于不需要确定残差，因此可以将图像直接输入上采样模块。为了使得系统中的模块具有更高的一致性，简化利用程序实现上述图像处理过程的算法，可以在对输入图像进行第一次上采样之前，利用预处理模块对输入图像进行预处理。图10A中示出的预处理模块与图4B中示出的残差确定模块具有相同的结构，即包括拼接模块和变换模块。
如图10A所示，预处理模块的输入包括输入图像的特征图像Rμ L-1以及对经过输入图像进行插值后又进行下采样获得的图像特征。例如，如图10A中示出的，输入图像IL-1经过插值模块后，可以获得利用传统插值算法生成的超分辨率图像。利用分析模块701可以得到该超分辨率图像的特征图像，并可以利用下采样模块703对特征图像进行下采样操作，获得与输入图像的特征图像分辨率相同的特征图像。通过预处理模块和上采样模块可以确定基于输入图像的特征图像的第一上采样图像。在这里，尽管预处理模块和残差确定模块具有相同的结构，但由于在训练过程中，预处理模块和残差确定模块输出的特征图像具有不同的功能，因此，利用训练过程分别调整预处理模块和残差确定模块的参数，可以使得图像处理系统1000实现如前所述的图像处理功能。
图10B-图10D示出了根据本公开实施例的原理利用图像处理系统1000进行图像处理的上采样过程的示意图。
图10B示出的是不利用残差对上采样图像进行校正的示意图(即L＝3，μ＝0时)。如图10B所示，输入图像经过分析模块(方块1代表分析模块)后输出表示输出图像的特征图像。将输入图像叠加输入图像经过分析模块以及合成模块(方块4)的处理后可以得到变换的输入图像。利用传统插值模型可以得到变换的输入图像的超分辨率图像(方块5代表插值模块)。利用分析模块获得上述超分辨率图像的特征图像，并进行下采样后，可以利用预处理模块(方块C)对下采样模块得到的结果以及分析模块得到的结果进行预处理，并利用上采样模块(方块2代表上采样模块)对预处理模块输出的特征图像进行多次上采样，并形成表示超分辨率图像的超分辨率特征图像。在一个示例中，如果上采样模块配置成对图像进行两倍的上采样，经过图10B中的图像处理过程，将输出8*8倍上采样的超分辨率特征图像。
图10C示出的是利用上采样图像与原始图像之间的残差对上采样图像进行一次校正的示意图(即L＝3，μ＝1时)。图10D示出的是利用上采样图像与原始图像之间的残差对上采样图像进行多次校正的示意图(即L＝3，μ＝2时)。图10C和图10D分别示出了对输入图像进行多次残差校正的图像处理过程。这个过程与图8B和图8C中示出的过程是类似的，在此不再赘述。
根据本公开的另一方面，还提供了用于上述图像处理系统的训练方法。在图像处理系统的训练方法中，可以预先设置高分辨率的图像，并利用该高分辨率图像以及通过对原始的高分辨率图像进行下采样后生成的低分辨率图像对图像处理系统进行训练。当图像处理系统涉及多次上采样处理时，可以基于原始的高分辨率图像生成不同分辨率的低分辨率图像。例如，当原始的高分辨率图像的分辨率是512*512时，可以生成256*256以及128*128的低分辨率图像，并将这些低分辨率图像作为比较基准对图像处理系统进行训练。例如，可以将上述低分辨率图像输入图像处理系统，并计算输出的超分辨率图像与原始的高分辨率图像之间的损失函数。其中，损失函数至少包括：
其中L代表所述图像处理糸统的上米样次数，w是预设的权重因子，以及σ(R1 μ)是关于图像特征R1 μ损失度量。其中μ表示残差校正次数，1表示上采样次数。其中损失度量σ可以是L1正则项、L2正则项、Charbonnier损失函数等。
图11示出了根据本公开的实施例的图像处理方法的示例性的流程图。在图像处理方法1100中包括：
步骤S1110，利用分析卷积网络确定输入图像的特征图像，其中输入图像的特征图像的分辨率与输入图像的分辨率相同，以及输入图像的特征图像的通道数大于输入图像的通道数。
步骤S1120，利用上采样卷积网络对输入图像的特征图像执行上采样操作，获得第一上采样特征图像。其中第一上采样特征图像的分辨率大于输入图像的分辨率，第一上采样特征图像的通道数与输入图像的特征图像的通道数相同。
步骤S1130，利用下采样卷积网络对第一上采样特征图像执行下采样操作，获得第一下采样特征图像。其中第一下采样特征图像的分辨率与输入图像的分辨率相同，第一下采样特征图像的通道数与输入图像的特征图像的通道数相同。其中利用下采样卷积网络对第一上采样特征图像执行下采样操作包括：利用多个下采样卷积网络对第一上采样特征图像进行多次下采样操作，直到将第一上采样特征图像下采样为与输入图像分辨率相同的图像。
步骤S1140，确定第一下采样特征图像与输入图像的特征图像之间的残差图像。在一些实施例中，步骤S1140可以包括对输入图像的特征图像和第一下采样特征图像执行去叠加操作，获得第一残差。在一些实施例中，步骤S1140可以包括以预定的方式拼接第一下采样特征图像和输入图像的特征图像，其中，拼接的图像的尺寸是第一下采样特征图像和输入图像的尺寸的和；利用变换卷积网络对拼接的图像进行图像变换，并输出第一下采样特征图像与输入图像的特征图像之间的第一残差图像，其中第一残差图像的尺寸与输入图像的尺寸相同。
步骤S1150，利用上采样残差图像对第一上采样特征图像进行校正。在一些实施例中，利用上采样残差图像对第一上采样特征图像进行校正包括：对第一上采样特征图像和上采样残差图像执行叠加操作。在一些实施例中，利用上采样残差图像对第一上采样特征图像进行校正包括：对第一上采样特征图像和上采样残差执行叠加操作，获得第三上采样图像；利用下采样卷积网络对第三上采样图像执行下采样操作，获得第二下采样特征图像；确定第二下采样特征图像与输入图像的特征图像之间的第二残差图像，其中第二残差图像指示第二下采样特征图像与输入图像的特征图像之间的差别；利用第二下采样特征图像与输入图像的特征图像之间的第二残差图像校正第三上采样图像。其中利用第二下采样特征图像与输入图像的之间的第二残差图像校正第三上采样图像包括：比较第一残差图像和第二残差图像，当第二下采样特征图像与输入图像之间的差别小于第一下采样特征图像与输入图像之间的差别时，利用上采样卷积网络对第二残差图像执行上采样操作，获得第二上采样残差；对第一超分辨率图像和第二上采样残差执行叠加操作以获得第四上采样图像。其中比较第一残差图像和第二残差图像包括：确定第一残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第一残差值；确定第二残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第二残差值；比较第一残差值和第二残差值的大小。
步骤S1160，根据校正后的第一上采样特征图像生成基于输入图像的第一超分辨率图像。例如，可以利用合成卷积网络将校正后的第一上采样特征图像合成为与输入图像具有相同通道数的图像。
在一些实施例中，图像处理方法1100还可以包括对输入图像执行插值，获得放大图像，其中放大图像的分辨率与超分辨率图像的分辨率相同；以及对放大图像和超分辨率图像执行叠加操作，从而生成基于输入图像的超分辨率的放大图像。在这个实施例中，通过卷积网络生成的超分辨率图像表示原始输入图像放大后的细节特征。利用原始输入图像生成的放大的细节特征可以对利用传统差值方法生成的超分辨率的放大图像进行细节的补充，从而获得效果更好的超分辨率放大结果。
利用本公开实施例提供的图像处理方法，可以利用卷积网络并基于原始输入的低分辨率图像生成超分辨率的输出图像。并且，通过在每次上采样过程中利用上采样图像与原始图像之间的差别对上采样后的图像进行校正，可以改善超分辨率图像的效果。
需要说明的是，在本说明书中，相同标号的处理模块(如上采样模块、下采样模块、分析模块、合成模块、变换模块等)可以表示结构相同的卷积网络，但本领域技术人员可以理解，在一个图像处理系统中相同结构的两个卷积网络的参数可以是不同的。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (23)

1.一种图像处理方法，包括：
利用上采样卷积网络对输入图像执行上采样操作，获得第一上采样图像；
利用下采样卷积网络对所述第一上采样图像执行下采样操作，获得第一下采样图像；
确定所述第一下采样图像与所述输入图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样图像与所述输入图像之间的差别；
利用上采样卷积网络对所述第一残差图像执行上采样操作，获得第一上采样残差图像；
利用所述第一上采样残差图像对所述第一上采样图像进行校正；
根据校正后的第一上采样图像生成基于所述输入图像的第一超分辨率图像；
其中所述第一上采样图像的分辨率大于所述输入图像的分辨率，所述第一下采样图像的分辨率与所述输入图像的分辨率相同。
2.如权利要求1所述的图像处理方法，还包括：
对所述输入图像进行插值，获得基于所述输入图像的第二超分辨率图像，其中所述第二超分辨率图像的分辨率与所述第一超分辨率图像的分辨率相同；
对所述第一超分辨率图像和所述第二超分辨率图像执行叠加操作。
3.如权利要求1所述的图像处理方法，其中确定所述第一下采样图像与所述输入图像之间的第一残差图像包括：
以预定的方式拼接所述第一下采样图像和所述输入图像得到拼接图像，其中，拼接图像的尺寸是所述第一下采样图像和所述输入图像的尺寸的和；
利用变换卷积网络对拼接图像进行图像变换，并输出所述第一下采样图像与所述输入图像的图像之间的第一残差图像，其中所述第一残差图像的尺寸与所述输入图像的尺寸相同。
4.如权利要求1所述的图像处理方法，其中确定所述第一下采样图像与所述输入图像之间的第一残差图像包括：
对所述输入图像和所述第一下采样图像执行去叠加操作，获得第一残差图像。
5.如权利要求1所述的图像处理方法，其中利用所述第一上采样残差图像对所述第一上采样图像进行校正包括：
对所述第一上采样图像和所述第一上采样残差图像执行叠加操作。
6.如权利要求1所述的图像处理方法，其中利用所述第一上采样残差图像对所述第一上采样图像进行校正包括：
对所述第一上采样图像和所述第一上采样残差执行叠加操作，获得第三上采样图像；
利用下采样卷积网络对所述第三上采样图像执行下采样操作，获得第二下采样图像；
确定所述第二下采样图像与所述输入图像的之间的第二残差图像，其中所述第二残差图像指示所述第二下采样图像与所述输入图像之间的差别；
利用所述第二下采样图像与所述输入图像的之间的第二残差图像校正所述第三上采样图像。
7.如权利要求6所述的图像处理方法，其中利用所述第二下采样图像与所述输入图像的之间的第二残差图像校正所述第三上采样图像包括：
比较所述第一残差图像和所述第二残差图像，当所述第二下采样图像与所述输入图像之间的差别小于所述第一下采样图像与所述输入图像之间的差别时，利用上采样卷积网络对所述第二残差图像执行上采样操作，获得第二上采样残差；
对所述第三上采样图像和第二上采样残差执行叠加操作以获得第四上采样图像。
8.如权利要求7所述的图像处理方法，其中比较所述第一残差图像和所述第二残差图像包括：
确定第一残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第一残差值；
确定第二残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第二残差值；
比较所述第一残差值和所述第二残差值的大小。
9.如权利要求1所述的图像处理方法，其中，
利用上采样卷积网络对输入图像执行上采样操作包括利用多个上采样卷积网络对所述输入图像进行多次上采样操作，并确定基于所述输入图像的多个上采样图像，其中所述多个上采样图像包括至少第一上采样图像和第二上采样图像，其中所述第一上采样图像的分辨率大于所述第二上采样图像的分辨率；以及
利用下采样卷积网络对所述第一上采样图像执行下采样操作包括：
利用多个下采样卷积网络对所述第一上采样图像进行多次下采样操作并确定基于所述第一上采样图像的多个下采样图像，所述多个下采样图像包括至少第一下采样图像和第二下采样图像，其中所述第二下采样图像的分辨率大于所述第一下采样图像，所述第一下采样图像的分辨率等于所述输入图像的分辨率。
10.如权利要求9所述的图像处理方法，其中利用所述第一上采样残差图像对所述第一上采样图像进行校正包括：
利用所述第一上采样残差图像校正所述第二下采样图像；
利用校正后的所述第二下采样图像与所述第二上采样图像之间的残差对所述第一上采样图像进行校正。
11.一种图像处理装置，包括存储器和处理器，其中所述存储器上存储有处理器可读的程序代码，当处理器执行所述程序代码时，使得图像处理装置执行以下步骤：
利用上采样卷积网络对输入图像执行上采样操作，获得第一上采样图像，
利用下采样卷积网络对所述第一上采样图像执行下采样操作，获得第一下采样图像；
确定所述第一下采样图像与所述输入图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样图像与所述输入图像之间的差别；
利用上采样卷积网络对所述第一残差图像执行上采样操作，获得第一上采样残差图像；
利用所述第一上采样残差图像对所述第一上采样图像进行校正；
根据校正后的第一上采样图像生成基于所述输入图像的第一超分辨率图像；
其中所述第一上采样图像的分辨率大于所述输入图像的分辨率，所述第一下采样图像的分辨率与所述输入图像的分辨率相同。
12.如权利要求11所述的图像处理装置，其中所述步骤还包括：
对所述输入图像进行插值，获得基于所述输入图像的第二超分辨率图像，其中所述第二超分辨率图像的分辨率与所述第一超分辨率图像的分辨率相同；
对所述第一超分辨率图像和所述第二超分辨率图像执行叠加操作。
13.如权利要求12所述的图像处理装置，其中确定所述第一下采样图像与所述输入图像之间的第一残差图像包括：
以预定的方式拼接所述第一下采样图像和所述输入图像得到拼接图像，其中，拼接图像的尺寸是所述第一下采样图像和所述输入图像的尺寸的和；利用变换卷积网络对拼接图像进行图像变换，并输出所述第一下采样图像与所述输入图像的图像之间的第一残差图像，其中所述第一残差图像的尺寸与所述输入图像的尺寸相同。
14.如权利要求12所述的图像处理装置，其中确定所述第一下采样图像与所述输入图像之间的第一残差图像包括：
对所述输入图像和所述第一下采样图像执行去叠加操作，获得第一残差图像。
15.如权利要求12所述的图像处理装置，其中利用所述第一上采样残差图像对所述第一上采样图像进行校正包括：
对所述第一上采样图像和所述第一上采样残差图像执行叠加操作。
16.如权利要求12所述的图像处理装置，其中利用所述第一上采样残差图像对所述第一上采样图像进行校正包括：
对所述第一上采样图像和所述上采样残差执行叠加操作，获得第三上采样图像；
利用下采样卷积网络对所述第三上采样图像执行下采样操作，获得第二下采样图像；
确定所述第二下采样图像与所述输入图像的之间的第二残差图像，其中所述第二残差图像指示所述第二下采样图像与所述输入图像之间的差别；
利用所述第二下采样图像与所述输入图像的之间的第二残差图像校正所述第三上采样图像。
17.如权利要求16所述的图像处理装置，其中利用所述第二下采样图像与所述输入图像的之间的第二残差图像校正所述第三超分辨率图像包括：
比较所述第一残差图像和所述第二残差图像，当所述第二下采样图像与所述输入图像之间的差别小于所述第一下采样图像与所述输入图像之间的差别时，利用上采样卷积网络对所述第二残差图像执行上采样操作，获得第二上采样残差；对所述第三上采样图像和第二上采样残差执行叠加操作以获得第四上采样图像。
18.如权利要求17所述的图像处理装置，其中比较所述第一残差图像和所述第二残差图像包括：
确定第一残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第一残差值；
确定第二残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第二残差值；
比较所述第一残差值和所述第二残差值的大小。
19.如权利要求18所述的图像处理装置，其中，
利用上采样卷积网络对输入图像执行上采样操作包括利用多个上采样卷积网络对所述输入图像进行多次上采样操作，并确定基于所述输入图像的多个上采样图像，其中所述多个上采样图像包括至少第一上采样图像和第二上采样图像，其中所述第一上采样图像的分辨率大于所述第二上采样图像的分辨率；以及
利用下采样卷积网络对所述第一上采样图像执行下采样操作包括：
利用多个下采样卷积网络对所述第一上采样图像进行多次下采样操作并确定基于所述第一上采样图像的多个下采样图像，所述多个下采样图像包括至少第一下采样图像和第二下采样图像，其中所述第二下采样图像的分辨率大于所述第一下采样图像，所述第一下采样图像的分辨率等于所述输入图像的分辨率。
20.如权利要求19所述的的图像处理装置，其中利用所述第一上采样残差图像对所述第一上采样图像进行校正包括：
利用所述第一上采样残差图像校正所述第二下采样图像；
利用校正后的所述第二下采样图像与所述第二上采样图像之间的残差对所述第一上采样图像进行校正。
21.一种图像处理系统，包括：
第一上采样模块，配置成利用上采样卷积网络对输入图像执行上采样操作，获得第一上采样图像；
下采样模块，利用下采样卷积网络对所述第一上采样图像执行下采样操作，获得第一下采样图像；以及
残差确定模块，确定所述第一下采样图像与所述输入图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样图像与所述输入图像之间的差别；
第二上采样模块，配置成利用上采样卷积网络对所述残差图像执行上采样操作，获得第一上采样残差图像；
校正模块，配置成利用所述第一上采样残差图像对所述第一上采样图像进行校正；
生成模块，配置成利用校正后的第一上采样图像生成基于所述输入图像的第一超分辨率图像；
其中所述第一上采样图像的分辨率大于所述输入图像的分辨率，所述第一下采样图像的分辨率与所述输入图像的分辨率相同。
22.一种用于如权利要求21所述的图像处理系统的训练方法，包括：
接收输入图像；
对所述输入图像执行下采样操作，确定基于所述输入图像的下采样图像；
利用所述图像处理系统对所述下采样图像进行图像处理，调整所述分析卷积网络、上采样卷积网络、下采样卷积网络中各卷积层中的参数，运行有限次迭代以使目标函数最优化，其中所述目标函数是基于所述下采样图像生成的超分辨率图像和所述输入图像的损失函数。
23.如权利要求22所述的训练方法，其中所述目标函数包括：
残差损失：
其中L代表所述图像处理系统的上采样次数，w是预设的权重因子，σ是损失度量。
CN201810280478.2A 2018-03-30 2018-03-30 图像处理方法及装置、图像处理系统及其训练方法 Active CN110322400B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810280478.2A CN110322400B (zh) 2018-03-30 2018-03-30 图像处理方法及装置、图像处理系统及其训练方法
EP18889945.4A EP3776451A4 (en) 2018-03-30 2018-12-17 Image processing apparatus, image processing method thereof, image processing system, and training method thereof
US16/465,294 US11189013B2 (en) 2018-03-30 2018-12-17 Image processing apparatus, image processing method thereof, image processing system, and training method thereof
JP2020527902A JP7359395B2 (ja) 2018-03-30 2018-12-17 画像処理装置及びその画像処理方法、並びに画像処理システム及びそのトレーニング方法
PCT/CN2018/121466 WO2019184462A1 (en) 2018-03-30 2018-12-17 Image processing apparatus, image processing method thereof, image processing system, and training method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810280478.2A CN110322400B (zh) 2018-03-30 2018-03-30 图像处理方法及装置、图像处理系统及其训练方法

Publications (2)

Publication Number Publication Date
CN110322400A true CN110322400A (zh) 2019-10-11
CN110322400B CN110322400B (zh) 2021-04-27

Family

ID=68062474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810280478.2A Active CN110322400B (zh) 2018-03-30 2018-03-30 图像处理方法及装置、图像处理系统及其训练方法

Country Status (5)

Country Link
US (1) US11189013B2 (zh)
EP (1) EP3776451A4 (zh)
JP (1) JP7359395B2 (zh)
CN (1) CN110322400B (zh)
WO (1) WO2019184462A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353938A (zh) * 2020-02-29 2020-06-30 杭州电子科技大学 一种基于网络反馈的图像超分辨率学习方法
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN112163541A (zh) * 2020-10-09 2021-01-01 上海云绅智能科技有限公司 一种3d目标检测方法、装置、电子设备和存储介质
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142883A (ko) * 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
KR20210042588A (ko) * 2019-10-10 2021-04-20 엘지전자 주식회사 영상을 압축 또는 복원하기 위한 방법 및 장치
US11568252B2 (en) 2020-06-29 2023-01-31 Alibaba Group Holding Limited Variable input size techniques for neural networks
CN111914997B (zh) * 2020-06-30 2024-04-02 华为技术有限公司 训练神经网络的方法、图像处理方法及装置
CN113628115B (zh) * 2021-08-25 2023-12-05 Oppo广东移动通信有限公司 图像重建的处理方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN102915527A (zh) * 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
US20150235345A1 (en) * 2014-02-17 2015-08-20 Delta Electronics, Inc. Method and device for processing a super-resolution image
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN107369189A (zh) * 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN107527044A (zh) * 2017-09-18 2017-12-29 北京邮电大学 一种基于搜索的多张车牌清晰化方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003060823A2 (en) * 2001-12-26 2003-07-24 Yeda Research And Development Co.Ltd. A system and method for increasing space or time resolution in video
CN102770887A (zh) * 2010-01-28 2012-11-07 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于从输入图像产生像素分辨率提高的输出图像的方法和系统
JP2012027403A (ja) 2010-07-27 2012-02-09 Fujitsu Ten Ltd 画像表示装置および画像表示方法
EP2662824A1 (en) * 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
JP2016502801A (ja) * 2012-11-27 2016-01-28 エルジー エレクトロニクス インコーポレイティド 信号送受信装置及び信号送受信方法
EP2908285A1 (en) * 2014-02-13 2015-08-19 Thomson Licensing Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN104853059B (zh) 2014-02-17 2018-12-18 台达电子工业股份有限公司 超分辨率图像处理方法及其装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN102915527A (zh) * 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
US20150235345A1 (en) * 2014-02-17 2015-08-20 Delta Electronics, Inc. Method and device for processing a super-resolution image
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN107369189A (zh) * 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN107527044A (zh) * 2017-09-18 2017-12-29 北京邮电大学 一种基于搜索的多张车牌清晰化方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李玲慧: "基于深度卷积神经网络和时空特征的视频重建研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353938A (zh) * 2020-02-29 2020-06-30 杭州电子科技大学 一种基于网络反馈的图像超分辨率学习方法
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN113556496A (zh) * 2020-04-23 2021-10-26 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN113556496B (zh) * 2020-04-23 2022-08-09 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN112163541A (zh) * 2020-10-09 2021-01-01 上海云绅智能科技有限公司 一种3d目标检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2019184462A1 (en) 2019-10-03
EP3776451A4 (en) 2021-12-29
US11189013B2 (en) 2021-11-30
EP3776451A1 (en) 2021-02-17
CN110322400B (zh) 2021-04-27
JP7359395B2 (ja) 2023-10-11
US20210097645A1 (en) 2021-04-01
JP2021517283A (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
CN110322400A (zh) 图像处理方法及装置、图像处理系统及其训练方法
EP3467721B1 (en) Method and device for generating feature maps by using feature upsampling networks
US10019642B1 (en) Image upsampling system, training method thereof and image upsampling method
CN109191382B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US9984325B1 (en) Learning method and learning device for improving performance of CNN by using feature upsampling networks, and testing method and testing device using the same
EP3120322B1 (en) Method for processing input low-resolution (lr) image to output high-resolution (hr) image
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
US11216913B2 (en) Convolutional neural network processor, image processing method and electronic device
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
CN103985085A (zh) 图像超分辨率放大的方法和装置
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN117597703A (zh) 用于图像分析的多尺度变换器
CN111127316A (zh) 一种基于sngan网络的单幅人脸图像超分辨方法及系统
EP1456817B1 (en) System and method to warp an image
US20020154115A1 (en) Computer graphics system and computer-implemented method for generating smooth feature lines for subdivision surfaces
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN108921785B (zh) 基于小波包的超分辨率重建方法
AU2002258107A1 (en) Generating smooth feature lines for subdivision surfaces
CN113628111B (zh) 基于梯度信息约束的高光谱图像超分辨方法
CN110111252A (zh) 基于投影矩阵的单幅图像超分辨率方法
CN108629402A (zh) 用于图像处理的方法和装置
CN115735224A (zh) 非抽取的图像处理方法及装置
CN109740745A (zh) 一种用于构造高维卷积加速神经网络的方法
Huang et al. Learned scale-arbitrary image downscaling for non-learnable upscaling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant