CN109360151B - 图像处理方法及系统、分辨率提升方法、可读存储介质 - Google Patents

图像处理方法及系统、分辨率提升方法、可读存储介质 Download PDF

Info

Publication number
CN109360151B
CN109360151B CN201811155147.2A CN201811155147A CN109360151B CN 109360151 B CN109360151 B CN 109360151B CN 201811155147 A CN201811155147 A CN 201811155147A CN 109360151 B CN109360151 B CN 109360151B
Authority
CN
China
Prior art keywords
image
resolution
network
sampling
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811155147.2A
Other languages
English (en)
Other versions
CN109360151A (zh
Inventor
那彦波
朱丹
刘瀚文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201811155147.2A priority Critical patent/CN109360151B/zh
Publication of CN109360151A publication Critical patent/CN109360151A/zh
Priority to AU2019350918A priority patent/AU2019350918B2/en
Priority to JP2020529196A priority patent/JP7415251B2/ja
Priority to RU2020136214A priority patent/RU2762144C1/ru
Priority to MX2020013580A priority patent/MX2020013580A/es
Priority to KR1020207037174A priority patent/KR102661434B1/ko
Priority to PCT/CN2019/083872 priority patent/WO2020062846A1/en
Priority to US16/604,410 priority patent/US11615505B2/en
Priority to BR112020022560-6A priority patent/BR112020022560A2/pt
Priority to EP19850782.4A priority patent/EP3857447A4/en
Priority to PCT/CN2019/092042 priority patent/WO2020062957A1/en
Priority to JP2020528242A priority patent/JP7463643B2/ja
Priority to EP19850757.6A priority patent/EP3857503A4/en
Priority to US16/614,558 priority patent/US11348005B2/en
Priority to PCT/CN2019/092113 priority patent/WO2020062958A1/en
Priority to US16/614,547 priority patent/US11361222B2/en
Priority to EP19850805.3A priority patent/EP3857504A4/en
Priority to PCT/CN2019/107761 priority patent/WO2020063648A1/zh
Priority to JP2020528931A priority patent/JP7446997B2/ja
Priority to US16/759,669 priority patent/US11449751B2/en
Priority to KR1020207014462A priority patent/KR102389173B1/ko
Priority to EP19864756.2A priority patent/EP3859655A4/en
Application granted granted Critical
Publication of CN109360151B publication Critical patent/CN109360151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理方法及系统、图像分辨率提升方法、计算机可读存储介质，图像处理方法包括：利用生成网络对输入图像进行分辨率提升步骤迭代处理，每次分辨率提升步骤包括：获取待处理图像的特征图像和待处理噪声的图像；将待处理图像的特征图像与待处理噪声的图像联接，得到第一合并图像；生成基于待处理图像的超分辨率特征图像；第一次分辨率提升步骤中，待处理图像的特征图像为输入图像的特征图像；除第一次之外的分辨率提升步骤中，待处理图像的特征图像为上一次分辨率提升步骤生成的超分辨率特征图像；每一次分辨率提升步骤中，待处理噪声的幅度相等。本发明能够得到满足实际需要的超分辨率图像。

Description

图像处理方法及系统、分辨率提升方法、可读存储介质
技术领域
本发明涉及图像处理领域，具体涉及一种图像处理方法及系统、图像分辨率提升方法和计算机可读存储介质。
背景技术
卷积神经网络是一种常见的深度学习网络，目前已被大量应用于图像处理领域，以实现图像识别、图像分类和图像超分辨率重构等。
在目前的超分辨率重构的方法中，基于低分辨率图像而重构的高分辨率图像往往缺少细节信息，导致高分辨率图像看起来不真实。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种图像处理方法及系统、计算机可读存储介质。
为了实现上述目的，本发明提供一种图像处理方法，包括：利用生成网络对输入图像进行分辨率提升步骤迭代处理，所述迭代处理中的每次分辨率提升步骤包括：
获取待处理图像的特征图像和待处理噪声的图像；
将所述待处理图像的特征图像与待处理噪声的图像联接，得到第一合并图像；
根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；该超分辨率特征图像的分辨率为所述待处理图像分辨率的预定倍数，该预定倍数为大于1的整数；
其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像的特征图像为所述输入图像的特征图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像的特征图像为上一次分辨率提升步骤生成的所述超分辨率特征图像；所述迭代处理的每一次分辨率提升步骤中，所述待处理噪声的幅度相等。
可选地，根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像的步骤包括：
根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像；
对所述第一上采样特征图像进行下采样，得到第一下采样特征图像；
获取所述第一下采样特征图像与所述第一合并图像之间的残差图像；
对所述残差图像进行上采样，得到上采样残差图像；
利用上采样残差图像对第一上采样特征图像进行校正，以生成所述超分辨率特征图像。
可选地，利用上采样残差图像对第一上采样特征图像进行校正的步骤包括：
将所述上采样残差图像与所述第一上采样特征图像叠加，以生成所述超分辨率特征图像；
或者，利用上采样残差图像对第一上采样特征图像进行校正的步骤包括：
将所述上采样残差图像与所述第一上采样特征图像叠加，得到第二上采样特征图像；
对所述第二上采样特征图像进行下采样，得到第二下采样特征图像；
获取所述第二下采样特征图像与所述第一合并图像之间的残差图像；
对所述第二下采样特征图像与所述第一合并图像之间的残差图像进行上采样，并将上采样后得到的图像与所述第二下采样特征图像叠加，得到所述超分辨率特征图像。
可选地，每次分辨率提升步骤还包括：
对所述待处理图像进行插值，获得基于待处理图像的插值图像，该特征图像的通道数大于所述插值图像的通道数；
对所述超分辨率特征图像进行合成，并将合成后的图像与所述插值图像进行叠加，得到基于所述待处理图像的超分辨率图像；
其中，所述迭代处理中第一次分辨率提升步骤中，所述待处理图像为所述输入图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的所述超分辨率图像。
可选地，根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像，包括：
获取所述插值图像的特征图像；
对所述插值图像的特征图像进行下采样，并将下采样后的图像与所述第一合并图像联接，得到第二合并图像；
对所述第二合并图像进行上采样，得到所述第一上采样特征图像。
可选地，所述图像处理方法还包括：
建立训练集，所述训练集中包括多个高分辨率样本图像以及对每个高分辨率样本图像进行下采样得到的低分辨率样本图像；
利用不同的低分辨率图像来交替重复进行生成网络的训练步骤和鉴别网络的训练步骤，直至达到预设训练条件；
所述生成网络的训练步骤包括：
将至少一个第一幅度的噪声样本所对应的第一噪声图像和所述低分辨率样本图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第一输出图像；
将至少一个第二幅度的噪声样本所对应的第二噪声图像和所述低分辨率样本图像和提供给生成网络，以使所述生成网络通过所述迭代处理生成第二输出图像；所述第一幅度大于0，所述第二幅度等于0；
调整所述生成网络的参数以减小生成网络的损失函数；所述生成网络的损失函数用于表征所述第一输出图像与所述高分辨率样本图像之间以及所述第二输出图像与所述高分辨率样本图像之间的总差异；
所述鉴别网络的训练步骤包括：
将所述低分辨率样本图像和所述第一幅度的噪声样本所对应的第一噪声图像提供给参数调整后的生成网络，以使所述生成网络生成新的第一输出图像；
将新的第一输出图像和与所述低分辨率样本图像对应的高分辨率样本图像提供给鉴别网络，通过减小所述鉴别网络的损失函数来调节所述鉴别网络的参数，使得鉴别网络输出能够表征所述鉴别网络的输入为生成网络的输出图像还是所述高分辨率样本图像的鉴别结果。
可选地，所述生成网络训练步骤还包括：
分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果；
所述生成网络的损失函数为：
Loss＝λ1Lrec(X，Yn＝0)+λ2Lper(X，Yn＝1)+λ3LGAN(Yn＝1)
其中，X为所述高分辨率样本图像，Yn＝0为所述第二输出图像，Yn＝1为所述第一输出图像；
Lrec(X，Yn＝0)为所述第二输出图像和所述高分辨率样本图像之间的重构误差；
Lper(X，Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差；
LGAN(Yn＝1)为所述第一鉴别结果与所述第二鉴别结果之和；
λ1、λ2、λ3均为预设的权值。
可选地，Lrec(X，Yn＝0)、Lper(X，Yn＝1)、LGAN(Yn＝1)根据以下公式计算：
Figure BDA0001818763470000041
Figure BDA0001818763470000042
LGAN(Yn＝1)＝E[log(D(HR))]+E[log(1-D(Yn＝1))]
其中，L为所述迭代处理中分辨率提升步骤的总次数；L≥1；
Figure BDA0001818763470000051
为所述生成网络基于所述第二噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L；
LR为所述低分辨率样本图像；
Figure BDA0001818763470000052
为对
Figure BDA0001818763470000053
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
HRl为所述高分辨率样本图像进行下采样后得到的与
Figure BDA0001818763470000054
分辨率相同的图像；
Figure BDA0001818763470000055
为所述生成网络基于所述第一噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；
Figure BDA0001818763470000056
为对
Figure BDA0001818763470000057
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
LCX()为感知损失计算函数；
D(Yn＝1)为所述第一鉴别结果；D(HR)为所述第二鉴别结果；
E[]为对矩阵能量的计算。
可选地，所述鉴别网络包括L个输入端，L为所述迭代处理中分辨率提升步骤的总次数；当L＞1时，所述生成网络基于第一噪声图像进行迭代处理中的前L-1次分辨率提升步骤中，每进行一次分辨率提升步骤，生成网络均生成一个中间图像；
将所述第一输出图像提供给所述鉴别网络的同时，还将生成网络基于所述第一噪声图像生成的各个中间图像提供给鉴别网络，所述第一输出图像以及各中间图像一一对应地输入至所述鉴别网络的输入端；将所述高分辨率样本图像提供给所述鉴别网络的同时，还将对所述高分辨率样本图像进行下采样后得到的与各个中间图像的分辨率一一对应相同的中分辨率图像提供给所述鉴别网络，所述高分辨率样本图像和各个中分辨率图像一一对应地输入至所述鉴别网络的输入端。
相应地，本发明还提供一种图像处理系统，包括：
获取模块，用于获取输入图像和待处理噪声的图像；
生成网络，用于对输入图像进行分辨率提升步骤迭代处理，所述生成网络包括：
分析模块，用于获取所述输入图像的特征图像；
联接模块，用于将待处理图像的特征图像与所述待处理噪声的图像联接，得到第一合并图像；
分辨率提升模块，用于根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；所述超分辨率特征图像的分辨率为所述待处理图像分辨率的预定倍数，该预定倍数为大于1的整数；
其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像的特征图像为所述输入图像的特征图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的所述超分辨率特征图像；所述迭代处理的每一次分辨率提升步骤中，所述待处理噪声的幅度相等。
可选地，所述分辨率提升模块包括：
第一上采样子模块，用于根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像；
下采样子模块，用于对所述第一上采样特征图像进行下采样，得到第一下采样特征图像；
残差确定子模块，用于获取所述第一下采样特征图像与所述第一合并图像之间的残差图像；
第二上采样子模块，用于对所述残差图像进行上采样，得到上采样残差图像；
校正子模块，用于利用上采样残差图像对第一上采样特征图像进行校正，以生成所述超分辨率特征图像。
可选地，所述分辨率提升模块还包括：
插值子模块，用于对所述待处理图像进行插值，获得基于待处理图像的插值图像；该插值图像的分辨率与所述超分辨率特征图像的分辨率相同；
合成子模块，用于对所述超分辨率特征图像进行合成；
叠加子模块，用于将所述合成子模块合成得到的图像与所述插值图像进行叠加，得到基于所述待处理图像的超分辨率图像；
其中，所述迭代处理中第一次分辨率提升步骤中，所述待处理图像为所述输入图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的所述超分辨率图像。
可选地，所述第一上采样子模块包括：
分析单元，用于获取插值图像的特征图像；
下采样单元，用于对所述插值图像的特征图像进行下采样；
联接单元，用于将所述下采样单元进行下采样后得到的图像与所述第一合并图像联接，得到第二合并图像；
上采样单元，用于对所述第二合并图像进行上采样，得到所述第一上采样特征图像。
可选地，所述图像处理系统还包括训练集建立模块和训练模块，所述训练集建立模块用于建立训练集，所述训练集中包括多个高分辨率样本图像以及对每个高分辨率样本图像进行下采样得到的低分辨率样本图像；
所述训练模块用于利用不同的低分辨率图像来交替重复进行生成网络的训练步骤和鉴别网络的训练步骤，直至达到预设训练条件；
所述生成网络的训练步骤包括：
将所述低分辨率样本图像和第一幅度的噪声样本所对应的第一噪声图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第一输出图像；
将所述低分辨率样本图像和第二幅度的噪声样本所对应的第二噪声图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第二输出图像；所述第一幅度大于0，所述第二幅度等于0；
调整所述生成网络的参数以减小生成网络的损失函数；所述生成网络的损失函数用于表征所述第一输出图像与所述高分辨率样本图像之间以及所述第二输出图像与所述高分辨率样本图像之间的总差异；
所述鉴别网络的训练步骤包括：
将所述低分辨率样本图像和所述第一幅度的噪声样本所对应的第一噪声图像提供给参数调整后的生成网络，以使所述生成网络生成新的第一输出图像；
将新的第一输出图像和与所述低分辨率样本图像对应的高分辨率样本图像提供给鉴别网络，通过减小所述鉴别网络的损失函数来调节所述鉴别网络的参数，使得鉴别网络输出能够表征所述鉴别网络的输入为生成网络的输出图像还是所述高分辨率样本图像的鉴别结果。
可选地，，所述生成网络训练步骤还包括：分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果；所述生成网络训练模块还包括：第二输出子模块，用于分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果；
所述生成网络的损失函数为：
Loss＝λ1Lrec(X，Yn＝0)+λ2Lper(X，Yn＝1)+λ3LGAN(Yn＝1)
其中，X为所述高分辨率样本图像，Yn＝0为所述第二输出图像，Yn＝1为所述第一输出图像；
Lrec(X，Yn＝0)为所述第二输出图像和所述高分辨率样本图像之间的重构误差；
Lper(X，Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差；
LGAN(Yn＝1)为所述第一鉴别结果与所述第二鉴别结果之和；
λ1、λ2、λ3均为预设的权值。
可选地，Lrec(X，Yn＝0)、Lper(X，Yn＝1)、LGAN(Yn＝1)根据以下公式计算：
Figure BDA0001818763470000081
Figure BDA0001818763470000082
LGAN(Yn＝1)＝E[log(D(HR))]+E[log(1-D(Yn＝1))]
其中，L为所述迭代处理中分辨率提升步骤的总次数；L≥1；
Figure BDA0001818763470000091
为所述生成网络基于所述第二噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L；
LR为所述低分辨率样本图像；
Figure BDA0001818763470000092
为对
Figure BDA0001818763470000093
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
HRl为所述高分辨率样本图像进行下采样后得到的与
Figure BDA0001818763470000094
分辨率相同的图像；
Figure BDA0001818763470000095
为所述生成网络基于所述第一噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；
Figure BDA0001818763470000096
为对
Figure BDA0001818763470000097
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
LCX()为感知损失计算函数；
D(Yn＝1)为所述第一鉴别结果；D(HR)为所述第二鉴别结果；
E[]为对矩阵能量的计算。
相应地，本发明还提供一种图像分辨率提升方法，包括：
将输入图像和待处理噪声所对应的幅度值提供给上述图像处理系统，以使所述图像处理系统输出相应的输出图像；
其中，对于同一个输入图像，当待处理噪声的幅度值不同时，所述图像处理系统的输出图像不同。
相应地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为重构失真和感知失真所能够达到和不能达到的范围的示意图；
图2为本发明提供的一种图像处理系统的结构示意图；
图3为本发明中提供的生成网络的第一种结构示意图；
图4为本发明提供的生成网络的第二种结构示意图；
图5为本发明提供的生成网络的第三种结构示意图；
图6为本发明提供的生成网络的第四种结构示意图；
图7为本发明提供的生成网络的第五种结构示意图；
图8A为不经过残差校正对输入图像进行分辨率提升的示意图；
图8B为利用一次残差校正对输入图像进行分辨率提升的示意图；
图8C为利用两次残差校正对输入图像进行分辨率提升的示意图；
图9为本发明提供的图像处理系统的另一结构示意图；
图10为本发明提供的生成网络的训练步骤流程图；
图11为本发明提供的鉴别网络的训练步骤流程图；
图12为本发明提供的一种图像处理方法流程图；
图13为迭代处理中的每次分辨率提升步骤流程图；
图14为迭代处理中的每次分辨率提升步骤另一流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
图像超分辨率重构是对初始图像进行分辨率提升，以获得更高分辨率的图像的技术。在图像超分辨率重构中，重构失真和感知失真用来评估超分辨率的重构效果，重构失真用来衡量重构图像和参考图像之间的客观差异程度，具体评价标准包括均方误差(MSE)、相似度(SSIM)、峰值信噪比(PSNR)等；感知失真更关注于使图像看起来和自然图像更像。图1为重构失真和感知失真所能够达到和不能达到的范围的示意图，在图1中，曲线上方表示重构失真和感知失真所能够达到的范围，曲线下方为重构失真和感知失真所不能达到的范围。如图1所示，当重构失真较小时，则感知失真较大，此时，重构图像看起来更平滑而缺少细节；当感知失真较小时，重构失真较大，此时，重构图像的细节更丰富。目前的图像超分辨率重构方法往往追求较小的重构失真，但是，在一些应用场景下，人们往往更希望获得细节丰富的重构图像。
图2为本发明提供的一种图像处理系统的结构示意图，如图2所示，图像处理系统包括获取模块100和生成网络200。获取模块100用于获取输入图像I0和待处理噪声的图像，其中，待处理噪声可以为随机噪声。生成网络200用于对输入图像I0进行分辨率提升步骤迭代处理。其中，所述生成网络200包括分析模块210、联接模块220和分辨率提升模块230。
分析模块210用于获取所述输入图像I0的特征图像R0。输入图像I0可以为三通道的彩色图像，输入图像的特征图像R0的通道数大于输入图像I0的通道数。在一些实施例中，分析模块210可以利用卷积层来获取输入图像的初始特征图像，并通过诸如卷积神经网络CNN、残差网络ResNet、密集连接的卷积网络DenseNet、CliqueNet、滤波器库Filter Banks等卷积网络模型对初始特征图像进行特征变换，从而得到输入图像的特征图像。
联接模块220用于将待处理图像的特征图像与所述待处理噪声的图像联接(concatenate)，得到第一合并图像。联接模块220所进行的联接处理可以看作：将待处理图像的特征图像的各通道图像与待处理噪声图像的各通道图像堆叠，从而使得第一合并图像的通道数为待处理图像的特征图像的通道数与待处理噪声的图像的通道数之和，第一合并图像的各通道图像即为待处理图像的特征图像的各通道图像与待处理噪声图像的各通道图像的综合。
分辨率提升模块230用于根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像。该超分辨率特征图像的分辨率为所述待处理图像的分辨率的预定倍数，该预定倍数为大于1的整数。所述超分辨率特征图像的通道数大于待处理图像的通道数，分辨率提升模块230还可以根据所述超分辨率特征图像生成基于所述待处理图像的超分辨率图像。需要说明的是，当预定倍数为A、待处理图像的分辨率为x*x时，将待处理图像的分辨率提升A倍后，得到分辨率为(A*x*x)的图像。
其中，生成网络200对输入图像进行的迭代处理为：通过分辨率提升步骤的一次或多次迭代，从而得到目标分辨率的图像的过程。所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像的特征图像为所述输入图像的特征图像R0；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的超分辨率图像，所述待处理图像的特征图像为上一次分辨率提升步骤生成的所述超分辨率特征图像。如图2中，在进行第l次分辨率提升、且l＞1时，联接模块220所接收到的待处理图像的特征图像为第l-1次分辨率提升步骤生成的超分辨率特征图像Rl-1。当每次分辨率提升步骤的提升倍数为2时，第l次分辨率提升步骤结束时得到的超分辨率特征图像的分辨率为原始的号输入图像的2l倍。因此，在实际应用中，可以根据实际想要对分辨率提升的倍数，以及迭代处理中每次分辨率提升步骤的提升倍数来设置分辨率提升次数。
所述迭代处理的每一次分辨率提升步骤中，所述待处理噪声的幅度相等。其中，噪声的幅度为噪声的平均波动幅度。例如，噪声为随机噪声，噪声的图像的均值为μ，方差为σ，即，噪声所对应的图像中各像素值均在μ-σ～μ+σ之间波动；此时，噪声幅度为μ。本领域技术人员可以理解的是，在图像处理过程中，图像均以矩阵表示，上述像素值则表示图像矩阵中的元素值。
在进行超分辨率重构时，重构的超分辨率图像中细节特征(例如，毛发、线条等)往往会和噪声有关。在应用生成网络进行超分辨率重构时，根据实际需要(是否需要突出细节，细节的突出程度)，来调节输入噪声的幅度，从而使重构的图像满足实际需求。
图3为本发明中提供的生成网络的第一种结构示意图，图3的联接模块220所接收到的待处理图像为初始的输入图像。如图3所示，分辨率提升模块230包括第一上采样子模块231、下采样子模块233、残差确定子模块234、第二上采样子模块232、校正子模块235和合成子模块236。
第一上采样子模块231用于根据第一合并图像RC0生成基于该第一合并图像RC0的第一上采样特征图像R0 1。在一些实施例中，第一上采样子模块231包括上述卷积神经网络CNN、残差网络ResNet等卷积网络模型和上采样层的组合。即，第一上采样子模块231先利用卷积网络模型对第一合并图像RC0进行图像变换，之后利用上采样层对变换后的图像进行上采样。上采样层可以包括Muxout层、条纹反向卷积(Strided Transposed Convolution)或标准的每通道上采样器(如双三次插值)。
下采样子模块233用于对所述第一上采样特征图像R0 1进行下采样，得到第一下采样特征图像R1 0。在一些实施例中，下采样子模块233包括上述卷积网络模型和下采样层，即，下采样子模块233通过下采样层对第一上采样特征图像R0 1进行下采样，之后再利用卷积网络模型进行特征变换。下采样层可以包括反向Muxout层、条纹卷积(StridedConvolution)、最大池化层(Maxpool Layer)或标准的每通道下采样器(如双三次插值)。
残差确定子模块234用于获取所述第一下采样特征图像R1 0与所述第一合并图像RC0之间的残差图像D1 0。残差图像D1 0用于表征第一下采样特征图像R1 0与第一合并图像RC0之间差别的大小。在一些实施例中，残差确定子模块234可以通过对第一下采样特征图像R1 0与第一合并图像RC0进行线性组合生成残差图像D1 0。例如，D1 0＝αR1 0+βD1 0。当α＝1，β＝-1时，残差图像D1 0即是第一下采样特征图像R1 0与第一合并图像RC0的差值，即，残差图像中各像素值为两个图像相对应位置的像素值之差。在实际应用中，本领域技术人员也可以根据实际情况设置不同的α值和β值。在另一些实施例中，残差确定子模块可以利用卷积网络生成基于第一下采样特征图像R1 0与第一合并图像之间RC0的残差图像。在另一些实施例中，残差确定子模块234可以通过将第一下采样特征图像R1 0与第一合并图像RC0联接，并对联接后的特征图像进行图像变换的方式获得残差图像，即，残差确定子模块234可以与联接模块220采用同样的网络结构，而二者的网络参数可以不同。
第二上采样子模块232对残差图像D1 0进行上采样，获得上采样残差图像D1 1；第二上采样子模块232可以采样上述卷积网络模型和上采样层的组合。
校正子模块235用于利用上采样残差图像对第一上采样特征图像进行校正，以生成所述超分辨率特征图像。
第一下采样特征图像R1 0是对第一合并图像RC0经过先上采样再下采样的处理后得到的、与输入图像的特征图像R0分辨率相同的图像，对于一个精确系统来说，经过先上采样再下采样的处理后得到的第一下采样特征图像R1 0与没有经过处理的第一合并图像RC0应当是相同的。然而，在实际的图像处理系统中，由于在对图像进行上采样操作时需要通过估计的方法增加图像的分辨率，因此，对第一上采样特征图像R0 1进行下采样后得到的第一下采样特征图像R1 0与第一合并图像RC0之间存在差异，可以利用第一下采样特征图像R1 0与第一合并图像RC0之间的差异对第一上采样特征图像R0 1进行校正。例如，在图3中，校正子模块235对第一上采样特征图像校正方式为：通过第一叠加单元2351将上采样残差图像D1 1与第一上采样特征图像R1 0叠加，以实现对第一上采样特征图像R0 1的校正，叠加后得到的图像即为所述超分辨率特征图像R1。
合成子模块236用于对所述超分辨率特征图像R1进行合成。在图3所示的实施例中，合成子模块236输出的图像为基于所述输入图像I0的超分辨率图像I1，该超分辨率图像I1的分辨率与超分辨率特征图像R1的分辨率相同，而超分辨率图像I1的通道数与输入图像I0的通道数相同。在一些实施例中，合成子模块236也可以采样上述卷积神经网络模型和卷积层，即，合成子模块236先利用卷积网络模型对超分辨率特征图像进行特征变换，之后利用卷积层对变换后的超分辨率特征图像进行合成。
图4为本发明提供的生成网络的第二种结构示意图，图4的联接模块220所接收到的待处理图像为初始的输入图像I0。与图3类似地，图4的生成网络200同样包括分析模块210、联接模块220和分辨率提升模块230，且分辨率提升模块230同样包括上述第一上采样子模块231、第二上采样子模块232、下采样子模块233、残差确定子模块234和合成子模块236。图4与图3的区别在于校正子模块235的结构不同，图4中的校正子模块235不仅包括第一叠加单元2351，还包括下采样单元2352、残差确定单元2353、上采样单元2354和第二叠加单元2355。下面仅对图4区别于图3的部分进行说明。
在图4中，第一叠加单元2351将上采样残差图像D1 1与第一上采样特征图像R1 0叠加后，得到第二上采样特征图像R1 1。下采样单元2352用于对第二上采样特征图像R1 1进行下采样，得到第二下采样特征图像R2 0。残差确定单元2353可以通过与上述残差确定子模块234相同的处理方式，获得第二下采样特征图像R2 0与第一合并图像RC0之间的残差图像D2 0。上采样单元2354用于对残差确定单元2353生成的残差图像D2 0进行上采样，生成上采样残差图像D2 1。第二叠加单元2355用于将上采样单元2354生成的上采样残差图像D2 1与第二上采样特征图像R1 1叠加，得到第三上采样特征图像，并将该第三上采样特征图像作为超分辨率特征图像R1。
在图4中，第一上采样子模块231、第二上采样子模块232、上采样单元2354可以采用相同的结构，下采样子模块233、下采样单元2352可以采用相同的结构，残差确定子模块234和残差确定单元2353可以采样相同的卷积网络。但本领域技术人员可以理解，在一个图像处理系统中相同结构的两个卷积网络的参数可以是不同的。
在图4的结构中，下采样子模块233、残差确定子模块234、第二上采样模块232和第一叠加单元2351实现了对第一上采样特征图像R1 0的第一次残差校正；下采样单元2352、残差确定单元2353、上采样单元2354和第二叠加单元2355实现了对第一上采样特征图像R1 0的第二次残差校正。当然，校正子模块235中还可以进一步设置更多的上采样单元、下采样单元、残差校正单元、第二叠加单元，从而进行更多次数的残差校正。通过多次残差校正，可以实现更好的超分辨率重构效果。
如上所述，生成网络200对输入图像I0进行分辨率提升步骤迭代处理，迭代处理中分辨率提升的次数可以为一次或多次。当分辨率提升步骤的次数为多次时，在生成网络200进行第一次之后的每次分辨率提升步骤时，将上一次分辨率提升步骤生成的超分辨率特征图像提供给联接模块220即可。在此需要说明的是，在每次分辨率提升步骤中，联接模块220所联接的待处理噪声的图像和待处理图像的特征图像的分辨率是相同的。在一些实施例中，用户可以向获取模块210提供一幅度，获取模块210根据该幅度生成多个分辨率不同的噪声图像，并在进行每次分辨率提升步骤时，为联接模块220提供与待处理图像分辨率相同的噪声图像。
图5为本发明提供的生成网络的第三种结构示意图，利用图5的生成网络可以实现对输入图像的多次分辨率提升。图5中，第一上采样子模块231、第二上采样子模块232、下采样子模块233、残差确定模块234、第一叠加单元2351、下采样单元2352、上采样单元2354、残差确定单元2353均与图4中所示的结构相同。
如图5所示，联接模块220接收到的待处理图像的特征图像为经过l-1次分辨率提升后的超分辨率特征图像R0 l-1。需要说明的是，虽然图5中没有示出，但应当理解的是，图5的生成网络仍包括分析模块，l＝1时，该分析模块用于获取初始的输入图像的特征图像，并将给特征图像提供给联接模块。
在图5中，对第一上采样特征图像R0 l进行残差校正的过程称之为反投影(back-projection)，残差校正系统的输出即是经过残差修正的上采样特征图像。图5中的生成网络可以包括迭代的残差校正系统。
第l-1次分辨率提升后得到的超分辨率特征图像Rμ l-1与噪声的图像联接，得到第一合并图像RCl-1。然后，利用第一上采样子模块231对第一合并图像RCl-1进行上采样，得到第一上采样特征图像R0 l。之后，可以利用迭代的残差校正系统对第一上采样特征图像R0 l进行多次下采样，得到与原始的输入图像I0分辨率相同的下采样图像。通过比较对第一上采样特征图像R0 l进行多次下采样后的特征图像与第一次分辨率提升步骤中的第一合并图像RC0，可以确定用于校正第一上采样特征图像R0 l的残差，并可以利用该残差对第一上采样特征图像R0 l进行校正。
在图5中，Rμ l表示第l次分辨率提升步骤所得到的超分辨率特征图像，且第l次分辨率提升步骤对第一上采样特征图像R0进行了μ次残差校正。如图5中，经过一次残差校正后得到的上采样特征图像可以表示为R1 l，经过两次残差校正后得到的上采样特征图像可以表示为R2 l。在实际应用中，可以根据实际需要对μ的值进行具体设置。
图6为本发明提供的生成网络的第四种结构示意图。如图6所示，分辨率提升模块230还包括插值子模块237和叠加子模块238，插值子模块237用于对待处理图像Il-1进行插值，并获得基于待处理图像Il-1的插值图像，该插值图像的通道数与待处理图像Il-1的通道数相同，而插值图像的分辨率与超分辨率特征图像的分辨率相同。插值子模块237可以利用传统的上采样插值方法，如双三次插值方法进行插值。叠加子模块238用于将合成子模块236合成得到的图像与所述插值图像进行叠加，得到基于所述待处理图像Il-1的超分辨率图像Il。
图6的生成网络200和图5的生成网络200之间的差别在于，图5的生成网络200可以直接输出基于待处理图像Il-1的超分辨率图像，图6的生成网络200输出的是基于待处理图像Il-1的细节图像的超分辨率图像。因此，两个生成网络200的结构上是类似的，但其中构成系统的卷积网络的参数配置并不相同。
图7为本发明提供的生成网络的第五种结构示意图，和图6的结构相比，图6的第一上采样子模块231为直接对第一合并图像RCl-1进行上采样的结构；而在图7的生成网络中，第一上采样子模块231并不直接对第一合并图像RCl-1上采样。如图7所示，第一上采样子模块231包括：分析单元2311、下采样单元2312、联接单元2313和上采样单元2314。分析单元2311用于获取插值图像的特征图像，该特征图像的通道数大于插值图像的通道数，而该特征图像的分辨率等于插值图像的分辨率。下采样单元2312用于对所述插值图像的特征图像进行下采样。联接单元2313用于将所述下采样单元进行下采样后得到的图像与所述第一合并图像联接，得到第二合并图像。上采样单元2314用于对该第二合并图像进行上采样，得到所述第一上采样特征图像R0 l。
图8A至图8C为输入图像经过三次分辨率提升的过程示意图。图8A至图8C中，a表示由上述分析单元2311或分析模块210执行的特征获取的操作，s表示由上述合成子模块执行的合成操作，b表示由上述插值子模块237执行的插值操作，d表示由上述下采样子模块233、下采样单元2352或2312执行的下采样操作，u表示由上述第二上采样子模块233、上采样单元2314或2352执行的上采样操作，“+”表示由第一叠加单元2351或第二叠加单元2355执行的叠加操作，c表示由联接模块220或联接单元2313执行的联接操作。各模块的具体结构以在上文进行了说明，这里不再赘述。如上文所述，两个图像之间的残差图像可以为两个图像的差值，也可以通过对两个图像进行联接而获取。在图8A至图8C的示例中，两个图像残差时通过联接操作获取。
图8A为不经过残差校正对输入图像进行分辨率提升的示意图(即分辨率提升的总次数为3，μ＝0)。如图8A所示，输入图像I0经过特征获取后输出该输入图像的特征图像；将该特征图像与噪声的图像联接，得到第一合并图像。将输入图像叠加输入图像经过特征获取以及合成操作后可以得到变换的输入图像。对该变换的输入图像进行插值，得到分辨率提升2倍的第一插值图像。获取第一插值图像的特征，并进行下采样后，对下采样后的图像与第一合并图像进行联接；之后再对联接后的图像进行2倍的上采样，得到第一超分辨率特征图像。对第一超分辨率特征图像进行合成，并将合成后的图像与第一插值图像进行叠加，得到分辨率为输入图像两倍的第一超分辨率图像。之后，对第一超分辨率图像进行插值，得到第二插值图像；将第一超分辨率特征图像与相应分辨率的噪声图像联接，得到第二合并图像；之后，对第二插值图像依次进行特征获取、2倍的下采样，再对下采样后的图像与第二合并图像进行联接；之后再对联接后的图像进行2倍的上采样，得到第二超分辨率特征图像。对第二超分辨率特征图像进行合成，并将合成后的图像与第二插值图像进行叠加，得到分辨率为输入图像4倍的第二超分辨率图像。之后再对第二超分辨率图像执行与第一超分辨率图像相同的操作过程，对第二超分辨率特征图像执行与第一超分辨率特征图像相同的操作过程，以得到分辨率为输入图像8倍的第三超分辨率图像。
图8B为利用一次残差校正对输入图像进行分辨率提升的示意图(即分辨率提升的总次数为3，μ＝1)。输入图像I0经过特征获取操作后得到输入图像的特征图像。将该特征图像与相同分辨率的噪声图像联接，得到第一合并图像。对输入图像的特征图像进行合成操作，并将合成后的图像与输入图像叠加，得到变换的输入图像。对该变换的输入图像进行2倍的插值，得到第一插值图像。之后，对该第一插值图像进行2倍的下采样，并将下采样后的图像与第一合并图像联接；之后再对联接后的图像进行2倍的上采样，得到2倍的第一上采样特征图像。对该第一上采样特征图像进行下采样，并获取下采样后的图像与第一合并图像之间的第一残差图像。对该第一残差图像进行2倍的上采样，并将上采样后的图像与2倍的第一上采样特征图像叠加，得到第一超分辨率特征图像。对该第一超分辨率特征图像进行合成，并将合成后的图像与第一插值图像进行叠加，得到分辨率为输入图像2倍的第一超分辨率图像。
为了进一步提升分辨率，可以再对第一超分辨率图像进行2倍的插值，得到第二插值图像。第一超分辨率特征图像与相同分辨率的噪声图像联接，得到第二合并图像。对第二插值图像进行特征获取并下采样后，将得到的下采样图像与第二合并图像联接，从对联接后的图像进行上采样，得到4倍的第一上采样特征图像。对该4倍的第一上采样特征图像2倍的下采样，得到第一下采样特征图像；对该第一下采样特征图像进行2倍的下采样，并下采样后的图像与第一合并图像之间的第二残差图像。对该第二残差图像进行2倍的上采样，将上采样后的图像与第一下采样特征图像进行叠加，并获取叠加后的图像与第一超分辨率特征图像之间的残差。然后，对该残差进行2倍的上采样，并将上采样后的图像与4倍的第一上采样特征图像叠加，从而得到第二超分辨率特征图像。对该第二超分辨率特征图像进行合成，并将合成后的图像与第二插值图像叠加，得到4倍的第二超分辨率图像。
基于以上原理，如图8B所示，通过重复上述步骤可以进一步生成分辨率为输入图像分辨率8倍的第三超分辨率图像。
图8C为利用两次残差校正对输入图像进行分辨率提升的示意图(即分辨率提升的总次数为3，μ＝2)。图8C与图8B的区别在于，图8C需要对第一上采样特征图像进行多次下采样并确定下采样后得到的图像与第一合并图像之间的残差。并将多次下采样后得到的残差进行上采样并叠加到第一上采样特征图像上以对第一上采样特征图像进行多次校正。这个过程在图5示出的图像处理系统中已经说明，此处不再加以赘述。
图9为本发明提供的图像处理系统的另一结构示意图，如图9所示，图像处理系统包括上生成网络200，还包括训练集建立模块300和训练模块400。
训练集建立模块300用于建立训练集，所述训练集中包括多个高分辨率样本图像以及对每个高分辨率样本图像进行下采样得到的低分辨率样本图像。具体地，低分辨率样本图像可以通过对高分辨率样本图像进行下采样后得到。高分辨率样本图像与低分辨率样本图像之间的倍率与所述生成网络最终生成的超分辨率图像与初始的输入图像之间的倍率相同。
训练模块400用于利用不同的低分辨率图像来交替重复进行生成网络的训练步骤和鉴别网络的训练步骤，直至达到预设训练条件。例如，预设训练条件为训练次数达到预定次数。所述交替重复进行生成网络的训练步骤和鉴别网络的训练步骤是指：依次进行生成网络的训练步骤、鉴别网络的训练步骤、生成网络的训练步骤、鉴别网络的训练步骤、生成网络的训练步骤……依次类推。
其中，如图10所示，所述生成网络的训练步骤包括：
S111、将至少一个第一幅度的噪声样本所对应的第一噪声图像和所述低分辨率样本图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第一输出图像。
S112、将至少一个第二幅度的噪声样本所对应的第二噪声图像和所述低分辨率样本图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第二输出图像。
所述第一幅度大于0，所述第二幅度等于0。所述第一噪声图像的个数和所述第二噪声图像的个数均与迭代处理中分辨率提升步骤的次数相同，且生成网络执行每次分辨率提升步骤时，所联接的噪声图像与待处理图像的特征图像的分辨率相同。应当理解的是，这里的第一输出图像和第二输出图像均为生成网络经过所述迭代处理后最终生成的图像。需要说明的是，在同一个训练步骤中，生成网络200生成的第一输出图像和第二输出图像基于相同参数的网络生成。其中，所述噪声样本为随机噪声；所述第一噪声图像的均值为1，方差为预定值σ。还需要说明的是，步骤S111和S112的先后顺序并无特别限定，既可以先进行步骤S111，也可以先进行步骤S112。
S113、分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果。
其中，所述生成网络的损失函数Loss为：
Loss＝λ1Lrec(X，Yn＝0)+λ2Lper(X，Yn＝1)+λ3LGAN(Yn＝1)
其中，X为所述高分辨率样本图像，Yn＝0为所述第二输出图像，Yn＝1为所述第一输出图像。
Lrec(X，Yn＝0)为所述第二输出图像和所述高分辨率样本图像之间的重构误差。
Lper(X，Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差。
LGAN(Yn＝1)为所述第一鉴别结果与所述第二鉴别结果之和。
λ1、λ2、λ3均为预设的权值。
具体地，Lrec(X，Yn＝0)、Lper(X，Yn＝1)、LGAN(Yn＝1)根据以下公式计算：
Figure BDA0001818763470000211
Figure BDA0001818763470000212
LGAN(Yn＝1)＝E[log(D(HR))]+E[log(1-D(Yn＝1))]
其中，L为所述迭代处理中分辨率提升步骤的总次数；L≥1；
Figure BDA0001818763470000221
为所述生成网络基于所述第二噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L。
LR为所述低分辨率样本图像；
Figure BDA0001818763470000222
为对
Figure BDA0001818763470000223
进行下采样后得到的与低分辨率样本图像分辨率相同的图像。
HRl为所述高分辨率样本图像进行下采样后得到的与
Figure BDA0001818763470000224
分辨率相同的图像。
Figure BDA0001818763470000225
为所述生成网络基于所述第一噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像。
Figure BDA0001818763470000226
为对
Figure BDA0001818763470000227
进行下采样后得到的与低分辨率样本图像分辨率相同的图像。
LCX()为感知损失计算函数。
D(Yn＝1)为所述第一鉴别结果；D(HR)为所述第二鉴别结果。
E[]为对矩阵能量的计算。
其中，鉴别网络包括L个输入端，L为所述迭代处理中分辨率提升步骤的总次数；L≥1。所述生成网络基于第一噪声图像进行迭代处理中的前L-1次分辨率提升步骤中，每进行一次分辨率提升步骤，生成网络均生成一个中间图像。进行第L次时，生成网络生成的图像即为第一输出图像。
上述在将所述第一输出图像提供给所述鉴别网络的同时，还将生成网络基于所述第一噪声图像生成的各个中间图像提供给鉴别网络，所述第一输出图像以及各中间图像一一对应地输入至所述鉴别网络的输入端。将所述高分辨率样本图像提供给所述鉴别网络的同时，还将对所述高分辨率样本图像进行下采样后得到的与各个中间图像的分辨率一一对应相同的中分辨率图像提供给所述鉴别网络，所述高分辨率样本图像和各个中分辨率图像一一对应地输入至所述鉴别网络的输入端。
所述鉴别网络可以根据各输入端接收到的图像计算分辨率最高的一者与高分辨率样本图像的匹配度，该匹配度可以在0～1之间。当鉴别网络的输出为0或接近0时，表示其接收到的图像中分辨率最高的一者是由生成网络输出的；当鉴别网络的输出为1或接近1时，表示其接收到的图像中分辨率最高的一者为高分辨率样本图像。
S114、调整所述生成网络的参数以减小生成网络的损失函数；所述生成网络的损失函数用于表征所述第一输出图像与所述高分辨率样本图像之间以及所述第二输出图像与所述高分辨率样本图像之间的总差异。
所谓“减小生成网络的损失函数”是指，损失函数的值相对于上一次生成网络训练步骤中是减小的，或者，多次生成网络训练步骤中，损失函数的值整体上呈减小的趋势。
如图11所示，所述鉴别网络的训练步骤包括：
S121、将所述低分辨率样本图像和所述第一幅度的噪声样本所对应的第一噪声图像提供给参数调整后的生成网络，以使所述生成网络生成新的第一输出图像。
S122、将新的第一输出图像和与所述低分辨率样本图像对应的高分辨率样本图像提供给鉴别网络，通过减小所述鉴别网络的损失函数来调节所述鉴别网络的参数，使得鉴别网络输出能够表征所述鉴别网络的输入为生成网络的输出图像还是所述高分辨率样本图像的鉴别结果。如上所述，鉴别网络的输出为一个匹配度，当该匹配度接近0时，则表明鉴别网络的输入为生成网络的输出图像；当匹配度接近1时，则表明鉴别网络的输入为高分辨率样本图像。
其中，将第n次鉴别网络的训练步骤和第n次生成网络的训练步骤作为一轮训练过程，则，在同一轮训练过程中的鉴别网络的训练步骤和生成网络的训练步骤中，提供给生成网络的低分辨率样本图像是相同的。而在不同轮的训练过程中所利用的低分辨率样本图像不同。
在进行超分辨率重构时，重构的高分辨率图像中细节特征与噪声有关，本发明中所述生成网络的损失函数既考虑了有噪声时的输出图像与高分辨率样本图像之间的差异，又考虑了无噪声时的输出图像与高分辨率样本图像之间的差异，因此，在应用生成网络进行超分辨率重构时，通过调节提供给生成网络的噪声幅度，可以使得重构结果的失真程度在图1中所对应的点是沿图1中的曲线分布的，即，当限定重构失真范围的情况下，通过调节输入给生成网络的噪声幅度，可以得到最低的感知失真；当限定感知失真范围的情况下，通过调节输入给生成网络的噪声幅度，可以得到最低的重构失真，进而满足用户的不同需求。
图12为本发明提供的一种图像处理方法流程图，如图12所示，所述图像处理方法包括：
S0、建立训练集；所述训练集中包括多个高分辨率样本图像以及对每个高分辨率样本图像进行下采样得到的低分辨率样本图像。
S1、利用不同的低分辨率图像来交替重复进行生成网络的训练步骤和鉴别网络的训练步骤，直至达到预设训练条件。生成网络的训练步骤如图10中所示，鉴别网络的训练步骤如图11中所示。生成网络的训练步骤和鉴别网络的训练步骤均在上文中进行了详细说明，这里不再赘述。
S2、利用生成网络对输入图像进行分辨率提升步骤迭代处理。所述生成网络为经过步骤S1的训练之后得到的生成网络。
图13为迭代处理中的每次分辨率提升步骤流程图，如图12所示，每次分辨率提升步骤包括：
S21、获取待处理图像的特征图像和待处理噪声的图像。
S22、将所述待处理图像的特征图像与获得的噪声的图像联接(concatenate)，得到第一合并图像。
S23、根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；所述超分辨率特征图像的分辨率大于所述待处理图像的分辨率。
其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像的特征图像为所述输入图像的特征图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像的特征图像为上一次分辨率提升步骤生成的所述超分辨率特征图像；所述迭代处理的每一次分辨率提升步骤中，所述待处理噪声的幅度相等。
图14为迭代处理中的每次分辨率提升步骤另一流程图；如图14所示，每次分辨率提升步骤包括：
S31、获取待处理图像的特征图像和待处理噪声的图像。
S32、将所述待处理图像的特征图像与获得的噪声的图像联接(concatenate)，得到第一合并图像。
S33、对所述待处理图像进行插值，获得基于待处理图像的插值图像。
S34、根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；所述超分辨率特征图像的分辨率大于所述待处理图像的分辨率。所述插值图像的分辨率与所述超分辨率特征图像的分辨率相同。
S34具体包括：
S341、根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像。在一些实施例中，步骤S341包括：获取所述插值图像的特征图像；之后，对所述插值图像的特征图像进行下采样，并将下采样后的图像与所述第一合并图像联接，得到第二合并图像；之后，对所述第二合并图像进行上采样，得到所述第一上采样特征图像。
S342、对所述第一上采样特征图像进行下采样，得到第一下采样特征图像。
S343、获取所述第一下采样特征图像与所述第一合并图像之间的残差图像。在一些实施例中，可以通过将第一下采样特征图像与所述第一合并图像相减，得到残差图像；在另一些实施例中，可以通过将第一下采样特征图像和第一合并图像联接，并通过特征变换的方式，得到残差图像。
S344、对所述残差图像进行上采样，得到上采样残差图像。
S345、利用上采样残差图像对第一上采样特征图像进行校正，以生成所述超分辨率特征图像。在一些实施例中，可以通过将上采样残差图像与第一上采样特征图像叠加的方式来实现一次校正，得到超分辨率特征图像。在另一些实施例中，校正过程包括：首先对上采样残差图像与第一上采样特征图像叠加，得到第二上采样特征图像；然后对所述第二上采样特征图像进行下采样，得到第二下采样特征图像；之后，获取所述第二下采样特征图像与所述第一合并图像之间的残差图像；之后，对所述第二下采样特征图像与所述第一合并图像之间的残差图像进行上采样，并将上采样后得到的图像与所述第二下采样特征图像叠加，得到所述超分辨率特征图像。这样可以实现对第一上采样特征图像的两次校正，具体过程参见上文对图4的描述，这里不再赘述。
步骤S34之后还包括：
S35、对所述超分辨率特征图像进行合成，并将合成后的图像与所述插值图像进行叠加，得到基于所述待处理图像的超分辨率图像。
其中，所述迭代处理中第一次分辨率提升步骤中，所述待处理图像为所述输入图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的所述超分辨率图像。
利用所述图像处理方法进行超分辨率重构的具体过程和原理已在上文对图像处理系统的介绍中进行了描述，这里不再赘述。
利用本发明的图像处理方法进行超分辨率重构时，在应用生成网络进行超分辨率重构时，根据实际需要(是否需要突出细节，细节的突出程度)，来调节输入至生成网络的噪声的幅度，从而使重构的图像满足实际需求。
本发明还提供一种图像分辨率提升方法，包括：将输入图像和待处理噪声的幅度值提供给上述图像处理系统，以使所述图像处理系统输出相应的输出图像。该输出图像为图像处理系统进行L次分辨率提升后最终输出的超分辨率图像。其中，对于同一个输入图像，当待处理噪声的幅度值不同时，所述图像处理系统的输出图像不同。需要说明的是，对于同一个输入图像，当待处理噪声的幅度值不同时，所述图像处理系统的输出图像不同是指，输出图像的感知失真和重构失真中的至少一者是不同的，而输出图像的整体内容是一致的。
图像处理系统接收到输入图像后进行分辨率提升的过程和原理已在上文进行了描述，这里不再赘述。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法。所述计算机可读存储介质包括但不限于以下可读介质：诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储、寄存器、磁盘或磁带、诸如光盘(CD)或DVD(数字通用盘)的光存储介质以及其它非暂时性介质。处理器的示例包括但不限于通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (16)

1.一种图像处理方法，其特征在于，包括：利用生成网络对输入图像进行分辨率提升步骤迭代处理，所述迭代处理中的每次分辨率提升步骤包括：
获取待处理图像的特征图像和待处理噪声的图像；
将所述待处理图像的特征图像与待处理噪声的图像联接，得到第一合并图像；
根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；该超分辨率特征图像的分辨率为所述待处理图像分辨率的预定倍数，该预定倍数为大于1的整数；
每次分辨率提升步骤还包括：
对所述待处理图像进行插值，获得基于待处理图像的插值图像；所述插值图像的分辨率与所述超分辨率特征图像的分辨率相同；
对所述超分辨率特征图像进行合成，并将合成后的图像与所述插值图像进行叠加，得到基于所述待处理图像的超分辨率图像；对所述超分辨率特征图像进行的合成包括：对所述超分辨率特征图像进行特征变换和卷积，以使合成后的图像的分辨率与所述超分辨率特征图像的分辨率相同，合成后的图像的通道数与所述待处理图像的通道数相同；
其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像为所述输入图像，所述待处理图像的特征图像为所述输入图像的特征图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的所述超分辨率图像，所述待处理图像的特征图像为上一次分辨率提升步骤生成的所述超分辨率特征图像；所述迭代处理的每一次分辨率提升步骤中，待处理噪声的幅度相等。
2.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像的步骤包括：
根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像；
对所述第一上采样特征图像进行下采样，得到第一下采样特征图像；
获取所述第一下采样特征图像与所述第一合并图像之间的残差图像；
对所述残差图像进行上采样，得到上采样残差图像；
利用上采样残差图像对第一上采样特征图像进行校正，以生成所述超分辨率特征图像。
3.根据权利要求2所述的图像处理方法，其特征在于，利用上采样残差图像对第一上采样特征图像进行校正的步骤包括：
将所述上采样残差图像与所述第一上采样特征图像叠加，以生成所述超分辨率特征图像；
或者，利用上采样残差图像对第一上采样特征图像进行校正的步骤包括：
将所述上采样残差图像与所述第一上采样特征图像叠加，得到第二上采样特征图像；
对所述第二上采样特征图像进行下采样，得到第二下采样特征图像；
获取所述第二下采样特征图像与所述第一合并图像之间的残差图像；
对所述第二下采样特征图像与所述第一合并图像之间的残差图像进行上采样，并将上采样后得到的图像与所述第二下采样特征图像叠加，得到所述超分辨率特征图像。
4.根据权利要求2所述的图像处理方法，其特征在于，根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像，包括：
获取所述插值图像的特征图像，该特征图像的通道数大于所述插值图像的通道数；
对所述插值图像的特征图像进行下采样，并将下采样后的图像与所述第一合并图像联接，得到第二合并图像；
对所述第二合并图像进行上采样，得到所述第一上采样特征图像。
5.根据权利要求1至4中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
建立训练集，所述训练集中包括多个高分辨率样本图像以及对每个高分辨率样本图像进行下采样得到的低分辨率样本图像；
利用不同的低分辨率图像来交替重复进行生成网络的训练步骤和鉴别网络的训练步骤，直至达到预设训练条件；
所述生成网络的训练步骤包括：
将至少一个第一幅度的噪声样本所对应的第一噪声图像和所述低分辨率样本图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第一输出图像；
将至少一个第二幅度的噪声样本所对应的第二噪声图像和所述低分辨率样本图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第二输出图像；所述第一幅度大于0，所述第二幅度等于0；
调整所述生成网络的参数以减小生成网络的损失函数；所述生成网络的损失函数用于表征所述第一输出图像与所述高分辨率样本图像之间以及所述第二输出图像与所述高分辨率样本图像之间的总差异；
所述鉴别网络的训练步骤包括：
将所述低分辨率样本图像和所述第一幅度的噪声样本所对应的第一噪声图像提供给参数调整后的生成网络，以使所述生成网络生成新的第一输出图像；
将新的第一输出图像和与所述低分辨率样本图像对应的高分辨率样本图像提供给鉴别网络，通过减小所述鉴别网络的损失函数来调节所述鉴别网络的参数，使得鉴别网络输出能够表征所述鉴别网络的输入为生成网络的输出图像还是所述高分辨率样本图像的鉴别结果。
6.根据权利要求5所述的图像处理方法，其特征在于，所述生成网络训练步骤还包括：
分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨率样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果；
所述生成网络的损失函数为：
Loss＝λ1Lrec(X，Yn＝0)+λ2Lper(X，Yn＝1)+λ3LGAN(Yn＝1)
其中，X为所述高分辨率样本图像，Yn＝0为所述第二输出图像，Yn＝1为所述第一输出图像；
Lrec(X，Yn＝0)为所述第二输出图像和所述高分辨率样本图像之间的重构误差；
Lper(X，Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差；
LGAN(Yn＝1)为所述第一鉴别结果与所述第二鉴别结果之和；
λ1、λ2、λ3均为预设的权值。
7.根据权利要求6所述的图像处理方法，其特征在于，Lrec(X，Yn＝0)、Lper(X，Yn＝1)、LGAN(Yn＝1)根据以下公式计算：
Figure FDA0002882444950000041
Figure FDA0002882444950000042
LGAN(Yn＝1)＝E[log(D(HR))]+E[log(1-D(Yn＝1))]
其中，L为所述迭代处理中分辨率提升步骤的总次数；L≥1；
Figure FDA0002882444950000043
为所述生成网络基于所述第二噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L；
LR为所述低分辨率样本图像；
Figure FDA0002882444950000051
为对
Figure FDA0002882444950000052
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
HRl为所述高分辨率样本图像进行下采样后得到的与
Figure FDA0002882444950000053
分辨率相同的图像；
Figure FDA0002882444950000054
为所述生成网络基于所述第一噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；
Figure FDA0002882444950000055
为对
Figure FDA0002882444950000056
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
LCX()为感知损失计算函数；
D(Yn＝1)为所述第一鉴别结果；D(HR)为所述第二鉴别结果；
E[]为对矩阵能量的计算。
8.根据权利要求6所述的图像处理方法，其特征在于，所述鉴别网络包括L个输入端，L为所述迭代处理中分辨率提升步骤的总次数；当L＞1时，所述生成网络基于第一噪声图像进行迭代处理中的前L-1次分辨率提升步骤中，每进行一次分辨率提升步骤，生成网络均生成一个中间图像；
将所述第一输出图像提供给所述鉴别网络的同时，还将生成网络基于所述第一噪声图像生成的各个中间图像提供给鉴别网络，所述第一输出图像以及各中间图像一一对应地输入至所述鉴别网络的输入端；将所述高分辨率样本图像提供给所述鉴别网络的同时，还将对所述高分辨率样本图像进行下采样后得到的与各个中间图像的分辨率一一对应相同的中分辨率图像提供给所述鉴别网络，所述高分辨率样本图像和各个中分辨率图像一一对应地输入至所述鉴别网络的输入端。
9.一种图像处理系统，其特征在于，包括：
获取模块，用于获取输入图像和待处理噪声的图像；
生成网络，用于对输入图像进行分辨率提升步骤迭代处理，所述生成网络包括：
分析模块，用于获取所述输入图像的特征图像；
联接模块，用于将待处理图像的特征图像与所述待处理噪声的图像联接，得到第一合并图像；
分辨率提升模块，用于根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；所述超分辨率特征图像的分辨率为所述待处理图像分辨率的预定倍数，该预定倍数为大于1的整数；
插值子模块，用于对所述待处理图像进行插值，获得基于待处理图像的插值图像；该插值图像的分辨率与所述超分辨率特征图像的分辨率相同；
合成子模块，用于对所述超分辨率特征图像进行合成；对所述超分辨率特征图像进行的合成包括：对所述超分辨率特征图像进行特征变换和卷积，以使合成后的图像的分辨率与所述超分辨率特征图像的分辨率相同，合成后的图像的通道数与所述待处理图像的通道数相同；
叠加子模块，用于将所述合成子模块合成得到的图像与所述插值图像进行叠加，得到基于所述待处理图像的超分辨率图像；
其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像为所述输入图像，所述待处理图像的特征图像为所述输入图像的特征图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的所述超分辨率图像，所述待处理图像的特征图像为上一次分辨率提升步骤生成的所述超分辨率特征图像；所述迭代处理的每一次分辨率提升步骤中，待处理噪声的幅度相等。
10.根据权利要求9所述的图像处理系统，其特征在于，所述分辨率提升模块包括：
第一上采样子模块，用于根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像；
下采样子模块，用于对所述第一上采样特征图像进行下采样，得到第一下采样特征图像；
残差确定子模块，用于获取所述第一下采样特征图像与所述第一合并图像之间的残差图像；
第二上采样子模块，用于对所述残差图像进行上采样，得到上采样残差图像；
校正子模块，用于利用上采样残差图像对第一上采样特征图像进行校正，以生成所述超分辨率特征图像。
11.根据权利要求10所述的图像处理系统，其特征在于，所述第一上采样子模块包括：
分析单元，用于获取插值图像的特征图像；
下采样单元，用于对所述插值图像的特征图像进行下采样；
联接单元，用于将所述下采样单元进行下采样后得到的图像与所述第一合并图像联接，得到第二合并图像；
上采样单元，用于对所述第二合并图像进行上采样，得到所述第一上采样特征图像。
12.根据权利要求9至11中任意一项所述的图像处理系统，其特征在于，所述图像处理系统还包括训练集建立模块和训练模块，所述训练集建立模块用于建立训练集，所述训练集中包括多个高分辨率样本图像以及对每个高分辨率样本图像进行下采样得到的低分辨率样本图像；
所述训练模块用于利用不同的低分辨率图像来交替重复进行生成网络的训练步骤和鉴别网络的训练步骤，直至达到预设训练条件；
所述生成网络的训练步骤包括：
将所述低分辨率样本图像和第一幅度的噪声样本所对应的第一噪声图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第一输出图像；
将所述低分辨率样本图像和第二幅度的噪声样本所对应的第二噪声图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第二输出图像；所述第一幅度大于0，所述第二幅度等于0；
调整所述生成网络的参数以减小生成网络的损失函数；所述生成网络的损失函数用于表征所述第一输出图像与所述高分辨率样本图像之间以及所述第二输出图像与所述高分辨率样本图像之间的总差异；
所述鉴别网络的训练步骤包括：
将所述低分辨率样本图像和所述第一幅度的噪声样本所对应的第一噪声图像提供给参数调整后的生成网络，以使所述生成网络生成新的第一输出图像；
将新的第一输出图像和与所述低分辨率样本图像对应的高分辨率样本图像提供给鉴别网络，通过减小所述鉴别网络的损失函数来调节所述鉴别网络的参数，使得鉴别网络输出能够表征所述鉴别网络的输入为生成网络的输出图像还是所述高分辨率样本图像的鉴别结果。
13.根据权利要求12所述的图像处理系统，其特征在于，所述生成网络训练步骤还包括：分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨率样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果；所述生成网络训练模块还包括：第二输出子模块，用于分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨率样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果；
所述生成网络的损失函数为：
Loss＝λ1Lrec(X，Yn＝0)+λ2Lper(X，Yn＝1)+λ3LGAN(Yn＝1)
其中，X为所述高分辨率样本图像，Yn＝0为所述第二输出图像，Yn＝1为所述第一输出图像；
Lrec(X，Yn＝0)为所述第二输出图像和所述高分辨率样本图像之间的重构误差；
Lper(X，Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差；
LGAN(Yn＝1)为所述第一鉴别结果与所述第二鉴别结果之和；
λ1、λ2、λ3均为预设的权值。
14.根据权利要求13所述的图像处理系统，其特征在于，Lrec(X，Yn＝0)、Lper(X，Yn＝1)、LGAN(Yn＝1)根据以下公式计算：
Figure FDA0002882444950000091
Figure FDA0002882444950000092
LGAN(Yn＝1)＝E[log(D(HR))]+E[log(1-D(Yn＝1))]
其中，L为所述迭代处理中分辨率提升步骤的总次数；L≥1；
Figure FDA0002882444950000093
为所述生成网络基于所述第二噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L；
LR为所述低分辨率样本图像；
Figure FDA0002882444950000094
为对
Figure FDA0002882444950000095
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
HRl为所述高分辨率样本图像进行下采样后得到的与
Figure FDA0002882444950000096
分辨率相同的图像；
Figure FDA0002882444950000097
为所述生成网络基于所述第一噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；
Figure FDA0002882444950000098
为对
Figure FDA0002882444950000099
进行下采样后得到的与低分辨率样本图像分辨率相同的图像；
LCX()为感知损失计算函数；
D(Yn＝1)为所述第一鉴别结果；D(HR)为所述第二鉴别结果；
E[]为对矩阵能量的计算。
15.一种图像分辨率提升方法，其特征在于，包括：
将输入图像和待处理噪声所对应的幅度值提供给如权利要求9至14中任意一项所述的图像处理系统，以使所述图像处理系统输出相应的输出图像；
其中，对于同一个输入图像，当待处理噪声的幅度值不同时，所述图像处理系统的输出图像不同。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任意一项所述的图像处理方法。
CN201811155147.2A 2018-09-30 2018-09-30 图像处理方法及系统、分辨率提升方法、可读存储介质 Active CN109360151B (zh)

Priority Applications (22)

Application Number Priority Date Filing Date Title
CN201811155147.2A CN109360151B (zh) 2018-09-30 2018-09-30 图像处理方法及系统、分辨率提升方法、可读存储介质
AU2019350918A AU2019350918B2 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
JP2020529196A JP7415251B2 (ja) 2018-09-30 2019-04-23 画像処理用の装置及び方法、並びにニューラルネットワークトをトレーニングするシステム
RU2020136214A RU2762144C1 (ru) 2018-09-30 2019-04-23 Устройство и способ для обработки изображения и система для обучения нейроной сети
MX2020013580A MX2020013580A (es) 2018-09-30 2019-04-23 Aparato y metodo para procesamiento de imagenes y sistema para entrenamiento de red neuronal.
KR1020207037174A KR102661434B1 (ko) 2018-09-30 2019-04-23 이미지 처리를 위한 장치 및 방법, 및 신경 네트워크를 트레이닝하기 위한 시스템
PCT/CN2019/083872 WO2020062846A1 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
US16/604,410 US11615505B2 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
BR112020022560-6A BR112020022560A2 (pt) 2018-09-30 2019-04-23 aparelho e método para processamento de imagens e sistema para rede neural de treinamento
EP19850782.4A EP3857447A4 (en) 2018-09-30 2019-04-23 Apparatus and method for image processing, and system for training neural network
EP19850757.6A EP3857503A4 (en) 2018-09-30 2019-06-20 SYSTEM, METHOD AND COMPUTER READABLE MEDIA FOR IMAGE CLASSIFICATION
JP2020528242A JP7463643B2 (ja) 2018-09-30 2019-06-20 画像処理用の装置、方法及びコンピュータ読み取り可能媒体、並びにニューラルネットワークトレーニングシステム
PCT/CN2019/092042 WO2020062957A1 (en) 2018-09-30 2019-06-20 System, method, and computer-readable medium for image classification
US16/614,558 US11348005B2 (en) 2018-09-30 2019-06-20 Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
PCT/CN2019/092113 WO2020062958A1 (en) 2018-09-30 2019-06-20 Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
US16/614,547 US11361222B2 (en) 2018-09-30 2019-06-20 System, method, and computer-readable medium for image classification
EP19850805.3A EP3857504A4 (en) 2018-09-30 2019-06-20 APPARATUS, METHOD AND COMPUTER READABLE MEDIUM FOR IMAGE PROCESSING, AND NETWORK TRAINING SYSTEM
PCT/CN2019/107761 WO2020063648A1 (zh) 2018-09-30 2019-09-25 生成对抗网络训练方法、图像处理方法、设备及存储介质
JP2020528931A JP7446997B2 (ja) 2018-09-30 2019-09-25 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体
US16/759,669 US11449751B2 (en) 2018-09-30 2019-09-25 Training method for generative adversarial network, image processing method, device and storage medium
KR1020207014462A KR102389173B1 (ko) 2018-09-30 2019-09-25 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체
EP19864756.2A EP3859655A4 (en) 2018-09-30 2019-09-25 TRAINING METHOD, IMAGE PROCESSING METHOD, DEVICE AND STORAGE MEDIUM FOR GENERATIVE ADVERSARY NETWORK

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811155147.2A CN109360151B (zh) 2018-09-30 2018-09-30 图像处理方法及系统、分辨率提升方法、可读存储介质

Publications (2)

Publication Number Publication Date
CN109360151A CN109360151A (zh) 2019-02-19
CN109360151B true CN109360151B (zh) 2021-03-05

Family

ID=65348529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811155147.2A Active CN109360151B (zh) 2018-09-30 2018-09-30 图像处理方法及系统、分辨率提升方法、可读存储介质

Country Status (1)

Country Link
CN (1) CN109360151B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020022560A2 (pt) 2018-09-30 2021-06-01 Boe Technology Group Co., Ltd. aparelho e método para processamento de imagens e sistema para rede neural de treinamento
CN111724448A (zh) * 2019-03-18 2020-09-29 华为技术有限公司 一种图像超分辨重建方法、装置和终端设备
CN111724292B (zh) * 2019-03-19 2024-04-05 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN111724309B (zh) * 2019-03-19 2023-07-14 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
CN109978769B (zh) * 2019-04-04 2023-06-20 深圳安科高技术股份有限公司 一种ct扫描图像数据插值方法及其系统
CN111861877A (zh) * 2019-04-25 2020-10-30 华为技术有限公司 视频超分变率的方法和装置
CN110458771B (zh) * 2019-07-29 2022-04-08 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113556496B (zh) * 2020-04-23 2022-08-09 京东方科技集团股份有限公司 视频分辨率提升方法及装置、存储介质及电子设备
CN112163541A (zh) * 2020-10-09 2021-01-01 上海云绅智能科技有限公司 一种3d目标检测方法、装置、电子设备和存储介质
CN112419152B (zh) * 2020-11-23 2024-03-29 中国科学院深圳先进技术研究院 一种图像超分辨率方法、装置、终端设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN103514580A (zh) * 2013-09-26 2014-01-15 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度残差生成对抗网络的医学影像超分辨率算法;高媛 等;《计算机应用》;20180910;全文 *

Also Published As

Publication number Publication date
CN109360151A (zh) 2019-02-19

Similar Documents

Publication Publication Date Title
CN109360151B (zh) 图像处理方法及系统、分辨率提升方法、可读存储介质
JP7446997B2 (ja) 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体
CN109345456B (zh) 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN110322400B (zh) 图像处理方法及装置、图像处理系统及其训练方法
US20040091166A1 (en) Method of and system for image processing and recording medium for carrying out the method
CN113014927A (zh) 图像压缩方法和图像压缩装置
EP0874330A2 (en) Area based interpolation for image enhancement
WO2015192316A1 (en) Face hallucination using convolutional neural networks
CN107341776B (zh) 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN115512182A (zh) 一种基于聚焦学习的ct血管造影智能成像方法
CN115170435A (zh) 一种基于Unet网络的图像几何畸变校正方法
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
WO2020000877A1 (zh) 用于生成图像的方法和装置
Srinivasan et al. Quality assessment of friction welding using image super-resolution via deep convolutional neural networks
JP2023537823A (ja) ビデオ処理方法、装置、機器、デコーダ、システム及び記憶媒体
Ghouse et al. A residual diffusion model for high perceptual quality codec augmentation
JP2009048487A (ja) 画像処理装置及び画像処理プログラム
CN116091893A (zh) 一种基于U-net网络的地震图像反褶积方法及系统
KR101882739B1 (ko) 패턴을 이용한 영상 해상도 변환 장치 및 방법
JP6915685B2 (ja) 学習装置、超解像化装置、学習方法、超解像化方法およびプログラム
CN111260558A (zh) 一种可变倍率的图像超分辨率网络模型
Gnacek et al. Convolutional Neural Networks for Enhanced Compression Techniques
CN109146777B (zh) 利用预训练网络的感知相似性进行混合图像超分辨方法
CN100375120C (zh) 藉由多张低解析度影像产生高解析度影像的方法
Rohith et al. Performance analysis of satellite image super resolution using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant