CN111626932B - 图像的超分辨率重建方法及装置 - Google Patents

图像的超分辨率重建方法及装置 Download PDF

Info

Publication number
CN111626932B
CN111626932B CN202010377653.7A CN202010377653A CN111626932B CN 111626932 B CN111626932 B CN 111626932B CN 202010377653 A CN202010377653 A CN 202010377653A CN 111626932 B CN111626932 B CN 111626932B
Authority
CN
China
Prior art keywords
resolution image
representing
training
model
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010377653.7A
Other languages
English (en)
Other versions
CN111626932A (zh
Inventor
陈思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Huaxing Photoelectric Technology Co Ltd
Original Assignee
TCL Huaxing Photoelectric Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Huaxing Photoelectric Technology Co Ltd filed Critical TCL Huaxing Photoelectric Technology Co Ltd
Priority to CN202010377653.7A priority Critical patent/CN111626932B/zh
Publication of CN111626932A publication Critical patent/CN111626932A/zh
Application granted granted Critical
Publication of CN111626932B publication Critical patent/CN111626932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像的超分辨率重建方法，包括以下步骤：获取待重建的低分辨率图像；将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像；其中，所述生成模型具有预设的第一损失函数，所述第一损失函数包括像素差异损失函数和感知损失函数。本申请使用训练好的生成式对抗网络中的生成模型对低分辨率图像进行超分辨重建，由于生成模型的损失函数包括像素差异损失函数和感知损失函数，因此，训练好的生成模型输出的超分辨率图像在细节、纹理和语义方面无限接近高分辨率图像，从而提高了超分辨率图像的人眼感知质量。本申请还提供一种图像的超分辨率重建装置。

Description

图像的超分辨率重建方法及装置
技术领域
本申请涉及显示技术领域，具体涉及一种图像的超分辨率重建方法及装置。
背景技术
8K电视是具有7680×4320超高清分辨率的电视，随着8K电视的发展，8K电视对高分辨率片源的需求急剧增加，由于高分辨率片源由多张高分辨率图像构成，因此8K电视对高分辨率图像的需求急剧增加。
现阶段通常采用超分辨率重建技术获取高分辨率图像，即，将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率图像。但采用现有的超分辨率重建技术获取的高分辨率图像相较于真实的高分辨率图像仍存在较大差异，导致其人眼感知质量较差。
发明内容
因此，有必要提供一种图像的超分辨率重建方法及装置，用以提高通过对低分辨率图像进行超分辨率重建得到的超分辨率图像的人眼感知质量。
第一方面，本申请的实施例提供一种图像的超分辨率重建方法，所述图像的超分辨率重建方法包括以下步骤：
获取待重建的低分辨率图像；
将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像；
其中，所述生成模型具有预设的第一损失函数，所述第一损失函数包括像素差异损失函数和感知损失函数。
在一些实施例中，所述生成式对抗网络还包括判别模型，所述判别模型具有预设的第二损失函数；
在所述步骤“将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像”之前，所述图像的超分辨率重建方法还包括以下步骤：
获取训练集；其中，所述训练集包括若干训练样本，每个所述训练样本包括高分辨率图像样本和所述高分辨率图像样本对应的低分辨率图像样本；
通过所述训练集交替训练所述生成模型和所述判别模型。
在一些实施例中，所述步骤“通过所述训练集交替训练所述生成模型和所述判别模型”包括以下步骤：
在所述生成模型的任意一次训练过程中，选取任意一个所述训练样本，将所述训练样本中的所述低分辨率图像样本输入至所述生成模型，获取所述生成模型输出的所述低分辨率图像样本对应的超分辨率图像样本；
将所述超分辨率图像样本和所述训练样本中的所述高分辨率图像样本输入至所述判别模型，获取所述判别模型输出的所述超分辨率图像样本和所述高分辨率图像样本之间的相似度；
根据所述相似度，使用反向传播算法更新所述生成模型的参数；
选取不同的所述训练样本重复训练所述生成模型，以使每次训练过程中的所述第一损失函数的值小于上一次训练过程中的所述第一损失函数的值；
当所述生成模型的训练次数大于第一次数阈值时，停止训练所述生成模型，并开始训练所述判别模型。
在一些实施例中，所述步骤“通过所述训练集交替训练所述生成模型和所述判别模型”包括以下步骤：
在所述判别模型的任意一次训练过程中，选取任意一个所述训练样本，将所述训练样本中的所述低分辨率图像样本输入至所述生成模型，获取所述生成模型输出的所述低分辨率图像样本对应的超分辨率图像样本；
将所述超分辨率图像样本和所述训练样本中的所述高分辨率图像样本输入至所述判别模型，获取所述判别模型输出的所述超分辨率图像样本和所述高分辨率图像样本之间的相似度；
根据所述相似度，使用反向传播算法更新所述判别模型的参数；
选取不同的所述训练样本重复训练所述判别模型，以使每次训练过程中的所述第二损失函数的值大于上一次训练过程中的所述第二损失函数的值；
当所述判别模型的训练次数大于第二次数阈值时，停止训练所述判别模型，并开始训练所述生成模型。
在一些实施例中，所述第一损失函数LG的计算公式为：
其中，代表所述像素差异损失函数，α代表所述像素差异损失函数的权重，Ploss代表所述感知损失函数，/>代表第一感知损失子函数，β代表所述第一感知损失子函数的权重，/>代表第二感知损失子函数，γ代表所述第二感知损失子函数的权重。
在一些实施例中，所述第一感知损失子函数的计算公式为：
其中，Lp(I)代表图像I的感知特征，代表感知损失提取网络对图像I处理得到的第k个特征图，wk代表第k个特征图的贡献度，k代表特征图的序号，f代表特征图的数量，w代表特征图的列的数量，h代表特征图的行的数量，i代表特征图的列的序号，j代表特征图的行的序号，SR和HR分别代表同一所述训练样本中的所述低分辨率图像样本对应的所述超分辨率图像样本和所述高分辨率图像样本。
在一些实施例中，所述第二感知损失子函数的计算公式为：
其中，Lp(I)代表图像I的感知特征，代表感知损失提取网络对图像I处理得到的第k个特征图，wk代表第k个特征图的贡献度，k代表特征图的序号，f代表特征图的数量，w代表特征图的列的数量，h代表特征图的行的数量，i代表特征图的列的序号，j代表特征图的行的序号，LR和LR'分别代表同一所述训练样本中的所述低分辨率图像样本和所述低分辨率图像样本对应的所述超分辨率图像样本经过下采样得到的下采样图像。
在一些实施例中，所述生成模型包括若干交替设置的卷积层和激活函数，所述判别模型包括全连接层以及若干交替设置的卷积层和激活函数。
在一些实施例中，所述感知损失提取网络为VGG-16网络或VGG-19网络。
第二方面，本申请的实施例提供一种图像的超分辨率重建装置，包括存储器、处理器、第一获取模块和第二获取模块；所述存储器和所述处理器连接，用以存储若干能够被所述处理器执行的指令，若干所述指令包括：
控制所述第一获取模块获取待重建的低分辨率图像；
控制所述第二获取模块将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像；
其中，所述生成模型具有预设的第一损失函数，所述第一损失函数包括像素差异损失函数和感知损失函数。
本申请的图像的超分辨率重建方法及装置，通过使用训练好的生成式对抗网络中的生成模型对低分辨率图像进行超分辨重建，由于生成模型的损失函数包括像素差异损失函数和感知损失函数，因此，训练好的生成模型输出的超分辨率图像在细节、纹理和语义方面无限接近高分辨率图像，从而提高了超分辨率图像的人眼感知质量。
附图说明
为了更清楚地说明本申请的实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的实施例提供的一种图像的超分辨率重建方法的流程图；
图2为本申请的实施例提供的一种图像的超分辨率重建装置的结构示意图。
具体实施方式
下面将结合本申请的实施例中的附图，对本申请的实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请的实施例提供的一种图像的超分辨率重建方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取待重建的低分辨率图像。
步骤102，将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像；其中，所述生成模型具有预设的第一损失函数，所述第一损失函数包括像素差异损失函数和感知损失函数。
具体的，本实施例使用训练好的生成式对抗网络中的生成模型对低分辨率图像进行超分辨重建，即，将低分辨率图像输入至生成模型，获取生成模型输出的低分辨率图像对应的超分辨率图像。其中，超分辨率图像的分辨率远高于低分辨率图像的分辨率。
需要说明的是，生成式对抗网络是一种深度学习模型，该网络具体包括两个模型，这两个模型分别为生成模型和判别模型，通过交替训练生成模型和判别模型，使生成模型和判别模型相互进行博弈学习，进而使生成模型和判别模型分别产生相当好的输出。
在本实施例中，为了提高训练质量，使生成模型和判别模型分别产生更好的输出，为生成模型预设一个对应的损失函数，为了便于描述，将该损失函数称为第一损失函数。第一损失函数包括像素差异损失函数和感知损失函数，其中，像素差异损失函数的存在能够使训练好的生成模型输出的超分辨率图像在细节和纹理方面无限接近高分辨率图像，感知损失函数的存在能够使训练好的生成模型输出的超分辨率图像在语义方面无限接近高分辨率图像。
可以理解的是，由于生成模型和判别模型的相互博弈学习，因此若生成模型的输出更好，则判别模型的输出也能够随之变得更好。
本申请提供的图像的超分辨率重建方法，使用训练好的生成式对抗网络中的生成模型对低分辨率图像进行超分辨重建，由于生成模型的损失函数包括像素差异损失函数和感知损失函数，因此，训练好的生成模型输出的超分辨率图像在细节、纹理和语义方面无限接近高分辨率图像，从而提高了超分辨率图像的人眼感知质量。
基于上述任一实施例，在本实施例中，为生成式对抗网络中的判别模型预设一个对应的损失函数，为了便于描述，将该损失函数称为第二损失函数。其中，第二损失函数可基于生成式对抗网络的原理进行构造，本实施例对此不作具体限定。
在所述步骤“将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像”之前，所述图像的超分辨率重建方法还包括以下步骤：
获取训练集；其中，所述训练集包括若干训练样本，每个所述训练样本包括高分辨率图像样本和所述高分辨率图像样本对应的低分辨率图像样本。
通过所述训练集交替训练所述生成模型和所述判别模型。
具体的，本实施例说明了生成模型和判别模型的训练过程，以下对训练过程进行具体说明：
首先，获取若干高分辨率图像样本以及每个高分辨率图像样本对应的低分辨率图像样本。其中，每个低分辨率图像样本由对应的高分辨率图像样本经过下采样后得到。
然后，将每个高分辨率图像样本和对应的低分辨率图像样本的组合作为一个训练样本，从而得到若干训练样本。
最后，将若干训练样本的组合作为训练集，通过训练集交替训练生成模型和判别模型。其中，交替训练指的是：将生成模型训练一轮(若干次)之后，停止训练生成模型并开始训练判别模型，将判别模型训练一轮(若干次)之后，停止训练判别模型并开始训练生成模型......，需要说明的是，将从训练生成模型切换为训练判别模型称为一轮交替，将从训练判别模型切换为训练生成模型也称为一轮交替，本实施例不对交替的轮数、生成模型每轮训练的次数以及判别模型每轮训练的次数进行具体限定。
其中，交替训练的终止条件可以为：交替的轮数达到轮数阈值，或者，生成模型的第一损失函数的值小于第一损失阈值且判别模型的第二损失函数的值小于第二损失阈值。需要说明的是，本实施例不对轮数阈值、第一损失阈值和第二损失阈值进行具体限定。
基于上述任一实施例，在本实施例中，所述步骤“通过所述训练集交替训练所述生成模型和所述判别模型”包括以下步骤：
在所述生成模型的任意一次训练过程中，选取任意一个所述训练样本，将所述训练样本中的所述低分辨率图像样本输入至所述生成模型，获取所述生成模型输出的所述低分辨率图像样本对应的超分辨率图像样本。
将所述超分辨率图像样本和所述训练样本中的所述高分辨率图像样本输入至所述判别模型，获取所述判别模型输出的所述超分辨率图像样本和所述高分辨率图像样本之间的相似度。
根据所述相似度，使用反向传播算法更新所述生成模型的参数。
选取不同的所述训练样本重复训练所述生成模型，以使每次训练过程中的所述第一损失函数的值小于上一次训练过程中的所述第一损失函数的值。
当所述生成模型的训练次数大于第一次数阈值时，停止训练所述生成模型，并开始训练所述判别模型。
具体的，本实施例说明了生成模型的任意一轮训练过程，该轮训练的次数为第一次数阈值，本实施例不对第一次数阈值进行具体限定。若该轮训练完毕后，生成模型和判别模型还不满足交替训练的终止条件，则开始训练判别模型。
基于上述任一实施例，在本实施例中，所述步骤“通过所述训练集交替训练所述生成模型和所述判别模型”包括以下步骤：
在所述判别模型的任意一次训练过程中，选取任意一个所述训练样本，将所述训练样本中的所述低分辨率图像样本输入至所述生成模型，获取所述生成模型输出的所述低分辨率图像样本对应的超分辨率图像样本。
将所述超分辨率图像样本和所述训练样本中的所述高分辨率图像样本输入至所述判别模型，获取所述判别模型输出的所述超分辨率图像样本和所述高分辨率图像样本之间的相似度。
根据所述相似度，使用反向传播算法更新所述判别模型的参数。
选取不同的所述训练样本重复训练所述判别模型，以使每次训练过程中的所述第二损失函数的值大于上一次训练过程中的所述第二损失函数的值。
当所述判别模型的训练次数大于第二次数阈值时，停止训练所述判别模型，并开始训练所述生成模型。
具体的，本实施例说明了判别模型的任意一轮训练过程，该轮训练的次数为第二次数阈值，本实施例不对第二次数阈值进行具体限定。若该轮训练完毕后，生成模型和判别模型还不满足交替训练的终止条件，则开始训练生成模型。
基于上述任一实施例，在本实施例中，所述第一损失函数LG的计算公式为：
其中，代表所述像素差异损失函数，α代表所述像素差异损失函数的权重，Ploss代表所述感知损失函数，/>代表第一感知损失子函数，β代表所述第一感知损失子函数的权重，/>代表第二感知损失子函数，γ代表所述第二感知损失子函数的权重。
具体的，每当生成模型完成一次训练，则计算一次生成模型的第一损失函数LG的值，以下对计算过程进行说明：
对于生成模型的任意一次训练，将该次训练使用的训练样本中的低分辨率图像样本LR输入至生成模型，获取生成模型输出的低分辨率图像样本LR对应的超分辨率图像样本SR。
根据超分辨率图像样本SR和该训练样本中的高分辨率图像样本HR，计算像素差异损失函数的值。其中，像素差异损失函数/>可以是L1范数损失函数或L2范数损失函数，本实施例对此不作具体限定。
将超分辨率图像样本SR输入至感知损失提取网络，通过感知损失提取网络输出的超分辨率图像样本SR对应的若干特征图，计算超分辨率图像样本SR的感知特征；将高分辨率图像样本HR输入至感知损失提取网络，通过感知损失提取网络输出的高分辨率图像样本HR对应的若干特征图，计算高分辨率图像样本HR的感知特征；根据超分辨率图像样本SR的感知特征和高分辨率图像样本HR的感知特征，计算第一感知损失子函数
将低分辨率图像样本LR输入至感知损失提取网络，通过感知损失提取网络输出的低分辨率图像样本LR对应的若干特征图，计算低分辨率图像样本LR的感知特征；将超分辨率图像样本SR进行下采样得到与低分辨率图像样本的尺寸一致的下采样图像样本LR'，将下采样图像样本LR'输入至感知损失提取网络，通过感知损失提取网络输出的下采样图像样本LR'对应的若干特征图，计算下采样图像样本LR'的感知特征；根据低分辨率图像样本LR的感知特征和下采样图像样本LR'的感知特征，计算第二感知损失子函数
需要说明的是，感知损失提取网络为现有的图像分类或识别任务中已训练好的网络，本实施例对此不作具体限定。
基于上述任一实施例，在本实施例中，所述第一感知损失子函数的计算公式为：
其中，Lp(I)代表图像I的感知特征，代表感知损失提取网络对图像I处理得到的第k个特征图，wk代表第k个特征图的贡献度，k代表特征图的序号，f代表特征图的数量，w代表特征图的列的数量，h代表特征图的行的数量，i代表特征图的列的序号，j代表特征图的行的序号，SR和HR分别代表同一所述训练样本中的所述低分辨率图像样本对应的所述超分辨率图像样本和所述高分辨率图像样本。
具体的，以下对生成模型完成任意一次训练后，第一感知损失子函数的值的计算过程进行具体说明：
将该次训练使用的训练样本中的低分辨率图像样本LR输入至生成模型，获取生成模型输出的低分辨率图像样本LR对应的超分辨率图像样本SR。
将超分辨率图像样本SR输入至感知损失提取网络，假定感知损失提取网络有m个中间层，则获取感知损失提取网络的m个中间层输出的超分辨率图像SR对应的m个特征图，将这m个特征图分别记为根据m个特征图的贡献度从高到低的顺序，从m个特征图中选取前f个特征图，计算这f个特征图的感知特征/>并将其作为超分辨率图像样本SR的感知特征。
同样地，将高分辨率图像样本HR输入至感知损失提取网络，得到高分辨率图像样本HR对应的f个特征图，计算这f个特征图的感知特征并将其作为高分辨率图像样本HR的感知特征。
将超分辨率图像样本SR的感知特征Lp(SR)和高分辨率图像样本HR的感知特征Lp(HR)代入到中，得到第一感知损失子函数/>的值。
基于上述任一实施例，在本实施例中，所述第二感知损失子函数的计算公式为：
其中，Lp(I)代表图像I的感知特征，代表感知损失提取网络对图像I处理得到的第k个特征图，wk代表第k个特征图的贡献度，k代表特征图的序号，f代表特征图的数量，w代表特征图的列的数量，h代表特征图的行的数量，i代表特征图的列的序号，j代表特征图的行的序号，LR和LR'分别代表同一所述训练样本中的所述低分辨率图像样本和所述低分辨率图像样本对应的所述超分辨率图像样本经过下采样得到的下采样图像。
具体的，以下对生成模型完成任意一次训练后，第二感知损失子函数的值的计算过程进行具体说明：
将该次训练使用的训练样本中的低分辨率图像样本LR输入至生成模型，获取生成模型输出的低分辨率图像样本LR对应的超分辨率图像样本SR。
将低分辨率图像样本LR输入至感知损失提取网络，假定感知损失提取网络有m个中间层，则获取感知损失提取网络的m个中间层输出的低分辨率图像样本LR对应的m个特征图，将这m个特征图分别记为根据m个特征图的贡献度从高到低的顺序，从m个特征图中选取前f个特征图，计算这f个特征图的感知特征/>并将其作为低分辨率图像样本LR的感知特征。
将超分辨率图像样本SR进行下采样得到与低分辨率图像样本的尺寸一致的下采样图像样本LR'，同样地，将下采样图像样本LR'输入至感知损失提取网络，得到下采样图像样本LR'对应的f个特征图，计算这f个特征图的感知特征并将其作为下采样图像样本LR'的感知特征。
将低分辨率图像样本LR的感知特征Lp(LR)和下采样图像样本LR'的感知特征Lp(LR')代入到中，得到第二感知损失子函数/>的值。
基于上述任一实施例，在本实施例中，所述生成模型包括若干交替设置的卷积层和激活函数，所述判别模型包括全连接层以及若干交替设置的卷积层和激活函数。
基于上述任一实施例，在本实施例中，所述感知损失提取网络为VGG-16网络或VGG-19网络。
基于上述任一实施例，图2为本申请的实施例提供的一种图像的超分辨率重建装置的结构示意图，如图2所示，该装置包括存储器10、处理器20、第一获取模块30和第二获取模块40；所述存储器10和所述处理器20连接，用以存储若干能够被所述处理器20执行的指令，若干所述指令包括：控制所述第一获取模块30获取待重建的低分辨率图像；控制所述第二获取模块40将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像；其中，所述生成模型具有预设的第一损失函数，所述第一损失函数包括像素差异损失函数和感知损失函数。
具体的，存储器10可用于存储软件程序以及模块，其主要包括存储程序区和存储数据区。处理器20通过运行存储在存储器10的软件程序以及模块，从而执行各种功能应用以及数据处理。
处理器20通过运行或执行存储在存储器10内的软件程序和/或模块，以及调用存储在存储器10的数据，执行各种功能和处理数据，从而进行整体监控。
本申请提供的图像的超分辨率重建装置，具体执行上述各方法实施例流程，具体请详见上述各方法实施例的内容，此处不再赘述。本申请提供的图像的超分辨率重建装置，使用训练好的生成式对抗网络中的生成模型对低分辨率图像进行超分辨重建，由于生成模型的损失函数包括像素差异损失函数和感知损失函数，因此，训练好的生成模型输出的超分辨率图像在细节、纹理和语义方面无限接近高分辨率图像，从而提高了超分辨率图像的人眼感知质量。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请的实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (5)

1.一种图像的超分辨率重建方法，其特征在于，所述图像的超分辨率重建方法包括以下步骤：
获取待重建的低分辨率图像；
获取训练集；其中，所述训练集包括若干训练样本，每个所述训练样本包括高分辨率图像样本和所述高分辨率图像样本对应的低分辨率图像样本；
通过所述训练集交替训练生成模型和判别模型，其中，在所述生成模型的任意一次训练过程中，选取任意一个所述训练样本，将所述训练样本中的所述低分辨率图像样本输入至所述生成模型，获取所述生成模型输出的所述低分辨率图像样本对应的超分辨率图像样本；
将所述超分辨率图像样本和所述训练样本中的所述高分辨率图像样本输入至所述判别模型，获取所述判别模型输出的所述超分辨率图像样本和所述高分辨率图像样本之间的相似度；
根据所述相似度，使用反向传播算法更新所述生成模型的参数或者所述判别模型的参数；
选取不同的所述训练样本重复训练所述生成模型，以使每次训练过程中的第一损失函数的值小于上一次训练过程中的所述第一损失函数的值；
当所述生成模型的训练次数大于第一次数阈值时，停止训练所述生成模型，并开始训练所述判别模型；
选取不同的所述训练样本重复训练所述判别模型，以使每次训练过程中的第二损失函数的值大于上一次训练过程中的所述第二损失函数的值；
当所述判别模型的训练次数大于第二次数阈值时，停止训练所述判别模型，并开始训练所述生成模型；
将所述低分辨率图像输入至训练好的生成式对抗网络中的所述生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像；
其中，所述生成模型具有预设的第一损失函数，所述第一损失函数包括像素差异损失函数和感知损失函数，所述判别模型具有预设的第二损失函数；
其中，所述第一损失函数LG的计算公式为：
其中，代表所述像素差异损失函数，α代表所述像素差异损失函数的权重，Ploss代表所述感知损失函数，/>代表第一感知损失子函数，β代表所述第一感知损失子函数的权重，代表第二感知损失子函数，γ代表所述第二感知损失子函数的权重；
所述第一感知损失子函数的计算公式为：
其中，Lp(I)代表图像I的感知特征，代表感知损失提取网络对图像I处理得到的第k个特征图，wk代表第k个特征图的贡献度，k代表特征图的序号，f代表特征图的数量，w代表特征图的列的数量，h代表特征图的行的数量，i代表特征图的列的序号，j代表特征图的行的序号，SR和HR分别代表同一所述训练样本中的所述低分辨率图像样本对应的所述超分辨率图像样本和所述高分辨率图像样本。
2.如权利要求1所述的图像的超分辨率重建方法，其特征在于，所述第二感知损失子函数的计算公式为：
其中，Lp(I)代表图像I的感知特征，代表感知损失提取网络对图像I处理得到的第k个特征图，wk代表第k个特征图的贡献度，k代表特征图的序号，f代表特征图的数量，w代表特征图的列的数量，h代表特征图的行的数量，i代表特征图的列的序号，j代表特征图的行的序号，LR和LR'分别代表同一所述训练样本中的所述低分辨率图像样本和所述低分辨率图像样本对应的所述超分辨率图像样本经过下采样得到的下采样图像。
3.如权利要求1所述的图像的超分辨率重建方法，其特征在于，所述生成模型包括若干交替设置的卷积层和激活函数，所述判别模型包括全连接层以及若干交替设置的卷积层和激活函数。
4.如权利要求1或2所述的图像的超分辨率重建方法，其特征在于，所述感知损失提取网络为VGG-16网络或VGG-19网络。
5.一种图像的超分辨率重建装置，其特征在于，包括存储器、处理器、第一获取模块和第二获取模块；所述存储器和所述处理器连接，用以存储若干能够被所述处理器执行的指令，若干所述指令包括：
控制所述第一获取模块获取待重建的低分辨率图像；
控制所述第二获取模块将所述低分辨率图像输入至训练好的生成式对抗网络中的生成模型，获取所述生成模型输出的所述低分辨率图像对应的超分辨率图像；
其中，所述生成模型具有预设的第一损失函数，所述第一损失函数包括像素差异损失函数和感知损失函数；
若干所述指令还包括：获取训练集；其中，所述训练集包括若干训练样本，每个所述训练样本包括高分辨率图像样本和所述高分辨率图像样本对应的低分辨率图像样本；
通过所述训练集交替训练所述生成模型和判别模型，其中，在所述生成模型的任意一次训练过程中，选取任意一个所述训练样本，将所述训练样本中的所述低分辨率图像样本输入至所述生成模型，获取所述生成模型输出的所述低分辨率图像样本对应的超分辨率图像样本；
将所述超分辨率图像样本和所述训练样本中的所述高分辨率图像样本输入至所述判别模型，获取所述判别模型输出的所述超分辨率图像样本和所述高分辨率图像样本之间的相似度；
根据所述相似度，使用反向传播算法更新所述生成模型的参数或者所述判别模型的参数；
选取不同的所述训练样本重复训练所述生成模型，以使每次训练过程中的所述第一损失函数的值小于上一次训练过程中的所述第一损失函数的值；
当所述生成模型的训练次数大于第一次数阈值时，停止训练所述生成模型，并开始训练所述判别模型；
选取不同的所述训练样本重复训练所述判别模型，以使每次训练过程中的第二损失函数的值大于上一次训练过程中的所述第二损失函数的值；
当所述判别模型的训练次数大于第二次数阈值时，停止训练所述判别模型，并开始训练所述生成模型；
所述判别模型具有预设的第二损失函数；
其中，所述第一损失函数LG的计算公式为：
其中，代表所述像素差异损失函数，α代表所述像素差异损失函数的权重，Ploss代表所述感知损失函数，/>代表第一感知损失子函数，β代表所述第一感知损失子函数的权重，代表第二感知损失子函数，γ代表所述第二感知损失子函数的权重；
所述第一感知损失子函数的计算公式为：
其中，Lp(I)代表图像I的感知特征，代表感知损失提取网络对图像I处理得到的第k个特征图，wk代表第k个特征图的贡献度，k代表特征图的序号，f代表特征图的数量，w代表特征图的列的数量，h代表特征图的行的数量，i代表特征图的列的序号，j代表特征图的行的序号，SR和HR分别代表同一所述训练样本中的所述低分辨率图像样本对应的所述超分辨率图像样本和所述高分辨率图像样本。
CN202010377653.7A 2020-05-07 2020-05-07 图像的超分辨率重建方法及装置 Active CN111626932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010377653.7A CN111626932B (zh) 2020-05-07 2020-05-07 图像的超分辨率重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010377653.7A CN111626932B (zh) 2020-05-07 2020-05-07 图像的超分辨率重建方法及装置

Publications (2)

Publication Number Publication Date
CN111626932A CN111626932A (zh) 2020-09-04
CN111626932B true CN111626932B (zh) 2023-09-29

Family

ID=72272571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010377653.7A Active CN111626932B (zh) 2020-05-07 2020-05-07 图像的超分辨率重建方法及装置

Country Status (1)

Country Link
CN (1) CN111626932B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365398B (zh) * 2020-09-11 2024-04-05 成都旷视金智科技有限公司 超分辨率网络训练方法、数字变焦方法、装置及电子设备
CN112258392A (zh) * 2020-10-21 2021-01-22 广州云从凯风科技有限公司 一种超分辨图像训练方法、装置、介质及设备
CN112381717A (zh) * 2020-11-18 2021-02-19 北京字节跳动网络技术有限公司 图像处理方法、模型训练方法、装置、介质及设备
CN113240580B (zh) * 2021-04-09 2022-12-27 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN113240576B (zh) * 2021-05-12 2024-04-30 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质
CN113506219A (zh) * 2021-07-13 2021-10-15 北京达佳互联信息技术有限公司 视频超分辨模型的训练方法和装置
CN113744164B (zh) * 2021-11-05 2022-03-15 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、系统及相关设备
CN114494022B (zh) * 2022-03-31 2022-07-29 苏州浪潮智能科技有限公司 模型训练方法、超分辨率重建方法、装置、设备及介质
CN115423890B (zh) * 2022-09-15 2023-09-19 京心禾(北京)医疗科技有限公司 一种断层图像迭代重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921788A (zh) * 2018-06-20 2018-11-30 华北电力大学 基于深层残差cnn的图像超分辨率方法、装置及存储介质
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110458758A (zh) * 2019-07-29 2019-11-15 武汉工程大学 一种图像超分辨率重建方法、系统及计算机存储介质
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921788A (zh) * 2018-06-20 2018-11-30 华北电力大学 基于深层残差cnn的图像超分辨率方法、装置及存储介质
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110119780A (zh) * 2019-05-10 2019-08-13 西北工业大学 基于生成对抗网络的高光谱图像超分辨重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110458758A (zh) * 2019-07-29 2019-11-15 武汉工程大学 一种图像超分辨率重建方法、系统及计算机存储介质
CN110706157A (zh) * 2019-09-18 2020-01-17 中国科学技术大学 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统

Also Published As

Publication number Publication date
CN111626932A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN111626932B (zh) 图像的超分辨率重建方法及装置
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110956126B (zh) 一种联合超分辨率重建的小目标检测方法
CN112132739B (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
Liu et al. Facial image inpainting using multi-level generative network
Zhou et al. Personalized and occupational-aware age progression by generative adversarial networks
CN116630634B (zh) 一种图像处理方法、装置、设备及存储介质
Liu et al. HEI-Human: a hybrid explicit and implicit method for single-view 3D clothed human reconstruction
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN111311732A (zh) 3d人体网格获取方法及装置
CN116758092A (zh) 图像分割方法、装置、电子设备及存储介质
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training
CN115482557A (zh) 人体图像生成方法、系统、设备及存储介质
CN114820755A (zh) 一种深度图估计方法及系统
Shao et al. Two-stream coupling network with bidirectional interaction between structure and texture for image inpainting
CN116362972B (zh) 图像处理方法、装置、电子设备及存储介质
CN117934286B (zh) 一种轻量级图像超分辨率方法、装置及其电子设备
CN112990215B (zh) 图像去噪方法、装置、设备及存储介质
CN109840941B (zh) 一种内窥镜探测物体的表面重建方法及系统
CN116309274B (zh) 图像中小目标检测方法、装置、计算机设备及存储介质
CN113450249B (zh) 一种面向不同液晶屏尺寸具有美学特征的视频重定向方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant