CN110827201A - 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 - Google Patents
用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 Download PDFInfo
- Publication number
- CN110827201A CN110827201A CN201911074858.1A CN201911074858A CN110827201A CN 110827201 A CN110827201 A CN 110827201A CN 201911074858 A CN201911074858 A CN 201911074858A CN 110827201 A CN110827201 A CN 110827201A
- Authority
- CN
- China
- Prior art keywords
- dynamic range
- resolution
- loss function
- network
- range image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 76
- 239000011159 matrix material Substances 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 34
- 238000009877 rendering Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置，涉及图像处理的技术领域，包括：预先确定训练样本和生成式对抗网络；训练并得到特征提取模型；根据高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，并确定生成的高分辨率的高动态范围图像，基于损失函数以及训练好的特征提取模型提取生成的高分辨率的高动态范围图像和训练样本中目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定损失函数的值，直至损失函数的值符合预期，得到训练好的生成网络；本发明能够提升高动态范围图像的质量，使其更加接近真实图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置。
背景技术
在家居设计领域，在对由渲染引擎产生的高动态范围渲染图像进行超分辨重建时，由于渲染引擎产生的图像像素值超出0到255范围，生成对抗网络产生的超分辨率重建图像在细节上存在平滑现象，与真实图像存在较大差异。
发明内容
本发明的目的在于提供一种用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置，能够提升高动态范围图像的质量，使其更加接近真实图像。
第一方面，实施例提供一种用于高动态范围图像超分辨率重建的生成式对抗网络训练方法，包括：
预先确定训练样本和生成式对抗网络；其中，所述训练样本包括多个类别的高动态范围图像集以及高、低分辨率的高动态范围图像对集，所述生成式对抗网络包括生成网络和判别网络，所述判别网络包括初始的特征提取模型和损失函数；
利用所述多个类别的高动态范围图像训练特征提取模型，得到能够稳定提取高动态范围图像的特征的训练好的特征提取模型；
根据所述高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，并执行下述步骤直至损失函数的值符合预期，得到训练好的生成网络：
根据所述生成网络和所述目标低分辨率的高动态范围图像，确定生成的高分辨率的高动态范围图像；
基于损失函数以及训练好的特征提取模型提取所述生成的高分辨率的高动态范围图像和所述训练样本中所述目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定所述损失函数的值；
判断所述损失函数的值是否符合预期，如果不符合，则更新所述损失函数或所述生成网络作为新的损失函数或新的生成网络。
在可选的实施方式中，所述特征提取模型，基于大规模图像识别的深层卷积网络VGG19提取图像特征。
在可选的实施方式中，所述损失函数，为使用VGG19提取的图像中间层特征构造的基于格拉姆矩阵的多尺度纹理损失函数。
在可选的实施方式中，还包括：
将待重建的低分辨率的高动态范围图像，输入所述训练好的生成网络中，输出为重建的高分辨率的高动态范围图像。
在可选的实施方式中，所述生成网络包括高、低分辨率图像的非线性映射关系。
第二方面，实施例提供一种用于高动态范围图像超分辨率重建的生成式对抗网络训练装置，包括：
确定及生成模块，用于预先确定训练样本和生成式对抗网络；其中，所述训练样本包括多个类别的高动态范围图像集以及高、低分辨率的高动态范围图像对集，所述生成式对抗网络包括生成网络和判别网络，所述判别网络包括初始的特征提取模型和损失函数；
特征提取模型模块，用于利用所述多个类别的高动态范围图像训练特征提取模型，得到能够稳定提取高动态范围图像的特征的训练好的特征提取模型；
训练模块，用于根据所述高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，并通过确定模块、损失函数模块、判断模块步骤直至损失函数的值符合预期，得到训练好的生成网络：
确定模块，用于根据所述生成网络和所述目标低分辨率的高动态范围图像，确定生成的高分辨率的高动态范围图像；
损失函数模块，用于基于损失函数以及训练好的特征提取模型提取所述生成的高分辨率的高动态范围图像和所述训练样本中所述目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定所述损失函数的值；
判断模块，用于判断所述损失函数的值是否符合预期，如果不符合，则更新所述损失函数或所述生成网络作为新的损失函数或新的生成网络。
在可选的实施方式中，所述特征提取模型，基于大规模图像识别的深层卷积网络VGG19提取图像特征。
在可选的实施方式中，所述损失函数，为使用VGG19提取的图像中间层特征构造的基于格拉姆矩阵的多尺度纹理损失函数。
第三方面，实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一所述的方法的步骤。
第四方面，实施例提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述前述实施方式任一所述方法。
本发明提供的用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置，其中训练方法通过确定训练样本和生成式对抗网络，利用所述多个类别的高动态范围图像训练特征提取模型，得到能够稳定提取高动态范围图像的特征的训练好的特征提取模型；根据所述高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，根据所述生成网络和所述目标低分辨率的高动态范围图像，确定生成的高分辨率的高动态范围图像；基于损失函数以及训练好的特征提取模型提取所述生成的高分辨率的高动态范围图像和所述训练样本中所述目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定所述损失函数的值；通过更新损失函数或所述生成网络使得损失函数的值符合预期，得到训练好的生成网络；训练好的网络能够使得重建的超分辨率图像在图像和细节纹理上更加接近真实图像；有效提升高动态范围图像的质量。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的用于高动态范围图像超分辨率重建的生成式对抗网络训练方法的流程图；
图2为本发明实施例提供的用于高动态范围图像超分辨率重建的生成式对抗网络训练方法的生成网络原理图；
图3为本发明实施例提供的用于高动态范围图像超分辨率重建的生成式对抗网络训练方法的判别网络原理图；
图4为本发明实施例提供的用于高动态范围图像超分辨率重建的生成式对抗网络训练装置的原理图；
图5为本发明实施例提供的电子设备的原理图。
图标：41-确定及生成模块；42-特征提取模型模块；43-训练模块；431-确定模块；432-损失函数模块；433-判断模块；500-电子设备；501-通信接口；502-处理器；503-存储器；504-总线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图像的超分辨率是计算机视觉的一个经典应用。超分辨率重建是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。
深度学习利用多层非线性变换提取数据的高层抽象特征，凭借着强大的拟合能力，深度学习开始在各个领域崭露头角，特别是在图像与视觉领域，卷积神经网络大放异，这也使得越来越多的研究者开始尝试将深度学习引入到超分辨率重建领域。
在智能家居领域，由渲染引擎产生的高动态范围渲染图像进行超分辨重建时，由于渲染引擎产生的图像像素值超出0到255范围，生成对抗网络产生的超分辨率重建图像在细节上存在平滑现象，与真实图像仍然存在较大差异。基于此，本发明提出一种用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置，能够提升高动态范围图像的质量，使其更加接近真实图像。
参照图1，本实施例提出的一种用于高动态范围图像超分辨率重建的生成式对抗网络训练方法，包括：
S110，预先确定训练样本和生成式对抗网络；其中，所述训练样本包括多个类别的高动态范围图像集以及高、低分辨率的高动态范围图像对集，所述生成式对抗网络包括生成网络和判别网络，所述判别网络包括初始的特征提取模型和损失函数；
具体地，获取多个类别的高动态范围图像集，并对图像进行归类，将归类好的图像按照预设比例分割成训练样本和测试样本。其中，测试样本应用于对抗网络。
对抗网络是根据生成网络和判别网络互相博弈学习，产生较好的输出；生成网络以一个随机向量作为输入，将其解码成一张伪造的图像；而判别网络，以一张图像作为输入，预测该图像是来自于训练集还是生成网络伪造的。这一过程中，训练生成网络的目的是使其能够欺骗判别网络，使得训练结束后生成网络能够将其输入空间中的任何点转换为一张真实可信的图像。
本实施例需要对一幅大小为320x256的低分辨率的高动态范围图像重建成大小为1280x1024的高分辨率的高动态范围图像，首先需要由渲染引擎获取10个类别的高动态范围图像训练，对图像进行归类，每个类别300张图片；将归类好的图像按照8:2的比例分割成训练样本和测试样本。其中，由渲染引擎得到的高动态范围图像，其像素值范围值在6.14×10-5到6.41×104之间。本实施例中通过渲染引擎得到20000张高分辨率的高动态范围图像。利用双三次插值方法对所有高分辨率图像进行降采样获得低分辨率的图像，获得20000张的低分辨率，每张高分辨率图像对应一张高分辨图像和低分辨率图像。
S120，利用所述多个类别的高动态范围图像训练特征提取模型，得到能够稳定提取高动态范围图像的特征的训练好的特征提取模型；
具体地，本实施例采用VGG19进行分类训练，得到特征提取模型，其能够稳定提取高动态范围图像的特征。
使用VGG19的分类模型分别对高、低分辨率图像提取多尺度特征；其中多尺度特征包括真实高分辨率和生成网络生成的高分辨率高动态范围图像VGG19-34、VGG19-44、VGG-54中间层特征；其中VGG19-34表示第三个池化层前第四个卷积层的特征，VGG19-44表示第四个池化层前第四个卷积层的特征，VGG-54表示第五个池化层前第四个卷积层的特征。
S130，根据所述高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，并执行下述步骤直至损失函数的值符合预期，得到训练好的生成网络：
具体地，通过步骤S140-S160获得生成网络，输入低分辨率的高动态范围图像，输出的高分辨率的高动态范围图像。
S140，根据所述生成网络和所述目标低分辨率的高动态范围图像，确定生成的高分辨率的高动态范围图像；
具体地，如图2所示，将目标低分辨率的高动态范围图像输入至生成网络，得到高分辨率的高动态范围图像。其中，生成网络由输入卷积层，8个残差密集快以及输出卷积层组成；残差密集块由4个卷积层和激活层RELU组成。其中，输入和残差的卷积层为输出64、内核为3x3的卷积，重建卷积层为输出256，内核大小为3x3的卷积，为输出卷积层为输出3，内核大小3x3的卷积。
S150，基于损失函数以及训练好的特征提取模型提取所述生成的高分辨率的高动态范围图像和所述训练样本中所述目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定所述损失函数的值；
S160，判断所述损失函数的值是否符合预期，如果不符合，则更新所述损失函数或所述生成网络作为新的损失函数或新的生成网络。
具体地，利用VGG19提取的特征构造基于格拉姆矩阵的纹理损失函数；
利用提取的三个层次的中间层特征构建基于格拉姆矩阵的纹理损失函数，如下列公式所示：
其中式(1)中，i表示获取的不同层级的特征，0表示VGG19-34层特征，1表示VGG19-44层特征，2表示VGG54层特征；λi为归一化因子，Gr()表示格拉姆矩阵，φi(ISR)表示生成网络生成的高分辨率图像的第i层特征，φi(IHR)表示真实高分辨率图像的第i层特征，
表示F-范数的平方。
构建基于生成对抗网络的训练模型，使用高、低分辨率的高动态范围图像进行训练；损失函数为
其中Lpercep为感知损失函数，
为生成器对抗损失函数，L1为像素级损失函数，L为本方法中基于格拉姆矩阵的纹理损失函数，λ、η、α为权重常数，可通过实验获取。
使用S140获得的高、低分辨率的高动态范围图像对构造的模型训练，利用Adam求解器交替更新生成器和判别器的参数，直到最小化损失函数。
图3为判别网络，有输入卷积层，多个卷积层、批量归一化层(BN)，激活层RELU、全连接层以及Sigmoid激活层构成。其中，输入和第一个F块的卷积层为输出64、内核为3x3的卷积；第1、2个F块卷积层为输出128、内核为3x3的卷积；第3、4个F块卷积层为输出256、内核为3x3的卷积；第5、6个F块卷积层为输出512、内核为3x3的卷积；全连接层输出1024。
可选地，所述特征提取模型，基于大规模图像识别的深层卷积网络VGG19提取图像特征。
具体地，本实施例采用VGG提取中间层特征，为构造损失函数提供基础。
可选地，所述损失函数，为使用VGG19提取的图像中间层特征构造的基于格拉姆矩阵的多尺度纹理损失函数。
可选地，还包括：
将待重建的低分辨率的高动态范围图像，输入所述训练好的生成网络中，输出为重建的高分辨率的高动态范围图像。
具体地，生成网络训练完成后，向生成网络输入待重建的低分辨率的高动态范围图像，即可得到重建的高分辨率的高动态范围图像。
可选地，所述生成网络包括高、低分辨率图像的非线性映射关系。
具体地，本实施例构建基于GAN的训练网络模型，使用高、低分辨率的高动态范围图像对训练网络模型进行训练，建立高、低分辨率图像的非线性映射关系。
本实施例通过高动态范围的图像重新训练VGG19的分类网络，通过VGG19提取生成图像和真实图像的中间层特征，构造基于格拉姆矩阵的纹理损失函数，结合GAN的优点构建生成对抗网络，通过训练获取生成网络，取得接近真实高分辨率的高动态范围图像的效果，达到减缓重建后图像的细节平滑问题。
如图4所示，本实施例提供的一种用于高动态范围图像超分辨率重建的生成式对抗网络训练装置，包括：
确定及生成模块41，用于预先确定训练样本和生成式对抗网络；其中，所述训练样本包括多个类别的高动态范围图像集以及高、低分辨率的高动态范围图像对集，所述生成式对抗网络包括生成网络和判别网络，所述判别网络包括初始的特征提取模型和损失函数；
特征提取模型模块42，用于利用所述多个类别的高动态范围图像训练特征提取模型，得到能够稳定提取高动态范围图像的特征的训练好的特征提取模型；
训练模块43，用于根据所述高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，并通过确定模块431、损失函数模块432、判断模块433步骤直至损失函数的值符合预期，得到训练好的生成网络：
确定模块431，用于根据所述生成网络和所述目标低分辨率的高动态范围图像，确定生成的高分辨率的高动态范围图像；
损失函数模块432，用于基于损失函数以及训练好的特征提取模型提取所述生成的高分辨率的高动态范围图像和所述训练样本中所述目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定所述损失函数的值；
判断模块433，用于判断所述损失函数的值是否符合预期，如果不符合，则更新所述损失函数或所述生成网络作为新的损失函数或新的生成网络。
可选地，所述特征提取模型，基于大规模图像识别的深层卷积网络VGG19提取图像特征。
可选地，所述损失函数，为使用VGG19提取的图像中间层特征构造的基于格拉姆矩阵的多尺度纹理损失函数。
可选地，还包括重建模块，用于将待重建的低分辨率的高动态范围图像，输入所述训练好的生成网络中，输出为重建的高分辨率的高动态范围图像。
可选地，所述生成网络包括高、低分辨率图像的非线性映射关系。
参见图5，本发明实施例还提供一种设备，本发明实施例还提供了一种电子设备500，包括通信接口501、处理器502、存储器503以及总线504，处理器502、通信接口501和存储器503通过总线504连接；上述存储器503用于存储支持处理器502执行上述用于高动态范围图像超分辨率重建的生成式对抗网络训练方法的计算机程序，上述处理器502被配置为用于执行该存储器503中存储的程序。
可选地，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行如上述实施例中的用于高动态范围图像超分辨率重建的生成式对抗网络训练方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种用于高动态范围图像超分辨率重建的生成式对抗网络训练方法，其特征在于，包括：
预先确定训练样本和生成式对抗网络；其中，所述训练样本包括多个类别的高动态范围图像集以及高、低分辨率的高动态范围图像对集，所述生成式对抗网络包括生成网络和判别网络，所述判别网络包括初始的特征提取模型和损失函数；
利用所述多个类别的高动态范围图像训练特征提取模型，得到能够稳定提取高动态范围图像的特征的训练好的特征提取模型；
根据所述高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，并执行下述步骤直至损失函数的值符合预期，得到训练好的生成网络：
根据所述生成网络和所述目标低分辨率的高动态范围图像，确定生成的高分辨率的高动态范围图像；
基于损失函数以及训练好的特征提取模型提取所述生成的高分辨率的高动态范围图像和所述训练样本中所述目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定所述损失函数的值；
判断所述损失函数的值是否符合预期，如果不符合，则更新所述损失函数或所述生成网络作为新的损失函数或新的生成网络。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模型，基于大规模图像识别的深层卷积网络VGG19提取图像特征。
3.根据权利要求1所述的方法，其特征在于：
所述损失函数，为使用VGG19提取的图像中间层特征构造的基于格拉姆矩阵的多尺度纹理损失函数。
4.根据权利要求1所述的方法，其特征在于，还包括：
将待重建的低分辨率的高动态范围图像，输入所述训练好的生成网络中，输出为重建的高分辨率的高动态范围图像。
5.根据权利要求1所述的方法，其特征在于：
所述生成网络包括高、低分辨率图像的非线性映射关系。
6.一种用于高动态范围图像超分辨率重建的生成式对抗网络训练装置，其特征在于，包括：
确定及生成模块，用于预先确定训练样本和生成式对抗网络；其中，所述训练样本包括多个类别的高动态范围图像集以及高、低分辨率的高动态范围图像对集，所述生成式对抗网络包括生成网络和判别网络，所述判别网络包括初始的特征提取模型和损失函数；
特征提取模型模块，用于利用所述多个类别的高动态范围图像训练特征提取模型，得到能够稳定提取高动态范围图像的特征的训练好的特征提取模型；
训练模块，用于根据所述高、低分辨率的高动态范围图像对集中的低分辨率的高动态范围图像依次作为目标低分辨率的高动态范围图像，并通过确定模块、损失函数模块、判断模块直至损失函数的值符合预期，得到训练好的生成网络：
确定模块，用于根据所述生成网络和所述目标低分辨率的高动态范围图像，确定生成的高分辨率的高动态范围图像；
损失函数模块，用于基于损失函数以及训练好的特征提取模型提取所述生成的高分辨率的高动态范围图像和所述训练样本中所述目标低分辨率的高动态范围图像对应的目标该分辨率的高动态范围图像的特征，确定所述损失函数的值；
判断模块，用于判断所述损失函数的值是否符合预期，如果不符合，则更新所述损失函数或所述生成网络作为新的损失函数或新的生成网络。
7.根据权利要求6所述的装置，其特征在于，所述特征提取模型，基于大规模图像识别的深层卷积网络VGG19提取图像特征。
8.根据权利要求6所述的装置，其特征在于：
所述损失函数，为使用VGG19提取的图像中间层特征构造的基于格拉姆矩阵的多尺度纹理损失函数。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-5任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911074858.1A CN110827201A (zh) | 2019-11-05 | 2019-11-05 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911074858.1A CN110827201A (zh) | 2019-11-05 | 2019-11-05 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110827201A true CN110827201A (zh) | 2020-02-21 |
Family
ID=69552800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911074858.1A Pending CN110827201A (zh) | 2019-11-05 | 2019-11-05 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827201A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796599A (zh) * | 2019-10-15 | 2020-02-14 | 哈尔滨工程大学 | 视网膜图像超分辨率重建的通道加权生成式对抗网络方法 |
| CN111062468A (zh) * | 2020-03-06 | 2020-04-24 | 图灵人工智能研究院（南京）有限公司 | 生成网络的训练方法和系统、以及图像生成方法及设备 |
| CN111598808A (zh) * | 2020-05-18 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及其训练方法 |
| CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| CN111915491A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于远近景的弱监督超分辨率重建模型及方法 |
| CN112418310A (zh) * | 2020-11-20 | 2021-02-26 | 第四范式（北京）技术有限公司 | 文本风格迁移模型训练方法和系统及图像生成方法和系统 |
| CN112488924A (zh) * | 2020-12-21 | 2021-03-12 | 深圳大学 | 一种图像超分辨率模型训练方法、重建方法及装置 |
| CN112801878A (zh) * | 2021-02-08 | 2021-05-14 | 广东三维家信息科技有限公司 | 渲染图像超分辨率纹理增强方法、装置、设备及存储介质 |
| CN112927171A (zh) * | 2021-04-15 | 2021-06-08 | 重庆邮电大学 | 一种基于生成对抗网络的单幅图像去模糊方法 |
| WO2022226963A1 (zh) * | 2021-04-30 | 2022-11-03 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
-
2019
- 2019-11-05 CN CN201911074858.1A patent/CN110827201A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109410239A (zh) * | 2018-11-07 | 2019-03-01 | 南京大学 | 一种基于条件生成对抗网络的文本图像超分辨率重建方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796599A (zh) * | 2019-10-15 | 2020-02-14 | 哈尔滨工程大学 | 视网膜图像超分辨率重建的通道加权生成式对抗网络方法 |
| CN111062468A (zh) * | 2020-03-06 | 2020-04-24 | 图灵人工智能研究院（南京）有限公司 | 生成网络的训练方法和系统、以及图像生成方法及设备 |
| CN111062468B (zh) * | 2020-03-06 | 2023-06-20 | 图灵人工智能研究院（南京）有限公司 | 生成网络的训练方法和系统、以及图像生成方法及设备 |
| CN111598808A (zh) * | 2020-05-18 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及其训练方法 |
| CN111787187B (zh) * | 2020-07-29 | 2021-07-02 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| CN111915491A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于远近景的弱监督超分辨率重建模型及方法 |
| CN112418310A (zh) * | 2020-11-20 | 2021-02-26 | 第四范式（北京）技术有限公司 | 文本风格迁移模型训练方法和系统及图像生成方法和系统 |
| CN112488924A (zh) * | 2020-12-21 | 2021-03-12 | 深圳大学 | 一种图像超分辨率模型训练方法、重建方法及装置 |
| CN112488924B (zh) * | 2020-12-21 | 2023-10-27 | 深圳大学 | 一种图像超分辨率模型训练方法、重建方法及装置 |
| CN112801878A (zh) * | 2021-02-08 | 2021-05-14 | 广东三维家信息科技有限公司 | 渲染图像超分辨率纹理增强方法、装置、设备及存储介质 |
| CN112927171A (zh) * | 2021-04-15 | 2021-06-08 | 重庆邮电大学 | 一种基于生成对抗网络的单幅图像去模糊方法 |
| WO2022226963A1 (zh) * | 2021-04-30 | 2022-11-03 | 京东方科技集团股份有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827201A (zh) | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 | |
| US11024009B2 (en) | Super resolution using a generative adversarial network | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Li et al. | Survey of single image super‐resolution reconstruction | |
| Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
| CN110648334A (zh) | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN112232325B (zh) | 样本数据处理方法和装置、存储介质及电子设备 | |
| CN111899168B (zh) | 一种基于特征增强的遥感影像超分辨率重建方法和系统 | |
| CN115409755B (zh) | 贴图处理方法和装置、存储介质及电子设备 | |
| CN113538246B (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN111784624B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
| CN113674191B (zh) | 一种基于条件对抗网络的弱光图像增强方法和装置 | |
| Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
| Liu et al. | Learning cascaded convolutional networks for blind single image super-resolution | |
| Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| Tapia et al. | Selfie periocular verification using an efficient super-resolution approach | |
| CN116912130A (zh) | 基于多感受野特征融合和混合注意力的图像去雾方法 | |
| CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及系统 | |
| CN111724309B (zh) | 图像处理方法及装置、神经网络的训练方法、存储介质 | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 | |
| Nanavati et al. | Generative adversarial networks: A comparative analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |