CN110490807A - 图像重建方法、装置及存储介质 - Google Patents

图像重建方法、装置及存储介质 Download PDF

Info

Publication number
CN110490807A
CN110490807A CN201910794283.4A CN201910794283A CN110490807A CN 110490807 A CN110490807 A CN 110490807A CN 201910794283 A CN201910794283 A CN 201910794283A CN 110490807 A CN110490807 A CN 110490807A
Authority
CN
China
Prior art keywords
image
training
reconstruction
model
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910794283.4A
Other languages
English (en)
Inventor
王蓉
丁建伟
霍东奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINESE PEOPLE'S PUBLIC SECURITY UNIVERSITY
Original Assignee
CHINESE PEOPLE'S PUBLIC SECURITY UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINESE PEOPLE'S PUBLIC SECURITY UNIVERSITY filed Critical CHINESE PEOPLE'S PUBLIC SECURITY UNIVERSITY
Priority to CN201910794283.4A priority Critical patent/CN110490807A/zh
Publication of CN110490807A publication Critical patent/CN110490807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

本发明提供了一种图像重建方法、装置及存储介质，其中，该方法包括：将分辨率最小的待重建图像输入第一图像重建模型运算重建，得到分辨率较大的第一中间层重建图像；将第一中间层重建图像输入第二图像重建模型运算重建，得到分辨率更大的第二中间层重建图像，并根据第二中间层重建图像输出重建结果图像；其中，第一图像重建模型和第二图像重建模型均是通过对初始网络模型训练得到，其训练样本中的输入图像分辨率小于输出图像分辨率。通过在图像重建过程中连续进行两次图像重建，能够降低重建后图像与原始图像的误差，提升图像重建质量，提升人眼直观感知质量。

Description

图像重建方法、装置及存储介质
技术领域
本发明属于图像重建技术领域，尤其涉及一种图像重建方法、装置及存储介质。
背景技术
随着技术的发展，监控视频中的信息的利用率不断提高。通过高清摄像头以及监控点合理的布局等方式可以加大对监控对象信息的提取。行人信息是最重要的监控对象，行人身份的确认是公安各项工作以及监管部门最重要的线索之一。
人脸识别是确认行人身份信息的主要手段，人脸所独有的生物特征可以使工作人员或识别系统在众多行人中快速的识别目标人员。由于监控设备能力良莠不齐，以及天气、光照的因素的印象，直接得到的模糊的人脸图像通常不能直接输送到识别系统进行身份识别，需要先对模糊的人脸进行超分辨率重建。
基于深度学习的图像超分辨率重建效果依赖数据集与重建目标图像，对于过小的目标图像，由于信息的大量缺失导致重建效果不佳，特定的数据集使网络模型的鲁棒性不佳。小分辨率图像由于所含信息极少，特别是人脸图像仅显示出模糊的轮廓，使得超分辨率重建的任务较为困难，更难以丰富其重建图像的纹理细节。
在实际中，对小人脸图像或其他类型的低分辨率人脸图像的重建需求较高，而现有的重建方式不能保证这种情况下的重建效果。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于深度学习的图像重建方法、装置及存储介质，以降低重建后图像与原始图像的误差，提升图像重建质量，提升人眼直观感知质量。
本发明解决技术问题的方案是：
一方面，本发明提供一种图像重建方法，包括如下步骤：
将待重建图像输入第一图像重建模型运算重建，得到第一中间层重建图像；所述第一图像重建模型是利用多个第一训练样本对初始网络模型进行训练得到；各所述第一训练样本包括第一训练输入图像和对应的第一目标训练输出图像；
将第一中间层重建图像输入第二图像重建模型运算重建，得到第二中间层重建图像；所述第二图像重建模型是利用多个第二训练样本对所述初始网络模型训练得到；各所述第二训练样本包括第二训练输入图像和对应的第二目标训练输出图像；
根据第二中间层重建图像输出重建结果图像；
其中，所述第一训练输入图像的分辨率小于相应的所述第一目标训练输出图像的分辨率，所述第二训练输入图像的分辨率小于相应的所述第二目标训练输出图像的分辨率，所述第一目标训练输出图像的分辨率等于相应的所述第二训练输入图像的分辨率。
在一些实施例中，根据第二中间层重建图像输出重建结果图像，包括：
将第二中间层重建图像输入第三图像重建模型运算重建，得到第三中间层重建图像；所述第三图像重建模型是利用多个第三训练样本对所述初始网络模型训练得到；各所述第三训练样本包括第三训练输入图像和对应的第三目标训练输出图像；
根据第三中间层重建图像输出重建结果图像；
其中，所述第三训练输入图像的分辨率小于相应的所述第三目标训练输出图像的分辨率，所述第二目标训练输出图像的分辨率等于相应的第三训练输入图像的分辨率。
在一些实施例中，相对应的所述第一训练输入图像、所述第一目标训练输出图像、所述第二训练输入图像及所述第二目标训练输出图像均是基于同一样本图像重采样得到。
在一些实施例中，所述第一训练输入图像、所述第一目标训练输出图像、及所述第二训练输入图像是通过对相对应的所述第二目标训练输出图像下采样得到。
在一些实施例中，所述第一目标训练输出图像和所述第二训练输入图像是通过对相对应的所述第二目标训练输出图像二倍下采样得到；所述第一训练输入图像是通过对相对应的所述第二目标训练输出图像四倍下采样得到。
在一些实施例中，初始网络模型包括ResNet网络结构和SRGAN网络结构；其中，ResNet网络结构作为GAN网络结构中的生成器；ResNet网络结构包含残差模块、卷积层和反卷积层；GAN网络结构中的判别器包括卷积层和全连接层，输出层为sigmoid函数。
在一些实施例中，将待重建图像输入第一图像重建模型运算重建，得到第一中间层重建图像之前，所述方法还包括：
采用第一验证图像集输入所述第一图像重建模型重建，得到第一图像质量判定集；
将所述第一图像质量判定集输入所述第二图像重建模型重建，得到第二图像质量判定集；
分别使用均方根误差从图像失真角度评估和使用感知得分从人眼感知的角度评估所述第二图像质量判定集的图像质量。
另一方面，本发明还提供一种图像重建装置，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
另一方面，本发明还提供一种计算机存储介质，该计算机存储介质中存储有计算机程序，当该计算机程序被执行时执行上述的方法步骤。
本发明的有益效果是：
本发明所述基于深度学习的图像重建方法，通过采用至少两个所述图像重建模型对图像连续重建，将普通的上采样任务精细化，以降低重建后图像与原始图像的误差。提升图像重建质量，提升人眼直观感知质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明一实施例中所述图像重建方法的流程示意图；
图2为本发明一实施例中所述图像重建方法的初始网络模型结构示意图；
图3为本发明一实施例中所述图像重建方法的流程示意图；
图4为本发明一实施例中ResNet模型、GAN模型、分段式ResNet模型以及分段式GAN模型重建后图像的均方根误差和感知得分图；
图5为本发明另一实施例中所述图像重建方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
深度学习在计算机视觉领域中近几年的应用逐渐体现了其出色的性能，在图像分类，目标追踪，目标识别等任务中，基于深度学习的方法都能良好的胜任并代替传统方法。而后，基于深度学习的图像超分辨率重建技术在性能上已经的超越了传统的插值重建方法。第一个被提出用于图像超分辨率重建的神经网络SRCNN(Super Resolution CNN，超分辨重建卷积神经网络)，相比传统插值法表现出色，自此以后，模型如FSRCNN(加速超分辨重建卷积神经网络)、SRGAN(超分辨率重建深度对抗神经网络，GAN表示对抗神经网络)、SRResNet(超分辨率重建残差神经网络，SRGAN的一种拓展方式，ResNet表示残差神经网络)等模型逐渐被提出。但由于以图像失真为基础构造损失函数的模型重建后的图像效果纹理细节太过平滑，不满足人眼的直观感受，重建后的图像人眼直观视觉效果都较为一般，对于图像降低失真很难突破瓶颈。
由于基于深度学习的超分辨率重建模型对重建目标图像要求较高，所以在通用测试数据集上的表现不能满足其在特定领域内的应用，小分辨率图像(如分辨率小于100x100)左右的图像由于其损失的信息过多，导致重建效果不佳。特别的，当前的模型在特定的人脸数据集上后的训练结果在小人脸图像上的重建效果仍不尽如人意。
本发明提供一种图像重建方法，如图1所示，包括如下步骤：
步骤101：将待重建图像输入第一图像重建模型运算重建，得到第一中间层重建图像；第一图像重建模型是利用多个第一训练样本对初始网络模型进行训练得到；各第一训练样本包括第一训练输入图像和对应的第一目标训练输出图像；
步骤102：将第一中间层重建图像输入第二图像重建模型运算重建，得到第二中间层重建图像；第二图像重建模型是利用多个第二训练样本对初始网络模型训练得到；各第二训练样本包括第二训练输入图像和对应的第二目标训练输出图像；
步骤103：根据第二中间层重建图像输出重建结果图像；
其中，第一训练输入图像的分辨率小于相应的第一目标训练输出图像的分辨率，第二训练输入图像的分辨率小于相应的第二目标训练输出图像的分辨率，第一目标训练输出图像的分辨率等于相应的第二训练输入图像的分辨率。
本实施例中，通过搭建分段式神经网络并训练，形成至少两个图像重建模型连续对待重建图像进行重建。
在第一次图像重建过程中，第一图像重建模型将输入的待重建图像按照第一训练输入图像和对应的第一目标训练输出图像的分辨率倍数差m进行重建得到第一中间层重建图像。进一步地，第二次图像重建过程中，第二图像重建模型将输入的第一中间层重建图像按照第二训练输入图像和对应的第二目标训练输出图像的分辨率倍数差n重建得到第二中间层重建图像。此时，待重建图像经过两次重建后分辨率得到m×n倍的提升。相比于通过单次重建将待重建图像的分辨率提升m×n，本实施例中，通过两段式重建能够减少失真，提升人眼直观视觉效果。
进一步地，第一图像重建模型以深度学习神经网络中的初始网络模型通过多个第一训练样本训练得到。模型训练过程中分别以第一训练样本中的第一训练输入图像作为输入和对应的第一目标训练输出图像作为输出。第一训练输入图像和第一目标训练输出图像均是由同一图像生成的不同分辨率的图像，其中，第一训练输入图像的分辨率低于第一目标训练输出图像的分辨率。具体的，在一些实施例中，可以通过对同一图像进行不同倍数的下采样，得到第一训练输入图像和第一目标训练输出图像。而在另一些实施例中，也可以对插值法对同一图像进行上采样得到第一训练输入图像和第一目标训练输出图像。
相应的，第二图像重建模型以深度学习神经网络中的初始网络模型通过多个第二训练样本训练得到。模型训练过程中分别以第二训练样本中的第二训练输入图像作为输入和对应的第二目标训练输出图像作为输出。第二训练输入图像和第二目标训练输出图像均是由同一图像生成的不同分辨率的图像，其中，第二训练输入图像的分辨率低于第二目标训练输出图像的分辨率。
为了获得更优的图像重建质量，第一目标训练输出图像的分辨率等于相应的第二训练输入图像的分辨率，以达到连续重建的效果。
在一些实施例中，第二图像重建模型可以与第一图像重建模型相同，也可以针对具体图像重建要求单独训练。
在一些实施例中，相对应的第一训练输入图像、第一目标训练输出图像、第二训练输入图像及第二目标训练输出图像均是基于同一样本图像重采样得到。
本实施例中，为了对待重建图像进行连续重建，进一步提高重建效果，在训练第一图像重建模型和第二图像重建模型过程中，采用同一样本图像的真实值进行重采样，使所得到第一训练输入图像、第一目标训练输出图像、第二训练输入图像及第二目标训练输出图像之间的内容相关联，从而使对同一图像的连续重建过程效果更好。
在另一些实施例中，可以直接以样本图像作为第二目标训练输出图像训练模型，能够使图像在重建后更接近真实值，提高重建效果。
本实施例中，下采样的目的是为了从样本图像中生成与应用场景接近的模糊图像，在训练模型的过程中，深度学习神经网络模型目的在于将模糊图像经重建并使其接近真实值。
在一些实施例中，可以通过双三次插值法进行下采样，也可以采用最近邻插值，双线性插值，均值插值，中值插值等方法进行下采样。
进一步地，样本图像可以采用现有已公布的计算机视觉常用的图像集，例如，ImageNet数据集、FDDB(Face Detection Data Set and Benchmark)人脸数据集。在针对人脸图像重建过程中，可以采用CelebA人脸数据集和/或部Helen人脸数据集中的部分或全部进行模型训练和/或模型测试。
示例性的，第一训练输入图像通过对第一样本图像以第一设定倍数下采样得到，第一目标训练输出图像通过对第一样本图像以第二设定倍数下采样得到，第二训练输入图像通过对第一样本图像以第三设定倍数下采样得到，第二目标训练输出图像通过对第一样本图像以第四设定倍数下采样得到或者直接采用第一样本图像作为第二目标训练输出图像。因此，第一训练输入图像与第一目标训练输出图像的分辨率成第一指定倍数关系，使得训练得到的第一图像重建模型能够对图像进行第一指定倍数的上采样；第二训练输入图像与第二目标训练输出图像的分辨率成第二指定倍数关系，使训练得到的第二图像重建模型能够对图像进行第二指定倍数的上采样。
例如，在一些实施例中，可以对原图像进行四倍下采样得到第一训练输入图像，对原图像进行二倍下采样作为第一目标训练输出图像和第二训练输入图像，以原图像作为第二目标训练输出图像。训练得到的第一图像重建模型和第二图像重建模型能够对图像进行二倍上采样。
在本实施例中，为了使待重建图像经过重建之后得到的重建结果图像更加接近真实值，在模型训练过程中，第一目标训练输出图像与第二训练输入图像相同，第二目标训练输出图像与第一样本图像相同，能够使训练得到的第一图像重建模型和第二图像重建模型的输入和输出直接关联，并且采用第一样本图像作为最终输出训练，能够使图像重建分辨率从低到高，使重建结果图像最接近真实值。
具体的，第一图像重建模型以及第二图像重建模型可以采用同一个深度学习神经网络模型训练得到，也可以根据具体需要采用不同的深度学习神经网络进行训练。
在一些实施例中，初始网络模型基于深度残差神经网络以及深度生成对抗神经网络搭建。
深度残差网络同样也是深度生成对抗网络中的生成器网络，其主要有卷积层，残差模块，和反卷积层构成。图像超分辨率重建本质上可以理解为是一种映射关系，低分辨率图像通过卷积层，残差模块和反卷积层生成高清图像。其中残差模块可以有效的避免梯度消失，加快模型收敛。
深度生成对抗网络是两个网络构成，一个是由残差网络构成的生成器网络，一个是由卷积神经网络构成的判别网络。生成对抗网络同时训练生成器和判别器，其中，将低分辨率图像作为生成器的输入输送到生成器生成高分辨率的图像，判别器的输入为生成的高分辨率图像和原始图像，输出为此图像为真实的概率值。在训练过程中，生成器生成更逼真的图像来训练判别器，判别器在训练中需要更精准的判断真伪图像，当生成器的生成数据使判别器无法识别为假数据的时候，两者达到纳什均衡(非合作博弈均衡)。
本发明中，初始网络模型所采用的损失函数包括内容损失函数和对抗损失函数，其中，内容损失函数表示了重建后图像与原图像在所有对应像素点上差值平方和的平均值，对抗损失函数表示了生成对抗网络中判别器对生成图像的判别结果。
在一些实施例中，内容损失函数为：
其中，r代表下采样因子(倍数)，W、H代表原始图像尺寸，代表原始图像在x,y点的像素值，ILR代表低分辨率图像，代表重建后图像对于x,y点的像素值。
对抗损失函数为：
其中，ILR代表低分辨率图像，代表重建后图像，代表判别器判断的重建图像的真实度。
损失函数计算为：
其中，α是一个比例参数，用来控制对抗损失函数在整体损失函数中的比重，过高的比例参数会导致模型难以学习甚至不收敛的结果。
在一些实施例中，初始网络模型包括ResNet网络结构和GAN网络结构；其中，ResNet网络结构作为GAN网络结构中的生成器；其中，ResNet网络结构包含残差模块、卷积层和反卷积层；GAN网络结构中的判别器包括卷积层和全连接层，输出层为sigmoid函数。
具体的，在一些实施例中，如图2所示，训练第一图像重建模型和第二图像重建模型的步骤包括：以ResNet网络结构作为第一生成器、以GAN网络结构作为第二生成器和判别器；采用第一训练样本或第二训练样本训练第一生成器，并以训练结果作为第二生成器；采用第一训练样本或第二训练样本训练第二生成器和判别器，得到第一图像重建模型或第二图像重建模型。
在一些实施例中，初始网络模型训练过程中采用Adam梯度下降算法控制学习率和梯度下降过程。
在一些实施例中，训练得到第一图像重建模型和第二图像重建模型之后，所述方法还包括：
采用第一验证图像集输入第一图像重建模型重建，得到第一图像质量判定集；
将第一图像质量判定集输入第二图像重建模型重建，得到第二图像质量判定集；
分别使用均方根误差从图像失真角度评估和使用感知得分从人眼感知的角度评估第二图像质量判定集的图像质量。
具体地，可以依次使用均方根误差从图像失真角度评估第二图像质量判定集的图像质量，使用感知得分从人眼感知的角度评估第二图像质量判定集的图像质量。可以在评估结果表明图像质量符合要求时，才使用第一图像重建模型和第二图像重建模型进行图像重建。其中，感知得分为结合人类视觉系统(HVS)特性对图像质量进行评价的方法，相比于传统的均方根误差(MSE)和峰值信噪比(PSNR)，更能贴近人眼的感知特性。
在一些实施例中，由于HVS特性复杂，无法根据生理和心理特性得到精确的计算模型，因此可以采用简化的HVS模型进行评价。具体步骤包括：色彩空间转换、空间频率分解、视觉非线性、CSF补偿、掩盖效应以及合并。具体可以参照中国图像图形学报2004年2月第9卷第2期的《一种基于人眼视觉特性的图像质量评价》(丁绪星、朱日宏、李建欣)。
进一步地，均方根误差(RMSE)和感知得分(Perceptual Score)的计算方式可以参考PIRM2018超分辨率重建挑战赛，均方根误差以及感知得分的分值越低表示图像质量越好。不同于常规的评估指标(峰值信噪比PSNR和结构相似性SSIM),在一定范围内的均方根误差内使用感知得分评估图像质量可以在一定失真的范围内更多的衡量生成图像的纹理细节质量。
在本实施例中，第一验证图像集可以采用独立于样本图像的多个测试图像经下采样得到。进一步地，通过采用第一图像重建模型和第二图像重建模型对第一验证图像集进行连续重建，得到第二图像质量判定集，进一步对第二图像质量判定集的图像质量进行判断分析，分别计算第二图像质量判定集的均方根误差(RMSE)和感知得分(PerceptualScore)，分别从图像失真角度和人眼感知的角度对重建后的图像进行评价，从而获得第一图像重建模型和第二图像重建模型的重建效果。
在一些实施例中，使用计算机程序设计语言Python以及深度学习开源框架TensorFlow(基于数据流编程的符号数学系统)搭建初始网络模型。初始网络模型训练以及测试阶段均使在Dell T630(Dell戴尔)服务器和NVIDIA Titan V GPU(GPU图形处理器)下进行。
下面给出一个示例性的人脸图像重建案例，如图3所示，人脸图像重建包括以下步骤：
步骤111：在人脸数据集CelebA中抽取20000张人脸图像并同时抽取人脸数据集Helen中的人脸图像作为样本图像集，样本图像集分辨率为176×216，采用OpenCV(基于BSD许可发行的跨平台计算机视觉库)中的bicubic(双三次插值算法)对样本图像集中的每张图分别进行四倍下采样和二倍下采样得到分辨率为44×54的四倍下采样图像集和分辨率为88×108的二倍下采样图像集。
步骤112：使用四倍下采样图像集作为输入，二倍下采样图像集作为输出对ResNet模型进行训练，迭代次数为106次；在前5×105次迭代中，采用Adam优化器学习率为10-3，在后5×105次迭代中，Adam优化器学习率为10-4；用预训练得到的ResNet模型作为GAN模型中的生成器，使用四倍下采样图像集作为输入，二倍下采样图像集作为输出对GAN模型进行训练，迭代次数为5×105次，在前2.5×105次迭代中学习率为10-3，在后2.5×105次迭代中学习率为10-4，得到第一图像重建模型。
步骤113：使用二倍下采样图像集作为输入，样本图像集作为输出对ResNet模型进行训练，迭代次数为106次；在前5×105次迭代中，采用Adam优化器学习率为10-3，在后5×105次迭代中，Adam优化器学习率为10-4；用预训练得到的的Resent模型的权重对GAN模型中的生成器进行赋值，使用二倍下采样图像集作为输入，样本图像集作为输出对SRGAN模型进行训练，迭代次数为5×105次，在前2.5×105次迭代中学习率为10-3，在后2.5×105次迭代中学习率为10-4，得到第二图像重建模型。
步骤114：将待重建图像输入第一图像重建模型运算重建，得到第一中间层重建图像；将第一中间层重建图像输入第二图像重建模型运算重建，得到重建结果图像。
在步骤113之后还包括评估步骤，可包括步骤：
1131：在人脸数据集CelebA中选取500张独立于样本图像集的图片使用OpenCV中的bicubic(双三次插值算法)进行四倍下采样得到第一验证图像集。
1132：将第一验证图像集输入第一图像重建模型运算重建，得到第一图像质量判定集；将第一图像质量判定集输入第二图像重建模型运算重建，得到第二图像质量判定集。
1133：使用均方根误差从图像失真角度评估第二图像质量判定集的图像质量；使用感知得分从人眼感知的角度评估第二图像质量判定集的图像质量。
如图4给出了不同图像重建模型所得图形的均方根误差以及感知得分。图中从左到右分别为四倍下采样图像、SRResNet模型重建图像、SRGAN模型重建图像、分段式ResNet模型重建图像、分段式GAN模型重建图像以及原始图像，每个重建图像均标注了均方根误差/感知得分。
由图中参数可得出，采用分段式神经网络，对待重建图像进行连续重建，能够有效提升感知得分，使重建后的图像获得较好的人眼直观感知效果。
在一些实施例中，根据第二中间层重建图像输出重建结果图像，包括：将第二中间层重建图像输入第三图像重建模型运算重建，得到第三中间层重建图像；第三图像重建模型是利用多个第三训练样本对初始网络模型训练得到；各第三训练样本包括第三训练输入图像和对应的第三目标训练输出图像；根据第三中间层重建图像输出重建结果图像。其中，第三训练输入图像的分辨率小于相应的第三目标训练输出图像的分辨率，所述第二目标训练输出图像的分辨率等于相应的第三训练输入图像的分辨率。
可选地，为了进一步提升图像重建效果，提升人眼直观感知效果，就可以进一步增加图像重建次数，本实施例中，在第二中间层重建图像输入第三图像重建模型运算重建得到第三中间层重建图像，并将第三中间层重建图像输出为重建结果图像，经一部提升了图像重建效果和人眼直观感知效果。在另一些实施例中，还可以进一步将第三中间层重建图像输入至第四图像重建模型得到第四中间层重建图像，并将第四中间层重建图像作为重建结果图像输出。
在本实施例中，在建立了第一图像重建模型和第二图像重建模型的基础上，第三图像重建模型采用深度学习神经网络中的初始网络模型训练得到，模型训练过程中分别以第三训练样本中的第三训练输入图像作为输入和对应的第三目标训练输出图像作为输出。第三训练输入图像和第三目标训练输出图像均是由同一图像生成的不同分辨率的图像，其中，第三训练输入图像的分辨率低于第三目标训练输出图像的分辨率。具体的，在一些实施例中，可以通过对同一图像进行不同倍数的下采样，得到第三训练输入图像和第三目标训练输出图像。
在一些实施例中，相对应的第一训练输入图像、第一目标训练输出图像、第二训练输入图像、第二目标训练输出图像、第三训练输入图像以及第三目标训练输出图像均是基于同一样本图像重采样得到。
本实施例中，为了使图像连续重建过程获得更优的效果，采用统一的样本图像进行下采样使得初始网络模型在分段训练过程中，能够建立相关性，提升重建精度。
示例性的，第一训练输入图像通过对第二样本图像以第五设定倍数下采样得到，第一目标训练输出图像通过对第二样本图像以第六设定倍数下采样得到，第二训练输入图像通过对第二样本图像以第七设定倍数下采样得到，第二目标训练输出图像通过对第二样本图像以第八设定倍数下采样得到，第三训练输入图像通过对第二样本图像以第九设定倍数下采样得到，第三目标训练输出图像通过对第二样本图像以第十设定倍数下采样得到。
在一些实施例中，为了使待重建图像经过重建之后得到的重建结果图像更加接近真实值，在模型训练过程中，第一目标训练输出图像与第二训练输入图像相同，第二目标训练输出图像与第三训练输入图像相同，第三目标训练输出图像与第二样本图像相同，使训练得到的第一图像重建模型、第二图像重建模型和第三重建模型的输入和输出直接关联，并且以第二样本图像作为最终输出训练，能够使重建结果图像最接近真实值。
示例性的，在人脸数据集中选取多张图像作为第二样本图像集，采用双三次插值算法对第二样本图像集分别做八倍下采样得到八倍下采样图像集，四倍下采样得到四倍下采样图像集，二倍下采样得到二倍下采样图像集。
将八倍下采样图像集作为第一训练输入图像，四倍下采样图像集作为第一目标训练输出图像，采用初始网络模型训练得到第一图像重建模型；将四倍下采样图像集作为第二训练输入图像，二倍下采样图像集作为第二目标训练输出图像，采用初始网络模型训练得到第二图像重建模型；将二倍下采样图像集作为第三训练输入图像，第二样本图像集作为第三目标训练输出图像，采用初始网络模型训练得到第三图像重建模型。
在一些实施例中，初始网络模型包括ResNet网络结构和GAN网络结构；其中，ResNet网络结构作为GAN网络结构中的生成器；其中，ResNet网络结构包含残差模块、卷积层和反卷积层；GAN网络结构中的判别器包括卷积层和全连接层，输出层为sigmoid函数。
具体的，训练第三图像重建模型的步骤包括：以ResNet网络结构作为第一生成器、以GAN网络结构作为第二生成器和判别器；采用第三训练样本训练第一生成器，并以训练结果作为第二生成器；采用第三训练样本训练第二生成器和判别器，得到第三图像重建模型。
在一些实施例中，初始网络模型训练过程中采用Adam梯度下降算法控制学习率和梯度下降过程。
具体的初始网络模型结构和训练方式可以参照前文的内容。
进一步地，如图5所示，在重建过程中步骤包括：
步骤201：将待重建图像输入第一图像重建模型运算重建，得到第一中间层重建图像。
步骤202：将第一中间层重建图像输入第二图像重建模型运算重建，得到第二中间层重建图像。
步骤203：将第二中间层重建图像输入第三图像重建模型运算重建，得到第三中间层重建图像。
步骤204：将第三中间层图像作为重建结果图像输出。深度生成对抗神经网络在一些实施例中，训练得到第一图像重建模型、第二图像重建模型和第三图像重建模型之后还包括：
采用第一验证图像集输入第一图像重建模型重建，得到第一图像质量判定集；
将第一图像质量判定集输入第二图像重建模型重建，得到第二图像质量判定集；
将第二图像质量判定集输入第三图像重建模型重建，得到第三图像质量判定集；
使用均方根误差从图像失真角度评估第三图像质量判定集的图像质量；
使用感知得分从人眼感知的角度评估第三图像质量判定集的图像质量。
在本实施例中，第一验证图像集可以通过对独立于第二样本图像集的多张图像进行八倍下采样得到。
具体的，计算均方根误差以及感知得分采用Matlab测试代码进行计算，进一步地，可以采用PIRM2018超分辨率重建挑战赛公开的Matlab测试代码进行计算。
另一方面，本发明还提供一种图像重建装置，包括：
存储器、处理器和信号收发设备以及存储在存储器上并可在处理器上运行的计算机程序，存储器和信号收发设备分别连接处理器，计算机程序在被处理器执行时实现上述的方法步骤。
另一方面，本发明还提供一种计算机存储介质，该计算机存储介质中存储有计算机程序，当该计算机程序被执行时执行上述的方法步骤。
综上，神经网络模型的训练是一个拟合的过程，通过调整网络中权重的数值使神经网络模型的表现向需要的方向靠拢。决定神经网络模型表现效果的除了模型本身还取决于训练数据集的质量与数量，高质量与大数量的数据集对于提高网络模型的性能以及鲁棒性至关重要。
对于小分辨率图像，例如针对小分辨率人脸图像，由于所含信息极少，特别是人脸图像仅显示出模糊的轮廓，使得超分辨率重建的任务较为困难，更难以丰富其重建图像的纹理细节。
本申请所述方法通过分段式连续重建的方法，通过采用至少两个所述图像重建模型对图像连续重建，将普通的上采样任务精细化，以降低重建后图像与原始图像的误差。提升图像重建质量，提升人眼直观感知质量。
本发明通过使用分段式网络模型，将图像重建过程中的上采样任务分段展开，将普通的上采样任务精细化，能够降低重建后图像与原始图像的误差，提升人眼直观视觉感受。在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像重建方法，其特征在于，包括：
将待重建图像输入第一图像重建模型运算重建，得到第一中间层重建图像；所述第一图像重建模型是利用多个第一训练样本对初始网络模型进行训练得到；各所述第一训练样本包括第一训练输入图像和对应的第一目标训练输出图像；
将第一中间层重建图像输入第二图像重建模型运算重建，得到第二中间层重建图像；所述第二图像重建模型是利用多个第二训练样本对所述初始网络模型训练得到；各所述第二训练样本包括第二训练输入图像和对应的第二目标训练输出图像；
根据第二中间层重建图像输出重建结果图像；
其中，所述第一训练输入图像的分辨率小于相应的所述第一目标训练输出图像的分辨率，所述第二训练输入图像的分辨率小于相应的所述第二目标训练输出图像的分辨率，所述第一目标训练输出图像的分辨率等于相应的所述第二训练输入图像的分辨率。
2.根据权利要求1所述的图像重建方法，其特征在于，根据第二中间层重建图像输出重建结果图像，包括：
将第二中间层重建图像输入第三图像重建模型运算重建，得到第三中间层重建图像；所述第三图像重建模型是利用多个第三训练样本对所述初始网络模型训练得到；各所述第三训练样本包括第三训练输入图像和对应的第三目标训练输出图像；
根据第三中间层重建图像输出重建结果图像；
其中，所述第三训练输入图像的分辨率小于相应的所述第三目标训练输出图像的分辨率，所述第二目标训练输出图像的分辨率等于相应的第三训练输入图像的分辨率。
3.根据权利要求1所述的图像重建方法，其特征在于，相对应的所述第一训练输入图像、所述第一目标训练输出图像、所述第二训练输入图像及所述第二目标训练输出图像均是基于同一样本图像重采样得到。
4.根据权利要求3所述的图像重建方法，其特征在于，所述第一训练输入图像、所述第一目标训练输出图像、及所述第二训练输入图像是通过对相对应的所述第二目标训练输出图像下采样得到。
5.根据权利要求4所述的图像重建方法，其特征在于，所述第一目标训练输出图像和所述第二训练输入图像是通过对相对应的所述第二目标训练输出图像二倍下采样得到；所述第一训练输入图像是通过对相对应的所述第二目标训练输出图像四倍下采样得到。
6.根据权利要求1或2所述的图像重建方法，其特征在于，初始网络模型包括ResNet网络结构和GAN网络结构；其中，ResNet网络结构作为GAN网络结构中的生成器；ResNet网络结构包含残差模块、卷积层和反卷积层；GAN网络结构中的判别器包括卷积层和全连接层，输出层为sigmoid函数。
7.根据权利要求1所述的图像重建方法，其特征在于，将待重建图像输入第一图像重建模型运算重建，得到第一中间层重建图像之前，还包括：
将第一验证图像集输入所述第一图像重建模型重建，得到第一图像质量判定集；
将所述第一图像质量判定集输入所述第二图像重建模型重建，得到第二图像质量判定集；
分别使用均方根误差从图像失真角度评估和使用感知得分从人眼感知的角度评估所述第二图像质量判定集的图像质量。
8.根据权利要求7所述的图像重建方法，其特征在于，所述感知得分基于HVS简化模型进行评价。
9.一种图像重建装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机存储介质，其特征在于，该计算机存储介质中存储有计算机程序，当该计算机程序被执行时执行权利要求1至8任意一项所述的方法步骤。
CN201910794283.4A 2019-08-27 2019-08-27 图像重建方法、装置及存储介质 Pending CN110490807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910794283.4A CN110490807A (zh) 2019-08-27 2019-08-27 图像重建方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910794283.4A CN110490807A (zh) 2019-08-27 2019-08-27 图像重建方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110490807A true CN110490807A (zh) 2019-11-22

Family

ID=68553527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910794283.4A Pending CN110490807A (zh) 2019-08-27 2019-08-27 图像重建方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110490807A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626931A (zh) * 2020-05-06 2020-09-04 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
WO2021184195A1 (zh) * 2020-03-17 2021-09-23 中国科学院深圳先进技术研究院 医学图像重建方法、医学图像重建网络训练方法和装置
WO2021233008A1 (zh) * 2020-05-21 2021-11-25 腾讯科技（深圳）有限公司 一种超分辨率重建方法和相关装置
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109447900A (zh) * 2018-09-30 2019-03-08 北京飞搜科技有限公司 一种图像超分辨率重建方法及装置
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109447900A (zh) * 2018-09-30 2019-03-08 北京飞搜科技有限公司 一种图像超分辨率重建方法及装置
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184195A1 (zh) * 2020-03-17 2021-09-23 中国科学院深圳先进技术研究院 医学图像重建方法、医学图像重建网络训练方法和装置
CN111626931A (zh) * 2020-05-06 2020-09-04 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111626931B (zh) * 2020-05-06 2023-08-08 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
WO2021233008A1 (zh) * 2020-05-21 2021-11-25 腾讯科技（深圳）有限公司 一种超分辨率重建方法和相关装置
CN114359053A (zh) * 2022-01-07 2022-04-15 中国电信股份有限公司 图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Liu et al. Attribute-aware face aging with wavelet-based generative adversarial networks
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
EP4002198A1 (en) Posture acquisition method and device, and key point coordinate positioning model training method and device
CN110490807A (zh) 图像重建方法、装置及存储介质
CN111275518B (zh) 一种基于混合光流的视频虚拟试穿方法及装置
CN110047144A (zh) 一种基于Kinectv2的完整物体实时三维重建方法
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN111062872A (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN109829855A (zh) 一种基于融合多层次特征图的超分辨率重建方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN109191369A (zh) 2d图片集转3d模型的方法、存储介质和装置
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN116109798B (zh) 图像数据处理方法、装置、设备及介质
CN109671071A (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN110084773A (zh) 一种基于深度卷积自编码网络的图像融合方法
CN109033945A (zh) 一种基于深度学习的人体轮廓提取方法
CN106097250B (zh) 一种基于鉴别典型相关的超分辨率稀疏重构方法
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN110070091A (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN109785236A (zh) 一种基于超像素和卷积神经网络的图像超分辨方法
CN109325915A (zh) 一种用于低分辨率监控视频的超分辨率重建方法
CN105989326A (zh) 人眼三维位置信息的确定方法和装置
CN108573231A (zh) 基于运动历史点云生成的深度运动图的人体行为识别方法
CN110334719A (zh) 一种提取遥感影像中建筑物图像的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination