CN110533594B - 模型训练方法、图像重建方法、存储介质及相关设备 - Google Patents

模型训练方法、图像重建方法、存储介质及相关设备 Download PDF

Info

Publication number
CN110533594B
CN110533594B CN201910814041.7A CN201910814041A CN110533594B CN 110533594 B CN110533594 B CN 110533594B CN 201910814041 A CN201910814041 A CN 201910814041A CN 110533594 B CN110533594 B CN 110533594B
Authority
CN
China
Prior art keywords
resolution
image
super
reconstruction model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910814041.7A
Other languages
English (en)
Other versions
CN110533594A (zh
Inventor
朱圣晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910814041.7A priority Critical patent/CN110533594B/zh
Publication of CN110533594A publication Critical patent/CN110533594A/zh
Application granted granted Critical
Publication of CN110533594B publication Critical patent/CN110533594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了模型训练方法、图像重建方法、存储介质及相关设备，包括：获取至少一个第一分辨率图像样本，获取至少一个第一分辨率图像样本中各第一分辨率图像样本对应的第二分辨率图像样本；创建初始超分辨率重建模型，基于初始超分辨率重建模型以及各第一分辨率图像样本对应的第二分辨率图像样本，得到各第二分辨率图像样本对应的初始重建图像；获取第一分辨率图像样本的第一语义信息和第一纹理信息，以及各初始重建图像的第二语义信息以及第二纹理信息；基于第一语义信息、第二语义信息、第一纹理信息、第二纹理信息以及损失函数对初始超分辨率重建模型训练，生成训练完成的超分辨率重建模型。因此，可以提高超分辨率重建模型的准确率。

Description

模型训练方法、图像重建方法、存储介质及相关设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型训练方法、图像重建方法、存储介质及相关设备。
背景技术
图像超分辨率重建，是指从一幅低分辨率图像或一系列低分辨率图像序列中重建出高分辨率图像。这一技术在当今社会拥有极其重大的应用价值，如对医疗图像、监控视频、卫星图像进行图像增强，可以更加容易的获取有效信息。
现有的图像超分辨率重建技术基本上分为基于统计特征的传统方法和基于深度学习的方法。
通常基于统计特征的传统方法致力于建立一种映射模型，将低分辨率图像映射到高分辨率图像，常见的建模手段包括马尔科夫随机场、领域嵌入、稀疏编码等，这些方法获得了很好的效果，但是速度较慢。
随着深度学习的发展，学者们开始使用卷积神经网络对图像进行超分辨率重建，形成一种端到端的重建网络，利用大量的样本学习图像特征后进行重建，得到了良好的效果，同时由于专门的芯片能够对网络运算进行加速使得深度学习的应用越来越广泛。在重建过程中，需要依赖损失函数对网络结构进行调整，但现有的损失函数大多数仅仅针对图像某层特征，无法做到同时兼顾图像内容细节和纹理，难以避免细节上的模糊，从而导致超分辨率重建模型的准确率不足。
发明内容
本申请实施例提供了一种模型训练方法、图像重建方法、存储介质及相关设备，使得超分辨重建后的图像更加具有丰富的纹理信息，从而提高了超分辨率重建模型的准确率。所述技术方案如下：
第一方面，本申请实施例提供了一种模型训练方法，所述方法包括：
获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，所述第一分辨率高于所述第二分辨率；
创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
分别获取所述第一分辨率图像样本的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
第二方面，本申请实施例提供了一种图像重建方法，所述方法包括：
获取目标图像；
调用训练完成的超分辨率重建模型，所述超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练；
将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，所述重建图像的分辨率高于所述目标图像的分辨率。
第三方面，本申请实施例提供了一种模型训练装置，所述装置包括：
图像样本获取模块，用于获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本；
初始图像获取模块，用于创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
信息获取模块，用于分别获取所述样本第一分辨率图像的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
重建模型生成模块，用于基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
第四方面，本申请实施例提供了一种图像重建装置，所述装置包括：
目标图像获取模块，用于获取目标图像；
模型调用模块，用于调用训练完成的超分辨率重建模型，所述超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练；
重建图像输出模块，用于将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，所述重建图像的分辨率高于所述目标图像的分辨率。
第五方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第六方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，且第一分辨率高于第二分辨率，然后创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像，并分别获取所述第一分辨率图像样本和各初始重建图像的语义信息和纹理信息，将所提取的语义信息和纹理信息输入至已设置好的损失函数中以对所述初始超分辨率重建模型进行训练，最终生成训练完成的超分辨率重建模型。通过提取第一分辨率图像以及初始重建图像的语义信息以及纹理信息输入至损失函数中对模型进行训练调整，可以同时兼顾图像内容细节和纹理，避免细节上的模糊，使得超分辨重建后的图像更加具有丰富的纹理信息，从而提高了超分辨率重建模型的准确率。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止重建图像产生人工伪边。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种模型训练方法的流程示意图；
图2是本申请实施例提供的一种超分辨率重建模型的结构示意图；
图3是本申请实施例提供的一种卷积层的结构示意图；
图4是本申请实施例提供的一种特征提取层的结构示意图；
图5是本申请实施例提供的一种残差特征保护层的结构示意图；
图6是本申请实施例提供的一种特征上采样层的结构示意图；
图7是本申请实施例提供的一种模型训练方法的流程示意图；
图8是本申请实施例提供的一种样本对生成过程的举例示意图；
图9是本申请实施例提供的一种初始重建图像的举例示意图；
图10是本申请实施例提供的一种超分辨率重建模型训练效果的举例示意图；
图11是本申请实施例提供的一种模型训练方法的流程示意图；
图12是本申请实施例提供的一种目标重建图像生成效果的举例示意图；
图13是本申请实施例提供的一种模型训练装置的结构示意图；
图14是本申请实施例提供的一种图像样本获取模块的结构示意图；
图15是本申请实施例提供的一种重建模型生成模块的结构示意图；
图16是本申请实施例提供的一种模型训练装置的结构示意图；
图17是本申请实施例提供的一种电子设备的结构示意图；
图18是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面将结合附图1-附图10，对本申请实施例提供的模型训练方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的模型训练装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的模型训练装置可以为用户终端，所述用户终端包括但不限于：智能手机、个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。
请参见图1，为本申请实施例提供的一种模型训练方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本；
图像分辨率指图像中存储的信息量，是指每英寸图像内有多少个像素点。分辨率的单位为PPI，通常叫做像素每英寸。图像的分辨率越高，所包含的像素就越多，图像就越清晰。
可以理解的是，所述第一分辨率图像样本是指包含像素较多的图像，是针对分辨率阈值而言，大于该分辨率阈值的图像为第一分辨率图像样本。
针对某一第一分辨率图像样本，保持图像内容不变，将其尺寸(分辨率)进行缩小，从而可以得到该第一分辨率图像样本对应的第二分辨率图像样本，因此，第二分辨率小于第一分辨率。例如，将某个第一分辨图像样本A尺寸缩小为原来的一半，从而得到第二分辨率图像样本B。
具体实现中，在训练数据集中采集至少一个图像作为第一分辨率图像，然后对每个第一分辨率图像使用双三次插值，将第一分辨率图像尺寸变为原尺寸的一半，从而得到每个第一分辨率图像分别对应的第二分辨率图像。而在训练中，一般需要固定训练样本的尺寸，即固定每个第二分辨率图片尺寸和每个第一分辨率图片尺寸，但由于训练数据集中尺寸均不一致，因此可通过随机截取第一分辨率图片中固定尺寸大小，同时截取第二分辨率图片尺寸中的相同位置，从而组成样本第一分辨率图像和样本第二分辨率图像的训练样本对。
其中，所述第一分辨数据集可以为DIV2K_train_HR，该数据集包含的场景丰富，内容多样，图像分辨率均接近2K。
S102，创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
所述初始超分辨率重建模型是指未训练的超分辨率重建模型，该模型中的各参数为初始值。
该模型依次由特征提取层、残差特征保持层以及特征上采样层组成，如图2所示。每层均包括多层卷积层、实例归一化及非线性激活函数，非线性激活函数为RELU(Rectified Linear Units)函数，如图3所示。
其中，实例归一化可以加速网络收敛，使得训练过程更加稳定。实例归一化的公式如下：
Figure BDA0002185864300000061
x为输入，xmean,xstd分别为x的均值和标准差，vstd,vmean为待学习参数，vstd初始化为全1向量，vmean初始化为全0向量。
需要说明的是，在每个卷积层中都插入镜像填充Reflect Padding，填充为[[0,0]，[padding，padding]，[padding，padding]，[0,0]]，padding为卷积核大小除以2取整。
对于特征提取层，由2层卷积层(卷积层1和卷积层2)组成，如图4所示。其中，卷积层1包括卷积核数量为32，卷积核大小为9x9，步长为1；卷积层2包括卷积核数量为64，卷积核大小为3x3，步长为1。
对于残差特征保持层由5个残差块组成，5个残差块保持特征提取层输出特征的通道数；结构如图5所示，其中的卷积层卷积核大小均为3x3，步长均为1，卷积核数量均为64；
对于特征上采样层，其组成顺序为1层卷积层、1层反卷积和2层卷积，如图6所示，反卷积将特征尺寸恢复至与样本第一分辨率图像相同的尺寸。其中，卷积1包括卷积核数量为128，卷积核大小为3x3，步长为1；反卷积包括卷积核数量为64，卷积核大小为3x3，步长为2；卷积2包括卷积核数量为32，卷积核大小为3x3，步长为1；卷积3包括卷积核数量为3，卷积核大小为9x9，步长为1，激活函数为tanh。
可选的，为了得到更好的超分辨率重建效果，可残差特征保持层的残差块增加至8个，网络越深效果越好，但计算量越大；同时上采样方法可由反卷积改为pixelshuffler卷积，减轻棋盘格效应及加快运算速度。
具体实现中，将每个第二分辨率图像样本以RGB的方式输入特征提取层，并在依次经过残差特征保持层以及特征上采样层处理后，得到与第一分辨率图像样本尺寸相同的初始重建图像。该初始重建图像为不准确的图像，需要通过不断的迭代优化该初始重建图像和第一分辨率图像样本之间的误差来调节网络性能，以获得超分辨率重建网络。
S103，分别获取所述第一分辨率图像样本的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
可采用卷积神经网络模型VGG19提取第一分辨率图像样本和初始重建图像的语义信息以及纹理信息。其中，语义信息用于描述图像的内容细节，纹理信息用于描述图像的纹理。
需要说明的是，VGG网络是牛津大学Visual Geometry Group团队研发搭建，该项目的主要目的是证明增加网络深度能够在一定程度上提第一网络的精度。VGG有5种模型，A-E，A-E模型均是由5个stage和3个全链层和一个softmax分类层组成，其中每个stege有一个max-pooling层和多个卷积层。每层的卷积核个数从首阶段的64个开始，每个阶段增长一倍，直到达到512个。
A：是最基本的模型，8个卷基层，3个全连接层，一共11层。
B：在A的基础上，在stage1和stage2基础上分别增加了1层3X3卷积层，一共13层。
C：在B的基础上，在stage3，stage4和stage5基础上分别增加了一层1X1的卷积层，一共16层。
D：在B的基础上，在stage3，stage4和stage5基础上分别增加了一层3X3的卷积层，一共16层。
E：在D的基础上，在stage3，stage4和stage5基础上分别增加了一层3X3的卷积层，一共19层。
VGG19也就是模型E。
具体实现中，对第一分辨率图像样本以及初始重建图像的每一个像素进行RGB数据的转换和提取，然后输入至VGG19中，并将VGG19的conv4_2层的输出作为语义信息，将VGG19的conv1_1，conv2_1，conv3_1，conv4_1，conv5_1层的输出作为纹理信息。
S104，基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
已设置的损失函数包括语义损失函数和感知损失函数。将所提取的第一语义信息和第二语义信息输入到下式的语义损失函数中，从而可以得到语义损失Lcontent，
Figure BDA0002185864300000081
其中，p为初始重建图像，x为第一分辨率图像样本，X和P为第一分辨图像样本以及初始重建图像分别对应的语义信息，i和j为卷积核中的行和列，l为卷积层(即4_2层)。
同时，即将第一分辨率图像样本以及初始重建图像的纹理信息输入至下式中，计算两纹理信息分别对应的感知矩阵
Figure BDA0002185864300000082
Figure BDA0002185864300000083
其中，
Figure BDA0002185864300000084
为VGG19，h、w为分辨率，c为通道数，例如，第一分辨率图像样本以RGB形式512*512的尺寸输入至VGG19中，则h＝512，w＝512，c为3。
然后，根据感知矩阵计算重建图片的纹理信息和第一分辨率图像样本的纹理损失Lstyle：
Figure BDA0002185864300000085
式中y为第一分辨率图像样本的纹理信息，
Figure BDA0002185864300000086
为初始重建图片的纹理信息，F为范数。
从而，得到总损失为：
L(θ)＝αLcontent+βLstyle
α和β分别控制语义损失和纹理损失在总损失函数中的权重，当α越大时，生成图像保留的内容特征更多，当β越大时，生成图像的纹理细节更丰富。
根据总损失，使用Adam优化器对所述超分辨率重建模型进行迭代训练，直至超分辨率重建模型收敛，从而生成训练完成的超分辨率重建模型，保存训练模型文件。
其中，Adam优化器用于对模型参数进行调整。超分辨率重建模型收敛可以理解为：采用该模型生成的重建图像与样本第一分辨率图像之间的误差小于某个预先设定的较小的值；或者两次迭代之间的权值变化已经很小，可设定一个阈值，当小于这个阈值后，就停止训练；或者设定最大迭代次数，当迭代超过最大次数就停止训练。
在本申请实施例中，获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，且第一分辨率高于第二分辨率，然后创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像，并分别获取所述第一分辨率图像样本和各初始重建图像的语义信息和纹理信息，将所提取的语义信息和纹理信息输入至已设置好的损失函数中以对所述初始超分辨率重建模型进行训练，最终生成训练完成的超分辨率重建模型。通过提取第一分辨率图像以及初始重建图像的语义信息以及纹理信息输入至损失函数中对模型进行训练调整，可以同时兼顾图像内容细节和纹理，避免细节上的模糊，使得超分辨重建后的图像更加具有丰富的纹理信息，从而提高了超分辨率重建模型的准确率。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止了生成图片产生人工伪边。
请参见图7，为本申请实施例提供的一种模型训练方法的流程示意图。本实施例以模型训练方法应用于用户终端中来举例说明。该模型训练方法可以包括以下步骤：
S201，从训练图像集中获取至少一个第一分辨率图像；
所述第一分辨率图像是指包含像素较多的图像，是针对分辨率阈值而言，大于该分辨率阈值的图像为第一分辨率图像，第一分辨率图像可从训练图像集中获取。
例如，分辨率为1.2K，分辨率大于1.2K的图像为第一分辨率图像，分辨率小于1.2K的图像为第二分辨率图像。
所述训练图像集可以为DIV2K_train_HR，该图像集包含的场景丰富，内容多样，图像分辨率均接近2K。
具体实现中，通过在训练图像集中随机选取一定数量的图像作为第一分辨率图像。
S202，将所述至少一个第一分辨率图像中各第一分辨率图像的图像尺寸缩小至第一尺寸，得到至少一个第二分辨率图像；
具体实现中，可采用双三次插值将所述至少一个第一分辨率图像中各第一分辨率图像的图像尺寸缩小至第一尺寸。所述第一尺寸为任一尺寸，如第一分辨率图像尺寸的一半。
双三次插值又叫双立方插值，用于在图像中“插值”或增加“像素”数量/密度的一种方法。通常利用插值技术增加图形数据，以便在图像输出的时候，能够改变分辨率。
该第二分辨率图像与对应的第一分辨率图像的内容相同，只是分辨率不同，在显示效果上，图像的清晰度不同。
S203，在所述至少一个第一分辨率图像中截取第二尺寸的第一分辨率图像样本，并在所述至少一个第二分辨率图像中截取与所述第一分辨图像样本相同位置的第二分辨率图像样本；
在训练中，一般需固定训练样本的尺寸，即固定每个第二分辨率图像尺寸和每个第一分辨率图像尺寸，但由于图像集中每个图像尺寸均不一致，因此可通过随机截取第一分辨率图像中固定尺寸(第二尺寸)大小，同时截取第二分辨率图像尺寸中的相同位置，从而组成第一分辨率图像样本和第二分辨率图像样本的训练样本对。
例如，如图8所示，A1为从DIV2K_train_HR中获取的一第一分辨率图像，分辨率为2K，将A1的尺寸缩小一半，得到A2，分辨率为1K。在A1中截取尺寸为a1*b1的图片B1，并在A2中相同位置截取尺寸为a2*b2的图片B2，因此，B1与B2为一个训练样本对。其中，a2*b2＝1/2a1*b1。且a1与a2为固定值，也就是将从DIV2K_train_HR中所采集的所有第一分辨率图像均按照该尺寸进行截取后作为训练样本。按照相同的方式分别对每个第一分辨率图像以及第二分辨率图像进行处理，从而生成多个训练样本对。
S204，创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
所述初始超分辨率重建模型是指未训练的超分辨率重建模型，该模型中的各参数为初始值。
将每个第二分辨率图像样本以RGB的方式输入至初始超分辨率重建模型中，从而得到与第一分辨率图像样本尺寸相同的初始重建图像。该初始重建图像为不准确的图像，需要通过不断的迭代优化该初始重建图像和第一分辨率图像样本之间的误差来调节网络性能，最后通过大量样本训练获得超分辨率重建网络。
例如，如图9所示，某一个第二分辨率图像样本为B2，将B2输入至初始超分辨率重建模型中，从而可输出初始重建图像B3，B3与图7中的B1图像尺寸相同。
S205，分别获取所述第一分辨率图像样本的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
可采用卷积神经网络模型VGG19提取第一分辨图像样本和初始重建图像的语义信息以及纹理信息。其中，语义信息用于描述图像的内容细节，纹理信息用于描述图像的纹理。
例如，第一分辨率图像样本为B1，其对应的初始重建图像为B3，则需要分别提取B1的第一语义信息X和第一纹理信息y以及B3的第二语义信息P以及第二纹理信息
Figure BDA0002185864300000111
其中，将B1输入至VGG19中，conv4_2层输出为X，将B3输入至VGG19中，conv4_2层输出为P。
将B1输入至VGG19中，conv1_1，conv2_1，conv3_1，conv4_1，conv5_1的输出为y，将B3输入至VGG19中，conv1_1，conv2_1，conv3_1，conv4_1，conv5_1的输出为
Figure BDA0002185864300000112
S206，已设置的损失函数包括语义损失函数和感知损失函数，将所述第一语义信息以及所述第二语义信息输入至所述语义损失函数中，得到语义损失；
将X和P输入到下式的语义损失函数中，从而得到语义损失：
Figure BDA0002185864300000113
其中，p为初始重建图像B3，x为第一分辨率图像样本B1，X和P为第一分辨图像样本以及初始重建图像分别对应的语义信息，i和j为卷积核中的行和列，l为卷积层(即4_2层)。
S207，将所述第一纹理信息以及所述第二纹理信息输入至所述感知损失函数中，得到纹理损失；
计算第一纹理信息y对应的感知矩阵:
Figure BDA0002185864300000121
其中，
Figure BDA0002185864300000122
为VGG19，h、w为分辨率，c为通道数。
计算第二纹理信息
Figure BDA0002185864300000123
对应的感知矩阵:
Figure BDA0002185864300000124
再计算两感知矩阵之间的距离，作为语义损失：
Figure BDA0002185864300000125
S208，获取所述语义损失与第一权重的第一乘积，并获取所述纹理损失与第二权重的第二乘积；
第一权重α以及第二权重β为控制语义损失和纹理损失在总损失中的权重，当α越大时，生成图像保留的内容特征更多，当β越大时，生成图像的纹理细节更丰富。
第一乘积＝αLcontent；第二乘积＝βLstyle。
S209，获取所述第一乘积与所述第二乘积的和值，根据所述和值对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型；
所述第一乘积与所述第二乘积的和值L(θ)＝αLcontent+βLstyle作为总损失，当所述和值小于损失阈值时，确定训练后的所述超分辨率重建模型收敛，生成训练完成的超分辨率重建模型；当所述和值大于或者等于所述损失阈值时，根据所述和值对所述初始超分辨率重建模型进行调整，然后采用调整后的模型继续生成重建图像。
当训练后的所述超分辨率重建模型不收敛时，则对模型参数进行调整，并重新基于所述损失函数对所述初始超分辨率重建模型进行训练。
例如，如图10所示，当总损失大于损失阈值时，初始重建图像B3与B1两者之间的(像素)相似度小于相似度阈值，则需要根据总损失调整初始超分辨率重建模型，再输出重建图像B4，若此时总损失小于损失阈值，那么B4与B1的相似度大于相似度阈值，则模型训练完成。
在本申请实施例中，获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，且第一分辨率高于第二分辨率，然后创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像，并分别获取所述第一分辨率图像样本和各初始重建图像的语义信息和纹理信息，将所提取的语义信息和纹理信息输入至已设置好的损失函数中以对所述初始超分辨率重建模型进行训练，最终生成训练完成的超分辨率重建模型。通过提取第一分辨率图像以及初始重建图像的语义信息以及纹理信息输入至损失函数中对模型进行训练调整，可以同时兼顾图像内容细节和纹理，避免细节上的模糊，使得超分辨重建后的图像更加具有丰富的纹理信息，从而提高了超分辨率重建模型的准确率。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止了生成图片产生人工伪边。
请参见图11，为本申请实施例提供的一种图像重建方法的流程示意图。该图像重建方法可以包括以下步骤：
S301，获取目标图像；
可以理解的是，所述目标图像可以为当前拍摄的图像，从本地图像库中选取的或从网络上下载的图像或从视频中截取的一帧图像等。
该目标图像可以为任一分辨率图像。通常，可理解为低分辨率图像，所述低分辨率相对分辨率阈值而言，即小于分辨率阈值的图像。所述分辨率阈值可以为基于经验值所设置，如640*480，也可以为超分辨率重建模型所能重建的最高分辨率。
当然，所述目标图像可以包括至少一张。当所述目标图像包括多张时，可以为相互独立的内容互不关联的图像，也可以为内容相互关联的连续多帧图像。
S302，调用训练完成的超分辨率重建模型，所述超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练；
可以理解的是，所述超分辨率重建模型为预先训练完成且保存的模型，通过调用该训练模型文件即可对目标图像进行重建。
且该超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练。所述图像样本为高分辨率图像样本，以及将该高分辨率图像样本对应的低分辨率图像样本输入至所创建的初始超分辨率重建模型后输出的初始重建图像。
通过分别提取高分辨率图像样本和初始重建图像的语义信息以及纹理信息，然后输入至超分辨率图像重建模型的损失函数中，输出损失值，并通过该损失值对模型进行调整，从而生成训练完成的超分辨率重建模型。具体训练过程可参见上述实施例，此处不再赘述。
S303，将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，所述重建图像的分辨率高于所述目标图像的分辨率。
对该目标图像以RGB的方式输入至该训练完成的超分辨率重建模型中，从而可以得到与该目标图像内容相同，但分辨率更高的重建图像。
例如，如图12所示，若目标图像为M，将M输入至训练好的超分辨重建模型中，即可输出重建图像N。
当目标图像包括多张时，可按照每张图像的时间戳先后顺序或图像优先级的高低顺序依次输入至所述训练完成的超分辨率重建模型中，从而依次输出每张图像的重建图像。
可选的，所述获取目标图像之后，还包括：
获取所述目标图像的分辨率，当所述分辨率小于分辨率阈值时，将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像。
也就是说，当目标图像的分辨率足够大时，甚至超过超分辨率重建模型所能重建的最大分辨率图像时，输出的重建图像的分辨率反而变小，而只有当目标图像的分辨率小于分辨率阈值，才有必要重建，从而得到高分辨率图像。
可选的，所述获取所述目标图像的分辨率之后，还包括：
将所述分辨率调整至目标分辨率(超分辨率重建模型适配的分辨率)，得到第一图像，将所述第一图像输入至训练完成的超分辨率重建模型中，输出所述第一图像对应的重建图像。
在本申请实施例中，采用基于所获取的图像样本的语义信息以及纹理信息训练得到的超分辨率重建模型对所输入的目标图像进行重建，从而可以得到内容细节和纹理信息均具备的高分辨率重建图像，避免细节上的模糊，使得重建后的图像更加具有丰富的纹理信息。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止了生成的图像产生人工伪边。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图13，其示出了本申请一个示例性实施例提供的模型训练装置的结构示意图。该模型训练装置可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。该装置1包括图像样本获取模块10、初始图像获取模块20、信息获取模块30和重建模型生成模块40。
图像样本获取模块10，用于获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本；
初始图像获取模块20，用于创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
信息获取模块30，用于分别获取所述样本第一分辨率图像的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
重建模型生成模块40，用于基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
可选的，如图14所示，所述图像样本获取模块10，包括：
第一图像获取单元101，用于从训练图像集中获取至少一个第一分辨率图像；
第二图像获取单元102，用于将所述至少一个第一分辨率图像中各第一分辨率图像的图像尺寸缩小至第一尺寸，得到至少一个第二分辨率图像；
图像样本获取单元103，用于在所述至少一个第一分辨率图像中截取第二尺寸的第一分辨率图像样本，并在所述至少一个第二分辨率图像中截取与所述第一分辨图像样本相同位置的第二分辨率图像样本。
可选的，如图15所示，所述已设置的损失函数包括语义损失函数和感知损失函数，所述重建模型生成模块40，包括：
语义损失获取单元401，用于将所述第一语义信息以及所述第二语义信息输入至所述语义损失函数中，得到语义损失；
纹理损失获取单元402，用于将所述第一纹理信息以及所述第二纹理信息输入至所述感知损失函数中，得到纹理损失；
模型生成单元403，用于基于所述语义损失以及所述纹理损失，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
可选的，所述模型生成单元403，具体用于：
获取所述语义损失与第一权重的第一乘积，并获取所述纹理损失与第二权重的第二乘积；
获取所述第一乘积与所述第二乘积的和值，根据所述和值对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
可选的，所述模型生成单元403，具体用于：
当所述和值小于损失阈值时，生成训练完成的超分辨率重建模型；
当所述和值大于或者等于所述损失阈值时，根据所述和值对所述初始超分辨率重建模型进行训练。
需要说明的是，上述实施例提供的模型训练装置在模型训练方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，且第一分辨率高于第二分辨率，然后创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像，并分别获取所述第一分辨率图像样本和各初始重建图像的语义信息和纹理信息，将所提取的语义信息和纹理信息输入至已设置好的损失函数中以对所述初始超分辨率重建模型进行训练，最终生成训练完成的超分辨率重建模型。通过提取第一分辨率图像以及初始重建图像的语义信息以及纹理信息输入至损失函数中对模型进行训练调整，可以同时兼顾图像内容细节和纹理，避免细节上的模糊，使得超分辨重建后的图像更加具有丰富的纹理信息，从而提高了超分辨率重建模型的准确率。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止了生成图片产生人工伪边。
请参见图16，其示出了本申请一个示例性实施例提供的图像重建装置的结构示意图。该图像重建装置可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。该装置1包括目标图像获取模块50、模型调用模块60和重建图像输出模块70。
目标图像获取模块50，用于获取目标图像；
模型调用模块60，用于调用训练完成的超分辨率重建模型，所述超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练；
重建图像输出模块70，用于将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，所述重建图像的分辨率高于所述目标图像的分辨率。
可选的，如图16所示，所述装置还包括：
分辨率获取模块80，用于获取所述目标图像的分辨率；
所述重建图像输出模块70，具体用于：
当所述分辨率小于分辨率阈值时，将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像。
可选的，如图16所示，所述装置还包括：
分辨率调整模块90，用于将所述分辨率调整至目标分辨率，得到第一图像；
所述重建图像输出模块70，具体用于：
将所述第一图像输入至训练完成的超分辨率重建模型中，输出所述第一图像对应的重建图像。
需要说明的是，上述实施例提供的图像重建装置在图像重建方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像重建装置与图像重建方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，采用基于所获取的图像样本的语义信息以及纹理信息进行训练得到的超分辨率重建模型对所输入的目标图像进行重建，从而可以得到内容细节和纹理信息均具备的高分辨率重建图像，避免细节上的模糊，使得超分辨重建后的图像更加具有丰富的纹理信息。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止了生成图片产生人工伪边。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图12所示实施例的方法步骤，具体执行过程可以参见图1-图12所示实施例的具体说明，在此不进行赘述。
请参见图17，为本申请实施例提供了一种电子设备的结构示意图。如图17所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图17所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及模型训练应用程序。
在图17所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的模型训练应用程序，并具体执行以下操作：
获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，所述第一分辨率高于所述第二分辨率；
创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
分别获取所述第一分辨率图像样本的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
在一个实施例中，所述处理器1001在执行获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本时，具体执行以下操作：
从训练图像集中获取至少一个第一分辨率图像；
将所述至少一个第一分辨率图像中各第一分辨率图像的图像尺寸缩小至第一尺寸，得到至少一个第二分辨率图像；
在所述至少一个第一分辨率图像中截取第二尺寸的第一分辨率图像样本，并在所述至少一个第二分辨率图像中截取与所述第一分辨图像样本相同位置的第二分辨率图像样本。
在一个实施例中，所述已设置的损失函数包括语义损失函数和感知损失函数，所述处理器1001在执行基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数对所述初始超分辨率重建模型进行训练，，生成训练完成的超分辨率重建模型时，具体执行以下操作：
将所述第一语义信息以及所述第二语义信息输入至所述语义损失函数中，得到语义损失；
将所述第一纹理信息以及所述第二纹理信息输入至所述感知损失函数中，得到纹理损失；
基于所述语义损失以及所述纹理损失，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
在一个实施例中，所述处理器1001在执行基于所述语义损失以及所述纹理损失，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型时，具体执行以下操作：
获取所述语义损失与第一权重的第一乘积，并获取所述纹理损失与第二权重的第二乘积；
获取所述第一乘积与所述第二乘积的和值，根据所述和值对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型。
在一个实施例中，所述处理器1001在执行根据所述和值对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型时，具体执行以下操作：
当所述和值小于损失阈值时，生成训练完成的超分辨率重建模型；
当所述和值大于或者等于所述损失阈值时，根据所述和值对所述初始超分辨率重建模型进行训练。
在本申请实施例中，通过提取第一分辨率图像以及初始重建图像的语义信息以及纹理信息输入至损失函数中对模型进行训练调整，可以同时兼顾图像内容细节和纹理，避免细节上的模糊，使得超分辨重建后的图像更加具有丰富的纹理信息，从而提高了超分辨率重建模型的准确率。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止了生成图片产生人工伪边。
请参见图18，为本申请实施例提供了一种电子设备的结构示意图。如图18所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图18所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像重建应用程序。
在图18所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的图像重建应用程序，并具体执行以下操作：
获取目标图像；
调用训练完成的超分辨率重建模型，所述超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练；
将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，所述重建图像的分辨率高于所述目标图像的分辨率。
在一个实施例中，所述处理器1001在执行获取目标图像之后，还执行以下操作：
获取所述目标图像的分辨率；
所述处理器1001在执行将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像时，具体执行以下操作：
当所述分辨率小于分辨率阈值时，将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像。
在一个实施例中，所述处理器1001在执行获取所述目标图像的分辨率之后，还执行以下操作：
将所述分辨率调整至目标分辨率，得到第一图像；
所述处理器1001在执行将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像时，具体执行以下操作：
将所述第一图像输入至训练完成的超分辨率重建模型中，输出所述第一图像对应的重建图像。
在本申请实施例中，采用基于所获取的图像样本的语义信息以及纹理信息进行训练得到的超分辨率重建模型对所输入的目标图像进行重建，从而可以得到内容细节和纹理信息均具备的高分辨率重建图像，避免细节上的模糊，使得超分辨重建后的图像更加具有丰富的纹理信息。同时，该训练模型所采用的卷积层较少，可以减少计算量和运存占用，有利于部署在智能移动端上；另外，由于在卷积前加入了镜像填充，有效防止了生成图片产生人工伪边。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (9)

1.一种模型训练方法，其特征在于，所述方法包括：
获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，所述第一分辨率高于所述第二分辨率；
创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
分别获取所述第一分辨率图像样本的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型；
其中，所述已设置的损失函数包括语义损失函数和感知损失函数，所述基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型，包括：
将所述第一语义信息以及所述第二语义信息输入至所述语义损失函数中，得到语义损失；将所述第一纹理信息以及所述第二纹理信息输入至所述感知损失函数中，得到纹理损失；基于所述语义损失以及所述纹理损失，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型；
所述基于所述语义损失以及所述纹理损失，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型，包括：
获取所述语义损失与第一权重的第一乘积，并获取所述纹理损失与第二权重的第二乘积；获取所述第一乘积与所述第二乘积的和值，根据所述和值对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型；
所述根据所述和值对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型，包括：
当所述和值小于损失阈值时，生成训练完成的超分辨率重建模型；当所述和值大于或者等于所述损失阈值时，根据所述和值对所述初始超分辨率重建模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本，包括：
从训练图像集中获取至少一个第一分辨率图像；
将所述至少一个第一分辨率图像中各第一分辨率图像的图像尺寸缩小至第一尺寸，得到至少一个第二分辨率图像；
在所述至少一个第一分辨率图像中截取第二尺寸的第一分辨率图像样本，并在所述至少一个第二分辨率图像中截取与所述第一分辨图像样本相同位置的第二分辨率图像样本。
3.一种图像重建方法，其特征在于，所述方法包括：
获取目标图像；
调用训练完成的超分辨率重建模型，所述超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练，所述训练完成的超分辨率重建模型为根据权利要求1或2所述的方法训练得到；
将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，所述重建图像的分辨率高于所述目标图像的分辨率。
4.根据权利要求3所述的方法，其特征在于，所述获取目标图像之后，还包括：
获取所述目标图像的分辨率；
所述将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，包括：
当所述分辨率小于分辨率阈值时，将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像。
5.根据权利要求4所述的方法，其特征在于，所述获取所述目标图像的分辨率之后，还包括：
将所述分辨率调整至目标分辨率，得到第一图像；
所述将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，包括：
将所述第一图像输入至训练完成的超分辨率重建模型中，输出所述第一图像对应的重建图像。
6.一种模型训练装置，其特征在于，所述装置包括：
图像样本获取模块，用于获取至少一个第一分辨率图像样本，并获取所述至少一个第一分辨率图像样本中各第一分辨率图像样本分别对应的第二分辨率图像样本；
初始图像获取模块，用于创建初始超分辨率重建模型，基于所述初始超分辨率重建模型以及所述各第一分辨率图像样本分别对应的第二分辨率图像样本，得到所述各第二分辨率图像样本对应的初始重建图像；
信息获取模块，用于分别获取所述样本第一分辨率图像的第一语义信息和第一纹理信息，以及所述各初始重建图像的第二语义信息以及第二纹理信息；
重建模型生成模块，用于基于所述第一语义信息、所述第二语义信息、所述第一纹理信息、所述第二纹理信息以及已设置的损失函数，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型；
其中，所述已设置的损失函数包括语义损失函数和感知损失函数，所述重建模型生成模块，包括：
语义损失获取单元，用于将所述第一语义信息以及所述第二语义信息输入至所述语义损失函数中，得到语义损失；纹理损失获取单元，用于将所述第一纹理信息以及所述第二纹理信息输入至所述感知损失函数中，得到纹理损失；模型生成单元，用于基于所述语义损失以及所述纹理损失，对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型；
所述模型生成单元，具体用于：
获取所述语义损失与第一权重的第一乘积，并获取所述纹理损失与第二权重的第二乘积；获取所述第一乘积与所述第二乘积的和值，根据所述和值对所述初始超分辨率重建模型进行训练，生成训练完成的超分辨率重建模型；
所述模型生成单元，具体用于：
当所述和值小于损失阈值时，生成训练完成的超分辨率重建模型；当所述和值大于或者等于所述损失阈值时，根据所述和值对所述初始超分辨率重建模型进行训练。
7.一种图像重建装置，其特征在于，所述装置包括：
目标图像获取模块，用于获取目标图像；
模型调用模块，用于调用训练完成的超分辨率重建模型，所述超分辨率重建模型基于所获取的图像样本的语义信息以及纹理信息进行训练，所述训练完成的超分辨率重建模型为根据权利要求1或2所述的方法训练得到；
重建图像输出模块，用于将所述目标图像输入至所述训练完成的超分辨率重建模型中，输出所述目标图像对应的重建图像，所述重建图像的分辨率高于所述目标图像的分辨率。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1或2所述的模型训练方法或3～5任意一项所述的图像重建方法步骤。
9.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1或2所述的模型训练方法或3～5任意一项所述的图像重建方法步骤。
CN201910814041.7A 2019-08-30 2019-08-30 模型训练方法、图像重建方法、存储介质及相关设备 Active CN110533594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910814041.7A CN110533594B (zh) 2019-08-30 2019-08-30 模型训练方法、图像重建方法、存储介质及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910814041.7A CN110533594B (zh) 2019-08-30 2019-08-30 模型训练方法、图像重建方法、存储介质及相关设备

Publications (2)

Publication Number Publication Date
CN110533594A CN110533594A (zh) 2019-12-03
CN110533594B true CN110533594B (zh) 2023-04-07

Family

ID=68665480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910814041.7A Active CN110533594B (zh) 2019-08-30 2019-08-30 模型训练方法、图像重建方法、存储介质及相关设备

Country Status (1)

Country Link
CN (1) CN110533594B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111142751B (zh) * 2019-12-26 2024-08-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置、智能终端及存储介质
CN111182254B (zh) * 2020-01-03 2022-06-24 北京百度网讯科技有限公司 一种视频处理方法、装置、设备及存储介质
CN111311520B (zh) * 2020-03-12 2023-07-18 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN111553840B (zh) * 2020-04-10 2023-06-27 北京百度网讯科技有限公司 图像超分辨的模型训练和处理方法、装置、设备和介质
CN111340711B (zh) * 2020-05-21 2020-09-08 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质
CN111738924A (zh) * 2020-06-22 2020-10-02 北京字节跳动网络技术有限公司 图像处理方法及装置
CN112801866B (zh) * 2020-12-18 2023-04-07 展讯通信(天津)有限公司 图像重建模型的生成方法、图像重建方法及相关设备
CN113888410A (zh) * 2021-09-30 2022-01-04 北京百度网讯科技有限公司 图像超分辨率方法、装置、设备、存储介质以及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447919A (zh) * 2018-11-08 2019-03-08 电子科技大学 结合多视角与语义纹理特征的光场超分辨率重建方法
CN109949255A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 图像重建方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949255A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 图像重建方法及设备
CN109447919A (zh) * 2018-11-08 2019-03-08 电子科技大学 结合多视角与语义纹理特征的光场超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于残差神经网络的图像超分辨率改进算法;王一宁等;《计算机应用》;20180110(第01期);全文 *

Also Published As

Publication number Publication date
CN110533594A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
CN110956654B (zh) 图像处理方法、装置、设备及存储介质
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
US10614574B2 (en) Generating image segmentation data using a multi-branch neural network
CN110909790A (zh) 图像的风格迁移方法、装置、终端及存储介质
CN110598781A (zh) 图像处理方法、装置、电子设备及存储介质
KR100924689B1 (ko) 모바일 기기의 이미지 변환 장치 및 방법
CN111062854B (zh) 检测水印的方法、装置、终端及存储介质
KR20200132682A (ko) 이미지 최적화 방법, 장치, 디바이스 및 저장 매체
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
CN112991171B (zh) 图像处理方法、装置、电子设备及存储介质
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN108875751B (zh) 图像处理方法和装置、神经网络的训练方法、存储介质
CN110163866A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
CN114049420A (zh) 一种模型训练方法、图像渲染方法、装置和电子设备
CN114667535A (zh) 游戏超分辨率
CN107766803B (zh) 基于场景分割的视频人物装扮方法、装置及计算设备
US20220138906A1 (en) Image Processing Method, Apparatus, and Device
CN114092611A (zh) 虚拟表情驱动方法及装置、电子设备、存储介质
CN116703777A (zh) 一种图像处理方法、系统、存储介质及电子设备
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN112991170B (zh) 图像超分辨率重建的方法、装置、终端及存储介质
CN115496651A (zh) 特征处理方法、装置、计算机可读存储介质及电子设备
CN113077477A (zh) 图像矢量化方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant