CN110264407A - 图像超分辨模型训练及重建方法、装置、设备及存储介质 - Google Patents
图像超分辨模型训练及重建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110264407A CN110264407A CN201910576563.8A CN201910576563A CN110264407A CN 110264407 A CN110264407 A CN 110264407A CN 201910576563 A CN201910576563 A CN 201910576563A CN 110264407 A CN110264407 A CN 110264407A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- training
- reconstruction
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
本发明实施例提供了一种图像超分辨模型训练及重建方法、装置、设备及存储介质，其中，该方法包括：从训练数据集中获取多个样本图像；将样本图像输入至第一超分辨率重建模型，得到样本图像分别对应的样本重建图像；获取样本重建图像的图像效果，确定图像效果不满足预设重建要求的样本重建图像；获取图像效果不满足预设重建要求的样本重建图像的同类图像；基于同类图像，更新训练数据集；利用更新后的训练数据集，训练得到新的图像超分辨率重建模型。如此，能够降低超分辨重建过程中图像细节的损失。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像超分辨模型训练及重建方法、装置、设备及存储介质。
背景技术
图像超分(Image Super Resolution)，即图像超分辨率技术，是指从低分辨率图像重建出相应的高分辨率图像，在图像或视频相关网站、应用程序(Application，App)、手机系统、监控设备、卫星图像、医学影像等领域都有重要的应用价值。相关技术中，基于海量图片，训练得到用于超分辨重建的模型，并通过该预先训练的模型，实现超分辨率重建。
但是，相关技术中，训练模型的过程中使用的图片，一般是从独立地一个或者几个开源数据集中获取到的。而已有的开源数据集中的图片大多是用于图像分类、图像分割等等，没有专门针对图像超分辨重建的开源数据集，使得基于开源数据集中图片训练得到的用于超分辨重建的模型，用于超分辨重建时，对图像的细节损失比较严重。
发明内容
本发明实施例的目的在于提供一种图像超分辨模型训练及重建方法、装置、设备及存储介质，以降低超分辨重建过程中图像细节的损失。具体技术方案如下：
第一方面，本发明实施例提供了一种图像超分辨率模型的训练方法，包括：
从训练数据集中获取多个样本图像；
将所述样本图像输入至第一超分辨率重建模型，得到所述样本图像分别对应的样本重建图像；
获取所述样本重建图像的图像效果，确定所述图像效果不满足预设重建要求的样本重建图像；
获取所述图像效果不满足预设重建要求的样本重建图像的同类图像，其中，所述同类图像的图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像；
基于所述同类图像，更新所述训练数据集；
利用所述更新的所述训练数据集，训练得到新的图像超分辨率重建模型。
可选的，所述利用所述更新的所述训练数据集，训练得到新的图像超分辨率重建模型包括：
从更新后的所述训练数据集中选择多个第一训练样本图像；
将所述第一训练样本图像进行转换处理，以获取图像质量低于所述第一训练样本图像的第二训练样本图像；
利用所述第一训练样本图像以及所述第二训练样本图像，训练得到新的图像超分辨率重建模型。
可选的，所述获取所述图像效果不满足预设重建要求的样本重建图像的同类图像，包括：
对所述图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后所述样本重建图像的类别信息；
根据所述样本重建图像的类别信息，检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
可选的，所述方法还包括：
确定所述训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
从所述训练数据集的样本图像中删除所述待删除样本图像。
可选的，所述图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
可选的，所述检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像，包括：
通过爬虫方式检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像；
或者，
获取通过人工方式检索得到所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
可选的，所述训练数据集包括多个开源数据集。
可选的，所述类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
第二方面，本发明实施例提供了一种图像超分辨重建方法，包括：
获取待处理图像，将所述待处理图像输入至第一方面任一项方法训练得到的图像超分辨重建模型，得到所述待处理图像对应的重建图像。
第三方面，本发明实施例提供了一种图像超分辨率模型的训练装置，包括：
第一获取模块，用于从训练数据集中获取多个样本图像；
输入模块，用于将所述样本图像输入至第一超分辨率重建模型，得到所述样本图像分别对应的样本重建图像；
第一确定模块，用于获取所述样本重建图像的图像效果，确定所述图像效果不满足预设重建要求的样本重建图像；
第二获取模块，用于获取所述图像效果不满足预设重建要求的样本重建图像的同类图像，其中，所述同类图像的图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像；
更新模块，用于基于所述同类图像，更新所述训练数据集；
训练模块，用于利用所述更新的所述训练数据集，训练得到新的图像超分辨率重建模型。
可选的，所述训练模块，包括：
选择子模块，用于从更新后的所述训练数据集中选择多个第一训练样本图像；
转换子模块，用于将所述第一训练样本图像进行转换处理，以获取图像质量低于所述第一训练样本图像的第二训练样本图像；
训练子模块，用于利用所述第一训练样本图像以及所述第二训练样本图像，训练得到新的图像超分辨率重建模型。
可选的，所述第二获取模块，包括：
分类子模块，用于对所述图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后所述样本重建图像的类别信息；
检索子模块，用于根据所述样本重建图像的类别信息，检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
可选的，所述装置还包括：
第二确定模块，用于确定所述训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
删除模块，用于从所述训练数据集的样本图像中删除所述待删除样本图像。
可选的，所述图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
可选的，所述检索子模块，具体用于通过爬虫方式检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像；或者，获取通过人工方式检索得到所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
可选的，所述训练数据集包括多个开源数据集。
可选的，所述类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
第四方面，本发明实施例提供了一种图像超分辨重建装置，包括：
获取模块，用于获取待处理图像；
输入模块，用于将所述待处理图像输入至第三方面任一项装置训练得到的图像超分辨重建模型，得到所述待处理图像对应的重建图像。
第五方面，本发明实施例提供了一种图像超分辨率模型的训练设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面所述的方法步骤。
第六方面，本发明实施例提供了一种图像超分辨重建设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现第二方面所述的方法步骤。
第七方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法步骤。
第八方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第二方面所述的方法步骤。
本发明实施例提供的图像超分辨模型训练及重建方法、装置、设备及存储介质，可以从训练数据集中获取多个样本图像；将样本图像输入至第一超分辨率重建模型，得到样本图像分别对应的样本重建图像；获取样本重建图像的图像效果，确定图像效果不满足预设重建要求的样本重建图像；获取图像效果不满足预设重建要求的样本重建图像的同类图像；基于同类图像，更新训练数据集；利用更新后的训练数据集，训练得到新的图像超分辨率重建模型。本发明实施例中，对训练数据集进行更新，并利用更新后的训练数据集，训练得到新的图像超分辨率重建模型，通过该新的图像超分辨率重建模型实现超分辨重建，能够降低超分辨重建过程中图像细节的损失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像超分辨率模型的训练方法的流程示意图；
图2为本发明实施例中预处理过程的流程示意图；
图3为本发明实施例提供的图像超分辨率重建方法的流程示意图；
图4为本发明实施例中一个具体实施例的流程示意图；
图5(a)为基于单一数据集训练得到的重建模型而得到的重建图像的示意图；
图5(b)为基于本发明实施例中重建模型而得到的重建图像的示意图；
图6(a)为本发明实施例提供的图像超分辨率模型的训练装置的结构示意图；
图6(b)为本发明实施例提供的图像超分辨率重建装置的结构示意图；
图7为本发明实施例提供的图像超分辨率模型的训练设备的结构示意图；
图8为本发明实施例提供的图像超分辨率重建设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在训练用于图像超分辨重建的图像超分辨率重建模型过程中，会用到开源数据集。这里先说明比较常见的几种数据集。
WordNet：是一个包含英文synsets的大型数据库。Synsets是指同义词组，每个描述不同的概念。WordNet的结构使其成为NLP非常有用的工具。
人类动作识别数据集AVA(atomic visual actions，原子视觉行为)数据集：是一个大规模的美学视觉分析数据集。包含25万张图片，大小约33GB。其中每张图片都包含多个美学评分。
Div2k数据集：是在CVPR 2017的NTIRE超分挑战赛中使用的数据集，该数据集中包含的高清图片均为2K分辨率的，其中训练集包含800张高清图片，验证集包含100张高清图片。
Open Images数据集：是一个包含超过900万个链接图像的数据集。其中包含9,011,219张图像的训练集，41,260张图像的验证集以及125,436张图像的测试集。它的图像种类跨越数千个类别，且有图像层级的标注框进行注释。该数据集是目前最大的包含对象位置标注的数据集。
ImageNet数据集：是基于WordNet层次结构组织的图像数据集。WordNet包含约100,000个短语，ImageNet平均提供了约1000个图像来说明每个短语。大小约150GB，数量：图像总数约1,500,000；每个都有多个边界框和相应的类标签。
相关技术中，基本上都是在独立地一个或者几个数据集上进行深度网络的训练和评估。在单一数据集上训练的图片超分辨模型超分任意图像的效果不佳，图像细节损失比较严重，如超分图像推理结果中人脸磨皮过于严重、动物皮毛细节损失严重等。使得主观感觉比较假。
本发明实施例中，通过训练数据集的扩充和定向优化，进一步提升超分辨图像的主观效果。结合多个高质量的数据集，并通过网络爬虫定向爬取初始模型超分结果主观效果不好的图像的同类的高质量图像，加入训练数据集。基于扩充和定向优化后的数据集进行模型训练；基于扩展优化的训练集训练出的深度学习模型，可以使得超分后图像的细节得以更多的保留，人脸看起来更加自然。
下面对本发明实施例提供的图像超分辨率模型的训练方法进行详细说明。
本发明实施例提供的图像超分辨率模型的训练方法可以应用于电子设备。具体地，电子设备可以为智能手机、平板电脑、笔记本电脑或台式电脑等。
本发明实施例提供了一种图像超分辨率模型的训练方法，如图1所示，可以包括：
S101，从训练数据集中获取多个样本图像。
一种可实现方式中，训练数据集可以包括多个开源数据集。另一种可实现方式中，训练数据集可以包括单个开源数据集。其中，开源数据集可以是WordNet、AVA数据集、Div2k数据集、Open Images数据集、和/或ImageNet数据集。
S102，将样本图像输入至第一超分辨率重建模型，得到样本图像分别对应的样本重建图像。
其中，第一超分辨率重建模型可以是从其他地方获取到的已经训练完成的用于超分辨重建的模型，或者可以是根据开源数据集训练得到的模型，或者可以是本发明实施例中根据更新后的训练数据集训练得到的重建模型，等等。
第一超分辨率重建模型用于图像超分辨率重建，将样本图像输入该第一超分辨率重建模型，则可以得到样本图像对应的样本重建图像。
S103，获取样本重建图像的图像效果，确定图像效果不满足预设重建要求的样本重建图像。
图像效果可以用于表示图像质量，图像质量可以通过图像分辨率、图像包含细节信息的丰富程度等来表示，也可以是主观评价的结果。
本步骤中，所获取的图像效果具体为可以表示图像质量的图像效果参数，例如，分辨率，分值、等级等。
具体地，样本重建图像的图像效果可以通过图像对应的美学评分来表示。
或者，也可以通过对图像的主观评分来表示，如专家对样本图像进行打分，电子设备从客户端获取专家打分得到的分数。
或者，可以基于噪声、振铃效应等评判标准等确定。如电子设备可以根据噪声等信息确定评分标准，然后确定出样本图像的噪声等信息，将确定出的噪声等信息与评分标准进行比较，确定表示该样本图像的图像效果的效果评分，等等。
预设重建要求可以根据实际需求确定。预设重建要求可以是图像分辨率、图像包含细节信息的丰富程度等满足预设条件，等等。或者，预设重建要求可以是主观评分达到预设阈值，等等，其中，预设阈值可以根据实际需求确定。
例如，在一个具体实施例中，图像效果为分值，分值越高，代表图像效果越好，预设重建要求可以是，分值达不到预设分值阈值的，具体可以为分值不超过80分的。在另一个具体实施例中，图像效果可以为分辨率，预设重建要求可以是分辨率达不到预设分辨率的。
S104，获取图像效果不满足预设重建要求的样本重建图像的同类图像。
其中，同类图像的图像质量高于样本重建图像或样本重建图像对应的样本图像。
图像质量可以通过图像分辨率、图像包含细节信息的丰富程度等来表示，也可以是主观评价的结果，例如分值或等级等。本步骤中，举例而言，图像质量高于样本重建图像或样本重建图像对应的样本图像，可以表示，分辨率高于样本重建图像或样本重建图像对应的样本图像的分辨率，分值或等级高于样本重建图像或样本重建图像对应的样本图像的分值或等级。
具体的，本步骤可以按照如下方式进行：
A1，对图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后样本重建图像的类别信息。
分类后的类别可以包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。可以理解的，类别不限于此，还可以为其他类别。
类别信息用于指示样本重建图像所属的类别。类别信息可以包括样本重建图像属于人脸图像、动物图像、游戏场景图像、风景图像和/或卡通画，等等。
A2，根据样本重建图像的类别信息，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
检索的方式可以包括网络爬虫方式、人工方式等等。
通过爬虫方式检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像；或者，获取通过人工方式检索得到样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
具体地，可以根据各个类别的类别信息，通过爬虫方式，检索各个类别样本重建图像分别对应的同类图像。
或者，可以获取通过人工方式检索得到的各个类别样本重建图像分别对应的同类图像。
简单理解，即当样本重建图像的图像质量较低时，通过样本重建图像的类别信息，检索图像质量高于该样本重建图像或该样本重建图像对应的样本图像，与该样本重建图像同类的图像。
如对样本重建图像进行分类，确定样本重建图像所属的类别为人脸图像，可以确定该样本重建图像的类别信息为人脸图像，则可以通过爬虫方式或人工方式检索多个人脸图像，可以从检索到的多个人脸图像中选择图像质量高于该样本重建图像或该样本重建图像对应的样本图像的图像，并将选择出的图像确定为检索到的该样本重建图像对应的同类图像。其中，样本重建图像对应的同类图像可以是一个或多个。
另一种可实现方式中，可以提取样本重建图像的图像特征，也可以称之为图像描述信息，根据该图像特征，通过爬虫方式或者人工方式，检索该样本重建图像对应的同类图像。
其中，图像特征可以包括任意可以表示样本重建图像特征的图像特征，如可以是颜色特征、纹理特征、形状特征、空间关系特征等。具体地，提取图像特征的方式可以采用任何可以实现提取图像特征的方式，本发明实施例不对图像特征提取的方式以及图像特征进行限制。
如提取样本重建图像的图像特征为图像特征1，其中，图像特征1可以是图像包含猫脸等等，则可以通过爬虫方式或人工方式检索与图像特征1匹配的图像，如包含猫脸的图像等，可以从检索到的多个与图像特征1匹配的图像中，确定出图像质量高于该样本重建图像或该样本重建图像对应的样本图像的图像，并将图像质量高于该样本重建图像或该样本重建图像对应的样本图像的图像，确定为检索到的该样本重建图像对应的同类图像。
另一种可实现方式中，还可以结合样本重建图像的类别信息和图像特征，检索样本重建图像对应的同类图像。如可以通过类别信息进行初步筛选，然后根据图像特征，从初步筛选的结果中检索满足图像特征的样本重建图像对应的同类图像。
如此，可以快速且准确地检索到样本重建图像对应的同类图像。
S105，基于同类图像，更新训练数据集。
将该同类图像添加至训练数据集中，也可以理解为将得到的同类图像扩充至训练数据集中。对训练数据集的更新也可以理解为对训练数据集进行扩充和定向优化。
添加至训练数据集的同类图像可以影响训练数据集中同类型图片的分布情况，因为样本重建图像的同类图像的图像质量高于该样本重建图像的图像质量，也可以理解为添加至训练数据集的高质量图像可以影响训练数据集中同类型图片的分布情况。
本发明实施例中，更新训练数据集的过程可以只进行1次，也可以迭代进行多次。简单理解，更新结束的条件可以是迭代至通过该更新后的训练数据集训练得到的模型能够在图像超分辨重建过程中，使得得到的重建图像的图像效果达到预设标准，如重建图像的图像质量满足上述预设重建要求。
本发明一种可选的实施例中，可以重复执行上述步骤S101至步骤S105，直至训练数据集中占预设比例的样本图像、对应的样本重建图像的图像效果、均满足上述预设重建要求，完成对训练数据集的更新。
如此，能够提高训练数据集中样本图像的图像质量，使得通过基于更新后的训练数据集训练得到的图像超分辨率重建模型，进行图像超分辨率重建时，得到的重建图像的图像质量更高，包含的细节信息更丰富，提高重建图像的主观效果。
S106，利用更新后的训练数据集，训练得到新的图像超分辨率重建模型。
更新后的训练数据集，可以是只执行了1次更新训练数据集的过程后得到的训练数据集，也可以是执行了多次更新训练数据集的过程后得到的训练数据集。
具体地，可以包括：
B1，从更新后的训练数据集中选择多个第一训练样本图像。
一种可实现方式中，第一训练样本图像可以是训练数据集中的任意图像。或者，另一种可实现方式中，第一训练样本图像可以包括图像质量满足图像质量预设条件的高质量图像。
图像质量预设条件可以是分辨率达到预设阈值，具体地，该预设阈值可以根据实际情况来确定，如可以是4K分辨率。或者预设条件可以是清晰度达到预设标准，预设标准可以根据实际情况确定。或者也可以是细节信息的丰富程度满足条件，等等。
B2，将第一训练样本图像进行转换处理，以获取图像质量低于第一训练样本图像的第二训练样本图像。
也可以理解为对第一训练样本图像进行预处理，得到该第一训练样本图像对应的第二训练样本图像。
具体地，转换处理可以理解为模拟图像可能受到的多种影响，如噪声、压缩等，模拟多次压缩失真，反锐化等，即模拟得到实际应用中的质量较低的待处理图像。将第一训练样本图像转换为图像质量低于该第一训练样本图像的第二训练样本图像。
B3，利用第一训练样本图像以及第二训练样本图像，训练得到新的图像超分辨率重建模型。
图像超分辨率重建模型可以是深度学习模型等，如卷积神经网络模型等等。
其中，深度学习(deep learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。
卷积神经网络(Convolutional Neural Network，CNN)：是一种前馈神经网络，可以包括关联权重和池化层(pooling layer)等。与其他深度学习结构相比较，卷积神经网络在图像和语音识别方面能够给出更好的结果。
具体地，可以分别将各个第一训练样本图像以及该第一训练样本图像对应的第二训练样本图像，输入至预设模型，对预设模型进行训练，得到新的图像超分辨率重建模型。
该预设模型可以是上述第一超分辨率重建模型，也可以是其他用于超分辨重建的模型。
通过对预设模型进行训练，以使预设模型学习图像质量较低的第二训练样本图像至图像质量较高的第一训练样本图像的映射关系。
具体地，针对一个样本对，即一个第一训练样本图像以及该第一训练样本图像对应的第二训练样图像本，输入至预设模型，第一训练样本图像可以理解为参考真值，预设模型可以包括待测参数，将样本对输入预设模型，调整待测参数，以使第二训练样本图像通过预设模型后的输出无限逼近于第一训练样本图像，如预设模型的输出与第一训练样本图像之间的代价函数收敛时，确定待测参数，得到的包括确定的待测参数的预设模型即为训练得到的新的图像超分辨率重建模型。其中，待测参数可以包括：隐藏层层数，隐藏层神经元的数量，批尺寸，学习速率，和/或迭代次数，等等。
本发明实施例中，对训练数据集进行更新，并利用更新后的训练数据集，训练得到新的图像超分辨率重建模型，通过该新的图像超分辨率重建模型实现超分辨重建，能够降低超分辨重建过程中图像细节的损失。使得基于该新的图像超分辨率重建模型能够更好地保留图像的细节，提高主观效果。
在上述实施例的基础上，本发明实施例还可以包括预处理的过程，具体地，如图2所示，还可以包括：
S201，确定训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像。
图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
其中，预设评分阈值可以根据实际情况确定。
S202，从训练数据集的样本图像中删除待删除样本图像。
根据多个样本图像的图像质量、和/或尺寸，确定待删除样本图像；从多个样本图像中删除待删除样本图像。
一种可选的实施例中中，可以确定各个样本图像的图像效果，利用该图像效果表示图像质量；确定图像效果小于预设评分阈值的样本图像为待删除样本图像。
一种可实现方式中，可以直接获取该样本图像的美学评分表示该样本图像的图像质量。
一种可实现方式中，可以从用于用户对图像进行打分的客户端，获取表示样本重建图像的图像质量的主观评分，通过该主观评分来表示样本图像的图像质量。
另一种可实现方式中，可以基于噪声、振铃效应等评判标准等确定图像效果。如电子设备可以根据噪声等信息确定评分标准，然后确定出样本图像的噪声等信息，将确定出的噪声等信息与评分标准进行比较，确定表示该样本图像的图像质量的效果评分，等等。
另一种可选的实施例中，可以确定尺寸小于预设尺寸的样本图像为待删除样本图像。
或者，也可以同时考虑样本图像的图像效果和尺寸，确定图像效果小于预设评分阈值，且尺寸小于预设尺寸的样本图像为待删除样本图像。
对训练数据集进行更新的过程中，在获取训练数据集中样本图像后，进行预处理过程，一方面可以降低后续计算过程的计算量；另一方面，可以使得更新后的训练数据集中图像的质量更高，进一步使得基于更新后的训练数据集训练的图像超分辨率重建模型效果更好。
本发明一种可选的实施例中，基于上述实施例中图像超分辨率模型的训练方法得到的图像超分辨率重建模型，本发明实施例提供了一种图像超分辨重建方法，包括：
获取待处理图像，将待处理图像输入至基于上述实施例中图像超分辨率模型的训练方法得到的图像超分辨率重建模型，得到待处理图像对应的重建图像。
具体地，基于上述实施例，如执行步骤S101至步骤S105得到的新的图像超分辨率重建模型；将获取的待处理图像输入至该新的图像超分辨率重建模型，得到待处理图像对应的重建图像。
本发明一种可选的实施例中，如图3所示，可以包括：
S301，获取待处理图像。
在一种可实现方式中，在需要增强待处理图像的图像质量时，电子设备可以获取该待处理图像。
待处理图像可以为不满足图像质量预设条件的图像。
图像质量预设条件可以是分辨率达到预设阈值，具体地，该预设阈值可以根据实际情况来确定，如可以是4K分辨率。或者预设条件可以是清晰度达到预设标准，预设标准可以根据实际情况确定。或者也可以是细节信息的丰富程度满足条件，等等。
S302，将待处理图像输入至新的图像超分辨率重建模型，得到待处理图像对应的重建图像。
重建图像的图像质量高于待处理图像的图像质量。
本发明实施例中，可以基于上述实施例训练新的图像超分辨率重建模型预先训练用于超分辨率重建的图像超分辨率重建模型，如通过执行步骤S101至步骤S105训练得到图像超分辨率重建模型。如此，训练好的图像超分辨率重建模型能够学习图像质量较低的图像至图像质量较高的图像的映射关系。
将待处理图像输入至该图像超分辨率重建模型，则可以得到待处理图像对应的重建图像。
本发明实施例中，通过对训练数据集进行扩充和定向优化，即对训练数据集进行更新。并基于更新后的训练数据集训练用于超分辨率重建的图像超分辨率重建模型，通过该图像超分辨率重建模型实现图像分辨率重建，可以使得基于该图像超分辨率重建模型得到的重建图像能够更好地保留图像的细节，提高主观效果。
本发明一个可选的实施例中，如图4所示，可以包括：
S401，联合使用多个数据集。
可以理解为，将多个数据集作为初始训练数据集。
多个数据集可以是WordNet、AVA数据集、Div2k数据集、Open Images数据集以及ImageNet数据集中的多个。还可以包括MS-COCO数据集等。
从多个数据集中获取多个样本图像。
S402，预处理。
对获取到的多个样本图像进行预处理。
如，可以从多个样本图像中选择美学评分比较高的图像。
或者，可以删除一些图像信息量较少的图像等等。因为图像的细节信息一般通过高频部分表示，在存储过程中会占用较大的信息量，则可以认为图像的信息量越大则图像的细节信息越丰富。
具体地，可以根据多个样本图像的图像质量、和/或尺寸，确定待删除样本图像；从多个样本图像中删除待删除样本图像。如可以确定各个样本图像的图像效果；确定图像效果小于预设评分阈值的样本图像为待删除样本图像。或者，可以确定尺寸小于预设尺寸的样本图像为待删除样本图像。
S403，定向优化训练数据集。
简单理解，往初始训练数据集中添加高质量的图像，更新训练数据集。
具体地，可以从初始训练数据集中获取样本图像，将样本图像输入至已完成的用于超分辨率重建的第一超分辨率重建模型，得到样本图像对应的样本重建图像，其中，第一超分辨率重建模型可以是从其他地方获取到的模型，或者可以是根据开源数据集训练得到的模型。在该样本重建图像的图像效果不满足不满足预设重建要求时，检索该样本重建图像的同类图像，也可以理解为获取图像质量高于该样本重建图像的高质量图像，并将检索到的高质量图像添加至训练数据集中，以实现对训练数据集的更新。
具体地，检索该样本重建图像对应的同类图像，在上述实施例中已进行了详述，这里就不再赘述。
S404，模型训练以及超分推理。
基于更新后的训练数据集训练得到图像超分辨率重建模型。
具体地，可以从更新后的训练数据集中获取多个第一训练样本图像；将第一训练样本图像进行转换处理，以获取图像质量低于第一训练样本图像的第二训练样本图像；利用第一训练样本图像以及第二训练样本图像，训练得到新的图像超分辨率重建模型。
然后，将从更新后的训练数据集中获取到多个样本图像，分别将各个样本图像输入至该图像超分辨率重建模型，此时，该图像超分辨率重建模型作为第一图像超分辨率重建模型，得到各个样本图像分别对应的样本重建图像。然后进行步骤S305效果评估的过程。
S405，效果评估。
确定各个样本重建图像的图像效果。
若更新后的训练数据集中占预设比例的样本图像、对应的样本重建图像的图像效果、均满足上述预设重建要求，完成对训练数据集的更新。且利用更新后的训练数据集，训练得到新的图像超分辨率重建模型，即最终的图像超分辨率重建模型。
若未达到：训练数据集中占预设比例的样本图像、对应的样本重建图像的图像效果、均满足上述预设重建要求这个条件，迭代执行步骤S303至S305的过程，直至更新后的训练数据集中占预设比例的样本图像、对应的样本重建图像的图像效果、均满足上述预设重建要求。
本发明实施例中，步骤S403至S405的过程可以反复进行，即向训练数据集中增加高质量图像，以定向优化训练数据集的过程、模型训练、超分推理以及效果评估的过程可以反复进行，可以迭代至在特定的应用场景下的图像超分的主观效果满意为止。定向优化训练数据集的过程中，添加至训练数据的高质量的图像能够影响图像类型的整体分布。
训练数据集的定向扩展优化也不限于人脸图像，还可以包括动物、游戏场景、风景、卡通画等。
本发明实施例中，联合应用多个数据集将使得超图像分辨率模型的效果更鲁棒，在更广范围的测试集上有更好的表现。且对图像的超分辨率应用场景，通过定向优化训练数据集训练得到的模型，应用于图像超分辨重建时也会得到更好的主观效果。
本发明实施例中，基于更新后的训练数据集训练得到的图像超分辨率重建模型，可以提高重建图像的质量，使得基于该重建模型的图像的细节可以尽可能多的保留。图5(a)所示为基于单一数据集训练得到的重建模型而得到的重建图像的示意图；图5(b)所示为基于本发明实施例中图像超分辨率重建模型而得到的重建图像的示意图。通过比较图5(a)和图5(b)，图5(b)中保留了更多的细节信息，且图像看起来更清晰，人脸也看起来更加自然。
对应于上述实施例提供的图像超分辨率模型的训练方法，本发明实施例还提供了一种图像超分辨率模型的训练装置，如图6(a)所示，可以包括：
第一获取模块601，用于从训练数据集中获取多个样本图像；
输入模块602，用于将样本图像输入至第一超分辨率重建模型，得到样本图像分别对应的样本重建图像；
第一确定模块603，用于获取样本重建图像的图像效果，确定图像效果不满足预设重建要求的样本重建图像；
第二获取模块604，用于获取图像效果不满足预设重建要求的样本重建图像的同类图像，其中，同类图像的图像质量高于样本重建图像或样本重建图像对应的样本图像；
更新模块605，用于基于同类图像，更新训练数据集；
训练模块606，用于利用更新的训练数据集，训练得到新的图像超分辨率重建模型。
本发明实施例中，对训练数据集进行更新，并利用更新后的训练数据集，训练得到新的图像超分辨率重建模型，通过该新的图像超分辨率重建模型实现超分辨重建，能够降低超分辨重建过程中图像细节的损失。使得基于该新的图像超分辨率重建模型能够更好地保留图像的细节，提高主观效果。
可选的，训练模块606，包括：
选择子模块，用于从更新后的训练数据集中选择多个第一训练样本图像；
转换子模块，用于将第一训练样本图像进行转换处理，以获取图像质量低于第一训练样本图像的第二训练样本图像；
训练子模块，用于利用第一训练样本图像以及第二训练样本图像，训练得到新的图像超分辨率重建模型。
可选的，第二获取模块604，包括：
分类子模块，用于对图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后样本重建图像的类别信息；
检索子模块，用于根据样本重建图像的类别信息，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，该装置还包括：
第二确定模块，用于确定训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
删除模块，用于从训练数据集的样本图像中删除待删除样本图像。
可选的，图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
可选的，检索子模块，具体用于通过爬虫方式检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像；或者，获取通过人工方式检索得到样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，训练数据集包括多个开源数据集。
可选的，类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
本发明实施例提供的图像超分辨率模型的训练装置是应用上述图像超分辨率模型的训练方法的装置，则上述图像超分辨率模型的训练方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
对应于上述实施例提供的图像超分辨率重建方法，本发明实施例还提供了一种图像超分辨重建装置，如图6(b)可以包括：
获取模块610，用于获取待处理图像；
输入模块611，用于将待处理图像输入至图像超分辨重建模型，得到待处理图像对应的重建图像，其中，图像超分辨重建模型是上述实施例中图像超分辨率模型的训练装置训练得到的。
本发明实施例中，通过对训练数据集进行扩充和定向优化，即对训练数据集进行更新。并基于更新后的训练数据集训练用于超分辨率重建的图像超分辨率重建模型，通过该图像超分辨率重建模型实现图像分辨率重建，可以使得基于该图像超分辨率重建模型得到的重建图像能够更好地保留图像的细节，提高主观效果。
需要说明的是，本发明实施例提供的图像超分辨率重建装置是应用上述图像超分辨率重建方法的装置，则上述图像超分辨率重建方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
对应于上述实施例提供的图像超分辨率模型的训练方法，本发明实施例还提供了一种图像超分辨率模型的训练设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
从训练数据集中获取多个样本图像；
将样本图像输入至第一超分辨率重建模型，得到样本图像分别对应的样本重建图像；
获取样本重建图像的图像效果，确定图像效果不满足预设重建要求的样本重建图像；
获取图像效果不满足预设重建要求的样本重建图像的同类图像，其中，同类图像的图像质量高于样本重建图像或样本重建图像对应的样本图像；
基于同类图像，更新训练数据集；
利用更新的训练数据集，训练得到新的图像超分辨率重建模型。
可选的，利用更新的训练数据集，训练得到新的图像超分辨率重建模型包括：
从更新后的训练数据集中选择多个第一训练样本图像；
将第一训练样本图像进行转换处理，以获取图像质量低于第一训练样本图像的第二训练样本图像；
利用第一训练样本图像以及第二训练样本图像，训练得到新的图像超分辨率重建模型。
可选的，获取图像效果不满足预设重建要求的样本重建图像的同类图像，包括：
对图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后样本重建图像的类别信息；
根据样本重建图像的类别信息，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，该方法还包括：
确定训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
从训练数据集的样本图像中删除待删除样本图像。
可选的，图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
可选的，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像，包括：
通过爬虫方式检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像；
或者，
获取通过人工方式检索得到样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，训练数据集包括多个开源数据集。
可选的，类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
本发明实施例中，对训练数据集进行更新，并利用更新后的训练数据集，训练得到新的图像超分辨率重建模型，通过该新的图像超分辨率重建模型实现超分辨重建，能够降低超分辨重建过程中图像细节的损失。使得基于该新的图像超分辨率重建模型能够更好地保留图像的细节，提高主观效果。
对应于上述实施例提供的图像超分辨率重建方法，本发明实施例还提供了一种图像超分辨率重建设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：
获取待处理图像，将待处理图像输入至通过上述实施例中图像超分辨率模型的训练方法训练得到的图像超分辨重建模型，得到待处理图像对应的重建图像。
本发明实施例中，通过对训练数据集进行扩充和定向优化，即对训练数据集进行更新。并基于更新后的训练数据集训练用于超分辨率重建的图像超分辨率重建模型，通过该图像超分辨率重建模型实现图像分辨率重建，可以使得基于该图像超分辨率重建模型得到的重建图像能够更好地保留图像的细节，提高主观效果。
上述图像超分辨率模型的训练设备或图像超分辨率重建设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述图像超分辨率模型的训练设备或图像超分辨率重建设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
对应于上述实施例提供的图像超分辨率模型的训练方法，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现如下方法步骤：
从训练数据集中获取多个样本图像；
将样本图像输入至第一超分辨率重建模型，得到样本图像分别对应的样本重建图像；
获取样本重建图像的图像效果，确定图像效果不满足预设重建要求的样本重建图像；
获取图像效果不满足预设重建要求的样本重建图像的同类图像，其中，同类图像的图像质量高于样本重建图像或样本重建图像对应的样本图像；
基于同类图像，更新训练数据集；
利用更新的训练数据集，训练得到新的图像超分辨率重建模型。
可选的，利用更新的训练数据集，训练得到新的图像超分辨率重建模型包括：
从更新后的训练数据集中选择多个第一训练样本图像；
将第一训练样本图像进行转换处理，以获取图像质量低于第一训练样本图像的第二训练样本图像；
利用第一训练样本图像以及第二训练样本图像，训练得到新的图像超分辨率重建模型。
可选的，获取图像效果不满足预设重建要求的样本重建图像的同类图像，包括：
对图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后样本重建图像的类别信息；
根据样本重建图像的类别信息，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，该方法还包括：
确定训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
从训练数据集的样本图像中删除待删除样本图像。
可选的，图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
可选的，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像，包括：
通过爬虫方式检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像；
或者，
获取通过人工方式检索得到样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，训练数据集包括多个开源数据集。
可选的，类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
本发明实施例中，对训练数据集进行更新，并利用更新后的训练数据集，训练得到新的图像超分辨率重建模型，通过该新的图像超分辨率重建模型实现超分辨重建，能够降低超分辨重建过程中图像细节的损失。使得基于该新的图像超分辨率重建模型能够更好地保留图像的细节，提高主观效果。
对应于上述实施例提供的图像超分辨率重建方法，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取待处理图像，将待处理图像输入至通过上述实施例中图像超分辨率模型的训练方法训练得到的图像超分辨重建模型，得到待处理图像对应的重建图像。
本发明实施例中，通过对训练数据集进行扩充和定向优化，即对训练数据集进行更新。并基于更新后的训练数据集训练用于超分辨率重建的图像超分辨率重建模型，通过该图像超分辨率重建模型实现图像分辨率重建，可以使得基于该图像超分辨率重建模型得到的重建图像能够更好地保留图像的细节，提高主观效果。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如下方法步骤：
从训练数据集中获取多个样本图像；
将样本图像输入至第一超分辨率重建模型，得到样本图像分别对应的样本重建图像；
获取样本重建图像的图像效果，确定图像效果不满足预设重建要求的样本重建图像；
获取图像效果不满足预设重建要求的样本重建图像的同类图像，其中，同类图像的图像质量高于样本重建图像或样本重建图像对应的样本图像；
基于同类图像，更新训练数据集；
利用更新的训练数据集，训练得到新的图像超分辨率重建模型。
可选的，利用更新的训练数据集，训练得到新的图像超分辨率重建模型包括：
从更新后的训练数据集中选择多个第一训练样本图像；
将第一训练样本图像进行转换处理，以获取图像质量低于第一训练样本图像的第二训练样本图像；
利用第一训练样本图像以及第二训练样本图像，训练得到新的图像超分辨率重建模型。
可选的，获取图像效果不满足预设重建要求的样本重建图像的同类图像，包括：
对图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后样本重建图像的类别信息；
根据样本重建图像的类别信息，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，该方法还包括：
确定训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
从训练数据集的样本图像中删除待删除样本图像。
可选的，图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
可选的，检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像，包括：
通过爬虫方式检索样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像；
或者，
获取通过人工方式检索得到样本重建图像的、图像质量高于样本重建图像或样本重建图像对应的样本图像的同类图像。
可选的，训练数据集包括多个开源数据集。
可选的，类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
本发明实施例中，对训练数据集进行更新，并利用更新后的训练数据集，训练得到新的图像超分辨率重建模型，通过该新的图像超分辨率重建模型实现超分辨重建，能够降低超分辨重建过程中图像细节的损失。使得基于该新的图像超分辨率重建模型能够更好地保留图像的细节，提高主观效果。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图像超分辨重建方法的如下方法步骤：
获取待处理图像，将待处理图像输入至通过上述实施例中图像超分辨率模型的训练方法训练得到的图像超分辨重建模型，得到待处理图像对应的重建图像。
本发明实施例中，通过对训练数据集进行扩充和定向优化，即对训练数据集进行更新。并基于更新后的训练数据集训练用于超分辨率重建的图像超分辨率重建模型，通过该图像超分辨率重建模型实现图像分辨率重建，可以使得基于该图像超分辨率重建模型得到的重建图像能够更好地保留图像的细节，提高主观效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质实施例以及计算机程序产品而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (22)
1.一种图像超分辨率模型的训练方法，其特征在于，包括：
从训练数据集中获取多个样本图像；
将所述样本图像输入至第一超分辨率重建模型，得到所述样本图像分别对应的样本重建图像；
获取所述样本重建图像的图像效果，确定所述图像效果不满足预设重建要求的样本重建图像；
获取所述图像效果不满足预设重建要求的样本重建图像的同类图像，其中，所述同类图像的图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像；
基于所述同类图像，更新所述训练数据集；
利用所述更新的所述训练数据集，训练得到新的图像超分辨率重建模型。
2.根据权利要求1所述的方法，其特征在于，所述利用所述更新的所述训练数据集，训练得到新的图像超分辨率重建模型包括：
从更新后的所述训练数据集中选择多个第一训练样本图像；
将所述第一训练样本图像进行转换处理，以获取图像质量低于所述第一训练样本图像的第二训练样本图像；
利用所述第一训练样本图像以及所述第二训练样本图像，训练得到新的图像超分辨率重建模型。
3.根据权利要求1所述的方法，其特征在于，所述获取所述图像效果不满足预设重建要求的样本重建图像的同类图像，包括：
对所述图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后所述样本重建图像的类别信息；
根据所述样本重建图像的类别信息，检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
从所述训练数据集的样本图像中删除所述待删除样本图像。
5.根据权利要求4所述的方法，其特征在于，所述图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
6.根据权利要求3所述的方法，其特征在于，所述检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像，包括：
通过爬虫方式检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像；
或者，
获取通过人工方式检索得到所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述训练数据集包括多个开源数据集。
8.根据权利要求3所述的方法，其特征在于，所述类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
9.一种图像超分辨重建方法，其特征在于，包括：
获取待处理图像，将所述待处理图像输入至权利要求1至8任一项方法训练得到的图像超分辨重建模型，得到所述待处理图像对应的重建图像。
10.一种图像超分辨率模型的训练装置，其特征在于，包括：
第一获取模块，用于从训练数据集中获取多个样本图像；
输入模块，用于将所述样本图像输入至第一超分辨率重建模型，得到所述样本图像分别对应的样本重建图像；
第一确定模块，用于获取所述样本重建图像的图像效果，确定所述图像效果不满足预设重建要求的样本重建图像；
第二获取模块，用于获取所述图像效果不满足预设重建要求的样本重建图像的同类图像，其中，所述同类图像的图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像；
更新模块，用于基于所述同类图像，更新所述训练数据集；
训练模块，用于利用所述更新的所述训练数据集，训练得到新的图像超分辨率重建模型。
11.根据权利要求10所述的装置，其特征在于，所述训练模块，包括：
选择子模块，用于从更新后的所述训练数据集中选择多个第一训练样本图像；
转换子模块，用于将所述第一训练样本图像进行转换处理，以获取图像质量低于所述第一训练样本图像的第二训练样本图像；
训练子模块，用于利用所述第一训练样本图像以及所述第二训练样本图像，训练得到新的图像超分辨率重建模型。
12.根据权利要求10所述的装置，其特征在于，所述第二获取模块，包括：
分类子模块，用于对所述图像效果不满足预设重建要求的样本重建图像进行分类，得到分类后所述样本重建图像的类别信息；
检索子模块，用于根据所述样本重建图像的类别信息，检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
13.根据权利要求10所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于确定所述训练数据集的样本图像中图像质量不满足预设质量要求的待删除样本图像；
删除模块，用于从所述训练数据集的样本图像中删除所述待删除样本图像。
14.根据权利要求13所述的装置，其特征在于，所述图像质量不满足预设质量要求的待删除样本图像包括：
图像效果小于预设评分阈值的样本图像，和/或，尺寸小于预设尺寸的样本图像。
15.根据权利要求12所述的装置，其特征在于，所述检索子模块，具体用于通过爬虫方式检索所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像；或者，获取通过人工方式检索得到所述样本重建图像的、图像质量高于所述样本重建图像或所述样本重建图像对应的样本图像的同类图像。
16.根据权利要求10至15任一项所述的装置，其特征在于，所述训练数据集包括多个开源数据集。
17.根据权利要求12所述的装置，其特征在于，所述类别包括人脸、动物、游戏场景、风景和卡通画中的一种或几种。
18.一种图像超分辨重建装置，其特征在于，包括：
获取模块，用于获取待处理图像；
输入模块，用于将所述待处理图像输入至权利要求10至17任一项装置训练得到的图像超分辨重建模型，得到所述待处理图像对应的重建图像。
19.一种图像超分辨率模型的训练设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
20.一种图像超分辨重建设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求9所述的方法步骤。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求9所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910576563.8A CN110264407B (zh) | 2019-06-28 | 2019-06-28 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910576563.8A CN110264407B (zh) | 2019-06-28 | 2019-06-28 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264407A true CN110264407A (zh) | 2019-09-20 |
| CN110264407B CN110264407B (zh) | 2023-01-03 |
Family
ID=67923025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910576563.8A Active CN110264407B (zh) | 2019-06-28 | 2019-06-28 | 图像超分辨模型训练及重建方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264407B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992264A (zh) * | 2019-11-28 | 2020-04-10 | 北京金山云网络技术有限公司 | 一种图像处理方法、处理装置、电子设备及存储介质 |
| CN111105375A (zh) * | 2019-12-17 | 2020-05-05 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
| CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
| CN114723604A (zh) * | 2022-02-21 | 2022-07-08 | 福建八萃网络科技有限公司 | 一种基于样本数据集优化的视频超分辨率方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
| US20170055927A1 (en) * | 2015-08-31 | 2017-03-02 | General Electric Company | Iterative X-Ray Imaging Optimization Method And System |
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN109685716A (zh) * | 2018-12-14 | 2019-04-26 | 大连海事大学 | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 |
| CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
-
2019
- 2019-06-28 CN CN201910576563.8A patent/CN110264407B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046672A (zh) * | 2015-06-30 | 2015-11-11 | 北京工业大学 | 一种图像超分辨率重建方法 |
| US20170055927A1 (en) * | 2015-08-31 | 2017-03-02 | General Electric Company | Iterative X-Ray Imaging Optimization Method And System |
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
| CN109685716A (zh) * | 2018-12-14 | 2019-04-26 | 大连海事大学 | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 |
| CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘连等: "基于图像熵分块的压缩感知字典学习算法", 《北京理工大学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992264A (zh) * | 2019-11-28 | 2020-04-10 | 北京金山云网络技术有限公司 | 一种图像处理方法、处理装置、电子设备及存储介质 |
| CN110992264B (zh) * | 2019-11-28 | 2023-09-01 | 北京金山云网络技术有限公司 | 一种图像处理方法、处理装置、电子设备及存储介质 |
| CN111105375A (zh) * | 2019-12-17 | 2020-05-05 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
| CN111105375B (zh) * | 2019-12-17 | 2023-08-22 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
| CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
| CN114723604A (zh) * | 2022-02-21 | 2022-07-08 | 福建八萃网络科技有限公司 | 一种基于样本数据集优化的视频超分辨率方法 |
| CN114723604B (zh) * | 2022-02-21 | 2023-02-10 | 福建八萃网络科技有限公司 | 一种基于样本数据集优化的视频超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110264407B (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264407A (zh) | 图像超分辨模型训练及重建方法、装置、设备及存储介质 | |
| CN106156793A (zh) | 结合深层特征提取和浅层特征提取的医学图像分类方法 | |
| CN104361363B (zh) | 深度反卷积特征学习网络、生成方法及图像分类方法 | |
| CN105760821B (zh) | 基于核空间的分类聚集稀疏表示的人脸识别方法 | |
| CN106709511A (zh) | 基于深度学习的城市轨道交通全景监控视频故障检测方法 | |
| CN106780466A (zh) | 一种基于卷积神经网络的宫颈细胞图像识别方法 | |
| CN109765462A (zh) | 输电线路的故障检测方法、装置和终端设备 | |
| CN110222634A (zh) | 一种基于卷积神经网络的人体姿态识别方法 | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN109858569A (zh) | 基于目标检测网络的多标签物体检测方法、系统、装置 | |
| CN106127173A (zh) | 一种基于深度学习的人体属性识别方法 | |
| CN108961245A (zh) | 基于双通道深度并行卷积网络的图像质量分类方法 | |
| CN107622233A (zh) | 一种表格识别方法、识别系统及计算机装置 | |
| CN108416327A (zh) | 一种目标检测方法、装置、计算机设备及可读存储介质 | |
| CN108961675A (zh) | 基于卷积神经网络的跌倒检测方法 | |
| CN114937151A (zh) | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 | |
| CN108732172A (zh) | 中药材质量评定方法、设备及介质 | |
| CN109344699A (zh) | 基于分层深度卷积神经网络的冬枣病害识别方法 | |
| CN107784372A (zh) | 目标对象属性的预测方法、装置和系统 | |
| CN108197669B (zh) | 卷积神经网络的特征训练方法及装置 | |
| CN107392251B (zh) | 一种使用分类图片提升目标检测网络性能的方法 | |
| CN106056553A (zh) | 基于紧框架特征字典的图像修复方法 | |
| CN109255296A (zh) | 一种基于深度卷积神经网络的日常人体行为识别方法 | |
| CN109726748A (zh) | 一种基于频带特征融合的gl-cnn遥感图像场景分类方法 | |
| CN108090417A (zh) | 一种基于卷积神经网络的人脸检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |