CN115424088A - 图像处理模型训练方法以及装置 - Google Patents
图像处理模型训练方法以及装置 Download PDFInfo
- Publication number
- CN115424088A CN115424088A CN202211012160.9A CN202211012160A CN115424088A CN 115424088 A CN115424088 A CN 115424088A CN 202211012160 A CN202211012160 A CN 202211012160A CN 115424088 A CN115424088 A CN 115424088A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- initial
- processing model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Abstract
本说明书实施例提供图像处理模型训练方法以及装置,图像处理模型训练方法包括:对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,目标图像处理模型为机器学习模型。根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种图像处理模型训练方法。
背景技术
随着互联网技术的发展,深度学习越来越广泛的应用于计算机视觉和图像处理领域,并且在计算机视觉方面取得了令人瞩目的成功。对于许多此类图像处理任务,深度学习方法的表现优于其他人工方法,甚至优于人类专家。现有技术中,通常以生成对抗生成网络为基础实现图像的处理。然而这种模型训练方法仅将图像样本输入到预先构建的模型中,只能基于预先准备的包含处理结果的图像样本对进行训练,使得模型仅能学习到用于进行模型训练的图像样本对中的图像特征,因此,即便完成了模型训练,在实际应用的过程中也会发现,模型的预测效果并不理想,预测精准度较低。因此亟需一种有效的方案以解决上述问题。
发明内容
有鉴于此,本说明书实施例提供了图像处理模型训练方法。本说明书一个或者多个实施例同时涉及图像处理模型训练装置,一种文本处理方法,一种文本处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种图像处理模型训练方法,包括:
对图像样本对中的目标图像进行加噪处理获得噪声图像;
将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,其中,所述目标图像处理模型为机器学习模型。
根据本说明书实施例的第二方面,提供了一种图像处理模型训练装置,包括:
加噪模块,被配置为对图像样本对中的目标图像进行加噪处理获得噪声图像;
处理模块,被配置为将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
生成模块,被配置为根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
训练模块,被配置为根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,其中,所述目标图像处理模型为机器学习模型。
根据本说明书实施例的第三方面,提供了一种图像处理模型训练方法,包括:
接收用户提交的模型训练请求;
根据所述模型训练请求对图像样本对中的目标图像进行加噪处理获得噪声图像;
将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并发送至所述用户。
根据本说明书实施例的第四方面,提供了一种图像处理模型训练装置,包括:
接收请求模块,被配置为接收用户提交的模型训练请求;
加噪处理模块,被配置为根据所述模型训练请求对图像样本对中的目标图像进行加噪处理获得噪声图像;
模型处理模块,被配置为将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
还原处理模块,被配置为根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
模型训练模块,被配置为根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并发送至所述用户。
根据本说明书实施例的第五方面,提供了一种图像处理模型训练方法,包括:
接收用户针对模型训练任务,通过模型训练交互界面上传的图像样本对;
对所述图像样本对中的目标图像进行加噪处理获得噪声图像;
将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并通过所述模型训练交互界面展示训练结果。
根据本说明书实施例的第六方面,提供了一种图像处理模型训练装置,包括:
图像上传模块,被配置为接收用户针对模型训练任务,通过模型训练交互界面上传的图像样本对;
图像加噪模块,被配置为对所述图像样本对中的目标图像进行加噪处理获得噪声图像;
图像输入模块,被配置为将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
图像还原模块,被配置为根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
结果展示模块,被配置为根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并通过所述模型训练交互界面展示训练结果。
根据本说明书实施例的第七方面,提供了一种图像处理方法,包括:
获取待处理图像;
将所述待处理图像输入至目标图像处理模型,获得所述目标图像处理模型输出的与所述待处理图像对应的图像处理结果。
根据本说明书实施例的第八方面,提供了一种图像处理装置,包括:
获取图像模块,被配置为获取待处理图像;
模型输出模块,被配置为将所述待处理图像输入至目标图像处理模型,获得所述目标图像处理模型输出的与所述待处理图像对应的图像处理结果。
根据本说明书实施例的第九方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理模型训练方法的步骤。
根据本说明书实施例的第十方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述图像处理模型训练方法的步骤。
根据本说明书实施例的第十一方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图像处理模型训练方法的步骤。
本说明书一个实施例,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,其中,所述目标图像处理模型为机器学习模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
附图说明
图1是本说明书一个实施例提供的一种图像处理模型训练方法的示意图;
图2是本说明书一个实施例提供的第一种图像处理模型训练方法的流程图;
图3是本说明书一个实施例提供的一种图像处理模型训练方法的图像处理示意图;
图4是本说明书一个实施例提供的一种图像处理模型训练方法的处理过程流程图;
图5是本说明书一个实施例提供的第一种图像处理模型训练装置的结构示意图;
图6是本说明书一个实施例提供的第二种图像处理模型训练方法的流程图;
图7是本说明书一个实施例提供的第二种图像处理模型训练装置的结构示意图;
图8是本说明书一个实施例提供的第三种图像处理模型训练方法的流程图;
图9是本说明书一个实施例提供的第三种图像处理模型训练装置的结构示意图;
图10是本说明书一个实施例提供的一种图像处理方法的流程图;
图11是本说明书一个实施例提供的一种图像处理装置的结构示意图;
图12是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
扩散生成模型:通过逐渐加噪将复杂真实分布转为简单先验分布,并通过逐渐去噪从简单先验分布生成真实分布的生成模型。
损失函数:度量生成结果与真实结果距离的函数。
对抗生成网络(GAN,Generative Adversarial Networks):深度学习模型。通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生较好的输出。
在本说明书中,提供了图像处理模型训练方法,本说明书同时涉及图像处理模型训练装置,一种文本处理方法,一种文本处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中逐一进行详细说明。
随着深度学习的不断发展,扩散模型已经在多个生成任务中表现出较为优异的效果,在图像生成领域能够达到甚至优于对抗生成网络的效果,正成为当前研究的热点之一。现有的用于进行图像处理的模型大多是基于对抗生成网络、扩散生成模型构建的。众所周知,对抗生成网络能够作为损失项融合进如超分等其他生成任务中,并且能极大的增强图像生成的效果。但是对基于对抗生成网络构建的图像处理模型进行训练时,由于对抗生成网络自身的特性,训练并不稳定,因此,本申请一个实施例提出了一种将扩散模型作为损失函数融合进其他生成任务的方法,作为对抗生成网络损失项的替代,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
在模型训练的过程中,基于扩散生成模型对图像样本对进行处理,基于处理结果完成模型训练,本实施例提供的图像处理模型训练方法参见图1所示的示意图,其包括服务器102以及终端104。具体的,在模型训练的过程中,可以由服务器102在获取到图像样本对后分别对图像样本对中的原始图像和目标图像进行处理;而终端104用于为用户提供输入图像样本对的媒介。具体实施时,当用户通过终端104输入了图像样本对后,由服务器102对图像样本对进行处理,完成模型训练。对于图像样本对中的目标图像,基于扩散生成模型提供的加噪方法实现对目标图像的加噪,获得与目标图像对应的噪声图像;将原始图像输入至初始图像处理模型中获得初始图像。基于扩散生成模型提供的逆扩散过程对初始图像和噪声图像进行还原处理获得还原图像,基于还原图像和噪声图像进行模型训练,获得训练完成的图像处理模型,即,目标图像处理模型。此外,在模型训练完成获得目标图像处理模型后,为了方便用户对训练结果进行了解,可以由服务器将目标图像处理模型作为训练结果,并将训练结果通过终端104反馈给用户。
也就是说,在服务器102进行模型训练的过程中,将图像样本对中的原始图像输入至初始图像处理模型中进行预测,获得初始图像。根据扩散生成模型中的扩散思想实现对与原始图像对应的目标图像进行加噪,通过逐步添加噪声的方法获得噪声图像序列,根据扩散生成模型中的逆扩散思想对噪声图像,以及初始图像处理模型预测得到的初始图像进行去噪处理,获得消除了部分或全部噪声的图像,噪声图像序列中包含的任意一个噪声图像均能够映射出该噪声图像的噪声添加程度,根据任意两个相邻的噪声图像均能够确定在加噪的过程中,添加的噪声对应的图像特征,进而在根据还原图像和噪声图像进行模型训练时,初始图像处理模型能够学习到图像的特征变化情况,以及对图像进行去噪时,依次能够去除哪些噪声,从而使得初始图像处理模型能够学习到图像中的噪声变化,进而提高了模型训练的稳定性,提高了模型预测的准确性。
下述为本实施例提供第一种图像处理模型训练方法的实施方式,具体描述如下:
参见图2,图2示出了根据本说明书一个实施例提供的第一种图像处理模型训练方法的流程图,具体包括以下步骤。
步骤S202:对图像样本对中的目标图像进行加噪处理获得噪声图像。
具体的,图像样本对中包括原始图像和目标图像,一个原始图像和与其对应的一个目标图像构成一个图像样本对,原始图像和目标图像之间具有图像关联关系,在原始图像为分辨率较低的图像时,目标图像即为与其对应的分辨率较高的图像;在原始图像为灰度图像时,目标图像即为与其对应的RGB图像;在原始图像为较小尺寸的图像时,目标图像即为与其对应的较大尺寸的图像;在原始图像为动物的坐姿图像时,目标图像则可以为动物的站姿、卧姿等。加噪处理是指对图像添加高斯噪声,对目标图像添加高斯噪声后即可获得噪声图像,需要说明的是,针对目标图像进行加噪的强度不用,获得的噪声图像也不相同,例如针对字符“S”图像进行加噪处理时,在加噪程度较低时,获得的噪声图像可以是“S”轮廓较为模糊的图像;在加噪程度较高时,获得的噪声图像可以是无法辨别“S”轮廓的噪声图像。
基于此,为了提高图像处理的精确度,在对图像处理模型进行训练前,需要预先根据图像处理需求确定一定数量的,用于进行模型训练的图像样本对。在对图像处理模型进行训练时,对图像样本对中的目标图像添加高斯噪声,即,对目标图像进行加噪处理,根据加噪处理结果确定与目标图像对应的噪声图像。
进一步的,在对目标图像进行加噪处理时,考虑到对目标图像进行加噪处理的强度不同,会获得多个加噪程度的噪声图像,即,随着加噪处理强度的增加,目标图像的加噪程度也在不断增强,对目标图像进行加噪处理即可获得加噪程度不断增强的噪声图像序列,为了避免模型训练的偶然性,可以在噪声图像序列中随机选择噪声图像,具体实现如下:
根据预设的加噪策略对所述图像样本对中的目标图像进行加噪处理,获得噪声图像序列;在所述噪声图像序列中选择具有相邻关系的第一噪声图像和第二噪声图像,作为所述噪声图像。
具体的,加噪策略是指在不同的图像处理场景下,针对不同的目标图像采用的不同的加噪方法,在对分辨率较高的图像进行加噪处理,获得分辨率较低的图像的场景下,加噪目的即为降低图像的分辨率;在对RGB图像进行加噪处理,获得灰度图像的场景下,加噪目的即为对RGB图像进行灰度处理;相应的,噪声图像序列即为对目标图像进行加噪处理获得的多个噪声图像构成的图像序列,噪声图像序列中,噪声图像按照加噪程度排列,相应的,第一噪声图像和第二噪声图像即为噪声图像序列中任意两个相邻的噪声图像,即,第一噪声图像为噪声图像序列中任意一个噪声图像,第二噪声图像序列即为与第一噪声图像之间存在位置相邻关系的噪声图像,在第一噪声图像为噪声图像序列中的第t个噪声图像的情况下,第二噪声图像即为第t+1个噪声图像。
基于此,根据预设的加噪策略对图像样本对中的目标图像进行加噪处理,可以通过多种方式实现。在对目标图像进行加噪处理时,可以对目标图像进行一次加噪获得加噪结果,基于加噪结果再进行加噪处理,从而实现基于目标图像进行依次加噪,获得噪声图像序列;还可以针对目标图像进行多次加噪,每次加噪处理均获得一个加噪图像,进而获得噪声图像序列,且噪声图像序列中包含的每个噪声图像对应的加噪强度均不同,由获得的多个噪声图像组成噪声图像序列,噪声图像按照噪声添加程度依次排列组成噪声图像序列,即,噪声图像在噪声图像序列中的排列顺序表示噪声图像的加噪强度。在噪声图像序列中选择具有相邻关系的第一噪声图像和第二噪声图像,作为噪声图像,在选择噪声图像时,可以选择噪声图像序列中的任意一个噪声图像作为第一噪声图像,再在噪声图像序列中确定与第一噪声图像相邻的噪声图像作为第二噪声图像,其中,相邻可以是与第一噪声图像左相邻,也可以是与第一噪声图像右相邻。
实际应用中,在对目标图像进行加噪处理时,添加的噪声种类包括但不限于高斯噪声、椒盐噪声、泊松噪声等,具体需要选择添加哪种噪声,可以根据实际需求确定,其中,高斯噪声就是给图片添加一个服从高斯分布的噪声,可以通过调节高斯分布标准差的大小来控制添加噪声程度;椒盐噪声就是给图片添加黑白噪点,椒指的是黑色的噪点(0,0,0,)盐指的是白色的噪点(255,255,255),通过设置参数值来控制添加噪声的比例,值越大添加的噪声越多,图像损坏的更加严重。而噪声的添加方法包括但不限于使用Opencv中提供的内置函数以及matlab等方式,具体实施时可以根据需求进行选择。
举例说明,在根据点阵图像生成由点阵构成字符的图像场景下,预先准备的用于进行模型训练的图像样本对,如图3中(a)所示,目标图像“S”由多个“点”构成,与目标图像对应的原始图像则为不规则排列的“点”,由一个目标图像和一个原始图像组成了一个图像样本对。以设定数量的图像样本对为训练样本,训练得到图像处理模型,使得在将原始图像输入至图像处理模型后,模型能够生成目标图像“S”。因此,在获取到图像样本对后,先基于扩散生成模型中的扩散过程对目标图像进行加噪处理,在根据加噪策略对目标图像“S”进行加噪处理时,能够对组成目标图像“S”的每个点进行加噪处理,获得如图3中(b)所示的噪声图像序列,由图可知,噪声图像序列中的每个噪声图像的噪声添加程度均不同,随着噪声的逐渐添加,“S”的轮廓也越来越模糊,直至完全无法辨别“S”的轮廓。在噪声图像序列中任选两个相邻的图像作为噪声图像,在本实施例中选择基于目标图像生成的第3个图像为第一噪声图像,相应的,与其相邻的图像即为第二噪声图像,由第一噪声图像和第二噪声图像组成了与目标图像“S”对应的噪声图像。
实际应用中,加噪策略是用于在当前应用场景下针对图像进行冗余特征增加处理的策略,用于通过融入冗余特征实现将目标图像对应的原始图像数据逐步转变为高斯分布形式的图像数据。在加噪策略为调整图像的分辨率的情况下,可以实现对较高分辨率的图像进行加噪处理,从而得到分辨率较低的图像;或者在加噪策略为调整图像颜色的情况下,可以实现对RGB图像进行加噪,从而得到灰度图像;在获得加噪处理后的噪声图像序列后,用于在噪声图像序列中选择噪声图像,进而继续对噪声图像进行处理。
综上所述,在噪声图像序列中任意选择相邻的两个第一噪声图像和第二噪声图像作为噪声图像,进而基于噪声图像进行后续的模型训练,从而避免了模型训练的偶然性,提高了训练样本的丰富程度。
进一步的,在对目标图像进行加噪处理时,考虑到对目标图像的加噪程度不同,获得的噪声图像也不同,因此可以预先设定加噪处理次数,每次加噪处理均基于上次加噪处理获得的噪声图像继续进行加噪处理,进而可以获得噪声图像序列,具体实现如下:
根据预设的加噪策略确定加噪处理次数n;对所述图像样本对中的目标图像进行第i次加噪处理,获得第i噪声图像,其中i从1开始取值,且i和n均为正整数;判断i是否等于n;若否,i自增1,将第i噪声图像作为目标图像,并执行对所述图像样本对中的目标图像进行第i次加噪处理,获得第i噪声图像的步骤;若是,由n次加噪处理获得的n个噪声图像组成噪声图像序列。
具体的,加噪处理次数是指预先设定的对目标图像的加噪次数,每次加噪处理均可获得一个加噪图像。在对目标对象进行一次加噪处理获得一个加噪图像后,再将获得的加噪图像作为目标图像,继续进行加噪处理,以此类推,直到加噪处理的次数达到预设的加噪处理次数,每个加噪处理均可获得一个噪声图像,在完成n次加噪处理后,获得n个噪声图像组成的噪声图像序列。
基于此,在对目标图像进行加噪处理时,在需要对目标图像进行加噪处理,再基于加噪处理结果进行下一次噪声添加,即,针对目标图像依次添加噪声确定噪声图像序列的场景下,可以确定预设的加噪策略是针对目标图像依次加噪,以根据该策略确定加噪处理次数n。对图像样本对中的目标图像进行第i次加噪处理,获得第i噪声图像,其中i从1开始取值,且i和n均为正整数。在获得第i噪声图像后,判断i是否等于n,即,判断第i噪声图像是否为第n次加噪处理获得的噪声图像;若第i噪声图像不为第n次加噪处理获得的噪声图像,则i自增1,以第i噪声图像为目标图像进行下一次加噪处理;若第i噪声图像为第n次加噪处理获得的噪声图像,则完成加噪处理,由n次加噪处理获得的n个噪声图像组成噪声图像序列。
实际应用中,除了设定加噪处理次数,采用迭代加噪的方法对目标图像进行加噪处理之外,还可以通过改变加噪程度对应的参数值对目标图像进行多次加噪处理,获得噪声图像序列。可以通过调节噪声参数,逐渐提高加噪程度,进而获得噪声图像序列。
沿用上例,在对目标图像“S”进行加噪处理获得如图3中(b)所示的噪声图像序列的过程中,可以预先设定对目标图像“S”的加噪次数,在加噪次数为18的情况下,加噪处理次数n即为18,对图像样本“S”进行第一次加噪处理获得第一噪声图像,判断加噪处理次数1不等于18,因此加噪次数加一,即,对目标图像“S”进行第二次加噪处理,此时加噪处理的对象为第一次加噪处理获得的第一噪声图像,以此类推,在加噪处理次数等于18的情况下,表示已经对目标图像“S”完成的加噪处理,获得的所有加噪处理后图像按照加噪的顺序组成了噪声图像序列。
综上所述,预设加噪处理次数,通过迭代加噪的方法完成对目标图像的加噪处理,获得与预设加噪次数n相应数量的n个噪声图像,由n个噪声图像组成噪声图像序列,实现根据对噪声图像序列的需求预设加噪处理次数,从而提高噪声图像序列长度的灵活性。
此外,考虑到使用不同的训练样本进行模型训练获得的目标图像处理模型也不同,因此可以根据实际图像处理需求选择训练样本,进而完成模型训练,具体实现如下:
确定关联所述初始图像处理模型的训练任务;根据所述训练任务在预设的图像样本集中选择至少一个初始图像样本对;在所述至少一个初始图像样本对中选择满足预设图像对齐关系的初始图像样本对,作为所述图像样本对。
具体的,训练任务是指根据对模型的预测需求确定的模型训练任务,通过模型训练获得的目标图像处理模型可以用于实现基于灰度图预测与灰度图像对应的RGB图像,可以实现基于分辨率较低的图像生成分辨率较高的图像,还可以实现基于特定的人物姿态图像生成与当前人物姿态相关的其他姿态的人物姿态图像,本实施例对训练任务不进行穷举;图像样本集中包括但不限于上述训练任务对应的图像样本对,即:灰度图像-RGB图像,分辨率较低的图像-分辨率较高的图像等;初始图像样本对是指与训练任务对应的图像样本对,在初始图像样本对中选择满足预设图像对齐关系的初始图像样本对作为图像样本对,即,选择具有相似特征的原始图像和目标图像作为一个图像样本对。
基于此,在对图像样本对中的目标图像进行加噪处理获得噪声图像之前,根据对目标图像处理模型的使用需求确定与初始图像处理模型关联的训练任务,根据确定的训练任务在预先准备的图像样本集中选择至少一个初始图像样本对。在确定至少一个初始图像样本对后,对初始图像样本对进行筛选,选择满足预设图像对齐关系的初始图像样本对作为图像样本对,用于进行模型训练。
实际应用中,考虑到不同场景下需要训练具有不同图像处理能力的目标图像处理模型,因此在选择图像样本对时,还需要根据目标图像处理模型的应用场景选取用于进行模型训练的图像样本对,因此,在训练任务为基于灰度图像预测RGB图像的情况下,在选择图像样本对时则需要选择原始图像为灰度图像,目标图像为RGB图像的图像样本对,这类图像即为,满足图像样本对的对齐关系的图像样本对,而图像样本对中原始图像为灰度图像,目标图像为R为1,G和B均为0的图像时,则不满足图像样本对的对齐关系。也就是说,图像样本对的对齐关系可以是,图像样本对中的原始图像和目标图像特征对比较为明显的特征对比关系,即选择特征对比度较高的至少一个初始图像样本对作为满足对齐关系的图像样本对,以此用于后续训练模型。
沿用上例,在训练任务为生成一个“S”图像的情况下,考虑到在模型训练时为了能够提高训练完成的模型的准确度,因此需要准备合适的训练样本。预先准备的图像样本集中包括:用于实现基于灰度图预测与灰度图像对应的RGB图像的样本、用于实现基于分辨率较低的图像生成分辨率较高的图像的样本、用于实现基于特定的人物姿态图像生成与当前人物姿态相关的其他姿态的人物姿态图像的样本等多种类型的图像样本。因此,在选择训练样本时则需要选择用于实现基于噪点图预测由噪点图组成任意字符图像的图像样本对作为初始图像样本。在生成字符“F”的场景下,则需要在确定的初始图像样本中选择与字符“F”相关的图像样本作为进行模型训练的图像样本对,进而提高样本的质量,提高模型预测的精准度。
综上所述,在进行模型训练之前,根据确定的训练任务在图像样本集中选择图像样本,从而实现提高样本质量,进而提高模型的预测精度。
步骤S204:将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像。
具体的,在上述对图像样本对中的目标图像进行加噪处理获得了与目标图像对应的噪声图像后,根据噪声图像,以及将原始图像输入至初始图像处理模型后获得的初始图像即可生成还原图像,其中,原始图像即为图像样本对中与目标图像对应的图像;初始图像处理模型是指未经过训练的,用于对图像进行处理的深度学习模型,相应的,初始图像即为将原始图像输入至初始图像处理模型获得的与原始图像对应的预测图像。
基于此,对图像样本对中的目标图像进行加噪处理获得与目标图像对应的噪声图像,将图像样本对中与目标图像对应的原始图像输入至未经过训练的初始图像处理模型中进行预测,获得与原始图像对应的初始图像,以便于后续结合噪声图像的图像特征和初始图像的图像特征,根据噪声图像和初始图像生成还原图像。
沿用上例,将如图3中(a)所示的图像样本对中,与目标图像“S”对应的由“点”组成的原始图像输入至未进行训练的初始图像处理模型中进行预测,由于初始图像处理模型未经过训练,因此初始图像处理模型预测的初始图像中的字符轮廓可能为字符“O”、可能为字符“B”、还可能无法辨认预测得到的是否为字符。以便于后续根据预测到的初始图像以及噪声图像对初始图像处理模型进行训练。
步骤S206:根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同。
具体的,在上述对图像样本对中的目标图像进行加噪处理获得了与目标图像对应的噪声图像,将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像之后,由于对目标图像进行加噪处理获得的是噪声图像,而将原始图像输入至初始图像处理模型获得的是初始图像,因此可以基于噪声图像和初始图像进行还原处理,实现对噪声进行还原,获得还原图像,获得的还原图像和原始图像之间具有相同的属性特征。
实际应用中,属性特征包括但不限于图像的颜色、清晰度、分辨率、尺寸等特征。在原始图像为灰度图像,目标图像为与灰度图像对应的RGB图像时,对RGB图像进行加噪处理,获得噪声图像,噪声图像依然保留了部分RGB特征,而将灰度图像输入至初始图像处理模型进行预测时,获得的初始图像即为初始图像处理模型的预测结果,此预测结果通常会与RGB图像差异较大,因此根据噪声图像和初始图像进行去噪即可获得与RGB图像具有相同的RGB特征的还原图像。
基于此,在对图像样本对中的目标图像进行加噪处理获得了与目标图像对应的噪声图像,将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像之后,为了能够根据噪声图像对初始图像处理模型进行训练,以提高模型预测的精准度,此时可以基于噪声图像和初始图像进行还原处理,实现对噪声进行还原,获得与原始图像之间具有相同的属性特征的还原图像,以便于后续基于还原图像和噪声图像对初始图像处理模型进行训练,从而获得训练完成的图像处理模型。
沿用上例,在对目标图像“S”进行加噪处理获得了噪声图像序列,并在噪声图像序列中选择了噪声图像,以及使用初始图像处理模型对原始图像进行预测获得了初始图像后,即可对根据扩散生成模型中的逆扩散过程对选定的噪声图像和初始图像进行逆扩散,即,对包含噪声的图像进行去噪处理,获得去噪后的图像,使得去噪后的图像趋近于噪声图像。
进一步的,在获取到与目标图像对应的噪声图像,以及基于初始图像处理模型生成初始图像后,即可对噪声图像和初始图像进行还原处理,获得还原图像,具体实现如下:
在所述噪声图像序列中确定所述第一噪声图像对应的位置信息,根据所述位置信息确定噪声参数,其中,所述噪声参数表示所述第一噪声图像的加噪程度;根据所述噪声参数对所述第二噪声图像和所述初始图像进行还原处理,获得还原图像。
具体的,在噪声图像序列中,每个噪声图像均对应噪声图像序列中的序列位置,每个噪声图像均对应一个位置信息,因而在确定了第一噪声图像后,即可根据噪声图像序列确定第一噪声图像对应的位置信息;相应的,第一噪声图像的位置信息即可代表第一噪声图像在噪声图像序列中的序列位置,序列位置即为噪声参数,由于噪声图像序列中的噪声图像是根据加噪程度排列的,因此在确定了第一噪声图像后即可确定与第一噪声图像对应的噪声参数。
基于此,在确定了噪声图像、第一噪声图像、第二噪声图像以及初始图像后,可以根据第一噪声图像在噪声图像序列中的序列位置在噪声图像序列中确定第一噪声图像对应的位置信息,根据位置信息即可确定用于表示第一噪声图像的加噪程度噪声参数。根据噪声参数对第二噪声图像和初始图像进行还原处理获得还原图像,在对第二噪声图像和初始图像进行还原处理是可以采用扩散生成模型中的逆扩散思想,实现基于噪声参数第二噪声图像和初始图像进行逆扩散处理,获得还原图像。
沿用上例,对目标图像“S”进行加噪处理,同时设定加噪次数18,获得了18个添加了噪声的图像组成的噪声图像序列,选择噪声图像序列中的第3个图形作为第一噪声图像的情况下,第一噪声图像在噪声图像序列中的位置“3”即为噪声参数,用于表示对目标图像“S”的噪声添加程度,进而继续根据确定的噪声参数3对处于噪声图像序列中位置“4”的图像和初始图像处理模型对原始图像进行预测获得的初始图像进行还原处理。
综上所述,噪声参数用于表示第一噪声图像的加噪程度,在确定了噪声参数、第二噪声图像以及初始图像后,根据以图像的加噪程度作为参数进行还原处理,能够获得与目标图像特征较为相近的还原图像,从而提高了还原图像和目标图像的相似度。
进一步的,在根据噪声参数对第二噪声图像和初始图像进行还原处理获得还原图像时,考虑到初始图像和第二噪声图像均具有不同的图像噪声特征,因此在根据噪声参数对第二噪声图像和初始图像进行还原处理获得还原图像时,可以根据图像噪声特征对初始图像进行去噪处理获得还原图像,具体实现如下:
根据所述第二噪声图像和所述噪声参数,确定所述第二噪声图像对应的图像噪声特征;根据所述图像噪声特征对所述初始图像进行去噪处理,获得还原图像。
具体的,图像噪声特征包括但不限于噪声的种类和噪声的加噪程度,由于第二噪声图像时对目标图像进行加噪处理后获得的噪声图像序列中的一个噪声图像,在针对目标图像的颜色添加噪声时,第二噪声图像对应的图像噪声特征即可表示第二噪声图像对应的颜色噪声特征;在针对目标图像的分辨率添加噪声时,第二噪声图像对应的图像噪声特征即可表示第二噪声图像对应的分辨率噪声特征。
基于此,根据第二噪声图像,以及根据第一噪声图像对应的位置信息确定的噪声参数,确定第二噪声图像对应的图像噪声特征,结合第二噪声图像对应的图像噪声特征对初始图像进行去噪处理,获得还原图像。在确定还原图像时,将第二噪声图像对应的图像噪声特征作为参考因素,能够提高生成的还原图像与目标图像之间的相似度,进而能够更好的对初始图像处理模型进行训练。去噪处理可以通过下述公式(1)实现:
Pθ(Xt-1|Xt)=N(Xt-1;uθ(Xt,t),∑(Xt,t)) (1)
其中,Xt表示噪声图像序列中的任意一个噪声图像,Xt-1表示与Xt相邻的噪声图像,Pθ(Xt-1|Xt)表示逆扩散过程的近似函数,N(Xt-1;uθ(Xt,t),∑θ(Xt,t))表示一个随机的高斯分布。
实际应用中,与加噪处理相对应,在本实施例中,对初始图像进行去噪时,图像去噪方法包括但不限于均值滤波,中值滤波,高斯滤波等,其中,均值滤波是在图像上对目标像素给一个模板,该模板包括了其周围的临近像素(以目标像素为中心的周围8个像素,构成一个滤波模板,即包括目标像素本身),再用模板中的全体像素的平均值来代替原来像素值;中值滤波,以像素为中心,指定的滑窗形状作为邻域,将邻域内的像素排序,将中值结果赋值给该邻域的像素;高斯滤波可以调用一个二维离散的高斯函数去除噪声,能够保留更多的边缘细节。具体需要选择哪种去噪方法,可以根据实际需求确定,本实施例对此不作限定。
沿用上例,在根据第一噪声图像在噪声图像序列中的位置,确定了噪声参数3之后,与第一噪声图像相邻的第二噪声图像即可用于进行去噪处理,如图3中(b)所示,对目标图像“S”进行加噪处理获得的第一噪声图像和第二噪声图像仍然保留有与“S”的轮廓相关的噪声特征,根据噪声特征对初始图像处理模型的预测图像进行去噪处理能够获得与目标图像噪声特征更为相似的图像,实现了对初始图像的进一步去噪处理。
综上所述,在确定还原图像时,将第二噪声图像对应的图像噪声特征作为参考因素,能够提高生成的还原图像与目标图像之间的相似度,进而能够更好的对初始图像处理模型进行训练。
步骤S208:根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,其中,所述目标图像处理模型为机器学习模型。
具体的,在上述根据噪声图像和初始图像生成与原始图像具有相同属性特征的还原图像之后,即可根据还原图像和噪声图像对初始图像处理模型进行调参,获得中间图像处理模型,再根据图像样本集中的其他图像样本对,对中间图像处理模型进行训练,直到满足训练停止条件,获得训练完成的图像处理模型,其中,目标图像处理模型即为训练完成的图像处理模型,目标图像处理模型能够用于实现对待处理图像的预测,图像处理模型为能够实现图像生成的机器学习模型,本实施例对图像处理模型不作任何限定。
基于此,在根据噪声图像和初始图像生成与原始图像具有相同属性特征的还原图像之后,即可根据还原图像和噪声图像对初始图像处理模型进行调参,获得中间图像处理模型,再根据图像样本集中的其他图像样本对,对中间图像处理模型进行训练,直到满足训练停止条件,获得训练完成的图像处理模型,即,能够满足用户的图像处理需求的目标图像处理模型。
进一步的,在根据还原图像和噪声图像对初始图像处理模型进行训练时,考虑到还原图像是基于初始图像处理模型的输出,即,初始图像进行还原处理获得的,噪声图像是对目标图像进行加噪处理获得的,因此可以将噪声图像和还原图像之间的距离作为损失值对初始图像处理模型进行训练,具体实现如下:
根据所述第一噪声图像和所述还原图像计算初始损失值;判断所述初始损失值是否大于损失值阈值;若是,基于所述初始损失值对所述初始图像处理模型进行调参,获得中间图像处理模型,将所述中间图像处理模型作为初始图像处理模型,在图像样本集中选择下一模型训练周期的图像样本对,并执行对图像样本对中的目标图像进行加噪处理获得噪声图像的步骤;若否,将所述初始图像处理模型作为满足训练条件的目标图像处理模型。
具体的,初始损失值在本实施例中是指第一噪声图像和还原图像之间的差异值,初始损失值用于表示第一噪声图像和还原图像之间的差异程度或相似程度;损失值阈值是指针对计算获得的损失值预先确定的临界值,在计算得到的初始损失值大于损失值阈值时,初始损失值越接近损失值阈值表示第一噪声图像和还原图像之间的相似度越高,即差异程度较低,反之,表示第一噪声图像和还原图像之间的相似度越低,即,差异程度较高。
基于此,在确定第一噪声图像和还原图像后,根据所第一噪声图像和还原图像计算初始损失值。判断计算得到的初始损失值是否大于损失值阈值,在计算得到的初始损失值大于损失值阈值的情况下,表示初始图像处理模型的图像处理能力不满足模型的使用需求,则基于初始损失值对初始图像处理模型进行调参,获得中间图像处理模型,并将中间图像处理模型作为初始图像处理模型,在图像样本集中选择下一模型训练周期的图像样本对,并继续对图像样本对中的目标图像进行加噪处理获得噪声图像,直到在一个模型训练周期计算得到的损失值小于损失值阈值,则这个模型训练周期中与损失值对应的图像处理模型即为目标图像处理模型;在计算得到的初始损失值小于等于损失值阈值的情况下,表示初始图像处理模型的图像处理能力能够满足模型的使用需求,将初始图像处理模型作为满足训练条件的目标图像处理模型。
实际应用中,在对初始图像处理模型进行训练时,除了通过判断初始损失值是否大于损失值阈值的方法,确定是否完成模型训练之外,还可以通过设置迭代次数的方法进行模型训练。预先设定迭代次数阈值,在模型训练过程中,迭代次数到达迭代次数阈值的情况下,结束模型训练。还可以采用验证的方法确定是否可以结束模型训练。预先准备用于进行模型验证的图像样本对,在模型训练的过程中使用验证集对模型的预测精确度进行验证,当精确度满足模型使用需求时,结束模型训练。或者预设模型训练时间,训练时间结束则完成模型训练。
沿用上例,在噪声图像序列中确定了第一噪声图像,以及对初始图像进一步去噪处理获得与“S”轮廓相似的图像后,根据与“S”轮廓相似的还原图像和第一噪声图像计算损失值,即,判断与“S”轮廓相似的还原图像和第一噪声图像之间的相似度,计算得到损失值为6时,大于预设的损失值“4”,则根据计算得到的损失值6继续对初始图像处理模型进行调参,获得调参后的图像处理模型。再在图像样本集中选择用于进行下一训练周期的图像样本对,并对图像样本对中的原始图像、目标图像进行处理,再次计算得到的这一训练周期计算得到的损失值,将损失值与损失值阈值进行比较,进而判断是否仍然需要进行调参;在计算得到的损失值为3时,小于预设损失值阈值“4”,因而初始图像处理模型即为训练完成的图像处理模型。
综上所述,根据第一噪声图像和还原图像计算初始损失值,进而在初始损失值大于损失值阈值的情况下,基于初始损失值对初始图像处理模型进行调参,完成模型训练,进而提高模型的鲁棒性。
进一步的,在根据第一噪声图像和还原图像计算初始损失值时,由于第一噪声图像和还原图像均可以用图像矩阵表示,因此可以通过计算第一噪声图像对应的第一噪声图像矩阵,与噪声图像对应的噪声图像矩阵之间的距离矩阵的方式计算初始损失值,具体实现如下:
确定所述第一噪声图像对应的第一噪声图像矩阵,以及确定所述还原图像对应的还原图像矩阵;计算所述第一噪声图像矩阵和所述还原图像矩阵之间的距离矩阵,将所述距离矩阵作为所述初始损失值。
具体的,第一噪声图像矩阵是第一噪声图像在计算机中的表达形式,在计算机中,图形均以矩阵或向量的形式表示,相应的,还原图像矩阵则为还原图像在计算机中的矩阵表达形式;距离矩阵则是计算第一噪声图像矩阵和还原图像矩阵之间的欧几里得距离得到的矩阵,用于表示第一噪声图像矩阵和还原图像矩阵之间的欧几里得距离。
基于此,在根据第一噪声图像和还原图像计算初始损失值时,由于第一噪声图像和还原图像均可以用图像矩阵表示,因此可以通过计算第一噪声图像对应的第一噪声图像矩阵,与噪声图像对应的噪声图像矩阵之间的距离矩阵的方式计算初始损失值。在确定第一噪声图像和噪声图像之后,确定第一噪声图像对应的第一噪声图像矩阵,以及确定还原图像对应的还原图像矩阵。计算第一噪声图像矩阵和还原图像矩阵之间的距离矩阵,将距离矩阵作为初始损失值。以便于后续基于初始损失值对初始图像处理模型进行训练。
沿用上例,在根据第一噪声图像和还原图像计算损失值时,以计算图形对应的矩阵之间的距离的方式计算第一噪声图像和还原图像对应的损失值。将第一噪声图像以3行4列的矩阵的形式表示,将还原图像以3行4列的矩阵的形式表示,计算还原图像的矩阵与第一噪声图像的矩阵之间的欧几里得距离,获得表示损失值的距离矩阵,以距离矩阵为损失值对初始图像处理模型进行训练。
综上所述,将图像均以矩阵的形式表示,从而便于计算第一噪声图像矩阵和噪声图像矩阵之间的距离矩阵,进而根据距离矩阵确定初始损失值。
进一步的,在获得满足训练条件的目标图像处理模型后,为了测试目标图像处理模型的预测准确度,以及确定目标图像处理模型的预测效果是否达到预期,可以预先设定图像验证集,根据图像验证集中的验证图像样本对,对目标图像处理模型的图像预测效果进行检验,具体实现如下:
在图像验证集中提取验证图像样本对;将所述验证图像样本对中的原始验证图像输入至所述目标图像处理模型进行处理,获得预测图像;将所述验证图像样本对中的目标验证图像与所述预测图像进行比对,根据比对结果确定所述目标图像处理模型的预测精度信息。
具体的,图像验证集是指由用于验证模型预测准确度,以及检验模型预测效果的图像样本对组成的样本集合,图像验证集中包括多个验证图像样本对,每个验证图像样本对中包括原始验证图像和目标验证图像,其中,原始验证图像和目标验证图像之间具有对应关系,即,当目标验证图像为RGB图像时,原始验证图像为与RGB图像对应的灰度图像;预测图像则是将原始验证图像输入至目标图像处理模型进行处理获得的预测图像;相应的,预测精度信息可以通过计算预测图像与目标验证图像之间的相似度确定。
基于此,在对初始图像处理模型进行训练,获得目标图像处理模型后,可以基于图像验证集测试目标图像处理模型的预测准确度,以及确定目标图像处理模型的预测效果是否达到预期,在图像验证集中提取用于进行模型验证的验证图像样本对。将验证图像样本对中的原始验证图像输入至目标图像处理模型进行处理,获得预测图像。将验证图像样本对中的目标验证图像与预测图像进行比对,计算目标验证图像与预测图像之间的相似度或矩阵距离,根据计算得到的比对结果确定目标图像处理模型的预测精度信息,通过预测精度信息能够体现目标图像处理模型当前阶段针对待处理图像的预测精度,当目标图像处理模型的预测精度不满足预测精度需求的情况下,表示当前模型训练阶段,对目标图像处理模型的预测精度要求较高,因此,需要对目标图像处理模型进行进一步的调参和训练,使得训练后的模型能够满足预测精度需求,进而提供图像预测服务,因此,可以在下一模型训练周期结合新的图像样本对,对目标图像处理模型进行进一步的调参和训练,直至计算得到的预测精度能够满足精度需求,此时获得的图像处理模型即为满足用户预测任务需求的图像处理模型。
实际应用中,考虑到应用场景的丰富性。图像处理模型的预测任务复杂度会随着时间的推移而逐渐提高,因此,基于初始模型训练阶段训练得到的图像处理模型可能无法满足复杂的图像预测场景下的使用需求,因此可以间隔固定的时间,基于图像验证集对图像处理模型进行验证,以监控图像处理模型的预测精度,进而在图像处理模型的预测精度降低时,继续选取新的图像样本对,继续对图像处理模型进行训练,以满足复杂的图像预测需求。
沿用上例,在获得了训练完成的目标图像处理模型后,在目标图像处理模型投入使用之间,为了检测训练完成的模型的预测效果,预先准备用于进行模型验证的图像验证集,如图3中(c)所述,将点阵图像作为模型的输入,获得模型的输出结果,其中,目标图像处理模型在对输入的点阵图像进行预测时,是逐步进行预测的过程,最终获得与输入的点阵图像对应的预测结果。将模型的预测结果与图像验证集中与点阵图像对应的目标图像进行比较,计算相似度,根据相似度确定目标图像处理模型的预测精度,进而判断目标图像处理模型是否可以投入使用。
综上所述,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
下述结合附图4,以本说明书提供的图像处理模型训练方法在图像生成的应用为例,对所述图像处理模型训练方法进行进一步说明。其中,图4示出了本说明书一个实施例提供的一种图像处理模型训练方法的处理过程流程图,具体包括以下步骤。
步骤S402:确定关联初始图像处理模型的训练任务。
根据需求构建用于进行图像处理的初始图像处理模型,在初始图像处理模型用于实现基于灰度图像预测RGB图像(彩色图像)的情况下,训练任务即为给定灰度图像和与灰度图像对应的RGB图像,基于灰度图像进行预测,使得预测结果趋近于灰度图像对应的RGB图像。
步骤S404:根据训练任务在预设的图像样本集中选择图像样本对。
根据确定的预测灰度图像对应的RGB图像的训练任务,在预先准备的图像样本集中选择图像样本对,一个图像样本对中包含原始图像和目标图像,原始图像为灰度图像,相应的,目标图像即为RGB图像。图像样本对中包含的原始图像可以为物品的灰度图,相应的,目标图像即为与物品的灰度图对应的物品的RGB图像。图像中的事物包括但不限于人、物体、风景、不规则图形等。
步骤S406:对图像样本对中的目标图像进行加噪处理,获得噪声图像序列。
基于扩散生成模型中的扩散过程对选定的RGB图像形式的目标图像“动物”进行加噪处理,获得由n个添加了高斯噪声的图像组成的噪声图像序列,噪声图像序列中,每个图像添加噪声的程度均不相同。噪声图像序列中,噪声图像根据噪声的添加程度由低到高依次排列。在逐渐添加噪声的过程中,“动物”的轮廓会逐渐模糊,“动物”的颜色也会逐渐灰度化。
步骤S408:在噪声图像序列中选择具有相邻关系的第一噪声图像和第二噪声图像,作为噪声图像。
在n个噪声图像组成的噪声图像序列中,选择第t个噪声图像作为第一噪声图像,以及选择第t+1个噪声图像作为第二噪声图像,第一噪声图像和第二噪声图像具有相邻的位置关系,将第一噪声图像和第二噪声图像作为与目标图像“动物”对应的噪声图像。
步骤S410:将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像。
采用初始图像处理模型对灰度图像“动物”进行预测,获得的初始图像中可能对“动物”的色彩预测的并不准确,存在颜色预测误差。
步骤S412:在噪声图像序列中确定第一噪声图像对应的位置信息,根据位置信息确定噪声参数。
根据噪声图像序列中的第t个噪声图像确定“t”为噪声参数,噪声参数表示第一噪声图像的加噪程度。
步骤S414:根据噪声参数对第二噪声图像和初始图像进行还原处理,获得还原图像。
基于扩散生成模型中的逆扩散过程实现对第二噪声图像和初始图像的去噪,即,根据逆扩散思想对第二噪声图像和初始图像进行处理,获得去噪后的还原图像,获得的还原图像与原始的“动物”图像具有相同色彩的特征。
步骤S416:根据第一噪声图像和还原图像计算初始损失值。
根据第一噪声图像确定第一噪声图像的矩阵表达,以及确定还原图像的矩阵表达,计算第一噪声图像的矩阵表达和还原图像的矩阵表达之间的欧几里得距离,将计算得到的欧几里得距离作为损失值代入到初始图像处理模型中对模型进行训练。
步骤S418:判断初始损失值是否大于损失值阈值,若是,执行步骤S420;若否,执行步骤S422。
预设损失值阈值,在计算得到第一噪声图像和还原图像之间的损失值后,判断计算得到的损失值是否大于预设的损失值阈值,在计算得到的损失值大于预设的损失值阈值的情况下,表示初始图像处理模型预测得到的“动物”的RGB图像与图像样本对中的RGB图像之间相似度较低,则需要继续对初始图像处理模型进行训练;在计算得到的损失值小于等于预设的损失值阈值的情况下,表示初始图像处理模型预测得到的“动物”的RGB图像与图像样本对中的RGB图像之间相似度较高,初始图像处理模型的预测能力满足使用需求,可以用来进行实际的图像处理。
步骤S420:基于初始损失值对初始图像处理模型进行调参,获得中间图像处理模型,将中间图像处理模型作为初始图像处理模型,在图像样本集中选择下一模型训练周期的图像样本对,并执行步骤S406。
根据计算得到的损失值对初始图像处理模型中的参数进行调整,获得参数调整后的中间图像处理模型,在图像样本集中选择这一模型训练周期对应的图像样本对,即,选择其他“动物”图像或“植物”图像作为训练样本进行模型训练。
步骤S422:将初始图像处理模型作为满足训练条件的目标图像处理模型。
步骤S424:获取待处理图像。
在用于生成与灰度图像对应的RGB图像的目标图像处理模型训练完成后,即可投入使用,或在投入使用之前,先对目标图像处理模型进行测试。准备“动物”图像作为待处理图像,输入目标图像处理模型。
步骤S426:将待处理图像输入至目标图像处理模型,获得目标图像处理模型输出的与待处理图像对应的图像处理结果。
将待处理图像输入至目标图像处理模型进行预测,获得模型预测的RGB图像,根据预测得到的RGB图像判断目标图像处理模型的处理能力是否符合预测需求。
综上所述,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
与上述方法实施例相对应,本说明书还提供了图像处理模型训练装置实施例,图5示出了本说明书一个实施例提供的一种图像处理模型训练装置的结构示意图。如图5所示,该装置包括:
加噪模块502,被配置为对图像样本对中的目标图像进行加噪处理获得噪声图像;
处理模块504,被配置为将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
生成模块506,被配置为根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
训练模块508,被配置为根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,其中,所述目标图像处理模型为机器学习模型。
一个可选的实施例中,所述加噪模块502进一步被配置为:
根据预设的加噪策略对所述图像样本对中的目标图像进行加噪处理,获得噪声图像序列;在所述噪声图像序列中选择具有相邻关系的第一噪声图像和第二噪声图像,作为所述噪声图像。
一个可选的实施例中,所述加噪模块502进一步被配置为:
根据预设的加噪策略确定加噪处理次数n;对所述图像样本对中的目标图像进行第i次加噪处理,获得第i噪声图像,其中i从1开始取值,且i和n均为正整数;判断i是否等于n;若否,i自增1,将第i噪声图像作为目标图像,并执行对所述图像样本对中的目标图像进行第i次加噪处理,获得第i噪声图像的步骤;若是,由n次加噪处理获得的n个噪声图像组成噪声图像序列。
一个可选的实施例中,所述生成模块506进一步被配置为:
在所述噪声图像序列中确定所述第一噪声图像对应的位置信息,根据所述位置信息确定噪声参数,其中,所述噪声参数表示所述第一噪声图像的加噪程度;根据所述噪声参数对所述第二噪声图像和所述初始图像进行还原处理,获得还原图像。
一个可选的实施例中,所述生成模块506进一步被配置为:
根据所述第二噪声图像和所述噪声参数,确定所述第二噪声图像对应的图像噪声特征;根据所述图像噪声特征对所述初始图像进行去噪处理,获得还原图像。
一个可选的实施例中,所述训练模块508进一步被配置为:
根据所述第一噪声图像和所述还原图像计算初始损失值;判断所述初始损失值是否大于损失值阈值;若是,基于所述初始损失值对所述初始图像处理模型进行调参,获得中间图像处理模型,将所述中间图像处理模型作为初始图像处理模型,在图像样本集中选择下一模型训练周期的图像样本对,并执行对图像样本对中的目标图像进行加噪处理获得噪声图像的步骤;若否,将所述初始图像处理模型作为满足训练条件的目标图像处理模型。
一个可选的实施例中,所述训练模块508进一步被配置为:
确定所述第一噪声图像对应的第一噪声图像矩阵,以及确定所述还原图像对应的还原图像矩阵;计算所述第一噪声图像矩阵和所述还原图像矩阵之间的距离矩阵,将所述距离矩阵作为所述初始损失值。
一个可选的实施例中,所述加噪模块502还被配置为:
确定关联所述初始图像处理模型的训练任务;根据所述训练任务在预设的图像样本集中选择至少一个初始图像样本对;在所述至少一个初始图像样本对中选择满足预设图像对齐关系的初始图像样本对,作为所述图像样本对。
一个可选的实施例中,所述训练模块508还被配置为:
在图像验证集中提取验证图像样本对;将所述验证图像样本对中的原始验证图像输入至所述目标图像处理模型进行处理,获得预测图像;将所述验证图像样本对中的目标验证图像与所述预测图像进行比对,根据比对结果确定所述目标图像处理模型的预测精度信息。
本说明书一个实施例提供的图像处理模型训练装置,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
参见图6,图6示出了根据本说明书一个实施例提供的一种图像处理模型训练方法的流程图,具体包括以下步骤。
步骤S602:接收用户提交的模型训练请求;
步骤S604:根据所述模型训练请求对图像样本对中的目标图像进行加噪处理获得噪声图像;
步骤S606:将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
步骤S608:根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
步骤S610:根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并发送至所述用户。
在用户存在模型训练需求时,向服务器提交模型训练请求,模型训练请求中携带模型训练需求信息,包括:模型的作用,模型预测精确度等信息。在模型训练的过程中,服务器接收到模型训练请求后,基于预先存储的图像样本集以及用户的模型训练需求确定用于进行模型训练的图像样本对。分别对图像样本对中的原始图像和目标图像进行处理;对于图像样本对中的目标图像,基于扩散生成模型提供的加噪方法实现对目标图像的加噪,获得与目标图像对应的噪声图像;将原始图像输入至初始图像处理模型中获得初始图像。基于扩散生成模型提供的逆扩散过程对初始图像和噪声图像进行还原处理获得还原图像,基于还原图像和噪声图像进行模型训练,获得训练完成的图像处理模型,即,目标图像处理模型。目标图像处理模型即为训练结果,将训练结果反馈给用户。反馈给用户的训练结果可以为目标图像处理模型的模型参数,还可以为对应目标图像处理模型的链接形式的存储地址,用户通过点击链接,即可获取到目标图像处理模型。
也就是说,在进行模型训练的过程中,将图像样本对中的原始图像输入至初始图像处理模型中进行预测,获得初始图像,根据扩散生成模型中的扩散思想实现对与原始图像对应的目标图像进行加噪,根据扩散生成模型中的逆扩散思想对图像加噪,以及初始图像处理模型预测得到的初始图像进行还原处理,获得还原图像,再根据还原图像和噪声图像进行模型训练,从而使得初始图像处理模型能够学习到图像中的噪声变化,提高了模型训练的准确性。
本说明书提供的图像处理模型训练方法,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
与上述方法实施例相对应,本说明书还提供了图像处理模型训练装置实施例,图7示出了本说明书一个实施例提供的一种图像处理模型训练装置的结构示意图。如图7所示,该装置包括:
接收请求模块702,被配置为接收用户提交的模型训练请求;
加噪处理模块704,被配置为根据所述模型训练请求对图像样本对中的目标图像进行加噪处理获得噪声图像;
模型处理模块706,被配置为将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
还原处理模块708,被配置为根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
模型训练模块710,被配置为根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并发送至所述用户。
本说明书提供的图像处理模型训练装置,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
参见图8,图8示出了根据本说明书一个实施例提供的一种图像处理模型训练方法的流程图,具体包括以下步骤。
步骤S802:接收用户针对模型训练任务,通过模型训练交互界面上传的图像样本对;
步骤S804:对所述图像样本对中的目标图像进行加噪处理获得噪声图像;
步骤S806:将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
步骤S808:根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
步骤S810:根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并通过所述模型训练交互界面展示训练结果。
在用户存在图像处理需求时,可以通过模型训练的方式获取训练完成的图像处理模型,用于进行图像处理。用户通过模型训练交互界面上传预先准备的与任务需求相关联的图像样本对。在模型训练的过程中,服务器接收到用户上传的图像样本对后,基于用户的模型训练需求确定图像处理模型并开始模型训练。分别对图像样本对中的原始图像和目标图像进行处理;对于图像样本对中的目标图像,基于扩散生成模型提供的加噪方法实现对目标图像的加噪,获得与目标图像对应的噪声图像;将原始图像输入至初始图像处理模型中获得初始图像。基于扩散生成模型提供的逆扩散过程对初始图像和噪声图像进行还原处理获得还原图像,基于还原图像和噪声图像进行模型训练,获得训练完成的图像处理模型,即,目标图像处理模型。目标图像处理模型即为训练结果,将训练结果通过模型训练交互界面展示给用户。需要说明的是,训练结果可以为对应目标图像处理模型的链接形式的存储地址,用户通过点击链接,即可跳转到相应的页面下载目标图像处理模型,也可以是训练完成的目标图像处理模型,本实施例对此不作任何限定。
本说明书提供的图像处理模型训练方法,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
与上述方法实施例相对应,本说明书还提供了图像处理模型训练装置实施例,图9示出了本说明书一个实施例提供的一种图像处理模型训练装置的结构示意图。如图9所示,该装置包括:
图像上传模块902,被配置为接收用户针对模型训练任务,通过模型训练交互界面上传的图像样本对;
图像加噪模块904,被配置为对所述图像样本对中的目标图像进行加噪处理获得噪声图像;
图像输入模块906,被配置为将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
图像还原模块908,被配置为根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
结果展示模块910,被配置为根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并通过所述模型训练交互界面展示训练结果。
本说明书提供的图像处理模型训练装置,通过对图像样本对中的目标图像进行加噪处理获得噪声图像;将图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;根据噪声图像和初始图像生成还原图像,其中,原始图像和还原图像的属性特征相同;根据还原图像和噪声图像对初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型。还原图像为通过初始图像处理模型的处理间接获得的,而噪声图像是对目标图像进行加噪获得的,根据还原图像和噪声图像对初始图像处理模型进行训练时,使得初始图像处理模型能够学习到与噪声图像相关的新的图像特征,进而使得初始图像处理模型在训练的过程中,能够逐步引入不同的噪声图像的图像特征,可以有效的提高模型训练的稳定性,提高模型的预测精准度,满足用户的实际图像处理需求。
上述为本实施例的图像处理模型训练装置的示意性方案。需要说明的是,该图像处理模型训练装置的技术方案与上述的图像处理模型训练方法的技术方案属于同一构思,图像处理模型训练装置的技术方案未详细描述的细节内容,均可以参见上述图像处理模型训练方法的技术方案的描述。
参见图10,图10示出了根据本说明书一个实施例提供的一种图像处理方法的流程图,具体包括以下步骤。
步骤S1002:获取待处理图像;
步骤S1004:将所述待处理图像输入至目标图像处理模型,获得所述目标图像处理模型输出的与所述待处理图像对应的图像处理结果。
具体的,待处理图像是指用于直接输入至目标图像处理模型进行图像处理的图像。在不同的任务场景下,待处理图像也可以为不同的图像。目标图像处理模型可以用于实现基于灰度图预测与灰度图像对应的RGB图像,可以实现基于分辨率较低的图像生成分辨率较高的图像,还可以实现基于特定的人物姿态图像生成与当前人物姿态相关的其他姿态的人物姿态图像等;相应的,图像处理结果则为目标图像处理模型输出的与待处理图像对应的预测图像。
基于此,确定将要进行图像处理的待处理图像,将待处理图像输入至通过训练获得的目标图像处理模型中进行预测,获得目标图像处理模型输出的与待处理图像对应的预测图像。
举例说明,在目标图像处理模型用于将分辨率较低的图像转换为分辨率较高的图像,即,提高图像的清晰度的情况下,将分辨率较低的人物合影输入至目标图像处理模型进行预测,获得目标图像处理模型预测的与分辨率较低的人物合影对应的分辨率较高的人物合影,从而实现提高图像的清晰度。
综上所述,通过模型预测的方法对原始图片进行处理,获得满足用户需求的预测后的图像,提高了用户体验。将待处理图像输入至满足用户需求的目标图像处理模型进行预测,能够获得令用户满意的预测图像,进而降低的图像处理难度。
与上述方法实施例相对应,本说明书还提供了图像处理模型训练装置实施例,图11示出了本说明书一个实施例提供的一种图像处理模型训练装置的结构示意图。如图11所示,该装置包括:
获取图像模块1102,被配置为获取待处理图像;
模型输出模块1104,被配置为将所述待处理图像输入至目标图像处理模型,获得所述目标图像处理模型输出的与所述待处理图像对应的图像处理结果。
本说明书提供的文本处理装置,通过模型预测的方法对原始图片进行处理,获得满足用户需求的预测后的图像,提高了用户体验。将待处理图像输入至满足用户需求的目标图像处理模型进行预测,能够获得令用户满意的预测图像,进而降低的图像处理难度。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
图12示出了根据本说明书一个实施例提供的一种计算设备1200的结构框图。该计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
计算设备1200还包括接入设备1240,接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1200可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
其中,处理器1220用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理模型训练方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像处理模型训练方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像处理模型训练方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理模型训练方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理模型训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理模型训练方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图像处理模型训练方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的图像处理模型训练方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述图像处理模型训练方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种图像处理模型训练方法,包括:
对图像样本对中的目标图像进行加噪处理获得噪声图像;
将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,其中,所述目标图像处理模型为机器学习模型。
2.根据权利要求1所述的方法,所述对图像样本对中的目标图像进行加噪处理获得噪声图像,包括:
根据预设的加噪策略对所述图像样本对中的目标图像进行加噪处理,获得噪声图像序列;
在所述噪声图像序列中选择具有相邻关系的第一噪声图像和第二噪声图像,作为所述噪声图像。
3.根据权利要求2所述的方法,所述根据预设的加噪策略对图像样本对中的目标图像进行加噪处理,获得噪声图像序列,包括:
根据预设的加噪策略确定加噪处理次数n;
对所述图像样本对中的目标图像进行第i次加噪处理,获得第i噪声图像,其中i从1开始取值,且i和n均为正整数;
判断i是否等于n;
若否,i自增1,将第i噪声图像作为目标图像,并执行对所述图像样本对中的目标图像进行第i次加噪处理,获得第i噪声图像的步骤;
若是,由n次加噪处理获得的n个噪声图像组成噪声图像序列。
4.根据权利要求2所述的方法,所述根据所述噪声图像和所述初始图像生成还原图像,包括:
在所述噪声图像序列中确定所述第一噪声图像对应的位置信息,根据所述位置信息确定噪声参数,其中,所述噪声参数表示所述第一噪声图像的加噪程度;
根据所述噪声参数对所述第二噪声图像和所述初始图像进行还原处理,获得还原图像。
5.根据权利要求4所述的方法,所述根据所述噪声参数对所述第二噪声图像和所述初始图像进行还原处理,获得还原图像,包括:
根据所述第二噪声图像和所述噪声参数,确定所述第二噪声图像对应的图像噪声特征;
根据所述图像噪声特征对所述初始图像进行去噪处理,获得还原图像。
6.根据权利要求2所述的方法,所述根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,包括:
根据所述第一噪声图像和所述还原图像计算初始损失值;
判断所述初始损失值是否大于损失值阈值;
若是,基于所述初始损失值对所述初始图像处理模型进行调参,获得中间图像处理模型,将所述中间图像处理模型作为初始图像处理模型,在图像样本集中选择下一模型训练周期的图像样本对,并执行对图像样本对中的目标图像进行加噪处理获得噪声图像的步骤;
若否,将所述初始图像处理模型作为满足训练条件的目标图像处理模型。
7.根据权利要求2所述的方法,所述根据所述第一噪声图像和所述还原图像计算初始损失值,包括:
确定所述第一噪声图像对应的第一噪声图像矩阵,以及确定所述还原图像对应的还原图像矩阵;
计算所述第一噪声图像矩阵和所述还原图像矩阵之间的距离矩阵,将所述距离矩阵作为所述初始损失值。
8.根据权利要求1-7任意一项所述的方法,所述对图像样本对中的目标图像进行加噪处理获得噪声图像步骤执行之前,还包括:
确定关联所述初始图像处理模型的训练任务;
根据所述训练任务在预设的图像样本集中选择至少一个初始图像样本对;
在所述至少一个初始图像样本对中选择满足预设图像对齐关系的初始图像样本对,作为所述图像样本对。
9.根据权利要求1-7任意一项所述的方法,所述根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型步骤执行之后,还包括:
在图像验证集中提取验证图像样本对;
将所述验证图像样本对中的原始验证图像输入至所述目标图像处理模型进行处理,获得预测图像;
将所述验证图像样本对中的目标验证图像与所述预测图像进行比对,根据比对结果确定所述目标图像处理模型的预测精度信息。
10.一种图像处理模型训练方法,包括:
接收用户提交的模型训练请求;
根据所述模型训练请求对图像样本对中的目标图像进行加噪处理获得噪声图像;
将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并发送至所述用户。
11.一种图像处理模型训练方法,包括:
接收用户针对模型训练任务,通过模型训练交互界面上传的图像样本对;
对所述图像样本对中的目标图像进行加噪处理获得噪声图像;
将所述图像样本对中的原始图像输入至初始图像处理模型进行处理,获得初始图像;
根据所述噪声图像和所述初始图像生成还原图像,其中,所述原始图像和所述还原图像的属性特征相同;
根据所述还原图像和所述噪声图像对所述初始图像处理模型进行训练,直至获得满足训练条件的目标图像处理模型,并通过所述模型训练交互界面展示训练结果。
12.一种图像处理方法,包括:
获取待处理图像;
将所述待处理图像输入至如权利要求1-9任意一项所述方法中的目标图像处理模型,获得所述目标图像处理模型输出的与所述待处理图像对应的图像处理结果。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211012160.9A CN115424088A (zh) | 2022-08-23 | 2022-08-23 | 图像处理模型训练方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211012160.9A CN115424088A (zh) | 2022-08-23 | 2022-08-23 | 图像处理模型训练方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115424088A true CN115424088A (zh) | 2022-12-02 |
Family
ID=84197492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211012160.9A Pending CN115424088A (zh) | 2022-08-23 | 2022-08-23 | 图像处理模型训练方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115424088A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116433501A (zh) * | 2023-02-08 | 2023-07-14 | 阿里巴巴(中国)有限公司 | 图像处理方法及装置 |
CN116739890A (zh) * | 2023-06-26 | 2023-09-12 | 强联智创(北京)科技有限公司 | 对生成健康血管图像的生成模型进行训练的方法及设备 |
CN116757970A (zh) * | 2023-08-18 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 视频重建模型的训练方法、视频重建方法、装置及设备 |
CN117392694A (zh) * | 2023-12-07 | 2024-01-12 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN117392485A (zh) * | 2023-12-07 | 2024-01-12 | 之江实验室 | 图像生成模型训练方法、业务执行方法、装置及介质 |
-
2022
- 2022-08-23 CN CN202211012160.9A patent/CN115424088A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116433501A (zh) * | 2023-02-08 | 2023-07-14 | 阿里巴巴(中国)有限公司 | 图像处理方法及装置 |
CN116433501B (zh) * | 2023-02-08 | 2024-01-09 | 阿里巴巴(中国)有限公司 | 图像处理方法及装置 |
CN116739890A (zh) * | 2023-06-26 | 2023-09-12 | 强联智创(北京)科技有限公司 | 对生成健康血管图像的生成模型进行训练的方法及设备 |
CN116739890B (zh) * | 2023-06-26 | 2024-06-14 | 强联智创(北京)科技有限公司 | 对生成健康血管图像的生成模型进行训练的方法及设备 |
CN116757970A (zh) * | 2023-08-18 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 视频重建模型的训练方法、视频重建方法、装置及设备 |
CN116757970B (zh) * | 2023-08-18 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 视频重建模型的训练方法、视频重建方法、装置及设备 |
CN117392694A (zh) * | 2023-12-07 | 2024-01-12 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN117392485A (zh) * | 2023-12-07 | 2024-01-12 | 之江实验室 | 图像生成模型训练方法、业务执行方法、装置及介质 |
CN117392485B (zh) * | 2023-12-07 | 2024-02-23 | 之江实验室 | 图像生成模型训练方法、业务执行方法、装置及介质 |
CN117392694B (zh) * | 2023-12-07 | 2024-04-19 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schwartz et al. | Deepisp: Toward learning an end-to-end image processing pipeline | |
CN115424088A (zh) | 图像处理模型训练方法以及装置 | |
Liu et al. | Robust single image super-resolution via deep networks with sparse prior | |
Fu et al. | Uncertainty inspired underwater image enhancement | |
CN109859288B (zh) | 基于生成对抗网络的图像上色方法及装置 | |
CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
CN113196289B (zh) | 人体动作识别方法、人体动作识别系统及设备 | |
WO2022001509A1 (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
Po et al. | A novel patch variance biased convolutional neural network for no-reference image quality assessment | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
Zhang et al. | Hierarchical density-aware dehazing network | |
CN107464217B (zh) | 一种图像处理方法及装置 | |
CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
Kim et al. | Multiple level feature-based universal blind image quality assessment model | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
JP7353803B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113221663A (zh) | 一种实时手语智能识别方法、装置及系统 | |
Bhowmik et al. | Training-free, single-image super-resolution using a dynamic convolutional network | |
Zhang et al. | A light dual-task neural network for haze removal | |
CN110321452B (zh) | 一种基于方向选择机制的图像检索方法 | |
Hu et al. | Hierarchical discrepancy learning for image restoration quality assessment | |
CN110570375A (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
Chen et al. | Learning deep blind quality assessment for cartoon images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |