CN109859113B - 模型生成方法、图像增强方法、装置及计算机可读存储介质 - Google Patents

模型生成方法、图像增强方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109859113B
CN109859113B CN201811594326.6A CN201811594326A CN109859113B CN 109859113 B CN109859113 B CN 109859113B CN 201811594326 A CN201811594326 A CN 201811594326A CN 109859113 B CN109859113 B CN 109859113B
Authority
CN
China
Prior art keywords
image
sample
model
initial
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811594326.6A
Other languages
English (en)
Other versions
CN109859113A (zh
Inventor
钟韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201811594326.6A priority Critical patent/CN109859113B/zh
Publication of CN109859113A publication Critical patent/CN109859113A/zh
Application granted granted Critical
Publication of CN109859113B publication Critical patent/CN109859113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种模型生成方法、图像增强方法、装置及计算机可读存储介质,属于网络技术领域。该方法可以利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,利用初始判别模型确定每张第一样本增强图像的类别值以及每张第二样本图像的类别值,根据每张第一样本增强图像的类别值以及每张第二样本图像的类别值,获取初始图像增强模型的损失值,在损失值在第一预设范围内时,将初始图像增强模型作为图像增强模型。这样,由于无需根据每个像素的像素值来确定误差,进而可以避免处理后的图像中存在的异常点对误差判断带来偏差,保证能够准确的对图像增强模型进行训练,进而提高训练得到图像增强模型对图像的处理效果。

Description

模型生成方法、图像增强方法、装置及计算机可读存储介质
技术领域
本发明属于网络技术领域,特别是涉及一种模型生成方法、图像增强方法、装置及计算机可读存储介质。
背景技术
随着网络的不断发展,用户经常会拍摄图像,但受到用户拍摄设备质量以及拍摄环境的影响,拍摄图像可能会出现质量较差的情况,例如,对比度、饱和度过高或过低,为了提高图像的质量,往往会对图像进行增强处理。
现有技术中,通常是先训练图像增强模型,然后利用该图像增强模型对图像进行增强处理。在训练过程中,往往是根据图像增强模型处理后的样本图像以及样本图像对应的真实增强图,计算处理后的样本图像中每个像素的像素值与真实增强图中每个像素的像素值的均方差,得到图像增强模型的损失值,以此作为误差判断的标准,对图像增强模型进行调整训练。
但是,在训练过程中,可能会出现处理后的样本图像中存在异常点,例如,处理后的样本图像中大部分像素的像素值已经很接近真实增强图中的像素值,但是存在很小部分像素的像素值与真实增强图中的像素值差距较大,这样,以均方差作为误差判断的依据,可能会导致确定的误差不准确,进而无法准确的对图像增强模型进行训练,使得训练得到图像增强模型对图像的处理效果较差。
发明内容
本发明提供一种模型生成方法、图像增强方法、装置及计算机可读存储介质,以便解决无法准确的对图像增强模型进行训练,使得训练得到图像增强模型对图像的处理效果较差的问题。
依据本发明的第一方面,提供了一种模型生成方法,该方法包括:
利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像;所述m为不小于1且不大于第一数值的整数,所述第一数值为训练样本集中包括的第一样本图像的个数;
利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值;所述第二样本图像的质量高于所述第一样本图像的质量;所述n为不小于1且不大于第二数值的整数,所述第二数值为训练样本集中包括的第二样本图像的个数;
根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值;
若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型。
可选的,所述方法还包括:
若所述初始图像增强模型的损失值不在第一预设范围内,基于所述损失值表示的误差程度调整所述初始图像增强模型的参数;
利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新;
从所述训练样本集中抽取m张第一样本图像,并重新执行所述利用初始图像增强模型对m张第一样本图像进行增强处理的步骤。
可选的,所述利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新,包括:
利用调整后的初始图像增强模型对所述m张第一样本图像进行增强处理,得到m张第二样本增强图像;
利用所述初始判别模型确定每张第二样本增强图像的类别值以及每张第二样本图像的类别值;
根据每张第二样本增强图像的类别值、每张第二样本图像的类别值以及所述目标类别值,获取所述初始判别模型的损失值;
若所述初始判别模型的损失值不在第二预设范围内,基于所述损失值表示的误差程度调整所述初始判别模型的参数;
基于所述m张第二样本增强图像以及所述n张第二样本图像,对调整后的初始判别模型继续进行训练,并在对所述初始判别模型的训练次数达到预设次数,或所述初始判别模型的损失值在第二预设范围内时,停止对所述初始判别模型进行更新。
可选的,所述初始图像增强模型包括第一卷积层、第一全连接层以及反卷积层,所述初始图像增强模型中的参数至少包括所述第一卷积层中卷积核的值,所述第一全连接层中的第一权重矩阵;
所述利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,包括:
对于每张所述第一样本图像,通过所述第一卷积层将所述第一样本图像中每个像素组成的像素矩阵,与所述第一卷积层中的卷积核进行卷积运算,得到卷积后的第一像素矩阵;
通过所述第一全连接层将所述第一权重矩阵与所述第一像素矩阵相乘,得到第二像素矩阵;
通过所述反卷积层对所述第二像素矩阵进行反卷积运算,得到第一样本增强图像。
可选的,所述初始判别模型包括第二卷积层及第二全连接层,所述初始判别模型中的参数至少包括所述第二卷积层中卷积核的值,所述第二全连接层中的第二权重矩阵;
所述利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值,包括:
将每张第一样本增强图像以及每张第二样本图像作为判别图像,通过所述第二卷积层将所述判别图像中每个像素组成的像素矩阵,与所述第二卷积层中的卷积核进行卷积运算,得到卷积后的第三像素矩阵;
将所述第三像素矩阵转换为单一向量矩阵,并通过所述第二全连接层计算所述第二全连接层中第二权重矩阵与所述单一向量矩阵的乘积,得到所述判别图像的类别值。
依据本发明的第二方面,提供了一种图像增强方法,所述方法包括:
将待处理图像输入图像增强模型;
通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像;其中,所述图像增强模型是利用第一方面中任一项所述的方法生成的。
依据本发明的第三方面,提供了一种模型生成装置,所述装置包括:
处理模块,用于利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像;所述m为不小于1且不大于第一数值的整数,所述第一数值为训练样本集中包括的第一样本图像的个数;
第一确定模块,用于利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值;所述第二样本图像的质量高于所述第一样本图像的质量;所述n为不小于1且不大于第二数值的整数,所述第二数值为训练样本集中包括的第二样本图像的个数;
获取模块,用于根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值;
第二确定模块,用于若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型。
可选的,所述装置还包括:
调整模块,用于若所述初始图像增强模型的损失值不在第一预设范围内,基于所述损失值表示的误差程度调整所述初始图像增强模型的参数,
更新模块,用于利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新;
执行模块,用于从所述训练样本集中抽取m张第一样本图像,并重新执行所述利用初始图像增强模型对m张第一样本图像进行增强处理的步骤。
可选的,所述更新模块,用于:
利用调整后的初始图像增强模型对所述m张第一样本图像进行增强处理,得到m张第二样本增强图像;
利用所述初始判别模型确定每张第二样本增强图像的类别值以及每张第二样本图像的类别值;
根据每张第二样本增强图像的类别值、每张第二样本图像的类别值以及所述目标类别值,获取所述初始判别模型的损失值;
若所述初始判别模型的损失值不在第二预设范围内,基于所述损失值表示的误差程度调整所述初始判别模型的参数;
基于所述m张第二样本增强图像以及所述n张第二样本图像,对调整后的初始判别模型继续进行训练,并在对所述初始判别模型的训练次数达到预设次数,或所述初始判别模型的损失值在第二预设范围内时,停止对所述初始判别模型进行更新。
可选的,所述初始图像增强模型包括第一卷积层、第一全连接层以及反卷积层,所述初始图像增强模型中的参数至少包括所述第一卷积层中卷积核的值,所述第一全连接层中的第一权重矩阵;
所述处理模块,用于:
对于每张所述第一样本图像,通过所述第一卷积层将所述第一样本图像中每个像素组成的像素矩阵,与所述第一卷积层中的卷积核进行卷积运算,得到卷积后的第一像素矩阵;
通过所述第一全连接层将所述第一权重矩阵与所述第一像素矩阵相乘,得到第二像素矩阵;
通过所述反卷积层对所述第二像素矩阵进行反卷积运算,得到第一样本增强图像。
可选的,所述初始判别模型包括第二卷积层及第二全连接层,所述初始判别模型中的参数至少包括所述第二卷积层中卷积核的值,所述第二全连接层中的第二权重矩阵;
所述第一确定模块,用于:
将每张第一样本增强图像以及每张第二样本图像作为判别图像,通过所述第二卷积层将所述判别图像中每个像素组成的像素矩阵,与所述第二卷积层中的卷积核进行卷积运算,得到卷积后的第三像素矩阵;
将所述第三像素矩阵转换为单一向量矩阵,并通过所述第二全连接层计算所述第二全连接层中第二权重矩阵与所述单一向量矩阵的乘积,得到所述判别图像的类别值。
依据本发明的第四方面,提供了一种图像增强装置,所述装置包括:
输入模块,用于将待处理图像输入图像增强模型;
处理模块,用于通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像;其中,所述图像增强模型是第三方面中任一项所述的装置生成的。
依据本发明的第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的任一模型生成方法,以及第二方面所述的图像增强方法的步骤。
针对在先技术,本发明具备如下优点:
可以利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,然后,利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值,最后,根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取初始图像增强模型的损失值,在损失值在第一预设范围内时,将初始图像增强模型作为图像增强模型。本发明实施例中,根据处理后的第一样本图像的类别值及第二样本图像的类别值计算损失值,作为误差判断的标准,由于无需根据每个像素的像素值来确定误差,进而可以避免处理后的图像中存在的异常点对误差判断带来偏差,保证能够准确的对图像增强模型进行训练,进而提高训练得到图像增强模型对图像的处理效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明实施例提供的一种模型生成方法的步骤流程图;
图2-1是本发明实施例提供的另一种模型生成方法的步骤流程图;
图2-2是本发明实施例提供的一种初始图像增强模型的结构示意图;
图2-3是本发明实施例提供的一种样本图像的增强过程示意图;
图2-4是本发明实施例提供的一种初始判别模型的结构示意图;
图2-5是本发明实施例提供的一种利用初始判别模型确定类别值的过程示意图;
图3是本发明实施例提供的一种图像增强方法的步骤流程图;
图4是本发明实施例提供的另一种图像增强方法的步骤流程图;
图5是本发明实施例提供的一种模型生成装置的框图;
图6是本发明实施例提供的一种图像增强装置的框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种模型生成方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像。
本发明实施例中,m可以为不小于1且不大于第一数值的整数,第一数值为训练样本集中包括的第一样本图像的个数,优选的,可以设置m大于1且小于训练样本集中包括的第一样本图像的个数,示例的,可以设置m为8,这样,可以由于避免每轮的训练样本数过大,导致训练负荷较重的问题,同时,也可以避免训练样本数过小,导致每轮的训练效率较低。进一步地,该初始图像增强模型可以是开发人员基于神经网络模型预先构建的,该初始图像增强模型可以包括多层结构,每层结构可以实现不同的处理。
步骤102、利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值。
本发明实施例中,这n张第二样本图像可以是进行每轮训练时,从训练样本集中抽取的n张第二样本图像,n为不小于1且不大于第二数值的整数,该第二数值为训练样本集中包括的第二样本图像的个数,其中,第一样本图像可以是预先采集的质量较差的图像,第二样本图像可以是预先采集的质量较好的图像,第二样本图像的质量高于第一样本图像的质量,需要说明的是,为了使后续过程中,基于第一样本增强图像以及第二样本图像计算的损失值能够更为准确的表示初始图像增强模型的误差,可以设置m与n相等。
进一步地,该初始判别模型可以是开发人员基于神经网络模型预先构建的,该初始判别模型可以包括多层结构,该初始判别模块可以包括卷积层以及全连接层,其中,每层结构可以实现不同的处理。进一步地,该初始判别模型可以用于确定图像的类别值,其中,该类别值可以表示该图像属于某个类别的概率,具体的,若图像的类别值越靠近某一类别的类别值,则可以认为该图像属于该类别的概率越大。
步骤103、根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值。
本发明实施例中,该目标类别值可以为增强后的第一样本图像对应的类别值与第二样本图像对应的类别值的均值,其中,增强后的第一样本图像对应的类别值以及第二样本图像对应的类别值可以是预先设定的,示例的,可以设定增强后的第一样本图像对应的类别值为0,第二样本图像对应的类别值为1,相应地,该目标类别值可以为0.5。进一步地,在计算损失值时,可以先计算每张第一样本增强图像的类别值与目标类别值的差值,以及,计算每张第二样本图像的类别值与目标类别值的差值,然后计算每个差值的绝对值的平均值,得到初始图像增强模型的损失值。
步骤104、若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型。
本发明实施例中,该第一预设范围可以根据实际应用场景和实际需求设定,本发明实施例对其不加以限制。进一步地,如果损失值在第一预设范围内,则可以认为初始图像增强模型对图像的能力足够强大,初始图像增强模型处理后的图像,已经足够接近真实的第二样本图像,使得判别模型无法分辨出图像是由低质样本图进行处理得到的,还是本身即为真实的第二样本图像,因此,可以将初始图像增强模型作为图像增强模型。
综上所述,本发明实施例提供的模型生成方法,可以利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,然后,利用初始判别模型确定每张第一样本增强图像的类别值以及n张第二样本图像中每张第二样本图像的类别值,最后,根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,计算初始图像增强模型的损失值,在损失值在第一预设范围内时,将初始图像增强模型作为图像增强模型。本发明实施例中,根据处理后的第一样本图像的类别值及第二样本图像的类别值计算损失值,作为误差判断的标准,由于无需根据每个像素的像素值来确定误差,进而可以避免处理后的图像中存在的异常点对误差判断带来偏差,保证能够准确的对图像增强模型进行训练,进而提高训练得到图像增强模型对图像的处理效果。
图2-1是本发明实施例提供的另一种模型生成方法的步骤流程图,如图2-1所示,该方法可以包括:
步骤201、利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像。
本步骤中,该初始图像增强模型可以包括第一卷积层、第一全连接层以及反卷积层,该初始图像增强模型中的参数至少包括第一卷积层中卷积核的值,第一全连接层中的第一权重矩阵,示例的,图2-2是本发明实施例提供的一种初始图像增强模型的结构示意图,从图2-2可以看出,该初始图像增强模型包括第一卷积层、第一全连接层以及反卷积层。
相应地,可以通过下述子步骤(1)~子步骤(3)实现利用初始图像增强模型对所述m张第一样本图像进行增强处理:
子步骤(1):对于每张所述第一样本图像,通过所述第一卷积层将所述第一样本图像中每个像素组成的像素矩阵,与所述第一卷积层中的卷积核进行卷积运算,得到卷积后的第一像素矩阵。
本步骤中,该卷积核可以是一个矩阵,该卷积核的大小可以是预先设定的,示例的,该卷积核的大小可以为5*5,本发明实施例对此不作限定。具体的,在进行卷积运算时,可以是基于该初始图像增强模型中卷积层包含的多个卷积子层进行的。其中,每个卷积子层可以利用该卷积子层中定义的卷积核依次对第一样本图像中每个像素组成的像素矩阵进行卷积操作,为了保证处理效果,每个卷积子层中定义的卷积核的个数可以不同,本发明实施例对此不作限定。
子步骤(2):通过所述第一全连接层将所述第一权重矩阵与所述第一像素矩阵相乘,得到第二像素矩阵。
本步骤中,通过将卷积后的第一像素矩阵与第一权重矩阵相乘,可以实现对第一像素矩阵的全连接处理,其中,该第一权重矩阵可以是预先定义的,该第一权重矩阵的大小可以与第一像素矩阵的大小相同,由于第一像素矩阵是通过卷积核提取的,体现的是输入的第一样本图像的所有局部特征,本步骤中,通过对所有局部特征进行全连接处理,使得初始图像增强模型学习局部特征的同时,学习到第一样本图像的全局特征。
子步骤(3):通过所述反卷积层对所述第二像素矩阵进行反卷积运算,得到第一样本增强图像。
本步骤中,该反卷积层可以由多个反卷积子层组成,该反卷积层包括的反卷积子层的可以与卷积层中包含的卷积子层一一对应,每个反卷积子层进行反卷积运算时,可以是利用其对应的卷积子层中定义的卷积核进行的,具体的,可以通过上采样将第二像素矩阵调整为与样本图像相同大小的矩阵,然后利用卷积核对调整后的第二像素矩阵进行反卷积,最后,可以将处理之后的第二像素矩阵构成的图像,作为第一样本增强图像。以第一卷积层包括6个卷积子层、反卷积层包括6个反卷积子层为例,图2-3是本发明实施例提供的一种样本图像的增强过程示意图,如图2-3所示,图2-3中斜线覆盖的长方形区域表示输入的样本图像,A表示第一个卷积子层对样本图像中每个像素组成的像素矩阵进行卷积操作之后,得到的像素矩阵,B表示第二个卷积子层对第一个卷积子层输出的像素矩阵进行卷积操作之后,得到的像素矩阵,以此类推,C、D、E、F分别表示第三个、第四个、第五个、第六个卷积子层对前一个卷积子层输出的像素矩阵进行卷积操作之后,得到的像素矩阵。
进一步地,N表示第一全连接层中的第一权重矩阵,G表示经过第一全连接层处理之后,得到的第二像素矩阵,H表示第一个反卷积子层对第二像素矩阵进行反卷积操作之后,得到的像素矩阵,I表示第二个反卷积子层对第一个反卷积子层输出的像素矩阵进行反卷积操作之后,得到的像素矩阵,以此类推,J、K、L、M分别表示第三个、第四个、第五个、第六个反卷积子层对前一个反卷积子层输出的像素矩阵进行反卷积操作之后,得到的像素矩阵。需要说明的是,由于每一个卷积子层中设置的卷积核的数量不同,因此每个卷积子层处理之后,得到的像素矩阵的大小不同,例如,第二个卷积子层输出的像素矩阵表示的长度和宽度,可以是第一个卷积子层输出的像素矩阵表示的长度和宽度的一半,第三个卷积子层输出的像素矩阵表示的长度和宽度,可以是第二个卷积子层输出的像素矩阵表示的长度和宽度的一半。
步骤202、利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值。
本步骤中,该初始判别模型可以包括第二卷积层及第二全连接层,该初始判别模型中的参数至少可以包括第二卷积层中卷积核的值,第二全连接层中的第二权重矩阵,示例的,图2-4是本发明实施例提供的一种初始判别模型的结构示意图,从图2-4可以看出,该初始判别模型包括第二卷积层及第二全连接层。
具体的,本步骤可以通过下述子步骤(4)~子步骤(5)实现:
子步骤(4):将每张第一样本增强图像以及每张第二样本图像作为判别图像,通过所述第二卷积层将所述判别图像中每个像素组成的像素矩阵,与所述第二卷积层中的卷积核进行卷积运算,得到卷积后的第三像素矩阵。
本步骤中,第二卷积层中的卷积核可以是一个矩阵,该卷积核的大小可以是预先设定的,示例的,该卷积核的大小可以为5*5,本发明实施例对此不作限定。具体的,在进行卷积运算时,可以是基于该第二卷积层包含的多个卷积子层进行的。其中,每个卷积子层可以利用该卷积子层中定义的卷积核依次对判别图像中每个像素组成的像素矩阵进行卷积操作,为了保证处理效果,每个卷积子层中定义的卷积核的个数可以不同,本发明实施例对此不作限定。
子步骤(5):将所述第三像素矩阵转换为单一向量矩阵,并通过所述第二全连接层计算所述第二全连接层中第二权重矩阵与所述单一向量矩阵的乘积,得到所述判别图像的类别值。
本步骤中,通过将转换后的单一向量矩阵与第二权重矩阵相乘,实现对第一像素矩阵的全连接处理,其中,该单一向量矩阵可以为单行向量矩阵也可以为单列向量矩阵,该第二权重矩阵可以是预先定义的,该第二权重矩阵可以为单一向量矩阵,具体的,可以在设置的第二权重矩阵为单行向量矩阵时,将第三像素矩阵转换为单列向量矩阵,在设置的第二权重矩阵为单列向量矩阵时,将第三像素矩阵转换为单行向量矩阵。由于第三像素矩阵是通过卷积核提取的,体现的是输入的判别图像的所有局部特征,本步骤中,通过对所有局部特征进行全连接处理,使得最终得到的类别值能够代表该判别图像的全局特征。以第二卷积层包括6个卷积子层为例,图2-5是本发明实施例提供的一种利用初始判别模型确定类别值的过程示意图,如图2-5所示,图2-5中黑色圆点覆盖的长方形区域表示输入的判别图像,N表示第二卷积层中第一个卷积子层对该图像中每个像素组成的像素矩阵进行卷积操作之后,得到的像素矩阵,O表示第二个卷积子层对第一个卷积子层输出的像素矩阵进行卷积操作之后,得到的像素矩阵,以此类推,P、Q、R、S分别表示第三个、第四个、第五个、第六个卷积子层对前一个卷积子层输出的像素矩阵进行卷积操作之后,得到的像素矩阵,图中的圆圈表示第二全连接层根据第六个卷积子层输出的第三像素矩阵进行计算之后,得到的判别图像的类别值。
进一步地,本步骤中,通过将第三像素矩阵转换为单一向量矩阵,这样,通过直接将转换后的矩阵与第二权重矩阵相乘,即可得到该判别图像的类别值,进而可以提高计算效率。进一步地,在设置初始判别模型时,可以设置初始判别模型的结构与初始图像增强模型中的结构尽量相似,例如,在初始图像增强模型采用卷积层、全连接层以及反卷积层时,设置初始判别模型包括卷积层及全连接层,这样,使得初始判别模型能够基于初始图像增强模型进行处理的特征作为确定判别图像的类别值的依据,进而可以保证确定的类别值能够更精准的体现初始图像增强模型的处理效果。
步骤203、根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值。
具体的,本步骤的实现方式可以参照上述步骤103,本发明实施例对此不作限定。
步骤204、若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型。
具体的,本步骤的实现方式可以参照上述步骤104,本发明实施例对此不作限定。
步骤205、若所述初始图像增强模型的损失值不在第一预设范围内,基于所述损失值表示的误差程度调整所述初始图像增强模型的参数。
本步骤中,如果初始图像增强模型的损失值不在第一预设范围内,则可以认为初始图像增强模型对图像的能力还不够,经过该初始图像增强模型处理之后的图像的效果还不够真实自然,因此,可以对初始图像增强模型的参数进行调整,具体的,该损失值表示的误差程度可以为损失函数的梯度值,在基于损失值表示的误差程度,对初始图像增强模型进行调整时,可以利用随机梯度下降算法实现参数调整,具体的,可以先对损失函数做梯度运算,计算损失函数的梯度值,得到误差程度,然后计算梯度值与预设步长的乘积,最后计算参数与该乘积之差,得到调整后的参数。
步骤206、利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新。
具体的,本步骤可以包括下述子步骤(6)~子步骤(10)实现:
子步骤(6):利用调整后的初始图像增强模型对所述m张第一样本图像进行增强处理,得到m张第二样本增强图像。
具体的,对m张第一样本图像进行增强处理的实现方式可以参照前述步骤201,本发明实施例在此不做赘述。
子步骤(7):利用所述初始判别模型确定每张第二样本增强图像的类别值以及每张第二样本图像的类别值。
具体的,本步骤的实现方式可以参照前述步骤202,本发明实施例在此不做赘述。
子步骤(8):根据每张第二样本增强图像的类别值、每张第二样本图像的类别值以及所述目标类别值,获取所述初始判别模型的损失值。
本步骤中,可以先计算每张第二样本增强图像的类别值与目标类别值的差值,计算每张第二样本图像的类别值与目标类别值的差值,然后计算每个差值的绝对值的平均值,得到初判别模型的损失值。
子步骤(9):若所述初始判别模型的损失值不在第二预设范围内,基于所述损失值表示的误差程度调整所述初始判别模型的参数。
本步骤中,该第二预设范围可以根据实际应用场景和实际需求设定,本发明实施例对其不加以限制。进一步地,如果损失值不在第二预设范围内,则可以认为初始判别模型对调整后的初始图像增强模型的处理效果的判断精度不够高,此时可以调整初始判别模型的参数。
子步骤(10):基于所述m张第二样本增强图像以及所述n张第二样本图像,对调整后的初始判别模型进行训练,并在对所述初始判别模型的训练次数达到预设次数,或所述初始判别模型的损失值在第二预设范围内时,停止对所述初始判别模型进行更新。
本步骤中,对调整后的初始判别模型继续进行训练时,可以利用调整后的初始判别模型确定每张第二样本增强图像的类别值以及每张第二样本图像的类别值,然后根据每张第二样本增强图像的类别值与目标类别值的差值以及每张第二样本图像的类别值与目标类别值的差值,确定该调整后的初始判别模型的损失值,若调整后的判别模型的损失值不在第二预设范围内,则继续调整参数,并基于调整后的初始判别模型,继续进行训练。最后,可以在对初始判别模型的训练次数达到预设次数,或初始判别模型的损失值在第二预设范围内时,停止对初始判别模型进行更新。
其中,该预设次数可以是根据实际情况预先设定,示例的,该预设次数可以为5,本发明实施例中,初始判别模型的损失值在第二预设范围内时,则可以认为该初始判别模型能够用于确定调整后的初始图像增强模型的误差,因此,可以停止对初始判别模型的更新,进一步地,为了提高训练的速度,也可以在对初始判别模型的训练次数达到预设次数时,认为该初始判别模型能够用于确定调整后的初始图像增强模型的误差,本发明实施例对此不作限定。
本发明实施例中,采用由调整后的初始图像增强模型生成的第二样本增强图像来对调整后的初始判别模型进行训练,使得调整后的初始判别模型能够与同步调整后的初始图像增强模型保持同步,保证后续对初始图像增强模型的训练过程中,利用该调整后的初始判别模型确定的类别值的可信度。
步骤207、从所述训练样本集中抽取m张第一样本图像,并重新执行所述利用初始图像增强模型对m张第一样本图像进行增强处理的步骤。
本步骤中,在完成对初始判别模型的更新之后,可以重新获取m张第一样本图像作为新一轮训练的样本,继续对初始图像增强模型开始新一轮的训练,这样,根据调整后的初始图像增强模型,同步对初始判别模型进行更新,可以保证对调整后的初始图像增强继续进行训练时,利用初始判别模型确定的类别值具有较高的可信度,进而保证误差判断的准确度。
综上所述,本发明实施例提供的模型生成方法,可以利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,然后,利用初始判别模型确定每张第一样本增强图像的类别值以及n张第二样本图像中每张第二样本图像的类别值,最后,根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取初始图像增强模型的损失值,在损失值在第一预设范围内时,将初始图像增强模型作为图像增强模型,反之,则可以调整初始图像增强模型的参数,并基于调整后的初始图像增强模型,对初始判别模型进行更新,最后,对初始图像增强模型继续进行训练。
本发明实施例中,根据处理后的第一样本图像的类别值及第二样本图像的类别值计算损失值,作为误差判断的标准,由于无需根据每个像素的像素值来确定误差,进而可以避免处理后的图像中存在的异常点对误差判断带来偏差,保证能够准确的对图像增强模型进行训练,进而提高训练得到图像增强模型对图像的处理效果。
图3是本发明实施例提供的一种图像增强方法的步骤流程图,如图3所示,该方法可以包括:
步骤301、将待处理图像输入图像增强模型。
本发明实施例中,该待处理图像可以是需要进行增强处理的图像,该图像增强模型可以是上述模型生成方法实施例中生成的。
步骤303、通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像。
本发明实施例中,由于该图像增强模型在训练过程中,是根据图像的类别值来确定损失值的,因此,该图像增强模型可以避免异常点带来的影响,能够正常对图像进行处理,保证对图像的处理效果。
具体的,该图像增强模型可以包括卷积层、全连接层以及反卷积层,在进行处理时,可以通过卷积层将待处理图像中每个像素组成的像素矩阵,与卷积层中的卷积核进行卷积运算,得到卷积后的第一像素矩阵,接着,通过全连接层将全连接层中的权重矩阵与第一像素矩阵相乘,得到第二像素矩阵,最后,通过反卷积层对述第二像素矩阵进行反卷积运算,得到目标图像。
综上所述,本发明实施例提供的图像增强方法,可以将待处理图像输入图像增强模型,然后通过图像增强模型对待处理图像进行增强处理,得到目标图像,其中,该图像增强模型在训练过程中,是根据图像的类别值来确定损失值的,因此,在使用该图像增强模型对待处理图像进行处理时,可以避免异常点带来的影响,能够正常对图像进行处理,保证对图像的处理效果。
图4是本发明实施例提供的另一种图像增强方法的步骤流程图,如图4所示,该方法可以包括:
步骤401、利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像。
具体的,本步骤的实现方式可以参照上述步骤101,本发明实施例对此不作限定。
步骤402、利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值。
具体的,本步骤的实现方式可以参照上述步骤102,本发明实施例对此不作限定。
步骤403、根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值。
具体的,本步骤的实现方式可以参照上述步骤103,本发明实施例对此不作限定。
步骤404、若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型。
具体的,本步骤的实现方式可以参照上述步骤104,本发明实施例对此不作限定。
步骤405、将待处理图像输入图像增强模型。
具体的,本步骤的实现方式可以参照上述步骤301,本发明实施例对此不作限定。
步骤406、通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像。
具体的,本步骤的实现方式可以参照上述步骤302,本发明实施例对此不作限定。
综上所述,本发明实施例提供的图像增强方法,可以利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,然后,利用初始判别模型确定每张第一样本增强图像的类别值以及n张第二样本图像中每张第二样本图像的类别值,接着,根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,计算初始图像增强模型的损失值,在损失值在第一预设范围内时,将初始图像增强模型作为图像增强模型,接着,将待处理图像输入图像增强模型,最后通过图像增强模型对待处理图像进行增强处理,得到目标图像。本发明实施例中,根据处理后的第一样本图像的类别值及第二样本图像的类别值计算损失值,作为误差判断的标准,由于无需根据每个像素的像素值来确定误差,进而可以避免处理后的图像中存在的异常点对误差判断带来偏差,保证能够准确的对图像增强模型进行训练,进而提高训练得到图像增强模型对图像的处理效果。
图5是本发明实施例提供的一种模型生成装置的框图,如图5所示,该装置50可以包括:
处理模块501,用于利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像;所述m为不小于1且不大于第一数值的整数,所述第一数值为训练样本集中包括的第一样本图像的个数;
第一确定模块502,用于利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值;所述第二样本图像的质量高于所述第一样本图像的质量;所述n为不小于1且不大于第二数值的整数,所述第二数值为训练样本集中包括的第二样本图像的个数;
获取模块503,用于根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值;
第二确定模块504,用于若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型。
可选的,所述装置50还包括:
调整模块,用于若所述初始图像增强模型的损失值不在第一预设范围内,基于所述损失值表示的误差程度调整所述初始图像增强模型的参数,
更新模块,用于利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新;
执行模块,用于从所述训练样本集中抽取m张第一样本图像,并重新执行所述利用初始图像增强模型对m张第一样本图像进行增强处理的步骤。
可选的,所述更新模块,用于:
利用调整后的初始图像增强模型对所述m张第一样本图像进行增强处理,得到m张第二样本增强图像;
利用所述初始判别模型确定每张第二样本增强图像的类别值以及每张第二样本图像的类别值;
根据每张第二样本增强图像的类别值、每张第二样本图像的类别值以及所述目标类别值,获取所述初始判别模型的损失值;
若所述初始判别模型的损失值不在第二预设范围内,基于所述损失值表示的误差程度调整所述初始判别模型的参数;
基于所述m张第二样本增强图像以及所述n张第二样本图像,对调整后的初始判别模型继续进行训练,并在对所述初始判别模型的训练次数达到预设次数,或所述初始判别模型的损失值在第二预设范围内时,停止对所述初始判别模型进行更新。
可选的,所述初始图像增强模型包括第一卷积层、第一全连接层以及反卷积层,所述初始图像增强模型中的参数至少包括所述第一卷积层中卷积核的值,所述第一全连接层中的第一权重矩阵;
可选的,所述处理模块501,用于:
对于每张所述第一样本图像,通过所述第一卷积层将所述第一样本图像中每个像素组成的像素矩阵,与所述第一卷积层中的卷积核进行卷积运算,得到卷积后的第一像素矩阵;
通过所述第一全连接层将所述第一权重矩阵与所述第一像素矩阵相乘,得到第二像素矩阵;
通过所述反卷积层对所述第二像素矩阵进行反卷积运算,得到第一样本增强图像。
可选的,所述初始判别模型包括第二卷积层及第二全连接层,所述初始判别模型中的参数至少包括所述第二卷积层中卷积核的值,所述第二全连接层中的第二权重矩阵;
可选的,所述第一确定模块502,用于:
将每张第一样本增强图像以及每张第二样本图像作为判别图像,通过所述第二卷积层将所述判别图像中每个像素组成的像素矩阵,与所述第二卷积层中的卷积核进行卷积运算,得到卷积后的第三像素矩阵;
将所述第三像素矩阵转换为单一向量矩阵,并通过所述第二全连接层计算所述第二全连接层中第二权重矩阵与所述单一向量矩阵的乘积,得到所述判别图像的类别值。
综上所述,本发明实施例提供的模型生成装置,可以利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,然后,利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值,最后,根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取初始图像增强模型的损失值,在损失值在第一预设范围内时,将初始图像增强模型作为图像增强模型。本发明实施例中,根据处理后的第一样本图像的类别值及第二样本图像的类别值计算损失值,作为误差判断的标准,由于无需根据每个像素的像素值来确定误差,进而可以避免处理后的图像中存在的异常点对误差判断带来偏差,保证能够准确的对图像增强模型进行训练,进而提高训练得到图像增强模型对图像的处理效果。
图6是本发明实施例提供的一种图像增强装置的框图,如图6所示,该装置60可以包括:
输入模块601,用于将待处理图像输入图像增强模型。
处理模块602,用于通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像;其中,所述图像增强模型是利用模型生成装置生成的。
综上所述,本发明实施例提供的图像增强装置,可以将待处理图像输入图像增强模型,然后通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像,其中,该图像增强模型在训练过程中,是根据图像的类别值来确定损失值的,因此,在使用该图像增强模型对待处理图像进行处理时,可以避免异常点带来的影响,能够正常对图像进行处理,保证对图像的处理效果。
对于上述装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
另外,本发明实施例还提供一种终端,包括处理器,存储器,存储在存储器上并可在处理上运行的计算机程序,该计算机程序被处理器执行时实现上述模型生成方法实施例以及图像增强方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述模型生成方法实施例以及图像增强方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,可以为只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域技术人员易于想到的是:上述各个实施例的任意组合应用都是可行的,故上述各个实施例之间的任意组合都是本发明的实施方案,但是由于篇幅限制,本说明书在此就不一一详述了。
在此提供的模型生成方法以及图像增强方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造具有本发明方案的系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的模型生成方法以及图像增强方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (11)

1.一种模型生成方法,其特征在于,所述方法包括:
利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像;所述m为正整数;
利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值;所述第二样本图像的质量高于所述第一样本图像的质量;所述n为正整数;所述类别值为图像属于某个类别的概率值;
根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值;
若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型;
若所述初始图像增强模型的损失值不在第一预设范围内,基于所述损失值表示的误差程度调整所述初始图像增强模型的参数;
利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新;
从训练样本集中抽取m张第一样本图像,并重新执行所述利用初始图像增强模型对m张第一样本图像进行增强处理的步骤。
2.根据权利要求1所述的方法,其特征在于,所述利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新,包括:
利用调整后的初始图像增强模型对所述m张第一样本图像进行增强处理,得到m张第二样本增强图像;
利用所述初始判别模型确定每张第二样本增强图像的类别值以及每张第二样本图像的类别值;
根据每张第二样本增强图像的类别值、每张第二样本图像的类别值以及所述目标类别值,获取所述初始判别模型的损失值;
若所述初始判别模型的损失值不在第二预设范围内,基于所述损失值表示的误差程度调整所述初始判别模型的参数;
基于所述m张第二样本增强图像以及所述n张第二样本图像,对调整后的初始判别模型继续进行训练,并在对所述初始判别模型的训练次数达到预设次数,或所述初始判别模型的损失值在第二预设范围内时,停止对所述初始判别模型进行更新。
3.根据权利要求1所述的方法,其特征在于,所述初始图像增强模型包括第一卷积层、第一全连接层以及反卷积层,所述初始图像增强模型中的参数至少包括所述第一卷积层中卷积核的值,所述第一全连接层中的第一权重矩阵;
所述利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像,包括:
对于每张所述第一样本图像,通过所述第一卷积层将所述第一样本图像中每个像素组成的像素矩阵,与所述第一卷积层中的卷积核进行卷积运算,得到卷积后的第一像素矩阵;
通过所述第一全连接层将所述第一权重矩阵与所述第一像素矩阵相乘,得到第二像素矩阵;
通过所述反卷积层对所述第二像素矩阵进行反卷积运算,得到第一样本增强图像。
4.根据权利要求1所述的方法,其特征在于,所述初始判别模型包括第二卷积层及第二全连接层,所述初始判别模型中的参数至少包括所述第二卷积层中卷积核的值,所述第二全连接层中的第二权重矩阵;
所述利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值,包括:
将每张第一样本增强图像以及每张第二样本图像作为判别图像,通过所述第二卷积层将所述判别图像中每个像素组成的像素矩阵,与所述第二卷积层中的卷积核进行卷积运算,得到卷积后的第三像素矩阵;
将所述第三像素矩阵转换为单一向量矩阵,并通过所述第二全连接层计算所述第二全连接层中第二权重矩阵与所述单一向量矩阵的乘积,得到所述判别图像的类别值。
5.一种图像增强方法,其特征在于,所述方法包括:
将待处理图像输入图像增强模型;
通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像;其中,所述图像增强模型是利用权利要求1至4中任一项所述的方法生成的。
6.一种模型生成装置,其特征在于,所述装置包括:
处理模块,用于利用初始图像增强模型对m张第一样本图像进行增强处理,得到m张第一样本增强图像;所述m为正整数;
第一确定模块,用于利用初始判别模型确定每张第一样本增强图像的类别值,以及n张第二样本图像中每张第二样本图像的类别值;所述第二样本图像的质量高于所述第一样本图像的质量;所述n为正整数;所述类别值为图像属于某个类别的概率值;
获取模块,用于根据每张第一样本增强图像的类别值、每张第二样本图像的类别值以及目标类别值,获取所述初始图像增强模型的损失值;
第二确定模块,用于若所述初始图像增强模型的损失值在第一预设范围内,将所述初始图像增强模型作为图像增强模型;
调整模块,用于若所述初始图像增强模型的损失值不在第一预设范围内,基于所述损失值表示的误差程度调整所述初始图像增强模型的参数;
更新模块,用于利用调整后的初始图像增强模型、所述m张第一样本图像以及所述n张第二样本图像,对所述初始判别模型进行更新;
执行模块,用于从训练样本集中抽取m张第一样本图像,并重新执行所述利用初始图像增强模型对m张第一样本图像进行增强处理的步骤。
7.根据权利要求6所述的装置,其特征在于,所述更新模块,用于:
利用调整后的初始图像增强模型对所述m张第一样本图像进行增强处理,得到m张第二样本增强图像;
利用所述初始判别模型确定每张第二样本增强图像的类别值以及每张第二样本图像的类别值;
根据每张第二样本增强图像的类别值、每张第二样本图像的类别值以及所述目标类别值,获取所述初始判别模型的损失值;
若所述初始判别模型的损失值不在第二预设范围内,基于所述损失值表示的误差程度调整所述初始判别模型的参数;
基于所述m张第二样本增强图像以及所述n张第二样本图像,对调整后的初始判别模型继续进行训练,并在对所述初始判别模型的训练次数达到预设次数,或所述初始判别模型的损失值在第二预设范围内时,停止对所述初始判别模型进行更新。
8.根据权利要求6所述的装置,其特征在于,所述初始图像增强模型包括第一卷积层、第一全连接层以及反卷积层,所述初始图像增强模型中的参数至少包括所述第一卷积层中卷积核的值,所述第一全连接层中的第一权重矩阵;
所述处理模块,用于:
对于每张所述第一样本图像,通过所述第一卷积层将所述第一样本图像中每个像素组成的像素矩阵,与所述第一卷积层中的卷积核进行卷积运算,得到卷积后的第一像素矩阵;
通过所述第一全连接层将所述第一权重矩阵与所述第一像素矩阵相乘,得到第二像素矩阵;
通过所述反卷积层对所述第二像素矩阵进行反卷积运算,得到第一样本增强图像。
9.根据权利要求6所述的装置,其特征在于,所述初始判别模型包括第二卷积层及第二全连接层,所述初始判别模型中的参数至少包括所述第二卷积层中卷积核的值,所述第二全连接层中的第二权重矩阵;
所述第一确定模块,用于:
将每张第一样本增强图像以及每张第二样本图像作为判别图像,通过所述第二卷积层将所述判别图像中每个像素组成的像素矩阵,与所述第二卷积层中的卷积核进行卷积运算,得到卷积后的第三像素矩阵;
将所述第三像素矩阵转换为单一向量矩阵,并通过所述第二全连接层计算所述第二全连接层中第二权重矩阵与所述单一向量矩阵的乘积,得到所述判别图像的类别值。
10.一种图像增强装置,其特征在于,所述装置包括:
输入模块,用于将待处理图像输入图像增强模型;
处理模块,用于通过所述图像增强模型对所述待处理图像进行增强处理,得到目标图像;其中,所述图像增强模型是利用权利要求6至9中任一项所述的装置生成的。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的模型生成方法,以及权利要求5所述的图像增强方法。
CN201811594326.6A 2018-12-25 2018-12-25 模型生成方法、图像增强方法、装置及计算机可读存储介质 Active CN109859113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811594326.6A CN109859113B (zh) 2018-12-25 2018-12-25 模型生成方法、图像增强方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811594326.6A CN109859113B (zh) 2018-12-25 2018-12-25 模型生成方法、图像增强方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109859113A CN109859113A (zh) 2019-06-07
CN109859113B true CN109859113B (zh) 2021-08-20

Family

ID=66892272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811594326.6A Active CN109859113B (zh) 2018-12-25 2018-12-25 模型生成方法、图像增强方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109859113B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288638A (zh) * 2019-07-27 2021-01-29 华为技术有限公司 图像增强设备以及系统
CN111127371B (zh) * 2020-03-30 2020-07-07 南京安科医疗科技有限公司 图像增强参数自动优化方法、存储介质和x射线扫描装置
CN111680754B (zh) * 2020-06-11 2023-09-19 抖音视界有限公司 图像分类方法、装置、电子设备及计算机可读存储介质
CN111915511A (zh) * 2020-07-06 2020-11-10 中兴飞流信息科技有限公司 一种图像增强模型在线更新系统
CN112420168B (zh) * 2020-11-12 2023-06-23 武汉联影医疗科技有限公司 数据写入数据库的方法、装置、设备和存储介质
CN113505848B (zh) * 2021-07-27 2023-09-26 京东科技控股股份有限公司 模型训练方法和装置
CN117058555A (zh) * 2023-06-29 2023-11-14 北京空间飞行器总体设计部 一种遥感卫星图像分级管理的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273978A (zh) * 2017-05-25 2017-10-20 清华大学 一种三模型博弈的产生式对抗网络模型的建立方法及装置
CN108319932A (zh) * 2018-03-12 2018-07-24 中山大学 一种基于生成式对抗网络的多图像人脸对齐的方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683048B (zh) * 2016-11-30 2020-09-01 浙江宇视科技有限公司 一种图像超分辨率方法及设备
CN107577985B (zh) * 2017-07-18 2019-10-15 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
CN107633218B (zh) * 2017-09-08 2021-06-08 百度在线网络技术(北京)有限公司 用于生成图像的方法和装置
CN107945204B (zh) * 2017-10-27 2021-06-25 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN107798669B (zh) * 2017-12-08 2021-12-21 北京小米移动软件有限公司 图像去雾方法、装置及计算机可读存储介质
CN107895358A (zh) * 2017-12-25 2018-04-10 科大讯飞股份有限公司 人脸图像的增强方法及系统
CN108537743B (zh) * 2018-03-13 2022-05-20 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108986044A (zh) * 2018-06-28 2018-12-11 广东工业大学 一种图像去雨雾方法、装置、设备及存储介质
CN108921220A (zh) * 2018-06-29 2018-11-30 国信优易数据有限公司 图像复原模型训练方法、装置及图像复原方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273978A (zh) * 2017-05-25 2017-10-20 清华大学 一种三模型博弈的产生式对抗网络模型的建立方法及装置
CN108319932A (zh) * 2018-03-12 2018-07-24 中山大学 一种基于生成式对抗网络的多图像人脸对齐的方法及装置

Also Published As

Publication number Publication date
CN109859113A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109859113B (zh) 模型生成方法、图像增强方法、装置及计算机可读存储介质
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
CN109859152B (zh) 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN106934397B (zh) 图像处理方法、装置及电子设备
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN111291825B (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN110991560B (zh) 一种结合上下文信息的目标检测方法及系统
CN109784372B (zh) 一种基于卷积神经网络的目标分类方法
CN109815988B (zh) 模型生成方法、分类方法、装置及计算机可读存储介质
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN113205142B (zh) 一种基于增量学习的目标检测方法和装置
CN109376757B (zh) 一种多标签分类方法及系统
CN111899185A (zh) 图像降噪模型的训练方法、装置、电子设备和存储介质
CN111626379B (zh) 肺炎x光图像检测方法
CN111415304A (zh) 基于级联深度网络的水下视觉增强方法和装置
JP7277341B2 (ja) ノイズ先行物を用いる曲線オブジェクトセグメンテーション
Zhong et al. Deep attentional guided image filtering
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
JP7277342B2 (ja) 幾何学的先行物を用いる曲線オブジェクトセグメンテーション
CN111027670B (zh) 特征图处理方法、装置、电子设备及存储介质
CN117456230A (zh) 一种数据分类方法、系统及电子设备
WO2023119922A1 (ja) 画像生成装置、方法及びプログラム並びに学習装置及び学習データ
CN113408528B (zh) 商品图像的质量识别方法、装置、计算设备及存储介质
CN112232361B (zh) 图像处理的方法及装置、电子设备及计算机可读存储介质
CN111898465A (zh) 一种人脸识别模型的获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant