CN111145106A - 一种图像增强方法、装置、介质及设备 - Google Patents
一种图像增强方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN111145106A CN111145106A CN201911237718.1A CN201911237718A CN111145106A CN 111145106 A CN111145106 A CN 111145106A CN 201911237718 A CN201911237718 A CN 201911237718A CN 111145106 A CN111145106 A CN 111145106A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- generation
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 47
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 51
- 230000004913 activation Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 19
- 230000008485 antagonism Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 235000004257 Cordia myxa Nutrition 0.000 claims description 8
- 244000157795 Cordia myxa Species 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 76
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种图像增强方法、装置、介质及设备。所述方法包括：将待增强图像作为已训练的图像增强模型的输入，已训练的图像增强模型用于对待增强图像进行增强，已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，已训练的图像增强模型为训练完成的第一生成网络；获取已训练的图像增强模型输出的目标增强图像；其中，第一生成网络的输出分别为第二生成网络的输入和第二判别网络的输入；第三生成网络的输出分别为第四生成网络的输入和第一判别网络的输入。本发明在保留想要的目标对象的特征情况下，使图像中目标对象与背景边界更融洽，并且操作简单。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像增强方法、装置、介质及设备。
背景技术
日常经常需要用到证件照，随着带拍照功能的设备的普及，很多人喜欢自行拍摄照片后采用做图软件处理出证件照。在做图软件中通过依次执行选择抠图、选择抠图方式、选择删除和保留区域、生成透明底层图片操作后，再选择填充底色进行证件照更换背景颜色操作。在证件照背景颜色与目标物颜色比较接近、深色头发中存在白头发、披肩发蓬松情况下采用自动抠图效果不好，针对图片中颜色比较乱且区分不明显的情况下只能采用手动抠图，比较耗时，而且背景与目标物不太融洽。因此，提出一种避免图像中目标对象与背景边界不太融洽的图像增强方法显得尤为重要。
发明内容
基于此，有必要针对上述问题，提出了一种图像增强方法、装置、介质及设备。
第一方面，本发明提出了一种图像增强方法，所述方法包括：
获取待增强图像；
将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；
获取所述已训练的图像增强模型输出的目标增强图像；
其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；
所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
第二方面，本发明还提出了一种图像增强装置，所述装置包括：
图像增强模块，用于获取待增强图像，将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；获取所述已训练的图像增强模型输出的目标增强图像，其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
第三方面，本发明还提出了一种存储介质，存储有计算机指令程序，所述计算机指令程序被处理器执行时，使得所述处理器执行第一方面任一项所述方法的步骤。
第四方面，本发明还提出了一种计算机设备，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行第一方面任一项所述方法的步骤。
综上所述，本发明的图像增强方法通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像增强模型，只需要少量的样本进行学习即可学到训练样本的共同特征，泛化能力好；所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待增强图像到目标增强图像的学习，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标增强图像到待增强图像的学习，通过学习在保留想要的目标对象的特征情况下，避免图像中目标对象与背景边界不太融洽；只需要把待增强图像输入所述已训练的图像增强模型即可得到目标增强图像，相对做图软件抠图处理，操作简单。因此，本发明在保留想要的目标对象的特征情况下，使图像中目标对象与背景边界更融洽，并且操作简单。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中图像增强方法的流程图；
图2为图1中图像增强方法的训练图像增强模型的流程图；
图3为一个实施例中第一判别网络的结构示意图；
图4为一个实施例中第一生成网络的结构示意图；
图5为一个实施例中特征提取子网的结构示意图；
图6为一个实施例中特征还原子网的结构示意图；
图7为图1中图像增强方法的特征嵌入子网的工作流程图；
图8为图7中特征嵌入子网的确定待融合目标特征图像的流程图；
图9为图1中图像增强方法的梯度下降优化方法的流程图；
图10为一个实施例中图像增强装置的结构框图；
图11为一个实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提出了一种图像增强方法，所述方法包括：
S102、获取待增强图像；
其中，所述待增强图像可以是需要增强的人物证件照，也可以是是其他图像，比如，可以是动物图像、植物图像，在此举例不作具体限定。
所述待增强图像可以包括在不同场景、不同时间段、不同天气等采集的图像，在此不作具体限定。
S104、将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；
具体而言，当所述待增强图像为人物证件照人脸图像时，采用人物证件图像训练出的图像增强模型作为所述已训练的图像增强模型；当所述待增强图像为动物图像时，采用对应的动物图像训练出的图像增强模型作为所述已训练的图像增强模型；当所述待增强图像为植物图像时，采用对应的植物图像训练出的图像增强模型作为所述已训练的图像增强模型。可以理解的是，采用同一类目标对象的图像训练出的图像增强模型用于增强同一类目标对象的图像，增强效果将更准确，比如，采用黑色人脸图像训练出的图像增强模型增强黑色人脸图像增强效果将更准确；采用猴子图像训练出的图像增强模型增强猴子图像增强效果将更准确，在此举例不作具体限定。
可以理解的是，所述待增强图像与用于训练所述已训练的图像增强模型的图像的风格一致，比如，所述待增强图像与用于训练所述已训练的图像增强模型的图像的色彩、造型、主题一致，在此不作具体限定。
S106、获取所述已训练的图像增强模型输出的目标增强图像；
具体而言，所述待增强图像经过所述已训练的图像增强模型增强后输出目标增强图像，目标增强图像在保留想要的目标对象的特征情况下避免图像中目标对象与背景边界不太融洽。
比如，当所述待增强图像为人物证件照时，经过所述已训练的图像增强模型增强后的人物证件图像将保留想要的目标对象的特征情况，避免图像中目标对象与背景边界不太融洽，在此举例不作具体限定。
所述想要的目标对象的特征包括头发、目标对象的轮廓。
S108、其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；
所述第一生成网络用于使对图像合成后输出的图像包括所述目标增强图像与所述待增强图像之间的差异特征，所述差异特征包括图像中目标对象与周围背景差异特征。
所述第二生成网络对所述第一生成网络输出的图像进行还原后输出的图像与输入所述第一生成网络的图像近似。
所述第二判别网络拟合了源图像与所述第一源图像生成数据的Wasserstein距离，用于使所述第一生成网络输出的图像与所述目标增强图像近似。
Wasserstein距离又叫Earth-Mover距离(EM距离)，用于衡量两个分布之间的距离，是在最优路径规划下的最小消耗。
S110、所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
所述第三生成网络用于使第一生成网络、第二生成网络、第三生成网络、第四生成网络进行可逆的生成变换。
所述第四生成网络对所述第三生成网络输出的图像进行还原后输出的图像与输入所述第三生成网络的图像近似。
所述第一判别网络拟合了目标图像与所述第一目标图像生成数据的Wasserstein距离，用于使所述第三生成网络输出的图像与所述待增强图像近似。
本实施例的图像增强方法通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像增强模型，只需要少量的样本进行学习即可学到训练样本的共同特征，泛化能力好；所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待增强图像到目标增强图像的学习，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标增强图像到待增强图像的学习，通过学习在保留想要的目标对象的特征情况下，避免图像中目标对象与背景边界不太融洽；只需要把待增强图像输入所述已训练的图像增强模型即可得到目标增强图像，相对做图软件抠图处理，操作简单。
如图2所示，在一个实施例中，所述已训练的图像增强模型采用如下方式训练得到：
S202、获取多个图像对，所述图像对中包括源图像、目标图像，所述源图像为待增强图像，目标图像为目标增强图像；
具体而言，每个图像对作为一个训练样本，训练样本的数量、目标图像与源图像的差异特征将影响训练出的图像增强模型的质量。可以理解的是，图像对的数量可以为50个、80个、100个、150个、200个，在此举例不作具体限定。
比如，当所述待增强图像为人物证件照时，所述目标图像与源图像的差异特征之间的差异特征包括图像中目标对象与周围背景差异特征，在此举例不作具体限定。
可以理解的是，每个图像对中的源图像和目标图像的风格一致，比如，每个图像对中的源图像和目标图像的色彩、造型、主题一致，在此举例不作具体限定。
S204、将所述源图像输入第一生成网络得到第一源图像生成数据，将所述第一源图像生成数据输入第二生成网络得到第二源图像生成数据，将所述目标图像输入第三生成网络得到第一目标图像生成数据，将所述第一目标图像生成数据输入第四生成网络得到第二目标图像生成数据，所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络采用相同结构的图像生成网络；
所述图像生成网络是以卷积神经网络构成。
所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络采用相同结构的图像生成网络是指所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络的输入层、隐含层、输出层相同。
S206、将所述源图像输入第一判别网络得到第一源图像期望数据，将所述第一源图像生成数据输入第二判别网络得到第二源图像期望数据，将所述目标图像输入第二判别网络得到第一目标图像期望数据，将所述第一目标图像生成数据输入第一判别网络得到第二目标图像期望数据，所述第一判别网络、所述第二判别网络采用相同结构的图像判别网络且包括多个基础块、全连接层；
所述图像判别网络是以卷积神经网络构成，用于判断输入的图像是否是真实的学习目标。
所述第一判别网络、所述第二判别网络采用相同结构的图像判别网络是指所述第一判别网络、所述第二判别网络的输入层、隐含层、输出层相同。
可以理解的是，所述第一判别网络、所述第二判别网络的全连接层后无需设置激活层。
S208、根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据、所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据采用梯度下降优化方法进行训练，得到已训练的图像增强模型。
具体而言，根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据按照第一损失函数进行计算得到第一损失值；根据所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据、所述第二源图像期望数据、所述目标图像第二期望数按照第二损失函数进行计算得到第二损失值；若所述第二损失值未达到相应的收敛条件时，则根据所述第二损失值更新所述第一判别网络、所述第二判别网络的网络参数，根据所述第二损失值更新所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络的网络参数；重复执行上述步骤直至第二损失值达到收敛条件，把训练完成的第一生成网络作为所述已训练的图像增强模型；其中，所述第一损失函数采用自适应调节的梯度惩罚系数以使每个所述第一损失函数对每个输入样本独立地施加梯度惩罚且梯度惩罚的大小满足lipschitz条件(利普希茨连续条件)。在一个实施例中，收敛条件是指在迭代的过程中，第二损失值发生收敛，基本不再发生变化，则训练停止。
比如，梯度下降优化方法包括Adam算法，在此举例不作具体限定。
本实施例通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像增强模型，只需要少量的样本进行学习即可学到训练样本的共同特征，比如，采用100个样本进行学习即可学到训练样本的共同特征，泛化能力好；所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待增强图像到目标增强图像的学习，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标增强图像到待增强图像的学习，使增强操作可逆，在保留想要的目标对象的特征情况下避免图像中目标对象与背景边界不太融洽；采用梯度下降优化方法计算复杂度小，能快速筛选出训练样本的共同特征，从而提高了训练效率。
如图3所示，在一个实施例中，所述第一判别网络包括依次相连的输入层、第一基础块、第二基础块、第三基础块、第四基础块、第五基础块、第六基础块、全连接层；
所述第一基础块包括第一基础卷积层、第一激活层、第一正则化层，所述第一基础卷积层采用3×3卷积核、对称填充、步长为2、通道数为16，所述第一激活层采用LRelu激活函数，所述第一正则化层用于对单个输入图像进行正则化；
所述第二基础块包括第二基础卷积层、第二激活层、第二正则化层，所述第二基础卷积层采用3×3卷积核、不填充、步长为2、通道数为32，所述第二激活层采用LRelu激活函数，所述第二正则化层用于对单个输入图像进行正则化；
所述第三基础块包括第三基础卷积层、第三激活层、第三正则化层，所述第三基础卷积层采用3×3卷积核、不填充、步长为2、通道数为64，所述第三激活层采用LRelu激活函数，所述第三正则化层用于对单个输入图像进行正则化；
所述第四基础块包括第四基础卷积层、第四激活层、第四正则化层，所述第四基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第四激活层采用LRelu激活函数，所述第四正则化层用于对单个输入图像进行正则化；
所述第五基础块包括第五基础卷积层、第五激活层、第五正则化层，所述第五基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第五激活层采用LRelu激活函数，所述第五正则化层用于对单个输入图像进行正则化；
所述第六基础块包括第六基础卷积层、第六激活层、第六正则化层，所述第六基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第六激活层采用LRelu激活函数，所述第六正则化层用于对单个输入图像进行正则化。
可以理解的是，所述第一判别网络的结构还可以由本领域技术人员根据实际需要自行设置，在此举例不作具体限定。
所述LRelu激活函数是指Leaky Relu激活函数。可以理解的是，本领域技术人员根据实际需要将所述第一判别网络的激活函数设置为其他函激活函数，在此举例不作具体限定。
所述输入层用于将输入所述第一判别网络的图像进行归一化处理。比如，把输入所述第一判别网络的图像的像素的原始值归一化至[0，1]区间，以用于提升所述第一判别网络学习的效率。可以理解的是，所述输入层的结构可以由本领域技术人员根据实际需要自行设置，在此举例不作具体限定。
因所述第一判别网络、所述第二判别网络采用相同结构的图像判别网络，本申请中对所述第一判别网络的结构的限定同样适用于所述第二判别网络，在此对所述第二判别网络的结构不再展开赘述。
在一个实施例中，所述获取多个图像对，还包括：采集源图像，所述源图像为人物证件照，根据所述源图像进行增强处理生成与源图像对应的目标图像，所述增强处理包括保留想要的目标对象的特征的标准化处理。
所述标准化处理用于保留想要的目标对象的特征，处理方式与把源图像处理成目标图像的方式相同或相近，比如，保留目标对象的头发轮廓、衣服轮廓、脸部轮廓。
随着带摄像功能的移动工具的普及，更多的图像来自带摄像功能的移动工具的拍摄，故选用带摄像功能的移动工具拍摄的图像作为源图像，源图像经过摄像专家增强处理后作为对应的目标图像。可以理解的是，还可以采用专业拍摄设备拍摄的图像作为源图像，在此举例不作具体限定。
所述带摄像功能的移动工具包括手机、平板电脑、穿戴设备，在此举例不作具体限定。
源图像可以包括在不同场景、不同时间段、不同天气等采集的图像，在此不作具体限定。
其中，采用整张拍摄的图像作为源图像。在另一个实施例中，按预设的尺寸从拍摄的图像中截取子图像作为源图像，把该源图像进行增强处理后作为目标图像，以用于提高训练图像增强模型的效率。
如图4所示，在一个实施例中，所述第一生成网络包括特征提取子网、特征还原子网、特征嵌入子网；
所述特征提取子网用于对所述源图像进行提取得到表层特征，对所述表层特征进行压缩得到第一特征图像，所述表层特征包括轮廓；
所述特征还原子网用于把所述第一特征图像进行放大还原得到第二特征图像；
所述特征嵌入子网用于把所述第一特征图像、所述第二特征图像、所述源图像进行融合处理得到第一源图像生成数据。
所述第一生成网络通过把输入的图像进行表层特征提取、压缩、放大还原、融合处理，表层特征提取提取后会再融合处理使输出的图像没有改变输入的图像的真实分布，并且保留了表层特征保留想要的目标对象的特征。
所述融合处理是指把第一特征图像的信息、第二特征图像的信息、源图像的信息进行融合。
特征提取子网、特征还原子网、特征嵌入子网可以由本领域技术人员根据实际需要自行设置，在此不作具体限定。
因所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络采用相同结构的图像生成网络，本申请中对所述第一判别网络的结构的限定同样适用于所述第二生成网络、所述第三生成网络、所述第四生成网络，在此对所述第二生成网络、所述第三生成网络、所述第四生成网络的结构不再展开赘述。
在一个实施例中，所述特征提取子网包括依次相连的多个第一卷积块；
所述第一卷积块包括依次相连的第七卷积层、第七激活层、第一分批归一化层；
所述第七卷积层采用3×3卷积核或5×5卷积核，且采用对称填充；
所述第七激活层采用selu激活函数。
可以理解的是，所述第一卷积块的数量根据输入所述特征提取子网的图像的尺寸进行确定。
比如，如图5所示，输入所述特征提取子网的图像尺寸为512×512×3(512为像素点，3为RGB通道数，一个颜色一个通道)时，第一卷积块的为9个，9个第一卷积块的步长依次为1、1、2、1、2、1、2、1、2，所述特征提取子网输出32×32×128维特征图，在此举例不作具体限定。
所述第一分批归一化层用于将图像数据进行归一化处理，比如，采用BN，避免过度拟合。
所述第七卷积层采用3×3卷积核或5×5卷积核是指全部采用3×3卷积核、全部采用5×5卷积核、部分采用3×3卷积核和部分采用5×5卷积核中的任一种方式。
在一个实施例中，所述特征还原子网包括依次相连的多个第二卷积块、一个第三卷积块；
所述第二卷积块包括依次相连的第八卷积层、第八激活层、第二分批归一化层，所述第八卷积层采用3×3卷积核且采用对称填充，所述第八激活层采用selu激活函数；
所述第三卷积块包括第九卷积层、第九激活层、第一单元卷积层，所述第九卷积层包括采用8×8卷积核、步长为1、采用对称填充，所述第九激活层采用selu激活函数，所述第一单元卷积层包括采用1×1卷积核、步长为1、不进行填充。
可以理解的是，所述第二卷积块的数量根据输入的图像的尺寸进行确定。
比如，如图6所示，输入所述特征提取子网的图像尺寸为512×512×3(512为像素点，3为RGB通道数，一个颜色一个通道)，所述特征提取子网输出的图像为32×32×128维特征图时，第二卷积块的为4个，4个第二卷积块的步长依次为1、2、1、2，所述特征还原子网输出1×1×128维特征图，在此举例不作具体限定。
所述第二分批归一化层用于将图像数据进行归一化处理，比如，采用BN，避免过度拟合。
如图7所示，在一个实施例中，所述特征嵌入子网用于把所述第一特征图像、所述第二特征图像、所述源图像进行融合处理得到第一源图像生成数据，具体包括：
S702、将所述第二特征图像复制后进行拼接得到第三特征图像，所述第三特征图像的尺寸及通道数量与所述第一特征图像的尺寸及通道数量相同；
所述第三特征图像的尺寸及通道数量与所述第一特征图像的尺寸及通道数量相同是指图像的大小不变、通道数完全相同。比如，所述特征提取子网输出的图像为32×32×128维特征图(第一特征图像)时，第三特征图像为32×32×128维特征图。
S704、将所述第三特征图像与所述第一特征图像在通道维上进行联结得到第四特征图像；
所述通道维是通道的维度，通道是指颜色通道，比如，第三特征图像为32×32×128维特征图(32为像素点，128为RGB通道数)，其中，32×32代表是图像的长宽尺寸，128为通道维度。通道维上进行联结是指第三特征图像和第一特征图像在通道维度上直接连接，可以理解为第一特征图像在通道维度上直接加在第三特征图像的后面。进行联结后的图像大小(图像的长宽尺度)不变，通道数增加。
S706、将所述第四特征图像经过第四卷积块降通道处理后得到第五特征图像，所述第五特征图像的尺寸及通道数量与所述第一特征图像的尺寸及通道数量相同；
所述降通道处理是指降低通道数量。
第四卷积块包括卷积核为1×1及采用不填充的卷积层、采用selu激活函数的激活层、采用BN的分批归一化层。
S708、对所有所述第五特征图像根据由近及远的顺序进行减少通道数量、填充、与所述第一特征图像联结处理，得到待融合目标特征图像，所述待融合目标特征图像的尺寸及通道数量与所述源图像的尺寸及通道数量相同；
所述由近及远的顺序是指所述特征嵌入子网提取特征的顺序，先提取作为远，后提取的作为近。
S710、将所述待融合目标特征图像与所述源图像进行融合，得到第一源图像生成数据。
具体而言，将所述待融合目标特征图像与所述源图像对应位置的特征值直接相加，得到第一源图像生成数据。
比如，输入所述特征提取子网的图像尺寸为512×512×3(512为像素点，3为RGB通道数，一个颜色一个通道)，所述特征提取子网输出的图像为32×32×128维特征图(第一特征图像)时，所述特征还原子网输出1×1×128维特征图(第二特征图像)；
将1×1×128(第二特征图像)维特征图复制32×32份后进行拼接得到32×32×128维特征图(第三特征图像)；
在32×32×128维特征图(第三特征图像)后直接加在所述特征提取子网输出的图像为32×32×128维特征图(第一特征图像)后面得到32×32×256维特征图(第四特征图像)；
将32×32×256维特征图(第四特征图像)经过第四卷积块降通道处理后得到32×32×128维特征图(第五特征图像)；
将所有32×32×128维特征图(第五特征图像)根据由近及远的顺序进行减少通道数量、填充、与所述第一特征图像联结处理，得到512×512×3(待融合目标特征图像)；
将512×512×3(待融合目标特征图像)与512×512×3(源图像)对应位置的特征值直接相加得到512×512×3(第一源图像生成数据)。
如图8所示，在一个实施例中，所述对所有所述第五特征图像根据由近及远的顺序进行减少通道数量、填充、与所述第一特征图像联结处理，得到待融合目标特征图像，具体包括：
S802、采用由近及远的顺序获取所述第五特征图像；
所述由近及远的顺序是指所述特征嵌入子网提取特征的顺序，先提取作为远，后提取的作为近。
S804、将所述第五特征图像通过第五卷积块压缩后得到第六特征图像；
所述第五卷积块包括卷积层(卷积核为3×3、采用对称填充、步长为2)、采用selu激活函数的激活层、采用BN的分批归一化层。
S806、将所述第六特征图像进行相邻平均法填充后得到第七特征图像，所述第七特征图像的尺寸及通道数量与所述第一特征图像的尺寸及通道数量相同；
比如，所述第七特征图像、所述第一特征图像都为32×32×128维特征图。
S808、将所述第七特征图像与所述第一特征图像在通道维上进行联结，得到待融合目标特征图像。
具体而言，所述通道维是通道的维度，通道是指颜色通道，比如，第三特征图像为32×32×128维特征图(32为像素点，128为RGB通道数)。
将所述第七特征图像在通道维度上直接加在所述第一特征图像后面，得到待融合目标特征图像。可以理解的是，联结过程中图像的大小(图像的长宽尺寸)不变，通道数增加。
可以理解的是，通过循环执行步骤S802至步骤S808以使所述第五特征图像经过减少通道数量、填充、与所述第一特征图像联结处理得到待融合目标特征图像，所有所述第五特征图像都经过一次步骤S802至步骤S808的处理则结束循环。即第五特征图像有很多个，循环的目的是依次处理每个第五特征图像，直到所有第五特征图像处理完毕结束。
如图9所示，在一个实施例中，所述根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据、所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据采用梯度下降优化方法进行训练，得到已训练的图像增强模型，具体包括：
S902、根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据按照第一损失函数进行计算得到第一损失值，若所述第一损失值未达到第一收敛条件，则根据所述第一损失值更新所述第一判别网络、所述第二判别网络的网络参数，把更新后的所述第一判别网络、所述第二判别网络用于下一次计算所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据；
S904、根据所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据、所述第二源图像期望数据、所述目标图像第二期望数按照第二损失函数进行计算得到第二损失值，若所述第二损失值未达到第二收敛条件，则根据所述第二损失值更新所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络的网络参数，把更新后的所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络用于下一次计算所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据；
S906、重复执行上述步骤直至所述第一损失值达到所述第一收敛条件和所述第二损失值达到所述第二收敛条件，把训练完成的第一生成网络作为所述已训练的图像增强模型。
具体而言，第一收敛条件是指第一损失值需要达到的收敛条件，第二收敛条件是第二损失值需要达到的收敛条件，收敛条件是指随着迭代次数的增加，损失值不再发生变化。
重复执行步骤S902至步骤S904直至所述第一损失值达到所述第一收敛条件和所述第二损失值达到所述第二收敛条件，把训练完成的第一生成网络作为所述已训练的图像增强模型。每次循环通过第一损失函数进行计算得到第一损失值、同时按照第二损失函数进行计算得到第二损失值，增加第一损失函数迭代计算的次数，从而提高了所述第一判别网络、所述第二判别网络判别的准确性，通过提高所述第一判别网络、所述第二判别网络判别的准确性提高所述已训练的图像增强模型的准确性。
其中，所述第一损失函数采用自适应调节的梯度惩罚系数以使每个所述第一损失函数对每个输入样本独立地施加梯度惩罚且梯度惩罚的大小满足lipschitz条件(利普希茨连续条件)。
在一个实施例中，所述第一损失函数为L1的计算公式为：
L1＝E[DY(Y1)]-E[DY(Y)]+E[DX(X1)]-E[DX(X)]+a×D_gp
所述第二损失函数为L2的计算公式为：
L2＝-E[DY(Y1)]-E[DX(X1)]+1000E[MSE(X，Y1)]+1000[MSE(Y，X1)]+10000[MSE(X，X2)]+10000[MSE(Y，Y2)]
其中，E[DY(Y1)]为所述第二源图像期望数据，E[DY(Y)]为所述第一目标图像期望数据，E[DX(X1)]为所述第二目标图像期望数据，E[DX(X)]为第一源图像期望数据，MSE()是均方误差；D_gp是判别网络对生成分布的样本点(第二源图像生成数据上的点)和真实分布的样本点(源图像上与第二源图像生成数据上的点对应位置的点)连线上的样本点的移动加权平均梯度惩罚项，所述生成分布的样本点是指所述第二源图像生成数据；a为梯度惩罚系数，随D_gp的变化而变化；X为源图像，Y为目标图像，X1为第一目标图像生成数据，Y1为第一源图像生成数据，X2为第二源图像生成数据，Y2为第二目标图像生成数据，1000E[MSE(X，Y1)]中E[MSE(X，Y1)]为MSE(X，Y1)的期望值。
比如，当D_gp大于预设阈值，则a乘以2的值作为更新后的梯度惩罚系数a，以使每个所述第一损失函数对每个输入样本独立地施加梯度惩罚且梯度惩罚的大小满足lipschitz条件，从而使所述第二损失函数的输出的所述第二损失值最小化。所述预设阈值比如0.05，在此举例不做具体限定。
可以理解的是，本领域技术人员根据实际需要自行设置第一损失函数、第二损失函数，在此举例不作具体限定。
如图10所示，在一个实施例中，提出了一种图像增强装置，所述装置包括：
图像增强模块1002，用于获取待增强图像，将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；获取所述已训练的图像增强模型输出的目标增强图像，其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
本实施例的图像增强装置的图像增强模块通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像增强模型，只需要少量的样本进行学习即可学到训练样本的共同特征，泛化能力好；所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待增强图像到目标增强图像的学习，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标增强图像到待增强图像的学习，通过学习在保留想要的目标对象的特征情况下，避免图像中目标对象与背景边界不太融洽；只需要把待增强图像输入所述已训练的图像增强模型即可得到目标增强图像，相对做图软件抠图处理，操作简单。
在一个实施例中，所述已训练的图像增强模型采用如下方式训练得到：
获取多个图像对，所述图像对中包括源图像、目标图像，所述源图像为待增强图像，目标图像为目标增强图像；
将所述源图像输入第一生成网络得到第一源图像生成数据，将所述第一源图像生成数据输入第二生成网络得到第二源图像生成数据，将所述目标图像输入第三生成网络得到第一目标图像生成数据，将所述第一目标图像生成数据输入第四生成网络得到第二目标图像生成数据，所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络采用相同结构的图像生成网络；
将所述源图像输入第一判别网络得到第一源图像期望数据，将所述第一源图像生成数据输入第二判别网络得到第二源图像期望数据，将所述目标图像输入第二判别网络得到第一目标图像期望数据，将所述第一目标图像生成数据输入第一判别网络得到第二目标图像期望数据，所述第一判别网络、所述第二判别网络采用相同结构的图像判别网络且包括多个基础块、全连接层；
根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据、所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据采用梯度下降优化方法进行训练，得到已训练的图像增强模型。
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器和终端设备，所述服务器包括但不限于高性能计算机和高性能计算机集群；所述终端设备包括但不限于移动终端设备和台式终端设备，所述移动终端设备包括但不限于手机、平板电脑、智能手表和笔记本电脑，所述台式终端设备包括但不限于台式电脑和车载电脑。如图11所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现一种图像增强方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行一种图像增强方法。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的一种图像增强方法可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成的一种图像增强装置的各个程序模板。比如，图像增强模块1002。
在一个实施例中，提出了一种存储介质，存储有计算机指令程序，所述计算机指令程序被处理器执行时，使得所述处理器执行时实现如下方法步骤：
获取待增强图像；
将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；
获取所述已训练的图像增强模型输出的目标增强图像；
其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；
所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
本实施例的图像增强方法通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像增强模型，只需要少量的样本进行学习即可学到训练样本的共同特征，泛化能力好；所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待增强图像到目标增强图像的学习，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标增强图像到待增强图像的学习，通过学习在保留想要的目标对象的特征情况下，避免图像中目标对象与背景边界不太融洽；只需要把待增强图像输入所述已训练的图像增强模型即可得到目标增强图像，相对做图软件抠图处理，操作简单。
在一个实施例中，提出了一种计算机设备，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器实现如下方法步骤：
获取待增强图像；
将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；
获取所述已训练的图像增强模型输出的目标增强图像；
其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；
所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
本实施例的图像增强方法通过第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络的非监督学习训练出图像增强模型，只需要少量的样本进行学习即可学到训练样本的共同特征，泛化能力好；所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入实现了待增强图像到目标增强图像的学习，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入实现了目标增强图像到待增强图像的学习，通过学习在保留想要的目标对象的特征情况下，避免图像中目标对象与背景边界不太融洽；只需要把待增强图像输入所述已训练的图像增强模型即可得到目标增强图像，相对做图软件抠图处理，操作简单。
需要说明的是，上述一种图像增强方法、一种图像增强装置、存储介质及计算机设备属于一个总的发明构思，一种图像增强方法、一种图像增强装置、存储介质及计算机设备实施例中的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种图像增强方法，所述方法包括：
获取待增强图像；
将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；
获取所述已训练的图像增强模型输出的目标增强图像；
其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络；
所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
2.根据权利要求1所述的方法，其特征在于，所述已训练的图像增强模型采用如下方式训练得到：
获取多个图像对，所述图像对中包括源图像、目标图像，所述源图像为待增强图像，目标图像为目标增强图像；
将所述源图像输入第一生成网络得到第一源图像生成数据，将所述第一源图像生成数据输入第二生成网络得到第二源图像生成数据，将所述目标图像输入第三生成网络得到第一目标图像生成数据，将所述第一目标图像生成数据输入第四生成网络得到第二目标图像生成数据，所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络采用相同结构的图像生成网络；
将所述源图像输入第一判别网络得到第一源图像期望数据，将所述第一源图像生成数据输入第二判别网络得到第二源图像期望数据，将所述目标图像输入第二判别网络得到第一目标图像期望数据，将所述第一目标图像生成数据输入第一判别网络得到第二目标图像期望数据，所述第一判别网络、所述第二判别网络采用相同结构的图像判别网络且包括多个基础块、全连接层；
根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据、所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据采用梯度下降优化方法进行训练，得到已训练的图像增强模型。
3.根据权利要求2所述的方法，其特征在于，所述第一判别网络包括依次相连的输入层、第一基础块、第二基础块、第三基础块、第四基础块、第五基础块、第六基础块、全连接层；
所述第一基础块包括第一基础卷积层、第一激活层、第一正则化层，所述第一基础卷积层采用3×3卷积核、对称填充、步长为2、通道数为16，所述第一激活层采用LRelu激活函数，所述第一正则化层用于对单个输入图像进行正则化；
所述第二基础块包括第二基础卷积层、第二激活层、第二正则化层，所述第二基础卷积层采用3×3卷积核、不填充、步长为2、通道数为32，所述第二激活层采用LRelu激活函数，所述第二正则化层用于对单个输入图像进行正则化；
所述第三基础块包括第三基础卷积层、第三激活层、第三正则化层，所述第三基础卷积层采用3×3卷积核、不填充、步长为2、通道数为64，所述第三激活层采用LRelu激活函数，所述第三正则化层用于对单个输入图像进行正则化；
所述第四基础块包括第四基础卷积层、第四激活层、第四正则化层，所述第四基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第四激活层采用LRelu激活函数，所述第四正则化层用于对单个输入图像进行正则化；
所述第五基础块包括第五基础卷积层、第五激活层、第五正则化层，所述第五基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第五激活层采用LRelu激活函数，所述第五正则化层用于对单个输入图像进行正则化；
所述第六基础块包括第六基础卷积层、第六激活层、第六正则化层，所述第六基础卷积层采用3×3卷积核、不填充、步长为2、通道数为128，所述第六激活层采用LRelu激活函数，所述第六正则化层用于对单个输入图像进行正则化。
4.根据权利要求2所述的方法，其特征在于，所述获取多个图像对，还包括：采集源图像，所述源图像为人物证件照，根据所述源图像进行增强处理生成与源图像对应的目标图像，所述增强处理包括保留想要的目标对象的特征的标准化处理。
5.根据权利要求2所述的方法，其特征在于，所述第一生成网络包括特征提取子网、特征还原子网、特征嵌入子网；
所述特征提取子网用于对所述源图像进行提取得到表层特征，对所述表层特征进行压缩得到第一特征图像，所述表层特征包括轮廓；
所述特征还原子网用于把所述第一特征图像进行放大还原得到第二特征图像；
所述特征嵌入子网用于把所述第一特征图像、所述第二特征图像、所述源图像进行融合处理得到第一源图像生成数据。
6.根据权利要求5所述的方法，其特征在于，所述特征提取子网包括依次相连的多个第一卷积块；
所述第一卷积块包括依次相连的第七卷积层、第七激活层、第一分批归一化层；
所述第七卷积层采用3×3卷积核或5×5卷积核，且采用对称填充；
所述第七激活层采用selu激活函数。
7.根据权利要求5所述的方法，其特征在于，所述特征还原子网包括依次相连的多个第二卷积块、一个第三卷积块；
所述第二卷积块包括依次相连的第八卷积层、第八激活层、第二分批归一化层，所述第八卷积层采用3×3卷积核且采用对称填充，所述第八激活层采用selu激活函数；
所述第三卷积块包括第九卷积层、第九激活层、第一单元卷积层，所述第九卷积层包括采用8×8卷积核、步长为1、采用对称填充，所述第九激活层采用selu激活函数，所述第一单元卷积层包括采用1×1卷积核、步长为1、不进行填充。
8.根据权利要求5所述的方法，其特征在于，所述特征嵌入子网用于把所述第一特征图像、所述第二特征图像、所述源图像进行融合处理得到第一源图像生成数据，具体包括：
将所述第二特征图像复制后进行拼接得到第三特征图像，所述第三特征图像的尺寸及通道数量与所述第一特征图像的尺寸及通道数量相同；
将所述第三特征图像与所述第一特征图像在通道维上进行联结得到第四特征图像；
将所述第四特征图像经过第四卷积块降通道处理后得到第五特征图像，所述第五特征图像的尺寸及通道数量与所述第一特征图像的尺寸及通道数量相同；
对所有所述第五特征图像根据由近及远的顺序进行减少通道数量、填充、与所述第一特征图像联结处理，得到待融合目标特征图像，所述待融合目标特征图像的尺寸及通道数量与所述源图像的尺寸及通道数量相同；
将所述待融合目标特征图像与所述源图像进行融合，得到第一源图像生成数据。
9.根据权利要求8所述的方法，其特征在于，所述对所有所述第五特征图像根据由近及远的顺序进行减少通道数量、填充、与所述第一特征图像联结处理，得到待融合目标特征图像，具体包括：
采用由近及远的顺序获取所述第五特征图像；
将所述第五特征图像通过第五卷积块压缩后得到第六特征图像；
将所述第六特征图像进行相邻平均法填充后得到第七特征图像，所述第七特征图像的尺寸及通道数量与所述第一特征图像的尺寸及通道数量相同；
将所述第七特征图像与所述第一特征图像在通道维上进行联结，得到待融合目标特征图像。
10.根据权利要求2至9任一项所述的方法，其特征在于，所述根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据、所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据采用梯度下降优化方法进行训练，得到已训练的图像增强模型，具体包括：
根据所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据按照第一损失函数进行计算得到第一损失值，若所述第一损失值未达到第一收敛条件，则根据所述第一损失值更新所述第一判别网络、所述第二判别网络的网络参数，把更新后的所述第一判别网络、所述第二判别网络用于下一次计算所述第一源图像期望数据、所述第二源图像期望数据、所述第一目标图像期望数据、所述第二目标图像期望数据；
根据所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据、所述第二源图像期望数据、所述目标图像第二期望数按照第二损失函数进行计算得到第二损失值，若所述第二损失值未达到第二收敛条件，则根据所述第二损失值更新所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络的网络参数，把更新后的所述第一生成网络、所述第二生成网络、所述第三生成网络、所述第四生成网络用于下一次计算所述第一源图像生成数据、所述第二源图像生成数据、所述第一目标图像生成数据、所述第二目标图像生成数据；
重复执行上述步骤直至所述第一损失值达到所述第一收敛条件和所述第二损失值达到所述第二收敛条件，把训练完成的第一生成网络作为所述已训练的图像增强模型。
11.根据权利要求10所述的方法，其特征在于，所述第一损失函数为L1的计算公式为：
L1＝E[DY(Y1)]-E[DY(Y)]+E[DX(X1)]-E[DX(X)]+a×D_gp
所述第二损失函数为L2的计算公式为：
L2＝-E[DY(Y1)]-E[DX(X1)]+1000E[MSE(X，Y1)]+1000[MSE(Y，X1)]+10000[MSE(X，X2)]+10000[MSE(Y，Y2)]
其中，E[DY(Y1)]为所述第二源图像期望数据，E[DY(Y)]为所述第一目标图像期望数据，E[DX(X1)]为所述第二目标图像期望数据，E[DX(X)]为第一源图像期望数据，MSE()是均方误差；D_gp是判别网络对生成分布的样本点和真实分布的样本点连线上的样本点的移动加权平均梯度惩罚项，所述生成分布的样本点是指所述第二源图像生成数据；a为梯度惩罚系数，随D_gp的变化而变化；X为源图像，Y为目标图像，X1为第一目标图像生成数据，Y1为第一源图像生成数据，X2为第二源图像生成数据，Y2为第二目标图像生成数据，1000E[MSE(X，Y1)]中E[MSE(X，Y1)]为MSE(X，Y1)的期望值。
12.一种图像增强装置，其特征在于，所述装置包括：
图像增强模块，用于获取待增强图像，将所述待增强图像作为已训练的图像增强模型的输入，所述已训练的图像增强模型用于对所述待增强图像进行增强，所述已训练的图像增强模型是基于第一生成网络、第二生成网络、第三生成网络、第四生成网络、第一判别网络和第二判别网络训练得到的，所述已训练的图像增强模型为训练完成的第一生成网络；获取所述已训练的图像增强模型输出的目标增强图像，其中，所述第一生成网络的输出分别为所述第二生成网络的输入和第二判别网络的输入，所述第二生成网络用于对所述第一生成网络的输出进行还原，所述第二判别网络用于对所述第一生成网络的输出进行判断识别，所述第一生成网络和所述第二判别网络为对抗性训练网络，所述第三生成网络的输出分别为所述第四生成网络的输入和第一判别网络的输入，所述第四生成网络用于对所述第三生成网络的输出进行还原，所述第一判别网络用于对所述第三生成网络的输出进行判断识别，所述第三生成网络和所述第一判别网络为对抗性训练网络。
13.一种存储介质，存储有计算机指令程序，其特征在于，所述计算机指令程序被处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
14.一种计算机设备，其特征在于，包括至少一个存储器、至少一个处理器，所述存储器存储有计算机指令程序，所述计算机指令程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911237718.1A CN111145106B (zh) | 2019-12-06 | 2019-12-06 | 一种图像增强方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911237718.1A CN111145106B (zh) | 2019-12-06 | 2019-12-06 | 一种图像增强方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111145106A true CN111145106A (zh) | 2020-05-12 |
| CN111145106B CN111145106B (zh) | 2023-03-10 |
Family
ID=70517734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911237718.1A Active CN111145106B (zh) | 2019-12-06 | 2019-12-06 | 一种图像增强方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145106B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112100908A (zh) * | 2020-08-31 | 2020-12-18 | 西安工程大学 | 一种基于多条件深度卷积生成对抗网络的服装设计方法 |
| CN112926637A (zh) * | 2021-02-08 | 2021-06-08 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种文本检测训练集的生成方法 |
| CN113066019A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种图像增强方法及相关装置 |
| CN113762461A (zh) * | 2020-06-05 | 2021-12-07 | 辉达公司 | 使用可逆增强算子采用有限数据训练神经网络 |
| CN113780555A (zh) * | 2021-09-10 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于数据增强的模型训练方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN109146868A (zh) * | 2018-08-27 | 2019-01-04 | 北京青燕祥云科技有限公司 | 3d肺结节生成方法、装置及电子设备 |
| CN109255769A (zh) * | 2018-10-25 | 2019-01-22 | 厦门美图之家科技有限公司 | 图像增强网络的训练方法和训练模型、及图像增强方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
-
2019
- 2019-12-06 CN CN201911237718.1A patent/CN111145106B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN109146868A (zh) * | 2018-08-27 | 2019-01-04 | 北京青燕祥云科技有限公司 | 3d肺结节生成方法、装置及电子设备 |
| CN109255769A (zh) * | 2018-10-25 | 2019-01-22 | 厦门美图之家科技有限公司 | 图像增强网络的训练方法和训练模型、及图像增强方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 姚哲维等: "改进型循环生成对抗网络的血管内超声图像增强", 《计算机科学》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762461A (zh) * | 2020-06-05 | 2021-12-07 | 辉达公司 | 使用可逆增强算子采用有限数据训练神经网络 |
| CN112100908A (zh) * | 2020-08-31 | 2020-12-18 | 西安工程大学 | 一种基于多条件深度卷积生成对抗网络的服装设计方法 |
| CN112100908B (zh) * | 2020-08-31 | 2024-03-22 | 西安工程大学 | 一种基于多条件深度卷积生成对抗网络的服装设计方法 |
| CN112926637A (zh) * | 2021-02-08 | 2021-06-08 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种文本检测训练集的生成方法 |
| CN113066019A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种图像增强方法及相关装置 |
| CN113780555A (zh) * | 2021-09-10 | 2021-12-10 | 平安科技（深圳）有限公司 | 基于数据增强的模型训练方法、装置、设备及存储介质 |
| CN113780555B (zh) * | 2021-09-10 | 2024-05-10 | 平安科技（深圳）有限公司 | 基于数据增强的模型训练方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111145106B (zh) | 2023-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145106B (zh) | 一种图像增强方法、装置、介质及设备 | |
| CN110163235B (zh) | 图像增强模型的训练、图像增强方法、装置和存储介质 | |
| US20200372243A1 (en) | Image processing method and apparatus, facial recognition method and apparatus, and computer device | |
| CN106778928B (zh) | 图像处理方法及装置 | |
| CN110399799B (zh) | 图像识别和神经网络模型的训练方法、装置和系统 | |
| WO2022022154A1 (zh) | 脸部图像处理方法、装置、设备及存储介质 | |
| CN108399052B (zh) | 图片压缩方法、装置、计算机设备和存储介质 | |
| CN111598779B (zh) | 图像超分辨率处理方法和装置、电子设备及存储介质 | |
| KR101570290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 제어 프로그램, 및 기록 매체 | |
| CN111507333B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
| EP3779891A1 (en) | Method and device for training neural network model, and method and device for generating time-lapse photography video | |
| CN110807437B (zh) | 视频粒度特征确定方法、装置和计算机可读存储介质 | |
| US20210166015A1 (en) | Certificate image extraction method and terminal device | |
| CN108710893B (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
| CN111368758A (zh) | 一种人脸模糊度检测方法、装置、计算机设备及存储介质 | |
| CN111275685A (zh) | 身份证件的翻拍图像识别方法、装置、设备及介质 | |
| CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN111145107B (zh) | 一种图像美化方法、装置、介质及设备 | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| CN113344000A (zh) | 证件翻拍识别方法、装置、计算机设备和存储介质 | |
| CN114549913A (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN110766048A (zh) | 图像内容识别方法、装置、计算机设备和存储介质 | |
| CN112001399A (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN111445487A (zh) | 图像分割方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |