CN112101204A - 生成式对抗网络的训练方法、图像处理方法、装置和设备 - Google Patents
生成式对抗网络的训练方法、图像处理方法、装置和设备 Download PDFInfo
- Publication number
- CN112101204A CN112101204A CN202010965427.0A CN202010965427A CN112101204A CN 112101204 A CN112101204 A CN 112101204A CN 202010965427 A CN202010965427 A CN 202010965427A CN 112101204 A CN112101204 A CN 112101204A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- age group
- processing
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 109
- 230000008569 process Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 19
- 238000007499 fusion processing Methods 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000007635 classification algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种生成式对抗网络的训练方法，涉及机器学习、计算机视觉和人脸识别技术领域。具体实现方案为：获取多组图像集，其中，多组图像集中的每组图像集具有各自的年龄段信息，每组图像集中的每个图像包括面部信息，面部信息的年龄信息属于与每组图像集对应的年龄段；以及基于多组图像集和多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练，得到经训练的生成式对抗网络。本申请还公开了一种生成式对抗网络的训练装置、图像处理方法和装置、电子设备和存储介质。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及机器学习、计算机视觉和人脸识别技术。更具体地，本申请提供了一种生成式对抗网络的训练方法和装置、图像处理方法和装置、电子设备和存储介质。
背景技术
年龄信息作为一种重要的生物特征，在日常生活中的诸多领域中有着众多应用需求。例如，面部图像年龄信息的处理已经成为电影后期制作中的重要任务，并且在通用摄影中也变得越来越流行。
随着深度学习的快速发展和互联网大数据的积累，利用深度学习神经网络模型对面部图像的年龄信息进行处理已经产生令人印象深刻的视觉效果，但是大部分模型存在训练困难，模型复杂度高的问题。
发明内容
提供了一种用于生成式对抗网络的训练方法和装置、图像处理方法和装置、电子设备和存储介质。
根据第一方面，提供了一种生成式对抗网络的训练方法，该方法包括：获取多组图像集，其中，多组图像集中的每组图像集具有各自的年龄段信息，每组图像集中的每个图像包括面部信息，面部信息的年龄信息属于与每组图像集对应的年龄段；以及基于多组图像集和多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练，得到经训练的生成式对抗网络。
根据第二方面，提供了一种图像处理方法，该方法包括：获取待处理图像，其中，待处理图像包括面部信息；确定待处理图像中的面部信息的第二目标年龄段；以及利用生成式对抗网络对待处理图像和第二目标年龄段进行处理，得到待处理图像的目标图像，其中，目标图像包括待处理图像的面部信息，面部信息的年龄信息属于目标年龄段。
根据第三方面，提供了一种生成式对抗网络的训练装置，该装置包括：第一获取模块和训练模块。第一获取模块用于获取多组图像集，其中，多组图像集中的每组图像集具有各自的年龄段信息，每组图像集中的每个图像包括面部信息，面部信息的年龄信息属于与每组图像集对应的年龄段。训练模块用于基于多组图像集和多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练，得到经训练的生成式对抗网络。
根据第四方面，提供了一种图像处理装置，该装置包括：第二获取模块、确定模块和处理模块。第二获取模块用于获取待处理图像，其中，待处理图像包括面部信息。确定模块用于确定待处理图像中的面部信息的第二目标年龄段。处理模块用于利用生成式对抗网络对待处理图像和第二目标年龄段进行处理，得到待处理图像的目标图像，其中，目标图像包括待处理图像的面部信息，面部信息的年龄信息属于目标年龄段。
根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本申请提供的方法。
根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本申请提供的方法。
根据本申请的技术方案，获取多组图像集，基于多组图像集对预先构建的初始网络模型进行训练。由于样本图像集包括年龄段信息，在对样本图像进行训练的过程中，同时训练图像中面部信息的年龄分布，本申请实施例的生成式对抗网络仅需构建一个生成网络和一个判别网络，便可进行全年龄段的数据的训练，避免相关技术中多生成网络和多判别网络的设置，由此能够简化网络结构。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一个实施例的可以应用生成式对抗网络的训练方法和装置以及图像处理方法和装置的示例性系统架构；
图2是根据本申请的一个实施例的生成式对抗网络的训练方法的流程图；
图3是根据本申请的一个实施例的对预先构建的初始网络模型进行训练的方法的流程图；
图4是根据本申请的一个实施例的初始网络模型的示例性结构示意图；
图5是根据本申请的一个实施例的判别网络的训练方法的流程图；
图6是根据本申请的一个实施例的图像处理方法的流程图；
图7是根据本申请的一个实施例的生成式对抗网络的训练装置的框图；
图8是根据本申请的一个实施例的图像处理装置的框图；以及
图9是根据本申请一个实施例的生成式对抗网络的训练方法和/或图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
面部图像年龄信息的处理也可以称为面部图像年龄编辑，面部图像年龄编辑已经成为电影后期制作中的重要任务，并且在通用摄影中也变得越来约流行。在跨年龄人脸识别、娱乐、刑侦等领域也有着广泛的应用。例如，可以用来帮助寻找走失的孩子或预测某人未来的样子。因此，面部图像年龄编辑具有很大的应用价值。
生成式对抗网络(Generative Adversarial Networks，GAN)已经能够在图像生成方面产生令人印象深刻的视觉效果，其中也包括面部图像年龄编辑的任务。尽管取得了不错的进步，但目前的对抗网络存在训练困难，模型复杂度高的问题，经训练得到的网络稳定性差，输出的图像通常会出现视觉伪影，并且大部分只能处理低分辨率的图像。想要更广泛的应用面部图像年龄编辑任务，进行更高质量和更鲁棒的图像编辑就需要解决这些问题。
在实现本申请实施例的过程中，发明人发现，可以将多个样本图像按照不同的年龄段划分为多组图像集，其中，样本图像可以是包括人物面部或动物面部的图像。以包括人物面部的图像为例，可以将多个样本图像划分为[0～10]年龄段的图像集、[11～20]年龄段的图像集、[21～30]年龄段的图像集......，每组图像集中的图像所包含的面部信息的年龄信息属于与该图像集对应的年龄段。可以针对每一个年龄段的图像集，利用生成式对抗网络分别进行训练。
例如，针对[0～10]年龄段的图像集进行训练，经训练的生成式对抗网络对于给定的包括人物面部信息的输入图像，可以输出人物在[0～10]年龄段的图像。针对[11～20]年龄段的图像集进行训练，经训练的生成式对抗网络对于给定的包括人物面部信息的输入图像，可以输出人物在[11～20]年龄段的图像......。若要输出人物在全年龄段的图像，需要将训练出的与每一个年龄段对应的对抗网络进行组合。示例性地，生成式对抗网络的训练一般需要构建生成网络和判别网络，针对每个年龄段的图像数据分别进行训练，就需要构建多个生成网络和判别网络，不同生成网络对应不同年龄段，不同辨别网络也对应不同年龄段，就需要构建[0～10]年龄段的生成网络和判别网络、[10～20]年龄段的生成网络和判别网络......等多套生成网络和判别网络，最终造成网络结构复杂。
此外，在训练初期，生成网络输出的生成图像与真实图像差距较大，为得到满足要求的图像，需要利用大量的训练样本进行大量的训练过程。例如，为提高训练的精度，需要利用人脸在不同年龄段的所有样本图像进行训练，而人脸在时间跨度较大的范围内的所有样本获取困难，进一步造成网络训练困难，导致网络稳定性差，造成输出图像有伪影以及只能处理率低分辨率的图像的问题。
图1是根据本申请一个实施例的可以应用生成式对抗网络的训练方法和装置以及图像处理方法和装置的示例性系统架构100。需要注意的是，图1所示仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括多个终端设备101、网络102和服务器103和数据库服务器104。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线和/或无线通信链路等等。
终端设备101可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器103可以是具有一定计算能力的电子设备，在此不做限定。数据库服务器104可以是能够获取或能够存储大量面部图像的电子设备，可以为服务器103执行生成式对抗网络的训练方法提供数据支撑。
本申请实施例所提供的生成式对抗网络的训练方法一般可以由服务器103执行。相应地，本申请实施例所提供的生成式对抗网络的训练装置一般可以设置于服务器103中。本申请实施例所提供的生成式对抗网络的训练方法也可以由数据库服务器104执行。相应地，本申请实施例所提供的生成式对抗网络的训练装置也可以设置于数据库服务器104中。
下面举例说明服务器103执行生成式对抗网络的训练方法的过程。示例性地，生成式对抗网络可以包括生成网络和判别网络，生成网络用于对输入的样本图像进行处理，输出一个新的图像，即生成图像，生成图像输入到判别网络中，判别网络用于判断该图像是来自于样本图像集中的真实图像，还是来自于生成网络输出的生成图像，判别网络可以输出该图像来自于样本图像集的概率。
在训练过程中，生成网络的目标就是尽量生成与真实图像相近的图像，而判别网络的目标是尽量将生成网络生成的图像与真实图像区分开来。
判别网络将判别结果反馈给生成网络，生成网络调整网络参数，同时，判别网络的判别结果也表征了判别网络自身的判别误差，判别网络根据判别误差调整网络参数。生成网络和判别网络调整参数后，生成更新后的网络模型，继续新的训练，直至生成网络输出的生成图像满足预设的要求，例如，生成网络输出的生成图像不再出现伪影和/或生成图像的清晰度高于预设阈值等。
本申请实施例所提供的图像处理方法一般可以由服务器103执行。相应地，本申请实施例所提供的图像处理装置一般可以设置于服务器103中。可以理解的是，根据本申请实施例的生成式对抗网络的训练方法和图像处理方法可以在同一设备中实施，也可以在不同设备中实施，本申请对此不做限制。
下面举例说明终端设备101和服务器103之间经由网络102进行交互的过程。示例性地，终端设备101可以安装有图像处理应用客户端，用户通过客户端将包含人物面部信息的待处理图像上传到终端设备101，并设置想要得到的目标年龄段，终端设备101将待处理的图像和目标年龄段信息发送给服务器103，服务器103利用经训练的生成式对抗网络对图像进行处理，得到目标图像，该目标图像包含该人物在目标年龄段的面部信息。
图2是根据本申请的一个实施例的生成式对抗网络的训练方法的流程图。
如图2所示，该生成式对抗网络的训练方法200可以包括操作S210～操作S220。
在操作S210，获取多组图像集。
根据本申请的实施例，多组图像集中的每组图像集具有各自的年龄段信息。示例性地，多组图像集可以是[0～10]年龄段的图像集、[11～20]年龄段的图像集......、[51～60]年龄段的图像集......。每组图像集中的图像可以包括人物或动物的面部信息，以包括人物的面部信息为例，每组图像集中的图像都包括人脸，图像中人脸的年龄信息属于与该图像集对应的年龄段。例如，针对[0～10]年龄段的图像集中的图像，图像中人脸的年龄属于0～10岁，针对[11～20]年龄段的图像集中的图像，图像中人脸的年龄属于11～20岁......。
需要说明的是，年龄段的设置可以根据实际需求进行调整，例如，为了得到更精细的处理结果，可以调小年龄段的粒度，例如调整为[0～5]、[6～10]、[11～15]......、[51～65]......。为了降低运算复杂度，也可以调大年龄段的粒度，例如调整为[0～15]、[16～30]......、[46～60]......。
在操作S220，基于多组图像集和多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练，得到经训练的生成式对抗网络。
根据本申请的实施例，上述获取到的多组图像集可以作为生成式对抗网络的训练样本数据。
示例性地，预先构建的初始网络模型可以包括生成网络和判别网络，生成网络可以是用于学习真实图像分布从而让自身生成一个类似真实图像的生成图像的深度学习神经网络，例如可以是ResNet(Residual Neural Network，残差网络)。判别网络可以是基于分类算法的神经网络，分类算法例如可以是贝叶斯分类算法、k-最邻近分类算法等。判别网络用于对输入的图像分类出是来自于真实的样本图像集，还是来自于生成网络输出的生成图像。判别网络的输出可以是图像来自于真实训练数据(而非生成数据)的概率。
需要说明的是，生成网络可以是深度学习神经网络，也可以是任意能够拟合生成图像的函数。同理，判别网络可以是深度学习神经网络，也可以是任意能够判别或分类的函数。本申请对生成网络和判别网络的类型不做限制。
根据本申请的实施例，由于用于训练的图像集包括年龄段信息，在对样本图像进行训练的过程中，同时训练图像中面部信息的年龄分布。
示例性地，生成网络对输入图像进行处理，得到生成图像，生成图像输入到判别网络，判别网络输出该生成图像来自于样本图像集的概率，以及输出与该生成图像对应的年龄段。根据判别网络输出的概率值确定生成网络和判别网络的损失值，生成网络和判别网络调整自身参数，此外，将判别网络输出的年龄段与目标年龄段之间的差值作为年龄分类的损失值返回给生成网络，生成网络调整自身参数。根据调整参数后的生成网络和判别网络得到更新后的初始网络模型，继续进行上述训练过程，直至生成网络输出的图像满足用户需求，例如输出图像的清晰度达到预设阈值等。
本领域技术人员可以理解，根据本申请的实施例，获取多组图像集，基于多组图像集对预先构建的初始网络模型进行训练，其中，由于样本图像集包括年龄段信息，在对样本图像进行训练的过程中，同时训练图像中面部信息的年龄分布。相比于相关技术中需要设置多个生成器和多个判别器分别对不同年龄段的数据进行训练，本申请实施例的生成式对抗网络仅需构建一个生成网络和一个判别网络，便可进行全年龄段的数据的训练，有效降低网络结构的复杂度。
图3是根据本申请的一个实施例的对预先构建的初始网络模型进行训练的方法的流程图。
如图3所示，该对预先构建的初始网络模型进行训练的方法可以包括操作S321～操作S327。
在操作S321，针对每组图像集中的任一图像，确定任一图像中的面部信息的第一目标年龄段。
根据本申请的实施例，针对图像集中的任一图像，该图像中的面部年龄属于的年龄段可以是任意的。根据需要，确定一目标年龄段，该目标年龄段是对该任一图像处理后，期望目标图像中的面部信息达到的年龄段。
在操作S322，利用生成网络对任一图像进行处理，得到生成图像。
根据本申请的实施例，生成网络对输入图像进行处理，能够输出新的图像，该新的图像是生成网络尽量模仿、学习和采样真实图像得到的。生成网络可以是用于学习真实图像分布从而让自身生成一个类似真实图像的生成图像的卷积神经网络，例如可以是包括多个卷积层的残差网络，也可以是任意能够拟合生成图像的函数。
在操作S323，判断生成图像的清晰度是否大于预设阈值，如果是，则结束训练，否则执行操作S324～操作S327。
根据本申请的实施例，在训练初期，生成网络输出的图像一般是比较模糊、与目标图像差距较大的图像。可以设置生成式对抗网络的训练结束条件为生成网络输出的图像达到用户预设的要求，例如，生成网络输出的生成图像不再出现伪影和/或生成图像的清晰度高于预设阈值等。如果达不到该预设的要求，则继续进行训练。
在操作S324，利用判别网络对生成图像进行处理，得到生成图像来自多组图像集的概率值以及与生成图像对应的年龄段。
示例性地，判别网络可以是一个二分类器，用于判断该图像是来自于样本图像集中的真实图像，还是来自于生成网络输出的生成图像，判别网络可以输出该图像来自于样本图像集的概率。如果一个图像来自于样本图像集，可以认为该图像是真实的，如果一个图像是由生成网络生成的，可以认为该图像是假的。判别网络输出的概率值可以是生成图像为真实图像的概率，如果概率值为1，表示该图像是真实的图像，如果概率值为0，表示该图像假的图像，也即该图像是生成网络生成的图像。判别网络输出的概率值越大，表示生成图像与真实图像的相似程度越高。
根据本申请的实施例，由于样本图像包括年龄段信息，判别网络在训练过程中，也会学习图像中的面部信息属于的年龄段信息。判别网络还可以输出与输入的生成图像对应的年龄段信息。
在操作S325，根据与生成图像对应的年龄段和第一目标年龄段之间的差值以及概率值，确定生成网络的损失值。
示例性地，判别网络输出的概率值为p，p可以表征生成图像与真实图像的相似程度，(1-p)可以表征生成网络生成的图像与真实图像的差距，也即，(1-p)可以表示生成网络生成真实图像的误差。因此，(1-p)可以作为生成网络的一部分损失值，由于生成式对抗网络是两个网络相互作用，可以称为该损失值为生成网络的环状损失或对抗损失。
根据本申请的实施例，判别网络还输出与生成图像对应的年龄段信息，判别网络输出的年龄段与目标年龄段之间的差距，可以表示生成网络生成图像的年龄段的误差。例如，生成网络要生成目标图像对应的目标年龄段是[11～20]，判别网络输出与生成图像对应的年龄段是[31～40]，则生成网络生成图像的年龄段的误差可以是20。这一误差也可以作为生成网络的一部分损失值，可以称为年龄分类损失。
在操作S326，根据概率值，确定判别网络的损失值。
示例性地，判别网络输出的概率值为p，即判别网络判断生成图像为真实图像的概率为p，则p也可以表征判别网络判别错误的程度，因此，p可以作为判别网络的损失值，称为判别网络的环状损失或对抗损失。
在操作S327，根据生成网络的损失值和判别网络的损失值分别调整生成网络的参数和判别网络的参数，以得到更新的初始网络模型，以便利用更新的初始网络模型重复上述训练过程。
根据本申请的实施例，根据生成网络的环状损失和年龄分类损失，可以调整生成网络的参数。根据判别网络的环状损失可以调整判别网络的参数，调整参数后的生成网络和判别网络构成新的网络模型，利用该新的网络模型重复上述训练过程，直至生成网络输出的图像达到预设要求。
本领域技术人员可以理解，生成网络的损失值包括环状损失和年龄分类损失，根据环状损失和年龄分类损失两部分误差调整网络结构参数，能够在训练生成图像使生成图像不断逼近真实图像的同时，使得生成图像中的面部信息不断达到目标年龄的效果，相比现有技术，本申请实施例仅采用一套生成网络和判别网络能够进行不同年龄段的图像的训练，简化了网络结构。
图4是根据本申请的一个实施例的初始网络模型的示例性结构示意图。
如图4所示，初始网络模型400包括生成网络410和判别网络420。生成网络410包括形变处理层411、纹理处理层412、灰度处理层413和融合处理层414。
示例性地，将上述多组图像集中的任一图像X输入至初始网络模型，由初始网络模型针对图像X进行训练的过程包括：
图像X和目标年龄编码“ZZZ”输入至形变处理层411，形变处理层411对图像X中的面部信息的至少部分像素点的位置进行调整，得到第一特征图像。示例性地，形变处理层411用于模拟不同年龄段的人面部的形态变化，例如，[0～10]年龄段的人的面部的“婴儿肥”形态，[31～40]和[41～50]年龄段的人的面部的“中年发福”形态，[41～50]年龄段的人的面部的“发际线消退”形态等等。
第一特征图像输入至纹理处理层412，纹理处理层412可以是具有学习能力的神经网络，例如可以是残差网络。纹理处理层412用来模拟不同年龄段的人面部的纹理变化，例如，[51～60]、[61～70]及以上年龄段的人的面部出现皱纹，男性在一定年龄段之后会出现胡子等。第一特征图像输入至纹理处理层412，纹理处理层412可以根据第一特征图像生成第二特征图像，第二特征图像中的人面部可以出现纹理处理层412模拟不同年龄段、性别生成的皱纹和/或胡子等。
第一特征图像输入至灰度处理层413，灰度处理层413可以包括一个具有学习能力的神经网络和一个灰度处理模块，该具有学习能力的神经网络例如可以是残差网络，用于模拟不同年龄段的人面部的纹理变化，如皱纹、胡子等。灰度处理模块可以将神经网络处理后的图像转换为灰度图，得到第三特征图像。
融合处理层414可以根据第三特征图像中的每个像素点的像素值为第一特征图像和第二特征图像中的每个像素点分配权重。例如，针对第三特征图像中任一像素点px3的像素值为G，可以为与像素点px3对应的第二特征图像中的像素点px2分配权重为WG，为与像素点px3对应的第一特征图像中的像素点px1分配权重为(1-WG)。示例性地，可以将第三特征图像中的像素点进行归一化处理，第三特征图像中像素点px3的像素值可以作为第二特征图像中像素点px2的权重，第一特征图像中像素点px1的权重为(1-px3的像素值)。融合处理层414根据第二特征图像中的像素点px2的权重和第一特征图中的像素点px1的权重，对像素点px2的像素值和像素点px1的像素值进行加权处理，得到融合后的像素点的像素值。
融合后的图像作为生成网络输出的生成图像，生成图像输入至判别网络420，判别网络420对生成图像进行判别，输出该生成图像为来自样本图像集的真实图像的概率值p，以及与该生成图像对应的年龄段信息。判别网络420输出的概率值p，可以表征判别网络420判别错误的程度，因此，p可以作为判别网络420的损失值，称为环状损失，将环状损失反馈给判别网络420，判别网络420可以调整自身的网络参数，以更新初始网络模型。
判别网络420输出的概率值p，还可以表征生成图像与真实图像的相似程度，则(1-p)可以表征生成网络生成的图像与真实图像的差距，因此，(1-p)可以作为生成网络410的一部分损失值，称为环状损失。判别网络420输出的年龄段与目标年龄段之间的差距，可以表示生成网络410生成图像的年龄段的误差。因此，判别网络420输出的年龄段与目标年龄段之间的差距可以作为生成网络410的一部分损失值，称为年龄分类损失。将生成网络410的环状损失和年龄分类损失反馈给生成网络410，使得生成网络410调整自身的网络参数，以更新初始网络模型。
本领域技术人员可以理解，根据本申请实施例提供的生成网络包括针对不同年龄段人面形态变化和纹理变化设置形变处理层、纹理处理层以及用于处理形变处理层和纹理处理层输出图像的灰度处理层和融合处理层，通过形变处理层、纹理处理层、灰度处理层和融合处理层对输入图像的处理，能够减少生成图像与真实图像之间的差距，提高训练效率。示例性地，在训练出图像清晰度低的生成式对抗网络之后，可以以本申请实施例提供的生成网络为基础，采样形变处理层的结果，微调纹理处理层、灰度处理层和融合处理层来得到高清图像，通过多阶段训练可以进一步提高清晰度。
可以理解，根据本申请实施例提供的生成网络利用形变处理层和纹理处理层将人面部不同年龄段的形变和纹理变化的处理从图像生成中解耦出来，能够减少生成图像与真实图像之间的差距，显著减少训练过程和训练样本数量，在较低数据成本的情况下能够完成生成式对抗网络的训练，达成千人千面的稳定效果。
图5是根据本申请的一个实施例的判别网络的训练方法的流程图。
如图5所示，该判别网络的训练方法可以包括操作S510～操作S520。
在操作S510，获取生成网络输出的多个生成图像。
根据本申请的实施例，判别网络的训练样本可以包括多组真实图像集以及生成网络输出的多个生成图像，每组真实图像集对应一个年龄段。
在操作S520，基于多组图像集、多组图像集各自的年龄段信息和多个生成图像，对预先构建的初始分类模型进行训练，以生成经训练的判别网络。
示例性地，初始分类模型可以是基于分类算法的神经网络，分类算法例如可以是贝叶斯分类算法、k-最邻近分类算法等，判别网络也可以是任意的判别或分类的函数。在训练过程中：输入来自真实图像集的图像时，判别网络优化网络结构使得输出结果为1；输入来自多个生成图像的图像时，判别网络优化网络结构使得输出结果为0。经训练的判别网络可以输出输入图像为真实图像的概率。
示例性地，在输入来自真实图像集的图像时，判别网络优化网络结构，使得输出的年龄分类结果与样本图像的年龄段相同，经训练的判别网络可以输出与输入图像对应的年龄段。
根据本申请的实施例，经训练的判别网络对输入图像进行处理，可以输出输入图像来自多组图像集的概率值、输入图像来自多个生成图像的概率值以及与输入图像对应的年龄段。
图6是根据本申请的一个实施例的图像处理方法的流程图。
如图6所示，该图像处理方法600可以包括操作S610～操作S630。
在操作S610，获取待处理图像。
根据本申请的实施例，待处理图像可以包括人物或动物的面部信息，以包括人物面部信息的图像为例，该图像中人物的年龄可以是任意的。
在操作S620，确定待处理图像中的面部信息的第二目标年龄段。
根据本申请的实施例，待处理图像包括人物的面部信息，可以根据需求确定人物的目标年龄或目标年龄段，例如，期望生成人物在55岁时候的照片，可以确定目标年龄段为[51～55]或者[51～60]。
在操作S630，利用生成式对抗网络对待处理图像和第二目标年龄段进行处理，得到待处理图像的目标图像。
根据本申请的实施例，利用上文所述的生成式对抗网络的训练方法进行训练，得到经训练的生成式对抗网络。示例性地，可以对目标年龄段例如[51～55]进行编码，得到目标年龄段编码，将待处理图像和目标年龄段编码输入到该经训练的生成式对抗网络，该经训练的生成式对抗网络可以输出人物在目标年龄段[51～55]时的人脸图像。
本领域技术人员可以理解，根据本申请的实施例，提供了生成式对抗网络的训练方法和基于经训练的生成式对抗网络的图像处理方法，由于生成网络针对不同年龄段人面形态变化和纹理变化设置形变处理层、纹理处理层以及用于处理形变处理层和纹理处理层输出图像的灰度处理层和融合处理层，通过形变处理层、纹理处理层、灰度处理层和融合处理层对输入图像的处理，能够减少生成图像与真实图像之间的差距，提高训练效率。利用经训练的生成式对抗网络对图像进行处理，通过微调形变处理层、纹理处理层、灰度处理层和融合处理层能够得到高清晰度的图像，生成面部信息在不同年龄段的图像，达成千人千面的效果。
图7是根据本申请的一个实施例的生成式对抗网络的训练装置的框图。
如图7所示，该生成式对抗网络的训练装置700可以包括第一获取模块710和训练模块720。
第一获取模块710用于获取多组图像集，其中，多组图像集中的每组图像集具有各自的年龄段信息，每组图像集中的每个图像包括面部信息，面部信息的年龄信息属于与每组图像集对应的年龄段。
训练模块720用于基于多组图像集和多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练，得到经训练的生成式对抗网络。
根据本申请的实施例，初始网络模型包括生成网络和判别网络。
根据本申请的实施例，训练模块720包括第一确定单元、第一处理单元、第二处理单元、第二确定单元、第三确定单元、调整单元和判断单元。
第一确定单元用于针对每组图像集中的任一图像，确定任一图像中的面部信息的第一目标年龄段。
第一处理单元用于利用生成网络对任一图像进行处理，得到生成图像。
第二处理单元用于利用判别网络对生成图像进行处理，得到生成图像来自多组图像集的概率值以及与生成图像对应的年龄段。
第二确定单元用于根据与生成图像对应的年龄段和第一目标年龄段之间的差值以及概率值，确定生成网络的损失值。
第三确定单元用于根据概率值，确定判别网络的损失值。
调整单元用于根据生成网络的损失值和判别网络的损失值分别调整生成网络的参数和判别网络的参数，以得到更新的初始网络模型。
判断单元用于判断生成网络输出的生成图像的清晰度是否大于预设阈值，如果大于预设阈值，则训练完成，否则针对更新的初始网络模型，重复训练过程。
根据本申请的实施例，生成网络包括形变处理层、纹理处理层、灰度处理层和融合处理层。
根据本申请的实施例，第一处理单元包括第一处理子单元、第二处理子单元、第三处理子单元和第四处理子单元。
第一处理子单元用于利用形变处理层对任一图像中的面部信息的至少部分像素点的位置进行调整，得到第一特征图像。
第二处理子单元用于利用纹理处理层对第一特征图像进行处理，得到第二特征图像。
第三处理子单元用于利用灰度处理层对第一特征图像进行处理，得到第三特征图像，其中，第三特征图像为灰度图像。
第四处理子单元用于利用融合处理层根据第三特征图像中每个像素点的像素值，对第一特征图像和第二特征图像进行融合，得到生成图像。
根据本申请的实施例，第二处理子单元具体用于利用残差网络对第一特征图像进行处理，得到第二特征图像。
根据本申请的实施例，第三处理子单元用于利用残差网络对第一特征图像进行处理，得到第二特征图像；以及将第二特征图像转换为灰度图像，得到第三特征图像。
根据本申请的实施例，第四处理子单元具体用于针对第三特征图像中的任一像素点的像素值为G，确定与任一像素点对应的第二特征图像中的像素点的权重为WG；确定与任一像素点对应的第一特征图像中的像素点的权重为(1-WG)；根据WG和(1-WG)，对第一特征图像和第二特征图像进行融合。
根据本申请的实施例，训练模块720还包括获取单元、训练单元和第三处理单元。
获取单元用于获取生成网络输出的多个生成图像。
训练单元用于基于多组图像集、多组图像集各自的年龄段信息和多个生成图像，对预先构建的初始分类模型进行训练，以生成经训练的判别网络。
第三处理单元用于利用经训练的判别网络对生成图像进行处理，得到生成图像来自多组图像集的概率值以及与生成图像对应的年龄段。
图8是根据本申请的一个实施例的图像处理装置的框图。
如图8所示，该生成式对抗网络的训练装置800可以包括第二获取模块810、确定模块820和处理模块830。
第二获取模块810用于获取待处理图像，其中，待处理图像包括面部信息。
确定模块820用于确定待处理图像中的面部信息的第二目标年龄段。
处理模块830用于利用生成式对抗网络对待处理图像和第二目标年龄段进行处理，得到待处理图像的目标图像，其中，目标图像包括待处理图像的面部信息，面部信息的年龄信息属于目标年龄段。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请一个实施例的生成式对抗网络的训练方法和/或图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备900包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的生成式对抗网络的训练方法和/或图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的生成式对抗网络的训练方法和/或图像处理方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的生成式对抗网络的训练的方法对应的程序指令/模块(例如，附图7所示的第一获取模块710和训练模块720，以及/或者，附图8所示的第二获取模块810、确定模块820和处理模块830)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的生成式对抗网络的训练方法和/或图像处理方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据生成式对抗网络的训练方法和/或图像处理方法的电子设备900的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至生成式对抗网络的训练方法和/或图像处理方法的电子设备900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
生成式对抗网络的训练的方法和/或图像处理方法的电子设备900还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与生成式对抗网络的训练方法和/或图像处理方法的电子设备900的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，获取多组图像集，基于多组图像集对预先构建的初始网络模型进行训练，其中，由于样本图像集包括年龄段信息，在对样本图像进行训练的过程中，同时训练图像中面部信息的年龄分布，本申请实施例的生成式对抗网络仅需构建一个生成网络和一个判别网络，便可进行全年龄段的数据的训练，避免相关技术中多生成网络和多判别网络的设置，能够简化网络结构。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种生成式对抗网络的训练方法，其特征在于，包括：
获取多组图像集，其中，所述多组图像集中的每组图像集具有各自的年龄段信息，所述每组图像集中的每个图像包括面部信息，所述面部信息的年龄信息属于与所述每组图像集对应的年龄段；以及
基于所述多组图像集和所述多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练，得到经训练的所述生成式对抗网络。
2.根据权利要求1所述的方法，其特征在于，所述初始网络模型包括生成网络和判别网络；
所述基于所述多组图像集和所述多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练包括：针对所述每组图像集中的任一图像，
确定所述任一图像中的面部信息的第一目标年龄段；
利用所述生成网络对所述任一图像进行处理，得到生成图像；
利用所述判别网络对所述生成图像进行处理，得到所述生成图像来自所述多组图像集的概率值以及与所述生成图像对应的年龄段；
根据与所述生成图像对应的年龄段和所述第一目标年龄段之间的差值以及所述概率值，确定所述生成网络的损失值；
根据所述概率值，确定所述判别网络的损失值；
根据所述生成网络的损失值和所述判别网络的损失值分别调整所述生成网络的参数和所述判别网络的参数，以得到更新的初始网络模型；以及
针对所述更新的初始网络模型，重复上述训练过程，直至所述生成网络输出的生成图像的清晰度大于预设阈值，得到经训练的所述生成式对抗网络。
3.根据权利要求2所述的方法，其特征在于，所述生成网络包括形变处理层、纹理处理层、灰度处理层和融合处理层；
所述利用所述生成网络对所述任一图像进行处理，得到生成图像包括：
利用所述形变处理层对所述任一图像中的面部信息的至少部分像素点的位置进行调整，得到第一特征图像；
利用所述纹理处理层对所述第一特征图像进行处理，得到第二特征图像；
利用所述灰度处理层对所述第一特征图像进行处理，得到第三特征图像，其中，所述第三特征图像为灰度图像；以及
利用所述融合处理层根据所述第三特征图像中每个像素点的像素值，对所述第一特征图像和所述第二特征图像进行融合，得到所述生成图像。
4.根据权利要求3所述的方法，其特征在于，所述利用所述纹理处理层对所述第一特征图像进行处理，得到第二特征图像包括：
利用残差网络对所述第一特征图像进行处理，得到所述第二特征图像。
5.根据权利要求3所述的方法，其特征在于，所述利用所述灰度处理层对所述第一特征图像进行处理，得到第三特征图像包括：
利用残差网络对所述第一特征图像进行处理，得到所述第二特征图像；以及
将所述第二特征图像转换为灰度图像，得到所述第三特征图像。
6.根据权利要求3所述的方法，其特征在于，所述利用所述融合处理层根据所述第三特征图像中每个像素点的像素值，对所述第一特征图像和所述第二特征图像进行融合包括：
针对所述第三特征图像中的任一像素点的像素值为G，
确定与所述任一像素点对应的所述第二特征图像中的像素点的权重为WG；
确定与所述任一像素点对应的所述第一特征图像中的像素点的权重为(1-WG)；
根据所述WG和所述(1-WG)，对所述第一特征图像和所述第二特征图像进行融合。
7.根据权利要求2所述的方法，其特征在于，所述利用所述判别网络对所述生成图像进行处理包括：
获取所述生成网络输出的多个生成图像；
基于所述多组图像集、所述多组图像集各自的年龄段信息和所述多个生成图像，对预先构建的初始分类模型进行训练，以生成经训练的所述判别网络；以及
利用所述经训练的所述判别网络对所述生成图像进行处理，得到所述生成图像来自所述多组图像集的概率值以及与所述生成图像对应的年龄段。
8.一种图像处理方法，包括：
获取待处理图像，其中，所述待处理图像包括面部信息；
确定所述待处理图像中的面部信息的第二目标年龄段；以及
利用生成式对抗网络对所述待处理图像和所述第二目标年龄段进行处理，得到所述待处理图像的目标图像，其中，所述目标图像包括所述待处理图像的面部信息，所述面部信息的年龄信息属于所述目标年龄段；
其中，所述生成式对抗网络是利用根据权利要求1～7中任一项所述的方法训练的。
9.一种生成式对抗网络的训练装置，其特征在于，包括：
第一获取模块，用于获取多组图像集，其中，所述多组图像集中的每组图像集具有各自的年龄段信息，所述每组图像集中的每个图像包括面部信息，所述面部信息的年龄信息属于与所述每组图像集对应的年龄段；以及
训练模块，用于基于所述多组图像集和所述多组图像集各自的年龄段信息，对预先构建的初始网络模型进行训练，得到经训练的所述生成式对抗网络。
10.一种图像处理装置，其特征在于，包括：
第二获取模块，用于获取待处理图像，其中，所述待处理图像包括面部信息；
确定模块，用于确定所述待处理图像中的面部信息的第二目标年龄段；以及
处理模块，用于利用生成式对抗网络对所述待处理图像和所述第二目标年龄段进行处理，得到所述待处理图像的目标图像，其中，所述目标图像包括所述待处理图像的面部信息，所述面部信息的年龄信息属于所述目标年龄段；
其中，所述生成式对抗网络是利用根据权利要求1～7中任一项所述的方法训练的。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～8中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1～8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010965427.0A CN112101204B (zh) | 2020-09-14 | 2020-09-14 | 生成式对抗网络的训练方法、图像处理方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010965427.0A CN112101204B (zh) | 2020-09-14 | 2020-09-14 | 生成式对抗网络的训练方法、图像处理方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112101204A true CN112101204A (zh) | 2020-12-18 |
| CN112101204B CN112101204B (zh) | 2024-01-23 |
Family
ID=73758882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010965427.0A Active CN112101204B (zh) | 2020-09-14 | 2020-09-14 | 生成式对抗网络的训练方法、图像处理方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101204B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113066049A (zh) * | 2021-03-10 | 2021-07-02 | 武汉大学 | Mems传感器疵病种类识别方法及系统 |
| CN113392769A (zh) * | 2021-06-16 | 2021-09-14 | 广州繁星互娱信息科技有限公司 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170351905A1 (en) * | 2016-06-06 | 2017-12-07 | Samsung Electronics Co., Ltd. | Learning model for salient facial region detection |
| CN108022213A (zh) * | 2017-11-29 | 2018-05-11 | 天津大学 | 基于生成对抗网络的视频超分辨率重建算法 |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108846350A (zh) * | 2018-06-08 | 2018-11-20 | 江苏大学 | 容忍年龄变化的人脸识别方法 |
| CN109166095A (zh) * | 2018-07-11 | 2019-01-08 | 广东技术师范学院 | 一种基于生成对抗机制的眼底影像杯盘分割方法 |
| CN109447894A (zh) * | 2018-08-20 | 2019-03-08 | 广州市久邦数码科技有限公司 | 一种基于数据分析的图像处理方法及其系统 |
| CN109902615A (zh) * | 2019-02-25 | 2019-06-18 | 中国计量大学 | 一种基于对抗网络的多个年龄段图像生成方法 |
| US20190206117A1 (en) * | 2017-12-29 | 2019-07-04 | UBTECH Robotics Corp. | Image processing method, intelligent terminal, and storage device |
| CN110097086A (zh) * | 2019-04-03 | 2019-08-06 | 平安科技（深圳）有限公司 | 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 |
| US20200034648A1 (en) * | 2018-07-27 | 2020-01-30 | Boe Technology Group Co., Ltd. | Method and apparatus for segmenting sky area, and convolutional neural network |
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| US20200151559A1 (en) * | 2018-11-14 | 2020-05-14 | Nvidia Corporation | Style-based architecture for generative neural networks |
| CN111209878A (zh) * | 2020-01-10 | 2020-05-29 | 公安部户政管理研究中心 | 跨年龄人脸识别方法及装置 |
| CN111402113A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
-
2020
- 2020-09-14 CN CN202010965427.0A patent/CN112101204B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170351905A1 (en) * | 2016-06-06 | 2017-12-07 | Samsung Electronics Co., Ltd. | Learning model for salient facial region detection |
| CN108022213A (zh) * | 2017-11-29 | 2018-05-11 | 天津大学 | 基于生成对抗网络的视频超分辨率重建算法 |
| US20190206117A1 (en) * | 2017-12-29 | 2019-07-04 | UBTECH Robotics Corp. | Image processing method, intelligent terminal, and storage device |
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108846350A (zh) * | 2018-06-08 | 2018-11-20 | 江苏大学 | 容忍年龄变化的人脸识别方法 |
| CN109166095A (zh) * | 2018-07-11 | 2019-01-08 | 广东技术师范学院 | 一种基于生成对抗机制的眼底影像杯盘分割方法 |
| US20200034648A1 (en) * | 2018-07-27 | 2020-01-30 | Boe Technology Group Co., Ltd. | Method and apparatus for segmenting sky area, and convolutional neural network |
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN109447894A (zh) * | 2018-08-20 | 2019-03-08 | 广州市久邦数码科技有限公司 | 一种基于数据分析的图像处理方法及其系统 |
| US20200151559A1 (en) * | 2018-11-14 | 2020-05-14 | Nvidia Corporation | Style-based architecture for generative neural networks |
| CN109902615A (zh) * | 2019-02-25 | 2019-06-18 | 中国计量大学 | 一种基于对抗网络的多个年龄段图像生成方法 |
| CN110097086A (zh) * | 2019-04-03 | 2019-08-06 | 平安科技（深圳）有限公司 | 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 |
| CN111209878A (zh) * | 2020-01-10 | 2020-05-29 | 公安部户政管理研究中心 | 跨年龄人脸识别方法及装置 |
| CN111402113A (zh) * | 2020-03-09 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
Non-Patent Citations (3)
| Title |
|---|
| 吴柳玮;孙锐;阚俊松;高隽;: "双重对偶生成对抗网络的跨年龄素描―照片转换", 中国图象图形学报, no. 04, pages 108 - 120 * |
| 林森;刘世本;唐延东;: "多输入融合对抗网络的水下图像增强", 红外与激光工程, no. 05, pages 217 - 225 * |
| 汤旭;: "基于对抗生成网络的身份保持人脸老化", 电子设计工程, no. 07, pages 180 - 184 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113066049A (zh) * | 2021-03-10 | 2021-07-02 | 武汉大学 | Mems传感器疵病种类识别方法及系统 |
| CN113392769A (zh) * | 2021-06-16 | 2021-09-14 | 广州繁星互娱信息科技有限公司 | 人脸图像的合成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112101204B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476871B (zh) | 用于生成视频的方法和装置 | |
| WO2017209307A1 (en) | Method and system for generating multimodal digital image | |
| US20220147695A1 (en) | Model training method and apparatus, font library establishment method and apparatus, and storage medium | |
| CN111783870A (zh) | 人体属性的识别方法、装置、设备及存储介质 | |
| CN111418198B (zh) | 提供文本相关图像的电子装置及其操作方法 | |
| CN110795569B (zh) | 知识图谱的向量表示生成方法、装置及设备 | |
| CN111931591A (zh) | 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质 | |
| CN110741377A (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
| WO2018182981A1 (en) | Sensor data processor with update ability | |
| US20220148239A1 (en) | Model training method and apparatus, font library establishment method and apparatus, device and storage medium | |
| CN111860362A (zh) | 生成人脸图像校正模型及校正人脸图像的方法和装置 | |
| JP2023541752A (ja) | ニューラルネットワークモデルのトレーニング方法、画像検索方法、機器及び媒体 | |
| CN112102153A (zh) | 图像的卡通化处理方法、装置、电子设备和存储介质 | |
| CN112101204B (zh) | 生成式对抗网络的训练方法、图像处理方法、装置和设备 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN112149634A (zh) | 图像生成器的训练方法、装置、设备以及存储介质 | |
| WO2023279076A1 (en) | Eye gaze classification | |
| Aspandi et al. | An enhanced adversarial network with combined latent features for spatio-temporal facial affect estimation in the wild | |
| CN112562045B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
| CN114429767A (zh) | 视频生成方法、装置、电子设备以及存储介质 | |
| CN112016523B (zh) | 跨模态人脸识别的方法、装置、设备和存储介质 | |
| CN112382291B (zh) | 语音交互的处理方法、装置、电子设备及存储介质 | |
| CN112464009A (zh) | 用于生成配对图像的方法、装置、电子设备及存储介质 | |
| CN112269928A (zh) | 用户推荐方法及装置、电子设备、计算机可读介质 | |
| CN111523467A (zh) | 人脸跟踪方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |