CN108460811A - 面部图像处理方法、装置及计算机设备 - Google Patents

面部图像处理方法、装置及计算机设备 Download PDF

Info

Publication number
CN108460811A
CN108460811A CN201810194045.5A CN201810194045A CN108460811A CN 108460811 A CN108460811 A CN 108460811A CN 201810194045 A CN201810194045 A CN 201810194045A CN 108460811 A CN108460811 A CN 108460811A
Authority
CN
China
Prior art keywords
image
model
face
differentiation
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810194045.5A
Other languages
English (en)
Other versions
CN108460811B (zh
Inventor
许健才
郭学法
林铠骏
梁志平
莫受冠
王娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Square Intelligent Technology Co Ltd
Guangzhou City Polytechnic
Original Assignee
Zhuhai Square Intelligent Technology Co Ltd
Guangzhou City Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Square Intelligent Technology Co Ltd, Guangzhou City Polytechnic filed Critical Zhuhai Square Intelligent Technology Co Ltd
Priority to CN201810194045.5A priority Critical patent/CN108460811B/zh
Publication of CN108460811A publication Critical patent/CN108460811A/zh
Application granted granted Critical
Publication of CN108460811B publication Critical patent/CN108460811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种面部图像处理方法、装置、计算机设备及计算机可读存储介质。上述方法包括步骤：获取待处理的具有初始光照条件的初始面部图像；将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。本方法提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。

Description

面部图像处理方法、装置及计算机设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种面部图像处理方法、装置、计算机设备及计算可读存储介质。
背景技术
面部重加光技术，指对输入的面部图像进行处理，合成用户在指定光照条件下的面部图像，在视频监控、媒体处理、数字艺术、公安侦查等领域具有广泛的应用。
目前，现有的面部重加光技术，比如商图像处理方法，通过定义两个不同面部在相同姿势且相同光照条件下的商，如果已经知道其中一个面部在某光照条件下(比如正面光照)的图像，则利用两个面部之间的商图像以及上述图像来合成另外一个面部在上述光照条件下的图像，但难以保持较高的视觉逼真度，即看起来不像真实的照片。
综上，发明人采用上述商图像处理方法合成指定光照条件下的面部图像时，发现该传统的图像处理方法存在处理后的面部图像视觉逼真度低的技术问题。
发明内容
基于此，有必要针对传统的图像处理方法存在处理后的面部图像视觉逼真度低的技术问题，提供一种面部图像处理方法、装置、计算机设备及计算可读存储介质。
一种面部图像处理方法，包括以下步骤：
获取待处理的具有初始光照条件的初始面部图像；
将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；
其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。
在其中一个实施例中，所述图像生成模型通过下述方法获得：
获取预设的多个样本面部图像，以及获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签；所述多个样本面部图像中包含光照条件标签为目标光照条件标签的图像以及光照条件标签为初始光照条件标签的图像；
根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练；
根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练；
向待训练的图像生成模型输入样本面部图像，得到对应的生成面部图像，设置所述生成面部图像对应的视觉逼真度标签；根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练；
通过所述第一模型、第二模型和第三模型对所述生成面部图像进行判别，得到判别误差，将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
在其中一个实施例中，所述根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练的步骤，包括：
根据多个样本面部图像及其对应的身份标识，得到多个图像对及其对应的身份标签；
根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练。
在其中一个实施例中，所述根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练的步骤，包括：
通过待训练的第一模型对样本面部图像进行判别，得到第一模型的判别结果；
将所述判别结果与对应的光照条件标签进行比较，得到第一判别误差；
将所述第一判别误差反向传播至第一模型并结合第一预设梯度，对第一模型进行反复训练，直到得到训练的第一模型；
和/或，
所述根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练的步骤，包括：
通过待训练的第二模型对图像对进行判别，得到第二模型的判别结果；
将所述判别结果与对应的身份标签进行比较，得到第二判别误差；
将所述第二判别误差反向传播至第二模型并结合第二预设梯度，对第二模型进行反复训练，直到得到训练的第二模型。
在其中一个实施例中，所述根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练的步骤，包括：
通过待训练的第三模型对样本面部图像和生成面部图像进行判别，得到第三模型的判别结果；
将所述判别结果与对应的视觉逼真度标签进行比较，得到第三判别误差；
将所述第三判别误差反向传播至第三模型并结合第三预设梯度，对第三模型进行训练；
所述将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型的步骤，包括：
将所述判别误差反向传播至图像生成模型并结合第三预设梯度，对第三模型和图像生成模型进行交替训练；
若通过图像生成模型得到的生成面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别，则停止训练，并获取当前的图像生成模型，作为满足设定条件的图像生成模型。
一种面部图像处理装置，所述装置包括：
初始面部图像获取模块，用于获取待处理的具有初始光照条件的初始面部图像；
面部图像生成模块，用于将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；
其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。
上述面部图像处理方法及装置，先获取待处理的具有初始光照条件的初始面部图像，再将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。上述实施例的方法和装置，通过训练得到的图像生成模型，即可输出同时满足身份判别、视觉逼真度判别以及光照条件判别的面部图像，既提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述面部图像处理方法的步骤。
上述计算机设备，通过所述处理器上运行的计算机程序，提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上述面部图像处理方法的步骤。
上述计算机可读存储介质，通过其存储的计算机程序，提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
附图说明
图1为一个实施例的面部图像处理方法的应用环境图；
图2为一个实施例的面部图像处理方法的示意性流程图；
图3为一个实施例的图像生成模型训练过程的示意性流程图；
图4为一个实施例的第一模型的示意性结构图；
图5为一个实施例的图像生成模型的示意性结构图；
图6为另一个实施例的面部图像处理方法的示意性流程图；
图7为一个实施例的面部图像处理装置的示意性结构图；
图8为一个实施例的面部图像处理系统的示意性结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，本申请提供的面部图像处理方法，可以应用于如图1所示的应用环境中。其中，该计算机设备可以是终端，其内部结构图可以如图1所示，包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力，能够对输入的面部图像进行处理。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面部图像处理方法。该计算机设备的显示屏用于显示初始面部图像和目标面部图像，可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该计算机设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
基于上述对应用环境的说明，以下对面部图像处理方法的实施例进行说明。
在一个实施例中，如图2所示，提供了一种面部图像处理方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤S201，获取待处理的具有初始光照条件的初始面部图像。
在本步骤中，面部图像一般指的是人脸图像，具有初始光照条件的初始面部图像指的是在任意光照条件下的面部图像，比如正面光照面部图像、非正面光照面部图像等。
通过摄像装置，比如摄像机、手机相机等拍摄光照条件下的面部图像，由此获取具有初始光照条件的初始面部图像。
步骤S202，将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有设定光照条件的目标面部图像。
在本步骤中，图像生成模型是基于具体面部图像信息和神经网络学习原理，结合多个判别模型，经过多次训练得到的；能够将输入的初始面部图像经过处理后，得到同时满足身份判别、视觉逼真度判别以及光照条件判别的目标面部图像。
其中，身份判别指的是判别初始面部图像与对应的目标面部图像是否均属于同一个人的面部图像；视觉逼真度判别指的是判别面部图像的视觉效果，辨别其是否为自然条件下拍摄的照片，比如经过训练得到的图像生成模型输出的面部图像的视觉逼真度较高，看起来像自然条件下拍摄的照片；光照条件判别指的是判别面部图像的光照信息，其中，经过训练得到的图像生成模型输出的面部图像的光照条件属于目标光照条件。
将所述初始面部图像输入预先训练的图像生成模型，经过图像生成模型对初始面部图像进行处理，并综合考虑身份、视觉逼真度和光照条件这三个因素，重新合成在目标光照条件下的面部图像，从而得到所述初始面部图像对应的具有目标光照条件的目标面部图像。通过图像生成模型，即可输出同时满足身份判别、视觉逼真度判别以及光照条件判别的面部图像，既提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
上述实施例，先获取待处理的具有初始光照条件的初始面部图像，再将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。上述实施例的方法和装置，通过训练得到的图像生成模型，即可输出同时满足身份判别、视觉逼真度判别以及光照条件判别的面部图像，既提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
基于上述实施例，有必要对图像生成模型进行训练，以得到满足设定条件的图像生成模型。
在一个实施例中，如图3所示，提供了一种图像生成模型的训练过程，所述图像生成模型通过下述方法获得：
步骤S301，获取预设的多个样本面部图像，以及获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签；所述多个样本面部图像中包含光照条件标签为目标光照条件标签的图像以及光照条件标签为初始光照条件标签的图像。
其中，身份标识指的是面部图像对应的人物的身份信息，身份信息是指对不同的人物给定不同的身份编号，以便于区分。当然，也可以采取其他信息作为身份标识。光照条件标签指的是面部图像的光照信息，比如正面光照和非正面光照等。视觉逼真度标签指的是面部图像的视觉效果，一般自然条件下拍摄的面部图像的视觉逼真度较高。获取面部图像的这三个性质，是为了作为后续训练图像生成模型的样本信息，以使其输出的面部图像符合这三个性质，比如属于同一个人、视觉逼真度高以及具有正面光照条件的面部图像。
此外，样本面部图像中既包含光照条件标签为初始光照条件标签的图像，又包含光照条件标签为目标光照条件标签的图像，是为了使训练出的图像生成模型具有这种性质：若输入的面部图像的光照条件标签为初始光照条件标签，则由训练后的图像生成模型输出的面部图像的光照条件标签为目标光照条件标签；若输入的面部图像的光照条件标签为目标光照条件标签，则由训练后的图像生成模型输出的面部图像的光照条件标签为初始光照条件标签。
在一个实施例中，建立面部图像数据库，用于收集多个样本面部图像(包括不同人物在不同光照条件下的面部图像)，并采用现有的图像识别技术，对样本面部图像进行分析，以获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签。建立面部图像数据库，方便从中随机选取样本面部图像，以对图像生成模型进行训练。
步骤S302，根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练。
其中，第一模型是指用于面部图像的光照条件判别的网络，比如光照条件判别网络。通过待训练的第一模型对样本面部图像进行判别，并根据判别结果对第一模型进行多次训练，有利于提高第一模型的光照条件判别效果，减少判别误差，进一步提高了生成目标面部图像的光照条件性。
步骤S303，根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练。
其中，第二模型是指用于面部图像的身份判别的网络，比如身份判别网络。通过待训练的第二模型对样本面部图像进行判别，并根据判别结果对第二模型进行多次训练，有利于提高第二模型的身份判别效果，减少判别误差，进一步提高了生成目标面部图像的身份稳定性。
步骤S304，向待训练的图像生成模型输入样本面部图像，得到对应的生成面部图像，设置所述生成面部图像对应的视觉逼真度标签；根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练。
其中，第三模型是指用于面部图像的视觉逼真度判别的网络，比如视觉逼真度判别网络。通过待训练的第三模型对样本面部图像进行判别，并根据判别结果对第三模型进行训练，有利于提高第三模型的视觉逼真度判别效果，减少判别误差，进一步提高了生成目标面部图像的视觉逼真度。
此外，设置所述生成面部图像对应的视觉逼真度标签，是为了根据生成面部图像对应的视觉逼真度标签和样本面部图像对应的视觉逼真度标签，对第三模型进行训练，以使其能够准确判别面部图像对应的视觉逼真度，从而减少判别误差。
步骤S305，通过所述第一模型、第二模型和第三模型对所述生成面部图像进行判别，得到判别误差，将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
其中，判别误差指的是图像生成模型输出的生成面部图像与预期面部图像之间的误差。
根据第一模型、第二模型和第三模型对生成面部图像进行判别，并通过计算得到判别误差。采用误差反向传播和梯度下降法，将判别误差反向传播至图像生成模型，根据判别误差调整第三模型和图像生成模型的权值，并对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
上述实施例，通过样本面部图像以及对第一模型、第二模型和第三模型的对抗训练，得到满足设定条件的图像生成模型，有利于提高生成的面部图像的视觉逼真度，同时保证生成的面部图像具有身份稳定性和光照条件性。
在一个实施例中，上述步骤S303，所述根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练的步骤，包括：根据多个样本面部图像及其对应的身份标识，得到多个图像对及其对应的身份标签；根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练。比如，将多个样本面部图像两两组合成图像对，并将图像对携带的两个身份标识，转化成图像对对应的身份标签；根据多个图像对及其对应的身份标签，以及采用误差反向传播和梯度下降法，对用于身份判别的第二模型进行训练。
其中，身份标签指的是图像对包含的两张面部图像的身份信息，用于标记图像对包含的面部图像是否属于同一个人，若图像对对应的两张面部图像属于同一个人，则图像对对应的身份标签记为1，若图像对对应的两张面部图像不属于同一个人，则图像对对应的身份标签记为0。当然，还可以通过其他方法进行标记。上述对用于身份判别的第二模型进行训练的实施例，根据多个图像对及其对应的身份标签，对第二模型进行多次训练，有利于提高第二模型的身份判别效果，减少判别误差，进一步提高了生成目标面部图像的身份稳定性。
在一个实施例中，上述步骤S302，所述根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练的步骤，包括：通过待训练的第一模型对样本面部图像进行判别，得到第一模型的判别结果；将所述判别结果与对应的光照条件标签进行比较，得到第一判别误差；将所述第一判别误差反向传播至第一模型并结合第一预设梯度，对第一模型进行反复训练，直到得到训练的第一模型。
其中，第一判别误差指的是第一模型对样本面部图像的光照条件标签的判别结果，与样本面部图像真实的光照条件标签之间的误差。第一预设梯度能够提供误差与梯度的关系，在此基础上结合第一判别误差，即可对第一模型的权值进行调整。
比如，通过待训练的第一模型对样本面部图像进行判别，分析样本面部图像的光照条件标签，得到第一模型的判别结果，将第一模型的判别结果与对应的光照条件标签进行比较，得到判别结果与对应的光照条件标签之间的识别误差(或者重构误差)，将该识别误差作为第一判别误差，将所述第一判别误差反向传播至第一模型并结合第一预设梯度，对第一模型进行反复训练，并多次调整和更新第一模型的权值，若第一模型的第一判别误差达到设定要求，则停止训练，并获取当前的第一模型，作为满足要求的第一模型。上述对用于光照条件判别的第一模型进行训练的实施例，根据样本面部图像及其对应的光照条件标签，对第一模型进行多次训练，有利于提高第一模型的光照条件判别效果，减少判别误差，进一步提高了生成目标面部图像的光照条件性。
在一个实施例中，如图4所示，提供了一种第一模型，所述第一模型包括编码模块410和激活模块420，所述编码模块410与激活模块420连接，所述编码模块410包括依次连接的卷积单元、非线性激活单元和最大池化单元，所述激活单元420包括依次连接的全连接单元和非线性激活单元。
所述编码模块410用于基于神经网络原理提取面部图像的特征，即把图像映射到特征。其中，卷积单元用于对图像或者提取的特征进行滤波感知，非线性激活单元用于使得第一模型具有非线性拟合能力，最大池化单元用于对提取的特征进行融合。
所述激活模块420用于获取上一层特征的全局感知以及增强第一模型的非线性表现能力。其中，全连接单元用于获取上一层特征的全局感知，非线性激活单元用于增强第一模型的非线性表现能力。
通过待训练的第一模型对输入的面部图像进行判别，将输入的面部图像经过编码和激活，即将输入的面部图像经过卷积、非线性激活、最大池化、全连接和非线性激活等一系列操作，判别输入的面部图像的光照条件标签，若输入的面部图像的光照条件标签为正面光照，则输出的判别结果为1；若输入的面部图像的光照条件标签为非正面光照，则输出的判别结果为0。具体公式如下：
其中，I为输入的面部图像，D1(I)为第一模型输出的判别结果。
当然，若输入的面部图像足够多，可以将输入的面部图像经过多次编码和激活，有利于更好地提取面部图像的特征，从而提高第一模型的光照条件判别效果，减少判别误差。
在一个实施例中，所述根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练的步骤，包括：通过待训练的第二模型对图像对进行判别，得到第二模型的判别结果；将所述判别结果与对应的身份标签进行比较，得到第二判别误差；将所述第二判别误差反向传播至第二模型并结合第二预设梯度，对第二模型进行反复训练，直到得到训练的第二模型。
其中，第二判别误差指的是第二模型对图像对的身份标签的判别结果，与图像对真实的身份标签之间的误差。第一预设梯度能够提供误差与梯度的关系，在此基础上结合第二判别误差，即可对第二模型的权值进行调整。
比如，通过待训练的第二模型对图像对进行判别，分析图像对的身份标签，得到第二模型的判别结果，将第二模型的判别结果与对应的身份标签进行比较，得到判别结果与对应的身份标签之间的识别误差，将该识别误差作为第二判别误差，将所述第二判别误差反向传播至第二模型并结合第二预设梯度，对第二模型进行反复训练，并多次调整和更新第二模型的权值，若第二模型的第二判别误差达到设定要求，则停止训练，并获取当前的第二模型，作为满足要求的第二模型。上述对用于身份判别的第二模型进行训练的实施例，根据图像对及其对应的身份标签，对第二模型进行多次训练，有利于提高第二模型的身份判别效果，减少判别误差，进一步提高了生成目标面部图像的身份稳定性。
此外，还可以将DeepID、VGG、FaceNet和ResNet等主流神经网络作为第二模型，以对图像对的身份标签进行判别，若输入的图像对的身份标签显示为同属一个人，则输出的判别结果为1；若输入的图像对的身份标签显示为不同属一个人，则输出的判别结果为0。具体公式如下：
其中，Ii,Ij为图像对包含的两张面部图像，Di(Ii,Ij)为第二模型输出的判别结果。
在一个实施例中，上述步骤S304，所述根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练的步骤，包括：通过待训练的第三模型对样本面部图像和生成面部图像进行判别，得到第三模型的判别结果；将所述判别结果与对应的视觉逼真度标签进行比较，得到第三判别误差；将所述第三判别误差反向传播至第三模型并结合第三预设梯度，对第三模型进行训练。
其中，第三判别误差指的是第三模型对样本面部图像和生成面部图像的视觉逼真度标签的判别结果，与样本面部图像和生成面部图像真实的视觉逼真度标签之间的误差。第三预设梯度能够提供误差与梯度的关系，在此基础上结合第三判别误差，即可对第三模型的权值进行调整。
比如，通过待训练的第三模型对样本面部图像和生成面部图像进行判别，分析样本面部图像和生成面部图像的视觉逼真度标签，得到第三模型的判别结果，将第三模型的判别结果与对应的视觉逼真度标签进行比较，得到判别结果与对应的视觉逼真度标签之间的识别误差，将该识别误差作为第三判别误差，将所述第三判别误差反向传播至第三模型并结合第三预设梯度，对第三模型进行训练，并调整和更新第三模型的权值。上述对用于视觉逼真度判别的第三模型进行训练的实施例，根据面部图像(包括样本面部图像和生成面部图像)及其对应的视觉逼真度标签，对第三模型进行训练，有利于提高第三模型的视觉逼真度判别效果，减少判别误差，进一步提高了生成目标面部图像的视觉逼真度。
此外，图4给出的第一模型的结构同样适用于第三模型。在一个实施例中，如图4所示，所述第三模型主要由卷积单元、非线性激活单元、最大池化单元和全连接单元组成，用于对样本面部图像和生成面部图像的视觉逼真度标签进行判别，若输入的面部图像的视觉逼真度标签显示为真实照片，则输出的判别结果为1；若输入的面部图像的视觉逼真度标签显示为虚拟照片，则输出的判别结果为0。具体公式如下：
其中，I为输入的面部图像，Dr(I)为第三模型输出的判别结果。
在一个实施例中，上述步骤S305，所述将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型的步骤，包括：将所述判别误差反向传播至图像生成模型并结合第三预设梯度，对第三模型和图像生成模型进行交替训练；若通过图像生成模型得到的生成面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别，则停止训练，并获取当前的图像生成模型，作为满足设定条件的图像生成模型。
其中，在第三预设梯度提供的误差与梯度的关系的基础上结合判别误差，可对图像生成模型的权值进行调整。
比如，将所述判别误差反向传播至图像生成模型并结合第三预设梯度与误差的关系，对图像生成模型的权值进行调整和更新。在调整后的图像生成模型中，利用上述训练第三模型的方法对第三模型进行训练，根据训练结果调整第三模型的权值，由此对第三模型和图像生成模型进行交替训练；若通过图像生成模型得到的生成面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别，则停止训练，并获取当前的图像生成模型，作为满足设定条件的图像生成模型。上述实施例，通过对第三模型和图像生成模型进行交替训练，有利于提高生成的面部图像的视觉逼真度，同时保证生成的面部图像具有身份稳定性和光照条件性。
在一个实施例中，通过如下公式得到图像生成模型对应的判别误差：
其中，B为样本面部图像集合，G(B)为样本面部图像对应的生成面部图像集合，Loss(B,G(B))为判别误差，G(I)为生成面部图像，I为样本面部图像，Dl(G(I))为第一模型的判别结果，Di(I,G(I))为第二模型的判别结果，Dr(G(I))为第三模型的判别结果，Il为样本面部图像对应的真实光照条件标签。上述实施例，综合考虑第一模型、第二模型和第三模型的判别效果，有利于提高生成的面部图像的视觉逼真度，同时保证生成的面部图像具有身份稳定性和光照条件性。
在一个实施例中，所述面部图像处理方法还包括：获取VGG-19网络的权值，根据所述权值确定待训练的图像生成模型的初始权值；采取高斯随机函数生成第一模型、第二模型和第三模型的初始权值。其中，VGG-19是一种神经网络。
在一个实施例中，如图5所示，提供了一种图像生成模型，所述图像生成模型包括编码模块510、解码模块520和非线性激活模块530，所述解码模块520的一端连接编码模块510，所述解码模块520的另一端连接非线性激活模块530，所述编码模块510包括依次连接的卷积单元、非线性激活单元和最大池化单元，所述解码模块520包括依次连接的卷积单元、非线性激活单元和上采样单元。
所述编码模块510用于基于神经网络原理提取面部图像的特征，即把图像映射到特征。其中，卷积单元用于对图像或者提取的特征进行滤波感知，非线性激活单元用于使得图像生成模型具有非线性拟合能力，最大池化单元用于对提取的特征进行融合。另外，可以把VGG-19网络当作编码模块。
所述解码模块520用于基于神经网络原理，根据提取到的特征生成新的面部图像，即把特征映射到图像。其中，上采样单元采用线性插值，用于保证生成面部图像与样本面部图像的大小一致。此外，若把VGG-19网络中的最大池化单元换成上采样单元，即可将其当作解码模块。
所述非线性激活模块530采取ReLU非线性函数，用于增强图像生成模型的非线性拟合能力。
将面部图像输入到待训练的图像生成模型，再将输入的样本面部图像经过编码、解码和非线性激活，即将输入的面部图像经过卷积、非线性激活、最大池化、上采样和非线性激活等一系列操作，使输出的目标面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别。当然，若输入的面部图像足够多，可以将输入的面部图像经过多次编码和解码(编码模块和解码模块的个数一样，保证输入的面部图像和输出的目标面部图像大小一致)，有利于更好地提取面部图像的特征以及生成新的面部图像，从而提高图像生成模型的图像处理效果，保证生成的面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别。
在一个实施例中，如图6所示，提供了另一种面部图像处理方法，所述方法包括以下步骤：
步骤S601，设置待训练的图像生成模型、光照判别模型、身份判别模型和视觉逼真度判别模型的初始权值。
其中，采用VGG-19网络的权值作为待训练的图像生成模型的初始权值，采取高斯随机函数生成待训练的光照判别模型、身份判别模型和视觉逼真度判别模型的初始权值。
步骤S602，建立面部图像数据库，用于收集多个样本面部图像(包括不同人物在不同光照条件下的面部图像)，并获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签。
步骤S603，根据多个样本面部图像及其对应的光照条件标签，并结合误差反向传播和梯度下降法，对光照判别模型进行训练，若光照判别模型的判别误差达到设定要求，则停止训练，并获取当前的光照判别模型，作为训练的光照判别模型。
步骤S604，根据多个样本面部图像及其对应的身份标识，得到多个图像对及其对应的身份标签；根据多个图像对及其对应的身份标签，并结合误差反向传播和梯度下降法，对身份判别模型进行训练，若身份判别模型的判别误差达到设定要求，则停止训练，并获取当前的身份判别模型，作为训练的身份判别模型。
步骤S605，向待训练的图像生成模型输入样本面部图像，得到对应的生成面部图像，设置所述生成面部图像对应的视觉逼真度标签；根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对视觉逼真度判别模型进行训练。
步骤S606，通过所述光照判别模型、身份判别模型和视觉逼真度判别模型对所述生成面部图像进行判别，得到判别误差，将所述判别误差反向传播至图像生成模型，以此对视觉逼真度判别模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
上述实施例，通过训练得到满足设定条件的图像生成模型，即可输出同时满足身份判别、视觉逼真度判别以及光照条件判别的面部图像，既提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
应该理解的是，虽然图2-3、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种面部图像处理装置，包括：初始面部图像获取模块710和面部图像生成模块720，其中：
初始面部图像获取模块710，用于获取待处理的具有初始光照条件的初始面部图像。
面部图像生成模块720，用于将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像。
其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。
在一个实施例中，所述面部图像处理装置还包括图像生成模型获取模块，用于获取预设的多个样本面部图像，以及获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签；所述多个样本面部图像中包含光照条件标签为目标光照条件标签的图像以及光照条件标签为初始光照条件标签的图像；根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练；根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练；向待训练的图像生成模型输入样本面部图像，得到对应的生成面部图像，设置所述生成面部图像对应的视觉逼真度标签；根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练；通过所述第一模型、第二模型和第三模型对所述生成面部图像进行判别，得到判别误差，将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
在一个实施例中，所述图像生成模型获取模块还用于：根据多个样本面部图像及其对应的身份标识，得到多个图像对及其对应的身份标签；根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练。
在一个实施例中，所述图像生成模型获取模块还用于：通过待训练的第一模型对样本面部图像进行判别，得到第一模型的判别结果；将所述判别结果与对应的光照条件标签进行比较，得到第一判别误差；将所述第一判别误差反向传播至第一模型并结合第一预设梯度，对第一模型进行反复训练，直到得到训练的第一模型。
在一个实施例中，所述图像生成模型获取模块还用于：通过待训练的第二模型对图像对进行判别，得到第二模型的判别结果；将所述判别结果与对应的身份标签进行比较，得到第二判别误差；将所述第二判别误差反向传播至第二模型并结合第二预设梯度，对第二模型进行反复训练，直到得到训练的第二模型。
在一个实施例中，所述图像生成模型获取模块还用于：通过待训练的第三模型对样本面部图像和生成面部图像进行判别，得到第三模型的判别结果；将所述判别结果与对应的视觉逼真度标签进行比较，得到第三判别误差；将所述第三判别误差反向传播至第三模型并结合第三预设梯度，对第三模型进行训练。
在一个实施例中，所述图像生成模型获取模块还用于：将所述判别误差反向传播至图像生成模型并结合第三预设梯度，对第三模型和图像生成模型进行交替训练；若通过图像生成模型得到的生成面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别，则停止训练，并获取当前的图像生成模型，作为满足设定条件的图像生成模型。
在一个实施例中，通过如下公式得到图像生成模型对应的判别误差：
其中，B为样本面部图像集合，G(B)为样本面部图像对应的生成面部图像集合，Loss(B,G(B))为判别误差，G(I)为生成面部图像，I为样本面部图像，Dl(G(I))为第一模型的判别结果，Di(I,G(I))为第二模型的判别结果，Dr(G(I))为第三模型的判别结果，Il为样本面部图像对应的真实光照条件标签。
在一个实施例中，所述面部图像处理装置还包括权值获取模块，用于获取VGG-19网络的权值，根据所述权值确定待训练的图像生成模型的初始权值。
上述各个实施例，面部图像处理装置先获取待处理的具有初始光照条件的初始面部图像，再将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。总之，通过训练得到的图像生成模型，即可输出同时满足身份判别、视觉逼真度判别以及光照条件判别的面部图像，既提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
关于面部图像处理装置的具体限定可以参见上文中对于面部图像处理方法的限定，在此不再赘述。上述面部图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图8所示，提供了一种面部图像处理系统，所述系统包括图像生成模型810、第一模型820、第二模型830以及第三模型840，所述图像生成模型810用于获取待处理的具有初始光照条件的初始面部图像，得到所述初始面部图像对应的具有目标光照条件的目标面部图像，其中，所述图像生成模型810输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。所述第一模型820用于对输出的目标面部图像的光照条件标签进行判别，所述第二模型用于对输出的目标面部图像的身份标识进行判别，所述第三模型用于对输出的目标面部图像的视觉逼真度标签进行判别。
其中，图像生成模型810是通过第一模型820、第二模型830和第三模型840的对抗训练得到的。上述实施例，通过训练得到的图像生成模型，即可输出同时满足身份判别、视觉逼真度判别以及光照条件判别的面部图像，既提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待处理的具有初始光照条件的初始面部图像；将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预设的多个样本面部图像，以及获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签；所述多个样本面部图像中包含光照条件标签为目标光照条件标签的图像以及光照条件标签为初始光照条件标签的图像；根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练；根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练；向待训练的图像生成模型输入样本面部图像，得到对应的生成面部图像，设置所述生成面部图像对应的视觉逼真度标签；根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练；通过所述第一模型、第二模型和第三模型对所述生成面部图像进行判别，得到判别误差，将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据多个样本面部图像及其对应的身份标识，得到多个图像对及其对应的身份标签；根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过待训练的第一模型对样本面部图像进行判别，得到第一模型的判别结果；将所述判别结果与对应的光照条件标签进行比较，得到第一判别误差；将所述第一判别误差反向传播至第一模型并结合第一预设梯度，对第一模型进行反复训练，直到得到训练的第一模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过待训练的第二模型对图像对进行判别，得到第二模型的判别结果；将所述判别结果与对应的身份标签进行比较，得到第二判别误差；将所述第二判别误差反向传播至第二模型并结合第二预设梯度，对第二模型进行反复训练，直到得到训练的第二模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过待训练的第三模型对样本面部图像和生成面部图像进行判别，得到第三模型的判别结果；将所述判别结果与对应的视觉逼真度标签进行比较，得到第三判别误差；将所述第三判别误差反向传播至第三模型并结合第三预设梯度，对第三模型进行训练。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述判别误差反向传播至图像生成模型并结合第三预设梯度，对第三模型和图像生成模型进行交替训练；若通过图像生成模型得到的生成面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别，则停止训练，并获取当前的图像生成模型，作为满足设定条件的图像生成模型。
在一个实施例中，通过如下公式得到图像生成模型对应的判别误差：
其中，B为样本面部图像集合，G(B)为样本面部图像对应的生成面部图像集合，Loss(B,G(B))为判别误差，G(I)为生成面部图像，I为样本面部图像，Dl(G(I))为第一模型的判别结果，Di(I,G(I))为第二模型的判别结果，Dr(G(I))为第三模型的判别结果，Il为样本面部图像对应的真实光照条件标签。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取VGG-19网络的权值，根据所述权值确定待训练的图像生成模型的初始权值。
上述各个实施例，计算机设备通过所述处理器上运行的计算机程序，提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待处理的具有初始光照条件的初始面部图像；将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取预设的多个样本面部图像，以及获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签；所述多个样本面部图像中包含光照条件标签为目标光照条件标签的图像以及光照条件标签为初始光照条件标签的图像；根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练；根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练；向待训练的图像生成模型输入样本面部图像，得到对应的生成面部图像，设置所述生成面部图像对应的视觉逼真度标签；根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练；通过所述第一模型、第二模型和第三模型对所述生成面部图像进行判别，得到判别误差，将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据多个样本面部图像及其对应的身份标识，得到多个图像对及其对应的身份标签；根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过待训练的第一模型对样本面部图像进行判别，得到第一模型的判别结果；将所述判别结果与对应的光照条件标签进行比较，得到第一判别误差；将所述第一判别误差反向传播至第一模型并结合第一预设梯度，对第一模型进行反复训练，直到得到训练的第一模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过待训练的第二模型对图像对进行判别，得到第二模型的判别结果；将所述判别结果与对应的身份标签进行比较，得到第二判别误差；将所述第二判别误差反向传播至第二模型并结合第二预设梯度，对第二模型进行反复训练，直到得到训练的第二模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过待训练的第三模型对样本面部图像和生成面部图像进行判别，得到第三模型的判别结果；将所述判别结果与对应的视觉逼真度标签进行比较，得到第三判别误差；将所述第三判别误差反向传播至第三模型并结合第三预设梯度，对第三模型进行训练。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述判别误差反向传播至图像生成模型并结合第三预设梯度，对第三模型和图像生成模型进行交替训练；若通过图像生成模型得到的生成面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别，则停止训练，并获取当前的图像生成模型，作为满足设定条件的图像生成模型。
在一个实施例中，通过如下公式得到图像生成模型对应的判别误差：
其中，B为样本面部图像集合，G(B)为样本面部图像对应的生成面部图像集合，Loss(B,G(B))为判别误差，G(I)为生成面部图像，I为样本面部图像，Dl(G(I))为第一模型的判别结果，Di(I,G(I))为第二模型的判别结果，Dr(G(I))为第三模型的判别结果，Il为样本面部图像对应的真实光照条件标签。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取VGG-19网络的权值，根据所述权值确定待训练的图像生成模型的初始权值。
上述各个实施例，计算机可读存储介质通过其存储的计算机程序，提高了生成的面部图像的视觉逼真度，又保证生成的面部图像具有身份稳定性和光照条件性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面部图像处理方法，其特征在于，包括以下步骤：
获取待处理的具有初始光照条件的初始面部图像；
将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；
其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。
2.根据权利要求1所述的面部图像处理方法，其特征在于，所述图像生成模型通过下述方法获得：
获取预设的多个样本面部图像，以及获取所述样本面部图像对应的身份标识、视觉逼真度标签和光照条件标签；所述多个样本面部图像中包含光照条件标签为目标光照条件标签的图像以及光照条件标签为初始光照条件标签的图像；
根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练；
根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练；
向待训练的图像生成模型输入样本面部图像，得到对应的生成面部图像，设置所述生成面部图像对应的视觉逼真度标签；根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练；
通过所述第一模型、第二模型和第三模型对所述生成面部图像进行判别，得到判别误差，将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型。
3.根据权利要求2所述的面部图像处理方法，其特征在于，所述根据多个样本面部图像及其对应的身份标识，对用于身份判别的第二模型进行训练的步骤，包括：
根据多个样本面部图像及其对应的身份标识，得到多个图像对及其对应的身份标签；
根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练。
4.根据权利要求3所述的面部图像处理方法，其特征在于，所述根据多个样本面部图像及其对应的光照条件标签，对用于光照条件判别的第一模型进行训练的步骤，包括：
通过待训练的第一模型对样本面部图像进行判别，得到第一模型的判别结果；
将所述判别结果与对应的光照条件标签进行比较，得到第一判别误差；
将所述第一判别误差反向传播至第一模型并结合第一预设梯度，对第一模型进行反复训练，直到得到训练的第一模型；
和/或，
所述根据多个图像对及其对应的身份标签，对用于身份判别的第二模型进行训练的步骤，包括：
通过待训练的第二模型对图像对进行判别，得到第二模型的判别结果；
将所述判别结果与对应的身份标签进行比较，得到第二判别误差；
将所述第二判别误差反向传播至第二模型并结合第二预设梯度，对第二模型进行反复训练，直到得到训练的第二模型。
5.根据权利要求2所述的面部图像处理方法，其特征在于，所述根据多个样本面部图像及其对应的视觉逼真度标签、多个生成面部图像及其对应的视觉逼真度标签，对用于视觉逼真度判别的第三模型进行训练的步骤，包括：
通过待训练的第三模型对样本面部图像和生成面部图像进行判别，得到第三模型的判别结果；
将所述判别结果与对应的视觉逼真度标签进行比较，得到第三判别误差；
将所述第三判别误差反向传播至第三模型并结合第三预设梯度，对第三模型进行训练；
所述将所述判别误差反向传播至图像生成模型，以此对第三模型和图像生成模型进行交替训练，直到得到满足设定条件的图像生成模型的步骤，包括：
将所述判别误差反向传播至图像生成模型并结合第三预设梯度，对第三模型和图像生成模型进行交替训练；
若通过图像生成模型得到的生成面部图像同时满足身份判别、视觉逼真度判别以及光照条件判别，则停止训练，并获取当前的图像生成模型，作为满足设定条件的图像生成模型。
6.根据权利要求2至5任一项所述的面部图像处理方法，其特征在于，通过如下公式得到图像生成模型对应的判别误差：
其中，B为样本面部图像集合，G(B)为样本面部图像对应的生成面部图像集合，Loss(B,G(B))为判别误差，G(I)为生成面部图像，I为样本面部图像，Dl(G(I))为第一模型的判别结果，Di(I,G(I))为第二模型的判别结果，Dr(G(I))为第三模型的判别结果，Il为样本面部图像对应的真实光照条件标签。
7.根据权利要求2至5任一项所述的面部图像处理方法，其特征在于，还包括：
获取VGG-19网络的权值，根据所述权值确定待训练的图像生成模型的初始权值。
8.一种面部图像处理装置，其特征在于，所述装置包括：
初始面部图像获取模块，用于获取待处理的具有初始光照条件的初始面部图像；
面部图像生成模块，用于将所述初始面部图像输入预先训练的图像生成模型，获取所述图像生成模型的输出结果，得到所述初始面部图像对应的具有目标光照条件的目标面部图像；
其中，所述图像生成模型输出的图像，同时满足身份判别、视觉逼真度判别以及光照条件判别。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至7任意一项所述的面部图像处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现如权利要求1至7任意一项所述的面部图像处理方法的步骤。
CN201810194045.5A 2018-03-09 2018-03-09 面部图像处理方法、装置及计算机设备 Active CN108460811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810194045.5A CN108460811B (zh) 2018-03-09 2018-03-09 面部图像处理方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810194045.5A CN108460811B (zh) 2018-03-09 2018-03-09 面部图像处理方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN108460811A true CN108460811A (zh) 2018-08-28
CN108460811B CN108460811B (zh) 2022-05-06

Family

ID=63216827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194045.5A Active CN108460811B (zh) 2018-03-09 2018-03-09 面部图像处理方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN108460811B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675312A (zh) * 2019-09-24 2020-01-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及存储介质
CN111401216A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104504A1 (en) * 2004-11-16 2006-05-18 Samsung Electronics Co., Ltd. Face recognition method and apparatus
CN101482923A (zh) * 2009-01-19 2009-07-15 刘云 视频监控中人体目标的检测与性别识别方法
US20110026849A1 (en) * 2009-07-31 2011-02-03 Hirokazu Kameyama Image processing apparatus and method, data processing apparatus and method, and program and recording medium
CN104573641A (zh) * 2014-12-26 2015-04-29 苏州福丰科技有限公司 一种光照变化条件下的人脸识别方法
CN106503615A (zh) * 2016-09-20 2017-03-15 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统
CN107239766A (zh) * 2017-06-08 2017-10-10 深圳市唯特视科技有限公司 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104504A1 (en) * 2004-11-16 2006-05-18 Samsung Electronics Co., Ltd. Face recognition method and apparatus
CN101482923A (zh) * 2009-01-19 2009-07-15 刘云 视频监控中人体目标的检测与性别识别方法
US20110026849A1 (en) * 2009-07-31 2011-02-03 Hirokazu Kameyama Image processing apparatus and method, data processing apparatus and method, and program and recording medium
CN104573641A (zh) * 2014-12-26 2015-04-29 苏州福丰科技有限公司 一种光照变化条件下的人脸识别方法
CN106503615A (zh) * 2016-09-20 2017-03-15 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统
CN107239766A (zh) * 2017-06-08 2017-10-10 深圳市唯特视科技有限公司 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BAO J 等: "Towards open-set identity preserving face synthesis", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
WU Z 等: "One-shot deep neural network for pose and illumination normalization face recognition", 《INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO》 *
余承健: "人脸识别中光照梯度补偿算法的改进", 《微计算机信息》 *
张卫 等: "基于生成式对抗网络的人脸识别开发", 《电子世界》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675312A (zh) * 2019-09-24 2020-01-10 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及存储介质
CN110675312B (zh) * 2019-09-24 2023-08-29 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备以及存储介质
CN111401216A (zh) * 2020-03-12 2020-07-10 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、计算机设备和存储介质
CN111401216B (zh) * 2020-03-12 2023-04-18 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN108460811B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110457994B (zh) 人脸图像生成方法及装置、存储介质、计算机设备
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN109214343A (zh) 用于生成人脸关键点检测模型的方法和装置
CN109492643A (zh) 基于ocr的证件识别方法、装置、计算机设备及存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
Storey et al. 3DPalsyNet: A facial palsy grading and motion recognition framework using fully 3D convolutional neural networks
CN110348420A (zh) 手语识别方法、装置、计算机可读存储介质和计算机设备
CN110197229A (zh) 图像处理模型的训练方法、装置及存储介质
CN107977634A (zh) 一种针对视频的表情识别方法、装置及设备
WO2021159781A1 (zh) 图像处理方法、装置、设备及存储介质
WO2022188697A1 (zh) 提取生物特征的方法、装置、设备、介质及程序产品
CN110428399A (zh) 用于检测图像的方法、装置、设备和存储介质
Sun et al. A discriminatively deep fusion approach with improved conditional GAN (im-cGAN) for facial expression recognition
CN110020582A (zh) 基于深度学习的人脸情绪识别方法、装置、设备及介质
US20230143452A1 (en) Method and apparatus for generating image, electronic device and storage medium
CN108509833A (zh) 一种基于结构化分析字典的人脸识别方法、装置及设备
WO2022227765A1 (zh) 生成图像修复模型的方法、设备、介质及程序产品
WO2023071801A1 (zh) 动画生成方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品
CN109920016A (zh) 图像生成方法及装置、电子设备和存储介质
Wang et al. Light attention embedding for facial expression recognition
CN109492601A (zh) 人脸比对方法及装置、计算机可读介质和电子设备
CN108460811A (zh) 面部图像处理方法、装置及计算机设备
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN110287765A (zh) 基于人脸识别的宝宝长相预测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 309, 3rd Floor, Building 2, No. 341, Yanhe East Road, Xiangzhou District, Zhuhai City, Guangdong Province, 519000

Patentee after: ZHUHAI FANGTU INTELLIGENT TECHNOLOGY CO.,LTD.

Patentee after: GUANGZHOU CITY POLYTECHNIC

Address before: 519000 room 316, No. 111, Xinghua Road, Xiangzhou, Zhuhai, Guangdong

Patentee before: ZHUHAI FANGTU INTELLIGENT TECHNOLOGY CO.,LTD.

Patentee before: GUANGZHOU CITY POLYTECHNIC