CN114495222A - 图像处理模型的构建方法与系统、图像处理方法及系统 - Google Patents

图像处理模型的构建方法与系统、图像处理方法及系统 Download PDF

Info

Publication number
CN114495222A
CN114495222A CN202210065768.1A CN202210065768A CN114495222A CN 114495222 A CN114495222 A CN 114495222A CN 202210065768 A CN202210065768 A CN 202210065768A CN 114495222 A CN114495222 A CN 114495222A
Authority
CN
China
Prior art keywords
image
network
attribute
image processing
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210065768.1A
Other languages
English (en)
Inventor
黄陶冶
蒋泽飞
陈帅斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Denghong Technology Co ltd
Original Assignee
Hangzhou Denghong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Denghong Technology Co ltd filed Critical Hangzhou Denghong Technology Co ltd
Priority to CN202210065768.1A priority Critical patent/CN114495222A/zh
Publication of CN114495222A publication Critical patent/CN114495222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开一种图像处理模型的构建方法与系统，还公开一种基于所构建的图像处理模型所进行的图像处理方法及系统，其中图像处理模型为训练完成的生成对抗网络中的生成网络，训练所述生成网络的方法包括以下步骤：由所述生成网络基于期望属性输出与所述人脸图像相对应的生成图像；将所得生成图像输入对抗网络，由所述对抗网络判别所述生成图像中的人脸是否佩戴眼镜，获得相应的属性分类结果，还由所述对抗网络判别所述生成图像是否为生成图像，获得相应的真伪判断结果；基于人脸图像所对应的属性标签、生成图像、属性分类结果和真伪判断结果确定生成损失，并基于所述生成损失更新所述生成网络。本发明能够基于期望属性添加或消除眼镜。

Description

图像处理模型的构建方法与系统、图像处理方法及系统
技术领域
本发明涉及图像处理领域，尤其涉及一种图像处理模型的构建技术，以及基于所构建的图像处理模型实现的图像处理方法。
背景技术
人脸识别技术与其他生物特征识别技术(如指纹识别)相比，具有非强制性和非接触性的优点，其中非强制性指用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，非接触性指用户不需要和设备直接接触就能获取人脸图像；
眼镜作为一种面部的配饰，其本身并不属于人生物信息的一部分，尤其是一些粗框眼镜，将会大大增加人脸识别的难度；佩戴眼镜是最常见的影响人脸识别准确率的因素之一，但现今眼镜的佩戴率较高，如让被识别人摘掉眼镜以保证识别准确率，将会降低体验感。
发明内容
本发明针对现有技术中的佩戴眼镜影响人脸识别准确率的缺点，提供了一种图像处理模型的构建技术，以及基于所构建的图像处理模型实现的图像处理方法，其中图像处理模型能够基于期望属性为待处理图像添加或去除眼镜。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
一种图像处理模型的构建方法，包括以下步骤：
获取标注属性标签的人脸图像，所述属性标签用于指示所述人脸图像是否佩戴眼镜；
构建生成网络和对抗网络，并基于所述人脸图像交替迭代训练所述生成网络和所述对抗网络，并将训练完成的生成网络作为图像处理模型；
本发明所构建的图像处理模型，能够对待处理图像进行重构，以生成佩戴眼镜的目标图像或不佩戴眼镜的目标图像；
当所述图像处理模型用于生成佩戴眼镜的目标图像时，可利用所得目标图像扩充训练人脸识别模型的训练数据，以增强所训练的人脸识别模型的泛化能力和识别准确性；
当所述图像处理模型用于生成不佩戴眼镜的目标图像时，可基于所得目标图像进行人脸识别，即，消除眼镜后再进行人脸识别，以消除眼镜对识别结果的干扰。
其中，训练所述生成网络的方法包括：
确定所述人脸图像所对应的期望属性，由所述生成网络基于所述期望属性输出与所述人脸图像相对应的生成图像，所述期望属性为佩戴眼镜或不佩戴眼镜；
将所得生成图像输入对抗网络，由所述对抗网络判别所述生成图像中的人脸是否佩戴眼镜，获得相应的属性分类结果，还由所述对抗网络判别所述生成图像是否为生成图像，获得相应的真伪判断结果；
基于人脸图像所对应的属性标签、生成图像、属性分类结果和真伪判断结果确定生成损失，并基于所述生成损失更新所述生成网络。
本发明中对抗网络不仅输出真伪判断结果，还输出属性分类结果，无需标注图像中眼镜所在区域，通过属性分类结果即可有效引导生成网络去除眼镜或添加眼镜。
作为一种可实施方式，所述生成损失的获取方法包括：
基于相对应的人脸图像和生成图像生成第一损失值，第一损失值为重建损失，用于强调生成图像在去除或添加眼镜的过程中尽量保持作为人脸的信息属性，即人脸图像和生成图像属于同一个人；
基于所述属性标签和属性分类结果生成第二损失值，第二损失值为属性损失，引导生成网络生成去除眼镜或佩戴眼镜的生成图像；
基于所述真伪判断结果生成第三损失值，第二损失值为生成对抗损失，引导生成图像更真实；
基于所述第一损失值、第二损失值和第三损失值计算获得生成损失，基于所述生成损失更新所述生成网络，本领域技术人员可基于实际需要对第一损失值、第二损失值和第三损失值进行加权求和，以获得生成损失。
作为一种可实施方式，期望属性的确定方式包括以下三种：
随机确定各人脸图像的期望属性，即，所得图像处理模型即可添加眼镜，也可以消除眼镜；
将所有人脸图像的期望属性均设为佩戴眼镜，即，所得图像处理模型仅用于添加眼镜；
将所有人脸图像的期望属性均设为不佩戴眼镜，即，所得图像处理模型仅用于去除眼镜。
作为一种可实施方式，训练所述对抗网络的方法包括：
将人脸图像输入生成网络，获得相应的生成图像，将所述人脸图像和所述生成图像输入对抗网络，由所述对抗网络输出相应的属性分类结果和真伪判断结果；
基于人脸图像所对应的期望属性、属性分类结果和真伪判断结果，以及生成图像所对应的真伪判断结果确定对抗损失，并基于所述对抗损失更新所述对抗网络。
进一步地，所述对抗损失的获取方法包括：
基于人脸图像所对应的真伪判断结果和生成图像所对应的真伪判断结果生成第四损失值，第四损失值为生成对抗损失，用于引导对抗网络准确识别生成图像；
基于人脸图像所对应的期望属性和属性分类结果生成第五损失值，第五损失值为属性损失，用于引导对抗网络所输入的图像进行准确分类；
基于所述第四损失值和所述第五损失值计算获得对抗损失。
作为一种可实施方式：
生成网络包括编码器和解码器；
所述编码器的输入为人脸图像，输出为与所述人脸图像相对应的第一特征向量；
所述解码器的输入为所述第一特征向量，输出为与所述人脸图像相对应的生成图像。
作为一种可实施方式：
对抗网络包括特征提取器、属性分类器和真伪判别器；
所述特征提取器的输入为人脸图像或生成图像，输出为相对应的第二特征向量；
所述属性分类器的输入为所述第二特征向量，输出为相对应的属性分类结果；
所述真伪判别器的输入为所述第二特征向量，输出为相对应的真伪判断结果。
本发明还提出一种图像处理模型的构建系统，包括：
数据获取模块，用于获取标注属性标签的人脸图像，所述属性标签用于指示所述人脸图像是否佩戴眼镜；
模型构建模块，用于构建生成网络和对抗网络，还用于基于所述人脸图像交替迭代训练所述生成网络和所述对抗网络，并将训练完成的生成网络作为图像处理模型；
所述模型构建模块包括网络构建单元、用于训练生成网络的第一训练单元和用于训练对抗网络的第二训练单元；
所述第一训练单元包括：
第一重建子单元，确定所述人脸图像所对应的期望属性，由所述生成网络基于所述期望属性输出与所述人脸图像相对应的生成图像，所述期望属性为佩戴眼镜或不佩戴眼镜；
第一预测子单元，用于将所得生成图像输入对抗网络，由所述对抗网络判别所述生成图像中的人脸是否佩戴眼镜，获得相应的属性分类结果，还由所述对抗网络判别所述生成图像是否为生成图像，获得相应的真伪判断结果；
第一更新子单元，用于基于人脸图像所对应的属性标签、生成图像、属性分类结果和真伪判断结果确定生成损失，并基于所述生成损失更新所述生成网络。
本发明还提出一种图像处理方法，包括以下步骤：
获取待处理图像；
确定所述待处理图像所对应的期望属性，并将所述待处理图像输入图像处理模型，由所述图像处理模型基于所述期望属性输出与相对应的目标图像；所述图像处理模型为上述任意一项方法所构建的图像处理模型。
本发明还提出一种图像处理系统，包括：
获取模块，用于获取待处理图像；
处理模块，用于确定所述待处理图像所对应的期望属性，还用于将所述待处理图像输入图像处理模型，由所述图像处理模型基于所述期望属性输出与相对应的目标图像；所述图像处理模型为上述任意一项方法所构建的图像处理模型。
本发明由于采用了以上技术方案，具有显著的技术效果：
本发明所构建的图像处理模型，能够对待处理图像进行重构，生成佩戴眼镜的目标图像，以扩充人脸识别模型的训练数据，以便于人脸识别模型学习对佩戴眼镜的人脸的识别，或生成消除眼镜的目标图像，基于所得目标图像进行人脸识别，以消除眼镜对识别结果的干扰。
本发明中对抗网络不仅输出真伪判断结果，还输出属性分类结果，无需标注图像中眼镜所在区域，通过属性分类结果即可有效引导生成网络去除眼镜或添加眼镜。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明中生成网络的网络架构示意图；
图2是本发明中对抗网络的网络架构示意图；
图3是本发明一种图像处理模型的构建系统的模块连接示意图；
图4是本发明一种图像处理系统的模块连接示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1、一种图像处理模型的构建方法，用于构建能够根据期望属性添加或消除图像中眼镜的图像处理模型，包括以下步骤：
S100、获取标注属性标签的人脸图像，所述属性标签用于指示所述人脸图像是否佩戴眼镜；
现有技术中训练用于添加或消除眼镜的图像处理模型，往往需要配对的一组人脸图像，即，同一个人佩戴眼镜和不佩戴眼镜的图像，且除了眼镜外，两幅图像无其他差异；而获取配对的一组人脸图像的方式为，在图像采集设备和被采集人不发生移动的前提下，连续采集被采集人佩戴眼镜与不佩戴眼镜的图像，此方案采集的时间和人力成本过大。
本实施例中只需要佩戴眼镜和不佩戴眼镜两种类型的人脸图像，并不要求佩戴眼镜和不佩戴眼镜相匹配，大大降低了对数据的要求，也能有效提升所得图像处理模型的适用范围，使其具有一般性。
S200、构建生成对抗网络，生成对抗网络包括生成网络和对抗网络，并基于所述人脸图像交替迭代训练所述生成网络和所述对抗网络，并将训练完成的生成网络作为图像处理模型；
交替迭代训练生成网络和对抗网络属于训练生成对抗网络的常规手段，即，训练生成网络时固定对抗网络的参数，基于所得生成损失对生成网络进行反向更新，训练对抗网络时固定生成网络的参数，基于所得对抗损失对对抗网络进行反向更新，直至满足迭代条件，完成训练；
本实施例中迭代条件为迭代周期达到预设值，本实施例采集3万张人脸图像，并人工标注每张人脸图像是否佩戴眼镜，然后基于所述人脸图像将交替迭代训练生成网络和对抗网络，当所有人脸图像都被遍历过一遍，视为一个迭代周期，本实施例中持续迭代20个周期后停止完成训练，将训练所得的生成网络作为图像处理模型。
S210、训练所述生成网络；
参照图1，本实施例中生成网络包括编码器Genc和解码器Gdec；
所述编码器Genc的输入为人脸图像，输出为与所述人脸图像相对应的第一特征向量；
所述解码器Gdec的输入为所述第一特征向量和属性差分向量，输出为与所述人脸图像相对应的生成图像，其中属性差分向量基于人脸图像所对应的属性标签和期望属性所得。
S211、确定所述人脸图像所对应的期望属性，由所述生成网络基于所述期望属性输出与所述人脸图像相对应的生成图像，所述期望属性为佩戴眼镜或不佩戴眼镜；
具体为：
1.1、将人脸图像x输入编码器Genc，得到相应的第一特征向量fx：
fx＝Genc(x)；
1.2、获取人脸图像x所对应的属性标签atttrue；
atttrue＝[a]；
其中：
Figure BDA0003480232270000051
1.3、确定人脸图像x所对应的期望属性attfake；
本实施例中随机确定各人脸图像的期望属性attfake，公式如下：
attfake＝[a]；
Figure BDA0003480232270000061
其中，round为随机数，通过生成随机数round，按照上述公式确定人脸图像的期望属性attfake。
1.4、基于人脸图像x所对应的属性标签atttrue和期望属性attfake，获得相应的属性差分向量attdiff，公式如下：
attdiff＝atttrue-attfake。
1.5、将步骤1.1所得的第一特征向量fx和步骤1.2所得的属性差分向量attdiff输入解码器Gdec，由解码器Gdec输出相应的生成图像y，具体为：
y＝Gdec(fx,attdiff)；
即，将属性差分向量attdiff扩张至与第一特征向量fx维度一致后进行拼接，将所得拼接向量输入解码器Gdec，得到生成图像y，例如，第一特征向量fx为m维向量，将属性差分向量attdiff(一维向量)扩大为m维向量，同时每个元素为原属性差分向量的值。
S212、将所得生成图像输入对抗网络，由所述对抗网络判别所述生成图像中的人脸是否佩戴眼镜，获得相应的属性分类结果，还由所述对抗网络判别所述生成图像是否为生成图像，获得相应的真伪判断结果；
参照图2，本实施例中对抗网络包括特征提取器D、属性分类器Datt和真伪判别器Dadv；
在生成网络的训练过程中：
所述特征提取器D的输入为生成网络所重构的生成图像y，输出为相对应的第二特征向量D(y)；
所述属性分类器Datt的输入为所述第二特征向量D(y)，输出为相对应的属性分类结果Datt(D(y))；
所述真伪判别器Dadv的输入为所述第二特征向量D(y)，输出为相对应的真伪判断结果Dadv(D(y))。
S213、基于人脸图像所对应的属性标签、生成图像、属性分类结果和真伪判断结果确定生成损失，并基于所述生成损失更新所述生成网络。
生成损失的获取方式具体为：
1.6、基于相对应的人脸图像和生成图像生成第一损失值Lrec，计算公式为：
Figure BDA0003480232270000071
其中，xi表示当前迭代批次中第i张人脸图像，yi表示与xi相对应的生成图像，“||·||1”表示矩阵的1范数计算；
第一损失值Lrec为解码器Gdec输入的人脸图像x与输出的生成图像y所构成的重建损失，基于第一损失值Lrec调整生成网络的参数，能够使得训练所得图像处理模型输出的目标图像尽可能保持个体信息，即保证眼镜去除或添加前后依然为同一个人。
1.7、基于所述属性标签和属性分类结果生成第二损失值LGatt，计算公式为：
Figure BDA0003480232270000072
其中，atttrue,i表示当前迭代批次中第i张人脸图像所对应的属性标签，Datt(D(yi))表示生成图像yi的属性分类结果；
第二损失值LGatt为所得生成图像y所对应的眼镜佩戴属性(属性分类结果)和预期属性所构成的属性损失，基于第二损失值LGatt调整生成网络的参数，能够引导生成网络按照预期属性添加眼镜与消除眼镜。
1.8、基于所述真伪判断结果生成第三损失值LGadv，计算公式为：
Figure BDA0003480232270000073
其中，Dadv(D(yi))表示生成图像yi的真伪判断结果，基于第三损失值LGadv调整生成网络的参数，能够引导生成网络的生成图像更真实。
1.9、基于所述第一损失值、第二损失值和第三损失值计算获得生成损失，基于所述生成损失更新所述生成网络。
本实施例中生成损失LG的计算公式为：
LG＝λ1Lrec+λ2LGatt+λ3LGadv；
其中，λ1、λ2和λ3为加权系数，本领域技术人员可根据实际需要自行设定，本实施例中λ1为0.3，λ2为0.3，λ3为0.4。
本实施例中基于生成损失LG，利用经典的梯度下降算法对生成网络的参数进行更新。
S220、训练对抗网络；
训练对抗网络的过程中，特征提取器D的输入为所收集的人脸图像x和生成网络所重构的生成图像y，具体包括以下步骤：
S221、将人脸图像x输入生成网络，获得相应的生成图像y；
注，训练对抗网络中所采用的人脸图像为重新随机选择的人脸图像，与训练生成网络过程中所采用的人脸图像相同或不同。
S222、分别将人脸图像x和与其相对应的生成图像y输入对抗网络，获得相应的属性分类结果和真伪判别结果；
S223、基于人脸图像所对应的期望属性、属性分类结果和真伪判断结果，以及生成图像所对应的真伪判断结果确定对抗损失，并基于所述对抗损失更新所述对抗网络。
对抗损失的获取方式包括以下步骤：
2.1、基于人脸图像所对应的真伪判断结果和生成图像所对应的真伪判断结果生成第四损失值LDadv，计算公式为：
Figure BDA0003480232270000081
其中，xj表示当前训练批次中第j幅人脸图像，yj表示与xj相对应的生成图像，Ex表示输入项来自人脸图像，Ey表示输入项来自生成图像，即，对抗网络的输入为人脸图像时执行Ex所对应的半段公式，输入为生成图像时执行Ey所对应的半段公式，Ex与Ey不代表具体的变量；Dadv(D(xj))表示当前训练批次中第j幅人脸图像所对应的真伪判别结果，Dadv(D(yj))表示当前训练批次中，第j幅人脸图像所对应生成图像的真伪判别结果。
2.2、基于人脸图像所对应的期望属性和属性分类结果生成第五损失值LDatt，计算公式为：
Figure BDA0003480232270000082
其中，attfake,j表示当前训练批次中第j幅人脸图像所对应的期望属性，Datt(D(xj))表示当前训练批次中第j幅人脸图像所对应属性分类结果。
2.3、基于第四损失值LDadv和第五损失值LDatt计算获得对抗损失LD，计算公式为：
LD＝λ4LDadv+λ5LDatt；
其中，λ4和λ5为加权系数，本领域技术人员可根据实际需要自行设定，令λ4与λ5的和为1即可，本实施例不对其进行详细限定。
本实施例中基于对抗损失LD，利用经典的梯度下降算法对对抗网络的参数进行更新。
实施例2、将实施例1中期望属性attfake由随机确定改为均设为未佩戴眼镜(attfake＝【0】)，此时属性差分向量attdiff与人脸图像x所对应的属性标签atttrue保持一致，其余均等同于实施例1；
本实施例所构建的图像识别模型仅用于消除图像中的眼镜。
实施例3、将实施例1中期望属性attfake由随机确定改为均设为佩戴眼镜(attfake＝【1】)，其余均等同于实施例1；
本实施例所构建的图像识别模型仅用于为图像中的人脸添加眼镜。
实施例4、一种图像处理方法，包括以下步骤：
获取待处理图像；
确定所述待处理图像所对应的期望属性，并将所述待处理图像输入图像处理模型，由所述图像处理模型基于所述期望属性输出与相对应的目标图像；所述图像处理模型为实施例1至实施例3任意一种方法所构建的图像处理模型。
当基于实施例1或实施例2中所构建的图像处理模型进行眼镜去除处理时：
配置属性差分向量attdiff＝【1】；
获取佩戴眼镜的待处理图像，将所述待处理图像和所述属性差分向量输入生成网络，由生成网络生成消除眼镜的目标图像，即，将待处理图像输入编码器Genc，由编码器Genc输出相应的第一特征向量，再将属性差分向量和第一特征向量输入解码器Gdec，由解码器Gdec输出消除眼镜的目标图像。
本方案例如可应用于安防场景下对佩戴眼镜的人脸图像进行眼镜消除，安防场景存在光照、人脸角度复杂等特点，人脸识别难度较大，针对佩戴眼镜的人脸，识别难度将进一步加大，为使无需人员手动摘除眼镜进行配合，即可快速准确的实现人脸识别，可通过图像处理模型生成消除眼镜的目标图像，基于所得目标图像进行人脸匹配，有效减少眼镜对人脸识别结果的干扰。
当基于实施例1或实施例2中所构建的图像处理模型进行眼镜去除处理时：
配置属性差分向量attdiff＝【-1】；
获取为佩戴眼镜的待处理图像，将所述待处理图像和所述属性差分向量输入生成网络，由生成网络生成添加眼镜的目标图像。
本方案例如可应用于对人脸识别模型进行训练的场景，即在准备训练人脸识别模型的训练数据的阶段，可基于图像处理模型对所采集的未佩戴眼镜的人脸图像进行处理，生成佩戴眼镜的训练样本，扩充训练数据，以为人脸识别模型提供充足的训练数据。
实施例5、一种图像处理模型的构建系统，用于执行实施例1至实施例3所公开的任意一种构建方法，如图3所示，其包括：
数据获取模块110，用于获取标注属性标签的人脸图像，所述属性标签用于指示所述人脸图像是否佩戴眼镜；
模型构建模块120，用于构建生成网络和对抗网络，还用于基于所述人脸图像交替迭代训练所述生成网络和所述对抗网络，并将训练完成的生成网络作为图像处理模型；
所述模型构建模块120包括用于构建生成对抗网络的网络构建单元121、用于训练生成网络的第一训练单元122和用于训练对抗网络的第二训练单元123；
所述第一训练单元122包括：
第一重建子单元，确定所述人脸图像所对应的期望属性，由所述生成网络基于所述期望属性输出与所述人脸图像相对应的生成图像，所述期望属性为佩戴眼镜或不佩戴眼镜；
第一预测子单元，用于将所得生成图像输入对抗网络，由所述对抗网络判别所述生成图像中的人脸是否佩戴眼镜，获得相应的属性分类结果，还由所述对抗网络判别所述生成图像是否为生成图像，获得相应的真伪判断结果；
第一更新子单元，用于基于人脸图像所对应的属性标签、生成图像、属性分类结果和真伪判断结果确定生成损失，并基于所述生成损失更新所述生成网络。
所述第二训练单元123包括：
第二重建子单元，用于将人脸图像输入生成网络，获得相应的生成图像；
第二预测子单元，用于将所述人脸图像和所述生成图像输入对抗网络，由所述对抗网络输出相应的属性分类结果和真伪判断结果；
第二更新子单元，用于基于人脸图像所对应的期望属性、属性分类结果和真伪判断结果，以及生成图像所对应的真伪判断结果确定对抗损失，并基于所述对抗损失更新所述对抗网络。
实施例6、一种图像处理系统，用于执行实施例4所公开的图像处理方法，如图4所示，其包括：
获取模块210，用于获取待处理图像；
处理模块220，用于确定所述待处理图像所对应的期望属性，还用于将所述待处理图像输入图像处理模型，由所述图像处理模型基于所述期望属性输出与相对应的目标图像；所述图像处理模型为实施例1至实施例3任意一项方法所构建的图像处理模型。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种图像处理模型的构建方法，其特征在于包括以下步骤：
获取标注属性标签的人脸图像，所述属性标签用于指示所述人脸图像是否佩戴眼镜；
构建生成网络和对抗网络，并基于所述人脸图像交替迭代训练所述生成网络和所述对抗网络，并将训练完成的生成网络作为图像处理模型；
其中，训练所述生成网络的方法包括：
确定所述人脸图像所对应的期望属性，由所述生成网络基于所述期望属性输出与所述人脸图像相对应的生成图像，所述期望属性为佩戴眼镜或不佩戴眼镜；
将所得生成图像输入对抗网络，由所述对抗网络判别所述生成图像中的人脸是否佩戴眼镜，获得相应的属性分类结果，还由所述对抗网络判别所述生成图像是否为生成图像，获得相应的真伪判断结果；
基于人脸图像所对应的属性标签、生成图像、属性分类结果和真伪判断结果确定生成损失，并基于所述生成损失更新所述生成网络。
2.根据权利要求1所述的图像处理模型的构建方法，所述生成损失的获取方法包括：
基于相对应的人脸图像和生成图像生成第一损失值；
基于所述属性标签和属性分类结果生成第二损失值；
基于所述真伪判断结果生成第三损失值；
基于所述第一损失值、第二损失值和第三损失值计算获得生成损失，基于所述生成损失更新所述生成网络。
3.根据权利要求1或2所述的图像处理模型的构建方法，其特征在于：
随机确定各人脸图像的期望属性、或将所有人脸图像的期望属性均设为佩戴眼镜、或将所有人脸图像的期望属性均设为不佩戴眼镜。
4.根据权利要求1或2所述的图像处理模型的构建方法，其特征在于，训练对抗网络的方法包括：
将人脸图像输入生成网络，获得相应的生成图像，将所述人脸图像和所述生成图像输入对抗网络，由所述对抗网络输出相应的属性分类结果和真伪判断结果；
基于人脸图像所对应的期望属性、属性分类结果和真伪判断结果，以及生成图像所对应的真伪判断结果确定对抗损失，并基于所述对抗损失更新所述对抗网络。
5.根据权利要求4所述的图像处理模型的构建方法，其特征在于，所述对抗损失的获取方法包括：
基于人脸图像所对应的真伪判断结果，和生成图像所对应的真伪判断结果生成第四损失值；
基于人脸图像所对应的期望属性和属性分类结果生成第五损失值；
基于所述第四损失值和所述第五损失值计算获得对抗损失。
6.根据权利要求1或2所述的图像处理模型的构建方法，其特征在于：
生成网络包括编码器和解码器；
所述编码器的输入为人脸图像，输出为与所述人脸图像相对应的第一特征向量；
所述解码器的输入为所述第一特征向量，输出为与所述人脸图像相对应的生成图像。
7.根据权利要求1或2所述的图像处理模型的构建方法，其特征在于：
对抗网络包括特征提取器、属性分类器和真伪判别器；
所述特征提取器的输入为人脸图像或生成图像，输出为相对应的第二特征向量；
所述属性分类器的输入为所述第二特征向量，输出为相对应的属性分类结果；
所述真伪判别器的输入为所述第二特征向量，输出为相对应的真伪判断结果。
8.一种图像处理模型的构建系统，其特征在于，包括：
数据获取模块，用于获取标注属性标签的人脸图像，所述属性标签用于指示所述人脸图像是否佩戴眼镜；
模型构建模块，用于构建生成网络和对抗网络，还用于基于所述人脸图像交替迭代训练所述生成网络和所述对抗网络，并将训练完成的生成网络作为图像处理模型；
所述模型构建模块包括网络构建单元、用于训练生成网络的第一训练单元和用于训练对抗网络的第二训练单元；
所述第一训练单元包括：
第一重建子单元，确定所述人脸图像所对应的期望属性，由所述生成网络基于所述期望属性输出与所述人脸图像相对应的生成图像，所述期望属性为佩戴眼镜或不佩戴眼镜；
第一预测子单元，用于将所得生成图像输入对抗网络，由所述对抗网络判别所述生成图像中的人脸是否佩戴眼镜，获得相应的属性分类结果，还由所述对抗网络判别所述生成图像是否为生成图像，获得相应的真伪判断结果；
第一更新子单元，用于基于人脸图像所对应的属性标签、生成图像、属性分类结果和真伪判断结果确定生成损失，并基于所述生成损失更新所述生成网络。
9.一种图像处理方法，其特征在于，包括以下步骤：
获取待处理图像；
确定所述待处理图像所对应的期望属性，并将所述待处理图像输入图像处理模型，由所述图像处理模型基于所述期望属性输出与相对应的目标图像；所述图像处理模型为权利要求1至7任意一项方法所构建的图像处理模型。
10.一种图像处理系统，其特征在于，包括：
获取模块，用于获取待处理图像；
处理模块，用于确定所述待处理图像所对应的期望属性，还用于将所述待处理图像输入图像处理模型，由所述图像处理模型基于所述期望属性输出与相对应的目标图像；所述图像处理模型为权利要求1至7任意一项方法所构建的图像处理模型。
CN202210065768.1A 2022-01-20 2022-01-20 图像处理模型的构建方法与系统、图像处理方法及系统 Pending CN114495222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210065768.1A CN114495222A (zh) 2022-01-20 2022-01-20 图像处理模型的构建方法与系统、图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210065768.1A CN114495222A (zh) 2022-01-20 2022-01-20 图像处理模型的构建方法与系统、图像处理方法及系统

Publications (1)

Publication Number Publication Date
CN114495222A true CN114495222A (zh) 2022-05-13

Family

ID=81472510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210065768.1A Pending CN114495222A (zh) 2022-01-20 2022-01-20 图像处理模型的构建方法与系统、图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN114495222A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN109377535A (zh) * 2018-10-24 2019-02-22 电子科技大学 面部属性自动编辑系统、方法、存储介质和终端
CN111275613A (zh) * 2020-02-27 2020-06-12 辽宁工程技术大学 一种引入注意力机制生成对抗网络人脸属性编辑方法
CN112330759A (zh) * 2021-01-06 2021-02-05 中国石油大学(华东) 一种基于生成对抗网络的人脸属性编辑方法
CN112633234A (zh) * 2020-12-30 2021-04-09 广州华多网络科技有限公司 人脸去眼镜模型训练、应用方法及其装置、设备和介质
CN113436061A (zh) * 2021-07-01 2021-09-24 中科人工智能创新技术研究院(青岛)有限公司 人脸图像重构方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN109377535A (zh) * 2018-10-24 2019-02-22 电子科技大学 面部属性自动编辑系统、方法、存储介质和终端
CN111275613A (zh) * 2020-02-27 2020-06-12 辽宁工程技术大学 一种引入注意力机制生成对抗网络人脸属性编辑方法
CN112633234A (zh) * 2020-12-30 2021-04-09 广州华多网络科技有限公司 人脸去眼镜模型训练、应用方法及其装置、设备和介质
CN112330759A (zh) * 2021-01-06 2021-02-05 中国石油大学(华东) 一种基于生成对抗网络的人脸属性编辑方法
CN113436061A (zh) * 2021-07-01 2021-09-24 中科人工智能创新技术研究院(青岛)有限公司 人脸图像重构方法及系统

Similar Documents

Publication Publication Date Title
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
Demir et al. Where do deep fakes look? synthetic face detection via gaze tracking
JP2008152789A (ja) 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法
CN111241989A (zh) 图像识别方法及装置、电子设备
CN111192201B (zh) 一种生成人脸图像及其模型训练的方法、装置及电子设备
JP6325405B2 (ja) 特徴点検出装置、方法及びプログラム
CN110569731A (zh) 一种人脸识别方法、装置及电子设备
KR102078249B1 (ko) 얼굴 인증 방법, 얼굴 인증 장치, 이를 위한 컴퓨터 프로그램
CN112446891A (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN111444370A (zh) 图像检索方法、装置、设备及其存储介质
CN111160225A (zh) 基于深度学习的人体解析方法和装置
CN108268840B (zh) 一种人脸跟踪方法及装置
CN105913014A (zh) 基于身份证芯片照片和视频的身份鉴定方法及系统
CN114677730A (zh) 活体检测方法、装置、电子设备及存储介质
Dar et al. Efficient-SwishNet based system for facial emotion recognition
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN113221660B (zh) 一种基于特征融合的跨年龄人脸识别方法
Mosayyebi et al. Gender recognition in masked facial images using EfficientNet and transfer learning approach
Lal et al. Face recognition using deep learning xception cnn method
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
CN111783677B (zh) 人脸识别方法、装置、服务器和计算机可读介质
Mucha et al. Depth and thermal images in face detection-a detailed comparison between image modalities
WO2023124869A1 (zh) 用于活体检测的方法、装置、设备及存储介质
CN114495222A (zh) 图像处理模型的构建方法与系统、图像处理方法及系统
Abdulmunem et al. Deep learning based masked face recognition in the era of the COVID-19 pandemic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220513

RJ01 Rejection of invention patent application after publication