CN111476709B - 人脸图像处理方法、装置及电子设备 - Google Patents
人脸图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111476709B CN111476709B CN202010275298.2A CN202010275298A CN111476709B CN 111476709 B CN111476709 B CN 111476709B CN 202010275298 A CN202010275298 A CN 202010275298A CN 111476709 B CN111476709 B CN 111476709B
- Authority
- CN
- China
- Prior art keywords
- face image
- face
- target
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 152
- 230000009466 transformation Effects 0.000 claims abstract description 112
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 104
- 238000012549 training Methods 0.000 claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims abstract description 47
- 238000003860 storage Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000036544 posture Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000004080 punching Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种人脸图像处理方法、装置、电子设备及存储介质。该方法包括：将确定的训练样本集输入至神经网络模型，基于指定的损失参数计算规则获取与人脸图像对应的第一仿射变换矩阵；基于第一仿射变换矩阵、标准人脸关键点以及与人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的损失参数对应的神经网络模型作为目标神经网络模型；获取待处理人脸图像，将待处理人脸图像输入目标神经网络模型，基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像，目标人脸图像为满足目标人脸位姿的人脸图像。实现了不需要依赖于人脸关键点定位等方式获取满足目标人脸位姿的人脸图像，减小了计算复杂度，提升了人脸图像处理速度。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种人脸图像处理方法、装置、电子设备及存储介质。
背景技术
人脸对齐是指把人脸的姿态、位置以及尺度等尽可能的变换到与标准脸相近的状态。对于人脸识别、人脸分割等人脸技术而言，姿态不一、大小不一、位置不一的输入会使得人脸识别或者是人脸分割等变得更加困难，作为一种方式，通过人脸对齐的操作可以将人脸与标准脸对齐，使得后续的人脸识别、人脸分割等处理方法仅需要解决好与标准脸分布相近的输入即可，人脸对齐的加入可以降低后续人脸处理方法的难度，提高其准确率。然而，在进行人脸对齐时，待对齐的人脸图像是变化多样的，并非总是居中正脸对着摄像头，由于不知道真实的人脸位置姿态等信息，通常需要建立复杂的模型来预测，可能存在计算量大，速度慢等问题。
发明内容
鉴于上述问题，本申请提出了一种人脸图像处理方法、装置、电子设备及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种人脸图像处理方法，该方法包括：将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵；基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型；获取待处理人脸图像；将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像。
第二方面，本申请实施例提供了一种人脸图像处理方法，该方法包括：获取目标直播场景中的人脸图像；若所述人脸图像对应的人脸位姿不满足目标人脸位姿，将所述人脸图像作为待处理人脸图像；将所述待处理人脸图像输入预先训练得到的目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像，所述目标神经网络模型的训练过程包括：将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵；基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型；输出所述目标人脸图像。
第三方面，本申请实施例提供了一种人脸图像处理装置，该装置包括：第一获取模块，用于将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵；第二获取模块，用于基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；第三获取模块，用于将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型；第四获取模块，用于获取待处理人脸图像；处理模块，用于将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像。
第四方面，本申请实施例提供了一种人脸图像处理装置，该装置包括：第一获取单元，用于获取目标直播场景中的人脸图像；第二获取单元，用于若所述人脸图像对应的人脸位姿不满足目标人脸位姿，将所述人脸图像作为待处理人脸图像；处理单元，用于将所述待处理人脸图像输入预先训练得到的目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像，所述目标神经网络模型的训练过程包括：将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵；基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型；输出单元，用于输出所述目标人脸图像。
第五方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面或者上述第二方面所述的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码由处理器运行时执行上述第一方面或者上述第二方面所述的方法。
本申请实施例提供的一种人脸图像处理方法、装置、电子设备以及存储介质，本方法通过将确定的训练样本集输入至神经网络模型，继而基于指定的损失参数计算规则获取与人脸图像对应的第一仿射变换矩阵，再基于第一仿射变换矩阵、标准人脸关键点以及与人脸图像对应的人脸关键点获取损失参数，然后将满足预设阈值的损失参数对应的神经网络模型作为目标神经网络模型，再获取待处理人脸图像，继而将待处理人脸图像输入目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像，其中，目标人脸图像为满足目标人脸位姿的人脸图像。从而通过上述方式实现了通过将获取的待处理人脸图像输入基于指定的损失参数计算规则训练得到的目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，即可得到满足目标人脸位姿的人脸图像，而不需要依赖于人脸关键点定位等方式获取满足目标人脸位姿的人脸图像，减小了计算复杂度，进而提升了人脸图像处理的速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请一实施例提供的一种人脸图像处理方法的方法流程图。
图2示出了本申请实施例提供的待处理人脸图像的一示例图。
图3示出了本申请实施例提供的待处理人脸图像的另一示例图。
图4示出了本申请另一实施例提供的一种人脸图像处理方法的方法流程图。
图5示出了图4中的步骤S260的方法流程图。
图6示出了本申请实施例中的对待处理人脸图像进行仿射变换处理的示例图。
图7示出了本申请又一实施例提供的一种人脸图像处理方法的方法流程图。
图8示出了本申请实施例提供的目标神经网络模型的示例结构框图。
图9示出了本申请再一实施例提供的一种人脸图像处理方法的方法流程图。
图10示出了本申请一实施例提供的一种人脸图像处理装置的结构框图。
图11示出了本申请另一实施例提供的一种人脸图像处理装置的结构框图。
图12示出了本申请实施例提供的一种电子设备的结构框图。
图13示出了本申请实施例的用于保存或者携带实现根据本申请实施例的人脸图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
近些年来人脸识别、人脸分割、表情识别等多种人脸相关技术在人们的生活生产中得到了越来越广泛的应用。人脸对齐在人脸识别、人脸分割、表情识别等人脸相关技术中是非常重要的一个预处理步骤，人脸对齐是指把人脸的姿态、位置以及尺度等尽可能的变换到与标准脸相近的状态，通过对人脸进行对齐操作可以提升人脸识别、人脸分割、表情识别的准确率。
作为一种方式，在进行人脸对齐时，可以先检测出输入图像中人脸的关键点，然后通过求得的关键点与标准脸关键点进行比较后，计算出相似变换矩阵，通过相似变换矩阵将输入图像中的人脸对齐到标准脸相近的位置。然而，人脸对齐通常作为一种预处理方法来使用，需要尽可能简单、速度快，而人脸关键点检测是一项复杂的任务，计算量大，耗时较长，因而依赖人脸关键点的对齐方法的计算量也相对较大、速度较慢，并且由于计算量大导致其较难移植到移动端设备上进行应用。
针对上述的问题，发明人经过长期的研究发现，可以通过将确定的训练样本集输入至神经网络模型，继而基于指定的损失参数计算规则获取与人脸图像对应的第一仿射变换矩阵，再基于第一仿射变换矩阵、标准人脸关键点以及与人脸图像对应的人脸关键点获取损失参数，然后将满足预设阈值的损失参数对应的神经网络模型作为目标神经网络模型，再获取待处理人脸图像，继而将待处理人脸图像输入目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像，目标人脸图像为满足目标人脸位姿的人脸图像。从而通过上述方式实现了通过将获取的待处理人脸图像输入基于指定的损失参数计算规则训练得到的目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，即可得到满足目标人脸位姿的人脸图像，而不需要依赖于人脸关键点定位等方式获取满足目标人脸位姿的人脸图像，减小了计算复杂度，进而提升人脸图像处理的速度，因此提出了本申请实施例提供的人脸图像处理方法、装置、电子设备以及存储介质。
下面将结合附图具体描述本申请的各实施例。
请参阅图1，示出了本申请一实施例提供的一种人脸图像处理方法的流程图，本实施例提供一种人脸图像处理方法，可应用于电子设备，该方法包括：
步骤S110：将确定的训练样本集输入至神经网络模型，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵。
其中，确定的训练样本集可以包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，可选的，可以根据实际需要调整确定的训练样本集中预设的标准人脸关键点。作为一种方式，可以将上述获取的人脸图像、与人脸图像对应的人脸关键点以及预设的标准人脸关键点输入至神经网络模型，再基于指定的损失参数计算规则对该神经网络模型进行训练，以得到目标神经网络模型。其中，神经网络模型可以为深度卷积神经网络模型，可选的，可以采用有监督训练的方式对该神经网络模型进行训练，具体训练过程描述如下：
作为一种实现方式，可以从人脸图像数据库中获取各类人脸图像以及与人脸图像分别对应的人脸关键点，可选的，可以根据实际需要的人脸对齐效果设计标准人脸关键点，将该标准人脸关键点作为预设的标准人脸关键点。可选的，预设的标准人脸关键点的种类可以有很多，例如，根据人脸尺寸的大小，可以分为不同比例等级的标准人脸关键点。可选的，标准可以理解为与实际需求对应的人脸位置标准、人脸尺寸标准以及人脸姿态标准，标准人脸关键点所表征的人脸图像为正脸姿态、位置居中且尺寸大小适中的人脸。
本实施例中，指定的损失参数计算规则可以包括：
其中，Lθ可以表征神经网络模型训练过程中的损失参数，IK可以表征人脸图像，fθ可以表征目标神经网络模型，N可以表征训练样本集的数据量，Pt可以表征预设的标准人脸关键点，PK可以表征与人脸图像对应的人脸关键点。
作为一种方式，在将上述训练样本集的数据输入到神经网络模型之后，可以先基于上述指定的损失参数计算规则获取与人脸图像对应的第一仿射变换矩阵(如上式中的fθ(IK))。例如，可以采用SGD(Stochastic Gradient Descent，梯度更新规则)、Adam(Adaptive Moment Estimation，自适应学习率)等优化器算法，基于上述指定的损失参数计算规则获取与人脸图像对应的第一仿射变换矩阵。可选的，第一仿射变换矩阵可以为2x3的矩阵。
步骤S120：基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数。
作为一种方式，可以将第一仿射变换矩阵fθ(IK)与预设的标准人脸关键点Pt所表征的数值相乘，将相乘后得到的结果再和与人脸图像对应的人脸关键点PK所表征的数值进行做差，将做差的结果作为损失参数Lθ。可以理解的是，训练样本集中包括的训练数据可以有很多，那么相应得到的损失参数的结果可以有很多，在这种方式下，可以预先设定损失参数的预设阈值，以便可以根据损失参数的大小对训练得到的神经网络模型进行筛选。
本实施例中，损失参数Lθ可以表征人脸图像与标准人脸图像对齐之后，人脸图像对应的人脸关键点与预设的标准人脸关键点之间的距离。可选的，距离越小可以表征人脸图像与标准人脸图像的对齐效果越好。此处的标准人脸图像可以理解为由预设的标准人脸关键点形成的脸部轮廓所表征的人脸图像。
步骤S130：将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型。
作为一种方式，可以将满足预设阈值的损失参数对应的神经网络模型作为目标神经网络模型，其中，预设阈值的具体数值可以不作限定。
步骤S140：获取待处理人脸图像。
可选的，在通过人脸识别进行打卡、支付或者是身份认证的过程中，需要通过图像采集装置(例如，相机、摄像头等)采集人脸图像，进而将采集到的人脸图像与存储的人脸图像进行比对以完成认证。可以理解的是，在通过图像采集装置采集人脸时，被拍摄的人脸可能不是正脸对着摄像头，或者头部倾斜的对着摄像头等，例如，在拍摄人脸的时候突然受到外界干扰而产生的头部偏移等，头部偏移之后人脸可能不是正脸，或者头部偏移之后头部是倾斜着对着摄像头被拍摄的。在这种方式下，如果重新进行人脸拍摄可能会浪费其他需要拍摄者的等待时间，甚至可能会因多次重复拍摄降低设备功耗。
作为一种改善上述问题的方式，本实施例可以在对人脸进行拍摄的过程中对所拍摄的人脸图像进行检测，若检测到所拍摄的人脸图像为非正脸的人脸图像，可以将该非正脸的人脸图像获取作为待处理人脸图像。其中，非正脸可以理解为所拍摄的人脸图像的脸部图像不完整，例如，如图2所示，人脸图像31在被拍摄的时候因被异物33遮挡(可选的，遮挡异物的具体形状以及具体内容可以不作限定，例如，可以是突然飞来的一只蝴蝶等)而缺失一预设面积的人脸图像，可选的，预设面积的具体数值可以根据实际情况进行设定。或者如图3所示，人脸图像31在被拍摄时与竖直方向存在一定的倾斜角度。
步骤S150：将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像。
本实施例中，目标人脸图像为满足目标人脸位姿的人脸图像。可选的，人脸位姿可以包括人脸的位置和姿态，其中，人脸的位置可以包括居中、靠左对齐或者是靠右对齐等，人脸的姿态可以包括人脸脸部的尺寸大小以及人脸是否摆正等。目标人脸姿态可以是经仿射变换处理后得到的位置居中、尺寸大小适中以及脸部摆正的人脸图像。
可选的，目标神经网络模型可以用于对待处理人脸图像的位置、尺寸以及姿态进行纠正，以将待处理人脸图像调整为位置居中、尺寸大小适中以及脸部摆正的人脸图像，将该调整后的人脸图像作为目标人脸图像。作为一种实施方式，可以将待处理人脸图像输入预先训练得到的目标神经网络模型，继而可以基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像。
作为一种方式，得到的目标人脸图像可以用于人脸识别，通过基于本实施例中经由目标神经网络模型仿射变换处理后得到的目标人脸图像进行人脸识别，可以更加快速准确的完成识别过程。
可选的，本实施例中的目标人脸图像可以应用于任意集成有人脸识别功能的人脸识别场景，例如，人脸打卡场景、人脸支付场景、以及人脸身份认证场景等，或者是其他人脸识别场景，例如，网络直播场景等，具体场景可以不作限定。
例如，作为一种实施方式，若当前的人脸识别场景为人脸打卡场景，在获取了目标人脸图像之后，由于此种方式下的人脸图像为位置居中、大小合适、位置摆正的人脸图像，可以快速对该目标人脸图像的脸部特征进行识别，将识别的脸部特征与数据库中预先录入的人脸脸部特征进行匹配，若匹配成功，则可以快速完成人脸打卡。其中，对于人脸脸部特征匹配的具体原理以及匹配过程可以参考相关技术，在此不再赘述。可选的，人脸支付场景与人脸身份认证场景中的人脸识别过程与上述人脸打卡场景相似，在此不再赘述。
本实施例提供的人脸图像处理方法，通过获取包括有人脸图像、与人脸图像对应的人脸关键点以及预设的标准人脸关键点的训练样本集，继而将该训练样本集输入至神经网络模型，再基于指定的损失参数计算规则对神经网络模型进行训练，得到目标神经网络模型，再获取待处理人脸图像，继而将待处理人脸图像输入预先训练得到的目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像。从而通过上述方式实现了通过基于指定的损失参数计算规则训练得到的目标神经网络模型，对待处理人脸图像进行仿射变换处理，即可得到满足目标人脸位姿的人脸图像，而不需要依赖于人脸关键点定位等方式获取满足目标人脸位姿的人脸图像，减小了计算复杂度，进而提升了人脸图像处理的速度。
请参阅图4，示出了本申请另一实施例提供的一种人脸图像处理方法的流程图，本实施例提供一种人脸图像处理方法，可应用于电子设备，该方法包括：
步骤S210：将确定的训练样本集输入至神经网络模型，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵。
步骤S220：基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数。
步骤S230：将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型。
步骤S240：获取待处理人脸图像。
步骤S250：将所述待处理人脸图像输入所述目标神经网络模型，获取与所述待处理人脸图像对应的第二仿射变换矩阵。
本实施例中，预先训练得到的目标神经网络模型可以根据输入的人脸图像输出对应的仿射变换矩阵，可选的，不同的人脸图像对应的仿射变换矩阵可以不同。
作为一种方式，在获取了待处理人脸图像之后，可以将待处理人脸图像输入预先训练得到的目标神经网络模型，继而获取与待处理人脸图像对应的第二仿射变换矩阵。需要说明的是，目标神经网络模型是基于前述实施例中的指定的参数计算规则获取与待处理人脸图像对应的第二仿射变换矩阵，具体获取原理以及获取过程可以参照前述实施例中的描述，在此不再赘述。
步骤S260：基于所述第二仿射变换矩阵对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像。
可选的，第二仿射变换矩阵可以为2x3的矩阵，需要说明的是，第二仿射变换矩阵与第一仿射变换矩阵为不同的矩阵。作为一种方式，可以基于第二仿射变换矩阵对待处理人脸图像进行仿射变换处理，以得到目标人脸图像，可选的，具体仿射变换处理过程可以参照下述描述。
请参阅图5，作为一种方式，步骤S260可以包括：
步骤S261：基于所述角度参数对所述待处理人脸图像进行旋转处理，得到第一人脸图像。
可选的，本实施例中，第二仿射变换矩阵可以包括角度参数、位置参数以及尺度参数，其中，角度参数可以理解为待处理人脸图像相对于人脸姿态为正脸时的偏移角度，位置参数可以理解为待处理人脸图像在所拍摄图像画面中所在的位置(例如，是居中、靠左或者是靠右等)，尺度参数可以理解为待处理人脸图像被拍摄后的图像尺寸、或者是缩放比例等(例如，是不是特别大占满屏幕、或者是特别小导致看不清图像等)。可选的，本实施例中，角度参数、位置参数以及尺度参数的具体数值均可以不作限定。
作为一种实施方式，可以先基于角度参数对待处理人脸图像进行旋转处理，将旋转处理后得到的人脸图像作为第一人脸图像。
步骤S262：基于所述位置参数对所述第一人脸图像进行平移处理，得到第二人脸图像。
可选的，可以再基于位置参数对第一人脸图像进行平移处理，将平移后得到的人脸图像作为第二人脸图像。
步骤S263：基于所述尺度参数对所述第二人脸图像进行缩放处理，得到第三人脸图像，将所述第三人脸图像作为目标人脸图像。
可选的，可以基于尺度参数对第二人脸图像进行缩放处理，将缩放调整后的人脸图像作为第三人脸图像，此种方式下，可以将第三人脸图像作为目标人脸图像。
需要说明的是，上述旋转处理、平移处理以及缩放处理的处理顺序仅作为示例，可以不作限定，例如，可以先对待处理人脸图像进行缩放处理，再对缩放处理后得到的人脸图像进行旋转处理，然后对旋转处理后得到的人脸图像进行平移处理等，在此不一一例举。
请参阅图6，示出了本申请实施例中的对待处理人脸图像进行仿射变换处理的示例图。下面以图6为例对本实施例进行示例性的说明：
如图6所示，将待处理人脸图像31输入预先训练得到的目标神经网络模型，可以输出得到与待处理人脸图像31对应的第二仿射变换矩阵，在此种情况下，可以基于第二仿射变换矩阵对待处理人脸图像31进行仿射变换处理，得到目标人脸图像32，可选的，目标人脸图像32为位置居中、大小合适、姿态摆正的人脸图像。可以理解的是，若采集得到的待处理人脸图像31发生变化，那么目标神经网络模型可以基于指定的损失参数计算规则快速的计算出与当前的待处理人脸图像对应的仿射变换矩阵。
本实施例提供的人脸图像处理方法，通过获取包括有人脸图像、与人脸图像对应的人脸关键点以及预设的标准人脸关键点的训练样本集，继而将该训练样本集输入至神经网络模型，再基于指定的损失参数计算规则对神经网络模型进行训练，得到目标神经网络模型，再获取待处理人脸图像，继而将待处理人脸图像输入预先训练得到的目标神经网络模型，再获取与待处理人脸图像对应的第二仿射变换矩阵，再基于第二仿射变换矩阵对待处理人脸图像进行仿射变换处理，得到目标人脸图像。从而通过上述方式实现了通过与当前待处理人脸图像对应的仿射变换矩阵对待处理人脸图像进行仿射变换处理，得到满足目标人脸位姿的人脸图像，而不是通过单一的标准人脸对待处理人脸图像进行人脸对齐，提升了人脸图像对齐效果的准确性与可靠性。并且不需要依赖于人脸关键点定位等方式获取满足目标人脸位姿的人脸图像，减小了计算复杂度，进而提升了人脸图像处理的速度。
请参阅图7，示出了本申请再一实施例提供的一种人脸图像处理方法的流程图，本实施例提供一种人脸图像处理方法，可应用于电子设备，该方法包括：
步骤S310：将确定的训练样本集输入至神经网络模型，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵。
步骤S320：基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数。
步骤S330：将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型。
步骤S340：获取待处理人脸图像。
步骤S350：将所述待处理人脸图像输入所述至少一个第一卷积层，将所述至少一个第一卷积层的输出输入至所述至少一个第二卷积层，将所述至少一个第二卷积层的输出输入至所述池化层，再将所述池化层的输出输入至所述至少一个全连接层。
可选的，本实施例中的目标神经网络模型可以包括至少一个第一卷积层、至少一个第二卷积层、池化层以及至少一个全连接层。其中，第一卷积层与第二卷积层为步长(stride)不同的卷积层，例如，第一卷积层的步长可以为1，第二卷积层的步长可以为2。第一卷积层的步长的数值以及第二卷积层的步长的数值具体均可以不作限定。
例如，请参阅图8，示出了本实施例提供的目标神经网络模型的结构框图的一示例图，如图8所示，第一卷积层和第二卷积层可以交叉排列，作为一种方式，可以将待处理人脸图像输入至少一个第一卷积层，将至少一个第一卷积层的输出输入至至少一个第二卷积层，将至少一个第二卷积层的输出输入至池化层，再将池化层的输出输入至至少一个全连接层。其中，在将待处理人脸图像输入第一卷积层，以及将第一卷积层的输出输入至第二卷积层，再将第二卷积层的输出输入至第一卷积层的具体输入输出流程可以参照图8，在此不再赘述。需要说明的是，本实施例中，第一卷积层的数量，第二卷积层的数量以及全连接层的数量可以不作限定，目标神经网络模型的结构也可以不作限定。
步骤S360：基于所述至少一个全连接层的输出对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像。
作为一种方式，可以基于至少一个全连接层的输出对待处理人脸图像进行仿射变换处理，进而得到目标人脸图像。
本实施例提供的人脸图像处理方法，通过将获取的待处理人脸图像输入预先训练得到的目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像，目标神经网络模型为基于指定的损失参数计算规则训练得到，目标人脸图像为满足目标人脸位姿的人脸图像，对目标人脸图像进行人脸识别。实现了通过将获取的待处理人脸图像输入基于指定的损失参数计算规则训练得到的目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，即可得到满足目标人脸位姿的人脸图像，而不需要依赖于人脸关键点定位等方式获取满足目标人脸位姿的人脸图像，减小了计算复杂度，进而提升了人脸图像处理的速度。
请参阅图9，示出了本申请再一实施例提供的一种人脸图像处理方法的流程图，本实施例提供一种人脸图像处理方法，可应用于电子设备，该方法包括：
步骤S410：获取目标直播场景中的人脸图像。
可选的，本实施例中的目标直播场景可以是主播用户登录网络直播间时的身份验证场景，也可以是在直播的过程中，需要采集主播用户(或者观众端用户)的脸部图像特征的场景，具体场景的形式可以不作限定。
步骤S420：若所述人脸图像对应的人脸位姿不满足目标人脸位姿，将所述人脸图像作为待处理人脸图像。
作为一种方式，在获取了目标直播场景中的人脸图像之后，可以分析人脸图像的脸部位姿，进而判断该人脸图像对应的人脸位姿是否满足目标人脸位姿。可选的，若该人脸图像对应的人脸位姿满足目标人脸位姿，可以直接将该人脸图像作为目标人脸图像，而若该人脸图像对应的人脸位姿不满足目标人脸位姿，则可以将该人脸图像作为待处理人脸图像。
步骤S430：将所述待处理人脸图像输入预先训练得到的目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像。
其中，目标人脸图像为满足目标人脸位姿的人脸图像，目标神经网络模型为基于指定的损失参数计算规则训练得到，作为一种方式，本实施例中目标神经网络模型的训练过程可以包括：将确定的训练样本集输入至神经网络模型，训练样本集可以包括人脸图像、与人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与人脸图像对应的第一仿射变换矩阵；基于第一仿射变换矩阵、标准人脸关键点以及与人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的损失参数对应的神经网络模型作为目标神经网络模型。其中，目标神经网络模型的具体训练过程可以参照前述实施例中的描述，在此不再赘述。
作为一种方式，可以将待处理人脸图像输入预先训练得到的目标神经网络模型，基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像。可选的，本实施例中得到的目标人脸图像可以随人脸分割功能集成到人脸特效产品(例如，配置有直播客户端、视频播放客户端或者是视频图像处理(例如瘦脸、美颜、美妆等)客户端的电子设备)中，或者是随表情识别功能集成到表情识别的应用产品(例如，直播平台可以捕捉主播用户的表情，用来制作表情包等)中。
例如，在某一直播场景中，主播A刚开始直播的时候，可能会因为网络原因或者是拍摄视角原因导致所拍摄的人脸图像存在遮挡或者倾斜，在这种方式下，可以通过本实施例中的目标神经网络模型对所拍摄的该主播A的人脸图像进行仿射变换处理，得到位置居中、尺寸大小合适以及姿态摆正的目标人脸图像，以实现通过对目标人脸图像的脸部特征进行识别而实现快速准确的进行人脸分割或表情识别。
步骤S440：输出所述目标人脸图像。
可选的，对于得到的目标人脸图像的输出形式可以不作限定，例如，可以以图片、视频、短视频等形式输出目标人脸图像。
本实施例提供的人脸图像处理方法，通过在获取的目标直播场景中的人脸图像对应的人脸位姿不满足目标人脸位姿的情况下，将该人脸图像作为待处理人脸图像，继而将待处理人脸图像输入预先训练得到的目标神经网络模型，再基于目标神经网络模型对待处理人脸图像进行仿射变换处理，得到目标人脸图像，然后输出目标人脸图像。从而通过上述方式实现了通过基于指定的损失参数计算规则训练得到的目标神经网络模型，对待处理人脸图像进行仿射变换处理，即可得到满足目标人脸位姿的人脸图像，而不需要依赖于人脸关键点定位等方式获取满足目标人脸位姿的人脸图像，减小了计算复杂度，进而提升了人脸图像处理的速度。
请参阅图10，为本申请实施例提供的一种人脸图像处理装置的结构框图，本实施例提供一种人脸图像处理装置500，可以运行于电子设备，所述装置500包括：第一获取模块510、第二获取模块520、第三获取模块530、第四获取模块540以及处理模块550：
第一获取模块510，用于将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵。
可选的，本实施例中指定的损失参数计算规则可以包括：
其中，Lθ表征损失参数，IK表征人脸图像，fθ表征目标神经网络模型，N表征训练样本集的数据量，Pt表征预设的标准人脸关键点，PK表征与人脸图像对应的人脸关键点。
第二获取模块520，用于基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数。
第三获取模块530，用于将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型。
第四获取模块540，用于获取待处理人脸图像。
处理模块550，用于将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像。
作为一种方式，处理模块550可以用于将待处理人脸图像输入预先训练得到的目标神经网络模型，获取与待处理人脸图像对应的第二仿射变换矩阵；基于第二仿射变换矩阵对待处理人脸图像进行仿射变换处理，得到目标人脸图像。可选的，第二仿射变换矩阵可以包括角度参数、位置参数以及尺度参数。其中，基于第二仿射变换矩阵对待处理人脸图像进行仿射变换处理，得到目标人脸图像，可以包括：基于所述角度参数对所述待处理人脸图像进行旋转处理，得到第一人脸图像；基于所述位置参数对所述第一人脸图像进行平移处理，得到第二人脸图像；以及基于所述尺度参数对所述第二人脸图像进行缩放处理，得到第三人脸图像，将所述第三人脸图像作为目标人脸图像。
可选的，目标神经网络模型包括至少一个第一卷积层、至少一个第二卷积层、池化层以及至少一个全连接层。作为一种方式，处理模块550具体可以用于将所述待处理人脸图像输入所述至少一个第一卷积层，将所述至少一个第一卷积层的输出输入至所述至少一个第二卷积层，将所述至少一个第二卷积层的输出输入至所述池化层，再将所述池化层的输出输入至所述至少一个全连接层；基于所述至少一个全连接层的输出对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像。
请参阅图11，为本申请实施例提供的一种人脸图像处理装置的结构框图，本实施例提供一种人脸图像处理装置600，可以运行于电子设备，所述装置500包括：第一获取单元610、第二获取单元620、处理单元630以及输出单元640：
第一获取单元610，用于获取目标直播场景中的人脸图像。
第二获取单元620，用于若所述人脸图像对应的人脸位姿不满足目标人脸位姿，将所述人脸图像作为待处理人脸图像。
处理单元630，用于将所述待处理人脸图像输入预先训练得到的目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像。其中，目标神经网络模型的训练过程可以包括：将确定的训练样本集输入至神经网络模型，训练样本集可以包括人脸图像、与人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与人脸图像对应的第一仿射变换矩阵；基于第一仿射变换矩阵、标准人脸关键点以及与人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的损失参数对应的神经网络模型作为目标神经网络模型。
输出单元640，用于输出所述目标人脸图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图12，基于上述的人脸图像处理方法及装置，本申请实施例还提供了一种可以执行前述人脸图像处理方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。
其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。
存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1300包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (9)
1.一种人脸图像处理方法，其特征在于，所述方法包括：
将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵，所述指定的损失参数计算规则包括：，
其中，所述表征所述损失参数，所述表征所述人脸图像，所述表征所述目标神经网络模型，所述N表征所述训练样本集的数据量，所述表征所述预设的标准人脸关键点，所述表征所述与所述人脸图像对应的人脸关键点；
基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；
将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型；
获取待处理人脸图像；
将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，包括：
将所述待处理人脸图像输入所述目标神经网络模型，获取与所述待处理人脸图像对应的第二仿射变换矩阵；
基于所述第二仿射变换矩阵对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述第二仿射变换矩阵包括角度参数、位置参数以及尺度参数，所述基于所述第二仿射变换矩阵对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，包括：
基于所述角度参数对所述待处理人脸图像进行旋转处理，得到第一人脸图像；
基于所述位置参数对所述第一人脸图像进行平移处理，得到第二人脸图像；以及
基于所述尺度参数对所述第二人脸图像进行缩放处理，得到第三人脸图像，将所述第三人脸图像作为目标人脸图像。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标神经网络模型包括至少一个第一卷积层、至少一个第二卷积层、池化层以及至少一个全连接层，所述将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，包括：
将所述待处理人脸图像输入所述至少一个第一卷积层，将所述至少一个第一卷积层的输出输入至所述至少一个第二卷积层，将所述至少一个第二卷积层的输出输入至所述池化层，再将所述池化层的输出输入至所述至少一个全连接层；
基于所述至少一个全连接层的输出对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像。
5.一种人脸图像处理方法，其特征在于，所述方法包括：
获取目标直播场景中的人脸图像；
若所述人脸图像对应的人脸位姿不满足目标人脸位姿，将所述人脸图像作为待处理人脸图像；
将所述待处理人脸图像输入预先训练得到的目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像，所述目标神经网络模型的训练过程包括：将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵；基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型，所述指定的损失参数计算规则包括：，
其中，所述表征所述损失参数，所述表征所述人脸图像，所述表征所述目标神经网络模型，所述N表征所述训练样本集的数据量，所述表征所述预设的标准人脸关键点，所述表征所述与所述人脸图像对应的人脸关键点；
输出所述目标人脸图像。
6.一种人脸图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵，所述指定的损失参数计算规则包括：，
其中，所述表征所述损失参数，所述表征所述人脸图像，所述表征所述目标神经网络模型，所述N表征所述训练样本集的数据量，所述表征所述预设的标准人脸关键点，所述表征所述与所述人脸图像对应的人脸关键点；
第二获取模块，用于基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；
第三获取模块，用于将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型；
第四获取模块，用于获取待处理人脸图像；
处理模块，用于将所述待处理人脸图像输入所述目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像。
7.一种人脸图像处理装置，其特征在于，所述装置包括：
第一获取单元，用于获取目标直播场景中的人脸图像；
第二获取单元，用于若所述人脸图像对应的人脸位姿不满足目标人脸位姿，将所述人脸图像作为待处理人脸图像；
处理单元，用于将所述待处理人脸图像输入预先训练得到的目标神经网络模型，基于所述目标神经网络模型对所述待处理人脸图像进行仿射变换处理，得到目标人脸图像，所述目标人脸图像为满足目标人脸位姿的人脸图像，所述目标神经网络模型的训练过程包括：将确定的训练样本集输入至神经网络模型，所述训练样本集包括人脸图像、与所述人脸图像对应的人脸关键点以及预设的标准人脸关键点，基于指定的损失参数计算规则获取与所述人脸图像对应的第一仿射变换矩阵；基于所述第一仿射变换矩阵、所述标准人脸关键点以及所述与所述人脸图像对应的人脸关键点获取损失参数；将满足预设阈值的所述损失参数对应的神经网络模型作为目标神经网络模型，所述指定的损失参数计算规则包括：，
其中，所述表征所述损失参数，所述表征所述人脸图像，所述表征所述目标神经网络模型，所述N表征所述训练样本集的数据量，所述表征所述预设的标准人脸关键点，所述表征所述与所述人脸图像对应的人脸关键点；
输出单元，用于输出所述目标人脸图像。
8.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-4或权利要求5任一所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-4或权利要求5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275298.2A CN111476709B (zh) | 2020-04-09 | 2020-04-09 | 人脸图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275298.2A CN111476709B (zh) | 2020-04-09 | 2020-04-09 | 人脸图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476709A CN111476709A (zh) | 2020-07-31 |
| CN111476709B true CN111476709B (zh) | 2023-04-07 |
Family
ID=71751427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010275298.2A Active CN111476709B (zh) | 2020-04-09 | 2020-04-09 | 人脸图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476709B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381749A (zh) * | 2020-11-24 | 2021-02-19 | 维沃移动通信有限公司 | 一种图像处理方法、图像处理装置和电子设备 |
| CN112464839A (zh) * | 2020-12-04 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 人像分割方法、装置、机器人及存储介质 |
| CN112734890B (zh) * | 2020-12-22 | 2023-11-10 | 上海影谱科技有限公司 | 基于三维重建的人脸替换方法及装置 |
| CN112541477B (zh) * | 2020-12-24 | 2024-05-31 | 北京百度网讯科技有限公司 | 表情包生成方法、装置、电子设备和存储介质 |
| CN112613446B (zh) * | 2020-12-29 | 2023-03-31 | 贝壳技术有限公司 | 一种人脸对齐的方法、装置、电子设备及存储介质 |
| CN113011401B (zh) * | 2021-04-30 | 2023-03-21 | 汇纳科技股份有限公司 | 人脸图像姿态估计和校正方法、系统、介质及电子设备 |
| CN113240780B (zh) * | 2021-05-14 | 2023-08-04 | 北京百度网讯科技有限公司 | 生成动画的方法和装置 |
| CN114037740A (zh) * | 2021-11-09 | 2022-02-11 | 北京字节跳动网络技术有限公司 | 图像数据流的处理方法、装置及电子设备 |
| CN114519666B (zh) * | 2022-02-18 | 2023-09-19 | 广州方硅信息技术有限公司 | 直播图像矫正方法、装置、设备及存储介质 |
| CN114581627B (zh) * | 2022-03-04 | 2024-04-16 | 合众新能源汽车股份有限公司 | 基于arhud的成像方法和系统 |
| CN114677743A (zh) * | 2022-04-08 | 2022-06-28 | 湖南四方天箭信息科技有限公司 | 人脸摆正方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6134344A (en) * | 1997-06-26 | 2000-10-17 | Lucent Technologies Inc. | Method and apparatus for improving the efficiency of support vector machines |
| CN109960986A (zh) * | 2017-12-25 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
-
2020
- 2020-04-09 CN CN202010275298.2A patent/CN111476709B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6134344A (en) * | 1997-06-26 | 2000-10-17 | Lucent Technologies Inc. | Method and apparatus for improving the efficiency of support vector machines |
| CN109960986A (zh) * | 2017-12-25 | 2019-07-02 | 北京市商汤科技开发有限公司 | 人脸姿态分析方法、装置、设备、存储介质以及程序 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 傅勇等.改进级联卷积神经网络的平面旋转人脸检测.计算机工程与设计.2020,第41卷(第41卷),第856-861页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476709A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476709B (zh) | 人脸图像处理方法、装置及电子设备 | |
| WO2020228446A1 (zh) | 模型训练方法、装置、终端及存储介质 | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| CN109978754A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109934300B (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
| JP5366756B2 (ja) | 情報処理装置及び情報処理方法 | |
| CN111160202B (zh) | 基于ar设备的身份核验方法、装置、设备及存储介质 | |
| CN106204660A (zh) | 一种基于特征匹配的地面目标跟踪装置 | |
| CN106326853B (zh) | 一种人脸跟踪方法及装置 | |
| CN112767294B (zh) | 深度图像的增强方法、装置、电子设备以及存储介质 | |
| CN111126140A (zh) | 文本识别方法、装置、电子设备以及存储介质 | |
| WO2016165614A1 (zh) | 一种即时视频中的表情识别方法和电子设备 | |
| CN111950570B (zh) | 目标图像提取方法、神经网络训练方法及装置 | |
| CN111382791B (zh) | 深度学习任务处理方法、图像识别任务处理方法和装置 | |
| CN111292262A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN114202615A (zh) | 人脸表情的重建方法、装置、设备和存储介质 | |
| JP2011053951A (ja) | 画像処理装置 | |
| CN111368763A (zh) | 基于头像的图像处理方法、装置及计算机可读存储介质 | |
| CN109361850B (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| CN112528978B (zh) | 人脸关键点的检测方法、装置、电子设备及存储介质 | |
| CN112766065A (zh) | 一种移动端考生身份认证方法、装置、终端及存储介质 | |
| CN117197405A (zh) | 三维物体的增强现实方法、系统及存储介质 | |
| CN111476095A (zh) | 一种表情属性识别方法、装置、计算机设备及存储介质 | |
| CN114511877A (zh) | 一种行为识别方法、装置、存储介质及终端 | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210112 Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Address before: 511400 24th floor, building B-1, North District, Wanda Commercial Plaza, Wanbo business district, No.79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou, Guangdong Province Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200731 Assignee: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. Assignor: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Contract record no.: X2021440000054 Denomination of invention: Face image processing method, device and electronic equipment License type: Common License Record date: 20210208 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |