CN112818772A - 一种面部参数的识别方法、装置、电子设备及存储介质 - Google Patents
一种面部参数的识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112818772A CN112818772A CN202110071434.0A CN202110071434A CN112818772A CN 112818772 A CN112818772 A CN 112818772A CN 202110071434 A CN202110071434 A CN 202110071434A CN 112818772 A CN112818772 A CN 112818772A
- Authority
- CN
- China
- Prior art keywords
- face
- parameters
- image
- face image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 174
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008921 facial expression Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理技术领域，尤其涉及一种面部参数的识别方法、装置、电子设备及存储介质。本申请通过将获取的待识别的目标人脸图像直接输入面部参数识别模型中，而无需进行人脸关键点的识别，就可以实时得到目标人脸图像对应的目标面部参数，其中，目标人脸图像为RGB三通道图像，目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。这样，可以省去从目标人脸图像中识别人脸关键点所花费的时间，一方面可以保证识别面部参数的实时性，另一方面可以提升面部参数的识别速度。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种面部参数的识别方法、装置、电子设备及存储介质。
背景技术
面部捕捉系统可以识别出用户的面部参数，之后将识别出的面部参数应用于3D人脸模型中，从而达到驱动3D人脸模型展示相同面部表情的目的。
现有的面部捕捉系统主要可分为两类，一类是通过特殊的光学穿戴设备，配合一些基础的校正和标定来进行人脸面部捕捉，需要通过深度摄像头来捕捉人脸信息；另一类是先提前获取图像的人脸关键点，再通过相关算法进行面部参数的计算，从而获得面部参数。但是，第一类方法在使用上较为繁琐，而且设备较为昂贵；第二类方法需要识别出对应人脸的关键点，而从人脸图像中识别出人脸关键点需要一定的时间，因而在实时性和捕捉速度上都存在明显不足，难以满足面部捕捉的需求。
发明内容
有鉴于此，本申请实施例至少提供一种面部参数的识别方法、装置、电子设备及存储介质，可以保证识别面部参数的实时性，并提升面部参数的识别速度。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供一种面部参数的识别方法，所述识别方法包括：
获取待识别的目标人脸图像；所述目标人脸图像为RGB三通道图像；
将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数；
其中，所述目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。
在一种可能的实施方式中，所述面部参数识别模型由顺次连接的图像处理网络、特征提取网络和输出网络组成；所述将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数，包括：
将所述目标人脸图像输入所述图像处理网络，得到人脸特征图像；
将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数；
基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数。
在一种可能的实施方式中，所述基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数，包括：
将所述第一特征参数输入所述输出网络，得到所述人脸姿态参数和第二特征参数；
基于所述第一特征参数和所述第二特征参数，得到所述人脸形状参数和所述人脸表情参数。
在一种可能的实施方式中，所述特征提取网络由顺序连接的至少两个子提取层组成；所述将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数，包括：
将所述人脸特征图像输入到首个子提取层，得到当前特征参数；
将所述当前特征参数输入到下一个子提取层，得到中间特征参数；若还存在下一个子提取层，则将中间特征参数作为当前特征参数，并重新执行步骤将当前特征参数输入到下一个子提取层，得到中间特征参数；若不存在下一个子提取层，则将最后一次得到的中间特征参数作为所述第一特征参数输出。
在一种可能的实施方式中，根据以下步骤训练所述面部参数识别模型：
获取多个第一样本人脸图像、每个样本人脸图像对应的真实人脸关键点的坐标以及真实面部参数；
将每个第一样本人脸图像输入初始深度网络学习模型，得到该第一样本人脸图像对应的预测面部参数；以及，基于每个第一样本人脸图像对应的预测面部参数，得到该第一样本人脸图像对应的预测人脸关键点的坐标；
通过将每个第一样本人脸图像的真实人脸关键点的坐标与预测人脸关键点的坐标进行比较，以及通过将该第一样本人脸图像的真实样本面部参数与预测样本面部参数进行比较，得到损失值；
当损失值小于或等于预设阈值时，停止对所述初始深度网络学习模型的训练，得到训练好的面部参数识别模型。
在一种可能的实施方式中，根据以下步骤获取第一样本人脸图像：
获取第二样本人脸图像，并从所述第二样本人脸图像中识别出人脸关键点；
基于所述第二样本人脸图像中的人脸关键点的坐标，得到所述第二样本人脸图像对应的样本面部参数；
对所述第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，并基于调整面部参数，确定与所述调整面部参数对应的扩展样本人脸图像；
将所述扩展样本人脸图像和所述第二样本人脸图像均作为所述第一样本人脸图像。
在一种可能的实施方式中，所述对所述第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，包括：
对所述第二样本人脸图像对应的样本面部参数中的人脸姿态参数和/或人脸表情参数进行调整，得到调整面部参数。
在一种可能的实施方式中，根据以下公式计算损失值：
其中，a为从第一样本人脸图像中提取的人脸关键的数量，
为每个人脸关键点对应的权重，
为第一样本人脸图像对应的预测人脸关键点的坐标，
为第一样本人脸图像对应的真实人脸关键点的坐标，u为面部参数对应的权重系数，b为人脸形状参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸形状参数，
为第一样本人脸图像对应的真实人脸形状参数，c为人脸表情参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸表情参数，
为第一样本人脸图像对应的真实人脸表情参数，d为人脸姿态参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸姿态参数，
为第一样本人脸图像对应的真实人脸姿态参数。
在一种可能的实施方式中，在得到所述目标人脸图像对应的目标面部参数之后，所述识别方法还包括：
基于所述目标人脸图像对应的目标面部参数，得到所述目标人脸图像对应的三维人脸模型。
在一种可能的实施方式中，所述识别方法应用于以下至少一种使用场景：
虚拟主播场景；虚拟社交场景。
第二方面，本申请实施例还提供一种面部参数的识别装置，所述识别装置包括：
获取模块，用于获取待识别的目标人脸图像；所述目标人脸图像为RGB三通道图像；
确定模块，用于将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数；
其中，所述目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。
在一种可能的实施方式中，所述面部参数识别模型由顺次连接的图像处理网络、特征提取网络和输出网络组成；所述第一确定模块包括：
第一确定单元，用于将所述目标人脸图像输入所述图像处理网络，得到人脸特征图像；
第二确定单元，用于将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数；
第三确定单元，用于基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数。
在一种可能的实施方式中，所述第三确定单元，用于根据以下步骤确定所述目标人脸图像对应的目标面部参数：
将所述第一特征参数输入所述输出网络，得到所述人脸姿态参数和第二特征参数；
基于所述第一特征参数和所述第二特征参数，得到所述人脸形状参数和所述人脸表情参数。
在一种可能的实施方式中，所述特征提取网络由顺序连接的至少两个子提取层组成；所述第二确定单元，用于根据以下步骤确定所述人脸特征图像中的第一特征参数：
将所述人脸特征图像输入到首个子提取层，得到当前特征参数；
将所述当前特征参数输入到下一个子提取层，得到中间特征参数；若还存在下一个子提取层，则将中间特征参数作为当前特征参数，并重新执行步骤将当前特征参数输入到下一个子提取层，得到中间特征参数；若不存在下一个子提取层，则将最后一次得到的中间特征参数作为所述第一特征参数输出。
在一种可能的实施方式中，所述识别装置还包括训练模块；所述训练模块，用于根据以下步骤训练所述面部参数识别模型：
获取多个第一样本人脸图像、每个样本人脸图像对应的真实人脸关键点的坐标以及真实面部参数；
将每个第一样本人脸图像输入初始深度网络学习模型，得到该第一样本人脸图像对应的预测面部参数；以及，基于每个第一样本人脸图像对应的预测面部参数，得到该第一样本人脸图像对应的预测人脸关键点的坐标；
通过将每个第一样本人脸图像的真实人脸关键点的坐标与预测人脸关键点的坐标进行比较，以及通过将该第一样本人脸图像的真实样本面部参数与预测样本面部参数进行比较，得到损失值；
当损失值小于或等于预设阈值时，停止对所述初始深度网络学习模型的训练，得到训练好的面部参数识别模型。
在一种可能的实施方式中，所述训练模块包括：
获取单元，用于获取第二样本人脸图像，并从所述第二样本人脸图像中识别出人脸关键点；
第四确定单元，用于基于所述第二样本人脸图像中的人脸关键点的坐标，得到所述第二样本人脸图像对应的样本面部参数；
扩展单元，用于对所述第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，并基于调整面部参数，确定与所述调整面部参数对应的扩展样本人脸图像；
第五确定单元，用于将所述扩展样本人脸图像和所述第二样本人脸图像均作为所述第一样本人脸图像。
在一种可能的实施方式中，所述扩展单元，用于根据以下步骤得到调整面部参数：
对所述第二样本人脸图像对应的样本面部参数中的人脸姿态参数和/或人脸表情参数进行调整，得到调整面部参数。
在一种可能的实施方式中，所述训练模块，用于根据以下公式计算损失值：
其中，a为从第一样本人脸图像中提取的人脸关键的数量，
为每个人脸关键点对应的权重，
为第一样本人脸图像对应的预测人脸关键点的坐标，
为第一样本人脸图像对应的真实人脸关键点的坐标，u为面部参数对应的权重系数，b为人脸形状参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸形状参数，
为第一样本人脸图像对应的真实人脸形状参数，c为人脸表情参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸表情参数，
为第一样本人脸图像对应的真实人脸表情参数，d为人脸姿态参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸姿态参数，
为第一样本人脸图像对应的真实人脸姿态参数。
在一种可能的实施方式中，所述识别装置还包括第二确定模块；
所述第二确定模块，用于基于所述目标人脸图像对应的目标面部参数，得到所述目标人脸图像对应的三维人脸模型。
在一种可能的实施方式中，所述识别装置应用于以下至少一种使用场景：
虚拟主播场景；虚拟社交场景。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的面部参数的识别方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的面部参数的识别方法的步骤。
本申请实施例提供的面部参数的识别方法、装置、电子设备及存储介质，通过将获取的待识别的目标人脸图像直接输入面部参数识别模型中，而无需进行人脸关键点的识别，就可以实时得到目标人脸图像对应的目标面部参数，与现有技术中通过特殊的光学穿戴设备，配合一些基础的校正和标定来进行人脸面部捕捉，而且需要通过深度摄像头来捕捉人脸信息，在使用上较为繁琐，而且设备较为昂贵相比，或者与先提前获取图像的人脸关键点，再通过相关算法进行面部参数的计算，从而获得面部参数，从人脸图像中识别出人脸关键点需要一定的时间，因而在实时性和捕捉速度上都存在明显不足，难以满足面部捕捉的需求相比，本申请可以省去从目标人脸图像中识别人脸关键点所花费的时间，一方面可以保证识别面部参数的实时性，另一方面可以提升面部参数的识别速度。
进一步，本申请实施例提供的面部参数的识别方法，还可以对第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，并基于调整面部参数，确定与调整面部参数对应的扩展样本人脸图像，并将扩展样本人脸图像和第二样本人脸图像均作为第一样本人脸图像，这样，可以得到包含各个人脸姿态、人脸形状和人脸表情的同一个人的样本人脸图像，即，得到更多姿态的样本人脸图像，可以提升面部参数识别模型对各种姿态的目标人脸图像进行识别的准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种面部参数的识别方法的流程图；
图2示出了面部参数识别模型的结构示意图；
图3示出了本申请实施例所提供的一种面部参数的识别装置的功能模块图之一；
图4示出了图3中的第一确定模块的功能模块图；
图5示出了本申请实施例所提供的一种面部参数的识别装置的功能模块图之二；
图6示出了图5中的训练模块的功能模块图；
图7示出了本申请实施例所提供的一种电子设备的结构示意图。
主要元件符号说明：
图中：300-面部参数的识别装置；310-获取模块；320-第一确定模块；321-第一确定单元；322-第二确定单元；323-第三确定单元；330-训练模块；331-获取单元；332-第四确定单元；333-扩展单元；334-第五确定单元；340-第二确定模块；700-电子设备；710-处理器；720-存储器；730-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“面部捕捉”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要进行面部捕捉的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的面部参数的识别方法及装置的方案均在本申请保护范围内。
值得注意的是，在本申请提出之前，相关的面部捕捉系统主要可分为两类，一类是通过特殊的光学穿戴设备，配合一些基础的校正和标定来进行人脸面部捕捉，需要通过深度摄像头来捕捉人脸信息；另一类是先提前获取图像的人脸关键点，再通过相关算法进行面部参数的计算，从而获得面部参数。但是，第一类方法在使用上较为繁琐，而且设备较为昂贵；第二类方法需要识别出对应人脸的关键点，而从人脸图像中识别出人脸关键点需要一定的时间，因而在实时性和捕捉速度上都存在明显不足，难以满足面部捕捉的需求。
针对上述问题，本申请实施例通过将获取的待识别的目标人脸图像直接输入面部参数识别模型中，而无需进行人脸关键点的识别，就可以实时得到目标人脸图像对应的目标面部参数，其中，目标人脸图像为RGB三通道图像，目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。这样，可以省去从目标人脸图像中识别人脸关键点所花费的时间，一方面可以保证识别面部参数的实时性，另一方面可以提升面部参数的识别速度。
为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。
图1为本申请实施例所提供的一种面部参数的识别方法的流程图。如图1所示，本申请实施例提供的面部参数的识别方法，包括以下步骤：
S101：获取待识别的目标人脸图像；所述目标人脸图像为RGB三通道图像。
在具体实施中，要识别出一张人脸图像对应的面部参数时，先需要获取待识别的目标人脸图像，这里，本申请中获取的目标人脸图像为RGB三通道图像，进而，可以将获取的RGB三通道图像直接输入面部参数识别模型。
需要说明的是，RGB三通道图像也叫全彩图，图像具有三个通道，RGB是代表红、绿、蓝三个通道的颜色，一幅RGB图像是一个M*N*3的彩色像素数组，其中每个彩色像素是一个三值组，这三个值分别对应一个特定空间位置处该RGB图像的红、绿和蓝分量，其中，M*N为每个像素的尺寸。
S102：将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数。
在具体实施中，在获取到待识别的目标人脸图像后，可以直接将目标人脸图像输入面部参数识别模型中，无需从目标人脸图像中识别出人脸关键点，就可以直接得到目标人脸图像对应的目标面部参数，这样，省去了从目标人脸图像中识别人脸关键点所花费的时间，可以加快面部参数的识别速度，进而，保证从目标人脸图像中得到面部参数的实时性，避免出现计算的延迟。
需要说明的是，相关技术中，先需要从获取的人脸图像中识别出人脸关键点，并基于人脸关键点确定该人脸图像对应的面部参数，然而，这种方式需要额外花费获取人脸关键点的时间，增加了计算工作量，运算耗时增加，导致计算面部参数的速度较慢。
其中，所述目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。
这里，面部参数包括但不限于人脸表情参数、人脸形状参数和人脸姿态参数；其中，人脸表情参数用于表征人的面部表情，面部表情包括但不限于愤怒、恐惧、快乐、伤心、厌恶、惊讶、轻蔑；人脸形状参数用于表征人的面部形状，面部形状包括但不限于圆形脸型、椭圆形脸型、卵圆形脸型、倒卵圆形脸型、方形脸型、长方形脸型、梯形脸型、倒梯形脸型、菱形脸型、五角形脸型；人脸姿态参数用于表征人的头部姿势，在姿势上人的头部被限制为3个自由度，分别是俯仰，坡度和偏航角。
需要说明的是，执行本申请提供的面部参数的识别方法的主体可以是终端设备，也可以是与终端设备交互的服务器。这里，若本申请提供的面部参数识别方法的执行主体为终端设备，则要求面部参数识别模型为小模型，即面部参数识别模型的规模小些，这样，可以便于面部参数识别模型部署在终端设备上，由于本申请中的面部参数的识别方法无需获得人脸关键点，所以本申请不论是在流程便捷性，还是运行速度上都更为突出，基于Openvino前向框架，实测在Intel i7-8700K CPU上，单次运行时间只需要不到1毫秒，这样，可以很好地保证识别面部参数的实时性和识别速度。
进一步地，在S102得到所述目标人脸图像对应的目标面部参数之后，还包括以下步骤：
基于所述目标人脸图像对应的目标面部参数，得到所述目标人脸图像对应的三维人脸模型。
在具体实施中，在一些使用场景中，需要建立与用户的面部表情相一致的3D人脸模型，从而在终端设备上通过3D人脸模型展示与该用户相同的面部表情，具体地，可以先实时采集用户的人脸图像，对于每一张人脸图像实时得到该人脸图像对应的面部参数，并将各个面部参数按照时间顺序应用于3D人脸模型上，从而在终端设备上通过3D人脸模型实时展示出与该用户相同的面部表情。
这里，本申请提供的面部参数的识别方法可以应用于虚拟主播场景，也可以应用于虚拟社交场景。对于虚拟主播场景，可以在进行直播时，实时获取主播的人脸图像，确定与每张人脸图像对应的面部参数，并以3D人脸模型的形式实时展示出与主播表情一致的卡通形象；对于虚拟社交场景，可以在用户间进行互动时，实时获取各用户的人脸图像，确定与每张人脸图像对应的面部参数，并以3D人脸模型的形式实时展示出与各用户表情一致的卡通形象。
进一步地，下面对面部参数识别模型的内部结构和工作原理进行阐述，这里，如图2所示，图2示出了面部参数识别模型的结构示意图，其中，面部参数识别模型由顺次连接的图像处理网络、特征提取网络和输出网络组成；步骤S102中将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数，包括以下步骤：
步骤a1：将所述目标人脸图像输入所述图像处理网络，得到人脸特征图像。
在具体实施中，先将目标人脸图像输入面部参数识别模型中的图像处理网络，得到带有人脸特征的人脸特征图像。
这里，图像处理网络为卷积网络，通过卷积从目标人脸图像中提取人脸特征，得到人脸特征图像。
步骤a2：将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数。
在具体实施中，在得到人脸特征图像后，将人脸特征图像作为面部参数识别模型中的特征提取网络的输入，人脸特征图像中的第一特征参数作为输出。这里，第一特征参数为表征人脸特征的参数。
需要说明的是，特征提取网络为卷积块网络，用于从人脸特征图像中提取表征面部结构的特征参数。
进一步地，特征提取网络是由顺序连接的至少两个子提取层组成的，步骤a2中将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数，包括以下步骤：
将所述人脸特征图像输入到首个子提取层，得到当前特征参数；将所述当前特征参数输入到下一个子提取层，得到中间特征参数；若还存在下一个子提取层，则将中间特征参数作为当前特征参数，并重新执行步骤将当前特征参数输入到下一个子提取层，得到中间特征参数；若不存在下一个子提取层，则将最后一次得到的中间特征参数作为所述第一特征参数输出。
在具体实施中，特征提取网络是由多个顺次连接的子提取层组成的，先将图像处理网络输出的人脸特征图像输入首个子提取层进行特征提取，得到中间特征参数，进而，将该中间特征参数输入下一个子提取层，重复上述将中间特征参数输入子提取层的过程，直至，在不存在下一个子提取层时，将最后一次得到的中间特征参数作为第一特征参数输出，第一特征参数为特征提取网络的输出。
步骤a3：基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数。
在具体实施中，将特征提取网络输出的第一特征参数输入输出网络，可以最终得到目标人脸图像对应的目标面部参数，这里，目标面部参数的识别要依赖于特征提取网络中输出的第一特征参数，以及输出网络输出的内容。
需要说明的是，输出网络为卷积网络，用于对第一特征参数进行进一步的特征提取，得到目标人脸图像对应的目标面部参数。
这里，对特征提取网络和输出网络共同得到目标人脸图像对应的目标面部参数的过程进行说明，也即，步骤a3中基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数，包括以下步骤：
将所述第一特征参数输入所述输出网络，得到所述人脸姿态参数和第二特征参数；基于所述第一特征参数和所述第二特征参数，得到所述人脸形状参数和所述人脸表情参数。
在具体实施中，将特征提取网络输出的第一特征参数输入输出网络，得到人脸姿态参数和第二特征参数，将第一特征参数和第二特征参数进行合并连接处理，得到人脸形状参数和人脸表情参数，进而，得到目标人脸图像对应的目标面部参数。
需要说明的是，本申请提供的面部参数识别模型为深度神经网络模型，面部参数识别模型的模型结构与移动网络模型(MobileNetV3)的模型结构相近似，不同的是，本申请中的面部参数识别模型具有合并连接结构，而MobileNetV3没有这一结构，面部参数识别模型输出的是面部参数，MobileNetV3模型输出的类别。
这里，特征提取网络中的各个子提取层的步长(stride)可以不同，输入各个提取层的中间特征参数的维度可以不同，目标人脸图像为RGB三通道图像，比如，3*112*112的人脸图像。
进一步地，面部参数识别模型是通过多个样本人脸图像，以及每个样本人脸图像关联的样本面部参数进行训练得到的模型，即，面部参数模型是经过学习每个样本人脸图像和该样本人脸图像对应的样本面部参数之间的关系得到的模型，其中，面部参数识别模型为深度神经网络学习模型。下面对面部参数识别模型的训练过程进行说明，也即，根据以下步骤训练所述面部参数识别模型：
步骤b1：获取多个第一样本人脸图像、每个样本人脸图像对应的真实人脸关键点的坐标以及真实面部参数。
在具体实施中，先获取大量第一样本人脸图像、每个样本人脸图像对应的真实人脸关键点的坐标、以及每个样本人脸图像对应的真实面部参数，这里，每个第一样本人脸图像的真实人脸关键点可以反映出人脸关键点在第一样本人脸图像中的真实位置。进一步地，下面对获取第一样本人脸图像的过程进行说明，获取第一样本人脸图像的过程包括：
获取第二样本人脸图像，并从所述第二样本人脸图像中识别出人脸关键点；基于所述第二样本人脸图像中的人脸关键点的坐标，得到所述第二样本人脸图像对应的样本面部参数；对所述第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，并基于调整面部参数，确定与所述调整面部参数对应的扩展样本人脸图像；将所述扩展样本人脸图像和所述第二样本人脸图像均作为所述第一样本人脸图像。
在具体实施中，获取大量第二样本人脸图像，这里，第二样本人脸图像可以为从网络上获取的人脸图像，可以先从第二样本人脸图像中识别出人脸关键点，进而，利用第二样本人脸图像中的人脸关键点的坐标，以及传统的面部参数识别算法，得到每个第二样本人脸图像对应的样本面部参数，针对每个第二样本人脸图像，对每个第二样本人脸图像对应的样本面部参数进行调整，得到调整后的调整面部参数，这里，对每个第二样本人脸图像的样本面部参数可以采用多种方式进行调整，可以得到每个第二样本人脸图像对应的多个调整面部参数，每个调整面部参数对应一个扩展样本人脸图像，这样，通过一个第二样本人脸图像可以得到多个扩展样本人脸图像，其中，该第二样本人脸图像和对应的扩展样本人脸图像为同一个人的人脸图像，但图像中的面部参数不同。进一步地，可以将所有的扩展样本人脸图像和第二样本人脸图像均作为第一样本人脸图像，这样，可以使参与模型训练的样本人脸图像具有不同姿态、不同形状和不同表情的同一个人的图像，即，对采集到的样本人脸图像集进行姿态、表情和形状的扩充，进而，可以提升面部参数识别模型对各种姿态的目标人脸图像进行识别的准确性。
这里，在获取到第二样本人脸图像后，可以采用传统关键点识别方法，从第二样本人脸图像中识别出真实人脸关键点，进而，基于真实人脸关键点得到真实面部参数；对每个第二样本人脸图像的真实面部参数进行调整后，可以得到与调整面部参数对应的扩展样本人脸图像，而第二样本人脸图像和扩展样本人脸图像共同构成了第一样本人脸图像，所以在对面部参数识别模型进行训练过程中，可以直接获取到第一样本人脸图像，以及每个第一样本人脸图像的真实人脸关键点和真实面部参数。其中，这里的真实人脸关键点为二维图像的人脸关键点。
另外，在得到第二样本人脸图像的真实面部参数后，可以基于每个第二样本人脸图像的真实面部参数建立三维人脸网格模型(3D Mesh)，并可以从三维人脸网格模型直接提取到真实人脸关键点，这里的真实人脸关键点为三维图像的人脸关键点。
这里，可以对第二样本人脸图像对应的样本面部参数中的人脸姿态参数和/或人脸表情参数进行调整，得到调整面部参数。
在具体实施中，由于人脸形状相对固定，故，在对第二样本人脸图像的样本面部参数进行调整时，可以只对人脸姿态参数和/或人脸表情参数进行调整，以得到该第二样本人脸图像的多个调整面部参数。
需要说明的是，可以采用人脸识别中的高保真姿态与表情规范化算法(High-Fidelity Pose and Expression Normalization for Face Recognition，HPEN)进行面部参数的调整。
步骤b2：将每个第一样本人脸图像输入初始深度网络学习模型，得到该第一样本人脸图像对应的预测面部参数；以及，基于每个第一样本人脸图像对应的预测面部参数，得到该第一样本人脸图像对应的预测人脸关键点的坐标。
在具体实施中，将每个第一样本人脸图像输入初始深度网络学习模型，得到该第一样本人脸图像对应的预测面部参数，基于每个第一样本人脸图像对应的预测面部参数，建立三维人脸网格模型，进而，从三维人脸网格模型中提取出第一样本人脸图像对应的预测人脸关键点的坐标。
步骤b3：通过将每个第一样本人脸图像的真实人脸关键点的坐标与预测人脸关键点的坐标进行比较，以及通过将该第一样本人脸图像的真实样本面部参数与预测样本面部参数进行比较，得到损失值。
在具体实施中，针对每个第一样本人脸图像，可以将该第一样本人脸图像的真实人脸关键点的坐标与预测人脸关键点的坐标进行比较，得到该第一样本人脸图像的第一损失，以及通过将该第一样本人脸图像的真实样本面部参数与预测样本面部参数进行比较，得到第二损失，进而，基于第一损失和第二损失得到该第一样本人脸图像的损失值。
这里，根据以下公式计算损失值：
其中，a为从第一样本人脸图像中提取的人脸关键的数量，
为每个人脸关键点对应的权重，
为第一样本人脸图像对应的预测人脸关键点的坐标，
为第一样本人脸图像对应的真实人脸关键点的坐标，u为面部参数对应的权重系数，b为人脸形状参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸形状参数，
为第一样本人脸图像对应的真实人脸形状参数，c为人脸表情参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸表情参数，
为第一样本人脸图像对应的真实人脸表情参数，d为人脸姿态参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸姿态参数，
为第一样本人脸图像对应的真实人脸姿态参数。
这里，a优选为68，即，优选68个人脸关键点参与运算；b优选为50，即，优选50维的人脸形状参数；c优选为51，即，优选51维的人脸表情参数；d优选为12，即，优选12维的人脸姿态参数。
步骤b5：当损失值小于或等于预设阈值时，停止对所述初始深度网络学习模型的训练，得到训练好的面部参数识别模型。
在具体实施中，在面部参数识别模型进行训练的过程中，各个第一样本人脸图像依次参与训练，每个第一样本人脸图像对应一个损失值，在训练过程中，随着时间的增加，损失值会逐渐减小，当某个第一样本人脸图像对应的损失值小于或等于预设阈值时，停止对初始深度网络学习模型的训练，得到训练好的面部参数识别模型。
需要说明的是，对初始深度网络学习模型进行训练得到面部参数识别模型的过程是，先获取大量样本人脸图像，以及每个样本人脸图像对应标注的人脸关键点、标注的样本面部参数，利用相应算法从样本人脸图像中预测出人脸关键点，以及预测的样本面部参数，进而，通过将每个样本人脸图像的标注的人脸关键点的坐标与预测出的人脸关键点的坐标进行比较，以及通过将该样本人脸图像的标注的样本面部参数与预测出的样本面部参数进行比较，得到该样本人脸图像的损失值，在训练过程中，当损失值小于或等于预设阈值时，停止对初始深度网络学习模型的训练，得到训练好的面部参数识别模型。
需要说明的是，先采集第二样本人脸图像，并利用传统的关键点识别方法可以得到第二样本人脸图像中的人脸关键点，进而，利用人脸先验模型(AMorphable Model ForThe Synthesis Of 3D Faces，3DMM)和识别出的人脸关键点，来直接提取出样本面部参数，这里，样本面部参数为真实面部参数，并将每个第二样本人脸图像，以及该第二样本人脸图像的样本面部参数构成样本对，作为面部参数识别模型的训练数据。
在本申请实施例中，通过将获取的待识别的目标人脸图像直接输入面部参数识别模型中，而无需进行人脸关键点的识别，就可以实时得到目标人脸图像对应的目标面部参数，其中，目标人脸图像为RGB三通道图像，目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。这样，可以省去从目标人脸图像中识别人脸关键点所花费的时间，一方面可以保证识别面部参数的实时性，另一方面可以提升面部参数的识别速度。
基于同一申请构思，本申请实施例中还提供了与上述实施例提供的面部参数的识别方法对应的面部参数的识别装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的面部参数的识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图3示出了本申请实施例所提供的一种面部参数的识别装置300的功能模块图之一；图4示出了图3中的第一确定模块320的功能模块图；图5示出了本申请实施例所提供的一种面部参数的识别装置300的功能模块图之二；图6示出了图5中的训练模块330的功能模块图。
在一种可能实施方式中，如图3所示，所述面部参数的识别装置300包括：
获取模块310，用于获取待识别的目标人脸图像；所述目标人脸图像为RGB三通道图像；
第一确定模块320，用于将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数；
其中，所述目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。
在一种可能实施方式中，如图4所示，所述面部参数识别模型由顺次连接的图像处理网络、特征提取网络和输出网络组成；所述第一确定模块320包括：
第一确定单元321，用于将所述目标人脸图像输入所述图像处理网络，得到人脸特征图像；
第二确定单元322，用于将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数；
第三确定单元323，用于基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数。
在一种可能实施方式中，如图4所示，所述第三确定单元323，用于根据以下步骤确定所述目标人脸图像对应的目标面部参数：
将所述第一特征参数输入所述输出网络，得到所述人脸姿态参数和第二特征参数；
基于所述第一特征参数和所述第二特征参数，得到所述人脸形状参数和所述人脸表情参数。
在一种可能实施方式中，如图4所示，所述特征提取网络由顺序连接的至少两个子提取层组成；所述第二确定单元322，用于根据以下步骤确定所述人脸特征图像中的第一特征参数：
将所述人脸特征图像输入到首个子提取层，得到当前特征参数；
将所述当前特征参数输入到下一个子提取层，得到中间特征参数；若还存在下一个子提取层，则将中间特征参数作为当前特征参数，并重新执行步骤将当前特征参数输入到下一个子提取层，得到中间特征参数；若不存在下一个子提取层，则将最后一次得到的中间特征参数作为所述第一特征参数输出。
在一种可能实施方式中，如图5所示，所述面部参数的识别装置300还包括训练模块330；所述训练模块330，用于根据以下步骤训练所述面部参数识别模型：
获取多个第一样本人脸图像、每个样本人脸图像对应的真实人脸关键点的坐标以及真实面部参数；
将每个第一样本人脸图像输入初始深度网络学习模型，得到该第一样本人脸图像对应的预测面部参数；以及，基于每个第一样本人脸图像对应的预测面部参数，得到该第一样本人脸图像对应的预测人脸关键点的坐标；
通过将每个第一样本人脸图像的真实人脸关键点的坐标与预测人脸关键点的坐标进行比较，以及通过将该第一样本人脸图像的真实样本面部参数与预测样本面部参数进行比较，得到损失值；
当损失值小于或等于预设阈值时，停止对所述初始深度网络学习模型的训练，得到训练好的面部参数识别模型。
在一种可能实施方式中，如图6所示，所述训练模块330包括：
获取单元331，用于获取第二样本人脸图像，并从所述第二样本人脸图像中识别出人脸关键点；
第四确定单元332，用于基于所述第二样本人脸图像中的人脸关键点的坐标，得到所述第二样本人脸图像对应的样本面部参数；
扩展单元333，用于对所述第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，并基于调整面部参数，确定与所述调整面部参数对应的扩展样本人脸图像；
第五确定单元334，用于将所述扩展样本人脸图像和所述第二样本人脸图像均作为所述第一样本人脸图像。
在一种可能实施方式中，如图6所示，所述扩展单元333，用于根据以下步骤得到调整面部参数：
对所述第二样本人脸图像对应的样本面部参数中的人脸姿态参数和/或人脸表情参数进行调整，得到调整面部参数。
在一种可能实施方式中，如图6所示，所述训练模块330，用于根据以下公式计算损失值：
其中，a为从第一样本人脸图像中提取的人脸关键的数量，
为每个人脸关键点对应的权重，
为第一样本人脸图像对应的预测人脸关键点的坐标，
为第一样本人脸图像对应的真实人脸关键点的坐标，u为面部参数对应的权重系数，b为人脸形状参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸形状参数，
为第一样本人脸图像对应的真实人脸形状参数，c为人脸表情参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸表情参数，
为第一样本人脸图像对应的真实人脸表情参数，d为人脸姿态参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸姿态参数，
为第一样本人脸图像对应的真实人脸姿态参数。
在一种可能实施方式中，如图5所示，所述面部参数的识别装置300还包括第二确定模块340；
所述第二确定模块340，用于基于所述目标人脸图像对应的目标面部参数，得到所述目标人脸图像对应的三维人脸模型。
在一种可能实施方式中，如图5所示，所述面部参数的识别装置300应用于以下至少一种使用场景：
虚拟主播场景；虚拟社交场景。
在本申请实施中，通过将获取的待识别的目标人脸图像直接输入面部参数识别模型中，而无需进行人脸关键点的识别，就可以实时得到目标人脸图像对应的目标面部参数，其中，目标人脸图像为RGB三通道图像，目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。这样，可以省去从目标人脸图像中识别人脸关键点所花费的时间，一方面可以保证识别面部参数的实时性，另一方面可以提升面部参数的识别速度。
基于同一申请构思，参见图7所示，为本申请实施例提供的一种电子设备700的结构示意图，包括：处理器710、存储器720和总线730，所述存储器720存储有所述处理器710可执行的机器可读指令，当电子设备700运行时，所述处理器710与所述存储器720之间通过所述总线730进行通信，所述机器可读指令被所述处理器710运行时执行如上述实施例中任一所述的面部参数的识别方法的步骤。
具体地，所述机器可读指令被所述处理器710执行时可以执行如下处理：
获取待识别的目标人脸图像；所述目标人脸图像为RGB三通道图像；
将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数；
其中，所述目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。
在本申请实施例中，通过将获取的待识别的目标人脸图像直接输入面部参数识别模型中，而无需进行人脸关键点的识别，就可以实时得到目标人脸图像对应的目标面部参数，其中，目标人脸图像为RGB三通道图像，目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。这样，可以省去从目标人脸图像中识别人脸关键点所花费的时间，一方面可以保证识别面部参数的实时性，另一方面可以提升面部参数的识别速度。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的面部参数的识别方法的步骤。
具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述面部参数的识别方法，通过将获取的待识别的目标人脸图像直接输入面部参数识别模型中，而无需进行人脸关键点的识别，就可以实时得到目标人脸图像对应的目标面部参数，可以保证识别面部参数的实时性，可以提升面部参数的识别速度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (13)
1.一种面部参数的识别方法，其特征在于，所述识别方法包括：
获取待识别的目标人脸图像；所述目标人脸图像为RGB三通道图像；
将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数；
其中，所述目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。
2.根据权利要求1所述的识别方法，其特征在于，所述面部参数识别模型由顺次连接的图像处理网络、特征提取网络和输出网络组成；所述将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数，包括：
将所述目标人脸图像输入所述图像处理网络，得到人脸特征图像；
将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数；
基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数。
3.根据权利要求2所述的识别方法，其特征在于，所述基于所述第一特征参数和所述输出网络，得到所述目标人脸图像对应的目标面部参数，包括：
将所述第一特征参数输入所述输出网络，得到所述人脸姿态参数和第二特征参数；
基于所述第一特征参数和所述第二特征参数，得到所述人脸形状参数和所述人脸表情参数。
4.根据权利要求2所述的识别方法，其特征在于，所述特征提取网络由顺序连接的至少两个子提取层组成；所述将所述人脸特征图像输入所述特征提取网络，得到所述人脸特征图像中的第一特征参数，包括：
将所述人脸特征图像输入到首个子提取层，得到当前特征参数；
将所述当前特征参数输入到下一个子提取层，得到中间特征参数；若还存在下一个子提取层，则将中间特征参数作为当前特征参数，并重新执行步骤将当前特征参数输入到下一个子提取层，得到中间特征参数；若不存在下一个子提取层，则将最后一次得到的中间特征参数作为所述第一特征参数输出。
5.根据权利要求1所述的识别方法，其特征在于，根据以下步骤训练所述面部参数识别模型：
获取多个第一样本人脸图像、每个样本人脸图像对应的真实人脸关键点的坐标以及真实面部参数；
将每个第一样本人脸图像输入初始深度网络学习模型，得到该第一样本人脸图像对应的预测面部参数；以及，基于每个第一样本人脸图像对应的预测面部参数，得到该第一样本人脸图像对应的预测人脸关键点的坐标；
通过将每个第一样本人脸图像的真实人脸关键点的坐标与预测人脸关键点的坐标进行比较，以及通过将该第一样本人脸图像的真实样本面部参数与预测样本面部参数进行比较，得到损失值；
当损失值小于或等于预设阈值时，停止对所述初始深度网络学习模型的训练，得到训练好的面部参数识别模型。
6.根据权利要求5所述的识别方法，其特征在于，根据以下步骤获取第一样本人脸图像：
获取第二样本人脸图像，并从所述第二样本人脸图像中识别出人脸关键点；
基于所述第二样本人脸图像中的人脸关键点的坐标，得到所述第二样本人脸图像对应的样本面部参数；
对所述第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，并基于调整面部参数，确定与所述调整面部参数对应的扩展样本人脸图像；
将所述扩展样本人脸图像和所述第二样本人脸图像均作为所述第一样本人脸图像。
7.根据权利要求6所述的识别方法，其特征在于，所述对所述第二样本人脸图像对应的样本面部参数进行调整，得到调整面部参数，包括：
对所述第二样本人脸图像对应的样本面部参数中的人脸姿态参数和/或人脸表情参数进行调整，得到调整面部参数。
8.根据权利要求5所述的识别方法，其特征在于，根据以下公式计算损失值：
其中，a为从第一样本人脸图像中提取的人脸关键的数量，
为每个人脸关键点对应的权重，
为第一样本人脸图像对应的预测人脸关键点的坐标，
为第一样本人脸图像对应的真实人脸关键点的坐标，u为面部参数对应的权重系数，b为人脸形状参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸形状参数，
为第一样本人脸图像对应的真实人脸形状参数，c为人脸表情参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸表情参数，
为第一样本人脸图像对应的真实人脸表情参数，d为人脸姿态参数的参数维度，
为每个维度参数对应的权重系数，
为第一样本人脸图像对应的预测人脸姿态参数，
为第一样本人脸图像对应的真实人脸姿态参数。
9.根据权利要求1所述的识别方法，其特征在于，在得到所述目标人脸图像对应的目标面部参数之后，所述识别方法还包括：
基于所述目标人脸图像对应的目标面部参数，得到所述目标人脸图像对应的三维人脸模型。
10.根据权利要求1所述的识别方法，其特征在于，所述识别方法应用于以下至少一种使用场景：
虚拟主播场景；虚拟社交场景。
11.一种面部参数的识别装置，其特征在于，所述识别装置包括：
获取模块，用于获取待识别的目标人脸图像；所述目标人脸图像为RGB三通道图像；
确定模块，用于将所述目标人脸图像输入面部参数识别模型，得到所述目标人脸图像对应的目标面部参数；
其中，所述目标面部参数包括人脸表情参数、人脸形状参数和人脸姿态参数。
12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至10任一所述的面部参数的识别方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至10任一所述的面部参数的识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110071434.0A CN112818772A (zh) | 2021-01-19 | 2021-01-19 | 一种面部参数的识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110071434.0A CN112818772A (zh) | 2021-01-19 | 2021-01-19 | 一种面部参数的识别方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112818772A true CN112818772A (zh) | 2021-05-18 |
Family
ID=75870184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110071434.0A Pending CN112818772A (zh) | 2021-01-19 | 2021-01-19 | 一种面部参数的识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818772A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908722A (zh) * | 2023-01-05 | 2023-04-04 | 杭州华鲤智能科技有限公司 | 一种生成3d人脸建模的方法 |
| CN117540789A (zh) * | 2024-01-09 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 模型训练方法、面部表情迁移方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117770A (zh) * | 2018-08-01 | 2019-01-01 | 吉林盘古网络科技股份有限公司 | 面部动画采集方法、装置及终端设备 |
| WO2019090769A1 (zh) * | 2017-11-13 | 2019-05-16 | 深圳和而泰智能控制股份有限公司 | 一种人脸脸型识别方法、装置和智能终端 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| WO2020187160A1 (zh) * | 2019-03-15 | 2020-09-24 | 北京嘉楠捷思信息技术有限公司 | 基于级联的深层卷积神经网络的人脸识别方法及系统 |
| WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| WO2020252903A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技（深圳）有限公司 | Au检测方法、装置、电子设备及存储介质 |
| CN112200236A (zh) * | 2020-09-30 | 2021-01-08 | 网易（杭州）网络有限公司 | 人脸参数识别模型的训练方法、人脸参数的识别方法 |
| WO2021003964A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳云天励飞技术有限公司 | 人脸脸型识别方法、装置、电子设备及存储介质 |
| CN112232116A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸表情识别方法、装置及存储介质 |
-
2021
- 2021-01-19 CN CN202110071434.0A patent/CN112818772A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019090769A1 (zh) * | 2017-11-13 | 2019-05-16 | 深圳和而泰智能控制股份有限公司 | 一种人脸脸型识别方法、装置和智能终端 |
| CN109117770A (zh) * | 2018-08-01 | 2019-01-01 | 吉林盘古网络科技股份有限公司 | 面部动画采集方法、装置及终端设备 |
| WO2020187160A1 (zh) * | 2019-03-15 | 2020-09-24 | 北京嘉楠捷思信息技术有限公司 | 基于级联的深层卷积神经网络的人脸识别方法及系统 |
| WO2020199693A1 (zh) * | 2019-03-29 | 2020-10-08 | 中国科学院深圳先进技术研究院 | 一种大姿态下的人脸识别方法、装置及设备 |
| WO2020252903A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技（深圳）有限公司 | Au检测方法、装置、电子设备及存储介质 |
| WO2021003964A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳云天励飞技术有限公司 | 人脸脸型识别方法、装置、电子设备及存储介质 |
| CN111160269A (zh) * | 2019-12-30 | 2020-05-15 | 广东工业大学 | 一种人脸关键点检测方法及装置 |
| CN112232116A (zh) * | 2020-09-08 | 2021-01-15 | 深圳微步信息股份有限公司 | 一种人脸表情识别方法、装置及存储介质 |
| CN112200236A (zh) * | 2020-09-30 | 2021-01-08 | 网易（杭州）网络有限公司 | 人脸参数识别模型的训练方法、人脸参数的识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周晓彦;郑文明;赵力;邹采荣;: "基于偏最小二乘回归的人脸身份和表情同步识别方法", 中国图象图形学报, no. 05, 15 May 2009 (2009-05-15), pages 55 - 62 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908722A (zh) * | 2023-01-05 | 2023-04-04 | 杭州华鲤智能科技有限公司 | 一种生成3d人脸建模的方法 |
| CN117540789A (zh) * | 2024-01-09 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 模型训练方法、面部表情迁移方法、装置、设备及介质 |
| CN117540789B (zh) * | 2024-01-09 | 2024-04-26 | 腾讯科技（深圳）有限公司 | 模型训练方法、面部表情迁移方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| CN110929569B (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN109359575B (zh) | 人脸检测方法、业务处理方法、装置、终端及介质 | |
| CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
| CN112037320B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
| CN110796100B (zh) | 步态识别方法、装置、终端及存储装置 | |
| CN111626218A (zh) | 基于人工智能的图像生成方法、装置、设备及存储介质 | |
| CN113343826A (zh) | 人脸活体检测模型的训练方法、人脸活体检测方法及装置 | |
| CN112818772A (zh) | 一种面部参数的识别方法、装置、电子设备及存储介质 | |
| CN109559362B (zh) | 一种图像主体脸部替换方法及装置 | |
| CN103425964A (zh) | 图像处理设备、图像处理方法及计算机程序 | |
| CN111062362B (zh) | 人脸活体检测模型、方法、装置、设备及存储介质 | |
| CN111753782A (zh) | 一种基于双流网络的假脸检测方法、装置及电子设备 | |
| CN112699857A (zh) | 基于人脸姿态的活体验证方法、装置及电子设备 | |
| CN113808277A (zh) | 一种图像处理方法及相关装置 | |
| JP7314959B2 (ja) | 人物認証装置、制御方法、及びプログラム | |
| CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
| JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
| US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
| KR20130111021A (ko) | 영상처리장치 및 영상처리방법 | |
| CN115359265A (zh) | 关键点提取方法、装置、设备及存储介质 | |
| CN114764941A (zh) | 一种表情识别方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |