CN112419144B - 人脸图像的处理方法、装置、电子设备及存储介质 - Google Patents

人脸图像的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112419144B
CN112419144B CN202011339586.6A CN202011339586A CN112419144B CN 112419144 B CN112419144 B CN 112419144B CN 202011339586 A CN202011339586 A CN 202011339586A CN 112419144 B CN112419144 B CN 112419144B
Authority
CN
China
Prior art keywords
face
point data
dense point
face image
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011339586.6A
Other languages
English (en)
Other versions
CN112419144A (zh
Inventor
陈祖凯
徐胜伟
朴镜潭
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202011339586.6A priority Critical patent/CN112419144B/zh
Publication of CN112419144A publication Critical patent/CN112419144A/zh
Priority to PCT/CN2021/119080 priority patent/WO2022111001A1/zh
Priority to TW110135050A priority patent/TWI780919B/zh
Application granted granted Critical
Publication of CN112419144B publication Critical patent/CN112419144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种人脸图像的处理方法、装置、电子设备及存储介质，其中，该处理方法包括：获取目标人脸的稠密点数据，并基于所述稠密点数据生成所述目标人脸的初始虚拟人脸图像；基于所述稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定所述稠密点数据相对所述标准稠密点数据的形变系数；响应于针对所述初始虚拟人脸图像的调整操作，对所述形变系数进行调整，得到调整后的形变系数；基于所述调整后的形变系数和所述标准稠密点数据，生成所述目标人脸对应的调整后的虚拟人脸图像。

Description

人脸图像的处理方法、装置、电子设备及存储介质
技术领域
本公开涉及人脸重建技术领域，具体而言，涉及一种人脸图像的处理方法、装置、电子设备及存储介质。
背景技术
在三维世界中，可以通过三维点云对物体的形貌进行表征，比如可以通过人脸稠密点云来表示人脸形貌，但是考虑到表征人脸形貌的人脸稠密点云由成千上万个顶点构成，在需要对应人脸形貌进行调整时，需要对顶点进行逐一调整，过程繁琐，效率较低。
发明内容
本公开实施例至少提供一种人脸图像的处理方案。
第一方面，本公开实施例提供了一种人脸图像的处理方法，包括：
获取目标人脸的稠密点数据，并基于所述稠密点数据生成所述目标人脸的初始虚拟人脸图像；
基于所述稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定所述稠密点数据相对所述标准稠密点数据的形变系数；
响应于针对所述初始虚拟人脸图像的调整操作，对所述形变系数进行调整，得到调整后的形变系数；
基于所述调整后的形变系数和所述标准稠密点数据，生成所述目标人脸对应的调整后的虚拟人脸图像。
本公开实施例中，提出通过稠密点数据确定用于对目标人脸的虚拟人脸图像进行调整的形变系数，这样可以建立稠密点数据和形变系数之间的对应关系，从而可以直接基于形变系数对虚拟人脸图像进行调整，相比通过对稠密点数据中的稠密点进行逐一调整的方式，可以提高调整效率、快速生成调整后的虚拟人脸图像。
另一方面，考虑到这里的形变系数是根据稠密点数据确定的，在基于形变系数对初始虚拟人脸图像的调整过程中，可以直接基于形变系数对稠密点数据中的稠密点进行调整，这样可以直接精确到对构成虚拟人脸图像的各个稠密点的调整，在提高调整效率的基础上同时可以提高调整精度。
在一种可能的实施方式中，所述形变系数包含至少一个骨骼系数和/或至少一个混合形变系数；
其中，每个骨骼系数用于对与该骨骼系数关联的第一稠密点构成的骨骼的初始位姿进行调整；每个混合形变系数用于对与该混合形变系数关联的第二稠密点对应的初始位置进行调整。
本公开实施例中，基于形变系数中的骨骼系数和/或混合形变系数能够分别调整不同类型的稠密点的位置，以实现对稠密点的精准调整。
在一种可能的实施方式中，所述基于所述稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定所述稠密点数据相对所述标准稠密点数据的形变系数，包括：
基于当前形变系数对所述标准稠密点数据进行调整，得到当前调整后的稠密点数据；在所述当前形变系数为初始形变系数的情况下，所述初始形变系数为预先设置的；
基于当前调整后的稠密点数据和所述稠密点数据，确定所述当前调整后的稠密点数据相比所述稠密点数据的第一损失值；
基于所述第一损失值以及预设的形变系数的约束范围，调整所述当前形变系数，得到当前调整后的形变系数，将所述当前调整后的形变系数作为所述当前形变系数，返回执行对所述标准稠密点数据进行调整的步骤，直至对所述当前形变系数的调整操作符合第一调整截止条件的情况下，得到所述形变系数。
本公开实施例中，在确定形变系数的过程中，是通过对标准稠密点数据中的多个稠密点进行调整确定的，因此得到的形变系数可以表示出目标人脸的稠密点相比标准稠密点的变化量，从而在对目标人脸的初始虚拟人脸图像进行调整过程中，可以基于形变系数对稠密点数据中关联的稠密点进行调整，从而提高调整精度。
另一方面，在确定形变系数的过程中，是在对所有稠密点进行调整后，再基于当前调整后的稠密点数据以及目标人脸的稠密点数据确定的损失值，对当前形变系数进行的优化，充分考虑形变系数与整体稠密点之间的关联性，提高优化效率；此外在调整过程中通过预设的形变系数的约束范围进行调整约束，可以有效避免形变系数发生畸变，得到无法表示正常的目标人脸的形变系数。
在一种可能的实施方式中，所述响应于针对所述初始虚拟人脸图像的调整操作，对所述形变系数进行调整，得到调整后的形变系数，包括：
响应针对所述初始虚拟人脸图像的调整操作，确定针对所述初始虚拟人脸图像的目标调整位置，以及针对所述目标调整位置的调整幅度；
按照所述调整幅度，对所述形变系数中与所述目标调整位置关联的目标形变系数进行调整，得到所述调整后的形变系数。
本公开实施例中，可以根据调整操作，确定调整后的形变系数，便于后期基于该调整后的形变系数可以确定出调整后的虚拟人脸图像，该方式可以基于用户需求个性化地对形变系数进行调整。
在一种可能的实施方式中，所述基于所述调整后的形变系数和所述标准稠密点数据，生成所述目标人脸对应的调整后的虚拟人脸图像，包括：
基于所述调整后的形变系数，对所述标准稠密点数据进行调整，得到调整后的稠密点数据；
基于所述调整后的稠密点数据，生成所述调整后的虚拟人脸图像。
本公开实施例中，在确定调整后的形变系数后，可以直接根据调整后的形变系数对标准稠密点数据进行调整，确定调整后的稠密点数据，这样可以根据调整后的稠密点云数据快速得到目标人脸对应的调整后的虚拟人脸图像。
在一种可能的实施方式中，所述基于所述调整后的稠密点数据，生成所述调整后的虚拟人脸图像，包括：
基于所述调整后的稠密点数据，确定与所述调整后的稠密点数据对应的虚拟人脸模型；
基于预选的人脸属性特征和所述虚拟人脸模型，生成所述调整后的虚拟人脸图像。
本公开实施例中，在对初始虚拟人脸图像进行调整时，还可以结合用户选定的人脸属性特征进行个性化地调整，从而使得调整后的虚拟人脸图像更贴合用户的实际需求。
在一种可能的实施方式中，所述获取目标人脸的稠密点数据，并基于所述稠密点数据生成所述目标人脸的初始虚拟人脸图像，包括：
获取所述目标人脸对应的第一人脸图像，以及多张第二人脸图像在预设风格下分别对应的稠密点数据；
基于所述第一人脸图像和所述多张第二人脸图像在预设风格下分别对应的稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据；
基于所述目标人脸在所述预设风格下的稠密点数据，生成所述目标人脸在所述预设风格下的初始虚拟人脸图像。
本公开实施例中，可以根据预先存储的多张基底图像在预设风格下分别对应的稠密点数据，来确定第一人脸图像在预设风格下的稠密点数据，从而可以快速展示出目标人脸在预设风格下的虚拟人脸图像。
在一种可能的实施方式中，所述基于所述第一人脸图像和所述多张第二人脸图像在预设风格下分别对应的稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据，包括：
提取所述第一人脸图像的人脸参数值，以及所述多张第二人脸图像分别对应的人脸参数值；其中，所述人脸参数值包含表征人脸形状的参数值和表征人脸表情的参数值；
基于所述第一人脸图像的人脸参数值、以及所述多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据。
本公开实施例中，提出在确定第一人脸图像在预设风格下的稠密点数据的过程中，可以结合第一人脸图像和多张第二人脸图像的人脸参数值来确定，因为在通过人脸参数值表示人脸时使用的参数值数量较少，因此能够更加快速的确定出目标人脸在预设风格下的稠密点数据。
在一种实施方式中，所述基于所述第一人脸图像的人脸参数值、以及所述多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据，包括：
基于所述第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值，确定所述第一人脸图像和所述多张第二人脸图像之间的线性拟合系数；
根据所述多张第二人脸图像分别对应的稠密点数据和所述线性拟合系数，确定所述目标人脸在所述预设风格下的稠密点数据。
本公开实施例中，可以提出通过数量较少的人脸参数值快速得到表示第一人脸图像和多张第二人脸图像之间的关联关系的线性拟合系数，进一步可以根据该线性拟合系数对多张第二人脸图像在预设风格下的稠密点数据进行调整，可以快速得到目标人脸在预设风格下的稠密点数据。
在一种可能的实施方式中，所述基于所述第一人脸图像的人脸参数值，以及所述多张第二人脸图像分别对应的人脸参数值，确定所述第一人脸图像和所述多张第二人脸图像之间的线性拟合系数，包括：
获取当前线性拟合系数；其中，在所述当前线性拟合系数为初始的线性拟合系数的情况下，所述初始的线性拟合系数为预先设置；
基于所述当前线性拟合系数和所述多张第二人脸图像分别对应的人脸参数值，预测所述第一人脸图像的当前人脸参数值；
基于预测的所述第一人脸图像的当前人脸参数值和提取的所述第一人脸图像的人脸参数值，确定所述提取的所述第一人脸图像的人脸参数值和预测的所述第一人脸图像的人脸参数值之间的第二损失值；
基于所述第二损失值以及预设的所述线性拟合系数对应的约束范围，调整所述当前线性拟合系数，得到调整后的线性拟合系数，将调整后的线性拟合系数作为所述当前线性拟合系数，返回执行预测所述第一人脸图像的当前人脸参数值的步骤，直至对所述当前线性拟合系数的调整操作符合第二调整截止条件的情况下，得到线性拟合系数。
本公开实施例中，在调整第一人脸图像和多张第二人脸图像之间的线性拟合系数的过程中，可以通过第二损失值和/或调整次数对线性拟合系数进行多次调整，从而可以提高线性拟合系数的准确度；另一方面在调整过程中通过预设的线性拟合系数的约束范围进行调整约束，这样得到线性拟合系数，能够更加合理的确定目标人脸对应的稠密点数据。
在一种可能的实施方式中，所述稠密点数据包括稠密点的坐标值；所述根据所述多张第二人脸图像分别对应的稠密点数据和所述线性拟合系数，确定所述目标人脸在所述预设风格下的稠密点数据，包括：
基于所述多张第二人脸图像分别对应的所述稠密点的坐标值，确定所述稠密点的坐标均值；
基于所述多张第二人脸图像分别对应的所述稠密点的坐标值、和所述稠密点的坐标均值，确定所述多张第二人脸图像分别对应的所述稠密点的坐标值相对于所述稠密点的坐标均值的坐标差异值；
基于所述多张第二人脸图像分别对应的所述坐标差异值和所述线性拟合系数，确定所述第一人脸图像对应的稠密点的坐标值相对于所述稠密点的坐标均值的坐标差异值；
基于所述第一人脸图像对应的坐标差异值和所述稠密点的坐标均值，确定所述目标人脸在所述预设风格下的所述稠密点数据。
本公开实施例中，在第二人脸图像较少的情况下，可以通过多样性的第二人脸图像的稠密点数据准确的表示出不同的目标人脸在预设风格下的稠密点数据。
在一种可能的实施方式中，所述人脸参数值由预先训练的神经网络提取，所述神经网络基于预先标注人脸参数值的样本图像训练得到。
本公开实施例中，提出通过预先训练的神经网络来提取人脸图像的人脸参数值，可以提高人脸参数值的提取精度和提取效率。
在一种可能的实施方式中，按照以下方式预先训练所述神经网络：
获取样本图像集，所述样本图像集包含多张样本图像以及每张样本图像对应的标注人脸参数值；
将所述多张样本图像输入待训练的神经网络，得到每张样本图像对应的预测人脸参数值；
基于每张样本图像对应的预测人脸参数值和标注人脸参数值，对所述待训练的神经网络的网络参数值进行调整，得到训练完成的神经网络。
本公开实施例中，在对用于提取人脸参数值的神经网络进行训练过程中，提出通过每张样本图像的标注人脸参数值，对神经网络的网络参数值进行不断调整，从而可以得到准确度较高的神经网络。
第二方面，本公开实施例提供了一种人脸图像的处理装置，包括：
获取模块，用于获取目标人脸的稠密点数据，并基于所述稠密点数据生成所述目标人脸的初始虚拟人脸图像；
确定模块，用于基于所述稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定所述稠密点数据相对所述标准稠密点数据的形变系数；
调整模块，用于响应于针对所述初始虚拟人脸图像的调整操作，对所述形变系数进行调整，得到调整后的形变系数；
生成模块，用于基于所述调整后的形变系数和所述标准稠密点数据，生成所述目标人脸对应的调整后的虚拟人脸图像。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的处理方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的处理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人脸图像的处理方法的流程图；
图2示出了本公开实施例所提供的一种稠密点数据表示的人脸的三维模型的示意图；
图3示出了本公开实施例所提供的一种生成初始虚拟人脸图像的方法流程图；
图4示出了本公开实施例所提供的一种确定目标人脸在预设风格下的稠密点数据的方法流程图；
图5示出了本公开实施例所提供的一种训练神经网络的方法流程图；
图6示出了本公开实施例所提供的一种具体地确定目标人脸在预设风格下的稠密点数据的方法流程图；
图7示出了本公开实施例所提供的一种确定形变系数的方法流程图；
图8示出了本公开实施例所提供的一种调整形变系数的方法流程图；
图9示出了本公开实施例所提供的一种针对虚拟人脸图像的调整界面示意图；
图10示出了本公开实施例所提供的一种生成目标人脸的调整后的虚拟人脸图像的方法流程图；
图11示出了本公开实施例所提供的一种人脸图像的处理装置的结构示意图；
图12示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在三维建模领域中，一张人脸可以通过针对该人脸采集的稠密点云来表示，表示人脸的稠密点云一般包含成千上万个顶点，在需要对人脸的虚拟人脸图像的形状进行调整时，需要对上千上万个顶点的位置逐一调整，过程繁琐，效率较低。
基于上述研究，本公开提供了一种人脸图像的处理方法，在获取到目标人脸的稠密点数据后，可以基于该目标人脸的稠密点数据和标准虚拟人脸图像对应的标准稠密点数据，确定出目标人脸的稠密点数据相对于标准稠密点数据的形变系数，按照这样的方式，建立了稠密点数据和形变系数之间的对应关系，这样在检测到针对初始虚拟人脸图像的调整操作的情况下，可以直接针对形变系数进行调整，完成对初始虚拟人脸图像的调整，该方式无需对稠密点数据中的顶点进行逐一调整，提高了调整效率，另外本方案是根据稠密点数据确定的形变系数，在针对初始虚拟人脸图像进行调整过程中，调整的精度更高。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种人脸图像的处理方法进行详细介绍，本公开实施例所提供的处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、手持设备、计算设备、可穿戴设备等。在一些可能的实现方式中，该处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的人脸图像的处理方法的流程图，该处理方法包括以下S101～S104：
S101，获取目标人脸的稠密点数据，并基于稠密点数据生成目标人脸的初始虚拟人脸图像。
示例性地，稠密点数据可以表示人脸的三维模型，具体地，稠密点数据可以包含人脸表面的多个顶点在预先构建的三维坐标系下的坐标值，多个顶点连接后形成的三维网络(3Dmesh)和多个顶点的坐标值可以用来表示人脸的三维模型，如图2所示，表示通过不同稠密点数据表示的人脸的三维模型的示意图，稠密点中包含的顶点个数越多，稠密点数据在表示人脸的三维模型时也越精细。
示例性地，初始虚拟人脸图像可以为三维人脸图像或者二维人脸图像，与具体的应用场景相关，对应的，当初始虚拟人脸图像为三维人脸图像时，后文提到的人脸图像也为三维人脸图像，当初始虚拟人脸图像为二维人脸图像时，后文提到的人脸图像也为二维人脸图像，本公开实施例将以虚拟人脸图像为三维人脸图像为例进行说明。
示例性地，获取的目标人脸的稠密点数据为目标人脸在预设风格下对应的稠密点数据时，比如目标人脸在古典风格下对应的稠密点数据时，基于该稠密点数据展示的目标人脸的初始虚拟人脸图像也是在古典风格下的人脸图像，具体如何获取目标人脸在预设风格下对应的稠密点数据将在后文进行说明，在此不进行赘述。
S102，基于稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定稠密点数据相对标准稠密点数据的形变系数。
示例性地，这里标准虚拟人脸图像对应的标准稠密点数据可以是预先设定的虚拟人脸图像对应的稠密点数据，该预先设定的虚拟人脸图像具有预先设定的脸型以及五官特征的话，进一步可以以该标准虚拟人脸图像为基础，确定目标人脸的稠密点数据相比标准稠密点数据的形变系数。
示例性地，形变系数与稠密点数据关联，可以表示稠密点数据相比标准稠密点数据的形变量，这样针对目标人脸对应的形变系数，可以表示目标人脸相比标准人脸的形变量，比如可以包含鼻梁增高、眼睛变大、嘴角上扬、脸颊变小等。
具体地，形变系数包含至少一个骨骼系数和/或至少一个混合形变系数；
其中，每个骨骼系数用于对与该骨骼系数关联的第一稠密点构成的骨骼的初始位姿进行调整；每个混合形变系数用于对与该混合形变系数关联的第二稠密点对应的初始位置进行调整。
示例性地，骨骼系数可以包含多个，可以用于对人脸的骨骼进行调整，具体调整时，可以对骨骼在预先构建的三维坐标系(可以为预先以人脸的其中一个顶点为坐标原点构建的世界坐标系，将在后文介绍)中的初始位姿进行调整，以其中一个与人脸鼻梁对应的骨骼系数为例，通过调整该骨骼系数可以对构成人脸鼻梁的第一稠密点的初始位置进行调整，从而完成对该人脸鼻梁的初始位姿进行调整，比如将人脸鼻梁调整的更加挺拔。
混合形变系数也可以包含多个，用于对关联的第二稠密点在预先构建的三维坐标系中的初始位置进行调整，可以达到对脸部轮廓和五官的尺寸、形状等进行调整的目标，以其中一个与脸部轮廓对应的混合形变系数为例，通过调整该混合形变系数可以对构成脸部轮廓的第二稠密点的初始位置进行调整，从而完成对脸部轮廓的尺寸和/形状进行调整，比如将大圆脸的尺寸调小，或者调整成瓜子脸。
示例性地，响应于不同的调整需求，骨骼系数关联的第一稠密点和混合形变系数关联的第二稠密点之间可以有至少部分稠密点重叠，比如，以用于对人脸鼻头的位姿进行调整的一骨骼系数为例，通过调整该骨骼系数关联的第一稠密点，可以达到对人脸鼻头的位姿进行调整的目的，在需要对人脸鼻头的尺寸进行调整时，该人脸鼻头对应的混合形变系数关联的第二稠密点可以和用于对人脸鼻头的位姿进行调整的骨骼系数关联的第一稠密点相同；当然，骨骼系数关联的第一稠密点和混合形变系数关联的第二稠密点也可以为不相同的稠密点，比如用于对人脸鼻头的位姿进行条件的骨骼系数关联的第一稠密点，与用于对脸颊尺寸进行调整的混合形变系数关联的第二稠密点。
示例性地，为了表示目标人脸的稠密点数据相对于标准稠密点数据的形变系数，可以预先以目标人脸包含的稠密点中的其中一个顶点为坐标系原点，选定三个互相垂直的方向作为坐标系的三个坐标轴构建世界坐标系，在该世界坐标系下，可以确定目标人脸的稠密点数据相对于标准稠密点数据的形变系数，形变系数的具体确定过程可以根据机器学习算法来确定，将在后文进行详细说明。
本公开实施例中，提出形变系数包含用于对骨骼的初始位姿进行调整的骨骼系数，以及包含用于对稠密点进行初始位置进行调整的混合形变系数，这样可以在基于形变系数对目标人脸进行全面调整。
S103，响应于针对初始虚拟人脸图像的调整操作，对形变系数进行调整，得到调整后的形变系数。
示例性地，在展示目标人脸的初始虚拟人脸图像时，还可以展示用于对该初始虚拟人脸图像进行调整的操作按钮，允许用户通过操作按钮对展示的初始虚拟人脸图像进行形貌调整，在调整过程中，为了方便用户能够直观地对初始虚拟人脸图像进行调整，可以预先建立多种待调整位置与形变系数之间的对应关系，比如建立嘴巴、眼睛、鼻翼、眉毛、脸型等待调整位置分别与形变系数之间的对应关系，这样便于用户直接基于展示的初始虚拟人脸图像，对待调整位置进行调整，从而可以达到对形变系数进行调整的目的。
S104，基于调整后的形变系数和标准稠密点数据，生成目标人脸对应的调整后的虚拟人脸图像。
在得到调整后的形变系数后，进一步可以基于该调整后的形变系数对标准稠密点数据进行调整，得到目标人脸对应的调整后的稠密点数据，然后根据该调整后的稠密点数据，生成目标人脸对应的调整后的虚拟人脸图像。
本公开实施例中，提出通过稠密点数据确定用于对目标人脸的虚拟人脸图像进行调整的形变系数，这样可以建立稠密点数据和形变系数之间的对应关系，从而可以直接基于形变系数对虚拟人脸图像进行调整，相比通过对稠密点数据中的稠密点进行逐一调整的方式，可以提高调整效率。
另一方面，考虑到这里的形变系数是根据稠密点数据确定的，在基于形变系数对初始虚拟人脸图像的调整过程中，可以直接基于形变系数对稠密点数据中的稠密点进行调整，这样可以直接精确到对构成虚拟人脸图像的各个稠密点的调整，在提高调整效率的基础上同时可以提高调整精度。
下面将结合具体实施例对上述S101～S104进行具体介绍。
针对上述S101，在获取目标人脸的稠密点数据，并基于稠密点数据展示目标人脸的初始虚拟人脸图像时，如图3所示，可以包括以下S201～S203：
S201，获取目标人脸对应的第一人脸图像，以及多张第二人脸图像在预设风格下分别对应的稠密点数据。
示例性地，目标人脸对应的第一人脸图像可以为通过图像采集设备采集的目标人脸的彩色人脸图像，或者目标人脸的灰度人脸图像，在此不做具体限定。
示例性地，多张第二人脸图像为预先选择具有一些特征的图像，通过这些第二人脸图像能够表征出不同的第一人脸图像，比如选择n张第二人脸图像，针对每张第一人脸图像，则可以通过这n张第二人脸图像和线性拟合系数来表征该第一人脸图像。示例性地，为了使得多张第二人脸图像能够拟合表示大部分的第一人脸图像，可以选择相比平均人脸具有一些突出特征的人脸的图像作为第二人脸图像，例如，选择相比平均人脸的脸部尺寸较小的人脸的人脸图像作为第二人脸图像，或者，选择相比平均人脸的嘴巴尺寸较大的人脸的人脸图像作为第二人脸图像，或者，选择相比平均人脸的眼睛尺寸较大的人脸的人脸图像作为第二人脸图像，通过选择具有特定特征的人脸的人脸图像作为第二人脸图像，可以通过调整线性拟合系数，来表征出第一人脸图像。
示例性地，可以预先获取并保存每张第二人脸图像在多种风格下分别对应的稠密点数据，比如在古典风格下对应的稠密点数据，在现代风格下对应的稠密点数据，在西式风格下对应的稠密点数据、以及在中式风格下对应的稠密点数据，便于后续确定出第一人脸图像在不同风格下对应的虚拟人脸模型。
示例性地，预先可以针对每张第二人脸图像，可以提取该张第二人脸图像对应的稠密点数据、以及该张第二人脸图像的人脸参数值，比如可以提取第二张人脸图像的三维可变形模型(3D Morphable Face Model，3DMM)参数值，然后根据人脸参数值对稠密点的坐标值进行调整，得到每张第二人脸图像在多种风格下分别对应的稠密点数据，比如可以得到每张第二人脸图像在古典风格下对应的稠密点数据、在卡通风格下对应的稠密点云数据，然后对每张第二人脸图像在不同风格下的稠密点数据进行保存。
示例性地，人脸参数值包括表示脸部形状的参数值，以及，表示面部表情的参数值，比如人脸参数值中可以包含K维度的用于表示面部形状的参数值，包含M维度的用于表示面部表情的参数值，其中，K维度的用于表示面部形状的参数值共同体现出该第二人脸图像的面部形状，M维度的用于表示面部表情的参数值共同体现出该第二人脸图像的面部表情。
示例性地，K的维度取值范围一般在150至400之间，K的维度越小，能够表征面部形状越简单，K的维度越大，能够表征面部形状越复杂；M的取值范围一般在10至40之间，M的维度越少，能够表征的面部表情越简单，M的维度越多，能够表征的面部表情越复杂，可见，本公开实施例提出可以通过数量范围较少的人脸参数值来表示一张人脸，从而为后续确定目标人脸对应的初始虚拟人脸模型提供便利。
示例性地，结合人脸参数值的含义，上述提到的根据人脸参数值对稠密点的坐标值进行调整，得到每张第二人脸图像在多种风格下分别对应的稠密点数据，可以理解为是根据人脸参数值以及多种风格分别对应的特征属性(比如卡通风格的特征属性、古典风格的特征属性等)，对顶点在预先建立的三维坐标系下的坐标值进行调整，从而得到第二人脸图像在多种风格下分别对应的稠密点数据。
S202，基于第一人脸图像和多张第二人脸图像在预设风格下分别对应的稠密点数据，确定目标人脸在预设风格下的稠密点数据。
示例性地，可以通过找到第一人脸图像与多张第二人脸图像之间的关联关系，比如可以通过线性拟合的方式，确定出多张第二人脸图像与第一人脸图像之间的线性拟合系数，然后进一步可以根据该线性拟合系数以及多张第二人脸图像在预设风格下分别对应的稠密点数据，确定出目标人脸在预设风格下的稠密点数据。
S203，基于目标人脸在预设风格下的稠密点数据，生成并展示目标人脸在预设风格下的初始虚拟人脸图像。
进一步地，在获取到目标人脸在预设风格下的稠密点数据后，可以按照该目标人脸对应的稠密点数据，生成并展示目标人脸在预设风格下的初始虚拟人脸图像，比如可以基于默认设置的风格，或者用户设置的风格展示出目标人脸的初始虚拟人脸图像。
本公开实施例中，可以根据预先存储的基底图像库中的每张基底图像在预设风格下分别对应的稠密点数据，来确定第一人脸图像在预设风格下的稠密点数据，从而快速展示出目标人脸在预设风格下的虚拟人脸图像。
针对上述S202，稠密点数据包含稠密点的坐标值，在基于第一人脸图像和多张第二人脸图像在预设风格下分别对应的稠密点数据，确定目标人脸在预设风格下的稠密点数据时，如图4所示，可以包括以下S301～S302：
S301，提取第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值；其中，人脸参数值包含表征人脸形状的参数值和表征人脸表情的参数值。
示例性地，这里可以通过预先训练的神经网络来分别提取第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值，比如可以将第一人脸图像和每张第二人脸图像分别输入预先训练的神经网络，得到各自对应的人脸参数值。
S302，基于第一人脸图像的人脸参数值、以及多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定目标人脸在预设风格下的稠密点数据。
考虑到人脸参数值和稠密点数据在表征同一张人脸时具有对应关系，因此可以通过第一人脸图像和多张第二人脸图像各自对应的人脸参数值，确定出第一人脸图像和多张第二人脸图像之间的关联关系，然后根据该关联关系，以及多张第二人脸图像分别对应的稠密点数据，确定目标人脸在预设风格下的稠密点数据。
本公开实施例中，提出在确定目标人脸图像在预设风格下的稠密点数据的过程中，可以结合第一人脸图像和多张第二人脸图像的人脸参数值来确定，因为在通过人脸参数值表示人脸时使用的参数值数量较少，因此能够更加快速的确定出目标人脸在预设风格下的稠密点数据。
示例性地，上述提到的人脸参数值由预先训练的神经网络提取，神经网络基于预先标注人脸参数值的样本图像训练得到。
本公开实施例中，提出通过预先训练的神经网络来提取人脸图像的人脸参数值，可以提高人脸参数值的提取效率。
具体地，可以按照以下方式预先训练神经网络，如图5所示，可以包括以下S401～S403：
S401，获取样本图像集，样本图像集包含多张样本图像以及每张样本图像对应的标注人脸参数值；
S402，将多张样本图像输入待训练的神经网络，得到每张样本图像对应的预测人脸参数值；
S403，基于每张样本图像对应的预测人脸参数值和标注人脸参数值，对待训练的神经网络的网络参数值进行调整，得到训练完成的神经网络。
示例性地，可以采集大量的人脸图像以及每张人脸图像对应的标注人脸参数值作为这里的样本图像集，将每张样本图像输入待训练的神经网络，可以得到待训练神经网络输出的该张样本图像对应的预测人脸参数值，进一步可以基于样本图像对应的标注人脸参数值和预测人脸参数值确定待训练神经网络对应的第三损失值，然后根据第三损失值对待训练的神经网络的网络参数值进行调整，直至调整次数达到预设次数和/或第三损失值小于第三预设阈值后，得到训练完成的神经网络。
本公开实施例中，在对用于提取人脸参数值的神经网络进行训练过程中，提出通过每张样本图像的标注人脸参数值，对神经网络的网络参数值进行不断调整，从而可以得到准确度较高的神经网络。
具体地，针对上述S302，在基于第一人脸图像的人脸参数值、以及多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定目标人脸在预设风格下的稠密点数据时，如图6所示，可以包括以下S3021～S3032：
S3021，基于第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值，确定第一人脸图像和多张第二人脸图像之间的线性拟合系数；
S3022，根据多张第二人脸图像分别对应的稠密点数据和线性拟合系数，确定目标人脸在预设风格下的稠密点数据。
示例性地，以人脸参数值为3DMM参数值为例，考虑到第一人脸图像的3DMM参数值可以表征该第一人脸图像对应的人脸形状和表情，同样每张第二人脸图像对应的3DMM参数值可以表征该第二人脸图像对应的人脸形状和表情，第一人脸图像和多张第二人脸图像之间的关联关系可以通过3DMM参数值来进行确定，具体地，假设多张第二人脸图像包含n张第二人脸图像，这样第一人脸图像和多张第二人脸图像之间的线性拟合系数也包含n个线性拟合系数值，可以按照以下公式(1)来表示第一人脸图像的人脸参数值和多张第二人脸图像分别对应的人脸参数值之间的关联关系：
其中，IN3DMM表示第一人脸图像对应的3DMM参数值；αx表示第一人脸图像和第x张第二人脸图像之间的线性拟合系数值；BASE3DMM(x)表示第x张第二人脸图像对应的人脸参数值；L表示确定第一人脸图像对应的人脸参数值时使用到的第二人脸图像的数量；x用于指示第x张第二人脸图像，其中，x∈(1,L)。
本公开实施例中，可以提出通过数量较少的人脸参数值快速得到表示第一人脸图像和多张第二人脸图像之间的关联关系的线性拟合系数，进一步可以根据该线性拟合系数对多张第二人脸图像在预设风格下的稠密点数据进行调整，可以快速得到目标人脸在预设风格下的稠密点数据。
具体地，针对上述S3021，在基于第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值，确定第一人脸图像和多张第二人脸图像之间的线性拟合系数时，包括以下S30211～S30214：
S30211，获取当前线性拟合系数；其中，在当前线性拟合系数为初始的线性拟合系数的情况下，初始的线性拟合系数为预先设置。
当前线性拟合系数可以为按照以下S30212～S30214调整过至少一次的线性拟合系数，也可以为初始的线性拟合系数，在该当前线性拟合系数为初始的线性拟合系数的情况下，该初始的线性拟合系数可以为预先根据经验设置的。
S30212，基于当前线性拟合系数和多张第二人脸图像分别对应的人脸参数值，预测第一人脸图像的当前人脸参数值。
示例性地，多张第二人脸图像分别对应的人脸参数值可以由上述提到的预先训练的神经网络提取得到，然后可以将当前线性拟合系数和多张第二人脸图像分别对应的人脸参数值输入上述公式(1)中，预测得到第一人脸图像的当前人脸参数值。
S30213，基于预测的第一人脸图像的当前人脸参数值和提取的第一人脸图像的人脸参数值，确定提取的第一人脸图像的人脸参数值和预测的第一人脸图像的人脸参数值之间的第二损失值。
在调整线性拟合系数的过程中，预测得到的第一人脸图像的当前人脸参数值和通过上述提到的预先训练的神经网络提取的第一人脸图像的人脸参数值之间具有一定的差距，可以基于该差距，确定提取的第一人脸图像的人脸参数值和预测的第一人脸图像的人脸参数值之间的第二损失值。
S30214，基于第二损失值以及预设的线性拟合系数对应的约束范围，调整当前线性拟合系数，得到调整后的线性拟合系数，将调整后的线性拟合系数作为当前线性拟合系数，返回执行预测第一人脸图像的当前人脸参数值的步骤，直至对当前线性拟合系数的调整操作符合第二调整截止条件的情况下，得到线性拟合系数。
示例性地，考虑到人脸参数值是用来表示脸部形状和尺寸的，为了避免后期通过线性拟合系数确定出的第一人脸图像的稠密点数据在表征人脸面部时发生失真，这里提出在基于第二损失值调整当前线性拟合系数的过程中，需要结合预设的线性拟合系数的约束范围，一同对当前线性拟合系数进行调整，比如，这里可以通过大量数据统计，确定预设的线性拟合系数对应的约束范围设置为-0.5到0.5之间，这样在基于第二损失值调整当前线性拟合系数的过程中，可以使得每个调整后的线性拟合系数在-0.5到0.5之间。
示例性地，在基于第二损失值以及预设的线性拟合系数对应的约束范围，对当前线性拟合系数进行调整，以使得预测的第一人脸图像的当前人脸参数值和基于神经网络提取的第一人脸图像的人脸参数值之间更加接近，然后将调整后的线性拟合系数作为当前线性拟合系数，返回S30212，直至对当前线性拟合系数的调整操作符合第二调整截止条件的情况下，比如在第二损失值小于第二预设阈值和/或针对当前线性拟合系数的调整次数达到预设次数后，得到线性拟合系数。
本公开实施例中，在调整第一人脸图像和多张第二人脸图像之间的线性拟合系数的过程中，通过第二损失值和/或调整次数对线性拟合系数进行多次调整，可以提高线性拟合系数的准确度；另一方面在调整过程中通过预设的线性拟合系数的约束范围进行调整约束，这样得到线性拟合系数，能够更加合理的确定目标人脸对应的稠密点数据。
具体地，稠密点数据包含稠密点的坐标值，针对上述S3022，在根据多张第二人脸图像分别对应的稠密点数据和线性拟合系数，确定目标人脸在预设风格下的稠密点数据时，包括以下S30221～S30224：
S30221，基于多张第二人脸图像分别对应的稠密点的坐标值，确定稠密点的坐标均值；
示例性地，在确定多张第二人脸图像的稠密点的坐标均值时，可以基于多张第二人脸图像分别对应的稠密点的坐标值，以及多张第二人脸图像的张数进行确定，比如多张第二人脸图像包含20张，每张第二人脸图像对应的稠密点的坐标值均包含100个顶点的三维坐标值，针对第一个顶点，可以将第一个顶点在20张第二人脸图像中对应的三维坐标值进行求和，然后将求和结果和多张第二人脸图像的张数的比值作为该第一个顶点的坐标均值，按照同样的方式，可以得到每个顶点在三维坐标系下的坐标均值，多个顶点对应的坐标均值构成这里的稠密点的坐标均值。
S30222，基于多张第二人脸图像分别对应的稠密点的坐标值、和稠密点的坐标均值，确定多张第二人脸图像分别对应的稠密点的坐标值相对于稠密点的坐标均值的坐标差异值。
示例性地，稠密点的坐标均值可以表示多张第二人脸图像对应的平均虚拟人脸模型，比如稠密点的坐标均值表示的五官尺寸可以为多张第二人脸图像对应的平均五官尺寸，稠密点的坐标均值表示的脸部尺寸可以为多张第二人脸图像对应的平均脸部尺寸等。
示例性地，通过多张第二人脸图像分别对应的稠密点的坐标值和稠密点的坐标均值进行作差，可以得到多张第二人脸图像分别对应的稠密点的坐标值相对于稠密点的坐标均值的坐标差异值，每张第二人脸图像对应的坐标差异值可以表征该第二人脸图像对应的虚拟人脸模型相比上述提到的平均人脸模型的差异性。
S30223，基于多张第二人脸图像分别对应的坐标差异值和线性拟合系数，确定第一人脸图像对应的稠密点的坐标值相对于稠密点的坐标值的坐标差异值。
示例性地，线性拟合系数可以表示第一人脸图像对应的人脸参数值与多张第二人脸图像分别对应的人脸参数值之间的关联关系，而人脸图像对应的人脸参数值和该人脸图像对应的稠密点数据之间具有对应关系，因此线性拟合系数也可以表示第一人脸图像对应的稠密点数据与多张第二人脸图像分别对应的稠密点数据之间的关联关系。
在对应相同的稠密点的坐标均值的情况下，该线性拟合系数还可以表示第一人脸图像对应的坐标差异值与多张第二人脸图像分别对应的坐标差异值之间的关联关系，因此，这里可以基于多张第二人脸图像分别对应的坐标差异值和线性拟合系数，确定第一人脸图像对应的稠密点数据相对于稠密点的坐标均值的坐标差异值。
S30224，基于第一人脸图像对应的坐标差异值和稠密点的坐标均值，确定目标人脸在预设风格下的稠密点数据。
具体地，将第一人脸图像对应的坐标差异值和稠密点的坐标均值进行求和，可以得到第一人脸图像对应的稠密点数据，基于该稠密点数据可以表示该第一人脸图像对应的虚拟人脸模型。
具体地，这里确定目标人脸对应的稠密点数据时，考虑到稠密点数据和3DMM之间的关系，目标人脸(第一人脸图像)对应的稠密点数据可以通过OUT3dmesh表示，具体可以根据以下公式(2)进行确定：
其中，BASE3dmeh(x)表示第x张第二人脸图像对应的稠密点的坐标值；MEAN3dmeh表示多张第二人脸图像的稠密点的坐标均值；可以表示第一人脸图像对应的稠密点的坐标值相对于稠密点的坐标均值的坐标差异值。
这里在确定第一人脸图像的稠密点数据时，采用S30221～S30224的方式进行确定，即通过上述公式(2)的方式进行确定，相比通过多张第二人脸图像分别对应的稠密点数据和线性拟合系数来确定目标人脸对应的稠密点数据的方式，可以包含以下好处：
本公开实施例中，考虑到线性拟合系数是用于对多张第二人脸图像分别对应的坐标差异值进行线性拟合，这样得到的是第一人脸图像对应的稠密点的坐标值相对于稠密点的坐标均值的坐标差异值，因此无需对线性拟合系数之和等于1进行限定，第一人脸图像对应的坐标差异值和稠密点的坐标均值相加后，得到的稠密点数据也能够表示一张正常的人脸图像。
另外，在第二人脸图像较少的情况下，按照本公开实施例提供的方式可以通过对线性拟合系数进行合理的调整，达到使用较少的第二人脸图像确定出目标人脸在预设风格下对应的稠密点数据的目的，比如，第一人脸图像的眼睛尺寸为小眼睛，通过上述方式无需对多张第二人脸图像的眼睛尺寸进行限定，可以通过线性拟合系数对坐标差异值进行调整，从而调整后的坐标差异值和稠密点的坐标均值叠加后，可以得到表示小眼睛的稠密点数据，比如多张第二人脸图像均为大眼睛时，这样稠密点的坐标均值表示的眼睛也为大眼睛，此时仍然可以调整线性拟合系数，使得调整后的坐标差异值在与稠密点的坐标均值求和后，可以得到表示小眼睛的稠密点数据。
可见，本公开实施例针对不同的第一人脸图像，无需挑选与该第一人脸图像的五官特征相似的的第二人脸图像来确定该第一人脸图像对应的稠密点数据，该方式在第二人脸图像较少的情况下，可以通过多样性的第二人脸图像的稠密点数据准确地表示出不同的目标人脸在预设风格下的稠密点数据。
按照上述方式，可以得到目标人脸在预设风格下的稠密点数据，比如得到目标人脸在古典风格下的稠密点数据，进一步基于该稠密点数据展示目标人脸在古典风格下的初始虚拟人脸图像。
针对上述S102，在基于稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定稠密点数据相对标准稠密点数据的形变系数时，如图7所示，包括以下S501～S504：
S501，基于当前形变系数对标准稠密点数据进行调整，得到当前调整后的稠密点数据；在当前形变系数为初始形变系数的情况下，初始形变系数为预先设置的。
示例性地，在形变系数包含骨骼系数的情况下，可以基于当前骨骼系数和初始骨骼变化矩阵来共同确定针对该骨骼系数关联的第一稠密点进行调整时的变化矩阵；在形变系数包含混合形变系数的情况下，可以基于当前混合形变系数和单位混合形变量共同确定针对该混合形变系数关联的第二稠密点进行调整时的变化量，具体情况详见下文。
示例性地，为了对标准稠密点数据进行调整的过程进行解释，这里可以引入骨骼坐标系，以及骨骼坐标系和世界坐标系之间的转换关系，其中骨骼坐标系是针对每个骨骼建立三维坐标系，即每个骨骼对应的局部坐标系，世界坐标系为针对整张人脸建立的三维坐标系，每个骨骼对应的局部坐标系与世界坐标系之间具有转换关系，按照该转换关系，可以将稠密点在骨骼坐标系下的位置转换至世界坐标系下的位置。
特别地，在基于当前形变系数对标准稠密点数据进行调整的过程中，可以分为两种情况，第一种情况为在基于混合形变系数对标准稠密点数据中的稠密点进行调整时，会受到骨骼系数的影响的情况，下文将结合公式(3)进行说明；第二种情况为在基于混合形变系数对标准稠密点数据中的稠密点进行调整时，不会受到骨骼系数的影响的情况，下文将结合公式(4)说明。
具体地，第一种情况可以按照以下公式(3)来确定当前调整后的稠密点数据：
其中，Voutput(m)为针对标准稠密点数据中第m个顶点进行调整过程中，得到的当前调整后的顶点在预先以人脸建立的世界坐标系下的坐标值；Mboneworld(i)表示第i个骨骼对应的骨骼坐标系向世界坐标系进行变换的变换矩阵；Mbindpose(i)表示预先设定的第i个骨骼在该骨骼对应的骨骼坐标系下的初始骨骼变换矩阵；boneweight(i)表示在第i个骨骼在第i个骨骼对应的骨骼坐标系下的值；Vlocal(mi)表示标准稠密点数据中的第m个顶点在第i个骨骼对应的骨骼坐标系下的初始坐标值(当该第m个顶点不在第i个骨骼中时，该初始坐标值为0)；blendshape(mi)表示预先设定与第m个顶点关联的混合形变系数在第i个骨骼对应的骨骼坐标系下的单位形变量；bsweights(i)表示与第m个顶点关联的混合形变系数在第i个骨骼对应的骨骼坐标系下的坐标值；i用于指示第i个骨骼，i∈(1,n)；n表示标准虚拟人脸图像对应的骨骼个数；m表示稠密点数据中的第m个顶点。
可见针对上述第一种情况，在基于混合形变系数对标准稠密点数据中的顶点在骨骼坐标系下的坐标值进行调整后，还需要结合骨骼形变系数才能最终确定标准稠密点数据中的稠密点在世界坐标系下的坐标值，即上述提到的在基于混合形变系数对标准稠密点数据中的稠密点进行调整时，会受到骨骼系数的影响。
针对第二种情况，可以按照以下公式(4)来确定当前调整后的稠密点数据：
其中，Voutput(m)针对标准稠密点数据中第m个顶点进行调整过程中，得到的当前调整后的顶点在世界坐标系下的坐标值；M′boneworld(i)第i个骨骼对应的骨骼坐标系向世界坐标系进行变换的变换矩阵；Mb′indpose(i)预先设定的第i个骨骼在该骨骼对应的骨骼坐标系下的初始骨骼变换矩阵；boneweight′(i)表示在第i个骨骼在第i个骨骼对应的骨骼坐标系下的值；V′local(mi)表示标准稠密点数据中的第m个顶点在第i个骨骼对应的骨骼坐标系下的初始位置(当该第m个顶点不在第i个骨骼中时，该初始位置为0)；blendshape′(m)预先设定与第m个顶点关联的混合形变系数在世界坐标系下的单位形变量；bsweights′(m)与第m个顶点关联的混合形变系数在世界坐标系下的值；i用于指示第i个骨骼，i∈(1,n)；n表示需要调整的骨骼个数。
可见针对上述第二种情况，可以直接基于混合形变系数对标准稠密点数据中的顶点在世界坐标系下的坐标值进行调整，即上述提到的在基于混合形变系数对标准稠密点数据中的顶点进行调整时，不会受到骨骼系数的影响。
上述公式(3)或者公式(4)均为针对标准稠密点数据中的其中一个顶点进行调整的过程，按照同样的方式，可以依次针对标准稠密点数据中的其它顶点进行调整，从而完成基于当前形变系数对标准稠密点数据的一次调整。
S502，基于当前调整后的稠密点数据和稠密点数据，确定当前调整后的稠密点数据相比稠密点数据的第一损失值。
示例性地，第一损失值可以通过目标人脸的稠密点数据和当前调整后的稠密点数据之间的差值进行表示。
具体地，该第一损失值可以通过以下公式(5)进行表示：
其中，Vdiff表示当前调整后的稠密点数据相比稠密点数据的第一损失值；Vinput(m)表示目标人脸的稠密点数据中的第m个顶点在世界坐标系下的坐标值；Voutput(m)表示当前调整后的稠密点数据中的第m个顶点在世界坐标系下的坐标值；m表示稠密点数据中的第m个顶点；M表示稠密点数据中的顶点的数量。
S503，基于第一损失值以及预设的形变系数的约束范围，调整当前形变系数，得到当前调整后的形变系数，将当前调整后的形变系数作为当前形变系数，返回执行对标准稠密点数据进行调整的步骤，直至对当前形变系数的调整操作符合第一调整截止条件的情况下，得到形变系数。
示例性地，考虑到当前形变系数是目标人脸相对标准人脸的形变系数，即当前形变系数是用来表示正常的脸部形貌的，为了避免对当前形变系数的调整幅度过大，使得其表示的脸部形貌失真，这里提出在基于损失函数值调整当前形变系数的过程中，需要结合预设的线性拟合系数的约束范围，一同对当前线性拟合系数进行调整，具体地，这里预设的形变系数为混合形变系数，比如约束混合形变系数的取值为0至1之间。
示例性地，在基于第一损失值以及预设的形变系数对应的约束范围，对当前形变系数进行调整，以使得目标人脸的稠密点数据和当前调整后的稠密点数据之间更加接近，然后将当前调整后的形变系数作为当前形变系数，返回S501，直至在对当前形变系数的调整操作符合第一调整截止条件的情况下，比如在第一损失值小于第一预设阈值和/或针对当前形变系数的调整次数达到预设次数后，得到目标人脸对应的形变系数。
本公开实施例中，在确定形变系数的过程中，是通过对标准稠密点数据中的多个顶点进行调整确定的，因此得到的形变系数可以表示出目标人脸的稠密点相比标准稠密点的精确变化量，从而在需要对目标人脸的初始虚拟人脸图像进行调整过程中，可以基于形变系数对稠密点数据中关联的稠密点进行调整，从而提高调整精度。
另一方面，在确定形变系数的过程中，是在对所有稠密点进行调整后，再基于当前调整后的稠密点数据以及目标人脸的稠密点数据确定的损失值，对当前形变系数进行的优化，充分考虑形变系数与整体稠密点之间的关联性，提高优化效率；此外在调整过程中通过预设的形变系数的约束范围进行调整约束，可以防止形变系数发生畸变，得到无法表示正常的目标人脸的形变系数。
针对上述S103，在响应于针对初始虚拟人脸图像的调整操作，对形变系数进行调整，得到调整后的形变系数时，如图8所示，可以包括以下S601～S602：
S601，响应针对初始虚拟人脸图像的调整操作，确定针对初始虚拟人脸图像的目标调整位置，以及针对目标调整位置的调整幅度；
S602，按照调整幅度，对形变系数中与目标调整位置关联的目标形变系数进行调整，得到调整后的形变系数。
示例性地，在对初始虚拟人脸图像进行调整过程中，考虑到初始虚拟人脸图像包含的可以调整的位置较多，在向用户进行展示这些可以调整的位置时，可以预选对这些可以调整的位置进行分类，比如按照脸部不同区域进行分类，比如可以分为脸部下巴区域、眉毛区域、眼睛区域等，对应地，可以展示下巴区域、眉毛区域、眼睛区域等分别对应的调整操作按钮，用户可以基于不同区域分别对应的调整操作按钮选择目标调整区域；或者，可以每次向用户展示设定个数的调整位置对应的调整按钮，以及展示更换调整位置的指示按钮，比如如图9所示，图9中左图展示了6种调整位置的调整界面，具体包含鼻翼上下、鼻梁高低、鼻头大小、鼻头朝向、嘴大小、嘴上下各自对应的幅度条，用户可以拖动幅度条对调整位置进行调整，也可以在选中调整位置后，通过位于调整位置上方的调整按键进行调整，比如“减一”按键和“加一”按键，调整界面的右下角还展示有用于指示更换调整位置的箭头按钮，用户可以触发该箭头按钮，更换至图9中右图展示的6种调整位置。
具体地，针对每种调整位置，可以按照该调整位置对应的幅度条确定针对该调整位置的调整幅度，用户针对其中一个调整位置对应的幅度条进行调整时，可以将该调整位置作为目标调整位置，基于幅度条的变化数据确定针对该目标调整位置的调整幅度，进一步按照该调整幅度，以及预先设定的每种调整位置与形变系数之间的关联关系，对与目标调整位置关联的目标形变系数进行调整，得到调整后的形变系数。
本公开实施例中，可以根据调整操作，确定调整后的形变系数，便于后期基于该调整后的形变系数可以确定出调整后的虚拟人脸图像，该方式可以基于用户需求个性化针对形变系数进行调整。
针对上述S104，在基于调整后的形变系数和标准稠密点数据，生成目标人脸对应的调整后的虚拟人脸图像时，如图10所示，可以包括以下S801～S802：
S801，基于调整后的形变系数，对标准稠密点数据进行调整，得到调整后的稠密点数据；
S802，基于调整后的稠密点数据，生成调整后的虚拟人脸图像。
示例性地，调整后的形变系数可以包含与目标调整位置关联的发生变化的目标形变系数，也可以包含未进行调整的不发生变化的形变系数，考虑到形变系数是目标人脸的稠密点数据相比标准稠密点数据确定的，因此在基于调整后的形变系数对初始虚拟人脸图像进行调整过程中，可以基于该调整后的形变系数和标准稠密点数据来得到目标人脸对应的调整后的稠密点数据，进一步基于该调整后的稠密点数据，生成调整后的虚拟人脸图像。
示例性地，比如针对如上图9所示，用户点击针对鼻梁高低进行调整，将鼻梁的高度调高，则相比初始虚拟人脸图像，调整后的虚拟人脸图像的鼻梁变高。
本公开实施例中，在确定调整后的形变系数后，可以直接根据调整后的形变系数对标准稠密点数据进行调整，确定调整后的稠密点数据，这样可以根据调整后的稠密点云数据快速得到目标人脸对应的调整后的虚拟人脸图像。
具体地，在基于调整后的稠密点数据，生成调整后的虚拟人脸图像时，包括以下S8021～S8022：
S8021，基于调整后的稠密点数据，确定与调整后的稠密点数据对应的虚拟人脸模型；
S8022，基于预选的人脸属性特征和虚拟人脸模型，生成调整后的虚拟人脸图像。
示例性地，虚拟人脸模型可以为三维人脸模型，也可以是二维人脸模型，与具体的应用场景相关，在此不进行限定。
示例性地，人脸属性特征可以包含肤色、发型等特征，人脸属性特征可以根据用户的选择确定，比如用户可以选择设置肤色为白色系、发型为棕色卷发。
在得到调整后的稠密点数据后，可以基于该调整后的稠密点数据，生成调整后的虚拟人脸模型，虚拟人脸模型可以包含目标人脸的形状以及表情特征，然后结合人脸属性特征，可以生成符合用户个性需求的调整后的虚拟人脸图像。
本公开实施例中，在对初始虚拟人脸图像进行调整时，还可以结合用户选定的人脸属性特征进行个性化地调整，从而使得调整后的虚拟人脸图像更贴合用户的实际需求。
下面将以一具体实施例对人脸图像的处理过程进行阐述，包括以下S901～S904：
S901，针对输入的目标人脸，使用计算机读取输入的目标人脸的稠密点数据Vinput(其中Vinput表示稠密点中M个顶点的坐标值)，再获取标准虚拟人脸图像对应的标准稠密点数据、预设的初始形变系数，包括初始骨骼形变系数和初始混合形变系数；
S902，根据初始骨骼形变系数和初始混合形变系数对标准稠密点数据进行调整，得到当前调整后的稠密点数据Voutput(其中Voutput表示稠密点中M个顶点当前调整后的坐标值)，具体可以通过上述公式(3)或者上述公式(4)进行调整；
S903，计算目标人脸的稠密点数据Vinput和当前调整后的稠密点数据Voutput之间的差异值Vdiff＝Vinput-Voutput，并通过该差异值以及针对初始混合形变系数的约束项，对初始骨骼形变系数和初始混合形变系数进行调整；
S904，根据调整后的骨骼形变系数替换初始骨骼形变系数，以及根据调整后的混合形变系数替换初始混合形变系数，返回S902步骤继续对骨骼系数和混合形变系数进行调整，直至目标人脸的稠密点数据Vinput和当前调整后的稠密点数据Voutput的差异值小于第一预设阈值，或者迭代次数超过预设次数。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与人脸图像的处理方法对应的处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图11所示，为本公开实施例提供的一种人脸图像的处理装置1000的示意图，该处理装置包括：
获取模块1001，用于获取目标人脸的稠密点数据，并基于稠密点数据生成目标人脸的初始虚拟人脸图像；
确定模块1002，用于基于稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定稠密点数据相对标准稠密点数据的形变系数；
调整模块1003，用于响应于针对初始虚拟人脸图像的调整操作，对形变系数进行调整，得到调整后的形变系数；
生成模块1004，用于基于调整后的形变系数和标准稠密点数据，生成目标人脸对应的调整后的虚拟人脸图像。
在一种可能的实施方式中，形变系数包含至少一个骨骼系数和/或至少一个混合形变系数；
其中，每个骨骼系数用于对与该骨骼系数关联的第一稠密点构成的骨骼的初始位姿进行调整；每个混合形变系数用于对与该混合形变系数关联的第二稠密点对应的初始位置进行调整。
在一种可能的实施方式中，确定模块1002在用于基于稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定稠密点数据相对标准稠密点数据的形变系数时，包括：
基于当前形变系数对标准稠密点数据进行调整，得到当前调整后的稠密点数据；在当前形变系数为初始形变系数的情况下，初始形变系数为预先设置的；
基于当前调整后的稠密点数据和稠密点数据，确定当前调整后的稠密点数据相比稠密点数据的第一损失值；
基于第一损失值以及预设的形变系数的约束范围，调整当前形变系数，得到当前调整后的形变系数，将当前调整后的形变系数作为当前形变系数，返回执行对标准稠密点数据进行调整的步骤，直至对当前形变系数的调整操作符合第一调整截止条件的情况下，得到形变系数。
在一种可能的实施方式中，调整模块1003在用于响应于针对初始虚拟人脸图像的调整操作，对形变系数进行调整，得到调整后的形变系数时，包括：
响应针对初始虚拟人脸图像的调整操作，确定针对初始虚拟人脸图像的目标调整位置，以及针对目标调整位置的调整幅度；
按照调整幅度，对形变系数中与目标调整位置关联的目标形变系数进行调整，得到调整后的形变系数。
在一种可能的实施方式中，生成模块1004在用于基于调整后的形变系数和标准稠密点数据，生成目标人脸对应的调整后的虚拟人脸图像时，包括：
基于调整后的形变系数，对标准稠密点数据进行调整，得到调整后的稠密点数据；
基于调整后的稠密点数据，生成调整后的虚拟人脸图像。
在一种可能的实施方式中，生成模块1004在用于基于调整后的稠密点数据，生成调整后的虚拟人脸图像时，包括：
基于调整后的稠密点数据，确定与调整后的稠密点数据对应的虚拟人脸模型；
基于预选的人脸属性特征和虚拟人脸模型，生成调整后的虚拟人脸图像。
在一种可能的实施方式中，获取模块1001在用于获取目标人脸的稠密点数据，并基于稠密点数据展示目标人脸的初始虚拟人脸图像时，包括：
获取目标人脸对应的第一人脸图像，以及多张第二人脸图像在预设风格下分别对应的稠密点数据；
基于第一人脸图像和多张第二人脸图像在预设风格下分别对应的稠密点数据，确定目标人脸在预设风格下的稠密点数据；
基于目标人脸在预设风格下的稠密点数据，生成并展示目标人脸在预设风格下的初始虚拟人脸图像。
在一种可能的实施方式中，获取模块1001在用于基于第一人脸图像和多张第二人脸图像在预设风格下分别对应的稠密点数据，确定目标人脸在预设风格下的稠密点数据时，包括：
提取第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值；其中，人脸参数值包含表征人脸形状的参数值和表征人脸表情的参数值；
基于第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定目标人脸在预设风格下的稠密点数据。
在一种可能的实施方式中，获取模块1001在用于基于第一人脸图像的人脸参数值、以及多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定目标人脸在预设风格下的稠密点数据时，包括：
基于第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值，确定第一人脸图像和多张第二人脸图像之间的线性拟合系数；
根据多张第二人脸图像分别对应的稠密点数据和线性拟合系数，确定目标人脸在预设风格下的稠密点数据。
在一种可能的实施方式中，获取模块1001在用于基于第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值，确定第一人脸图像和多张第二人脸图像之间的线性拟合系数时，包括：
获取当前线性拟合系数；其中，在当前线性拟合系数为初始的线性拟合系数的情况下，初始的线性拟合系数为预先设置；
基于当前线性拟合系数和多张第二人脸图像分别对应的人脸参数值，预测第一人脸图像的当前人脸参数值；
基于预测的第一人脸图像的当前人脸参数值和提取的第一人脸图像的人脸参数值，确定提取的第一人脸图像的人脸参数值和预测的第一人脸图像的人脸参数值之间的第二损失值；
基于第二损失值以及预设的线性拟合系数对应的约束范围，调整当前线性拟合系数，得到调整后的线性拟合系数，将调整后的线性拟合系数作为当前线性拟合系数，返回执行预测第一人脸图像的当前人脸参数值的步骤，直至对当前线性拟合系数的调整操作符合第二调整截止条件的情况下，得到线性拟合系数。
在一种可能的实施方式中，稠密点数据包括稠密点的坐标值；获取模块在用于根据多张第二人脸图像分别对应的稠密点数据和线性拟合系数，确定目标人脸在预设风格下的稠密点数据，包括：
基于多张第二人脸图像分别对应的稠密点的坐标值，确定稠密点的坐标均值；
基于多张第二人脸图像分别对应的稠密点的坐标值、和稠密点的坐标均值，确定多张第二人脸图像分别对应的稠密点的坐标值相对于稠密点的坐标均值的坐标差异值；
基于多张第二人脸图像分别对应的坐标差异值和线性拟合系数，确定第一人脸图像对应的稠密点的坐标值相对于稠密点的坐标均值的坐标差异值；
基于第一人脸图像对应的坐标差异值和稠密点的坐标均值，确定目标人脸在预设风格下的稠密点数据。
在一种可能的实施方式中，人脸参数值由预先训练的神经网络提取，神经网络基于预先标注人脸参数值的样本图像训练得到。
在一种可能的实施方式中，处理装置还包括训练模块1005，训练模块1005用于按照以下方式预先训练神经网络：
获取样本图像集，样本图像集包含多张样本图像以及每张样本图像对应的标注人脸参数值；
将多张样本图像输入待训练的神经网络，得到每张样本图像对应的预测人脸参数值；
基于每张样本图像对应的预测人脸参数值和标注人脸参数值，对待训练的神经网络的网络参数值进行调整，得到训练完成的神经网络。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
对应于图1中的人脸图像的处理方法，本公开实施例还提供了一种电子设备1100，如图12所示，为本公开实施例提供的电子设备1100结构示意图，包括：
处理器111、存储器112、和总线113；存储器112用于存储执行指令，包括内存1121和外部存储器1122；这里的内存1121也称内存储器，用于暂时存放处理器111中的运算数据，以及与硬盘等外部存储器1122交换的数据，处理器111通过内存1121与外部存储器1122进行数据交换，当所述电子设备1100运行时，所述处理器111与所述存储器112之间通过总线113通信，使得所述处理器111执行以下指令：获取目标人脸的稠密点数据，并基于稠密点数据生成目标人脸的初始虚拟人脸图像；基于稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定稠密点数据相对标准稠密点数据的形变系数；响应于针对初始虚拟人脸图像的调整操作，对形变系数进行调整，得到调整后的形变系数；基于调整后的形变系数和标准稠密点数据，生成目标人脸对应的调整后的虚拟人脸图像。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的人脸图像的处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的人脸图像的处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种人脸图像的处理方法，其特征在于，包括：
获取目标人脸的稠密点数据，并基于所述稠密点数据生成所述目标人脸的初始虚拟人脸图像，包括：获取所述目标人脸对应的第一人脸图像，以及多张第二人脸图像在预设风格下分别对应的稠密点数据；基于所述第一人脸图像和所述多张第二人脸图像在预设风格下分别对应的稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据；基于所述目标人脸在所述预设风格下的稠密点数据，生成所述目标人脸在所述预设风格下的初始虚拟人脸图像；
基于所述稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定所述稠密点数据相对所述标准稠密点数据的形变系数；
响应于针对所述初始虚拟人脸图像的调整操作，对所述形变系数进行调整，得到调整后的形变系数；
基于所述调整后的形变系数和所述标准稠密点数据，生成所述目标人脸对应的调整后的虚拟人脸图像。
2.根据权利要求1所述的处理方法，其特征在于，所述形变系数包含至少一个骨骼系数和/或至少一个混合形变系数；
其中，每个骨骼系数用于对与该骨骼系数关联的第一稠密点构成的骨骼的初始位姿进行调整；每个混合形变系数用于对与该混合形变系数关联的第二稠密点对应的初始位置进行调整。
3.根据权利要求1或2所述的处理方法，其特征在于，所述基于所述稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定所述稠密点数据相对所述标准稠密点数据的形变系数，包括：
基于当前形变系数对所述标准稠密点数据进行调整，得到当前调整后的稠密点数据；在所述当前形变系数为初始形变系数的情况下，所述初始形变系数为预先设置的；
基于当前调整后的稠密点数据和所述稠密点数据，确定所述当前调整后的稠密点数据相比所述稠密点数据的第一损失值；
基于所述第一损失值以及预设的形变系数的约束范围，调整所述当前形变系数，得到当前调整后的形变系数，将所述当前调整后的形变系数作为所述当前形变系数，返回执行对所述标准稠密点数据进行调整的步骤，直至对所述当前形变系数的调整操作符合第一调整截止条件的情况下，得到所述形变系数。
4.根据权利要求3所述的处理方法，其特征在于，所述响应于针对所述初始虚拟人脸图像的调整操作，对所述形变系数进行调整，得到调整后的形变系数，包括：
响应针对所述初始虚拟人脸图像的调整操作，确定针对所述初始虚拟人脸图像的目标调整位置，以及针对所述目标调整位置的调整幅度；
按照所述调整幅度，对所述形变系数中与所述目标调整位置关联的目标形变系数进行调整，得到所述调整后的形变系数。
5.根据权利要求3所述的处理方法，其特征在于，所述基于所述调整后的形变系数和所述标准稠密点数据，生成所述目标人脸对应的调整后的虚拟人脸图像，包括：
基于所述调整后的形变系数，对所述标准稠密点数据进行调整，得到调整后的稠密点数据；
基于所述调整后的稠密点数据，生成所述调整后的虚拟人脸图像。
6.根据权利要求5所述的处理方法，其特征在于，所述基于所述调整后的稠密点数据，生成所述调整后的虚拟人脸图像，包括：
基于所述调整后的稠密点数据，确定与所述调整后的稠密点数据对应的虚拟人脸模型；
基于预选的人脸属性特征和所述虚拟人脸模型，生成所述调整后的虚拟人脸图像。
7.根据权利要求1所述的处理方法，其特征在于，所述基于所述第一人脸图像和所述多张第二人脸图像在预设风格下分别对应的稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据，包括：
提取所述第一人脸图像的人脸参数值，以及所述多张第二人脸图像分别对应的人脸参数值；其中，所述人脸参数值包含表征人脸形状的参数值和表征人脸表情的参数值；
基于所述第一人脸图像的人脸参数值、以及所述多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据。
8.根据权利要求7所述的处理方法，其特征在于，所述基于所述第一人脸图像的人脸参数值、以及多张第二人脸图像分别对应的人脸参数值和稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据，包括：
基于所述第一人脸图像的人脸参数值，以及多张第二人脸图像分别对应的人脸参数值，确定所述第一人脸图像和所述多张第二人脸图像之间的线性拟合系数；
根据所述多张第二人脸图像分别对应的稠密点数据和所述线性拟合系数，确定所述目标人脸在所述预设风格下的稠密点数据。
9.根据权利要求8所述的处理方法，其特征在于，所述基于所述第一人脸图像的人脸参数值，以及所述多张第二人脸图像分别对应的人脸参数值，确定所述第一人脸图像和所述多张第二人脸图像之间的线性拟合系数，包括：
获取当前线性拟合系数；其中，在所述当前线性拟合系数为初始的线性拟合系数的情况下，所述初始的线性拟合系数为预先设置；
基于所述当前线性拟合系数和所述多张第二人脸图像分别对应的人脸参数值，预测所述第一人脸图像的当前人脸参数值；
基于预测的所述第一人脸图像的当前人脸参数值和提取的所述第一人脸图像的人脸参数值，确定所述提取的所述第一人脸图像的人脸参数值和预测的所述第一人脸图像的人脸参数值之间的第二损失值；
基于所述第二损失值以及预设的所述线性拟合系数对应的约束范围，调整所述当前线性拟合系数，得到调整后的线性拟合系数，将调整后的线性拟合系数作为所述当前线性拟合系数，返回执行预测所述第一人脸图像的当前人脸参数值的步骤，直至对所述当前线性拟合系数的调整操作符合第二调整截止条件的情况下，得到线性拟合系数。
10.根据权利要求8或9所述的处理方法，其特征在于，所述稠密点数据包括稠密点的坐标值；所述根据所述多张第二人脸图像分别对应的稠密点数据和所述线性拟合系数，确定所述目标人脸在所述预设风格下的稠密点数据，包括：
基于所述多张第二人脸图像分别对应的所述稠密点的坐标值，确定所述稠密点的坐标均值；
基于所述多张第二人脸图像分别对应的所述稠密点的坐标值、和所述稠密点的坐标均值，确定所述多张第二人脸图像分别对应的所述稠密点的坐标值相对于所述稠密点的坐标均值的坐标差异值；
基于所述多张第二人脸图像分别对应的所述坐标差异值和所述线性拟合系数，确定所述第一人脸图像对应的稠密点的坐标值相对于所述稠密点的坐标均值的坐标差异值；
基于所述第一人脸图像对应的坐标差异值和所述稠密点的坐标均值，确定所述目标人脸在所述预设风格下的所述稠密点数据。
11.根据权利要求10所述的处理方法，其特征在于，所述人脸参数值由预先训练的神经网络提取，所述神经网络基于预先标注人脸参数值的样本图像训练得到。
12.根据权利要求11所述的处理方法，其特征在于，按照以下方式预先训练所述神经网络：
获取样本图像集，所述样本图像集包含多张样本图像以及每张样本图像对应的标注人脸参数值；
将所述多张样本图像输入待训练的神经网络，得到每张样本图像对应的预测人脸参数值；
基于每张样本图像对应的预测人脸参数值和标注人脸参数值，对所述待训练的神经网络的网络参数值进行调整，得到训练完成的神经网络。
13.一种人脸图像的处理装置，其特征在于，包括：
获取模块，用于获取目标人脸的稠密点数据，并基于所述稠密点数据生成所述目标人脸的初始虚拟人脸图像，具体用于：获取所述目标人脸对应的第一人脸图像，以及多张第二人脸图像在预设风格下分别对应的稠密点数据；基于所述第一人脸图像和所述多张第二人脸图像在预设风格下分别对应的稠密点数据，确定所述目标人脸在所述预设风格下的稠密点数据；基于所述目标人脸在所述预设风格下的稠密点数据，生成所述目标人脸在所述预设风格下的初始虚拟人脸图像；
确定模块，用于基于所述稠密点数据，和标准虚拟人脸图像对应的标准稠密点数据，确定所述稠密点数据相对所述标准稠密点数据的形变系数；
调整模块，用于响应于针对所述初始虚拟人脸图像的调整操作，对所述形变系数进行调整，得到调整后的形变系数；
生成模块，用于基于所述调整后的形变系数和所述标准稠密点数据，生成所述目标人脸对应的调整后的虚拟人脸图像。
14.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的处理方法的步骤。
15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的处理方法的步骤。
CN202011339586.6A 2020-11-25 2020-11-25 人脸图像的处理方法、装置、电子设备及存储介质 Active CN112419144B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011339586.6A CN112419144B (zh) 2020-11-25 2020-11-25 人脸图像的处理方法、装置、电子设备及存储介质
PCT/CN2021/119080 WO2022111001A1 (zh) 2020-11-25 2021-09-17 人脸图像的处理方法、装置、电子设备及存储介质
TW110135050A TWI780919B (zh) 2020-11-25 2021-09-22 人臉影像的處理方法、裝置、電子設備及儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011339586.6A CN112419144B (zh) 2020-11-25 2020-11-25 人脸图像的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112419144A CN112419144A (zh) 2021-02-26
CN112419144B true CN112419144B (zh) 2024-05-24

Family

ID=74843582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011339586.6A Active CN112419144B (zh) 2020-11-25 2020-11-25 人脸图像的处理方法、装置、电子设备及存储介质

Country Status (3)

Country Link
CN (1) CN112419144B (zh)
TW (1) TWI780919B (zh)
WO (1) WO2022111001A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419144B (zh) * 2020-11-25 2024-05-24 上海商汤智能科技有限公司 人脸图像的处理方法、装置、电子设备及存储介质
CN113409437B (zh) * 2021-06-23 2023-08-08 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN113808249B (zh) * 2021-08-04 2022-11-25 北京百度网讯科技有限公司 图像处理方法、装置、设备和计算机存储介质
CN115953821B (zh) * 2023-02-28 2023-06-30 北京红棉小冰科技有限公司 一种虚拟人脸图像生成方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629294A (zh) * 2018-04-17 2018-10-09 华南理工大学 基于变形图的人体与人脸网格模板拟合方法
CN109376698A (zh) * 2018-11-29 2019-02-22 北京市商汤科技开发有限公司 人脸建模方法和装置、电子设备、存储介质、产品
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552668B2 (en) * 2012-12-12 2017-01-24 Microsoft Technology Licensing, Llc Generation of a three-dimensional representation of a user
CN104851123B (zh) * 2014-02-13 2018-02-06 北京师范大学 一种三维人脸变化模拟方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
US11127163B2 (en) * 2015-06-24 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Skinned multi-infant linear body model
CN108876893A (zh) * 2017-12-14 2018-11-23 北京旷视科技有限公司 三维人脸重建的方法、装置、系统及计算机存储介质
CN109978989B (zh) * 2019-02-26 2023-08-01 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111710035B (zh) * 2020-07-16 2023-11-07 腾讯科技（深圳）有限公司 人脸重建方法、装置、计算机设备及存储介质
CN112419144B (zh) * 2020-11-25 2024-05-24 上海商汤智能科技有限公司 人脸图像的处理方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629294A (zh) * 2018-04-17 2018-10-09 华南理工大学 基于变形图的人体与人脸网格模板拟合方法
CN110163054A (zh) * 2018-08-03 2019-08-23 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法和装置
CN109376698A (zh) * 2018-11-29 2019-02-22 北京市商汤科技开发有限公司 人脸建模方法和装置、电子设备、存储介质、产品

Also Published As

Publication number Publication date
TWI780919B (zh) 2022-10-11
WO2022111001A1 (zh) 2022-06-02
TW202221638A (zh) 2022-06-01
CN112419144A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419144B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
WO2017193906A1 (zh) 一种图像处理方法及处理系统
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
US7876320B2 (en) Face image synthesis method and face image synthesis apparatus
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
WO2019168673A1 (en) Matching meshes for virtual avatars
CN110717977A (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN107452049B (zh) 一种三维头部建模方法及装置
WO2022143645A1 (zh) 三维人脸重建的方法、装置、设备和存储介质
US20220284678A1 (en) Method and apparatus for processing face information and electronic device and storage medium
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN112734633A (zh) 虚拟发型的替换方法、电子设备及存储介质
CN111899159B (zh) 用于变换发型的方法、装置、设备以及存储介质
KR20210032489A (ko) 신체 영역 상의 메이크업 제품의 렌더링의 시뮬레이션 방법
CN114529640B (zh) 一种运动画面生成方法、装置、计算机设备和存储介质
CN109035380B (zh) 基于三维重建的人脸修饰方法、装置、设备及存储介质
CN113658035A (zh) 脸部变换方法、装置、设备、存储介质以及产品
KR102272975B1 (ko) 메이크업 제품의 현실적인 렌더링을 시뮬레이션하는 방법
KR101444816B1 (ko) 얼굴 인상 변환을 위한 영상처리방법 및 영상처리장치
US20220277586A1 (en) Modeling method, device, and system for three-dimensional head model, and storage medium
CN114612614A (zh) 人体模型的重建方法、装置、计算机设备及存储介质
CN116030181A (zh) 3d虚拟形象生成方法与装置
JP2017107310A (ja) タイリング図形生成システム、タイリング図形生成方法及びプログラム
KR20170099632A (ko) 유전자 정보를 이용한 게임 캐릭터 생성시스템
US20230409110A1 (en) Information processing apparatus, information processing method, computer-readable recording medium, and model generating method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039016

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant