CN115294298A - 数据处理方法及其装置 - Google Patents

数据处理方法及其装置 Download PDF

Info

Publication number
CN115294298A
CN115294298A CN202210910285.7A CN202210910285A CN115294298A CN 115294298 A CN115294298 A CN 115294298A CN 202210910285 A CN202210910285 A CN 202210910285A CN 115294298 A CN115294298 A CN 115294298A
Authority
CN
China
Prior art keywords
point cloud
cloud data
data
expression
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210910285.7A
Other languages
English (en)
Inventor
罗一衍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210910285.7A priority Critical patent/CN115294298A/zh
Publication of CN115294298A publication Critical patent/CN115294298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种数据处理方法及其装置，属于三维技术领域。该数据处理方法包括：根据目标三维人脸模型和第一点云数据，确定第二点云数据，其中，第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，第二点云数据为多个目标对象处于无表情状态下对应的脸部三维点云数据；通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到第三点云数据，其中，第三点云数据为多个目标对象在不同表情状态下对应的脸部三维点云数据；对第一点云数据和第三点云数据进行数据融合，得到第四点云数据，其中，第四点云数据为多个目标对象在不同表情状态下对应的头部三维点云数据。

Description

数据处理方法及其装置
技术领域
本申请属于三维技术领域，具体涉及一种数据处理方法及其装置。
背景技术
近年来，随着人脸识别技术、三维(Three Dimensions，3D)动画、增强现实(Augmented Reality，AR)技术、虚拟现实(Virtual Reality，VR)技术的发展，三维人脸建模受到了广泛关注，基于深度学习的3D人脸重建技术应用在越来越多的场景。高质量的3D人脸重建深度学习算法依赖于海量的训练数据，因此为获取足够的训练数据，需要探索各种算法与技术，利用高精度设备采集3D真实数据。
相关技术中，基于高精度设备采集3D真实数据的方案，其数据采集周期长，数据采集效率较低，具有很大的局限性。
发明内容
本申请实施例的目的是提供一种数据处理方法及其装置，能够改善相关技术中采集3D真实数据的方案数据效率较低，具有很大的局限性的问题。
第一方面，本申请实施例提供了一种数据处理方法，该方法包括：根据目标三维人脸模型和第一点云数据，确定第二点云数据，其中，第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，第二点云数据为多个目标对象处于无表情状态下对应的脸部三维点云数据；通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到第三点云数据，其中，第三点云数据为多个目标对象在不同表情状态下对应的脸部三维点云数据；对第一点云数据和第三点云数据进行数据融合，得到第四点云数据，其中，第四点云数据为多个目标对象在不同表情状态下对应的头部三维点云数据。
第二方面，本申请实施例提供了一种数据处理装置，该装置包括：确定模块，用于根据目标三维人脸模型和第一点云数据，确定第二点云数据，其中，第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，第二点云数据为多个目标对象处于无表情状态下对应的脸部三维点云数据；表情叠加模块，用于通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到第三点云数据，其中，第三点云数据为多个目标对象在不同表情状态下对应的脸部三维点云数据；数据融合模块，用于对第一点云数据和第三点云数据进行数据融合，得到第四点云数据，其中，第四点云数据为多个目标对象在不同表情状态下对应的头部三维点云数据。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的数据处理方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的数据处理方法的步骤。
第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的数据处理方法的步骤。
第六方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品被存储在存储介质中，该计算机程序产品被至少一个处理器执行以实现如第一方面所述的数据处理方法的步骤。
在本申请实施例中，第一点云数据为多个目标对象处于无表情状态下的头部的三维点云数据，根据目标三维人脸模型和该第一点云数据，确定多个目标对象处于无表情状态下对应的脸部三维点云数据，即第二点云数据。由此，可以得到多个目标对象的无表情3D点云人脸数据，通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到多个目标对象在不同表情下对应的脸部三维点云数据，即第三点云数据。由于第三点云数据中融合了不同的表情，因此将带表情的第三点云数据与原始无表情的第一点云数据进行数据融合，能够快速得到多个目标对象在不同表情下对应的头部三维点云数据(第四点云数据)，即快速生成大批量带表情的真实3D人头数据，数据生成周期较短，能有效提升3D真实数据的数据获取效率。
附图说明
图1是本申请一实施例提供的数据处理方法的流程示意图；
图2是本申请另一实施例提供的数据处理方法的流程示意图；
图3是本申请再一实施例提供的数据处理方法的流程示意图；
图4是本申请再一实施例提供的数据处理方法的流程示意图；
图5是本申请实施例提供的一种数据处理装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图；
图7是本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
如背景技术，基于高精度设备采集3D真实数据的方案，其数据采集周期长，数据采集效率较低，具有很大的局限性。
针对相关技术中出现的问题，本申请实施例提供了一种数据处理方法，第一点云数据为多个目标对象处于无表情状态下的头部的三维点云数据，根据目标三维人脸模型和该第一点云数据，确定多个目标对象处于无表情状态下对应的脸部三维点云数据，即第二点云数据。由此，可以得到多个目标对象的无表情3D点云人脸数据，通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到多个目标对象在不同表情下对应的脸部三维点云数据，即第三点云数据。由于第三点云数据中融合了不同的表情，因此将带表情的第三点云数据与原始无表情的第一点云数据进行数据融合，能够快速得到多个目标对象在不同表情下对应的头部三维点云数据(第四点云数据)，即快速生成大批量带表情的真实3D人头数据，数据生成周期较短，能有效提升3D真实数据的数据获取效率，解决了相关技术中采集3D真实数据的方案数据效率较低，具有很大的局限性的问题。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的数据处理方法进行详细地说明。
图1是本申请一实施例提供的数据处理方法的流程示意图，该数据处理方法的执行主体可以为电子设备。需要说明的是，上述执行主体并不构成对本申请的限定。
如图1所示，本申请实施例提供的数据处理方法可以包括步骤110-步骤130。
步骤110，根据目标三维人脸模型和第一点云数据，确定第二点云数据。
其中，第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，第二点云数据为多个目标对象处于无表情状态下对应的脸部三维点云数据。
步骤120，通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到第三点云数据。
其中，第三点云数据为多个目标对象在不同表情状态下对应的脸部三维点云数据。
步骤130，对第一点云数据和第三点云数据进行数据融合，得到第四点云数据。
其中，第四点云数据为多个目标对象在不同表情状态下对应的头部三维点云数据。
本申请实施例提供的数据处理方法，第一点云数据为多个目标对象处于无表情状态下的头部的三维点云数据，根据目标三维人脸模型和该第一点云数据，确定多个目标对象处于无表情状态下对应的脸部三维点云数据，即第二点云数据。由此，可以得到多个目标对象的无表情3D点云人脸数据，通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到多个目标对象在不同表情下对应的脸部三维点云数据，即第三点云数据。由于第三点云数据中融合了不同的表情，因此将带表情的第三点云数据与原始无表情的第一点云数据进行数据融合，能够快速得到多个目标对象在不同表情下对应的头部三维点云数据(第四点云数据)，即快速生成大批量带表情的真实3D人头数据，数据生成周期较短，能有效提升3D真实数据的数据获取效率。
下面结合具体的实施例，详细介绍上述步骤110-步骤130。
涉及步骤110，根据目标三维人脸模型和第一点云数据，确定第二点云数据。
在本申请的一些实施例中，为了获取第一点云数据，在步骤110之前，该方法还可以包括：在多个目标对象处于无表情状态的情况下，获取多个目标对象的头部的三维点云数据，得到第一点云数据。
具体地，多个目标对象可以包括不同性别、不同年龄段的采集人员，电子设备可以利用3D人头扫描系统采集所有采集人员处于无表情状态时的头部的三维点云数据，得到第一点云数据。
在一个实施例中，采集流程可以具体包括：固定3D人头扫描系统的相机机位不动，采集人员正坐于相机机位前方的固定位置(位置的确定依据是确保所有采集人员的头部正处于相机成像中央位置)。
具体地，数据采集时，采集人员固定身体不同，上下左右依次缓慢旋转头部，旋转的角度尽可能达到自身的最大角度。
在一个实施例中，在3D点云数据采集过程中，为剔除个体间人脸表情差异对人脸形状的影响，要求所有采集人员在进行数据采集时，保持双眼正常睁开、嘴巴微闭状态，采用发箍束住头发以保证耳朵露出，面部不带其他任何表情，也即采集人员为无表情状态。
在本申请的一些实施例中，为了获取目标三维人脸模型，在步骤110之前，该方法还可以包括：基于三维可变形人脸模型3DMM构建目标三维人脸模型。
其中，该目标三维人脸模型可以为可形变人脸模型(Deformable Face Model，DFM)，其由人脸三维点坐标信息与面片网格信息组成；三维可变形人脸模型(3D MorphableModels，3DMM)是一个通用的三维人脸模型，其用固定的点数来表示人脸，其核心思想是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。
具体地，电子设备可以使用专业3D建模软件对生物学上定义的人脸结构，按国际单位制物理尺度进行标准数字化建模，得到符合3DMM标准的目标三维人脸模型。
在本申请的一些实施例中，基于三维可变形人脸模型3DMM构建目标三维人脸模型，可以具体包括：基于3DMM对第一预设人脸区域进行稠密建模，对第二预设人脸区域进行稀疏建模，得到目标三维人脸模型，第一预设人脸区域与第二预设人脸区域不同。
其中，第一预设人脸区域为关键区域，第二预设人脸区域为非关键区域，第一预设人脸区域和第二预设人脸区域可以根据具体需求进行设置，本申请对此不做具体限定。
例如，将眼睛、嘴巴、鼻子等关键区域作为第一预设区域进行稠密建模，将耳朵、眉毛等非重点区域作为第二预设区域进行适当稀疏建模。
在本申请实施例中，考虑到业务应用需求对人脸器官区域着重点不同，因此在基于3DMM构建目标三维人脸模型时，可对人脸的不同区域进行关键性区分。通过对人脸区域中比较关键的第一预设人脸区域进行稠密建模，对非关键的第二预设人脸区域进行稠密建模，使得到的目标三维人脸模型能够为人脸关键区域分配更多的点云数量，其点云密度较大，相对应的，对于人脸非关键区域，其点云密度较小，因此目标三维人脸模型能够更全面、详细地反映人脸关键区域的细节，符合用户实际需求。
在一个实施例中，步骤110可以具体包括：基于最近邻算法，获取第一点云数据中的人脸区域点云数据；基于非刚性配准算法，将人脸区域点云数据映射至与目标三维人脸模型对应的拓扑空间，得到第二点云数据。
其中，该第二点云数据为拓扑与DFM一致的3D真实人脸数据，该第二点云数据可以对应基于三维扫描的可形变人脸模型。
在本申请实施例中，由于人脸区域点云数据仅是头部三维点云数据(即第一点云数据)的一部分，人脸区域点云数据与第一点云数据对应的点云数量不同。基于此，基于非刚性配准算法，将人脸区域点云数据映射至目标三维人脸模型对应的拓扑空间，能够保证得到的第二点云数据与目标三维人脸模型的拓扑统一。
在一个实施例中，为提升配准精度，在基于非刚性配准算法，将人脸区域点云数据映射至目标三维人脸模型对应的拓扑空间之前，该方法还可以具体包括：在多个目标对象处于无表情状态的情况下，获取多个目标对象的头部的第一纹理贴图数据；基于第一点云数据构建网格mesh结构，得到第一mesh数据；对第一纹理贴图数据进行纹理贴图融合和展UV处理，得到UV纹理贴图，以及UV纹理贴图与第一纹理贴图数据的第一映射关系；采用人脸关键点检测算法，检测UV纹理贴图中的2D人脸关键点位置；采用最近邻算法确定第一映射关系中的3D人脸关键点位置；将2D人脸关键点位置与3D人脸关键点位置的欧式距离，作为非刚性配准算法的损失函数约束参数。
在本申请实施例中，通过在非刚性配准算法中添加人脸关键点配准损失约束，能够提升非刚性配准算法的配准精度。
涉及步骤120，通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到第三点云数据。
在本申请的一些实施例中，图2是本申请另一实施例提供的数据处理方法的流程示意图，步骤120可以包括图2所示的步骤210-步骤230。
步骤210，调整第一表情参数。
具体地，该第一表情参数中可以包括至少一个子表情参数，不同子表情参数用于叠加不同类型的第二表情参数；调整第一表情参数可以为调整第一表情参数的取值，或者调整第一表情参数中各个子表情参数的取值。
例如，第一表情参数α可以包括子表情参数α1和α2，α1可以用于叠加“笑”第二表情参数，α1的取值可以为0至1，α1的取值越接近1，表示“笑”表情的幅度越大；α2可以用于叠加“笑”第二表情参数，α1的取值可以为0至1，α2的取值越接近1，表示“哭”表情的幅度越大。
步骤220，基于表情基向量和调整后的第一表情参数，确定第二表情参数。
其中，第一表情参数可以为表情基向量的系数，第二表情参数可以为表情基向量与预设表情系数的乘积。
具体地，通过调整第一表情参数的取值，或者第一表情参数中各个子表情参数的取值，使第一表情参数与表情基向量的乘积(即第二表情参数)能够表征不同表情类型。
步骤230，对第二表情参数与第二点云数据进行线性相加，得到第三点云数据。
在一个实施例中，可以基于公式(1)确定第三点云数据。
DFM_WE＝DFM_SCAN+α*DFM_EB (1)
其中，α为第一表情参数，DFM_SCAN为第二点云数据，DFM_EB为表情基向量(Deformable Face Model Expression Base)，DFM_WE为第三点云数据。
在本申请实施例中，在基于表情基向量和第一表情参数确定第二表情参数时，通过调整第一表情参数，能够使得到的第二表情参数表征不同表情类型。因此，基于该第二表情参数能够对第二点云数据进行不同表情的叠加处理，在无表情脸部三维点云数据的基础上融合表情，使得到的第三点云数据能够呈现多种表情，从而生成大批量带表情的真实3D人脸数据，数据获取方式简单有效，相比于利用高精度设备采集3D真实数据，成本低且局限性小。
在本申请的一些实施例中，为了获取表情基向量，图3是本申请再一实施例提供的数据处理方法的流程示意图，在步骤220之前，该方法还可以包括步骤310-步骤330。
步骤310，采用主成分分析(Principal Components Analysis，PCA)算法对第二点云数据进行降维，得到第一模型。
其中，第一模型可以为DFM均值人脸模型(Deformable Face Model Mean Shape，DFM_MS)。
在一个实施例中，采用主成分分析算法对第二点云数据进行降维，还可以得到DFM形状基向量(Deformable Face Model Shape Base，DFM_SB)。
步骤320，对第一模型进行不同表情形变建模，得到第二模型。
具体地，电子设备可以使用3D建模软件对DFM_MS模型进行不同表情形变建模，得到第二模型，该第二模型可以为DFM_MS叠加表情模型(Deformable Face Model MeanShape Add Expression，DFM_MSAE)。
步骤330，对第一模型和第二模型进行线性相减，得到表情基向量。
在本申请实施例中，采用主成分分析算法对无表情脸部三维点云数据进行降维后，可得到所需的DFM均值人脸模型，通过对DFM均值人脸模型进行不同表情形变建模，得到DFM_MS叠加表情模型。基于此，通过将DFM均值人脸模型与DFM_MS叠加表情模型线性相减，最终获取到表情基向量，从而基于该表情基向量对第二点云数据进行不同表情的叠加处理，在无表情脸部三维点云数据的基础上融合表情，从而快速生成大批量带表情的真实3D人脸数据，缩短3D真实数据的数据采集周期，相比于基于高精度设备采集3D真实数据的方案，有效降低数据采集成本。
涉及步骤130，对第一点云数据和第三点云数据进行数据融合，得到第四点云数据。
在本申请的一些实施例中，为了获取多表情人头3D纹理贴图数据，图4是本申请再一实施例提供的数据处理方法的流程示意图，如图4所示，该方法还可以包括步骤410-步骤460。
步骤410，在多个目标对象处于无表情状态的情况下，获取多个目标对象的头部的第一纹理贴图数据。
其中，第一纹理贴图数据可以为不同人头旋转姿态下扫描人头3D点云数据时采集的纹理贴图数据。
步骤420，基于第一点云数据构建网格mesh结构，得到第一mesh数据。
具体地，电子设备可以采用3D人头扫描系统中的mesh构建工具将第一点云数据三角面化，每三个3D点云顶点两两相连组成一个人头面片，从而构建整个3D人头mesh结构，得到第一mesh数据。
步骤430，对第一纹理贴图数据进行纹理贴图融合和展UV处理，得到UV纹理贴图，以及UV纹理贴图与第一纹理贴图数据的第一映射关系。
具体地，UV就是将图像上每一个点精确对应到模型物体的表面，在点与点之间的间隙位置由软件进行图像光滑插值处理，为了使模型的UV纹理在画布上合理的分布，将三维的面合理地平铺在二维的画布上，这个过程称为展UV处理；第一映射关系可以为UV纹理贴图与第一纹理贴图数据的一对一纹理贴图映射表。
步骤440，基于第四点云数据构建mesh结构，得到第二mesh数据。
具体地，电子设备可以采用3D人头扫描系统中的mesh构建工具将第四点云数据三角面化，每三个3D点云顶点两两相连组成一个人头面片，从而构建整个3D人头mesh结构，得到第二mesh数据。
需要说明的是，步骤440在步骤150生成第四点云数据之后。
步骤450，基于第二mesh数据遍历第一映射关系，得到第二映射关系。
具体地，基于3D点云融合保存的信息，即第二mesh数据，遍历第一映射关系，生成新的UV纹理贴图映射表，即第二映射关系。
步骤460，基于第二映射关系和UV纹理贴图，生成目标三维纹理贴图数据。
具体地，基于第二映射关系和步骤430生成的真实扫描的UV纹理贴图，构建生成目标三维纹理贴图数据，该目标三维纹理贴图数据即为多表情人头3D纹理贴图数据。
在本申请实施例中，在多个目标对象处于无表情状态的情况下，除了获取多个目标对象的头部的三维点云数据，还可以获取多个目标对象的头部的第一纹理贴图数据，并基于第一点云数据构建网格mesh结构，得到第一mesh数据，对第一纹理贴图数据进行纹理贴图融合和展UV处理，得到UV纹理贴图，以及UV纹理贴图与第一纹理贴图数据的第一映射关系。在得到带表情的真实3D人头数据，即第四点云数据之后，基于第四点云数据可以重新构建mesh结构，实现mesh重生成，得到第二mesh数据。第一映射关系中的第一纹理贴图数据是无表情的，因此在得到多表情的第四点云数据，基于第四点云数据对应的第二mesh数据遍历第一映射关系，得到第二映射关系，从而基于第二映射关系和UV纹理贴图，构建生成多表情人头的目标三维纹理贴图数据，该目标三维纹理贴图数据可以用来表达人脸表情的显示细节，因此便于进行3D人脸重建。
需要说明的是，本申请实施例提供的数据处理方法，执行主体可以为数据处理装置，或者该数据处理装置中的用于执行数据处理的方法的控制模块。本申请实施例中以数据处理装置执行数据处理方法为例，说明本申请实施例提供的数据处理装置。下面对数据处理装置进行详细介绍。
图5是本申请提供的一种数据处理装置的结构示意图。
如图5所示，本申请实施例提供一种数据处理装置500，该数据处理装置500包括：确定模块510、表情叠加模块520和数据融合模块530。
其中，确定模块510，用于根据目标三维人脸模型和第一点云数据，确定第二点云数据，其中，第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，第二点云数据为多个目标对象处于无表情状态下对应的脸部三维点云数据；表情叠加模块520，用于通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到第三点云数据，其中，第三点云数据为多个目标对象在不同表情状态下对应的脸部三维点云数据；数据融合模块530，用于对第一点云数据和第三点云数据进行数据融合，得到第四点云数据，其中，第四点云数据为多个目标对象在不同表情状态下对应的头部三维点云数据。
在本申请的一些实施例中，确定模块510包括：获取单元，用于基于最近邻算法，获取第一点云数据中的人脸区域点云数据；映射单元，用于基于非刚性配准算法，将人脸区域点云数据映射至与目标三维人脸模型对应的拓扑空间，得到第二点云数据。
在本申请的一些实施例中，表情叠加模块520包括：调整单元，用于调整第一表情参数；确定单元，用于基于表情基向量和调整后的第一表情参数，确定第二表情参数；线性处理单元，用于对第二表情参数与第二点云数据进行线性相加，得到第三点云数据。
在本申请的一些实施例中，装置还包括：降维模块，用于采用主成分分析算法对第二点云数据进行降维，得到第一模型；模型构建模块，用于对第一模型进行不同表情形变建模，得到第二模型；线性处理单元，还用于对第一模型和第二模型进行线性相减，得到表情基向量。
在本申请的一些实施例中，装置还包括：获取模块，用于在多个目标对象处于无表情状态的情况下，获取多个目标对象的头部的第一纹理贴图数据；网格构建模块，用于基于第一点云数据构建网格mesh结构，得到第一mesh数据；纹理贴图处理模块，用于对第一纹理贴图数据进行纹理贴图融合和展UV处理，得到UV纹理贴图，以及UV纹理贴图与第一纹理贴图数据的第一映射关系；网格构建模块，还用于基于第四点云数据构建mesh结构，得到第二mesh数据；遍历模块，用于基于第二mesh数据遍历第一映射关系，得到第二映射关系；生成模块，用于基于第二映射关系和UV纹理贴图，生成目标三维纹理贴图数据。
本申请实施例提供的数据处理装置，第一点云数据为多个目标对象处于无表情状态下的头部的三维点云数据，根据目标三维人脸模型和该第一点云数据，确定多个目标对象处于无表情状态下对应的脸部三维点云数据，即第二点云数据。由此，可以得到多个目标对象的无表情3D点云人脸数据，通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到多个目标对象在不同表情下对应的脸部三维点云数据，即第三点云数据。由于第三点云数据中融合了不同的表情，因此将带表情的第三点云数据与原始无表情的第一点云数据进行数据融合，能够快速得到多个目标对象在不同表情下对应的头部三维点云数据(第四点云数据)，即快速生成大批量带表情的真实3D人头数据，数据生成周期较短，能有效提升3D真实数据的数据获取效率。
本申请实施例提供的数据处理装置能够实现图1-图4的方法实施例中电子设备所实现的各个过程，为避免重复，这里不再赘述。
本申请实施例中的数据处理装置可以是电子设备，也可以是电子设备中的部件、集成电路、或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的数据处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图7为本申请实施例的一种电子设备的硬件结构示意图。
该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器710用于：根据目标三维人脸模型和第一点云数据，确定第二点云数据，其中，第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，第二点云数据为多个目标对象处于无表情状态下对应的脸部三维点云数据；通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到第三点云数据，其中，第三点云数据为多个目标对象在不同表情状态下对应的脸部三维点云数据；对第一点云数据和第三点云数据进行数据融合，得到第四点云数据，其中，第四点云数据为多个目标对象在不同表情状态下对应的头部三维点云数据。
在本申请实施例中，第一点云数据为多个目标对象处于无表情状态下的头部的三维点云数据，根据目标三维人脸模型和该第一点云数据，确定多个目标对象处于无表情状态下对应的脸部三维点云数据，即第二点云数据。由此，可以得到多个目标对象的无表情3D点云人脸数据，通过调整第一表情参数，分别对第二点云数据进行不同表情的叠加处理，得到多个目标对象在不同表情下对应的脸部三维点云数据，即第三点云数据。由于第三点云数据中融合了不同的表情，因此将带表情的第三点云数据与原始无表情的第一点云数据进行数据融合，能够快速得到多个目标对象在不同表情下对应的头部三维点云数据(第四点云数据)，即快速生成大批量带表情的真实3D人头数据，数据生成周期较短，能有效提升3D真实数据的数据获取效率。
应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、N个所需的应用程序或指令(比如声音播放、图像播放等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。
处理器710可包括一个或多个处理单元；可选地，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，计算机可读存储介质的示例包括非暂态计算机可读存储介质，如计算机只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行，还可包括根据所涉及的按基本同时的方式或按相反的顺序来执行，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
根据目标三维人脸模型和第一点云数据，确定第二点云数据，其中，所述第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，所述第二点云数据为所述多个目标对象处于无表情状态下对应的脸部三维点云数据；
通过调整第一表情参数，分别对所述第二点云数据进行不同表情的叠加处理，得到第三点云数据，其中，所述第三点云数据为所述多个目标对象在不同表情状态下对应的脸部三维点云数据；
对所述第一点云数据和所述第三点云数据进行数据融合，得到第四点云数据，其中，所述第四点云数据为所述多个目标对象在不同表情状态下对应的头部三维点云数据。
2.根据权利要求1所述的方法，其特征在于，所述根据目标三维人脸模型和第一点云数据，确定第二点云数据，包括：
基于最近邻算法，获取所述第一点云数据中的人脸区域点云数据；
基于非刚性配准算法，将所述人脸区域点云数据映射至与所述目标三维人脸模型对应的拓扑空间，得到所述第二点云数据。
3.根据权利要求1所述的方法，其特征在于，所述通过调整第一表情参数，分别对所述第二点云数据进行不同表情的叠加处理，得到第三点云数据，包括：
调整所述第一表情参数；
基于表情基向量和调整后的所述第一表情参数，确定第二表情参数；
对所述第二表情参数与所述第二点云数据进行线性相加，得到所述第三点云数据。
4.根据权利要求3所述的方法，其特征在于，在所述基于表情基向量和调整后的所述第一表情参数，确定第二表情参数之前，所述方法还包括：
采用主成分分析算法对所述第二点云数据进行降维，得到第一模型；
对所述第一模型进行不同表情形变建模，得到第二模型；
对所述第一模型和所述第二模型进行线性相减，得到所述表情基向量。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述多个目标对象处于无表情状态的情况下，获取所述多个目标对象的头部的第一纹理贴图数据；
基于所述第一点云数据构建网格mesh结构，得到第一mesh数据；
对所述第一纹理贴图数据进行纹理贴图融合和展UV处理，得到UV纹理贴图，以及所述UV纹理贴图与所述第一纹理贴图数据的第一映射关系；
基于所述第四点云数据构建mesh结构，得到第二mesh数据；
基于所述第二mesh数据遍历所述第一映射关系，得到第二映射关系；
基于所述第二映射关系和所述UV纹理贴图，生成目标三维纹理贴图数据。
6.一种数据处理装置，其特征在于，包括：
确定模块，用于根据目标三维人脸模型和第一点云数据，确定第二点云数据，其中，所述第一点云数据为多个目标对象处于无表情状态下的头部三维点云数据，所述第二点云数据为所述多个目标对象处于无表情状态下对应的脸部三维点云数据；
表情叠加模块，用于通过调整第一表情参数，分别对所述第二点云数据进行不同表情的叠加处理，得到第三点云数据，其中，所述第三点云数据为所述多个目标对象在不同表情状态下对应的脸部三维点云数据；
数据融合模块，用于对所述第一点云数据和所述第三点云数据进行数据融合，得到第四点云数据，其中，所述第四点云数据为所述多个目标对象在不同表情状态下对应的头部三维点云数据。
7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
获取单元，用于基于最近邻算法，获取所述第一点云数据中的人脸区域点云数据；
映射单元，用于基于非刚性配准算法，将所述人脸区域点云数据映射至与所述目标三维人脸模型对应的拓扑空间，得到所述第二点云数据。
8.根据权利要求6所述的装置，其特征在于，所述表情叠加模块包括：
调整单元，用于调整所述第一表情参数；
确定单元，用于基于表情基向量和调整后的所述第一表情参数，确定第二表情参数；
线性处理单元，用于对所述第二表情参数与所述第二点云数据进行线性相加，得到所述第三点云数据。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
降维模块，用于采用主成分分析算法对所述第二点云数据进行降维，得到第一模型；
模型构建模块，用于对所述第一模型进行不同表情形变建模，得到第二模型；
所述线性处理单元，还用于对所述第一模型和所述第二模型进行线性相减，得到所述表情基向量。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
获取模块，用于在所述多个目标对象处于无表情状态的情况下，获取所述多个目标对象的头部的第一纹理贴图数据；
网格构建模块，用于基于所述第一点云数据构建网格mesh结构，得到第一mesh数据；
纹理贴图处理模块，用于对所述第一纹理贴图数据进行纹理贴图融合和展UV处理，得到UV纹理贴图，以及所述UV纹理贴图与所述第一纹理贴图数据的第一映射关系；
所述网格构建模块，还用于基于所述第四点云数据构建mesh结构，得到第二mesh数据；
遍历模块，用于基于所述第二mesh数据遍历所述第一映射关系，得到第二映射关系；
生成模块，用于基于所述第二映射关系和所述UV纹理贴图，生成目标三维纹理贴图数据。
CN202210910285.7A 2022-07-29 2022-07-29 数据处理方法及其装置 Pending CN115294298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210910285.7A CN115294298A (zh) 2022-07-29 2022-07-29 数据处理方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210910285.7A CN115294298A (zh) 2022-07-29 2022-07-29 数据处理方法及其装置

Publications (1)

Publication Number Publication Date
CN115294298A true CN115294298A (zh) 2022-11-04

Family

ID=83826134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210910285.7A Pending CN115294298A (zh) 2022-07-29 2022-07-29 数据处理方法及其装置

Country Status (1)

Country Link
CN (1) CN115294298A (zh)

Similar Documents

Publication Publication Date Title
CN109325437B (zh) 图像处理方法、装置和系统
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
Wang et al. High resolution acquisition, learning and transfer of dynamic 3‐D facial expressions
US11302064B2 (en) Method and apparatus for reconstructing three-dimensional model of human body, and storage medium
US11908057B2 (en) Image regularization and retargeting system
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
CN112614213B (zh) 人脸表情确定方法、表情参数确定模型、介质及设备
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN111161395B (zh) 一种人脸表情的跟踪方法、装置及电子设备
US10121273B2 (en) Real-time reconstruction of the human body and automated avatar synthesis
JP2024501986A (ja) ３次元顔再構築の方法、３次元顔再構築の装置、デバイスおよび記憶媒体
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
JP2024004444A (ja) ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
Kao et al. Toward 3d face reconstruction in perspective projection: Estimating 6dof face pose from monocular image
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
Song et al. A generic framework for efficient 2-D and 3-D facial expression analogy
CN117974890A (zh) 人脸图像的处理方法、装置、直播系统、电子设备及介质
CN115908664B (zh) 人机交互的动画生成方法、装置、计算机设备、存储介质
Yu et al. Mean value coordinates–based caricature and expression synthesis
Ge et al. 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models
CN115294298A (zh) 数据处理方法及其装置
CA3177593A1 (en) Transformer-based shape models
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
Huang et al. Detail-preserving controllable deformation from sparse examples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination