CN116958420A - 一种数字人教师三维人脸的高精度建模方法 - Google Patents

一种数字人教师三维人脸的高精度建模方法 Download PDF

Info

Publication number
CN116958420A
CN116958420A CN202310835919.1A CN202310835919A CN116958420A CN 116958420 A CN116958420 A CN 116958420A CN 202310835919 A CN202310835919 A CN 202310835919A CN 116958420 A CN116958420 A CN 116958420A
Authority
CN
China
Prior art keywords
point cloud
points
model
point
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310835919.1A
Other languages
English (en)
Inventor
周东波
夏淼
贺文倩
肖建峰
陈迪
刘三女牙
杨宗凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202310835919.1A priority Critical patent/CN116958420A/zh
Publication of CN116958420A publication Critical patent/CN116958420A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种数字人教师三维人脸的高精度建模方法，基于66个RGB摄像头分布采集全方位教师人脸图像，使用阵列摄像头拍摄多个视角的教师影像，获取散点数据；对采集到的散点数据进行去噪和过滤，以提高生成的点云数据的质量；基于多个视角下的点云数据构建3DMM模型；使用PointCNN学习点云的特征和语义信息，将点云分割成不同的面部区域，对于每个视角下的人脸点云，将其特征表示与3DMM模型进行结合，以进行人脸三维重建；相较于传统的3DMM模型，结合PointCNN模型可以提取更丰富的点云特征，更准确地捕捉形状细节，从而提高三维重建的精度。

Description

一种数字人教师三维人脸的高精度建模方法
技术领域
本发明属于三维建模领域，尤其涉及一种数字人教师三维人脸的高精度建模方法。
背景技术
3DMM模型是一种三维人脸统计模型，最早被提出是用于解决从二维人脸图像恢复三维形状的问题。它可以根据一组训练样本，建立出一个具有变形性质的3D模型。3DMM的基本思想是将人脸建模为一个由基础形状(shape)和纹理(texture)组成的模型，并通过变换这两个属性来生成不同的人脸形态。此类方法基于一组人脸形状和纹理的统计模型来表示任意一张人脸，但是该方法存在重建人脸判别性较差，参数求解难的问题。
发明内容
本发明针对现有方法的不足，提出利用点云语义分割为人脸三维重建提供更加精确和准确的三维模型，更加准确的定位人脸部位的位置和形状，从而可以更好地描述人脸的细节和特征。通过将不同的语义部位进行分割和处理，可以更好地模拟人脸的表情和动作。
本发明提供一种数字人教师三维人脸的高精度建模方法，具体技术方案如下：
一种数字人教师三维人脸的高精度建模方法，其特征在于，包括如下步骤：
步骤1，获取彩色深度图像，使用多视角相机影像阵列的彩色深度图像采集装置获取真实教师的彩色深度图像，采集人脸点云信息；
步骤2，对步骤1采集的人脸点云信息进行预处理，分割出人脸面部点云，并对点云信息进行去噪和平滑操作；
步骤3，采用普林斯顿形状数据集作为训练数据，构建PointCNN的网络架构进行特征提取；
步骤4，将分割后的点云数据输入3DMM模型进行人脸三维重建和生成人脸表情；
步骤5，对于人脸表情，以BFM2017的表情拟合功能实现面部的动态变化，在中性表情人脸形状向量的基础上，为其添加额外的表情向量：
Sshape是人脸模型的形状向量，αi是形状系数，Si是形状主成分向量，ei是表情向量，n是3DMM模型中主成分向量的个数，在BFM2017中，人脸表情是通过三维形变来实现的；
步骤6，3DMM模型的纹理信息是通过将大量不同人脸的纹理信息进行PCA降维得到的；通常是基于色调、亮度、颜色梯度这些公共的纹理特征，经过PCA降维后，得到一个包含了所有样本纹理信息的小规模参数空间，即纹理参数，通过调节纹理参数的值，得到不同的纹理信息；
在纹理映射过程中，通过3DMM模型的纹理参数对每个顶点进行颜色插值，得到每个顶点在不同视角下的纹理信息，然后将这些信息贴到3DMM模型的表面上，最终得到数字人教师三维人脸的完整的三维模型。
进一步的，多视角相机影像阵列的彩色深度图像采集装置包括66个超清摄像机，这66个超清摄像机分布在11根灯光立柱上，这11根灯光立柱呈圆形排列，每根立柱有6个摄像机，66个摄像机采集第一轮图像，标注摄像机参数和位置参数，第二轮，控制灯光照射出纹理图案，采集第二轮的图像，同样标注参数，采集人脸不同角度图像，在转换图像数据为点云数据之前，需要对摄像机进行标定，以获取摄像机的内参和外参，确定摄像机在三维空间中的位置和姿态。
进一步的，步骤2包括如下步骤：
步骤2.1，对Z轴方向上的维度设置一定的深度距离阈值，将目标物点云与其他距离较远的无用信息分割出来，具体表达式如下：
z是点云在z轴维度表示，Depth_Min是在z轴上的最小阈值，Depth_Max是在z轴上的最大阈值，若点在最大阈值和最小阈值之间就分割出来，若在范围之外就舍弃；
步骤2.2，D(z)是分割出来的点云数据，对超过阈值的点云数据舍弃掉，对分割出来的点云数据，进行滤波处理，以达到去噪和平滑，采用的是快速双边滤波法，需要定义两个权值函数，一个用于计算距离权值，一个用于计算灰度值权值，在计算过程中，将点云数据转换为像素形式，即将点云数据投影到图像平面上，得到一个二维图像；
设置滤波参数，包括窗口大小、空间域标准差和像素域标准差，窗口大小决定了需要考虑的邻域范围，空间域标准差和像素域标准差则分别控制了空间距离和属性相似度对滤波的影响程度；在点云数据处理中，通常需要根据实际情况进行参数调整，以达到最佳效果；在计算过程中，先对距离权值进行预处理，将其转换为一张卷积核，然后将该卷积核与原始图像进行卷积，得到每个像素点的距离权值，接着，对每个像素点在窗口内计算灰度值权值，并将其与距离权值进行加权平均，得到该像素点的最终输出值，使用逆投影方法将像素点映射回三维空间；
步骤2.3，对处理好的点云数据进行点云配准，在多视角采集的点云数据中，不同的视角之间存在一定的误差，需要将点云进行配准，采用ICP算法进行点云配准，由于点云空间位置变换的复杂性，难以有效地对配准参数进行一次性的地精确估计，因此采用迭代地进行点云配准。
进一步的，步骤2.3包括如下步骤：
步骤2.3.1，首先将待配准的两个点云随机选取一些点，作为两个点云的对应点，建立起点对应关系；
步骤2.3.2，对于目标点云中的每个点，通过在参考点云中寻找最近邻点来寻找与之对应的点；
步骤2.3.3，使用最小二乘法计算变换矩阵，将目标点云中的点变换到参考点云坐标系下；
步骤2.3.4，利用点对应关系计算两个点云之间的变换矩阵，将其中一个点云进行变换，使其与另一个点云尽可能重合，得到新变换后的目标点云；
步骤2.3.5，检查当前对齐结果是否满足一定的终止条件，终止条件是变换矩阵的变化量是否小于某个阈值，或者迭代次数是否达到设定值；
步骤2.3.6，如果不满足终止条件，返回步骤2.3.2，重新寻找对应点，计算变换，并应用变换，直到满足终止条件，算法结束。
进一步的，步骤3中构建PointCNN的网络架构进行特征提取，PointCNN的网络架构包括输入层，SA层，Conv层，FP层和输出层，
输入层：将点云作为输入，每个点由其位置和属性组成；
SA层：SA层首先对输入点云进行采样，从而减少点的数量和密度，然后将采样后的点分组，构成局部区域，对于每个局部区域，SA层会选择其中的一些点作为代表点，并计算代表点和其他点之间的相对位置，从而将局部区域表示为相对位置的向量集合。
Conv层：Conv层对局部区域执行卷积操作，将相对位置向量集合映射到一个新的特征空间，Conv层使用多个感受野对相对位置向量集合进行卷积，每个感受野计算一组特征，并将这些特征合并成一个特征向量，为了利用空间局部相关性，X-Conv在局部区域运行，由于输出要素应该与代表点{p2,i}先关联，因此X-conv将他们在{p1,i}中的邻域点以及相关联的要素作为输入进行卷积，令p为{p2,i}中特征点，{p1,i}:i＝1,2,3,...,N是原始输入点集合，{p2,i}:i＝1,2,3,...,N是通过X-Conv得到的点集合，p是{p1,i}其中一个点，f为p的特征，N为在{p1,i}中p的K个邻近点，因此，p的X-conv输入为：
S＝{(pi,fi):pi∈N}
X-Conv是经过X变换的卷积操作，pi是坐标位置信息，pi对应的fi，fi表示特征信息；
S可以被转换成一个K×Dim的P矩阵
P＝(p1,p2,…,pK,)T
Dim是坐标空间维度；
和一个K×C1大小的F矩阵：
F＝(f1,f2,…,fK,)T
C1是特征通道数；
计算特征Fp算法表达式如下：
Fp＝X-Conv(K,p,P,F)＝Conv(K,MLP(P-p)×[MLPδ(P-p),F])
Fp层：Fp层对卷积结果进行反传，将局部区域的特征向量传递给其包含的代表点,对于每个代表点，Fp层将其周围的所有局部区域的特征向量合并，并使用多层感知机将它们映射到一个新的特征向量，这个特征向量包含了代表点的全局特征信息，X-Conv是经过X变换的卷积操作，P-p是将所有邻居点坐标转换为相对p的坐标，K是卷积核，MLPδ操作是为了将邻居点的位置信息转化为特征信息，MLP操作是为了计算出特定输入顺序对应的X矩阵；
输出层：根据具体任务，可以在输出层使用多层感知机和Softmax函数将全局特征向量映射到标签；
搭建的网络是包含四个X-Conv层的PointCNN，前两个层将输入点逐渐转换成更少的表示点，但是每个表示点具有更丰富的特征，在PointCNN中，把每个代表点的感受野大致定义为K/N的比值，其中K是相邻的点数，N是上一层的点数；
有了这个定义，最后一个点“看到”了前一层的所有点，因此具有1.0的接受域——它具有整个形状的全局视图，并且它的特征对于形状的语义理解来说是信息丰富的，在最后一个X-Conv层输出之上添加完全连接的层，然后是一个损失，用于训练网络；对于分割任务，需要高分辨率的逐点输出，采用Conv-DeConv架构构件PointCNN来实现，其中，Deconv部分负责将全局信息传播到高分辨率的预测上，搭建的网络架构包括两个Conv层和两个DeConv层，DeConv层在输出中具有更多的点和更少的特征通道，DeConv层的输入以及更高分辨率点由Conv层转发的。
进一步的，步骤4包括如下步骤：
步骤4.1，基于分割的结果进行局部特征提取，对于点云分割的不同部位，将其中的点云进行聚类，得到多个局部点云集合，对于每个局部点云集合，提取局部法向量，局部曲率这些特征，获取预设数量的作为数字人教师三维人脸重建的局部特征点，具体过程如下：
在人脸图像中，68特征点标注在人脸的主要成分的区域上，包括眼睛、鼻子、嘴巴以及人脸轮廓，在人脸重建的领域上，特征点检测往往用来计算PCA的参数；
使用基于距离的聚类算法进行局部特征提取，得到68个人脸面部区域局部特征点；
步骤4.2，获取三维平均人脸模型，确定局部特征点在三维平均人脸模型中的对应点，基于局部特征点的信息以及图像特征点与三维人脸模型中的对应点之间的关系进行拟合运算，得到3DMM模型的模型参数，根据形变模型参数对3D平均人脸模型进行处理，得到三维重建的初步人脸模型；
BFM是通过训练200个扫描对象的数据而得到平均人脸模型，具有人脸的普遍性生物特征，包括眼睛、鼻子、嘴巴的大体位置分布以及脸部轮廓的形状；
此模型为参数化模型，其参数数据包括形状向量参数，纹理向量参数以及各种属性参数；输入形状参数，可控制模型的形状，点云和网络拓扑结构也会发生相应地变化；输入纹理参数，使RGB纹理图的纹理向量与模型形状向量相互对应；其他属性的参数包括性别、光照，对模型的重建有较小幅度的影响；
根据样本关键点和三维重建模型关键点获取构建关键点误差损失函数，拟合误差公式为：
其中，n表示为点云数据中点的数量，m表为3DMM模型中基础网络模型上的顶点数，w表示的是后面各项wi，是优化的超参数，wi表示点云数据中第i个点的语义类别权重；ωij表示点云数据中第i个点和3DMM模型中第j个顶点之间的匹配权重；E(θ)是计算误差，pi是第i个点云数据信息，j是3DMM模型中的第j个局部特征点，θ是3DMM模型中形状和纹理主成分向量的线性组合，是3DMM模型中的第j个局部特征点的输出表示；
3DMM模型公式：
其中，B是3DMM模型中的形状系数和纹理系数的线性组合，M0是3DMM模型中的平均形状和纹理，S为形状主成分向量，T为纹理主成分向量；是3DMM模型输出表示；
对于这个拟合误差公式，使用随机梯度下降算法优化算法进行参数优化，优化过程表示为：
其中，α为学习率，表示拟合误差关于模型参数的梯度；t是迭代次数；
在拟合过程中，将每个点的语义类别信息作为额外的输入提供给3DMM模型，这样模型就可以根据不同语义类别的点分别进行拟合，从而更好地重建出目标的三维形态：可以将点的语义类别信息编码成对应的向量，作为3DMM模型的输入特征，与模型参数一起用于计算拟合误差和梯度，这样，经过多次迭代，就可以得到最优的模型参数，将3DMM模型拟合到经过点云语义分割后的点云数据上。
进一步的，步骤5中BFM2017包括：
BFM2017将人脸表情分为三个主要部分：眼睛、嘴唇和眉毛，每个部分都有对应的形变权重，用于控制表情的强度和程度，根据数据预处理的结果，初始化BFM2017模型的参数，包括形状参数和表情参数；形状参数用于描述人脸的基本形状，表情参数用于描述人脸的表情变化；根据形状参数和表情参数，生成三维点云模型，与原始点云数据进行比对，计算重建误差，通过反复调整参数，使得重建误差最小化。
本发明还提供一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述计算机程序时，执行如上面所述的一种数字人教师三维人脸的高精度建模方法的步骤。
本发明还提供一种计算机可读存储介质，其存储计算机程序，其特征在于，所述计算机程序使得计算机执行如上面所述的一种数字人教师三维人脸的高精度建模方法的步骤。
本发明的有益技术效果：
1、本发明的一种数字人教师三维人脸的高精度建模方法，首次提出利用点云语义分割为人脸三维重建提供更加精确和准确的三维模型，更加准确的定位人脸部位的位置和形状，从而可以更好地描述人脸的细节和特征。
2、本发明的一种数字人教师三维人脸的高精度建模方法通过将不同的语义部位进行分割和处理，可以更好地模拟人脸的表情和动作。
3、本发明的一种数字人教师三维人脸的高精度建模方法，相较于传统的3DMM模型，结合PointCNN模型可以提取更丰富的点云特征，更准确地捕捉形状细节，从而提高三维重建的精度。
附图说明
图1为本发明所述的一种数字人教师三维人脸的高精度建模方法的流程图；
图2为本发明的点云数据处理流程图；
图3为本发明为采集人脸点云数据设计的多视角相机影像阵列的彩色深度图像采集装置。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图1-3对本发明中的技术方案进行清楚、完整地描述。
如图1所示的是本发明所述的一种数字人教师三维人脸的高精度建模方法的流程图。该方法包括如下步骤：
步骤1，获取彩色深度图像，为获取真实教师的彩色深度图像，我们设计了一种多视角相机影像阵列的彩色深度图像采集装置，采集人脸不同角度图像。在转换图像数据为点云数据之前，需要对相机进行标定，以获取相机的内参和外参，确定相机在三维空间中的位置和姿态。
多视角相机影像阵列的彩色深度图像采集装置包括66个超清摄像机，这66个超清摄像机分布在11根灯光立柱上，这11根灯光立柱呈圆形排列，每根立柱有6个摄像机，66个摄像机采集第一轮图像，标注摄像机参数和位置参数，第二轮，控制灯光照射出纹理图案，采集第二轮的图像，同样标注参数，采集人脸不同角度图像，在转换图像数据为点云数据之前，需要对摄像机进行标定，以获取摄像机的内参和外参，确定摄像机在三维空间中的位置和姿态。
步骤2，对步骤1采集的人脸点云信息进行预处理，分割出人脸面部点云，并对点云信息进行去噪和平滑操作。
步骤2具体为：
步骤2.1，对Z轴方向上的维度设置一定的深度距离阈值，将目标物点云与其他距离较远的无用信息分割出来，具体表达式如下：
z是点云在z轴维度表示，Depth_Min是在z轴上的最小阈值，Depth_Max是在z轴上的最大阈值，若点在最大阈值和最小阈值之间就分割出来，若在范围之外就舍弃；
步骤2.2，D(z)是分割出来的点云数据，对超过阈值的点云数据舍弃掉。对分割出来的点云数据，进行滤波处理，以达到去噪和平滑，在此实例中采用的是快速双边滤波法，需要定义两个权值函数，一个用于计算距离权值，一个用于计算灰度值权值，在计算过程中，将点云数据转换为像素形式，即将点云数据投影到图像平面上，得到一个二维图像。
设置滤波参数，包括窗口大小、空间域标准差和像素域标准差。窗口大小决定了需要考虑的邻域范围，空间域标准差和像素域标准差则分别控制了空间距离和属性相似度对滤波的影响程度。在点云数据处理中，通常需要根据实际情况进行参数调整，以达到最佳效果。在计算过程中，先对距离权值进行预处理，将其转换为一张卷积核，然后将该卷积核与原始图像进行卷积，得到每个像素点的距离权值。接着，对每个像素点在窗口内计算灰度值权值，并将其与距离权值进行加权平均，得到该像素点的最终输出值。使用逆投影方法将像素点映射回三维空间。
步骤2.3，对处理好的点云数据进行点云配准，在多视角采集的点云数据中，不同的视角之间存在一定的误差，需要将点云进行配准。在此实例中采用的ICP算法进行点云配准，由于点云空间位置变换的复杂性，难以有效地对配准参数进行一次性的地精确估计。因此采用迭代地进行点云配准。步骤2.3方法具体如下：
步骤2.3.1，首先将待配准的两个点云随机选取一些点，作为两个点云的对应点，建立起点对应关系。
步骤2.3.2，对于目标点云中的每个点，通过在参考点云中寻找最近邻点来寻找与之对应的点。
步骤2.3.3，使用最小二乘法计算变换矩阵，将目标点云中的点变换到参考点云坐标系下。
步骤2.3.4，利用点对应关系计算两个点云之间的变换矩阵，将其中一个点云进行变换，使其与另一个点云尽可能重合。得到新变换后的目标点云。
步骤2.3.5，检查当前对齐结果是否满足一定的停止条件，如变换矩阵的变化量是否小于某个阈值，或者迭代次数是否达到设定值。
步骤2.3.6，如果不满足终止条件，返回步骤2.3.2，重新寻找对应点，计算变换，并应用变换。直到满足终止条件，算法结束。
步骤3，采用普林斯顿形状数据集作为训练数据。构件PointCNN的网络架构，包括输入层，SA层，Conv层，FP层和输出层。
输入层：将点云作为输入，每个点由其位置和属性组成。
SA层(Sampling and Grouping)：SA层首先对输入点云进行采样，从而减少点的数量和密度，然后将采样后的点分组，构成局部区域。对于每个局部区域，SA层会选择其中的一些点作为代表点，并计算代表点和其他点之间的相对位置，从而将局部区域表示为相对位置的向量集合。
Conv层(Convolution)：Conv层对局部区域执行卷积操作，将相对位置向量集合映射到一个新的特征空间。具体来说，Conv层使用多个感受野对相对位置向量集合进行卷积，每个感受野计算一组特征，并将这些特征合并成一个特征向量。为了利用空间局部相关性，X-Conv在局部区域运行。由于输出要素应该与代表点{p2,i}先关联，因此X-conv将他们在{p1,i}中的邻域点以及相关联的要素作为输入进行卷积。令p为{p2,i}中特征点，{p1,i}:i＝1,2,3,...,N是原始输入点集合，{p2,i}:i＝1,2,3,...,N是通过X-Conv得到的点集合，p是{p1,i}其中一个点，f为p的特征，N为在{p1,i}中p的K个邻近点，因此，p的X-conv输入为：
S＝{(pi,fi):pi∈N}
X-Conv是经过X变换的卷积操作，pi是坐标位置信息，pi对应的fi，fi表示特征信息；
S可以被转换成一个K×Dim的矩阵
P＝(p1,p2,…,pK,)T
Dim是坐标空间维度；
和一个K×C1大小的矩阵：
F＝(f1,f2,…,fK,)T
C1是特征通道数；
计算特征Fp算法表达式如下：
Fp＝X-Conv(K,p,P,F)＝Conv(K,MLP(P-p)×[MLPδ(P-p),F])
FP层(Feature Propagation)：FP层对卷积结果进行反传，将局部区域的特征向量传递给其包含的代表点。对于每个代表点，FP层将其周围的所有局部区域的特征向量合并，并使用多层感知机(MLP)将它们映射到一个新的特征向量，这个特征向量包含了代表点的全局特征信息，X-Conv是经过X变换的卷积操作，P-p是将所有邻居点坐标转换为相对p的坐标，K是卷积核，MLPδ操作是为了将邻居点的位置信息转化为特征信息，MLP操作是为了计算出特定输入顺序对应的X矩阵。
输出层：根据具体任务，可以在输出层使用MLP和Softmax等函数将全局特征向量映射到标签。
我们搭建的网络是包含四个X-Conv层的PointCNN，前两个层将输入点(有或没有特征)逐渐转换成更少的表示点，但是每个表示点具有更丰富的特征。在PointCNN中，我们可以把每个代表点的感受野大致定义为K/N的比值，其中K是相邻的点数，N是上一层的点数。
有了这个定义，最后一个点“看到”了前一层的所有点，因此具有1.0的接受域——它具有整个形状的全局视图，并且它的特征对于形状的语义理解来说是信息丰富的。我们可以在最后一个X-Conv层输出之上添加完全连接的层，然后是一个损失，用于训练网络。对于分割任务，需要高分辨率的逐点输出，我们采用Conv-DeConv架构构件PointCNN来实现，其中，Deconv部分负责将全局信息传播到高分辨率的预测上，在此实例中搭建的网络架构包括两个Conv层和两个DeConv层，DeConv层在输出中具有更多的点和更少的特征通道，DeConv层的输入以及更高分辨率点由Conv层转发的。
步骤4，将分割后的点云数据和3DMM模型拟合的人脸三维重建和表情生成方法，过程描述如下：
步骤4.1，基于分割的结果进行局部特征提取，对于点云分割的不同部位，将其中的点云进行聚类，得到多个局部点云集合，对于每个局部点云集合，提取一些特征，例如局部法向量，局部曲率等。获取预设数量的作为数字教师三维人脸重建的局部特征点。具体过程如下：
在人脸图像中，68特征点标注在人脸的主要成分的区域上，如眼睛、鼻子、嘴巴以及人脸轮廓。在人脸重建的领域上，特征点检测往往用来计算PCA的参数。
使用基于距离的聚类算法进行局部特征提取，得到68个人脸面部区域局部特征点。
步骤4.2，获取三维平均人脸模型，确定局部特征点在三维平均人脸模型中的对应点，基于局部特征点的信息以及图像特征点与三维人脸模型中的对应点之间的关系进行拟合运算，得到3DMM模型的模型参数，根据形变模型参数对3D平均人脸模型进行处理，得到三维重建的初步人脸模型。
BFM是通过训练200个扫描对象的数据而得到平均人脸模型，具有人脸的普遍性生物特征，如眼睛、鼻子、嘴巴等主要成分的大体位置分布以及脸部轮廓的形状。
此模型为参数化模型，其参数数据包括形状向量参数，纹理向量参数以及各种属性参数。输入形状参数，可控制模型的形状，点云和网络拓扑结构也会发生相应地变化；输入纹理参数，使RGB纹理图的纹理向量与模型形状向量相互对应；其他属性的参数包括性别、光照等属性参数，对模型的重建有较小幅度的影响。
根据样本关键点和三维重建模型关键点获取构建关键点误差损失函数，拟合误差公式为：
其中，n表示为点云数据中点的数量，m表为3DMM模型中基础网络模型上的顶点数，wi表示点云数据中第i个点的语义类别权重；ωij表示点云数据中第i个点和3DMM模型中第j个顶点之间的匹配权重；E(θ)是计算误差，pi是第i个点云数据信息，j是3DMM模型中的第j个局部特征点，θ是3DMM模型中形状和纹理主成分向量的线性组合，是3DMM模型中的第j个局部特征点的输出表示；
3DMM模型公式：
其中，B是3DMM模型中的形状系数，M0是3DMM模型中的平均形状，S为形状主成分向量，T为纹理主成分向量；是3DMM模型输出表示，M(θ)是3DMM中形状参数和纹理参数的线性组合；
对于这个拟合误差公式，使用随机梯度下降算法优化算法进行参数优化。优化过程可以表示为：
其中，α为学习率，表示拟合误差关于模型参数的梯度，t是迭代次数。
在拟合过程中，我们可以将每个点的语义类别信息作为额外的输入提供给3DMM模型，这样模型就可以根据不同语义类别的点分别进行拟合，从而更好地重建出目标的三维形态。具体来说，可以将点的语义类别信息编码成对应的向量，作为3DMM模型的输入特征，与模型参数一起用于计算拟合误差和梯度。这样，经过多次迭代，就可以得到最优的模型参数，将3DMM模型拟合到经过点云语义分割后的点云数据上。
步骤5，对于人脸表情，此实例主要以BFM2017的表情拟合功能实现面部的动态变化。在中性表情人脸形状向量的基础上，为其添加额外的表情向量：
Sshape是人脸模型的形状向量，αi是形状系数，Si是形状主成分向量，ei是表情向量，n是3DMM模型中主成分向量的个数,在BFM2017中，人脸表情是通过三维形变来实现的；
在BFM2017中，人脸表情是通过三维形变来实现的。具体来说，BFM2017将人脸表情分为三个主要部分：眼睛、嘴唇和眉毛。每个部分都有对应的形变权重，用于控制表情的强度和程度。根据数据预处理的结果，初始化BFM2017模型的参数，包括形状参数和表情参数。形状参数用于描述人脸的基本形状，表情参数用于描述人脸的表情变化。根据形状参数和表情参数，生成三维点云模型，与原始点云数据进行比对，计算重建误差。通过反复调整参数，使得重建误差最小化。
步骤6，3DMM模型的纹理信息是通过将大量不同人脸的纹理信息进行PCA降维得到的，通常是基于一些公共的纹理特征，例如色调、亮度、颜色梯度等。经过PCA降维后，可以得到一个包含了所有样本纹理信息的小规模参数空间，即纹理参数，通过调节纹理参数的值，可以得到不同的纹理信息。
在纹理映射过程中，通过3DMM模型的纹理参数对每个顶点进行颜色插值，得到每个顶点在不同视角下的纹理信息，然后将这些信息贴到三维模型的表面上，最终得到完整的三维模型。
本发明还提供一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述计算机程序时，执行如上面所述的一种数字人教师三维人脸的高精度建模方法的步骤。
本发明还提供一种计算机可读存储介质，其存储计算机程序，其特征在于，所述计算机程序使得计算机执行如上面所述的一种数字人教师三维人脸的高精度建模方法的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种数字人教师三维人脸的高精度建模方法，其特征在于，包括如下步骤：
步骤1，获取彩色深度图像，使用多视角相机影像阵列的彩色深度图像采集装置获取教师的彩色深度图像，采集人脸点云信息；
步骤2，对步骤1采集的人脸点云信息进行预处理，分割出人脸面部点云，并对点云信息进行去噪和平滑操作；
步骤3，采用普林斯顿形状数据集作为训练数据，构建PointCNN的网络架构进行特征提取；
步骤4，将分割后的点云数据输入3DMM模型进行人脸三维重建和生成人脸表情；
步骤5，对于人脸表情，以BFM2017的表情拟合功能实现面部的动态变化，在中性表情人脸形状向量的基础上，为其添加额外的表情向量：
Sshape是人脸模型的形状向量，αi是形状系数，Si是形状主成分向量，ei是表情向量，n是3DMM模型中主成分向量的个数，在BFM2017中，人脸表情是通过三维形变来实现的；
步骤6，3DMM模型的纹理信息是通过将大量不同人脸的纹理信息进行PCA降维得到的；经过PCA降维后，得到一个包含了所有样本纹理信息的小规模参数空间，即纹理参数，通过调节纹理参数的值，得到不同的纹理信息；
在纹理映射过程中，通过3DMM模型的纹理参数对每个顶点进行颜色插值，得到每个顶点在不同视角下的纹理信息，然后将这些信息贴到3DMM模型的表面上，最终得到数字人教师三维人脸的完整的三维模型。
2.根据权利要求1所述的一种数字人教师三维人脸的高精度建模方法，其特征在于，
多视角相机影像阵列的彩色深度图像采集装置包括66个超清摄像机，这66个超清摄像机分布在11根灯光立柱上，每根立柱6个摄像机，66个摄像机采集第一轮图像，标注摄像机参数和位置参数，第二轮，控制灯光照射出纹理图案，采集第二轮的图像，同样标注参数，采集人脸不同角度图像，在转换图像数据为点云数据之前，需要对摄像机进行标定，以获取摄像机的内参和外参，确定摄像机在三维空间中的位置和姿态。
3.根据权利要求1所述的一种数字人教师三维人脸的高精度建模方法，其特征在于，步骤2包括如下步骤：
步骤2.1，对Z轴方向上的维度设置一定的深度距离阈值，将目标物点云与其他距离较远的无用信息分割出来，具体表达式如下：
z是点云在z轴维度表示，Depth_Min是在z轴上的最小阈值，Depth_Max是在z轴上的最大阈值，若点在最大阈值和最小阈值之间就分割出来，若在范围之外就舍弃；
步骤2.2，D(z)是分割出来的点云数据，对超过阈值的点云数据舍弃掉，对分割出来的点云数据，进行滤波处理，以达到去噪和平滑，采用的是快速双边滤波法，需要定义两个权值函数，一个用于计算距离权值，一个用于计算灰度值权值，在计算过程中，将点云数据转换为像素形式，即将点云数据投影到图像平面上，得到一个二维图像；
设置滤波参数，包括窗口大小、空间域标准差和像素域标准差，窗口大小决定了需要考虑的邻域范围，空间域标准差和像素域标准差则分别控制了空间距离和属性相似度对滤波的影响程度；在点云数据处理中，通常需要根据实际情况进行参数调整，以达到最佳效果；在计算过程中，先对距离权值进行预处理，将其转换为一张卷积核，然后将该卷积核与原始图像进行卷积，得到每个像素点的距离权值，接着，对每个像素点在窗口内计算灰度值权值，并将其与距离权值进行加权平均，得到该像素点的最终输出值，使用逆投影方法将像素点映射回三维空间；
步骤2.3，对处理好的点云数据进行点云配准，在多视角采集的点云数据中，不同的视角之间存在一定的误差，需要将点云进行配准，采用ICP算法进行点云配准，由于点云空间位置变换的复杂性，难以有效地对配准参数进行一次性的地精确估计，因此采用迭代地进行点云配准。
4.根据权利要求3所述的一种数字人教师三维人脸的高精度建模方法，其特征在于，步骤2.3包括如下步骤：
步骤2.3.1，首先将待配准的两个点云随机选取一些点，作为两个点云的对应点，建立起点对应关系；
步骤2.3.2，对于目标点云中的每个点，通过在参考点云中寻找最近邻点来寻找与之对应的点；
步骤2.3.3，使用最小二乘法计算变换矩阵，将目标点云中的点变换到参考点云坐标系下；
步骤2.3.4，利用点对应关系计算两个点云之间的变换矩阵，将其中一个点云进行变换，使其与另一个点云尽可能重合，得到新变换后的目标点云；
步骤2.3.5，检查当前对齐结果是否满足一定的终止条件，终止条件是变换矩阵的变化量是否小于某个阈值，或者迭代次数是否达到设定值；
步骤2.3.6，如果不满足终止条件，返回步骤2.3.2，重新寻找对应点，计算变换，并应用变换，直到满足终止条件，算法结束。
5.根据权利要求1所述的一种数字人教师三维人脸的高精度建模方法，其特征在于，步骤3中构建PointCNN的网络架构进行特征提取，PointCNN的网络架构包括输入层，SA层，Conv层，FP层和输出层，
输入层：将点云作为输入，每个点由其位置和属性组成；
SA层：SA层首先对输入点云进行采样，从而减少点的数量和密度，然后将采样后的点分组，构成局部区域，对于每个局部区域，SA层会选择其中的一些点作为代表点，并计算代表点和其他点之间的相对位置，从而将局部区域表示为相对位置的向量集合。
Conv层：Conv层对局部区域执行卷积操作，将相对位置向量集合映射到一个新的特征空间，Conv层使用多个感受野对相对位置向量集合进行卷积，每个感受野计算一组特征，并将这些特征合并成一个特征向量，为了利用空间局部相关性，X-Conv在局部区域运行，由于输出要素应该与代表点{p2,i}先关联，因此X-conv将他们在{p1,i}中的邻域点以及相关联的要素作为输入进行卷积，令p为{p2,i}中特征点，{p1,i}:i＝1,2,3,...,N是原始输入点集合，{p2,i}:i＝1,2,3,...,N是通过X-Conv得到的点集合，p是{p1,i}其中一个点，f为p的特征，N为在{p1,i}中p的K个邻近点，因此，p的X-conv输入为：
S＝{(pi,fi):pi∈N}
X-Conv是经过X变换的卷积操作，pi是坐标位置信息，pi对应的fi，fi表示特征信息；
S可以被转换成一个K×Dim的P矩阵，Dim是坐标空间维度；
P＝(p1,p2,…,pK,)T
和一个K×C1大小的F矩阵：
F＝(f1,f2,…,fK’)T
C1是特征通道数；
计算特征Fp算法表达式如下：
Fp＝X-Conv(K,p,P,F)＝Conv(K,MLP(P-p)×[MLPδ(P-p),F])
Fp层：Fp层对卷积结果进行反传，将局部区域的特征向量传递给其包含的代表点,对于每个代表点，Fp层将其周围的所有局部区域的特征向量合并，并使用多层感知机将它们映射到一个新的特征向量，这个特征向量包含了代表点的全局特征信息，X-Conv是经过X变换的卷积操作，P-p是将所有邻居点坐标转换为相对p的坐标，K是卷积核，MLPδ操作是为了将邻居点的位置信息转化为特征信息，MLP操作是为了计算出特定输入顺序对应的X矩阵；
输出层：根据具体任务，可以在输出层使用多层感知机和Softmax函数将全局特征向量映射到标签；
搭建的网络是包含四个X-Conv层的PointCNN，前两个层将输入点逐渐转换成更少的表示点，但是每个表示点具有更丰富的特征，在PointCNN中，把每个代表点的感受野大致定义为K/N的比值，其中K是相邻的点数，N是上一层的点数；
有了这个定义，最后一个点“看到”了前一层的所有点，因此具有1.0的接受域——它具有整个形状的全局视图，并且它的特征对于形状的语义理解来说是信息丰富的，在最后一个X-Conv层输出之上添加完全连接的层，然后是一个损失，用于训练网络；对于分割任务，需要高分辨率的逐点输出，采用Conv-DeConv架构构件PointCNN来实现，其中，Deconv部分负责将全局信息传播到高分辨率的预测上，搭建的网络架构包括两个Conv层和两个DeConv层，DeConv层在输出中具有更多的点和更少的特征通道，DeConv层的输入以及更高分辨率点由Conv层转发的。
6.根据权利要求1所述的一种数字人教师三维人脸的高精度建模方法，其特征在于，步骤4包括如下步骤：
步骤4.1，基于分割的结果进行局部特征提取，对于点云分割的不同部位，将其中的点云进行聚类，得到多个局部点云集合，对于每个局部点云集合，提取局部法向量，局部曲率这些特征，获取预设数量的作为数字人教师三维人脸重建的局部特征点，具体过程如下：
在人脸图像中，68特征点标注在人脸的主要成分的区域上，包括眼睛、鼻子、嘴巴以及人脸轮廓，在人脸重建的领域上，特征点检测往往用来计算PCA的参数；
使用基于距离的聚类算法进行局部特征提取，得到68个人脸面部区域局部特征点；
步骤4.2，获取三维平均人脸模型，确定局部特征点在三维平均人脸模型中的对应点，基于局部特征点的信息以及图像特征点与三维人脸模型中的对应点之间的关系进行拟合运算，得到3DMM模型的模型参数，根据形变模型参数对3D平均人脸模型即3DMM模型进行处理，得到三维重建的初步人脸模型；
BFM是通过训练200个扫描对象的数据而得到平均人脸模型，具有人脸的普遍性生物特征，包括眼睛、鼻子、嘴巴的大体位置分布以及脸部轮廓的形状；
此模型为参数化模型，其参数数据包括形状向量参数，纹理向量参数以及各种属性参数；输入形状参数，可控制模型的形状，点云和网络拓扑结构也会发生相应地变化；输入纹理参数，使RGB纹理图的纹理向量与模型形状向量相互对应；其他属性的参数包括性别、光照，对模型的重建有较小幅度的影响；
根据样本关键点和三维重建模型关键点获取构建关键点误差损失函数，拟合误差公式为：
其中，n表示为点云数据中点的数量，m表为3DMM模型中基础网络模型上的顶点数，w表示的是后面各项wi，是优化的超参数，wi表示点云数据中第i个点的语义类别权重；ωij表示点云数据中第i个点和3DMM模型中第j个顶点之间的匹配权重；E(θ)是计算误差，pi是第i个点云数据信息，j是3DMM模型中的第j个局部特征点，θ是3DMM模型中形状和纹理主成分向量的线性组合，是3DMM模型中的第j个局部特征点的输出表示；
3DMM模型公式：
其中，B是3DMM模型中的形状系数和纹理系数的线性组合，M0是3DMM模型中的平均形状和纹理，S为形状主成分向量，T为纹理主成分向量；是3DMM模型输出表示；
对于这个拟合误差公式，使用随机梯度下降算法优化算法进行参数优化，优化过程表示为：
其中，α为学习率，表示拟合误差关于模型参数的梯度；t是迭代次数；
在拟合过程中，将每个点的语义类别信息作为额外的输入提供给3DMM模型，模型根据不同语义类别的点分别进行拟合，从而更好地重建出目标的三维形态：可以将点的语义类别信息编码成对应的向量，作为3DMM模型的输入特征，与模型参数一起用于计算拟合误差和梯度，经过多次迭代，就可以得到最优的模型参数，将3DMM模型拟合到经过点云语义分割后的点云数据上。
7.根据权利要求1所述的一种数字人教师三维人脸的高精度建模方法，其特征在于，步骤5中BFM2017包括：
BFM2017将人脸表情分为三个主要部分：眼睛、嘴唇和眉毛，每个部分都有对应的形变权重，用于控制表情的强度和程度，根据数据预处理的结果，初始化BFM2017模型的参数，包括形状参数和表情参数；形状参数用于描述人脸的基本形状，表情参数用于描述人脸的表情变化；根据形状参数和表情参数，生成三维点云模型，与原始点云数据进行比对，计算重建误差，通过反复调整参数，使得重建误差最小化。
8.一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器运行所述计算机程序时，执行如权利要求1-7任一项所述的一种数字人教师三维人脸的高精度建模方法的步骤。
9.一种计算机可读存储介质，其存储计算机程序，其特征在于，所述计算机程序使得计算机执行权利要求1-7任一项所述的一种数字人教师三维人脸的高精度建模方法的步骤。
CN202310835919.1A 2023-07-10 2023-07-10 一种数字人教师三维人脸的高精度建模方法 Pending CN116958420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310835919.1A CN116958420A (zh) 2023-07-10 2023-07-10 一种数字人教师三维人脸的高精度建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310835919.1A CN116958420A (zh) 2023-07-10 2023-07-10 一种数字人教师三维人脸的高精度建模方法

Publications (1)

Publication Number Publication Date
CN116958420A true CN116958420A (zh) 2023-10-27

Family

ID=88452187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310835919.1A Pending CN116958420A (zh) 2023-07-10 2023-07-10 一种数字人教师三维人脸的高精度建模方法

Country Status (1)

Country Link
CN (1) CN116958420A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117176775A (zh) * 2023-11-02 2023-12-05 上海银行股份有限公司 一种基于远程服务的银行数据处理方法及系统
CN117315211A (zh) * 2023-11-29 2023-12-29 苏州元脑智能科技有限公司 数字人合成及其模型训练方法、装置、设备及存储介质
CN118379779A (zh) * 2024-06-26 2024-07-23 江苏物润船联网络股份有限公司 基于深度学习的数字人面部驱动方法
CN118379779B (zh) * 2024-06-26 2024-10-22 江苏物润船联网络股份有限公司 基于深度学习的数字人面部驱动方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117176775A (zh) * 2023-11-02 2023-12-05 上海银行股份有限公司 一种基于远程服务的银行数据处理方法及系统
CN117176775B (zh) * 2023-11-02 2023-12-29 上海银行股份有限公司 一种基于远程服务的银行数据处理方法及系统
CN117315211A (zh) * 2023-11-29 2023-12-29 苏州元脑智能科技有限公司 数字人合成及其模型训练方法、装置、设备及存储介质
CN117315211B (zh) * 2023-11-29 2024-02-23 苏州元脑智能科技有限公司 数字人合成及其模型训练方法、装置、设备及存储介质
CN118379779A (zh) * 2024-06-26 2024-07-23 江苏物润船联网络股份有限公司 基于深度学习的数字人面部驱动方法
CN118379779B (zh) * 2024-06-26 2024-10-22 江苏物润船联网络股份有限公司 基于深度学习的数字人面部驱动方法

Similar Documents

Publication Publication Date Title
CN112529015B (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN109655019B (zh) 一种基于深度学习和三维重建的货物体积测量方法
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN114666564B (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
CN109844818B (zh) 用于建立元素的可变形3d模型的方法和相关联系统
CN110348330A (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
JP6207210B2 (ja) 情報処理装置およびその方法
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
CN112002009B (zh) 一种基于生成对抗网络的无监督重建三维人脸方法
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN117522990B (zh) 基于多头注意力机制和迭代细化的类别级位姿估计方法
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN118351410A (zh) 一种基于稀疏代理注意力的多模态三维检测方法
CN112686202B (zh) 一种基于3d重建的人头识别方法及系统
CN117830611A (zh) 目标检测方法、装置及电子设备
CN117689887A (zh) 基于点云分割的工件抓取方法、装置、设备及存储介质
CN106530389B (zh) 基于中波红外人脸图像的立体重构方法
CN117576303A (zh) 三维图像生成方法、装置、设备及存储介质
Wang et al. Target detection based on simulated image domain migration
Maghari et al. Adaptive face modelling for reconstructing 3D face shapes from single 2D images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination