CN107025678A - 一种3d虚拟模型的驱动方法及装置 - Google Patents

一种3d虚拟模型的驱动方法及装置 Download PDF

Info

Publication number
CN107025678A
CN107025678A CN201610065685.7A CN201610065685A CN107025678A CN 107025678 A CN107025678 A CN 107025678A CN 201610065685 A CN201610065685 A CN 201610065685A CN 107025678 A CN107025678 A CN 107025678A
Authority
CN
China
Prior art keywords
faceform
dimensional coordinate
model
current face
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610065685.7A
Other languages
English (en)
Inventor
周世威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhang Ying Information Technology (shanghai) Co Ltd
Original Assignee
Zhang Ying Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhang Ying Information Technology (shanghai) Co Ltd filed Critical Zhang Ying Information Technology (shanghai) Co Ltd
Priority to CN201610065685.7A priority Critical patent/CN107025678A/zh
Publication of CN107025678A publication Critical patent/CN107025678A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

本发明公开了一种3D虚拟模型的驱动方法及装置，所述方法包括：对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数驱动3D虚拟模型，由此满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求。

Description

一种3D虚拟模型的驱动方法及装置
技术领域
本发明涉及计算机技术领域，特别涉及一种3D虚拟模型的驱动方法及装置。
背景技术
3D虚拟模型表情动画是当前研究的热点，其在虚拟现实，数字娱乐，通信和视频会议、人际交互等领域有着非常广泛的应用。
随着移动终端的普及，以及网络带宽资费的下降，视频电话定或将成为社交领域的首选。由于陌生人之间交流在刚开始的时候不太愿意露脸，因此亟待一种交流工具来替代双方的视频图像。3D虚拟表情映射将是较佳选择，它不仅能够用一个虚拟人物来代替陌生人之间表达感情，而且能够大量的节省带宽，只需要通过发送对应参数就可以完成。
现有的一种基于单个视频摄像机的实时人脸动画方法，对人脸标注75个点，其中包括60个内部点，以及标注的眼、眉、鼻、嘴15个轮廓点，把人脸跟踪回归算法两步变成一步，直接回归人脸的姿态和表情系数。但是该方法需要用户事先采集60张各种姿态下的人脸，并且标注75个关键点作为训练数据，因此大大降低了用户体验。
现有的一种基于单个模型的表情驱动方法，通过应用RBF训练骨架结构建立源与目标之间的运动对应关系，然后通过训练得到的权值进行实时驱动，该方法虽然简单，但对于姿态的改变很容易造成模型的畸变。
综上所述，现有技术3D虚拟模型的驱动方法存在用户体验性差、模型容易产生畸变等缺点，无法满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求。
发明内容
为了满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求，本发明提供一种3D虚拟模型的驱动方法及装置。
本发明采用以下技术方案：
一种3D虚拟模型的驱动方法，所述方法包括：对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数,驱动3D虚拟模型。
优选地，所述对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标，包括：对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。
优选地，所述根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，包括：根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。
优选地，所述根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标，包括：根据所述特征点的二维坐标和预设公式正面化所述三维坐标。
优选地，所述根据所述三维坐标获得标准化的当前人脸模型，包括：去除所述三维坐标中的Z轴的深度值以获得二维坐标；对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。
优选地，所述将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，包括：分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。
优选地，所述分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离，包括：分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离；对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。
优选地，所述根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数，包括：根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。
优选地，所述拟合系数包括眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。
优选地，所述根据所述拟合系数，驱动3D虚拟模型，包括：根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息；
根据所述所有顶点的新位置信息显示所述3D虚拟模型。
优选地，所述根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息，包括：分别根据眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。
本发明还提供一种3D虚拟模型的驱动装置，所述装置包括：特征点定位模块，用于对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；正面化模块，用于根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；标准化模块，根据所述三维坐标获得标准化的当前人脸模型；匹配模块，用于将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；拟合系数获得模块，用于根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；驱动模块，用于根据所述拟合系数,驱动3D虚拟模型。
优选地，所述特征点定位模块包括：降维子模块，用于对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；判别子模块，用于将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；移动子模块，用于当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。
优选地，所述正面化模块包括：三维坐标获得子模块，用于根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；优化子模块，用于根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。
优选地，所述优化子模块包括：优化单元，用于根据所述特征点的二维坐标和预设公式正面化所述三维坐标。
优选地，所述标准化模块包括：Z轴去除子模块，用于去除所述三维坐标中的Z轴的深度值以获得二维坐标；分析子模块，用于对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。
优选地，所述匹配模块包括：相似距离获得子模块，用于分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；最相似的人脸模块获得子模块，用于以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。
优选地，所述相似距离获得子模块包括：相似距离获得单元，用于分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离；加权求和单元，用于对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。
优选地，所述拟合系数获得模块包括：二次规划单元，用于根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。
优选地，所述拟合系数包括眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。
优选地，所述驱动模块包括：新位置信息获得子模块，用于根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息；显示子模块，用于根据所述所有顶点的新位置信息显示所述3D虚拟模型。
优选地，所述新位置信息获得子模块包括：新位置信息获得单元，用于分别根据眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。
第三方面，提供了一种电子设备，所述设备包括存储器以及与所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数,驱动3D虚拟模型。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述特征点的二维坐标和预设公式正面化所述三维坐标。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
去除所述三维坐标中的Z轴的深度值以获得二维坐标；对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离；对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。
优选地所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。
优选地，所述拟合系数包括眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息；
根据所述所有顶点的新位置信息显示所述3D虚拟模型。
优选地，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：
分别根据眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。
本发明的3D虚拟模型的驱动方法及装置的有益效果包括：
根据本发明的3D虚拟模型的驱动方法，通过对当前人脸图像进行特征点定位，获得所述特征点的二维坐标，再根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，再根据所述三维坐标获得标准化的当前人脸模型，进而将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，再根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数，最后根据所述拟合系数驱动3D虚拟模型，能够更有效地减少视频通话的带宽，仅需传递极少的参数即完成与对方的交流，因而更好地满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求，避免陌生人交友时不愿意露脸的尴尬。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种3D虚拟模型的驱动方法的流程示意图；
图2-1及图2-2是本发明实施例的对人脸图像进行特征点定位的示意图；
图3是本发明实施例的表情基的示意图；
图4-1及图4-2是本发明实施例的根据虚拟系数驱动3D虚拟模型的示意图；
图5是本发明实施例提供的一种3D虚拟模型的驱动装置的结构示意图；
图6是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
图1示出了本发明实施例提供的一种3D虚拟模型的驱动方法，所述方法包括：
S11、对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标。
具体地，可以采用基于形状回归的方法对人脸图像中的人脸特征点进行定位。人脸特征点定位是在人脸检测的基础上，进一步定位人脸的眼睛、眉毛、鼻子和嘴巴轮廓等。可以利用特征点附近的信息以及各个特征点之间的相互关系来定位特征点，例如采用论文“Facial animation retargeting frameworkusing radial basis functions”中的算法采集人脸66个特征点的二维坐标，参见图2-1。
对于特征点定位，当带上眼镜，或者受到光照影响，人脸图像中眼睛部位的特征点几乎不运动，因此，我们对眼睛部分的特征点定位以及眼睛部分的特征点二维坐标的获取，可以单独处理，具体步骤如下：
A1、对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维。所谓尺度不变特征变换，即SIFT，英文全称为Scale-invariant feature transform。
B1、将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态。
其中，可以通过以下步骤训练获得所述判别器：
B11、选择睁闭眼样本各为若干个(例如1000个)。需要说明的是，为了增加样本的多样性，可以挑选每个类别的样本中包括各种光照、姿态以及戴眼镜和不戴眼镜等样本，这样可以有效增强最终的泛化能力。
B12、对样本进行特征点定位，然后抽取眼角两个特征点的尺度不变特征变换特征以得到128维的特征向量。上述两个特征点的所述128维的特征向量结合成为256维的长向量，进而每个样本均形成256维的尺度不变特征变换特征向量，对于每个类别的1000个样本即产生256*1000的矩阵向量。
B13、对256*1000的矩阵向量进行降维处理。通过降维处理消除了大量样本信息中的冗余和重复的信息，减少数据存储容量，并且改善数据的可理解性，减少噪声的影响，提高学习的精度。具体地，可以将256维数据通过主成分分析(即PCA)算法降低到100维数据。实验表明，这样依然可以保留原有98％的能量信息。
B14、基于支持向量机构造眼睛睁闭判别器。
利用步骤B13中经过降维后的数据的特征向量作为支持向量机的训练集，标注睁眼样本为1，闭眼样本为0，具体步骤如下：
首先，选取最佳参数。可以选取RBF(Radial Basis Function，径向基函数)核函数，该RBF核函数可以为：
k(x-c)＝exp(-g||x-c||2)
其中，c为惩罚系数，g为函数的宽度参数，k(x-c)为训练结果，x为输入值，该输入值即多个用于描述人眼的特征向量，通过交叉验证的方式，确定RBF核函数中的最佳参数c和g；
根据RBF核函数，对整个训练集进行训练。
进一步地，为了训练一个最优的判别器，还要选取一个最优的惩罚系数。其次，利用最佳参数c和g对整个训练集进行训练，当完成训练之后，根据该RBF核函数，分别生成对应的眼睛睁闭判别器。
通过步骤B11-B14训练所得的判别器在公开的人脸测试集LFW上随机选取1498个样本，并对样本进行标注以进行性能测试，最后获得98.9％的正确识别率。
C1、当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。
S12、根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标。具体可以包括以下步骤：
A2、根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标。具体地，可以根据以下公式获得所述特征点的三维坐标：
其中，i＝1,2...,l，l为所述特征点的数量，s表示缩放尺度，R表示旋转矩阵，t表示偏移量，表情中性表情的3D坐标，ψ表示为三维线性形状增益模型，γ为非刚性人脸参数。
需要说明的是，可以通过以下步骤训练获得所述三维线性形状增益模型：首先，在Multi-PIE数据集上采用“从运动中恢复结构”的3D重构技术，对二维的特征点的数据集计算以求取对应的三维坐标点；然后，将人脸的特征点分成三个部分：眼睛，眉毛，嘴巴/鼻子/轮廓，对于每个部分减去中性表情后分别进行奇异值分解，得到ψeyes，ψeyebrows，ψmouth；最后再将每个部分进行重构以获得三维线性形状增益模型。
B2、根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。具体地，是根据所述特征点的二维坐标和预设公式正面化所述三维坐标。示例性地，可以根据以下预设公式正面化所述三维坐标：
其中，xi，yi为所述特征点的二维坐标，zi为相对深度值，ε为阈值，ρ为惩罚项，i＝1,2...,l，l为所述特征点的数量。
S13、根据所述三维坐标获得标准化的当前人脸模型。
具体可以包括以下步骤：
A3、去除所述三维坐标中的Z轴的深度值以获得二维坐标。
B3、对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。普氏分析，即通过不断迭代，寻找标准人脸模型，并利用最小二乘法寻找每个样本人脸模型到所述标准人脸模型的仿射变化方式。通过对获得的所述二维坐标进行普氏分析，得到经过去除缩放、旋转以及位移变化的数据，即标准化的当前人脸模型。
S14、将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型。可以采用一种改进的豪斯多夫(英文名称为hausdorff)距离来获得最相似的人脸模型，其具体算法为：
假设人脸的特征点点集A＝{a1,a2,a3,...,a66}，样本任一样本点集为B＝{b1,b2,b3,...,b66}，值得注意的是，这些点集数据均经过三维归一化，以保证所有样本的尺度统一性。进一步地，可以通过以下公式计算出该两个点集之间的豪斯多夫距离：
H(A,B)＝max{h(A,B),h(B,A)}
其中，
通过上述公式计算获得豪斯多夫距离以测量点集A和点集B的相似性，可以消除特征点的抖动所带来的误差，更加精准地寻找与用户最相似的人脸。
步骤S14可以具体通过以下步骤实现：
A4、分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。
对于脸型的匹配，人脸的不同部分所占的比重是不一样的，因此需要对人脸采用加权相似度计算。具体步骤可以包括：
A41、分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离o、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离m，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离e。
A42、对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。示例性地，赋予轮廓的权重为a，赋予嘴巴的权重为b，赋予眼睛的权重为c，其中，a，b，c均为小于1的正数，并且a，b，c之和为1，示例性的，a可以是0.45，b可以是0.35，c可以是0.2。最终获得的当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离为：
D＝a*o+b*m+c*e
B4、以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。
其中，所述人脸模型数据库可以通过以下步骤建立：参见图3，制作若干个(例如150个)不同脸型的三维模型，每个人均有多种(例如52种)不同基本表情单元作为表情基。进一步地，在150*52个三维模型上提取若干个(与步骤S11中定位的特征点数量一致，例如为66个)与二维人脸对应的三维坐标点，参见图2-2。由于上述建立的表情基具有相同的网络拓扑结果，因此可以选取其中一个中性表情基上的66个特征点的顶点索引坐标，进而扩展到所有模型，建立和150*52个模型对应的三维坐标数据库。分别对所述三维坐标数据库中的三维坐标数据去除Z轴的深度信息，获得二维坐标，然后对该150*52个二维坐标数据进行普氏分析。
S15、根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数。具体可以包括以下步骤：
根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。具体地，为了使得整体速度达到最优，可以在用户特征点检测到以后并且保证用户的三个偏转角度(roll,pitch,yaw)在一定范围内时，才开始计算当前用户与150个数据样本之间的相似度，并且记录在预设帧数(例如200帧)以内的最相似人脸的索引。以统计在200帧内最相似人脸出现次数最多的索引作为最终的结果，然后取该最相似人脸对应的52个表情基数据作为二次规划的输入数据。
进一步地，可以根据以下公式获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数：
其中，αi即为所述拟合系数，G为所述三维坐标，Gi为所述表情基数据。
值得注意的是，所述拟合系数包括眉毛区域的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。
S16、根据所述拟合系数,驱动3D虚拟模型。具体可以包括以下步骤：
分别根据眉毛区域的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。该拟合过程可以通过以下公式进行：
其中，αi即为所述拟合系数，R'为姿态矩阵，G0为中性人脸模型中的三维顶点数据，Gi为所述表情基数据，T为偏移矩阵。
根据本发明的3D虚拟模型的驱动方法，通过对当前人脸图像进行特征点定位，获得所述特征点的二维坐标，再根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，再根据所述三维坐标获得标准化的当前人脸模型，进而将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，再根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数，最后根据所述拟合系数驱动3D虚拟模型，能够更有效地减少视频通话的带宽，仅需传递极少的参数即完成与对方的交流，因而更好地满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求，避免陌生人交友时不愿意露脸的尴尬。
实施例二
图5示出了本发明实施例提供的一种3D虚拟模型的驱动装置，所述装置包括：
特征点定位模块41，用于对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标。具体地，所述特征点定位模块41包括：降维子模块，用于对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；判别子模块，用于将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；移动子模块，用于当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。
正面化模块42，用于根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标。具体地，所述正面化模块包括：三维坐标获得子模块，用于根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；优化子模块，用于根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。进一步地，所述优化子模块包括：优化单元，用于根据所述特征点的二维坐标和预设公式正面化所述三维坐标。
标准化模块43，根据所述三维坐标获得标准化的当前人脸模型。具体地，所述标准化模块包括：Z轴去除子模块，用于去除所述三维坐标中的Z轴的深度值以获得二维坐标；分析子模块，用于对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。
匹配模块44，用于将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型。具体地，所述匹配模块包括：相似距离获得子模块，用于分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；最相似的人脸模块获得子模块，用于以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。其中，所述相似距离获得子模块进一步包括：相似距离获得单元，用于分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离；加权求和单元，用于对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。
拟合系数获得模块45，用于根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数。具体地，所述拟合系数获得模块包括：二次规划单元，用于根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。其中，所述拟合系数包括眉毛区域的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。
驱动模块46，用于根据所述拟合系数驱动3D虚拟模型。具体地，所述驱动模块包括：新位置信息获得子模块，用于根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息；显示子模块，用于根据所述所有顶点的新位置信息显示所述3D虚拟模型。其中，所述新位置信息获得子模块可以进一步包括：新位置信息获得单元，用于分别根据眉毛区域的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。
根据本发明的3D虚拟模型的驱动装置，通过对当前人脸图像进行特征点定位，获得所述特征点的二维坐标，再根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，再根据所述三维坐标获得标准化的当前人脸模型，进而将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，再根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数，最后根据所述拟合系数驱动3D虚拟模型，能够更有效地减少视频通话的带宽，仅需传递极少的参数即完成与对方的交流，因而更好地满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求，避免陌生人交友时不愿意露脸的尴尬。
实施例三
图6示出了本发明实施例提供的一种电子设备，所述电子设备包括存储器61以及与所述存储器连接的处理器62，其中，所述存储器61用于存储一组程序代码，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数,驱动3D虚拟模型。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
根据所述特征点的二维坐标和预设公式正面化所述三维坐标。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
去除所述三维坐标中的Z轴的深度值以获得二维坐标；对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离；对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。
优选地，所所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。
优选地，所述拟合系数包括眉毛区域的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息；
根据所述所有顶点的新位置信息显示所述3D虚拟模型。
优选地，所述处理器62调用所述存储器61所存储的程序代码用于执行以下操作：
分别根据眉毛区域的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。
根据本发明的电子设备，通过对当前人脸图像进行特征点定位，获得所述特征点的二维坐标，再根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，再根据所述三维坐标获得标准化的当前人脸模型，进而将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，再根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数，最后根据所述拟合系数驱动3D虚拟模型，能够更有效地减少视频通话的带宽，仅需传递极少的参数即完成与对方的交流，因而更好地满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求，避免陌生人交友时不愿意露脸的尴尬。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
需要说明的是，本说明书中的各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，本领域普通技术人员在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1.一种3D虚拟模型的驱动方法，其特征在于，所述方法包括：
对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；
根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；
根据所述三维坐标获得标准化的当前人脸模型；
将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；
根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；
根据所述拟合系数,驱动3D虚拟模型。
2.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标，包括：
对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；
将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；
当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。
3.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，包括：
根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；
根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。
4.根据权利要求3所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标，包括：
根据所述特征点的二维坐标和预设公式正面化所述三维坐标。
5.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述三维坐标获得标准化的当前人脸模型，包括：
去除所述三维坐标中的Z轴的深度值以获得二维坐标；
对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。
6.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，包括：
分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；
以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。
7.根据权利要求6所述的3D虚拟模型的驱动方法，其特征在于，所述分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离，包括：
分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离；
对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。
8.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数，包括：
根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。
9.根据权利要求8所述的3D虚拟模型的驱动方法，其特征在于，所述拟合系数包括眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。
10.根据权利要求8或9所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述拟合系数，驱动3D虚拟模型，包括：
根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息；
根据所述所有顶点的新位置信息显示所述3D虚拟模型。
11.根据权利要求10所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息，包括：
分别根据眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。
12.一种3D虚拟模型的驱动装置，其特征在于，所述装置包括：
特征点定位模块，用于对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；
正面化模块，用于根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；
标准化模块，根据所述三维坐标获得标准化的当前人脸模型；
匹配模块，用于将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；
拟合系数获得模块，用于根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；
驱动模块，用于根据所述拟合系数,驱动3D虚拟模型。
CN201610065685.7A 2016-01-29 2016-01-29 一种3d虚拟模型的驱动方法及装置 Pending CN107025678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610065685.7A CN107025678A (zh) 2016-01-29 2016-01-29 一种3d虚拟模型的驱动方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610065685.7A CN107025678A (zh) 2016-01-29 2016-01-29 一种3d虚拟模型的驱动方法及装置

Publications (1)

Publication Number Publication Date
CN107025678A true CN107025678A (zh) 2017-08-08

Family

ID=59524412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610065685.7A Pending CN107025678A (zh) 2016-01-29 2016-01-29 一种3d虚拟模型的驱动方法及装置

Country Status (1)

Country Link
CN (1) CN107025678A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087379A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 人脸表情的迁移方法和人脸表情的迁移装置
CN109727303A (zh) * 2018-12-29 2019-05-07 广州华多网络科技有限公司 视频展示方法、系统、计算机设备、存储介质和终端
CN109922355A (zh) * 2019-03-29 2019-06-21 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备
CN110111418A (zh) * 2019-05-15 2019-08-09 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN110446000A (zh) * 2019-08-07 2019-11-12 三星电子（中国）研发中心 一种生成对话人物形象的方法和装置
CN111314627A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 用于处理视频帧的方法和装置
CN111401921A (zh) * 2020-03-05 2020-07-10 成都威爱新经济技术研究院有限公司 一种基于虚拟人的远程客服方法
CN111614925A (zh) * 2020-05-20 2020-09-01 广州视源电子科技股份有限公司 人物图像处理方法、装置、相应终端及存储介质
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
CN112785691A (zh) * 2021-01-29 2021-05-11 北京大学口腔医学院 一种下颌骨缺损重建方法、装置电子设备及存储介质
CN114783085A (zh) * 2022-03-21 2022-07-22 南京信息工程大学 一种基于人脸识别的新型共享单车

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141105A1 (en) * 2009-12-16 2011-06-16 Industrial Technology Research Institute Facial Animation System and Production Method
CN103336973A (zh) * 2013-06-19 2013-10-02 华南理工大学 多特征决策融合的眼状态识别方法
CN103442137A (zh) * 2013-08-26 2013-12-11 苏州跨界软件科技有限公司 一种在手机通话中查看对方虚拟人脸的方法
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
CN104935860A (zh) * 2014-03-18 2015-09-23 北京三星通信技术研究有限公司 视频通话实现方法及装置
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141105A1 (en) * 2009-12-16 2011-06-16 Industrial Technology Research Institute Facial Animation System and Production Method
CN103336973A (zh) * 2013-06-19 2013-10-02 华南理工大学 多特征决策融合的眼状态识别方法
CN103442137A (zh) * 2013-08-26 2013-12-11 苏州跨界软件科技有限公司 一种在手机通话中查看对方虚拟人脸的方法
CN104935860A (zh) * 2014-03-18 2015-09-23 北京三星通信技术研究有限公司 视频通话实现方法及装置
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087379A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 人脸表情的迁移方法和人脸表情的迁移装置
CN109727303A (zh) * 2018-12-29 2019-05-07 广州华多网络科技有限公司 视频展示方法、系统、计算机设备、存储介质和终端
WO2020200080A1 (zh) * 2019-03-29 2020-10-08 广州虎牙信息科技有限公司 一种虚拟形象直播方法、虚拟形象直播装置和电子设备
CN109922355A (zh) * 2019-03-29 2019-06-21 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备
CN110111418B (zh) * 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN110111418A (zh) * 2019-05-15 2019-08-09 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
US11836943B2 (en) 2019-05-15 2023-12-05 Beijing Sensetime Technology Development Co., Ltd. Virtual face model creation based on key point
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
CN110446000A (zh) * 2019-08-07 2019-11-12 三星电子（中国）研发中心 一种生成对话人物形象的方法和装置
CN110446000B (zh) * 2019-08-07 2021-04-16 三星电子（中国）研发中心 一种生成对话人物形象的方法和装置
CN111314627A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 用于处理视频帧的方法和装置
CN111314627B (zh) * 2020-02-24 2022-03-11 北京百度网讯科技有限公司 用于处理视频帧的方法和装置
CN111401921A (zh) * 2020-03-05 2020-07-10 成都威爱新经济技术研究院有限公司 一种基于虚拟人的远程客服方法
CN111614925A (zh) * 2020-05-20 2020-09-01 广州视源电子科技股份有限公司 人物图像处理方法、装置、相应终端及存储介质
CN112785691A (zh) * 2021-01-29 2021-05-11 北京大学口腔医学院 一种下颌骨缺损重建方法、装置电子设备及存储介质
CN114783085A (zh) * 2022-03-21 2022-07-22 南京信息工程大学 一种基于人脸识别的新型共享单车

Similar Documents

Publication Publication Date Title
CN107025678A (zh) 一种3d虚拟模型的驱动方法及装置
CN107169455B (zh) 基于深度局部特征的人脸属性识别方法
CN106066996B (zh) 人体动作的局部特征表示方法及其在行为识别的应用
Martínez-González et al. Efficient convolutional neural networks for depth-based multi-person pose estimation
Kumar et al. Three-dimensional sign language recognition with angular velocity maps and connived feature resnet
Poux et al. Dynamic facial expression recognition under partial occlusion with optical flow reconstruction
JP2018055470A (ja) 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
JP6207210B2 (ja) 情報処理装置およびその方法
CN111414839A (zh) 基于姿态的情感识别方法及装置
Hao et al. Real-time semantic segmentation via spatial-detail guided context propagation
CN104915658B (zh) 一种基于情感分布学习的情感成分分析方法及其系统
CN109034099A (zh) 一种表情识别方法及装置
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
Cai et al. Visual focus of attention estimation using eye center localization
HN et al. Human Facial Expression Recognition from static images using shape and appearance feature
Ahmed et al. Evaluation of accurate iris center and eye corner localization method in a facial image for gaze estimation
Cai et al. Accurate eye center localization via hierarchical adaptive convolution
Zhang et al. Classroom student posture recognition based on an improved high-resolution network
Kang et al. Interactive animation generation of virtual characters using single RGB-D camera
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
Saabni Facial expression recognition using multi Radial Bases Function Networks and 2-D Gabor filters
Qazi et al. Emotion Detection Using Facial Expression Involving Occlusions and Tilt
CN113095274A (zh) 一种视线估计方法、系统、装置及存储介质
Karungaru et al. Automatic human faces morphing using genetic algorithms based control points selection
Kim et al. Convolutional neural network architectures for gaze estimation on mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170808