CN115797569B - 高精度数孪人面部表情动作细分的动态生成方法及系统 - Google Patents

Abstract

本发明提供了一种高精度数孪人面部表情动作细分的动态生成方法及系统，包括：步骤S1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的运动信息，并基于连续时刻的面部预设关键控制顶点的运动信息建立面部预设关键控制顶点的惯性移动曲线；步骤S2：将初始建立的高密度三维面部数字控制点与预设关联控制顶点进行关联，并得到数字控制点的惯性移动曲线；步骤S3：利用采集到的连续时刻预设关键控制顶点的移动曲线对数字控制点的惯性移动曲线做线性混合，生成连续且平滑的高质量表情细分动作曲线；所述三维面部数字控制点是在人面部肌肉组织分布的基础上，每个肌肉上的拉扯肌肉发力点。

Description

高精度数孪人面部表情动作细分的动态生成方法及系统

技术领域

本发明涉及数字孪生技术领域，具体地，涉及高精度数孪人面部表情动作细分的动态生成方法及系统。

背景技术

在面部三维表情动作上要产生精度细致的准确动画，表情的捕捉（类似面部上的动作捕捉）和影响表情的细节肌肉描述共同决定数字表情生成的精确性。但即便是再精确的捕捉设备，都有与表情表达与过渡在质量和速度上的顺滑偏差，而专业美术人员无论通过计算机软件，还是通过电子板手绘画和雕刻工艺，都只能一件件的输出作品，特别是在精细度的调节环节，时间更长，所以当借助专业软件进行表情数据二次修剪和表情矫正成为一种无奈的常态。

同时面部动作骨骼节点的设定也约束了表情细节的多样性，物理世界人类的面部肌肉的分布与面容表情存在紧密的力学关系，所以同一种表情在不同相貌人表达会有不同的视觉差异，当然通过美术专业人士的雕刻，以上的方法，总是可以制作出精确且顺滑的表情状态序列（表情动作序列，又称表情动画序列），也称细节K帧动画。

以上两类的面部细节表情生成无论是面部动作捕捉，或是采用专业美术软件开展雕刻，都不能满足便捷快速生产高精度三维表情动作，多数通用场景中，迫切需要一种快速的且表情精细度顺滑度高，匹配不同相貌特点的三维表情生成方法。

专利文献CN110728271A（申请号：201911315376.0）公开了一种针对人脸识别生成人物表情的方法，利用面部识别，将图片或照片中人脸特征点识别完成后，根据特征点可以计算出不同表情，生成不同表情的图片，从而可以将现实的人脸照片置入到预设的模型脸部上进行真人角色扮演，还可以利用面部识别与虚拟形象进行交流。该专利看似是有解决问题的现象交集，实则问题的核心要素，解决目标和方法都不同，参考问是做特征提取，而本发明是面部特征点和肌肉结构控制点的双重影响，适应不同面貌人物的面部精细度控制，并且采用连续混合采样的方式生成面部动作表情。

专利文献CN114099016A（申请号：202111353026.0）公开了基于数字孪生模型的固定矫正与隐形矫正混合治疗系统，包括数据采集模块，用于采集患者的牙颌面颈部软硬组织影像数据等；数据处理模块，用于对采集的图像及数据进行处理；数字孪生模块，用于将数据采集信息、处理信息、数据扫描信息进行统一整合，并构建数字孪生模型及运算处理；机器学习模块，用于采集固定矫正与隐形矫正混合治疗的数据处理及方案设计；方案选择模块，用于固定矫治和/或隐形矫治方案的选择；矫治效果预测模块，用于输出牙齿矫治后的软硬组织变化情况；方案修订模块，根据预测的矫治效果，修订首选的治疗方案。看似划分孪生对象的基准有相似性，都阐述了面部的生理结构和预测，但按照划分基准设计了不同的匹配计算方法和组织形式，实际上解决的问题和方法是不同的。

专利文献CN113287118A（申请号：202080007533.6）公开了一种用于面部再现的系统和方法，包括接收目标视频和源视频，目标视频包括目标面部并且源视频包括源面部。该方法包括基于目标面部确定目标面部表情。该方法包括基于源面部确定源面部表情。该方法使用参数化面部模型合成输出面部。输出面部包括其中修改目标面部表情以模仿源面部表情的目标面部。该方法包括基于深度神经网络生成嘴部和眼部区域，并且将输出面部、嘴部和眼部区域结合以生成输出视频的帧。对比专利关注孪生模型的个体上的数学物理机能的计算处理，与本发明所覆盖领域有相交，但实际区别非常明显，输出和输入也有很大不同。

专利文献CN112507799A（申请号：202011267174.6）公开了一种基于眼动注视点引导的图像识别方法、MR眼镜及介质，进行红外和彩色摄像头混合获取图像；IR相机和RGB相机混合获取实景图像，IR相机和RGB相机混合获取实景图像；低分辨率和高分辨率摄像头混合获取实景图像并识别；在物理相机和虚拟相机混合获取获取真实/虚拟目标的图像并识别；通过检测用户的行为和生理数据计算兴趣程度，进而启动摄像头获取外景图像并识别；本发明还进行在物理相机和虚拟相机混合获取获取真实/虚拟目标的图像中，通过检测用户的行为和生理数据计算兴趣程度启动摄像头，再通过注视点的位置和/或深度来选择使用物理相机或虚拟相机获取图像并识别。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，以及依赖采集设备都不同，属于不同的专利保护方向。

专利文献CN108765550B（申请号：201810438458.3）公开了一种基于单张图片的三维人脸重建方法，包括步骤：1)基于FLAME模型的脸部重建(脸部重建)；2)FLAME网格脸部细节增强(细节增强)；3)FLAME网格贴图补全(贴图补全)。主要流程：给定输入人脸图像，该算法首先使用从图像提取的人脸特征点并结合FLAME网格的三维特征点，建立特征点匹配能量，求解出人脸形状，接着借助图像中人脸区域的高频信息，引导人脸高度场的网格顶点移动，重建精细脸部细节，最后通过构造的FLAME反照率率参数化模型对人脸贴图进行补全，并去除光照信息。该专利与本发明看似是有解决问题的现象交集，实则问题的核心要素，解决目标和方法都不同，参考问是做特征提取，而本发明是集合特征和肌肉控制点的双重影响，适应不同面貌人物的面部精细度控制，并且采用连续混合采样的方式生成面部动作表情。另外强调，本发明对“关键点”的定义，本发明也与依赖人脸识别的特征有本质的设计方式的不同。因为特征识别算法重点在如何让计算机辨别人的容貌，而对于表情动作和面容的数孪，更重要的是满足肌肉控制与典型的表情驱动区域，而这些并未属于人脸识别的统计范围，所以只要单纯采用人脸识别的逻辑提取信息，加以转换的方式都是刻板的只从像不像出发，而忽视了表情的肌肉动作细分，和与相貌紧密相关的真实流畅自然属性，作为计算动态生成的过程（而非人为参与K帧）更加重要。

专利文献CN111881807A（申请号：202010717430.0）公开了一种基于人脸建模及表情追踪的VR会议控制系统及方法，包括会议场景选择模块、人脸检测模块、特征点提取模块、3D人脸模型生成模块、面部表情跟踪模块和交互模块，会议场景选择模块用于根据用户选择进入会议场景，人脸检测模块用于识别佩戴者的人脸信息，面部表情跟踪模块用于每隔预设时间段获取人脸信息中若干特征点，并实时映射到3D人脸模型中，交互模块用于将会议场景以及3D人脸模型输出。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN105654537B（申请号：201511021376.1）公开了一种实现与虚拟角色实时互动的表情克隆方法及装置，该方法涉及计算机图形学、虚拟现实等领域，包括以下步骤：一、对虚拟角色建模并绑定骨骼；二、建立虚拟角色的基础表情库；三、表情输入的训练，记录面部特征点在每个基础表情下的最大位移；四、表情追踪，通过运动捕捉设备，对真人面部表情变化进行录制，计算得到基础表情的权值；五、表情映射，将得到的基础表情权值实时传递给虚拟角色，并对相应骨骼旋转插值；六、虚拟角色表情的实时渲染输出。该方法能够快速、稳定、逼真地合成出虚拟角色表情，使得虚拟角色能够与真人实时而稳定的表情互动。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN114926581A（申请号：202210430797.3）公开了一种二维到三维人脸表情迁移方法、电子装置及存储介质，属于计算机视觉领域。该方法包括：获取真实交互场景下的二维人脸图像作为源表情表示，虚拟交互场景下的三维人脸形变模型作为目标三维人脸表情表示；为二维人脸图像提取人脸三维参数；基于人脸三维参数中的表情参数，通过融合变形系数估计模型获取目标表情的融合变形系数；依据所得目标表情融合变形系数驱动三维人脸模型生成目标表情表示。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN113537021A（申请号：202110771811.1）公开了一种基于普通视频流的3D人脸模型表情自动生成方法，包括如下步骤：S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN112200894B（申请号：202011413230.2）公开了基于深度学习框架的数字人面部表情动画自动迁移方法，包括以下步骤：S1：训练数据生成，做出多帧两个不同的数字人的相同表情模型，提取出所述表情模型对应的动画控制器通道的参数值，生成一个动画控制器参数维度的向量；S2：神经网络搭建模型，建立四层神经网络；S3：训练网络模型，建立不同的数字人相同表情下控制器参数值之间的联系；S4：运用训练好的模型进行表情迁移，一个数字人的控制器参数值输入网络模型，得到另一个数字人相同表情对应的控制器参数值，将生成的控制器参数值应用到该数字人模型中，从而驱动该数字人模型上的网络3D空间顶点位置。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN110796719A（申请号：201810776319.1）公开了一种实时人脸表情重建方法，步骤包括：人工制作29个脸型模型以及46个表情模型。通过对输入的一张或者多张图片或视频进行人脸关键点检测。利用输入照片或者视频检测得到的关键点，以及预先标定好的人脸三维模型的关键点，通过最小化误差的准则对人脸关键点进行拟合脸型，通过照片或视频提取人脸纹理重建无表情的人脸三维模型。对于后续输入的视频，对视频中的人脸关键点进行实时检测，通过最小化关键点和模型关键点误差的方式拟合人脸表情参数。将人脸表情参数应用到已经重建好的表情人脸模型中实现人脸表情的实时重建。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN110148191A（申请号：201811214523.0）公开了一种视频虚拟表情生成方法，其包括：获取当前视频画面，并识别当前视频画面中的人脸区域；识别人脸区域中人脸图像的人脸特征点，并根据人脸特征点，创建人脸图像对应的人脸模型；基于预设的虚拟表情人脸特征点设置，创建人脸模型对应的多个虚拟表情基；接收虚拟表情生成指令；基于虚拟表情基的权重信息以及虚拟表情基对应的人脸特征点信息，在视频画面的人脸区域生成具有对应虚拟表情的人脸图像。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN106919899A（申请号：201710034767.X）公开了一种基于智能机器人的模仿人脸表情输出的方法和系统。所述方法包括以下步骤：获取待显示无表情面部图像以及用户无表情的面部图像；对用户无表情的面部图像和待显示无表情面部图像进行解析，确定各自的无表情状态下的由平面三角网格构成的人脸三角形模型；实时获取并解析用户的表情图像，根据用户的人脸三角形模型和该表情图像的解析结果，在待显示无表情面部图像的人脸三角形模型上进行映射，生成模仿人脸表情的图像并输出。该专利与本发明相比，提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。

专利文献CN114882154A（申请号：202210365255.2）公开了一种文本同步驱动三维人脸表情与口型实现方法及系统，包括以下步骤：预处理阶段：S1，制作blendshape变化曲线：在Maya中，制作曲线；曲线包括口型和表情开始、结束变化曲线两种类型；口型变化曲线包括所有统计的相邻音素序列对的口型曲线组，而对于特定表情，包括从中立变化到特定表情即表情开始、特定表情变化到中立即表情结束两个变化曲线；S2，制作blendshape：在Maya中，制作blendshape；口型blendshape，包括嘴角不动、嘴角上扬、嘴角下咧共三组口型，每组都包含Fv、Open、PBM、ShCh、W、wi de共6种口型，制作表情blendshape。该专利与本发明相比，该专利提出的blendshape 也是一种曲线，但这个曲线是驱动动画的过程，而本发明提到的曲线是预测迁移曲线从肌肉生理区间所提取的，而实际的连续驱动动画和动作动画，来源于若干个混合后的T时刻，做预测迁移生成，所以更加贴近驱动者的自然面部肌肉区别，以及结合了不同容貌的肌肉群组关系，也更流畅快速的与驱动者面部动态动作细分一致。提取信息和依赖数据有交集，解决领域有交叉，但方法和措施，关键创新点不同。本发明遵循计算机实现的科学性和准确性，避免手动参与k帧和避免手动描绘blendshape过程。

针对现有技术的不足，本发明提供了一种基于实时面部表情图像识别和面部肌肉力学分布关系，高精度三维表情动作动态生成方法。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种高精度数孪人面部表情动作细分的动态生成方法及系统。

根据本发明提供的一种高精度数孪人面部表情动作细分的动态生成方法，包括：

步骤S1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的运动信息，并基于连续时刻的面部预设关键控制顶点的运动信息根据惯性原理建立面部预设关键控制顶点的惯性移动曲线；

步骤S2：将初始建立的高密度三维面部数字控制点与预设关联控制顶点进行关联映射，根据面部预设关键控制顶点的惯性移动曲线得到数字控制点的惯性移动曲线；

步骤S3：利用采集到的连续时刻面部预设关键控制顶点的惯性移动曲线对三维面部数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线；

所述三维面部数字控制点是在人面部肌肉组织分布的基础上，每个肌肉上的拉扯肌肉发力点；

所述预设关键控制顶点包括肌肉结构控制点和面部特征点。

优选地，所述肌肉结构控制点是根据生理肌肉结构设定的点；

所述面部特征点是遵循面部肌肉特征识别的预设点。

优选地，所述步骤S1采用：

步骤S1.1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的三维绝对坐标位置信息，当三维绝对位置发生变化时，则预设关键控制顶点发生了坐标移动的运动漂移；

步骤S1.2：根据预设关键控制顶点连续时刻发生的坐标移动运动漂移获得n个时间点对应的位移、速度和加速度，建立三维数字面容上预设关键控制顶点的惯性移动曲线，其中，n大于等于3。

优选地，所述步骤S3采用：当每个时刻预设关键控制顶点的采集密度超过预设值时，则按照预设比例线性混合连续时刻的某个预设关键控制顶点，并基于连续时刻线性混合后的某个预设关键控制顶点形成移动曲线，并利用形成的移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合。

优选地，还包括：

步骤S4：基于面部的肌肉分布设置面部不同区，将面部不同区分组形成相邻的联动关系，基于面部不同区分组形成的相邻联动关系设置相邻联动权重；

步骤S5：基于相邻联动权重设置相邻联动关系的力的大小；

步骤S6：当前区的肌肉控制点在相邻区肌肉发力点力的作用下运动，基于连续时刻肌肉控制点的运动信息根据惯性原理建立肌肉控制点的惯性移动曲线；

步骤S7：将当前区的肌肉控制点与当前区的移动点进行关联映射，根据肌肉控制点的惯性移动曲线得到移动点的惯性移动曲线；

步骤S8：利用肌肉控制点的惯性移动曲线与移动点的惯性移动曲线按照预设比例进行线性混合，生成最终连续且平滑的高质量表情细分动作曲线。

根据本发明提供的一种高精度数孪人面部表情动作细分的动态生成系统，包括：

模块M1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的运动信息，并基于连续时刻的面部预设关键控制顶点的运动信息根据惯性原理建立面部预设关键控制顶点的惯性移动曲线；

模块M2：将初始建立的高密度三维面部数字控制点与预设关联控制顶点进行关联映射，根据面部预设关键控制顶点的惯性移动曲线得到数字控制点的惯性移动曲线；

模块M3：利用采集到的连续时刻面部预设关键控制顶点的惯性移动曲线对三维面部数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线；

所述三维面部数字控制点是在人面部肌肉组织分布的基础上，每个肌肉上的拉扯肌肉发力点；

所述预设关键控制顶点包括肌肉结构控制点和面部特征点。

优选地，所述肌肉结构控制点是根据生理肌肉结构设定的点；

所述面部特征点是遵循面部肌肉特征识别的预设点。

优选地，所述模块M1采用：

模块M1.1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的三维绝对坐标位置信息，当三维绝对位置发生变化时，则预设关键控制顶点发生了坐标移动的运动漂移；

模块M1.2：根据预设关键控制顶点连续时刻发生的坐标移动运动漂移获得n个时间点对应的位移、速度和加速度，建立三维数字面容上预设关键控制顶点的惯性移动曲线，其中，n大于等于3。

优选地，所述模块M3采用：当每个时刻预设关键控制顶点的采集密度超过预设值时，则按照预设比例线性混合连续时刻的预设关键控制顶点，并基于连续时刻线性混合后的预设关键控制顶点形成移动曲线，并利用形成的移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合。

优选地，还包括：

模块M4：基于面部的肌肉分布设置面部不同区，将面部不同区分组形成相邻的联动关系，基于面部不同区分组形成的相邻联动关系设置相邻联动权重；

模块M5：基于相邻联动权重设置相邻联动关系的力的大小；

模块M6：当前区的肌肉控制点在相邻区肌肉发力点力的作用下运动，基于连续时刻肌肉控制点的运动信息根据惯性原理建立肌肉控制点的惯性移动曲线；

模块M7：将当前区的肌肉控制点与当前区的移动点进行关联映射，根据肌肉控制点的惯性移动曲线得到移动点的惯性移动曲线；

模块M8：利用肌肉控制点的惯性移动曲线与移动点的惯性移动曲线按照预设比例进行线性混合，生成最终连续且平滑的高质量表情细分动作曲线。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过采用采样混合并做曲线推理的方式连贯动作，有效避免单次采样数据抖动不准，连续动作不连贯的高频度采集缺陷，有效通过动作细分来控制精度和实时性；

2、个体持续做表情时会有面部疲劳导致的单次表情需要反复提取，但采用曲线推理的细分和惯性处理，可以将精确且不常能做到的表情动作，也能实现到，从而加宽了面部表情的表达范围。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为连续生成的工作流程图。

图2为面部的16块肌肉控制位置示意图。

图3为12个关联肌肉区的联动组示意图。

图4为连续多次采样混合成瞬时T表情示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供了一种高精度数孪人面部表情动作细分的动态生成方法及系统，通过摄像头获取面部特征点连续时间段内的运动信息，因为面部特征点是遵循面部肌肉特征识别的预设点；肌肉结构控制点是根据生理肌肉结构设定的点；即面部特征点与肌肉结构控制点之间存在本身的映射关联关系，因此，基于面部特征点连续时间段内的运动信息得到肌肉结构控制点连续时间段内的运动信息；再基于肌肉结构控制点和面部特征点连续时间段内的运动信息根据惯性原理获得时间轴上每个肌肉结构控制点和面部特征点的惯性移动曲线；每个肌肉结构控制点和面部特征点是由相应的肌肉发力点控制的，基于肌肉结构控制点和面部特征点与相应的面部肌肉发力点的映射关联关系，根据肌肉结构控制点和面部特征点的惯性移动曲线，获取相应的肌肉发力点的惯性移动曲线；然后将面部肌肉发力点的惯性移动曲线和肌肉结构控制点和面部特征点的惯性移动曲线进行按照预设比例进行线性混合，包括曲线平滑和线性插值，遵循了原有的曲线形态，同时降低了噪点，生成连续且平滑的高质量表情细分动作曲线；

本发明基于低频采样肌肉结构控制点和面部特征点通过惯性原理获取时间轴上更多的肌肉结构控制点和面部特征点，再基于肌肉结构控制点和面部特征点与肌肉发力点之间的关系，获取同一时间点上更多的面部点，从而实现高精度数孪人面部表情动作细分的动态生成。

在此基础上，本发明在肌肉控制点的影响下得到面部所有移动点的惯性移动曲线，再利用面部所有移动点的惯性移动曲线与控制点的惯性移动曲线按照预设比例线性混合，进一步地增加数孪人面部表情动作细分的动态生成的精度；具体地，将面部的肌肉分布设置为面部不同区域，每个区域之间形成相邻联动关系，根据面部肌肉与表皮的分布结构经验设置每个区域之间相邻联动关系的权重，如图2-3所示，将相邻联动关系的权重大小视为每个区域之间作用力的大小；更为具体地，根据区域不同，基于权重大小的倍数或指数设置相互作用力的大小；相邻联动关系区域的肌肉发力点在力的作用下控制作用区域内肌肉控制点运动，肌肉控制点控制面部移动点，即控制点运动会影响到作用区域内所有面部移动点的运动；那么将肌肉控制点的惯性移动曲线与面部移动点的惯性移动曲线按照预设比例进行线性混合，就能进一步地提高数孪人面部表情动作细分的动态生成精度。

实施例1

根据本发明提供的一种高精度数孪人面部表情动作细分的动态生成方法，包括：

步骤S1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的运动信息，并基于连续时刻的面部预设关键控制顶点的运动信息建立面部预设关键控制顶点的惯性移动曲线；

具体地，所述预设关键控制顶点包括肌肉结构控制点和面部特征点；

所述肌肉结构控制点是根据生理肌肉结构设定的点；

所述面部特征点是遵循面部肌肉特征识别的预设点。

具体地，所述步骤S1采用：

步骤S1.1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的三维绝对坐标位置信息，当三维绝对位置发生变化时，则预设关键控制顶点发生了坐标移动的运动漂移；

步骤S1.2：根据预设关键控制顶点连续时刻发生的坐标移动运动漂移获得n个时间点对应的位移、速度和加速度，建立三维数字面容上预设关键控制顶点的惯性移动曲线，其中，n大于等于3。

步骤S2：将初始建立的高密度三维面部数字控制点与预设关联控制顶点进行关联映射，根据面部预设关键控制顶点的惯性移动曲线得到数字控制点的惯性移动曲线；

步骤S3：利用采集到的连续时刻面部预设关键控制顶点的惯性移动曲线对三维面部数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线；

所述步骤S3采用：当每个时刻预设关键控制顶点的采集密度超过预设值时，则按照预设比例线性混合连续时刻的某个预设关键控制顶点，并基于连续时刻线性混合后的某个预设关键控制顶点形成移动曲线，并利用形成的移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合；例如：当每个时刻预设关键控制顶点的采集密度超过30帧/秒时，T时刻的某个预设关键控制顶点的坐标按照T-2时刻当前预设关键控制顶点的坐标、T-1时刻当前预设关键控制顶点的坐标以及T时刻当前预设关键控制顶点的坐标按照1:2:7的比例进行线性混合得到T时刻当前预设关键控制顶点的坐标；以此类推，得到每个时刻当前预设关键控制顶点的坐标，基于连续时刻当前预设关键控制顶点的坐标形成移动曲线，再利用移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线。

所述数字控制点是在人面部肌肉组织分布的基础上，每个肌肉上的拉扯肌肉发力点。

具体地，还包括：

步骤S4：基于面部的肌肉分布设置面部不同区，将面部不同区分组形成相邻的联动关系，基于面部不同区分组形成的相邻联动关系设置相邻联动权重；

步骤S5：基于相邻联动权重设置相邻联动关系的力的大小；

步骤S6：当前区的肌肉控制点在相邻区肌肉发力点力的作用下运动，基于连续时刻肌肉控制点的运动信息根据惯性原理建立肌肉控制点的惯性移动曲线；

步骤S7：将当前区的肌肉控制点与当前区的移动点进行关联映射，根据肌肉控制点的惯性移动曲线得到移动点的惯性移动曲线；

步骤S8：利用当前区肌肉控制点的惯性移动曲线与当前区移动点的惯性移动曲线按照预设比例进行线性混合，生成最终连续且平滑的高质量表情细分动作曲线。

根据本发明提供的一种高精度数孪人面部表情动作细分的动态生成系统，包括：

模块M1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的运动信息，并基于连续时刻的面部预设关键控制顶点的运动信息建立面部预设关键控制顶点的惯性移动曲线；

具体地，所述预设关键控制顶点包括肌肉结构控制点和面部特征点；

所述肌肉结构控制点是根据生理肌肉结构设定的点；

所述面部特征点是遵循面部肌肉特征识别的预设点。

具体地，所述模块M1采用：

模块M1.1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的三维绝对坐标位置信息，当三维绝对位置发生变化时，则预设关键控制顶点发生了坐标移动的运动漂移；

模块M1.2：根据预设关键控制顶点连续时刻发生的坐标移动运动漂移获得n个时间点对应的位移、速度和加速度，建立三维数字面容上预设关键控制顶点的惯性移动曲线，其中，n大于等于3。

模块M2：将初始建立的高密度三维面部数字控制点与预设关联控制顶点进行关联映射，根据面部预设关键控制顶点的惯性移动曲线得到数字控制点的惯性移动曲线；

模块M3：利用采集到的连续时刻面部预设关键控制顶点的惯性移动曲线对三维面部数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线；

所述模块M3采用：当每个时刻预设关键控制顶点的采集密度超过预设值时，则按照预设比例线性混合连续时刻的某个预设关键控制顶点，并基于连续时刻线性混合后的某个预设关键控制顶点形成移动曲线，并利用形成的移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合；例如：当每个时刻预设关键控制顶点的采集密度超过60帧时，T时刻的某个预设关键控制顶点的坐标按照T-2时刻当前预设关键控制顶点的坐标、T-1时刻当前预设关键控制顶点的坐标以及T时刻当前预设关键控制顶点的坐标按照1:2:7的比例线性混合得到T时刻当前预设关键控制顶点的坐标；以此类推，得到每个时刻当前预设关键控制顶点的坐标，基于连续时刻当前预设关键控制顶点的坐标形成移动曲线，再利用移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线。

所述数字控制点是在人面部肌肉组织分布的基础上，每个肌肉上的拉扯肌肉发力点。

具体地，还包括：

模块M4：基于面部的肌肉分布设置面部不同区，将面部不同区分组形成相邻的联动关系，基于面部不同区分组形成的相邻联动关系设置相邻联动权重；

模块M5：基于相邻联动权重设置相邻联动关系的力的大小；

模块M6：当前区的肌肉控制点在相邻区肌肉发力点力的作用下运动，基于连续时刻肌肉控制点的运动信息根据惯性原理建立肌肉控制点的惯性移动曲线；

模块M7：将当前区的肌肉控制点与当前区的移动点进行关联映射，根据肌肉控制点的惯性移动曲线得到移动点的惯性移动曲线；

模块M8：利用当前区肌肉控制点的惯性移动曲线与当前区移动点的惯性移动曲线按照预设比例进行线性混合，生成最终连续且平滑的高质量表情细分动作曲线。

实施例2

实施例2是实施例1的优选例

针对上述现有技术中的缺陷，本发明提供了一种高精度数孪人面部表情动作细分的动态生成方法，如图1所示，仅用摄像头进行图像识别提取连续时刻的面部表情控制的关键顶点的位移；所述面部表情控制的关键顶点即表情控制顶点包括：肌肉结构控制点和面部特征点；根据关键顶点至少三次时间点的位移，速度和加速度，建立这些面部表情控制关键顶点的惯性移动曲线，并作为预测惯性移动曲线（X水平/Y垂直，两个方向）。初始化高密度三维面部数字控制点与表情控制关键顶点的关联性。基于面部肌肉分布设定面部不同区分组联动权重约束关系。将连续的多个间歇分时的表情采样，用移动曲线方式做线性混合，生成连续且平滑的表情细分动作。

具体地，本发明不需要额外佩戴面部定位器和表情捕捉设备，采用摄像头的图像识别提取时间T1…Tn连续时刻的面部关键控制顶点的位移；所述表情关键控制顶点包括：肌肉结构控制点和面部特征点；其中，面部特征点遵循面部特征识别的常见几十个～一百多个点，具体面部特征点根据实际情况选取不同的数量和不同的位置。肌肉结构控制点是根据生理结构而设定，是固定的。分别是面部的主要区域采用圆形边上6个点，中心1个点组成。

根据表情关键控制顶点集合（肌肉结构控制点和面部特征点）的连续多次时间点的位移坐标，速度和加速度，匹配三维数字面容上对应每个位置的关键控制顶点的惯性移动曲线，并收敛建立当前人脸该处预测关键关联顶点运动的惯性移动曲线（默认分X“水平”和Y“垂直”两个朝向，个别特殊的深度摄像机可以额外获得X/Y/Z三个方向）。其中，惯性移动曲线的生成数学方法是：同一个坐标系，多次采样按照贝塞尔曲线处理连续的三个坐标点坐标，时间作为拉长曲线的长度；其中，三维数字面容是基于面部三维建模得到的；

具体地，初始建立的高密度三维面部数字控制点与表情关键控制顶点的关联性：高密度通常需由几百甚至上千的顶点组成，来满足精确度差异化诉求。其中，数字控制点是根据人的面部肌肉组织分布而得到，42块表情肌，每个肌肉区都有两边上拉扯肌肉发力点，这些拉扯点就是控制点之一，所以有84个点，除了这些肌肉的控制点，还有下颚处的骨骼控制点带动嘴巴和面颊，也有可移位的4个位置（2个左右嘴角，2个左右下颚）总共88个预设高密度的关键控制点。

具体地，基于面部的16块肌肉分布的设定面部不同区分组相邻的联动关系：一个地方运动，势必会牵扯有牵扯肌肉力群的相邻区，称为肌肉联动权重约束。将基于权重的大小转化为力，根据力转化为力学移动曲线。具体地，权重越大，涉及到的力越大，再将力转化为力学转移曲线；

如图2、3所示，分组以相邻相交原则形成“方块”为12个组。联动关系遵循这样的位置权重关系，如表1是剧中和对焦发力，表2是侧方发力所示。

0.05X	0.2X	0.07X
			0.1X	X（发力）	0.12X
0.03X	0.15X	0.05X

表1，剧中为主发力处（对角发力灰色区类推）

0.05X	0.1X	0.15X
			0.02X	0.08X	X（发力）
0.01X	0.03X	0.08X

表2，侧边为主发力处,左右对称类推

具体地，通过主驱动肌肉和相邻肌肉的曲线进行线性混合和/或通过采集到的面部关键控制顶点进行线性混合。

更为具体地，采样连续的多个间歇表情的面部关键控制顶点，用移动曲线方式做线性混合（瞬时合成的T时刻的表情按照“.T-2表情”：“.T-1表情”：“.T表情”比例‘1’：‘2’：‘7’，每个时刻的最终表情是通过向前累计三个瞬时时刻的表情在做一次线性混合而得到的，本质原因是以往都是动作捕捉，而本发明采用推算，那么采集又是分散的离散的，很容易出现噪音和抖动，即便按照惯性可以拉平一个运动曲线，但曲线的推算很快，为了承上启下，就做了缓冲区，这个区域就是将时序上的前后信息做了进一步平滑过渡），生成连续且平滑的高质量表情细分动作，并在T-1与T之间采用惯性移动曲线做平滑处理。两次采样之间‘G’间歇可以根据精度来设定从G=0.05秒（s）到G=2秒（s）不等，但特定平台特定模式下一次程序的全过程是固定的间歇G。如图4所示。

实施例3

实施例3是实施例1和/或实施例2的优选例

本实施例公开了一种高精度数孪人面部表情动作细分的动态生成方法，包括：

在计算以前，先打开摄像头，选取一个准备好的最合适自己预期的面部精度（分男/女|高/低精度）基础数字孪生三维面部带有肌肉与约束权重的模型。在开始实时生成以前，可选择直接采用默认的表情范围或按照示意做一系列比较大幅度的表情，让算法了解当前驱动的真人的面部肌肉可以活跃的范围。

一个周期的计算结束后，可以结束后选择平滑过渡连接动作生成连续的表情动作动画序列坐标，也可选择实时生成（每隔4～20次）采样就连续的生成表情动作动画序列坐标。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种高精度数孪人面部表情动作细分的动态生成方法，其特征在于，包括：

步骤S1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的运动信息，并基于连续时刻的面部预设关键控制顶点的运动信息根据惯性原理建立面部预设关键控制顶点的惯性移动曲线；

步骤S2：将初始建立的高密度三维面部数字控制点与预设关键控制顶点进行关联映射，根据面部预设关键控制顶点的惯性移动曲线得到数字控制点的惯性移动曲线；

步骤S3：利用采集到的连续时刻面部预设关键控制顶点的惯性移动曲线对三维面部数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线；

所述三维面部数字控制点是在人面部肌肉组织分布的基础上，每个肌肉上的拉扯肌肉发力点；

所述预设关键控制顶点包括肌肉结构控制点和面部特征点；

所述步骤S1采用：

步骤S1.1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的三维绝对坐标位置信息，当三维绝对位置发生变化时，则预设关键控制顶点发生了坐标移动的运动漂移；

步骤S1.2：根据预设关键控制顶点连续时刻发生的坐标移动运动漂移获得n个时间点对应的位移、速度和加速度，建立三维数字面部上预设关键控制顶点的惯性移动曲线，其中，n大于等于3。

2.根据权利要求1所述的高精度数孪人面部表情动作细分的动态生成方法，其特征在于，所述肌肉结构控制点是根据生理肌肉结构设定的点；

所述面部特征点是遵循面部肌肉特征识别的预设点。

3.根据权利要求1所述的高精度数孪人面部表情动作细分的动态生成方法，其特征在于，所述步骤S3采用：当每个时刻预设关键控制顶点的采集密度超过预设值时，则按照预设比例线性混合连续时刻的某个预设关键控制顶点，并基于连续时刻线性混合后的某个预设关键控制顶点形成移动曲线，并利用形成的移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合。

4.根据权利要求1所述的高精度数孪人面部表情动作细分的动态生成方法，其特征在于，还包括：

步骤S4：基于面部的肌肉分布设置面部不同区，将面部不同区分组形成相邻的联动关系，基于面部不同区分组形成的相邻联动关系设置相邻联动权重；

步骤S5：基于相邻联动权重设置相邻联动关系的力的大小；

步骤S6：当前区的肌肉控制点在相邻区肌肉发力点力的作用下运动，基于连续时刻肌肉控制点的运动信息根据惯性原理建立肌肉控制点的惯性移动曲线；

步骤S7：将当前区的肌肉控制点与当前区的移动点进行关联映射，根据肌肉控制点的惯性移动曲线得到移动点的惯性移动曲线；

步骤S8：利用肌肉控制点的惯性移动曲线与移动点的惯性移动曲线按照预设比例进行线性混合，生成最终连续且平滑的高质量表情细分动作曲线。

5.一种高精度数孪人面部表情动作细分的动态生成系统，其特征在于，包括：

模块M1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的运动信息，并基于连续时刻的面部预设关键控制顶点的运动信息根据惯性原理建立面部预设关键控制顶点的惯性移动曲线；

模块M2：将初始建立的高密度三维面部数字控制点与预设关键控制顶点进行关联映射，根据面部预设关键控制顶点的惯性移动曲线得到数字控制点的惯性移动曲线；

模块M3：利用采集到的连续时刻面部预设关键控制顶点的惯性移动曲线对三维面部数字控制点的惯性移动曲线按照预设比例进行线性混合，生成连续且平滑的高质量表情细分动作曲线；

所述三维面部数字控制点是在人面部肌肉组织分布的基础上，每个肌肉上的拉扯肌肉发力点；

所述预设关键控制顶点包括肌肉结构控制点和面部特征点；

所述模块M1采用：

模块M1.1：利用摄像头的图像识别获取连续时刻的面部预设关键控制顶点的三维绝对坐标位置信息，当三维绝对位置发生变化时，则预设关键控制顶点发生了坐标移动的运动漂移；

模块M1.2：根据预设关键控制顶点连续时刻发生的坐标移动运动漂移获得n个时间点对应的位移、速度和加速度，建立三维数字面部上预设关键控制顶点的惯性移动曲线，其中，n大于等于3。

6.根据权利要求5所述的高精度数孪人面部表情动作细分的动态生成系统，其特征在于，所述肌肉结构控制点是根据生理肌肉结构设定的点；

所述面部特征点是遵循面部肌肉特征识别的预设点。

7.根据权利要求5所述的高精度数孪人面部表情动作细分的动态生成系统，其特征在于，所述模块M3采用：当每个时刻预设关键控制顶点的采集密度超过预设值时，则按照预设比例线性混合连续时刻的预设关键控制顶点，并基于连续时刻线性混合后的预设关键控制顶点形成移动曲线，并利用形成的移动曲线对数字控制点的惯性移动曲线按照预设比例进行线性混合。

8.根据权利要求5所述的高精度数孪人面部表情动作细分的动态生成系统，其特征在于，还包括：

模块M4：基于面部的肌肉分布设置面部不同区，将面部不同区分组形成相邻的联动关系，基于面部不同区分组形成的相邻联动关系设置相邻联动权重；

模块M5：基于相邻联动权重设置相邻联动关系的力的大小；

模块M6：当前区的肌肉控制点在相邻区肌肉发力点力的作用下运动，基于连续时刻肌肉控制点的运动信息根据惯性原理建立肌肉控制点的惯性移动曲线；

模块M7：将当前区的肌肉控制点与当前区的移动点进行关联映射，根据肌肉控制点的惯性移动曲线得到移动点的惯性移动曲线；

模块M8：利用肌肉控制点的惯性移动曲线与移动点的惯性移动曲线按照预设比例进行线性混合，生成最终连续且平滑的高质量表情细分动作曲线。

Images