CN115526966A - 一种用调度五官部件实现虚拟人物表情展现的方法 - Google Patents

Abstract

本发明提出了一种用调度五官部件实现虚拟人物表情展现的方法，涉及二维动画技术领域。发明人在进行了深入研究后发现，虚拟人物整体展现表情时，可以逆向地理解为每个部位响应与表情做出动作，因此通过虚拟人物部位的特征点细分部位，每个被细分的部位只需要响应于虚拟人物当前表情，做出部位相应动作即可达到虚拟人物整体表情的动画效果。也就是说，本发明的实施例通过虚拟人物部位的模块化处理和响应式操作，可以实现虚拟人物部位任意组合的情况，并能细节调整每个部位针对不同情景下的动画效果，使虚拟人物表情动画效果更为生动、逼真和独具个性。

Description

一种用调度五官部件实现虚拟人物表情展现的方法

技术领域

本发明涉及二维动画技术领域，具体而言，涉及一种用调度五官部件实现虚拟人物表情展现的方法。

背景技术

现有技术中，二维虚拟人物表情动画实现方法分为帧动画和骨骼动画方法。其中，帧动画方法是将表情动画过程按照流畅程度(帧数)进行分割，获得多张有序连续的图片集，通过连续切换所述图片集，达到表情运动效果。其中，可以以全脸(包括五官)形式输出多张表情的序列帧图片，或者也可以基于弹性组合脸部和五官的考虑，将脸部和五官细分，针对目标动画输出多张表情的序列帧图片。另外，骨骼动画方法是通过预设的骨骼和蒙皮信息，结合帧动画实现动画的运动效果。然而，使用帧动画方法制作和维护的人力成本较高，占用存储空间相对较高；使用骨骼动画方法，占用储存空间和后期维护需要的人力时间成本相对较低，但是制作时所需的人力和时间成本依然较高，且只适用于定制化的虚拟人物表情应用，无法满足需要表情动画弹性组合的使用场景。

因此，提出一种不仅占用储存空间和后期维护需要的人力时间成本较低，而且制作简单还能实现虚拟人物表情自由组合的方法具有极大的现实意义和社会意义。

发明内容

本发明的目的在于提供一种用调度五官部件实现虚拟人物表情展现的方法，发明人在进行了深入研究后发现，虚拟人物整体展现表情时，可以逆向地理解为每个部位响应与表情做出动作，因此通过虚拟人物部位的特征点细分部位，每个被细分的部位只需要响应于虚拟人物当前表情，做出部位相应动作即可达到虚拟人物整体表情的动画效果。也就是说，本发明的实施例中通过虚拟人物部位的模块化处理和响应式操作，可以实现虚拟人物部位任意组合的情况，并能细节调整每个部位针对不同情景下的动画效果，使虚拟人物表情动画效果更为生动、逼真和独具个性。

本发明的实施例是这样实现的：

本申请实施例提供一种用调度五官部件实现虚拟人物表情展现的方法，其包括以下步骤：

步骤S101：根据目标虚拟人物的模型数据，获取目标虚拟人物模型；

步骤S102：基于上述目标虚拟人物模型，加载目标表情处理模块和目标表情动画组件；

步骤S103：基于目标表情处理模块，获取所有受表情参数影响的动画组件，根据动画组件受表情参数影响程度，创建目标动画参数同步模块；

步骤S104：响应于目标表情播放指令，获取上述目标虚拟人物模型的表情动画组件，根据预设的表情播放指令和表情动画名称映射关系，确定与表情播放指令对应的表情动画名称，播放表情动画名称相应的表情动画；

步骤S105：基于上述目标表情处理模块，获取所有动画参数同步模块，根据表情参数数值进行同步处理；

步骤S106：基于上述目标虚拟人物各个部位的动画组件，根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画；

步骤S107：根据所有上述目标部位相对于目标表情的表情动画，获得目标虚拟人物表情动画。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

基于将虚拟人物所有部位模块化拆分，所有模块在组合后只需响应受影响的表情参数，根据表情参数通过相应的动画处理流程，即可组合虚拟人物的目标表情；具备更弹性的组合方式，能通过搭配形式生成多种虚拟人物形象；独立的表情参数响应模式，能使每个部位能按照定制需求调整更好的动画表现；可以通过定制规则批量制作新的虚拟人物部位，调整只需要修改目标表情参数特定值的动画关键帧(单帧)即可，最大限度地优化了团队制作表情动画时的人力和时间成本；基于采用骨骼蒙皮处理方式，从而也极大地减少了美术资源占用的存储空间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一种用调度五官部件实现虚拟人物表情展现的方法一实施例的流程图；

图2为本发明实施例中生成虚拟人物模型流程示意图；

图3为本发明实施例中基于上述目标虚拟人物各个部位的动画组件，根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画的步骤的流程图；

图4为本发明实施例中虚拟人物部件的动画混合流程图；

图5为本发明实施例中基于现有动画表情类型，各个部位针对于自身特点，进行不同流程上的动画混合处理的流程示意图；

图6为本发明实施例中眼睛部位动画组件内混合组件结构的示意图；

图7为本发明实施例中虚拟人物脸部蒙皮参考(左)和骨骼参考(右)的示意图；

图8为本发明实施例中下巴骨骼对脸部整体变化示意图；

图9为本发明实施例中两侧笑肌骨骼对侧脸影响效果参考示意图；

图10为本发明实施例中两侧耳部骨骼对侧脸响应效果参考示意图；

图11为本发明实施例中虚拟人物眉毛蒙皮参考(左)和骨骼参考(右)的示意图；

图12为本发明实施例中虚拟人物眉毛各个骨骼及骨骼对蒙皮网格影响范围的权重分布的示意图；

图13为本发明实施例中虚拟人物眉毛各个骨骼位置与整体形变关系参考的示意图；

图14为本发明实施例中虚拟人物眼睛各个部位层级高低关系示意图；

图15为本发明实施例中虚拟人物眼睛骨骼蒙皮网格示意图；

图16为本发明实施例中虚拟人物眼睛权重参考示意图；

图17为本发明一实施例中虚拟人物眼睛骨骼蒙皮网格与权重参考示意图；

图18为本发明又一实施例中虚拟人物眼睛骨骼蒙皮网格与权重参考示意图；

图19为本发明实施例中眼球裁剪效果示意图；

图20为本发明实施例中虚拟人物鼻子部位骨骼蒙皮网格与权重参考的示意图；

图21为本发明实施例中虚拟人物嘴巴各个部位层级高低关系示意图；

图22为本发明实施例中虚拟人物嘴巴各个部位骨骼蒙皮网格示意图；

图23为本发明实施例中虚拟人物嘴巴各个部位权重参考示意图；

图24为本发明实施例中骨骼蒙皮网格与权重参考的示意图；

图25为本发明实施例中虚拟人物嘴巴形变效果演示的示意图；

图26为本发明实施例中虚拟人物嘴巴裁剪效果演示的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例

请参阅图1，该一种用调度五官部件实现虚拟人物表情展现的方法包括以下步骤：

步骤S101:根据目标虚拟人物的模型数据，获取目标虚拟人物模型。

上述步骤中，其中，目标虚拟人物的模型数据包括目标部位编号、部位位置偏移参数等数据，虚拟人物模型包含多个部位的模型、表情处理模块和表情动画组件。也就是说，目标虚拟人物的模型数据包括前发、后发、眼耳口鼻、脸部轮廓等数据，数据主要包含部位的唯一标识编号。通过上述数据中部位的唯一标识编号，获取相应的部位模型，通过预设的部位关系信息，获得目标虚拟人物模型。示例性地，上述的目标虚拟人物部位还可以包括身体、背部挂件、帽子、全脸装饰(如：腮红、雀斑等)等部位模型。

步骤S102:基于上述目标虚拟人物模型，加载目标表情处理模块和目标表情动画组件。

上述步骤中，目标表情处理模块包含多项表情参数，作用于管理所有表情参数数据和对所有部位动画组件内参数进行数值同步处理；每个表情都受一个或多个表情参数变化所影响；目标表情动画组件作用于虚拟人物表情动画关键帧播放。

需要说明的是，上述的目标表情动画组件运作需要基于目标表情处理模块中的表情参数，其处理流程为通过动画关键帧对多项表情参数进行调整修改，从而间接性展现虚拟人物的表情效果；需要说明的是，也可以不通过动画组件，而是通过程序数据驱动或其他形式对目标表情处理模块中的表情参数进行调整修改，也可以实现虚拟人物的表情效果。

步骤S103:基于目标表情处理模块，获取所有受表情参数影响的动画组件，根据动画组件受表情参数影响程度，创建目标动画参数同步模块。

上述步骤中，目标表情处理模块包含多个动画参数同步模块；目标动画参数同步模块作用于针对特定动画参数类型对目标动画组件的同类参数进行数值同步处理。动画组件包含多项参数和多项动画混合组件，其中，每项参数名称都为任意表情参数名称，动画混合组件具备处理优先级。若目标动画组件的多项参数包含一项或多项表情参数，则可以将这多项表情参数视为目标动画受影响表情参数。结合图3所示，假设为第一次的动画混合处理流程，上述的多项表情参数则为a1参数集合。

如上所述，确定了动画组件和受影响的多项表情参数关系后，通过上述的目标表情处理模块，取得多项动画参数处理模块。其中，动画参数同步模块作用于程序运行时将特定动画组件中的指定参数数据修改为上述目标表情处理模块中相同表情参数的数据；

步骤S104:响应于目标表情播放指令，获取上述目标虚拟人物模型的表情动画组件，根据预设的表情播放指令和表情动画名称映射关系，确定与表情播放指令对应的表情动画名称，播放表情动画名称相应的表情动画。

上述步骤中，表情播放指令用于外部组件播放虚拟人物表情使用的消息内容；表情动画名称用于虚拟人物内部动画组件对表情动画的唯一标识；虚拟人物模型的表情动画组件包含一项或多项表情参数变化的动画。

步骤S105:基于上述目标表情处理模块，获取所有动画参数同步模块，根据表情参数数值进行同步处理。

上述步骤中，其中，动画参数同步模块作用于将目标表情参数同步至特定部位的动画组件参数的处理通道，虚拟人物的各个部位至少包含一项或多项的动画参数同步模块。

上述目标表情处理模块可以将周期性地通过所有动画参数同步模块，将对应的表情参数数据进行同步处理。示例性地，处理流程上也可以对将要同步的数据进行动态调整，以头部俯仰参数同步模块为例，假设头部俯仰参数数值为0.1，需要针对眼睛移动参数的垂直分量10％的数值修正。即，当眼睛移动参数的垂直分量为0时，同步模块将同步0.1至目标参数；当眼睛移动参数的垂直分量为0.5时，同步数值为0.1+0.5*0.1＝0.15。

步骤S106:基于上述目标虚拟人物各个部位的动画组件，根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画。

上述步骤中，根据现实人物做出任意表情时脸部五官动作的特征，可以将动画混合分为头部俯仰、眼睛张合、眼睛移动和情绪影响等多个流程，每个动画混合组件都受到一个或者多个表情参数影响，也就是说这些动画混合处理根据受影响参数对动画进行混合处理。其中，每个部位都将根据流程处理的额优先程度从高到低进行排序依次处理，取得每个部位针对目标表情下的动画关键帧。

请参阅图3，上述步骤S106具体包括：

将获取的第一个动画混合组件m1和对应混合参数集合a1进行混合处理得到第一次生成的动画关键帧mr1；将获取的第二个动画混合组件m2和对应混合参数集合a2与上述第一次生成的动画关键帧mr2进行混合处理得到第二次生成的动画关键帧mr2；依次直到将获取的最后一个动画混合组件和对应混合参数集合与前一次生成的动画关键帧进行混合处理得到最后生成的动画关键帧。

通过上述步骤处理可以得到，各个部位针对目标表情的动画关键帧，也就是可以获得目标部位相对于目标表情的表情动画。示例性地，根据不同部位针对于不同表情下的参数取值情况，得到的目标部位表情动画也会发生改变。如图4和5所示，基于现有动画表情类型，各个部位针对于自身特点，可以进行不同流程上的动画混合处理。

请参阅图1和4，上述根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画的步骤具体包括：

首先，基于上述目标虚拟人物模型，获取所有部位的动画组件。然后，基于目标部位的动画组件，获取所有动画混合组件，其中，动画混合组件作用于通过参数所在取值范围计算权重，根据计算权重对多个动画关键帧进行融合处理，得到目标动画关键帧。接着，根据动画混合组件处理优先级，依次进行动画混合处理，得到目标部位针对于目标表情的表情动画。最后，根据所有上述目标部位相对于目标表情的表情动画，获得目标虚拟人物表情动画，其中目标表情包含一个或多个表情参数。

通过上述步骤处理，即可清楚便捷的实现根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画。

步骤S107:根据所有上述目标部位相对于目标表情的表情动画，获得目标虚拟人物表情动画。

上述步骤中，通过调用所有目标部位相对于目标表情的表情动画，即可获得目标虚拟人物表情动画。也就是通过目标部位相对于目标表情进行相应的动作，即可实现虚拟人物整体表情根据需要进行相应的变化的效果。

请参阅图1，上述根据目标虚拟人物的模型数据，获取目标虚拟人物模型的步骤之前还包括：

首先，根据预设的虚拟人物部位遮盖参考信息，基于上述目标虚拟人物模型，获取所有被遮挡图片信息和所有遮挡图片信息。然后，根据所有遮挡图片信息，生成目标虚拟人物裁剪蒙版图片。接着，基于目标虚拟人物模型，获取图像裁剪组件，将生成的虚拟人物裁剪蒙版图片数据覆盖上述图像裁剪组件中的裁剪蒙皮图片数据。最后，根据目标虚拟人物模型所有图片和上述图像裁剪组件，生成目标虚拟人物图像。

通过上述步骤处理，可以对虚拟人物部位图像进行裁剪处理，改善图像显示效果。从而使得目标表情能够更好的进行显示和处理，提升后续虚拟人物的部位显示效果，也就是能够使得虚拟人物的表情动画更加生动形象。示例性地，还可以根据实际情况需要对虚拟人物部位图像进行配置、分割和感兴趣区域设定等图像预处理，从而为虚拟人物的模型建立做准备。

请参阅图2，上述根据目标虚拟人物的模型数据，获取目标虚拟人物模型的步骤之前还包括：

步骤S201:根据目标虚拟人物的各个部位切片图片、部位模型切片数据和骨骼信息，生成目标部位模型。

上述步骤中，部位切片图片为针对于目标部位的单张图片进行多层细分后获得的多张图片，部位模型切片数据为包含目标部位一组或多组细分后图片的相对坐标、尺寸大小等数据。

步骤S202:根据目标部位相对现实中的肌肉结构及运动规律，调整目标部位所有切片蒙皮网格和权重。

上述步骤中，调整目标部位所有切片蒙皮网格和权重时，骨骼对蒙皮网格的影响权重为图片蒙皮网格点针对骨骼运动时的偏移参考，权重越大随着骨骼位移变化将越明显。

步骤S203:根据虚拟人物表情的特征点，获取多项表情参数。

上述步骤中，根据虚拟人物表情的特征点，获取多项表情参数，可以为后续目标部位受表情参数影响提供原始数据支撑。

步骤S204:基于上述目标部位模型，生成目标部位动画组件。

步骤S205:基于上述目标部位动画组件，根据目标部位受表情参数影响程度，按照优先级依次生成动画混合组件。

上述步骤中，表情参数包括头部仰俯表情参数、眼睛张合表情参数、眼睛移动表情参数和情绪表情参数，通过目标部位受这些表情参数影响程度按照优先级依次生成动画混合组件，将可以有效的考虑到不同优先级的表情参数对目标部位的影响，生成的动画混合组件更加精准有效。

示例性地，在考虑表情参数影响进行混合处理时，若为帽子、前发、后发和装饰挂件等只受到头部俯仰运动影响的部件，可以只进行针对于头部俯仰表情参数混合处理；若为眉毛、脸部、鼻子和嘴巴，因同时受到头部俯仰和人物情绪影响，可以依次进行头部俯仰参数混合和人物情绪参数混合处理；若为眼睛时，因考虑张开眼睛时会受到头部俯仰、眼球移动和人物情绪所影响，所以可以依次进行眼睛张合参数混合、头部俯仰参数混合、眼球移动参数混合和人物情绪参数混合处理。总之，根据实际情况需要按照不同的部件考虑不同的表情参数进行处理即可。

步骤S206:基于生成的上述动画混合组件，根据表情参数取值情况，生成相应表情参数取值情况的动画关键帧。

上述步骤中，动画混合组件包括一维混合、二维混合和直接混合三种形式；其中，较差混合是通过单一数值作为基准对一个或多个动画进行混合处理；二维混合是通过两个数值作为基准对一个或多个动画进行混合处理；直接混合是通过一个或以上的参数对一个或多个动画进行混合处理。通过不同的动画混合组件，从而可以根据表情参数取值情况，生成相应表情参数取值情况的动画关键帧。

示例性地，通过动画组件响应表情参数，还能实现虚拟人物各个部位在不同参数取值情况动作反馈。例如，假设存在惊讶表情参数，情景需要惊讶达到0.2以上时人物会跳一下的动画效果，可以通过虚拟人物身体动画组件添加所述惊讶时动画，并设置当参数大于等于0.2时自动触发动画播放。从而在虚拟人物表情动画组件播放惊讶动画时，并将惊讶参数调整至大于等于0.2时，虚拟人物身体动画组件将自动播放跳一下的动画。

请参阅图2，上述基于生成的上述动画混合组件，根据表情参数取值情况，生成相应表情参数取值情况的动画关键帧的步骤具体包括：

首先，根据上述目标部位受表情参数影响程度优先级，获取表情参数混合优先级参考信息。然后，根据表情参数混合优先级参考信息，依次生成目标表情参数对应的动画混合组件。最后，基于上述目标表情参数对应的动画混合组件，根据表情参数取值情况，生成目标表情参数对应的表情动画关键帧。

通过上述步骤，可以很好的实现基于生成的上述动画混合组件，根据表情参数取值情况，生成相应表情参数取值情况的动画关键帧的功能。

请参阅图1和2，还包括：

基于相同部位、相同表情参数取值预设的动画关键帧，根据关键帧差值对比，生成目标部位针对于目标表情参数取值时的动画关键帧。

通过上述步骤处理，可以将相同部位和相同表情参数取值情况下的动画关键帧与预置的模板进行对比，通过两者之间的差值对比，可以更加准确的输出目标部位针对于目标表情参数取值时的动画关键帧，也就是通过预置的模板进行校正处理，可以更加准确有效的得到需要的动画关键帧。

请参阅图5，上述基于上述目标表情参数对应的动画混合组件，根据表情参数取值情况，生成目标表情参数对应的表情动画关键帧的步骤具体包括：

根据头部俯仰表情参数进行一维混合处理，得到头部俯仰动画关键帧；

根据眼睛张合表情参数进行一维混合处理，得到眼睛张合动画关键帧；

根据眼球位于水平方向位移的第一标准量和眼球位于垂直方向位移的第二标准量进行二维混合处理，得到眼球移动动画关键帧，其中上述第一标准量取值范围为[-1,1]，上述第二标准量取值范围为[-1,1]，上述眼球移动动画关键帧包括上述第一标准量取值范围为[-1，0]时的眼球往左的动画关键帧、第一标准量取值范围为[0，1]时的眼球往右的动画关键帧，第二标准量取值范围为[-1，0]时的眼球往下的动画关键帧、第二标准量取值范围为[0，1]时的眼球往上的动画关键帧；

根据情绪参数进行直接混合处理得到人物情绪动画关键帧。

上述步骤中，头部俯仰动画混合处理、眼睛张合动画混合处理、眼球移动动画混合处理和人物情绪动画混合处理并不严格区分先后顺序，可以根据实际情况需要控制处理先后顺序。其中，头部俯仰动画混合处理时，头部俯仰动画关键帧包括头部俯仰表情参数取值为最小取值(低头转态)和最大取值(抬头状态)时的动画关键帧；眼睛张合动画混合处理时，眼睛张合动画关键帧包括针对眼睛张开时参数取值(即睁眼)时和针对于眼睛闭合时参数取值(即闭眼)时的动画关键帧；虚拟人物的情绪参数包括开心、担心和愤怒等情绪参数，根据参数的数量情况进行生成相应最大取值时的动画关键帧，其中最大值一般为1.0。

需要注意的是，混合组件中针对各种情况下的动画，可以作用于多个部位处于表情参数下的动作反馈；例如，头部俯仰参数作用于脸部动画混合组件中时，最小值代表脸部朝下时的动画效果，则最大值代表脸部朝上时的动画效果；若，头部俯仰参数作用于头部饰品动画混合组件中时，最小值代表低头时饰品的相对位置和缩放效果，则最大值代表抬头时相对位置和缩放效果；

需要注意的是，如图6所示，本实施例中左眼和右眼需要独立执行动作，眼睛动画组件中存在针对左眼和右眼的眼睛张合混合处理、头部俯仰混合处理、眼球移动混合处理和人物情绪混合处理组件，两条流程线，共八个混合组件。

请参阅图7至26，上述根据目标部位相对现实中的肌肉结构及运动规律，调整目标部位所有切片蒙皮网格和权重具体包括：

脸部的骨骼蒙皮处理、眉毛的骨骼蒙皮处理、眼睛的骨骼蒙皮处理、鼻子的骨骼蒙皮处理和嘴巴的骨骼蒙皮处理。

上述步骤中，请参阅图7，关于脸部的骨骼蒙皮处理：为了避免脸部整体运动是会产生严重的形变的问题，可以在脸部边缘线两侧进行蒙皮网格布点，将线条包裹起来。示例性地，请参阅图7-10，脸部的骨骼可以包括头顶骨骼、下巴骨骼、两侧笑肌骨骼和两侧耳部骨骼。其中，额头骨骼和下巴骨骼用于控制脸部整体抬头和低头时运动效果，通过头顶骨骼的权重开工至脸部运动时的形变过渡；两侧笑肌骨骼用于控制人物情绪表情时，面部的运动效果，例如人物笑时控制笑肌顾上提，赌气时鼓腮等；两侧耳部骨骼用于控制头部运动时，耳朵的相对运动，通过视觉差效果实现空间感。

请参阅图11，关于眉毛的骨骼蒙皮处理：为了更好控制眉毛整体形状在表情下的形变效果，利用蒙皮网格包裹眉毛整体可以达到更好的形变效果。示例性地，如图11所示，眉毛外层的蒙皮网格作用于控制眉毛周围细节部分的运动规律，如眉弓骨下的阴影可以减少阴影接近眼睛部分受骨骼影响的权重，可使所述眉弓骨阴影部分在运动时是被眉毛拉伸，而不是发生位移运动。需要注意的是，根据眉毛肌肉的运动特征，眉毛的骨骼节点与节点直接需要做平滑过渡处理。示例性地，如图12所示竖向虚线作为过渡区域参考线，位于参考线附近的蒙皮网点的权重将受到图中标记骨骼所影响；如图13所示为部分眉毛运动的展示效果。

请参阅图14至19，上述眼睛的骨骼蒙皮处理具体包括：

将眼睛拆分为左上眼皮、左下眼睑、左眼白、左眼球、右上眼皮、右下眼睑、右眼白和右眼球，并根据眼皮、眼睑、眼睛、眼白的顺序依次进行从高至低层级关系处理，还包括图像裁剪处理，如图19所示，控制左眼白上边缘贴合左上眼皮进行运动，左眼白下边缘贴合左下眼睑运动，控制右眼白上边缘贴合右上眼皮进行运动，右眼白下边缘贴合右下眼睑运动，逐帧抓取左眼白和右眼白的成像数据，生成裁剪用蒙版图像，基于图片裁剪组件利用上述裁剪用蒙版图像对眼球进行裁剪处理。

上述步骤中，通过将眼睛拆分为左上眼皮、左下眼睑、左眼白、左眼球、右上眼皮、右下眼睑、右眼白和右眼球这8个主要部件，然后根据眼皮、眼睑、眼睛、眼白的顺序依次进行从高至低层级关系处理，并考虑到眼球和眼皮存在遮罩关系，对其进行上述取巧的方法图像裁剪处理，可以简单有效的实现相应的功能。示例性地，请参阅图16，基于眼睛动作细节和骨骼数量均衡考虑，可以将眼睛整体运动区域横向切分4个，并每个细分部位(如上眉毛、下眼睑)在每个区域中都存在1个骨骼顶点，通过调整骨骼顶点的移动、旋转、缩放实现眼睛的局部运动变化。但显而易见，在没有调整骨骼蒙皮权重时通过骨骼顶点实现的运动变化相对生硬，不存在肌肉的拉伸感觉。因此，需要针对每个细分部位的骨骼蒙皮权重进行圆滑过渡处理，如图17和图18所示，分割线两侧的网格点将受到两侧的骨骼所影响，网格点受骨骼影响的权重数值根据点到骨骼的距离越近，数值将越大，若网格点与骨骼顶点基本重合时权重完全分配给重合的骨骼顶点。其中，网格点权重均以标准量进行计算，假设网格点同时受到骨骼A与骨骼B所影响，即骨骼A与骨骼B对网格点权重最大值为1，权重为1时骨骼完全控制网格点。

请参阅图20，关于鼻子的骨骼蒙皮处理：通过针对于鼻子表情运动的大量研究观察发现，大部分运动基于分布在左(右)两侧的提肌作用下提拉鼻末端。其次，还分布在头部运动时鼻子的透视角度变化。基于研究观察所得，可以将鼻子分为鼻根、鼻背和鼻尖三个骨骼。其中，上述的鼻根骨骼作用于控制抬头/低头时透视效果和眉毛肌肉带动鼻子顶端运动效果，所述的鼻背骨骼作用于限制整个鼻部运动变形，上述的鼻尖古骨骼作用于控制抬头/低头时鼻子末端透视效果和脸部肌肉带动鼻子运动效果。需要注意的是，鼻尖部位运动会受到鼻翼约束，鼻尖骨骼边缘靠近鼻翼部分的蒙皮网格权重都受鼻背骨骼控制，作用于防止鼻尖运动时鼻翼跟随运动导致鼻子末端产生过度形变。

请参阅图21至26，关于嘴巴的骨骼蒙皮处理：如图21所示，根据嘴巴运动规律和特征，可以将其细分为上唇、上牙、口腔、下牙、下唇五部分，层级关系从高到低依次为：上唇>下唇>上牙>下牙>口腔。

其中，如图23中上唇骨骼参考所示，关于上唇骨骼处理，可以自左而右依次分为左上嘴角、左上口裂、左上唇、右上唇、右上口裂、右上嘴角，共6个骨骼点。其中，左(右)上嘴角作用于实现表情中嘴角上扬和下撇动作效果；左(右)上口裂作用于限制左(右)上嘴角运动范围，减缓嘴角肌肉运动对上唇其他位置的影响，达到更好的模拟效果；左(右)上唇骨骼作用于控制上唇的张合运动。

如图22中蒙皮参考所示，关于上唇蒙皮网格处理，可以通过网格点将上唇整体与周围细节分层包裹。关于上唇蒙皮权重处理，如图24所示，为了更好模拟上唇运动时，唇峰与上唇因运动而产生的视觉差效果，减少唇峰附近网格点受到上唇骨骼的权重，表现为上唇骨骼运动时唇峰与上唇之间的挤压效果，上唇形变效果如图25所示。

如图23中下唇骨骼参考所示，关于下唇骨骼处理，可以自左而右依次分为左下嘴角、左下唇、右下唇、右下嘴角，共4个骨骼点。其中，左(右)下唇骨骼作用于确保嘴角上扬和下撇时，上唇与下唇嘴角位置不发生撕裂现象，左(右)下嘴角的骨骼跟随左(右)上嘴角运动而运动，左(右)下唇骨骼作用于控制下唇的张合运动。

如图22所示，关于下唇蒙皮网格处理，需要注意的是，可以以唇谷阴影部分以下为最高点，两端下唇嘴角作为左右端点，建立网格点包裹下唇主体部分，位于下唇表面结构中间添加网格点，将下唇主体垂直方面切分成两部分，添加外部网格点控制下唇主体以外部分表皮细节的运动变化。

关于下唇蒙皮权重处理，根据对下唇运动和肌肉结构研究和观察所得，下唇运动将会受到嘴角两端和底部表皮组织影响，产生挤压或拉伸现象；基于现象，左(右)下唇骨骼蒙皮权重对下唇上半部控制会比较高，下半部和两侧的控制相对会低或不发生形变，下唇形变效果如图25所示；

另外，由于虚拟人物的嘴巴结构上比较特殊，嘴巴内存在牙齿和口腔会被嘴唇遮罩，需要通过图像裁剪进行处理。依次，示例性地，本实施例提供了一种取巧的方式(如图26)所示，每帧抓取上唇、下唇的成像数据，生成裁剪用蒙版图像，基于图片裁剪组件对嘴巴牙齿、口腔进行裁剪处理。示例性地，牙齿和口腔美术资源可以使用通用的，也可以根据嘴巴设计者需求替换成其他样式的牙齿、口腔效果。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，包括以下步骤：

步骤S101：根据目标虚拟人物的模型数据，获取目标虚拟人物模型；

步骤S102：基于所述目标虚拟人物模型，加载目标表情处理模块和目标表情动画组件；

步骤S103：基于目标表情处理模块，获取所有受表情参数影响的动画组件，根据动画组件受表情参数影响程度，创建目标动画参数同步模块；

步骤S104：响应于目标表情播放指令，获取所述目标虚拟人物模型的表情动画组件，根据预设的表情播放指令和表情动画名称映射关系，确定与表情播放指令对应的表情动画名称，播放表情动画名称相应的表情动画；

步骤S105：基于所述目标表情处理模块，获取所有动画参数同步模块，根据表情参数数值进行同步处理；

步骤S106：基于所述目标虚拟人物各个部位的动画组件，根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画；

步骤S107：根据所有所述目标部位相对于目标表情的表情动画，获得目标虚拟人物表情动画。

2.如权利要求1所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述根据目标虚拟人物的模型数据，获取目标虚拟人物模型的步骤之前还包括：

根据目标虚拟人物的各个部位切片图片、部位模型切片数据和骨骼信息，生成目标部位模型；

根据目标部位相对现实中的肌肉结构及运动规律，调整目标部位所有切片蒙皮网格和权重；

根据虚拟人物表情的特征点，获取多项表情参数；

基于所述目标部位模型，生成目标部位动画组件；

基于所述目标部位动画组件，根据目标部位受表情参数影响程度，按照优先级依次生成动画混合组件；

基于生成的所述动画混合组件，根据表情参数取值情况，生成相应表情参数取值情况的动画关键帧。

3.如权利要求2所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述根据目标部位相对现实中的肌肉结构及运动规律，调整目标部位所有切片蒙皮网格和权重具体包括：

脸部的骨骼蒙皮处理、眉毛的骨骼蒙皮处理、眼睛的骨骼蒙皮处理、鼻子的骨骼蒙皮处理和嘴巴的骨骼蒙皮处理。

4.如权利要求3所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述眼睛的骨骼蒙皮处理具体包括：

将眼睛拆分为左上眼皮、左下眼睑、左眼白、左眼球、右上眼皮、右下眼睑、右眼白和右眼球，并根据眼皮、眼睑、眼睛、眼白的顺序依次进行从高至低层级关系处理，还包括图像裁剪处理，控制左眼白上边缘贴合左上眼皮进行运动，左眼白下边缘贴合左下眼睑运动，控制右眼白上边缘贴合右上眼皮进行运动，右眼白下边缘贴合右下眼睑运动，逐帧抓取左眼白和右眼白的成像数据，生成裁剪用蒙版图像，基于图片裁剪组件利用所述裁剪用蒙版图像对眼球进行裁剪处理。

5.如权利要求2所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述基于生成的所述动画混合组件，根据表情参数取值情况，生成相应表情参数取值情况的动画关键帧的步骤具体包括：

根据所述目标部位受表情参数影响程度优先级，获取表情参数混合优先级参考信息；

根据表情参数混合优先级参考信息，依次生成目标表情参数对应的动画混合组件；

基于所述目标表情参数对应的动画混合组件，根据表情参数取值情况，生成目标表情参数对应的表情动画关键帧。

6.如权利要求5所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，还包括：

基于相同部位、相同表情参数取值预设的动画关键帧，根据关键帧差值对比，生成目标部位针对于目标表情参数取值时的动画关键帧。

7.如权利要求5所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述基于所述目标表情参数对应的动画混合组件，根据表情参数取值情况，生成目标表情参数对应的表情动画关键帧的步骤具体包括：

根据头部俯仰表情参数进行一维混合处理，得到头部俯仰动画关键帧；

根据眼睛张合表情参数进行一维混合处理，得到眼睛张合动画关键帧；

根据眼球位于水平方向位移的第一标准量和眼球位于垂直方向位移的第二标准量进行二维混合处理，得到眼球移动动画关键帧，其中所述第一标准量取值范围为[-1,1]，所述第二标准量取值范围为[-1,1]，所述眼球移动动画关键帧包括所述第一标准量取值范围为[-1，0]时的眼球往左的动画关键帧、第一标准量取值范围为[0，1]时的眼球往右的动画关键帧，第二标准量取值范围为[-1，0]时的眼球往下的动画关键帧、第二标准量取值范围为[0，1]时的眼球往上的动画关键帧；

根据情绪参数进行直接混合处理得到人物情绪动画关键帧。

8.如权利要求1所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述根据目标虚拟人物的模型数据，获取目标虚拟人物模型的步骤之前还包括：

根据预设的虚拟人物部位遮盖参考信息，基于所述目标虚拟人物模型，获取所有被遮挡图片信息和所有遮挡图片信息；

根据所有遮挡图片信息，生成目标虚拟人物裁剪蒙版图片；

基于目标虚拟人物模型，获取图像裁剪组件，将生成的虚拟人物裁剪蒙版图片数据覆盖所述图像裁剪组件中的裁剪蒙皮图片数据；

根据目标虚拟人物模型所有图片和所述图像裁剪组件，生成目标虚拟人物图像。

9.如权利要求1所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画的步骤具体包括：

基于所述目标虚拟人物模型，获取所有部位的动画组件；

基于目标部位的动画组件，获取所有动画混合组件；

根据动画混合组件处理优先级，依次进行动画混合处理，得到目标部位针对于目标表情的表情动画。

10.如权利要求1所述的一种用调度五官部件实现虚拟人物表情展现的方法,其特征在于，所述基于所述目标虚拟人物各个部位的动画组件，根据受影响表情参数依次生成目标部位针对于目标表情的混合动画，获得目标部位相对于目标表情的表情动画的步骤具体包括：

将获取的第一个动画混合组件m1和对应混合参数集合a1进行混合处理得到第一次生成的动画关键帧mr1；

将获取的第二个动画混合组件m2和对应混合参数集合a2与所述第一次生成的动画关键帧mr2进行混合处理得到第二次生成的动画关键帧mr2；

依次直到将获取的最后一个动画混合组件和对应混合参数集合与前一次生成的动画关键帧进行混合处理得到最后生成的动画关键帧。

Images