CN113379880A - 一种表情自动化生产方法及其装置 - Google Patents

Abstract

本发明提供了一种表情自动化生产方法，所述方法包括如下步骤：步骤S1、创建眉毛和胡子依附在脸部上的绑定关系；步骤S2、初始化脸部的数据至一标准脸模型上；步骤S3、应用脸部变形数据，并记录变形数据，将变形数据以二进制格式进行导出形成绑定数据文件；步骤S4、在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据文件，来对资源进行变形模型morpher的初始化，在角色播放表情时，实现眉毛和胡子表情同步；大大提高了眉毛胡子资源生产效率。

Description

一种表情自动化生产方法及其装置

技术领域

本发明涉及游戏动漫制作领域，特别是一种表情自动化生产方法及其装置。

背景技术

传统的游戏和动画制作流程中，要想让角色的眉毛胡子跟着该角色的表情一起运动，只有两种解决方案：方案一：将眉毛和胡子以贴图的形式，画在人脸上；方案二：将眉毛和胡子做成独立的模型文件，并给该模型文件制作对应的变形模型(变形模型后文称为morpher)。方案一是一种比较简单和低代价的方案。但该方案将脸和眉毛胡子完全绑定在一起，一张脸只能与一个眉毛和胡子做绑定。如果该角色需要做换脸支持(比如从年轻的脸庞变化为老年的脸庞)。画在脸部上眉毛与胡子贴图就需要重新绘制。但方案一最大的问题是绘制出来的眉毛和胡子不够没有立体感，而且只能支持眉毛和胡子毛发比较短的类型，一旦是长胡子和长眉毛的资源，无法采用方案一制作相关资源。

方案二可以制作出精美的眉毛和胡子，也是业内高级动画和3A游戏的主流解决方案。该方案将眉毛和胡子与人脸完全解耦，能支持角色的换脸换装，可以解决各种类型的眉毛与胡子在人脸上的美术表现问题。但该方案需要的眉毛和胡子都需要单独制作一个眉毛胡子的变形，也称morpher。如果一个眉毛的顶点数为5000个顶点，那么需要将这5000个顶点重新调整一遍位置，才能完成一个morpher的制作，而一个眉毛往往需要十个甚至二十个morpher才能满足角色表情联动的适配需要，这就需要美术耗费大量得到精力在morpher制作上，投入大，制作周期长。

在有限个人脸适配中，以上方案能在一定程度上解决相关问题。但随着数字化人脸生成时代的到来，只需要一张二维的照片，就可以生成一个三维人脸模型。大大提高了人脸三维建模的制作效率。也增加了眉毛和胡子的适配难度。面对海量的人脸三维数据资源，传统的逐一制作眉毛和胡子的morpher方式是无法满足相关业务需求的，这就需要一个批量制作眉毛和胡子的morpher的自动化装置。

发明内容

为克服上述问题，本发明的目的是提供一种表情自动化生产方法，采用自动化的方式实现批量产出，大大提高了眉毛胡子资源生产效率。

本发明采用以下方案实现：一种表情自动化生产方法，所述方法包括如下步骤：

步骤S1、创建眉毛和胡子依附在脸部上的绑定关系；

步骤S2、初始化脸部的数据至一标准脸模型上；

步骤S3、应用脸部变形数据，并记录变形数据，将变形数据以二进制格式进行导出形成绑定数据文件；

步骤S4、在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据文件，来对资源进行变形模型morpher的初始化，在角色播放表情时，实现眉毛和胡子表情同步。

进一步的，所述步骤S1进一步具体为：生成眉毛或胡子资源，根据眉毛胡子模型顶点位置，做射线检测获取眉毛或胡子模型的每个顶点对应的脸部位置；射线检测时射线在脸部上的碰撞点，取该碰撞点位置脸部模型的uv坐标值，将uv坐标值设置到眉毛胡子模型顶点上的第3个uv通道；通过该操作，眉毛胡子的模型顶点，就存储该模型顶点对应的脸部模型位置上的uv坐标值，建立了绑定关系。

进一步的，所述步骤S2进一步的具体为：初始化脸部的数据至一标准脸模型上；初始化内容包括脸部的变形模型morpher数据、脸部骨骼变换；将初始化脸部的像素位置(x，y，z)信息，以脸部uv值为坐标，渲染到一张纹理上，进行保存，将此纹理称为初始头像素位置纹理。

进一步的，所述应用脸部变形数据具体为：一个脸资源含有多个变形模型morpher，依次使用变形模型morpher，以便记录每一个变形模型morpher对脸上的五官变形影响；遍历脸部的多个变形模型morpher，依次使用脸部的各个变形模型morpher，每应用一个变形模型morpher，将脸部的像素位置(x，y，z)信息记录下来，以脸部uv坐标值为坐标，渲染到一张纹理上进行保存，得到变形头像素位置纹理；将初始头像素位置纹理与变形头像素位置纹理相减，得到当前变形模型morpher对应的一个纹理deform map。

进一步的，所述步骤S3进一步包括：遍历眉毛或胡子顶点，以其顶点中的脸部uv坐标值，索引纹理deform map中的颜色值，根据所述颜色值，得到眉毛或胡子资源的顶点偏移数据集；将眉毛或胡子资源的顶点数据以及顶点偏移数据集合以二进制格式进行导出，并生成.bytes文件，所述文件称为资源的绑定数据。

进一步的，所述步骤S4进一步包括：生成人脸后装配对应的眉毛、胡子后，加载对应胡子、眉毛的绑定数据，在角色人脸播放表情时，实时同步脸部变形模型morpher权重至眉毛胡子的相同的变形模型morpher权重，实现眉毛胡子的联动。

本发明还提供了一种表情自动化生产系统，所述系统包括绑定模块、初始化数据模块、脸部变形处理模块、以及表情同步模块；

所述绑定模块，用于创建眉毛和胡子依附在脸部上的绑定关系；

所述初始化数据模块，用于初始化脸部的数据至一标准脸模型上；

所述脸部变形处理模块，应用脸部变形数据，并记录变形数据，将变形数据以二进制格式进行导出形成绑定数据文件；

所述表情同步模块，用于在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据文件，来对资源进行变形模型morpher的初始化，在角色播放表情时，实现眉毛和胡子表情同步。

进一步的，所述绑定模块的实现方式进一步具体为：生成眉毛或胡子资源，根据眉毛胡子模型顶点位置，做射线检测获取眉毛或胡子模型的每个顶点对应的脸部位置；射线检测时射线在脸部上的碰撞点，取该碰撞点位置脸部模型的uv坐标值，将uv坐标值设置到眉毛胡子模型顶点上的第3个uv通道；通过该操作，眉毛胡子的模型顶点，就存储该模型顶点对应的脸部模型位置上的uv坐标值，建立了绑定关系。

进一步的，所述初始化数据模块的实现方式进一步的具体为：初始化脸部的数据至一标准脸模型上；初始化内容包括脸部的变形模型morpher数据、脸部骨骼变换；将初始化脸部的像素位置(x，y，z)信息，以脸部uv值为坐标，渲染到一张纹理上，进行保存，将此纹理称为初始头像素位置纹理。

进一步的，所述应用脸部变形数据具体为：一个脸资源含有多个变形模型morpher，依次使用变形模型morpher，以便记录每一个变形模型morpher对脸上的五官变形影响；遍历脸部的多个变形模型morpher，依次使用脸部的各个变形模型morpher，每应用一个变形模型morpher，将脸部的像素位置(x，y，z)信息记录下来，以脸部uv坐标值为坐标，渲染到一张纹理上进行保存，得到变形头像素位置纹理；将初始头像素位置纹理与变形头像素位置纹理相减，得到当前变形模型morpher对应的一个纹理deform map。

进一步的，所述脸部变形处理模块的实现方式进一步包括：遍历眉毛或胡子顶点，以其顶点中的脸部uv坐标值，索引纹理deform map中的颜色值，根据所述颜色值，得到眉毛或胡子资源的顶点偏移数据集；将眉毛或胡子资源的顶点数据以及顶点偏移数据集合以二进制格式进行导出，并生成.bytes文件，所述文件称为资源的绑定数据。

进一步的，所述表情同步模块的实现方式进一步包括：生成人脸后装配对应的眉毛、胡子后，加载对应胡子、眉毛的绑定数据，在角色人脸播放表情时，实时同步脸部变形模型morpher权重至眉毛胡子的相同的变形模型morpher权重，实现眉毛胡子的联动。

本发明的有益效果在于：相较于传统人工眉毛胡子变形模型morpher制作流程，本专利采用自动化的方式实现批量产出，大大提高了眉毛胡子资源生产效率。原先一个眉毛或胡子的morpher需要几天的制作流程，现在只需要几秒钟就能完成眉毛或胡子变形模型morpher的批量制作。由于本专利采用自动化绑定人脸，方案不受限于眉毛胡子的形态，人脸的模型复杂度；因此本专利方案具有广泛的适用性，可移植性高。

附图说明

图1是本发明的方法流程示意图。

图2是本发明的一实施例的方法流程示意图。

图3是本发明的系统原理框图。

具体实施方式

下面结合附图对本发明做进一步说明。

请参阅图1所示，本发明的一种表情自动化生产方法，所述方法包括如下步骤：

步骤S1、创建眉毛和胡子依附在脸部上的绑定关系；

步骤S2、初始化脸部的数据至一标准脸模型上；

步骤S3、应用脸部变形数据，并记录变形数据，将变形数据以二进制格式进行导出形成绑定数据文件；

步骤S4、在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据文件，来对资源进行变形模型morpher的初始化，在角色播放表情时，实现眉毛和胡子表情同步。

如图2所示，本发明的的一种表情自动化生产方法，所述方法为：

步骤一：生成眉毛或胡子资源，根据模型顶点位置，做射线检测，获取眉毛或胡子模型的每个顶点，对应的脸部位置。记录该位置上，脸部的uv坐标值信息，保存在眉毛或胡子资源模型的顶点中。

步骤二：初始化脸部至标准脸模型，初始化内容包括脸部的morpher数据、脸部骨骼变换(位置，旋转角度和缩放大小)。将初始化脸部的像素位置(x，y，z)信息，以脸部uv坐标值为坐标，渲染到一张纹理上，进行保存。将此纹理称为初始头像素位置纹理。

步骤三：一个脸资源含有多个变形模型morpher，这是由美术同学制作。每个变形模型morpher都会影响到脸的五官形态和五官位置。依次使用变形模型morpher，以便记录每一个morpher对脸上的五官变形影响。一个脸资源含有多个变形模型morpher，依次使用变形模型morpher，以便记录每一个变形模型morpher对脸上的五官变形影响；遍历脸部的多个变形模型morpher，依次使用脸部的各个变形模型morpher，每应用一个变形模型morpher，将脸部的像素位置(x，y，z)信息记录下来，以脸部uv坐标值为坐标，渲染到一张纹理上，进行保存，得到变形头像素位置纹理。将初始头像素位置纹理与变形头像素位置纹理相减，得到当前morpher的一个纹理deform map。

步骤四：遍历眉毛或胡子顶点，以其顶点中的脸部uv坐标值，索引deform map中的颜色值，根据该颜色值，得到该资源的顶点偏移数据集。将该数据以及顶点偏移数据集合以二进制格式进行导出，并生成.bytes文件，该文件称为资源的绑定数据。

步骤五：在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据，来对资源进行Morpher的初始化；

步骤六：在角色播放表情时，将头部Morpher实时同步给眉毛或胡子，以实现表情自适配。

其中本发明的方法进一步具体为：

1.创建绑定关系：由于眉毛和胡子都是依附在脸部上的，脸部结构的变化会影响眉毛和胡子的位置与形态。因此需要将眉毛胡子与脸建立绑定关系。专利将眉毛胡子的顶点作为射线检测的起始点，在脸部内选定一个合适位置得到目标点作为射线检测的终点。射线在脸部上的碰撞点，取该点位置脸部模型的UV坐标值。将该UV坐标值设置到眉毛胡子模型顶点上的第3个UV通道。通过该操作，眉毛胡子的模型顶点，就存储该顶点对应的脸部模型位置上的uv坐标值，建立了绑定关系。

2.记录脸部变形：将原始脸的顶点位置，按原始脸的顶点UV坐标，渲到一张纹理图，记为Tex01；然后脸做完一个表情，其原始脸的顶点位置变化后，按变化后的UV坐标，再次渲到一张纹理图上，记为Tex02；由于是同一个脸部模型，其UV坐标是相同的，因此将两张纹理图，逐像素相减，就得到同一个UV坐标下，做表情时脸部顶点变化信息。将两张纹理相减后的纹理渲染成一张纹理，称该纹理为deform map。此纹理的特征是按脸部UV坐标，记录脸部表情变形的顶点数据(每个顶点的数据结构中包含顶点的坐标、UV信息、颜色信息等。正常做法都是使用顶点的坐标值来直接定义该顶点的位置，但这里是使用他的UV值来定义顶点的位置。)。

3.应用脸部变形数据：在渲染眉毛胡子时，传入纹理deform map，由于步骤1已经将脸部的uv坐标值数据存入到眉毛胡子的顶点上，因此只要在眉毛胡子vs渲染阶段，通过该uv坐标值，就可以索引由脸部uv坐标生成的deform map，查询到对应的uv坐标值的脸部的偏移信息。将该偏移值应用于眉毛胡子的顶点上，完成眉毛胡子变形。

4.记录变形数据：变形后的眉毛胡子由于其拓扑结构与变形前是完全一样的，因此可以将变形后的眉毛胡子记为变形前眉毛胡子的一个morpher。根据脸部表情数量，重复2和3，就可以批量生产眉毛胡子的morpher，并将相关数据转为二进制文件，存储为离线数据，该数据称为绑定数据。

5.眉毛胡子表情同步：生成人脸后装配对应的眉毛胡子后，加载对应胡子眉毛的绑定数据，在角色人脸播放表情时，实时同步脸部morpher权重至眉毛胡子的相同的morpher权重，实现眉毛胡子的联动。

本发明还提供了一种表情自动化生产系统，所述系统包括绑定模块、初始化数据模块、脸部变形处理模块、以及表情同步模块；

所述绑定模块，用于创建眉毛和胡子依附在脸部上的绑定关系；

所述初始化数据模块，用于初始化脸部的数据至一标准脸模型上；

所述脸部变形处理模块，应用脸部变形数据，并记录变形数据，将变形数据以二进制格式进行导出形成绑定数据文件；

所述表情同步模块，用于在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据文件，来对资源进行变形模型morpher的初始化，在角色播放表情时，实现眉毛和胡子表情同步。

其中，所述绑定模块的实现方式进一步具体为：生成眉毛或胡子资源，根据眉毛胡子模型顶点位置，做射线检测获取眉毛或胡子模型的每个顶点对应的脸部位置；射线检测时射线在脸部上的碰撞点，取该碰撞点位置脸部模型的uv坐标值，将uv坐标值设置到眉毛胡子模型顶点上的第3个uv通道；通过该操作，眉毛胡子的模型顶点，就存储该模型顶点对应的脸部模型位置上的uv坐标值，建立了绑定关系。

所述初始化数据模块的实现方式进一步的具体为：初始化脸部的数据至一标准脸模型上；初始化内容包括脸部的变形模型morpher数据、脸部骨骼变换；将初始化脸部的像素位置(x，y，z)信息，以脸部uv值为坐标，渲染到一张纹理上，进行保存，将此纹理称为初始头像素位置纹理。

所述应用脸部变形数据具体为：一个脸资源含有多个变形模型morpher，依次使用变形模型morpher，以便记录每一个变形模型morpher对脸上的五官变形影响；遍历脸部的多个变形模型morpher，依次使用脸部的各个变形模型morpher，每应用一个变形模型morpher，将脸部的像素位置(x，y，z)信息记录下来，以脸部uv坐标值为坐标，渲染到一张纹理上进行保存，得到变形头像素位置纹理；将初始头像素位置纹理与变形头像素位置纹理相减，得到当前变形模型morpher对应的一个纹理deform map。即记录脸部变形：将原始脸的顶点位置，按原始脸的顶点UV坐标，渲到一张纹理图，记为Tex01；然后脸做完一个表情，其原始脸的顶点位置变化后，按变化后的UV坐标，再次渲到一张纹理图上，记为Tex02；由于是同一个脸部模型，其UV坐标是相同的，因此将两张纹理图，逐像素相减，就得到同一个UV坐标下，做表情时脸部顶点变化信息。将两张纹理相减后的纹理渲染成一张纹理，称该纹理为deform map。此纹理的特征是按脸部UV坐标，记录脸部表情变形的顶点数据(每个顶点的数据结构中包含顶点的坐标、UV信息、颜色信息等。正常做法都是使用顶点的坐标值来直接定义该顶点的位置，但这里是使用他的UV值来定义顶点的位置。)。

所述脸部变形处理模块的实现方式进一步包括：遍历眉毛或胡子顶点，以其顶点中的脸部uv坐标值，索引纹理deform map中的颜色值，根据所述颜色值，得到眉毛或胡子资源的顶点偏移数据集；将眉毛或胡子资源的顶点数据以及顶点偏移数据集合以二进制格式进行导出，并生成.bytes文件，所述文件称为资源的绑定数据。

所述表情同步模块的实现方式进一步包括：生成人脸后装配对应的眉毛、胡子后，加载对应胡子、眉毛的绑定数据，在角色人脸播放表情时，实时同步脸部变形模型morpher权重至眉毛胡子的相同的变形模型morpher权重，实现眉毛胡子的联动。

总之，本发明相较于传统人工眉毛胡子变形模型morpher制作流程，本专利采用自动化的方式实现批量产出，大大提高了眉毛胡子资源生产效率。原先一个眉毛或胡子的morpher需要几天的制作流程，现在只需要几秒钟就能完成眉毛或胡子变形模型morpher的批量制作。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (12)

1.一种表情自动化生产方法，其特征在于：所述方法包括如下步骤：

步骤S1、创建眉毛和胡子依附在脸部上的绑定关系；

步骤S2、初始化脸部的数据至一标准脸模型上；

步骤S3、应用脸部变形数据，并记录变形数据，将变形数据以二进制格式进行导出形成绑定数据文件；

步骤S4、在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据文件，来对资源进行变形模型morpher的初始化，在角色播放表情时，实现眉毛和胡子表情同步。

2.根据权利要求1所述的一种表情自动化生产方法，其特征在于：所述步骤S1进一步具体为：生成眉毛或胡子资源，根据眉毛胡子模型顶点位置，做射线检测获取眉毛或胡子模型的每个顶点对应的脸部位置；射线检测时射线在脸部上的碰撞点，取该碰撞点位置脸部模型的uv坐标值，将uv坐标值设置到眉毛胡子模型顶点上的第3个uv通道；通过该操作，眉毛胡子的模型顶点，就存储该模型顶点对应的脸部模型位置上的uv坐标值，建立了绑定关系。

3.根据权利要求1所述的一种表情自动化生产方法，其特征在于：所述步骤S2进一步的具体为：初始化脸部的数据至一标准脸模型上；初始化内容包括脸部的变形模型morpher数据、脸部骨骼变换；将初始化脸部的像素位置(x，y，z)信息，以脸部uv值为坐标，渲染到一张纹理上，进行保存，将此纹理称为初始头像素位置纹理。

4.根据权利要求3所述的一种表情自动化生产方法，其特征在于：所述应用脸部变形数据具体为：一个脸资源含有多个变形模型morpher，依次使用变形模型morpher，以便记录每一个变形模型morpher对脸上的五官变形影响；遍历脸部的多个变形模型morpher，依次使用脸部的各个变形模型morpher，每应用一个变形模型morpher，将脸部的像素位置(x，y，z)信息记录下来，以脸部uv坐标值为坐标，渲染到一张纹理上进行保存，得到变形头像素位置纹理；将初始头像素位置纹理与变形头像素位置纹理相减，得到当前变形模型morpher对应的一个纹理deform map。

5.根据权利要求4所述的一种表情自动化生产方法，其特征在于：所述步骤S3进一步包括：遍历眉毛或胡子顶点，以其顶点中的脸部uv坐标值，索引纹理deform map中的颜色值，根据所述颜色值，得到眉毛或胡子资源的顶点偏移数据集；将眉毛或胡子资源的顶点数据以及顶点偏移数据集合以二进制格式进行导出，并生成.bytes文件，所述文件称为资源的绑定数据。

6.根据权利要求1所述的一种表情自动化生产方法，其特征在于：所述步骤S4进一步包括：生成人脸后装配对应的眉毛、胡子后，加载对应胡子、眉毛的绑定数据，在角色人脸播放表情时，实时同步脸部变形模型morpher权重至眉毛胡子的相同的变形模型morpher权重，实现眉毛胡子的联动。

7.一种表情自动化生产系统，其特征在于：所述系统包括绑定模块、初始化数据模块、脸部变形处理模块、以及表情同步模块；

所述绑定模块，用于创建眉毛和胡子依附在脸部上的绑定关系；

所述初始化数据模块，用于初始化脸部的数据至一标准脸模型上；

所述脸部变形处理模块，应用脸部变形数据，并记录变形数据，将变形数据以二进制格式进行导出形成绑定数据文件；

所述表情同步模块，用于在项目中通过生成眉毛或胡子资源，加载该资源对应的绑定数据文件，来对资源进行变形模型morpher的初始化，在角色播放表情时，实现眉毛和胡子表情同步。

8.根据权利要求7所述的一种表情自动化生产系统，其特征在于：所述绑定模块的实现方式进一步具体为：生成眉毛或胡子资源，根据眉毛胡子模型顶点位置，做射线检测获取眉毛或胡子模型的每个顶点对应的脸部位置；射线检测时射线在脸部上的碰撞点，取该碰撞点位置脸部模型的uv坐标值，将uv坐标值设置到眉毛胡子模型顶点上的第3个uv通道；通过该操作，眉毛胡子的模型顶点，就存储该模型顶点对应的脸部模型位置上的uv坐标值，建立了绑定关系。

9.根据权利要求7所述的一种表情自动化生产系统，其特征在于：所述初始化数据模块的实现方式进一步的具体为：初始化脸部的数据至一标准脸模型上；初始化内容包括脸部的变形模型morpher数据、脸部骨骼变换；将初始化脸部的像素位置(x，y，z)信息，以脸部uv值为坐标，渲染到一张纹理上，进行保存，将此纹理称为初始头像素位置纹理。

10.根据权利要求9所述的一种表情自动化生产系统，其特征在于：所述应用脸部变形数据具体为：一个脸资源含有多个变形模型morpher，依次使用变形模型morpher，以便记录每一个变形模型morpher对脸上的五官变形影响；遍历脸部的多个变形模型morpher，依次使用脸部的各个变形模型morpher，每应用一个变形模型morpher，将脸部的像素位置(x，y，z)信息记录下来，以脸部uv坐标值为坐标，渲染到一张纹理上进行保存，得到变形头像素位置纹理；将初始头像素位置纹理与变形头像素位置纹理相减，得到当前变形模型morpher对应的一个纹理deform map。

11.根据权利要求10所述的一种表情自动化生产系统，其特征在于：所述脸部变形处理模块的实现方式进一步包括：遍历眉毛或胡子顶点，以其顶点中的脸部uv坐标值，索引纹理deform map中的颜色值，根据所述颜色值，得到眉毛或胡子资源的顶点偏移数据集；将眉毛或胡子资源的顶点数据以及顶点偏移数据集合以二进制格式进行导出，并生成.bytes文件，所述文件称为资源的绑定数据。

12.根据权利要求7所述的一种表情自动化生产系统，其特征在于：所述表情同步模块的实现方式进一步包括：生成人脸后装配对应的眉毛、胡子后，加载对应胡子、眉毛的绑定数据，在角色人脸播放表情时，实时同步脸部变形模型morpher权重至眉毛胡子的相同的变形模型morpher权重，实现眉毛胡子的联动。

Images