CN114332313A

CN114332313A - 一种三维虚拟动画的制作方法和系统

Info

Publication number: CN114332313A
Application number: CN202210234706.9A
Authority: CN
Inventors: 黄昌正; 周言明; 陈曦; 姚森林
Original assignee: Dongguan Yilian Interation Information Technology Co ltd
Current assignee: Dongguan Yilian Interation Information Technology Co ltd
Priority date: 2022-03-11
Filing date: 2022-03-11
Publication date: 2022-04-12

Abstract

本发明实施例提供了一种三维虚拟动画的制作方法和系统。所述方法包括：采集惯性动捕数据，采集视觉动捕数据，构建初始虚拟骨架模型，结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据，采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，生成三维虚拟动画，采用本发明的技术方案，降低了环境光线、环境空间等因素对动作捕捉效果造成影响的同时，大大延长了动作捕捉的持续时长，从而可以实现较长时间的持续虚拟直播。

Description

一种三维虚拟动画的制作方法和系统

技术领域

本发明涉及三维虚拟动画技术领域，特别是涉及一种三维虚拟动画的制作方法和系统。

背景技术

当下的部分虚拟直播是通过单个摄像头对自己的脸部以及身体进行拍摄，再将图像数据进行计算转换成让三维虚拟人物模型的动作数据。该方案也存在以下缺点：对空间结构要求高，相机与捕捉目标之间不能存在遮挡物，且占用面积大；对环境光照的变化十分敏感，不同光照条件下的动捕效果也不同，容易受环境光线、复杂背景所影响；因相机的视觉域的限制，使用者需要位于视觉域中心，且使用者的运动空间被限制在摄像机的视觉范围内，当使用者在视域边缘时解算得出的动作数据会因使用者与摄像机所成的角度变大而发生偏差，导致动作变形。

虚拟直播的动捕数据获取方式除了依靠计算机视觉外，还可以依靠惯性传感器，采用惯性传感器固定在人的身上，获取人的各个部位的运动学信息，然后通过惯性导航原理即可完成运动目标的姿态角度测量。基于惯性传感器的动捕系统的虚拟直播，由于测量噪声和游走误差等因素的影响，惯性传感器无法长时间地对人体姿态进行精确的跟踪。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种三维虚拟动画的制作方法和相应的一种三维虚拟动画的制作系统。

为了解决上述问题，本发明实施例公开了一种三维虚拟动画的制作方法，所述方法包括：

采集惯性动捕数据；

采集视觉动捕数据；

构建初始虚拟骨架模型；

结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据；

采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，生成三维虚拟动画。

可选地，结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据的步骤包括：

对所述惯性动捕数据进行重定向，生成惯性重定向数据；

对所述视觉动捕数据进行重定向，生成视觉重定向数据；

确定函数插值；

基于所述惯性重定向数据以及视觉重定向数据，采用预设函数以及所述函数插值计算得到虚拟骨架动作数据。

可选地，对所述惯性动捕数据进行重定向，生成惯性重定向数据的步骤包括：

获取惯性动捕系统的第一静止姿势数据；

获取初始虚拟骨架模型的第二静止姿势数据；

采用所述第一静止姿势数据以及第二静止姿势数据计算得到第一姿势差异数据；

采用所述惯性动捕数据以及第一姿势差异数据计算，得到惯性重定向数据。

可选地，对所述视觉动捕数据进行重定向，生成视觉重定向数据的步骤包括：

获取视觉动捕系统的第三静止姿势数据；

获取初始虚拟骨架模型的第四静止姿势数据；

采用所述第三静止姿势数据以及第四静止姿势数据计算得到第二姿势差异数据；

采用所述视觉动作数据以及第二姿势差异数据计算，得到视觉重定向数据。

本发明实施例还公开了一种三维虚拟动画的制作系统，所述系统包括：

惯性动捕数据采集模块，用于采集惯性动捕数据；

视觉动捕数据采集模块，用于采集视觉动捕数据；

初始虚拟骨架模型构建模块，用于构建初始虚拟骨架模型；

虚拟骨架动作数据生成模块，用于结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据；

三维虚拟动画生成模块，用于采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，生成三维虚拟动画。

可选地，虚拟骨架动作数据生成模块包括：

惯性重定向数据生成子模块，用于对所述惯性动捕数据进行重定向，生成惯性重定向数据；

视觉重定向数据生成子模块，用于对所述视觉动捕数据进行重定向，生成视觉重定向数据；

函数插值确定子模块，用于确定函数插值；

虚拟骨架动作数据生成子模块，用于基于所述惯性重定向数据以及视觉重定向数据，采用预设函数以及所述函数插值计算得到虚拟骨架动作数据。

可选地，惯性重定向数据生成子模块包括：

第一静止姿势数据获取单元，用于获取惯性动捕系统的第一静止姿势数据；

第二静止姿势数据获取单元，用于获取初始虚拟骨架模型的第二静止姿势数据；

第一姿势差异数据计算单元，用于采用所述第一静止姿势数据以及第二静止姿势数据计算得到第一姿势差异数据；

惯性重定向数据计算单元，用于采用所述惯性动捕数据以及第一姿势差异数据计算，得到惯性重定向数据。

可选地，视觉重定向数据生成子模块包括：

第三静止姿势数据获取单元，用于获取视觉动捕系统的第三静止姿势数据；

第四静止姿势数据获取单元，用于获取初始虚拟骨架模型的第四静止姿势数据；

第二姿势差异数据计算单元，采用所述第三静止姿势数据以及第四静止姿势数据计算得到第二姿势差异数据；

视觉重定向数据计算单元，采用所述视觉动作数据以及第二姿势差异数据计算，得到视觉重定向数据。

本发明实施例包括以下优点：采集惯性动捕数据，采集视觉动捕数据，构建初始虚拟骨架模型，结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据，采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，生成三维虚拟动画，采用本发明的技术方案，降低了环境光线、环境空间等因素对动作捕捉效果造成影响的同时，大大延长了动作捕捉的持续时长，从而实现较长时间的持续虚拟直播。

附图说明

图1是本发明的一种三维虚拟动画的制作方法实施例一的步骤流程图。

图2是本发明的一种三维虚拟动画的制作系统实施例一的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种三维虚拟动画的制作方法实施例一的步骤流程图，具体可以包括如下步骤：

步骤101，采集惯性动捕数据；

首先，实时采集场景中用户的惯性动捕数据。具体地，用户可以穿上惯性动捕设备，所述惯性动捕设备包括多组惯性传感器，所述多组惯性传感器布置于用户的各个关节段位置，每个惯性传感器能够检测对应关节点的空间坐标变化，从而计算出用户各个骨骼的旋转量，即惯性动捕数据。

步骤102，采集视觉动捕数据；

在采集场景中用户的惯性动捕数据的同时，实时采集用户的视觉动捕数据。具体地，可以通过在场景中布置一个或者多个摄像头，对用户进行拍摄，得到实时场景图像。然后，对实时场景图像进行人体识别以及人体骨骼识别，在对人体所有骨骼进行识别并标记后，跟踪每个骨骼的运动情况，从而得到每个骨骼的旋转量，即视觉动捕数据。

步骤103，构建初始虚拟骨架模型；

在本发明实施例中，所述初始虚拟骨架模型的构建应参照实际人体骨架的构成以及比例，这样才能保证采集到的每个骨骼的动捕数据能够映射到初始虚拟骨架模型中相同的骨骼上，从而精准地控制初始虚拟骨架模型中每个骨骼进行运动。

步骤104，结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据；

在动捕系统中三维虚拟人物的动作都是通过将动捕数据直接作用在对应的骨骼上得到。然而，由于不同的建模习惯，导致初始虚拟骨架模型的骨骼初始轴向不尽相同，那么相同的动作在不同骨架上对应的旋转量就可能出现不相等的情况，而相同的旋转量作用在不同模型的相同骨骼上也可能出现骨骼动作不同的情况。所有动捕系统包括惯性动捕系统以及视觉动捕系统，都具有其人体骨架模型，由于初始虚拟骨架模型与动捕系统的人体骨架的骨架模型的初始轴向可能存在差异，因此将，动捕系统的动作数据直接作用于虚拟骨架模型上时可能会出现动作错误的现象。

为了解决动作错误的问题，在作用于初始虚拟骨架模型之前需要先将动作数据重定向为适用于该骨架的动作数据。动作数据重定向的过程是基于动捕系统的骨架模型与初始虚拟骨架模型处于相同姿势时计算得到姿势差异值，再将从动捕设备中获取得到的动捕数据加上姿势差异值得到适用于初始虚拟骨架模型的重定向数据。

在本发明实施例中，结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据的步骤包括：

对所述惯性动捕数据进行重定向，生成惯性重定向数据；

对所述惯性动捕数据进行重定向，生成惯性重定向数据的步骤包括：

获取惯性动捕系统的第一静止姿势数据；

获取初始虚拟骨架模型的第二静止姿势数据；

首先，用户保持一个静止的动作，例如用户保持垂直站立的姿势，获取惯性动捕设备此时输出的第一静止姿势数据；然后使初始虚拟骨架模型同样做出垂直站立的姿势，获取该模型输出的第二静止姿势数据，采用所述第一静止姿势数据以及第二静止姿势数据计算得到第一姿势差异数据，最后，采用所述惯性动捕数据以及第一姿势差异数据计算，得到惯性重定向数据，具体的计算公示为：

；

其中，

为第一姿势差异数据；

为第一静止姿势数据；

为第二静止姿势数据；

为惯性动捕数据；

为惯性重定向数据。

对所述视觉动捕数据进行重定向，生成视觉重定向数据；

对所述视觉动捕数据进行重定向，生成视觉动捕数据的步骤包括：

获取视觉动捕系统的第三静止姿势数据；

获取初始虚拟骨架模型的第四静止姿势数据；

同理，首先，用户保持一个静止的动作，例如正坐着的动作，获取视觉动捕设备此时输出的第三静止姿势数据；然后使初始虚拟骨架模型同样做出正坐着的姿势，获取该模型输出的第四静止姿势数据，采用所述第三静止姿势数据以及第四静止姿势数据计算得到第二姿势差异数据，最后，采用所述视觉动捕数据以及第二姿势差异数据计算，得到视觉重定向数据。

确定函数插值；

在本发明实施例中，函数插值能够决定虚拟骨架动作数据中惯性重定向数据以及视觉重定向数据的权重。当场景对惯性动捕系统影响更大时，例如出现惯性动捕数据的数据漂移时，可以通过合理设置函数插值，使得虚拟骨架动作数据中视觉重定向数据的权重更大，那么使得虚拟骨架动作数据能够排除惯性动捕数据带来的误差；另一种情况中，当场景对视觉动捕系统影响更大时，例如视觉摄像头被遮挡时，可以通过合理设置函数插值，使得虚拟骨架动作数据中惯性重定向数据的权重更大，那么使得虚拟骨架动作数据能够排除视觉动捕数据带来的误差。

所述预设函数为：

其中，

为虚拟骨架动作数据；

为惯性重定向数据；

为视觉重定向数据；

K为函数插值。

K为所选取的插值，K的取值范围为0至1，可根据使用时间、两组动作数据的效果进行调整，当K=0时

=

，即直接使用重定向后的惯性动作数据作为该帧修正后的动作数据；当K=1时

=

，即直接使用重定向后的光学动作数据作为该帧修正后的动作数据。

步骤105，采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，生成三维虚拟动画。

本发明实施例中，生成了虚拟骨架动作数据后，便可采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，从而生成三维虚拟动画，本发明实施例对此过程不作进一步的限制。

在本发明实施例中，采集惯性动捕数据，采集视觉动捕数据，构建初始虚拟骨架模型，结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据，采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，生成三维虚拟动画，采用本发明的技术方案，降低了环境光线、环境空间等因素对动作捕捉效果造成影响的同时，大大延长了动作捕捉的持续时长，从而实现较长时间的持续虚拟直播。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图2，示出了本发明的一种三维虚拟动画的制作系统实施例一的结构框图，具体可以包括如下模块：

惯性动捕数据采集模块201，用于采集惯性动捕数据；

视觉动捕数据采集模块202，用于采集视觉动捕数据；

初始虚拟骨架模型构建模块203，用于构建初始虚拟骨架模型；

虚拟骨架动作数据生成模块204，用于结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据；

三维虚拟动画生成模块205，用于采用所述虚拟骨架动作数据控制所述初始虚拟骨架模型进行动作，生成三维虚拟动画。

在本发明实施例中，虚拟骨架动作数据生成模块包括：

函数插值确定子模块，用于确定函数插值；

在本发明实施例中，惯性重定向数据生成子模块包括：

在本发明实施例中，视觉重定向数据生成子模块包括：

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种装置，包括：

包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述一种三维虚拟动画的制作方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述一种三维虚拟动画的制作方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多组其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多组流程和／或方框图一个方框或多组方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多组流程和／或方框图一个方框或多组方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多组流程和／或方框图一个方框或多组方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种三维虚拟动画的制作方法和一种三维虚拟动画的制作系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种三维虚拟动画的制作方法，其特征在于，所述方法包括：

采集惯性动捕数据；

采集视觉动捕数据；

构建初始虚拟骨架模型；

2.根据权利要求1所述的方法，其特征在于，结合所述惯性动捕数据以及视觉动捕数据，生成虚拟骨架动作数据的步骤包括：

对所述惯性动捕数据进行重定向，生成惯性重定向数据；

对所述视觉动捕数据进行重定向，生成视觉重定向数据；

确定函数插值；

3.根据权利要求1所述的方法，其特征在于，对所述惯性动捕数据进行重定向，生成惯性重定向数据的步骤包括：

获取惯性动捕系统的第一静止姿势数据；

获取初始虚拟骨架模型的第二静止姿势数据；

4.根据权利要求1所述的方法，其特征在于，对所述视觉动捕数据进行重定向，生成视觉重定向数据的步骤包括：

获取视觉动捕系统的第三静止姿势数据；

获取初始虚拟骨架模型的第四静止姿势数据；

采用所述视觉动捕数据以及第二姿势差异数据计算，得到视觉重定向数据。

5.一种三维虚拟动画的制作系统，其特征在于，所述系统包括：

惯性动捕数据采集模块，用于采集惯性动捕数据；

视觉动捕数据采集模块，用于采集视觉动捕数据；

初始虚拟骨架模型构建模块，用于构建初始虚拟骨架模型；

6.根据权利要求5所述的系统，其特征在于，虚拟骨架动作数据生成模块包括：

函数插值确定子模块，用于确定函数插值；

7.根据权利要求6所述的系统，其特征在于，惯性重定向数据生成子模块包括：

8.根据权利要求5所述的系统，其特征在于，视觉重定向数据生成子模块包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的一种三维虚拟动画的制作方法的步骤。