CN108961428A - 一种三维动作的风格迁移方法、介质、装置和计算设备 - Google Patents

Abstract

本发明的实施方式提供了一种三维动作的风格迁移方法、装置、介质和计算设备。该方法包括：提取目标动作的目标动作特征和风格动作的风格动作特征，将目标动作特征与风格动作特征进行融合生成目标风格动作，该目标风格动作是具有目标动作风格的目标三维动作。通过将目标三维动作的动作风格从原始动作风格迁移为目标动作风格，本发明的方法简化了生成不同动作风格的三维动作的过程，缩短了不同动作风格的三维动作的生成时间，降低了不同动作风格的三维动作的生成难度，解决了三维动作数据与虚拟角色的动作风格之间存在的冲突。本发明的方法通过提高三维动作数据的复用性，还降低了游戏安装包内三维动作数据量以及游戏的部署成本。

Description

一种三维动作的风格迁移方法、介质、装置和计算设备

技术领域

本发明的实施方式涉及软件技术领域，更具体地，本发明的实施方式涉及一种三维动作的风格迁移方法、介质、装置和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前，三维视觉效果广泛应用于娱乐、体育、医疗、军事、机器视觉以及机器人技术等诸多领域。为了使三维视觉效果中虚拟角色的三维动作更加真实自然，需要根据这些虚拟角色的性格、年龄、社会地位、生活状态、所处场景等因素来为这些虚拟角色生成具有不同动作风格的三维动作，例如根据不同虚拟角色各自的动作风格可以将“走路”这个三维动作分别实现为：大汉醉酒后东倒西歪地走、军人抬头挺胸地走、小孩子蹦蹦跳跳地走、老人家拄着拐杖地走、伤员缓慢虚软地走等。

三维动作可以量化表达为三维动作数据，三维动作数据包括动作执行者在运动过程中各个关节点的参数。现有的三维动作数据的获取方式主要包括以下几种：

第一种技术方案：根据不同动作风格寻找匹配演员，再通过动作捕捉设备(MotionCapture，Mocap)来获取这些匹配演员所表演的动作的三维动作数据。受限于动作捕捉设备的安装使用条件、人力成本、场地成本等诸多原因，这种技术方案耗费时间长，采集成本高。

第二种技术方案：将素材库中一个虚拟角色的三维动作数据复用于其他虚拟角色，从而生成其他虚拟角色的三维动作。但不同虚拟角色的动作风格之间存在差异，因此这种技术方案可能会导致复用的三维动作数据与虚拟角色的动作风格之间存在冲突，使得这些虚拟角色的三维动作生硬，用户体验差。

第三种技术方案：由动画绑定师(Animation Rigger)根据素材库中一个虚拟角色的动作风格，对该虚拟角色的三维动作数据进行重新绑定和骨架参数调整，再将该虚拟角色的三维动作数据复用于另一虚拟角色，从而生成另一虚拟角色的三维动作。三维动作数据包括虚拟角色各个关节点的参数，这些关节点的数量庞大，且这些关节点之间的配合复杂，因此该技术方案的实现难度大、耗费时间长、成本高，并且仍可能会导致复用的三维动作数据与虚拟角色的动作风格之间存在冲突。

综上，现有的获取三维动作数据的技术方案存在耗费时间长，成本高，操作过程繁琐，实现难度大以及三维动作数据与虚拟角色的动作风格之间存在冲突等问题。

发明内容

出于目前的获取三维动作数据的技术方案存在耗费时间长，成本高，操作过程繁琐，实现难度大以及三维动作数据与虚拟角色的动作风格之间存在冲突等问题。因此现有的获取三维动作数据的技术方案均不能较好地实现三维动作的风格迁移。

为此，非常需要一种改进的获取三维动作数据的技术方案，以实现三维动作的风格迁移。

在本上下文中，本发明的实施方式期望提供一种三维动作的风格迁移方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种三维动作的风格迁移方法，包括：提取目标动作的目标动作特征，目标动作是具有原始动作风格的目标三维动作；以及提取风格动作的风格动作特征，风格动作是具有目标动作风格的三维动作；将目标动作特征与风格动作特征进行融合生成目标风格动作，目标风格动作是具有目标动作风格的目标三维动作。

在本发明的一个实施例中，提取动作特征的方法，包括：输入待提取动作，待提取动作包括目标动作和/或风格动作；通过特征提取网络从待提取动作中提取出待提取动作的动作特征，特征提取网络用于提取待提取动作映射到动作场中对应的动作特征，动作场是用于承载和描述三维动作的动作特征的特征空间，待提取动作的动作特征包括目标动作特征和/或风格动作特征。

在本发明的一个实施例中，将目标动作特征与风格动作特征进行融合生成目标风格动作，包括：通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征，其中，特征融合网络为具有对动作场中的多个动作特征进行融合的功能的网络结构；基于目标风格动作特征生成目标风格动作。

在本发明的一个实施例中，通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征，包括：根据原始特征相似度将目标动作特征映射到特征融合网络中，原始特征相似度用于指示目标动作特征在目标风格动作特征中所占的权重；以及根据动作风格相似度将风格动作特征映射到特征融合网络中，动作风格相似度用于指示风格动作特征在目标风格动作特征中所占的权重；通过特征融合网络对映射到特征融合网络中的目标动作特征和风格动作特征进行融合得到目标风格动作特征。

相应地，在本发明的一个实施例中，特征融合网络中目标动作特征的动作特征维度与风格动作特征的动作特征维度一致，动作特征维度是指用于承载动作特征的特征向量的长度。

在本发明的一个实施例中，基于目标风格动作特征生成目标风格动作，包括：将目标风格动作特征输入动作生成网络，动作生成网络是用于将动作场中的动作特征映射为三维动作的网络结构；将输入的目标风格动作特征通过动作生成网络转换为目标风格动作。

在本发明的一个实施例中，将目标动作特征与风格动作特征进行融合生成目标风格动作之后，还包括：判断目标风格动作是否存在异常现象，异常现象包括高频抖动和/或关节异常滑动；若目标风格动作存在异常现象，则触发动作生成网络重新生成目标风格动作；或者若目标风格动作不存在异常现象，则输出目标风格动作。

在本发明的一个实施例中，判断目标风格动作是否存在异常现象，包括：对目标风格动作进行傅里叶变换得到目标风格动作的频域信息；判断目标风格动作的频域信息中是否存在高于第一阈值的部分，其中高于第一阈值的部分对应目标风格动作的高频抖动。

在本发明的一个实施例中，判断目标风格动作是否存在异常现象，包括：若目标风格动作包括接触地面的动作，则在执行接触地面的动作的时间段内，统计目标风格动作中关节相对于地面的位移，并将关节相对于地面的位移作为关节滑动分量，关节滑动分量用于指示目标风格动作中特定关节与地面之间的滑动关系；判断关节滑动分量是否高于第二阈值。

在本发明实施方式的第二方面中，提供了一种三维动作的风格迁移装置，包括提取单元和生成单元。提取单元用于提取目标动作的目标动作特征，目标动作是具有原始动作风格的目标三维动作；以及提取风格动作的风格动作特征，风格动作是具有目标动作风格的三维动作。生成单元用于将目标动作特征与风格动作特征进行融合生成目标风格动作，目标风格动作是具有目标动作风格的目标三维动作。

在本发明的一个实施例中，提取单元还包括特征提取网络，提取单元具体用于：输入待提取动作，待提取动作包括目标动作和/或风格动作；通过特征提取网络从待提取动作中提取出待提取动作的动作特征，特征提取网络是用于提取待提取动作映射到动作场中对应的动作特征的网络结构，动作场是用于承载和描述三维动作的动作特征的特征空间，待提取动作的动作特征包括目标动作特征和/或风格动作特征。

在本发明的一个实施例中，生成单元还包括特征融合网络，生成单元具体用于：通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征，其中，特征融合网络为具有对动作场中的多个动作特征进行融合的功能的网络结构；基于目标风格动作特征生成目标风格动作。

在本发明的一个实施例中，生成单元通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征时，具体用于：根据原始特征相似度将目标动作特征映射到特征融合网络中，原始特征相似度用于指示目标动作特征在目标风格动作特征中所占的权重；以及根据动作风格相似度将风格动作特征映射到特征融合网络中，动作风格相似度用于指示风格动作特征在目标风格动作特征中所占的权重；通过特征融合网络对映射到特征融合网络中的目标动作特征和风格动作特征进行融合得到目标风格动作特征。

在本发明的一个实施例中，特征融合网络中目标动作特征的动作特征维度与风格动作特征的动作特征维度一致，动作特征维度是指用于承载动作特征的特征向量的长度。

在本发明的一个实施例中，生成单元还包括动作生成网络，生成单元基于目标风格动作特征生成目标风格动作时，具体用于：将目标风格动作特征输入动作生成网络，动作生成网络是用于将动作场中的动作特征映射为三维动作的网络结构；将输入的目标风格动作特征通过动作生成网络转换为目标风格动作。

在本发明的一个实施例中，生成单元还包括约束模块，约束模块用于：在将目标动作特征与风格动作特征进行融合生成目标风格动作之后，判断目标风格动作是否存在异常现象，异常现象包括高频抖动和/或关节异常滑动；若目标风格动作存在异常现象，则触发动作生成网络重新生成目标风格动作；或者若目标风格动作不存在异常现象，则输出目标风格动作。

在本发明的一个实施例中，约束模块判断目标风格动作是否存在异常现象时，具体用于：对目标风格动作进行傅里叶变换得到目标风格动作的频域信息；判断目标风格动作的频域信息中是否存在高于第一阈值的部分，其中高于第一阈值的部分对应目标风格动作的高频抖动。

在本发明的一个实施例中，约束模块判断目标风格动作是否存在异常现象时，具体用于：若目标风格动作包括接触地面的动作，则在执行接触地面的动作的时间段内，统计目标风格动作中关节相对于地面的位移，并将关节相对于地面的位移作为关节滑动分量，关节滑动分量用于指示目标风格动作中特定关节与地面之间的滑动关系；判断关节滑动分量是否高于第二阈值。

在本发明实施方式的第三方面中，提供了一种介质，该介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行第一方面中任一实施例的方法。

在本发明实施方式的第四方面中，提供了一种计算设备，包括处理器、存储器以及收发机；存储器，用于存储处理器执行的程序；处理器，用于根据存储器存储的程序，执行第一方面中任一实施例的方法；收发机，用于在处理器的控制下接收或发送数据。

通过本发明提供的技术方案，可以提取目标动作的目标动作特征以及风格动作的风格动作特征，将目标动作特征和风格动作特征进行融合并生成目标风格动作，该目标风格动作是具有目标动作风格的目标三维动作，实现了将目标三维动作的动作风格从原始动作风格迁移为目标动作风格，简化了生成不同动作风格的三维动作的过程，缩短了不同动作风格的三维动作的生成时间，降低了不同动作风格的三维动作的生成难度，解决了三维动作数据与虚拟角色的动作风格之间存在的冲突。此外，针对游戏中虚拟角色的三维动作，由于本发明提供的技术方案解决了三维动作数据与虚拟角色的动作风格之间存在的冲突，提高了三维动作数据的复用性，因此本发明提供的技术方案还有助于降低游戏安装包内三维动作数据量，以及游戏的部署成本。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了本发明实施例涉及的一种三维动作的风格迁移方法的流程示意图；

图2示意性地示出了根据本发明实施例涉及的一种特征提取网络和动作生成网络的训练方法的示意图；

图3示意性地示出了根据本发明实施例涉及的一种生成目标风格动作方法的流程示意图；

图4示意性地示出了本发明实施例涉及的一种三维动作的风格迁移过程的示意图；

图5示意性地示出了根据本发明实施例涉及的一种风格迁移装置的结构示意图；

图6示意性地示出了根据本发明实施例涉及的一种介质的结构示意图；

图7示意性地示出了根据本发明实施例涉及的一种计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种三维动作的风格迁移方法、装置、介质和计算设备。

在本文中，需要理解的是，所涉及的几个术语的含义分别为：

三维动作：可以量化表达为三维动作数据，通常三维动作数据包括动作执行者在运动过程中各个关节点的参数，例如各个关节点的平移参数、旋转参数以及伸缩变换参数。三维动作序列为三维动作数据的一种具体形式。通常，三维动作数据可以采用欧氏空间中坐标系的坐标进行描述。

动作风格：可以理解为动作执行者在执行动作时所表现的状态。不同的动作执行者由于如身份、年龄、社会地位、生活状态等各种因素在执行同一动作时会表现出不同的动作风格，例如“走路”这个动作：大汉醉酒后表现的动作风格是东倒西歪、军人训练时表现的动作风格是抬头挺胸、小孩子出门玩耍时表现的动作风格是蹦蹦跳跳。同一动作执行者也可能因为这些因素的影响在执行同一动作时表现出不同的动作风格，仍以“走路”这个动作为例：一个人生病之前的动作风格可能是健步如飞，但这个人生病之后的动作风格可能是虚软无力。

风格迁移：是指在保证原始数据内容一致的前提下，使数据的展示风格更接近目标数据的过程。针对三维动作数据的风格迁移，主要是将三维动作数据迁移到不同动作风格的虚拟角色的模型上，以使这些虚拟角色执行相同动作内容的三维动作时展现符合各自角色设定的动作风格。

三维动作的动作特征：即动作特征，可以表示为动作场中的特征向量。

动作场：是一种用于承载和描述三维动作的动作特征的网络结构，这种网络结构可以例如是神经网络。

动作特征维度：是指在动作场中用于承载动作特征的特征向量的长度。

自动编码器：又称为自编码器，是一种无监督的机器学习算法。自编码器能够用于数据特征的提取，以及基于该数据特征的数据生成。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，目前的获取三维动作数据的技术方案存在耗费时间长，成本高，操作过程繁琐，实现难度大以及三维动作数据与虚拟角色的动作风格之间存在冲突等问题。针对上述问题，本发明提供了一种三维动作的风格迁移方法、装置、介质和计算设备。通过本发明提供的技术方案，可以提取目标动作的目标动作特征以及风格动作的风格动作特征，将目标动作特征和风格动作特征进行融合并生成目标风格动作，该目标风格动作是具有目标动作风格的目标三维动作。通过上述方案实现了将目标三维动作的动作风格从原始动作风格迁移为目标动作风格，简化了生成不同动作风格的三维动作的过程，缩短了不同动作风格的三维动作的生成时间，降低了不同动作风格的三维动作的生成难度，解决了三维动作数据与虚拟角色的动作风格之间存在的冲突。此外，针对游戏中虚拟角色的三维动作，由于本发明提供的技术方案解决了三维动作数据与虚拟角色的动作风格之间存在的冲突，提高了三维动作数据的复用性，因此本发明提供的技术方案还有助于降低游戏安装包内三维动作数据量以及游戏的部署成本。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

本发明实施例可以应用于生成三维动作的场景，以及迁移三维动作的动作风格的场景。本发明实施例涉及的三维动作可以是娱乐、体育、医疗、军事、机器视觉以及机器人技术等领域中任一领域的三维视觉系统中的三维动作。

示例性方法

参考图1来描述根据本发明示例性实施方式的用于三维动作的风格迁移方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

本发明实施例提供了一种三维动作的风格迁移方法，如图1所示，该方法包括：

S101、提取目标动作的目标动作特征，目标动作是具有原始动作风格的目标三维动作；

S102、提取风格动作的风格动作特征，风格动作是具有目标动作风格的三维动作；

S103、将目标动作特征与风格动作特征进行融合生成目标风格动作，目标风格动作是具有目标动作风格的目标三维动作。

需要说明的是，可以同时执行S101和S102，也可以先执行S101再执行S102，还可以先执行S102再执行S101，此处并不限定。

本发明实施例中，需理解的是，目标动作和目标风格动作的动作内容相同，但这两个动作的动作风格不同；而风格动作和目标风格动作的动作风格相同，但这两个动作的动作内容不同。例如，目标动作和目标风格动作的动作内容均为“喝酒”，但目标动作的动作风格为粗放豪迈(即该目标动作可以表现为豪迈地端起杯子大口灌入)，目标风格动作的动作风格为安静内敛(即该目标风格动作可以表现为慢慢拿起杯子小口细品)；而风格动作和目标风格动作的动作风格均为安静内敛，但风格动作的动作内容为“写字”，目标风格动作的动作内容为“喝酒”。

本发明实施例中，动作特征包括但不限于目标动作特征和/或风格动作特征。动作特征可以采用特征向量的形式来表示，例如目标动作特征可以是风格动作α_c的特征向量f_c＝F(α_c)，风格动作特征可以是风格动作α_s的特征向量f_s＝F(α_s)。

通过图1所示的方法，可以提取目标动作的目标动作特征以及风格动作的风格动作特征，将目标动作特征和风格动作特征进行融合并生成目标风格动作，该目标风格动作是具有目标动作风格的目标三维动作。通过上述方案实现了将目标三维动作的动作风格从原始动作风格迁移为目标动作风格，简化了生成不同动作风格的三维动作的过程，缩短了不同动作风格的三维动作的生成时间，降低了不同动作风格的三维动作的生成难度，解决了三维动作数据与虚拟角色的动作风格之间存在的冲突。此外，针对游戏中虚拟角色的三维动作，由于图1所示的方法解决了三维动作数据与虚拟角色的动作风格之间存在的冲突，提高了三维动作数据的复用性，因此图1所示的方法还有助于降低游戏安装包内三维动作数据量，以及游戏的部署成本。

下面对该方法的各个步骤进行说明。

S101中提取目标动作特征的实现方式和S102中提取风格动作特征的实现方式类似，两者可相互参见。提取动作特征的实现方式有多种，此处并不限定。例如其中一种实现方式包括以下步骤：

步骤一：输入待提取动作，该待提取动作包括但不限于目标动作和/或风格动作。如果待提取动作包括目标动作和风格动作，那么可以分别将目标动作和风格动作输入到两个特征提取网络中，也可以将目标动作和风格动作输入到同一特征提取网络中，此处并不限定。

步骤二：通过特征提取网络从待提取动作中提取出待提取动作的动作特征。其中，特征提取网络用于提取待提取动作映射到动作场中对应的动作特征。特征提取网络提取动作特征的原理为：通过特征提取网络中的多个网络层进行分层次、多尺度的数值映射，从而将具备不同动作风格的三维动作序列转换成动作场中的动作特征(即特征向量)。特征提取网络的结构可以采用例如自编码器结构，该自编码器结构包括的各网络层的类型可以为全连接层或卷积层；特征提取网络的结构也可以采用其他的神经网络结构，此处并不限定。动作场是用于承载和描述三维动作的动作特征的特征空间。特征空间是用于描述具有共同特征的数学定义域，例如用于承载和描述三维动作数据的特征空间可以是欧氏空间。待提取动作的动作特征包括但不限于目标动作特征和/或风格动作特征。

以图2所示的特征提取网络及其训练过程为例，特征提取网络为前向编码器F，待提取动作为三维动作α_i，动作场为特征场，该前向编码器F包括多个网络层l₁、l₂、l₃。步骤一中将三维动作α_i输入前向编码器F，步骤二中通过该前向编码器F提取三维动作α_i映射到特征场中对应的动作特征F(α_i)。

S103中将目标动作特征与风格动作特征进行融合生成目标风格动作的实现方式，如图3所示，包括以下步骤：

S301：通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征。

本发明实施例中，特征融合网络为具有对动作场中的多个动作特征进行融合的功能的网络结构，特征融合网络的网络结构是以动作场为基础的。特征融合网络的工作原理为：在动作场中通过融合不同动作对应的特征向量(即从不同动作中提取到的动作特征)得到融合后的特征向量，使得后续可以将该融合后的特征向量映射到三维空间坐标系中得到三维动作。

可选的，特征融合网络中目标动作特征的动作特征维度与风格动作特征的动作特征维度一致，动作特征维度是指用于承载动作特征的特征向量的长度。例如，在特征融合网络中目标动作特征的动作特征维度为256，风格动作特征的动作特征维度也为256。这样，特征融合网络可以利用动作场中动作特征维度的一致性，有助于动作场中由目标动作特征与风格动作特征融合得到的特征向量对原始动作内容与目标动作风格的展现。

S301中，通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征的实现方式有多种，此处并不限定。其中例如一种实现方式包括以下步骤：

步骤a：将目标动作特征按照原始特征相似度映射到特征融合网络中，该原始特征相似度用于指示目标动作特征在目标风格动作特征中所占的权重。

步骤b：根据动作风格相似度将风格动作特征映射到特征融合网络中，该动作风格相似度用于指示风格动作特征在目标风格动作特征中所占的权重。

步骤c：通过特征融合网络对映射到该特征融合网络中的目标动作特征和风格动作特征进行融合得到目标风格动作特征。这样，该目标风格动作特征即可在后续的步骤中转换为具有目标动作风格和目标动作内容的三维动作，从而实现三维动作的风格迁移。

以图4所示的三维动作的风格迁移过程为例，假设特征提取网络为前向编码器F，则目标动作为原始三维动作α_s，风格动作为目标风格动作α_c，目标动作特征为特征向量f_s＝F(α_s)，风格动作特征为特征向量f_c＝F(α_c)，原始特征相似度为ω_s，动作风格相似度为ω_c。步骤a中按照ω_s将原始三维动作α_s映射到特征融合网络中，步骤b中按照ω_c将目标风格动作α_c映射到该特征融合网络中，步骤c中通过该特征融合网络对映射到该特征融合网络中的特征向量f_s＝F(α_s)和特征向量f_c＝F(α_c)进行融合得到目标风格动作特征f_<c,s>。

其中，在特征融合网络中以格拉姆矩矩阵G之间的差异J来描述目标风格动作特征f_<c,s>与目标动作特征f_s、风格动作特征f_c之间的关系。

目标风格动作特征f_<c,s>的格拉姆矩阵为目标动作特征

f_s、风格动作特征f_c的格拉姆矩阵分别为以及则目标风格动作特征f_<c,s>与目标动作特征f_s之间的差异为J_s，目标风格动作特征f_<c,s>与风格动作特征f_c的差异为J_c，特征融合网络按照以下约束条件训练并生成目标风格动作特征f_<c,s>：

S302：基于S201融合得到的目标风格动作特征生成目标风格动作。

S302的实现方式有多种，其中一种为：将目标风格动作特征输入动作生成网络，将输入的目标风格动作特征通过动作生成网络转换为目标风格动作。可选的，目标风格动作可以以三维动作序列的形式来展现。

本发明实施例中，动作生成网络是用于将动作场中的动作特征映射为三维动作的网络结构，即动作生成网络可用于表征动作场中的动作特征与三维空间坐标系中的三维动作序列之间的映射关系。动作生成网络生成三维动作的原理为：通过动作生成网络中的多个网络层进行分层次、多尺度的动作序列复原，从而将动作场中的动作特征(即特征向量)转换成具备不同动作风格的三维动作序列。动作生成网络的结构也可以采用例如自编码器结构，该自编码器结构包括的各网络层的类型可以为全连接层或卷积层；动作生成网络的结构也可以采用其他的神经网络结构，此处并不限定。动作生成网络中网络层的层数与特征提取网络中网络层的层数可以一致，也可以不一致，此处并不限定。

可选的，S103中将目标动作特征与风格动作特征进行融合生成目标风格动作之后，还可以判断目标风格动作是否存在异常现象，该异常现象包括高频抖动和/或关节异常滑动。若目标风格动作不存在异常现象，则输出目标风格动作。若目标风格动作存在异常现象，则触发动作生成网络重新生成目标风格动作。

进一步的，判断目标风格动作是否存在异常现象的实现方式包括多种，其中一种可以为：对目标风格动作进行傅里叶变换得到目标风格动作的频域信息，再判断目标风格动作的频域信息中是否存在高于第一阈值的部分，其中高于第一阈值的部分对应目标风格动作的高频抖动。通过这种实现方式，避免了目标风格动作出现高频抖动，从而使得目标风格动作更为自然，为用户带来了更好的体验。

另一种实现方式为：若目标风格动作包括接触地面的动作，则在执行接触地面的动作的时间段内，统计目标风格动作中关节相对于地面的位移，并将关节相对于地面的位移作为关节滑动分量；判断关节滑动分量是否高于第二阈值。其中，关节滑动分量用于指示目标风格动作中特定关节与地面之间的滑动关系。通过这种实现方式，避免了目标风格动作在接触地面时出现异常滑动，从而使得目标风格动作更为自然，为用户带来了更好的体验。

需要注意的是，除了上述两种实现方式之外，判断目标风格动作是否存在异常现象的实现方式还包括其他方式，此处并不限定。

以图4所示的三维动作的风格迁移过程为例，假设特征提取网络为前向编码器F，动作生成网络为反向编码器B，该前向编码器F和反向编码器B均为自编码器，该前向编码器F包括多个网络层l₁、l₂、l₃，该反向编码器F包括多个网络层l₄、l₅、l₆，则目标动作为原始三维动作α_s，风格动作为目标风格动作α_c，目标动作特征为特征向量f_s＝F(α_s)，风格动作特征为特征向量f_c＝F(α_c)，原始特征相似度为ω_s，动作风格相似度为ω_c，目标风格动作特征为f_<c,s>。S103中，通过反向编码器将f_<c,s>映射成三维动作序列β_<c,s>＝B(f_<c,s>)(即目标风格动作)。在将f_<c,s>映射成三维动作序列β_<c,s>的过程中，还可以通过反向编码器中的约束模块去除高频抖动和关节异常滑动，即将第一阈值和第二阈值作为约束模块的惩罚项，以保证反向编码器生成的三维动作序列β_<c,s>＝B(f_<c,s>)可以平滑自然，符合物理规律。

可选的，将特征提取网路作和动作生成网络之间通过动作场相连，并通过如下方法来训练特征提取网络和动作生成网络：将原始三维动作输入特征提取网络，并由特征提取网络将该原始三维动作的动作特征映射到动作场中，再由该动作场将该原始三维动作的动作特征输入到动作生成网络中，通过动作生成网络将该原始三维动作的动作特征转换为三维动作，从而完成一次三维动作的生成过程。为了使得生成的三维动作更接近原始三维动作，每次完成上述生成过程之后，还需要将生成的三维动作与原始三维动作相比较，并根据比较结果来调整特征提取网络和动作生成网络，以达到优化动作特征的提取效果以及三维动作的生成效果的目的。

以图2所示的特征提取网络和动作生成网络的训练过程为例，假设特征提取网络为前向编码器F，动作生成网络为反向编码器B，该前向编码器F和反向编码器B均为自编码器，动作场为特征场F(α)，原始三维动作为三维运动序列库中的样本序列α_i∈{α}，则向前向编码器F输入三维运动序列库中的样本序列α_i∈{α}，基于该样本序列α_i∈{α}通过特征场F(α)和反向编码器B生成三维动作序列(即上文中转换的三维动作)，从而完成一次三维动作的生成过程。每次完成上述生成过程之后，通过以下计算原始动作序列{α}与生成动作序列间的累积均方差：向最小化自编码器输入该累积均方差来调整特征提取网络和动作生成网络中各网络层的权重参数，直到原始动作序列{α}与生成动作序列间的累积均方差达到最小值：此时动作特征的提取效果以及三维动作的生成效果较佳。

通过本发明提供的方法，可以提取目标动作的目标动作特征以及风格动作的风格动作特征，将目标动作特征和风格动作特征进行融合并生成目标风格动作，该目标风格动作是具有目标动作风格的目标三维动作。通过上述方案实现了将目标三维动作的动作风格从原始动作风格迁移为目标动作风格，简化了生成不同动作风格的三维动作的过程，缩短了不同动作风格的三维动作的生成时间，降低了不同动作风格的三维动作的生成难度，解决了三维动作数据与虚拟角色的动作风格之间存在的冲突。

此外，针对游戏中虚拟角色的三维动作，由于本发明提供的方法解决了三维动作数据与虚拟角色的动作风格之间存在的冲突，提高了三维动作数据的复用性，因此本发明提供的方法还有助于降低游戏安装包内三维动作数据量以及游戏的部署成本。

示例性装置

在介绍了本发明示例性实施方式的方法之后，接下来，介绍本发明提供了示例性实施的装置。

参考图5，本发明提供了一种三维动作的风格迁移装置，该风格迁移装置可以实现图1对应的对本发明示例性实施方式中的方法。参阅图5所示，该装置包括：提取单元和生成单元。其中

提取单元，用于提取目标动作的目标动作特征，目标动作是具有原始动作风格的目标三维动作；以及提取风格动作的风格动作特征，风格动作是具有目标动作风格的三维动作；

生成单元，用于将目标动作特征与风格动作特征进行融合生成目标风格动作，目标风格动作是具有目标动作风格的目标三维动作。

可选的，提取单元还包括特征提取网络，提取单元具体用于：输入待提取动作，待提取动作包括目标动作和/或风格动作；通过特征提取网络从待提取动作中提取出待提取动作的动作特征，特征提取网络是用于提取待提取动作映射到动作场中对应的动作特征的网络结构，动作场是用于承载和描述三维动作的动作特征的特征空间，待提取动作的动作特征包括目标动作特征和/或风格动作特征。

可选的，生成单元还包括特征融合网络，生成单元具体用于：通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征，其中，特征融合网络为具有对动作场中的多个动作特征进行融合的功能的网络结构；基于目标风格动作特征生成目标风格动作。

可选的，生成单元通过特征融合网络将目标动作特征与风格动作特征进行融合得到目标风格动作特征时，具体用于：根据原始特征相似度将目标动作特征映射到特征融合网络中，原始特征相似度用于指示目标动作特征在目标风格动作特征中所占的权重；以及根据动作风格相似度将风格动作特征映射到特征融合网络中，动作风格相似度用于指示风格动作特征在目标风格动作特征中所占的权重；通过特征融合网络对映射到特征融合网络中的目标动作特征和风格动作特征进行融合得到目标风格动作特征。

可选的，特征融合网络中目标动作特征的动作特征维度与风格动作特征的动作特征维度一致，动作特征维度是指用于承载动作特征的特征向量的长度。

可选的，生成单元还包括动作生成网络，生成单元基于目标风格动作特征生成目标风格动作时，具体用于：将目标风格动作特征输入动作生成网络，动作生成网络是用于将动作场中的动作特征映射为三维动作的网络结构；将输入的目标风格动作特征通过动作生成网络转换为目标风格动作。

可选的，生成单元还包括约束模块，约束模块用于：在将目标动作特征与风格动作特征进行融合生成目标风格动作之后，判断目标风格动作是否存在异常现象，异常现象包括高频抖动和/或关节异常滑动；若目标风格动作存在异常现象，则触发动作生成网络重新生成目标风格动作；或者若目标风格动作不存在异常现象，则输出目标风格动作。

可选的，约束模块判断目标风格动作是否存在异常现象时，具体用于：对目标风格动作进行傅里叶变换得到目标风格动作的频域信息；判断目标风格动作的频域信息中是否存在高于第一阈值的部分，其中高于第一阈值的部分对应目标风格动作的高频抖动。

可选的，约束模块判断目标风格动作是否存在异常现象时，具体用于：若目标风格动作包括接触地面的动作，则在执行接触地面的动作的时间段内，统计目标风格动作中关节相对于地面的位移，并将关节相对于地面的位移作为关节滑动分量，关节滑动分量用于指示目标风格动作中特定关节与地面之间的滑动关系；判断关节滑动分量是否高于第二阈值。

示例性介质

在介绍了本发明示例性实施方式的方法和装置之后，接下来，参考图6，本发明提供了一种示例性介质，该介质存储有计算机可执行指令，该计算机可执行指令可用于使所述计算机执行图1对应的本发明示例性实施方式中任一项所述的方法。

示例性计算设备

在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图7，介绍本发明提供的一种示例性计算设备，该设备包括处理器、存储器以及收发机，其中该存储器，用于存储处理器执行的程序；该处理器，用于根据该存储器存储的程序，执行图1对应的本发明示例性实施方式中任一项所述的方法；该收发机，用于在该处理器的控制下接收或发送数据。

应当注意，尽管在上文详细描述中提及了三维动作的风格迁移装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种三维动作的风格迁移方法，其特征在于，包括：

提取目标动作的目标动作特征，所述目标动作是具有原始动作风格的目标三维动作；以及

提取风格动作的风格动作特征，所述风格动作是具有目标动作风格的三维动作；

将所述目标动作特征与所述风格动作特征进行融合生成目标风格动作，所述目标风格动作是具有所述目标动作风格的目标三维动作。

2.如权利要求1所述的方法，其特征在于，提取所述动作特征的方法，包括：

输入待提取动作，所述待提取动作包括所述目标动作和/或所述风格动作；

通过特征提取网络从所述待提取动作中提取出所述待提取动作的动作特征，所述特征提取网络用于提取所述待提取动作映射到动作场中对应的动作特征，所述动作场是用于承载和描述三维动作的动作特征的特征空间，所述待提取动作的动作特征包括所述目标动作特征和/或所述风格动作特征。

3.如权利要求1或2所述的方法，其特征在于，所述将所述目标动作特征与所述风格动作特征进行融合生成目标风格动作，包括：

通过特征融合网络将所述目标动作特征与所述风格动作特征进行融合得到所述目标风格动作特征，其中，所述特征融合网络为具有对动作场中的多个动作特征进行融合的功能的网络结构；

基于所述目标风格动作特征生成所述目标风格动作。

4.如权利要求3所述的方法，其特征在于，所述通过特征融合网络将所述目标动作特征与所述风格动作特征进行融合得到所述目标风格动作特征，包括：

根据原始特征相似度将所述目标动作特征映射到所述特征融合网络中，所述原始特征相似度用于指示所述目标动作特征在所述目标风格动作特征中所占的权重；以及

根据动作风格相似度将所述风格动作特征映射到所述特征融合网络中，所述动作风格相似度用于指示所述风格动作特征在所述目标风格动作特征中所占的权重；

通过所述特征融合网络对映射到所述特征融合网络中的所述目标动作特征和所述风格动作特征进行融合得到所述目标风格动作特征。

5.如权利要求3或4所述的方法，其特征在于，所述特征融合网络中所述目标动作特征的动作特征维度与所述风格动作特征的动作特征维度一致，所述动作特征维度是指用于承载动作特征的特征向量的长度。

6.如权利要求3所述的方法，其特征在于，所述基于所述目标风格动作特征生成所述目标风格动作，包括：

将所述目标风格动作特征输入动作生成网络，所述动作生成网络是用于将动作场中的动作特征映射为三维动作的网络结构；

将输入的所述目标风格动作特征通过所述动作生成网络转换为所述目标风格动作。

7.如权利要求1至6任一所述的方法，其特征在于，所述将所述目标动作特征与所述风格动作特征进行融合生成目标风格动作之后，还包括：

判断所述目标风格动作是否存在异常现象，所述异常现象包括高频抖动和/或关节异常滑动；

若所述目标风格动作存在所述异常现象，则触发所述动作生成网络重新生成所述目标风格动作；或者

若所述目标风格动作不存在所述异常现象，则输出所述目标风格动作。

8.一种三维动作的风格迁移装置，其特征在于，包括：

提取单元，用于提取目标动作的目标动作特征，所述目标动作是具有原始动作风格的目标三维动作；以及提取风格动作的风格动作特征，所述风格动作是具有目标动作风格的三维动作；

生成单元，用于将所述目标动作特征与所述风格动作特征进行融合生成目标风格动作，所述目标风格动作是具有所述目标动作风格的目标三维动作。

9.一种计算设备，其特征在于，包括处理器、存储器以及收发机；

所述存储器，用于存储所述处理器执行的程序；

所述处理器，用于根据所述存储器存储的程序，执行权利要求1至9任一项所述的方法；

所述收发机，用于在所述处理器的控制下接收或发送数据。

10.一种介质，其特征在于，所述介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至9任一项所述的方法。