CN110517338A

CN110517338A - 一种基于两足角色实体特征构建可复用动作库的方法

Info

Publication number: CN110517338A
Application number: CN201910625017.9A
Authority: CN
Inventors: 张之益; 柳庆武
Original assignee: BEIJING FILM ACADEMY
Current assignee: BEIJING FILM ACADEMY
Priority date: 2019-07-11
Filing date: 2019-07-11
Publication date: 2019-11-29

Abstract

本发明公开了一种基于两足角色实体特征构建可复用动作库的方法，所述方法包括以下步骤：步骤一：利用深度传感器，实时准确地捕获人体骨骼三维数据，并根据坐标系变换构建人体骨骼拓扑结构；步骤二：然后提取人体动作所需的骨骼关节点，定义骨骼向量，并获取每段骨骼向量的方向余弦特征；步骤三：最后通过多类支持向量机训练以及动作识别分类。本发明解决了现有技术中角色动作与实体特征不匹配的问题，实现了在非等比同构的宽泛要求下基于任意动作的新动作生成、基于循环动作的新动作生成和角色间的动作数据复用。

Description

一种基于两足角色实体特征构建可复用动作库的方法

技术领域

本发明属于可复用动作库技术领域，具体涉及一种基于两足角色实体特征构建可复用动作库的方法。

背景技术

动画制作各环节中最重要的工作之一是角色设计及其动作生成。通过塑造不同类别的角色主体，并赋予独特的形象、语言和动作，以增强动画故事的表现力和感染力。一部成功的动画，通常拥有一个或多个具有获得观众认可、深受观众喜爱、触动观众情感、引导观众思维等形式艺术力量的角色主体。

作为当前动画中最常见的角色类型，两足角色因与人本身在自然属性方面具有高度的相似性而特别容易被观众所接受，并得到观众的青睐。为此，一些动画为了满足在观众文化上的需求和在艺术表现上的需要，一些只存在于虚幻中的角色主体(如阿凡达中的不死鸟等)被想定、一些并不具有足肢的角色主体(如海绵宝宝、天线宝宝等)被构建、一些具有多肢的角色主体(如赛车总动员、葫芦娃中的虾兵蟹将等)被改造、一些两足类的角色主体(如小鸡快跑等)被赋予人的特性而升华，采用两足化的角色形式进行艺术表现。

两足角色动作是视效类作品中不可缺少的核心部分。目前国内游戏界、动画界、影视界的很多作品往往因为动作僵硬、动作不合时宜、动作不符合剧情要求等等被诟病。究其根源，在于角色动作与其实体特征不匹配。

发明内容

针对背景技术中存在的问题，本发明的目的在于提供一种基于两足角色实体特征构建可复用动作库的方法。本发明基于两足角色实体特征，阐明动作建立的方法，解决角色动作与实体特征不匹配的问题，以及动作库在不同角色间的复用。

为了实现上述目的，本发明的具体技术方案如下：

一种基于两足角色实体特征构建可复用动作库的方法，所述方法包括以下步骤：

步骤一：利用深度传感器，实时准确地捕获人体骨骼三维数据，并根据坐标系变换构建人体骨骼拓扑结构；

步骤二：然后提取人体动作所需的21个骨骼关节点，定义骨骼向量，并获取每段骨骼向量的方向余弦特征；

步骤三：最后通过多类支持向量机训练以及动作识别分类。

在步骤三中，通过组合多个二分类器来实现多分类器的构造，常用的方法有一对多，一对一，层次支持向量机和有向无环图等。在任意两类样本之间设计一个支持向量机，因此k个类别的样本就需要设计k(k-1)/2个向量机。当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。

作为一种优选的方案，步骤一中，在所述深度传感器中，通过21个关节点表示一个骨架，所述关节点的位置通过(x,y,z)坐标来表示；坐标单位为米；

所述21个关节点分别为髋部中心、脊柱、左肩、左肘、左手腕、左掌中、左指、头部、右肩、右肘、右手腕、右掌中、右指、左髋、左膝盖、左脚踝、左脚、右髋、右膝盖、右脚踝、右脚。

作为一种优选的方案，坐标轴x,y,z为深度感应器实体的空间x,y,z坐标轴；坐标系为右手螺旋的，感应器处于原点上，z坐标轴则与感应的朝向一致；y轴正半轴向上延伸，x轴正半轴向左延伸。

作为一种优选的方案，步骤二中，所述骨骼关节点具有以下三类信息：

1)类型：用于标识骨骼关节点的特定名称；

2)位置：骨骼关节点的位置信息，包含x、y、z三个维度，用以存储骨骼点的三维坐标；

3)状态：骨骼关节点的状态信息，用于标定骨骼关节点当前的状态。

作为一种优选的方案，步骤二中获取的每段骨骼向量的方向余弦特征，至少包含以下信息：

1)相关骨骼的跟踪状态：被动模式时仅包括位置数据，即用户所在位置，主动模式时包括完整的骨骼数据，即用户21个关节点的空间位置信息；

2)唯一的骨骼跟踪ID：用于分配给视野中的每个用户；

3)用户质心位置：标示用户所在位置，仅在被动模式下可用。

本发明的第二个目的是提供一种利用如上所述方法得到的基于两足角色实体特征的具有21节点的两足角色骨骼结构，所述骨骼结构包括21节点，以髋部为中心向上节点依次为脊柱、头部，左上肢节点依次为左肩、左肘、左手腕、左掌中、左指，右上肢节点依次为右肩、右肘、右手腕、右掌中、右指；以髋部为中心向下，左下肢节点依次为左髋、左膝盖、左脚踝、左脚，右下肢节点依次为右髋、右膝盖、右脚踝、右脚。

通过对人体运动时骨骼旋转特性以及人体骨骼拓扑结构的研究，将21个关节点进行分层。

第一层：身体躯干关节点。支撑起整个人体的第一层骨骼关节点构成人体的躯干，该层主要包括头部、左右肩、髋部中心、脊柱、左右髋7个关节点。人体某些动作所需的特征信息部分来自这层关节点。

第二层：四肢关节点。人体的大多数动作(例如挥手、出拳、踢腿等)主要都是靠人的四肢来表达的，它们包含了大量人体运动和姿势的特征信息。因此将四肢分为第二层，包括左右肘、左右手腕，左右膝盖、左右脚踝8个关节点。

第三层：手与脚。剩余的左右掌中、左右指、左右脚这6个关节点，将其归为第三层。

本发明的有益效果在于：

本发明解决了现有技术中角色动作与实体特征不匹配的问题，实现了在非等比同构的宽泛要求下基于任意动作的新动作生成、基于循环动作的新动作生成和角色间的动作数据复用。

附图说明

图1为具有21节点的两足角色骨骼结构的示意图；

图2为具有21节点的两足角色骨骼节点连接关系；

图中，1头部；4脊柱；5髋部中心；61左髋；62右髋；63左膝盖；64右膝盖；65左脚踝；66右脚踝；67左脚；68右脚；37左指；35左掌中；33左手腕；31左肘；21左肩；22右肩；32右肘；34右手腕；36右掌中；38右指。

具体实施方式

下面结合附图和具体实施方式，对本发明的具体实施方案作详细的阐述。这些具体实施方式仅供叙述而并非用来限定本发明的范围或实施原则，本发明的保护范围仍以权利要求为准，包括在此基础上所作出的显而易见的变化或变动等。

术语解释：

两足角色：四肢类动作中能够通过两足进行独立行走的实体。

骨骼点：用于定义两足角色实体特征骨骼的关键点。

针对两足角色这一典型的艺术原型，通过对两足角色骨骼精细模型的深入研究，以典型的两足角色——人为例，本发明将角色骨骼分为21个关键点,称为骨骼点。

为研究人体骨骼结构、骨骼关节点位置信息以及人体动作具有的骨骼角度特征，利用一种基于深度传感器提取人体骨骼信息的动作识别方法。方法利用深度传感器，实时准确地捕获人体骨骼三维数据，并根据坐标系变换构建人体骨骼拓扑结构。然后提取人体动作所感兴趣的骨骼关节点，定义骨骼向量，并获取每段骨骼向量的方向余弦特征；最后通过多类支持向量机训练以及动作识别分类。

在传感器里面，是通过21个关节点来表示一个骨架的。当走进传感器的视野范围的时候，就可以把21个关节点的位置找到(当然你得站着)，位置通过 (x,y,z)坐标来表示。这样，在传感器前面做很多复杂的动作的时候，因为人的动作和这些关节点的位置的变化关系还是很大的，那么电脑拿到这些数据后，对于理解做什么动作就很有帮助了。

每个骨骼关节点具有以下三类信息：

1)类型：用于标识骨骼关节点的特定名称，如编号为31的骨骼关节点表示为左肩节点；

3)状态：骨骼关节点的状态信息，用于标定骨骼点当前的状态，如平移、旋转等。

在程序中，必须让模型拥有图2中这些关键的骨骼节点。

各关节点位置用(x,y,z)坐标表示。与深度图像空间坐标不同的是，这些

坐标单位是米。坐标轴x,y,z是深度感应器实体的空间x,y,z坐标轴。这个坐标系是右手螺旋的，感应器处于原点上，z坐标轴则与感应的朝向一致。y轴正半轴向上延伸，x轴正半轴(从感应器的视角来看)向左延伸。

对于所有获取的每段骨骼向量的方向余弦特征，其至少包含以下信息：

1)相关骨骼的跟踪状态，被动模式时仅包括位置数据(用户所在位置)，主动模式包括完整的骨骼数据(用户21个关节点的空间位置信息)；

2)唯一的骨骼跟踪ID，用于分配给视野中的每个用户(和之前说的深度数据中的ID是一个东西，用以区分现在这个骨骼数据是哪个用户的)；

3)用户质心位置，该值仅在被动模式下可用(就是标示用户所在位置的)。

如图1和图2所示，所述骨骼结构包括21节点，以髋部5为中心向上节点依次为脊柱4、头部1，左上肢节点依次为左肩21、左肘31、左手腕33、左掌中35、左指37，右上肢节点依次为右肩22、右肘32、右手腕34、右掌中36、右指38；以髋部为中心向下，左下肢节点依次为左髋61、左膝盖63、左脚踝65、左脚67，右下肢节点依次为右髋62、右膝盖64、右脚踝66、右脚68。

通过组合多个二分类器来实现多分类器的构造，常用的方法有一对多，一对一，层次支持向量机和有向无环图等。在任意两类样本之间设计一个支持向量机，因此k个类别的样本就需要设计k(k-1)/2个向量机。当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。

骨骼点的处理，最多只能同时处理6*21个骨骼点，6个人，每个人的21的骨骼点。在写程序的时候，需要对每个人的每个骨骼点进行循环访问就可以了，每个骨骼点有三种状态，跟踪到的，推测的，没有跟踪到的。把骨骼点用画实心点表示，骨骼用线段表示，可以看到一幅近似人体模型的骨架。

应用程序获取下一帧骨骼数据的方式同获取彩色图像和深度图像数据的方式一样，都是通过调用回调函数并传递一个缓存实现的，获取骨骼数据调用的是OpenSkeletonFrame()函数。如果最新的骨骼数据已经准备好了，那么系统就会将其复制到缓存中；但如果应用程序发出请求时，新的骨骼数据还未准备好，此时可以选择等待下一个骨骼数据直至其准备完毕，或者立即返回稍后再发送请求。对于NUI骨骼API而言，相同的骨骼数据只会提供一次。

NUI骨骼API提供了两种应用模型，分别是轮询模型和时间模型，简要介绍如下。

轮询模型是读取骨骼事件最简单的方式。通过调用SkeletonStream类的OpenNextFrame()函数即可实现。OpenNextFrame()函数的声明如下所示。

public SkeletonFrame OpenNextFrame{

int millisecondsWait

}

可以传递参数指定等待下一帧骨骼数据的时间。当新的数据准备好或是超出等待时间时，OpenNextFrame()函数才会返回。

时间模型以事件驱动的方式获取骨骼数据，更加灵活、准确。应用程序传递一个事件处理函数给SKeletonFrameReady事件，该事件定义在KinectSensor类中。当下一帧的骨骼数据准备好时，会立即调用该事件回调函数。因此Kinect 应用应该通过调用OpenSkeletonFrame()函数来实时获取骨骼数据。

将髋部中心(骨骼点“5”)作为初始骨骼点，相邻的骨骼点逐层向下延伸，作为坐标变换的依据。面骨骼点坐标系即为以该骨骼点为原点，以其上层骨骼点到它的直线方向为y轴正方向的坐标系。

在此基础上，将两足角色动作分为九大类：站立；蹲伏；跳跃；行走；跑动；爬行；姿势类；格斗类；操作类。

本发明未尽事宜为公知技术。

Claims

1.一种基于两足角色实体特征构建可复用动作库的方法，其特征在于，所述方法包括以下步骤：

步骤三：最后通过多类支持向量机训练以及动作识别分类。

2.根据权利要求1所述的基于两足角色实体特征构建可复用动作库的方法，其特征在于，步骤一中，在所述深度传感器中，通过21个关节点表示一个骨架，所述关节点的位置通过(x,y,z)坐标来表示；

3.根据权利要求2所述的基于两足角色实体特征构建可复用动作库的方法，其特征在于，坐标轴x,y,z为深度感应器实体的空间x,y,z坐标轴；坐标系为右手螺旋的，感应器处于原点上，z坐标轴则与感应的朝向一致；y轴正半轴向上延伸，x轴正半轴向左延伸。

4.根据权利要求1所述的基于两足角色实体特征构建可复用动作库的方法，其特征在于，步骤二中，所述骨骼关节点具有以下三类信息：

1)类型：用于标识骨骼关节点的特定名称；

5.根据权利要求1所述的基于两足角色实体特征构建可复用动作库的方法，其特征在于，步骤二中获取的每段骨骼向量的方向余弦特征，至少包含以下信息：

2)唯一的骨骼跟踪ID：用于分配给视野中的每个用户；

6.一种利用权利要求1所述方法得到的基于两足角色实体特征的具有21节点的两足角色骨骼结构，其特征在于，所述骨骼结构包括21节点，以髋部为中心向上节点依次为脊柱、头部，左上肢节点依次为左肩、左肘、左手腕、左掌中、左指，右上肢节点依次为右肩、右肘、右手腕、右掌中、右指；以髋部为中心向下，左下肢节点依次为左髋、左膝盖、左脚踝、左脚，右下肢节点依次为右髋、右膝盖、右脚踝、右脚。