CN108320326A - 一种针对人手部的三维建模方法 - Google Patents

Abstract

本发明公开了一种针对人手部的三维建模方法，包括：在训练集中寻找出手部模型作为模板，并为模板绘制节点；通过将模板与样本集中的其他样本进行匹配，确定模板与样本对应的各节点旋转角度的参数；通过步骤2训练得到的姿态信息，训练出一个与姿态信息相关的矩阵姿态变化补偿矩阵；对样本库中的模型进行姿态统一，并提取出主成分，确定用于刻画不同形态的矩阵；通过以上训练确定模板和矩阵后，即可通过人为指定参数，经由线性混合蒙皮算法及参数整合来刻画多种多样的手部模型。本发明实现通过单一的三维手部模板来对多姿态的手势进行逼真建模的方法，并能够体现出不同人物手部形态的不同特征，无需再利用三维激光扫描，大幅降低成本。

Description

一种针对人手部的三维建模方法

技术领域

本发明属于计算机视觉及图形学技术领域，涉及三维建模方法，更为具体的说是涉及一种针对人手部的三维建模方法。

背景技术

对手部进行精准的建模在当前的意义已经越来越重大，原因在于随着几年来人工智能的飞速发展，以计算机和手机为代表的电子设备在人类的社会中扮演着越来越重要的角色，对更加方便、更加人性化的人机交互的需求也越来越强烈。考虑到手势在人与人的交往中几乎是重要程度仅次于语言的信息，相信在人机交互中也必定会处于决定性的位置。

目前为止虽然针对于人手部进行三维建模的论述还不多，但在三维建模这一大类的研究已经相当成熟。其中比较典型的是针对人体进行建模的SMPL和针对动物进行建模的SMAL。由于手部动作更加精细，这就需要对人手部轮廓进行更加精确的建模，但以上这两种方法均不能满足精确化的手部建模需要。现在对手部进行精确建模时需要进行三维激光扫描，当手部形态变换时则需反复扫描，成本高昂，效率低下，且受到环境、设备制约。

发明内容

为解决上述问题，本发明公开了一种针对人手部的三维建模方法，能够便捷的刻画不同姿态和形态的手部模型，同时保证了变换过程中的逼真性，不会因为关节的旋转等而出现模型形态上的失真。

为了达到上述目的，本发明提供如下技术方案：

一种针对人手部的三维建模方法，包括如下步骤：

步骤1，在训练集中寻找一手部模型作为模板T，并为模板绘制节点；

步骤2，通过将模板与样本集中的其他样本进行匹配，确定模板与样本对应的各节点旋转角度θ；

步骤3，通过步骤2训练得到的姿态信息θ，训练出一个与θ相关的矩阵姿态变化补偿矩阵P；

步骤4，对样本库中的模型进行姿态统一，并提取出主成分，确定用于刻画不同形态的矩阵S；

步骤5，通过以上训练确定{T,P,S}后，通过人为指定参数{θ,β}，经由线性混合蒙皮算法LBS(T+βB+θP}刻画多种多样的手部模型。

进一步的，所述步骤2具体包括如下过程：

每个手势使用参数θ来进行表征；

通过各节点旋转的三维角度参数θ，节点集合J，以及各节点对皮肤表面顶点产生影响的权重矩阵W，将模板T的顶点t_i转变为t_i'，其公式如下：

其中w_k,i表示各节点对顶点i所造成影响的权重，exp(ω_j)是通过节点j的参数ω_j构成的三维旋转矩阵，j_j表示节点j的中心三维坐标，A(k)表示节点j经过一系列父节点最终指向根节点的节点链组成的集合；

进行模板与样本集中样本的匹配。

进一步的，所述参数θ通过梯度下降法经迭代求得。

进一步的，模板与样本的匹配通过不断降低形态变换后模板与样本顶点三维坐标差值的二范数来实现。

进一步的，所述步骤3具体包括如下过程：

对模型顶点进行补偿，而补偿量与姿态参数θ相关；

将T替换为：

T(θ)＝T+B_P(θ) (3)

LBS公式随之更换为：

其中R_n(θ)为由θ变换而成的旋转矩阵各个元素拼接而来的序列，b_P,i(θ)为B_P(θ)中的一个向量。

进一步的，矩阵P通过梯度下降法得到。

进一步的，所述步骤4具体包括如下过程：

将样本集中的所有样本进行姿态归一化，使每一个样本都呈现为与模板相同的姿态；

利用PCA算法进行主成分分析，提取出样本集中的N个主成分从而确定表征手部形态的矩阵S；

将T替换为：

T(β,θ)＝T+B_S(β)+B_P(θ) (6)

LBS公式随之更换为：

其中，β为形态矩阵各主成分权重。

与现有技术相比，本发明具有如下优点和有益效果：

1.本发明实现通过单一的三维手部模板来对多姿态的手势进行逼真建模的方法，并能够体现出不同人物手部形态的不同特征；在训练结束后，通过一个手部模板T及两个矩阵P,S即可通过调参来刻画各式各样的手部三维模型，无需再利用三维激光扫描，大幅降低成本。

2.针对线性混合蒙皮算法所造成的模型失真问题，本方法提出了通过训练矩阵P来进行补偿的解决方案，保证模型在姿态变换下的逼真性

3.此外，针对不同人的不同手型，本方法通过通过主成分分析提取矩阵S进行刻画，能够体现不同人物手部的形态差异。

附图说明

图1是本发明提供的针对人手部的三维建模方法流程图；

图2是本发明所选取的三维手部模板示意图；

图3是本发明样本集中一个样本的示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明是针对于人的手部进行建模，手部包括手势和纹理的所有刻画都通过调整经过样本集训练出的一系列参数来实现。具体的说，本发明方法流程如图1所示，包括以下步骤：

步骤S110，在样本库中确立一手部模型作为模板T。

本方案需要与先在样本库中抽取一个样本作为整体的模板，如图2所示，选取的手部模型以端正，小角度五指正常张开为最佳。使用这样的手部模型有利于在后续进行个节点的旋转操作。

在模板选择完成后，需在手部模型的模板上进行节点的绘制，我们所选取的节点基本上与人手部的关节相对应，共选取16个节点(节点数量可根据需要调整)，从而保证能够很好的模拟出正常情况下人手的运动过程。

步骤S120，确定进行各节点的姿态参数。

对手部模型的变换其基本的思想是基于线性混合蒙皮算法(LBS)，其流程可概括如下：

整个手部的姿态由各个节点所共同组成的骨骼来定义，现用ω_k∈R³来表示第k个节点相对于其父节点在三维空间中绕各个轴所旋转的角度。手部模型共包含有16个节点，所以每个手势可使用θ＝{ω₁,ω₂,...,ω₁₆}共16*3＝48个参数来进行表征。

线性混合蒙皮(LBS)即通过各节点旋转的三维角度参数θ，节点集合J，以及各节点对皮肤表面顶点产生影响的权重矩阵W，将模板T的顶点t_i转变为t_i'，其公式如下：

其中w_k,i表示各节点对顶点i所造成影响的权重，exp(ω_j)是通过节点j的参数ω_j构成的三维旋转矩阵，j_j表示节点j的中心三维坐标。A(k)表示节点j经过一系列父节点最终指向根节点的节点链组成的集合。

由于节点J，模板T，权重W已知，进行模板与样本集中的样本(图3为其中的一个样本)进行匹配的过程，就是寻找出一个恰当的θ，使得模板的姿态与样本的姿态相同。这一参数的确定可通过梯度下降法经迭代求得，其中迭代的目标函数为模板与样本对应顶点插值的二范数，模板与样本的匹配最优化方法是通过不断降低形态变换后模板与样本顶点(vertex)三维坐标差值的二范数来得以实现。

步骤S130，确定姿态变化补偿矩阵P来提高模板在不同姿态下的逼真性

针对传统的LBS算法所造成的皮肤塌陷和“裹糖纸”的缺陷，为了保证模型在姿态变换下的逼真性，本方法提出了对模型顶点进行补偿，而补偿量与姿态参数θ相关。

至此，将T替换为：

T(θ)＝T+B_P(θ) (3)

LBS公式随之更换为：

其中R_n(θ)为由θ变换而成的旋转矩阵各个元素拼接而来的序列，b_P,i(θ)为B_P(θ)中的一个向量；由于矩阵维数为3*3，故序列共有9K个，这里最终需要确定的参数为姿态变化补偿矩阵P＝[P₁,...,P_9K]，其方式依然为梯度下降法。

步骤S140，根据不同形态的主成分确定出形态变化刻画矩阵S，为模板赋予不同的形态

考虑到不同人的手型有很大的不同，为了能够对不同的手型进行刻画，本方法又加入了另一参数矩阵S，形态变化刻画矩阵S的获取方式如下：

首先将样本集中的所有样本进行姿态归一化，使每一个样本都呈现为与模板相同的姿态。此后，利用PCA算法进行主成分分析，提取出样本集中的N个主成分从而确定表征手部形态的矩阵S。

至此，将T替换为：

T(β,θ)＝T+B_S(β)+B_P(θ) (6)

LBS公式随之更换为：

其中，β为形态矩阵各主成分权重；

至此，整个模型的建立完成。

S150，通过对姿态参数和形态参数进行指定，即可生成多样化的手部三维模型

本步骤主要是对本方法所建立的模型的使用说明，在1—4的步骤结束后，本模型已经完成了建立，包括{T,S,P}三个矩阵。此后，本模型在应用过程中的多样化通过人为指定参数{β,θ}来完成，其中β使得本模型能够展现出不同的手型，θ使得本模型能够刻画出不同的姿态(手势)。至此，将对不同的手部三维模型的刻画转变为对参数的指定，而无需再进行三维激光扫描。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种针对人手部的三维建模方法，其特征在于：包括如下步骤：

步骤1，在训练集中寻找一手部模型作为模板T，并为模板绘制节点；

步骤2，通过将模板与样本集中的其他样本进行匹配，确定模板与样本对应的各节点旋转角度θ；

步骤3，通过步骤2训练得到的姿态信息θ，训练出一个与θ相关的姿态变化补偿矩阵P；

步骤4，对样本库中的模型进行姿态统一，并提取出主成分，确定用于刻画不同形态的矩阵S；

步骤5，通过以上训练确定{T,P,S}后，通过人为指定参数{θ,β}，经由线性混合蒙皮算法LBS(T+βB+θP}刻画多种多样的手部模型。

2.根据权利要求1所述的针对人手部的三维建模方法，其特征在于：所述步骤2具体包括如下过程：

每个手势使用参数θ来进行表征；

通过各节点旋转的三维角度参数θ，节点集合J，以及各节点对皮肤表面顶点产生影响的权重矩阵W，将模板T的顶点t_i转变为t′_i，其公式如下：

其中w_k,i表示各节点对顶点i所造成影响的权重，exp(ω_j)是通过节点j的参数ω_j构成的三维旋转矩阵，j_j表示节点j的中心三维坐标，A(k)表示节点j经过一系列父节点最终指向根节点的节点链组成的集合；

进行模板与样本集中样本的匹配。

3.根据权利要求2所述的针对人手部的三维建模方法，其特征在于：所述参数θ通过梯度下降法经迭代求得。

4.根据权利要求2所述的针对人手部的三维建模方法，其特征在于：模板与样本的匹配通过不断降低形态变换后模板与样本顶点三维坐标差值的二范数来实现。

5.根据权利要求1所述的针对人手部的三维建模方法，其特征在于：所述步骤3具体包括如下过程：

对模型顶点进行补偿，而补偿量与姿态参数θ相关；

将T替换为：

T(θ)＝T+B_P(θ) (3)

LBS公式随之更换为：

其中R_n(θ)为由θ变换而成的旋转矩阵各个元素拼接而来的序列，b_P,i(θ)为B_P(θ)中的一个向量。

6.根据权利要求1所述的针对人手部的三维建模方法，其特征在于：矩阵P通过梯度下降法得到。

7.根据权利要求1所述的针对人手部的三维建模方法，其特征在于：所述步骤4具体包括如下过程：

将样本集中的所有样本进行姿态归一化，使每一个样本都呈现为与模板相同的姿态；

利用PCA算法进行主成分分析，提取出样本集中的N个主成分从而确定表征手部形态的矩阵S；

将T替换为：

T(β,θ)＝T+B_S(β)+B_P(θ) (6)

LBS公式随之更换为：

其中，β为形态矩阵各主成分权重。