CN111445573A - 人手建模方法、系统、芯片、电子设备及介质 - Google Patents

Abstract

人手建模方法、系统、芯片、电子设备及介质，包括：基于模板手构建手动作参数模型；采集多视角、复杂动作的手图片、自然状态的手数据，并分别生成点云；将模板手匹配到自然状态的手的数据，得到个人手模板；将个人手模板拟合到复杂动作的点云，得到模型。本发明提高了手参数模型的动作表达能力，将参数模型和传统多目视觉算法相结合，从而提高基于模型拟合类算法手骨骼检测的准确度，能够从多目相机拍摄的手数据中准确的得到骨骼和三维模型。

Description

人手建模方法、系统、芯片、电子设备及介质

技术领域

本发明涉及计算机图形技术领域，具体地说是一种人手建模方法、系统、芯片、电子设备及介质。

背景技术

在手姿态估计领域，常见的输入设备为单目相机，单目深度相机，多目相机系统。由于手活动范围大而存在自遮挡，单目(深度)相机受限于视角范围往往不能实施有效的骨骼识别，因此多目相机系统更适合这一任务。此外由于手的动作相对人体来说活动自由度更多，存在更多的自遮挡，同时手上缺少有特征的纹理，每个手指纹理又很类似，所以传统的基于特征点匹配的多目视觉算法重建出的点云容易有空洞和噪声，网格化后会导致模型粘连，也得不到准确的三维骨骼。

目前只有基于大量数据进行深度学习的方法能够取得比较好的结果，这类方法一般依赖手参数模型去对输入数据做拟合，因此算法效果依赖于参数模型的动作表达能力。然而现有的手参数模型很难表达复杂动作，因此即使是深度学习也不能解决复杂动作的骨骼检测和三维重建。

发明内容

本发明为解决多目相机系统在复杂手势下的骨骼检测及三维重建的问题，提供了一种人手建模方法、系统、芯片、电子设备及介质。

为了达到上述目的，本发明采用的技术方案提供一种人手建模方法，包括：

S1，基于模板手构建手动作参数模型；

S2，采集多视角、复杂动作的手图片、自然状态的手数据，并分别生成点云；

S3，将模板手匹配到自然状态的手的数据，得到个人手模板；

S4，将个人手模板拟合到复杂动作的点云，得到模型。

在一些实施例中，还包括S5，根据模型对点云作降噪和补洞处理，经过网格化得到重建后的三维模型。

在一些实施例中，S1中，手动作包括手语动作、每个关节的活动、手指活动的极限动作中的一个或组合。

在一些实施例中，S1中，采集三维骨骼并映射至模板手，提取特征向量构造手动作参数模型。

在一些实施例中，S2中，利用多目相机采集多视角、复杂动作的手图片，利用 MVS算法对手图片进行重建，得到点云。

在一些实施例中，S3中，通过非刚体形变将个人手模板匹配到自然状态的手的点云。

在一些实施例中，所述非刚体形变为，对手模板上控制点的旋转和平移进行优化，公式为：

E_shape(M)＝λ_dE_data+λ_rE_reg

E_data为数据项，E_reg为正则项，M为控制点的形变矩阵，λ_d,λ_r分别为两个优化项的权重。

在一些实施例中，数据项E_data为用于计算模板模型与点云之间的倒角距离：

其中k为模板模型T的顶点数，m为点云S的顶点数。

在一些实施例中，对于模板模型中的每个顶点v_i∈T，在点云S中找到对应点 C_s(v_i)→v_j，即v_i需要形变到v_j，需要满足两点的欧氏距离和法向量之差的加权和最小：

其中n_j是v_j的法向量。

在一些实施例中，正则项E_reg用于控制形变的程度，公式如下：

其中N是所有的控制点集合，N_i是控制点i的相邻控制点集合，M_i是控制点n_i的形变矩阵，

表示相邻控制点之间相互影响的权重。

在一些实施例中，S4中所述拟合为，通过骨骼形变和非刚体变换形变，使形变后的模型与复杂手势的点云相匹配。

在一些实施例中，通过线性混合蒙皮算法对手模板中的顶点进行相应的移动，公式：

其中v_t为原始顶点位置，

为移动后的顶点位置。T_j为骨骼的旋转矩阵；w_ij为顶点v_i对骨骼j的权重，其中

在一些实施例中，拟合复杂动作的优化公式定义如下：

E(Θ,M)＝λ_dE_data+λ_rE_reg+λ_pE_pose。

本发明提供一种人手建模系统，包括：

第一采集模块，用于构建手动作参数模型；

第二采集模块，用于采集多视角、复杂动作的手图片、自然状态的手数据，并分别生成点云；

匹配模块，用于将模板手匹配到自然状态的手的数据，得到个人手模板；

拟合模块，用于将个人手模板拟合到复杂动作的点云，得到模型。

其中，还包括优化模块，用于根据模型对点云作降噪和补洞处理，再做泊松网格化得到重建后的手模型。

其中，第一采集模块用于采集三维骨骼并映射至模板手，提取特征向量构造手动作参数模型。

其中，第二采集模块利用多目相机采集多视角、复杂动作的手图片，利用MVS 算法对手图片进行重建，得到点云。

其中，匹配模块通过非刚体形变将个人手模板匹配到自然状态的手的点云。其中，拟合模块通过骨骼形变和非刚体变换形变，使得形变后的模型与复杂手势的点云相匹配。

本发明还提供一种芯片，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行任一项所述的人手建模方法。

本发明还提供一种电子设备，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行任一所述的人手建模方法。

本发明还提供一种计算机可读介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序指令被处理执行时，实现任一所述的人手建模方法。和现有技术相比，本发明利用了数据手套动作采集和参数模型匹配相结合的方法，给复杂动作提供了先验知识，提高了手参数模型动作表达能力和动作匹配准确度。并且我们利用匹配好的模型对传统方法生成的点云做了修正，减少了噪声点，补全了点云中的空洞，解决了网格化时由于空洞和噪声导致的模型粘连问题，提高了多视角相机下手复杂动作的重建效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a、1b分别为手模板、骨骼的示意图；

图2a为多目采集系统的示意图；

图2b为多目采集系统所拍摄得图片；

图3a-图3f为本发明的一个实施例的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图图1至图3f对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明方法包括下述步骤：

利用动作捕捉手套采集大量复杂动作的手骨骼信息，构造手动作参数模型。利用多目相机系统采集多视角复杂动作的手图片和自然状态下手数据，并生成点云。

将手模板拟合到自然状态下的手数据上得到个人手模板。

结合个人手模板和手动作参数模型，根据复杂动作的点云对个人手模板做骨骼形变和非刚体变换(non-rigid deformation)得到精细的匹配模型。

利用精细匹配模型对点云做降噪和补洞处理，最后经过网格化(meshing)得到重建后的三维模型。

具体而言，

第一步，手套动作采集，构造动作参数模型

本实施例使用了一个动作捕捉的数据手套(NANSENSE BIOMED)来采集复杂动作的三维骨骼。本实施例用这个手套采集了三大类超过200个手部动作，其中包括了手语动作、每个关节的活动、手指活动的极限动作。

参见图1a，基于一个模板手，将手套采集到的三维骨骼映射上去。该模板手包含19个骨骼，用每根骨骼的旋转信息表示一个动作。参见图1b，因此每根骨骼有一个三维的旋转向量(轴角式Axis-angle)，加上手腕的位移信息，每个动作可以用一个60维的向量表达。然而人手的活动自由度(DoF-degreeof freedom) 是24，用60维向量表达动作显然是冗余的。因此为了对动作参数进行降维，本实施例对所有动作的60维的向量进行主成分分析(PrincipalComponentAnalysis)，同时提取特征向量构造参数模型。经过PCA 之后得到60个特征向量，在实验中发现选取前30个特征向量还原可以表达98％的动作。

第二步，多目相机手数据采集

参见图2a，本实施例采用了一个直径1.3米，高1.6米的圆柱形穹幕(dome) 多相机系统，共使用了24个单反相机采集多视角静态图片。其中距离中心最远的相机为1米，最近的为0.6米。穹幕中央有一个支架，拍摄时可以手腕放在支架上以保持稳定。具体相机分布和采集到的图像示例如图2a所示。穹幕正上方均匀放置了4个相机，下面三层横杆上放置了18个相机，相邻相机与穹幕中心夹角不超过20°。另外有两个相机分别放在手的水平位置的两边。这样的相机排布是为了更大限度的在有限的相机个数下覆盖更多的视角范围。我们使用的单反相机采集到的图片分辨率约为4000×6000，其中手大约占2500 ×2500。本实施例使用一块纹理丰富的布料配合传统算法对这个多相机系统进行了标定。

参见图2b，数据采集过程中，用户将一只手的手腕放在支架上，保持手掌心向下，做规定动作。第一次拍摄自然动作，第二次拍摄规定的复杂动作。本发明中我们将自然动作定义为数字五的动作，如图1a、图1b所示。这一动作五指分开，动作简单，遮挡少，可以方便地得到骨骼和三维模型。

因为所采集到的图片分辨率高，利用传统算法也能捕捉到手上皮肤的纹理。我们使用传统的MVS(Multiview Stereo)算法对多视角图片进行重建得到了稠密的点云。但由于复杂动作遮挡多，MVS算法得到的点云还是存在空洞和噪声，不能直接网格化作为结果。

第三步，生成个人手模板

基于图1a中的模板手，本实施例使用非刚体形变(non-rigid deformation)将模板匹配到自然状态的手点云上。首先，在模板模型上采集控制点(node)，每两个控制点之间的距离为∈，每个控制点可以影响测地距离(geodesicdistance) 3∈以内的顶点。对每个控制点进行旋转和平移时，受影响的顶点也会相应的旋转和平移，具体形变的程度与顶点到控制点的距离有关。离控制点越近，形变越明显。

非刚体形变本身可以看作一个优化问题。优化的目标是使得模板模型T和点云S尽量贴合，优化的变量则是模板模型上控制点的旋转和平移。具体的优化公式如下：

E_shape(M)＝λ_dE_data+λ_rE_reg

其中E_data为数据项，E_reg为正则项，M为控制点的形变矩阵(transformationmatrix)，代表了每个控制点的旋转和平移，即该问题中的优化变量。λ_d,λ_r分别为两个优化项的权重，本发明中分别设置为0.8和0.1。

数据项E_data为用于计算模板模型T与点云S之间的倒角距离(ChamferDistance)，定义如下：

其中k为模板模型T的顶点数，m为点云S的顶点数。对于模板模型中的每个顶点 v_i∈T，在点云S中找到对应点C_s(v_i)→v_j，即v_i需要形变到v_j。这两个点需要满足两点的欧氏距离和法向量之差的加权和最小：

其中n_j是v_j的法向量。同样地，也要在T中找到v_j∈S的对应点C_T(v_j)→v_i。本发明中，d和θ分别为2厘米和cos(20°)。

正则项E_reg用于控制形变的程度，保证相邻控制点之间形变差距不会太大。公式如下：

其中，N是所有的控制点集合，N_i是控制点i的相邻控制点集合。M_i是控制点n_i的形变矩阵。

表示相邻控制点之间相互影响的权重，距离越近，权重越大。

本实施例用高斯牛顿法来求解这个问题，最终可以得到每个控制点的形变矩阵。根据控制点形变模板模型T得到个人手模板

如图3c所示。

第四步，匹配复杂动作

在得到个人手模板

之后，本实施例开始拟合复杂动作。同样可以将其看作一个优化问题：通过骨骼形变和非刚体变换形变

使得形变后的模型与复杂手势的点云S′相匹配。优化变量包括动作参数Θ和控制点的变换。

动作参数Θ是一个30维的向量。利用第一步得到的特征向量，可以将Θ还原成 60维的动作向量Θ′用于骨骼形变。本实施例用线性混合蒙皮算法对手模板

中的顶点进行相应的移动，公式如下：

其中，v_t为原始顶点位置，

为移动后的顶点位置。T_j为骨骼的旋转矩阵，由Θ′得到。w_ij为顶点v_i对骨骼j的权重，其中

这一步骤操作将

形变到了相应动作。

拟合复杂动作的优化公式定义如下：

E(Θ,M)＝λ_dE_data+λ_rE_reg+λ_pE_pose

本实施例在第三步的公式中增加了动作项E_pose，用于初始化动作，权重λ_p设为0.5。对于当前的复杂动作，可以从手套采集的动作中人工找到类似的动作

用于初始化动作参数，公式定义为

本实施例同样使用高斯牛顿法来求解这个优化问题，最后得到与复杂动作点云S′动作和形状都匹配的模型T’，如图3d所示。同时通过优化后的Θ，形变手模型的每个骨骼，记录骨骼的起点和终点位置即可得到该复杂动作的三维骨骼。第五步，优化点云，模型生成

最后，根据T’对S’进行补洞和去除噪声点。首先将T’顶点个数加密到与S’相同的数量级，然后把T’中距离S’比较远的点给S’，即补洞；把S’中距离T’比较远的点删掉，即去除噪声点，结果如图3e所示，深色点为补洞后添加的点。对处理后的点云再做泊松网格化得到重建后的手模型，从而减少了模型的粘连，结果如图3f所示。

上述实施例提高了手参数模型的动作表达能力，将参数模型和传统多目视觉算法相结合，从而提高基于模型拟合类算法手骨骼检测的准确度，能够从多目相机拍摄的手数据中准确的得到骨骼和三维模型。

此外，本发明还提供一种电子设备，包括：至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，其中，可执行指令在被至少一个处理器执行时使得实现本发明上述的方法。

例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器(Central Processing Unit，CPU)等。或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。

可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM (Read-OnlyMemory，只读存储器)、PROM(ProgrammableROM，可编程只读存储器)、EPROM(ErasablePROM，可擦除可编程只读存储器)、EEPROM (ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。易失性存储器可以是RAM(RandomAccessMemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM(StaticRAM，静态随机存取存储器)、DRAM(DynamicRAM，动态随机存取存储器)、SDRAM (SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM(DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM(Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM(DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行上述的方法步骤。

本发明实施例还提供一种芯片，用于执行上述的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述方法。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明上述的方法的步骤。

例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。

本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述方法。

本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。

在本申请实施例中，所公开的系统、电子设备和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。

以上内容仅为本申请的具体实施方式，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当在本申请的保护范围之内。

Claims (10)

1.一种人手建模方法，其特征在于包括：

S1，基于模板手构建手动作参数模型；

S2，采集多视角、复杂动作的手图片、自然状态的手数据，并分别生成点云；

S3，将模板手匹配到自然状态的手的数据，得到个人手模板；

S4，将个人手模板拟合到复杂动作的点云，得到模型。

2.根据权利要求1所述的人手建模方法，其特征在于：还包括S5，根据模型对点云作降噪和补洞处理，经过网格化得到重建后的三维模型。

3.根据权利要求1所述的人手建模方法，其特征在于：S3中，通过非刚体形变将个人手模板匹配到自然状态的手的点云。

4.根据权利要求3所述的人手建模方法，其特征在于：所述非刚体形变为，对手模板上控制点的旋转和平移进行优化，公式为：

E_shape(M)＝λ_dE_data+λ_rE_reg

E_data为数据项，E_reg为正则项，M为控制点的形变矩阵，λ_d，λ_r分别为两个优化项的权重。

5.根据权利要求4所述的人手建模方法，其特征在于：数据项E_data为用于计算模板模型与点云之间的倒角距离：

其中k为模板模型T的顶点数，m为点云S的顶点数。

6.根据权利要求1所述的人手建模方法，其特征在于：S4中所述拟合为，通过骨骼形变和非刚体变换形变，使形变后的模型与复杂手势的点云相匹配。

7.一种人手建模系统，其特征在于：包括：

第一采集模块，用于构建手动作参数模型；

第二采集模块，用于采集多视角、复杂动作的手图片、自然状态的手数据，并分别生成点云；

匹配模块，用于将模板手匹配到自然状态的手的数据，得到个人手模板；

拟合模块，用于将个人手模板拟合到复杂动作的点云，得到模型。

8.一种芯片，其特征在于，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行权利要求1-6中任一项所述的人手建模方法。

9.一种电子设备，其特征在于：包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行权利要求1-6中任一所述的人手建模方法。

10.一种计算机可读介质，其特征在于：所述计算机可读存储介质上存储有计算机程序，所述计算机程序指令被处理执行时，实现权利要求1-6中任一所述的人手建模方法。

Images