CN108140243B

CN108140243B - 用于构建3d手模型的方法、设备和系统

Info

Publication number: CN108140243B
Application number: CN201580077259.9A
Authority: CN
Inventors: 汤晓鸥; 钱晨; 许德唯; 吕健勤
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2015-03-18
Filing date: 2015-03-18
Publication date: 2022-01-11
Anticipated expiration: 2035-03-18
Also published as: WO2016145625A1; CN108140243A

Abstract

公开了用于从双目图像系统中构建3D手模型的设备、方法和系统。该设备可以包括：取得装置，配置成从立体帧中取得手部区域，该立体帧包括第一图像和第二图像；分割装置，其与取得装置电通信，并且配置成从取得的手部区域中分割出至少一个手部部分，每个手部部分具有特征点；获取装置，其与分割装置电联接，并且被配置成针对每个分割的手部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；以及生成装置，其与获取装置电通信，并且被配置成基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。

Description

用于构建3D手模型的方法、设备和系统

技术领域

本申请总体涉及身体姿势识别的领域，更具体地，涉及用于从双目图像系统中构建3D手模型的设备。本申请还涉及用于从双目图像系统中构建3D手模型的方法和系统。

背景技术

近来，身体姿势识别系统、尤其是手部姿势识别系统已经在若干应用中使用，诸如，人机接口(HCI)中的手势控制、手语识别等。从立体图像中恢复出3D模型的传统方法通常分成两步，包括：从立体图像中提取3D点云，随后将3D点云拟合到3D模型中。

然而，传统方法通常具有下列问题。首先，一根手指的2D特征与其他手指几乎没有区别。为立体图像对中的两个或更多个不同图像建立相同3D点的对应关系时会存在模糊性，并且会影响3D构建的准确性。其次，对独特特征的提取和特征映射也很难满足实时需求。第三，手部被视作多体对象(通常称为有关节的对象)，因此当使用传统的单一模型拟合时，手部姿势恢复时不能很好完成任务。第四，更加复杂的多体模型拟合可以代替单一模型使用，而这是计算密集型任务。

没有考虑人手的独特特性的传统方法难以克服这些困难。

发明内容

鉴于上述内容，本申请提出的设备、系统和方法用于解决上述问题。利用该设备、系统和方法，通过引入和使用手部部分的概念克服上述困难来合理地使用人的手部特性。因此，可以实时恢复包括手指和手掌的3D位置和方向在内的手部姿势。

根据本申请的实施例，公开用于构建3D手模型的设备。该设备可以包括：取得装置，配置成从立体帧中取得手部区域，该立体帧至少包括第一图像和第二图像；分割装置，其与取得装置电通信，并且被配置成从取得的手部区域中分割出一个或多个手部部分，每个手部部分由多个特征点构成；获取装置，其与分割装置电联接，并且被配置成针对每个分割的手部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；以及生成装置，其与获取装置电通信，并且被配置成基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。

根据本申请的实施例，公开用于构建3D手模型的方法。该方法可以包括下列步骤：从立体帧中取得手部区域，该立体帧至少包括第一图像和第二图像；从取得的手部区域中分割出一个或多个手部部分，每个手部部分由多个特征点构成；针对每个手部部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；以及基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。

根据本申请的实施例，公开用于构建3D手模型的系统。该系统可以包括：存储器，其存储可执行部件；以及处理器，其电联接到存储器以执行可执行部件，以：从立体帧中取得手部区域，该立体帧至少包括第一图像和第二图像；从取得的手部区域中分割一个或多个手部部分，每个手部部分由多个特征点构成；针对每个手部部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；并且基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。

下列描述和附图阐明本公开的某些说明性方面。然而，这些方面表明可以采用本公开的原理的各种方式中的一些方式。当结合附图考虑时，从本公开的下列详细描述中将明白本公开的其他方面。

附图说明

下文参考附图描述本发明的示例性非限制实施例。附图是说明性的，并且一般不按确切比例。不同图上的相同或类似元件引用相同的参考编号。

图1是示出符合本申请的实施例的用于构建3D手模型的设备的示意图。

图2是示出符合一些公开实施例的用于构建3D手模型的设备的分割装置的示意图。

图3是示出符合本申请的一个实施例的用于构建3D手模型的设备的生成装置的示意图。

图4是示出符合本申请的一个实施例的所构建的3D手模型的示例的示意图。

图5是示出符合一些公开实施例的用于构建3D手模型的方法的示意流程图。

图6是示出符合一些其他公开实施例的用于构建3D手模型的方法的分割步骤的示意流程图。

图7是示出符合一些其他公开实施例的用于构建3D手模型的方法的生成步骤的示意流程图。

图8是示出符合本申请的实施例的用于构建3D手模型的系统的示意图。

具体实施方式

现在将详细地参考本发明的一些具体实施例，包括发明人预期的用于实施本发明的最佳模式。附图中示出这些具体实施例的示例。尽管结合这些具体实施例描述本发明，但应理解，并不意图将本发明限于所述实施例。相反，意图涵盖可以包括在如所附权利要求书限定的本发明的精神和范围内的替代方案、修改和等效物。以下描述中列出了多个具体细节，以便提供对本发明的彻底理解。本发明可以在没有这些具体细节中的一些或全部的情况下实践。在其他情况下，没有详细地描述众所周知的过程操作，以免不必要地使本发明变得模糊。

本文中使用的术语仅仅是出于描述特定实施例的目的，而不意图限制本发明。除非上下文另有明确指出，否则本文中使用的单数形式“一”、“一个”和“所述”也意图包括复数形式。还应理解，本说明书中使用的术语“包括”和/或“包括”用于说明存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组合。

如本领域的技术人员将了解，本发明可以体现为系统、方法或计算机程序产品。因此，本发明可以采用以下形式：全硬件实施例、全软件实施例(包括固件、常驻软件、微码等)，或者将在本文中通常都可以称为“电路”、“模块”或“系统”的软件和硬件方面组合起来的实施例。此外，本发明可以采用计算机程序产品的形式，所述计算机程序产品体现在任何有形的表达介质中，所述介质具有体现在介质中的计算机可用程序代码。

还应理解，诸如第一和第二等等相关术语(若有的话)单独使用，以将一个实体、项目或动作与另一个区分开来，而未必要求或暗示这些实体、项目或动作之间的任何实际关系或顺序。

本发明功能中的很多功能和本发明原理中的很多原理在实施时由软件或集成电路(IC)最好地支持，诸如，数字信号处理器和软件或者专用IC。尽管存在可能大量的努力和由例如可用时间、当前技术和经济考虑因素激励的很多设计选择，但可以预期，本领域的技术人员在由本文中公开的概念和原理的教导下可以容易地利用最少的实验生成此类软件指令或IC。因此，出于简洁的目的，并最小化可能会对本发明的原理和概念带来任何不清楚的风险，此类软件和IC的进一步论述(若有的话)将限于优选实施例所使用的必要原理和概念。

图1是示出符合一些公开实施例的用于从双目成像系统中构建用户的3D手模型的示例性设备1000的示意图。如图所示，设备1000可以包括取得装置100、分割装置200、获取装置300以及生成装置400。

在图1所示的实施例中，取得装置100可以从立体帧中取得手部区域，所述立体帧至少包括第一图像和第二图像。在实施例中，取得装置100可以从双目图像系统捕获用户手部的立体帧，并且取得立体帧中的每个图像的最大连接分量，作为手部区域。在本文中，连接分量是指由相邻的一组图像点的集合构成的区域。

分割装置200可以与取得装置100通信，并且可以从取得的手部区域中分割一个或多个手部部分，其中每个手部部分由多个特征点构成，这将在之后参考图2详细地描述。

获取装置300可以与分割装置200电联接。针对每个手部部分，获取装置300可以获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配。

生成装置400可以与获取装置300电通信，并且可以基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型，这将在之后参考图3详细地描述。

利用设备1000，可以实时恢复用户手部的手指和手掌的3D位置和取向。图4示出根据本申请的一个实施例构建的3D手模型的示例，其中五个圆圈和椭圆分别表示检测到的用户手部的指尖和手掌。

双目成像系统(也被称为立体相机)可以是，例如，红外线立体相机。在下文中，将在具有亮度可调节的IR光源的红外线(IR)立体相机用来捕获立体图像的示例性实施例中详细地描述设备1000的每个部件。通过这种方式，只有被光源照亮的对象才会被双目成像系统捕获。应注意，可以由任何其他种类的成像系统来捕获图像，并且本申请不限于此。为简单起见，将双目成像系统校准，也就是，针对每个立体图像帧来执行图像校正。

对于双目成像系统，立体帧具有至少两个图像，即，由左立体相机捕获的左图像I₁和由右相机捕获的右图像I₂。在下文中，除非另有明确说明，否则第一图像和第二图像可以是指立体图像帧(I_1,I₂)中的左图像和右图像中的任一个。

参考图2，分割装置200还可以包括选择器201、提取器202和检测器203。具体地讲，选择器201可以从手部区域中选择用于识别每个手部部分的代表点，提取器202可以根据所选择的代表点来提取每个手部部分的连接分量，并且检测器203可以根据所提取的连接分量来检测每个手部部分的对应特征点，以利用所检测的特征点来分割至少一个手部部分。

分割装置200可以将手部区域分割成多个手部部分，至少包括例如五个手指部分和手掌部分。为了识别手部部分，对每个手部部分分配代表点，以便将它与不同的手部部分区分开。在实施例中，选择器201可以使用几何方法，使得它选择手部区域中最突出的点作为用于识别一个手指部分的代表点。在另一实施例中，选择器201可以使用强度法来选择手部区域的立体帧的最亮点作为手指部分的代表点，也就是，选择手部区域中的具有最高强度(即，最亮)的点作为手指部分的代表点。至于手掌部分，选择器201可以选择手部区域的中心作为它的代表点。应注意，手部的其他性质也可以用来根据不同的成像系统识别手指或手掌部分，并且本申请不限于此。

提取器202可以根据代表点来提取每个手部部分的连接分量。连接分量由手部部分的代表点周围的图像点的集合构成。对于手掌部分，连接分量是平均手掌半径内的代表点周围的图像点的集合。对于几何方法，手指部分的每个连接分量是没有超出平均手指长度的距离内的突出点周围的图像点的集合。在另一实施例中，手指部分的连接分量是图像点的集合，使得与突出点具有相同距离的图像点不超出平均手指宽度。在另一实施例中，对于使用基于强度的方法识别的手指部分，连接分量是最亮点周围的图像点的集合，使得上述距离图的轮廓线处的图像点的强度低于某一阈值。平均手掌半径、平均手指长度和平均手指宽度是预先确定的。

在实施例中，分割装置200还可以包括去除器204，配置成从手部区域中去除包括所选择的代表点和所提取的连接分量在内的手部部分，使得在剩余的手部区域中重复地执行选择、提取和去除，直到不需要从手部区域中去除手部部分为止。因此，手部部分可以迭代地分割，并且在每个迭代过程中，只从剩余的手部区域中恢复新的单个手部部分。在实施例中，选择器201可以首先选择最突出的点作为手部部分的代表点。随后，提取器202可以提取没有超出预定平均手指长度的距离内的突出点周围的连接分量。随后，从手部区域中去除其中提取了代表点和连接分量的、当前搜索到的手部部分，其中去除的手部部分包括所选择的代表点和所提取的连接分量。在剩余的手部区域中反复地执行选择器201、提取器202和去除器204的处理，直到搜遍所有的手部区域为止。

检测器203可以根据由提取器202提取的每个连接分量来检测每个手部部分的对应特征点。特征点足够广泛地分布以覆盖整个手部部分，并且所述特征点是有区别的，以便来自不同3D点的2D图像投影可彼此区分开。在实施例中，将位于沿着手部部分的连接分量的边界的图像点用作手部部分的特征点。

在实施例中，分割装置200还可以包括验证器205。为了验证所分割的手部部分的正确性，验证器205被配置成根据手部部分的提取连接分量来验证所分割的手部部分是不是手指部分。如果不属于手指部分，那么所分割的手部部分被视作手掌部分的一部分。将被定义为手指部分的长度与宽度之比的长宽比用来确定当前手部部分是不是有效的手指。手指部分的长度和宽度的信息由从提取器202提取的连接分量提供。应注意，与代表点相关的其他性质也可以用来提供有用的线索，以有助于手部部分的验证，并且本申请不限于此。

再次参考图1，获取装置300被配置成获取匹配的手部部分对，其中第一图像中的每个手部部分与第二图像中的手部部分匹配。在实施例中，获取装置300还可以获取每个匹配的手部部分中的匹配特征点对。

对于由分割装置200分割的手部部分的集合H＝(F₁,F₂,…,F₅,P)，五个分量代表五个手指部分并且最后一个代表手掌部分。在本文中，对于手掌部分(P)，将手部区域的中心选作代表点(p_p)。获取装置300可以根据手部部分的代表点只获取匹配的手指部分对，其中第一图像中的每个手部部分与第二图像中的手部部分匹配。

具体地讲，对于立体帧(I₁,I₂)，通过测量(F₁)_i的代表点相对于手掌中心p_p1的距离与(F₂)_j的代表点相对于手掌中心p_p2的距离之间的差异来将第一图像I₁中的每个手指部分(F₁)_i匹配到第二图像I₂中的手指部分(F₂)_j，如下：

其中(p_f1)_i和(p_f2)_j分别代表I₁和I₂中的手指部分(F₁)_i和(F₂)_j的第i个和第j个代表点，并且i、j＝1、2、…、5。

从匹配的手部部分中，获取装置300可以进一步获取匹配特征点对，也就是，2D图像点和与2D图像点相关联的手部部分标签。在本文中，假设同一手部部分H中的所有特征点x＝(x,y)^T的差异d(p_H)与相关联的代表点p_H相同。换言之，对于立体帧(I₁,I₂)，将第一图像I₁中的特征点x₁的对应关系定义为第二图像I₂中的

差异可以由生成装置400提供，这将在之后描述。在拒绝一些不可能的对应关系之后，将x₁的最佳匹配特征点x₂定义如下：

其中x′₂是

周围的特征点的2D图像位置。随后，获取装置300获取匹配特征点对(x₁,x₂)。

返回图3，生成装置400可以包括建立器401、确定器402和拟合器403。建立器401可以从每个手部部分的匹配特征点对中建立第一图像和第二图像的3D点云。每个匹配特征点对可以包括与特征点的2D坐标相关联的手部部分标签。确定器402可以根据手部部分标签来确定手部部分的所建立的3D点云是否属于手指部分。拟合器403可以根据与3D点云相关联的手部部分标签将每个建立的3D点云与具体的3D模型进行拟合。

对于匹配特征点对(x₁,x₂)，将深度Z(x₁,x₂)定义如下：

其中d＝x₂-x₁代表匹配特征点对(x₁,x₂)的差异；并且f和b分别代表校正之后的立体相机的焦距和基线。

因此，建立器401建立3D点云，使得将相对于与I₁相关联的相机中心的3D位置X₁定义如下：

随后，确定器402可以根据手部部分标签来确定一个手部部分的所建立的3D点云是否属于手指部分，使得拟合器403可以将所建立的3D点云与具体3D模型进行拟合。

如果确定手部部分的所建立的3D点云属于手指，那么由拟合器403执行3D手指模型拟合。在本文中，将3D空间中的圆柱体建模为手指并且进一步简化为线段。线段可以由手指长度L、指尖P_f的3D坐标和手指的单位方向矢量

进行参数化，其中L可以由分割装置200预先确定。参数P_f和

可以初始化。通过使用梯度下降优化将从手指部分的所有3D特征点到线段的总距离最小化，可以获得最佳值。因此，将成本函数

定义如下：

其中P_f代表手指部分的指尖的3D坐标；

代表手指部分的单位方向矢量；并且(X_f)_i代表手指部分的3D点云的第i个点。由此，相应地构建手指部分的3D手指模型。

另一方面，如果确定手部部分的所建立的3D点云属于手掌，那么由拟合器403执行3D手掌模型拟合。在本文中，将3D圆圈建模为手掌，并且进一步使用手掌中心C_p、半径r和表面单位法线

进行参数化。在手掌中心C_p、半径r和表面单位法线

初始化之后，在

上执行梯度下降优化，以将从所有3D点到3D圆圈及其变型的总距离最小化。将成本函数

定义如下：

其中(X_p)_i代表手掌部分的3D点云的第i个点；

X_p-C_p代表X_p与手掌中心C_p的平均距离；以及

λ代表调整因子。

之后，根据计算的C_p来重新估计半径r。

随后，迭代地执行以上两个步骤，使得可以获得最终的3D手模型。

图5是示出用于构建3D手模型的方法的流程图，并且图6和图7是分别示出图5所示的方法的分割步骤S502和生成步骤S504的流程图。下文将参考图5到图7详细地描述方法2000。

如图5所示，在步骤S501处，可以从包括至少第一图像和第二图像的立体帧中取得手部区域。在步骤S502处，可以从在步骤S501处取得的手部区域中分割一个或多个手部部分，每个手部部分由多个特征点构成。随后，在步骤S503处，对于每个手部部分，获取多个匹配特征点对，其中第一图像中的特征点可以与第二图像中的特征点匹配。之后，在步骤S504处，可以基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。

在实施例中，图5所示的步骤S502还可以包括如图6所示的步骤S5021到S5023。参考图6，在步骤S5021处，从手部区域中选择用于识别每个手部部分的代表点。在S5022处，根据选择的代表点来提取每个手部部分的连接分量。随后，在S5023处，根据提取的连接分量来检测每个手部部分的对应特征点，以利用检测的特征点来分割至少一个手部部分。

在实施例中，步骤S503还包括：根据手部部分的代表点来获取匹配的手部部分对的步骤，在手部部分对中第一图像中的每个手部部分与第二图像中的手部部分匹配；以及获取每个匹配的手部部分中的匹配特征点对的步骤。

在实施例中，图5所示的步骤S504还包括如图7所示的步骤S5041到S5044。在步骤S503处获取的手部部分的每个匹配特征点对可以包括与特征点的2D坐标相关联的手部部分标签。在步骤S5041处，从每个手部部分的匹配特征点对中建立第一图像和第二图像的3D点云。在步骤S5042处，可以根据手部部分标签来确定手部分的所建立的3D点云是否属于手指部分。如果确定手部部分是手指部分，那么在步骤S5043处，执行3D手指模型拟合，这可以由上述公式(5)管理。如果不是的话，在S5044步骤处，执行3D手掌模式拟合过程，这可以由上述公式(6)管理。

图8示出符合本申请的实施例的用于构建3D手模型的系统3000。参考图8，系统3000包括存储可执行部件的存储器3001，以及处理器3002，所述处理器电联接到存储器3001以执行可执行部件，以便执行系统3000的操作。可执行部件可以包括：取得部件3003，配置成从立体帧中取得手部区域，所述立体帧包括至少第一图像和第二图像；分割部件3004，配置成从取得的手部区域中分割出一个或多个手部部分，每个手部部分由多个特征点构成；获取部件3005，配置成针对每个手部部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；以及生成部件3006，配置成基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。部件3003到3006的功能分别类似于装置100到400的功能，因此本文中省略其详细描述。

尽管已描述了本发明的优选示例，但在了解本发明基本概念后，本领域的技术人员可以对这些示例作出变化或更改。所附权利要求书意图包括落入本发明的范围内的优选示例和所有变化或更改。

显然，在不脱离本发明的精神和范围的情况下，本领域的技术人员可以对本发明作出变化或更改。因此，如果这些变化或更改属于权利要求书和等效技术的范围，那么它们也可以落入本发明的范围内。

Claims

1.一种用于构建3D手模型的设备，包括：

取得装置，被配置成从立体帧中取得手部区域，所述立体帧至少包括第一图像和第二图像；

分割装置，与所述取得装置电通信，并被配置成从所取得的手部区域中分割出一个或多个手部部分，每个所述手部部分由多个特征点构成；

获取装置，与所述分割装置电联接，并被配置成针对每个分割出的手部部分来获取多个匹配特征点对，在所述匹配特征点对中所述第一图像中的特征点与所述第二图像中的对应特征点匹配；以及

生成装置，与所述获取装置电通信，并被配置成基于所述手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建所述3D手模型。

2.根据权利要求1所述的设备，其中所述分割装置还包括：

选择器，配置成从所述手部区域中选择用于识别每个所述手部部分的代表点；

提取器，配置成根据选择的代表点来提取每个所述手部部分的连接分量，所述连接分量是由所选择的代表点周围的图像点的集合构成的区域；

检测器，被配置成根据提取的连接分量来检测每个所述手部部分的特征点，以利用检测的特征点来分割至少一个所述手部部分。

3.根据权利要求2所述的设备，其中所述分割装置还包括：

去除器，配置成从所述手部区域中去除包括所述选择的代表点和所述提取的连接分量在内的手部部分，其中在剩余的手部区域中重复地执行所述选择、所述提取和所述去除的处理，直到不需要从所述手部区域中去除手部部分为止。

4.根据权利要求2所述的设备，其中所述分割装置还包括：

验证器，被配置成根据所述提取的连接分量来验证分割的手部部分是不是手指部分。

5.根据权利要求2所述的设备，其中所述手部部分至少包括多个手指部分，并且其中：

将所述手部区域中的最突出点选择作为用于识别手指部分的代表点，以及

一个所述手指部分的所述连接分量是所述代表点中的没有超出预定手指长度的距离内的代表点周围的图像点的集合。

6.根据权利要求2所述的设备，其中所述手部部分至少包括手掌部分，并且其中：

将所述手部区域的中心选择作为用于识别所述手掌部分的代表点，以及

所述手掌部分的连接分量是预定手掌半径内的代表点周围的图像点的集合。

7.根据权利要求2所述的设备，其中所述获取装置还被配置成：

根据每个所述手部部分的代表点来获取匹配的手部部分对，其中所述第一图像中的每个手部部分与所述第二图像中的手部部分匹配；以及

获取每个匹配的手部部分中的所述匹配特征点对。

8.根据权利要求1所述的设备，其中每个所述匹配特征点对包括与所述特征点的2D坐标相关联的手部部分标签，并且所述生成装置还包括：

建立器，配置成从每个所述手部部分的匹配特征点对中建立所述第一图像和所述第二图像的3D点云；

确定器，配置成根据所述手部部分标签来确定为所述手部部分建立的3D点云是否属于手指部分；以及

拟合器，配置成根据与所述3D点云相关联的手部部分标签将所述建立的3D点云与具体的3D模型进行拟合。

9.根据权利要求1所述的设备，其中所述取得装置还被配置成从双目图像系统中捕获用户手部的立体帧，并且取得所述第一图像和所述第二图像中的每个的最大连接分量，作为所述手部区域。

10.一种用于构建3D手模型的方法，包括：

从立体帧中取得手部区域，所述立体帧至少包括第一图像和第二图像；

从取得的手部区域中分割出一个或多个手部部分，每个所述手部部分由多个特征点构成；

针对每个手部部分获取多个匹配特征点对，在所述匹配特征点对中所述第一图像中的特征点与所述第二图像中的对应特征点匹配；以及

基于所述手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建所述3D手模型。

11.根据权利要求10所述的方法，其中所述分割还包括：

从所述手部区域中选择用于识别每个所述手部部分的代表点；

根据选择的代表点来提取每个所述手部部分的连接分量，所述连接分量是由所选择的代表点周围的图像点的集合构成的区域；以及

根据提取的分量来检测每个所述手部部分的特征点，以利用检测出的特征点来分割至少一个所述手部部分。

12.根据权利要求11所述的方法，其中所述分割还包括：

从所述手部区域中去除包括所述选择的代表点和所述提取的连接分量在内的手部部分，其中在剩余的手部区域中彻底地执行所述选择、所述提取和所述检测的处理，直到不需要从所述手部区域中去除手部部分为止。

13.根据权利要求11所述的方法，其中所述分割还包括：

根据所述提取的连接分量来验证分割的手部部分是不是手指部分。

14.根据权利要求11所述的方法，其中所述手部部分至少包括多个手指部分，并且其中：

一个所述手指部分的连接分量是所述代表点中的没有超出预定手指长度的距离内的代表点周围的图像点的集合。

15.根据权利要求11所述的方法，其中所述手部部分至少包括手掌部分，并且其中：

16.根据权利要求11所述的方法，其中所述获取还包括：

根据每个所述手部部分的代表点来获取匹配的手部部分对，在所述手部部分对中所述第一图像中的每个手部部分与所述第二图像中的手部部分匹配；以及

获取每个匹配的手部部分中的所述匹配特征点对。

17.根据权利要求10所述的方法，其中所述匹配特征点对中的每个包括与所述特征点的2D坐标相关联的手部部分标签，并且所述生成还包括：

从每个手部部分的匹配特征点对中建立所述第一图像和所述第二图像的3D点云；

根据所述手部部分标签来确定为所述手部部分建立的3D点云是否属于手指部分；以及

根据与所述3D点云相关联的手部部分标签将所述建立的3D点云与具体的3D模型进行拟合。

18.根据权利要求10所述的方法，其还包括：

从双目图像系统中捕获用户手部的所述立体帧；以及

取得所述第一图像和所述第二图像中的每个的最大连接分量，作为所述手部区域。

19.一种用于构建3D手模型的系统，其包括：

存储器，其存储可执行部件；以及

处理器，其电联接到所述存储器，以执行所述可执行部件，以：

针对每个所述手部部分获取多个匹配特征点对，在所述匹配特征点对中所述第一图像中的特征点与所述第二图像中的对应特征点匹配；以及

基于所述手部部分的匹配特征点对来生成每个所述手部部分的3D模型，以构建所述3D手模型。