CN109035393B - 一种重建三维动画的方法及装置 - Google Patents

Abstract

本申请涉及图像处理技术领域，尤其涉及一种重建三维动画的方法及装置，其中，重建三维动画的方法包括以下步骤：获取骨骼信息和深度图；通过骨骼信息和深度图对人体部位测量；根据人体部位的测量信息调整预设的标准模型。由于本申请实施例所提供的重建三维动画的方法中，避免了手动建立骨骼动画，并且可以实时生成骨骼动画并应用于重建人体三维模型，进而提高了重建三维动画中骨骼动画控制人体三维模型皮肤的连贯性。

Description

一种重建三维动画的方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种重建三维动画的方法及装置。

背景技术

人体三维动画在游戏、计算机图形学、计算机视觉、虚拟现实等领域有着广泛的应用价值。目前，现有技术中通过采集人体的深度信息重建人体三维模型，通过建立骨骼动画，从而实现重建人体三维动画。

其中，骨骼动画是模型动画中的一种，在骨骼动画中，模型具有互相连接的“骨骼”组成的骨架结构，通过改变骨骼的朝向和位置来为模型生成动画。但是，由于现有技术中建立骨骼动画存在手动的过程，因此难于实时生成骨骼动画并应用于重建人体三维模型，进而影响重建三维动画中骨骼动画控制人体三维模型皮肤的连贯性。

发明内容

本申请提供了一种重建三维动画的方法，以实时生成骨骼动画并应用于重建人体三维模型，提高重建三维动画中骨骼动画控制人体三维模型皮肤的连贯性。

为解决上述技术问题，本申请提供如下技术方案：

一种重建三维动画的方法，包括以下步骤：获取骨骼信息和深度图；通过骨骼信息和深度图对人体部位测量；根据人体部位的测量信息调整预设的标准模型。

如上所述的重建三维动画的方法，其中，优选的是，通过骨骼信息和深度图对人体部位进行测量包括对人体身高的测量和对人体胖瘦的测量。

如上所述的重建三维动画的方法，其中，优选的是，对人体身高的测量具体包括以下步骤：对深度图进行抠像得到人体深度图；获取人体深度图中头顶和脚底的边界；根据头顶和脚底的边界获得对应的头顶摄像机的3D坐标值和脚底摄像机的3D坐标值；将头顶摄像机的3D坐标值与脚底摄像机的3D坐标值相减得到人体身高信息。

如上所述的重建三维动画的方法，其中，优选的是，获取人体深度图中头顶的边界具体包括以下步骤：将从骨骼信息的头部骨骼坐标点起竖直向上的坐标点依次作为预定坐标点；将预定坐标点向左右各扩展指定像素后作为计算输入；由下至上，依次将计算输入与人体深度图中的背景进行比较；直至计算输入与人体深度图中的背景相同，则该预定坐标点为人体深度图中头顶的边界。

如上所述的重建三维动画的方法，其中，优选的是，对人体胖瘦的测量具体包括以下步骤：根据骨骼信息的骨骼图像坐标点获取骨骼的外向向量和反外向向量；根据外向向量和反外向向量计算延伸边界；根据外向延伸边界获得外向边界摄像机的3D坐标值，根据反外向延伸边界获得反外向边界摄像机的3D坐标值；将外向边界摄像机的3D坐标值与反外向边边界摄像机的3D坐标值相减得到人体部位的宽度。

如上所述的重建三维动画的方法，其中，优选的是，获取骨骼的外向向量具体包括如下：外向向量＝叉积(子骨骼坐标–父骨骼坐标，向量(0,0,1))。

如上所述的重建三维动画的方法，其中，优选的是，反外向向量＝-外向向量。

一种重建三维动画的装置，包括：获取单元，用于获取骨骼信息和深度图；计算单元，通过骨骼信息和深度图对人体部位测量；调整单元，根据人体部位的测量信息调整预设的标准模型。

如上所述的重建三维动画的装置，其中，优选的是，计算单元包括：人体身高计算单元，对深度图进行抠像得到人体深度图，获取人体深度图中头顶和脚底的边界，根据头顶和脚底的边界获得对应的头顶摄像机的3D坐标值和脚底摄像机的3D坐标值，将头顶摄像机的3D坐标值与脚底摄像机的3D坐标值相减得到人体身高信息。

如上所述的重建三维动画的装置，其中，优选的是，计算单元还包括：人体胖瘦计算单元，根据骨骼信息的骨骼图像坐标点获取骨骼的外向向量和反外向向量，根据外向向量和反外向向量计算延伸边界，根据外向延伸边界获得外向边界摄像机的3D坐标值，根据反外向延伸边界获得反外向边边界摄像机的3D坐标值，将外向边界摄像机的3D坐标值与反外向边边界摄像机的3D坐标值相减得到人体部位的宽度。

相对上述背景技术，本发明所提供的一种重建三维动画的方法，包括以下步骤：获取骨骼信息和深度图；通过骨骼信息和深度图对人体部位测量；根据人体部位的测量信息调整预设的标准模型。由于本申请实施例所提供的重建三维动画的方法中，避免了手动建立骨骼动画，并且可以实时生成骨骼动画并应用于重建人体三维模型，进而提高了重建三维动画中骨骼动画控制人体三维模型皮肤的连贯性。本申请实施例提供的重建三维动画的方法可以扫描用户的身体，并带入游戏中，在游戏内部用户可以看到和在即身体一模一样的结构的模型，看着更加真实；并且用户在测量完身体后，可以根据身高和每个部位的特征计算给出当前是属于正常体型还是偏胖或者偏瘦体型；还可以根据测量身高数据，用户站在设备前面就可以计算得出当前的身高信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的重建三维动画的方法流程图；

图2是本申请实施例一提供的人体骨骼结构图；

图3是本申请实施例一提供的对人体身高测量的流程图；

图4是本申请实施例一提供的对人体胖瘦测量的流程图；

图5是UE4标准骨架结构模型图；

图6是标准模型和调整后的三维模型对比图；

图7是本申请实施例二提供的重建三维动画的装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

实施例一

如图1所示，本申请实施例提供了一种重建三维动画的方法，包括如下步骤：

步骤S110、获取骨骼信息和深度图；

获取骨骼信息和深度图可以通过深度摄像机获得，其中骨骼信息可以是每个骨骼的位置信息和旋转信息，根据骨骼信息构建骨骼结构图，如图2所示，图2为人体骨骼结构图。

步骤S120、通过骨骼信息和深度图对人体部位测量；

通过上述获得的骨骼信息和深度图对人体部位进行测量，具体可以包括：对人体身高的测量和对人体胖瘦的测量。

其中，对人体身高的测量，如图3所示，具体还可以包括以下步骤：

步骤S310、对深度图进行抠像得到人体深度图；

对深度摄像机拍摄的深度图进行抠像，具体可以是首先获取每个深度图对应像素的人体的ID，然后将该人体的ID设置为-1，将对应的深度图背景像素置为零，也就是抠像得到仅有人体的人体深度图。

步骤S320、获取人体深度图中头顶和脚底的边界；

获取人体深度图中头顶的边界具体可以是，首先获取骨骼信息的头部骨骼坐标点，然后将从头部骨骼坐标点起竖直向上的坐标点依次作为预定坐标点，将预定坐标点向左右各扩展指定像素后作为计算输入，由下至上，依次将计算输入与人体深度图中的背景进行比较，直至计算输入与人体深度图中的背景相同，则该预定坐标点为人体深度图中头顶的边界。

例如：获取头部骨骼坐标点，然后从这个坐标点向左右各扩展20个像素作为一行计算输入，将这一行计算输入与人体深度图中的背景进行比较，也就是比较作为计算输入的20*2个像素是否全部与背景像素相同，即计算输入是否全部为黑色，若作为计算输入的20*2个像素全部或者部分与背景像素不同，则判断这个位置不是头顶的位置，需要将头部骨骼坐标点向上的坐标点向左右各扩展20个像素作为下一行计算输入，然后继续与背景像素比较，直至计算输入的20*2个像素与背景像素相同，则表示已经遇到了向上方向的边界，此时可以判断这个位置就是头顶的位置。

获取人体深度图中脚底的边界与获取头顶的边界的计算方法相同。计算输入的大小可以根据头部和脚部的尺寸差别而进行调整，例如进行脚底边界的获取时，可以从脚部骨骼坐标向左右各扩展10个像素点，也可以是其他个数的像素点，只要能满足本申请实施例所要达到的技术效果即可。还有就是获取脚底边界时，是向下依次作为计算输入进行计算与上述获取头顶边界是向上计算正好相反。

待获取头顶的边界和脚底的边界后，请继续参阅图3，步骤S330、根据头顶和脚底的边界获得对应的头顶摄像机的3D坐标值和脚底摄像机的3D坐标值；

在人体深度图中设置图像坐标系，头顶的边界在图像坐标系中具有坐标点，脚底的边界在图像坐标系中具有相应的坐标点。在立体视觉中，一般需要使用两个或更多的摄像机，所以，还需要知道各个摄像机之间的几何关系，不同的摄像机均处于摄像机坐标系中。由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。通过图像坐标系、世界坐标系和摄像机坐标系之间的关系，将图像坐标系中的坐标点映射至摄像机坐标系中，获得摄像机坐标系中头顶摄像机的3D坐标值和脚底摄像机的3D坐标值。

步骤S340、将头顶摄像机的3D坐标值与脚底摄像机的3D坐标值相减得到人体身高信息。

此外，对人体胖瘦的测量，请参阅图4，具体还可以包括以下步骤：

步骤S410、根据骨骼信息的骨骼图像坐标点获取骨骼的外向向量和反外向向量；

外向向量＝叉积((子骨骼坐标–父骨骼坐标)向量(0,0,1))，使用向量叉积得出骨骼的外向向量，反外向向量＝-外向向量。

步骤S420、根据外向向量和反外向向量计算延伸边界；

相邻的两个外向向量的边界相连得到外向向量的延伸边界，相邻的两个反外向向量的边界相连得到反外向向量的延伸边界。

步骤S430、根据外向延伸边界获得外向边界摄像机的3D坐标值，根据反外向延伸边界获得反外向边界摄像机的3D坐标值；

该获得外向边界摄像机的3D坐标值和获得反外向边界摄像机的3D坐标值的方法与上述获得头顶摄像机的3D坐标值和脚底摄像机的3D坐标值的方法相同，在此就不在赘述。

步骤S440、将外向边界摄像机的3D坐标值与反外向边边界摄像机的3D坐标值相减得到人体部位的宽度。

使用相同的方法可以分别获取手臂直径、手腕直径、大腿直径、头部直径、胸部直径、肚子直径等有关人体胖瘦的参数。

在上述基础上，肩宽可以使用左肩骨骼摄像机的3D坐标值和右肩骨骼摄像机的3D坐标值之间的距离获取。

请继续参阅图1，步骤S130、根据人体部位的测量信息调整预设的标准模型。

标准模型是人体骨骼的标准模型，具体可以是如图5所示，图5是UE4标准骨架结构模型图，也可以是其他标准的人体骨骼标准模型。

通过计算出的人体身高和人体胖瘦对人体骨骼的标准模型进行调整，得到符合人体的三维模型，如图6所示，图6是标准模型和调整后的三维模型对比图。

由于本申请实施例所提供的重建三维动画的方法中，避免了手动建立骨骼动画，并且可以实时生成骨骼动画并应用于重建人体三维模型，进而提高了重建三维动画中骨骼动画控制人体三维模型皮肤的连贯性。本申请实施例提供的重建三维动画的方法可以扫描用户的身体，并带入游戏中，在游戏内部用户可以看到和在即身体一模一样的结构的模型，看着更加真实；并且用户在测量完身体后，可以根据身高和每个部位的特征计算给出当前是属于正常体型还是偏胖或者偏瘦体型；还可以根据测量身高数据，用户站在设备前面就可以计算得出当前的身高信息。

实施例二

如图7所示，本申请实施例提供了一种重建三维动画的装置710，包括：获取单元711、计算单元712和调整单元713，其中，获取单元711，用于获取骨骼信息和深度图；计算单元712，通过骨骼信息和深度图对人体部位测量；调整单元713，根据人体部位的测量信息调整预设的标准模型。

在上述基础上，计算单元712包括：人体身高计算单元7121和人体胖瘦计算单元7122；人体身高计算单元7121对深度图进行抠像得到人体深度图，获取人体深度图中头顶和脚底的边界，根据头顶和脚底的边界获得对应的头顶摄像机的3D坐标值和脚底摄像机的3D坐标值，将头顶摄像机的3D坐标值与脚底摄像机的3D坐标值相减得到人体身高信息；人体胖瘦计算单元7122根据骨骼信息的骨骼图像坐标点获取骨骼的外向向量和反外向向量，根据外向向量和反外向向量计算延伸边界，根据外向延伸边界获得外向边界摄像机的3D坐标值，根据反外向延伸边界获得反外向边边界摄像机的3D坐标值，将外向边界摄像机的3D坐标值与反外向边边界摄像机的3D坐标值相减得到人体部位的宽度。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种重建三维动画的方法，其特征在于，包括以下步骤：

扫描用户的身体，获取骨骼信息和深度图；

通过骨骼信息和深度图对人体部位测量；

通过骨骼信息和深度图对人体部位进行测量包括对人体身高的测量和对人体胖瘦的测量；

对人体胖瘦的测量具体包括以下步骤：

根据骨骼信息的骨骼图像坐标点获取骨骼的外向向量和反外向向量；

根据外向向量和反外向向量计算延伸边界；

根据外向延伸边界获得外向边界摄像机的3D坐标值，根据反外向延伸边界获得反外向边界摄像机的3D坐标值；

将外向边界摄像机的3D坐标值与反外向边边界摄像机的3D坐标值相减得到人体部位的宽度；

获取骨骼的外向向量具体包括如下：外向向量＝叉积(子骨骼坐标–父骨骼坐标，向量(0,0,1))；

根据人体部位的测量信息调整预设的标准模型，并带入游戏中，以在游戏内部看到和用户身体一模一样的结构的模型。

2.根据权利要求1所述的重建三维动画的方法，其特征在于，对人体身高的测量具体包括以下步骤：

对深度图进行抠像得到人体深度图；

获取人体深度图中头顶和脚底的边界；

根据头顶和脚底的边界获得对应的头顶摄像机的3D坐标值和脚底摄像机的3D坐标值；

将头顶摄像机的3D坐标值与脚底摄像机的3D坐标值相减得到人体身高信息。

3.根据权利要求2所述的重建三维动画的方法，其特征在于，获取人体深度图中头顶的边界具体包括以下步骤：

将从骨骼信息的头部骨骼坐标点起竖直向上的坐标点依次作为预定坐标点；

将预定坐标点向左右各扩展指定像素后作为计算输入；

由下至上，依次将计算输入与人体深度图中的背景进行比较；

直至计算输入与人体深度图中的背景相同，则该预定坐标点为人体深度图中头顶的边界。

4.根据权利要求1-3任一项所述的重建三维动画的方法，其特征在于，反外向向量＝—外向向量。

5.一种重建三维动画的装置，其特征在于，包括：

获取单元，用于扫描用户的身体，获取骨骼信息和深度图；

计算单元，通过骨骼信息和深度图对人体部位测量；

计算单元包括：人体胖瘦计算单元，根据骨骼信息的骨骼图像坐标点获取骨骼的外向向量和反外向向量，根据外向向量和反外向向量计算延伸边界，根据外向延伸边界获得外向边界摄像机的3D坐标值，根据反外向延伸边界获得反外向边边界摄像机的3D坐标值，将外向边界摄像机的3D坐标值与反外向边边界摄像机的3D坐标值相减得到人体部位的宽度；

获取骨骼的外向向量具体包括如下：外向向量＝叉积(子骨骼坐标–父骨骼坐标，向量(0,0,1))；

调整单元，根据人体部位的测量信息调整预设的标准模型，并带入游戏中，以在游戏内部看到和用户身体一模一样的结构的模型。

6.根据权利要求5所述的重建三维动画的装置，其特征在于，计算单元包括：人体身高计算单元，对深度图进行抠像得到人体深度图，获取人体深度图中头顶和脚底的边界，根据头顶和脚底的边界获得对应的头顶摄像机的3D坐标值和脚底摄像机的3D坐标值，将头顶摄像机的3D坐标值与脚底摄像机的3D坐标值相减得到人体身高信息。

Images