CN110060329A - 一种基于彩色深度视频流数据的移动端人体模型重建方法 - Google Patents

Abstract

本发明公开了一种基于彩色深度视频流数据的移动端人体模型重建方法。将人体关键点、彩色图像流和深度信息流作为输入，依次循环优化动作数据、形状数据，并在优化过程中，对二维骨架点、三维骨架点、形状参数等中间结果均进行了优化，使得最终得到的人体参数化模型不仅具有较高精度，还能够进行三维骨架动画。本发明能够实现在计算能力和内存空间有限的移动端进行参数化人体模型重建。

Description

一种基于彩色深度视频流数据的移动端人体模型重建方法

技术领域

本发明涉及计算机图形学和三维建模领域，尤其涉及一种基于彩色深度视频流数据的移动端人体模型重建方法。

背景技术

在计算机图形学和增强现实领域中，诞生了许多有兴趣的交互式英雄，其中很多应用的运行需要用户身体的模型数据作支撑。在近十几年间，技术人员相继提出了许多种可行的人体三维重建技术。

Remondino曾提出基于多视角的二维图像数据的人体重建算法，他通过对齐不同图像上的人体像素来获取三维点云，进而生成人体的三维网络模型。Lin等人利用人体正面和侧面的二维图像上的轮廓信息计算出三维尺寸，并以此选取模板模型通过变形重建人体。

由于缺失某一维的信息，根据二维图像计算的三维信息一般不够准确，很多技术人员直接采用三维扫描数据作为输入数据。Allen等人从已有的三维扫描数据库中提取数据，采用模板匹配的方法，通过解决模板顶点的仿射变换最优化问题来重建人体模型。Wang提出了一种参数化建模方法，先从三维扫描数据中构建线框模型，再对所有线框网络进行表面建模得到人体模型。这种方法虽然高效，但却限定人体姿势与样例相似和人体尺寸不能超出样例的范围。

除了三维扫描数据，深度图也常被用来作为输入数据。有技术人员利用单个移动的Kinect（三维体感摄影机）与4个固定的Kinect来获取点云数据，并用迭代最近点算法分别解决了各自的点云对其问题和模板拟合点云问题。乔思航等采用3个固定Kinect所获得的人体点云完成全部重建，并不依赖已有人体模型，但是效率更差。

现有技术中，无论人体三维重建是基于多角度相机系统还是深度传感器系统，为了得到高质量的人体模型，往往需要高精度的数据，才能获得清晰的模型，且最终得到的模型也为静态模型，无法进行三维骨架动画。尤其对于深度传感器而言，基于人体参数模型的人体重建需要点云数据作为输入。当人体完整地出现在深度照相机视野内时，由于深度传感器的分辨率固定不变，导致人体各部位的点云数据精度普遍较低，尤其在肢体末端经常出现深度信息缺失的情况。如果在手机等移动设备上更是如此。手机等移动设备获取的数据精度与主流深度检测设备差距较大，难以达到人体重建所需的精度。对彩色相机而言，需要利用神经网络获取人体关键点，而移动端相机不稳，图片运动模糊普遍，为人体骨架点检测也带来了很大难度。

更关键的是，现有技术中重建的重点均在于如何重建出精确的三维人体模型，导致计算量很大，从而不能在无GPU加速情况下实时完成。

因此，本领域技术人员致力于研发一种基于彩色深度视频流数据的移动端人体模型重建方法。该方法采用高效率算法，能在移动端进行参数化人体模型重建。不但能够得到较高精度的人体参数化模型，还能够进行三维骨架动画。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在移动端设备有限的计算能力和内存空间中，对参数化人体模型进行重建。

为实现上述目的，本发明提供了一种基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，具体包括以下步骤：

步骤1：数据预处理：从输入的彩色深度视频流数据中，提取出包含目标人体信息最多的关键帧用于后续重建，便于提升算法精度和计算性能；

步骤2：关键帧处理：使用第一神经网络模型对步骤1中获取的所述关键帧进行关键点检测，所述关键点的可行度输出作为权重，用于后续建模；

步骤3：提取二维人体关键点：使用第二神经网络模型提取步骤2中所述关键帧中的二维人体关键点；

步骤4：计算三维人体关键点：根据步骤3中所述二维人体关键点，以及所述关键帧中包含的深度信息，计算得到三维人体关键点，变形后得到人体动画模型；

步骤5：点云匹配：基于所述关键帧的图像深度数据，使用点云迭代就近点算法，对所述目标人体不同部位进行点云匹配，得到点云模型；

步骤6：生成对应目标：在步骤5中的所述点云模型中寻找其匹配点，建立所述人体动画模型与所述点云模型之间的映射关系，生成对应目标。

步骤7：模型参数、形状参数优化：基于步骤5中的所述点云模型和步骤4中的所述人体动画模型，优化所述人体动画模型参数，得到变形体模型以及偏移后人体模型；

步骤8：根据所述偏移后人体模型，进一步优化后得到优化后的人体模型，并判断是否完成所有所述关键帧处理：如未完成，则重复步骤2-步骤8；如已完成，得到最终人体模型，并结束整个重建过程。

进一步地，步骤1中的所述视频流数据包括所述目标人体旋转一周各个角度的视频流数据，所述关键帧是通过旋转检测提取得到的。

进一步地，步骤3中，对所述第二神经网络模型未能识别的二维人体关键点，根据所述目标人体的对称性以及相邻帧信息，进行补齐。

进一步地，步骤4中，所述变形为对所述三维动画变形进行骨骼动画变形。

进一步地，步骤5中，所述点云迭代就近点算法为建立计算模型上的顶点与深度点云的对应关系，通过矩阵奇异分解求解原始点到目标点的变换矩阵。迭代上述过程，逐步缩小变换后的误差，使两处点云收敛重合，并给出最终的变换矩阵。

进一步地，步骤5中，所述点云迭代就近点算法得到的所述变换矩阵可用于进一步矫正模型四肢与躯干的位置，使得所述人体动画模型的动作与实际情况更加接近。

进一步地，步骤6中，寻找所述匹配点的方法为光线追踪法。

进一步地，步骤7中，优化所述人体动画模型参数包括根据当前所述关键帧的深度信息的所述点云模型计算出形状融合参数，再根据对应目标，计算各对应顶点的法向量差。

进一步地，步骤8中，对于得到所述优化后人体模型的具体方法为，利用自定义的优化函数，根据步骤2中得到的所述权重，对于所述对应目标和所述变形体模型的顶点之间的偏移量作加权平均处理。

进一步地，所述第一神经网络模型和所述第二神经网络模型均是提前训练完成的。

本发明采用高效的算法，能够充分利用移动端设备相对有限的计算能力和内存空间，进行原本复杂的大规模数据处理，并且用移动端设备上传感器种类丰富的优势弥补其精度相对专业设备较低的缺陷，使最终得到的人体模型更加精准。本发明采用的算法新颖地提出利用人体参数化模型进行人体重建的方法，将人体关键点、彩色图像流和深度信息流作为输入，依次循环优化动作数据、形状数据，并在优化过程中，对二维骨架点、三维骨架点、形状参数等中间结果均进行了优化，使得最终得到的人体参数化模型不仅具有较高精度，还能够进行三维骨架动画。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1为本发明所使用的人体参数模型图；

图2为本发明的人体参数模型重建流程图；

图3为本发明中点云匹配示意图；

图4为本发明中生成对应目标步骤中光线追踪对应点示意图；

图5为本发明中对应点法向量差的可视化图。

具体实施方式

以下参考说明书附图介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

图1为本发明采用的人体参数模型图。

以下实施例可以在常规的移动手机端运行。实测将VivoNEX2（CPU:高通骁龙845）作为采集RGBD数据的硬件平台和运算平台，采用本发明的方法，处理200帧数，耗时仅10秒。

如图2所示，本发明提供的一种基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，包括以下步骤：

数据预处理以及关键帧处理步骤：

数据预处理：从输入的彩色深度视频流数据中，进行人体旋转检测。输入包含人体旋转一圈各个角度的视频流数据，从该视频流中通过旋转检测，提取出包含目标人体信息最多的关键帧用于后续重建，便于提升算法精度和计算性能。

关键帧处理：使用第一神经网络模型对步骤1中获取的所述关键帧进行关键点检测，所述关键点的可行度输出作为权重，用于后续建模。第一神经网络模型为事先经过训练的关键点检测模型。

提取二维人体关键点：根据RGB图像信息，首先通过已训练好的第二神经网络模型提取二维人体关键点，再根据人体的对称性以及相邻帧的二维关键点信息，对第二神经网络模型未能识别的人体关键点补齐，最终得到关键帧上人体全部关键点的二维坐标。

计算三维人体关键点：根据获取的二维人体关键点，对应帧的深度信息，计算目标人体模型的三维关键点。其中对模型得到的三维关键点进行骨骼动画变形，变换后得到AHM（Animated Human Model），即人体动画模型。

点云匹配：如图3所示，为了使人体模型与目标在深度方向相似，需根据人体不同部位进行点云匹配，调整人体四肢躯干的形态与姿势。该算法主要建立计算模型上的顶点与深度点云的对应关系，即点云模型。通过矩阵奇异分解求解原始点到目标点的变换矩阵。迭代上述过程，逐步缩小变换后的误差，使两处点云收敛重合，并给出最终的变换矩阵。该算法即点云迭代就近点算法，得到的变换矩阵将用于进一步矫正模型四肢与躯干的位置，使得AHM的动作与实际更加接近。

生成对应目标：如图4所示，根据深度图像生成的点云模型和AHM, 对AHM的每个顶点，应用光线追踪在点云模型中寻找其匹配点，建立AHM与点云模型之间的映射关系，生成对应目标。

模型参数、形状参数优化：如图5所示，首先根据当前帧的深度图像的点云模型计算出形状融合参数，再根据对应目标，计算各对应顶点的法向量差，用于优化AHM的形状参数，使得变形后的人体模型与当前帧的点云模型接近，得到DHM，即变形体模型。根据对应目标和DHM，对于DHM的顶点，利用自定义的优化函数，使其空间坐标向对应目标上的对应顶点移动，并根据当前帧的关键程度, 对其偏移量作加权平均处理，使得人体模型与当前帧的输入更加接近，细节更加明显，得到进一步DHM（Displaced Human Model），即偏移后人体模型；

对本关键帧得到优化后人体模型后，判断是否完成所有所述关键帧处理：如未完成，则重复上述步骤；如已完成，则得到FHM（Final Human Model），即最终人体模型，并结束整个重建过程。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，具体包括以下步骤：

步骤1：数据预处理：从输入的彩色深度视频流数据中，提取出包含目标人体信息最多的关键帧用于后续重建，便于提升算法精度和计算性能；

步骤2：关键帧处理：使用第一神经网络模型对步骤1中获取的所述关键帧进行关键点检测，所述关键点的可行度输出作为权重，用于后续建模；

步骤3：提取二维人体关键点：使用第二神经网络模型提取步骤2中所述关键帧中的二维人体关键点；

步骤4：计算三维人体关键点：根据步骤3中所述二维人体关键点，以及所述关键帧中包含的深度信息，计算得到三维人体关键点，变形后得到人体动画模型；

步骤5：点云匹配：基于所述关键帧的图像深度数据，使用点云迭代就近点算法，对所述目标人体不同部位进行点云匹配，得到点云模型；

步骤6：生成对应目标：在步骤5中的所述点云模型中寻找其匹配点，建立所述人体动画模型与所述点云模型之间的映射关系，生成对应目标；

步骤7：模型参数、形状参数优化：基于步骤5中的所述点云模型和步骤4中的所述人体动画模型，优化所述人体动画模型参数，得到变形体模型以及偏移后人体模型；

步骤8：根据所述偏移后人体模型，进一步优化后得到优化后的人体模型，并判断是否完成所有所述关键帧处理：如未完成，则重复步骤2-步骤8；如已完成，得到最终人体模型，并结束整个重建过程。

2.如权利要求1所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤1中的所述视频流数据包括所述目标人体旋转一周各个角度的视频流数据，所述关键帧是通过旋转检测提取得到的。

3.如权利要求2所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤3中，对所述第二神经网络模型未能识别的二维人体关键点，根据所述目标人体的对称性以及相邻帧信息，进行补齐。

4.如权利要求3所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤4中，所述变形为对所述三维动画变形进行骨骼动画变形。

5.如权利要求4所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤5中，所述点云迭代就近点算法为建立计算模型上的顶点与深度点云的对应关系，通过矩阵奇异分解求解原始点到目标点的变换矩阵；迭代上述过程，逐步缩小变换后的误差，使两处点云收敛重合，并给出最终的变换矩阵。

6.如权利要求5所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤5中，所述点云迭代就近点算法得到的所述变换矩阵可用于进一步矫正模型四肢与躯干的位置，使得所述人体动画O型的动作与实际情况更加接近。

7.如权利要求6所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤6中，寻找所述匹配点的方法为光线追踪法。

8.如权利要求7所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤7中，优化所述人体动画模型参数包括根据当前所述关键帧的深度信息的所述点云模型计算出形状融合参数，再根据对应目标，计算各对应顶点的法向量差。

9.如权利要求8所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，步骤8中，对于得到所述优化后人体模型的具体方法为，利用自定义的优化函数，根据步骤2中得到的所述权重，对于所述对应目标和所述变形体模型的顶点之间的偏移量作加权平均处理。

10.如权利要求1所述的基于彩色深度视频流数据的移动端人体模型重建方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型均是提前训练完成的。