CN110648394A - 一种基于OpenGL和深度学习的三维人体建模方法 - Google Patents

Abstract

本发明公开了一种基于OpenGL和深度学习的三维人体建模方法，使用深度学习模型Mask R‑CNN提取二维图像中人体图像，并通过OpenGL和标准3D人体模型相结合，重建具有个性化的三维人体模型的方法。首先采用Mask R‑CNN深度学习模型对二维图像中的人体图像进行分割，然后提取分割后所获得的人体轮廓的主要特征，最后使用OpenGL将人体轮廓图像的特征映射到3d‑max所建立的三维标准人体模型上，并在OpenGL中快速构建一个三维人体模型。本发明不仅图像处理快，而且模型生成效率高。

Description

一种基于OpenGL和深度学习的三维人体建模方法

技术领域

本发明涉及一种使用深度学习模型和OpenGL建立三维人体模型，属于人体三维建模技术领域。

背景技术

三维人体模型的生成是指在虚拟场景中创建人体对象的数字几何模型。生成高逼真度的具有个体外形特征三维人体模型是自计算机图形学诞生以来就研究的经典问题，现今仍然是学术界和产业界的热点问题。导致这一事实出现的原因有两方面：一方面，三维人体模型具有高复杂度。另一方面，用户很容易察觉生成模型的失真程度。

传统的三维模型生成技术难以向大众用户提供切实可行的人体建模方法。当前的三维模型生成技术主要可以分为两类：

(1)通过激光扫描仪获取真实三维模型的原始点云数据，而后通过三维重建技术得到数字化的三维模型(一般为网格模型)。

(2)通过3D编辑软件制作出用户需要的三维模型。第一种方法受限于三维激光扫描仪的昂贵价格，目前一般为实验室或公司所采用。第二种方法中的3D编辑软件一般是面向专业的3D模型设计，制作出具有个体外形特征的三维模型需要专业的美工并且需要耗费大量的人力、物力和财力。上述两种典型技术的自身缺陷严重限制了三维人体模型的生成，普通用户还无法便捷地获得自身的三维模型。

随着手机，相机等图像采集设备的不断发展，大众用户可以很方便地获取各类图像。根据人体二维图像重建具有个体外形特征的三维人体，不仅具有较高的理论研究意义而且具有广阔的应用前景。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种图像处理快和模型生成效率高的基于OpenGL和深度学习的三维人体建模方法。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于OpenGL和深度学习的三维人体建模方法，包括如下步骤：

步骤1，使用深度学习模型Mask-RCNN分割二维图像中的人体图像。

步骤11，获取人体图像，输入到Mask-RCNN模型中。

步骤12，使用FPN卷积神经网络提取图像的特征，获得图像多层特征。并使用FPN卷积神经网络对图像多层特征进行融合，构建区域建议网络RPN需要的图像多层特征和Mask所需要的图像多层特征。

步骤13，将图像多层特征送入区域建议网络RPN中，区域建议网络RPN为每个建议区域ROI生成待检测框。区域建议网络RPN判断anchor(锚框)是前景还是背景，过滤掉一部分建议区域ROI，并使用公式(1)对处于前景的anchor进行第一次坐标修正。

其中，L_loc(t^u，v)表示预测平移缩放参数和真实平移缩放参数的差别，t_x，t_y表示anchor在x和y方向的平移，t_w，t_h表示宽度和高度的放大倍数，smooth_L1表示损失函数，

表示预测平移缩放参数，v_i表示真实平移缩放参数，u＞＝1表示前景，u＝0表示背景。

步骤14，对剩余的建议区域ROI执行ROIAlign操作。选取对应的特征，并将建议区域RoI对应的特征的维度转化成某个定值。

步骤15，使用分类器对所有的建议区域ROI进行分类，并用训练好的边框修正对前景的建议区域ROI的anchor进行修正，对边框修正和分类器的训练公式描述如下：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v) (2)

其中，L(p，u，t^u，v)表示损失和。L_cls(p，u)表示评估分类损失函数。由真实分类u对应的概率决定。[u≥1]表示只对前景进行边框修正。L_loc(t^u，v)表示评估检测框定位偏差的损失函数。t^u表示预测平移缩放参数。v表示真实平移缩放参数。

步骤16，对建议区域ROI的anchor进行微调和Mask生成，得到最终的人体图像。

步骤2，使用人体图像和OpenGL生成标准三维人体图像

步骤21，根据最终的人体图像获取真实人体各部位比例参数。

步骤22，根据真实人体各部位比例参数修整三维标准人体模型。

步骤23，对修改后的三维标准人体模型进行局部纹理贴图。

根据法向量判断正反面，确定中间值，大于等于这个中间值我们判断其为人体模型正面，小于这个中间值判断其为人体模型背面。

将进行图像处理后的真实人体正面图和背面图整合到一张图中，左右、上下端点要求与图像边界重合，左半部分为人体正面图，右半部分为人体背面图。

根据上下左右端点在正面图中的位置坐标，将其对应到三维人体模型各位置，进行纹理贴图。

优选的：步骤21中根据最终的人体图像获取真实人体各部位比例参数，其中，纵向上根据头部顶点为人体最高点，脚趾部分为人体最低点，两者高度差即为Δz；纵向上首先根据两臂展开后手指点为左右端点，计算出两点距d1-2，并且定位人体臂膀部的z轴坐标z0，再参照标准人体模型比例，确定头部z坐标z1，胸部z坐标z2，腹部z坐标z3，大腿部z坐标z4，小腿部z坐标z5。通过这些z坐标，找到真实人体正面图二维像素矩阵对应位置的数组首地址，正向遍历遇到非零点停止即为头部左端点，反向遍历遇到非零点即为右端点，两点之差即为d3-4，同理，得到胸部左右端点距离d5-6，腹部左右端点距离d7-8。对于腿部，得到左大腿部左右端点距离d9-10，右大腿部左右端点距离d11-12，左小腿部左右端点距离d13-14，右小腿部左右端点距离d15-16。由这些测量距离，计算真实人体正面图各部分距离之比为d3-4∶d1-2∶d5-6∶d7-8∶d9-10∶d11-12∶d13-14∶d15-16。

根据z0与标准人体模型比例，确定头部前后端点距离d17-18，胸部前后端点距离d19-20，腹部前后端点距离d21-22，大腿部前后端点距离d23-24，小腿部前后端点距离d25-26。由这些距离，计算出真实人体侧面图各部分距离之比为d17-18∶d19-20∶d21-22∶d23-24∶d25-26。

优选的：步骤22中修整三维标准人体模型的方法：导入的三维标准人体模型各部分都相互独立，分为头部，左右手臂，胸部和腹部，左右大腿，左右小腿，左右脚共10部分。将三维标准人体模型头部各顶点坐标加载进内存，根据我们事先获取的头部前后，左右，上下距离之比，调整标准坐标，从而得到与真实人体头部相似的人体头部模型。同理，对三维标准人体其它部分进行同样处理，从而得到与真实人体体型相似的三维人体模型。

优选的：选0.15f为中间值。

本发明相比现有技术，具有以下有益效果：

本发明将深度学习和OpenGL结合在一起，通过使用深度学习模型提取人体图像并在后续过程中使用OpenGL导入标准人体模型通过对模型和图像的特征匹配将图像和人体结合在一起，生成最终的模型，简化了过程，提高了图像处理和模型生成的效率。

附图说明

图1人体标记图

图2模型正面图

图3模型侧面图

图4模型正面、背面合成图

图5整体流程图

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于OpenGL和深度学习的三维人体建模方法，使用流行的深度学习模型MaskR-CNN提取二维图像中人体图像，并通过OpenGL和标准3D人体模型相结合，重建具有个性化的三维人体模型的方法。首先采用Mask R-CNN深度学习模型对二维图像中的人体图像进行分割，然后提取分割后所获得的人体轮廓的主要特征，最后使用OpenGL将人体轮廓图像的特征映射到3d-max所建立的三维标准人体模型上，并在OpenGL中快速构建一个三维人体模型，如图5所示，包括以下步骤：

1、使用深度学习模型Mask-RCNN分割二维图像中的人体图像

步骤11，获取人体图像，输入到Mask-RCNN模型中。

步骤12，使用FPN(特征金字塔网络)卷积神经网络提取图像的特征，获得featuremaps(图像的多层特征)。并使用FPN对feature maps进行融合，充分利用各个的特征，提高人体检测的精确度。构建RPN(区域建议网络)需要的feature maps和Mask所需要的featuremaps。

步骤13，将feature maps送入RPN中，RPN为每个建议的区域(ROI)生成待检测框(anchor锚框)，并使用公式(1)对ROI的anchor第一次修正。RPN需要判断anchor是前景还是背景，过滤掉一部分ROI，并对处于前景的anchor进行第一次坐标修正。

其中，L_loc(t^u，v)表示预测平移缩放参数和真实平移缩放参数的差别，t_x，t_y表示anchor在x和y方向的平移，t_w，t_h表示宽度和高度的放大倍数，smooth_L1表示损失函数，

表示预测平移缩放参数，v_i表示真实平移缩放参数，u表示前景(u＞＝1)或背景(u＝0)。

步骤14，对剩余的ROI执行ROIAlign操作(即先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来)。选取对应的特征，并将每个RoI对应的特征的维度转化成某个定值。

步骤15，使用分类器对所有的ROI进行分类，并用训练好的边框修正对前景的ROI的anchor进行修正，对边框修正和分类器的训练公式描述如下：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v) (2)

其中，L(p，u，t^u，v)表示损失和。L_cls(p，u)表示评估分类损失函数。由真实分类u对应的概率决定。[u≥1]表示只对前景进行边框修正。L_loc(t^u，v)表示评估检测框定位偏差的损失函数。t^u表示预测平移缩放参数。v表示真实平移缩放参数。

步骤16，对ROI的anchor进行微调和Mask生成，得到最终的人体图像，如图1。

2、在OpenGL中获取人体图像和人体模型的特征参数，并通过特征参数对模型和图像进行匹配，生成标准的三维人体模型

步骤21，获取真实人体各部位比例参数：

在进行图像分割后，提取到前景人体图像，接下来是对前景图像的分析，以获取真实人体各部分参数。如图2，纵向上根据头部顶点为人体最高点，脚趾部分为人体最低点，两者高度差即为Δz；纵向上首先根据两臂展开后手指点为左右端点，可计算出两点距d1-2，并且可定位人体臂膀部的z轴坐标z0，再参照标准人体模型比例，可确定头部z坐标z1，胸部z坐标z2，腹部z坐标z3，大腿部z坐标z4，小腿部z坐标z5。通过这些z坐标，找到真实人体正面图二维像素矩阵对应位置的数组首地址，正向遍历遇到非零点停止即为头部左端点，反向遍历遇到非零点即为右端点，两点之差即为d3-4，同理，可得到胸部左右端点距离d5-6，腹部左右端点距离d7-8。对于腿部，可得到左大腿部左右端点距离d9-10，右大腿部左右端点距离d11-12，左小腿部左右端点距离d13-14，右小腿部左右端点距离d15-16。由这些测量距离，计算真实人体正面图各部分距离之比为d3-4∶d1-2∶d5-6∶d7-8∶d9-10∶d11-12∶d13-14∶d15-16。

在图3中，根据z0与标准人体模型比例，可确定头部前后端点距离d17-18，胸部前后端点距离d19-20，腹部前后端点距离d21-22，大腿部前后端点距离d23-24，小腿部前后端点距离d25-26。由这些距离，计算出真实人体侧面图各部分距离之比为d17-18∶d19-20∶d21-22∶d23-24∶d25-26。

步骤22，修整三维标准人体模型：

导入的三维标准人体模型各部分都相互独立，分为头部，左右手臂，胸部和腹部，左右大腿，左右小腿，左右脚共10部分。以头部为例，将三维标准人体模型头部各顶点坐标加载进内存，根据我们事先获取的头部前后，左右，上下距离之比，调整标准坐标，从而得到与真实人体头部相似的人体头部模型(代码)。同理，对三维标准人体其它部分进行同样处理，从而得到与真实人体体型相似的三维人体模型。

步骤23，对修改后的人体模型进行局部纹理贴图：

根据法向量判断正反面，由于三维模型各片面法向量是由三顶点坐标计算得出，由于精度方面的误差，法向量的结果与实际也存在相应误差。所以0不能中间值。这里经过多次尝试得到一个最为合理的中间值0.15f。大于等于这个中间值我们判断其为人体模型正面，小于这个中间值判断其为人体模型背面。

为了方便纹理贴图，我们将进行图像处理后的真实人体正面图和背面图整合到一张图中，如图4，左右、上下端点要求与图像边界重合。左半部分为人体正面图，右半部分为人体背面图。

根据上下左右端点在正面图中的位置坐标，将其对应到三维人体模型各位置，进行纹理贴图。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于OpenGL和深度学习的三维人体建模方法，其特征在于，包括如下步骤：

步骤1，使用深度学习模型Mask-RCNN分割二维图像中的人体图像；

步骤11，获取人体图像，输入到Mask-RCNN模型中；

步骤12，使用FPN卷积神经网络提取图像的特征，获得图像多层特征；并使用FPN卷积神经网络对图像多层特征进行融合，构建区域建议网络RPN需要的图像多层特征和Mask所需要的图像多层特征；

步骤13，将图像多层特征送入区域建议网络RPN中，区域建议网络RPN为每个建议区域ROI生成待检测框；区域建议网络RPN判断锚框是前景还是背景，过滤掉一部分建议区域ROI，并使用公式(1)对处于前景的锚框进行第一次坐标修正；

其中，L_loc(t^u，v)表示预测平移缩放参数和真实平移缩放参数的差别，t_x，t_y表示锚框在x和y方向的平移，t_w，t_h表示宽度和高度的放大倍数，smooth_L1表示损失函数，表示预测平移缩放参数，v_i表示真实平移缩放参数，u＞＝1表示前景，u＝0表示背景；

步骤14，对剩余的建议区域ROI执行ROIAlign操作；选取对应的特征，并将建议区域RoI对应的特征的维度转化成某个定值；

步骤15，使用分类器对所有的建议区域ROI进行分类，并用训练好的边框修正对前景的建议区域ROI的锚框进行修正，对边框修正和分类器的训练公式描述如下：

L(p，u，t^u，v)＝L_cls(p，u)+λ[u≥1]L_loc(t^u，v) (2)

其中，L(p，u，t^u，v)表示损失和；L_cls(p，u)表示评估分类损失函数；由真实分类u对应的概率决定；[u≥1]表示只对前景进行边框修正；L_loc(t^u，v)表示评估检测框定位偏差的损失函数；t^u表示预测平移缩放参数；v表示真实平移缩放参数；

步骤16，对建议区域ROI的锚框进行微调和Mask生成，得到最终的人体图像；

步骤2，使用人体图像和OpenGL生成标准三维人体图像

步骤21，根据最终的人体图像获取真实人体各部位比例参数；

步骤22，根据真实人体各部位比例参数修整三维标准人体模型；

步骤23，对修改后的三维标准人体模型进行局部纹理贴图；

根据法向量判断正反面，确定中间值，大于等于这个中间值我们判断其为人体模型正面，小于这个中间值判断其为人体模型背面；

将进行图像处理后的真实人体正面图和背面图整合到一张图中，左右、上下端点要求与图像边界重合，左半部分为人体正面图，右半部分为人体背面图；

根据上下左右端点在正面图中的位置坐标，将其对应到三维人体模型各位置，进行纹理贴图。

2.根据权利要求1所述基于OpenGL和深度学习的三维人体建模方法，其特征在于：步骤21中根据最终的人体图像获取真实人体各部位比例参数，其中，纵向上根据头部顶点为人体最高点，脚趾部分为人体最低点，两者高度差即为Δz；纵向上首先根据两臂展开后手指点为左右端点，计算出两点距d1-2，并且定位人体臂膀部的z轴坐标z0，再参照标准人体模型比例，确定头部z坐标z1，胸部z坐标z2，腹部z坐标z3，大腿部z坐标z4，小腿部z坐标z5；通过这些z坐标，找到真实人体正面图二维像素矩阵对应位置的数组首地址，正向遍历遇到非零点停止即为头部左端点，反向遍历遇到非零点即为右端点，两点之差即为d3-4，同理，得到胸部左右端点距离d5-6，腹部左右端点距离d7-8；对于腿部，得到左大腿部左右端点距离d9-10，右大腿部左右端点距离d11-12，左小腿部左右端点距离d13-14，右小腿部左右端点距离d15-16；由这些测量距离，计算真实人体正面图各部分距离之比为d3-4∶d1-2∶d5-6∶d7-8∶d9-10∶d11-12∶d13-14∶d15-16；

根据z0与标准人体模型比例，确定头部前后端点距离d17-18，胸部前后端点距离d19-20，腹部前后端点距离d21-22，大腿部前后端点距离d23-24，小腿部前后端点距离d25-26；由这些距离，计算出真实人体侧面图各部分距离之比为d17-18∶d19-20∶d21-22∶d23-24∶d25-26。

3.根据权利要求2所述基于OpenGL和深度学习的三维人体建模方法，其特征在于：步骤22中修整三维标准人体模型的方法：导入的三维标准人体模型各部分都相互独立，分为头部，左右手臂，胸部和腹部，左右大腿，左右小腿，左右脚共10部分；将三维标准人体模型头部各顶点坐标加载进内存，根据我们事先获取的头部前后，左右，上下距离之比，调整标准坐标，从而得到与真实人体头部相似的人体头部模型；同理，对三维标准人体其它部分进行同样处理，从而得到与真实人体体型相似的三维人体模型。

4.根据权利要求3所述基于OpenGL和深度学习的三维人体建模方法，其特征在于：选0.15f为中间值。

Images