CN103679797A

CN103679797A - 采用可变形模型的人肢体建模方法及虚拟人模型控制平台

Info

Publication number: CN103679797A
Application number: CN201210319386.3A
Authority: CN
Inventors: 潘海朗
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-09-03
Filing date: 2012-09-03
Publication date: 2014-03-26

Abstract

一种采用可变形模型的人肢体三维建模方法及虚拟人三维模型控制平台软件，采用一种新的可变形曲面建立人肢体三维模型，模型分骨架层和皮肤层，骨架层由关节点和连接这些关节点的线段组成；皮肤层采用一种可变形曲面表示，每个肢体只需调整三个参数就能反映出皮肤变形。首先用摄像头拍摄人肢体图像，用图像分割技术检测人肢体轮廓信息，采用曲线拟合技术用可变形二维曲线拟合各个肢体边缘轮廓，求出代表各个肢体轮廓的可变形二维曲线方程参数；然后将各个可变形二维曲线绕骨架直线旋转求出可变形三维曲面；最后采用三个圆球体和两个可变形三维曲面绘制各个人肢体模型。本发明方法简单、实现容易，解决了人体三维模型代表皮肤变形参数过多的问题。

Description

采用可变形模型的人肢体建模方法及虚拟人模型控制平台

技术领域

本发明涉及一种采用可变形模型的人肢体三维建模方法及虚拟人三维模型控制平台软件，用于感知接口，运动分析和虚拟现实等应用领域，在医学图像、生物医学、手势识别、视频会议、视频游戏、自动新闻播放、电影制作、材料变形、图象压缩等方面都有实际应用价值。属于计算机视觉和计算机图形学领域。

背景技术

运动分析领域的研究对象主要分为刚性物体、连接刚体和非刚性物体等。计算机视觉中的运动分析研究均主要集中在对刚体运动的研究，且学者们已取得了一系列的成果，并建立了较为完善的理论框架，但是，在现实世界中大多是非刚体运动。人体属于非刚体。

在过去的十几年中，可变形的人体建模已经取得了一些成绩。Nahas等使用了B样条曲面表示人身体和脸部的柔软的运动。Petland等介绍了一种基于有限元的方法模型。Terzopoulos等介绍了表达成一个超椭球形式的全局形状参数和样条形式的局部自由度相结合的可变形的超二次曲面的模型。Min等使用三种基本软体来对各种形状的人体上肢和肩部肌肉建模，一个点基元产生一个椭圆体，一组连接的线段产生一个圆柱体，一个三角网格产生一个复杂的形状。Sminchisescu等提出了一种人体模型，它由运动骨架和肌肉构成，连接的节点构成的骨架由节点的角度参数控制，并覆盖了包含辅助锥化和弯曲参数的超二次椭圆面构成的肌肉。模型包含30个节点参数和8个内部比例参数，并且每个肢体又包含9个变形参数。Plankers等把一种称为元球或软体的隐式曲面附在人体的连接骨架上并按照解剖学的近似程度来排列这些元球。这个人体模型共使用了230个元球，并使用B样条曲面片进行蒙皮。还可以用blobby分子、软体、卷积曲面等各种隐式曲面进行人体建模。但这些方法都采用较为复杂的非刚体运动模型，控制参数较多，不能很好的满足轮廓表示的评价标准：即表示的简洁性和适合于后处理阶段的计算。

发明内容

本发明的目的在于针对现有人体三维模型代表皮肤变形参数过多的不足，提出一种采用可变形模型的人肢体三维建模方法，每个人肢体只需调整三个参数就能反映出人肢体皮肤变形，降低运动分析的计算量，适合于各种弹性连接刚体的建模。

为实现这样的目的，本发明的技术方案中，采用一种可变形曲面建立人肢体三维模型，提出的模型分为两层：骨架层和皮肤层，骨架层代表了人肢体的骨架结构，由关节点和连接这些关节点的线段组成；皮肤层采用一种可变形曲面表示，每个肢体只需调整三个参数就能反映出人肢体皮肤变形。首先使用摄像头拍摄人肢体摆姿势的图像序列，在图像序列中采用图像分割技术检测出人肢体在各个图像上的轮廓信息，采用曲线拟合技术用新的可变形二维曲线拟合各个图像上的各个肢体边缘轮廓，求出代表各个肢体轮廓的各个可变形二维曲线方程的参数；然后将各个可变形二维曲线绕各个肢体骨架直线旋转求出空间可变形三维曲面方程；最后采用三个圆球体和两个可变形三维曲面绘制各个人肢体模型。

本发明的建模方法具体包括以下几个步骤：

1. 采用图像分割技术检测人肢体在图像上的边缘轮廓信息

采用摄像头对人肢体所摆姿势进行拍摄，得到一个图像序列，然后采用图像分割技术检测并得到各个肢体在各个图像上的边缘轮廓信息。

2. 提取人肢体骨架位置信息

根据边缘轮廓信息采用中轴变换方法求出各个图像上各个肢体的中轴线，把此中轴线作为各个图像上各个肢体的二维骨架位置信息。

3. 可变形二维曲线拟合各个图像上各个肢体的轮廓

本发明采用曲线拟合技术用一种新的可变形二维曲线拟合步骤1得到的各个图像上各个肢体的边缘轮廓，提取各个图像上所要拟合各个肢体轮廓线的两个端点A、B的坐标，计算肌肉轮廓最高点C的坐标，确定点C在骨架上的垂直投影点C’的坐标，计算点C’与肩关节点之间的距离为参数a的值。计算上臂点A与点B之间肌肉部分的最大宽度，参数b的值为对应最大宽度值的一半。依据模型投影边缘与肌肉轮廓边缘的边界匹配误差最小原则确定参数k的值。

4. 求出可变形三维曲面方程

将步骤3得到的可变形二维曲线绕步骤2得到的骨架直线旋转，得到代表各个肢体皮肤的可变形三维曲面方程。每个可变形三维曲面代表一个肢体皮肤。

5. 模型绘制

本发明使用OpenGL程序采用平行投影方法绘制得到人肢体三维模型，采用三个圆球体代表j1、j2 、j3三个关节点，采用求得的两个可变形三维曲面方程绘制出的曲面来代表肢体皮肤，连接这三个圆球体和两个曲面构成人肢体模型。

6. 虚拟人三维模型控制平台搭建

采用3D Studio MAX构建虚拟人模型，运行View3DS.exe将人模型的15个环节转换成对应的gl格式数据文件，利用OpenGL的图形库将15个环节模型绘制出来。在虚拟人三维模型控制平台软件界面上点击“参数设置”选项打开“姿态参数设置”对话框，修改对话框中各个参数的值可确定虚拟人模型姿势。

本发明方法简单，实现容易。建立的模型使用了非常少的参数就可以代表人肢体皮肤的变形，每个肢体只需三个参数反映皮肤的变形，具有高层次描述和预测遮挡的能力。本发明方法适合于许多弹性连接刚体的模型建立。实验采用便宜、容易安装的视频摄像头来采集数据，不需要附加设备，代表皮肤变形的可变形三维曲面方程和求解算法简单，大大降低了运动分析的计算复杂性。

附图说明

图1为本发明采用的可变形二维曲线。

图1中，点A和点A’为可变形二维曲线与x轴的交点，点B和点B’为可变形二维曲线与y轴的交点。

图2为手臂的骨架结构。

图2中，j1、j2 、j3是关节点，连接这些关节点的线段代表手臂的两个部分：上臂和前臂，也可以代表腿的两个部分：大腿和小腿。

图3为本发明的手臂图像分割结果。

图3中，点A和点B是上臂肢体轮廓线的两个端点，点C是肌肉轮廓最高点，点C’是点C在骨架上的垂直投影点。

图4为本发明的可变形三维曲面构成示意图。

图4中，L是代表人肢体骨架的线段，S是可变形二维曲线，S绕L旋转一周形成可变形三维曲面。

图5为本发明采用可变形模型三维建模的实验结果。

图5中，第一行是摄像头拍摄的手臂图像序列，第二行第一幅图像是与第一行第一幅图像对应的上臂边缘检测和曲线拟合的结果，第二行第二幅图像是与第一行第二幅图像对应的前臂边缘检测和曲线拟合的结果，第二行第三幅图像是与第一行第三幅图像对应的手臂三维模型表达。第三行是摄像头拍摄的腿部图像序列，第四行第一幅图像是与第三行第一幅图像对应的大腿边缘检测和曲线拟合的结果，第四行第二幅图像是与第三行第二幅图像对应的小腿边缘检测和曲线拟合的结果，第四行第三幅图像是与第三行第三幅图像对应的腿部三维模型表达。

图6为本发明虚拟人模型控制平台软件界面。

图6中，可点击“参数设置”选项打开“姿态参数设置”对话框。

图7为虚拟人模型控制平台软件中“姿态参数设置”对话框。

图7中，可修改对话框中各个参数的值来设置虚拟人模型的姿势。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步的详细描述。实施例具体针对附图3和图5第一行和第二行左侧第一幅图像（采用摄像头拍摄的手臂模型）进行人肢体建模过程的描述。

1. 首先采用摄像头对人肢体（手臂和腿）所摆姿势进行拍摄，得到一个图像序列，图5第一行和第三行即为摄像头拍摄的手臂和腿的姿势图像序列。然后采用图像分割技术（如prewitt边缘算子）检测手臂和腿在各个图像上的边缘轮廓信息，得到与第一行和第三行图像对应的边缘检测结果，如图5第二行和第四行所示。

2. 根据步骤1得到的手臂和腿在各个图像上的边缘轮廓信息采用中轴变换方法求出各个图像上各个肢体的中轴线，将此中轴线作为各个图像上各个肢体的二维骨架位置信息，手臂骨架示意图如图2所示。

3.可变形二维曲线如图1所示，曲线方程为：

采用曲线拟合技术用新的可变形二维曲线拟合各个图像上各个肢体的边缘轮廓，如图3所示，提取所要拟合上臂轮廓的两个端点A和B的像素坐标并变换成在图像上的平面坐标，在端点A、B的上方设定空间一点C，使点C为肌肉轮廓最高点，将点C的像素坐标变换成在图像上的平面坐标，确定点C在骨架上的垂直投影点C’的像素坐标并变换成在图像上的平面坐标，计算点C’与肩关节点（j1）之间的距离为参数a的值。计算上臂点A与点B之间肌肉部分的最大宽度，参数b的值为对应最大宽度值的一半。依据模型投影边缘与肌肉轮廓边缘的边界匹配误差最小原则确定参数k的值。

采用同样的方法可求出摄像头拍摄图像平面前臂、大腿、小腿边缘轮廓拟合出的可变形二维曲线，求出的各个肢体三个参数a、b、k就代表了前臂、大腿、小腿在此时刻的皮肤的变形。

4. 将步骤3得到的各个可变形二维曲线绕步骤2得到的骨架直线旋转，得到各个图像上代表各个肢体皮肤的可变形三维曲面，曲面方程为：

每个可变形三维曲面代表一个肢体皮肤，如图4所示。

5. 模型绘制。如图5第二行和第四行右侧第一幅图像所示，使用OpenGL程序采用平行投影方法绘制得到的手臂和腿的三维模型，使用三个圆球体代表j1、j2 、j3三个关节点，采用求得的两个可变形三维曲面方程绘制出的曲面代表上臂和前臂（或大腿和小腿）的皮肤，连接这三个圆球体和两个曲面构成人肢体（手臂和腿）模型。

6. 采用3D Studio MAX构建虚拟人模型，运行View3DS.exe将人模型的15个环节（头、上身、下身、左上臂、左前臂、左手、右上臂、右前臂、右手、左大腿、左小腿、左脚、右大腿、右小腿、右脚）转换成对应的gl格式数据文件，利用OpenGL的图形库将模型绘制出来。如图6、图7所示，在虚拟人三维模型控制平台软件界面上点击“参数设置”选项打开“姿态参数设置”对话框，修改对话框中各个参数的值来设置虚拟人模型的姿势。模型的每个肢体对应三个参数，分别为该肢体相对于前一肢体绕x，y，z轴的旋转角度（旋转顺序为z→y→x），其中x-y-z为以关节点为原点的局部坐标系。该模型总共有51个自由度，其中45个表示各个肢体的旋转，6个表示整个人体的旋转和平移。

Claims

1.一种采用可变形模型的人肢体三维建模方法及虚拟人三维模型控制平台软件，其特征在于包括如下具体步骤：

1) 采用摄像头对人肢体所摆姿势进行拍摄，得到一个图像序列，然后采用图像分割技术检测并得到各个肢体在各个图像上的边缘轮廓信息；

2) 根据边缘轮廓信息采用中轴变换方法求出各个图像上各个肢体的中轴线，把此中轴线作为各个图像上各个肢体的二维骨架位置信息；

3) 采用曲线拟合技术用一种新的可变形二维曲线拟合各个图像上各个肢体的边缘轮廓，提取各个图像上所要拟合肢体轮廓线的两个端点A、B的坐标，计算肌肉轮廓最高点C的坐标，确定点C在骨架上的垂直投影点C’的坐标，计算点C’与j1关节点之间的距离为参数a的值。计算点A与点B之间肌肉部分的最大宽度，参数b值为对应最大宽度值的一半。依据模型投影边缘与肌肉轮廓边缘的边界匹配误差最小原则确定参数k的值；

4) 将可变形二维曲线绕骨架直线旋转，得到各个图像上代表各个肢体皮肤的可变形三维曲面方程。每个可变形三维曲面代表一个肢体皮肤；

5) 使用OpenGL程序采用平行投影方法绘制得到三维人肢体模型，采用三个圆球体代表三个关节点，采用求得的两个可变形三维曲面方程绘制出的曲面来代表肢体皮肤，连接这三个圆球体和两个曲面构成人肢体模型；

6) 虚拟人三维模型控制平台软件采用3D Studio MAX构建虚拟人模型，利用OpenGL的图形库将虚拟人模型绘制出来。在软件“姿态参数设置”对话框上修改各个参数确定虚拟人模型姿势。