CN103543830A - 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法 - Google Patents

Abstract

本发明的针对传统交互应用中仅允许二维方向的交互的不足，结合可提取骨骼点的3D信息的Kinect和可提供立体视觉效果的立体显示器，通过将人体骨骼坐标映射至虚拟3D空间世界坐标，提出一种基于Kinect的人体骨骼点映射至立体显示中虚拟3D空间点的方法，使得用户可与立体显示系统完成实现非接触式交互，控制虚拟3D空间内的物体跟随用户的特定骨骼点在3D方向上移动。

Description

一种人体骨骼点映射至立体显示中虚拟三维空间点的方法

技术领域

本发明涉及虚拟现实3D（三维）交互技术以及计算机图形技术。

背景技术

虚拟现实交互技术是一种新兴的综合集成技术，人们可利用计算机来虚构一个3D世界，并与虚拟的3D世界产生交互作用。近年来，体感交互技术蓬勃发展，渐渐走进人们的生活。Kinect体感设备的传感深度范围在0.8米到4.0米之间，而立体显示器中的自由立体显示器的最佳观看距离一般在2米左右，两者之间的适应距离范围存在匹配关系。通过立体显示器，用户可观看到立体画面，同时通过Kinect体感设备，用户可以在不手持或触摸任何设备的情况下，将肢体动作转化为与立体显示器中的虚拟3D图像进行沟通的“语言”，自然地实现人与虚拟空间的交互。

现有的大多数基于Kinect体感设备的交互应用中，如基于Kinect体感设备的3D立体试衣装置，多是将人体3D坐标转换为以二维坐标为基准的数据，控制虚拟物体在二维方向上移动。基于Kinect体感设备的立体显示的交互系统中，由于立体显示器能为用户呈现虚拟3D空间，因此将人体骨骼坐标转换为虚拟3D空间中的坐标显得十分必要，而目前缺少有效的解决方案。

发明内容

本发明提出一种人体骨骼点映射至立体显示中虚拟3D空间点的方法，如附图1所示，该方法获取人体骨骼数据并将关键骨骼点J变换至深度图坐标系上点D，然后将深度图坐标系上点D变换至视图坐标系上点V，再将视图坐标系上点V变换至世界坐标系上点W，最后虚拟3D物体根据世界坐标系上点W进行坐标平移变换。本发明的目的在于，如附图2所示，使得用户可与立体显示系统实现非接触式交互，控制虚拟3D空间内的物体跟随用户的特定骨骼点在3D方向上移动。

所述获取人体骨骼数据并将关键骨骼点J变换至深度图坐标系上点D，通过Kinect体感设备获取人体骨骼数据并对其进行平滑处理，从中提取右手骨骼点H_R、左肩膀骨骼点S_L、右肩膀骨骼点S_R、头部骨骼点H、右脚骨骼点F在Kinect骨骼坐标系中的坐标值，各骨骼点位置如附图3所示。设右手骨骼点H_R为关键骨骼点J，并通过调用Kinect SDK（软件开发工具包）所提供的接口函数得到骨骼坐标系上关键骨骼点J在深度图坐标系上点D的二维坐标(X _D，Y _D)。

所述深度图坐标系上点D变换至视图坐标系上点V，获取虚拟3D场景中虚拟相机的投影变换矩阵P，设单幅视差图像的分辨率为H _P×V _P，则深度图坐标系上点D对应的视图坐标系的近平面上点V的3D坐标(X _V，Y _V，Z _V)可由下列公式计算得到：

                               (1)

                                (2)

                                             (3)

其中，P ₁₁，P ₂₂分别为投影变换矩阵P第一行第一列元素和第二行第二列元素，Z _n 为虚拟相机投影中心至视框体近平面在z轴方向上的距离。

所述视图坐标系上点V变换至世界坐标系上点W，获取虚拟3D场景中虚拟相机的视图空间变换矩阵V，计算得矩阵V的逆变换矩阵为V ^-1，视图空间坐标系上点V对应的世界坐标系上点W的3D坐标(X _W，Y _W，Z _W)可由下列公式计算得到：

                                 (4)

             (5)

其中，[V ^-1]_2×3为矩阵V ^-1的部分矩阵，由左上角两行乘三列的元素组成；S为缩放因子，设由深度图坐标系下坐标点（640，0）代入公式（1）（2）（3）计算得其对应于视图坐标系上的坐标点的x轴坐标值x ₁，该虚拟3D空间中屏幕右上角点对应的视图坐标系上的x轴坐标值为x ₂，则缩放因子S可由x ₂/x ₁计算得到；Min、Max分别为该虚拟相机结构下立体显示器显示时视差可融合的世界坐标系中z轴上的最小坐标值和最大坐标值；(Z _SR-Z _J)_Max为用户右手向前伸直时骨骼坐标系中z轴方向上右肩膀骨骼点S_R到右手骨骼点H_R的距离，可由下式计算得到：

                  (6)

其中，X _SL、X _SR分别为左肩膀骨骼点和右肩膀骨骼点在骨骼坐标系x轴上的坐标值，Y _H、Y _F分别为头部骨骼点和右脚骨骼点在骨骼坐标系y轴上的坐标值。

所述虚拟3D物体根据世界坐标系上点W进行坐标平移变换，对于虚拟3D空间中的指定3D物体，根据坐标(X _W，Y _W，Z _W)对3D物体在世界坐标系中进行坐标平移变换，实现由世界坐标系上点W的坐标值决定3D物体的空间位置。

本发明针对传统交互应用中仅允许二维方向的交互的不足，结合可提取骨骼点的3D信息的Kinect和可提供立体视觉效果的立体显示器，通过将人体骨骼坐标映射至虚拟3D空间坐标，提供一种观看者在Kinect有效探测范围内均可控制并观看虚拟物体在3D方向上移动的方法。

附图说明

附图1为本发明一种人体骨骼点映射至立体显示中虚拟3D空间点的方法的实现流程图。

附图2为本发明中控制虚拟3D物体跟随人体骨骼点在3D方向上移动的示意图。

附图3为本发明所提取人体骨骼点位置的示意图。

上述附图中的图示标号为：

1人体骨骼空间，2 Kinect体感设备，3 骨骼坐标系，4 立体显示器，5 虚拟3D物体，6 世界坐标系，7 头部骨骼点H，8 右手骨骼点H_R，9 右肩膀骨骼点S_R，10 左肩膀骨骼点S_L，11 右脚骨骼点F。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细说明利用本发明一种人体骨骼点映射至立体显示中虚拟3D空间点的方法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

在本实施实例中立体显示器采用21.5英寸的柱透镜光栅自由立体显示器，视点数为8，2D分辨率为1920×1080，光栅相对显示器的倾斜角度为arctan(-0.4330)， 3D深度范围为-15cm~20cm。采用Kinect体感设备作为人体骨骼点数据采集设备，通过调整Kinect体感设备的空间位置与马达改变其交互区域，保证用户的整个骨骼框架在交互区域范围内，且限定用户的活动范围在Kinect体感设备的水平视角范围小于57°，垂直视角范围小于43°，与Kinect体感设备的距离在0.8米到4.0米之间。基于微软公司提供的3D图形API（应用程序接口）Direct3D实现虚拟3D场景的建立和视差图像的获取。

采用本发明实现将人体骨骼坐标转换为虚拟3D空间中世界坐标系上的坐标的步骤如下：

第一步，通过调用Kinect SDK中相应API函数获取用户的骨骼信息，并根据Kinect反馈的骨骼数据流中的追踪状态判断是否有用户被追踪到，如果有则从中提取用户的骨骼数据，采用霍尔特双指数平滑算法平衡化骨骼数据中的不规则点。

Kinect获取骨骼坐标系上人体骨骼坐标的示意图如附图1所示。当有用户在Kinect的交互区域内，所获取骨骼数据中在骨骼空间中，如附图2所示，右手骨骼点H_R坐标为（0.148131，0.359362，1.60576），左肩膀骨骼点S_L坐标为（﹣0.0892748，0.301257，2.35958），右肩膀骨骼点S_R坐标为（0.166963，0.271924，2.2483），头部骨骼点H坐标为（0.046896，0.57084，2.27484），右脚骨骼点F坐标为（0.192251，﹣0.996962，2.43674），并设右手骨骼点H_R为关键骨骼点J。

第二步，调用Kinect SDK中的接口函数NuiTransformSkeletonToDepthImage计算后得到骨骼坐标系上关键骨骼点J在深度图坐标系上点D的二维坐标（372.699，112.155）。

第三步，通过调用Direct3D的接口函数GetTransform(D3DTS_PROJECTION，&P)获取虚拟3D场景中虚拟相机的投影变换矩阵P，其值为

。设单幅视差图像的分辨率为640×480，虚拟相机投影中心至视框体近平面在z轴方向上的距离Z _n设为1.0，由公式（1）（2）（3）计算得深度图坐标系上点D对应的视图坐标系的近平面上点V的3D坐标（0.0823416，0.166465，1.0）。

第四步，通过调用Direct3D的接口函数GetTransform(D3DTS_VIEW，&V)获取虚拟3D场景中虚拟相机的视图空间变换矩阵V，其值为

，计算得矩阵V的逆变换矩阵为V ^-1，其值为

。由深度图坐标系下坐标点（640，0）代入公式（1）（2）（3）计算得其对应于视图坐标系上的坐标点的x轴坐标值为0.0514635，该虚拟3D场景中屏幕右上角点对应的视图坐标系上的x轴坐标值为15.43905，则缩放因子S为300.0。虚拟相机结构下立体显示器显示时视差可融合的世界坐标系中z轴上的最小坐标值Min和最大坐标值Max分别为-65.0、120.0，由公式（6）计算得用户右手向前伸直时，骨骼坐标系中z轴方向上右肩膀骨骼点S_R到右手骨骼点H_R的距离(Z _SR-Z _R)_Max为0.6557821，由公式（4）（5）视图空间坐标系上点V对应的世界坐标系上点W的3D坐标（24.7025，25.857，116.2643）。

第五步，对于虚拟3D空间中的指定3D物体，根据步骤四中计算得的世界坐标系上点W的坐标值（24.7025，25.857，116.2643）对3D物体在世界坐标系中进行坐标平移变换，实现由世界坐标系上点W的坐标值决定3D物体的空间位置。

Claims (5)

1.一种人体骨骼点映射至立体显示中虚拟3D空间点的方法，其特征在于，该方法获取人体骨骼数据并将关键骨骼点J变换至深度图坐标系上点D，然后将深度图坐标系上点D变换至视图坐标系上点V，再将视图坐标系上点V变换至世界坐标系上点W，最后虚拟3D物体根据世界坐标系上点W进行坐标平移变换。

2.根据权利要求1所述的一种人体骨骼点映射至立体显示中虚拟3D空间点的方法，其特征在于，通过Kinect体感设备获取人体骨骼数据并对其进行平滑处理，并从中提取右手骨骼点H_R、左肩膀骨骼点S_L、右肩膀骨骼点S_R、头部骨骼点H、右脚骨骼点F在Kinect骨骼坐标系中的坐标值。

3.根据权利要求1所述的一种人体骨骼点映射至立体显示中虚拟3D空间点的方法，其特征在于，获取虚拟3D场景中虚拟相机的投影变换矩阵P，设单幅视差图像的分辨率为H _P ×V _P ，则深度图坐标系上点D对应的视图坐标系的近平面上点V的3D坐标(X _V ，Y _V ，Z _V )可由                                                

，

，计算得到，其中，P ₁₁，P ₂₂分别为投影变换矩阵P第一行第一列元素和第二行第二列元素，Z _n为虚拟相机投影中心至视框体近平面在z轴方向上的距离。

4.根据权利要求1所述的一种人体骨骼点映射至立体显示中虚拟3D空间点的方法，其特征在于，获取虚拟3D场景中虚拟相机的视图空间变换矩阵V，计算得矩阵V的逆变换矩阵为V ^-1，视图空间坐标系上点V对应的世界坐标系上点W的3D坐标(X _W ，Y _W ，Z _W )可由

，

计算得到，其中，[V ^-1]_2×3为矩阵V ^-1的部分矩阵，由左上角两行乘三列的元素组成；S为缩放因子，设由深度图坐标系下坐标点（640，0）代入，

，计算得其对应于视图坐标系上的坐标点的x轴坐标值x ₁，该虚拟3D场景中屏幕右上角点对应的视图坐标系上的x轴坐标值为x ₂，则缩放因子S可由x ₂/x ₁计算得到；Min、Max分别为该虚拟相机结构下立体显示器显示时视差可融合的世界坐标系中z轴上的最小坐标值和最大坐标值；(Z _SR -Z _R )_Max为用户右手向前伸直时，骨骼坐标系中z轴方向上右肩膀骨骼点S_R到右手骨骼点R的距离，可由

计算得到，其中X _SL、X _SR分别为左肩膀骨骼点和右肩膀骨骼点在骨骼坐标系x轴上的坐标值，Y _H、Y _F分别为头部骨骼点和右脚骨骼点在骨骼坐标系y轴上的坐标值。

5.根据权利要求1所述的一种人体骨骼点映射至立体显示中虚拟3D空间点的方法，其特征在于，该方法适用于非裸眼3D显示与裸眼3D显示。

Images