CN108579080A - 混合现实环境下实体球拍与虚拟球的交互实现方法及系统 - Google Patents

Abstract

本发明公开了一种混合现实环境下实体球拍与虚拟球的交互实现方法及系统，通过建立虚拟运动环境，获取球拍位置，将实现球拍通过混合现实的图像后以混合现实图像的形式呈现在虚拟显示端；获取球拍运动过程中球拍的移动速度与角度，通过球拍的移动速度调整碰撞盒的厚度并确定碰撞点；根据碰撞点，将球拍拍面的法线方向作为虚拟球的受力方向，获取球拍的平均速度及弹性材质击球的初始反弹速率；根据平均速度以及弹性材质击球的初始反弹速率，计算虚拟球反弹速率，根据虚拟球反弹速率在虚拟显示端显示虚拟球运动过程，通过真实地调整击球速度与方向，使得用户能够真实地控制虚拟球的运动，增加了游戏的真实性。

Description

混合现实环境下实体球拍与虚拟球的交互实现方法及系统

技术领域

本发明涉及虚拟交互技术领域，尤其涉及一种混合现实环境下实体球拍与虚拟球的交互实现方法及系统。

背景技术

是对着科技的发展，科技发展日新月异，目前，以及有很多涉及到人机交互领域，特别是在运动捕捉方面。微软Xbox使用体感相机(Kinect)来检测用户四肢的运动，完成诸如切水果之类的游戏，但它无法准确地捕捉到用户手指的变化。所以它只可以粗略地捕捉到手的位置变化，但很难捕捉到旋转。Oculus推出finexus可以解放双手，但识别距离短，缺乏成熟的设备。Judith Amores等人利用全息透镜定位手指的位置，在混合现实环境中实现空间画图功能。Christina Pollalis等人开发了holomuse，通过手势交互与混合现实技术实现博物馆的藏品欣赏，它提供了移动和旋转展品的交互功能。J.M.Huang等人利用无线鼠标和压力传感器作为输入设备，设计了一种新的多目标选择、模型切割和组件移动的交互式算法，实现了混合现实环境中的有限元分析。Cédric Kervegant等人利用触觉设备向用户提供混合现实环境下的触觉体验。

现有的较成熟的混合现实交互技术依赖于手势识别，仅提供虚拟目标的选择，平移拖动，旋转等功能，无法让虚拟物体在用户的控制下，实现类似于真实物体间的物理效果，因此，降低了用户的体验效果。

发明内容

针对上述缺陷或不足，本发明的目的在于提供一种混合现实环境下实体球拍与虚拟球的交互实现方法及系统。

为达到以上目的，本发明的技术方案为：

一种混合现实环境下实体球拍与虚拟球的交互实现方法，包括：

1)、建立虚拟运动环境，使用控制器获取球拍位置，将实现球拍通过混合现实的图像后以混合现实图像的形式呈现在虚拟显示端；

2)、获取球拍运动过程中球拍的移动速度与角度，通过球拍的移动速度调整碰撞盒的厚度并确定碰撞点；

3)、根据碰撞点，将球拍拍面的法线方向作为虚拟球的受力方向，并且获取球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率；

4)、根据球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率，计算虚拟球反弹速率，根据虚拟球反弹速率在虚拟显示端显示虚拟球的运动过程。

所述步骤2)中，获取球拍运动过程中球拍的移动速度，在虚拟环境中，根据球拍的移动速度，在球拍底部建立虚拟碰撞盒，虚拟碰撞盒与球拍表面的大小相匹配，根据球拍的速度实时调整虚拟碰撞盒的厚度，以使得虚拟球与球拍碰撞被检测。

所述虚拟碰撞盒的厚度th为：

其中，是虚拟球在任意时间间隔内的平均速度，是球拍在任意时间间隔内的平均速度，Δt为时间间隔，球拍运动越快，虚拟碰撞盒的厚度就越大。

所述步骤4)所述虚拟球反弹速率v'为：

其中，是球拍在任意时间间隔内的平均速度，v₀是弹性材质击球的初始反弹速率，拍面的法线方向作为的方向。

一种混合现实环境下实体球拍与虚拟球的交互系统，包括虚拟设备端、碰撞检测模块、处理模块、以及计算模块，其中：

虚拟设备端，用于建立虚拟运动环境，使用控制器获取球拍位置，将实现中的球拍通过混合现实的图像后以混合现实图像的形式呈现在虚拟显示端；

碰撞检测模块，用于获取球拍运动过程中球拍的移动速度与角度，通过球拍的移动速度调整碰撞盒的厚度并确定碰撞点；

处理模块，用于根据碰撞点，将球拍拍面的法线方向作为虚拟球的受力方向，并且获取球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率；

计算模块，用于根据球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率，计算虚拟球反弹速率，根据虚拟球反弹速率在虚拟显示端显示虚拟球的运动过程。

所述虚拟设备端还包括设置在球拍上的定位器。

所述碰撞检测模块还用于获取球拍运动过程中球拍的移动速度与角度，在虚拟环境中，根据球拍的移动速度，在球拍底部建立虚拟碰撞盒，虚拟碰撞盒与球拍表面的大小相匹配，根据球拍的速度实时调整虚拟碰撞盒的厚度，以使得虚拟球与球拍碰撞被检测。

所述所述虚拟碰撞盒的厚度th为：

其中，是虚拟球在任意时间间隔内的平均速度，是球拍在任意时间间隔内的平均速度，Δt为时间间隔，球拍运动越快，虚拟碰撞盒的厚度就越大。

所述计算模块具体用于计算虚拟球反弹速率v'：

其中，是球拍在任意时间间隔内的平均速度，v₀是弹性材质击球的初始反弹速率，拍面的法线方向作为的方向。

与现有技术比较，本发明的有益效果为：

本发明提供了一种混合现实环境下实体球拍与虚拟球的交互实现方法及系统，使用现有的混合现实头戴显示器和交互设备，同时完善相关的交互式算法，最终设计出一个混合现实环境下的交互系统。允许用户使用真实的乒乓球拍与虚拟乒乓球互动。用户可以在混合现实环境中模拟颠球、击球等操作。该系统能保证良好的交互实时性和准确性，只需要一个位置跟踪传感器跟踪球拍的位置和旋转。通过真实地调整击球速度与方向，使得用户能够真实的体验到击球中的力度和角度，增加了游戏的真实性，提高了用户的体验。

进一步地，本发明解决了用户快速击球时，虚拟乒乓球穿过球拍的问题。而且通过算法改进，使球会根据用户的击球动作产生真实的反弹效果。该系统能保证良好的交互实时性和准确性，只需要一个位置跟踪传感器跟踪球拍的位置和旋转。避免一次击球事件中多次触发碰撞的计算，通过设置适当的时间间隔。可以模拟真实环境中的击球效果。这样，用户就可以体验到混合现实中打乒乓球的乐趣。通过点击交互界面，用户不必弯腰捡起球。配合Hololens的地形检测技术，虚拟球还会与墙和桌面发生碰撞交互。

附图说明

图1是本发明混合现实环境下实体球拍与虚拟球的交互实现方法流程框图；

图2是本发明的反弹速率原理图；

图3是本发明的系统结构图。

具体实施方式

下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明提供了一种混合现实环境下实体球拍与虚拟球的交互实现方法，包括：

1)、建立虚拟运动环境，使用控制器获取球拍位置，将实现球拍通过混合现实的图像后以混合现实图像的形式呈现在虚拟显示端；

为了提高混合现实中人机交互的水平，特别是让用户控制真实对象，使其与虚拟对象交互，模拟出真实的物理效果。本发明使用现有的混合现实头戴显示器和交互设备，同时完善相关的交互式算法，最终设计出一个混合现实环境下的交互系统。它允许用户佩戴Microsoft Hololens，使用真实的乒乓球拍与虚拟乒乓球互动。用户可以在混合现实环境中模拟颠球、击球等操作。其中，本发明解决了用户快速击球时，虚拟乒乓球穿过球拍的问题。而且通过算法改进，使球会根据用户的击球动作产生真实的反弹效果。该系统能保证良好的交互实时性和准确性，只需要一个位置跟踪传感器跟踪球拍的位置移动和旋转。

本发明采用了HTC Vive手柄作为主要的输入设备，它会逐帧收集球拍的位置和旋转信息。Microsoft Hololens作为成像设备和辅助输入设备。首先，使用一个工作站连接HTC Vive，用于存储定位到的球拍位置和旋转信息。同时，用Holographic RemotingPlayer连接工作站与透镜。透镜将信息发送到工作站，如视觉角度位移，真实环境的地形，手势输入。碰撞检测是通过工作站完成的。最后，混合现实的图像将呈现在Hololens上。这样，就完成了它们的组合。

2)获取球拍运动过程中球拍的移动速度与角度，通过球拍的移动速度调整碰撞盒的厚度并确定碰撞点；

所述碰撞盒用于检测碰撞，检测到碰撞后执行反弹，碰撞盒厚度计算和反弹速率计算都会用到当前球的速率，获取球拍运动过程中球拍的移动速度时，在虚拟环境中，根据球拍的移动速度，在球拍底部建立虚拟碰撞盒，虚拟碰撞盒与球拍表面的大小相匹配，根据球拍的速度实时调整虚拟碰撞盒的厚度，以使得虚拟球与球拍碰撞被检测。

具体地：

首先，把定位器，固定在球拍上。目前实验使用的是HTC Vive控制器，当然可以用其他带陀螺仪的定位器代替；在3D场景中于球拍位置处设置一个虚拟碰撞盒，它需要与球拍表面的大小相匹配。虚拟碰撞盒用来检测球拍是否与虚拟球相撞。定位器将检测球拍的运动。然后，我们需要根据球拍的速度实时调整碰撞盒的厚度。球拍运动越快，碰撞盒的厚度就越大。

所述虚拟碰撞盒的厚度th为：

其中，是虚拟球在任意时间间隔内的平均速度，是球拍在任意时间间隔内的平均速度，Δt为时间间隔。

3)、如图2所示，根据碰撞点，将球拍拍面的法线方向作为虚拟球的受力方向，并且获取球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率；

为了实现真正的物理交互，用户应当能够控制球拍和击球力度来调整球飞行的角度和速度。然而，计算机只能获得球拍位置的离散数据。不能简单地修改碰撞器的材料，以达到正常的反弹效果。因此，需要使用这些离散的数据来模拟连续运动，并计算每次击球后的反弹方向和速度。计算机会检测碰撞盒与球是否发生碰撞，检测到的点视为碰撞点。弹性材质能够根据实用户的习惯进行选择。

4)、根据球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率，计算虚拟球反弹速率，根据虚拟球反弹速率在虚拟显示端显示虚拟球的运动过程。

所述步骤4)中，当发生碰撞时，根据定位器测量的数据重新计算球的反弹速率，击球后，球的速率所述虚拟球反弹速率v'为：

其中，是球拍在任意时间间隔内的平均速度，v₀是弹性材质击球的初始反弹速率，拍面的法线方向作为的方向。

为了避免一次击球事件中多次触发碰撞的计算，设置了适当的时间间隔。综合以上步骤，可以模拟真实环境中的击球效果。这样，用户就可以体验到混合现实中打乒乓球的乐趣。通过点击交互界面，用户不必弯腰捡起球。配合Hololens的地形检测技术，虚拟球还会与墙和桌面发生碰撞交互。

如图3所示，本发明还提供了一种混合现实环境下实体球拍与虚拟球的交互系统，其特征在于，包括虚拟设备端1、碰撞检测模块2、处理模块3、以及计算模块4，其中：

虚拟设备端1，用于建立虚拟运动环境，使用控制器获取球拍位置，将实现球拍通过混合现实的图像后以混合现实图像的形式呈现在虚拟显示端；

碰撞检测模块2，用于获取球拍运动过程中球拍的移动速度与角度，通过球拍的移动速度调整碰撞盒的厚度并确定碰撞点；

处理模块3，用于根据碰撞点，将球拍拍面的法线方向作为虚拟球的受力方向，并且获取球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率；

计算模块4，用于根据球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率，计算虚拟球反弹速率，根据虚拟球反弹速率在虚拟显示端显示虚拟球的运动过程。

所述虚拟设备端1还包括设置在球拍上的定位器。所述碰撞检测模块2还用于获取球拍运动过程中球拍的移动速度，在虚拟环境中，根据球拍的移动速度，在球拍底部建立虚拟碰撞盒，虚拟碰撞盒与球拍表面的大小相匹配，根据球拍的速度实时调整虚拟碰撞盒的厚度，以使得虚拟球与球拍碰撞被检测。

具体地，所述所述虚拟碰撞盒的厚度th为：

其中，是虚拟球在任意时间间隔内的平均速度，是球拍在任意时间间隔内的平均速度，Δt为时间间隔，球拍运动越快，虚拟碰撞盒的厚度就越大。

所述计算模块4具体用于计算虚拟球反弹速率v'：

其中，是球拍在任意时间间隔内的平均速度，v₀是弹性材质击球的初始反弹速率，拍面的法线方向作为的方向。

对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。

Claims (9)

1.一种混合现实环境下实体球拍与虚拟球的交互实现方法，其特征在于，包括：

1)、建立虚拟运动环境，使用控制器获取球拍位置，将实现球拍通过混合现实的图像后以混合现实图像的形式呈现在虚拟显示端；

2)、获取球拍运动过程中球拍的移动速度与角度，通过球拍的移动速度调整碰撞盒的厚度并确定碰撞点；

3)、根据碰撞点，将球拍拍面的法线方向作为虚拟球的受力方向，并且获取球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率；

4)、根据球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率，计算虚拟球反弹速率，根据虚拟球反弹速率在虚拟显示端显示虚拟球的运动过程。

2.根据权利要求1所述的混合现实环境下实体球拍与虚拟球的交互实现方法，其特征在于，所述步骤2)中，获取球拍运动过程中球拍的移动速度与角度，在虚拟环境中，根据球拍的移动速度，在球拍底部建立虚拟碰撞盒，虚拟碰撞盒与球拍表面的大小相匹配，根据球拍的速度实时调整虚拟碰撞盒的厚度，以使得虚拟球与球拍碰撞被检测。

3.根据权利要求2所述的混合现实环境下实体球拍与虚拟球的交互实现方法，其特征在于，所述虚拟碰撞盒的厚度th为：

其中，是虚拟球在任意时间间隔内的平均速度，是球拍在任意时间间隔内的平均速度，Δt为时间间隔，球拍运动越快，虚拟碰撞盒的厚度就越大。

4.根据权利要求1所述的混合现实环境下实体球拍与虚拟球的交互实现方法，其特征在于，所述步骤4)所述虚拟球反弹速率v'为：

其中，是球拍在任意时间间隔内的平均速度，v₀是弹性材质击球的初始反弹速率，拍面的法线方向作为的方向。

5.一种混合现实环境下实体球拍与虚拟球的交互系统，其特征在于，包括虚拟设备端(1)、碰撞检测模块(2)、处理模块(3)、以及计算模块(4)，其中：

虚拟设备端(1)，用于建立虚拟运动环境，使用控制器获取球拍位置，将实现球拍通过混合现实的图像后以混合现实图像的形式呈现在虚拟显示端；

碰撞检测模块(2)，用于获取球拍运动过程中球拍的移动速度与角度，通过球拍的移动速度调整碰撞盒的厚度并确定碰撞点；

处理模块(3)，用于根据碰撞点，将球拍拍面的法线方向作为虚拟球的受力方向，并且获取球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率；

计算模块(4)，用于根据球拍在任意时间间隔内的的平均速度以及弹性材质击球的初始反弹速率，计算虚拟球反弹速率，根据虚拟球反弹速率在虚拟显示端显示虚拟球的运动过程。

6.根据权利要求5所述的混合现实环境下实体球拍与虚拟球的交互系统，其特征在于，所述虚拟设备端(1)还包括设置在球拍上的定位器。

7.根据权利要求5所述的混合现实环境下实体球拍与虚拟球的交互系统，其特征在于，所述碰撞检测模块(2)还用于获取球拍运动过程中球拍的移动速度与角度，在虚拟环境中，根据球拍的移动速度，在球拍底部建立虚拟碰撞盒，虚拟碰撞盒与球拍表面的大小相匹配，根据球拍的速度实时调整虚拟碰撞盒的厚度，以使得虚拟球与球拍碰撞被检测。

8.根据权利要求7所述的混合现实环境下实体球拍与虚拟球的交互系统，其特征在于，所述所述虚拟碰撞盒的厚度th为：

其中，是虚拟球在任意时间间隔内的平均速度，是球拍在任意时间间隔内的平均速度，Δt为时间间隔，球拍运动越快，虚拟碰撞盒的厚度就越大。

9.根据权利要求5所述的混合现实环境下实体球拍与虚拟球的交互系统，其特征在于，所述计算模块(4)具体用于计算虚拟球反弹速率v'：

其中，是球拍在任意时间间隔内的平均速度，v₀是弹性材质击球的初始反弹速率，拍面的法线方向作为的方向。