CN112181139B - 一种虚拟现实和混合现实的协作控制交互方法 - Google Patents

Abstract

本发明公开了一种虚拟现实和混合现实的协作控制交互方法，包括如下步骤，步骤一：通过Unity3D开发平台搭建虚拟乒乓球对打环境模型，实现控制交互的可视化；步骤二：将虚拟现实设备HTC Vive与高性能计算机进行连接；步骤三：进行虚拟现实与混合现实的交互；步骤四：对虚拟现实和混合现实坐标系进行统一；步骤五：实现混合现实和混合现实的交互。本发明中，以在全息图中进行虚拟乒乓球对打游戏为例，保留了每个用户非对称模式下的可操作性，以虚拟现实设备作为输入设备代替手部的直接操作，避免了系统中有限的手部姿势识别的局限；在混合现实设备之间的协作交互的基础上，实现了混合现实、虚拟现实两种设备的控制交互。

Description

一种虚拟现实和混合现实的协作控制交互方法

技术领域

本发明涉及人机交互技术领域，尤其涉及一种虚拟现实和混合现实的协作控制交互方法。

背景技术

虚拟现实技术是一种新的人机交互形式，一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境，对实体行为进行系统仿真，并通过提高感官的分辨率、质量和有效性，从多感官角度使用户沉浸到该环境中；在虚拟现实的基础上，衍生出了增强现实和混合现实两种技术。增强现实将虚拟出的世界和补充信息叠加到现实世界中，即把虚拟世界套在现实世界并进行互动。混合现实技术定义为现实、增强现实、增强虚拟和虚拟现实的组合，是将由计算机生成的虚拟环境叠加到数字化的现实世界中，生成新的可视化环境。其中环境里物理和数字对象共存，并实时互动。该技术具有将虚拟环境叠加在数字化的真实环境之上并且以交互方式实时运行的特点。

三种技术都需相应的组件设备来达到沉浸式、高质量的体验效果。目前虚拟现实输入设备为允许用户与虚拟环境交互的设备，比如鼠标、键盘、复杂的跟踪器、姿态识别的相关技术产品等等，而输出设备主要让用户通过感官来感受虚拟环境的变化。主流设备有HTC Vive和Oculus Rift。混合现实设备关键组件有：一、跟踪技术，提供用户地理空间数据；二、视觉显示器，用户可以在其中看到虚拟物体与真实世界相结合；三、具有足够的图形、动画和图像处理能力的电脑或显示器。主流设备有微软的Hololens眼镜和谷歌的Google Glass眼镜。

目前，虚拟现实系统和混合现实系统一般都面对的是单用户场景，且无法实现两个或多个用户共同在混合现实系统中交互，并协同操作虚拟对象。并且针对于协作交互系统的研究大多数只专注于多个VR/MR用户进行多个单种类设备输入。同时在现存的交互系统，可以被识别的手势是固定且有限的，设备虽然可以跟踪手部的位置变化，但是无法获得具体的手部的坐标。

因而本发明以在全息图中进行虚拟乒乓球对打游戏为例，保留了每个用户非对称模式下的可操作性，以虚拟现实设备作为输入设备代替手部的直接操作，避免了系统中有限的手部姿势识别的局限。在混合现实设备之间的协作交互的基础上，实现了混合现实、虚拟现实两种设备的控制交互。

发明内容

本发明的目的在于：为了解决虚拟现实系统和混合现实系统一般都面对的是单用户场景，且无法实现两个或多个用户共同在混合现实系统中交互，并协同操作虚拟对象的问题，而提出的一种虚拟现实和混合现实的协作控制交互方法。

为了实现上述目的，本发明采用了如下技术方案：

包括如下步骤，

步骤一：通过Unity3D开发平台搭建虚拟乒乓球对打环境模型，包括球台和两个乒乓球拍，以作为混合现实的场景，并可以实现控制交互的可视化；

步骤二：将虚拟现实设备HTC Vive与高性能计算机进行连接，使用高性能计算机作为工作站，在Unity3D开发平台进行调试；

步骤三：在虚拟现实和混合现实项目中分别编写核心脚本，进行虚拟现实与混合现实的交互，两个脚本通过socket端口进行数据传输；

步骤四：对虚拟现实和混合现实坐标系进行统一；

步骤五：实现混合现实和混合现实的交互。

作为上述技术方案的进一步描述：

步骤一中，场景中要加入粒子效果、贴图、光影增强三维场景真实感的辅助素材，其中球台、球拍大小按真实物体的大小确定；同时实现相应的球落地拾起、发球位置的自由选择等操作逻辑，完成Hololens在场景中的控制作用。

作为上述技术方案的进一步描述：

步骤二中具体步骤如下：

1)首先建立一个项目文件，添加HTC Vive的官方开发库SteamVR库文件，用于提高虚拟现实程序的开发效率；

2)安装HTC Vive的定位器，将定位器安装在高性能计算机的两侧，两个定位器之间距离为2.9m-3.1m，距离地面1.9m-2.1m，分别中心倾斜30°-45°，对 HTC Vive的两个控制器进行感知覆盖；

3)将HTC Vive的两个控制器与计算机进行配对，确保计算机可以获得控制器的三维空间下坐标信息。

作为上述技术方案的进一步描述：

步骤三具体步骤如下：

1)将虚拟现实作为客户端，混合现实作为服务端；

2)对两个控制器分别设定不同的端口，将两个控制器的三维坐标和旋转角度进行传输，完成用定位器代替真实球拍，以模拟球拍的挥拍、击球动作。

3)通过获取HTC VIVE控制器的运动速度，通过实验选择合适的参数与运动速度相乘，当球与球拍碰撞时，触发拍的碰撞行为，将获取的调整后数据作为击球时力量大小和方向，完成击球。

作为上述技术方案的进一步描述：

步骤四具体步骤如下：

1)把Hololens的球拍位置作为基准点，每次开始运行交互系统时，需要将虚拟现实的控制器与球拍位置对齐，记录此时控制器的位置为P_s，旋转为r_v，即为虚拟现实的基准位置；

2)此后设实时虚拟现实的坐标P_v，旋转角度r_m，则传递给混合现实的坐标 P_m,旋转角度r_m为：

o_m＝o_v-p_s

r_m＝r_v-r_s

3)按下trigger键表示校准操作完成，可以将传递的坐标信息直接作为混合现实中球拍的位置，开启协作控制。

作为上述技术方案的进一步描述：

步骤五具体步骤如下：

1)在混合现实项目添加微软的官方开发库—MixedRealityToolkit-Unity，使用其中的Sharing预制件；

2)将项目从Unity3D一式两份，移植到两个Hololens中；

3)Hololens不仅作为成像设备，同时还是一个外设输入设备，用于对周边环境的扫描；

4)以计算机作为服务器，从Hololens中打开该项目，扫描空间，并上传自己的坐标锚点，然后打开另一个Hololens的项目，进行锚点同步，实现两个混合现实之间交互。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明中，首先在Unity3D开发平台中，分别搭建一个HTC VIVE开发项目和一个对乒乓球对打环境进行建模的混合现实项目；然后将虚拟现实设备HTC Vive接入计算机并完成Unity3D开发平台和HTC Vive的连接调试，将混合现实项目移植到两台Hololens设备中；其中虚拟现实和混合现实共同协作交互的关键核心是虚拟现实与混合现实的坐标交互过程；因此利用HTC Vive的定位控制器来记录坐标，将两个定位器用于分别控制两个混合现实项目中的乒乓球拍的位置变化，初步实现VR和MR的交互；之后对VR中的控制器位置和MR的虚拟球拍位置进行校准对齐；最后在两台Hololens中，我们通过其开发平台提供的Sharing插件实现跨设备锚点共享，将二者统一成一个通用的坐标系统，使用户可以同时查看同一位置的全息影像；

以在全息图中进行虚拟乒乓球对打游戏为例，保留了每个用户非对称模式下的可操作性，以虚拟现实设备作为输入设备代替手部的直接操作，避免了系统中有限的手部姿势识别的局限；在混合现实设备之间的协作交互的基础上，实现了混合现实、虚拟现实两种设备的控制交互。

附图说明

图1为本发明中一种虚拟现实和混合现实的协作控制交互方法实施例提供的整体系统环境配置图；

图2为本发明中一种虚拟现实和混合现实的协作控制交互方法实施例提供的协同控制交互中的单人视角图；

图3为本发明中一种虚拟现实和混合现实的协作控制交互方法实施例提供的协同控制交互中第一单人控制效果图；

图4为本发明中一种虚拟现实和混合现实的协作控制交互方法实施例提供的协同控制交互中第二单人控制效果图；

图5为本发明中一种虚拟现实和混合现实的协作控制交互方法实施例提供的协同控制交互中第三单人控制效果图；

图6为本发明中一种虚拟现实和混合现实的协作控制交互方法实施例提供的协同控制交互中第四单人控制效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一，请参阅图1-6，一种虚拟现实和混合现实的协作控制交互方法，包括如下步骤，

步骤一：通过Unity3D开发平台搭建虚拟乒乓球对打环境模型，包括球台和两个乒乓球拍，以作为混合现实的场景，并可以实现控制交互的可视化，场景中要加入粒子效果、贴图、光影增强三维场景真实感的辅助素材，其中球台、球拍大小按真实物体的大小确定；同时实现相应的球落地拾起、发球位置的自由选择等操作逻辑，完成Hololens在场景中的控制作用；

步骤二：将虚拟现实设备HTC Vive与高性能计算机进行连接，使用高性能计算机作为工作站，在Unity3D开发平台进行调试；具体步骤如下：

1)首先建立一个项目文件，添加HTC Vive的官方开发库SteamVR库文件，用于提高虚拟现实程序的开发效率；

2)安装HTC Vive的定位器，将定位器安装在高性能计算机的两侧，两个定位器之间距离为2.9m，距离地面1.9m，分别中心倾斜30°，对HTC Vive的两个控制器进行感知覆盖；

3)将HTC Vive的两个控制器与计算机进行配对，确保计算机可以流畅清晰的获得控制器的三维空间下坐标信息；

步骤三：在虚拟现实和混合现实项目中分别编写核心脚本，进行虚拟现实与混合现实的交互，两个脚本通过socket端口进行数据传输；步骤三具体步骤如下：

1)将虚拟现实作为客户端，混合现实作为服务端；

2)对两个控制器分别设定不同的端口，将两个控制器的三维坐标和旋转角度进行传输，完成用定位器代替真实球拍，以模拟球拍的挥拍、击球动作。

3)为了实现真正的物理交互，应该实现根据用户挥动控制器的力量和方向角度来模拟真正的击球行为；但是计算机只能获得球拍位置的离散数据，通过简单修改碰撞体的材料达不到逼真的反弹效果；因此通过获取HTCVIVE控制器的运动速度，通过实验选择合适的参数与运动速度相乘，当球与球拍碰撞时，触发拍的碰撞行为，将获取的调整后数据作为击球时力量大小和方向，完成击球；

步骤四：对虚拟现实和混合现实坐标系进行统一；虚拟现实和混合现实，每个场景都有对应的坐标系，从实验可知Hololens的空间坐标初始化由项目启动时Hololens在初始阶段的位置和旋转角度确定的，而虚拟现实场景的初始位置是在做HTV Vive的房间设置时确定的；步骤四具体校正步骤如下：

1)把Hololens的球拍位置作为基准点，每次开始运行交互系统时，需要将虚拟现实的控制器与球拍位置对齐，记录此时控制器的位置为P_s，旋转为r_v，即为虚拟现实的基准位置；

2)此后设实时虚拟现实的坐标P_v，旋转角度r_m，则传递给混合现实的坐标P_m,旋转角度r_m为：

p_m＝p_v-p_s

r_m＝r_v-r_s

3)按下trigger键表示校准操作完成，可以将传递的坐标信息直接作为混合现实中球拍的位置，开启协作控制；

步骤五：实现混合现实和混合现实的交互；步骤五具体步骤如下：

1)在混合现实项目添加微软的官方开发库—MixedRealityToolkit-Unity，使用其中的Sharing预制件；

2)将项目从Unity3D一式两份，移植到两个Hololens中；

3)Hololens不仅作为成像设备，同时还是一个外设输入设备，用于对周边环境的扫描，对乒乓球的拾取、发球位置确定等操作；

4)以计算机作为服务器，从Hololens中打开该项目，扫描空间，并上传自己的坐标锚点，然后打开另一个Hololens的项目，进行锚点同步，实现两个混合现实之间交互。

实施例二，请参阅图1-6，一种虚拟现实和混合现实的协作控制交互方法，包括如下步骤，

步骤一：通过Unity3D开发平台搭建虚拟乒乓球对打环境模型，包括球台和两个乒乓球拍，以作为混合现实的场景，并可以实现控制交互的可视化；

步骤二：将虚拟现实设备HTC Vive与高性能计算机进行连接，使用高性能计算机作为工作站，在Unity3D开发平台进行调试；具体步骤如下：

1)首先建立一个项目文件，添加HTC Vive的官方开发库SteamVR库文件，用于提高虚拟现实程序的开发效率；

2)安装HTC Vive的定位器，将定位器安装在高性能计算机的两侧，两个定位器之间距离为3.1m，距离地面2.1m，分别中心倾斜45°，对HTC Vive的两个控制器进行感知覆盖；

3)将HTC Vive的两个控制器与计算机进行配对，确保计算机可以流畅清晰的获得控制器的三维空间下坐标信息；

步骤三：在虚拟现实和混合现实项目中分别编写核心脚本，进行虚拟现实与混合现实的交互，两个脚本通过socket端口进行数据传输；

步骤四：对虚拟现实和混合现实坐标系进行统一；虚拟现实和混合现实，每个场景都有对应的坐标系，从实验可知Hololens的空间坐标初始化由项目启动时Hololens在初始阶段的位置和旋转角度确定的，而虚拟现实场景的初始位置是在做HTV Vive的房间设置时确定的；

步骤五：实现混合现实和混合现实的交互。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种虚拟现实和混合现实的协作控制交互方法，其特征在于，包括如下步骤，

步骤一：通过Unity3D开发平台搭建虚拟乒乓球对打环境模型，包括球台和两个乒乓球拍，以作为混合现实的场景，并可以实现控制交互的可视化；

步骤二：将虚拟现实设备HTC Vive与高性能计算机进行连接，使用高性能计算机作为工作站，在Unity3D开发平台进行调试；

步骤三：在虚拟现实和混合现实项目中分别编写核心脚本，进行虚拟现实与混合现实的交互，两个脚本通过socket端口进行数据传输；

步骤四：对虚拟现实和混合现实坐标系进行统一；

步骤五：实现混合现实和混合现实的交互；

步骤一中，场景中要加入粒子效果、贴图、光影增强三维场景真实感的辅助素材，其中球台、球拍大小按真实物体的大小确定；同时实现相应的球落地拾起、发球位置的自由选择操作逻辑，完成Hololens在场景中的控制作用；

步骤二中具体步骤如下：

1)首先建立一个项目文件，添加HTC Vive的官方开发库SteamVR库文件，用于提高虚拟现实程序的开发效率；

2)安装HTC Vive的定位器，将定位器安装在高性能计算机的两侧，两个定位器之间距离为2.9m-3.1m，距离地面1.9m-2.1m，分别中心倾斜30°-45°，对HTC Vive的两个控制器进行感知覆盖；

3)将HTC Vive的两个控制器与计算机进行配对，确保计算机可以获得控制器的三维空间下坐标信息；

步骤三具体步骤如下：

1)将虚拟现实作为客户端，混合现实作为服务端；

2)对两个控制器分别设定不同的端口，将两个控制器的三维坐标和旋转角度进行传输，完成用定位器代替真实球拍，以模拟球拍的挥拍、击球动作；

3)通过获取HTC VIVE控制器的运动速度，通过实验选择合适的参数与运动速度相乘，当球与球拍碰撞时，触发拍的碰撞行为，将获取的调整后数据作为击球时力量大小和方向，完成击球；

步骤四具体步骤如下：

1)把Hololens的球拍位置作为基准点，每次开始运行交互系统时，需要将虚拟现实的控制器与球拍位置对齐，记录此时控制器的位置为Ρs，旋转为r_v，即为虚拟现实的基准位置；

2)此后设实时虚拟现实的坐标Ρv，旋转角度r_m，则传递给混合现实的坐标Ρm,旋转角度r_m为：

p_m＝p_v-p_s

r_m＝r_v-r_s

3)按下trigger键表示校准操作完成，可以将传递的坐标信息直接作为混合现实中球拍的位置，开启协作控制；

步骤五具体步骤如下：

1)在混合现实项目添加微软的官方开发库—MixedRealityToolkit-Unity，使用其中的Sharing预制件；

2)将项目从Unity3D一式两份，移植到两个Hololens中；

3)Hololens不仅作为成像设备，同时还是一个外设输入设备，用于对周边环境的扫描；

4)以计算机作为服务器，从Hololens中打开该项目，扫描空间，并上传自己的坐标锚点，然后打开另一个Hololens的项目，进行锚点同步，实现两个混合现实之间交互。

Images