CN106598228A - Vr环境下的物体视觉定位操控技术 - Google Patents

Abstract

本发明公开了一种VR(Virtual Reality，即虚拟现实)环境下的物体视觉定位操控技术，提出了基于VR头戴式显示器和游戏手柄等人机交互设备时,实现一种人与虚拟现实物体的视觉定位和操控的算法，并根据此算法完成了一种人与虚拟场景交互操作的新颖的操作便捷的解决方案。本发明的VR物体视觉定位操控技术包括虚拟视场聚焦模型、虚拟焦点相对运动模型、虚拟物体互动模型等模型建立和视觉定位技术。本发明解决了当前VR环境下的人机交互所面临的操作复杂，需要复杂的学习过程的问题。本发明实现了便捷的人与场景的互动操作方法，具有概念简单，应用灵活、便捷，解放用户双手操作，操作简单，上手快，无需用户专门学习等优势，可以很好地应用于VR人机交互控制技术领域。

Description

VR环境下的物体视觉定位操控技术

技术领域

本发明涉及一种人与虚拟现实物体的视觉定位和操控技术，尤其涉及一种基于VR头戴式显示器和游戏手柄等人机交互方式时，人与虚拟现实物体的视觉定位和操控技术的原理和实现方法，属于虚拟现实人机交互控制技术领域。

背景技术

目前VR技术还不能完全实现自然的真实感的人机交互操作，只能通过头戴式设备提供视觉体验,通过手柄操控器等设备代替双手操作来获得人机互动体验，操作复杂，用户操作前需要一个学习的过程，很多用户就望“VR”退却了。

当前除了手柄、万向跑步机或结合动态感应技术的控制器配件外，有不少厂商更展示可让使用者能在虚拟实境中透过双手与虚拟实境物件互动的解决方案，但总是有这样那样的缺陷和不足，“输入”的问题将成为虚拟实境技术发展后续竞争关键。

在虚拟实境视觉技术持续精进发展之下，吸引玩家的将不再仅是沉浸式的视觉情境感受，而是自然而然期望具备的双手自然互动体验，单纯透过手柄控制器有限的操作模式，势必无法对应所有虚拟实境应用内容。

因此需要提升一种新的VR环境下的物体视觉定位和操控解决方案，解放用户的双手，让用户的双手参与更高层面的互动体验，才能最终改善VR世界的互动性，可操控性，这就是本发明专利主要的动机和目的。

发明内容

本发明的目的在于：提出基于VR头戴式显示器和游戏手柄等人机交互方式时,一种人与虚拟现实物体的视觉定位和操控的原理及实现方法，解决当前VR环境下的人机交互所面临的操作复杂，需要复杂的学习过程的问题。VR世界的操控要求简单，便利，同时要尽可能利用目前VR软件环境和硬件环境基础、人的普遍操控方式，符合人们自然的操作习惯。

本发明的目的通过以下方案实现：

1.1模型建立

1.11 虚拟视场聚焦模型

虚拟视场聚焦模型的载体是一个居于VR视野中心的感知图标，用于感知用户当前关注的虚拟物体，获取当前关注物体的拖放、属性开关等方面的可操作属性，如果当前关注物体不可以操作，感知图标没有变化；如果当前关注物体可以拖放或可以设置开关等操作，感知图标会产生相应变化；感知图标的作用基于一个事实：人在观察物体时，基本上是目光集中于所观察物体的，因此，只有当人眼、聚焦载体和虚拟物体连成一线时，即可观察和操作关注的虚拟物体了，屏幕上其他的物体和对象暂时位于人的关注范围之外；

关注模型的获取采用虚拟射线探测法，当用户在虚拟场景中漫游时，系统不断地从场景中的观察者位置经过屏幕中心的感知图标生成一条探测射线，当探测射线经过任意模型时，系统就会对当前模型进行判断，并对虚拟物体的可操作性给予显示，如果当前模型可以操作，感知图标就从原图案变为闪烁的状态或另一动画图案；如果当前模型不可以互动，闪烁图标或动画图案随即消失，变为正常的感知图标状态。

1.12虚拟焦点相对运动模型

确定聚焦载体的位置：基于屏幕坐标系，根据屏幕尺寸，布置在屏幕中央，当人视野发生变化时，三维场景中变化的内容是基于空间坐标系的，与屏幕内容相互独立，保证了聚焦载体的视场位置稳定性；

1.13 虚拟物体互动模型

每一个虚拟物体设计为自成子系统，虚拟物体子系统对外提供操作接口，这些接口是虚拟物体的基本的首要的接口，参数传递非常简单，用一个布尔变量传递参数传递；在使用手柄操作时，统一使用两个“天然的”、便于操作的两个互斥键来控制，当聚焦载体获取当前用户关注的虚拟物体时，用户即可按下手柄按键来控制当前的虚拟物体。

当虚拟物体存在多个操作接口时，感知图标可以使用多种动画图案或闪烁形式来体现这些接口和向用户提示，用户按照互动场景应用的要求按下相应的指定互斥键来与场景和模型互动。

1.2视觉定位：

1.21调用当前关注物体是否存在指定的若干接口，如果调用成功，就改变感知图标表明该物体可以交互，在当前帧开始执行，探查感知图标当前扫过的虚拟物体，检测虚拟物体获取是否成功，若是，则根据虚拟物体类型获取若干指定类型的操作接口，若否，则重返第一步；若是判断获取接口是否成功，若是，则感知图标进行闪烁或显示动画图案，若否，则重返第一步；再通过用户手柄输入进行是否按下指定的互斥键，若是则调用该对互斥键相应的操作接口，设置接口状态；若否，则重返第一步；

1.22根据事先存储的可操作物体列表来判断当前关注物体能否操作，如果可以操作就改变感知图标，具体步骤为：在当前帧开始执行，探查感知图标当前扫过的虚拟物体，检测虚拟物体获取是否成功，若是，则获取虚拟物体的名称，并在互动物体列表中搜索，并判断在列表中是否存在，若是，则感知图标显示动画图案，若否，则重返第一步；在列表中存在时再通过用户手柄输入进行是否按下指定的互斥键，若是则调用该对互斥键相应的操作接口，设置接口状态；若否，则重返第一步。

本发明所述所述感知图标可以为十字叉图标或其他静态图案，当探测到关注的互动物体时，该感知图标变为动画效果，该效果可以为闪烁动画、虚线圆圈动态图案或其他动画图案，用户随即可以使用手柄的预定的互斥键来操作该物体。

本发明所述互斥键是手柄上方位相反的一对按键，或者约定成熟的表达相反功能的按键，如左/右按键、左/右扳机键，摇杆向左/向右。

本发明提出VR环境下的物体视觉定位操控技术，实现了便捷的人与场景的互动操作技术，具有概念简单，应用灵活、便捷，解放用户双手操作，操作简单，上手快，无需用户专门学习等优势，可以很好地应用于虚拟现实人机交互控制技术领域。

附图说明

图1：互动模型对象的封装以及与用户操作的挂接示意图；

图2：为本发明控制技术定位方法的执行流程图；

图3：为本发明控制技术另一定位方法的执行流程图；

图4：为本发明控制技术所述场景与十字叉定位类和手柄封装类的调用关系图。

具体实施方式

以下结合实施例并对照附图对本发明进行详细说明。

本发明控制技术包括以下两个方面：

一、VR物体视觉定位操控算法：

1. 虚拟视场聚焦模型

虚拟视场聚焦模型的载体是一个居于VR视野中心的感知图标（如十字叉定位图标，尺寸较小，又很清晰，不影响视觉整体效果），用于感知用户当前关注的虚拟物体，获取当前关注物体的拖放、属性开关等方面的可操作属性，如果当前关注物体不可以操作，感知图标没有变化；如果当前关注物体可以拖放或可以设置开关等操作，感知图标会产生相应变化。该图标的作用基于一个事实：人在观察物体时，基本上是目光集中于所观察物体的，因此，只有当人眼、聚焦载体和虚拟物体连成一线时，即可观察和操作关注的虚拟物体了，屏幕上其他的物体和对象暂时位于人的关注范围之外了。

关注模型的获取采用虚拟射线探测法，当用户在虚拟场景中漫游时，系统不断地从场景中的观察者位置经过屏幕中心感知图标载体生成一条探测射线，当探测射线经过任意模型时，系统就会对当前模型进行判断，并对虚拟物体的可操作性给予显示，如果当前模型可以操作，感知图标就变为闪烁状态或其他动画显示样式；如果当前模型不可以互动，感知图标随即变为初始状态。

2. 虚拟焦点相对运动模型

确定聚焦载体的位置：基于屏幕坐标系，根据屏幕尺寸，布置在屏幕中央，当人视野发生变化时，三维场景中变化的内容是基于空间坐标系的，与屏幕内容相互独立，保证了聚焦载体的视场位置稳定性。

3. 虚拟物体互动模型

每一个虚拟物体设计为自成子系统，虚拟物体子系统对外提供操作接口，例如电视机提供开关操作和换台操作，电灯提供开关灯操作，窗帘提供展开/收回接口，这些接口是虚拟物体的基本的首要的接口，参数传递非常简单，可以用一个布尔变量传递参数，因此在使用手柄操作时，统一使用两个“天然的”、便于操作的两个互斥键(互斥键在本发明中指的是手柄上方位相反的一对按键，或者约定成熟的表达相反功能的按键，如左/右按键、左/右扳机键，摇杆向左/向右等等)来控制，当感知图标获取当前用户关注的虚拟物体时，用户即可按下手柄按键来控制当前的虚拟物体。

当虚拟物体存在多个操作接口时，感知图标可使用多种动画形式来体现这些接口和向用户提示，用户就可以按照互动场景应用的要求按下指定的互斥键来与场景和模型互动了。

二、视觉定位方式：

1、调用当前关注物体是否存在指定的若干接口，如果调用成功，就改变感知图标表明该物体可以交互，参见图2，在当前帧开始执行，探查感知图标当前扫过的虚拟物体，检测虚拟物体获取是否成功，若获取物体成功，则根据虚拟物体类型获取若干指定类型的操作接口，若否，则重返第一步；接着判断获取接口是否成功，若获取接口成功，则感知图标显示动画状态，若获取接口失败，则重返第一步；当获取接口成功时，再判断用户手柄输入是否按下指定的互斥键，若是则调用该对互斥键相应的操作接口，设置接口状态；若否，则重返第一步。

2、根据事先存储的可操作物体列表来判断当前关注物体能否操作，如果可以操作就改变感知图标，参见图3，具体步骤为：在当前帧开始执行，探查感知图标当前扫过的虚拟物体，检测虚拟物体获取是否成功，若获取物体成功，则获取虚拟物体的名称，并在互动物体列表中搜索，并判断在列表中是否存在，若物体在列表中存在，则感知图标显示动画状态，若否，则重返第一步；当物体在列表中存在时再判断用户手柄输入是否按下指定的互斥键，若是则调用该对互斥键相应的操作接口，设置接口状态；若否，则重返第一步。

运行环境

硬件准备：

1）高性能计算机

显卡：2014年之后的生产的新显卡

内存：8G以上

CPU：主频3.0GHz以上

这些配置要求是基于本发明所应用的一般场景规模所估算的。

2）VR头盔，可以是Oculus Rift dk2，CV1或HTC Vive等VR头盔。

3）游戏手柄，推荐通用的微软XBOX One手柄，对于没有空间定位传感器的手柄尤其适用。

软件准备：

基于Unity、虚幻引擎等平台使用平台内嵌语言，或基于OpenGL/DirectX自主开发引擎，按照面向对象的方法对本发明原理进行代码实现，这里仅提供设计思路表示编码遵循原理和实现过程。

按照面向对象的开发方法，需设计如下几个类，通过场景和类的相互调用完成本发明的实施。

场景模型类clsModel：

类clsModel的实例挂接到任意互动模型作为子节点，负责对外提供该模型的动作执行接口，对内实现模型的动作过程；同时负责对外提供模型名称、位置等信息。

十字叉定位封装类clsFocusCross：

类clsFocusCross负责基于虚拟视场聚焦模型原理和虚拟焦点相对运动模型原理，探查当前扫过的可操作物体，例如在Unity中可使用Physics.Raycast方法从视点经由十字叉发射射线，当射线与虚拟物体交叉时，即可获取当前扫过的物体名称、位置数据和互动接口，该类并实现向手柄封装类发送通知当前关注的对象。在其他平台也可以采用类似射线探查方法实现。

手柄封装类clsVRJoystick：

类clsVRJoystick基于虚拟物体互动模型原理，负责接收当前关注对象数据，监控用户按键信息，按照预定的键位方案，调用对象的动作接口，对象即可做出指定动作。

各类关系说明：

场景模型类与十字叉定位类clsFocusCross和手柄封装类clsVRJoystick的关系图见图4。clsFocusCross探查当前关注的物体对象数据并发送到手柄封装类中，手柄封装类监控用户的手柄输入情况，调用模型对象的动作接口实现模型相应动作。

使用流程

用户佩戴VR头盔、手持手柄在VR场景中漫游时，随着用户的位置、视线的变化，感知图标会扫过用户看到的一切物体，当遇到可操作物体时，感知图标随即转变为动态图案；当遇到不可操作物体时，就恢复为初始图案。当感知图标显示动画状态时，系统自动获取了当前关注物体的接口（图4），用户只需按下手柄指定按键即可对该物体进行操作。

需要理解的是，上述实施过程虽然对本发明的设计思路作了比较详细的文字描述，但是这些文字描述，只是对本发明设计思路的简单文字描述，而不是对本发明设计思路的限制，任何不超出本发明设计思路的组合、增加或修改，均落入本发明的保护范围内。

Claims (3)

1.一种VR环境下的物体视觉定位操控技术，其特征在于： 包括：

1.1模型建立

1.11 虚拟视场聚焦模型

虚拟视场聚焦模型的载体是一个居于VR视野中心的感知图标，用于感知用户当前关注的虚拟物体，获取当前关注物体的拖放、属性开关等方面的可操作属性，如果当前关注物体不可以操作，感知图标没有变化；如果当前关注物体可以拖放或可以设置开关等操作，感知图标则会产生相应动画效果；感知图标的作用基于一个事实：人在观察物体时，基本上是目光集中于所观察物体的，只有当人眼、聚焦载体和虚拟物体连成一线时，即可观察和操作关注的虚拟物体了，屏幕上其他的物体和对象暂时位于人的关注范围之外；

关注模型的获取采用虚拟射线探测法，当用户在虚拟场景中漫游时，系统不断地从场景中的观察者位置经过屏幕中心感知图标生成一条探测射线，当探测射线经过任意模型时，系统就会对当前模型进行判断，并对虚拟物体的可操作性给予显示，如果当前模型可以操作，感知图标就从原图案变为闪烁的状态或另一动画图案；如果当前模型不可以互动，闪烁图标或动画图案随即消失，变为正常的感知图标状态；

1.12虚拟焦点相对运动模型

确定聚焦载体的位置：基于屏幕坐标系，根据屏幕尺寸，布置在屏幕中央，当人视野发生变化时，三维场景中变化的内容是基于空间坐标系的，与屏幕内容相互独立，保证了聚焦载体的视场位置稳定性；

1.13 虚拟物体互动模型

每一个虚拟物体设计为自成子系统，虚拟物体子系统对外提供操作接口，这些接口是虚拟物体的基本的首要的接口，参数传递非常简单，用一个布尔变量传递参数传递，在使用手柄操作时，统一使用两个天然的、便于操作的两个互斥键来控制，当聚焦载体获取当前用户关注的虚拟物体时，用户即可按下手柄按键来控制当前的虚拟物体；

当虚拟物体存在多个操作接口时，感知图标可使用多种形式的动画效果来体现这些接口和向用户提示，用户按照互动场景应用的要求按下指定的互斥键来与场景和模型互动了；

1.2视觉定位：

1.21调用当前关注物体是否存在指定的若干接口，如果调用成功，就改变感知图标表明该物体可以交互，在当前帧开始执行，探查感知图标当前扫过的虚拟物体，检测虚拟物体获取是否成功，若获取物体成功，则根据虚拟物体类型获取若干指定类型的操作接口，若否，则重返第一步；接着判断获取接口是否成功，若获取接口成功，则感知图标显示动画效果，若否，则重返第一步；当获取物体接口成功时，再判断用户手柄输入是否按下指定的互斥键，若是则调用该对互斥键相应的操作接口，设置接口状态；若否，则重返第一步；

1.22根据事先存储的可操作物体列表来判断当前关注物体能否操作，如果可以操作就改变感知图标，具体步骤为：在当前帧开始执行，探查感知图标当前扫过的虚拟物体，检测虚拟物体获取是否成功，若获取到物体，则获取虚拟物体的名称，并在互动物体列表中搜索，并判断在列表中是否存在，若列表存在当前物体，则感知图标显示动画效果，若否，则重返第一步；当物体名称在列表中存在时再判断用户手柄输入是否按下指定的互斥键，若是则调用该对互斥键相应的操作接口，设置接口状态；若否，则重返第一步。

2.根据权利要求1所述的VR环境下的物体视觉定位操控技术，其特征在于：所述感知图标未探查到虚拟物体时，表现为初始静态图案，为十字叉图标或其他静态图案，当探测到关注的互动物体时，该感知图标变为动画效果，该效果可以为虚线圆圈动态图案或其他动画图案，用户随即可以使用手柄的预定的互斥键来操作该物体。

3.根据权利要求1或2所述的VR环境下的物体视觉定位操控技术，其特征在于： 所述互斥键是手柄上应用程序事先指定的方位相反的一对按键，或者约定成熟的表达相反功能的按键，如左/右按键、左/右扳机键，摇杆向左/向右。