CN112068757A - 一种用于虚拟现实的目标选择方法及系统 - Google Patents

Abstract

本发明公开了用于虚拟现实的目标选择方法及系统，涉及虚拟现实、增强现实以及混合现实技术领域，本发明能够帮助用户在虚拟环境中进行目标物体的选择，特别是远、小、密集物体的选择，提高物体选择速度、正确率，提高用户使用舒适度。本发明包括如下步骤：采用设定设备在虚拟环境中发出指向目标区域的虚拟射线。获取用户手部指定部位在设定触摸区域内的滑动动作，并将滑动动作由触摸区域映射至目标区域，作为虚拟射线的滑动轨迹。在目标区域中，选取与虚拟射线的滑动轨迹具有交叉的物体作为所选目标物体。

Description

一种用于虚拟现实的目标选择方法及系统

技术领域

本发明涉及虚拟现实、增强现实以及混合现实技术领域，具体涉及一种用于虚拟现实的目标选择方法及系统。

背景技术

虚拟现实、增强现实、混合现实技术可创建虚拟世界、虚拟物体，增强用户体验，用户可通过一定的方式、系统与虚拟环境中的物体进行交互。虚拟环境中的目标选择是与该目标进行交互的基础。

在虚拟现实系统中，使用通过手持控制器空间位置、方向等控制的虚拟射线进行目标指向，然后通过按下手持控制器上的按键进行目标物体确认的方式是目前商用头戴式现实器中最常用的物体选择方式，例如HTC VIVE中目标选择方式。但是该方式依赖于手持控制器的空间位置、方向等信息，用户长时间在空间使用会造成手部疲劳；其次按键的同时会早成手部抖动，容易造成错误选择，特别对于远、小、密集的物体。

此外，在虚拟环境中通常通过跟踪手部的位置、指向进行目标指向，通过拇指和食指的点击动作进行目标确定来进项目标物体的选择，例如Hololens、Oculus Quest中目标选择的方式。此方式需要用户手部悬空，长时间使用容易造成手部疲劳，用户拇指和食指的点击会早成抖动，降低目标物体选择正确率；手部位置指向等跟踪会具有一定误差，在远、小、密集物体的选择中用户需要反复调整指向以进行正确选择，同时手部动作会产生抖动，增加物体选择难度，降低选择速度以及正确率。

申请公布号为CN1103622191A的专利记载了一种目标选择方案，该发明通过在虚拟现实、增强现实等领域确定用户关注位置，当关注区域存在交互目标时，调整关注位置的显示参数，如果显示参数满足某一预设条件，确定交互目标被选中。该方案首先确定用户关注位置，然后再进行关注位置的目标的显示参数调整，选择效率较低。此外，用户关注位置区域确定区域会存在一定的误差，特别对于小目标物体，用户需要时间进行调整，降低选择效率。

授权公告号为CN105912110B的专利公开了一种在虚拟现实中进行目标选择的方法、装置及系统，该发明通过使用手势设备的空间位置以及旋转姿态信息映射到三维空间中，获取其在虚拟空间中的位置坐标原点以及指向虚拟物正前方的方向向量，并绘制射线，通过手势输入设备进行目标选择。

该方式用户手势输入设备必须在一定的空间中，才能获取空间位置以及旋转信息，进行物体选择，长时间使用会造成用户手部疲劳。此外用户旋转手腕会造成手势输入设备抖动，造成选择错误，特备对于距离远、小、密集的目标物体的选择。

因此在虚拟现实、增强现实以及混合现实技术领域，如何针对远、小、密级的目标物体进行快速、准确的选择，并提高用户使用舒适度，是目前亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种用于虚拟现实的目标选择方法及系统，能够帮助用户在虚拟环境中进行目标物体的选择，特别是远、小、密集物体的选择，提高物体选择速度、正确率，提高用户使用舒适度。

为达到上述目的，本发明的技术方案包括如下步骤：

采用设定设备在虚拟环境中发出指向目标区域的虚拟射线。

获取用户手部指定部位在设定触摸区域内的滑动动作，并将滑动动作由触摸区域映射至目标区域，作为虚拟交叉轨迹的滑动轨迹。或获取用户对微型操纵杆的操控，将操控杆推向特定方向，作为虚拟射线的滑动的轨迹。

触摸区域映射可以垂直于射线或者一直垂直于地面；

在目标区域中，选取与虚拟射线的滑动轨迹具有交叉的物体作为所选目标物体。该滑动轨迹可以映射到任意深度。

进一步地，设定设备为手持设备；虚拟射线以手持设备的空间位置为起点，以手持设备的方向为虚拟射线的方向。

进一步地，设定设备为头戴式显示器；虚拟射线以头戴式显示器的空间位置为起点，以头戴式显示器的用户头部方向为虚拟射线的方向。

进一步地，虚拟射线为用户眼睛看向虚拟环境中目标区域的视线。

进一步地，虚拟射线的初始长度为预设值，预设值依经验设定；当虚拟射线在目标区域内遇到物体时，射线长度为手持设备到所遇物体的欧氏距离。

进一步地，设定触摸区域为触摸屏上的触摸区域。

进一步地，设定触摸区域为用户手部指定部位所能触摸的区域范围；获取用户手部指定部位在设定触摸区域内的滑动动作，具体为：采用触摸设备获取用户手部指定部位在其所能触摸的区域范围内的手势运动信息，从而确定滑动动作。

进一步地，在目标区域中，选取与虚拟射线的滑动轨迹具有交叉的物体作为所选目标物体：

以虚拟射线的滑动轨迹所穿过的物体作为所选目标物体。

进一步地，将滑动动作由触摸区域映射至目标区域，具体为：设定映射使用的缩放比例。根据缩放比例对滑动动作对应的轨迹进行缩放，从而将将滑动动作由触摸区域映射至目标区域。

本发明另外一个实施例还提供了一种用于虚拟现实的目标选择系统，包括设定设备、滑动动作采集单元、滑动轨迹映射单元以及目标物体选择单元。

设定设备用于向虚拟环境中发出指向目标区域的虚拟射线。

滑动动作采集单元，用于获取用户手部指定部位在设定触摸区域内的滑动动作。

滑动轨迹映射单元，用于将滑动动作由触摸区域映射至目标区域，作为虚拟射线的滑动轨迹。

目标物体选择单元，用于选中与虚拟射线的滑动轨迹具有交叉的物体，作为目标物体。

有益效果：

1、本发明提供了一种在虚拟环境中进行目标物体选择的方式。该方式首先通过一定设备在虚拟环境中指向某个目标或者某一区域，然后通过用于拇指或者其他手指在具有滑动区域的手持设备上或者操纵杆设备上进行滑动，当滑动轨迹以虚拟环境中的物体交叉时，该物体即为选择的目标物体。本发明通过在指向目标区域中使用手指的滑动动作进行物体选择，能够帮助用户在虚拟环境中进行目标物体的选择，特别是远、小、密集物体的选择，提高物体选择速度、正确率，提高了用户使用舒适度。

2、本发明通过射线或者用户视点确定一个指向区域，再使用手指在手持控制器上的滑动进行精确的选择。避免了传统指向、按键确认方式由于指向精度低且按键会产生抖动，以及视点准确度低，降低目标选择输入速率、准确率等问题。手指滑动利用的是手指微小动作，具有更高的精确度。

3、使用头部射线、视点等用于确定指向区域，用户手部可以放置于任意位置，只需完成滑动动作即可，提高目标选择效率的同时降低用户手部疲劳，可以长时间使用。

4、目前使用头部射线、视点等进行目标选择时通常使用暂留技术进行确认选择，这会降低目标确认的速度。本发明使用手指滑动进行确认，提高确认速度。用户在使用暂留技术时，头部或者眼睛视点必须精确的保持在一定位置，容易造成用户疲劳，本发明中，用户头部或者眼睛视点可以允许一定的抖动，并且选择速度快，提高用户舒适度。

附图说明

图1为本发明一个实施例提供的一种用于虚拟现实的目标选择方法流程图；

图2为本发明提供的使用手持设备的实施例对应的目标选择方法流程图；

图3为本发明提供的使用头戴式显示器的实施例对应的目标选择方法流程图；

图4为本发明实施例通过的基于眼动的实施方式对应的目标选择方法流程图；

图5为本发明一个实施例提供的一种与射线具有一定距离的目标区域示意图；

图6为本发明一个实施例提供的一种与用户眼部具有一定夹角的目标区域示意图；

图7为本发明一个实施例提供的具有一定深度的目标区域示意图；

图8为本发明一个实施例提供的一种基于物体集的目标区域示意图；

图9为本发明一个实施例中用户使用手机作为手持控制器示意图；

图10为本发明实施例中目标选择时一种虚拟射线映射方式示意图；

图11为本发明实施例中目标选择时另一种虚拟射线映射方式示意图；

图12为本发明实施例中无遮挡物体目标选择方式示意图；

图13为本发明实施例中有遮挡物体目标选择方式示意图；

图14为本发明实施例中目标区域显示平面示意图；

图15为本发明实施例提供的一种用于虚拟现实的目标选择系统组成示意图；

图16为本发明提供的用于虚拟现实的目标选择系统第一实例示意图；

图17为本发明提供的用于虚拟现实的目标选择系统第二实例示意图；

图18为本发明提供的用于虚拟现实的目标选择系统第二实例示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种用于虚拟现实的目标选择方法，本发明提供了一种在虚拟环境中进行目标物体选择的方式。该方式首先通过一定设备在虚拟环境中指向某个目标或者某一区域，然后通过用于拇指或者其他手指在具有滑动区域的手持设备上进行滑动，当滑动轨迹以虚拟环境中的物体交叉时，该物体即为选择的目标物体。

该方法流程如图1所示，包括如下步骤：

采用设定设备在虚拟环境中发出指向目标区域的虚拟射线。本发明实施例中，设定设备可以为手持设备；则虚拟射线以手持设备的空间位置为起点，以手持设备的方向为虚拟射线的方向。另外，设定设备也可以为头戴式显示器，头戴式显示器；则此时，虚拟射线以头戴式显示器的空间位置为起点，以头戴式显示器的用户头部方向为虚拟射线的方向。

本发明的另外一个实施例中，虚拟射线为用户眼睛看向虚拟环境中目标区域的视线。

获取用户手部指定部位在设定触摸区域内的滑动动作，并将滑动动作由触摸区域映射至目标区域，作为虚拟射线的滑动轨迹。

本发明实施例中虚拟射线的初始长度为预设值，预设值依经验设定，或者或虚拟射线为无限长，但是在显示设备中渲染为一定长度的射线；述虚拟射线在目标区域内遇到物体时，射线长度为手持设备到所遇物体的欧氏距离。

设定触摸区域为触摸屏上的触摸区域。例如，可以是手持设备上具备设定触摸区域；或者是独立于头戴式显示器的触摸屏。

设定触摸区域还可以是为用户手部指定部位所能触摸的区域范围；则获取用户手部指定部位在设定触摸区域内的滑动动作，具体为：获取用户手部指定部位在其所能触摸的区域范围内的手势运动信息或操纵杆的滑动信息，从而确定滑动动作。

本发明实施例中，将滑动动作由触摸区域映射至目标区域，具体为：设定映射使用的缩放比例；根据缩放比例对滑动动作对应的轨迹进行缩放，从而将将滑动动作由触摸区域映射至目标区域。

在目标区域中，选取与虚拟射线的滑动轨迹具有交叉的物体作为所选目标物体。具体地，可以选择虚拟射线的滑动轨迹所穿过的物体作为所选目标物体。

本发明给出了三种具体的实施方式：

方式一是通过获取手持设备的空间位置、方向等信息，控制从手持设备发出的射线，该虚拟射线指向虚拟空间中目标或者目标位置一定区域内(不指向目标)，然后通过拇指在手持设备触摸区域内进行滑动，在目标空间内映射滑动轨迹作为视觉提示，射线或者轨迹与目标物体产生交叉，完成目标物体选择。其中，射线可以滑动方向进行移动的移动或者保持不动，若进行滑动，射线末端为手势滑动轨迹的末端。实施方法如图2所示。

方式二是通过获取用户头戴式显示器的空间位置、方向等信息，根据此类信息，控制从头部发出的射线，射线指向目标或者目标的一定区域内，然后通过拇指在手持设备触摸区域内进行滑动，使用与方式一种方式进行目标物体的选择。实施方式如图3所示。

方式三是通过获取用户眼动信息，即虚拟射线为用户眼睛看向虚拟环境中目标区域的视线，可通过确认用户眼睛关注区域，关注区域可在目标上或者目标区域内，并通过使用方式一的确认方式进行目标的选择确认，完成目标选择。实施方式如图4所示。

在方式一中，手持设备发出的射线以手持设备的空间位置为起点，手持设备的方向为虚拟射线的方向，指向虚拟空间中。其中当射线遇到目标时，射线长度为手持设备到目标的欧氏距离；未遇到目标时，虚拟射线长度为预先设置的值，一定情况下，该值可做调整。当虚拟射线与虚拟物体相交时或者虚拟射线指向的一定区域内的物体，虚拟物体进行具有一定的视觉提示，例如高亮。

以下是几种虚拟指向区域的定义方式，但不限于以下几种方式。虚拟射线指向的一定区域为虚拟射线在空间中与射线具有一定距离的区域，如图5所示，其中，虚拟物体2和虚拟物体3在该指向区域中；或该指向区域为以用户眼部或者手持设备具有一定角度的区域，图6展示了一种以用户眼部一定角度范围内为选择区域的方式，在该图中，虚拟物体2位于选择区域中。该区域也可以为一定深度的某个区域，如图7所示。或者该区域可以为用户点击到的一个虚拟物体集，例如图8所示的一个虚拟环境中的二维菜单，手持设备发出的射线与虚拟菜单碰撞，则将该菜单作为指向区域。其中，指向区域内的物体将具有视觉提示，提示方式可以使用总体高亮，给物体加高亮边框等方式。

手持设备可以为具有触摸区域的任意设备，例如虚拟现实手持控制器、手机等。该手持设备上具有触摸区域，能感知用户拇指或者其他手指的滑动手势。或者将使用一只手获取其空间位置以及指向，充当手持设备，其手掌可作为触摸区域，另一只手手指在该手掌上滑动，实现目标选择。例如，当用户使用手机作为手持设备时，如图9所示，在图5所示的虚拟场景中，当用户手指向左滑动则选择了虚拟物体2作为目标，向右滑动选择虚拟物体3作为目标物体。其中，手指滑动轨迹可可以映射到虚拟空间中作为视觉提示，如图10中所示。其中，选中的目标可以进行视觉提示，例如高亮，如图10中所示。

从手持设备发射出的虚拟射线在目标选择过程中可以维持原方向不动，如图10所示；或其末端跟随手指移动轨迹进行运动，虚拟射线的方向将发生变化，如图11所示。

其中，手指滑动轨迹运动大小将对应手指滑动的轨迹进行比例缩放，缩放比例可以固定或者可以调整。其中，手指滑动时可向任意位置滑动，映射在虚拟空间的滑动轨迹可以按照实际滑动的方向进行映射，也可以把虚拟空间中映射的滑动轨迹限制在一定方向，例如，虽然用户手指实际移动位置可以为任意方向，但是在虚拟空间中映射的移动轨迹限制为0°、45°、90°、135°、180°、225°、270°、315°八个方向，虚拟空间中映射的滑动轨迹将为与该8个方向角度差最小方向的滑动轨迹，实际映射估计方向根据移动初始点和手指滑动末端点的位置决定。

特别的，当使用手机等具有边缘的设备作为手持设备时候，可将用户在其边缘垂直或者平行于边缘的滑动作为滑动手势。

在方式二中，虚拟射线将由用户头部位置与方向来确定，从用户头部前方发射。其余选择方式和方式一中保持一致。

在方式三种，将使用用户视点的周围的一定区域作为虚拟指向区域，并将用户视点作为手指滑动操作的起点。将用户关注点的一定区域范围作为虚拟指向区域。该指向区域的范围可改变。该指向区域可加入视觉提示，例如，在该区域放置一个半透明的圆环。手指滑动操作和方式一中保持一致。

其中，当虚拟射线直接指在某一具体虚拟物体上或用户视点在某一具体的虚拟物体上时，则无论手指向任何方向滑动都将选中该虚拟物体作为目标；当虚拟射线未直接指在某一具体虚拟物体上或用户视点在某一具体的虚拟物体上时，与滑动手势轨迹交叉的虚拟物体作为选中的目标。

其中，如果在指向区域无遮挡物体，则手势滑动估计如果与虚拟物体具有部分交叉就可认为该物体为选中的目标物体如图12(a)所示，或者当手势滑动完全与虚拟物体交叉才将该虚拟物体作为选中的目标物体。如果在指向区域内具有两个遮挡的物体，用户可以根据手指滑动轨迹完全交叉的物体作为选择目标。例如在图13中，虚拟物体2对虚拟物体1具有遮挡，图13(a)中，虚拟物体1为选中的目标物体；图13(b)中，虚拟物体2为选中的目标物体；图13(c)中，虚拟物体1和虚拟物体2都作为选中的目标物体；或者将用户首先交叉的物体作为选中的目标物体，则在图13(a)(b)(c)都虚拟物体1将作为选中的虚拟物体。具体的选中定义方式可更改。

此外，本发明的实施例中，可以在虚拟环境中用户近距离处提供指向区域图像，如图14所示，用户帮助用户进行指向选择。该指向区域显示平面可以唯一用户方便观察的虚拟环境中的任意位置。

本发明还提供了一种用于实现上述虚拟现实的目标选择方法的系统，即用于虚拟现实的目标选择系统，如图15所示，包括设定设备、滑动动作采集单元、滑动轨迹映射单元以及目标物体选择单元。

设定设备用于向虚拟环境中发出指向目标区域的虚拟射线。

滑动动作采集单元，用于获取用户手部指定部位在设定触摸区域内的滑动动作。

滑动轨迹映射单元，用于将滑动动作由触摸区域映射至目标区域，作为虚拟射线的滑动轨迹。

目标物体选择单元，用于选中与虚拟射线的滑动轨迹具有交叉的物体，作为目标物体。

本发明提供了在虚拟现实中进行目标选择的系统。

用于实施上述方式一的系统如图16所示，该系统主要包括头戴式现实器，计算端，手持设备(即设定设备)、跟踪设备(即滑动动作采集单元)。其中，头戴式显示器用于显示虚拟环境图像；手持设备用于获取用户的手指滑动信息，手持设备包括用户手部、手机、虚拟现实头戴显示器控制器、游戏手柄等等；跟踪设备用于跟踪手持设备的空间位置、方向信息，可使用光学跟踪、混合跟踪等不同的跟踪方式。计算端用于处理手持设备的滑动信息、跟踪设备获取的位置信息，计算端可执行滑动轨迹映射单元以及目标物体选择单元的操作，用于将滑动动作由触摸区域映射至目标区域，作为虚拟射线的滑动轨迹，并用于选中与虚拟射线的滑动轨迹具有交叉的物体，作为目标物体。计算端同时实施计算虚拟环境图像，控制头戴显示器中的图像渲染；计算端可以是计算机主机设备、云端计算平台、手机、头戴式显示器等具有计算功能的设备，通过有线或者无线装置和其他设备相连。

用于实施上述方式二的系统如图17所示，主要包括头戴式显示器、计算端、手持设备(即设定设备)、跟踪设备(即滑动动作采集单元)。其中，头戴式显示器、计算端、手持设备的功能和上述方式一系统相同。跟踪设备用户获取用户头部的位置、方向等信息，可以使用光学跟踪、混合跟踪或其他方式进行跟踪，可以使用头戴式显示器内置跟踪系统进行跟踪，也可使用外置系统进行跟踪。

用于实施上述方式三的系统如图18所示，主要包括虚拟现实头戴式显示器、计算端、手持设备、眼动跟踪设备。其中头戴式显示器、计算端、手持设备的功能和上述方式一系统相同。眼动跟踪设备用户跟踪用户视点信息。

上述系统实施原理如下:

通过跟踪设备跟踪用户手持设备或者头部的位置、方向等信息或者用户视点，发送给计算端，计算端计算出指向区域，并映射到虚拟环境中，在虚拟环境总绘制由手持谁被或者头部发出的射线，并渲染指向区域，用于提示用户；手持设备获取用户手部滑动信息发送给计算端，计算端可执行滑动轨迹映射单元以及目标物体选择单元的操作，用于将滑动动作由触摸区域映射至目标区域，作为虚拟射线的滑动轨迹，并用于选中与虚拟射线的滑动轨迹具有交叉的物体，作为目标物体。计算端控制头戴显示其中虚拟图像的渲染。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于虚拟现实的目标选择方法，其特征在于，包括如下步骤：

采用设定设备在虚拟环境中发出指向目标区域的虚拟射线；

获取用户手部指定部位在设定触摸区域内的滑动动作，并将所述滑动动作由所述触摸区域映射至所述目标区域，作为所述虚拟射线的滑动轨迹；

在所述目标区域中，选取与所述虚拟射线的滑动轨迹具有交叉的物体作为所选目标物体。

2.如权利要求1所述的方法，其特征在于，所述设定设备为手持设备；

所述虚拟射线以所述手持设备的空间位置为起点，以所述手持设备的方向为虚拟射线的方向。

3.如权利要求1所述的方法，其特征在于，所述设定设备为头戴式显示器；

所述虚拟射线以所述头戴式显示器的空间位置为起点，以所述头戴式显示器的用户头部方向为虚拟射线的方向。

4.如权利要求1所述的方法，其特征在于，所述虚拟射线为用户眼睛看向虚拟环境中目标区域的视线。

5.如权利要求1～4任一所述的方法，其特征在于，所述虚拟射线的初始长度为预设值，所述预设值依经验设定；

当所述虚拟射线在目标区域内遇到物体时，射线长度为手持设备到所遇物体的欧氏距离。

6.如权利要求1～4所述的方法，其特征在于，所述设定触摸区域为触摸屏上的触摸区域。

7.如权利要求1～4任一所述的方法，其特征在于，所述设定触摸区域为用户手部指定部位所能触摸的区域范围；

所述获取用户手部指定部位在设定触摸区域内的滑动动作，具体为：

采用摄像机获取用户手部指定部位在其所能触摸的区域范围内的手势运动信息，从而确定滑动动作。

8.如权利要求1～4任一所述的方法，其特征在于，所述在所述目标区域中，选取与所述虚拟射线的滑动轨迹具有交叉的物体作为所选目标物体：

以所述虚拟射线的滑动轨迹所穿过的物体作为所选目标物体。

9.如权利要求1～4任一所述的方法，其特征在于，所述将所述滑动动作由所述触摸区域映射至所述目标区域，具体为：

设定映射使用的缩放比例；

根据所述缩放比例对所述滑动动作对应的轨迹进行缩放，从而将将所述滑动动作由所述触摸区域映射至所述目标区域。

10.一种用于虚拟现实的目标选择系统，其特征在于，包括设定设备、滑动动作采集单元、滑动轨迹映射单元以及目标物体选择单元；

所述设定设备用于向虚拟环境中发出指向目标区域的虚拟射线；

所述滑动动作采集单元，用于获取用户手部指定部位在设定触摸区域内的滑动动作；

所述滑动轨迹映射单元，用于将所述滑动动作由所述触摸区域映射至所述目标区域，作为所述虚拟射线的滑动轨迹；

所述目标物体选择单元，用于选中与所述虚拟射线的滑动轨迹具有交叉的物体，作为目标物体。

Images