CN117991890A - 一种人机交互方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供了一种人机交互方法、装置、设备和存储介质。该方法包括：确定虚拟空间内当前待交互的目标虚拟对象；根据目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离和目标虚拟对象与虚拟空间内用户眼部间的第二相对距离，确定目标虚拟对象的远近场交互意图；根据远近场交互意图，确定目标虚拟对象的交互模态。本申请可以使虚拟空间内的不同虚拟对象存在多种交互模态，实现虚拟空间内不同虚拟对象的多模态交互，通过分析用户对于任一虚拟对象的远近场交互意图，确保虚拟空间内用户与任一虚拟对象交互时的多模态适配性，避免采用单一的交互模态与各个虚拟对象进行交互，从而增强虚拟空间内虚拟对象交互的多样性。

Description

一种人机交互方法、装置、设备和存储介质

技术领域

本申请实施例涉及扩展现实(Extended Reality，XR)技术领域，尤其涉及一种人机交互方法、装置、设备和存储介质。

背景技术

目前，XR技术的应用场景越来越广泛了，具体包含虚拟现实(Virtual Reality，简称为VR)、增强现实(Augmented Reality，简称为AR)和混合现实(Mixed Reality，简称为MR)等。在各类虚拟场景下，用户通过与相应的虚拟对象进行各类交互，来沉浸式体验真实的虚拟场景。

通常情况下，用户在虚拟空间内通常采用同一种方式(例如光标射线)，来与各个虚拟对象进行相应交互，使得虚拟空间内用户与各虚拟对象间的交互方式较为单一，存在一定的交互局限性。

发明内容

本申请提供一种人机交互方法、装置、设备和存储介质，实现虚拟空间内不同虚拟对象的多模态交互，确保虚拟空间内用户与任一虚拟对象交互时的多模态适配性，增强虚拟空间内虚拟对象交互的多样性。

第一方面，本申请实施例提供了一种人机交互方法，应用于XR设备，该方法包括：

确定虚拟空间内当前待交互的目标虚拟对象；

根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离和所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离，确定所述目标虚拟对象的远近场交互意图；

根据所述远近场交互意图，确定所述目标虚拟对象的交互模态。

第二方面，本申请实施例提供了一种人机交互装置，配置于XR设备，该装置包括：

目标对象确定模块，用于确定虚拟空间内当前待交互的目标虚拟对象；

交互意图确定模块，用于根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离和所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离，确定所述目标虚拟对象的远近场交互意图；

交互模态确定模块，用于根据所述远近场交互意图，确定所述目标虚拟对象的交互模态。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行本申请第一方面中提供的人机交互方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行如本申请第一方面中提供的人机交互方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令使得计算机执行如本申请第一方面中提供的人机交互方法。

通过本申请技术方案，在虚拟空间内，会确定当前待交互的目标虚拟对象。然后，根据目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离和目标虚拟对象与虚拟空间内用户眼部间的第二相对距离，确定目标虚拟对象的远近场交互意图，以此确定目标虚拟对象的交互模态，使得虚拟空间内的不同虚拟对象存在多种交互模态，实现虚拟空间内不同虚拟对象的多模态交互，通过分析用户对于任一虚拟对象的远近场交互意图，确保虚拟空间内用户与任一虚拟对象交互时的多模态适配性，避免采用单一的交互模态与各个虚拟对象进行交互，从而增强虚拟空间内虚拟对象交互的多样性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种人机交互方法的流程图；

图2为本申请实施例提供的另一种人机交互方法的流程图；

图3为本申请实施例提供的用户与目标虚拟对象进行远场交互时的示例性示意图；

图4为本申请实施例提供的用户与目标虚拟对象进行近场交互时的示例性示意图；

图5为本申请实施例提供的一种人机交互装置的示意图；

图6为本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了解决虚拟空间内用户与各虚拟对象间的交互方式较为单一的问题，本申请的发明构思是：对于虚拟空间内当前待交互的任一目标虚拟对象，根据目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离和目标虚拟对象与虚拟空间内用户眼部间的第二相对距离，来确定用户对于目标虚拟对象的远近场交互意图，以此确定目标虚拟对象的交互模态，使得虚拟空间内的不同虚拟对象存在多种交互模态，实现虚拟空间内不同虚拟对象的多模态交互，确保虚拟空间内用户与任一虚拟对象交互时的多模态适配性。

图1为本申请实施例提供的一种人机交互方法的流程图，该方法可以应用于XR设备中，但不限于此。该方法可以由本申请提供的人机交互装置来执行，其中，人机交互装置可以通过任意的软件和/或硬件的方式实现。示例性地，人机交互装置可配置于AR/VR/MR等能够模拟虚拟场景的电子设备，本申请对电子设备的具体类型不作任何限制。

具体的，如图1所示，该方法可以包括如下步骤：

S110，确定虚拟空间内当前待交互的目标虚拟对象。

本申请中，虚拟空间可以为XR设备针对任一用户选择的某一真实互动场景，模拟出的相应虚拟环境，以便在虚拟空间内显示相应的互动信息。其中，虚拟空间可以是对真实世界的仿真环境，也可以是半仿真半虚构的虚拟场景，还可以是纯虚构的虚拟场景。

例如，用户选中某一类型的直播场景，来构建相应的虚拟直播环境，作为本申请中的虚拟空间，使得各个观众进入到该虚拟空间内来实现相应的直播互动。通常情况下，用户在佩戴好XR设备后，会进入到所提供的由真实场景和虚拟场景融合后而形成的虚拟空间内。

通常情况下，为了实现虚拟空间内的各类互动，虚拟空间内会存在多个虚拟对象，且支持用户对相应的虚拟对象执行相应的交互和控制操作。

所以，在进入虚拟空间后，为了确保虚拟空间内用户与任一虚拟对象间的及时交互，本申请会实时检测用户对于虚拟空间内多个虚拟对象中的哪一虚拟对象存在交互意图，从而确定当前待交互的目标虚拟对象。

作为本申请中的一种可选实现方案，当前待交互的目标虚拟对象可以通过下述步骤来确定：

第一步，确定处于虚拟空间的虚拟视场内的多个虚拟对象。

其中，用户在虚拟空间内所能够感知到的虚拟环境区域，作为虚拟空间内的虚拟视场。由于用户在虚拟空间内能够感知到的虚拟视场有限，使得虚拟空间内的各个虚拟对象可能处于虚拟视场内，也可能未处于虚拟视场内。而用户通常对处于虚拟视场内的虚拟对象存在交互需求，并不关注虚拟视场外的虚拟对象。

所以，在进入虚拟空间后，首先会确定出虚拟空间的虚拟视场。然后，根据虚拟空间内各个虚拟对象所处的空间位置，确定出处于该虚拟视场内的多个虚拟对象，以便后续确定当前待交互的目标虚拟对象。

第二步，根据用户眼动数据，从虚拟视场内的多个虚拟对象中确定用户视线指向的虚拟对象，作为当前待交互的目标虚拟对象。

考虑到用户对任一虚拟对象存在交互需求时，通常会在虚拟空间内先注视到该虚拟对象，再操控手柄模型或手部模型与该虚拟对象进行交互。所以，本申请可以实时捕获用户在虚拟空间内的眼动图像。进而，通过对所捕获的眼动图像进行相应的眼球特征分析，可以提取出对应的眼球运动特征，作为本申请中的用户眼动数据。然后，采用眼球追踪技术，来对用户眼动数据进行相应的视线追踪，来确定出用户在虚拟空间内的视线方向。进而，从虚拟视场内的多个虚拟对象中，可以确定出用户视线指向的某一虚拟对象，作为当前待交互的目标虚拟对象。

应当理解的是，在虚拟空间内，可以通过用户视线移动，来不断变换当前待交互的目标虚拟对象，确保虚拟空间内虚拟对象的及时交互。即使用户视线无意间扫到某一无需交互的虚拟对象，只需要控制用户视线快速滑过该虚拟对象即可，也不会影响到用户在虚拟空间内对于虚拟对象的交互体验。

S120，根据目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离和目标虚拟对象与虚拟空间内用户眼部间的第二相对距离，确定目标虚拟对象的远近场交互意图。

其中，为了对虚拟空间内的虚拟对象进行相应的交互和控制，会在虚拟空间内呈现相应的虚拟控制器。在虚拟现实场景中，用户在虚拟空间内与任一虚拟对象间的各类交互均可以通过虚拟控制器来实现。也就是说，根据用户对任一虚拟对象上发起的相应互动操作和控制指令，在虚拟空间内用户可以通过该虚拟控制器与各个虚拟对象进行相应互动。

在一些可实现方式中，本申请中的虚拟控制器可以为虚拟空间内的手柄模型、手部模型和真实手部投影中的其中一种，对此不作限定。

本申请中，考虑到不同虚拟对象在虚拟空间内所处的空间位置不同，说明用户在虚拟空间内与各个虚拟对象间的距离不同，使得用户在虚拟空间内通过虚拟控制器与任一虚拟对象进行交互时所支持的交互方式也不同。

而且，由于虚拟空间内用户与不同虚拟对象间的交互通过虚拟控制器实现，且虚拟控制器在虚拟空间内所处的空间位置也会随着用户需求而移动。那么，用户通过虚拟控制器与任一虚拟对象进行交互时所支持使用的交互方式，会受到虚拟控制器与该虚拟对象间的距离影响。例如，如果两者距离较远，则无法直接触碰交互。另一方面，为了确保虚拟空间内用户与任一虚拟对象间的准确交互，通常要求用户能够清晰观察到虚拟对象上的各项内容和交互控件。而用户是否能够清晰观察到任一虚拟对象，和该虚拟对象与用户眼部间的距离相关。那么，用户通过虚拟控制器与任一虚拟对象进行交互时所支持使用的交互方式，也会受到用户眼部与该虚拟对象间的距离影响。例如，如果两者距离较远，使得用户无法清晰观察到该虚拟对象，那么为了避免虚拟控制器与该虚拟对象间的误触碰而引起的误交互，则不支持通过触碰交互。

所以，针对虚拟空间内的不同虚拟对象或者同一虚拟对象，基于用户对于各个虚拟对象所处的空间位置和交互需求的考虑，可能存在不同的远近场交互意图。而对于虚拟对象的远场交互或者近场交互，在虚拟空间内会操控虚拟控制器或者通过转动用户眼球，来面向该虚拟对象执行不同的运动。例如，操控虚拟控制器接近虚拟对象，以便触碰虚拟对象或者指向虚拟对象等。或者，通过用户运动接近虚拟对象，以便用户眼部也能够接近该虚拟对象，来更为清晰的观察虚拟对象等。

因此，在确定出当前待交互的目标虚拟对象后，本申请会实时计算目标虚拟对象与虚拟控制器间的第一相对距离，以及目标虚拟对象与用户眼部间的第二相对距离。然后，通过分析第一相对距离和第二相对距离的变化情况，来判断用户控制虚拟控制器和用户眼部面向目标虚拟对象所执行的运动情况，以此预测用户对于目标虚拟对象需要进行远场交互，还是近场交互，从而确定出目标虚拟对象的远近场交互意图。其中，该远近场交互意图可以表明用户对于目标虚拟对象进行近场交互，还是远场交互。

示例性的，如果在虚拟空间内，假设当前待交互的目标虚拟对象为用户前方的一个操控面板。那么，如果根据第一相对距离和第二相对距离，判断虚拟控制器和用户眼部在指向该操控面板后，并不再接近该操控面板，即可确定用户对于该操控面板存在远场交互意图。

作为本申请中的一种可选实现方案，对于目标虚拟对象与虚拟控制器间的第一相对距离和目标虚拟对象与用户眼部间的第二相对距离，可以采用下述步骤确定：

第一步，确定虚拟空间内目标虚拟对象的第一空间位置和虚拟控制器的第二空间位置。

在确定出当前待交互的目标虚拟对象后，为了便于准确分析用户对于目标虚拟对象的远近场交互意图，本申请首先会实时获取目标虚拟对象在虚拟空间内所处的第一空间位置和虚拟控制器在虚拟空间内所处的第二空间位置。

其中，第一空间位置和第二空间位置均是三维位置坐标。

第二步，根据第一空间位置和第二空间位置，确定目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离。

通过计算第一空间位置和第二空间位置间的位置偏差，即可确定出目标虚拟对象与虚拟控制器间的第一相对距离。

第三步，根据用户眼动数据，确定目标虚拟对象与虚拟空间内用户眼部间的第二相对距离；或者，根据第一空间位置和虚拟空间内虚拟摄像头的第三空间位置，确定目标虚拟对象与虚拟空间内用户眼部间的第二相对距离。

在一些可实现方式中，如果本申请通过眼球追踪技术，确定虚拟空间内当前待交互的目标虚拟对象，那么会实时捕获到用户在虚拟空间内的眼动图像，来获取相应的用户眼动数据。此时，在采用眼球追踪技术，对用户眼动数据进行相应的视线追踪，来确定目标虚拟对象时，还会通过分析用户眼动数据中的瞳孔位置变化，从而确定出用户注视该目标虚拟对象时的注视距离，即可得到目标虚拟对象与虚拟空间内用户眼部间的第二相对距离。

在另一些可实现方式中，如果本申请未使用眼球追踪技术确定虚拟空间内的目标虚拟对象，那么为了确保用户在虚拟空间内的沉浸式体验，在虚拟空间内会设定一个虚拟摄像头，来模拟用户眼睛，使得用户在佩戴好XR设备后，能够沉浸式查看到虚拟空间内的虚拟环境画面。

具体的，根据用户佩戴的XR设备中头戴显示器的位姿信息和其他额外输入的位姿控制信息，可以调整虚拟摄像头在虚拟空间内的所处位姿，使得虚拟摄像头在虚拟空间内能够与现实空间内的用户眼部保持一致的位姿。进而，虚拟摄像头在虚拟空间内可以代替用户眼睛，来采集虚拟空间内处于用户视场角范围内的虚拟环境画面，并将所采集的虚拟环境画面渲染在XR设备中头戴显示器的显示屏内，使得用户能够沉浸式查看到虚拟空间内的虚拟环境画面。

应当理解的是，虚拟摄像头在虚拟空间内的位姿可以表示用户在虚拟空间内的眼部位姿，来模拟虚拟空间内的用户眼部运动。

所以，为了便于准确分析用户对于目标虚拟对象的远近场交互意图，本申请在获取目标虚拟对象在虚拟空间内所处的第一空间位置和虚拟控制器在虚拟空间内所处的第二空间位置时，还会获取虚拟摄像头在虚拟空间内所处的第三空间位置，该第三空间位置也是三维位置坐标。然后，通过计算第一空间位置和第三空间位置间的位置偏差，即可确定出目标虚拟对象与用户眼部间的第二相对距离。

S130，根据远近场交互意图，确定目标虚拟对象的交互模态。

在确定出目标虚拟对象的远近场交互意图时，可以确定出目标虚拟对象在该远近场交互意图下所适合的交互模态，从而实现虚拟空间内不同虚拟对象的多模态交互。

本申请实施例提供的技术方案，在虚拟空间内，会确定当前待交互的目标虚拟对象。然后，根据目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离和目标虚拟对象与虚拟空间内用户眼部间的第二相对距离，确定目标虚拟对象的远近场交互意图，以此确定目标虚拟对象的交互模态，使得虚拟空间内的不同虚拟对象存在多种交互模态，实现虚拟空间内不同虚拟对象的多模态交互，通过分析用户对于任一虚拟对象的远近场交互意图，确保虚拟空间内用户与任一虚拟对象交互时的多模态适配性，避免采用单一的交互模态与各个虚拟对象进行交互，从而增强虚拟空间内虚拟对象交互的多样性。

根据本申请的一个或多个实施例，为了确保远近场交互意图的准确预测，本申请会设定一个远近场分界参数，用于判断目标虚拟对象对于用户的本次交互而言，在虚拟空间内属于远场对象，还是近场对象。

接下来，本申请对于目标虚拟对象的远近场交互意图的具体确定过程和目标虚拟对象在相应远近场交互意图下所适合的交互模态的具体确定过程进行说明：

图2为本申请实施例提供的另一种人机交互方法的流程图，该方法可以包括如下步骤：

S210，确定虚拟空间内当前待交互的目标虚拟对象。

S220，根据目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离、目标虚拟对象与虚拟空间内用户眼部间的第二相对距离和用户属性信息，确定对应的远近场分界参数。

考虑到不同用户的身高、臂长等各不相同，使得不同用户通过操控虚拟控制器去成功触碰到任一虚拟对象时所支持的触碰范围也就不同。而且，用户对于任一虚拟对象进行交互时，在虚拟空间内会操控虚拟控制器或者通过转动用户眼球，来面向该虚拟对象执行不同的运动，使得第一相对距离和第二相对距离会存在相应的变化。

所以，通过分别判断第一相对距离和第二相对距离的变化情况，可以初步分析出用户对于目标虚拟对象存在的交互意图。然后，根据第一相对距离和第二相对距离的当前大小是否处于用户属性信息支持的触碰范围内，来判断是否能够成功实现用户对于目标虚拟对象的交互意图，以此确定出对应的远近场分界参数，便于后续使用可行的交互方式对目标虚拟对象进行交互。

作为本申请中的一种可选实现方案，对于远近场分界参数，可以采用下述步骤来确定：

第一步，根据第一相对距离和第二相对距离的变化趋势，确定目标虚拟对象的初步交互意图。

在确定出当前待交互的目标虚拟对象后，通过实时确定目标虚拟对象与虚拟控制器间的第一相对距离和目标虚拟对象与用户眼部间的第二相对距离，可以确定出第一相对距离和第二相对距离的变化趋势，以此判断出用户操控虚拟控制器和用户眼部是否在接近目标虚拟对象，从而可以预测出用户对于目标虚拟对象的初步交互意图。

第二步，根据用户属性信息，确定虚拟控制器面向目标虚拟对象的最大触碰距离。

在用户对于目标虚拟对象的初步交互意图的基础上，考虑到不同用户的身高、臂长等各不相同，使得不同用户通过操控虚拟控制器所支持触碰到虚拟对象的触碰范围也就不同。所以，本申请可以先根据用户的意愿所获取到用户在所佩戴的XR设备中录入的属性信息，可以包括但不限于身高、臂长等。然后，通过分析用户属性信息，可以判断出用户支持通过操控虚拟控制器成功触碰到虚拟对象时用户与虚拟对象间的最大触碰距离。

第三步，根据初步交互意图以及第一相对距离与第二相对距离相加后的距离和，对最大触碰距离进行动态调整，得到对应的远近场分界参数。

通过对第一相对距离和第二相对距离在变化后的实时距离值进行相加，得到一个距离和。然后，通过比对该距离和与最大触碰距离之间的大小，来判断本次交互是否能够成功采用该初步交互意图所表示的交互方式。然后，在该初步交互意图所表示的交互方式是否能够被成功使用的两种不同情况下，可以在第一相对距离和第二相对距离相加后的距离和的基础上，对该用户支持的最大触碰距离进行上下浮动，来确定出对应的远近场分界参数，以便后续采用可行的交互方式对目标虚拟对象进行交互。

示例性的，如果第一相对距离在当前时段内不断减少，第二相对距离几乎不变，说明用户操控虚拟控制器不断接近目标虚拟对象，那么可以确定出用户对于目标虚拟对象的初步交互意图为近场交互。然而，当前的第一相对距离和第二相对距离相加后的距离和超出用户支持的最大触碰距离，说明用户通过操控虚拟控制器无法成功触碰到目标虚拟对象，也就是无法实现近场交互。所以，本申请可以将远近场分界参数设定为小于该距离和的一个值，使得用户对于目标虚拟对象可以进行远场交互。

或者，如果第一相对距离保持在一个距离值上几乎不变，第二相对距离也几乎不变，说明用户并未操控虚拟控制器去接近目标虚拟对象，那么可以确定出用户对于目标虚拟对象的初步交互意图为远场交互。然而，当前的第一相对距离和第二相对距离相加后的距离和小于用户支持的最大触碰距离，说明用户通过操控虚拟控制器可以成功触碰到目标虚拟对象。在这种情况下，本申请可以对用户支持的最大触碰距离进行向下浮动，直至下浮到小于该距离和的一个值，作为本申请中的远近场分界参数，使得用户对于目标虚拟对象仍然可以进行远场交互。

由上述内容可知，本申请中的远近场分界参数并不是固定的，而是由用户操控虚拟控制器和用户眼部面向目标虚拟对象运动时所支持使用的交互方式和用户对于目标虚拟对象的初步交互意图来共同确定，属于一个浮动值。那么，对于同一虚拟对象，也可能存在不同的交互模态，从而确保虚拟空间内任一虚拟对象交互时的多模态适配性。

S230，判断第一相对距离与第二相对距离相加后的距离和是否大于等于远近场分界参数；若是，执行S240；若否，执行S260。

在确定出用户与目标虚拟对象交互时对应的远近场分界参数后，可以先计算出第一相对距离与第二相对距离相加后的距离和。然后，通过判断该距离和是否大于等于该远近场分界参数，来分析该目标虚拟对象对于用户的本次交互而言，属于远场对象，还是近场对象，以便后续使用不同的交互模态。

S240，确定目标虚拟对象的远近场交互意图为远场交互；确定目标虚拟对象的交互模态为远场交互模态。

如果第一相对距离与第二相对距离相加后的距离和大于等于远近场分界参数，说明用户通过操控虚拟控制器不会去触碰目标虚拟对象。所以，可以确定目标虚拟对象的远近场交互意图为远场交互。进而，将目标虚拟对象的交互模态也可以确定为该远场交互下所适合的远场交互模态。

其中，如图3所示，本申请中的远场交互模态可以为在虚拟空间内呈现从虚拟控制器指向目标虚拟对象的光标射线。然后，用户通过操控虚拟控制器发出的光标射线即可与目标虚拟对象进行相应的交互。

S250，在虚拟空间内呈现对应的远场交互引导信息，以引导虚拟控制器通过所呈现的光标射线与目标虚拟对象进行交互。

为了保证虚拟空间内用户对于目标虚拟对象执行的远场交互准确性，本申请在虚拟空间内呈现出从虚拟控制器指向目标虚拟对象的光标射线后，还会在虚拟空间内进一步呈现对应的远场交互引导信息。该远场交互引导信息可以指示用户通过操控虚拟控制器发出的光标射线来与目标虚拟对象进行交互。

示例性的，如图3所示，以虚拟控制器为手部模型，目标虚拟对象为虚拟空间内的某一面板为例，手部模型会向该面板发出相应的光标射线，同时在虚拟空间内会呈现出一条“可通过操控光标移动来与面板交互”的远场交互引导信息。

S260，确定目标虚拟对象的远近场交互意图为近场交互；确定目标虚拟对象的交互模态为近场交互模态。

如果第一相对距离与第二相对距离相加后的距离和小于远近场分界参数，说明用户通过操控虚拟控制器可以去成功触碰到目标虚拟对象。所以，可以确定目标虚拟对象的远近场交互意图为近场交互。进而，将目标虚拟对象的交互模态也可以确定为该近场交互下所适合的近场交互模态。

其中，如图4所示，本申请中的近场交互模态可以为在虚拟空间内隐藏从虚拟控制器指向目标虚拟对象的光标射线，使得用户通过操控虚拟控制器直接触碰目标虚拟对象来进行相应的交互。

S270，在虚拟空间内呈现对应的近场交互引导信息，以引导虚拟控制器通过触碰目标虚拟对象来进行交互。

为了保证虚拟空间内用户对于目标虚拟对象执行的近场交互准确性，本申请还可以在虚拟空间内进一步呈现对应的近场交互引导信息。该近场交互引导信息可以指示用户通过操控虚拟控制器直接触碰目标虚拟对象来与其进行交互。

示例性的，如图4所示，以虚拟控制器为手部模型，目标虚拟对象为虚拟空间内的某一面板为例，手部模型距离该面板较近，支持手部模型直接触碰该面板。同时，在虚拟空间内会呈现出一条“可通过触碰面板来交互”的近场交互引导信息。

本申请实施例提供的技术方案，通过为不同虚拟对象设定不同的远近场分界参数，来综合第一相对距离和第二相对距离，准确判断目标虚拟对象的远近场交互意图，以此确定目标虚拟对象的交互模态，使得虚拟空间内的不同虚拟对象存在多种交互模态，确保虚拟空间内用户与任一虚拟对象交互时的多模态适配性，增强虚拟空间内虚拟对象交互的多样性。

图5为本申请实施例提供的一种人机交互装置的示意图，该人机交互装置500可以配置于XR设备中，该人机交互装置500可以包括：

目标对象确定模块510，用于确定虚拟空间内当前待交互的目标虚拟对象；

交互意图确定模块520，用于根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离和所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离，确定所述目标虚拟对象的远近场交互意图；

交互模态确定模块530，用于根据所述远近场交互意图，确定所述目标虚拟对象的交互模态。

在一些可实现方式中，交互意图确定模块520，可以具体用于：

根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离、所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离和用户属性信息，确定对应的远近场分界参数；

如果所述第一相对距离与所述第二相对距离相加后的距离和大于等于所述远近场分界参数，则确定所述目标虚拟对象的远近场交互意图为远场交互；

如果所述距离和小于所述远近场分界参数，则确定所述目标虚拟对象的远近场交互意图为近场交互。

在一些可实现方式中，交互模态确定模块530，可以具体用于：

如果所述远近场交互意图为远场交互，则确定所述目标虚拟对象的交互模态为远场交互模态；

如果所述远近场交互意图为近场交互，则确定所述目标虚拟对象的交互模态为近场交互模态；

其中，所述远场交互模态为在所述虚拟空间内呈现从所述虚拟控制器指向所述目标虚拟对象的光标射线，所述近场交互模态为在所述虚拟空间内隐藏从所述虚拟控制器指向所述目标虚拟对象的光标射线。

在一些可实现方式中，该人机交互装置500，还可以包括：

远场交互引导模块，用于在所述虚拟空间内呈现对应的远场交互引导信息，以引导所述虚拟控制器通过所呈现的光标射线与所述目标虚拟对象进行交互。

在一些可实现方式中，该人机交互装置500，还可以包括：

近场交互引导模块，用于在所述虚拟空间内呈现对应的近场交互引导信息，以引导所述虚拟控制器通过触碰所述目标虚拟对象来进行交互。

在一些可实现方式中，该人机交互装置500，还可以包括相对距离确定模块。该相对距离确定模块，可以用于：

确定所述虚拟空间内所述目标虚拟对象的第一空间位置和所述虚拟控制器的第二空间位置；

根据所述第一空间位置和所述第二空间位置，确定所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离；

根据用户眼动数据，确定所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离；或者，

根据所述第一空间位置和所述虚拟空间内虚拟摄像头的第三空间位置，确定所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离。

在一些可实现方式中，目标对象确定模块510，可以具体用于：

确定处于所述虚拟空间的虚拟视场内的多个虚拟对象；

根据用户眼动数据，从所述虚拟视场内的多个虚拟对象中确定用户视线指向的虚拟对象，作为当前待交互的目标虚拟对象。

在一些可实现方式中，所述虚拟控制器为所述虚拟空间内的手柄模型、手部模型和真实手部投影中的其中一种。

本申请实施例中，在虚拟空间内，会确定当前待交互的目标虚拟对象。然后，根据目标虚拟对象与虚拟空间内虚拟控制器间的第一相对距离和目标虚拟对象与虚拟空间内用户眼部间的第二相对距离，确定目标虚拟对象的远近场交互意图，以此确定目标虚拟对象的交互模态，使得虚拟空间内的不同虚拟对象存在多种交互模态，实现虚拟空间内不同虚拟对象的多模态交互，通过分析用户对于任一虚拟对象的远近场交互意图，确保虚拟空间内用户与任一虚拟对象交互时的多模态适配性，避免采用单一的交互模态与各个虚拟对象进行交互，从而增强虚拟空间内虚拟对象交互的多样性。

应理解的是，该装置实施例与本申请中的方法实施例可以相互对应，类似的描述可以参照本申请中的方法实施例。为避免重复，此处不再赘述。

具体地，图5所示的装置500可以执行本申请提供的任一方法实施例，并且图5所示的装置500中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的上述方法实施例。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图6为本申请实施例提供的电子设备的示意性框图。

如图6所示，该电子设备600可包括：

存储器610和处理器620，该存储器610用于存储计算机程序，并将该程序代码传输给该处理器620。换言之，该处理器620可以从存储器610中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器620可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器620可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器610包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器610中，并由该处理器620执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备600的执行过程。

如图6所示，该电子设备还可包括：

收发器630，该收发器630可连接至该处理器620或存储器610。

其中，处理器620可以控制该收发器630与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器630可以包括发射机和接收机。收发器630还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备600中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。

本申请实施例还提供一种包含计算机程序/指令的计算机程序产品，该计算机程序/指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (13)

1.一种人机交互方法，其特征在于，应用于扩展现实XR设备，所述方法包括：

确定虚拟空间内当前待交互的目标虚拟对象；

根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离和所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离，确定所述目标虚拟对象的远近场交互意图；

根据所述远近场交互意图，确定所述目标虚拟对象的交互模态。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离和所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离，确定所述目标虚拟对象的远近场交互意图，包括：

根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离、所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离和用户属性信息，确定对应的远近场分界参数；

如果所述第一相对距离与所述第二相对距离相加后的距离和大于等于所述远近场分界参数，则确定所述目标虚拟对象的远近场交互意图为远场交互；

如果所述距离和小于所述远近场分界参数，则确定所述目标虚拟对象的远近场交互意图为近场交互。

3.根据权利要求2所述的方法，其特征在于，所述根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离、所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离和用户属性信息，确定对应的远近场分界参数，包括：

根据所述第一相对距离和所述第二相对距离的变化趋势，确定所述目标虚拟对象的初步交互意图；

根据所述用户属性信息，确定所述虚拟控制器面向所述目标虚拟对象的最大触碰距离；

根据所述初步交互意图以及所述第一相对距离与所述第二相对距离相加后的距离和，对所述最大触碰距离进行动态调整，得到对应的远近场分界参数。

4.根据权利要求1所述的方法，其特征在于，所述根据所述远近场交互意图，确定所述目标虚拟对象的交互模态，包括：

如果所述远近场交互意图为远场交互，则确定所述目标虚拟对象的交互模态为远场交互模态；

如果所述远近场交互意图为近场交互，则确定所述目标虚拟对象的交互模态为近场交互模态；

其中，所述远场交互模态为在所述虚拟空间内呈现从所述虚拟控制器指向所述目标虚拟对象的光标射线，所述近场交互模态为在所述虚拟空间内隐藏从所述虚拟控制器指向所述目标虚拟对象的光标射线。

5.根据权利要求4所述的方法，其特征在于，在确定所述目标虚拟对象的交互模态为远场交互模态之后，还包括：

在所述虚拟空间内呈现对应的远场交互引导信息，以引导所述虚拟控制器通过所呈现的光标射线与所述目标虚拟对象进行交互。

6.根据权利要求4所述的方法，其特征在于，在确定所述目标虚拟对象的交互模态为近场交互模态之后，还包括：

在所述虚拟空间内呈现对应的近场交互引导信息，以引导所述虚拟控制器通过触碰所述目标虚拟对象来进行交互。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述虚拟空间内所述目标虚拟对象的第一空间位置和所述虚拟控制器的第二空间位置；

根据所述第一空间位置和所述第二空间位置，确定所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离；

根据用户眼动数据，确定所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离；或者，

根据所述第一空间位置和所述虚拟空间内虚拟摄像头的第三空间位置，确定所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离。

8.根据权利要求1所述的方法，其特征在于，所述确定虚拟空间内当前待交互的目标虚拟对象，包括：

确定处于所述虚拟空间的虚拟视场内的多个虚拟对象；

根据用户眼动数据，从所述虚拟视场内的多个虚拟对象中确定用户视线指向的虚拟对象，作为当前待交互的目标虚拟对象。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述虚拟控制器为所述虚拟空间内的手柄模型、手部模型和真实手部投影中的其中一种。

10.一种人机交互装置，其特征在于，配置于XR设备，所述装置包括：

目标对象确定模块，用于确定虚拟空间内当前待交互的目标虚拟对象；

交互意图确定模块，用于根据所述目标虚拟对象与所述虚拟空间内虚拟控制器间的第一相对距离和所述目标虚拟对象与所述虚拟空间内用户眼部间的第二相对距离，确定所述目标虚拟对象的远近场交互意图；

交互模态确定模块，用于根据所述远近场交互意图，确定所述目标虚拟对象的交互模态。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-9任一项所述的人机交互方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的人机交互方法。

13.一种包含计算机程序/指令的计算机程序产品，其特征在于，当所述计算机程序/指令在电子设备上运行时，使得所述电子设备执行权利要求1-9任一项所述的人机交互方法。