CN116088689A - 一种人机交互方法、装置、设备和存储介质 - Google Patents

Abstract

本申请提供了一种人机交互方法、装置、设备和存储介质。该方法包括：确定虚拟空间内发出的虚拟射线；响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度，使所述虚拟射线的落点呈现于所述虚拟射线的指向方向下的任一虚拟对象上。本申请实施例可以通过调节虚拟射线在虚拟空间内的落点深度，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上，从而实现通过虚拟射线对于任一虚拟对象的便捷交互，确保虚拟空间内对于虚拟对象的交互全面性。而且，在虚拟空间内通过调节虚拟射线的落点深度，来选择待交互的任一虚拟对象，增强虚拟空间内的交互多样性和趣味性，提升虚拟空间内的交互氛围。

Description

一种人机交互方法、装置、设备和存储介质

技术领域

本申请实施例涉及扩展现实(Extended Reality，XR)技术领域，尤其涉及一种人机交互方法、装置、设备和存储介质。

背景技术

目前，XR技术的应用场景越来越广泛了，具体包含虚拟现实(Virtual Reality，简称为VR)、增强现实(Augmented Reality，简称为AR)和混合现实(Mixed Reality，简称为MR)等。在各类虚拟场景下，用户通过与相应的虚拟对象进行各类交互，来沉浸式体验真实的虚拟场景。

通常情况下，用户会通过在虚拟空间内发出一条指向性的虚拟射线，来与远距离下的虚拟对象进行交互。但是，由于虚拟空间内的多个虚拟对象在用户视野下可能会存在重叠，使得虚拟射线总是被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互，存在一定的交互局限性。

发明内容

本申请提供一种人机交互方法、装置、设备和存储介质，通过虚拟射线的落点深度调节实现虚拟空间内与任一虚拟对象的便捷全面交互，增强虚拟空间内的交互多样性和趣味性。

第一方面，本申请实施例提供了一种人机交互方法，应用于XR设备，该方法包括：

确定虚拟空间内发出的虚拟射线；

响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度，使所述虚拟射线的落点呈现于所述虚拟射线的指向方向下的任一虚拟对象上。

第二方面，本申请实施例提供了一种人机交互装置，，配置于XR设备，该装置包括：

射线确定模块，用于确定虚拟空间内发出的虚拟射线；

射线交互模块，用于响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度，使所述虚拟射线的落点呈现于所述虚拟射线的指向方向下的任一虚拟对象上。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行本申请第一方面中提供的人机交互方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行如本申请第一方面中提供的人机交互方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令使得计算机执行如本申请第一方面中提供的人机交互方法。

通过本申请技术方案，在虚拟空间内会发出相应的虚拟射线来与各个虚拟对象进行交互。那么，在虚拟射线的指向方向下存在多个虚拟对象时，可以通过调节虚拟射线在虚拟空间内的落点深度，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上，从而实现通过虚拟射线对于任一虚拟对象的便捷交互，避免出现虚拟射线总是被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互的现象，确保虚拟空间内对于虚拟对象的交互全面性。而且，在虚拟空间内通过调节虚拟射线的落点深度，来选择待交互的任一虚拟对象，增强虚拟空间内的交互多样性和趣味性，提升虚拟空间内的交互氛围。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种人机交互方法的流程图；

图2为本申请实施例提供的虚拟空间内发出的虚拟射线的示例性示意图；

图3a和图3b分别为本申请实施例提供的虚拟射线的落点深度调节过程的示例性示意图；

图4为本申请实施例提供的另一种人机交互方法的流程图；

图5a为本申请实施例提供的虚拟射线的落点穿透任一虚拟对象时被吸附到下一虚拟对象上的示例性示意图；

图5b为本申请实施例提供的虚拟射线的落点退回到任一虚拟对象的未穿透状态时被吸附到上一虚拟对象上的示例性示意图；

图6为本申请实施例提供的一种人机交互装置的示意图；

图7为本申请实施例提供的电子设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了解决虚拟空间内多个虚拟对象在用户视野内存在重叠时，虚拟射线总是被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互的问题，本申请的发明构思是：在虚拟空间内通过虚拟射线与各个虚拟对象交互时，如果在虚拟射线的指向方向下存在多个虚拟对象，那么可以通过调节虚拟射线在虚拟空间内的落点深度，来使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上，从而实现通过虚拟射线对于任一虚拟对象的便捷交互，避免出现虚拟射线总是被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互的现象，确保虚拟空间内对于虚拟对象的交互全面性。

图1为本申请实施例提供的一种人机交互方法的流程图，该方法可以应用于XR设备中，但不限于此。该方法可以由本申请提供的人机交互装置来执行，其中，人机交互装置可以通过任意的软件和/或硬件的方式实现。示例性地，人机交互装置可配置于AR/VR/MR等能够模拟虚拟场景的电子设备，本申请对电子设备的具体类型不作任何限制。

具体的，如图1所示，该方法可以包括如下步骤：

S110，确定虚拟空间内发出的虚拟射线。

其中，虚拟空间可以为XR设备针对任一用户选择的某一真实互动场景，模拟出的相应虚拟环境，以便在虚拟空间内显示相应的互动信息。其中，虚拟空间可以是对真实世界的仿真环境，也可以是半仿真半虚构的虚拟场景，还可以是纯虚构的虚拟场景。

例如，用户选中某一类型的直播场景，来构建相应的虚拟直播环境，作为本申请中的虚拟空间，使得各个观众进入到该虚拟空间内来实现相应的直播互动。

而且，为了保证虚拟空间内的多样化互动，虚拟空间内会构建多个用于在虚拟场景中进行交互的虚拟对象。其中，虚拟对象受到用户或机器人程序(例如基于人工智能的机器人程序等)的控制，能够在虚拟空间内保持静止、移动或者执行各种行为等。例如，虚拟对象可以为某一虚拟游戏场景下的各种游戏角色、游戏面板、游戏控件等。

通常情况下，用户在佩戴好XR设备后，通过开启该XR设备，使得XR设备处于工作状态。进而，XR设备可以为该用户模拟出由真实场景和虚拟场景融合后的某一具体虚拟场景，使得用户进入到预先构建好的虚拟空间内。

而为了满足用户对于虚拟空间内各个虚拟对象的交互需求，通常会通过手柄模型、手部模型或者真实手部投影等虚拟控制器，在虚拟空间内发出一条指向性的虚拟射线，来指向任一待交互的虚拟对象，从而通过远程触碰该虚拟对象来与其进行相应的交互。

所以，在任一用户进入到虚拟空间内，与某一虚拟对象存在交互需求时，本申请首先会确定出在虚拟空间内已发出的虚拟射线。

其中，本申请中的虚拟射线可以在虚拟空间内显性呈现出来，以使用户在虚拟空间内能够直观查看到该虚拟射线的指向轨迹。而考虑到虚拟射线主要用于指出某一待交互的虚拟对象，所以虚拟射线也可以在虚拟空间内隐性呈现，而在该虚拟射线指出的待交互的虚拟对象上显性呈现出该虚拟射线的落点即可。其中，虚拟射线指向任一虚拟对象时的落点可以在该虚拟对象的表面高亮显示出来。

本申请中，为了便于直观理解虚拟射线在虚拟空间内的交互情况，如图2所示，本申请会通过显性呈现方式来在虚拟空间内直观显示该虚拟射线，以对通过该虚拟射线与各个虚拟对象进行交互的过程进行直观说明。

作为本申请中的一种可选实现方案，对于虚拟空间内发出的虚拟射线，本申请可以根据虚拟空间内虚拟控制器的位姿信息，确定虚拟射线的指向方向；通过虚拟控制器，沿着该指向方向发出虚拟射线。

也就是，任一用户在进入到虚拟空间内而与任一虚拟对象存在交互需求时，可以通过操控XR设备配置的手柄、指环等操控设备，或者通过发出预设定好的交互手势，来发起相应的交互请求。而且，为了在虚拟空间内体现出用户的真实操控信息来与虚拟对象进行交互，可以在虚拟空间内设置一个虚拟控制器，通过该虚拟控制器来模拟用户的真实操控信息。

那么，通过解析用户发起的交互请求，可以得到用户操控的手柄、指环等操控设备或者手部手势的位姿信息，以此作为虚拟控制器在虚拟空间内的位姿信息。然后，通过分析虚拟控制器的位姿信息，可以判断出从虚拟控制器到本次待交互的某一虚拟对象间的方向，从而作为虚拟射线在虚拟空间内的指向方向。进而，从虚拟控制器的所处位置开始，可以沿着该指向方向呈现出一条虚拟射线，来指向本次待交互的虚拟对象。

在一些可实现方式中，本申请中的虚拟控制器可以包括但不限于下述其中一种：

1)由左手操控模型和右手操控模型组成的双手操控模型中的任一单手操控模型

对于XR设备而言，用户可以使用XR设备配置的真实手柄或者真实指环等操控设备，来操控用户在虚拟空间内与各个虚拟对象间的交互。此时，为了模拟用户使用真实手柄或真实指环等操控设备在虚拟空间内执行的交互操作，可以在虚拟空间内构建出相应的左手操控模型和右手操控模型，该左手操控模型和右手操控模型可以为左手柄模型和右手柄模型。然后，通过检测用户双手握持的真实手柄或真实指环等操控设备的位姿信息，来分别控制左手操控模型和右手操控模型在虚拟空间内进行相应的运动。而且，按照用户对于真实的操控设备中的相应按键和摇杆的操作，来分别控制左手操控模型和右手操控模型与虚拟空间内各个虚拟对象进行相应的交互操作。

应当理解的是，左手操控模型和右手操控模型在虚拟空间内通常是配对出现的，可以组成相应的双手操控模型。而且，左手操控模型和右手操控模型在虚拟空间内可以单独呈现，也可以通过手部模型手持任一单手操控模型的形式而呈现，本申请对此不作限定。所以，本申请中的虚拟控制器可以为双手操控模型中的任一单手操控模型。

2)由左手模型和右手模型组成的双手模型中的任一单手模型。

为了实现虚拟空间内的交互多样性，用户使用真实手柄或真实指环等操控设备在虚拟空间内执行的交互操作，也可以通过手部模型在虚拟空间内的不同手势动作而实现。例如，真实手柄上设定有抓取(可记为Grab)按键，用户点击真实手柄上的抓取按键后，可以控制该真实手柄对应的手部模型执行相应的抓取动作。所以，本申请也可以在虚拟空间内构建出相应的左手模型和右手模型，与用户左右手手持的真实手柄一一对应。

然后，通过检测用户双手握持的真实手柄的位姿信息，来分别控制左手模型和右手模型在虚拟空间内进行相应的运动。而且，按照用户对于真实手柄中的相应按键和摇杆的操作，来分别控制左手模型和右手模型与虚拟空间内各个虚拟对象进行相应的交互操作。

同样的，左手模型和右手模型在虚拟空间内通常也是配对出现的，可以组成相应的双手模型。

另一方面，双手模型在虚拟空间内与任一虚拟对象的交互，也可以通过检测用户真实手部在真实场景下的手势动作来实现，使得左手模型和右手模型分别与用户的真实左右手一一对应，以控制左手模型和右手模型能够跟随真实左右手执行相同的手势动作。

此时，本申请中的虚拟控制器可以为双手模型中的任一单手模型。

3)由真实左手投影和真实右手投影组成的真实双手投影中的任一真实单手投影

为了模拟用户真实手部的在真实场景下的手势动作，本申请还可以实时采集包含用户真实左右手的实景图像，以通过对该实景图像中的真实左右手的手部特征进行提取，来分析真实左右手的手势动作，从而在虚拟空间内呈现对应的真实左手投影和真实右手投影。

虚拟空间内的真实左手投影和真实右手投影能够跟随用户的真实左右手呈现相同的手势动作。

同样的，真实左手投影和真实右手投影在虚拟空间内通常也是配对出现的，可以组成相应的真实双手投影。那么，本申请中的虚拟控制器可以为真实双手投影中的任一真实单手投影。

S120，响应于虚拟射线的落点调节指令，调节虚拟射线在虚拟空间内的落点深度，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上。

在确定出虚拟空间内发出的虚拟射线后，考虑到在虚拟射线的指向方向下可能存在多个虚拟对象时，虚拟射线总会被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互。所以，为了实现通过虚拟射线与后方的虚拟对象间的便捷交互，本申请可以设定一个用于控制虚拟射线在虚拟空间内的落点深度进行相应变化，而通过不断变化虚拟射线的长度来指向不同的虚拟对象的落点调节操作。通过检测用户是否执行预设置的该落点调节操作，来判断当前是否需要调节虚拟射线的落点深度。其中，虚拟射线的落点可以为虚拟射线被任一虚拟对象截断时，虚拟射线与该虚拟对象间的交点。虚拟射线的落点深度可以通过虚拟射线的落点在虚拟空间内设定的空间坐标系中的Z轴上的位置坐标来表示。

本申请中，在检测到用户执行了预设置的落点调节操作时，说明当前需要对虚拟射线的落点深度进行调节，从而生成虚拟射线的落点调节指令。其中，该落点调节指令中可以携带虚拟射线的落点在虚拟空间内的变动方向和变动大小等变动信息。

所以，根据该落点调节指令动态调节虚拟射线在虚拟空间内的落点深度，可以相应延长或缩短虚拟射线的长度。那么，如图2所示，在虚拟射线的指向方向下存在多个虚拟对象时，可以通过延长或缩短虚拟射线的长度，来控制虚拟射线穿透前方的虚拟对象，而指向后方被遮挡的虚拟对象，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上，来与虚拟射线的指向方向下的任一虚拟对象进行便捷交互。

在一些可实现方式中，本申请中虚拟射线的落点调节指令可以通过下述至少一项操作确定：

1)检测到虚拟空间内的双手操控模型中任一单手操控模型执行面向虚拟射线的落点调节操作。

在虚拟空间内可以通过双手操控模型中的任一单手操控模型来发出相应的虚拟射线。所以，本申请可以设定通过真实手柄或者真实指环等操控设备上的触控按键、摇杆等组件所执行的某一操作，作为对于虚拟射线预设置的落点调节操作。此时，用户在真实手柄或者真实指环等操控设备上所执行的任一操作，可以通过虚拟空间内的双手操控模型中与用户实际使用的具体操控设备对应的某一单手操控模型对该操控设备执行的具体操作进行相应的反馈响应，使得该单手操控模型在虚拟空间内会执行相同的操作。

进而，通过检测虚拟空间内的双手操控模型中任一单手操控模型是否执行面向虚拟射线预设置的落点调节操作，可以判断当前是否需要调节虚拟射线的落点深度。在检测到虚拟空间内的双手操控模型中任一单手操控模型执行面向虚拟射线的落点调节操作时，可以生成虚拟射线的落点调节指令。

2)检测到虚拟空间内的双手模型中任一单手模型或者真实双手投影中任一真实单手投影执行面向虚拟射线的落点调节手势。

在虚拟空间内也可以通过双手模型中的任一单手模型或者真实双手投影中任一真实单手投影，通过执行相应的手势动作来发出虚拟射线。所以，本申请可以设定通过真实手部所执行的某一特定手势，作为对于虚拟射线预设置的落点调节手势。此时，用户通过真实手部所执行的任一手势动作，可以通过虚拟空间内的双手模型中与真实手部对应的某一单手模型或者真实双手投影中与真实手部对应的某一真实单手投影来对真实手部执行的手势动作进行相应的反馈响应，使得该单手模型或者真实单手投影在虚拟空间内会执行相同的手势动作。

进而，通过检测虚拟空间内的双手模型中任一单手模型或者真实双手投影中任一真实单手投影是否执行面向虚拟射线预设置的落点调节手势，可以判断当前是否需要调节虚拟射线的落点深度。在检测到虚拟空间内的双手模型中任一单手模型或者真实双手投影中任一真实单手投影执行面向虚拟射线的落点调节手势时，可以生成虚拟射线的落点调节指令。

在一些可实现方式中，考虑到在虚拟空间内通过虚拟射线与某一虚拟对象进行交互时，通常需要在虚拟射线指向该虚拟对象后，再控制手部模型或者真实手部投影对该虚拟对象执行相应的选中手势，以选定该虚拟对象执行相应的交互操作。也就是说，本申请中控制手部模型或者真实手部投影通过执行相应的落点调节手势来调节虚拟射线的落点深度，以指向实际待交互的虚拟对象后，还需要控制手部模型或者真实手部投影再次执行相应的选中手势来选定该虚拟对象。

那么，为了避免手部模型或者真实手部投影的手势复杂度，本申请可以设定虚拟射线的落点调节手势和通过虚拟射线选中任一虚拟对象时的选中手势为同一个目标手势。然后，通过手部模型或者真实手部投影执行该目标手势时的持续时长，来准确区分本次执行的目标手势是表示虚拟射线的落点调节操作，还是表示对于虚拟射线指向的虚拟对象的选中操作。

也就是说，在任一用户进入到虚拟空间后，会实时检测虚拟空间内的手部模型或者真实手部投影是否执行预设定的目标手势。在检测到目标手势时，确定目标手势的持续时长；如果持续时长大于等于预设持续阈值，则生成虚拟射线的落点调节指令；如果持续时长小于预设持续阈值，则生成虚拟射线对于当前虚拟对象的选中指令。其中，当前虚拟对象上呈现有虚拟射线的落点。

如果目标手势的持续时长大于等于预设持续阈值，说明用户需要通过较长的一段时间来持续调节虚拟射线的落点深度，所以可以生成虚拟射线的落点调节指令。而如果目标手势的持续时长小于预设持续阈值，而较短时间内是无法满足虚拟射线的落点调节需求的，说明用户当前并不存在虚拟射线的落点调节需求，而是需要选中所指向的虚拟对象进行相应交互，所以可以确定出虚拟射线的落点所在的当前虚拟对象，而生成该当前虚拟对象的选中指令。

以虚拟射线的落点调节手势为“捏”所表示的手势为例，如图3a和图3b所示，C-1表示手部模型，U-1表示虚拟射线的指向方向下存在的远距离界面，也就是远距离下的虚拟对象，U-2表示虚拟射线的指向方向下存在的近距离界面，也就是近距离下的虚拟对象。其中，U-1和U-2在虚拟射线的指向方向下存在重叠。那么，通过手部模型C-1发出虚拟射线后，如图3a所示，虚拟射线会被近距离界面U-2截断，而使虚拟射线的落点呈现在近距离界面U-2上。

此时，在虚拟空间内与远距离界面U-1存在交互需求时，可以通过手部模型缓慢持续执行“捏”的手势动作，来调节虚拟射线的落点深度，而延长虚拟射线的长度。如图3b所示，虚拟射线可以穿透近距离界面U-2，而使虚拟射线的落点呈现在远距离界面U-1上。然后，在虚拟射线指向远距离界面U-1后，可以通过快速执行一次“捏”的手势动作，来选中该远距离界面U-1进行交互。

需要说明的是，为了实现虚拟空间内落点调节手势的直观性，本申请在通过手部模型或者真实手部投影执行虚拟射线的落点调节手势时，可以在手部模型或者真实手部投影发出虚拟射线的发出位置处呈现一个虚拟射线的发出道具，例如图3a和图3b所示的小球。然后，通过手部模型或者真实手部投影执行落点调节手势，可以按照该落点调节手势对于该发出道具的影响，来控制该发出道具呈现不同的样式，从而增强手部模型或者真实手部投影执行落点调节手势时的直观性和趣味性。

3)获取到虚拟射线的落点调节语音。

XR设备可以通过语音控制虚拟空间内虚拟射线的落点深度调节，所以本申请可以为虚拟射线预设置一条落点调节语音。通过实时收集用户发出的语音数据，来判断该语音数据是否为预设置的落点调节语音，即可判断当前是否需要调节虚拟射线的落点深度。在获取到虚拟射线的落点调节语音后，可以生成虚拟射线的落点调节指令。

示例性的，本申请中的落点调节语音可以为“向前延长虚拟射线”或“向后缩短虚拟射线”等。

本申请实施例提供的技术方案，在虚拟空间内会发出相应的虚拟射线来与各个虚拟对象进行交互。那么，在虚拟射线的指向方向下存在多个虚拟对象时，可以通过调节虚拟射线在虚拟空间内的落点深度，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上，从而实现通过虚拟射线对于任一虚拟对象的便捷交互，避免出现虚拟射线总是被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互的现象，确保虚拟空间内对于虚拟对象的交互全面性。而且，在虚拟空间内通过调节虚拟射线的落点深度，来选择待交互的任一虚拟对象，增强虚拟空间内的交互多样性和趣味性，提升虚拟空间内的交互氛围。

根据本申请中的一个或多个实施例，为了实现虚拟空间内虚拟射线的落点深度调节准确性，本申请可以对虚拟射线的落点深度在虚拟空间内的具体调节过程进行说明。

而且，在虚拟空间内调节虚拟射线的落点深度时，可以延长虚拟射线的长度，也可以缩短虚拟射线的长度。所以，在延长虚拟射线的长度时，可能存在虚拟射线穿透某一虚拟对象的情况。而在缩短虚拟射线的长度时，还可能存在虚拟射线在穿透某一虚拟对象后，又退回到该虚拟对象的未穿透状态下的情况。那么，为了直观呈现虚拟射线对于各个虚拟对象的穿透效果，本申请可以对虚拟射线的落点深度调节过程中存在的其他呈现样式进行说明。

图4为本申请实施例提供的另一种人机交互方法的流程图，如图4所示，该方法可以具体包括如下步骤：

S410，确定虚拟空间内发出的虚拟射线。

S420，响应于虚拟射线的落点调节指令，确定虚拟射线的落点深度调节方向。

考虑到在虚拟空间内调节虚拟射线的落点深度时，存在延长虚拟射线的长度和缩短虚拟射线的长度两种情况。那么，对于不同的情况，本申请可以为虚拟射线预设置不同的落点调节操作。例如，通过向左拨动手柄模型的摇杆，可以表示延长虚拟射线的长度，而向右拨动手柄模型的摇杆，可以表示缩短虚拟射线的长度。或者，通过手部模型的手指持续收拢来执行“捏”的手势动作，可以表示延长虚拟射线的长度，而通过手部模型向外松开手指来执行“捏”的反向手势动作，可以表示缩短虚拟射线的长度。

所以，在检测到虚拟射线的落点调节指令时，该落点调节指令可以携带有用户执行的实际落点调节操作所表示的虚拟射线是延长还是缩短的具体调节方向。所以，通过解析虚拟射线的落点调节指令，可以判断本次需要延长虚拟射线的长度，还是缩短虚拟射线的长度，从而确定出虚拟射线的落点深度调节方向。

S430，按照落点深度调节方向和预设定的落点深度调节幅度，动态调节虚拟射线的落点深度，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上。

为了保证虚拟射线的落点深度的准确调节，本申请可以为虚拟射线预先设定一个落点深度调节幅度。其中，落点深度调节幅度可以是一个固定的长度值。那么，在虚拟射线的落点深度调节过程中，可以在每触发执行一次落点调节操作时，便按照该落点深度调节幅度执行一次深度调节操作。也可以在落点调节操作的持续执行时，每间隔一小段时间便按照该落点深度调节幅度执行一次深度调节操作。

或者，落点深度调节幅度也可以是一个动态变化的长度值，可以根据用户对于虚拟射线执行的落点调节操作的具体触发幅度，来动态设定虚拟射线的落点深度调节幅度。例如，根据手部模型执行的手势动作幅度，来设定虚拟射线的落点深度调节幅度。或者，根据落点调节语音中设定的落点深度调节值，来设定虚拟射线的落点深度调节幅度。

在一些可实现方式中，考虑到虚拟射线的指向方向下存在多个虚拟对象时，为了保证虚拟射线的落点深度能够对各个虚拟对象进行覆盖，本申请可以根据虚拟射线的指向方向下的虚拟对象疏密度来确定虚拟射线的落点深度调节幅度。例如，如果虚拟射线的指向方向下的虚拟对象较为密集，那么可以设定落点深度调节幅度较大，以便在同样的落点调节操作下能够控制虚拟射线更快速的覆盖各个虚拟对象。而如果虚拟射线的指向方向下的虚拟对象较为稀疏，那么可以设定落点深度调节幅度较小，以便在同样的落点调节操作下，通过缓慢调节虚拟射线的落点深度，也能够控制虚拟射线覆盖各个虚拟对象。根据虚拟射线实际的调节需求，也可反向设置。例如：如果虚拟射线的指向方向下的虚拟对象较为密集，那么可以设定落点深度调节幅度较小，从而能够选中各虚拟对象，可以避免如果幅度过大的话，可能会遗漏某些虚拟对象的选择的情况。

所以，在确定出虚拟射线的落点深度调节方向后，可以获取本次调节虚拟射线时对应的落点深度调节幅度。然后，沿着该落点深度调节方向，按照该落点深度调节幅度，不断的调节虚拟射线在虚拟空间内的落点深度，从而延长虚拟射线的长度或者缩短虚拟射线的长度。

S440，在虚拟射线的落点穿透任一虚拟对象或者退回到任一虚拟对象的未穿透状态时，调整虚拟对象在虚拟空间内的呈现透明度。

在虚拟空间内调节虚拟射线的落点深度，而延长或者缩短虚拟射线的长度时，如果虚拟射线的指向方向下存在多个虚拟对象，那么会存在虚拟射线的落点穿透某一虚拟对象，或者虚拟射线的落点在穿透某一虚拟对象后通过缩短射线长度而又退回到该虚拟对象的未穿透状态下这两种情况。

此时，如图3b所示，在虚拟射线的落点穿透某一虚拟对象，而指向后方的虚拟对象时，说明本次需要通过虚拟射线与后方的虚拟对象进行交互。而虚拟射线的落点所穿透的虚拟对象会遮挡后方待交互的虚拟对象。所以，为了保证用户能够直观查看到待交互的虚拟对象，避免所穿透的虚拟对象对于待交互的虚拟对象造成遮挡，本申请可以在虚拟射线的落点穿透任一虚拟对象时，重新调节该虚拟对象在虚拟空间内的呈现透明度。也就是，可以将虚拟射线的落点所穿透的虚拟对象从不透明状态调整为半透明或者全透明状态下，以便用户能够透过前方的虚拟对象而观察到后方待交互的虚拟对象。

或者，在虚拟射线的落点穿透某一虚拟对象后，如果当前需要与已穿透的某个虚拟对象进行交互时，本申请可以重新调节虚拟射线的落点深度，来缩短虚拟射线的长度，从而使虚拟射线的落点从某一虚拟对象的已穿透状态下又退回到该虚拟对象的未穿透状态下。那么，在虚拟射线的落点从任一虚拟对象的已穿透状态下退回到该虚拟对象的未穿透状态下时，无需再关注该虚拟对象对于后方的虚拟对象的遮挡。所以，本申请在虚拟射线的落点退回到任一虚拟对象的未穿透状态时，可以再次重新调节该虚拟对象在虚拟空间内的呈现透明度。也就是，可以将虚拟射线的落点从已穿透状态退回到未穿透状态下的虚拟对象从半透明或者全透明状态再次调整回不透明状态下，以便用户能够直观对前方穿透退回的虚拟对象进行交互。

此外，考虑到通过持续不断执行相应的落点深度调节操作，来调节虚拟射线在虚拟空间内的落点深度时，虚拟射线的落点深度可能无法完全准确呈现到各个该虚拟对象上，虚拟射线的落点在调节过程中可能总是会与虚拟对象存在一定的位置误差。所以，为了保证虚拟射线的落点在各个虚拟对象上的准确呈现，本申请可以对于虚拟射线的落点，为相应的虚拟对象上设定一个落点吸附特性。那么，虚拟射线的落点在穿透某一虚拟对象后，可以准确被吸附到该虚拟对象在虚拟射线的指向方向下的下一虚拟对象上。或者，虚拟射线的落点在从某一虚拟对象的已穿透状态退回到未穿透状态后，可以准确被吸附到该虚拟对象在虚拟射线的指向方向下的上一虚拟对象上。

那么，在虚拟射线的落点穿透任一虚拟对象时，确定虚拟射线的落点与该虚拟对象间的穿透距离；在穿透距离大于等于预设吸附距离时，将虚拟射线的落点吸附到该虚拟对象在虚拟射线的指向方向下相邻的下一虚拟对象上。也就是，如图5a所示，在虚拟射线的落点穿透任一虚拟对象时，为了避免由于虚拟射线的落点深度调节误差而错过该虚拟对象，本申请会实时检测虚拟射线的落点穿透该虚拟对象后继续延长的穿透距离。在该穿透距离大于等于预设吸附距离时，说明当前并不会与该虚拟对象进行交互，且继续延长虚拟射线的长度，而可能与后方的虚拟对象进行交互，所以本申请按照虚拟射线的指向方向，可以确定出该虚拟对象后方相邻的下一虚拟对象。然后，将虚拟射线的落点直接吸附该下一虚拟对象上，从而使虚拟射线的落点能够快速且准确的呈现在下一虚拟对象上，以判断是否需要与下一虚拟对象进行交互。

而且，在虚拟射线的落点退回到任一虚拟对象的未穿透状态时，确定虚拟射线的落点与该虚拟对象间的穿透退回距离；在穿透退回距离大于等于预设吸附距离时，将虚拟射线的落点吸附到该虚拟对象在虚拟射线的指向方向下相邻的上一虚拟对象上。也就是，如图5b所示，在虚拟射线的落点从任一虚拟对象的已穿透状态退回到未穿透状态时，本申请会实时检测虚拟射线的落点与该虚拟对象的穿透退回距离。在该穿透退回距离大于等于预设吸附距离时，说明当前并不会与该虚拟对象进行交互，且继续缩短虚拟射线的长度，而可能与前方的虚拟对象进行交互，所以本申请按照虚拟射线的指向方向，可以确定出该虚拟对象前方相邻的上一虚拟对象。然后，将虚拟射线的落点直接吸附该上一虚拟对象上，从而使虚拟射线的落点能够快速且准确的呈现在上一虚拟对象上，以判断是否需要与上一虚拟对象进行交互。

而且，为了避免由于人为调节误差而造成虚拟射线的落点误穿透任一虚拟对象或者误退回到任一虚拟对象的未穿透状态的情况，本申请在虚拟射线的落点穿透任一虚拟对象，或者虚拟射线的落点退回到任一虚拟对象的未穿透状态时，也会实时判断虚拟射线的落点对于该虚拟对象的穿透距离或者穿透退回距离是否在预设时长内持续小于预设吸附距离。如果虚拟射线的落点对于该虚拟对象的穿透距离或者穿透退回距离在预设时长内持续小于预设吸附距离，说明当前并不想与上一虚拟对象或者下一虚拟对象进行交互，而可能仍需要与当前的虚拟对象进行交互。所以，可以将虚拟射线的落点再次吸附到当前的虚拟对象上，以便继续与当前的虚拟对象进行交互。

本申请实施例提供的技术方案，在虚拟空间内会发出相应的虚拟射线来与各个虚拟对象进行交互。那么，在虚拟射线的指向方向下存在多个虚拟对象时，可以通过调节虚拟射线在虚拟空间内的落点深度，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上，从而实现通过虚拟射线对于任一虚拟对象的便捷交互，避免出现虚拟射线总是被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互的现象，确保虚拟空间内对于虚拟对象的交互全面性。而且，在虚拟空间内通过调节虚拟射线的落点深度，来选择待交互的任一虚拟对象，增强虚拟空间内的交互多样性和趣味性，提升虚拟空间内的交互氛围。

图6为本申请实施例提供的一种人机交互装置的示意图，该人机交互装置600可以配置于XR设备中，该人机交互装置600可以包括：

射线确定模块610，用于确定虚拟空间内发出的虚拟射线；

射线交互模块620，用于响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度，使所述虚拟射线的落点呈现于所述虚拟射线的指向方向下的任一虚拟对象上。

在一些可实现方式中，射线交互模块620，可以具体用于：

响应于所述虚拟射线的落点调节指令，确定所述虚拟射线的落点深度调节方向；

按照所述落点深度调节方向和预设定的落点深度调节幅度，动态调节所述虚拟射线的落点深度。

在一些可实现方式中，所述虚拟射线的落点深度调节幅度由所述虚拟射线的指向方向下的虚拟对象疏密度来确定。

在一些可实现方式中，所述虚拟射线的落点调节指令通过下述至少一项确定：

检测到所述虚拟空间内的双手操控模型中任一单手操控模型执行面向所述虚拟射线的落点调节操作；

检测到所述虚拟空间内的双手模型中任一单手模型或者真实双手投影中任一真实单手投影执行面向所述虚拟射线的落点调节手势；

获取到所述虚拟射线的落点调节语音。

在一些可实现方式中，如果所述虚拟射线的落点调节手势和通过所述虚拟射线选中任一虚拟对象时的选中手势为同一目标手势，则人机交互装置600还可以包括指令生成模块。该指令生成模块，可以用于：

在检测到所述目标手势时，确定所述目标手势的持续时长；

如果所述持续时长大于等于预设持续阈值，则生成所述虚拟射线的落点调节指令；

如果所述持续时长小于预设持续阈值，则生成所述虚拟射线对于当前虚拟对象的选中指令；

其中，所述当前虚拟对象上呈现有所述虚拟射线的落点。

在一些可实现方式中，人机交互装置600，还可以包括：

透明度调整模块，用于在所述虚拟射线的落点穿透任一虚拟对象或者退回到任一虚拟对象的未穿透状态时，调整所述虚拟对象在所述虚拟空间内的呈现透明度。

在一些可实现方式中，人机交互装置600还可以包括落点吸附模块。该落点吸附模块，可以用于：

在所述虚拟射线的落点穿透任一虚拟对象时，确定所述虚拟射线的落点与该虚拟对象间的穿透距离；

在所述穿透距离大于等于预设吸附距离时，将所述虚拟射线的落点吸附到该虚拟对象在所述虚拟射线的指向方向下相邻的下一虚拟对象上；或者，

在所述虚拟射线的落点退回到任一虚拟对象的未穿透状态时，确定所述虚拟射线的落点与该虚拟对象间的穿透退回距离；

在所述穿透退回距离大于等于预设吸附距离时，将所述虚拟射线的落点吸附到该虚拟对象在所述虚拟射线的指向方向下相邻的上一虚拟对象上。

在一些可实现方式中，射线确定模块610，可以具体用于：

根据所述虚拟空间内虚拟控制器的位姿信息，确定所述虚拟射线的指向方向；

通过所述虚拟控制器，沿着所述指向方向发出所述虚拟射线。

在一些可实现方式中，所述虚拟控制器包括下述其中一种：

由左手操控模型和右手操控模型组成的双手操控模型中的任一单手操控模型；

由左手模型和右手模型组成的双手模型中的任一单手模型；

由真实左手投影和真实右手投影组成的真实双手投影中的任一真实单手投影。

本申请实施例中，在虚拟空间内会发出相应的虚拟射线来与各个虚拟对象进行交互。那么，在虚拟射线的指向方向下存在多个虚拟对象时，可以通过调节虚拟射线在虚拟空间内的落点深度，使虚拟射线的落点呈现于虚拟射线的指向方向下的任一虚拟对象上，从而实现通过虚拟射线对于任一虚拟对象的便捷交互，避免出现虚拟射线总是被最前方的虚拟对象截断，而无法与后方的虚拟对象进行交互的现象，确保虚拟空间内对于虚拟对象的交互全面性。而且，在虚拟空间内通过调节虚拟射线的落点深度，来选择待交互的任一虚拟对象，增强虚拟空间内的交互多样性和趣味性，提升虚拟空间内的交互氛围。

应理解的是，该装置实施例与本申请中的方法实施例可以相互对应，类似的描述可以参照本申请中的方法实施例。为避免重复，此处不再赘述。

具体地，图6所示的装置600可以执行本申请提供的任一方法实施例，并且图6所示的装置600中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的上述方法实施例。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图7为本申请实施例提供的电子设备的示意性框图。

如图7所示，该电子设备700可包括：

存储器710和处理器720，该存储器710用于存储计算机程序，并将该程序代码传输给该处理器720。换言之，该处理器720可以从存储器710中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器720可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器720可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器710包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器710中，并由该处理器720执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备700的执行过程。

如图7所示，该电子设备还可包括：

收发器730，该收发器730可连接至该处理器720或存储器710。

其中，处理器720可以控制该收发器730与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器730可以包括发射机和接收机。收发器730还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备700中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。

本申请实施例还提供一种包含计算机程序/指令的计算机程序产品，该计算机程序/指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (13)

1.一种人机交互方法，其特征在于，应用于扩展现实XR设备，所述方法包括：

确定虚拟空间内发出的虚拟射线；

响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度，使所述虚拟射线的落点呈现于所述虚拟射线的指向方向下的任一虚拟对象上。

2.根据权利要求1所述的方法，其特征在于，所述响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度，包括：

响应于所述虚拟射线的落点调节指令，确定所述虚拟射线的落点深度调节方向；

按照所述落点深度调节方向和预设定的落点深度调节幅度，动态调节所述虚拟射线的落点深度。

3.根据权利要求2所述的方法，其特征在于，所述虚拟射线的落点深度调节幅度由所述虚拟射线的指向方向下的虚拟对象疏密度来确定。

4.根据权利要求1所述的方法，其特征在于，所述虚拟射线的落点调节指令通过下述至少一项确定：

检测到所述虚拟空间内的双手操控模型中任一单手操控模型执行面向所述虚拟射线的落点调节操作；

检测到所述虚拟空间内的双手模型中任一单手模型或者真实双手投影中任一真实单手投影执行面向所述虚拟射线的落点调节手势；

获取到所述虚拟射线的落点调节语音。

5.根据权利要求4所述的方法，其特征在于，如果所述虚拟射线的落点调节手势和通过所述虚拟射线选中任一虚拟对象时的选中手势为同一目标手势，则所述方法还包括：

在检测到所述目标手势时，确定所述目标手势的持续时长；

如果所述持续时长大于等于预设持续阈值，则生成所述虚拟射线的落点调节指令；

如果所述持续时长小于预设持续阈值，则生成所述虚拟射线对于当前虚拟对象的选中指令；

其中，所述当前虚拟对象上呈现有所述虚拟射线的落点。

6.根据权利要求1所述的方法，其特征在于，在响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度时，还包括：

在所述虚拟射线的落点穿透任一虚拟对象或者退回到任一虚拟对象的未穿透状态时，调整所述虚拟对象在所述虚拟空间内的呈现透明度。

7.根据权利要求1所述的方法，其特征在于，在响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度时，还包括：

在所述虚拟射线的落点穿透任一虚拟对象时，确定所述虚拟射线的落点与该虚拟对象间的穿透距离；

在所述穿透距离大于等于预设吸附距离时，将所述虚拟射线的落点吸附到该虚拟对象在所述虚拟射线的指向方向下相邻的下一虚拟对象上；或者，

在所述虚拟射线的落点退回到任一虚拟对象的未穿透状态时，确定所述虚拟射线的落点与该虚拟对象间的穿透退回距离；

在所述穿透退回距离大于等于预设吸附距离时，将所述虚拟射线的落点吸附到该虚拟对象在所述虚拟射线的指向方向下相邻的上一虚拟对象上。

8.根据权利要求1所述的方法，其特征在于，所述确定虚拟空间内发出的虚拟射线，包括：

根据所述虚拟空间内虚拟控制器的位姿信息，确定所述虚拟射线的指向方向；

通过所述虚拟控制器，沿着所述指向方向发出所述虚拟射线。

9.根据权利要求8所述的方法，其特征在于，所述虚拟控制器包括下述其中一种：

由左手操控模型和右手操控模型组成的双手操控模型中的任一单手操控模型；

由左手模型和右手模型组成的双手模型中的任一单手模型；

由真实左手投影和真实右手投影组成的真实双手投影中的任一真实单手投影。

10.一种人机交互装置，其特征在于，配置于扩展现实XR设备，所述装置包括：

射线确定模块，用于确定虚拟空间内发出的虚拟射线；

射线交互模块，用于响应于所述虚拟射线的落点调节指令，调节所述虚拟射线在所述虚拟空间内的落点深度，使所述虚拟射线的落点呈现于所述虚拟射线的指向方向下的任一虚拟对象上。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-9任一项所述的人机交互方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的人机交互方法。

13.一种包含计算机程序/指令的计算机程序产品，其特征在于，当所述计算机程序产品包含的计算机程序/指令在电子设备上运行时，使得所述电子设备执行权利要求1-9任一项所述的人机交互方法。

Images