CN116400811A - 用于xr系统的人机交互方法、装置、存储介质和系统 - Google Patents

Abstract

本公开涉及一种用于XR系统的人机交互方法、装置、存储介质和系统，该方法包括：显示包括至少一个待操作对象的第一画面；响应于用于操作待操作对象的第一触发，获取用户的双手距离；在用户双手进行动作时，显示该至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；响应于对待操作对象的操作结果的第二触发，根据用户双手在第一触发到第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。本公开提出通过双手来操作第一画面中的待操作对象，实现从原始的第一画面逐渐过渡切换到目标画面，并且实时显示待操作对象的布局跟随用户双手动作进行变化的动态画面，为用户提供对于最终目标画面变化的预判。

Description

用于XR系统的人机交互方法、装置、存储介质和系统

技术领域

本公开涉及XR显示技术领域，具体地，涉及一种用于XR系统的人机交互方法、装置、存储介质和系统。

背景技术

XR(Extended Reality，扩展现实)是一个新兴概念，是指通过计算机技术和可穿戴设备产生的一个虚拟和现实组合、可人机交互的环境。XR包括VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)、MR(Mixed Reality，混合现实)等多种形式。

在目前的XR系统中，人机交互的操作大多依赖于UI点按，即需要将光标移动到相应区域后按键操作，在交互上较为不便，而且交互的功能依赖于UI，导致区域内UI信息过多，或者操作路径过深。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种用于XR系统的人机交互方法，包括：

显示包括至少一个待操作对象的第一画面；

响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；

在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；

响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

第二方面，本公开提供一种用于XR系统的人机交互装置，包括：

第一显示模块，用于显示包括至少一个待操作对象的第一画面；

第一触发模块，用于响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；

第二显示模块，用于在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；

第二触发模块，用于响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所提供的用于XR系统的人机交互方法的步骤。

第四方面，本公开提供一种XR系统，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所提供的用于XR系统的人机交互方法的步骤。

本公开提供了通过双手来操作XR系统画面的人机交互方法，一方面，使得XR系统画面中的待操作对象的布局能够被用户的双手动作所操控，并且实时显示待操作对象的布局跟随用户的双手距离进行对应变化的动态画面，另一方面，当接收到对待操作对象的操作结果的第二触发时，可以根据用户双手在第一触发到第二触发的过程中的距离变化状态，从当前的动态画面切换到相应的目标画面，从整体过程来看，实现了根据用户双手的动作，从原始的第一画面逐渐过渡切换到目标画面的效果，相较于现有技术中的UI点按方式，在交互操作上更加方便，学习成本低，而且不依赖于UI，可以实现实时触发。此外，用户可以从画面中直观看见待操作对象的布局跟随自己双手的动作而变化，由此提供对于最终目标画面变化的预判，即用户可以从动态画面预知到在触发对待操作对象的操作结果时，待操作对象可能会从画面的边缘飞出以过渡切换到目标画面，或者从画面的中心消失以过渡切换到目标画面。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1示出了一示例性实施例中的用于XR系统的人机交互方法的流程图；

图2示出了一示例性实施例中的用于XR系统的人机交互方法的又一流程图；

图3示出了多个窗口界面的布局跟随用户的双手距离进行变化的示意图；

图4示出了一示例性实施例中的用于XR系统的人机交互装置的框图；

图5示出了一示例性实施例中的XR系统的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。

同时，可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

目前XR系统的人机交互操作大部分集中在单手点按/拖拽，少部分使用手势进行操作，随着XR系统的发展以及功能增加，各个按键或者手势基本都被各个功能占用，如果想要加入新的交互操作，要么使用复杂的组合键，要么将交互的功能放置在UI菜单里，但是，使用复杂的组合键，操作成本高也不直观，将交互的功能放置在UI菜单里，使用起来操作路径长，无法实时触发。由此，本公开实施例提供一种人机交互方法，该交互方法满足了合理性和易用性，可以成为未来XR系统人机交互的重要操作方式。

图1示出了一示例性实施例中的用于XR系统的人机交互方法的流程图，请参照图1，该交互方法包括以下步骤：

步骤S110，显示包括至少一个待操作对象的第一画面。

首先，XR系统显示第一画面，该第一画面中包括一个或多个待操作对象，待操作对象可以是窗口界面，桌面界面，或者小组件的服务界面等。

步骤S120，响应于用于操作待操作对象的第一触发，获取用户的双手距离。

在本公开中，可以使用操作手柄或者手势来触发操作待操作对象以及触发操作结果。

在一种实现方式中，在XR系统所连接的操作手柄上的目标按键被按下的情况下，确定接收到用于操作待操作对象的第一触发。示例性地，目标按键可以是一个按键，或者多个按键的组合。示例性地，用户可以单手按下操作手柄上的其中一个按键，或者单手同时按下操作手柄上的两个或以上的按键，或者双手同时按下左右两个操作手柄上的同一按键或不同按键，或者双手同时按下左右两个操作手柄上的两个或以上的按键，当用户按下操作手柄上的目标按键，表示用户想要操作第一画面中的待操作对象，例如想要将第一画面中的待操作对象规律排布，或者将待操作对象从第一画面中移出以显示另外的目标画面。在目标按键被按下的情况下，确定接收到第一触发，于是响应于该第一触发，获取用户的双手距离。

在一种实现方式中，在识别到用户作出目标手势的情况下，确定接收到用于操作待操作对象的第一触发。示例性地，XR系统可以通过拍摄装置拍摄用户双手的手部图像，并识别手部图像中的手势，当识别到用户作出目标手势的情况下，确定接收到用于操作待操作对象的第一触发，于是响应于该第一触发，获取用户的双手距离。示例性地，目标手势例如可以是用户左手/右手/双手的大拇指与食指捏住，或者用户左手/右手/双手握拳等，具体而言，目标手势可以预先定义。

值得注意的是，用户的双手距离可以通过拍摄装置所拍摄的用户双手的手部图像进行图像识别得到，也可以根据操作手柄的姿态确定左右操作手柄间的手柄距离，将手柄距离作为用户的双手距离。

步骤S130，在用户双手进行动作时，显示该至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面。

在一种示例中，该至少一个待操作对象的布局变化与用户的双手距离的变化具有方向一致性，例如当用户的双手距离减小，则该至少一个待操作对象的布局向内缩放，当用户的双手距离增大，则该至少一个待操作对象的布局向外缩放。

可以理解的，用户双手可以向外扩张或者向内聚拢，在双手进行动作时，用户的双手距离将实时发生变化，而在用户的双手距离变化的过程中，将会显示该至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面，因此，用户可以从动态画面中直观看见随着自己双手向外扩张，该至少一个待操作对象向外缩放，随着自己双手向内聚拢，该至少一个待操作对象向内缩放。

在可选的实施例中，在用户双手进行动作的过程中，持续保持在第一触发的状态，例如持续按住操作手柄上的目标按键，或者持续保持目标手势。

步骤S140，响应于对待操作对象的操作结果的第二触发，根据用户双手在第一触发到第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

与第一触发的方式相对应地，在本公开中，可以通过松开操作手柄上的目标按键或者取消作出的目标手势，来触发对待操作对象的操作结果，从而获得对待操作对象的操作结果的第二触发。于是响应于该第二触发，先根据用户双手在第一触发到第二触发的过程中的距离变化状态确定对应的目标画面，再从当前的动态画面过渡切换到目标画面，其中，该距离变化状态可以包括用户双手的最终距离相较于初始距离的变化方向和/或变化程度，该最终距离为用户双手在第二触发所对应时刻的距离，该初始距离为用户双手在第一触发所对应时刻的距离。

通过上述技术方案，本公开提供了通过双手来操作XR系统画面的人机交互方法，使得XR系统画面中的待操作对象的布局能够被用户的双手动作所操控，并且实时显示待操作对象的布局跟随用户的双手距离进行对应变化的动态画面，当接收到对待操作对象的操作结果的第二触发时，可以根据用户双手在第一触发到第二触发的过程中的距离变化状态，从当前的动态画面切换到相应的目标画面，从整体过程来看，实现了根据用户双手的动作，从原始的第一画面逐渐过渡切换到目标画面的效果，相较于现有技术中的UI点按方式，在交互操作上更加方便，学习成本低，而且不依赖于UI，可以实现实时触发。

示例性地，当用户双手向外扩张或者向内聚拢时，动态画面中的待操作对象的布局跟随用户双手的动作而相应地向外缩放或向内缩放，用户可以从动态画面中直观看见待操作对象的布局跟随自己双手的动作而变化，由此提供对于最终目标画面变化的预判，即用户可以从动态画面预知到在触发对待操作对象的操作结果时，待操作对象可能会从画面的边缘飞出以过渡切换到目标画面，或者从画面的中心消失以过渡切换到目标画面。

在可选的实施例中，本公开提供的人机交互方法还包括：根据用户双手的初始距离，分别确定第一目标距离和第二目标距离；在第一触发消失时，如果用户的双手距离大于第一目标距离或者小于第二目标距离，则确定接收到对待操作对象的操作结果的第二触发。随后，响应于该第二触发，根据用户双手在第一触发到第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

在一示例性实施例中，可以根据用户双手的初始距离，以第一百分比和第二百分比分别确定该第一目标距离和该第二目标距离。其中，第一百分比大于1，第二百分比小于1。例如，第一百分比设置为1.4，第二百分比设置为0.3。

在可选的实施例中，本公开提供的人机交互方法还包括：在第一触发消失时，如果用户的双手距离未大于第一目标距离且未小于第二目标距离，则从当前的动态画面恢复到该第一画面。

在上述过程中，当第一触发消失时，例如松开操作手柄上的目标按键或者取消作出的目标手势，需要判断此时的双手距离是否大于第一目标距离或者是否小于第二目标距离，如果双手距离大于第一目标距离，则表示双手向外扩张后的距离达到触发条件，如果双手距离小于第二目标距离，则表示双手向内聚拢后的距离达到触发条件，因此在满足上述任一判断条件时，均可以认为接收到对待操作对象的操作结果的第二触发，从而过渡切换到目标画面。而在上述两个判断条件均不满足时，则需要从当前的动态画面恢复到原始的第一画面。

通过上述技术方案，可以在第一触发消失时，基于双手距离进行相应判断，以确定是切换到对应的目标画面，还是恢复原始的第一画面。

在可选的实施例中，本公开提供的人机交互方法还包括：根据用户双手的初始距离，确定第三目标距离；在第一触发未消失的情况下，如果用户的双手距离大于第三目标距离，则确定接收到对待操作对象的操作结果的第二触发。其中，第三目标距离大于第一目标距离。

在一示例性实施例中，可以根据用户双手的初始距离，以第三百分比确定第三目标距离。其中，第三百分比大于第一百分比，例如第三百分比设置为2。

需要说明的是，在前一实施例的过程中，是在第一触发消失时，例如松开操作手柄上的目标按键或者取消作出的目标手势，才基于双手距离进行相应判断，以确定是切换到对应的目标画面，还是恢复原始的第一画面。而在该实施例中，则是在第一触发未消失的情况下实时对双手距离进行相应判断，如果确定用户的双手距离已经大于第三目标距离，则表示用户具有切换画面的强意图，因此可以直接确定接收到对待操作对象的操作结果的第二触发。

在可选的实施例中，请参照图2，步骤S140具体包括以下步骤：

步骤S210，根据用户双手在第一触发到第二触发的过程中的距离变化状态，确定对应的操作事件。

其中，距离变化状态可以包括用户双手的最终距离相较于初始距离的变化方向和/或变化程度，该最终距离为用户双手在第二触发所对应时刻的距离，该初始距离为用户双手在第一触发所对应时刻的距离。

在一种实施例中，可以预先定义不同的操作事件，响应于对待操作对象的操作结果的第二触发，可以根据待操作对象的数量和/或类型，以及用户双手在第一触发到第二触发的过程中的距离变化状态，确定对应的操作事件。

例如，对于多个窗口界面，假设用户双手在第一触发到第二触发的过程中的变化方向为向外扩张，且向外扩张的变化程度超过初始距离的第四百分比，则确定对应的操作事件为将多个窗口界面进行规律排布，或者，如果向外扩张的变化程度超过初始距离的第五百分比，则确定对应的操作事件为切换至目标小组件的服务界面。

又例如，对于一个目标小组件的服务界面，假设用户双手在第一触发到第二触发的过程中的变化方向为向外扩张，且向外扩张的变化程度超过初始距离的第六百分比，则确定对应的操作事件为切换至桌面界面。

可以理解的，上述举例仅仅是对操作事件的示例性说明，并不表示对本公开的限定，实际情况下，用户可以自由定义各种操作事件。

步骤S220，根据操作事件确定目标画面，目标画面包括将该至少一个待操作对象进行规律排布后的画面，或者桌面界面，或者目标小组件的服务界面。

步骤S230，从当前的动态画面过渡切换到目标画面。

在一种示例性实施例中，以该至少一个待操作对象为多个窗口界面为例，图3示出了多个窗口界面的布局跟随用户的双手距离进行变化的示意图。参见图3，原始的第一画面中包括多个凌乱的窗口界面，当用户双手向外扩张，该多个窗口界面的布局跟随双手距离的增大而逐渐向外缩放，在接收到第二触发后，在一种可能的实现方式中，可以切换到将多个窗口界面进行规律排布后的画面，在又一种可能的实现方式中，可以切换到天气小组件所对应的天气服务界面。

综上所述，通过本公开提供的人机交互方法，能够使用双手来操作XR系统画面，在多窗口的复杂场景下可以快速便捷地切换画面，或者唤起所需的小组件服务，此外还可以将凌乱堆叠的多个窗口进行规律排布，便于用户快速找到所需要的窗口。

此外，该交互方式可以实时响应触发，在触发切换目标画面前可以随时打断放弃，从而使画面恢复原状，或者反方向触发其他事件，比如双手由向外扩张变为向内聚拢，以触发向内聚拢情况下所定义的操作事件。

图4示出了一示例性实施例中的用于XR系统的人机交互装置的框图，请参照图4，用于XR系统的人机交互装置400包括：

第一显示模块410，用于显示包括至少一个待操作对象的第一画面；

第一触发模块420，用于响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；

第二显示模块430，用于在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；

第二触发模块440，用于响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

在可选的实施例中，当用户的双手距离减小，则所述至少一个待操作对象的布局向内缩放，当用户的双手距离增大，则所述至少一个待操作对象的布局向外缩放。

在可选的实施例中，第一触发模块420用于，在XR系统所连接的操作手柄上的目标按键被按下的情况下，或者，在识别到用户作出目标手势的情况下，确定接收到用于操作所述待操作对象的第一触发。

在可选的实施例中，第二触发模块440用于，根据用户双手的初始距离，分别确定第一目标距离和第二目标距离；其中，所述初始距离为用户双手在所述第一触发所对应时刻的距离；在所述第一触发消失时，如果用户的双手距离大于所述第一目标距离或者小于所述第二目标距离，则确定接收到对所述待操作对象的操作结果的第二触发。

在可选的实施例中，人机交互装置400还包括画面恢复模块，用于在所述第一触发消失时，如果用户的双手距离未大于所述第一目标距离且未小于所述第二目标距离，则从当前的动态画面恢复到所述第一画面。

在可选的实施例中，第二触发模块440用于，根据用户双手的初始距离，确定第三目标距离，所述第三目标距离大于所述第一目标距离；在所述第一触发未消失的情况下，如果用户的双手距离大于所述第三目标距离，则确定接收到对所述待操作对象的操作结果的第二触发。

在可选的实施例中，第二触发模块440用于，根据用户双手的初始距离，以第一百分比和第二百分比分别确定所述第一目标距离和所述第二目标距离；其中，所述第一百分比大于1，所述第二百分比小于1。

在可选的实施例中，第二触发模块440用于，根据用户双手的初始距离，以第三百分比确定第三目标距离；其中，所述第三百分比大于所述第一百分比。

在可选的实施例中，第二触发模块440用于，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，确定对应的操作事件；根据所述操作事件确定目标画面，所述目标画面包括将所述至少一个待操作对象进行规律排布后的画面，或者桌面界面，或者目标小组件的服务界面；从当前的动态画面过渡切换到目标画面。

在可选的实施例中，所述距离变化状态包括用户双手的最终距离相较于初始距离的变化方向和/或变化程度，所述最终距离为用户双手在第二触发所对应时刻的距离，所述初始距离为用户双手在第一触发所对应时刻的距离。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

下面参考图5，其示出了适于用来实现本公开实施例的XR系统600的结构示意图。本公开实施例中的XR系统600可以包括但不限于具有VR功能的VR设备，具备AR功能的AR设备，或者具备MR功能的MR设备等。图5示出的XR系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，XR系统600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有XR系统600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、麦克风、加速度计、陀螺仪、操作手柄、拍摄装置等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；存储装置608；以及通信装置609。通信装置609可以允许XR系统600与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的XR系统600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述XR系统中所包含的；也可以是单独存在，而未装配入该XR系统中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该XR系统执行时，使得该XR系统：显示包括至少一个待操作对象的第一画面；响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一显示模块还可以被描述为“显示包括至少一个待操作对象的第一画面的模块”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例，示例1提供了一种用于XR系统的人机交互方法，所述方法包括：

显示包括至少一个待操作对象的第一画面；

响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；

在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；

响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

根据本公开的一个或多个实施例，示例2提供了示例1的方法，当用户的双手距离减小，则所述至少一个待操作对象的布局向内缩放，当用户的双手距离增大，则所述至少一个待操作对象的布局向外缩放。

根据本公开的一个或多个实施例，示例3提供了示例1的方法，还包括：

在XR系统所连接的操作手柄上的目标按键被按下的情况下，或者，在识别到用户作出目标手势的情况下，确定接收到用于操作所述待操作对象的第一触发。

根据本公开的一个或多个实施例，示例4提供了示例1的方法，还包括：

根据用户双手的初始距离，分别确定第一目标距离和第二目标距离；其中，所述初始距离为用户双手在所述第一触发所对应时刻的距离；

在所述第一触发消失时，如果用户的双手距离大于所述第一目标距离或者小于所述第二目标距离，则确定接收到对所述待操作对象的操作结果的第二触发。

根据本公开的一个或多个实施例，示例5提供了示例4的方法，还包括：

在所述第一触发消失时，如果用户的双手距离未大于所述第一目标距离且未小于所述第二目标距离，则从当前的动态画面恢复到所述第一画面。

根据本公开的一个或多个实施例，示例6提供了示例4的方法，还包括：

根据用户双手的初始距离，确定第三目标距离，所述第三目标距离大于所述第一目标距离；

在所述第一触发未消失的情况下，如果用户的双手距离大于所述第三目标距离，则确定接收到对所述待操作对象的操作结果的第二触发。

根据本公开的一个或多个实施例，示例7提供了示例6的方法，所述根据用户双手的初始距离，分别确定第一目标距离和第二目标距离，包括：

根据用户双手的初始距离，以第一百分比和第二百分比分别确定所述第一目标距离和所述第二目标距离；其中，所述第一百分比大于1，所述第二百分比小于1。

根据本公开的一个或多个实施例，示例8提供了示例7的方法，所述根据用户双手的初始距离，确定第三目标距离，包括：

根据用户双手的初始距离，以第三百分比确定第三目标距离；其中，所述第三百分比大于所述第一百分比。

根据本公开的一个或多个实施例，示例9提供了示例1至8中的任一示例的方法，所述根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面，包括：

根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，确定对应的操作事件；

根据所述操作事件确定目标画面，所述目标画面包括将所述至少一个待操作对象进行规律排布后的画面，或者桌面界面，或者目标小组件的服务界面；

从当前的动态画面过渡切换到目标画面。

根据本公开的一个或多个实施例，示例10提供了示例9的方法，所述距离变化状态包括用户双手的最终距离相较于初始距离的变化方向和/或变化程度，所述最终距离为用户双手在第二触发所对应时刻的距离，所述初始距离为用户双手在第一触发所对应时刻的距离。

根据本公开的一个或多个实施例，示例11提供了一种用于XR系统的人机交互装置，包括：

第一显示模块，用于显示包括至少一个待操作对象的第一画面；

第一触发模块，用于响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；

第二显示模块，用于在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；

第二触发模块，用于响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

根据本公开的一个或多个实施例，示例12提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至10中的任一示例所提供的方法。

根据本公开的一个或多个实施例，示例13提供了一种XR系统，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至10中的任一示例所提供的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种用于XR系统的人机交互方法，其特征在于，所述方法包括：

显示包括至少一个待操作对象的第一画面；

响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；

在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；

响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

2.根据权利要求1所述的方法，其特征在于，当用户的双手距离减小，则所述至少一个待操作对象的布局向内缩放，当用户的双手距离增大，则所述至少一个待操作对象的布局向外缩放。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在XR系统所连接的操作手柄上的目标按键被按下的情况下，或者，在识别到用户作出目标手势的情况下，确定接收到用于操作所述待操作对象的第一触发。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据用户双手的初始距离，分别确定第一目标距离和第二目标距离；其中，所述初始距离为用户双手在所述第一触发所对应时刻的距离；

在所述第一触发消失时，如果用户的双手距离大于所述第一目标距离或者小于所述第二目标距离，则确定接收到对所述待操作对象的操作结果的第二触发。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述第一触发消失时，如果用户的双手距离未大于所述第一目标距离且未小于所述第二目标距离，则从当前的动态画面恢复到所述第一画面。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据用户双手的初始距离，确定第三目标距离，所述第三目标距离大于所述第一目标距离；

在所述第一触发未消失的情况下，如果用户的双手距离大于所述第三目标距离，则确定接收到对所述待操作对象的操作结果的第二触发。

7.根据权利要求6所述的方法，其特征在于，所述根据用户双手的初始距离，分别确定第一目标距离和第二目标距离，包括：

根据用户双手的初始距离，以第一百分比和第二百分比分别确定所述第一目标距离和所述第二目标距离；其中，所述第一百分比大于1，所述第二百分比小于1。

8.根据权利要求7所述的方法，其特征在于，所述根据用户双手的初始距离，确定第三目标距离，包括：

根据用户双手的初始距离，以第三百分比确定第三目标距离；其中，所述第三百分比大于所述第一百分比。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面，包括：

根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，确定对应的操作事件；

根据所述操作事件确定目标画面，所述目标画面包括将所述至少一个待操作对象进行规律排布后的画面，或者桌面界面，或者目标小组件的服务界面；

从当前的动态画面过渡切换到目标画面。

10.根据权利要求9所述的方法，其特征在于，所述距离变化状态包括用户双手的最终距离相较于初始距离的变化方向和/或变化程度，所述最终距离为用户双手在第二触发所对应时刻的距离，所述初始距离为用户双手在第一触发所对应时刻的距离。

11.一种用于XR系统的人机交互装置，其特征在于，所述装置包括：

第一显示模块，用于显示包括至少一个待操作对象的第一画面；

第一触发模块，用于响应于用于操作所述待操作对象的第一触发，获取用户的双手距离；

第二显示模块，用于在用户双手进行动作时，显示所述至少一个待操作对象的布局跟随用户的双手距离进行对应变化的动态画面；

第二触发模块，用于响应于对所述待操作对象的操作结果的第二触发，根据用户双手在所述第一触发到所述第二触发的过程中的距离变化状态，从当前的动态画面过渡切换到对应的目标画面。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-10中任一项所述方法的步骤。

13.一种XR系统，其特征在于，包括：

存储装置，其上存储有计算机程序；

处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-10中任一项所述方法的步骤。

Images