CN117826993A - 信息显示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种信息显示方法、装置、电子设备及存储介质，属于计算机技术领域。所述方法包括：获取用户当前的头部位姿信息和头部移动信息；根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置；在所述眼部注视点位置处显示视觉指示信息。本申请能够准确确定视觉指示信息的显示位置，提高交互的准确性，且提高交互的流畅性和自然感。

Description

信息显示方法、装置、电子设备及存储介质

技术领域

本申请属于计算机技术领域，尤其涉及一种信息显示方法、装置、电子设备及存储介质。

背景技术

扩展现实(Extended Reality，XR)技术可以通过计算机将真实与虚拟相结合，为用户提供可人机交互的虚拟现实空间。在虚拟现实空间中，用户可以通过扩展现实XR设备进行社交互动、娱乐、学习和工作等，实现人机交互。人机交互的方式可以包括眼动追踪和手势识别等多种交互方式。眼动追踪通过对眼球进行追踪，确定人眼注视点，以根据人眼注视点控制虚拟现实空间中的光标。相较于其他交互方式，眼动追踪交互更加流畅和自然。

但是，一些扩展现实设备的硬件性能受限，眼动追踪精度相对较低，从而无法准确确定光标位置，影响交互的准确性。另外，一些扩展现实设备的眼动追踪功能故障或者不具备眼动追踪功能，采用其他交互方式，影响交互的流畅性和自然感，从而影响用户交互体验。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种信息显示方法、装置、电子设备及存储介质，能够准确确定视觉指示信息的显示位置，提高交互的准确性，且提高交互的流畅性和自然感。

第一方面，本申请提供了一种信息显示方法，该方法包括：

获取用户当前的头部位姿信息和头部移动信息；

根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置；

在所述眼部注视点位置处显示视觉指示信息。

根据本申请的信息显示方法，通过获取用户当前的头部位姿信息和头部移动信息，以根据用户当前的部位姿信息和头部移动信息，预测用户在扩展现实空间中的眼部注视点位置，即无需获取眼动信息，准确预测眼部注视点位置，并在眼部注视点位置处显示视觉指示信息，即准确确定视觉指示信息的显示位置，提高交互的准确性，且通过预测眼部注视点位置来模拟眼动追踪，提高交互的流畅性和自然感，从而提高用户交互体验。

根据本申请的一个实施例，所述根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置，包括：

根据用户当前的所述头部位姿信息，确定用户在虚拟现实空间中的头部注视点位置；

根据所述头部注视点位置和所述头部移动信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

根据本申请的一个实施例，所述根据所述头部注视点位置和所述头部移动信息，预测用户在所述虚拟现实空间中的眼部注视点位置，包括：

确定所述头部移动信息对应的注视点偏移信息；

根据所述头部注视点位置和所述注视点偏移信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

根据本申请的一个实施例，所述根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置，包括：

将用户当前的所述头部位姿信息和所述头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置。

根据本申请的一个实施例，所述方法还包括：

获取注视点影响信息；

所述将用户当前的所述头部位姿信息和所述头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置，包括：

将用户当前的所述头部位姿信息、所述头部移动信息和所述注视点影响信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中与所述注视点影响信息相对应的眼部注视点位置。

根据本申请的一个实施例，所述注视点影响信息包括用户所处真实环境的环境信息、交互场景类型、交互任务类型、交互应用程序类型、用户角色类型和用户行为信息中的至少一种。

根据本申请的一个实施例，所述眼部注视点预测模型的训练方法包括：

获取历史眼部信息和历史头部信息，所述历史眼部信息包括历史眼动信息和历史眼部移动信息，所述历史头部信息包括历史头部位姿信息和历史头部移动信息；

根据所述历史眼部信息和所述历史头部信息，对所述眼部注视点预测模型进行训练。

根据本申请的一个实施例，所述头部移动信息包括头部移动速度和头部移动加速度中的至少一个。

第二方面，本申请提供了一种信息显示装置，该装置包括：

获取模块，用于获取用户当前的头部位姿信息和头部移动信息；

预测模块，用于根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置；

显示模块，用于在所述眼部注视点位置处显示视觉指示信息。

根据本申请的信息显示装置，通过获取用户当前的头部位姿信息和头部移动信息，以根据用户当前的部位姿信息和头部移动信息，预测用户在扩展现实空间中的眼部注视点位置，即无需获取眼动信息，准确预测眼部注视点位置，并在眼部注视点位置处显示视觉指示信息，即准确确定视觉指示信息的显示位置，提高交互的准确性，且通过预测眼部注视点位置来模拟眼动追踪，提高交互的流畅性和自然感，从而提高用户交互体验。

第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的信息显示方法。

第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的信息显示方法。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的信息显示方法。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：

通过获取用户当前的头部位姿信息和头部移动信息，以根据用户当前的部位姿信息和头部移动信息，预测用户在扩展现实空间中的眼部注视点位置，即无需获取眼动信息，准确预测眼部注视点位置，并在眼部注视点位置处显示视觉指示信息，即准确确定视觉指示信息的显示位置，提高交互的准确性，且通过预测眼部注视点位置来模拟眼动追踪，提高交互的流畅性和自然感，从而提高用户交互体验。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的信息显示方法的流程示意图；

图2是本申请实施例提供的信息显示方法中头部移动速度和眼部移动速度的关系曲线图；

图3是本申请实施例提供的信息显示方法中头部注视点和眼部注视点的关系示意图；

图4是本申请实施例提供的信息显示装置的结构示意图；

图5是本申请实施例提供的电子设备的结构示意图；

图6是本申请实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的信息显示方法、装置、电子设备及存储介质进行详细地说明。

其中，信息显示方法可应用于终端，具体可由终端中的硬件或软件执行。

图1为本申请实施例提供的一种信息显示方法的流程示意图。

本申请实施例提供的信息显示方法，该信息显示方法的执行主体可以为电子设备或者电子设备中能够实现该交互方法的功能模块或功能实体，下面以电子设备作为执行主体为例对本申请实施例提供的交互方法进行说明。其中，电子设备可以为虚拟现实VR(Virtual Reality)设备、增强现实AR(Augmented Reality)设备、扩展现实XR(ExtendedReality)设备或混合现实MR(Mixed Reality)设备等。

如图1所示，该信息显示方法包括：步骤110、步骤120和步骤130。

步骤110、获取用户当前的头部位姿信息和头部移动信息。

电子设备可以包括头戴设备，头戴设备佩戴在用户头部。通过头戴设备可以实时采集用户的头部位姿信息和头部移动信息。其中，头部位姿信息可以包括头部位置信息和头部姿态信息，头部姿态信息可以包括头部的俯仰(pitch)、偏航(yaw)和翻滚(roll)角度。头部移动信息可以包括头部移动速度和头部移动加速度中的至少一个。

步骤120、根据用户当前的头部位姿信息和头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置。

其中，虚拟现实空间可以为电子设备针对用户选择的某一真实互动场景而模拟出的相应虚拟环境，以便在虚拟现实空间内进行相应的互动。其中，虚拟现实空间可以是对真实世界的仿真环境，也可以是半仿真半虚拟的虚拟场景，也可以是纯虚拟的虚拟场景。

用户可以通过电子设备进入虚拟现实空间，虚拟现实空间中具有交互对象，用户可以在虚拟现实空间中与交互对象进行交互。

在电子设备的眼动追踪精度较低，或者眼动追踪功能出现障碍，或者不具备眼动追踪功能的情况下，本实施例可以通过获取用户的头部位姿信息和头部移动信息，以根据用户当前的头部位姿信息和头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置。

在一些实施例中，步骤120中的根据用户当前的头部位姿信息和头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置，包括：

根据用户当前的头部位姿信息，确定用户在虚拟现实空间中的头部注视点位置；

根据头部注视点位置和头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置。

头部注视点位置是指从头部向外发射的头部虚拟射线指向虚拟现实空间中的位置。根据用户当前的头部位姿信息，可以确定头部虚拟射线的方向，进而确定头部虚拟射线指向虚拟现实空间中的位置，即为用户在虚拟现实空间中的头部注视点位置，该头部注视点位置可以包括空间位置坐标。

眼部注视点位置是指从眼部向外发射的眼部虚拟射线指向虚拟现实空间中的位置。本实施例中的电子设备的眼动追踪精度较低，或者眼动追踪功能出现障碍，或者不具备眼动追踪功能，因此本实施例中的电子设备可以不通过对眼球进行追踪来确定眼部虚拟射线指向虚拟空间中的位置，而是通过对头部进行追踪来预测眼部虚拟射线指向虚拟现实空间中的位置，即预测眼部注视点位置。

由于相同时间内，头部运动信息与眼部运动信息不同，导致头部注视点位置与眼部注视点位置不同。如图2所示，在用户头部运动过程中，用户眼部(即眼球)也会运动，且用户的眼部移动速度大于用户的头部移动速度，用户的眼部移动加速度大于用户的头部移动加速度，进而导致用户的头部注视点与眼部注视点位于不同位置，即眼部注视点相对于头部注视点存在一定的偏移。

在一些实施例中，根据头部注视点位置和头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置的步骤，包括：

确定头部移动信息对应的注视点偏移信息；

根据头部注视点位置和注视点偏移信息，预测用户在虚拟现实空间中的眼部注视点位置。

其中，注视点偏移信息是指眼部注视点位置相对于头部注视点位置的偏移信息。头部移动信息不同，对应的注视点偏移信息不同。

头部移动信息对应的注视点偏移信息的确定方法可以有多种。

在第一实施方式中，预先设置头部移动信息与注视点偏移信息的对应关系。例如，头部移动信息包括头部移动速度和头部移动加速度。头部移动速度越大，对应的注视点偏移信息越大；头部移动加速度越大，对应的注视点偏移信息越大。

在获取用户当前的头部移动信息后，根据预先设置的头部移动信息与注视点偏移信息的对应关系，即可确定用户当前的头部移动信息对应的注视点偏移信息。

其中，头部移动信息与注视点偏移信息的对应关系可以根据历史头部信息和历史眼部信息来设置。历史头部信息和历史眼部信息可以是本实施例中的电子设备(眼动追踪功能未出现故障时)或者其他电子设备(如具备眼动追踪功能且眼动追踪精度较高的电子设备)历史采集的信息。

历史头部信息可以包括历史头部位姿信息和历史头部移动信息，历史头部位姿信息可以确定历史头部注视点位置，历史头部移动信息包括历史头部移动速度和历史头部移动加速度中的至少一种。历史眼部信息可以包括历史眼动信息和历史移动信息，历史眼动信息是通过对眼球进行追踪而采集的信息，历史眼动信息可以确定历史眼部注视点位置，历史移动信息包括历史眼部移动速度和历史眼部移动加速度中的至少一种。

根据相同历史时间内的历史头部信息和历史眼部信息，可以设置头部移动信息与注视点偏移信息的对应关系。根据头部移动信息与注视点偏移信息的对应关系，确定用户当前的头部移动信息对应的注视点偏移信息。根据用户当前的头部注视点位置和对应的注视点偏移信息，即可预测出用户当前的眼部注视点位置。

在第二实施方式中，由于眼部移动速度/加速度大于头部移动速度/加速度，因此可以设置一个间隔时长，并假设在该间隔时长内头部移动加速度固定，根据该间隔时长、头部移动速度和头部移动加速度，并采用预测算法，计算用户当前的头部移动信息对应的注视点偏移信息。

其中，间隔时长可根据头部运动特性和眼部运动特性进行调整和优化。例如，根据历史头部信息和历史眼部信息来调整和优化间隔时长。历史头部信息和历史眼部信息可以是本实施例中的电子设备(眼动追踪功能未出现故障时)或者其他电子设备(如具备眼动追踪功能且眼动追踪精度较高的电子设备)历史采集的信息。

在根据该间隔时长、头部移动速度和头部移动加速度计算出用户当前的头部移动信息对应的注视点偏移信息后，根据用户当前的头部注视点位置和对应的注视点偏移信息，即可预测出用户当前的眼部注视点位置。

如图3所示，用户1的头部佩戴头戴设备2，通过头戴设备2获取用户当前的头部位姿信息和头部移动信息，根据用户当前的头部位姿信息，确定头部虚拟射线指向虚拟现实空间中的位置，即头部注视点位置(头部注视点3的位置)。根据用户当前的头部移动信息，确定对应的注视点偏移信息。根据对应的注视点偏移信息，将头部注视点位置进行偏移，模拟眼部虚拟射线指向虚拟现实空间中的位置，即预测出用户当前的眼部注视点位置(眼部注视点4的位置)。

在一些实施例中，步骤120中的根据用户当前的头部位姿信息和头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置，包括：

将用户当前的头部位姿信息和头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置。

本实施例中，通过构建并训练眼部注视点预测模型，以将用户当前的头部位姿信息和头部移动信息输入至已训练好的眼部注视点模型，使眼部注视点模型分析头部注视点位置与眼部注视点位置的对应关系，从而预测出用户的眼部注视点位置。其中，眼部注视点预测模型可以为神经网络模型，如卷积神经网络或循环神经网络等，也可以为其他模型，此处不作具体限定。

其中，眼部注视点预测模型的训练方法包括：

获取历史眼部信息和历史头部信息，历史眼部信息包括历史眼动信息和历史眼部移动信息，历史头部信息包括历史头部位姿信息和历史头部移动信息；

根据历史眼部信息和历史头部信息，对眼部注视点预测模型进行训练。

历史头部信息和历史眼部信息可以是本实施例中的电子设备(眼动追踪功能未出现故障时)或者其他电子设备(如具备眼动追踪功能且眼动追踪精度较高的电子设备)历史采集的信息。

历史头部信息可以包括历史头部位姿信息和历史头部移动信息，历史头部位姿信息可以确定历史头部注视点位置，历史头部移动信息包括历史头部移动速度和历史头部移动加速度中的至少一种。历史眼部信息可以包括历史眼动信息和历史移动信息，历史眼动信息是通过对眼球进行追踪而采集的信息，历史眼动信息可以确定历史眼部注视点位置，历史移动信息包括历史眼部移动速度和历史眼部移动加速度中的至少一种。

将相同历史时间内的历史头部信息和历史眼部信息输入至眼部注视点预测模型，以对眼部注视点预测模型进行训练。在眼部注视点预测模型完成训练后，将用户当前的头部位姿信息和头部移动信息输入至眼部注视点预测模型，即可预测出用户当前的眼部注视点位置。

在一些实施例中，该信息显示方法还包括：

获取注视点影响信息。

需要说明的是，针对不同的场景和不同的用户，交互行为也会存在不同。针对不同的交互行为，可以调整用户的眼部注视点位置，以更加符合用户的行为意图。

注视点影响信息是指可以影响用户的眼部注视点位置的信息。在一些实施例中，注视点影响信息可以包括用户所处真实环境的环境信息、交互场景类型、交互任务类型、交互应用程序类型、用户角色类型和用户行为信息等中的至少一种。

其中，用户所处真实环境的环境信息可以包括用户所处真实环境的亮度等。环境信息的变化，会影响电子设备的信息采集，进而影响眼部注视点位置。

交互场景类型是指虚拟现实空间对应的虚拟环境的类型，如游戏场景、工作场景和教育场景等。在不同类型的交互场景中，交互要求可以不同，眼部注视点位置的要求也可以不同。例如，在游戏场景中，对眼部注视点位置的精准度要求更高，响应速度更快。

交互任务类型是指用户所执行的任务的类型，如搜索、点击和输入等。在用户执行不同类型的交互任务时，交互要求可以不同，眼部注视点位置的要求也可以不同。

交互应用程序类型是指用户交互的应用程序的类型，如浏览器、办公软件和游戏等。用户在使用不同类型的应用程序，交互要求可以不同，眼部注视点位置的要求也可以不同。

用户角色类型是指用户交互时的角色类型，如玩家、工作人员和学生等。在用户处于不同类型的角色时，交互要求可以不同，眼部注视点位置的要求也可以不同。

用户行为信息是指用户交互过程中所表现的行为信息，如用户操作习惯、用户所在位置、用户的情绪状态和用户的认知水平等。用户操作习惯可以包括用户的惯用手和用户的惯用操作方式等。用户所在位置可以包括办公室、家和公共场所等。用户的情绪状态可以包括兴奋、疲劳和焦虑等。用户的认知水平可以包括初级、中级和高级等。在用户表现不同的行为时，交互要求可以不同，眼部注视点位置的要求也可以不同。

在获取注视点影响信息的情况下，将用户当前的头部位姿信息和头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置的步骤，包括：

将用户当前的头部位姿信息、头部移动信息和注视点影响信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中与注视点影响信息相对应的眼部注视点位置。

将用户当前的头部位姿信息、头部移动信息和注视点影响信息输入至眼部注视点预测模型，使眼部注视点预测模型可以针对不同的注视点影响信息分析头部注视点位置与眼部注视点位置的对应关系，从而预测出与注视点影响信息相对应的眼部注视点位置。

注视点影响信息的使用可以为眼部注视点预测模型提供上下文信息，帮助眼部注视点模型理解用户的行为背景。例如，注视点影响信息包括交互场景类型，在交互场景类型为游戏场景的情况下，眼部注视点模型基于游戏场景分析用户下一步操作与游戏相关，从而结合游戏相关操作和头部注视点位置，预测用户的眼部注视点位置。

注视点影响信息的使用可以提高眼部注视点位置的预测准确性。例如，注视点影响信息包括交互任务类型，在交互任务类型为搜索的情况下，眼部注视点模型基于搜索任务分析用户下一步的操作为点击搜索结果，从而结合点击搜索结果的操作和头部注视点位置，预测用户的眼部注视点位置。

注视点影响信息的使用可以扩宽应用范围。例如，注视点影响信息包括用户行为信息，眼部注视点模型基于用户行为信息分析用户交互行为，从而结合用户交互行为和头部注视点位置，预测用户的眼部注视点位置。

本实施例结合注视点影响信息，可以帮助眼部注视点模型更好地理解用户的行为意图，从而提高预测准确性，拓宽应用范围，实现更高级和更复杂的交互预测，适用于高度个性化和上下文敏感的交互设计。

在获取注视点影响信息的情况下，眼部注视点预测模型的训练方法包括：

获取历史眼部信息、历史头部信息和交互点影响信息，历史眼部信息包括历史眼动信息和历史眼部移动信息，历史头部信息包括历史头部位姿信息和历史头部移动信息；根据历史眼部信息、历史头部信息和交互点影响信息，对眼部注视点预测模型进行训练。

将交互点影响信息以及相同历史时间内的历史头部信息和历史眼部信息输入至眼部注视点预测模型，以对眼部注视点预测模型进行训练。在眼部注视点预测模型完成训练后，将交互点影响信息以及用户当前的头部位姿信息和头部移动信息输入至眼部注视点预测模型，即可预测出用户当前的眼部注视点位置。

步骤130、在眼部注视点位置处显示视觉指示信息。

在预测眼部注视点位置后，可以将注视点位置作为视觉指示信息的位置，将视觉指示信息移动至该位置。其中，视觉指示信息用于指示当前的交互位置。视觉指示信息可以以光标或手势图标等形式展现。

本实施例通过头部位姿信息和头部移动信息，准确预测眼部注视点位置，从而准确确定视觉指示信息的位置，准确控制视觉指示信息的移动，提高交互的准确性。而且，通过预测眼部注视点位置来模拟眼动追踪，提高交互的流畅性和自然感，特别是在快速或连续移动中，适用于动态和复杂的交互环境。

在确定视觉指示信息的位置后，将视觉指示信息移动至该位置处，确定视觉指示信息指向的交互对象。在确定视觉指示信息对应的交互对象后，可以采用高亮显示和/或放大显示等视觉效果来显示该交互对象，以提醒用户当前选中的交互对象。

若视觉指示信息未指向任何交互对象，则可以检测视觉指示信息是否位于某交互对象的交互范围内，该交互范围可以预先设置。若视觉指示信息位于某交互对象的交互范围内，则将该交互对象作为用户可能选择的潜在交互对象，可以采用高亮显示和/或放大显示等视觉效果来显示该潜在交互对象，以提醒用户当前选中的交互对象。

在选中交互对象后，可以触发该交互对象的相关事件。相关事件可以为任何事件。例如，相关事件可以包括展示提示信息、展示特效和执行操作中的至少一种。相关事件还可以包括其他事件，此处不作具体限定。

展示的提示信息可以为针对交互对象的介绍或操作说明等，通过对提示信息的展示有助于用户了解或操作待交互物体。提示信息可以包括文字信息、语音信息、二维图像信息和三维图像信息中的至少一种。换言之，提示信息可以通过文字、语音、二维图片或三维动态演示等方式进行展示，此处不作具体限定。

展示的特效可以包括声音特效和视觉特效中的至少一种。例如，交互对象为待射击物体，选中待射击物体后，可以触发对待射击物体进行射击的特效等。

执行的操作可以为任意与交互对象相关联的操作。例如，交互对象为按钮，选中按钮后，可以触发对按钮的按压操作等。

本实施例在准确确定视觉指示信息的位置后，确定视觉指示信息指向的交互对象，触发交互对象对应的相关事件，实现用户与交互对象的丰富交互，提高用户的交互体验。

根据本申请实施例提供的信息显示方法，通过获取用户当前的头部位姿信息和头部移动信息，以根据用户当前的部位姿信息和头部移动信息，预测用户在扩展现实空间中的眼部注视点位置，即无需获取眼动信息，准确预测眼部注视点位置，并在眼部注视点位置处显示视觉指示信息，即准确确定视觉指示信息的显示位置，提高交互的准确性，且通过预测眼部注视点位置来模拟眼动追踪，提高交互的流畅性和自然感，从而提高用户交互体验。

本申请实施例提供的信息显示方法，执行主体可以为信息显示装置。本申请实施例中以信息显示装置执行信息显示方法为例，说明本申请实施例提供的信息显示装置。

本申请实施例还提供一种信息显示装置。

如图4所示，该信息显示装置包括：获取模块501、预测模块502和确定模块503。

获取模块501，用于获取用户当前的头部位姿信息和头部移动信息；

预测模块502，用于根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置；

显示模块503，用于在所述眼部注视点位置处显示视觉指示信息。

根据本申请实施例提供的信息显示装置，通过获取用户当前的头部位姿信息和头部移动信息，以根据用户当前的部位姿信息和头部移动信息，预测用户在扩展现实空间中的眼部注视点位置，即无需获取眼动信息，准确预测眼部注视点位置，并在眼部注视点位置处显示视觉指示信息，即准确确定视觉指示信息的显示位置，提高交互的准确性，且通过预测眼部注视点位置来模拟眼动追踪，提高交互的流畅性和自然感，从而提高用户交互体验。

在一些实施例中，预测模块502还用于：

根据用户当前的所述头部位姿信息，确定用户在虚拟现实空间中的头部注视点位置；

根据所述头部注视点位置和所述头部移动信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

在一些实施例中，预测模块502还用于：

确定所述头部移动信息对应的注视点偏移信息；

根据所述头部注视点位置和所述注视点偏移信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

在一些实施例中，预测模块502还用于：

将用户当前的所述头部位姿信息和所述头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置。

在一些实施例中，所述装置还包括信息获取模块，信息获取模块用于：

获取注视点影响信息；

预测模块502还用于：

将用户当前的所述头部位姿信息、所述头部移动信息和所述注视点影响信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中与所述注视点影响信息相对应的眼部注视点位置。

在一些实施例中，所述注视点影响信息包括用户所处真实环境的环境信息、交互场景类型、交互任务类型、交互应用程序类型、用户角色类型和用户行为信息中的至少一种。

在一些实施例中，所述装置还包括训练模块，训练模块用于：

获取历史眼部信息和历史头部信息，所述历史眼部信息包括历史眼动信息和历史眼部移动信息，所述历史头部信息包括历史头部位姿信息和历史头部移动信息；

根据所述历史眼部信息和所述历史头部信息，对所述眼部注视点预测模型进行训练。

在一些实施例中，所述头部移动信息包括头部移动速度和头部移动加速度中的至少一个。

本申请实施例中的信息显示装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为虚拟现实VR设备、增强现实AR设备、扩展现实XR设备或混合现实MR设备等，本申请实施例不作具体限定。

本申请实施例中的信息显示装置可以为具有操作系统的装置。该操作系统可以为微软(Windows)操作系统，可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的信息显示装置能够实现方法实施例的各个过程，为避免重复，这里不再赘述。

在一些实施例中，如图5所示，本申请实施例还提供一种电子设备800，包括处理器801、存储器802及存储在存储器802上并可在处理器801上运行的计算机程序，该程序被处理器801执行时实现上述信息显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

图6为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等部件。

本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

处理器910，用于获取用户当前的头部位姿信息和头部移动信息；根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置；通过显示单元906在所述眼部注视点位置处显示视觉指示信息。

根据本申请实施例提供的电子设备，通过获取用户当前的头部位姿信息和头部移动信息，以根据用户当前的部位姿信息和头部移动信息，预测用户在扩展现实空间中的眼部注视点位置，即无需获取眼动信息，准确预测眼部注视点位置，并在眼部注视点位置处显示视觉指示信息，即准确确定视觉指示信息的显示位置，提高交互的准确性，且通过预测眼部注视点位置来模拟眼动追踪，提高交互的流畅性和自然感，从而提高用户交互体验。

在一些实施例中，处理器910还用于：

根据用户当前的所述头部位姿信息，确定用户在虚拟现实空间中的头部注视点位置；

根据所述头部注视点位置和所述头部移动信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

在一些实施例中，处理器910还用于：

确定所述头部移动信息对应的注视点偏移信息；

根据所述头部注视点位置和所述注视点偏移信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

在一些实施例中，处理器910还用于：

将用户当前的所述头部位姿信息和所述头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置。

在一些实施例中，处理器910还用于：

获取注视点影响信息；

将用户当前的所述头部位姿信息、所述头部移动信息和所述注视点影响信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中与所述注视点影响信息相对应的眼部注视点位置。

在一些实施例中，所述注视点影响信息包括用户所处真实环境的环境信息、交互场景类型、交互任务类型、交互应用程序类型、用户角色类型和用户行为信息中的至少一种。

在一些实施例中，处理器910还用于：

获取历史眼部信息和历史头部信息，所述历史眼部信息包括历史眼动信息和历史眼部移动信息，所述历史头部信息包括历史头部位姿信息和历史头部移动信息；

根据所述历史眼部信息和所述历史头部信息，对所述眼部注视点预测模型进行训练。

在一些实施例中，所述头部移动信息包括头部移动速度和头部移动加速度中的至少一个。

应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器909可以包括易失性存储器或非易失性存储器，或者，存储器909可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。

处理器910可包括一个或多个处理单元；处理器910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述信息显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述信息显示方法。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述信息显示方法。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述信息显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (12)

1.一种信息显示方法，其特征在于，所述方法包括：

获取用户当前的头部位姿信息和头部移动信息；

根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置；

在所述眼部注视点位置处显示视觉指示信息。

2.根据权利要求1所述的信息显示方法，其特征在于，所述根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置，包括：

根据用户当前的所述头部位姿信息，确定用户在虚拟现实空间中的头部注视点位置；

根据所述头部注视点位置和所述头部移动信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

3.根据权利要求2所述的信息显示方法，其特征在于，所述根据所述头部注视点位置和所述头部移动信息，预测用户在所述虚拟现实空间中的眼部注视点位置，包括：

确定所述头部移动信息对应的注视点偏移信息；

根据所述头部注视点位置和所述注视点偏移信息，预测用户在所述虚拟现实空间中的眼部注视点位置。

4.根据权利要求1所述的信息显示方法，其特征在于，所述根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置，包括：

将用户当前的所述头部位姿信息和所述头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置。

5.根据权利要求4所述的信息显示方法，其特征在于，所述方法还包括：

获取注视点影响信息；

所述将用户当前的所述头部位姿信息和所述头部移动信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中的眼部注视点位置，包括：

将用户当前的所述头部位姿信息、所述头部移动信息和所述注视点影响信息输入至眼部注视点预测模型，得到用户在虚拟现实空间中与所述注视点影响信息相对应的眼部注视点位置。

6.根据权利要求5所述的信息显示方法，其特征在于，所述注视点影响信息包括用户所处真实环境的环境信息、交互场景类型、交互任务类型、交互应用程序类型、用户角色类型和用户行为信息中的至少一种。

7.根据权利要求4所述的信息显示方法，其特征在于，所述眼部注视点预测模型的训练方法包括：

获取历史眼部信息和历史头部信息，所述历史眼部信息包括历史眼动信息和历史眼部移动信息，所述历史头部信息包括历史头部位姿信息和历史头部移动信息；

根据所述历史眼部信息和所述历史头部信息，对所述眼部注视点预测模型进行训练。

8.根据权利要求1-7任一项所述的信息显示方法，其特征在于，所述头部移动信息包括头部移动速度和头部移动加速度中的至少一个。

9.一种信息显示装置，其特征在于，包括：

获取模块，用于获取用户当前的头部位姿信息和头部移动信息；

预测模块，用于根据用户当前的所述头部位姿信息和所述头部移动信息，预测用户在虚拟现实空间中的眼部注视点位置；

显示模块，用于在所述眼部注视点位置处显示视觉指示信息。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的信息显示方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8任一项所述的信息显示方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的信息显示方法。