CN115981481A - 界面显示方法、装置、设备、介质及程序产品 - Google Patents

界面显示方法、装置、设备、介质及程序产品 Download PDF

Info

Publication number
CN115981481A
CN115981481A CN202310189764.9A CN202310189764A CN115981481A CN 115981481 A CN115981481 A CN 115981481A CN 202310189764 A CN202310189764 A CN 202310189764A CN 115981481 A CN115981481 A CN 115981481A
Authority
CN
China
Prior art keywords
interface
target
user
control
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310189764.9A
Other languages
English (en)
Inventor
郭嘉
方迟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202310189764.9A priority Critical patent/CN115981481A/zh
Publication of CN115981481A publication Critical patent/CN115981481A/zh
Priority to US18/585,850 priority patent/US20240288994A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例提供一种界面显示方法、装置、设备、介质及程序产品，该方法包括在虚拟终端设备显示目标图像的过程中，检测界面触发动作；响应于界面触发动作，确定待显示的目标界面；检测用户视线在目标图像对应的第一视线位置；在目标图像的第一视线位置处关联显示目标界面。通过对用户动作和视线的检测触发界面显示和控制，以解决对于扩展现实场景下界面处理效率较低的问题。

Description

界面显示方法、装置、设备、介质及程序产品
技术领域
本公开实施例涉及计算机技术领域，尤其涉及一种界面显示方法、装置、设备、介质及程序产品。
背景技术
扩展现实(Extended Reality，XR)是指通过计算机技术将真实的环境和虚拟的环境相结合，实现人机交互的虚拟环境，可以为AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、MR(Mixed Reality，混合现实)等技术的统称，可以为用户提供虚拟世界和现实世界之间的沉浸式交互。
目前，为了提高设备操作的便捷性，扩展现实技术可以为用户显示相应的交互界面，例如快捷菜单、以弹窗形式显示的各类消息或者通知，但是，目前快捷菜单、弹窗的显示一般是在显示屏幕的顶部简单提示，用户在使用XR设备时，对快捷菜单、弹窗等界面的处理较为困难，界面处理效率较低。
发明内容
本公开实施例提供一种用于扩展现实的界面显示方法、装置、设备、介质及程序产品，以解决对于扩展现实场景下界面处理效率较低的问题。
第一方面，本公开实施例提供一种界面显示方法，包括：
在虚拟终端设备显示目标图像的过程中，检测界面触发动作；
响应于界面触发动作，确定待显示的目标界面；
检测用户视线在目标图像对应的第一视线位置；
在目标图像的第一视线位置处关联显示目标界面。
第二方面，本公开实施例提供一种界面显示装置，包括：
动作检测单元，用于在虚拟终端设备显示目标图像的过程中，检测界面触发动作；
界面确定单元，用于响应于界面触发动作，确定待显示的目标界面；
位置检测单元，用于检测用户视线在目标图像对应的第一视线位置；
界面显示单元，用于在目标图像的第一视线位置处关联显示目标界面。
第三方面，本公开实施例提供一种电子设备，包括：处理器以及存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面以及第一方面各种可能的设计的界面显示方法。
第四方面，本公开实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计的界面显示方法。
第五方面，本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计的界面显示方法。
本实施例提供的技术方案，可以在虚拟终端显示目标图像的过程中，接收界面触发动作。可以响应于该界面触发动作，确定待显示的目标界面，从而在检测到用户的视线在目标图像的第一视线位置之后，可以在目标图像的该第一视线位置处关联显示目标界面。由于目标界面显示于第一视线位置处，可以使得用户及时查看目标界面。通过目标界面和第一视线位置的关联显示可以对目标界面进行高效的查看提示，达到提升目标界面的查看效率的目的。同时，通过检测用户的第一视线位置，可以实现对用户视线的实时性检测，通过对用户的视线位置分析，可以实现对用户的观看行为的快速响应，达到与用户准确而高效的交互的目的。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开界面显示方法的一个应用网络架构图；
图2为本公开实施例提供的一种界面显示方法的一个流程图；
图3为本公开实施例提供的一种视线提示标识的示例图；
图4为本公开实施例提供的一个快捷菜单界面的示例图；
图5为本公开实施例提供的一个通知消息界面的示例图；
图6为本公开实施例提供的一种界面显示方法的又一个流程图；
图7为本公开实施例提供的一种手部翻转动作的一个示例图；
图8为本公开实施例提供的一种手部特定动作的一个示例图；
图9为本公开实施例提供的一种手部特定动作的又一个示例图；
图10为本公开实施例提供的一种手部特定动作的又一个示例图；
图11为本公开实施例提供的一种界面显示方法的又一个流程图；
图12为本公开实施例提供的一种界面显示装置的一个结构示意图；
图13为本公开实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的技术方案可以应用于XR设备中，通过检测用户的XR设备中的用户视线位置，在用户的视线位置处关联待显示的目标界面。通过将界面和用户的视线位置关联显示，使得用户在第一时间观看到目标界面，实现目标界面的精准而快速的提示。
相关技术中，虚拟终端设备，例如AR设备、VR设备等，可以为用户显示真实用户姿态和虚拟用户姿态的交互内容。在虚拟终端设备的显示屏幕中除显示目标图像之外，还可以在目标图像的上一层显示交互界面，例如快捷菜单、消息通知弹窗。但是，目前，虚拟终端设备显示弹窗时，一般是在固定位置显示，例如在显示屏幕的顶部显示弹窗。但是，弹窗等界面的显示一般是随机的，若用户未及时关注到显示的界面可能会出现遗漏，导致界面的查看效率较低。此外，对于一些已显示的界面，为了实现用户与界面的交互一般可以采用手柄、手环等设备检测用户的手部运动姿态，此交互方式较为单一，用户与界面的交互效率较低。
为了解决上述技术问题，发明人考虑到，在虚拟终端设备的应用场景中，用户的视线在不断发生变化。而在实际应用中，可以不断检测用户的视线，例如可以获取用户的视线位置点。在虚拟终端设备中显示视线位置点时，可以将待显示的界面在视线位置处显示，实现用户在第一时间观看到目标界面。通过目标界面的展示，可以达到提高界面展示效率和查看效率的目的。
本公开的实施例中，可以在虚拟终端显示目标图像的过程中，接收界面触发动作。可以响应于该界面触发动作，确定待显示的目标界面，从而在检测到用户的视线在目标图像的第一视线位置之后，可以在目标图像的该第一视线位置处关联显示目标界面。由于目标界面显示于第一视线位置处，可以使得用户及时查看目标界面。通过目标界面和第一视线位置的关联显示可以对目标界面进行高效的查看提示，达到提升目标界面的查看效率的目的。同时，通过检测用户的第一视线位置，可以实现对用户视线的实时性检测，通过对用户的视线位置分析，可以实现对用户的观看行为的快速响应，达到与用户准确而高效的交互的目的。
下面将以具体实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图对本发明的实施例进行详细描述。
图1是根据本公开界面显示方法的一个应用网络架构图。根据本公开实施例的应用网络架构中可以包括虚拟终端设备1，该虚拟终端设备1的设备本体包括摄像头11和显示屏幕(虚拟终端设备中未示出)。用户佩戴虚拟终端设备时，显示屏幕的显示界面与用户眼睛相对，使得用户眼睛能够观看到显示屏幕输出的界面。为了便于理解，假设虚拟终端设备的显示屏幕示例为12，虚拟终端设备可以通过显示屏幕12显示目标图像。目标图像可以包括摄像头采集的用户姿态图像。虚拟终端设备显示目标图像的过程中，可以检测界面触发动作。之后，可以响应于界面触发动作，确定待显示的目标界面。检测用户视线在目标图像的第一视线位置，以将目标界面在该目标图像的第一视线位置处关联显示。在目标界面的显示过程中，引入用户的第一视线位置，在目标图像的的第一视线位置处关联显示目标界面。
参考图2，图2为本公开实施例提供的一种界面显示方法的一个流程图，该方法可以包括以下几个步骤：
201：在虚拟终端设备显示目标图像的过程中，检测界面触发动作。
可选地，虚拟终端设备可以为可穿戴设备，例如XR(Extended Reality，扩展现实)设备，XR设备是指可以通过计算机将真实与虚拟相结合打造的可人机交互的设备，XR设备例如可以包括VR(Virtual Reality)设备、AR(Augmented Reality)设备、MR(MixedReality)设备等。
可选地，目标图像可以包括真实环境图像和/或虚拟图像，还可以包括真实的环境图像和虚拟图像的叠加。在一种可能的设计中，虚拟终端设备前侧可以配置摄像头，摄像头可以对虚拟终端设备正前方进行实景图像采集，并在虚拟终端设备中实时显示采集的实景图像。
可选地，目标图像可以为普通场景图像，例如通过摄像头实时采集的场景图像，还可以包括通过动画、特效等技术手段建立的动画图像，还可以包括通过电影、电视制作方式制作的内容图像。
需要说明的是，本公开中对目标图像的具体内容和类型并不做出过多限定。
可选地，界面触发动作可以包括虚拟终端设备检测到用户执行满足界面触发条件的目标动作，目标动作可以为定义的用于触发界面显示的动作。在实际应用中，界面触发条件可以包括为触发界面显示所要满足的条件。界面触发动作例如可以为“视线注视某个位置30秒”，或者满足特定的手势姿态。
可选地，界面触发动作还可以通过用户对与虚拟终端设备的手柄执行控制操作生成。
202：响应于界面触发动作，确定待显示的目标界面。
可选地，在实际应用中，界面触发动作可以包括一个或多个，界面触发动作可以由一个或多个身体部位执行。例如可以通过眼部动作，可以通过手部动作等表示界面触发动作。界面触发动作还可以通过虚拟终端设备的触发开关执行，也即虚拟终端设备可以配置手柄等开关，检测用户触发手柄开关，则确定接收到界面触发动作。
在一种可能的设计中，目标界面可以直接与界面触发动作建立显示关联，也即，步骤202具体可以包括：获取与界面触发动作关联的目标界面。例如，界面触发动作为视线焦点注视某个位置超过30秒，可以确定与该界面触发动作关联的相关消息界面或者通知控件。
203：检测用户视线在目标图像对应的第一视线位置。
可选地，在检测用户视线在目标图像对应的第一视线位置之后，可以在目标图像对应的第一视线位置处显示视线提示标识，以通过该标识提示视线所在位置。视线提示标识可以为任意形状，例如可以为圆形控件或者眼睛形状的控件。为了便于理解，图3示出了一种视线提示标识的示例图，参考图3，视线提示标识301可以用于提示视线所在位置。为了使视线提示标识实现准确的视线位置提示，视线提示标识301为眼睛形状的标识，可以对视线位置进行更直观的提示，提高位置提示效率。当然，视线提示标识还可以为其它形状或者类型的标识，例如可以为以点形状设置的标识等。
第一视线位置可以是用户视线在目标图像的位置。虚拟终端设备中可以配置视线传感器，例如眼动仪，通过视线传感器检测视线在目标图像的位置。为了降低设备成本，还可以通过深度学习获取用户的视线位置。例如。可以利用普通摄像头采集用户的人脸图像，通过人脸检测模块、深度神经网络等深度学习算法对输入的人脸图像进行处理，获得人脸朝向和/或人眼朝向，并通过人脸朝向和/或人眼朝向以及人眼和屏幕距离等参数确定视线位置，通过深度学习算法可以快速而准确地完成视线位置的检测。
本实施例中，对检测用户视线的第一视线位置和检测界面触发动作的顺序不做限定，可以同时进行也可以先后进行,并且先后顺序可以对调。
204：在目标图像的第一视线位置处关联显示目标界面。
可选地，目标图像可以不断显示，目标图像在不断切换。检测到第一视线位置之后，可以在目标图像的的第一视线位置处关联显示目标界面。目标界面可以为定义的系统程序界面，可以包括快捷菜单界面、推送的通知消息界面、网页界面等常见UI界面(UserInterface，用户界面)。
为了便于理解，图4示出了一个快捷菜单界面的示例图，参考图4，在目标图像400中的视线提示标识401处可以关联显示快捷菜单界面402，其中，快捷菜单界面402可以显示于目标图像400的上一层。目标界面还可以以弹窗的形式显示。图5示出了一个通知消息界面的示例图，参考图5，在目标图像500中的视线提示标识501处可以关联显示多个消息通知界面502，多个通知消息界面502可以重叠，多个通知消息界面502可以显示于目标图像500的上一层，具体可以以消息弹窗的形式显示。当然，在实际应用中，目标界面可以包括一个或多个。如图5所示，可以同时显示多个通知消息的弹窗。显示目标界面时，可以停止显示视线提示标识。
可选地，在目标图像的第一视线位置处关联显示目标界面，具体可以包括：将目标界面中的任意一点关联第一视线位置，以将目标界面显示于目标图像中的第一视线位置处。如图4所示，可以将目标界面的左上角坐标点与第一视线位置关联，以将目标界面显示于目标图像的第一视线位置处。当然，目标界面可以以任意角度或者方向显示，本实施例中对目标界面的显示角度和方向并不进行过多限制。
本公开实施例中，可以在虚拟终端显示目标图像的过程中，接收界面触发动作。可以响应于该界面触发动作，确定待显示的目标界面，从而在检测到用户的视线在目标图像的第一视线位置之后，可以在目标图像的该第一视线位置处关联显示目标界面。由于目标界面显示于第一视线位置处，可以使得用户及时查看目标界面。通过目标界面和第一视线位置的关联显示可以对目标界面进行高效的查看提示，达到提升目标界面的查看效率的目的。同时，通过检测用户的第一视线位置，可以实现对用户视线的实时性检测，通过对用户的视线位置分析，可以实现对用户的观看行为的快速响应，达到与用户准确而高效的交互的目的。
进一步地，在上述任一实施例的基础上，响应于界面触发动作，可以确定用户执行的肢体动作，并确定与肢体动作关联的待显示的目标界面。如图6所示，为本公开实施例提供的一种界面显示方法的又一个流程图，与前述实施例的不同之处在于，确定待显示的目标界面，包括：
601：确定用户执行的第一肢体动作。
602：确定与第一肢体动作关联的界面为待显示的目标界面。
其中，步骤601可以包括：若确定界面触发动作为第一肢体动作，则确定与第一肢体动作关联的界面为待显示的目标界面。
可选地，步骤601还可以包括：确定检测到界面触发动作之后，重新执行用户肢体动作检测获得第一肢体动作。具体地，虚拟终端设备可以不断采集目标图像，并显示采集的目标图像。检测界面触发动作的过程中，目标图像在不断更新，在确定待显示的目标界面的过程中，可以从新采集的目标图像中检测用户执行的第一肢体动作。
第一肢体动作可以为定义的动作类型，可以包括各身体部位所执行的动作，例如手部动作、眼部动作等。
本公开实施例中，通过检测用户执行的第一肢体动作，可以确定与第一肢体动作关联的界面为待显示的目标界面，也即将用户的第一肢体动作和界面建立显示关联，实现利用肢体动作触发界面，提高界面的触发效率和准确性。
此外，为了提高用户肢体动作的采集效率，还可以通过与虚拟终端设备不同类型的可穿戴设备对用户动作进行辅助采集，例如姿态采集设备。
进一步地，在上述实施例的基础上，确定用户执行的第一肢体动作，包括：
获取虚拟终端设备当前采集的用户姿态图像。
从当前采集的用户姿态图像中识别用户执行的第一肢体动作；或者，
获取姿态采集设备采集的第一姿态数据，以根据第一姿态数据识别用户执行的第一肢体动作，姿态采集设备与虚拟终端设备关联。
可选地，虚拟终端设备采集用户姿态图像之后，可以实时显示采集的用户姿态图像。
本公开实施例中，可以通过用户姿态图像实现肢体动作的识别，或者通过姿态数据实现肢体动作的识别。通过用户姿态图像识别肢体动作实现从计算机视觉方向对肢体动作的检测，可以获得准确的肢体动作。通过姿态数据的肢体动作识别实现从姿态解算方向对肢体动作的准确检测，可以获得更精确的肢体动作。
进一步，可选地，目标图像可以包括虚拟终端设备实时采集的用户姿态图像。获取虚拟终端设备当前采集的用户姿态图像之后，可以显示当前采集的用户姿态图像。
可选地，可以通过动作识别算法，识别当前采集的用户姿态图像中的第一肢体动作。动作识别算法可以为训练获得的动作分类算法，关于动作识别算法的具体训练方式在此不再赘述。
进一步，可选地，第一肢体动作的识别步骤可以包括：从当前采集的用户姿态图像的至少一个第一图像帧中分别提取用户的关键肢体信息；根据至少一个第一图像帧分别对应的关键肢体信息，确定用户执行的第一肢体动作。关键肢体信息可以包括：关键肢体信息的位置、动作种类、肢体名称等信息。
可选地，第一姿态数据的肢体动作识别步骤具体可以包括：利用姿态解算算法对用户的运动姿态进行解算，获得用户执行的第一肢体动作。姿态数据可以使用加速度、航偏角等参数表示，可以通过姿态解算获得姿态数据对应的肢体动作。
姿态采集设备可以为与虚拟终端设备连接的手部外接电子设备，还可以包括设置于虚拟终端设备内部的用于采集眼部姿态的眼部姿态采集设备。当然，姿态采集设备并不限制于此，姿态采集设备还可以包括设置于虚拟终端设备内部的摄像头，利用该摄像头采集眼部姿态。姿态采集设备还可以包括设置于虚拟终端设备外部的摄像头，利用该摄像头采集用户的各种手势动作/肢体动作，并对采集的动作是否为界面触发动作或者预定义的第一肢体动作、第二肢体动作进行判断。
通过手部外接电子设备可以采集用户手部的姿态数据，手部外接电子设备例如可以包括设置于手部的姿态传感器、手柄、手环等设备。用户姿态数据可以包括手部姿态数据，手部姿态数据可以用于记录手部的运动姿态。
通过眼部姿态采集设备可以采集用户眼部的姿态数据，眼部姿态采集设备例如可以包括摄像头、视线传感器等设备。用户姿态数据可以包括眼部姿态数据，眼部姿态数据可以用于记录眼部的运动姿态。
其中，手部或眼部的运动姿态可以用于解算手部或眼部的运动轨迹、运动方向等具体的运动姿态。运动姿态可以使用加速度、翻滚角、俯仰角、航偏角等参数表示。
进一步地，在上述任一实施例的基础上，第一动作类型包括目标手部动作(如手腕翻转、OK手势)或者目标眼部动作，确定与第一肢体动作关联的界面为待显示的目标界面，包括：
确定与目标手部动作或目标眼部动作关联的界面为待显示的目标界面。
目标界面可以包括菜单界面或者消息通知界面。目标界面可以显示于手腕区域，以使得目标界面的显示不受手部动作的影响，提高界面的显示有效性，及避免目标界面的显示对手部动作的影响，提高手部动作的识别有效性和效率。目标界面还可以显示于视线位置处，通过视线位置定位目标界面，可以实现目标界面的直接显示，使用户第一时间观看到显示的目标界面，提高目标界面的显示有效性，有利于提升用户体验。
可选地，目标手部动作可以包括：手部翻转动作、按照手势执行特定动作，例如OK动作。目标眼部动作可以包括眨眼、注视某个位置时长超过时长阈值等。
可选地，检测用户执行的第一肢体动作，可以包括：确定满足肢体动作检测条件时，启动检测用户执行的第一肢体动作。肢体动作检测条件可以包括：先确定用户视线移动至手部位置，并且视线注视时长达到时间阈值，则确定满足肢体动作检测条件。
为了便于理解，以第一肢体动作为手部翻转动作为例，如图7所示的一种手部翻转动作的示例图，检测到用户手部执行翻转动作，具体可以是，手部从手背翻转为手心，之后，可以显示与手部翻转动作关联的菜单界面701或者消息弹窗702。当然，该菜单界面仅是示例性的，并不应构成对本公开界面的详细限制。
以第一肢体动作为手部执行特定动作为例时，假设该特定动作为OK手势，图8示出了一种手部特定动作的示例图，检测到用户执行OK手部姿态动作801时，可以显示菜单界面802。或者，如图9所示的手部特定动作的示例图，检测到用户执行OK手部姿态动作901时，可以显示消息弹窗902。
当然，在实际应用中，手部执行的特定动作还可以包括手部的固定动作和动态动作中的至少一种。以由手部的固定动作和动态动作两种动作结合形成手部特定动作为例，参考图10所示的手部特定动作的示例图，在检测到用户执行OK手部姿态动作1001以及且保持该动作执行左右移动1002时，可以在用户视线位置1003处显示亮度调节、声音调节等设备操作控件所形成的目标界面1004。当然，该菜单界面仅是示例性的，并不应构成对本公开界面的详细限制。其中，左右移动可以包括在平面方向上执行的左右平移运动或者在空间立体角度执行的左右翻转运动等。
本公开实施例中，可以通过目标手部动作或目标眼部动作，实现菜单界面或消息通知界面的手部显示控制，提高界面控制效率和显示效率。另外，由于手部动作较为灵活，可以实现快速控制界面的目的。
进一步，可选地，在显示目标界面之后，还可以包括：确定界面提示指令，发送界面提示指令至与虚拟终端设备连接的显示提示设备，界面提示指令用于指示显示提示设备震动以提示用户查看目标界面。显示提示设备例如可以包括与虚拟终端设备存在通信连接的指环、手环等可穿戴设备。此外，显示提示设备还可以设置于虚拟终端设备中震动组件。通过显示提示设备的设置可以对已显示的目标界面进行提示，提醒用户及时查看，提高用户交互体验，实现更立体的交互控制。
如图11所示，为本公开实施例提供的一种界面显示方法的又一个流程图，与前述实施例的不同之处在于，在第一视线位置处关联显示目标界面之后，还包括：
1101：检测用户在目标界面中的第二视线位置和用户执行的第二肢体动作。
可选地，第二视线位置和第一视线位置的检测方式相同，关于第二视线位置的获取方式和含义可以参考第一视线位置的相关内容，在此不再赘述。
可选地，可以通过最新的目标图像识别用户执行的第二肢体动作。或者通过可穿戴设备采集的肢体运动数据识别用户执行的第二肢体动作。
1102：根据第二视线位置，确定用户针对目标界面选择的目标控件。
可选地，执行步骤1102之前，还可以包括：确定第二视线位置位于目标界面的界面范围内。也即在确定第二视线位置位于目标界面的界面范围内时，执行步骤1102，否则继续执行步骤1101。
可选地，步骤1102可以包括：确定目标界面中各控件在目标图像的第一映射位置，确定第二视线位置在目标图像的第二映射位置，将第二映射位置分别与各控件的第一映射位置进行位置匹配，以将位置匹配成功的控件作为目标控件。其中，位置匹配可以指将第二映射位置与第一映射位置进行距离计算，将距离最小的位置对应的控件作为目标控件。
1103：根据第二肢体动作，确定用户针对目标控件执行的第一控制指令。
可选地，第二肢体动作可以为定义的一种动作类型。可以为肢体动作关联控制指令。肢体动作可以使用动作类型名称、编号等表示。可以为不同的肢体动作关联控制指令，并将肢体动作和其关联的控制指令存储于数据库或者表格中。步骤1103执行时，可以从数据库或者表格中查询与第二肢体动作关联的第一控制指令。
可选地，目标控件可以为目标界面中的任意控件，例如可以为地图查看控件、声音控制控件、亮度控制控件、界面跳转控件、音乐播放控件、图像显示控件等控件中的任意一种，通过控件的选择可以实现对目标界面的有效控制。确定目标控件之后，可以确定与目标控件关联的控制指令，例如与地图查看控件关联的控制指令可以为地图程序启动指令或者查看指令，与声音控制控件关联的控制指令可以为声音调整指令，与音乐播放控件关联的控制指令可以为音乐程序启动指令。
1104：基于第一控制指令控制目标控件执行相应的第一控制操作。
可选地，可以运行第一控制指令，针对目标控件执行相应的第一控制操作。
可选地，若第一控制指令为界面的查看指令，执行第一控制操作可以为启动第一控制指令关联的界面，并输出该第一控制指令关联的界面。若第一控制指令为程序的启动指令，执行第一控制操作可以为启动相应的程序，并展示相应的程序界面。
本公开实施例中，显示目标界面之后，可以检测用户针对目标界面的第二视线位置和用户执行的第二肢体动作，第二视线位置可以用于确定用户在目标界面中选择的目标控件，第二肢体动作可以用于确定针对目标控件执行的第一控制指令。也即，通过视线位置检测和肢体动作检测对目标界面执行界面控制操作，实现对目标界面的快速而准确的界面操作，提高界面操作效率和准确性。
进一步地，在上述任一实施例的基础上，第二肢体动作包括：目标手势和保持目标手势所执行的运动轨迹；
根据第二肢体动作，确定用户针对目标控件执行的第一控制指令，包括：
根据第二肢体动作中的目标手势，确定用户对目标控件触发的手势控制类型；
根据第二肢体动作中的运动轨迹和手势控制类型，确定用户针对目标控件执行的第一控制指令。
本公开实施例中，可以根据第二肢体动作中的目标手势，确定用户对目标控件触发的手势控制类型，手势控制类型可以指示对界面执行的界面控制类型。通过第二肢体动作中的运动轨迹，可以从动态层面对手势进行分析，而通过手势控制类型可以从静态层面对手势进行分析。从静态和动态两个层面的分析可以获得用户针对目标控件执行的第一控制指令，提高第一控制指令的获取效率和准确度。
进一步地，在上述任一实施例的基础上，运动轨迹包括目标手势的滑动路线和滑动方向；
根据第二肢体动作中的运动轨迹和手势控制类型，确定用户针对目标控件执行的第一控制指令，包括：
根据第二肢体动作中的滑动路线和滑动方向，确定手势控制类型对应的调节量和调节类型；
根据调节量、调节类型和手势控制类型，确定第一控制指令。
其中，滑动路线可以包括滑动距离和滑动线路的曲线形状。
本公开实施例中，运动轨迹包括目标手势的滑动路线和滑动方向，可以确定手势控制类型对应的调节量和调节类型，调节量和调节类型可以指示手势控制类型的具体动作，通过调节量、调节类型和手势控制类型整体实现对手势控制指令的准确定义，获得的与调节量、调节类型和手势控制类型相对应的第一控制指令，精度更高，可以对目标控件进行更准确的控制。
进一步的，在上述任一实施例的基础上，检测用户执行的第二肢体动作，包括：
获取虚拟终端设备最新采集的用户姿态图像；
从最新的用户姿态图像中识别用户执行的第二肢体动作；或者，
获取姿态采集设备采集的第二姿态数据，以根据第二姿态数据识别用户执行的第二肢体动作，姿态采集设备与虚拟终端设备关联。
可选地，虚拟终端设备可以设置一摄像头，不断采集位于其摄像头前方的用户姿态图像，用户姿态图像可以不断采集并不断作为目标图像显示。当然，目标图像还可以包括其它图像，例如虚拟图像、三维虚拟图像，此时，用户姿态图像可以在目标图像的显示界面设置的显示子区域显示，例如，假设目标图像为三维虚拟图像，假设目标图像中存在用户可观看的虚拟电视或者虚拟显示屏幕，可以将用户姿态图像在该虚拟电视或者虚拟显示屏幕中显示。
本公开实施例中，可以通过用户姿态图像实现肢体动作的识别，或者通过姿态数据实现肢体动作的识别。通过用户姿态图像识别肢体动作实现从计算机视觉方向对肢体动作的检测，可以获得准确的肢体动作。通过姿态数据的肢体动作识别实现从姿态解算方向对肢体动作的准确检测，可以获得更精确的肢体动作。
目标图像可以包括最新采集的用户姿态图像，目标图像可以随着用户姿态图像的更新而更新。
进一步，可选地，从最新的用户姿态图像中识别用户执行的第二肢体动作可以包括：从最新的用户姿态图像中提取至少一个第二图像帧分别对应关键肢体信息；
根据至少一个第二图像帧分别对应的关键肢体信息，确定用户的肢体动作。
其中，本公开的第二肢体动作识别的具体实施方式可以参考上述实施例中第一肢体动作的识别方式，在此不再赘述。
本公开实施例中，可以对虚拟终端设备采集的用户姿态图像进行肢体动作的实时性检测和识别，提高识别的精度和效率，获得更准确的肢体动作。
此外，在肢体识别过程中还可以采用姿态数据和肢体信息结合的方式识别用户的肢体动作，第一肢体动作和第二肢体动作均可以结合姿态数据和肢体信息结合进行识别。
进一步，可选地，肢体动作的识别步骤，还可以包括：
从最新的用户姿态图像中提取至少一个图像帧分别对应关键肢体信息。
获取姿态采集设备采集的用户姿态数据，姿态采集设备与虚拟终端设备关联。
根据用户姿态数据和至少一个图像帧分别对应的关键肢体信息，确定用户的肢体动作。
本公开实施例中，还可以获取姿态采集设备采集的用户姿态数据，通过用户姿态数据和至少一个目标图像帧分别对应的关键肢体信息两种信息进行肢体动作的分析，扩大了数据分析面，增加了肢体动作的分析内容，提高肢体动作的分析精度。
可选地，在上述任一实施例的基础上，在目标图像的第一视线位置处关联显示目标界面之后，还包括：
检测用户在目标界面中的第二视线位置，并采集用户的语音控制信号。
根据第二视线位置，确定用户针对目标界面选择的视线触发控件。
从语音控制信号中识别用户针对视线触发控件执行的第二控制指令。
基于第二控制指令，对视线触发控件执行相应的第二控制操作。
可选地，从语音控制信号中识别用户针对视线触发控件执行的第二控制指令，可以包括：通过语音识别算法，识别语音控制信号的语音控制文字，从语音控制文字中提取命令名称，以获得命名名称对应的第二控制指令。
本公开实施例中，显示目标界面之后，还可以检测用户的第二视线位置和语音控制信号。通过第二视线位置可以确定用户视线触发的控件，获得视线触发控件。还可以通过语音控制信号，可以识别第二控制指令。采用视线触发和语音控制结合的方式，实现对已显示的目标界面的细节控制，提高界面的控制精度和效率。
可选地，在上述任一实施例的基础上，在目标图像的第一视线位置处关联显示目标界面之后，还包括：
接收用户针对目标界面发起的语音操作信号；
从语音操作信号中识别用户针对目标界面中所执行的第三控制指令，第三控制指令包括被控制的语音触发控件；
基于第三控制指令，对语音触发控件执行相应的第三控制操作。
可选地，可以通过语音识别算法，识别语音操作信号对应的语音操作文字，从语音操作文字中识别控件名称，以获得控件名称对应的语音触发控件。此外，还可以从语音操作文字中识别指令名称，以获得指令名称对应的第三控制指令。当然，在一种可能的设计中，语音操作文字中可以包括控件名称和指令名称。例如，语音操作文字可以包括“对A控件执行B操作”其中，A为控件名称，B为指令名称。在又一种可能的设计中，语音操作文字中可以包括指令名称，而并未包含控件名称，此时，可以根据第三控制指令对应的指令种类，确定相应的语音操作控件。例如，语音操作信号对的语音操作文字可以为“增大声音”，可以确定第三操作指令为对声音控制控件执行声音增大的命令，而语音触发控件可以为声音控制控件。
本公开实施例中，显示目标界面之后，可以直接获取语音操作信号。从语音操作信号中识别用户针对目标界面中的被控控件执行的第三控制指令。进而基于第三控制指令，对目标界面中的语音触发控件执行相应的第三控制操作。直接采用语音控制方式对目标界面进行控件选择和控件控制，实现对目标界面的快速而准确的操控。
进一步地，在上述任一实施例的基础上，在目标图像的第一视线位置处关联显示目标界面之后，还包括：
若确定检测到界面关闭动作，则关闭目标界面。
可选地，界面关闭动作可以包括对界面的关闭控件执行触发操作。界面关闭动作还可以包括预定义的动作，可以包括，手部执行的界面关闭动作或者眼部执行的界面关闭动作，其中，手部执行的界面关闭动作例如可以包括两个手指的交叉动作，眼部执行的界面关闭动作例如可以包括目标时间段内眨眼两次。
本公开实施例中，在检测到界面关闭动作之后，可以关闭目标界面，实现对目标界面的快速而准确的控制。
如图12所示，为本公开实施例提供的一种界面显示装置的一个结构示意图，该界面显示装置1200可以包括下列单元：
动作检测单元1201：用于在虚拟终端设备显示目标图像的过程中，检测界面触发动作。
界面确定单元1202：用于响应于界面触发动作，确定待显示的目标界面。
位置检测单元1203：用于检测用户视线在目标图像对应的第一视线位置。
界面显示单元1204：用于在目标图像的第一视线位置处关联显示目标界面。
进一步地，在上述任一实施例的基础上，界面确定单元，包括：
动作检测模块，用于确定用户执行的第一肢体动作。
界面确定模块，用于确定与第一肢体动作关联的界面为待显示的目标界面。
进一步地，在上述任一实施例的基础上，动作检测模块，包括：
图像获取子模块，用于获取虚拟终端设备当前采集的用户姿态图像。
动作识别子模块，用于从当前采集的用户姿态图像中识别用户执行的第一肢体动作；或者，
姿态分析子模块，用于获取姿态采集设备采集的第一姿态数据，以根据第一姿态数据识别用户执行的第一肢体动作，姿态采集设备与虚拟终端设备关联。
进一步地，在上述任一实施例的基础上，第一肢体动作包括目标手部动作或者目标眼部动作；
界面确定模块，包括：
动作关联子模块，用于确定与目标手部动作或者目标眼部动作关联的界面为待显示的目标界面。
进一步地，在上述任一实施例的基础上，还包括：
二次检测单元，用于检测用户在目标界面中的第二视线位置，并检测用户执行的第二肢体动作。
控件选择单元，用于根据第二视线位置，确定用户针对目标界面选择的目标控件。
指令确定单元，用于根据第二肢体动作，确定用户针对目标控件执行的第一控制指令。
第一操作单元，用于基于第一控制指令控制目标控件执行相应的第一控制操作。
进一步地，在上述任一实施例的基础上，第二肢体动作包括：目标手势和保持目标手势所执行的运动轨迹。
指令确定单元，包括：
手势分析模块，用于根据第二肢体动作中的目标手势，确定用户对目标控件触发的手势控制类型。
指令确定模块，用于根据第二肢体动作中的运动轨迹和手势控制类型，确定用户针对目标控件执行的第一控制指令。
进一步地，在上述任一实施例的基础上，运动轨迹包括目标手势的滑动路线和滑动方向。
指令确定模块，包括：
调节确定子模块，用于根据第二肢体动作中的滑动路线和滑动方向，确定手势控制类型对应的调节量和调节类型；
指令确定子模块，用于根据调节量、调节类型和手势控制类型，确定第一控制指令。
进一步地，在上述任一实施例的基础上，二次检测单元，包括：
图像采集模块，用于获取虚拟终端设备最新采集的用户姿态图像；
动作识别模块，用于从最新的用户姿态图像中识别用户执行的第二肢体动作；或者，
姿态分析模块，用于获取姿态采集设备采集的第二姿态数据，以根据第二姿态数据识别用户执行的第二肢体动作，姿态采集设备与虚拟终端设备关联。
进一步地，在上述任一实施例的基础上，还包括：
第一检测单元，用于检测用户在目标界面中的第二视线位置，并采集用户的语音控制信号。
视线检测单元，用于根据第二视线位置，确定用户针对目标界面选择的视线触发控件。
第一识别单元，用于从语音控制信号中识别用户针对视线触发控件执行的第二控制指令；
指令分析单元，用于基于第二控制指令，对视线触发控件执行相应的第二控制操作。
进一步地，在上述任一实施例的基础上，还包括：
信号接收单元，用于接收用户针对目标界面发起的语音操作信号。
第二识别单元，用于从语音操作信号中识别用户针对目标界面中所执行的第三控制指令，第三控制指令包括被控制的语音触发控件。
指令控制单元，用于基于第三控制指令，对语音触发控件执行相应的第三控制操作。
进一步地，在上述任一实施例的基础上，还包括：
界面关闭单元，用于若确定检测到界面关闭动作，则关闭目标界面。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
为了实现上述实施例，本公开实施例还提供了一种电子设备。
参考图13，其示出了适于用来实现本公开实施例的电子设备1300的结构示意图，该电子设备1300可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体显示器(PortableMedia Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图13示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示，电子设备1300可以包括处理装置(例如中央处理器、图形处理器等)1301，其可以根据存储在只读存储器(Read Only Memory，简称ROM)1302中的程序或者从存储装置1308加载到随机访问存储器(Random Access Memory，简称RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中，还存储有电子设备1300操作所需的各种程序和数据。处理装置1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
通常，以下装置可以连接至I/O接口1305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1306；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置1307；包括例如磁带、硬盘等的存储装置1308；以及通信装置1309。通信装置1309可以允许电子设备1300与其他设备进行无线或有线通信以交换数据。虽然图13示出了具有各种装置的电子设备1300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1309从网络上被下载和安装，或者从存储装置1308被安装，或者从ROM1302被安装。在该计算机程序被处理装置1301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种界面显示方法，包括：
在虚拟终端设备显示目标图像的过程中，检测界面触发动作；
响应于界面触发动作，确定待显示的目标界面；
检测用户视线在目标图像对应的第一视线位置；
在目标图像的第一视线位置处关联显示目标界面。
根据本公开的一个或多个实施例，确定待显示的目标界面，包括：
确定用户执行的第一肢体动作；
确定与第一肢体动作关联的界面为待显示的目标界面。
根据本公开的一个或多个实施例，确定用户执行的第一肢体动作，包括：
获取虚拟终端设备当前采集的用户姿态图像；
从当前采集的用户姿态图像中识别用户执行的第一肢体动作；或者，
获取姿态采集设备采集的第一姿态数据，以根据第一姿态数据识别用户执行的第一肢体动作，姿态采集设备与虚拟终端设备关联。
根据本公开的一个或多个实施例，第一肢体动作包括目标手部动作或者目标眼部动作；
确定与第一肢体动作关联的界面为待显示的目标界面，包括：
确定与目标手部动作或者目标眼部动作关联的界面为待显示的目标界面。
根据本公开的一个或多个实施例，在目标图像的第一视线位置处关联显示目标界面之后，还包括：
检测用户在目标界面中的第二视线位置，并检测用户执行的第二肢体动作；
根据第二视线位置，确定用户针对目标界面选择的目标控件；
根据第二肢体动作，确定用户针对目标控件执行的第一控制指令；
基于第一控制指令控制目标控件执行相应的第一控制操作。
根据本公开的一个或多个实施例，第二肢体动作包括：目标手势和保持目标手势所执行的运动轨迹；
根据第二肢体动作，确定用户针对目标控件执行的第一控制指令，包括：
根据第二肢体动作中的目标手势，确定用户对目标控件触发的手势控制类型；
根据第二肢体动作中的运动轨迹和手势控制类型，确定用户针对目标控件执行的第一控制指令。
根据本公开的一个或多个实施例，运动轨迹包括目标手势的滑动路线和滑动方向；
根据第二肢体动作中的运动轨迹和手势控制类型，确定用户针对目标控件执行的第一控制指令，包括：
根据第二肢体动作中的滑动路线和滑动方向，确定手势控制类型对应的调节量和调节类型；
根据调节量、调节类型和手势控制类型，确定第一控制指令。
根据本公开的一个或多个实施例，检测用户执行的第二肢体动作，包括：
获取虚拟终端设备最新采集的用户姿态图像；
从最新的用户姿态图像中识别用户执行的第二肢体动作；或者，
获取姿态采集设备采集的第二姿态数据，以根据第二姿态数据识别用户执行的第二肢体动作，姿态采集设备与虚拟终端设备关联。
根据本公开的一个或多个实施例，在目标图像的第一视线位置处关联显示目标界面之后，还包括：
检测用户在目标界面中的第二视线位置，并采集用户的语音控制信号；
根据第二视线位置，确定用户针对目标界面选择的视线触发控件；
从语音控制信号中识别用户针对视线触发控件执行的第二控制指令；
基于第二控制指令，对视线触发控件执行相应的第二控制操作。
根据本公开的一个或多个实施例，在目标图像的第一视线位置处关联显示目标界面之后，还包括：
接收针对目标界面发起的语音操作信号；
从语音操作信号中识别用户针对目标界面中所执行的第三控制指令，第三控制指令包括被控制的语音触发控件；
基于第三控制指令，对语音触发控件执行相应的第三控制操作。
根据本公开的一个或多个实施例，在目标图像的第一视线位置处关联显示目标界面之后，还包括：
若确定检测到界面关闭动作，则关闭目标界面。
第二方面，根据本公开的一个或多个实施例，提供了一种界面显示装置，包括：
动作检测单元，用于在虚拟终端设备显示目标图像的过程中，检测界面触发动作
界面确定单元，用于响应于界面触发动作，确定待显示的目标界面；
位置检测单元，用于检测用户视线在目标图像对应的第一视线位置；
界面显示单元，用于在目标图像的第一视线位置处关联显示目标界面。
第三方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
存储器存储计算机执行指令；
至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上第一方面以及第一方面各种可能的设计的界面显示方法。
第四方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计的界面显示方法。
第五方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计的界面显示方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定用户姿态下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

1.一种界面显示方法，其特征在于，包括：
在虚拟终端设备显示目标图像的过程中，检测界面触发动作；
响应于所述界面触发动作，确定待显示的目标界面；
检测用户视线在所述目标图像对应的第一视线位置；
在所述目标图像的所述第一视线位置处关联显示所述目标界面。
2.根据权利要求1所述的方法，其特征在于，所述确定所述待显示的目标界面，包括：
确定所述用户执行的第一肢体动作；
确定与所述第一肢体动作关联的界面为所述待显示的目标界面。
3.根据权利要求2所述的方法，其特征在于，所述确定所述用户执行的第一肢体动作，包括：
获取所述虚拟终端设备当前采集的用户姿态图像；
从所述当前采集的用户姿态图像中识别所述用户执行的第一肢体动作；或者，
获取姿态采集设备采集的第一姿态数据，以根据所述第一姿态数据识别用户执行的所述第一肢体动作，所述姿态采集设备与所述虚拟终端设备关联。
4.根据权利要求2所述的方法，其特征在于，所述第一肢体动作包括目标手部动作或者目标眼部动作；
所述确定与所述第一肢体动作关联的界面为所述待显示的目标界面，包括：
确定与所述目标手部动作或者所述目标眼部动作关联的界面为所述待显示的目标界面。
5.根据权利要求1所述的方法，其特征在于，所述在所述目标图像的所述第一视线位置处关联显示所述目标界面之后，还包括：
检测所述用户在所述目标界面中的第二视线位置，并检测所述用户执行的第二肢体动作；
根据所述第二视线位置，确定所述用户针对所述目标界面选择的目标控件；
根据所述第二肢体动作，确定所述用户针对所述目标控件执行的第一控制指令；
基于所述第一控制指令控制所述目标控件执行相应的第一控制操作。
6.根据权利要求5所述的方法，其特征在于，所述第二肢体动作包括：目标手势和保持所述目标手势所执行的运动轨迹；
所述根据所述第二肢体动作，确定所述用户针对所述目标控件执行的第一控制指令，包括：
根据所述第二肢体动作中的所述目标手势，确定所述用户对所述目标控件触发的手势控制类型；
根据所述第二肢体动作中的所述运动轨迹和所述手势控制类型，确定所述用户针对所述目标控件执行的第一控制指令。
7.根据权利要求6所述的方法，其特征在于，所述运动轨迹包括所述目标手势的滑动路线和滑动方向；
所述根据所述第二肢体动作中的所述运动轨迹和所述手势控制类型，确定所述用户针对所述目标控件执行的第一控制指令，包括：
根据所述第二肢体动作中的所述滑动路线和滑动方向，确定所述手势控制类型对应的调节量和调节类型；
根据所述调节量、所述调节类型和所述手势控制类型，确定所述第一控制指令。
8.根据权利要求5所述的方法，其特征在于，所述检测所述用户执行的第二肢体动作，包括：
获取所述虚拟终端设备最新采集的用户姿态图像；
从所述最新的用户姿态图像中识别所述用户执行的第二肢体动作；或者，
获取姿态采集设备采集的第二姿态数据，以根据所述第二姿态数据识别所述用户执行的第二肢体动作，所述姿态采集设备与所述虚拟终端设备关联。
9.根据权利要求1所述的方法，其特征在于，所述在所述目标图像的所述第一视线位置处关联显示所述目标界面之后，还包括：
检测所述用户在所述目标界面中的第二视线位置，并采集所述用户的语音控制信号；
根据所述第二视线位置，确定所述用户针对所述目标界面选择的视线触发控件；
从所述语音控制信号中识别所述用户针对所述视线触发控件执行的第二控制指令；
基于所述第二控制指令，对所述视线触发控件执行相应的第二控制操作。
10.根据权利要求1所述的方法，其特征在于，所述在所述目标图像的所述第一视线位置处关联显示所述目标界面之后，还包括：
接收针对所述目标界面发起的语音操作信号；
从所述语音操作信号中识别所述用户针对所述目标界面中所执行的第三控制指令，所述第三控制指令包括被控制的语音触发控件；
基于所述第三控制指令，对所述语音触发控件执行相应的第三控制操作。
11.根据权利要求1所述的方法，其特征在于，所述在所述目标图像的所述第一视线位置处关联显示所述目标界面之后，还包括：
若确定检测到界面关闭动作，则关闭所述目标界面。
12.一种界面显示装置，其特征在于，包括：
动作检测单元，用于在虚拟终端设备显示目标图像的过程中，检测界面触发动作；
界面确定单元，用于响应于所述界面触发动作，确定待显示的目标界面；
位置检测单元，用于检测用户视线在所述目标图像对应的第一视线位置；
界面显示单元，用于在所述目标图像的所述第一视线位置处关联显示所述目标界面。
13.一种电子设备，其特征在于，包括：处理器、存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器实现如权利要求1至11任一项所述的界面显示方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至11任一项所述的界面显示方法。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行，以实现如权利要求1至11任一项所述的界面显示方法。
CN202310189764.9A 2023-02-23 2023-02-23 界面显示方法、装置、设备、介质及程序产品 Pending CN115981481A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310189764.9A CN115981481A (zh) 2023-02-23 2023-02-23 界面显示方法、装置、设备、介质及程序产品
US18/585,850 US20240288994A1 (en) 2023-02-23 2024-02-23 Interface display method and apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310189764.9A CN115981481A (zh) 2023-02-23 2023-02-23 界面显示方法、装置、设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN115981481A true CN115981481A (zh) 2023-04-18

Family

ID=85966722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310189764.9A Pending CN115981481A (zh) 2023-02-23 2023-02-23 界面显示方法、装置、设备、介质及程序产品

Country Status (2)

Country Link
US (1) US20240288994A1 (zh)
CN (1) CN115981481A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117111734A (zh) * 2023-07-04 2023-11-24 深圳云天励飞技术股份有限公司 道路病害的vr显示方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117111734A (zh) * 2023-07-04 2023-11-24 深圳云天励飞技术股份有限公司 道路病害的vr显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20240288994A1 (en) 2024-08-29

Similar Documents

Publication Publication Date Title
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US10534442B2 (en) Method and wearable device for providing a virtual input interface
CN109313812A (zh) 具有上下文增强的共享体验
US20140240225A1 (en) Method for touchless control of a device
CN109219955A (zh) 视频按入
WO2017187708A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20190089627A (ko) Ar 서비스를 제공하는 디바이스 및 그 동작 방법
US20150015542A1 (en) Control Method And Electronic Device
US11360550B2 (en) IMU for touch detection
US20240288994A1 (en) Interface display method and apparatus, electronic device and storage medium
CN110908569A (zh) 虚实影像的互动方法及装置
CN115480639A (zh) 人机交互系统、人机交互方法、可穿戴设备及头显设备
US20240028130A1 (en) Object movement control method, apparatus, and device
US12093461B2 (en) Measurement based on point selection
CN118502620A (zh) 信息输入方法、装置、虚拟现实设备、增强现实设备及介质
CN116166161A (zh) 基于多层级菜单的交互方法及相关设备
CN118363462A (zh) 用于扩展现实的位姿控制方法、装置、电子设备和存储介质
CN117826977A (zh) 交互方法、装置、电子设备、存储介质及计算机程序产品
CN117762242A (zh) 在检测到外围设备上的外围事件时对手部手势的抑制
CN117057827A (zh) 图像数据展示方法、装置及电子设备
CN113660477A (zh) 一种vr眼镜及其图像呈现方法
CN116893742A (zh) 一种目标分割方法、装置、设备和存储介质
CN117289850A (zh) 显示控制方法、装置、电子设备、介质及程序产品
CN117991889A (zh) 信息交互方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination