CN117130518A - 控件显示方法、头显设备、电子设备及可读存储介质 - Google Patents

控件显示方法、头显设备、电子设备及可读存储介质 Download PDF

Info

Publication number
CN117130518A
CN117130518A CN202311085080.0A CN202311085080A CN117130518A CN 117130518 A CN117130518 A CN 117130518A CN 202311085080 A CN202311085080 A CN 202311085080A CN 117130518 A CN117130518 A CN 117130518A
Authority
CN
China
Prior art keywords
control
target
preset
body part
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311085080.0A
Other languages
English (en)
Inventor
杨天翼
尹子硕
陈昊芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Positive Negative Infinite Technology Co ltd
Original Assignee
Beijing Positive Negative Infinite Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Positive Negative Infinite Technology Co ltd filed Critical Beijing Positive Negative Infinite Technology Co ltd
Priority to CN202311085080.0A priority Critical patent/CN117130518A/zh
Publication of CN117130518A publication Critical patent/CN117130518A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种控件显示方法、头显设备、电子设备及可读存储介质，涉及人机交互技术领域，应用于头显设备，头显设备设置于头部，方法包括：获取头部和至少一个身体部位在现实环境的位姿信息；每个身体部位具有对应的预设控件，预设控件用于展示对应的信息，每个身体部位与对应的预设控件之间存在相对位姿关系；基于身体部位的位姿信息和相对位姿关系，确定与身体部位对应的预设控件的位姿信息；基于头部的位姿信息，确定头显设备在虚拟环境的视野范围，根据每个预设控件的位姿信息和视野范围，确定位于视野范围内的目标控件；在视野范围内显示目标控件，本申请提高了查看控件消息的便捷性，无需消耗大量时间，提高了交互效率和准确率。

Description

控件显示方法、头显设备、电子设备及可读存储介质
技术领域
本申请涉及人机交互技术领域，具体而言，本申请涉及一种控件显示方法、头显设备、电子设备及可读存储介质。
背景技术
AR(Augmented Reality，增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术，将计算机生成的文字、图像、三维模型和视频等虚拟信息应用到现实环境中。
然而在现有的人机交互方案中，在需要高频查看信息或执行操作的使用场景中，在信息或者操作指令的层级较深时，会存在操作步骤繁琐的问题，因此，会造成用户巨大的认知负担，并且在操作的过程中容易出现操作失误，导致交互效率低和用户体验差的问题。
发明内容
本申请实施例提供了一种控件显示方法、头显设备、电子设备及可读存储介质，用于解决触发控件显示的操作步骤繁琐、容易出现操作失误，导致交互效率低和用户体验差的问题。。
根据本申请实施例的第一方面，提供了一种控件显示方法，应用于头显设备，头显设备设置于目标对象的头部，方法包括：
获取目标对象的头部和至少一个身体部位在现实环境的位姿信息；每个身体部位具有对应的预设控件，所述预设控件用于展示对应的信息，每个身体部位与对应的预设控件之间存在相对位姿关系；
针对每一个身体部位，基于所述身体部位的位姿信息和所述相对位姿关系，确定与所述身体部位对应的预设控件的位姿信息；
基于所述头部的位姿信息，确定所述头显设备在虚拟环境的视野范围，根据每个预设控件的位姿信息和所述视野范围，确定位于所述视野范围内的目标控件；
在所述视野范围内显示所述目标控件。
在一个可能的实现方式中，头显设备还包括：
属性确定模块，根据所述目标控件对应的目标身体部位的位姿信息和所述头显设备的视野范围，确定所述目标控件的显示属性；所述显示属性包括以下至少一者：坐标、大小、角度以及渲染层级；
所述在所述视野范围内显示所述目标控件，包括：
根据所述目标控件的显示属性，在所述视野范围内显示所述目标控件。
在另一个可能的实现方式中，属性确定模块包括：
位姿确定单元，根据所述目标身体部位在现实环境的位姿信息和所述相对位置关系，确定所述目标控件的中心点在虚拟环境的位姿信息；
大小确定单元，用于基于所述目标控件的中心点与所述视野范围的中心点的距离，确定所述目标控件的大小；
坐标确定单元，用于基于所述目标控件的中心点的坐标和所述目标控件的大小，确定所述目标控件的坐标。
在又一个可能的实现方式中，头显设备还包括：
注视点确定模块，用于获取所述目标对象的眼球的移动速度和位姿信息；
当所述移动速度小于预设速度阈值时，根据所述头部和所述眼球的位姿信息，确定所述眼球在虚拟环境中的视线注视点；
在所述视线注视点落在所述虚拟环境中的所述目标控件上，且所述视线注视点的静止时间大于预设静止阈值时，激活所述目标控件；其中，处于激活状态的目标控件具备交互功能。
在又一个可能的实现方式中，在所述目标控件处于激活状态时，通过预设方法与所述目标控件上的按钮进行交互；
所述预设方法包括以下至少一种：
眼睛跟踪；
手部跟踪；
面部跟踪；
语音控制。
在又一个可能的实现方式中，当一个身体部位对应至少两个预设组件时，头显设备，还包括：
环境获取模块，用于获取现实环境中所述目标对象的周边环境；
基于所述目标对象的周边环境，从所述身体部位对应的至少两个预设组件中，确定目标控件和显示方式；
所述在所述视野范围内显示所述目标控件，包括：
基于所述显示方式，在所述视野范围内显示所述目标控件。
在又一个可能的实现方式中，在所述身体部位为手，且所述手对应至少一个预设组件时，所述头显设备，还包括：
手势确定模块，用于确定所述手的当前手势；
基于预先确定的手势和预设组件间的对应关系，从所述手对应的至少一个预设组件中确定与所述手势对应的目标控件；
在所述视野范围内显示与所述手势对应的目标控件。
根据本申请实施例的第二方面，提供了一种头显设备，该设备包括：
获取目标对象的头部和至少一个身体部位在现实环境的位姿信息；每个身体部位具有对应的预设控件，所述预设控件用于展示对应的信息，每个身体部位与对应的预设控件之间存在相对位姿关系；
第一确定模块，针对每一个身体部位，基于所述身体部位的位姿信息和所述相对位姿关系，确定与所述身体部位对应的预设控件的位姿信息；
第二确定模块，基于所述头部的位姿信息，确定所述头显设备在虚拟环境的视野范围，根据每个预设控件的位姿信息和所述视野范围，确定位于所述视野范围内的目标控件；
显示模块，在所述视野范围内显示所述目标控件。
根据本申请实施例的第三方面，提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上的计算机程序，处理器执行程序时实现如第一方面所提供的方法的步骤。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例提供的控件显示方法，通过获取的目标对象头部的位姿信息，确定目标用户当前在虚拟环境中的视野范围，并基于获取的目标对象的至少一个身体部位的位姿信息和身体部位与对应的预设控件之间的相对位姿关系，从而确定身体部位对应的预设控件的位姿信息，基于头显设备在虚拟环境中的视野范围和预设控件的位姿信息，从而确定在视野范围内的目标控件，由于各身体部位都预先设置有对应的用于展示对应的信息的预设控件，因此，根据获取到的身体部位的位姿信息和对应的相对位姿关系，从而在视野范围内确定出目标控件，并在视野范围内显示目标控件，通过将承载信息的预设控件与各身体部位绑定，并在想要查看预设控件时，只需移动身体部位，使身体部位对应的预设控件出现在视野范围内，即可触发显示对应的预设控件，控件显示的操作便捷且不会对用户认知造成负担，大大提高了信息查看的便捷性，减小了信息查看所花费的时间，且交互效率高，大大提高了目标用户的用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的实现控件显示方法的系统架构示意图；
图2为本申请实施例提供的一种应用于头显设备的控件显示方法的流程示意图；
图3为本申请实施例提供的一种身体部位与目标控件关联的示意图；
图4为本申请实施例提供的一种传感器的感受野和头显设备的视野范围的示意图；
图5为本申请实施例提供的一种不同手势下显示不同的目标控件的示意图；
图6a为本申请实施例提供的一种触发控件显示前的场景示意图；
图6b为本申请实施例提供的一种触发控件显示的场景示意图；
图7a为本申请实施例提供的一种显示目标控件的示意图；
图7b为本申请实施例提供的一种手指点击显示目标控件的示意图；
图7c为本申请实施例提供的一种显示地图应用的示意图；
图7d为本申请实施例提供的一种隐藏地图应用的示意图
图8为本申请实施例提供的一种头显设备的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面对本申请涉及的术语及相关技术进行说明：
位姿：位姿是指物体、机器人或人的姿态或姿势在三维空间中的位置和方向。它由位置和方向两个要素组成。位置表示物体的中心或参考点在三维空间中的坐标,通常使用三个实数表示。方向表示物体在三维空间中的朝向或朝向,通常使用旋转矩阵、欧拉角或四元数等表示。位姿的概念在计算机图形学、机器人学、虚拟现实、增强现实以及导航和姿态估计等领域具有重要的应用
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
图1为本申请实施例提供的实现控件显示方法的系统架构示意图，其中该系统架构包括：头显设备120和服务器140。
头显设备120安装和运行有控件显示方法的应用程序，头显设备120，用于获取身体部位和头部的位姿信息，并在头显设备的显示屏上显示目标控件。
终端120通过无线网络或有线网络与服务器140相连。
服务器140包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。示意性的，服务器140包括处理器144和存储器142，存储器142包括显示模块1421、控制模块1422和接收模块1423。服务器140用于为控件显示方法的应用程序提供后台服务。可选的，服务器140承担主要计算工作，头显设备120承担次要计算工作；或者，服务器140承担次要计算工作，头显设备120承担主要计算工作；或者，服务器140、头显设备120和之间采用分布式计算架构进行协同计算。
本领域技术人员可以知晓，上述头显设备的数量可以更多或更少。比如上述头显设备可以仅为一个，或者上述头显设备为几十个或几百个，或者更多数量。本申请实施例对头显设备的数量和设备类型不加以限定。
本申请实施例中提供了一种控件显示方法的方法，如图2所示，应用于图1中的头显设备，头显设备设置于目标对象的头部，该方法包括：
S101，获取目标对象的头部和至少一个身体部位在现实环境的位姿信息；每个身体部位具有对应的预设控件，预设控件用于展示对应的信息，每个身体部位与对应的预设控件之间存在相对位姿关系。
在本申请实施例中，头部的位姿信息由头部的位置和方向两个元素组成，头部的位置表示头部在三维空间中的坐标，头部的方向头部在三维空间中的朝向，通常使用旋转矩阵表示。
在本申请实施例中，使用头显设备上的传感器检测头部的位置和方向信息，可以使用的传感器和摄像头获取头部的位置信息和方向信息，例如普通摄像头、红外摄像头、深度传感器、激光雷达传感器、声纳传感器、飞行时间传感器，或者穿戴的传感器等。
在本申请实施例中，通过头显设备上的传感器和摄像头确定各身体部位的位置和姿态的三维信息，还可以通过设置在身体部位的传感器获取各身体部位的位置和位姿的三维信息。
在本申请实施例中，预设控件可以是一个小型的应用程序或工具组件，预设控件可以提供特定的信息，如天气预报、日历、时钟、心率等，或相应的按钮或开关等；预设控件的显示形态可以是二维平面，也可以是三维立体模型等形式；预设控件中显示的内容，可以是图片、视频、文字和3D模型等多种媒体模式，也可以是上述多种媒体模式的组合。
在本申请实施例中，不同身体部位与对应的预设控件之间的相对位姿关系可以不同，也可以相同，一个身体部位对应的多个预设控件之间的相对位姿关系相同。
在本申请实施例中，身体部位可为手部、手臂、头部、前胸、腰部等位置，通常情况下，选择易于操作和肉眼容易看见的身体与各预设控件进行关联，可以为每一个选择的身体部位关联一个预设控件，也可以为每一个选择的身体部位关联多个控件，每个身体部位关联的控件可以一样，也可以不一样。
在一个例子中，请参考图3，其示例性的示出了控件与各身体部位的关联关系，在图3中、头部关联的预设控件称为头部小组件，前胸关联的预设控件为前胸小组件，手部关联的预设控件为手部小组件，腰部关联的预设控件为腰部小组件，其中，头部小组件、手部小组件和前胸小组件为相同的预设控件，腰部小组件与其他组件的预设控件不同。
本申请实施例不对身体部位进行具体限定，具体使用哪个身体部位与预设控件进行关联，根据目标用户的个人需求和个人习惯设定。
S102，针对每一个身体部位，基于所述身体部位的位姿信息和所述相对位姿关系，确定与所述身体部位对应的预设控件的位姿信息。
在本申请实施例中，每个身体部位与对应的预设控件之间存在相对位姿关系，身体部位与预设的对应关系之间存在相对位姿关系说明预设控件的位姿随对应的身体部位的位姿的变化而变化。
在一个例子中，手部中心点在坐标系上的坐标为(X1,Y1,Z1)，手部中心点对应的预设控件中心点的坐标为(X2,Y2,Z2)，由于手部中心点与对应的预设控件中心点的相对位姿关系为：X1+1＝X2、Y1+1＝Y2、Z1+1＝Z2，身体部位与对应的预设控件平行，从而在得到手部中心点为(5,2,0)时，可以基于相对位姿关系和手部中心点的坐标确定预设控件中心点为(6,3,1)，从而根据手部中心点的旋转角度、预设控件中心点和预设控件大小确定预设控件的边界点坐标。
S103，基于头部的位姿信息，确定头显设备在虚拟环境的视野范围，根据每个预设控件的位姿信息和视野范围，确定位于视野范围内的目标控件。
在本申请实施例中，由于头显设备是设置在目标用户的头部，随着头部的移动，头显设备的视野相应的也会发生改变，因此，通过头部的位姿来确定头显设备在虚拟环境中的视野范围。
在本申请实施例中，定义一个以目标用户头部为原点的三维坐标系，使用上述三维坐标系建立头显设备的视野范围参照系，计算出目标用户头部与身体呈一条直线，且面部正对正前方时，头显设备的视野的水平角度和垂直角度，从而确定头显设备的视野范围。
在一个例子中，建立以用户头部为原点的三维右手坐标系，x轴指向目标用户面部正前方(表示DEPTH/深度方向),y轴指向目标用户头部左侧,z轴指向目标用户头部上方，目标用户的正前方显示视野范围的水平视角为α度,垂直视角为β度，那么头显设备的显示视野在坐标系中的表示为：
x轴方向:[0,+∞]
y轴方向:[-tan(β/2),tan(β/2)]
z轴方向:[-tan(α/2),tan(α/2)]
由于人的头部不是一直保持静止的，因此，在头部进行移动时，头部的坐标和朝向会发生变化，计算当前头部的朝向和头部处于面向正前方状态时的角度差值，从而可以基于头部面向正前方状态下和角度差值，确定当前头部位姿下，头显设备的显示视野在坐标系中的表示。
在本申请实施例中，通过计算预设控件在视野范围区域的投影位置，判断预设控件是否在头显设备的视野范围内，由于传感器可以检测的范围比头显设备显示的视野范围要大，因此当预设控件进入到视野范围内时才显示＝预设控件。
请参考图4，其示例性的示出了传感器的感受野和头显设备的视野范围的对比，其中直线A和直线B形成的夹角为头显设备的视野范围，直线C和直线D形成的夹角为传感器的感受野的范围。
在本申请实施例中，以用户的头部为圆心建立三维坐标系，根据身体部位的位姿信息和相对位姿关系，确定对应的预设控件在三维坐标系上的坐标，计算预设控件的三维坐标在视野范围方向上的二维投影坐标，判断二维投影坐标是否落在视野范围内，如果二维投影坐标落在视野范围内，则说明预设控件已进入视野范围。
在一个例子中，以用户头部为原点建立三维右手坐标系，x轴指向用户面部正前方，y轴指向用户头部左侧，z轴指向用户头部上方。视野范围在坐标系中的表示为：x轴方向:[0,+∞]，y轴方向:[-tan(β/2),tan(β/2)]，z轴方向:[-tan(α/2),tan(α/2)]，使用人体关键点检测算法获取各身体部位的三维坐标，其中，根据相对位姿关系和右手肘关节的坐标，得到对应的预设控件的坐标为(x,y,z)，计算预设控件的坐标(x,y,z)，在视野范围内的投影坐标为(x',y',z')，其中，x'＝x；y'＝y/z；z'＝z/x。
如果(x',y',z')在视野范围在坐标系中的表示内，则说明右手肘关节对应的预设控件进入了视野范围，触发右手肘关节对应的预设控件显示。
根据用户身体部位对应的预设控件的位姿信息和头显设备的视野范围实现预设控件的主动触发和显示，当目标用户需要查看预设控件的相关内容时，无需目标用户进行额外操作，减少目标用户的认知和体力负担。
S104，在视野范围内显示目标控件。
在本申请实施例中，在确定了在视野范围内的目标控件后，由于各身体部位有其对应的预设控件，因此，可以根据目标身体部位的位姿确定目标控件，从而在视野范围内显示目标控件。
本申请实施例中提供了一种可能的实现方式，在显示目标控件之前，根据目标控件对应的目标身体部位的位姿信息和头显设备的视野范围，确定目标控件的显示属性；显示属性包括以下至少一者：坐标、大小、角度以及渲染层级；根据目标控件的显示属性，在视野范围内显示目标控件。
在本申请实施例中，在显示目标控件之前，根据目标控件对应的目标身体部位当前的位姿信息和头显设备的视野范围，确定在显示区域的哪个位置显示目标控件，确定显示的目标控件的大小，确定目标控件旋转角度，以及目标控件的渲染层级，根据上述确定的目标控件的位置、大小、旋转角度以及渲染层级来显示目标控件。
在本申请实施例中，显示的目标控件的大小基于目标身体部位与头显设备之间的距离确定，当身体部位距离头显设备越近，身体部位对应的预设控件在头显设备的显示区域占据的面积越大，反之，当身体部位距离头显设备越远，身体部位对应的预设控件在头显设备的显示区域占据的面积越小。
在又一个例子中，当身体部位距离头显设备越近，身体部位对应的预设控件在头显设备的显示区域占据的面积越小，反之，当身体部位距离头显设备越远，身体部位对应的预设控件在头显设备的显示区域占据的面积越来。
在本申请实施例中，显示在显示区域中的目标控件的坐标，基于身体部位的位姿信息和头显设备的视野范围确定，例如，通过身体部位的位姿信息可以得知，身体部位在视野范围的左上角部分，因此，在显示身体部位对应的目标控件时，会在头显设备的显示区域的左上角部分显示对应的目标控件，并且，在显示区域中的目标控件的姿态角(朝向)与目标控件对应的身体部位的姿态角一致。
在本申请实施例中，各预设控件有对应的渲染层级，根据预设控件中内容的重要程度，确定各预设控件的渲染层级，重要程度越高，渲染层级越高，当两个预设控件的显示内容有部分重合时，渲染层级高的预设控件会覆盖渲染层级低的预设控件，在重合部分显示渲染层级高的预设控件的内容。
在本申请实施例中，在显示目标控件的过程中，在目标控件在视野范围内时，若身体部位的位姿信息发生变化，目标控件的位姿信息相应的也会发生变化，或者头部位姿信息发生变化导致视野范围发生变化时，根据变化后的目标控件的位姿信息和/或视野范围显示目标控件，也就是说，目标控件的显示属性在显示的过程中会随着目标控件对应的身体部位和头部的变化而变化。
目标控件的显示位置和显示属性可以实时跟踪用户身体部位和头部的位姿变化而调整，确保目标控件始终出现在用户视野范围，从而提高交互效率。
本申请实施例中提供了一种可能的实现方式，根据目标身体部位在现实环境的位姿信息，确定目标控件的中心点在虚拟环境的位姿信息；基于目标控件的中心点与视野范围的中心点的距离，确定目标控件的大小；基于目标控件的中心点的坐标和目标控件的大小，确定目标控件的坐标。
在本申请实施例中，以用户的头部为原点建立一个三维坐标系，根据目标身体部位在现实环境中的位姿信息，确定目标身体部位在虚拟环境中在上述三维坐标系中的坐标，将目标身体部位的中心点作为目标控件的中心点，从而确定了待显示的目标控件的中心点坐标，将视野范围夹角所在的点作为视野范围的中心点，基于视野范围中心点的坐标和目标控件的中心点坐标，确定目标控件的中心点与视野范围的中心点的距离，基于目标控件的中心点与视野范围的中心点的距离确定目标控件的大小，确定了目标控件的大小后，基于目标控件的大小和目标控件的中心点坐标，可以迅速确定目标控件边界点的坐标，从而可以根据目标控件边界点的坐标，在虚拟环境中显示目标控件。
本申请实施例中提供了一种可能的实现方式，在视野范围内显示目标控件之后，获取目标对象的眼球的移动速度和位姿信息；当移动速度小于预设速度阈值时，根据头部和眼球的位姿信息，确定眼球在虚拟环境中的视线注视点；在视线注视点落在虚拟环境中的目标控件上，且视线注视点的静止时间大于预设静止阈值时，激活目标控件；其中，处于激活状态的目标控件具备交互功能。
在本申请实施例中，在显示目标控件时，若想要与目标控件进行交互，则需要激活目标控件，本申请实施例通过眼球注视的方式激活目标控件，在头显设备在视野范围内显示目标控件的同时，获取目标对象眼球的移动速度和位姿信息，其中眼球的三维坐标通过头部位姿信息确定的，眼球的朝向基于眼球的转动角度确定的，从而得到眼球的位姿信息。
利用身体自然动作来触发与正在显示的目标控件的交互，相比于传统的通过点击的方式更符合人机交互的自然特点。
当眼球的移动速度小于预设速度阈值时，说明此时眼球的视线注视点在小范围内保持小幅移动，可判断此时用户不是处于无意识扫视状态，而是注视状态。
当检测到目标用户处于注视状态时，需要通过获取视线注视点的坐标判断视线注视点注视在虚拟环境中的哪个位置，因此，通过眼球的位姿信息确定眼球在虚拟环境中视线注视点，基于视线注视点的坐标和计算的目标控件的坐标，确定视线注视点是否落在目标控件上，若确定视线注视点落在目标控件上，且眼球的注视时间大于注视阈值时，则确定目标用户的眼球正在注视目标控件，头显设备激活目标用户眼球所注视的目标控件，使得目标对象可以和目标控件进行交互。
本申请实施例中提供了一种可能的实现方式，在目标控件处于激活状态时，通过预设方法与目标控件上的按钮进行交互；预设方法包括以下至少一种：眼睛跟踪；手部跟踪；面部跟踪；语音控制。
在本申请实施例中，激活了目标控件之后，可以通过预设方法与目标控件上的按钮进行交互，从而实现相应的功能，或者进一步显示按钮对应的信息。
通过各类身体行为的方式触发与目标控件的交互，不仅可以满足不同场景要求下的交互需求，还可以根据用户习惯设置自己操作更加便捷的交互方式，在操作简便的同时，适用性更高。
在本申请实施例中，可以通过眼睛跟踪的方式与目标控件进行交互，在激活目标控件之后，将目标用户在虚拟环境中的视线注视点作为一个光标，当头显设备检测到视线注视点落在目标控件上的按钮的时间超过一定时间时，则认定目标用户想要与目标控件上的按钮进行交互，例如目标控件上显示温度的相关信息，当目标用户相对温度的具体信息，如紫外线、风速等内容进行查看时，将视线注视点落在紫外线的图标按钮上，头显设备检测到目标用户的实现注视点落在紫外线的图标按钮上的时间超过一定时间时，则控制目标控件进一步显示紫外线相关的内容。
在本申请实施例中，可以通过手部跟踪的方式与目标控件进行交互，在手部跟踪的方式中，将目标的手指作为一个光标，通过移动手指，当目标用户的头显设备检测到手指在虚拟环境中的坐标与目标控件上的按钮的坐标重合时，即检测到手指在目标控件中的按钮上，实现与目标控件的交互，执行按钮对应的功能。例如，目标控件上显示心率信息，当通过头显设备看到手指在心率信息上时，与目标控件进行交互，进一步显示更详细的心率信息。
在本申请实施例中，可以通过面部跟踪的方式与目标控件进行交互，在目标用户处于需要静音的环境中时，头显设备获取目标用户的最新面部口型，基于面部口型所表示的信息，与目标控件进行交互，例如，目标控件是一个闹钟，上面包含添加闹钟、删除闹钟、设置闹钟等按钮，头显设备在获取到目标用户的面部口型所表达的内容为设置六点的闹钟时，与目标控件进行交互设置六点的闹钟。
在本申请实施例中，可以通过语音控制的方式与目标控件进行交互，头显设备获取目标用户发出的语音信息，根据语音信息的内容，目标控件进行操作，例如目标控件是一个展示电量、天气和时间等信息的控件，上面包含省电模式、闹钟以及计时等相应功能的按钮，在目标控件处于激活状态时，头显设备检测到目标用户发出了“开始计时”的语音信息，从而打开目标控件上的计时功能，开始进行计时。
本申请实施例中提供了一种可能的实现方式，当一个身体部位对应至少两个预设组件时，在视野范围内显示目标控件之前，获取现实环境中目标对象的周边环境；基于目标对象的周边环境，从身体部位对应的至少两个预设组件中，确定目标控件和显示方式，基于显示方式，在视野范围内显示目标控件。
在本申请实施例中，为一个身体部位关联多个预设控件，每个关联的预设控件又与周边环境信息相关联，在目标用户的上述身体部位出现在视野范围内时，由于上述身体部位关联多个预设控件，因此，基于当前目标对象在现实环境中的周边环境，来确定目标控件，从而在视野范围内显示目标控件，与此同时，头显设备也会根据周边环境的亮度来确定目标控件的显示亮度和颜色，即确定显示方式，以保证目标控件更好的融合在周边环境中。
在将预设控件与身体部位绑定的情况下，同时又与目标用户的周围环境进行关联，实现了在简便操作方式下，在预设控件较多的情况下，也能及时的为目标用户显示当前所需的目标控件，减少了目标用户的操作时间，提高了交互效率。
在一个例子中，左手肘关节关联了职场办公类控件、舒缓放松类控件和娱乐类控件，当头显设备检测到左手肘关节对应的预设控件在视野范围内时，通过摄像头和传感器获取目标用户所处现实环境中的周边环境，在周边环境为办公环境时，确定目标控件为职场办公类控件；在周边环境为床上环境时，目标控件为舒缓放松类控件；在周边环境为居家环境时，则将娱乐类控件作为目标控件，并在视野范围内显示目标控件。
本申请实施例中提供了一种可能的实现方式，在身体部位为手，且手对应至少一个预设组件时，确定手的当前手势；基于预先确定的手势和预设组件间的对应关系，从手对应的至少一个预设组件中确定与手势对应的目标控件；在视野范围内显示与手势对应的目标控件。
在本申请实施例中，由于不同的手势之间较容易区分，因此，可以将不同的手势关联不同的预设控件，在头显设备检测到手对应的预设控件出现在视野范围内，且手关联了多个预设控件，确定手的当前手势，基于预先建立的手势和预设控件之间的关联关系，从手关联的多个预设控件中确定手势对应的目标控件，从而头显设备在视野范围内显示目标控件。
在一个例子中，手势1对应控件1、手势2对应控件2，头显设备检测到手对应的预设控件出现在视野范围内时，在手关联的预设控件与手势有关时，通过摄像头和传感器获取手部特征图，并基于预先训练好的手势预测模型和手部特征图，预测出手势为手势1时，头显设备显示手势1对应的目标控件，预测出手势为手势2，头显设备显示手势2对应的目标控件，如图5所示。
请参考图6a和6b，其示例性的示出了，用户触发目标控件显示前后的示意图，具体流程如下：
步骤1：如图6a所示，户手臂放置在身体两侧，头显设备的视野范围为∠A0B，传感器的感受范围为∠COD，手臂在∠COD内，∠A0B之外，因此，手臂对应的时间控件没有进入头显设备的视野范围内，头显设备不显示手臂对应的时间控件。
步骤2：用户抬起手臂至胸前，手臂在手臂头显设备的摄像头传感器采集面前的图像信息，通过图像的计算机视觉分析检测目标用户手臂的位姿信息，检测到手部并且处于手掌向下姿态。
步骤3：根据头部位姿信息确定头显设备的视野范围∠AOB，根据手臂的位姿信息和相对位姿关系确定预设控件的位姿信息，计算得到预设控件处于视野范围∠AOB和传感器感受范围∠COD内，触发时间控件的显示条件。
步骤4：如图6b所示，在手背显示时间控件的内容。
步骤5：用户放下手臂，手臂对应的时间控件在视野范围外时，时间控件不再符合显示条件，头显设备停止显示时间控件。
在一个例子中，示出了身体部位为前胸时，显示目标控件的具体流程如下：
步骤1：通过机器学习算法建立头部位姿与前胸位置的映射模型。
步骤2：当目标用户低头时，通过头显设备的传感器数据，获取前胸的位姿信息。
步骤3：根据前胸的位姿信息和相对位姿关系确定对应的预设控件的位姿信息，计算预设控件在头显设备的显示区域中的投影位置，确定预设控件出现在头显设备的视野范围内，符合前胸对应的相机和地图控件的显示条件。
步骤4：如图7a所示，在头显设备的视野范围显示相机和地图控件。
步骤5：头显设备检测到目标用户的视线注视点落在相机和地图控件上，激活相机和地图控件，使目标用户可以与相机和地图控件进行交互。
步骤6：目标用户用手指701点击控件中的地图按钮702，如图7b所示。
步骤7：如图7c所示，头显设备检测到用户手指坐标与地图按钮坐标重合时，显示地图应用的内容703。
步骤8：用户根据地图进行寻路，在抬头看路时，前胸对应的预设控件离开视野范围，头显设备隐藏地图，如图7d所示，图中虚线部分为隐藏的地图704，在重新低头看地图时，前胸对应的预设控件重新回到头显设备的视野范围，地图再次显示。
本申请实施例提供的控件显示方法，通过获取的目标对象头部的位姿信息，确定目标用户当前在虚拟环境中的视野范围，并基于获取的目标对象的至少一个身体部位的位姿信息和身体部位与对应的预设控件之间的相对位姿关系，从而确定身体部位对应的预设控件的位姿信息，基于头显设备在虚拟环境中的视野范围和预设控件的位姿信息，从而确定在视野范围内的目标控件，由于获取的各身体部位都预先设置有对应的用于展示对应的信息的预设控件，因此，根据获取到的身体部位的位姿信息和对应的相对位姿关系，从而在视野范围内确定出目标控件，通过将承载信息的预设控件与各身体部位绑定，并在想要查看预设控件时，只需将身体部位对应的预设控件放置在视野范围内，即可触发显示对应的预设控件，根据用户身体部位的位姿信息和头显设备的视野范围实现预设控件的主动触发和显示，当目标用户需要查看预设控件的相关内容时，无需目标用户进行额外操作，减少目标用户的认知和体力负担，大大提高了信息查看的便捷性，减小了信息查看所花费的时间，且交互效率高，大大提高了目标用户的用户体验，在显示了目标控件之后，利用身体自然动作来触发与正在显示的目标控件的交互，相比于传统的通过点击的方式更符合人机交互的自然特点，在目标控件的显示过程中，目标控件的显示位置和显示属性可以实时跟踪用户身体部位和头部的位姿变化而调整，确保目标控件始终出现在用户视野范围，从而提高系统的可用性，另外，将预设控件与身体部位绑定的情况下，同时又与目标用户的周围环境进行关联，实现了在简便操作方式下，在预设控件较多的情况下，也能及时的为目标用户显示当前所需的目标控件，减少了目标用户的操作时间，提高了交互效率。
本申请实施例提供了一种头显设备，如图8所示，该头显设备80可以包括：获取模块801、第一确定模块802、第二确定模块803以及显示模块804。
获取模块801，用于获取目标对象的头部和至少一个身体部位在现实环境的位姿信息；每个身体部位具有对应的预设控件，预设控件用于展示对应的信息，每个身体部位与对应的预设控件之间存在相对位姿关系；
第一确定模块802，用于针对每一个身体部位，基于身体部位的位姿信息和相对位姿关系，确定与身体部位对应的预设控件的位姿信息；
第二确定模块803，用于基于头部的位姿信息，确定头显设备在虚拟环境的视野范围，根据每个预设控件的位姿信息和所述视野范围，确定位于所述视野范围内的目标控件；
显示模块804，在视野范围内显示目标控件。
本申请实施例提供的头显设备，通过获取的目标对象头部的位姿信息，确定目标用户当前在虚拟环境中的视野范围，并基于获取的目标对象的至少一个身体部位的位姿信息和身体部位与对应的预设控件之间的相对位姿关系，从而确定身体部位对应的预设控件的位姿信息，基于头显设备在虚拟环境中的视野范围和预设控件的位姿信息，从而确定在视野范围内的目标控件，由于各身体部位都预先设置有对应的用于展示对应的信息的预设控件，因此，根据获取到的身体部位的位姿信息和对应的相对位姿关系，从而在视野范围内确定出目标控件，并在视野范围内显示目标控件，通过将承载信息的预设控件与各身体部位绑定，并在想要查看预设控件时，只需移动身体部位，使身体部位对应的预设控件出现在视野范围内，即可触发显示对应的预设控件，控件显示的操作便捷且不会对用户认知造成负担，大大提高了信息查看的便捷性，减小了信息查看所花费的时间，且交互效率高，大大提高了目标用户的用户体验。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
进一步地，在一个可能的实现方式中，头显设备还包括：
属性确定模块，用于根据目标控件对应的目标身体部位的位姿信息和头显设备的视野范围，确定目标控件的显示属性；显示属性包括以下至少一者：坐标、大小、角度以及渲染层级；
在视野范围内显示目标控件，包括：
根据目标控件的显示属性，在视野范围内显示目标控件。
在另一个可能的实现方式中，属性确定模块包括：
位姿确定单元，用于根据目标身体部位在现实环境的位姿信息，确定目标控件的中心点在虚拟环境的位姿信息；
大小确定单元，用于基于目标控件的中心点与视野范围的中心点的距离，确定目标控件的大小；
坐标确定单元，用于基于目标控件的中心点的坐标和目标控件的大小，确定目标控件的坐标。
在又一个可能的实现方式中，头显设备还包括：
注视点确定模块，用于获取目标对象的眼球的移动速度和位姿信息；
当移动速度小于预设速度阈值时，根据头部和眼球的位姿信息，确定眼球在虚拟环境中的视线注视点；
在视线注视点落在虚拟环境中的目标控件上，且视线注视点的静止时间大于预设静止阈值时，激活目标控件；其中，处于激活状态的目标控件具备交互功能。
在又一个可能的实现方式中，在目标控件处于激活状态时，通过预设方法与目标控件上的按钮进行交互；
预设方法包括以下至少一种：
眼睛跟踪；
手部跟踪；
面部跟踪；
语音控制。
在又一个可能的实现方式中，当一个身体部位对应至少两个预设组件时，头显设备，还包括：
环境获取模块，用于获取现实环境中目标对象的周边环境；
基于目标对象的周边环境，从身体部位对应的至少两个预设组件中，确定目标控件和显示方式；
在所野范围内显示所述目标控件，包括：
基于显示方式，在视野范围内显示目标控件。
在又一个可能的实现方式中，在身体部位为手，且手对应至少一个预设组件时，头显设备，还包括：
手势确定模块，用于确定手的当前手势；
基于预先确定的手势和预设组件间的对应关系，从手对应的至少一个预设组件中确定与手势对应的目标控件；
在视野范围内显示与手势对应的目标控件。
本申请实施例中提供了一种电子设备(计算机装置/设备/系统)，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现控件显示方法的步骤，与相关技术相比可实现：本申请实施例提供的控件显示方法，通过获取的目标对象头部的位姿信息，确定目标用户当前在虚拟环境中的视野范围，并基于获取的目标对象的至少一个身体部位的位姿信息和身体部位与对应的预设控件之间的相对位姿关系，从而确定身体部位对应的预设控件的位姿信息，基于头显设备在虚拟环境中的视野范围和预设控件的位姿信息，从而确定在视野范围内的目标控件，由于各身体部位都预先设置有对应的用于展示对应的信息的预设控件，因此，根据获取到的身体部位的位姿信息和对应的相对位姿关系，从而在视野范围内确定出目标控件，并在视野范围内显示目标控件，通过将承载信息的预设控件与各身体部位绑定，并在想要查看预设控件时，只需移动身体部位，使身体部位对应的预设控件出现在视野范围内，即可触发显示对应的预设控件，控件显示的操作便捷且不会对用户认知造成负担，大大提高了信息查看的便捷性，减小了信息查看所花费的时间，且交互效率高，大大提高了目标用户的用户体验。
在一个可选实施例中提供了一种电子设备，如图9所示，图9所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器4003用于存储执行本申请实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
其中，电子设备包可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9所示的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。与现有技术相比可实现：本申请实施例提供的控件显示方法，通过获取的目标对象头部的位姿信息，确定目标用户当前在虚拟环境中的视野范围，并基于获取的目标对象的至少一个身体部位的位姿信息和身体部位与对应的预设控件之间的相对位姿关系，从而确定身体部位对应的预设控件的位姿信息，基于头显设备在虚拟环境中的视野范围和预设控件的位姿信息，从而确定在视野范围内的目标控件，由于各身体部位都预先设置有对应的用于展示对应的信息的预设控件，因此，根据获取到的身体部位的位姿信息和对应的相对位姿关系，从而在视野范围内确定出目标控件，并在视野范围内显示目标控件，通过将承载信息的预设控件与各身体部位绑定，并在想要查看预设控件时，只需移动身体部位，使身体部位对应的预设控件出现在视野范围内，即可触发显示对应的预设控件，控件显示的操作便捷且不会对用户认知造成负担，大大提高了信息查看的便捷性，减小了信息查看所花费的时间，且交互效率高，大大提高了目标用户的用户体验。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。与现有技术相比可实现：本申请实施例提供的控件显示方法，通过获取的目标对象头部的位姿信息，确定目标用户当前在虚拟环境中的视野范围，并基于获取的目标对象的至少一个身体部位的位姿信息和身体部位与对应的预设控件之间的相对位姿关系，从而确定身体部位对应的预设控件的位姿信息，基于头显设备在虚拟环境中的视野范围和预设控件的位姿信息，从而确定在视野范围内的目标控件，由于各身体部位都预先设置有对应的用于展示对应的信息的预设控件，因此，根据获取到的身体部位的位姿信息和对应的相对位姿关系，从而在视野范围内确定出目标控件，并在视野范围内显示目标控件，通过将承载信息的预设控件与各身体部位绑定，并在想要查看预设控件时，只需移动身体部位，使身体部位对应的预设控件出现在视野范围内，即可触发显示对应的预设控件，控件显示的操作便捷且不会对用户认知造成负担，大大提高了信息查看的便捷性，减小了信息查看所花费的时间，且交互效率高，大大提高了目标用户的用户体验。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (10)

1.一种控件显示方法，其特征在于，应用于头显设备，所述头显设备设置于目标对象的头部，所述方法包括：
获取目标对象的头部和至少一个身体部位在现实环境的位姿信息；每个身体部位具有对应的预设控件，所述预设控件用于展示对应的信息，每个身体部位与对应的预设控件之间存在相对位姿关系；
针对每一个身体部位，基于所述身体部位的位姿信息和所述相对位姿关系，确定与所述身体部位对应的预设控件的位姿信息；
基于所述头部的位姿信息，确定所述头显设备在虚拟环境的视野范围，根据每个预设控件的位姿信息和所述视野范围，确定位于所述视野范围内的目标控件；
在所述视野范围内显示所述目标控件。
2.根据权利要求1所述的控件显示方法，其特征在于，所述在所述视野范围内显示所述目标控件，之前还包括：
根据所述目标控件对应的目标身体部位的位姿信息和所述头显设备的视野范围，确定所述目标控件的显示属性；所述显示属性包括以下至少一者：坐标、大小、角度以及渲染层级；
所述在所述视野范围内显示所述目标控件，包括：
根据所述目标控件的显示属性，在所述视野范围内显示所述目标控件。
3.根据权利要求2所述的控件显示方法，其特征在于，所述根据所述目标控件对应的目标身体部位的位姿信息和所述头显设备的视野范围，确定所述目标控件的显示属性，包括：
根据所述目标身体部位在现实环境的位姿信息和所述相对位置关系，确定所述目标控件的中心点在虚拟环境的位姿信息；
基于所述目标控件的中心点与所述视野范围的中心点的距离，确定所述目标控件的大小；
基于所述目标控件的中心点的坐标和所述目标控件的大小，确定所述目标控件的坐标。
4.根据权利要求1所述的控件显示方法，其特征在于，所述在所述视野范围内显示所述目标控件，之后还包括：
获取所述目标对象的眼球的移动速度和位姿信息；
当所述移动速度小于预设速度阈值时，根据所述头部和所述眼球的位姿信息，确定所述眼球在虚拟环境中的视线注视点；
在所述视线注视点落在所述虚拟环境中的所述目标控件上，且所述视线注视点的静止时间大于预设静止阈值时，激活所述目标控件；其中，处于激活状态的目标控件具备交互功能。
5.根据权利要求3所述的控件显示方法，其特征在于，在所述目标控件处于激活状态时，通过预设方法与所述目标控件上的按钮进行交互；
所述预设方法包括以下至少一种：
眼睛跟踪；
手部跟踪；
面部跟踪；
语音控制。
6.根据权利要求1所述的控件显示方法，其特征在于，当一个身体部位对应至少两个预设组件时，所述在所述视野范围内显示所述目标控件，之前还包括：
获取现实环境中所述目标对象的周边环境；
基于所述目标对象的周边环境，从所述身体部位对应的至少两个预设组件中，确定目标控件和显示方式；
所述在所述视野范围内显示所述目标控件，包括：
基于所述显示方式，在所述视野范围内显示所述目标控件。
7.根据权利要求1所述的控件显示方法，其特征在于，在所述身体部位为手，且所述手对应至少一个预设组件时，所述方法还包括：
确定所述手的当前手势；
基于预先确定的手势和预设组件间的对应关系，从所述手对应的至少一个预设组件中确定与所述手势对应的目标控件；
在所述视野范围内显示与所述手势对应的目标控件。
8.一种头显设备，其特征在于，包括：
获取模块，获取目标对象的头部和至少一个身体部位在现实环境的位姿信息；每个身体部位具有对应的预设控件，所述预设控件用于展示对应的信息，每个身体部位与对应的预设控件之间存在相对位姿关系；
第一确定模块，针对每一个身体部位，基于所述身体部位的位姿信息和所述相对位姿关系，确定与所述身体部位对应的预设控件的位姿信息；
第二确定模块，基于所述头部的位姿信息，确定所述头显设备在虚拟环境的视野范围，根据每个预设控件的位姿信息和所述视野范围，确定位于所述视野范围内的目标控件；
显示模块，在所述视野范围内显示所述目标控件。
9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202311085080.0A 2023-08-25 2023-08-25 控件显示方法、头显设备、电子设备及可读存储介质 Pending CN117130518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311085080.0A CN117130518A (zh) 2023-08-25 2023-08-25 控件显示方法、头显设备、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311085080.0A CN117130518A (zh) 2023-08-25 2023-08-25 控件显示方法、头显设备、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN117130518A true CN117130518A (zh) 2023-11-28

Family

ID=88859398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311085080.0A Pending CN117130518A (zh) 2023-08-25 2023-08-25 控件显示方法、头显设备、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117130518A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369649A (zh) * 2023-12-05 2024-01-09 山东大学 基于本体感觉的虚拟现实交互系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117369649A (zh) * 2023-12-05 2024-01-09 山东大学 基于本体感觉的虚拟现实交互系统及方法
CN117369649B (zh) * 2023-12-05 2024-03-26 山东大学 基于本体感觉的虚拟现实交互系统及方法

Similar Documents

Publication Publication Date Title
US10890983B2 (en) Artificial reality system having a sliding menu
CN107810465B (zh) 用于产生绘制表面的系统和方法
EP3164785B1 (en) Wearable device user interface control
CN105900041B (zh) 利用视线跟踪进行的目标定位
CN114402589B (zh) 用于2d和3d图形用户界面中的元素映射的智能触笔光束和辅助概率输入
US20090322671A1 (en) Touch screen augmented reality system and method
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
EP4006847A1 (en) Virtual object processing method and apparatus, and storage medium and electronic device
KR20140130675A (ko) 화상 처리 디바이스, 및 컴퓨터 프로그램 제품
EP2814000A1 (en) Image processing apparatus, image processing method, and program
KR20160071404A (ko) 사용자 인터페이스 프로그래밍적 스케일링
US20180314326A1 (en) Virtual space position designation method, system for executing the method and non-transitory computer readable medium
Budhiraja et al. Using a HHD with a HMD for mobile AR interaction
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
CN117130518A (zh) 控件显示方法、头显设备、电子设备及可读存储介质
US20240211053A1 (en) Intention-based user interface control for electronic devices
CN110192169A (zh) 虚拟场景中菜单处理方法、装置及存储介质
CN110276794A (zh) 信息处理方法、信息处理装置、终端设备及服务器
US20230343022A1 (en) Mediated Reality
US11169598B2 (en) Apparatus and associated methods for presentation of a virtual reality space
CN115480639A (zh) 人机交互系统、人机交互方法、可穿戴设备及头显设备
WO2024131405A1 (zh) 对象移动控制方法、装置、设备及介质
CN117695648B (zh) 虚拟角色的移动和视角控制方法、装置、电子设备和介质
CN117453037A (zh) 交互方法、头显设备、电子设备及可读存储介质
CN117980870A (zh) 经由触控板的计算机生成的表示进行内容操纵

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination