CN115543138A - 显示控制方法和装置、增强现实头戴设备及介质 - Google Patents

显示控制方法和装置、增强现实头戴设备及介质 Download PDF

Info

Publication number
CN115543138A
CN115543138A CN202211203782.XA CN202211203782A CN115543138A CN 115543138 A CN115543138 A CN 115543138A CN 202211203782 A CN202211203782 A CN 202211203782A CN 115543138 A CN115543138 A CN 115543138A
Authority
CN
China
Prior art keywords
application
virtual screen
texture information
canvas
half part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211203782.XA
Other languages
English (en)
Inventor
李昱锋
杨明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202211203782.XA priority Critical patent/CN115543138A/zh
Publication of CN115543138A publication Critical patent/CN115543138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种显示控制方法和装置、增强现实头戴设备及介质。该显示控制方法包括：在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令；在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏；在所述第一虚拟屏上运行所述第一应用；在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。

Description

显示控制方法和装置、增强现实头戴设备及介质
技术领域
本公开实施例涉及穿戴设备技术领域，更具体地，涉及显示控制方法和装置、增强现实头戴设备及介质。
背景技术
随着增强现实技术的不断发展，出现了很多的AR产品和AR应用。在增强现实头戴设备中，用户存在3D桌面环境中使用3D应用的需求。目前的虚拟显示头戴设备无法实现这一功能。
发明内容
本公开实施例的一个目的是提供一种3D桌面环境中中运行3D应用的方案。
根据本公开实施例的第一方面，提供一种增强现实头戴设备的显示控制方法，所述方法包括：
在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令；
在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏；
在所述第一虚拟屏上运行所述第一应用；
在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。
可选地，所述方法还包括：
在所述第一应用处于第一运行模式时，停止向所述第一应用传递位置跟踪信息。
可选地，所述方法还包括：
在所述第一应用处于第二运行模式时，从所述第一虚拟屏上获取左半部分纹理信息和右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息按照左眼实体屏幕的尺寸加载至左眼实体屏幕上，将从所述第一虚拟屏上获取到的右半部分纹理信息按照右眼实体屏幕的尺寸加载至右眼实体屏幕上。
可选地，所述方法还包括：
在所述第一应用处于第二运行模式时，停止向所述3D桌面环境传递位置跟踪信息。
可选地，所述方法还包括：
在所述第一应用处于第一运行模式时，如果用户注视所述第一画布的时长超过预设时长，将所述第一应用切换为第二运行模式。
可选地，所述方法还包括：
在运行所述第一应用的过程中，接收用户的操作指令；
在所述操作指令映射出的3D射线与所述第一画布存在碰撞的情况下，获取碰撞点在所述第一画布中的坐标值；
根据所述碰撞点在所述第一画布中的坐标值，确定所述第一虚拟屏上与所述碰撞点对应的目标像素点；
控制所述第一应用触发与所述目标像素点对应的触控事件。
可选地，所述方法还包括：
在3D桌面环境的运行过程中，接收启动第二应用的第二启动指令；
在所述第二应用为3D应用的情况下，响应于所述第二启动指令，在3D桌面环境中创建第二画布和第二虚拟屏；其中，所述第一画布和所述第二画布位于3D桌面环境的不同位置；
在所述第二虚拟屏上运行所述第二应用，从所述第二虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第二虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第二画布上。
根据本公开实施例的第二方面，提供了一种增强现实头戴设备的显示控制装置，所述装置包括：
接收模块，用于在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令；
创建模块，用于在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏；
运行模块，用于在所述第一虚拟屏上运行所述第一应用；
渲染模块，用于在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。
根据本公开实施例的第三方面，提供了一种增强现实头戴设备，所述增强现实头戴设备包括：
存储器，用于存储可执行的计算机指令；
处理器，用于根据所述可执行的计算机指令的控制，执行根据以上第一方面所述的显示控制方法。
根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行以上第一方面所述的显示控制方法。
本公开实施例的一个有益效果在于，在增强现实头戴设备的3D桌面环境中，在接收到用户启动3D应用的启动指令时，在3D桌面环境中创建与该3D应用对应的画布和虚拟屏，在该虚拟屏上启动并运行3D应用，从虚拟屏上获取纹理信息并渲染到该画布上，从而使得3D应用可以显示在3D桌面环境中。
通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。
图1是根据本公开实施例的智能眼镜的硬件配置示意图；
图2是根据本公开实施例的场景示意图一；
图3是根据本公开实施例的显示控制方法的流程示意图；
图4是根据本公开实施例的显示控制原理示意图；
图5是根据本公开实施例的显示控制装置的原理框图；
图6是根据本公开实施例的智能眼镜的原理框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是根据本公开实施例的智能眼镜1000的硬件配置的框图。
在一个实施例中，如图1所示，智能眼镜1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。
其中，处理器1100可以包括但不限于中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括各种总线接口，例如串行总线接口(包括USB接口)、并行总线接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、LED显示屏、OLED(Organic Light-Emitting Diode)显示屏等。输入装置1600例如包括触摸屏、键盘、手柄等。智能眼镜1000可以通过扬声器1700输出音频信息，可以通过麦克风1800采集音频信息。
本领域技术人员应当理解，尽管在图1中示出了智能眼镜1000的多个装置，但是，本说明书实施例的智能眼镜1000可以仅涉及其中的部分装置，也可以还包含其他装置，在此不做限定。
本实施例中，智能眼镜1000的存储器1200用于存储指令，该指令用于控制处理器1100进行操作以实施或者支持实施根据任意实施例的显示控制方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
在上述描述中，技术人员可以根据本公开所提供的方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
在另一实施例中，如图2所示，智能眼镜1000包括显示组件110、镜架111和两个天线，两个天线中的其中一个天线112设置在镜架111的第一端，另一个天线113设置在镜架111的第二端，该天线112和天线113用于接收目标对象2000发射的第一信号。示例性地，天线112和天线113可以均为蓝牙天线，该目标对象2000能够发射蓝牙信号，天线112和天线113用于接收目标对象2000发射的蓝牙信号。当然，该两个天线还可以是其他类型的天线，本实施例在此不做限定。智能眼镜1000还可以包括摄像装置(图中未示出)。
图1所示的智能眼镜仅是解释性的，并且决不是为了要限制本公开、其应用或用途。
<方法实施例>
图3示出了本公开的一个实施例的显示控制方法，该显示控制方法应用于增强现实头戴设备，该显示控制方法可以由头戴显示设备实施，也可以是由独立于头戴显示设备的控制设备和头戴显示设备共同实施，还可以是由云端服务器和头戴显示设备共同实施。该增强现实头戴设备例如可以是如图1所示的智能眼镜1000，该智能眼镜包括显示组件、镜架和两个天线，所述两个天线中的一个设置在所述镜架的第一端，另一个设置在所述镜架的第二端。
如图3所示，该实施例的显示控制方法可以包括如下步骤S3100～步骤S3400：
步骤S3100，在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令。
在智能眼镜中，ARlauncher是3D桌面启动器，在开机时ARlauncher启动，3D桌面环境开始运行。用户佩戴智能眼镜后，3D桌面环境在用户的视线范围内展示，用户通过输入第一启动指令，在3D桌面环境中启动第一应用。
步骤S3200，在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏。
在一个实施例中，在接收到所述第一启动指令时，检测所述第一应用的全局配置文件中是否含有3D引擎标签，在否的情况下，确定所述第一应用为2D应用。在是的情况下，确定所述第一应用为3D应用。
其中，3D引擎为Unity或Unreal，使用Unity或Unreal引擎开发的3D应用中，AndroidManifest中标签带有“unity”或“unreal”的3D引擎标签。检测所述第一应用的全局配置文件中是否含有3D引擎标签，在是的情况下，确定所述第一应用为3D应用，在否的情况下，确定所述第一应用为2D应用。
在一个实施例中，在接收到所述第一启动指令时，从所述3D桌面运行环境提供的应用菜单中获取所述第一应用的属性信息，根据所述第一应用的属性信息确定所述第一应用是否为3D应用。
由于unity或unreal引擎也可能用于开发2D应用，因此只依靠3D引擎标签判断第一应用的类型，会出现偏差，因此用户可以在ARlauncher提供的应用菜单中，获取人为预先设置的第一应用的属性信息，根据属性信息确定所述第一应用是否为3D应用。确定所述第一应用为3D应用时，在第一虚拟屏上运行所述第一应用。
在一个实施例中，在第一应用为3D应用的情况下，则在ARlauncher界面中创建第一虚拟屏，并给第一虚拟屏以编号做标记，将第一虚拟屏、画布和第一应用绑定。将第一虚拟屏和对应的第一应用的apk文件的名称传递给aar包。其中，aar包用于存储代码，是一种untiy和虚拟屏之间的连接工具，aar包相当于软件开发工具包SDK，其内部有多个API接口可以被调用。untiy引擎通过aar包创建第一虚拟屏并启动第一应用。untiy引擎创建第一画布。
步骤S3300，在所述第一虚拟屏上运行所述第一应用。
在一个实施例中，aar包接收到第一启动指令后，启动aar包对应的第一虚拟屏，根据ARlauncher传递的apk文件的名称信息将对应的第一应用打开至第一虚拟屏中。
步骤S3400，在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。
第一运行模式为非独占模式，即用户看到的不止是第一应用。此时，第一画布较远，用户的左眼和右眼分别能看到完整的第一画布，如果第一画布显示虚拟屏的全部纹理信息，就会产生四目错乱情况。因此本实施例从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。从而消除四目错乱的问题。
第一画布只显示3D应用的左眼内容或者右眼内容。在此种状态下，用户看到的3D应用是不具有其原本的3D效果的，相当于是在3D桌面环境中看到了一张2维图像。
在一个实施例中，在所述第一应用处于第一运行模式时，停止向所述第一应用传递位置跟踪信息。所述位置跟踪信息包括6dof数据信息、用户的移动信息或旋转信息。
用户在AR设备中可以做三种旋转运动：横摇(Roll)、纵摇(Pitch)和垂摇(Yaw)。所以，6dof等于3种类型平移运动+3种类型旋转运动。
6dof就是6自由度，除了具备在X、Y、Z三轴上旋转的能力之外，也具备在X、Y、Z三轴上移动的能力。6dof的AR设备就几乎可以模拟所有的头部动态。并且，利用位移数据，也可以标定用户身高。
在6dof中，增强现实头戴设备的主要作用除了环境感知外，又增强了许多主动性的行为，比如：微动作(歪头、缩脖子、半身前倾等)、主体移动(可以走、跳、蹲甚至躺)。
在一个实施例中，在所述第一应用处于第二运行模式时，从所述第一虚拟屏上获取左半部分纹理信息和右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息按照左眼实体屏幕的尺寸加载至左眼实体屏幕上，将从所述第一虚拟屏上获取到的右半部分纹理信息按照右眼实体屏幕的尺寸加载至右眼实体屏幕上。
第二运行模式为独占模式/全屏模式，此模式下用户只看到第一应用。也就是全屏显示第一应用。本申请实施例提到的独占模式/全屏模式，直接并且只将虚拟屏的纹理直接渲染到增强现实头戴设备的实体屏，3D桌面环境中的其他内容不在用户的视线范围内显示。
在增强现实头戴设备中，第一虚拟屏的纹理渲染到第一画布，第一画布的纹理渲染到增强现实头戴设备的实体屏，完成第二运行模式的显示过程。
本实施例中，在所述第一应用处于第二运行模式时，停止向所述3D桌面环境传递位置跟踪信息。避免3D桌面环境和第一应用具备各自的6dof数据信息，造成增强现实头戴设备的显示混乱。本实施例为了解决上述问题，采取停止6dof数据或传递固定的6dof数据的手段。
在一个实施例中，在所述第一应用处于第二运行模式时，调整所述第一画布的参数使得所述第一画布位于3D桌面环境的最靠近人眼的位置并且同时占据双目视场，从所述第一虚拟屏上获取左半部分纹理信息和右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息渲染到所述第一画布的左半部分，将从所述第一虚拟屏上获取到的右半部分纹理信息渲染到所述第一画布的右半部分。这样就不会有四目错乱问题，第一画布可以显示第一虚拟屏的全部纹理信息
本公开实施例，在第一应用处于第二运行模式时，将从第一虚拟屏上获取到的左半部分纹理信息按照左眼实体屏幕的尺寸直接加载至左眼实体屏幕上，将从第一虚拟屏上获取到的右半部分纹理信息按照右眼实体屏幕的尺寸直接加载至右眼实体屏幕上，避免从画布至实体屏幕的渲染导致的画面质量下降问题，提供了更加良好的用户体验。
本实施例中，佩戴增强现实头戴设备的用户的姿态、眼睛转动等，均会被增强现实头戴设备的传感器检测到，导致6dof数据信息的变化。
3D应用处于第一运行模式时，保留Luanher环境的6dof数据信息，关闭3D应用的6dof数据信息，3D应用就不会锚定现实世界，3D应用的内容不会随着6dof数据信息而发生变化。
3D应用处于第二运行模式时，保留3D应用的6dof数据信息，关闭Luanher环境的6dof数据信息，Luanher桌面就不会锚定现实世界，会跟着用户的姿态或视线进行变动，用户按下增强现实头戴设备的home返回时还可以看到桌面启动界面。
本公开实施例，在以第一运行模式在3D桌面环境中运行第一应用时，停止向第一应用传递位置跟踪信息，在以第二运行模式在3D桌面环境中运行第二应用时，停止向3D桌面环境传递位置跟踪信息，通过这种方式实现了用户头部姿态锁定的效果不会造成用户混乱。
在一个实施例中，在所述第一应用处于第一运行模式时，如果用户注视所述第一画布的时长超过预设时长，将所述第一应用切换为第二运行模式。
采用用户注视所述第一画布的时长作为模式切换条件，在用户注视所述第一画布的时长超过预设时长时，将所述第一画布中的第一应用全屏显示在增强现实头戴设备的实体屏上。
本实施例中，将所述第二运行模式具备两种方式：
第一种方式：将画布拉近至占据用户全部视场，在画布的左半区域渲染虚拟屏的纹理的左半部分，右半区域渲染虚拟屏的纹理的右半部分。在画布较近时，基于人眼的视觉特性，用户左右眼都只能看到画布的部分区域，不会存在四目问题。
第二种方式：只将虚拟屏上的纹理的左半部分直接加载显示到左实体屏并且尺寸匹配，纹理的右半部分直接加载显示到右实体屏并且尺寸匹配，3D桌面中其他内容不上实体屏。跳过画布中转这一步，好处是可以避免两次渲染的损失。
本实施例，在Luancher环境下，将3D应用的画面渲染到画布上，再从画布获取左眼渲染到左眼camera组件，右眼内容到右眼camera组件来模仿用户双眼注视。这会产生一定的图像损失。本实施例直接将3D应用的左眼画面和右眼画面渲染，避免二次渲染的损失。本实施例的第二运行模式将画面放大覆盖Luancher环境。将3D应用的左眼画面渲染至虚拟双目camera的左镜头，3D应用的右眼画面渲染至虚拟双目camera的右镜头。
在一个实施例中，所述显示控制方法还包括：
在运行所述第一应用的过程中，接收用户的操作指令，所述操作指令为手柄操控指令、手势操控指令或视线操控指令；
在所述操作指令映射出的3D射线与所述第一画布存在碰撞的情况下，获取所述碰撞点在所述第一画布中的坐标值；
根据碰撞点在所述第一画布中的坐标值，确定所述第一虚拟屏上与所述碰撞点对应的目标像素点；
控制所述第一应用触发与所述目标像素点对应的触控事件。
本公开实施例，在用户的操作指令映射出的3D射线与画布存在碰撞的情况下，可以对于3D应用触发相应的触控事件，从而实现在3D桌面环境中运行的3D应用与用户的交互。
在一个实施例中，所述显示控制方法还包括：
在3D桌面环境的运行过程中，接收启动第二应用的第二启动指令；
在所述第二应用为3D应用的情况下，响应于所述第二启动指令，在3D桌面环境中创建第二画布和第二虚拟屏；其中，所述第一画布和所述第二画布位于3D桌面环境的不同位置；
在所述第二虚拟屏上运行所述第二应用，从所述第二虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第二虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第二画布上。
本公开实施例，通过在3D桌面环境的不同位置创建多个画布，实现在3D桌面环境中同时运行多个3D应用，并且，在多个3D应用进行切换时不需要很长的准备时间。本公开实施例的一个有益效果在于，可以在3D桌面环境中运行多个3D应用，便于提成用户交互的通用性。
<例子>
接下来以头戴显示设备为智能眼镜为例，示出一个例子的显示控制方法，参照图4，该显示控制方法可以包括如下步骤：
步骤S701，在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令。
步骤S702，判断第一应用的应用类型，所述应用类型包括2D应用和3D应用。
步骤S703，在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏。
步骤S704，在所述第一虚拟屏上运行所述第一应用。
步骤S705，在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。
步骤S706，在所述第一应用处于第二运行模式时，从所述第一虚拟屏上获取左半部分纹理信息和右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息按照左眼实体屏幕的尺寸加载至左眼实体屏幕上，将从所述第一虚拟屏上获取到的右半部分纹理信息按照右眼实体屏幕的尺寸加载至右眼实体屏幕上。
步骤S707，在运行所述第一应用的过程中，接收用户的操作指令。
步骤S708，在所述操作指令映射出的3D射线与所述第一画布存在碰撞的情况下，获取所述碰撞点在所述第一画布中的坐标值。
步骤S709，根据碰撞点在所述第一画布中的坐标值，确定所述第一虚拟屏上与所述碰撞点对应的目标像素点。
步骤S7010，控制所述第一应用触发与所述目标像素点对应的触控事件。
<装置实施例>
图5是根据一个实施例的增强现实头戴设备的显示控制装置的结构示意图。该显示控制装置应用于智能眼镜，该智能眼镜包括显示组件、镜架和两个天线，所述两个天线中的其中一个设置在所述镜架的第一端，另一个设置在所述镜架的第二端。如图5所示，该显示控制装置500包括接收模块510、创建模块520、运行模块530和渲染模块540。
接收模块510，用于在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令；
创建模块520，用于在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏；
运行模块530，用于在所述第一虚拟屏上运行所述第一应用；
渲染模块540，用于在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。
在一个实施例中，装置500还包括第一控制模块(图中未示出)。
第一控制模块，用于在所述第一应用处于第一运行模式时，停止向所述第一应用传递位置跟踪信息。
在一个实施例中，装置500还包括第一获取模块和第一加载模块(图中未示出)。
第一获取模块，用于在所述第一应用处于第二运行模式时，从所述第一虚拟屏上获取左半部分纹理信息和右半纹理信息；
第一加载模块，用于将从所述第一虚拟屏上获取到的左半部分纹理信息按照左眼实体屏幕的尺寸加载至左眼实体屏幕上，将从所述第一虚拟屏上获取到的右半部分纹理信息按照右眼实体屏幕的尺寸加载至右眼实体屏幕上。
在一个实施例中，装置500还包括第二控制模块(图中未示出)。
第二控制模块，用于在所述第一应用处于第二运行模式时，停止向所述3D桌面环境传递位置跟踪信息。
在一个实施例中，装置500还包括第一切换模块(图中未示出)。
第一切换模块，在所述第一应用处于第一运行模式时，如果用户注视所述第一画布的时长超过预设时长，将所述第一应用切换为第二运行模式。
在一个实施例中，装置500还包括第二接收模块、第二获取模块、第一确定模块和第三控制模块(图中未示出)。
第二接收模块，用于在运行所述第一应用的过程中，接收用户的操作指令；
第二获取模块，用于在所述操作指令映射出的3D射线与所述第一画布存在碰撞的情况下，获取所述碰撞点在所述第一画布中的坐标值；
第一确定模块，用于根据碰撞点在所述第一画布中的坐标值，确定所述第一虚拟屏上与所述碰撞点对应的目标像素点；
第三控制模块，用于控制所述第一应用触发与所述目标像素点对应的触控事件。
在一个实施例中，装置500还包括第三接收模块、第二创建模块和第二渲染模块(图中未示出)。
第三接收模块，用于在3D桌面环境的运行过程中，接收启动第二应用的第二启动指令；
第二创建模块，用于在所述第二应用为3D应用的情况下，响应于所述第二启动指令，在3D桌面环境中创建第二画布和第二虚拟屏；其中，所述第一画布和所述第二画布位于3D桌面环境的不同位置；
第二渲染模块，用于在所述第二虚拟屏上运行所述第二应用，从所述第二虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第二虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第二画布上。
根据本公开的实施例，在增强现实头戴设备的3D桌面环境中，在接收到用户启动3D应用的启动指令时，在3D桌面环境中创建与该3D应用对应的画布和虚拟屏，在该虚拟屏上启动并运行3D应用，从虚拟屏上获取纹理信息并渲染到该画布上，从而使得3D应用可以显示在3D桌面环境中。
<设备实施例>
图6是根据一个实施例的头戴显示设备的硬件结构示意图。如图6所示，该头戴显示设备600包括处理器610和存储器620。
该存储器620可以用于存储可执行的计算机指令。
该处理器610可以用于根据所述可执行的计算机指令的控制，执行根据本公开方法实施例所述的显示控制方法。
该头戴显示设备600可以是如图1所示的头戴显示设备1000，也可以是具备其他硬件结构的设备，在此不做限定。
在另外的实施例中，该头戴显示设备600可以包括以上显示控制装置500。
在一个实施例中，以上显示控制装置500的各模块可以通过处理器610运行存储器620中存储的计算机指令实现。
<计算机可读存储介质>
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行本公开实施例提供的显示控制方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种增强现实头戴设备的显示控制方法，其特征在于，所述方法包括：
在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令；
在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏；
在所述第一虚拟屏上运行所述第一应用；
在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一应用处于第一运行模式时，停止向所述第一应用传递位置跟踪信息。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一应用处于第二运行模式时，从所述第一虚拟屏上获取左半部分纹理信息和右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息按照左眼实体屏幕的尺寸加载至左眼实体屏幕上，将从所述第一虚拟屏上获取到的右半部分纹理信息按照右眼实体屏幕的尺寸加载至右眼实体屏幕上。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述第一应用处于第二运行模式时，停止向所述3D桌面环境传递位置跟踪信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述第一应用处于第一运行模式时，如果用户注视所述第一画布的时长超过预设时长，将所述第一应用切换为第二运行模式。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在运行所述第一应用的过程中，接收用户的操作指令；
在所述操作指令映射出的3D射线与所述第一画布存在碰撞的情况下，获取碰撞点在所述第一画布中的坐标值；
根据所述碰撞点在所述第一画布中的坐标值，确定所述第一虚拟屏上与所述碰撞点对应的目标像素点；
控制所述第一应用触发与所述目标像素点对应的触控事件。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在3D桌面环境的运行过程中，接收启动第二应用的第二启动指令；
在所述第二应用为3D应用的情况下，响应于所述第二启动指令，在3D桌面环境中创建第二画布和第二虚拟屏；其中，所述第一画布和所述第二画布位于3D桌面环境的不同位置；
在所述第二虚拟屏上运行所述第二应用，从所述第二虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第二虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第二画布上。
8.一种增强现实头戴设备的显示控制装置，其特征在于，所述装置包括：
接收模块，用于在3D桌面环境的运行过程中，接收启动第一应用的第一启动指令；
创建模块，用于在所述第一应用为3D应用的情况下，响应于所述第一启动指令，在所述3D桌面环境中创建第一画布和第一虚拟屏；
运行模块，用于在所述第一虚拟屏上运行所述第一应用；
渲染模块，用于在所述第一应用处于第一运行模式时，从所述第一虚拟屏上获取左半部分纹理信息或者右半纹理信息，将从所述第一虚拟屏上获取到的左半部分纹理信息或者右半纹理信息渲染到所述第一画布上。
9.一种增强现实头戴设备，其特征在于，所述增强现实头戴设备包括：
存储器，用于存储可执行的计算机指令；
处理器，用于根据所述可执行的计算机指令的控制，执行根据权利要求1-7中任意一项所述的显示控制方法。
10.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行权利要求1-7中任意一项所述的显示控制方法。
CN202211203782.XA 2022-09-29 2022-09-29 显示控制方法和装置、增强现实头戴设备及介质 Pending CN115543138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211203782.XA CN115543138A (zh) 2022-09-29 2022-09-29 显示控制方法和装置、增强现实头戴设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211203782.XA CN115543138A (zh) 2022-09-29 2022-09-29 显示控制方法和装置、增强现实头戴设备及介质

Publications (1)

Publication Number Publication Date
CN115543138A true CN115543138A (zh) 2022-12-30

Family

ID=84732390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211203782.XA Pending CN115543138A (zh) 2022-09-29 2022-09-29 显示控制方法和装置、增强现实头戴设备及介质

Country Status (1)

Country Link
CN (1) CN115543138A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066750A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 显示控制方法和装置、增强现实头戴设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066750A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 显示控制方法和装置、增强现实头戴设备及介质

Similar Documents

Publication Publication Date Title
KR102218516B1 (ko) 2d/3d 혼합 콘텐츠의 검출 및 디스플레이
US10271043B2 (en) 3D user interface—360-degree visualization of 2D webpage content
US10019849B2 (en) Personal electronic device with a display system
US10019831B2 (en) Integrating real world conditions into virtual imagery
CN108604175B (zh) 装置和关联方法
CN114616535A (zh) 将物理对象移植到虚拟现实中
US10884576B2 (en) Mediated reality
US11003305B2 (en) 3D user interface
EP4026318A1 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical user interfaces
EP3128413A1 (en) Sharing mediated reality content
EP3118722B1 (en) Mediated reality
US10257500B2 (en) Stereoscopic 3D webpage overlay
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
US10127715B2 (en) 3D user interface—non-native stereoscopic image conversion
KR20190129982A (ko) 전자기기 및 그 제어 방법
JPWO2020031493A1 (ja) 端末装置および端末装置の制御方法
CN112965773B (zh) 用于信息显示的方法、装置、设备和存储介质
CN117215449A (zh) 交互控制方法、装置、电子设备及介质
CN117631810A (zh) 基于虚拟现实空间的操作处理方法、装置、设备及介质
CN112965773A (zh) 用于信息显示的方法、装置、设备和存储介质
CN117640919A (zh) 基于虚拟现实空间的图片显示方法、装置、设备及介质
CN117765207A (zh) 虚拟界面的显示方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination