CN113504830B - 用于头戴式显示设备的显示方法及装置 - Google Patents
用于头戴式显示设备的显示方法及装置 Download PDFInfo
- Publication number
- CN113504830B CN113504830B CN202110830460.7A CN202110830460A CN113504830B CN 113504830 B CN113504830 B CN 113504830B CN 202110830460 A CN202110830460 A CN 202110830460A CN 113504830 B CN113504830 B CN 113504830B
- Authority
- CN
- China
- Prior art keywords
- window
- slave
- master
- head
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 88
- 230000001960 triggered effect Effects 0.000 claims abstract description 57
- 230000004044 response Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
本公开提供了一种用于头戴式显示设备的显示方法及装置。在该方法中,在头戴式显示设备上显示有多个窗口时,响应于多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口;根据头戴式显示设备的位姿信息和视场角,在空间中确定头戴式显示设备的视野范围;以及将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外,其中,位姿信息至少包括的第一主窗口与所述第一从窗口的相对位置关系对应的自由度可变。
Description
技术领域
本公开涉及计算机技术领域,具体地,涉及一种用于头戴式显示设备的显示方法及装置。
背景技术
随着科技发展,电子设备成为生活中的必需品,用户通过电子设备上安装的应用程序进行工作、学习、娱乐等,为用户带来了极大的便利性。用户启动应用程序后,应用程序的内容可以随之在显示设备上展示出来。显示设备可以是AR(Augmented Reality,增强现实)眼镜、VR(Virtual Reality,虚拟现实)眼镜等头戴式显示设备,头戴式显示设备可以在虚拟屏幕上以窗口的形式进行显示。比如,一个应用程序对应一个窗口,应用程序的内容承载在窗口中进行显示。当有多个窗口时,头戴式显示设备可以同时显示多个窗口,并且该多个窗口的显示位置可以改变。
目前改变窗口的显示位置的方式是通过用户手动拖动窗口的方式来改变,当有多个窗口需要重新调整位置时,需要对每一个窗口进行手动拖动操作,以将其拖到合适位置。
发明内容
鉴于上述,本公开提供了一种用于头戴式显示设备的显示方法及装置。在本公开的技术方案中,通过主从窗口模式可以同时对多个窗口进行排布,提高了窗口排布的效率。此外,在头戴式显示设备的视野范围内仅显示主窗口,提高了用户的观看体验,且主从窗口模式可以将从窗口排布在视野范围外,以避免从窗口被主窗口覆盖。主窗口与从窗口的相对位置关系对应的自由度可变使得头戴式显示设备通过在该自由度上变动将从窗口显示在视野范围内,从而便于用户查看从窗口。
根据本公开的一个方面,提供了一种用于头戴式显示设备的显示方法,包括:在头戴式显示设备上显示有多个窗口时,响应于多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口;根据头戴式显示设备的位姿信息和视场角,在空间中确定头戴式显示设备的视野范围;以及将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外,其中,位姿信息至少包括的第一主窗口与第一从窗口的相对位置关系对应的自由度可变。
根据本公开的另一方面,还提供一种用于头戴式显示设备的显示装置,包括:主从窗口确定单元,被配置为在头戴式显示设备上显示有多个窗口时,响应于多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口;视野范围确定单元,被配置为根据头戴式显示设备的位姿信息和视场角,在空间中确定头戴式显示设备的视野范围;以及窗口排布单元,被配置为将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外,其中,位姿信息至少包括的第一主窗口与所述第一从窗口的相对位置关系对应的自由度可变。
根据本公开的另一方面,还提供一种电子设备,包括:至少一个处理器,以及存储器,该存储器存储指令,当指令被至少一个处理器执行时,使得至少一个处理器执行如上所述的用于头戴式显示设备的显示方法。
根据本公开的另一方面,还提供一种计算机可读存储介质,其存储有计算机程序,计算机程序被处理器执行时执行如上所述的用于头戴式显示设备的显示方法。
根据本公开的另一方面,还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上所述的用于头戴式显示设备的显示方法。
附图说明
通过参照下面的附图,可以实现对于本公开内容的本质和优点的进一步理解。在附图中,类似组件或特征可以具有相同的附图标记。
图1示出了根据本公开的实施例的用于头戴式显示设备的显示方法的一个示例的流程图。
图2示出了根据本公开的实施例的窗口的一个示例的示意图。
图3示出了根据本公开的实施例的头戴式显示设备的视野大小的一个示例的示意图。
图4示出了根据本公开的实施例的窗口的另一个示例的示意图。
图5示出了根据本公开的实施例的头戴式显示设备在主从窗口模式下进行显示的一个示例的示意图。
图6示出了根据本公开的实施例的主从窗口在头戴式显示设备上显示的一个示例的示意图。
图7示出了根据本公开的实施例的主从窗口在头戴式显示设备上显示的另一个示例的示意图。
图8示出了根据本公开的实施例的主从窗口在头戴式显示设备上显示的另一个示例的示意图。
图9示出了根据本公开的实施例的用于头戴式显示设备的显示装置的一个示例的方框图。
图10示出了本公开的实施例的用于实现头戴式显示设备的显示方法的电子设备的方框图。
具体实施方式
以下将参考示例实施方式讨论本文描述的主题。应该理解,讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题,并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下,对所讨论的元素的功能和排列进行改变。各个示例可以根据需要,省略、替代或者添加各种过程或组件。另外,相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的,术语“包括”及其变型表示开放的术语,含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义,无论是明确的还是隐含的。除非上下文中明确地指明,否则一个术语的定义在整个说明书中是一致的。
本公开提供了一种用于头戴式显示设备的显示方法及装置。在该显示方法中,在头戴式显示设备上显示有多个窗口时,响应于多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口;根据头戴式显示设备的位姿信息和视场角,在空间中确定头戴式显示设备的视野范围;将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外,其中,位姿信息至少包括的第一主窗口与第一从窗口的相对位置关系对应的自由度可变。在上述技术方案中,通过主从窗口模式可以同时对多个窗口进行排布,提高了窗口排布的效率。此外,在头戴式显示设备的视野范围内仅显示主窗口(例如,第一主窗口),提高了用户的观看体验,且主从窗口模式可以避免从窗口(例如,第一从窗口)被主窗口覆盖,也可以避免从窗口被隐藏,主窗口与从窗口的相对位置关系对应的自由度可变使得头戴式显示设备通过在该自由度上变动将从窗口显示在视野范围内,从而便于用户查看从窗口。
下面结合附图对本公开中的用于头戴式显示设备的显示方法及装置进行详细说明。
图1示出了根据本公开的实施例的用于头戴式显示设备的显示方法的一个示例100的流程图。
本公开提供的显示方法可以由头戴式显示设备来执行。在一个示例中,头戴式显示设备可以运行应用程序,对应用程序的显示内容进行渲染后显示在头戴式显示设备的窗口中。在另一个示例中,头戴式显示设备与终端设备通信连接,终端设备可以包括手机、平板等任一种设备。终端设备用于提供显示内容,例如,终端设备上运行应用程序,该应用程序的显示内容由终端设备传输给头戴式显示设备,以在头戴式显示设备上进行显示。
通常,术语“头戴式显示设备”可以表示通过光学成像系统(主要是各种精密光学透镜)放大超微显示屏上的图像来将影像投射于视网膜上,进而在观看者眼中呈现大屏幕虚拟图像,使得用户产生虚拟图像位于空间中某个位置的视觉感受。作为示例,佩戴头戴式显示设备的用户看到的虚拟图像在视线正前方两米处,可以理解为头戴式显示设备的光学成像系统将显示屏上的图像投射到用户的视网膜上从而使得用户产生图像在视线前方两米处的视觉感受。
如图1所示,在110,在头戴式显示设备上显示有多个窗口时,响应于该多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口。
在本公开中,头戴式显示设备以窗口的形式进行显示,待显示的内容装载在窗口中,窗口显示在头戴式显示设备的虚拟屏幕上。头戴式显示设备中的窗口可以与应用程序一一对应,每个窗口用于承载并显示所对应的应用程序的内容。例如,头戴式显示设备中当前运行有三个应用程序,则头戴式显示设备可以渲染出三个窗口,每个窗口对应显示一个应用程序的内容。
在一个示例中,一个应用程序可以对应多个窗口,则该应用程序的内容可以由对应的多个窗口来显示。应用程序的内容可以分成多个部分,每个部分对应一个窗口,或者,多个部分对应一个窗口。例如,运行的浏览器中可以开启多个页面,每个页面相当于浏览器显示内容的一个部分。浏览器开启的所有页面可以在一个窗口中进行显示,此时,浏览器对应一个窗口。浏览器中的各个页面可以分开由不同的窗口来显示,比如,每个页面由一个窗口来显示,此时,浏览器可以对应多个窗口。
在本公开中,在任一窗口的主从窗口模式被触发前,多个窗口可以显示在头戴式显示设备的视野范围内。即,本公开的执行主体可以采用unity3D等引擎渲染出多个窗口显示在头戴式显示设备的当前视野范围内。该多个窗口在视野范围内的排列方式可以是指定的,比如,多个窗口可以排成一行。或者,该多个窗口在视野范围内的排列方式也可以是随意的,没有具体地限定。
在本公开中,头戴式显示设备中的窗口可以设置有主从窗口模式。可选地,头戴式显示设备中的窗口还可以设有除主从窗口模式以外的非主从窗口模式,比如,在任一窗口的主从窗口模式被触发前,各个窗口处于非主从窗口模式。
主从窗口模式针对的是当前显示的所有窗口,当多个窗口中的一个窗口触发主从窗口模式时,该多个窗口中的其他窗口也会触发主从窗口模式。主从窗口模式可以将所针对的多个窗口中的一个窗口作为主窗口排布在头戴式显示设备的视野范围内,将该多个窗口中的其他窗口作为从窗口排布在头戴式显示设备的视野范围外。主从窗口模式可以是由多个窗口中的任一个窗口触发。
触发主从窗口模式的方式可以包括:选中窗口后,对该窗口执行指定操作。指定操作可以包括指定手势,比如,将选中的窗口向左拖动。指定操作还可以包括:对选中窗口双击、对选中窗口三击、长按选中窗口的时长达到指定阈值等。
在一个示例中,头戴式显示设备上显示的每个窗口可以配置有主从窗口模式按键。主从窗口模式按键可以配置显示在对应窗口的周边,比如,可以配置显示在窗口的下方。图2示出了根据本公开的实施例的窗口的一个示例的示意图,如图2所示,“○”按键表示主从窗口模式按键,设置在窗口的下方。在该示例中,主从窗口模式按键可以由头戴式显示设备生成,所生成的主从窗口模式按键用来关联对应的窗口,用于触发所关联的窗口的主从窗口模式。头戴式显示设备在渲染窗口时可以渲染出主从窗口模式按键,从而使得每个窗口配置有主从窗口模式按键,并显示在对应窗口的周边。
在该示例中,窗口触发主从窗口模式的方式还可以包括窗口的主从窗口模式按键被触发。即,当一个窗口的主从窗口模式按键被触发时,则该窗口的主从窗口模式被触发。其中,主从窗口模式按键被触发的方式可以包括点击主从窗口模式按键。
在一个示例中,各个窗口配置的主从窗口模式按键可以持续显示,这样便于用户,尤其是新用户,进行主从窗口模式触发操作。在另一个示例中,主从窗口模式按键在对应的窗口被触发选中时显示,在对应的窗口未被触发选中时隐藏,这样可以使得头戴式显示设备所显示的内容更简洁明了。
此外,在一个示例中,各个窗口还可以配置有用于增加新窗口或者新页面的新增按键、前进按键、后退按键、刷新按键等。以图4为例,如图4所示,从左至右的按键依次为:后退按键、前进按键、刷新按键、主从窗口模式按键以及新增按键。
在本公开中,主从窗口模式被触发的窗口不同,则在进入的主从窗口模式下的主窗口不同。在多个窗口中的一个窗口的主从窗口模式被触发时,可以将该被触发的窗口确定为主从窗口模式下的第一主窗口,将多个窗口中的其他窗口确定为主从窗口模式下的第一从窗口。
在120,根据头戴式显示设备的位姿信息和视场角,在空间中确定头戴式显示设备的视野范围。
在本公开中,位姿信息可以包括位置信息和姿态信息,位置信息可以包括三个自由度(以下称为位置自由度),该三个位置自由度可以由空间坐标系的XYZ坐标值表示。姿态信息可以包括三个自由度(以下称为姿态自由度),该三个姿态自由度可以由分别绕X轴、Y轴以及Z轴转动的三个转动角度来表示,该三个转动角度可以包括纵摇(Pitch)、横摇(Roll)和垂摇(Yaw)。在一个示例中,头戴式显示设备可以实时获取自身位姿的位姿信息,确定视野范围所依据的位姿信息可以是头戴式显示设备当前的位姿信息。
由此可见,上述头戴式显示设备的视野范围通常是由其本身的视场角和位姿信息等确定的,头戴式显示设备的视场角通常由头戴式显示设备的光学系统和微型显示器等相关参数决定。人眼的视野范围通常是由人眼的相关参数决定的。用户佩戴头戴式显示设备后,用户通过头戴式显示设备所能看到的范围可以由头戴式显示设备的视野范围和人眼的视野范围两者共同决定。例如,人眼的视野范围可以完全覆盖头戴式显示设备的视野范围,此时用户通过头戴式显示设备所能看到的范围与头戴式显示设备的视野范围相当。
上述视场角(FOV)通常是头戴式显示设备的固定参数信息,该视场角的大小可用于决定光学仪器的视野范围。因此,在将头戴式显示设备的位姿信息作为基础定位数据的情况下,可以根据头戴式显示设备的视场角确定头戴式显示设备的视野范围。图3示出了根据本公开的实施例的头戴式显示设备的视野大小的一个示例的示意图。如图3所示,头戴式显示设备的视野大小可以是以头戴式显示设备为起点向外扩散的区域,随着距离头戴式显示设备的深度越大,在该深度上的平面区域越大。作为示例,头戴式显示设备可以通过内置或外设的相机来确定头戴式显示设备的视野,具体地采用相机的位姿信息(pose)作为基础定位数据,根据相机的视场角来确定相机的视野范围,并将该视野范围确定为头戴式显示设备的视野范围。头戴式显示设备的视野大小以及视野在空间中的辐射区域可以确定头戴式显示设备的视野范围。头戴式显示设备的位姿不同,可以使得视野在空间中的辐射区域不同,从而视野范围不同。
上述头戴式显示设备的视野范围可以用空间位置信息来表示,空间位置信息可以由世界坐标系中的XYZ坐标来表示。以图3为例,头戴式显示设备的视野在各个深度上形成为四边形,在图3所示的深度上所形成的视野区域为包括四个顶点的四边形,则根据四个顶点在空间中的位置可以确定出在该深度上的视野区域。基于此,可以确定出每个深度上的视野区域,各个深度上的视野区域可以构成头戴式显示设备的视野范围。
在确定出头戴式显示设备的视野范围后,在130,可以将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外。
可选地,在头戴式显示设备显示的任一窗口,通过该窗口的主从窗口模式按键触发主从窗口模式的情况下,各窗口在进入主从窗口模式后,在视野范围内显示的第一主窗口的按键可以相应地发生变化,第一主窗口中配置的主从窗口模式按键可以变更为用于退出主从窗口模式的退出按键。图4示出了根据本公开的实施例的窗口的另一个示例的示意图,如图4所示,按键表示退出按键,设置在窗口的下方。上述执行主体可以重新渲染所显示图像,该图像可以包括第一主窗口以及退出主从窗口模式的退出按键。
图5示出了根据本公开的实施例的头戴式显示设备在主从窗口模式下进行显示的一个示例的示意图。如图5所示,头戴式显示设备在空间中的视野范围呈锥形,在主从窗口模式下,仅第一主窗口显示在视野范围内,而第一从窗口都排布在视野范围外。因此,对于用户来说,需要通过头戴式显示设备对第一主窗口进行操作、观看等情况下,上述头戴式显示设备可以在视野范围内仅显示该第一主窗口,此时用户仅能够看到想看的第一主窗口,而不会看到第一从窗口。这里,可以通过多种不同的方式将第一从窗口排布在视野范围外,例如可以预先缓存包含第一主窗口和第一从窗口的图像,用户对第一主窗口进行操作、观看等情况下可以仅渲染缓存中的第一主窗口进行显示,从而实现将缓存中的第一从窗口排布在视野范围外,此时用户通过头戴式显示设备无法看到第一从窗口。
此种情况,可以先获取第一主窗口和第一从窗口的数据,而后通过芯片对所得到的图像数据进行处理,并将所处理后的、包含第一主窗口和第一从窗口的图像数据进行缓存,而后检测头戴式显示设备的位姿信息,从而可以根据所检测的位姿信息从缓存中获取第一主窗口的图像数据进行图像渲染,并将渲染的第一主窗口显示在头戴式显示设备的视野范围内,因此,用户通过头戴式显示设备可以仅看到第一主窗口。
可以理解的是,若头戴式显示设备的位姿发生变化,此时头戴式显示设备的视野范围则会相应地发生变化,头戴式显示设备从缓存中所获取的图像数据也可以相应地发生变化。头戴式显示设备对变化后的图像数据进行图像渲染后,可以将渲染的图像显示在变化后的视野范围内,此时用户通过头戴式电子设备所看到的图像发生变化。作为示例,第一从窗口排布在第一主窗口的下方的情况下,如图5所示,如果佩戴头戴式显示设备的用户低头,传感器可以检测到头戴式显示设备在纵摇(Pitch)方向发生旋转,并可以检测到头戴式显示设备的当前位姿信息,此时头戴式显示设备可以根据头戴式显示设备的当前位姿信息来从缓存中获取第一从窗口的图像数据,且头戴式显示设备的视野范围相应地以其所在位置为基础向下移动,从而使得头戴式显示设备对第一从窗口的图像数据进行图像渲染后,可以将渲染的第一从窗口显示在变化后的视野范围内,因此用户低头时通过头戴式显示设备可以看到第一从窗口。
作为示例,上述第一从窗口排布在视野范围外还可以通过如下方式实现:首先缓存第一主窗口的图像且不缓存第一从窗口的图像,因此用户对第一主窗口进行操作、观看等情况下可以直接渲染缓存的第一主窗口进行显示,从而实现将第一从窗口排布在视野范围外,此时用户通过头戴式显示设备无法看到第一从窗口。
此种情况下,获取包括第一主窗口且不包括第一从窗口的数据,而后通过芯片可以对所得到的第一主窗口的图像数据处理,并将所处理后的、包含第一主窗口的图像数据进行缓存(该缓存中不包含第一从窗口的图像数据),在检测到头戴式显示设备的位姿变化时可以获取头戴式显示设备的当前位姿信息,而后头戴式显示设备可以根据头戴式显示设备的当前位姿信息获取缓存中的第一主窗口的图像数据,并进行图像渲染,以及将渲染的第一主窗口显示在视野范围内,因此,用户通过头戴式显示设备可以仅看到第一主窗口。
可以理解的是,若头戴式显示设备的位姿发生变化,此时头戴式显示设备的视野范围则会相应地发生变化,头戴式显示设备可以根据当前的位姿信息重新缓存图像数据,而后头戴式显示设备可以对重新缓存的图像数据进行图像渲染,并将渲染的图像显示在变化后的视野范围内,因此,头戴式显示设备的位姿发生变化时用户通过头戴式电子设备看到的图像发生变化。例如,第一从窗口排布在第一主窗口的下方的情况下,如果佩戴头戴式显示设备的用户低头,传感器可以检测到头戴式显示设备在纵摇(Pitch)方向发生旋转,并可以检测到头戴式显示设备的当前位姿信息,此时头戴式显示设备的视野范围以其所在位置为基础向下移动,头戴式显示设备可以根据头戴式显示设备当前的位姿信息相应地重新缓存第一从窗口的图像数据,而后头戴式显示设备可以对缓存的第一从窗口的图像数据进行图像渲染,并将渲染的第一从窗口显示在变化后的视野范围内,因此,用户低头时通过头戴式显示设备可以看到位于第一主窗口下方的第一从窗口。
在本公开的实施例中,通过主从窗口模式,在头戴式显示设备的视野范围内仅显示用户想看的第一主窗口,使得头戴式显示设备的视野范围内的显示更加简洁且更有针对性。
在本公开中,上述头戴式显示设备的姿态信息至少可以包括第一主窗口和第一从窗口的相对位置关系对应的自由度,即,头戴式显示设备至少在该自由度方向上运动时可以检测出姿态信息的变化。例如,第一主窗口和第一从窗口按照上下方式排列,如图5所示,此种情况下,上述头戴式显示设备至少可以检测出在纵摇(Pitch)方向的旋转才可以使得用户在平视和低头的情况下分别可以看到第一主窗口和第一从窗口。再例如,第一主窗口和第一从窗口按照左右方式排列,此种情况下,上述头戴式显示设备至少可以检测出在横摇(Roll)方向的旋转才可以使得用户在左右转头的情况下可以看到第一主窗口和第一从窗口。
在一个示例中,头戴式显示设备的位姿信息中的六个自由度(包括位置自由度和姿态自由度)信息可以是头戴式显示设备的实时信息,该六个自由度信息随着头戴式显示设备在空间中的移动、转动而变化,即,位姿信息中的六个自由度信息都是可变的。
在该示例中,头戴式显示设备显示的窗口可以不随头戴式显示设备的移动、转动等动作而移动。可以认为,头戴式显示设备显示的窗口固定在空间中。
在另一个示例中,头戴式显示设备的位姿信息中的位置信息固定,固定的位置信息可以预设。例如,可以预设头戴式显示设备的位置坐标为(0,0,0),即头戴式显示设备位于空间坐标系中的原点位置。头戴式显示设备的姿态信息不固定,姿态信息可以是头戴式显示设备采集的实时信息。
在该示例中,头戴式显示设备显示的窗口在位置信息对应的三个自由度上与头戴式显示设备固定。即,头戴式显示设备在空间中沿着X轴、Y轴和Z轴中的任一方向移动时,窗口会随着头戴式显示设备移动,窗口与头戴式显示设备的相对位置保持不变。而窗口在姿态信息对应的三个姿态自由度上与头戴式显示设备不固定,即,头戴式显示设备在姿态信息对应的三个姿态自由度上转动时,窗口不会随头戴式显示设备转动而转动。例如,佩戴头戴式显示设备的用户的头部上下转动(pitch)、左右转动(roll)或者左右摇摆(yaw)时,头戴式显示设备显示的虚拟窗口保持不动。
在另一个示例中,头戴式显示设备的位姿信息中的位置信息固定,姿态信息中的部分姿态自由度固定(姿态自由度固定可以理解为头戴式显示设备即使在该姿态自由度的方向产生了运动头戴式显示设备的位姿信息中该姿态自由度的参数也不会发生变化)、另一部分姿态自由度不固定(姿态自由度不固定可以理解为头戴式显示设备在该姿态自由度的方向产生了运动头戴式显示设备的位姿信息中该姿态自由度的参数会相应地变化)。其中,固定的位置信息以及固定的部分姿态自由度信息可以预设,不固定的姿态自由度上的信息可以由头戴式显示设备实时采集,不固定的姿态自由度的数值可变,随着头戴式显示设备在该姿态自由度上的转动而变化。
在该示例中,不固定的姿态自由度可以是第一主窗口与第一从窗口的相对位置关系对应的自由度。第一主窗口与第一从窗口的相对位置关系可以是空间中的相对位置,比如,第一主窗口与第一从窗口在空间中呈上下关系,或者左右关系。第一主窗口与第一从窗口的相对位置关系对应于一个姿态自由度,即,在该姿态自由度不固定的情况下,第一主窗口和第一从窗口在该姿态自由度上相对于头戴式显示设备不固定,从而当头戴式显示设备在该姿态自由度上转动时,第一主窗口和第一从窗口不会随之转动,头戴式显示设备的视野范围能够在该姿态自由度上移动,从而使得用户能够看到其他区域所显示的窗口。例如,第一主窗口与第一从窗口在空间中上下排布显示,则不固定的姿态自由度可以是头戴式显示设备上下转动的自由度,从而若进入主从窗口模式时头戴式显示设备的视野范围内仅显示第一主窗口,则当头戴式显示设备向下转动时,头戴式显示设备的视野范围发生变化,在头戴式显示设备向下转动的过程中,第一从窗口逐渐地显示在视野范围内,直至所有第一从窗口可以完整的显示在视野范围内。
针对姿态信息中部分姿态自由度不固定的情况,在一个示例中,可以仅第一主窗口与第一从窗口的相对位置关系对应的一个姿态自由度不固定,姿态信息中的其他两个姿态自由度固定。例如,第一主窗口与第一从窗口在空间中上下排布显示,则姿态信息中的上下转动自由度不固定,而左右转动自由度和左右摇摆自由度固定。
在另一个示例中,可以第一主窗口与第一从窗口的相对位置关系对应的一个姿态自由度以及左右摇摆自由度不固定,左右转动自由度固定。这样,对于用户来说操作更自然,用户体验更好。
在本公开的一个示例中,在对第一主窗口进行排布时,可以根据第一主窗口待显示的内容来确定第一主窗口的显示类型,显示类型可以包括文字类型、图像类型、视频类型等。然后,可以按照预设的显示类型和深度信息的对应关系来确定第一主窗口的深度信息。在该示例中,不同显示类型对应的深度信息可以不同,例如,文字类型对应的深度较小,视频类型对应的深度较大,图像类型对应的深度介于文字类型对应的深度与视频类型对应的深度之间。在确定出深度信息后,可以按照所确定的深度信息的指示深度将第一主窗口排布在视野范围内。即,第一主窗口在视野范围内呈现的位置的深度是深度信息的指示深度。
在另一个示例中,第一主窗口在视野范围内的深度可以是指定的,该指定的深度可以预设。在该示例中,在对第一主窗口进行排布时,可以将第一主窗口显示在视野范围内的指定深度处。
在本公开的一个示例中,在视野范围内显示第一主窗口时,第一主窗口的尺寸可以预设。预设的尺寸小于视野范围的尺寸,以确保第一主窗口可以完整地呈现在视野范围内。
在另一个示例中,第一主窗口的尺寸可以与头戴式显示设备的视野范围进行匹配,以在第一主窗口的尺寸小于视野范围的尺寸的同时,使得在视野范围内显示的第一主窗口足够大,从而提升用户的观看体验。
在一个示例中,当第一主窗口中显示的内容包括视频时,视野范围内显示的视频可以设置为全屏模式。在全屏模式下,视频的显示尺寸可以与第一主窗口的尺寸匹配,即,视频的显示尺寸可以在第一主窗口内最大。此外,视频的显示尺寸还可以与视野范围的尺寸匹配,即,视频的显示尺寸在视野范围内最大。在这种情况下,第一主窗口的尺寸也可以随着视频的显示尺寸增大而增加,第一主窗口增大后的尺寸适配于视频的显示尺寸。
在一个示例中,当第一主窗口中显示的内容包括视频时,可以在视野范围内设置用于对第一主窗口进行控制的控制条,控制条上可以包括进度条、播放/暂停按键、前进按键、后退按键等。在一个示例中,控制条的深度小于第一主窗口的深度,从而控制条更靠近头戴式显示设备,便于用户对控制条进行操作。
在一个示例中,第一主窗口还可以配置有关闭按键,关闭按键可以设置在第一主窗口的右上角。关闭按键用于关闭第一主窗口,在第一主窗口被关闭时,退出主从窗口模式。
在本公开的一个示例中,针对第一从窗口的排布,当第一从窗口包括有至少两个时,可以将该至少两个第一从窗口沿预设方向进行排列,其中,该预设方向可以与第一主窗口的一边平行。然后,将所排列的第一从窗口显示在视野范围外。
在一个示例中,各个第一从窗口在预设方向上的排列顺序可以不限定。在另一个示例中,各个第一从窗口在预设方向上可以按照窗口的生成时间顺序依次排列。
在该示例中,当预设方向与第一主窗口的上下边平行时,所排列的第一从窗口可以排布在视野范围外的第一主窗口的上方或下方。当预设方向与第一主窗口的左右边平行时,所排列的第一从窗口可以排布在视野范围外的第一主窗口的左边或右边。
图6示出了根据本公开的实施例的主从窗口在头戴式显示设备上显示的一个示例的示意图。如图6所示,第一从窗口包括有四个,在对第一从窗口进行排布时,可以对四个第一从窗口按照与第一主窗口的下边平行的预设方向进行排列,以得到排成一行的四个第一从窗口,然后将排成一行的四个第一从窗口排布在视野范围外。
在本公开的一个示例中,在将第一从窗口排布在所确定的视野范围外之后,头戴式显示设备可以实时地检测自身在第一主窗口与第一从窗口的相对位置关系所对应的自由度方向上的运动,并可以实时地获取头戴式显示设备在该自由度上的值,将该自由度上的值作为头戴式显示设备当前的姿态信息。
然后,根据头戴式显示设备的视场角和所获取的当前的姿态信息,重新在空间中确定头戴式显示设备的视野范围。当头戴式显示设备的视野范围发生变化时,视野范围内的所显示的窗口也可以变化。针对视野范围内的第一主窗口,随着视野范围的位置变化,第一主窗口在视野范围内的相对位置也发生变化。比如,头戴式显示设备的视野范围在以其所在位置为基础向下移动,则第一主窗口在视野范围内的相对位置逐渐上移。此外,第一主窗口在视野范围内的显示部分也可以发生变化,在视野范围未变化时,第一主窗口可以完整的显示在视野范围内,在视野范围沿着第一主窗口与第一从窗口的相对位置关系所对应的自由度方向上的移动时,第一主窗口在视野范围内的显示部分逐渐减小,直至第一主窗口在视野范围外。
相应地,在视野范围沿着第一主窗口与第一从窗口的相对位置关系所对应的自由度方向上的移动过程中,第一从窗口可以出现在视野范围内,第一从窗口在视野范围内的显示部分逐渐增大,直至第一从窗口可以完整的显示在视野范围内。在每一次重新确定视野范围后,若第一从窗口有部分或全部出现在重新确定的视野范围内时,可以对需要显示在视野范围内的第一从窗口进行渲染,以将第一从窗口显示在重新确定的视野范围内。
图7示出了根据本公开的实施例的主从窗口在头戴式显示设备上显示的另一个示例的示意图。如图7所示,第一主窗口与第一从窗口的相对位置关系所对应的自由度方向是上下方向,头戴式显示设备可以沿着pitch自由度的方向上转动,相应地,视野范围以头戴式显示设备的位置为基础也沿着pitch自由度的的方向上移动。在图7所示的视野范围的位置处,第一主窗口的部分显示在视野范围内,同时,第一从窗口的部分也显示在视野范围内。
图8示出了根据本公开的实施例的主从窗口在头戴式显示设备上显示的另一个示例的示意图。在一个示例中,如图8所示,头戴式显示设备的视野范围向下移动至将第一从窗口完整地显示在视野范围内,第一主窗口位于视野范围外。
在本公开的一个示例中,在将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外之后,还可以对第一主窗口和第一从窗口进行调整,调整方式可以包括整体调整和个别调整。
针对整体调整,头戴式显示设备可以获取到主从窗口整体调整指令,该主从窗口整体调整指令可以是由与头戴式显示设备通信连接的终端设备发送,还可以是用户在头戴式显示设备上进行操作生成的。作为示例,在多个窗口完成主从窗口模式的排列之后,即可以直接生成整体调整指令。头戴式显示设备响应于主从窗口整体调整指令,可以将第一主窗口和第一从窗口作为整体按照调整指令所指示的方式进行调整,其中,调整指令可以包括显示位置调整、放大指令、缩小指令、推远指令和拉近指令等。
在整体调整的一个示例中,整体调整可以由与头戴式显示设备通信连接的终端设备来执行,在该示例中,终端设备可以作为手柄使用,并在终端设备所指向的方向上渲染出射线移动终端以控制射线选中第一主窗口和第一从窗口作为整体,然后,通过调整射线来对第一主窗口和第一从窗口进行整体调整。
针对个别调整,可以对第一主窗口和各个第一从窗口分别进行调整,每次调整可以仅针对其中一个窗口进行调整,还可以仅针对其中的几个窗口一起进行调整。以调整一个窗口为例,可以从第一主窗口和第一从窗口中选中一个窗口作为待调整窗口,然后按照调整指令所指示的方式对待调整窗口进行调整。
在该示例中,个别调整可以在整体调整之后进行,还可以在对第一主窗口和第一从窗口进行排布后仅进行个别调整。
在本公开的一个示例中,每个第一从窗口还具有主从窗口切换模式,在该主从窗口切换模式下,可以将触发的第一从窗口与第一主窗口进行位置调换,以实现第一从窗口作为主窗口显示在视野范围内,而第一主窗口作为从窗口显示在视野范围外。
主从窗口切换模式触发的一种方式可以是指定手势或指定操作来触发,指定手势包括滑动手势、缩放手势等,指定操作可以包括双击操作、三击操作等。当对一个第一从窗口执行指定手势或指定操作时,该第一从窗口的主从窗口切换模式可以被触发。
在另一种方式中,每个第一从窗口还可以配置有主从窗口切换模式按键,当该主从窗口切换模式按键被触发时,则该主从窗口切换模式按键对应的第一从窗口的主从窗口切换模式可以被触发。其中,主从窗口切换模式按键被触发的方式可以包括点击主从窗口切换模式按键。
在该示例中,在将第一主窗口显示在所确定的视野范围内,以及将第一从窗口显示在所确定的视野范围外之后,还可以响应于第一从窗口中的一个第一从窗口的主从窗口切换模式被触发,可以将第一从窗口确定为第二主窗口。然后,将第二主窗口与第一主窗口的显示位置进行调换,以使第二主窗口显示在视野范围内,第一主窗口作为从窗口显示在视野范围外。其中,第一主窗口在视野范围外的显示位置是第二主窗口在被触发前的显示位置。
在该示例中,通过主从窗口切换模式可以便于用户进行主从窗口切换,从而使得用户可以快速地更换操作或观看的窗口,提升了用户体验。
在本公开的一个示例中,第一主窗口和第一从窗口在进入主从窗口模式后,还可以响应于用于退出主从窗口模式的退出指令,将多个窗口按照预设方式显示在视野范围内。
在该示例中,头戴式显示设备获取到的退出指令可以是由与头戴式显示设备通信连接的终端设备发送的,还可以是用户在头戴式显示设备上进行操作生成的。
在该示例中,预设方式可以包括指定的多窗口排列方式,该多窗口排列方式可以具体指示各个窗口的排列方式,例如,多窗口排列方式是在视野范围内分成多行进行排列,每行可以包括多个窗口,每行按照从左至右的顺序依次排布窗口,各行按照从上至下的顺序依次进行排布。
预设方式还可以包括主从窗口模式触发之前多个窗口中的各个窗口的排布方式。在该预设方式中,头戴式显示设备可以记录每一次主从窗口模式之前各个窗口的位姿信息,在响应退出指令时,将第一主窗口和各个第一从窗口按照所记录的位姿信息重新进行排布,经过排布的各个窗口的排布方式与主从窗口模式触发之前的排布方式相同。
在本公开的一个示例中,在将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外之后,还可以响应于主屏幕被触发,在视野范围内显示主屏幕。该主屏幕中可以显示有多个应用的图标,以便于用户可以通过点击主屏幕中的图标来打开对应的应用程序。
主屏幕被触发的一种方式可以是在主从窗口模式下执行指定手势或指定操作,指定手势可以包括滑动手势、缩放手势等,指定操作可以包括退出主从窗口模式的操作。例如,指定的滑动手势是从视野范围内的左侧滑动至右侧,则头戴式显示设备在检测到该滑动手势时,可以先视野范围内显示主屏幕。
在另一种方式中,在主从窗口模式下,头戴式显示设备的视野范围内可以配置有主屏幕切换按键,该主屏幕切换按键可以设置在第一主窗口的周边,比如,设置在第一主窗口的下方。当点击主屏幕切换按键时,主屏幕可以被触发并显示。
在显示主屏幕后,可以通过主屏幕中新增窗口,所新增的窗口是已存在的多个窗口以外的窗口。在一个示例中,主屏幕中可以显示有用于新增窗口的新增按键,响应于主屏幕中的新增按键被触发,可以在主屏幕中新增窗口。
在本公开的一个示例中,在第一主窗口和第一从窗口处于主从窗口模式下时,本公开的执行主体在渲染各第一从窗口时可以同时渲染出灰度图层,覆盖所渲染的第一从窗口,以使各第一从窗口处于呈灰度显示。因此,第一主窗口与各个第一从窗口的显示不同,以区别第一主窗口和第一从窗口。可选地,可以控制呈灰度显示的各个第一从窗口处于不可操作状态。
在该示例中,各个第一从窗口可以被选中并被触发,本公开的执行主体可以渲染出按照预设方式显示的第一从窗口,预设显示方式可以是正常显示,还可以包括加亮显示等,用以区别于其他第一从窗口。按照预设显示方式显示的第一从窗口处于可操作状态,用户能够对该第一从窗口进行操作,比如,在该第一从窗口所显示的页面中输入文字,在该第一从窗口中播放视频,移动该第一从窗口在视野中的位置等。
在第一从窗口在被触发后,该第一从窗口可以持续地按照预设显示方式进行显示。在一个示例中,在第一从窗口被触发后的连续指定时长内没有操作,则该第一从窗口可以恢复至不可操作状态,该第一从窗口可以恢复成呈灰度显示。
在本公开的一个实施例中,可以预设主从窗口模式下第一主窗口的第一位姿信息以及各个第一从窗口的第二位姿信息。第一位姿信息可以确保第一主窗口显示在头戴式显示设备的视野范围内,第二位姿信息可以确保第一从窗口显示在头戴式显示设备的视野范围外。
在该实施例中,当多个窗口中的一个窗口的主从窗口模式被触发时,将所确定的第一主窗口按照第一位姿信息进行排布,以使第一主窗口显示在第一位姿信息所指示的位置处,并空间中保持第一位姿信息所指示的姿态。将所确定的第一从窗口按照第二位姿信息进行排布,以使第一从窗口显示在第二位姿信息所指示的位置处,并空间中保持第二位姿信息所指示的姿态。可以理解的是,上述头戴式显示设备可以对周围环境进行图像采集,从而确定第一位姿信息所指示的位置和第二位姿信息所指示的位置。
图9示出了根据本公开的实施例的用于头戴式显示设备的显示装置900的一个示例的方框图。
如图9所示,显示装置900包括主从窗口确定单元910、视野范围确定单元920和窗口排布单元930。
主从窗口确定单元910,被配置为在头戴式显示设备上显示有多个窗口时,响应于多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口。
视野范围确定单元920,被配置为根据头戴式显示设备的位姿信息和视场角,在空间中确定头戴式显示设备的视野范围。
窗口排布单元930,被配置为将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外,其中,位姿信息至少包括的第一主窗口与第一从窗口的相对位置关系对应的自由度可变。
在一个示例中,头戴式显示设备上显示的每个窗口配置有主从窗口模式按键,主从窗口模式按键在对应的窗口被触发选中时显示,在对应的窗口未被触发选中时隐藏。
主从窗口确定单元910还可以被配置为:响应于多个窗口中的一个窗口的主从窗口模式按键被触发,将被触发的主从窗口模式按键对应的窗口确定为第一主窗口,将其他窗口确定为第一从窗口。
在一个示例中,窗口排布单元930还可以被配置为:响应于确定出多个窗口中包括至少两个第一从窗口,将至少两个第一从窗口沿预设方向排列,其中,预设方向与所述第一主窗口的一边平行;以及将排列后的第一从窗口显示在视野范围外。
在一个示例中,显示装置900还可以包括姿态信息获取单元,姿态信息获取单元可以被配置为:响应于检测到头戴式显示设备沿自由度方向运动,获取头戴式显示设备当前的姿态信息。视野范围确定单元920还可以被配置为:根据头戴式显示设备的视场角和所获取的当前的姿态信息,重新在空间中确定头戴式显示设备的视野范围。窗口排布单元930还可以被配置为:将第一从窗口显示在重新确定的视野范围内。
在一个示例中,显示装置900还可以包括显示类型确定单元和深度确定单元。显示类型确定单元可以被配置为:根据第一主窗口待显示的内容,确定第一主窗口的显示类型。深度确定单元可以被配置为:按照预设的显示类型和深度信息的对应关系,确定第一主窗口的深度信息。窗口排布单元930还可以被配置为:按照所确定的深度信息的指示深度,将第一主窗口排布在视野范围内。
在一个示例中,显示装置900还可以包括窗口调整单元,窗口调整单元可以被配置为:响应于接收到主从窗口整体调整指令,将第一主窗口和第一从窗口作为整体按照调整指令所指示的方式进行调整。
在一个示例中,显示装置900还可以包括窗口位置调换单元,主从窗口确定单元910还可以被配置为:响应于第一从窗口中的一个第一从窗口的主从窗口切换模式被触发,将该第一从窗口确定为第二主窗口。窗口位置调换单元可以被配置为:将第二主窗口与第一主窗口的显示位置进行调换,以使第二主窗口显示在视野范围内,第一主窗口作为从窗口显示在视野范围外。
在一个示例中,窗口排布单元930还可以被配置为:响应于接收到退出主从窗口模式的退出指令,将多个窗口按照预设方式显示在视野范围内,其中,预设方式包括:指定的多窗口排列方式,或者主从窗口模式触发之前多个窗口的排列方式。
在一个示例中,显示装置900还可以包括主屏幕显示单元和窗口新增单元。主屏幕显示单元可以被配置为:响应于主屏幕被触发,在视野范围内显示主屏幕。窗口新增单元可以被配置为:在主屏幕中新增除多个窗口以外的窗口。
在一个示例中,显示装置900还可以包括窗口显示单元,窗口显示单元可以被配置为:响应于第一从窗口中的任一第一从窗口被触发,被触发的第一从窗口按照预设显示方式进行显示,以区别于其他第一从窗口,其中,按照预设显示方式显示的第一从窗口处于可操作状态。
在一个示例中,显示装置900还可以包括控制条设置单元,控制条设置单元可以被配置为:响应于确定出第一主窗口中的显示内容包括视频,在视野范围内的小于第一主窗口的深度的位置处设置用于对第一主窗口中的视频进行控制的控制条。
以上参照图1到图9,对根据本公开的用于头戴式显示设备的显示方法及装置的实施例进行了描述。
本公开的用于头戴式显示设备的显示装置可以采用硬件实现,也可以采用软件或者硬件和软件的组合来实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本公开中,用于头戴式显示设备的显示装置例如可以利用电子设备实现。
图10示出了本公开的实施例的用于实现头戴式显示设备的显示方法的电子设备1000的方框图。
如图10所示,电子设备1000可以包括至少一个处理器1010、存储器(例如,非易失性存储器)1020、内存1030和通信接口1040,并且至少一个处理器1010、存储器1020、内存1030和通信接口1040经由总线1050连接在一起。至少一个处理器1010执行在存储器中存储或编码的至少一个计算机可读指令(即,上述以软件形式实现的元素)。
在一个实施例中,在存储器中存储计算机可执行指令,其当执行时使得至少一个处理器1010:在头戴式显示设备上显示有多个窗口时,响应于多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口;根据头戴式显示设备的位姿信息和视场角,在空间中确定头戴式显示设备的视野范围;以及将第一主窗口排布在所确定的视野范围内,以及将第一从窗口排布在所确定的视野范围外,其中,位姿信息至少包括的第一主窗口与第一从窗口的相对位置关系对应的自由度可变。
应该理解,在存储器中存储的计算机可执行指令当执行时使得至少一个处理器1010进行本公开的各个实施例中以上结合图1-9描述的各种操作和功能。
根据一个实施例,提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即,上述以软件形式实现的元素),该指令当被机器执行时,使得机器执行本公开的各个实施例中以上结合图1-9描述的各种操作和功能。
具体地,可以提供配有可读存储介质的系统或者装置,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
本公开各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写,包括面向对象编程语言,如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等,常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL 2002、PHP以及ABAP,动态编程语言如Python、Ruby和Groovy,或者其他编程语言等。该程序编码可以在用户计算机上运行,或者作为独立的软件包在用户计算机上运行,或者部分在用户计算机上运行另一部分在远程计算机运行,或者全部在远程计算机或服务器上运行。在后一种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或者在云计算环境中,或者作为服务使用,比如软件即服务(SaaS)。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上或云上下载程序代码。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上述各流程和各系统结构图中不是所有的步骤和单元都是必须的,可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的,可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构,也可以是逻辑结构,即,有些单元可能由同一物理实体实现,或者,有些单元可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。
在整个本公开中使用的术语“示例性”意味着“用作示例、实例或例示”,并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的,具体实施方式包括具体细节。然而,可以在没有这些具体细节的情况下实施这些技术。在一些实例中,为了避免对所描述的实施例的概念造成难以理解,公知的结构和装置以框图形式示出。
以上结合附图详细描述了本公开的实施例的可选实施方式,但是,本公开的实施例并不限于上述实施方式中的具体细节,在本公开的实施例的技术构思范围内,可以对本公开的实施例的技术方案进行多种简单变型,这些简单变型均属于本公开的实施例的保护范围。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说,对本公开内容进行的各种修改是显而易见的,并且,也可以在不脱离本公开内容的保护范围的情况下,将本文所定义的一般性原理应用于其它变型。因此,本公开内容并不限于本文所描述的示例和设计,而是与符合本文公开的原理和新颖性特征的最广范围相一致。
Claims (15)
1.一种用于头戴式显示设备的显示方法,包括:
在头戴式显示设备上显示有多个窗口时,响应于所述多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口;
根据所述头戴式显示设备的位姿信息和视场角,在空间中确定所述头戴式显示设备的视野范围;以及
将所述第一主窗口排布在所确定的视野范围内,以及将所述第一从窗口排布在所确定的视野范围外,其中,所述位姿信息至少包括的所述第一主窗口与所述第一从窗口的相对位置关系对应的自由度可变。
2.如权利要求1所述的显示方法,其中,所述头戴式显示设备上显示的每个窗口配置有主从窗口模式按键,所述主从窗口模式按键在对应的窗口被触发选中时显示,在对应的窗口未被触发选中时隐藏,
所述响应于所述多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口,包括:
响应于所述多个窗口中的一个窗口的主从窗口模式按键被触发,将被触发的主从窗口模式按键对应的窗口确定为第一主窗口,将其他窗口确定为第一从窗口。
3.如权利要求1所述的显示方法,其中,所述将所述第一从窗口排布在所确定的视野范围外,包括:
响应于确定出所述多个窗口中包括至少两个第一从窗口,将所述至少两个第一从窗口沿预设方向排列,其中,所述预设方向与所述第一主窗口的一边平行;以及
将排列后的第一从窗口显示在所述视野范围外。
4.如权利要求1所述的显示方法,其中,在将所述第一从窗口排布在所确定的视野范围外之后,所述方法还包括:
响应于检测到所述头戴式显示设备沿所述自由度方向运动,获取所述头戴式显示设备当前的姿态信息;
根据所述头戴式显示设备的视场角和所获取的当前的姿态信息,重新在空间中确定所述头戴式显示设备的视野范围;以及
将所述第一从窗口显示在重新确定的视野范围内。
5.如权利要求1所述的显示方法,其中,所述将所述第一主窗口排布在所确定的视野范围内,包括:
根据所述第一主窗口待显示的内容,确定所述第一主窗口的显示类型;
按照预设的显示类型和深度信息的对应关系,确定所述第一主窗口的深度信息;以及
按照所确定的深度信息的指示深度,将所述第一主窗口排布在所述视野范围内。
6.如权利要求1所述的显示方法,其中,在将所述第一主窗口排布在所确定的视野范围内,以及将所述第一从窗口排布在所确定的视野范围外之后,所述方法还包括:
响应于接收到主从窗口整体调整指令,将所述第一主窗口和第一从窗口作为整体按照所述调整指令所指示的方式进行调整,其中,所述调整指令包括放大指令、缩小指令、推远指令和拉近指令。
7.如权利要求1所述的显示方法,其中,在将所述第一主窗口排布在所确定的视野范围内,以及将所述第一从窗口排布在所确定的视野范围外之后,所述显示方法还包括:
响应于所述第一从窗口中的一个第一从窗口的主从窗口切换模式被触发,将该第一从窗口确定为第二主窗口;以及
将所述第二主窗口与所述第一主窗口的显示位置进行调换,以使所述第二主窗口显示在所述视野范围内,所述第一主窗口作为从窗口显示在所述视野范围外。
8.如权利要求1所述的显示方法,其中,在将所述第一主窗口排布在所确定的视野范围内,以及将所述第一从窗口排布在所确定的视野范围外之后,所述显示还包括:
响应于接收到退出所述主从窗口模式的退出指令,将所述多个窗口按照预设方式显示在所述视野范围内,其中,所述预设方式包括:指定的多窗口排列方式,或者所述主从窗口模式触发之前所述多个窗口的排列方式。
9.如权利要求1所述的显示方法,其中,在将所述第一主窗口排布在所确定的视野范围内,以及将所述第一从窗口排布在所确定的视野范围外之后,所述显示方法还包括:
响应于主屏幕被触发,在所述视野范围内显示所述主屏幕;以及
在所述主屏幕中新增除所述多个窗口以外的窗口。
10.如权利要求9所述的显示方法,其中,所述主屏幕中显示有用于新增窗口的新增按键,
所述在所述主屏幕中新增除所述多个窗口以外的窗口,包括:
响应于所述主屏幕中的新增按键被触发,在所述主屏幕中新增窗口。
11.如权利要求1所述的显示方法,还包括:
响应于所述第一从窗口中的任一第一从窗口被触发,被触发的第一从窗口按照预设显示方式进行显示,以区别于其他第一从窗口,其中,按照所述预设显示方式显示的第一从窗口处于可操作状态。
12.如权利要求1所述的显示方法,还包括:
响应于确定出所述第一主窗口中的显示内容包括视频,在所述视野范围内的小于所述第一主窗口的深度的位置处设置用于对所述第一主窗口中的视频进行控制的控制条。
13.一种用于头戴式显示设备的显示装置,包括:
主从窗口确定单元,被配置为在头戴式显示设备上显示有多个窗口时,响应于所述多个窗口中的一个窗口的主从窗口模式被触发,将被触发的窗口确定为第一主窗口,将其他窗口确定为第一从窗口;
视野范围确定单元,被配置为根据所述头戴式显示设备的位姿信息和视场角,在空间中确定所述头戴式显示设备的视野范围;以及
窗口排布单元,被配置为将所述第一主窗口排布在所确定的视野范围内,以及将所述第一从窗口排布在所确定的视野范围外,其中,所述位姿信息至少包括的所述第一主窗口与所述第一从窗口的相对位置关系对应的自由度可变。
14.一种电子设备,包括:至少一个处理器,以及与所述至少一个处理器耦合的存储器,所述存储器存储指令,当所述指令被所述至少一个处理器执行时,使得所述至少一个处理器执行如权利要求1到12中任一所述的方法。
15.一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-12中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830460.7A CN113504830B (zh) | 2021-07-22 | 2021-07-22 | 用于头戴式显示设备的显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830460.7A CN113504830B (zh) | 2021-07-22 | 2021-07-22 | 用于头戴式显示设备的显示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113504830A CN113504830A (zh) | 2021-10-15 |
CN113504830B true CN113504830B (zh) | 2024-02-27 |
Family
ID=78013668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110830460.7A Active CN113504830B (zh) | 2021-07-22 | 2021-07-22 | 用于头戴式显示设备的显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113504830B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114339134B (zh) * | 2022-03-15 | 2022-06-21 | 深圳市易扑势商友科技有限公司 | 基于互联网和vr技术的远程在线会议系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055940A (zh) * | 2009-11-10 | 2011-05-11 | 三洋电机株式会社 | 影像显示装置 |
CN102866829A (zh) * | 2012-08-29 | 2013-01-09 | 珠海市君天电子科技有限公司 | 一种移动设备交互界面的显示方法、显示系统及其实现方法 |
CN104284236A (zh) * | 2014-10-22 | 2015-01-14 | 百度在线网络技术(北京)有限公司 | 在终端上控制播放多视频资源的方法和装置 |
CN106293314A (zh) * | 2015-05-30 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 一种显示控制方法、装置及终端 |
JP2017162402A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社タジマ | マルチウィンドウ表示装置、マルチウィンドウ表示方法及びマルチウィンドウ表示プログラム |
CN111124391A (zh) * | 2019-12-18 | 2020-05-08 | 中科全维科技(苏州)有限公司 | 一种桌面端软件挂件视窗管理方法和系统 |
US10775626B1 (en) * | 2019-05-16 | 2020-09-15 | Rockwell Collins, Inc. | Wide field of view head worn display device |
-
2021
- 2021-07-22 CN CN202110830460.7A patent/CN113504830B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102055940A (zh) * | 2009-11-10 | 2011-05-11 | 三洋电机株式会社 | 影像显示装置 |
CN102866829A (zh) * | 2012-08-29 | 2013-01-09 | 珠海市君天电子科技有限公司 | 一种移动设备交互界面的显示方法、显示系统及其实现方法 |
CN104284236A (zh) * | 2014-10-22 | 2015-01-14 | 百度在线网络技术(北京)有限公司 | 在终端上控制播放多视频资源的方法和装置 |
CN106293314A (zh) * | 2015-05-30 | 2017-01-04 | 腾讯科技(深圳)有限公司 | 一种显示控制方法、装置及终端 |
JP2017162402A (ja) * | 2016-03-11 | 2017-09-14 | 株式会社タジマ | マルチウィンドウ表示装置、マルチウィンドウ表示方法及びマルチウィンドウ表示プログラム |
US10775626B1 (en) * | 2019-05-16 | 2020-09-15 | Rockwell Collins, Inc. | Wide field of view head worn display device |
CN111124391A (zh) * | 2019-12-18 | 2020-05-08 | 中科全维科技(苏州)有限公司 | 一种桌面端软件挂件视窗管理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113504830A (zh) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11010016B2 (en) | Automatic orientation for mixed reality information delivery system | |
CN106575154B (zh) | 全息对象的智能透明度 | |
US9865089B2 (en) | Virtual reality environment with real world objects | |
US9904055B2 (en) | Smart placement of virtual objects to stay in the field of view of a head mounted display | |
EP3564788B1 (en) | Three-dimensional user input | |
US10311638B2 (en) | Anti-trip when immersed in a virtual reality environment | |
US20130154913A1 (en) | Systems and methods for a gaze and gesture interface | |
US20130027393A1 (en) | Information processing apparatus, information processing method, and program | |
US20170263033A1 (en) | Contextual Virtual Reality Interaction | |
US20210303107A1 (en) | Devices, methods, and graphical user interfaces for gaze-based navigation | |
US20150213784A1 (en) | Motion-based lenticular image display | |
CN111161396B (zh) | 虚拟内容的控制方法、装置、终端设备及存储介质 | |
CN113504830B (zh) | 用于头戴式显示设备的显示方法及装置 | |
US9665249B1 (en) | Approaches for controlling a computing device based on head movement | |
US10585485B1 (en) | Controlling content zoom level based on user head movement | |
KR102132406B1 (ko) | 디스플레이 장치 및 그의 제어 방법 | |
CN113902883A (zh) | 用于显示头戴式显示设备主界面的方法及装置 | |
CN104914981A (zh) | 一种信息处理方法和电子设备 | |
CN111580734A (zh) | 控制方法、装置、眼镜及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |