CN113269044A - 头戴式显示设备的显示控制方法、装置及头戴式显示设备 - Google Patents

头戴式显示设备的显示控制方法、装置及头戴式显示设备 Download PDF

Info

Publication number
CN113269044A
CN113269044A CN202110461133.9A CN202110461133A CN113269044A CN 113269044 A CN113269044 A CN 113269044A CN 202110461133 A CN202110461133 A CN 202110461133A CN 113269044 A CN113269044 A CN 113269044A
Authority
CN
China
Prior art keywords
time period
display interface
attention
head
attention degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110461133.9A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110461133.9A priority Critical patent/CN113269044A/zh
Publication of CN113269044A publication Critical patent/CN113269044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开涉及一种头戴式显示设备的显示控制方法、装置、头戴式显示设备及计算机可读存储介质，涉及虚拟现实技术领域，该方法包括：获取人眼在第一时间段内观看头戴式显示设备的显示界面的眼部运动信息；根据眼部运动信息，预测人眼在第二时间段内对显示界面的关注度结果；其中，第二时间段位于第一时间段之后；在关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数。

Description

头戴式显示设备的显示控制方法、装置及头戴式显示设备
技术领域
本公开实施例涉及虚拟现实技术领域，更具体地，涉及一种头戴式显示设备的显示控制方法、装置、头戴式显示设备及计算机可读存储介质。
背景技术
头戴式显示设备(Head Mounted Display，HMD)是一种可以穿戴在用户头部的显示设备，HMD可以将虚拟信息(例如计算机生成的文字、声音、图像、音乐、视频、三维模型等媒体信息)与现实世界进行融合呈现，实现增强现实(Augmented Reality，AR)的效果。对于能够实现增强现实效果的HMD(以下称为增强现实HMD)而言，其目前正不断朝向小型化和轻量级方向发展，以提高用户佩戴增强现实HMD的舒适性和便利性。
目前，为了适应上述发展要求，需要对增强现实HMD进行小型化设计，尽可能减小增强现实HMD的体积。
发明内容
本公开实施例的一个目的是提供一种头戴式显示设备的显示控制的新的技术方案。
根据本公开的第一方面，提供了一种头戴式显示设备的显示控制方法，包括：获取人眼在第一时间段内观看头戴式显示设备的显示界面的眼部运动信息；根据眼部运动信息，预测人眼在第二时间段内对显示界面的关注度结果；其中，第二时间段位于第一时间段之后；在关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数。
可选地，眼部运动信息包括：眼球运动位置；关注度结果包括：人眼的眼球在第二时间段内的眼球位移；关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：眼球位移大于预设的位移阈值。
可选地，眼部运动信息包括：眼球运动位置；关注度结果包括：人眼的眼球在第二时间段内发生位移的发生次数；关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：发生次数大于预设的发生次数阈值。
可选地，目标显示参数包括：分辨率。
可选地，该方法还包括：在关注度结果表示人眼没有观看显示界面的情况下，在第二时间段停止在显示界面中显示图像。
可选地，眼部运动信息包括：眨眼次数；关注度结果包括：眨眼频率；关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：眨眼频率大于预设频率。
可选地，目标显示参数包括：分辨率和/或帧率。
根据本公开的第二方面，还提供了一种头戴式显示设备的显示控制装置，包括：获取模块，用于获取人眼在第一时间段内注视头戴式显示设备的显示界面的眼部运动信息；预测模块，用于根据获取模块获取的眼部运动信息，预测人眼在第二时间段内对显示界面的关注度结果；其中，第二时间段位于第一时间段之后；处理模块，用于在关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数。
可选地，眼部运动信息包括：眼球运动位置；关注度结果包括：人眼的眼球在第二时间段内的眼球位移；关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：眼球位移大于预设的位移阈值。
可选地，眼部运动信息包括：眼球运动位置；关注度结果包括：人眼的眼球在第二时间段内发生位移的发生次数；关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：发生次数大于预设的发生次数阈值。
可选地，目标显示参数包括：分辨率。
可选地，该装置还包括：停止模块，用于在预测模块得到的关注度结果表示人眼没有观看显示界面的情况下，在第二时间段停止在显示界面中显示图像。
可选地，眼部运动信息包括：眨眼次数；关注度结果包括：眨眼频率；关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：眨眼频率大于预设频率。
可选地，目标显示参数包括：分辨率和/或帧率。
根据本公开的第三方面，还提供了一种头戴式显示设备，包括存储器和处理器，该存储器用于存储计算机程序；该处理器用于执行该计算机程序，以实现根据本公开第一方面的方法。
根据本公开的第四方面，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序在被处理器执行时实现根据本公开的第一方面的方法。
本公开实施例的一个有益效果在于，能够根据获取的人眼在第一时间段内注视头戴式显示设备的显示界面的眼部运动信息，预测位于第一时间段之后的第二时间段内人眼对显示界面的关注度结果，并在关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在该至少部分区域内显示的图像的目标显示参数，以便在不影响用户正常使用头戴式显示设备的前提下，通过降低头戴式显示设备的功耗来降低头戴式显示设备上产生的热量，使得头戴式显示设备上产生的热量能够适用于小型化设计的需求。
下面通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。
图1A是根据本公开实施例的一种头戴式显示设备的功能结构框图；
图1B是根据本公开实施例的另一种头戴式显示设备的功能结构框图；
图2为根据本公开一些实施例提供的一种头戴式显示设备的显示控制方法的方法流程图；
图3为根据本公开一些实施例提供的另一种头戴式显示设备的显示控制方法的方法流程图；
图4为根据本公开一些实施例提供的头戴式显示设备的显示控制装置的功能结构框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在对增强现实HMD进行小型化设计的过程中，增强现实HMD体积的减小通常使得增强现实HMD的表面积也随之减小，由此导致增强现实HMD上可用于散热的散热面积变小，散热性能变差。对于穿戴增强现实HMD的用户而言，用户的头部和脸部会非常靠近穿戴增强现实HMD甚至与穿戴增强现实HMD上的部分表面接触，在此情况下，增强现实HMD上产生的热量会通过空气以及上述部分表面传递至用户的头部和脸部，给用户造成不适。
为了避免上述情况的发生，在对增强现实HMD进行小型化设计时，需要考虑如何降低增强现实HMD在使用过程中产生的热量。
目前，增强现实HMD使用过程中产生的热量大部分来自增强现实HMD中的电池和处理器。为了减小电池上产生的热量，在保证电池体积尽可能小、待机时间尽量长的前提下，考虑到生产成本，只能牺牲电池的寿命，即降低电池的使用寿命；为了降低处理器上产生的热量，需要牺牲处理器的计算能力(例如处理器每秒执行的浮点运算次数(单位：floating-point operations per second，英文简称：FLOPS))，即降低处理器的计算能力。
然而，降低电池的使用寿命和处理器的计算能力均会影响增强现实HMD性能，致使增强现实HMD性能变差。
基于上述存在问题，本公开实施例提供一种头戴式显示设备的显示控制的新的技术方案，以实现在减小增强现实HMD体积的同时有效降低增强现实HMD上产生的热量的目的。
<实施环境及硬件配置>
图1A是根据本公开实施例的一种头戴式显示设备的功能结构框图。如图1A所示，头戴式显示设备10包括：至少一个追踪相机11。
在一些示例中，如图1A所示，至少一个追踪相机11包括两个追踪相机11，两个追踪相机11分别设置在头戴式显示设备10中对应两个人眼的位置处，用于摄取人眼图像。
两个追踪相机11与两个人眼一一对应，每个追踪相机11用于摄取与该追踪相机11对应人眼的图像，以便追踪该人眼的动作和/或该人眼的眼球位置。
可以理解的是，图1A仅示例性示出了头戴式显示设备10包括两个追踪相机11的情况，实际情况中，头戴式显示设备10也可以仅包括一个追踪相机11。
在一些示例中，追踪相机11可以是彩色相机，也可以是单色(Monochrome)相机，只要能够摄取到人眼图像即可。
在一些示例中，追踪相机11的主要参数的参考值如下：
拍摄帧率：60HZ；
图像分辨率：640px(pixels)*480px；
可以拍摄的可见光波长范围：400nm～900nm；
两个追踪相机11同步精度误差：50μs。
在一些实施例中，如图1B所示，头戴式显示设备10还包括：多个红外光源12。多个红外光源12设置在追踪相机11的周围，以便利用红外光反射原理来测量瞳孔位置，提高对瞳孔位置定位的准确性。
多个红外光源12的排布方式可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。
在一些示例中，红外光源12发出的红外光的波长为850nm。
需要说明的是，多个红外光源12和至少一个追踪相机11拍摄的帧率在物理上是同步的，即：在追踪相机11的快门打开的情况下，红外光源12发光，否则红外光源12不发光。
如图1A和图1B所示，头戴式显示设备10还包括：存储器13和处理器14。应用于本公开实施例中，头戴式显示设备10的存储器13用于存储计算机程序，该计算机程序用于控制该头戴式显示设备10的处理器14进行操作以实施本公开中根据任意实施例的头戴式显示设备的显示控制方法。技术人员可以根据本公开实施例的方案设计计算机程序。该计算机程序如何控制处理器14进行操作，这是本领域公知，故在此不再详细描述。
下面，参照附图描述根据本发明的各个实施例和例子。
<方法实施例>
图2为根据本公开一些实施例提供的一种头戴式显示设备的显示控制方法的方法流程图。如图2所示，该方法包括如下步骤S210～S230：
步骤S210：获取人眼在第一时间段内观看头戴式显示设备的显示界面的眼部运动信息。
本公开实施例中，可以是周期性获取人眼观看头戴式显示设备的显示界面的眼部运动信息。在此情况下，第一时间段可以是当前周期，也可以是历史周期(例如上一周期)。第一时间段的时间长度(后文将时间长度简称为时长)可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。
示例地，在第一时间段是当前周期的情况下，获取人眼在第一时间段内注视头戴式显示设备的显示界面的眼部运动信息即：获取人眼在当前周期内注视头戴式显示设备的显示界面的眼部运动信息。
示例地，在第一时间段是历史周期的情况下，获取人眼在第一时间段内注视头戴式显示设备的显示界面的眼部运动信息即：获取人眼在历史周期内注视头戴式显示设备的显示界面的眼部运动信息。
眼部运动信息可以是眼部运动相关的信息，例如眼球运动位置、眨眼次数等。
眼球运动位置可以根据追踪相机11摄取的人眼图像以及预设的第一平面坐标系中各坐标和第二平面坐标系中各坐标的映射关系来获得。
具体地，人眼在观察显示界面时，人眼的视线会对准显示界面中的一点，该点即眼球对应的视点。其中，眼球对应的视点的第一位置随该眼球的第二位置的变化而变化。在此情况下，人眼在观察显示界面时，人眼的眼球的第二位置与显示界面中的视点的第一位置一一对应。以第一平面坐标系中的坐标表示人眼的眼球的第二位置，以第二平面坐标系中坐标表示显示界面中各视点的第一位置，根据人眼的眼球的第二位置与显示界面中的视点的第一位置一一对应关系，建立预设的第一平面坐标系中各坐标和第二平面坐标系中各坐标的映射关系。
每个追踪相机11摄取对应的目标区域的第一图像。针对每个追踪相机11摄取的目标区域，该目标区域的第一图像中各点的位置可以通过第一平面坐标系中的坐标来表示。在此情况下，可以获取第一时间段内追踪相机11摄取的目标区域的第一图像，识别该第一图像中人眼的瞳孔位置(可以看作人眼的眼球位置)并定位瞳孔中心点，然后定位瞳孔中心点在第一平面坐标系中的第一坐标，根据第一坐标与预设的第一平面坐标系中各坐标和第二平面坐标系中各坐标的映射关系，获取第二平面坐标系中与第一坐标对应的第二坐标，将第二坐标作为眼球运动位置。
在一些示例中，获取眨眼次数，可以是获取第一时间段内追踪相机11摄取的目标区域的第一图像，并判断第一图像中人眼眼皮是否执行了眨眼动作，若是，则自动计数加1，否则不计数。最后获取上述计数的计数结果作为眨眼次数。判断第一图像中人眼眼皮是否执行了眨眼动作的方式可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。
步骤S220：根据眼部运动信息，预测人眼在第二时间段内对显示界面的关注度结果；其中，第二时间段位于第一时间段之后。
第二时间段的时长可以与第一时间段的时长相同。例如，在第一时间段是当前周期的情况下，第二时间段是下一周期；在第一时间段是历史周期(上一周期)的情况下，第二时间段是当前周期。
在一些示例中，在眼部运动信息为眼球运动位置的情况下，关注度结果包括：人眼的眼球在第二时间段内的眼球位移。
具体地，可以获取第一时间段的起始时间点下的第一眼球运动位置、以及第一时间段的终止时间点下的第二眼球运动位置，获取第一眼球运动位置和第二眼球运动位置之间的距离作为第一时间段内的眼球位移s1，根据第一时间段内的眼球位移s1和第一时间段的时长t1，获得人眼的眼球在第一时间段内的运动速度v1(v1＝s1/t1)。在此情况下，可以根据第一时间段内眼球的运动速度v1和第一时间段的时长t2，获取人眼的眼球在第二时间段内的眼球位移s2(s2＝v1*t2)。
在另一些示例中，在眼部运动信息为眼球运动位置的情况下，关注度结果包括：人眼的眼球在第二时间段内发生位移的发生次数阈值。
具体地，可以获取人眼的眼球在第一时间段内发生位移的发生次数，将该发生次数作为人眼的眼球在第二时间段内发生位移的发生次数。其中，眼球发生位移即眼球由静止状态转换为运动状态。上述静止状态具体可以为：眼球运动位置在预设时间内不发生变化。上述运动状态具体可以为：眼球运动位置在预设时间内发生变化。上述预设时间可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。
在一些示例中，在眼部运动信息为眨眼次数的情况下，关注度结果包括：眨眼频率(第一时间段内的眨眼次数与第一时间段的时长的比值)。
步骤S230：在关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数。
关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值包括：关注度结果表示人眼对显示界面的部分区域的关注度低于设定阈值，或者关注度结果表示人眼对显示界面的所有区域的关注度低于设定阈值。
在一些实施例中，在关注度结果包括人眼的眼球在第二时间段内的眼球位移的情况下，关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值为：关注度结果表示人眼对显示界面的部分区域的关注度低于设定阈值，具体包括：上述眼球位移大于预设的位移阈值。
具体地，在上述眼球位移小于或等于预设的位移阈值的情况下，可以认为人眼在观看显示界面时眼球的位置基本没有发生改变，在此情况下，可以认为关注度结果表示人眼对显示界面的部分区域的关注度高于设定阈值，即人眼对显示界面的部分区域的关注度较高；反之，在上述眼球位移大于预设的位移阈值的情况下，可以认为人眼在观看显示界面时眼球的位置变化较大，在此情况下，可以认为关注度结果表示人眼对显示界面的部分区域的关注度低于设定阈值，即人眼对显示界面的部分区域的关注度较低。预设的位移阈值可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。
在此情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数具体可以是：第二时间段降低在上述部分区域内显示的图像的分辨率，以减小电池的耗电量和处理器的运行负荷，降低头戴式显示设备上产生的热量(即功耗)。
在一些实施例中，在关注度结果包括人眼的眼球在第二时间段内发生位移的发生次数的情况下，关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值为：关注度结果表示人眼对显示界面的部分区域的关注度低于设定阈值，具体包括：上述发生次数大于预设的发生次数阈值。
具体地，在上述发生次数小于或等于预设的发生次数阈值的情况下，可以认为人眼在观看显示界面时眼球的位置基本没有发生改变，在此情况下，可以认为关注度结果表示人眼对显示界面的部分区域的关注度高于设定阈值，即人眼对显示界面的部分区域的关注度较高；反之，在上述发生次数大于预设的发生次数阈值的情况下，可以认为人眼在观看显示界面时眼球的位置变化较大，在此情况下，可以认为关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，即人眼对显示界面的部分区域的关注度较低。其中，预设的发生次数阈值可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。
在此情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数具体可以是：第二时间段降低在至少部分区域内显示的图像的分辨率，以减小电池的耗电量和处理器的运行负荷，降低头戴式显示设备上产生的热量(即功耗)。
在一些实施例中，在关注度结果包括眨眼频率的情况下，关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值为：关注度结果表示人眼对显示界面的所有区域的关注度低于设定阈值，具体包括：眨眼频率大于预设频率。
具体地，在眨眼频率小于或等于预设频率情况下，可以认为人眼在观看显示界面时基本为注视显示界面，在此情况下，可以认为关注度结果表示人眼对显示界面的所有区域的关注度高于设定阈值，即人眼对显示界面的部分区域的关注度较高；反之，在眨眼频率大于预设频率情况下，可以认为人眼在观看显示界面时注意力较为分散或者没有注视显示界面，在此情况下，可以认为关注度结果表示人眼对显示界面的所有区域的关注度低于设定阈值，即人眼对显示界面的部分区域的关注度较低。预设频率可以由本领域技术人员根据实际情况进行设置，本公开实施例对此不作限定。
在此情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数具体可以是：第二时间段降低在至少部分区域内显示的图像的分辨率和/或帧率，以减小电池的耗电量和处理器的运行负荷，降低头戴式显示设备上产生的热量(即功耗)。
在一些实施例中，在执行步骤S220后，如图3所示，本公开实施例还可以包括如下步骤S240。
步骤S240：在关注度结果表示人眼没有观看显示界面的情况下，在第二时间段停止在显示界面中显示图像。
具体地，关注度结果包括人眼的眼球图像的存在结果。关注度结果表示人眼没有观看显示界面的情况包括：不存在人眼的眼球图像。即追踪相机摄取的第一图像中不存在人眼的眼球图像。在此情况下，说明用户没有穿戴头戴式显示设备，在第二时间段停止在显示界面中显示图像。
在第二时间段停止在显示界面中显示图像例如可以是第二时间段内停止对显示界面的图像渲染，以减小电池的耗电量和处理器的运行负荷，以降低头戴式显示设备上产生的热量(即功耗)。
本公开实施例中，能够根据获取的人眼在第一时间段内注视头戴式显示设备的显示界面的眼部运动信息，预测位于第一时间段之后的第二时间段内人眼对显示界面的关注度结果，并在关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在该至少部分区域内显示的图像的目标显示参数，以便在不影响用户正常使用头戴式显示设备的前提下，通过降低头戴式显示设备的功耗来降低头戴式显示设备上产生的热量，使得头戴式显示设备上产生的热量能够适用于小型化设计的需求。
<设备实施例>
图4为根据本公开一些实施例提供的头戴式显示设备的显示控制装置的功能结构框图。如图4所示，该头戴式显示设备的显示控制装置40包括：获取模块41、预测模块42和处理模块43。
获取模块41，用于获取人眼在第一时间段内观看头戴式显示设备的显示界面的眼部运动信息。
预测模块42，用于根据获取模块41获取的眼部运动信息，预测人眼在第二时间段内对显示界面的关注度结果；其中，第二时间段位于第一时间段之后。
处理模块43，用于在预测模块42得到的关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在至少部分区域内显示的图像的目标显示参数。
可选地，眼部运动信息包括：眼球运动位置；关注度结果包括：人眼的眼球在第二时间段内的眼球位移；关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：眼球位移大于预设的位移阈值。
可选地，眼部运动信息包括：眼球运动位置；关注度结果包括：人眼的眼球在第二时间段内发生位移的发生次数；
可选地，关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：发生次数大于预设的发生次数阈值。
可选地，目标显示参数包括：分辨率。
可选地，上述头戴式显示设备的显示控制装置还包括：停止模块(图4中未示出)，用于在预测模块得到的关注度结果表示人眼没有观看显示界面的情况下，在第二时间段停止在显示界面中显示图像。
可选地，眼部运动信息包括：眨眼次数；关注度结果包括：眨眼频率；
关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值，包括：眨眼频率大于预设频率。
可选地，目标显示参数包括：分辨率和/或帧率。
示例地，头戴式显示设备的显示控制装置40可以是设置在头戴式显示设备中的处理器或芯片。
本公开实施例中，能够根据获取的人眼在第一时间段内注视头戴式显示设备的显示界面的眼部运动信息，预测位于第一时间段之后的第二时间段内人眼对显示界面的关注度结果，并在关注度结果表示人眼对显示界面的至少部分区域的关注度低于设定阈值的情况下，在第二时间段降低在该至少部分区域内显示的图像的目标显示参数，以便在不影响用户正常使用头戴式显示设备的前提下，通过降低头戴式显示设备的功耗来降低头戴式显示设备上产生的热量，使得头戴式显示设备上产生的热量能够适用于小型化设计的需求。
以上各模块可以由本实施例中的处理器14执行存储器13存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种头戴式显示设备的显示控制方法，其特征在于，包括：
获取人眼在第一时间段内观看所述头戴式显示设备的显示界面的眼部运动信息；
根据所述眼部运动信息，预测所述人眼在第二时间段内对所述显示界面的关注度结果；其中，所述第二时间段位于所述第一时间段之后；
在所述关注度结果表示所述人眼对所述显示界面的至少部分区域的关注度低于设定阈值的情况下，在所述第二时间段降低在所述至少部分区域内显示的图像的目标显示参数。
2.根据权利要求1所述的方法，其特征在于，所述眼部运动信息包括：眼球运动位置；所述关注度结果包括：所述人眼的眼球在第二时间段内的眼球位移；
所述关注度结果表示所述人眼对所述显示界面的至少部分区域的关注度低于设定阈值，包括：所述眼球位移大于预设的位移阈值。
3.根据权利要求1所述的方法，其特征在于，所述眼部运动信息包括：眼球运动位置；所述关注度结果包括：所述人眼的眼球在第二时间段内发生位移的发生次数；
所述关注度结果表示所述人眼对所述显示界面的至少部分区域的关注度低于设定阈值，包括：所述发生次数大于预设的发生次数阈值。
4.根据权利要求1或2所述的方法，其特征在于，所述目标显示参数包括：分辨率。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述关注度结果表示所述人眼没有观看所述显示界面的情况下，在所述第二时间段停止在所述显示界面中显示图像。
6.根据权利要求1所述的方法，其特征在于，所述眼部运动信息包括：眨眼次数；所述关注度结果包括：眨眼频率；
所述关注度结果表示所述人眼对所述显示界面的至少部分区域的关注度低于设定阈值，包括：所述眨眼频率大于预设频率。
7.根据权利要求6所述的方法，其特征在于，所述目标显示参数包括：分辨率和/或帧率。
8.一种头戴式显示设备的显示控制装置，其特征在于，包括：
获取模块，用于获取人眼在第一时间段内观看所述头戴式显示设备的显示界面的眼部运动信息；
预测模块，用于根据所述获取模块获取的眼部运动信息，预测所述人眼在第二时间段内对所述显示界面的关注度结果；其中，所述第二时间段位于所述第一时间段之后；
处理模块，用于在所述预测模块得到的关注度结果表示所述人眼对所述显示界面的至少部分区域的关注度低于设定阈值的情况下，在所述第二时间段降低在所述至少部分区域内显示的图像的目标显示参数。
9.一种头戴式显示设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现根据权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任意一项所述的方法。
CN202110461133.9A 2021-04-27 2021-04-27 头戴式显示设备的显示控制方法、装置及头戴式显示设备 Pending CN113269044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110461133.9A CN113269044A (zh) 2021-04-27 2021-04-27 头戴式显示设备的显示控制方法、装置及头戴式显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110461133.9A CN113269044A (zh) 2021-04-27 2021-04-27 头戴式显示设备的显示控制方法、装置及头戴式显示设备

Publications (1)

Publication Number Publication Date
CN113269044A true CN113269044A (zh) 2021-08-17

Family

ID=77229457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110461133.9A Pending CN113269044A (zh) 2021-04-27 2021-04-27 头戴式显示设备的显示控制方法、装置及头戴式显示设备

Country Status (1)

Country Link
CN (1) CN113269044A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114859557A (zh) * 2022-04-22 2022-08-05 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质
CN115509345A (zh) * 2022-07-22 2022-12-23 北京微视威信息科技有限公司 虚拟现实场景的显示处理方法及虚拟现实设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备
CN105824422A (zh) * 2016-03-30 2016-08-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN108919958A (zh) * 2018-07-16 2018-11-30 北京七鑫易维信息技术有限公司 一种图像传输方法、装置、终端设备及存储介质
CN108985164A (zh) * 2018-06-11 2018-12-11 厦门大学 基于物体运动状态的眼部关注预测方法
CN111639702A (zh) * 2020-05-29 2020-09-08 深圳壹账通智能科技有限公司 一种多媒体数据分析方法、设备、服务器及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备
CN105824422A (zh) * 2016-03-30 2016-08-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN108985164A (zh) * 2018-06-11 2018-12-11 厦门大学 基于物体运动状态的眼部关注预测方法
CN108919958A (zh) * 2018-07-16 2018-11-30 北京七鑫易维信息技术有限公司 一种图像传输方法、装置、终端设备及存储介质
CN111639702A (zh) * 2020-05-29 2020-09-08 深圳壹账通智能科技有限公司 一种多媒体数据分析方法、设备、服务器及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114859557A (zh) * 2022-04-22 2022-08-05 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质
CN114859557B (zh) * 2022-04-22 2024-02-09 歌尔股份有限公司 头戴式装备的控制方法、头戴式装备及存储介质
CN115509345A (zh) * 2022-07-22 2022-12-23 北京微视威信息科技有限公司 虚拟现实场景的显示处理方法及虚拟现实设备
CN115509345B (zh) * 2022-07-22 2023-08-18 北京微视威信息科技有限公司 虚拟现实场景的显示处理方法及虚拟现实设备

Similar Documents

Publication Publication Date Title
EP3598274B1 (en) System and method for hybrid eye tracker
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US11579689B2 (en) Reducing head mounted display power consumption and heat generation through predictive rendering of content
US20150049201A1 (en) Automatic calibration of scene camera for optical see-through head mounted display
US20170337750A1 (en) Methods and apparatus to project contact with real objects in virtual reality environments
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
CN111727077A (zh) 利用跟踪显示设备控制图像显示
CN113269044A (zh) 头戴式显示设备的显示控制方法、装置及头戴式显示设备
CN111308707B (zh) 画面显示调节方法、装置、存储介质及增强现实显示设备
WO2020139738A1 (en) Visual indicators of user attention in ar/vr environment
KR20210138484A (ko) 깊이 맵 복구를 위한 시스템 및 방법
US20230410699A1 (en) Structured display shutdown for video pass-through electronic devices
US9265415B1 (en) Input detection
EP3407167B1 (en) Head-mounted display system, method for adaptively adjusting hidden area mask, and computer program product
US20210116993A1 (en) Display apparatus and method using projection matrices to generate image frames
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
Narducci et al. Enabling consistent hand-based interaction in mixed reality by occlusions handling
CN115576470A (zh) 图像处理方法和装置、增强现实系统及介质
JPWO2018155303A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114581514A (zh) 一种双眼注视点的确定方法和电子设备
CN113448428A (zh) 一种视线焦点的预测方法、装置、设备及计算机存储介质
CN111193858A (zh) 一种增强现实拍摄及显示的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination