CN109194951A - 头戴显示设备的显示方法和头戴显示设备 - Google Patents

Abstract

本发明提供一种头戴显示设备的显示方法和头戴显示设备，属于头戴显示技术领域，其可至少部分解决现有的头戴显示设备实际显示的图像与用户头部位置二者之间存在较大滞后的问题。本发明的显示方法包括：获取截至当前帧周期开始时已经完成渲染的最近的M帧图像中N帧图像的渲染耗时，M、N均为大于或等于1的自然数；根据该N帧图像的渲染耗时确定在当前帧周期中开始渲染下一帧图像的启动时刻；从当前帧周期中的所述启动时刻开始下一帧图像的渲染。

Description

头戴显示设备的显示方法和头戴显示设备

技术领域

本发明属于头戴显示技术领域，具体涉及一种头戴显示设备的显示方法和一种头戴显示设备。

背景技术

头戴显示设备例如是头戴虚拟现实显示设备、头戴增强现实显示设备、头戴混合现实显示设备等。头戴显示设备会检测用户的头部的位置信息，并根据该位置信息进行渲染(也就是根据用户当前头部的位置信息确定用户当前应当看到什么样的图像，以供后续显示相应的图像)。通常的做法是如图1所示，在当前帧周期开始时(通常以帧周期信号Vsync来标示一个帧周期的开始)，根据用户当前头部的位置信息开始进行渲染，渲染后得到的图像信息会在下一帧周期进行显示。

由于当前用户看到的图像实际是根据用户在一个完整的帧周期之前的头部位置所确定的，图像与用户的实际头部位置存在较大的滞后，这个滞后会使用户体验降低，甚至会造成头晕等不良后果。

发明内容

本发明至少部分解决现有的头戴显示设备中图像延时过长的问题，提供一种头戴显示设备的显示方法和一种头戴显示设备。

根据本发明的第一方面，提供一种头戴显示设备的显示方法，包括：

获取截至当前帧周期开始时已经完成渲染的最近的M帧图像中N帧图像的渲染耗时，M、N均为大于或等于1的自然数；

根据该N帧图像的渲染耗时确定在当前帧周期中开始渲染下一帧图像的启动时刻；

从当前帧周期中的所述启动时刻开始下一帧图像的渲染。

可选地，所述根据该N帧图像的渲染消耗时长确定在当前帧周期中开始渲染下一帧图像的启动时刻包括：

根据该N帧图像的渲染耗时确定所述下一帧图像所需的渲染预测耗时；

计算在所述当前帧周期中所述下一帧图像开始渲染的启动时刻，以使所述下一帧图像的渲染耗时等于所述渲染预测耗时的情况下，所述下一帧图像的渲染在所述当前帧周期内完成。

可选地，所述根据该N帧图像的渲染耗时确定所述下一帧图像所需的渲染预测耗时包括：

按照如下公式确定所述下一帧图像所需的渲染预测耗时t：其中，t[i]为该N帧图像中第i帧图像的渲染耗时，k[i]为对应该N帧图像中第i帧图像的渲染耗时的比例系数，0＜k[i]≤1，其中标号i小的帧图像先于标号i大的帧图像进行显示。

可选地，N为大于或等于3的自然数，随着标号i的增大，各k[i]呈递增的等差数列。

可选地，N为大于或等于2的自然数，所述根据该N帧图像的渲染耗时确定所述下一帧图像所需的渲染预测耗时还包括确定各个k[i]的步骤，该步骤包括：

获取当前所述头戴显示设备移动的速度；

根据所述移动速度确定各个k[i]的取值，其中，标号i最大的比例系数k[i]与所述移动速度正相关。

可选地，所述计算在所述当前帧周期中所述下一帧图像开始渲染的时刻，以使所述下一帧图像的渲染耗时为所述渲染预测耗时的情况下，所述下一帧图像的渲染在所述当前帧周期内完成包括：

计算在所述当前帧周期中所述下一帧图像开始渲染的时刻，以使所述下一帧图像的渲染耗时等于所述渲染预测耗时的情况下，所述下一帧图像的渲染在所述当前帧周期结束前的第一设定时段前完成。

可选地，所述显示方法还包括：

预测所述下一帧图像进行渲染后需要的进行图像校正所需的校正时长，并根据预测的校正时长确定所述第一设定时段的时长，以使在当前帧周期内完成所述下一帧图像的图像校正；

在所述下一帧图像完成渲染后对图像数据进行校正。

可选地，N为大于或等于3的自然数，所述显示方法还包括确定所述第一设定时段时长的步骤，其包括：根据该N帧图像中相邻帧图像的渲染耗时的差的变化规律确定所述第一设定时段的时长。

可选地，所述显示方法还包括：在所述当前帧周期之后的下一帧周期内显示所述下一帧图像。

可选地，N的取值在5-25之间。

可选地，M＝N。

根据本发明的第二方面，提供一种头戴显示设备，包括存储器和处理器，所述存储器存储指令，所述处理器用于运行所述指令以执行根据本发明第一方面的显示方法。

可选地，所述头戴显示设备为头戴虚拟现实显示设备、头戴增强现实显示设备、头戴混合现实显示设备中的任意一种。

根据本发明的第三方面，提供一种头戴显示设备，包括：

获取单元，用于获取截至当前帧周期开始时已经完成渲染的最近的M帧图像中N帧图像的渲染耗时，M、N均为大于或等于1的自然数；

确定单元，用于根据该N帧图像的渲染耗时确定在当前帧周期中开始渲染下一帧图像的启动时刻；

渲染计算单元，用于从当前帧周期中的所述启动时刻开始下一帧图像的渲染。

附图说明

图1为现有的头戴显示设备显示的时序图；

图2为本发明的实施例的头戴显示设备的显示方法的流程图；

图3为本发明的实施例的头戴显示设备的显示方法的时序图；

图4为本发明的实施例的头戴显示设备的显示方法中各比例系数k[i]的关系图；

图5为本发明的实施例的头戴显示设备的框图；

图6为本发明的实施例的另一种头戴显示设备的框图；

其中，附图标记为：100、存储器；200、处理器；301、获取单元；302、确定单元；303、渲染计算单元；304、显示单元。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

实施例1：

本实施例提供一种头戴显示设备的显示方法，参见图2，该方法包括：

第一步：获取截至当前帧周期开始时已经完成渲染的最近的M帧图像中N帧图像的渲染耗时，M、N均为大于或等于1的自然数。

参见图3，以下以帧周期信号Vsync作为一个帧周期的开始信号。以下举例说明中以图3中的第一个帧周期作为当前帧周期，图3中第二个帧周期作为下一帧周期。在当前帧周期中，需要进行两个工作，一个显示已经渲染完成的帧图像；二是渲染下一帧周期需要进行显示的图像，从而得到的图像会在下一帧周期进行显示(即图3中标注的“显示Fram N”)。

该方法需要实时记录已经完成渲染的帧图像的渲染耗时，从而在据此预估下一帧图像需要的渲染耗时。详见第二步。

需要说明的是，在进行下一帧图像所需的渲染预测耗时的推断过程中，上述M帧图像的渲染耗时并不一定都有用的。例如可以设计算法剔除一些异常的渲染耗时，或者固定选取其中的部分渲染耗时进行预测，而不是全部数据都被利用。

出于算法的简洁性的目的，优选M＝N。即上述M帧图像的渲染耗时均被用来预测下一帧图像的渲染预测耗时。

第二步：根据该N帧图像的渲染耗时确定在当前帧周期中开始渲染下一帧图像的启动时刻。

由于每个帧周期的时长是固定的，如果预估出了下一帧图像需要的渲染耗时，那么便可据此将下一帧图像渲染的启动时刻在当前帧周期中从当前帧周期的开始时刻适当后移，且保证根据预估的渲染预测耗时，后移之后的下一帧图像的渲染在当前帧周期结束之前完成，从而不影响下一帧图像在下一帧的正常显示；由此，渲染的时刻便能更接近实际显示的时刻，从而降低了二者之间滞后的程度。由于每一帧图像是相对渐变的，相连帧图像需要的渲染耗时具有一定的连续性，从而这种根据已经完成的帧图像的渲染耗时推断下一帧图像的渲染耗时的结果是相对可靠的。

具体地，第二步可按照如下方式执行：首先根据该N帧图像的渲染耗时确定下一帧图像所需的渲染预测耗时；然后计算在当前帧周期中下一帧图像开始渲染的启动时刻，以使下一帧图像的渲染耗时等于渲染预测耗时的情况下，下一帧图像的渲染在当前帧周期内完成。

其中确定下一帧图像所需的渲染预测耗时的方法例如是：按照如下公式确定下一帧图像所需的渲染预测耗时t： 其中，t[i]为该N帧图像中第i帧图像的渲染耗时，k[i]为对应该N帧图像中第i帧图像的渲染耗时的比例系数，0＜k[i]≤1，其中标号i小的帧图像先于标号i大的帧图像进行显示。

也就是推测下一帧图像所需的渲染预测耗时为该N帧图像的渲染耗时的加权组合。在保证一定的推测的准确度的前提下，如此设定可使计算量大大降低。

当然，本领域技术人员也可以设置其他的模型来推断下一帧图像所需的渲染预测耗时。

以下为上述加权组合中比例系数k[i]的一种具体的确定方法。

可选地，N为大于或等于3的自然数，随着标号i的增大，各k[i]呈递增的等差数列。

即推断下一帧图像所需的渲染预测耗时需要之前至少3帧图像的实际的渲染耗时。距离下一帧图像时间越近的图像的实际的渲染耗时对应的比例系数k[i]越大。作为一种具体的模型，随着标号i的增大，各k[i]呈递增的等差数列。

以N＝5为例，比例系数k[i]的变化规律参见图4。假定k[0]＝0，即当前帧周期之前的已经完成渲染的第六帧图像的对应的比例系数为0。那么能够确定k[2]＝2k[1]，k[3]＝3k[1]，……k[5]＝5k[1]，结合所有比例系数k[i]之和为1，可以最终确定k[1]＝1/15，k[2]＝2/15，k[3]＝3/15，k[4]＝4/15，k[5]＝5/15。

可选地，N为大于或等于2的自然数，根据该N帧图像的渲染耗时确定下一帧图像所需的渲染预测耗时还包括确定各个k[i]的步骤，该步骤包括：首先获取当前头戴显示设备移动的速度；然后根据移动速度确定各个k[i]的取值，其中，标号i最大的比例系数k[i]与移动速度正相关。

也就是以上的比例系数k[i]可以是固定的值，也可以是根据头戴显示设备的移动速度(代表用户头部的移动速度)动态调整的值。用户的头部移动的速度越快，那么越靠近下一帧图像的帧图像的渲染耗时与下一帧图像的渲染耗时的关联也就越大，相应地，以上公式中标号i最大的比例系数k[i]也就越大。

可选地，计算在当前帧周期中下一帧图像开始渲染的时刻，以使下一帧图像的渲染耗时为渲染预测耗时的情况下，下一帧图像的渲染在当前帧周期内完成包括：计算在当前帧周期中下一帧图像开始渲染的时刻，以使下一帧图像的渲染耗时等于渲染预测耗时的情况下，下一帧图像的渲染在当前帧周期结束前的第一设定时段前完成。

也就是在确定了下一帧图像的渲染预测耗时之后确定在当前帧周期的什么时刻开始下一帧图像的渲染。在设定这个开始渲染的时刻时需要为下一帧图像的渲染预留一定的余量，也就是上述的第一设定时段。这样一来是在预测下一帧图像的渲染预测耗时不准的情况下，也能保证在当前帧周期内完成下一帧图像的渲染；二来在这个余量时段内还可以对图像数据进行校正。

可选地，显示方法还包括：预测下一帧图像进行渲染后需要的进行图像校正所需的校正时长，并根据预测的校正时长确定第一设定时段的时长，以使在当前帧周期内完成下一帧图像的图像校正；随后在下一帧图像完成渲染后对图像数据进行校正。

也即是如图3所示，在设定下一帧图像开始渲染的时刻时，在当前帧周期内保留的时间余量用于对渲染后的图像进行校正。

对图像进行校正的时长可以是预估的。当然多数情况下对图像进行校正的时长变化是不大的，可以根据经验将该预测的时长设为定值。

在下一帧图像的渲染完成的时刻，再检测一下头戴显示设备当前的空间位置状态并分析其运动趋势，并据此推断在下一帧周期开始的时刻头戴显示设备的空间位置状态，根据推断的结果对图像进行校正。以上技术也称time warp技术。由于校正的时机相较于现有技术也是更加接近显示的时机，可以进一步使用户看到的图像与它实际的头部姿态二者之间的滞后降低。

可选地，N为大于或等于3的自然数，显示方法还包括确定第一设定时段时长的步骤，其包括：根据该N帧图像中相邻帧图像的渲染耗时的差的变化规律确定第一设定时段的时长。

上述的第一设定时段的时长可以是依据经验设定的一个固定值，也可以是根据在当前帧周期之前已经完成渲染的帧图像的渲染耗时的变化趋势来确定。这也是基于头戴显示设备的运动状态具有连续性的原因。

具体例如，当随标号i的递增，对应的渲染耗时t[i]如果呈递增的关系，那么可以将当前帧周期中的第一设定时段设置得更大一些，相应地，在当前帧周期中开始进行渲染的时刻也就更提前一些；当随标号i的递增，对应的渲染耗时t[i]如果呈递减的关系，那么可以将当前帧周期中的第一设定时段设置得更小一些，相应地，在当前帧周期中开始进行渲染的时刻也就更延后一些。

第三步：从当前帧周期中的启动时刻开始下一帧图像的渲染。

也即实现了启动时刻相较于当前帧周期的开始时刻适当后移。

第四步：在当前帧周期之后的下一帧周期内显示下一帧图像。即在下一帧周期显示当前帧周期渲染后得到的图像。

可选地，N的取值在5-25之间。如果N的取值过小，那么对当前帧周期内需要的渲染耗时的预估则相对不准确，如果N的取值过大，那么相应地计算量也会增大。

实施例2：

参见图5，本实施例提供一种头戴显示设备，包括存储器100和处理器200，存储器100存储指令，处理器200用于运行指令以执行根据本发明实施例1的显示方法。

具体地，存储器100例如是随机存储器(RAM)或只读存储器(ROM)，处理器200例如是中央处理器(CPU)。当然上述存储器100和处理器200也可是集成在一个部件内，例如集成在图形处理器(GPU)中。

具体地，头戴显示设备为头戴虚拟现实显示设备、头戴增强现实显示设备、头戴混合现实显示设备中的任意一种。

实施例3：

参见图6，本实施例提供一种头戴显示设备，用以执行实施例1的方法。该头戴显示设备具体包括：获取单元301，用于获取截至当前帧周期开始时已经完成渲染的最近的M帧图像中N帧图像的渲染耗时，M、N均为大于或等于1的自然数；确定单元302，用于根据该N帧图像的渲染耗时确定在当前帧周期中开始渲染下一帧图像的启动时刻；渲染计算单元303，用于从当前帧周期中的启动时刻开始下一帧图像的渲染。

可选地，还包括显示单元304，用于在当前帧周期之后的下一帧周期内显示下一帧图像。

以上各单元的具体工作方法参见实施例1。

头戴显示设备中的各类用于检测用户姿态的传感器、显示屏(显示单元304的一部分)等可依据常规设计进行配置，在此不做赘述。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (14)

1.一种头戴显示设备的显示方法，其特征在于，包括：

获取截至当前帧周期开始时已经完成渲染的最近的M帧图像中的N帧图像的渲染耗时，M、N均为大于或等于1的自然数；

根据该N帧图像的渲染耗时确定在当前帧周期中开始渲染下一帧图像的启动时刻；

从当前帧周期中的所述启动时刻开始下一帧图像的渲染。

2.根据权利要求1所述的显示方法，其特征在于，所述根据该N帧图像的渲染消耗时长确定在当前帧周期中开始渲染下一帧图像的启动时刻包括：

根据该N帧图像的渲染耗时确定所述下一帧图像所需的渲染预测耗时；

计算在所述当前帧周期中所述下一帧图像开始渲染的启动时刻，以使所述下一帧图像的渲染耗时等于所述渲染预测耗时的情况下，所述下一帧图像的渲染在所述当前帧周期内完成。

3.根据权利要求2所述的显示方法，其特征在于，所述根据该N帧图像的渲染耗时确定所述下一帧图像所需的渲染预测耗时包括：

按照如下公式确定所述下一帧图像所需的渲染预测耗时t：其中，t[i]为该N帧图像中第i帧图像的渲染耗时，k[i]为对应该N帧图像中第i帧图像的渲染耗时的比例系数，0＜k[i]≤1，其中标号i小的帧图像先于标号i大的帧图像进行显示。

4.根据权利要求3所述的显示方法，其特征在于，N为大于或等于3的自然数，随着标号i的增大，各k[i]呈递增的等差数列。

5.根据权利要求3所述的显示方法，其特征在于，N为大于或等于2的自然数，所述根据该N帧图像的渲染耗时确定所述下一帧图像所需的渲染预测耗时还包括确定各个k[i]的步骤，该步骤包括：

获取当前所述头戴显示设备移动的速度；

根据所述移动速度确定各个k[i]的取值，其中，标号i最大的比例系数k[i]与所述移动速度正相关。

6.根据权利要求3所述的显示方法，其特征在于，所述计算在所述当前帧周期中所述下一帧图像开始渲染的时刻，以使所述下一帧图像的渲染耗时为所述渲染预测耗时的情况下，所述下一帧图像的渲染在所述当前帧周期内完成包括：

计算在所述当前帧周期中所述下一帧图像开始渲染的时刻，以使所述下一帧图像的渲染耗时等于所述渲染预测耗时的情况下，所述下一帧图像的渲染在所述当前帧周期结束前的第一设定时段前完成。

7.根据权利要求6所述的显示方法，其特征在于，所述显示方法还包括：

预测所述下一帧图像进行渲染后需要的进行图像校正所需的校正时长，并根据预测的校正时长确定所述第一设定时段的时长，以使在当前帧周期内完成所述下一帧图像的图像校正；

在所述下一帧图像完成渲染后对图像数据进行校正。

8.根据权利要求6所述的显示方法，其特征在于，N为大于或等于3的自然数，

所述显示方法还包括确定所述第一设定时段时长的步骤，其包括：根据该N帧图像中相邻帧图像的渲染耗时的差的变化规律确定所述第一设定时段的时长。

9.根据权利要求1所述的显示方法，其特征在于，所述显示方法还包括：在所述当前帧周期之后的下一帧周期内显示所述下一帧图像。

10.根据权利要求1所述的显示方法，其特征在于，N的取值在5-25之间。

11.根据权利要求1所述的显示方法，其特征在于，M＝N。

12.一种头戴显示设备，其特征在于，包括存储器和处理器，所述存储器存储指令，所述处理器用于运行所述指令以执行根据权利要求1-11任意一项所述的显示方法。

13.根据权利要求12所述的头戴显示设备，其特征在于，所述头戴显示设备为头戴虚拟现实显示设备、头戴增强现实显示设备、头戴混合现实显示设备中的任意一种。

14.一种头戴显示设备，其特征在于，包括：

获取单元，用于获取截至当前帧周期开始时已经完成渲染的最近的M帧图像中N帧图像的渲染耗时，M、N均为大于或等于1的自然数；

确定单元，用于根据该N帧图像的渲染耗时确定在当前帧周期中开始渲染下一帧图像的启动时刻；

渲染计算单元，用于从当前帧周期中的所述启动时刻开始下一帧图像的渲染。