CN108696732A - 头戴显示设备的分辨率调整方法及设备 - Google Patents

Abstract

本发明提供了一种头戴显示设备的分辨率调整方法及设备，其中分辨率调整方法包括确定多媒体信息中显示内容的显著性信息；根据所述显著性信息，调整所述多媒体信息中与各个显示内容相对应的分辨率；显示调整分辨率后的多媒体信息。本发明通过确定多媒体信息中显示内容的显著性信息，来调整与显示内容相对应的分辨率，使显示内容的分辨率与显示内容的显著性相匹配，并据以显示调整分辨率后的多媒体信息，不再需要对整个多媒体信息都以较高的分辨率以及帧率进行显示，大幅度减小了设备计算量，从而降低了对设备硬件的要求，减小了设备成本，并且在保证良好显示效果的同时，提高了显示效率。

Description

头戴显示设备的分辨率调整方法及设备

技术领域

本发明涉及三维显示技术领域，特别涉及一种头戴显示设备的分辨率调整方法、一种分辨率调整的头戴显示设备及一种调整头戴显示设备分辨率的设备。

背景技术

虚拟现实(VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中，是一种能够提供多源信息融合的交互式三维动态视景以及实体行为系统仿真的技术。在现有的虚拟现实系统中，双目立体视觉是实现三维视景的关键，用户的两只眼睛看到图像实际上是不相同的，这些不同图像是分别产生的，显示在不同的显示器上，依据需要分别进入用户的左眼和右眼，由此用户可以感受到图像视差，从而能感知场景的深度信息。

基于头戴显示器的虚拟现实场景的高效表达是当前视觉领域中比较重要的问题之一，即如何能够将VR内容快速地显示在头戴显示器上。这一问题和传统的基于台式显示器的高效表达有着相近的地方，但是其要求更高，并且有着自己的新特性：首先，VR显示的计算量更大，和普通的显示器不同，VR需要对左眼和右眼分别显示不同的图像，这就使得其计算量倍增；其次，VR显示需要更高的分辨率，由于头戴显示器距离眼睛很近，和普通显示器相比，其占据了用户的更大部分的视野，所以需要更高的分辨率才能达到精细逼真的显示效果；最后，VR显示需要更高的帧率，因为头戴显示器并不是静止不动的，而是随着用户头部的移动而移动，并且其显示内容也会随之改变，为了给用户较为真实的视觉体验，需要用较高的帧率进行绘制，才不会出现延迟、卡顿等现象。

因此，为了保证高品质的显示效果，从而给用户以较为满意的视觉享受，就要求当前大多数VR技术需要以较高的分辨率以及及帧率进行显示，这就意味着VR显示设备必须具有大规模的数据存储空间以及超高的计算处理能力，这无疑是给头戴显示设备造成了巨大的硬件负担，也使得头戴显示设备成本居高不下。

发明内容

基于此，有必要针对上述提到的至少一个问题，提供一种头戴显示设备的分辨率调整方法，并相应提供一种头戴显示设备及服务器。

一种头戴显示设备的分辨率调整方法，包括：

确定多媒体信息中显示内容的显著性信息；

根据所述显著性信息，来调整所述多媒体信息中与各个显示内容相对应的分辨率；

显示调整分辨率后的多媒体信息。

在其中一个实施例中，根据所述显著性信息，来调整所述多媒体信息中各个显示内容相对应的分辨率，包括：

根据各个显示内容的显著性信息，确定相对应的显示内容的显著性；

根据各个显示内容的显著性，成正比地调整该显示内容对应的分辨率。

在其中一个实施例中，根据所述显著性信息，调整所述多媒体信息中各个显示内容相对应的分辨率，包括：

根据所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级；

基于各个显示内容的重要等级，调整所述多媒体信息中与各个显示内容相对应的分辨率。

进一步的，所述显著性信息包括语义显著性信息、图像显著性信息、动态显著性信息及统计显著性信息中的至少一项。

进一步的，所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

通过提取所述多媒体信息中的附加信息，确定多媒体信息中显示内容的语义显著性信息；或通过物体识别技术确定多媒体信息中显示内容的语义显著性信息。

所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

通过识别出的多媒体信息中显示内容的图像局部区域特征的统计特征，确定多媒体信息中显示内容的显著性信息；

其中，所述统计特征包括颜色分布、图像对比度或图像纹理中的至少一项。

在其中一个实施例中，所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

通过识别出的多媒体信息中多个图像帧中预定对象的状态信息，确定多媒体信息中显示内容的动态显著性信息。

在其中一个实施例中，所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

在人眼的视线方向上确定针对标准对象的统计数据，并基于统计数据确定多媒体信息中显示内容的统计显著性信息；

其中，所述统计数据包括以下至少一项：

人眼在标准对象上停留超过预定停留时间的发生频率；

人眼在屏幕上的观察点与标准对象之间的距离在预定间距内的发生频率；

人眼在不同标准对象之间切换的发生频率。

在其中一个实施例中，所述根据所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级的步骤，包括：

根据使用者人眼的视线方向和/或人眼的使用状态，并结合所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级。

在其中一个实施例中，所述基于各个显示内容的重要等级，调整所述多媒体信息中与各个显示内容相对应的分辨率的步骤，包括：

当检测到满足预定分辨率调整条件时，基于各个显示内容的重要等级，调整所述多媒体信息中与各个显示内容相对应的分辨率；

其中，所述预定分辨率调整条件包括以下至少一项：

多媒体信息的绘制速度小于预定屏幕刷新速度，且所述绘制速度与所述预定屏幕刷新速度的差值小于预设阈值；

使用者的眼球移动速度数据高于预定眼球移动速度；

使用者的头部转动速度数据高于预定头部转动速度；

解压缩多媒体信息中每一帧图像的解压缩时间超过预定时间阈值；

设备电量低于预定电量阈值；

预测确定在预定时间范围内针对多媒体信息中各个图像帧的计算量超过预设计算量阈值。

在其中一个实施例中，该方法还包括：

根据预定的视觉模式判定依据，确定所述多媒体信息中各个显示内容相对应的视觉模式；

其中，所述显示调整分辨率后的多媒体信息的步骤，包括：

根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，通过确定出的视觉模式显示所述多媒体信息；

其中，所述预定的视觉模式判定依据包括以下至少一项：

多媒体信息中各个显示内容的重要等级；

多媒体信息中各个显示内容中物体的深度值；

头戴显示设备的设备电量。

进一步的，所述视觉模式包括单目视觉模式；

其中，所述根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，通过确定出的视觉模式显示所述多媒体信息的步骤，包括：

以单目视觉模式显示时，根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，在头戴显示设备的左眼显示区域和右眼显示区域上同时显示所述多媒体信息。

进一步的，所述视觉模式还包括立体视觉模式及混合视觉模式；

其中，所述多媒体信息包括第一类多媒体信息及第二类多媒体信息，将第一类多媒体信息及第二类多媒体信息结合显示以实现立体视觉；

其中，所述根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，通过确定出的视觉模式显示所述多媒体信息的步骤，包括：

以立体视觉模式显示时，根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，将所述第一类多媒体信息及所述第二类多媒体信息在头戴显示器的左眼显示区域和右眼显示区域上分别显示；或

以混合视觉模式显示时，根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，将所述第一类多媒体信息在头戴显示器的左眼显示区域的部分区域上显示，将所述第二类多媒体信息在头戴显示器的左眼显示区域的剩余部分区域上显示，同时将所述第二类多媒体信息在头戴显示器的右眼显示区域上显示。

在其中一个实施例中，当调整分辨率后的相邻两个显示内容之间的分辨率不同时，所述相邻两个显示内容之间包括第一过渡区域；第一过渡区域包括按照预设趋势排列的多个分辨率值；

其中，所述显示调整分辨率后的多媒体信息的步骤，包括：

在所述第一过渡区域中以按照预设趋势排列的多个分辨率值显示相应的多媒体信息。

在其中一个实施例中，当调整分辨率后相邻两个显示内容之间的视觉模式不同时，所述相邻两个显示内容之间包括第二过渡区域；第二过渡区域包括按照预设趋势排列的多个分辨率值；

其中，所述显示调整分辨率后的多媒体信息的步骤，包括：

在所述第二过渡区域中以按照预设趋势排列的多个分辨率值显示相应的多媒体信息。

在其中一个实施例中，当从前一视觉模式切换到后一视觉模式时，还包括以下至少一种情形：

在前一视觉模式结束前的第一预定显示时间内将显示区域亮度调低至预定亮度值，并在后一视觉模式开始后的第二预定显示时间内恢复显示区域亮度；

在前一视觉模式结束前的第三预定显示时间内将图像模糊处理，在后一视觉模式开始后的第四预定显示时间内恢复图像至正常显示；

在前一视觉模式结束前的第五预定显示时间内检测到使用者眨眼，切换至后一视觉模式；

在前一视觉模式结束前的第六预定显示时间内检测到使用者视线切换频率达到预设切换频率时，切换至后一视觉模式。

在其中一个实施例中，所述确定多媒体信息中显示内容的显著性信息的步骤之前，该方法还包括：

根据所述多媒体信息的分辨率确定第一多媒体信息压缩比例，并依据所述第一多媒体信息压缩比例对所述多媒体信息进行多分辨率压缩。

在其中一个实施例中，所述根据所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级的步骤之后，该方法还包括：

依据所述多媒体信息中各个显示内容的重要等级来确定第二多媒体信息压缩比例，并依据所述第二多媒体信息压缩比例对所述多媒体信息进行多分辨率压缩。

本发明还提供了一种调整头戴显示设备分辨率的方法，包括下列步骤：

获取头戴显示设备中待显示的多媒体信息；

确定多媒体信息中显示内容的显著性信息；

根据所述显著性信息，调整所述多媒体信息中各个显示内容相对应的分辨率；

将调整分辨率后的多媒体信息发送至所述头戴显示设备。

本发明同时提供了一种分辨率调整的头戴显示设备，包括：

计算模块，用于确定多媒体信息中显示内容的显著性信息；

调整模块，用于根据所述显著性信息，调整所述多媒体信息中各个显示内容相对应的分辨率；

显示模块，用于显示调整分辨率后的多媒体信息。

本发明另外还同时提供了一种调整头戴显示设备分辨率的设备，包括：

获取模块，用于获取头戴显示设备中待显示的多媒体信息；

确定模块，用于确定多媒体信息中显示内容的显著性信息；

调整模块，用于根据所述显著性信息，调整所述多媒体信息中各个显示内容相对应的分辨率；

发送模块，用于将调整分辨率后的多媒体信息发送至所述头戴显示设备。

本发明提供的头戴式显示设备的分辨率调整方法及设备可用于虚拟现实显示，与现有技术相比，该分辨率调整方法通过确定多媒体信息中显示内容的显著性信息，来调整与显示内容相对应的分辨率，使显示内容的分辨率与显示内容的显著性相匹配，并据以显示调整分辨率后的多媒体信息，不再需要对整个多媒体信息都以较高的分辨率以及帧率进行显示，大幅度减小了设备计算量，从而降低了对设备硬件的要求，减小了设备成本，并且在保证良好显示效果的同时，提高了显示效率。

本发明提供的调整头戴显示设备分辨率的方法采用将计算工作交由云端服务器进行的技术特征，而使头戴显示设备只进行接收显示，更进一步降低了头戴显示设备对硬件的要求，大幅度削减了制造成本。

进一步地，通过本发明的优选实施例方式，可实现具有如下优点：

1、结合人眼跟踪技术，根据人眼视线方向或人眼使用状态适应性确定多媒体信息中各个显示内容的重要等级，确保了符合用户实际需要的多媒体信息部分高质量显示的准确性。

2、根据各个显示内容的重要等级，确定相应的视觉模式，在无需采用三维显示的部分采用二维显示，从而在保证良好视频显示效果的前提下，进一步降低了设备的计算量。

3、在不同重要等级的显示内容上采用不同分辨率或者不同视觉模式进行显示，VR设备使用了过渡区域，这一区域中图像分辨率平滑地从高分辨率过度到低分辨率，或者从立体视觉平滑地过渡到单目视觉，从而避免视觉上的不连续性，在降低计算量的同时确保了视频显示效果。

附图说明

图1为本发明一实施例中头戴显示设备的分辨率调整方法流程图；

图2为本发明一实施例中头戴显示设备的分辨率调整方法原理示意图；

图3为本发明一实施例中头戴显示设备的分辨率调整方法的重要级别判断原理示意图；

图4为本发明一实施例中视觉模式原理示意图；

图5为本发明一实施例中不同分辨率区域间的过渡方式示意图；

图6为本发明一实施例中不同分辨率区域间过渡的效果示例图；

图7为本发明一实施例中两种视觉模式之间的一种切换方式示意图；

图8为本发明一实施例中两种视觉模式之间的另一种切换方式示意图；

图9为本发明另一实施例中头戴显示设备的分辨率调整方法原理示意图；

图10为本发明一实施例中头戴显示设备的结构示意图；

图11为本发明一实施例中调整头戴显示设备分辨率的方法流程图；

图12为本发明一实施例中调整头戴显示设备的视频获取方式示意图；

图13为本发明一实施例中分辨率调整的头戴显示设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

头戴显示设备，通常指头戴式显示器(HMD)，即头显。通常意义上的工作原理是通过一组光学系统(主要是精密光学透镜)放大显示屏上的图像，将影像投射于视网膜上，进而呈现于观看者眼中大屏幕图像，可以实现虚拟现实(VR)、增强现实(AR)和混合现实(MR)等不同效果。

本发明的一个实施中，如图1所示，提供了一种头戴显示设备的分辨率调整方法，具体包括下列步骤：

步骤S100：确定多媒体信息中显示内容的显著性信息。

步骤S200：根据所述显著性信息，来调整所述多媒体信息中与各个显示内容相对应的分辨率。

步骤S300：显示调整分辨率后的多媒体信息。

如图2所示，上述方法总体分为三个部分：预计算、分辨率控制以及最终的显示。预计算的部分主要完成探测、计算多媒体信息中各显示内容的显著性的任务，VR设备中的多媒体信息具体可以包含多种，例如CG动画、视频和图片等。分辨率控制部分根据预计算部分获得的显著性来调整显示内容的分辨率，更可以结合其他技术参数，例如用户状态等来确定重要等级，即计算得到多媒体信息中各显示内容区域的重要性，并根据重要等级来自适应地调整视频内容中与屏幕上各个区域相对应的分辨率。最终的显示部分则对各个区域按照调整后的相应分辨率对VR视频内容进行显示。

上述方法中，头戴显示设备主要从四个方面来进行显著性计算，从而确定多媒体信息中显示内容的显著性信息，此处提到的多媒体信息至少包括图片和视频，因此在步骤S100中，显著性信息包括语义显著性信息、图像显著性信息、动态显著性信息及统计显著性信息中的至少一项，其重要性由高到低排列。语义显著性信息用于表示图像或者模型是否具备语义信息，NPC(非玩家控制角色)、道具、信息提示牌都是具备语义信息的物体，这些物体是用户使用过程中重点关注的对象，所以重要性最高。图像显著性信息用于提取显示图像中比较突出的特征，这些特征所属的模型是用户进入视频场景时最先观察的对象，也很重要。动态显著性信息用于度量显示的图像是否有变化，譬如物体位置以及颜色、形状的变化等，以往研究表明，人眼会不自觉地转向视野中有变化产生的方向，所以图像中的这些物体有很大概率被用户观察到，也比较重要。最后，物体的显著性可以通过对用户行为的观察统计得到，使用真实的用户关注数据来弥补算法的不足，此种根据用户行为统计得到的显著性信息为统计显著性信息。

通过步骤S100得出VR视频中显示内容的显著性信息之后，再确定得出多媒体信息中与各个显示内容相对应的分辨率，即进行步骤S200。优选的，该步骤具体包括，根据各个显示内容的显著性信息，确定相对应的显示内容的显著性，再根据各个显示内容的显著性，成正比地调整该显示内容对应的分辨率。

在本发明实施例中，各个显示内容的显著性和该显示内容对应的分辨率成正比。例如，对于显著性低的显示内容，将该显示内容对应的分辨率下调；对于显著性高的显示内容，将该显示内容对应的分辨率上调；对于显著性高的显示内容，也有可能保持该显示内容对应的分辨率不变，而下调其他部分的显示内容对应的分辨率。

具体而言，确定多媒体信息中显示内容的显著性信息的步骤，包括：

对于语义显著性信息，通过提取多媒体信息中的附加信息，确定多媒体信息中显示内容的语义显著性信息，或者通过物体识别技术确定多媒体信息中显示内容的语义显著性信息。语义显著性信息可以由VR内容生成者作为附加信息一起提供给使用者，头戴显示设备也可以使用物体识别技术来对多媒体信息中的物体进行识别，然后赋予其语义信息，例如预计算一个显著性视频，该显著性视频的每一帧图像的像素值定义了对应的视频中的相应帧中的该像素的显著性度量，也即该显著性视频的每一帧图像的像素值与对应的视频中相应帧图像的像素的显著性具有对应关系。

对于图像显著性信息，通过识别出的多媒体信息中显示内容的图像局部区域特征的统计特征，确定多媒体信息中显示内容的显著性信息。图像显著性信息可以由对图像局部区域特征的统计特征计算得到，头戴显示设备将较为突出的统计特征赋予较高的显著性，其中，这些统计特征包括以下项目中的至少一项：颜色分布、对比度和纹理等。

对于动态显著性，通过识别出的多媒体信息中多个图像帧中预定对象的状态信息，确定多媒体信息中显示内容的动态显著性信息。头戴显示设备对物体，即预定对象进行探测并追踪，从而来计算物体的动态显著性。运动的物体具有较高的动态显著性，而静止的物体动态显著性则比较低，因此头戴显示设备根据对预定对象的探测和追踪结果来确定该预定对象是运动还是静止的，如果预定对象是运动的，则确定该预定对象具有较高的动态显著性，如果该预定对象是静止的，则确定该预定对象具有较低的动态显著性。最后，头戴显示设备计算一个视线转移视频，该视频的每一帧图像的像素值定义了对应的视频中相应帧的该像素的用户视线最有可能的转移方向和幅度。

对于统计显著性信息，即在人眼的视线方向上确定针对标准对象的统计数据，并基于统计数据确定多媒体信息中显示内容的统计显著性信息。其中，统计数据包括以下至少一项：人眼在标准对象上停留超过预定停留时间的发生频率、人眼在屏幕上的观察点与标准对象之间的距离在预定间距内的发生频率、人眼在不同标准对象之间切换的发生频率。统计显著性信息是预先根据不同用户的观看特点统计获得的，需要通过对在用户的视线方向上不同用户观察某些物体的习惯进行统计计算得到，即：对于包含某些特定标准对象的识别场景VR视频，可以通过记录一定数量的用户在观看VR内容时的实际体验过程，统计观察数据，得到针对不同标准对象的显著性。统计的用户数量和标准对象种类越多，该统计显著性信息越准确。

根据上文的说明可以得知，显著性信息至少包括语义显著性信息、图像显著性信息、动态显著性信息及统计显著性信息中的一项，并且其重要性等级由高到低排列，因此当显示内容的重要性等级较高时，对显示内容的分辨率调整到较高，如当显示内容具有语义显著性时，使其分辨率最高，当显示内容为统计显著性时，使其分辨率可以调整到较低水平，而如果显示内容不具有显著性时，则可以降低其原本被赋予的较高的分辨率。当然，如果多媒体信息中显示内容本身被赋予较为合适的分辨率，则不必再重新调整其分辨率至更高的值，以避免增加设备的计算量。

作为一个优选的方案，根据显著性信息，来调整多媒体信息中各个显示内容相对应的分辨率，还包括：根据显著性信息，确定所述多媒体信息中各个显示内容的重要等级；基于各个显示内容的重要等级，调整所述多媒体信息中与各个显示内容相对应的分辨率。如图3所示，确定多媒体信息中各个显示内容的重要等级时，还可以根据使用者人眼的视线方向和/或人眼的使用状态，使用者的眼睛正在观察的显示内容即是多媒体信息中较为重要的显示内容，而其他显示内容的重要性则随着与该正在被观察的显示内容的距离增加而降低。另外，由于人眼运动的速度比较快，并且硬件和算法也有一定程度的延迟，所以在人眼运动时，追踪到的人眼方向可能已经是一定时间间隔之前的方向，仅高质量地绘制这种视线方向下人眼观察的显示内容可能不够，因此就需要利用显著性信息，对那些重要的，使用者当下更有可能观测到的显示内容进行预测，并进行高质量的绘制，以保证良好的显示效果。当人眼运动时，即视线运动时，头戴显示设备首先根据其运动方向和速度预测视线能够达到的一个较大显示内容范围，然后在此显示内容范围中，结合显著性信息计算重要性等级，显著性越高，重要等级就越高。而当人眼静止时，头戴显示设备直接计算多媒体信息中各个显示内容的重要等级，此时多媒体信息中不同显示内容的重要性和两方面相关：其一，距离人眼视线越近(即距离人眼在显示内容上的观察点越近)，重要等级越高；其二，显著性越高，重要等级就越高。

获取到屏幕上各区域的重要等级之后，根据该重要等级类别，调整多媒体信息中与各个显示内容相对应的分辨率，该步骤具体包括：

当检测到满足预定分辨率调整条件时，基于各个显示内容的重要等级，调整多媒体信息中与各个显示内容相对应的分辨率。其中，预定分辨率调整条件包括以下至少一项：

1、绘制速度达不到刷新率的要求。头戴显示设备检测多媒体信息的绘制速度和刷新速率，根据刷新速率确定刷新速度，当多媒体信息的绘制速度小于预定屏幕的刷新速度，更具体的是当多媒体信息的绘制速度小于预定屏幕的刷新速度，并且绘制速度与预定屏幕刷新速度的差值小于预设阈值时，头戴显示设备根据显示内容的显著性信息调整多媒体信息中与各个显示内容相对应的分辨率。

2、使用者的眼球移动速度数据高于预定眼球移动速度。头戴显示设备通过摄像头检测使用者眼球移动的速度，当使用者的眼球移动的速度高于预定眼球移动速度时，头戴显示设备根据显示内容的显著性信息调整多媒体信息中与各个显示内容相对应的分辨率。

3、使用者的头部转动速度数据高于预定头部转动速度。头戴显示设备通过IMU(惯性测量单元)检测使用者的头部转动速度，当头部转动速度高于预定值时，设备根据显示内容的显著性信息调整多媒体信息中与各个显示内容相对应的分辨率。

4、解压缩多媒体信息中每一帧图像的解压缩时间超过预定时间阈值。例如头戴显示设备检测VR视频中每一帧图像的解压缩时间，当该解压缩时间超过预定时间阈值时，设备根据显示内容的显著性信息调整视频分辨率。

5、设备电量低于预定电量阈值。设备在使用过程中可能存在电池电量不足的情形，为了节省电力，保证续航，设备首先检测剩余电量，当电量低于预定阈值时，设备根据显示内容的显著性信息调整多媒体信息中与各个显示内容相对应的分辨率。

6、预测确定在预定时间范围内针对多媒体信息中各个图像帧的计算量超过预设计算量阈值。在头戴显示设备工作过程中，在某一时刻的可预知的将来某图像帧存在大量的计算，在该图像帧上节省计算以对之后的帧进行预计算，设备预测之后一定时间范围内各个帧的解压缩时间，如果时间高于预定阈值，设备根据显示内容的显著性信息调整多媒体信息中与各个显示内容相对应的分辨率，以降低计算量。

作为一个优选的方案，在步骤S300中，还包括根据预定的视觉模式判定依据，确定多媒体信息中各个显示内容相对应的视觉模式，即根据调整后的多媒体信息中各个显示内容相对应的分辨率，通过确定出的视觉模式显示多媒体信息。预定的视觉模式判定依据包括以下至少一项：多媒体信息中各个显示内容的重要等级；多媒体信息中各个显示内容中物体的深度值；头戴显示设备的设备电量。视觉模式包括立体视觉模式、单目视觉模式及混合视觉模式。如果显示内容的重要等级很高，就使用立体视觉模式进行显示，如果显示内容中物体的深度值较大，可对显示该物体的显示内容采用立体视觉模式进行显示，而如果头戴显示设备的设备电量不足，为了维持内容显示，可以采用根据电量确定视觉模式的方式，例如电量剩余10％时采用单目视觉模式进行显示。如图4所示，VR显示可以给人提供立体视觉图像，在立体视觉中，头戴显示器的左右眼分别显示不同的图像，以得到立体的效果，而在单目视觉模式下，VR显示器的左右眼图像是相同的，这就相当于其显示分辨率降低了一半，能够节省部分计算。除了立体视觉和单目视觉之外，如图4所示，头戴显示设备还将单目视觉模式和立体视觉模式进行混合得到混合模式，即仅在显示屏幕上重要级别较高的区域显示立体视觉图像，而在其他区域显示单目视觉图像。

更具体地说，其中多媒体信息包括第一类多媒体信息及第二类多媒体信息，当左眼和右眼分别对应显示第一类多媒体信息和第二类多媒体信息时，视觉显示模式为立体视觉模式，使用者看到的是立体图像，但是在第一类多媒体信息或第二类多媒体信息中也可能存在采用多种分辨率显示的情况，调整后的与屏幕上各个区域相对应的分辨率，通过确定的视觉模式显示所述多媒体信息的步骤包括：

如图4所示，以单目视觉模式显示时，根据调整后的多媒体信息中各个显示内容相对应的分辨率，在头戴显示设备的左眼显示区域和右眼显示区域上同时显示多媒体信息，即使多媒体信息中包含第一类多媒体信息和第二类多媒体信息，也仍然使左眼或右眼都显示第一类多媒体信息或都显示第二类多媒体信息，当VR显示器左右眼都显示同一类多媒体信息时，为单目视觉模式。或者以立体视觉模式显示时，根据调整后的多媒体信息中各个显示内容相对应的分辨率，将第一类多媒体信息(如左眼图像)及第二类多媒体信息(如右眼图像)在头戴显示器的左眼显示屏和右眼显示屏上分别显示。或者以混合视觉模式显示时，根据调整后的多媒体信息中各个显示内容相对应的分辨率，将第一类多媒体信息(左眼图像)在头戴显示器的左眼显示屏的部分区域上显示，将第二类多媒体信息(右眼图像)在头戴显示器的左眼显示屏的剩余部分区域上显示，同时将第二类多媒体信息(右眼图像)在头戴显示器的右眼显示屏上显示。

作为一个优选的方案，如图5所示，当调整分辨率后的相邻两个显示内容之间的分辨率不同时，相邻两个显示内容之间设置分辨率过渡区域，定义其为第一过渡区域，该第一过渡区域包括以预定趋势排列划分的多个分辨率值，比如某一屏幕显示区域上以分辨率500ppi(ppi即pixels per inch，也叫像素密度，所表示的是每英寸所拥有的像素数量，因此ppi数值越高，即代表显示屏能够以越高的密度显示图像)显示画面，在该显示区域相邻的显示区域上以分辨率300ppi显示画面，为了使视频画面更加流畅平顺，而不显得突兀分层，在上述两个相邻区域之间设置具有一定宽度的分辨率过渡区域，在该过渡区域中以50ppi作为分辨率差值从500ppi逐渐过渡到300ppi，即以450ppi直接与500ppi的区域相邻，再以400ppi的区域与450ppi的区域相邻，最后以350ppi的区域与400ppi的区域相邻，如此过渡到300ppi的区域。预设趋势当然还可以选择其他数值，比如20ppi、100ppi等，也不一定按照均匀规律的分辨率差值进行调整，比如上述从500ppi过渡到300ppi的过程中，可以将50ppi、20ppi或者30ppi这些分辨率差值结合起来使用。具体的分辨率过渡显示效果参见图6中的图片示例。

作为一个优选的方案，当调整分辨率后相邻两个显示内容之间的视觉模式不同时，任意两个不同视觉模式显示内容之间也设置分辨率过渡区域，定义此种情况的分辨率过渡区域为第二过渡区域，第二过渡区域包括以预设趋势排列的多个分辨率值，其中，显示调整分辨率后的多媒体信息的步骤，包括：在第二过渡区域中以按照预设趋势排列的多个分辨率值显示相应的多媒体信息。具体方法参照采用不同分辨率进行显示的情形，在此不再赘述。

在对重要显示内容进行高分辨率显示，或者在混合视觉模式中对重要显示内容进行立体视觉显示时，头戴显示设备使用过渡区域的设置使得图像分辨率平滑地从高分辨率过度到低分辨率，或者从立体视觉平滑地过渡到单目视觉，能够有效避免视觉上的不连续性。更加具体的过渡方式可以根据实际情况使用线性或者非线性方法来控制分辨率以及内容的变化，如图3所示，也即预定分辨率值不一定依据特定值，可以采用更加符合视觉规律的非线性关系确定。既然引入了过渡区域的概念，那么过渡区域必然有其一定的宽度，宽度越大，自然视频显示更加平顺，但是过大则增加计算量，实际也无必要，所以过渡区域的宽度至少根据下面几种情况确定：首先是图像内容，过渡区域和重要显示内容的区域中有同一物体时，可以适当提高其宽度，例如过渡区域和重要显示内容的区域中恰好有人的面部图像，需要以较高分辨率显示，为了将面部图像全部显示，此时就需要根据面部图像的大小设定过渡区域的宽度；其次是当前计算负担，计算负担越大，过渡区域宽度就应该越窄以节省计算量；最后，涉及云计算的时候还需要考虑带宽，带宽越窄，过渡区域也应该相应减小，否则会造成因数据量大而传输迟滞。

作为一个优选的方案，当采用不同视觉模式进行显示时，若在单目视觉模式、立体视觉模式和混合视觉模式中两两切换时，如果不采用特殊处理，则会造成视频图像的不连续变化的现象，让使用者感觉到视频卡顿或中断，为了避免这一情况，可采取下面的措施中的至少一种：

其一，如图7所示，在前一视觉模式(图中的视觉模式1)结束前的第一预定显示时间内将显示区域亮度调低至预定亮度值，并在后一视觉模式(图中的视觉模式2)开始后的第二预定显示时间内恢复显示区域亮度，例如在采用立体视觉模式的最后两秒钟，逐步降低显示区域亮度到一定的亮度值，降低幅度可以根据实际需要调整，第一预定显示时间和第二预定显示时间也可根据实际需要调整，以使用者不易察觉变化为准，使得视觉模式切换等同于使用者眨一下眼睛。

其二，如图8所示，在前一视觉模式(图中的视觉模式1)结束前的第三预定显示时间内将图像模糊处理，在后一视觉模式(图中的视觉模式2)开始后的第四预定显示时间内恢复图像至正常显示，这一方式可以使用高斯模糊实现，使视觉模式切换模拟人类眼睛的失焦现象，使切换更加自然。

其三，在前一视觉模式结束前的第五预定显示时间内检测到使用者眨眼，切换至后一视觉模式，这是利用使用者眨眼时眼睛闭上的瞬间完成视觉模式切换，也能避免使用者直接感受到视觉模式切换过程。

其四，在前一视觉模式结束前的第六预定显示时间内检测到使用者视线切换频率达到预设切换频率时，切换至后一视觉模式。此项措施是利用使用者有时会有视线运动较快的情形，利用视线切换的契机，完成视觉模式切换。

作为一个优选的方案，多媒体信息可以来源于计算机辅助动画，也可以来源于用VR相机实时拍摄的VR视频。对于计算机辅助动画得到的多媒体信息，基于屏幕上各个区域的重要等级，建立屏幕上相应区域的多分辨率表达。如图9所示，计算机辅助动画可以构建虚拟场景，包含有场景模型、物体模型、光照模型和相机模型等，在预处理阶段只能计算语义显著性，而图像显著性、动态显著性和统计显著性等则在分辨率控制部分进行计算。确定重要等级的显著性信息之一的语义显著性是作为多媒体信息的附加信息，由VR视频生成者提供给使用者的，VR渲染引擎读取这些信息，在渲染过程中分配计算资源，例如，在视频模型中，如存储的每个几何基元(如，3D点、三角面片)上，附加该几何基元的语义显著性信息。当视频来源于计算机辅助动画时，确定相应的视觉模式的方式还可以包括：如果场景中物体深度差异较小，可以切换为单目显示模式，也即头戴显示设备统计场景中物体的深度，如果统计得到的物体的深度差异小于预定阈值，则通过单目显示模式进行多媒体信息显示。

作为一个优选的方案，在步骤S100之前，一实施例中的头戴显示设备的分辨率调整方法还包括：根据多媒体信息的分辨率确定第一多媒体信息压缩比例，并依据第一多媒体信息压缩比例对多媒体信息进行多分辨率的压缩。第一多媒体信息压缩比例由多媒体信息的分辨率决定，多媒体信息分辨率越大，压缩的尺度就越大，最终的压缩比就越高。

作为一个优选的方案，在步骤S200之后，一实施例中提供的头戴显示设备的分辨率调整方法还包括：依据多媒体信息中各个显示内容的重要等级来确定第二多媒体信息压缩比例，并依据第二多媒体信息压缩比例对多媒体信息进行多分辨率压缩。此种情况下，在进行多媒体信息压缩的时候还要考虑显著性信息，对显著性的重要性级别较高的多媒体信息帧进行多分辨率压缩，而对重要性级别较低的多媒体信息帧使用较低尺度的并且高压缩比的压缩方式压缩。

基于计算机系统化的思想，本发明一实施例同时提供了一种分辨率调整的头戴显示设备，如图10所示，包括：

计算模块11，用于确定多媒体信息中显示内容的显著性信息。

调整模块12，用于根据所述显著性信息，来调整所述多媒体信息中各个显示内容相对应的分辨率。

显示模块13，用于显示调整分辨率后的多媒体信息。

对于分辨率调整并显示的方案，还可以采取以不同设备之间协同完成VR显示的目的，如采取在云端服务器上进行绝大部分的计算工作，而在头戴显示器上进行最终的显示工作，相应地，本发明一实施例提供了一种调整头戴显示设备分辨率的方法，如图11所示，包括下列步骤：

步骤S100’，获取头戴显示设备中待显示的多媒体信息。服务器获取需要在头戴显示设备中显示的多媒体信息，如图12所示，该视频可由VR摄像机拍摄得到，并由网络传输发送到服务器中，可通过有线传输的方式，也可采用无线传输的方式。该多媒体信息可由基于计算机图形学的计算机辅助动画得到，也可以是实时拍摄的VR视频。

步骤S200’，确定多媒体信息中显示内容的显著性信息。

步骤S300’，根据显著性信息，来调整多媒体信息中各个显示内容相对应的分辨率。

步骤S400’，将调整分辨率后的多媒体信息发送至头戴显示设备。多媒体信息得到处理后，在头戴显示设备上显示，由此避免了头戴显示设备需要具备大容量存储单元和高性能计算单元的硬件负担，降低头戴显示设备的实现成本。

相应地，本发明一实施例提供了一种调整头戴显示设备分辨率的服务器，如图13所示，包括：

获取模块21，用于获取头戴显示设备中待显示的多媒体信息。

确定模块22，用于确定多媒体信息中显示内容的显著性信息。

调整模块23，用于根据显著性信息，来调整多媒体信息中各个显示内容相对应的分辨率。

发送模块24，用于将调整分辨率后的多媒体信息发送至头戴显示设备。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (21)

1.一种头戴显示设备的分辨率调整方法，其特征在于，包括：

确定多媒体信息中显示内容的显著性信息；

根据所述显著性信息，调整所述多媒体信息中与各个显示内容相对应的分辨率；

显示调整分辨率后的多媒体信息。

2.根据权利要求1所述的分辨率调整方法，其特征在于，根据所述显著性信息，来调整所述多媒体信息中各个显示内容相对应的分辨率，包括：

根据各个显示内容的显著性信息，确定相对应的显示内容的显著性；

根据各个显示内容的显著性，成正比地调整该显示内容对应的分辨率。

3.根据权利要求1所述的分辨率调整方法，其特征在于，根据所述显著性信息，来调整所述多媒体信息中各个显示内容相对应的分辨率，包括：

根据所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级；

基于各个显示内容的重要等级，调整所述多媒体信息中与各个显示内容相对应的分辨率。

4.根据权利要求1-3任一项所述的分辨率调整方法，其特征在于，所述显著性信息包括语义显著性信息、图像显著性信息、动态显著性信息及统计显著性信息中的至少一项。

5.根据权利要求4所述的分辨率调整方法，其特征在于，所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

通过提取所述多媒体信息中的附加信息，确定多媒体信息中显示内容的语义显著性信息；或

通过物体识别技术确定多媒体信息中显示内容的语义显著性信息。

6.根据权利要求4所述的分辨率调整方法，其特征在于，所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

通过识别出的多媒体信息中显示内容的图像局部区域特征的统计特征，确定多媒体信息中显示内容的显著性信息；

其中，所述统计特征包括颜色分布、图像对比度或图像纹理中的至少一项。

7.根据权利要求4所述的分辨率调整方法，其特征在于，所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

通过识别出的多媒体信息中多个图像帧中预定对象的状态信息，确定多媒体信息中显示内容的动态显著性信息。

8.根据权利要求4所述的分辨率调整方法，其特征在于，所述确定多媒体信息中显示内容的显著性信息的步骤，包括：

在人眼的视线方向上确定针对标准对象的统计数据，并基于统计数据确定多媒体信息中显示内容的统计显著性信息；

其中，所述统计数据包括以下至少一项：

人眼在标准对象上停留超过预定停留时间的发生频率；

人眼在屏幕上的观察点与标准对象之间的距离在预定间距内的发生频率；

人眼在不同标准对象之间切换的发生频率。

9.根据权利要求3所述的分辨率调整方法，其特征在于，所述根据所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级的步骤，包括：

根据使用者人眼的视线方向和/或人眼的使用状态，并结合所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级。

10.根据权利要求3所述的分辨率调整方法，其特征在于，所述基于各个显示内容的重要等级，调整所述多媒体信息中与各个显示内容相对应的分辨率的步骤，包括：

当检测到满足预定分辨率调整条件时，基于各个显示内容的重要等级，调整所述多媒体信息中与各个显示内容相对应的分辨率；

其中，所述预定分辨率调整条件包括以下至少一项：

多媒体信息的绘制速度小于预定屏幕刷新速度，且所述绘制速度与所述预定屏幕刷新速度的差值小于预设阈值；

使用者的眼球移动速度数据高于预定眼球移动速度；

使用者的头部转动速度数据高于预定头部转动速度；

解压缩多媒体信息中每一帧图像的解压缩时间超过预定时间阈值；

设备电量低于预定电量阈值；

预测确定在预定时间范围内针对多媒体信息中各个图像帧的计算量超过预设计算量阈值。

11.根据权利要求1所述的分辨率调整方法，其特征在于，该方法还包括：

根据预定的视觉模式判定依据，确定所述多媒体信息中各个显示内容相对应的视觉模式；

其中，所述显示调整分辨率后的多媒体信息的步骤，包括：

根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，通过确定出的视觉模式显示所述多媒体信息；

其中，所述预定的视觉模式判定依据包括以下至少一项：

多媒体信息中各个显示内容的重要等级；

多媒体信息中各个显示内容中物体的深度值；

头戴显示设备的设备电量。

12.根据权利要求11所述的分辨率调整方法，其特征在于，所述视觉模式包括单目视觉模式；

其中，所述根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，通过确定出的视觉模式显示所述多媒体信息的步骤，包括：

以单目视觉模式显示时，根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，在头戴显示设备的左眼显示区域和右眼显示区域上同时显示所述多媒体信息。

13.根据权利要求11或12所述的分辨率调整方法，其特征在于，所述视觉模式还包括立体视觉模式及混合视觉模式；

其中，所述多媒体信息包括第一类多媒体信息及第二类多媒体信息，将第一类多媒体信息及第二类多媒体信息结合显示以实现立体视觉；

其中，所述根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，通过确定出的视觉模式显示所述多媒体信息的步骤，包括：

以立体视觉模式显示时，根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，将所述第一类多媒体信息及所述第二类多媒体信息在头戴显示器的左眼显示区域和右眼显示区域上分别显示；或

以混合视觉模式显示时，根据调整后的所述多媒体信息中各个显示内容相对应的分辨率，将所述第一类多媒体信息在头戴显示器的左眼显示区域的部分区域上显示，将所述第二类多媒体信息在头戴显示器的左眼显示区域的剩余部分区域上显示，同时将所述第二类多媒体信息在头戴显示器的右眼显示区域上显示。

14.根据权利要求1所述的分辨率调整方法，其特征在于，当调整分辨率后的相邻两个显示内容之间的分辨率不同时，所述相邻两个显示内容之间包括第一过渡区域；第一过渡区域包括按照预设趋势排列的多个分辨率值；

其中，所述显示调整分辨率后的多媒体信息的步骤，包括：

在所述第一过渡区域中以按照预设趋势排列的多个分辨率值显示相应的多媒体信息。

15.根据权利要求11所述的分辨率调整方法，其特征在于，当调整分辨率后相邻两个显示内容之间的视觉模式不同时，所述相邻两个显示内容之间包括第二过渡区域；第二过渡区域包括按照预设趋势排列的多个分辨率值；

其中，所述显示调整分辨率后的多媒体信息的步骤，包括：

在所述第二过渡区域中以按照预设趋势排列的多个分辨率值显示相应的多媒体信息。

16.根据权利要求11-13任一项所述的分辨率调整方法，其特征在于，当从前一视觉模式切换到后一视觉模式时，还包括以下至少一种情形：

在前一视觉模式结束前的第一预定显示时间内将显示区域亮度调低至预定亮度值，并在后一视觉模式开始后的第二预定显示时间内恢复显示区域亮度；

在前一视觉模式结束前的第三预定显示时间内将图像模糊处理，在后一视觉模式开始后的第四预定显示时间内恢复图像至正常显示；

在前一视觉模式结束前的第五预定显示时间内检测到使用者眨眼，切换至后一视觉模式；

在前一视觉模式结束前的第六预定显示时间内检测到使用者视线切换频率达到预设切换频率时，切换至后一视觉模式。

17.根据权利要求1所述的分辨率调整方法，其特征在于，所述确定多媒体信息中显示内容的显著性信息的步骤之前，该方法还包括：

根据所述多媒体信息的分辨率确定第一多媒体信息压缩比例，并依据所述第一多媒体信息压缩比例对所述多媒体信息进行多分辨率压缩。

18.根据权利要求3所述的分辨率调整方法，其特征在于，所述根据所述显著性信息，确定所述多媒体信息中各个显示内容的重要等级的步骤之后，该方法还包括：

依据所述多媒体信息中各个显示内容的重要等级来确定第二多媒体信息压缩比例，并依据所述第二多媒体信息压缩比例对所述多媒体信息进行多分辨率压缩。

19.一种调整头戴显示设备分辨率的方法，其特征在于，包括下列步骤：

获取头戴显示设备中待显示的多媒体信息；

确定多媒体信息中显示内容的显著性信息；

根据所述显著性信息，调整所述多媒体信息中各个显示内容相对应的分辨率；

将调整分辨率后的多媒体信息发送至所述头戴显示设备。

20.一种分辨率调整的头戴显示设备，其特征在于，包括：

计算模块，用于确定多媒体信息中显示内容的显著性信息；

调整模块，用于根据所述显著性信息，调整所述多媒体信息中各个显示内容相对应的分辨率；

显示模块，用于显示调整分辨率后的多媒体信息。

21.一种调整头戴显示设备分辨率的设备，其特征在于，包括：

获取模块，用于获取头戴显示设备中待显示的多媒体信息；

确定模块，用于确定多媒体信息中显示内容的显著性信息；

调整模块，用于根据所述显著性信息，调整所述多媒体信息中各个显示内容相对应的分辨率；

发送模块，用于将调整分辨率后的多媒体信息发送至所述头戴显示设备。