CN111290581B - 虚拟现实显示方法、显示装置及计算机可读介质 - Google Patents

Abstract

本公开提供了一种虚拟现实显示方法、显示装置及计算机可读介质。虚拟现实显示方法包括获取待显示场景的图像投影区域；基于注视点的位置，在图像投影区域内确定注视点区域；利用第一分辨率对图像投影区域进行采样，并将采样后的区域渲染为第一图像；在第一图像中标记关于注视点区域在图像投影区域中的位置的信息，以获得第二图像；利用第二分辨率对注视点区域进行采样，并将采样后的区域渲染为第三图像；以及基于第二图像和第三图像获取左眼画面和右眼画面，以利用左眼画面和右眼画面进行虚拟现实显示。

Description

虚拟现实显示方法、显示装置及计算机可读介质

技术领域

本公开涉及显示技术领域，更具体地，涉及一种虚拟现实显示方法、虚拟现实显示装置及计算机可读介质。

背景技术

虚拟现实、增强现实和混合现实等显示装置利用双屏幕进行显示，因此要求装置的刷新频率在90Hz以上，并且需要每帧传输分别用于左眼显示画面和右眼显示画面的双眼图像。随着显示技术的发展和应用领域的不断扩大，对显示分辨率的要求越来越高，需要处理和传输的数据量也越来越大，但硬件性能和设备成本等因素限制了处理速度和传输带宽的进一步提升。

发明内容

本公开提供了一种虚拟现实显示方法、虚拟现实显示装置及计算机可读介质，以至少部分地解决上述问题。

根据本公开的第一方面，提供了一种虚拟现实显示方法，包括：获取待显示场景的图像投影区域；基于注视点的位置，在所述图像投影区域内确定注视点区域；利用第一分辨率对所述图像投影区域进行采样，并将采样后的区域渲染为第一图像；在所述第一图像中标记关于所述注视点区域在所述图像投影区域中的位置的信息，以获得第二图像；利用第二分辨率对所述注视点区域进行采样，并将采样后的区域渲染为第三图像；以及基于所述第二图像和所述第三图像获取左眼画面和右眼画面，以利用所述左眼画面和所述右眼画面进行虚拟现实显示。

在一些实施例中，所述第一分辨率小于所述第二分辨率，所述第二分辨率小于或等于所述图像投影区域的分辨率。

在一些实施例中，基于注视点的位置，在所述图像投影区域内确定注视点区域，包括：将图像投影区域中的矩形区域确定为所述注视点区域，所述矩形区域以所述注视点为中心并且具有设定尺寸；并且其中如果所述矩形区域超出所述图像投影区域的范围，则移动所述矩形区域以使所述矩形区域的至少一个边与所述图像投影区域的边界重合，并且将移动后的矩形区域确定为所述注视点区域。

在一些实施例中，在所述第一图像中标记关于所述注视点区域在所述图像投影区域中的位置的信息，包括：根据所述注视点区域在所述图像投影区域中的位置确定所述第一图像中所述注视点区域的对应区域的位置；基于所述注视点区域的四个顶点在所述图像投影区域中的坐标值设置所述对应区域的四个顶点的RGB值；以及将所述对应区域内其余点的RGB值设置为000。

在一些实施例中，基于所述第二图像和所述第三图像获取左眼画面和右眼画面，包括：基于所述第二图像和所述第三图像获取具有多分辨率的第四图像；将所述第四图像划分为左眼区域、右眼区域和双眼区域；以及基于所述左眼区域和所述双眼区域获取所述左眼画面，基于所述右眼区域和所述双眼区域获取所述右眼画面。

在一些实施例中，基于所述第二图像和所述第三图像获取第四图像，包括：基于所述第二图像获取仅具有第一分辨率的第四图像，所获取的图像的尺寸与所述图像投影区域的尺寸相同；基于所述第二图像中所标记的关于所述注视点区域的信息在所获取的图像中确定所述注视点区域；以及基于所述第三图像确定所述注视点区域内各点的RGB值，以使所述注视点区域具有第二分辨率，从而获取具有多分辨率的第四图像。

根据本公开的第二方面，提供了一种虚拟现实显示装置，包括：第一获取单元，配置为获取待显示场景的图像投影区域；确定单元，配置为基于注视点的位置，在所述图像投影区域内确定注视点区域；第一渲染单元，配置为利用第一分辨率对所述图像投影区域进行采样，并将采样后的区域渲染为第一图像；标记单元，配置为在所述第一图像中标记关于所述注视点区域在所述图像投影区域中的位置的信息，以获得第二图像；第二渲染单元，配置为利用第二分辨率对所述注视点区域进行采样，并将采样后的区域渲染为第三图像；以及第二获取单元，配置为基于所述第二图像和所述第三图像获取左眼画面和右眼画面，以利用所述左眼画面和所述右眼画面进行虚拟现实显示。

根据本公开的第三方面，提供了一种虚拟现实显示装置，包括：存储器，存储有计算机可读指令；以及至少一个处理器，配置为当执行所述计算机可读指令时，执行如下操作：获取待显示场景的图像投影区域；基于注视点的位置，在所述图像投影区域内确定注视点区域；利用第一分辨率对所述图像投影区域进行采样，并将采样后的区域渲染为第一图像；在所述第一图像中标记关于所述注视点区域在所述图像投影区域中的位置的信息，以获得第二图像；利用第二分辨率对所述注视点区域进行采样，并将采样后的区域渲染为第三图像。

在一些实施例中，还包括：通信单元，配置为将所述第二图像和所述第三图像发送给显示单元；以及显示单元，配置为接收所述第二图像和所述第三图像，基于所述第二图像和所述第三图像获取左眼画面和右眼画面，并利用所述左眼画面和所述右眼画面进行虚拟现实显示。

根据本公开的第四方面，提供了一种计算机可读介质，存储有计算机可读指令，当执行所述计算机可读指令时，执行如上述实施例所述的方法。

根据本公开实施例的技术方案，通过在渲染图像之前，在图像投影区域中确定注视点区域，并分别采用不同的分辨率对注视点区域和注视点区域以外的其他区域进行渲染，可以在不降低显示效果的同时有效地减少需要处理和传输的数据量。在渲染的过程中，通过对图像投影区域进行整体的渲染，从而避免了在渲染过程中对区域进行分区的操作，可以提高渲染的效率。在数据传输过程中，通过将关于注视点区域的信息标记在所传输的图像中，可以在有限数据传输带宽的情况下提高传输带宽的利用率，解决了现有硬件设备中带宽不足的问题。

附图说明

通过下面结合附图说明本公开实施例，将使本公开实施例的上述及其它目的、特征和优点更加清楚。应注意，贯穿附图，相同的元素由相同或相近的附图标记来表示。在附图中：

图1示意性地示出了根据本公开实施例的虚拟现实显示方法的流程图；

图2示意性地示出了根据本公开实施例的图像采集设备的布置；

图3A和图3B示意性地示出了根据本公开实施例的注视点区域的确定方法；

图4A至图4D示意性地示出了根据本公开实施例的虚拟现实显示方法的示例处理过程；以及

图5和图6分别示意性地示出了根据本公开实施例的虚拟现实显示装置的框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部。基于所描述的本公开实施例，本领域普通技术人员在无需创造性劳动的前提下获得的所有其他实施例都属于本公开保护的范围。在以下描述中，一些具体实施例仅用于描述目的，而不应该理解为对本公开有任何限制，而只是本公开实施例的示例。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。应注意，图中各部件的形状和尺寸不反映真实尺寸和比例，而仅示意本公开实施例的内容。

除非另外定义，本公开实施例使用的技术术语或科学术语应当是本领域技术人员所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似词语并不表示任何顺序、数量或重要性，而只是用于区分不同的组成部分。

此外，在本公开实施例的描述中，术语“连接至”或“相连”可以是指两个组件直接连接，也可以是指两个组件之间经由一个或多个其他组件相连。此外，这两个组件可以通过有线或无线方式相连或相耦合。

为了解决虚拟现实显示装置的性能提升瓶颈，提出了一种注视点渲染技术。注视点渲染允许借助于对使用者的感知知识(例如使用者的观察姿态、使用者人眼的观察区域等)来节省大量的计算工作。

根据本公开实施例，提出了一种显示设备的驱动方法。本领域技术人员可以理解，以下方法中各个步骤的序号仅作为该步骤的表示以便描述，而不应被看作表示该各个步骤的执行顺序。除非明确指出，否则该方法的步骤不需要完全按照所示顺序来执行，或者某些步骤可以同时执行。举例而言，步骤S120可以与步骤S130并行执行；或者在执行了步骤S120之后，步骤S130和步骤S150可以并行执行；或者在执行了步骤S120和步骤S130之后，步骤S140和步骤S150可以并行执行。

图1示意性地示出了根据本公开实施例的虚拟现实显示方法100的流程图，如图1所示，方法100包括以下步骤：

在步骤S110中，获取待显示场景的图像投影区域。

在步骤S120中，基于注视点的位置，在图像投影区域内确定注视点区域。

在步骤S130中，利用第一分辨率对图像投影区域进行采样，并将采样后的区域渲染为第一图像。

在步骤S140中，在第一图像中标记关于注视点区域在图像投影区域中的位置的信息，以获得第二图像。

在步骤S150中，利用第二分辨率对注视点区域进行采样，并将采样后的区域渲染为第三图像。

在步骤S160中，基于第二图像和第三图像获取左眼画面和右眼画面，以利用左眼画面和右眼画面进行虚拟现实显示。

下面将结合本公开的实施例对每个步骤进行详细描述。

在步骤S110中，获取待显示场景的图像投影区域可以包括利用在适当位置处布置的图像采集设备获取待显示的三维场景的图像投影区域，该图像投影区域的范围用于限定待渲染(或待显示)的图像的尺寸或分辨率。注意，在本公开的实施例中，在不引起理解错误的情况下，关于图像的尺寸和图像的分辨率的表述可以互换使用。根据实施例，图像投影区域的尺寸或分辨率可以由图像采集设备的外参决定。在一个示例中，图像投影区域的尺寸或分辨率等于图像采集设备的投影矩阵的尺寸或分辨率。

图2示意性地示出了根据本公开实施例的图像采集设备的布置。由于左右眼之间的瞳距一般为64mm，因此左眼和右眼实际观察到的区域会存在细微的差别。在常规虚拟现实渲染过程中，一般设置两个图像采集设备获取左眼和右眼的两张图。在图2中示出了这种布置，在左眼位置EL处放置左眼图像采集设备，在右眼位置ER处放置右眼图像采集设备，可以分别获取左眼图像和右眼图像。

但由于瞳距相对于图像采集设备到待显示场景的距离而言非常小，因此通过左眼观察到的场景区域和通过右眼观察到的场景区域大部分是重合的。如图2所示，虚线框21表示通过左眼观察到的场景区域，点划线框22表示通过右眼观察到的场景区域，虚线框21和点划线框22重合的部分为左右眼可以同时观察到的场景区域，例如图2中的阴影区域20。在本公开的实施例中，通过在左眼左侧边缘和右眼右侧边缘延长线的交点处，例如图2中表示“双眼”位置的“EO”处，放置一个图像采集设备来对场景进行取图，由此而获得双眼可视的整个场景区域。如图2所示，双眼可视的整个场景区域包括由虚线框21和点划框22共同构成的场景区域。双眼可视的整个场景区域可以划分为仅左眼可视部分、仅右眼可视部分以及左右眼均可视的部分。

接下来，根据实施例，在步骤S120中，基于注视点的位置，在图像投影区域内确定注视点区域可以包括，将图像投影区域中以注视点为中心并且具有设定尺寸的矩形区域确定为注视点区域。因此，注视点区域是具有固定尺寸的矩形区域。根据实施例，可以根据人眼的视野范围、显示屏的尺寸、像距、物距等参数预先设置注视点区域的尺寸，本公开对此不进行限制。

图3A和图3B示意性地示出了根据本公开实施例的注视点区域的确定方法。如图3A所示，框30表示所获取的图像投影区域，即待渲染的图像。框31表示用于限定注视点区域的范围的矩形区域。矩形区域31具有预先设定的尺寸。矩形区域31所包围的图像投影区域30的部分即为所确定的注视点区域。(x,y)表示人眼注视点的坐标。注视点坐标(x,y)是利用眼球跟踪算法所确定的人眼注视点的观察范围的中心坐标值。本领域技术人员可以理解，可以使用各种眼球跟踪算法来确定人眼注视点的位置，本公开对此不进行限制。

根据实施例，注视点区域围绕注视点坐标(x,y)进行定位。如图3A所示，以注视点坐标(x,y)作为矩形区域31的中心来定位矩形区域31。基于注视点坐标(x,y)值的不同，可以不同地定位矩形区域31。如图3A所示，矩形区域31可以位于虚线框32或32′所示出的位置处。根据实施例，注视点坐标(x,y)可以在图像投影区域30的范围内任意移动。若图像投影区域30的尺寸为4320*2160，则x的取值范围是0～4320，y的取值范围是0～2160。

当注视点坐标(x,y)移动到图像投影区域30的边界处时，以注视点坐标(x,y)为中心来定位矩形区域31有可能在矩形区域31内包含图像投影区域30以外的其他部分。根据本公开的实施例，如果矩形区域31超出图像投影区域30的范围，则移动矩形区域31以使矩形区域31的至少一个边与图像投影区域30的边界重合，并且将移动后的矩形区域31所包围的图像投影区域30确定为注视点区域。

如图3B所示，注视点坐标(x,y)靠近图像投影区域30的左上角，以注视点坐标(x,y)为中心定位的矩形区域31的一部分位于图像投影区域30之外。在这种情况下，可以移动矩形区域31以使矩形区域31朝向图像投影区域30的内部移动。在图3B中，以箭头33示出了矩形区域31的移动方向。移动矩形区域31直到矩形区域31进入图像投影区域30的内部，以使矩形区域31的至少一个边与图像投影区域30的边界重合。在图3B所示的示例中，矩形区域31的上面和左侧的两个边分别与图像投影区域30的上面和左侧的边界重合，矩形区域31所包围的部分完全位于图像投影区域30的内部，将矩形区域31所包围的图像投影区域30的部分确定为注视点区域。

接下来，在步骤S130中，利用第一分辨率对图像投影区域进行采样。根据实施例，所采用的第一分辨率可以小于图像投影区域的分辨率。由此，通过以第一分辨率对图像投影区域进行采样可以获得分辨率和尺寸都相对于图像投影区域减小的区域。这样，可以减少在通过渲染来将采样后的区域渲染为第一图像时所需要处理的数据量。容易理解，可以任何常规的渲染方法进行渲染以获得第一图像。在本公开的实施例中，由于首先通过采样对图像投影区域进行压缩之后再进行渲染，因此可以减少需要渲染的总的数据量，从而降低渲染对硬件设备的消耗。

接下来，根据实施例，在步骤S140中，在所获得的第一图像中标记关于注视点区域在图像投影区域中的位置的信息可以包括根据注视点区域在图像投影区域中的位置确定第一图像中注视点区域的对应区域的位置，基于注视点区域的四个顶点在图像投影区域中的坐标值设置对应区域的四个顶点的RGB值，以及将对应区域内其余点的RGB值设置为000。由于之后将以较高的另一分辨率对注视点区域进行采样和渲染，因此以较低的第一分辨率采样和渲染的注视点区域内各像素点处所包含的数据信息将被重新设置，因此可以利用这部分数据记录一些其他信息，例如注视点区域在图像投影区域中的相关信息，包括例如注视点区域的顶点在图像投影区域中的坐标、注视点区域的范围等。

第一图像中注视点区域的对应区域是指包括在压缩后的第一图像中、具有第一分辨率的区域。容易理解，该对应区域与注视点区域相比，具有减小的尺寸和分辨率，该对应区域与第一图像之间的相对位置关系与注视点区域与图像投影区域之间的相对位置关系相同。因此可以根据注视点区域与图像投影区域之间的相对位置关系，确定并标记对应区域与第一图像之间的相对位置关系。根据实施例，基于注视点区域的四个顶点在图像投影区域中的坐标值来设置对应区域的四个顶点的RGB值，是指将注视点区域的四个顶点的坐标值记录在对应区域的四个顶点的RGB值中。可以采用任何合适的方法记录注视点区域的四个顶点的坐标值。根据实施例，可以利用由四个顶点的坐标值构成的(x_i,y_i,0)来替换对应区域的四个顶点的RGB值，其中x_i表示顶点的横坐标，y_i表示顶点的纵坐标，0是用来占位的值，i＝1…4，但本公开不限于此。根据实施例，还可以将对应区域内部除四个顶点以外的其余点设置为黑色，一方面通过利用0进行占位，保持了图像的完整性，以便可以基于统一的方法(算法)来对图像进行处理。另一方面，将未记录有效信息的数据设置为0，可以简化数据传输，从而有利于节约带宽。

接下来，在利用第二分辨率对注视点区域进行采样的步骤S150中，可以采用大于第一分辨率的第二分辨率，由此可以获得分辨率高于第一图像的注视点区域，以便可以以高分辨率对注视点区域进行显示。这样，在不降低显示效果的同时节省了硬件设备的开销，有利于提升设备的整体显示性能。根据实施例，第二分辨率可以等于图像投影区域的分辨率，也可以小于图像投影区域的分辨率，可以通过衡量硬件设备的处理能力和虚拟现实显示的要求来设定。将采样后的区域渲染为第三图像的步骤可以如前所述地进行。本领域技术人员可以理解，可以以任何渲染方法渲染并获得第三图像，本公开对此不进行限制。

接下来，在步骤S160中，基于第二图像和第三图像获取左眼画面和右眼画面可以包括基于第二图像和第三图像获取具有多分辨率的第四图像，将第四图像划分为左眼区域、右眼区域和双眼区域，以及基于左眼区域和双眼区域获取左眼画面，基于右眼区域和双眼区域获取右眼画面。

首先，根据实施例，基于第二图像获取仅具有第一分辨率的第四图像。由于第二图像是通过对第一图像进行标记而得到的，第一图像是通过以第一分辨率对图像投影区域进行渲染而得到的，因此通过基于第二图像进行恢复，可以得到包含待显示场景的全部画面信息的图像，该图像具有第一分辨率，并且具有与图像投影区域的尺寸相同的尺寸。

然后，根据实施例，基于第二图像中所标记的关于注视点区域的信息来在所获取的图像中确定注视点区域。确定注视点区域包括确定注视点区域的位置和范围。根据实施例，可以根据第二图像中对应区域的四个顶点的RGB值来确定注视点区域的四个顶点在通过恢复得到的第四图像中的坐标，并根据所确定的注视点区域的四个顶点的坐标来确定注视点区域的范围，例如具有矩形形状。由此，可以在具有第一分辨率的第四图像中获得注视点区域所包含的像素点。

然后，根据实施例，基于第三图像确定注视点区域内各像素点的RGB值。在第四图像中所确定的注视点区域是具有第一分辨率的区域，第一分辨率是较低的分辨率，因此很难达到显示要求。根据实施例，基于第三图像重新配置注视点区域内各像素点的RGB值，由此可以获得具有第二分辨率的注视点区域，从而使第四图像具有多分辨率，即注视点区域相对于注视点区域以外的其他区域具有更高的分辨率，因此能够呈现较好的显示效果。

最后，可以根据预先存储的左眼区域、右眼区域和双眼区域的划分规则来对得到的具有多分辨率的第四图像进行划分，从而得到左眼画面和右眼画面，并利用左眼画面和右眼画面进行虚拟现实显示。

在常规渲染中，对于一个场景进行全渲染，实际上大部分计算工作是浪费的，因为人眼只能注意到注视点中心的细节。由于负责观察色彩和细节的视网膜上的视锥细胞浓度不同，任何超出人眼注视区中心5°以上的东西都会逐渐降低清晰度，而根据本公开的实施例，只对注视点区域进行高分辨率(例如第二分辨率)渲染，而对注视点区域以外的其他区域仅进行低分辨率(例如第一分辨率)渲染，这样就可以节省较大的工作量，能够在不影响显示效果，不降低用户体验的情况下减少计算的工作量，有利于实现成本更低或更轻便的虚拟现实显示设备。

此外，根据本公开实施例的方法对图像进行渲染，可以不必对图像投影区域进行分区，有利于减小渲染压力，提高渲染效率。

下面结合一个具体的示例进一步解释上述虚拟现实显示方法，在该示例中，假设利用图像采集设备所获取的图像投影区域的分辨率为4320*2160，在不会引起理解错误的情况下，也使用4320*2160表示图像投影区域的尺寸。并且假设预设的注视点区域的尺寸为图像投影区域的1/4，即注视点区域的长和宽分别为图像投影区域的长和宽的1/2。同时假设第一分辨率为图像投影区域的分辨率的1/2，第二分辨率等于图像投影区域的分辨率。

图4A至图4D示意性地示出了根据本公开实施例的虚拟现实显示方法的示例处理过程。图像投影区域41的尺寸(分辨率)为4320*2160，注视点区域42的尺寸为2160*1080，并且注视点区域42位于图像投影区域41的正中央，如图4A所示。以图像投影区域41左上角的顶点作为坐标原点，以沿图像投影区域41的长且向右延伸的方向为x轴的正向，沿图像投影区域41的宽且向下延伸的方向为y轴的正向建立坐标系。可以确定注视点区域42的四个顶点坐标，分别为左上顶点(1080,540)、左下顶点(1080,1620)、右上顶点(3240,540)和右下顶点(3240,1620)。

在利用分辨率为图像投影区域41的分辨率的1/2的第一分辨率对整个图像投影区域41进行采样之后，区域的长和宽各自减小为图像投影区域41的长和宽的1/2，因此，渲染得到的第一图像43的尺寸为2160*1080，注视点区域42也被渲染为尺寸为1080*540的对应区域44，如图4B所示。通过利用第一分辨率进行采样，数据量得以减少。

在所获得的第一图像43的基础上建立坐标系，以在第一图像43中的对应区域44中标记关于注视点区域42的位置的信息。如图4C所示，以第一图像43左上角的顶点作为坐标原点，以沿第一图像43的长且向右延伸的方向为x轴的正向，沿第一图像43的宽且向下延伸的方向为y轴的正向建立坐标系。可以根据注视点区域42与图像投影区域41之间的相对位置关系确定对应区域44在第一图像43中的四个顶点坐标，分别为左上顶点(540,270)、左下顶点(540,810)、右上顶点(1620,270)和右下顶点(1620,810)。根据实施例，确定对应区域44的顶点坐标的方法不限于此。

如果注视点位于注视点区域41的中心，则可以根据注视点的坐标以及注视点区域的预定尺寸来确定四个顶点的坐标。在图4A所示的坐标系中，注视点坐标为(2160,1080)，因此，可以在图4C所示的坐标系中，对应地确定注视点坐标为(1080,540)。然后可以分别根据(x′-540,y′-270)、(x′-540,y′+270)、(x′+540,y′-270)和(x′+540,y′+270)来确定左上顶点、左下顶点、右上顶点和右下顶点的坐标，其中x′和y′为对应确定的注视点的坐标，这里x′为1080，y′为540。

然后，将四个顶点的坐标信息写入对应区域四个顶点处像素的RGB值中，即分别用由四个顶点坐标所构成的(540,270,0)、(540,810,0)、(1620,270,0)和(1620,810,0)设置对应区域四个顶点处像素的RGB值。接下来，将对应区域44内的各像素设置成黑色，即将像素的RGB值均设置为000，由此得到第二图像45。

接下来，利用与图像投影区域41的分辨率相等的第二分辨率对注视点区域42进行渲染以得到第三图像46，所得到的第三图像46的尺寸为2160*1080，如图4D所示。此步处理可以在已经在图像投影区域内确定了注视点区域之后，与其他处理步骤并行执行。

在该示例中，所获得的第二图像45和第三图像46具有相同的宽1080，因此，如图4D所示，在传输第二图像45和第三图像46时，可以将第二图像45和第三图像46拼接成4320*1080的图像进行传输，例如传输给显示部件的驱动IC，驱动IC将图像解析成左眼和右眼需要显示的图像并显示。

根据常规渲染方法，若要进行4K虚拟现实显示，则需要渲染2*4320*2160的数据量，而根据本公开，仅需要渲染4320*1080的数据量，因此显著地减低了渲染压力，在保证显示效果的同时，可以大幅度减少渲染工作和传输工作。

容易理解，可以根据实际来调整示例中的各个参数。注视点区域可以为其他尺寸，例如可以为图像投影区域的1/9、1/16等。同时，第一分辨率可以为其他值，例如可以为图像投影区域的分辨率的1/4、1/8等。第二分辨率也可以为其他值，例如可以小于图像投影区域的分辨率，例如为图像投影区域分辨率的1/2。第一分辨率和第二分辨率取相对较小的值，有利于进一步减小数据量。实际中，可以基于硬件的处理能力和显示性能的要求来确定。

图5示意性地示出了根据本公开实施例的虚拟现实显示装置500的框图。如图5所示，虚拟现实显示装置500包括：

第一获取单元501，配置为获取待显示场景的图像投影区域。

确定单元502，配置为基于注视点的位置，在图像投影区域内确定注视点区域。

第一渲染单元503，配置为利用第一分辨率对图像投影区域进行采样，并将采样后的区域渲染为第一图像。

标记单元504，配置为在第一图像中标记关于注视点区域在图像投影区域中的位置的信息，以获得第二图像。

第二渲染单元505，配置为利用第二分辨率对注视点区域进行采样，并将采样后的区域渲染为第三图像。

第二获取单元506，配置为基于第二图像和第三图像获取左眼画面和右眼画面，以利用左眼画面和右眼画面进行虚拟现实显示。

在一些实施例中，第一获取单元501可以是用于采集左右眼图像的图像采集设备，例如相机。在一些其他的实施例中，第一获取单元501也可以是从图像采集设备接收由图像采集设备生成的数据以获取待显示场景的图像投影区域的电路。

第一获取单元501、确定单元502、第一渲染单元503、标记单元504、第二渲染单元505和第二获取单元506的具体操作可以参考前述实施例中的相关记载获得，此处不再赘述。

图6示意性地示出了根据本公开实施例的虚拟现实显示装置600的框图，虚拟现实显示装置600还可以基于处理器构成，如图6所示，虚拟现实显示装置600包括存储器601和至少一个处理器602。在存储器601中存储有计算机可读指令，至少一个处理器602执行计算机可读指令，以执行获取待显示场景的图像投影区域；基于注视点的位置，在图像投影区域内确定注视点区域；利用第一分辨率对图像投影区域进行采样，并将采样后的区域渲染为第一图像；在第一图像中标记关于注视点区域在图像投影区域中的位置的信息，以获得第二图像；以及利用第二分辨率对注视点区域进行采样，并将采样后的区域渲染为第三图像的操作。

根据实施例，处理器602可以从诸如相机之类的图像采集设备接收由图像采集设备生成的数据，从而获取待显示场景的图像投影区域。

虚拟现实显示装置600还包括通信单元603和显示单元604。通信单元603将第二图像和第三图像发送给显示单元604。显示单元604接收第二图像和第三图像，基于第二图像和第三图像获取左眼画面和右眼画面，并利用左眼画面和右眼画面进行虚拟现实显示。

根据本公开实施例的虚拟现实显示装置不仅仅适用于虚拟现实领域，也适用于混合现实设备(MR)、增强现实设备(AR)等需要使用双屏显示的设备。

应当注意的是，在以上的描述中，仅以示例的方式，示出了本公开实施例的技术方案，但并不意味着本公开实施例局限于上述步骤和结构。在可能的情形下，可以根据需要对步骤和结构进行调整和取舍。因此，某些步骤和单元并非实施本公开实施例的总体发明思想所必需的元素。

至此已经结合优选实施例对本公开进行了描述。应该理解，本领域技术人员在不脱离本公开实施例的精神和范围的情况下，可以进行各种其它的改变、替换和添加。因此，本公开实施例的范围不局限于上述特定实施例，而应由所附权利要求所限定。

Claims (7)

1.一种虚拟现实显示方法，包括：

获取待显示场景的图像投影区域；

基于注视点的位置，在所述图像投影区域内确定注视点区域；

利用第一分辨率对所述图像投影区域进行采样，并将采样后的区域渲染为第一图像；

在所述第一图像中标记关于所述注视点区域在所述图像投影区域中的位置的信息，以获得第二图像，其中，根据所述注视点区域在所述图像投影区域中的位置确定所述第一图像中所述注视点区域的对应区域的位置；基于所述注视点区域的四个顶点在所述图像投影区域中的坐标值设置所述对应区域的四个顶点的RGB值；以及将所述对应区域内其余点的RGB值设置为000；

利用第二分辨率对所述注视点区域进行采样，并将采样后的区域渲染为第三图像；以及

基于所述第二图像和所述第三图像获取具有多分辨率的第四图像；将所述第四图像划分为左眼区域、右眼区域和双眼区域；以及基于所述左眼区域和所述双眼区域获取所述左眼画面，基于所述右眼区域和所述双眼区域获取所述右眼画面，以利用所述左眼画面和所述右眼画面进行虚拟现实显示。

2.根据权利要求1所述的方法，其中，所述第一分辨率小于所述第二分辨率，所述第二分辨率小于或等于所述图像投影区域的分辨率。

3.根据权利要求1所述的方法，其中，基于注视点的位置，在所述图像投影区域内确定注视点区域，包括：

将图像投影区域中的矩形区域确定为所述注视点区域，所述矩形区域以所述注视点为中心并且具有设定尺寸；并且其中

如果所述矩形区域超出所述图像投影区域的范围，则移动所述矩形区域以使所述矩形区域的至少一个边与所述图像投影区域的边界重合，并且将移动后的矩形区域确定为所述注视点区域。

4.根据权利要求1所述的方法，其中，基于所述第二图像和所述第三图像获取第四图像，包括：

基于所述第二图像获取仅具有第一分辨率的第四图像，所获取的图像的尺寸与所述图像投影区域的尺寸相同；

基于所述第二图像中所标记的关于所述注视点区域的信息在所获取的图像中确定所述注视点区域；以及

基于所述第三图像确定所述注视点区域内各点的RGB值，以使所述注视点区域具有第二分辨率，从而获取具有多分辨率的第四图像。

5.一种虚拟现实显示装置，包括：

第一获取单元，配置为获取待显示场景的图像投影区域；

确定单元，配置为基于注视点的位置，在所述图像投影区域内确定注视点区域；

第一渲染单元，配置为利用第一分辨率对所述图像投影区域进行采样，并将采样后的区域渲染为第一图像；

标记单元，配置为在所述第一图像中标记关于所述注视点区域在所述图像投影区域中的位置的信息，以获得第二图像，其中，根据所述注视点区域在所述图像投影区域中的位置确定所述第一图像中所述注视点区域的对应区域的位置；基于所述注视点区域的四个顶点在所述图像投影区域中的坐标值设置所述对应区域的四个顶点的RGB值；以及将所述对应区域内其余点的RGB值设置为000；

第二渲染单元，配置为利用第二分辨率对所述注视点区域进行采样，并将采样后的区域渲染为第三图像；以及

第二获取单元，配置为基于所述第二图像和所述第三图像获取左眼画面和右眼画面，以利用所述左眼画面和所述右眼画面进行虚拟现实显示；

通信单元，配置为将所述第二图像和所述第三图像发送给显示单元；以及

显示单元，配置为接收所述第二图像和所述第三图像，基于所述第二图像和所述第三图像获取左眼画面和右眼画面，并利用所述左眼画面和所述右眼画面进行虚拟现实显示。

6.一种虚拟现实显示装置，包括：

存储器，存储有计算机可读指令；以及

至少一个处理器，配置为当执行所述计算机可读指令时，执行如下操作：

获取待显示场景的图像投影区域；

基于注视点的位置，在所述图像投影区域内确定注视点区域；

利用第一分辨率对所述图像投影区域进行采样，并将采样后的区域渲染为第一图像；

在所述第一图像中标记关于所述注视点区域在所述图像投影区域中的位置的信息，以获得第二图像，其中，根据所述注视点区域在所述图像投影区域中的位置确定所述第一图像中所述注视点区域的对应区域的位置；基于所述注视点区域的四个顶点在所述图像投影区域中的坐标值设置所述对应区域的四个顶点的RGB值；以及将所述对应区域内其余点的RGB值设置为000；以及

利用第二分辨率对所述注视点区域进行采样，并将采样后的区域渲染为第三图像；以及

基于所述第二图像和所述第三图像获取具有多分辨率的第四图像；将所述第四图像划分为左眼区域、右眼区域和双眼区域；以及基于所述左眼区域和所述双眼区域获取所述左眼画面，基于所述右眼区域和所述双眼区域获取所述右眼画面，以利用所述左眼画面和所述右眼画面进行虚拟现实显示。

7.一种计算机可读介质，存储有计算机可读指令，当执行所述计算机可读指令时，执行如权利要求1至4之一所述的方法。