CN107958478B - 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备 - Google Patents

Abstract

本发明实施例提供了一种虚拟现实场景中物体的渲染方法和虚拟现实头戴设备，所述方法包括：获取用户双眼视线在虚拟场景中的汇聚点位置；根据所述虚拟场景中各个物体的物体位置与所述汇聚点位置的位置关系，从所述各个物体中确定本次渲染对应的待渲染物体；渲染所述待渲染物体。通过实施本方案的实施例，可以减轻渲染负载。

Description

虚拟现实场景中物体的渲染方法和虚拟现实头戴设备

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种虚拟现实场景中物体的渲染方法和虚拟现实头戴设备。

背景技术

如今，虚拟现实技术已经被广泛应用到各领域中，例如医疗、教育、军事等各大领域。虚拟现实设备佩戴者可以通过虚拟现实设备观看虚拟现实场景，以进行相关体验。

为使用户在佩戴虚拟现实设备后可以观看到虚拟现实场景，需要对虚拟现实场景进行渲染，然后通过显示屏显示。目前虚拟现实设备多为双显示屏，双显示屏使得需要显示的数据增加，进而导致渲染负载增加。

发明内容

有鉴于此，本发明实施例提供一种虚拟现实场景中物体的渲染方法和虚拟现实头戴设备，用以及减轻渲染负载。

第一方面，本发明实施例提供的一种虚拟现实场景中物体的渲染方法，包括：

获取用户双眼视线在虚拟场景中的汇聚点位置；

根据所述虚拟场景中各个物体的物体位置与所述汇聚点位置的位置关系，从所述各个物体中确定本次渲染对应的待渲染物体；

渲染所述待渲染物体。

第二方面，本发明实施例提供的一种存储介质，所述存储介质用于存储可执行指令，所述可执行指令用于被执行以实现本发明第一方面提供的渲染方法。

第三方面，本发明实施例提供的一种虚拟现实头戴设备，所述虚拟现实头戴设备包括：

处理器、存储器；

所述存储器用于存储可执行指令；

所述处理器通过执行所述存储器中所存储的可执行指令实现本发明第一方面提供的渲染方法。

本发明实施例所提供的渲染方法和虚拟现实头戴设备，确定用户双眼视线在虚拟场景中的汇聚点位置，根据虚拟场景中各个物体的物体位置与汇聚点位置间的位置关系确定本次渲染对应的待渲染物体，进而渲染所确定出的待渲染物体。本实施例中，结合了上述位置关系确定本次渲染的待渲染物体，进而渲染上述待渲染物体，对于虚拟场景中某些位置的物体不予渲染，因此相对于现有技术可以降低渲染负载。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的渲染方法的流程图；

图2为本发明实施例提供的渲染方法的另一流程图；

图3为本发明实施例提供的渲染装置的结构示意图；

图4为本发明实施例提供的虚拟现实头戴设备的结构示意图；

图5为本发明实施例提供的虚拟现实头戴设备的另一结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

进一步值得说明的是，本发明各实施例中各步骤之间的顺序是可以调整的，不是必须按照以下举例的顺序执行。

本发明实施例提供的虚拟现实场景中物体的渲染方法，应用于虚拟现实头戴设备，虚拟现实设备具体可以为单/双目虚拟眼镜等。具体地，本发明实施例提供的方法应用于虚拟现实设备上的渲染装置，该渲染装置可以为用于渲染的应用软件，还可以为其他相关软件的功能插件。

如图1所示，本发明实施例提供的虚拟现实场景中物体的渲染方法，包括如下步骤：

S101：获取用户双眼视线在虚拟场景中的汇聚点位置。

在某一种应用场景中，为了保证用户能够浏览到虚拟场景，通常在1秒内对虚拟场景中的物体进行预设次数的渲染，进而显示虚拟场景。然而，当双屏显示虚拟场景、或者虚拟场景中的景物数量增加，无疑导致渲染负载加重。为了减轻渲染负载，本实施例中获取汇聚点位置，结合汇聚点位置确定本次渲染对应的渲染对象。

可以通过人眼追踪技术获取到上述汇聚点位置，汇聚点位置可以体现为虚拟场景对应的坐标系中的坐标。

S102：根据虚拟场景中各个物体的物体位置与汇聚点位置的位置关系，从各个物体中确定本次渲染对应的待渲染物体。

具体地，各个物体的物体位置与汇聚点位置的位置关系，可以为两位置间的距离。进而，可以从各个物体中选出物体位置与汇聚点位置间的距离小于预设距离值的物体作为待渲染物体。

S103：渲染待渲染物体。

由此，本发明实施例提供的渲染方法，结合汇聚点位置与物体位置间的位置关系，确定本次渲染对应的待渲染物体。在本次渲染中，结合了位置关系确定本次渲染的待渲染物体，只对所确定出的待渲染物体进行渲染，对于上述待渲染物体之外的其他物体不予以渲染。相对于现有技术减少了所渲染的物体，进而减少了渲染数据量，因此可以减轻渲染负载。

在一种可选实施方式中，图1所示实施例的步骤S102，可以包括如下步骤：

S201：根据各个物体的物体位置与汇聚点位置间的距离所位于的预设距离区间，确定各个物体本次渲染的渲染等级。

举例而言，假设预设五个渲染等级，分别为第一等级、第二等级、第三等级、第四等级、第五等级，规定虚拟场景中距离小于第一阈值的物体为第一等级，大于等于第一阈值且小于第二阈值的物体为第二等级，大于等于第二阈值且小于第三阈值的物体为第三等级，大于等于第三阈值且小于第四阈值的物体为第四等级，大于等于第四阈值且小于第五阈值的物体为第五等级，其中，第一阈值、第二阈值、……、第五阈值的数值依次增大。进而，当获取到某一物体与汇聚点位置间的距离后，则可确定出该物体与汇聚点位置间的距离位于上述各阈值中哪两个阈值所划定出的距离区间内，进而确定出物体等级。

本实施例中，与汇聚点位置间的距离越远的物体，等级越低，也就是说，若各个物体中的第一物体的物体位置与汇聚点位置间的距离位于第一预设距离区间，各个物体中的第二物体的物体位置与汇聚点位置间的距离位于第二预设距离区间，第一预设距离区间小于第二预设距离区间，则确定第一物体本次渲染的渲染等级为与第一预设距离区间对应的第一渲染等级，确定第二物体本次渲染的渲染等级为与第二预设距离区间对应的第二渲染等级，第一渲染等级高于第二渲染等级。其中的第一物体、第二物体为虚拟场景中的任一物体。

S202：根据各个物体本次渲染的渲染等级和上一次渲染的渲染等级，从虚拟场景中的各个物体中确定本次渲染对应的待渲染物体。

确定出物体的渲染等级后，对于不同等级的物体，可以将其划分为以下几种情况，进而确定待渲染物体：

情况一：对于各个物体中的任一物体，若上述任一物体本次渲染的渲染等级与上一次渲染的渲染等级相同，则判定当前时间与上述任一物体已经被标记的下一次渲染时间是否一致；若一致，则确定上述任一物体作为本次渲染对应的待渲染物体。

情况二：对于各个物体中的任一物体，若该物体本次渲染的渲染等级与上一次渲染的渲染等级不同，则直接确定该物体作为本次渲染对应的待渲染物体。

需要说明的是，在确定待渲染物体后，还可以根据任一物体本次渲染的渲染等级所对应的渲染规则，标记下一次需要渲染上述任一物体的时间，其中，渲染规则反映了单位时间内不同渲染级别的物体需被渲染的次数。渲染等级越高的物体，所渲染的次数越多。

本实施例中，首先确定各个物体本次渲染的渲染等级，接着结合上述确定结果以及上一次渲染的渲染等级确定待渲染物体。以在虚拟场景中物体的渲染等级发生变化的情况下，确定待渲染物体，进而渲染虚拟场景。

相应于上述方法实施例，如图3所示，本发明实施例还提供一种虚拟现实场景中物体的渲染装置，包括：

获取模块310，用于获取用户双眼视线在虚拟场景中的汇聚点位置；

确定模块320，用于根据所述虚拟场景中各个物体的物体位置与所述汇聚点位置的位置关系，从所述各个物体中确定本次渲染对应的待渲染物体；

渲染模块330，用于渲染所述待渲染物体。

在一种可选实施方式中，所述确定模块320，具体用于：

从所述各个物体中选出物体位置与所述汇聚点位置间的距离小于预设距离值的物体作为所述待渲染物体。

在一种可选实施方式中，所述确定模块320，包括：

第一确定子模块321，用于根据所述各个物体的物体位置与所述汇聚点位置间的距离所位于的预设距离区间，确定所述各个物体本次渲染的渲染等级；

第二确定子模块322，用于根据所述各个物体本次渲染的渲染等级和上一次渲染的渲染等级，从所述虚拟场景中的各个物体中确定本次渲染对应的待渲染物体。

在一种可选实施方式中，所述第一确定子模块321，具体用于：

若所述各个物体中的第一物体的物体位置与所述汇聚点位置间的距离位于第一预设距离区间，所述各个物体中的第二物体的物体位置与所述汇聚点位置间的距离位于第二预设距离区间，所述第一预设距离区间小于所述第二预设距离区间，则确定所述第一物体本次渲染的渲染等级为与所述第一预设距离区间对应的第一渲染等级，确定所述第二物体本次渲染的渲染等级为与所述第二预设距离区间对应的第二渲染等级，所述第一渲染等级高于所述第二渲染等级。

在一种可选实施方式中，所述第二确定子模块322，具体用于：

对于所述各个物体中的任一物体，若所述任一物体本次渲染的渲染等级与上一次渲染的渲染等级相同，则若当前时间与所述任一物体已经被标记的下一次渲染时间一致，则确定所述任一物体作为本次渲染对应的待渲染物体。

在一种可选实施方式中，所述第二确定子模块322，具体用于：

对于所述各个物体中的任一物体，若所述任一物体本次渲染的渲染等级与上一次渲染的渲染等级不同，则确定所述任一物体作为本次渲染对应的待渲染物体。

在一种可选实施方式中，所述装置还包括标记子模块323，具体用于：

根据所述任一物体本次渲染的渲染等级所对应的渲染规则，标记下一次需要渲染所述任一物体的时间，其中，所述渲染规则反映了单位时间内不同渲染级别的物体需被渲染的次数。

需要说明的是，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得较为简单，相关之处参见方法实施例的部分说明即可。

另外，本发明实施例提供的一种存储介质，所述存储介质用于存储可执行指令，所述可执行指令用于被执行以实现本发明第一方面提供的渲染方法。

可选地，存储介质可以是存储在存储器中的介质、或者是独立存在且没有依附于任何其他终端的介质。该存储介质存储一个或者多个程序(在一个或者多个实施例中，该存储介质可以是一个或者多个物理磁盘存储装置、闪存装置或者其他非易失性固态存储装置，CD-ROM，光存储器等等)，其中这些程序被一个或者多个处理器执行后可以实现上述任一实施例所述的方法。

如图4所示，本发明实施例还提供一种虚拟现实头戴设备，所述虚拟现实头戴设备包括：

处理器410、存储器420；

所述存储器410用于存储可执行指令；

所述处理器420通过执行所述存储器410中所存储的可执行指令实现本发明第一方面提供的渲染方法。

可选地，本实施例提供的虚拟现实头戴设备还可以包括通信接口430，用于实现本实施例中的虚拟现实头戴设备与其他设备、或者其他网络间的通信。

具体地，本发明一些实施例提供的虚拟现实头戴设备可以为外接式头戴显示设备或者一体式头戴显示设备，其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。

图5示出了一些实施例中头戴显示设备500的内部配置结构示意图。

显示单元501可以包括显示面板，显示面板设置在头戴显示设备500上面向用户面部的侧表面，可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

虚拟图像光学单元502以放大方式拍摄显示单元501所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元501上的显示图像，可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机510拍摄的现实场景的图像。一些实施例中，虚拟图像光学单元502可以包括透镜单元，例如球面透镜、非球面透镜、菲涅尔透镜等。

输入操作单元503包括至少一个用来执行输入操作的操作部件，例如按键、按钮、开关或者其他具有类似功能的部件，通过操作部件接收用户指令，并且向控制单元507输出指令。

状态信息获取单元504用于获取穿戴头戴显示设备500的用户的状态信息。状态信息获取单元504可以包括各种类型的传感器，用于自身检测状态信息，并可以通过通信单元505从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元504可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元504可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外，状态信息获取单元504获取穿戴头戴显示设备500的用户的状态信息，例如获取例如用户的操作状态(用户是否穿戴头戴显示设备500)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态，手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的)，甚至生理状态。

通信单元505执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外，控制单元507可以从通信单元505向外部装置发送传输数据。通信方式可以是有线或者无线形式，例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信，以及IEEE802.11s标准的网状网络等。另外，通信单元505可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。

一些实施例中，头戴显示设备500还可以包括存储单元，存储单元506是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中，存储单元506可以存储应用程序或各种类型的数据。例如，用户使用头戴显示设备500观看的内容可以存储在存储单元506中。

一些实施例中，头戴显示设备500还可以包括控制单元，控制单元507可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中，控制单元507可以用于执行存储单元506存储的应用程序，或者控制单元507还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。

图像处理单元508用于执行信号处理，比如与从控制单元507输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示单元501的屏幕的分辨率。然后，显示驱动单元509依次选择显示单元501的每行像素，并逐行依次扫描显示单元501的每行像素，因而提供基于经信号处理的图像信号的像素信号。

一些实施例中，头戴显示设备500还可以包括外部相机。外部相机510可以设置在头戴显示设备500主体前表面，外部相机510可以为一个或者多个。外部相机510可以获取三维信息，并且也可以用作距离传感器。另外，探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机510一起使用。外部相机510和距离传感器可以用于检测穿戴头戴显示设备500的用户的身体位置、姿态和形状。另外，一定条件下用户可以通过外部相机510直接观看或者预览现实场景。

一些实施例中，头戴显示设备500还可以包括声音处理单元，声音处理单元511可以执行从控制单元507输出的声音信号的声音质量校正或声音放大，以及输入声音信号的信号处理等。然后，声音输入/输出单元512在声音处理后向外部输出声音以及输入来自麦克风的声音。

需要说明的是，图5中虚线框示出的结构或部件可以独立于头戴显示设备500之外，例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备500配合使用；或者，虚线框示出的结构或部件可以设置在头戴显示设备500内部或者表面上。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种虚拟现实场景中物体的渲染方法，其特征在于，包括：

获取用户双眼视线在虚拟场景中的汇聚点位置；

根据所述虚拟场景中各个物体的物体位置与所述汇聚点位置的位置关系，从所述各个物体中确定本次渲染对应的待渲染物体；

所述根据所述虚拟场景中各个物体的物体位置与所述汇聚点位置的位置关系，从所述各个物体中确定本次渲染对应的待渲染物体，包括：从所述各个物体中选出物体位置与所述汇聚点位置间的距离小于预设距离值的物体作为所述待渲染物体；

渲染所述待渲染物体；

所述根据所述虚拟场景中各个物体的物体位置与所述汇聚点位置的位置关系，从所述各个物体中确定本次渲染对应的待渲染物体，包括：

根据所述各个物体的物体位置与所述汇聚点位置间的距离所位于的预设距离区间，确定所述各个物体本次渲染的渲染等级；

根据所述各个物体本次渲染的渲染等级和上一次渲染的渲染等级，从所述虚拟场景中的各个物体中确定本次渲染对应的待渲染物体。

2.根据权利要求1所述的方法，其特征在于，所述根据所述各个物体的物体位置与所述汇聚点位置间的距离所位于的预设距离区间，确定所述各个物体本次渲染的渲染等级，包括：

若所述各个物体中的第一物体的物体位置与所述汇聚点位置间的距离位于第一预设距离区间，所述各个物体中的第二物体的物体位置与所述汇聚点位置间的距离位于所述第一预设距离区间与第二预设距离区间之间的区间，所述第一预设距离区间小于所述第二预设距离区间，则确定所述第一物体本次渲染的渲染等级为与所述第一预设距离区间对应的第一渲染等级，确定所述第二物体本次渲染的渲染等级为与所述第一预设距离区间与第二预设距离区间之间的区间对应的第二渲染等级，所述第一渲染等级高于所述第二渲染等级。

3.根据权利要求1所述的方法，其特征在于，所述根据所述各个物体本次渲染的渲染等级和上一次渲染的渲染等级，从所述虚拟场景中的各个物体中确定本次渲染对应的待渲染物体，包括：

对于所述各个物体中的任一物体，若所述任一物体本次渲染的渲染等级与上一次渲染的渲染等级相同，则若当前时间与所述任一物体已经被标记的下一次渲染时间一致，则确定所述任一物体作为本次渲染对应的待渲染物体。

4.根据权利要求1所述的方法，其特征在于，所述根据所述各个物体本次渲染的渲染等级和上一次渲染的渲染等级，从所述虚拟场景中的各个物体中确定本次渲染对应的待渲染物体，包括：

对于所述各个物体中的任一物体，若所述任一物体本次渲染的渲染等级与上一次渲染的渲染等级不同，则确定所述任一物体作为本次渲染对应的待渲染物体。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述任一物体本次渲染的渲染等级所对应的渲染规则，标记下一次需要渲染所述任一物体的时间，其中，所述渲染规则反映了单位时间内不同渲染等级的物体需被渲染的次数。

6.一种存储介质，其特征在于，所述存储介质用于存储可执行指令，所述可执行指令用于被执行以实现如权利要求1至5任一项所述的渲染方法。

7.一种虚拟现实头戴设备，其特征在于，所述虚拟现实头戴设备包括：

处理器、存储器；

所述存储器用于存储可执行指令；

所述处理器通过执行所述存储器中所存储的可执行指令实现如权利要求1至5任一项所述的渲染方法。

Images