CN114092612A

CN114092612A - 用于渲染虚拟环境的方法和系统

Info

Publication number: CN114092612A
Application number: CN202011130940.4A
Authority: CN
Inventors: 黄敏哲; 王惟民
Original assignee: Future City Co ltd
Current assignee: Future City Co ltd
Priority date: 2020-07-30
Filing date: 2020-10-21
Publication date: 2022-02-25
Also published as: TW202205871A

Abstract

本发明提供一种用于渲染虚拟环境的方法和系统。在方法中，获得多个数字内容。数字内容在同一三维虚拟环境中为不同的内容。根据数字内容的位置信息，将三维虚拟环境中的数字内容分别渲染为多个图像帧。位置信息包含相对于在三维虚拟环境中的其它位置的一个三维内容的位置。图像帧和图像帧的混合结果是用于显示的图像帧。因此，提供灵活方式以用于展现不同内容。

Description

用于渲染虚拟环境的方法和系统

技术领域

本发明通常涉及虚拟环境模拟，具体地说，涉及用于渲染虚拟环境的方法和系统。

背景技术

现今流行用于模拟感觉、感知和/或环境的技术，例如虚拟现实(virtualreality；VR)、增强现实(augmented reality；AR)、混合现实(mixed reality；MR)以及扩展现实(extended reality；XR)。前述技术可应用于多个领域中，例如游戏、军事训练、医疗保健、远程工作等。

应注意，虚拟环境中可存在许多数字内容，例如虚拟形象、媒体内容以及其它虚拟对象。然而，一些内容可具有版权或可能敏感。这些内容可能不能与其它内容共享。举例来说，用数字版权管理(digital right management；DRM)加密的视频可仅在具有权限的情况下在显示器上播放。在常规的方法中，用DRM加密的视频在其中播放的三维场景可直接地渲染为用DRM加密的图像帧(frame)，以使得当显示器尝试显示用DRM加密的图像帧时，在没有权限的情况下，在显示器上可能显示空白帧。这可能不便于实时广播或内容共享。

发明内容

无法共享具有加密视频的三维场景。因此，本发明是针对用于渲染虚拟环境以在虚拟环境中单独地渲染多个内容的方法和系统。

在示例性实施例中的一个中，一种用于渲染虚拟环境的方法包含但不限于以下步骤。获得多个数字内容。这些数字内容在同一三维虚拟环境中为不同的内容。根据数字内容的位置信息，将数字内容分别渲染为多个图像帧。位置信息包含这些数字内容中的一个相对于在三维虚拟环境中的其它数字内容的位置。图像帧和图像帧的混合结果是用于显示的图像帧。

在示例性实施例中的一个中，一种用于渲染虚拟环境的系统包含但不限于主机显示器、存储器以及处理器。存储器存储程序代码。处理器耦接到主机显示器和存储器且加载程序代码以执行以下步骤。处理器获得多个数字内容，根据数字内容的位置信息分别将数字内容渲染为多个图像帧。这些数字内容在同一三维虚拟环境中为不同的内容。位置信息包含这些数字内容中的一个相对于在三维虚拟环境中的其它数字内容的位置。图像帧和图像帧的混合结果是用于显示在主机显示器上的图像帧。

基于上述，依据一个或更多个实施例所提出的用于渲染虚拟环境的方法和系统，可分别渲染一个三维场景的多个数字内容。藉此，可依据不同需求分别显示渲染的框或混合结果。

然而，应理解，此概述可能不含有本发明的所有方面和实施例，不意图以任何方式具有限制性或局限性，且如本文中所公开的本发明由且将通过本领域普通技术人员理解为涵盖对其所作的明显改进和修改。

附图说明

包含附图以提供对本发明的进一步理解，且附图并入本说明书中并构成本说明书的一部分。图式示出本发明的实施例，且与描述一起用于解释本发明的原理。

图1A是示出根据本发明的示例性实施例中的一个的系统的方块图；

图1B是示出根据本发明的示例性实施例中的一个的软件结构的方块图；

图2是示出根据本发明的示例性实施例中的一个的用于渲染虚拟环境的方法的流程图；

图3是示出根据本发明的示例性实施例中的一个的引擎结构的示意图；

图4是示出根据本发明的示例性实施例中的一个的另一引擎结构的示意图；

图5是示出根据本发明的示例性实施例中的一个的用于共享内容的方法的流程图。

附图标号说明

1：系统；

3、4：引擎结构；

10：客户端装置；

30：服务器；

31、41：主控三维渲染引擎；

33₁-33_n、43₁-43_m：从属三维渲染引擎；

35、45：帧缓冲器；

100：主机设备；

110：主机显示器；

130：运动传感器；

150：存储器；

170：处理器；

171：渲染引擎；

173：合成插件；

S210、S230、S250、S510、S520、S530、S540、S545、S550、S560：步骤。

具体实施方式

现将详细参考本发明的优选实施例，其实例在附图中示出。在可能的情况下，相同附图标号在附图和描述中用以代表相同或相似部件。

图1A是示出根据本发明的示例性实施例中的一个的系统1的方块图。参看图1A，系统1包含但不限于一个或多个客户端装置10、服务器30以及主机设备100。系统1适于VR、AR、MR、XR或其它现实模拟相关技术。

客户端装置10可为但不限于移动电话、屏幕、电视、监视器或可具有液晶显示器(liquid-crystal display；LCD)、发光二极管(light-emitting diode；LED)显示器、有机发光二极管(organic light-emitting diode；OLED)显示器或其它显示器的其它电子装置。在一些实施例中，客户端装置10用于处理多媒体数据图像，例如虚拟环境中的图像、从云端加载的视频或通过服务器30传输的图片。

服务器30可为云端服务器、流媒体服务器、个人计算机等。在一些实施例中，服务器30用于提供视频流(stream)，以使得视频可在客户端装置10上播放。

主机设备100包含但不限于主机显示器110、运动传感器130、存储器150以及处理器170。主机设备100可为但不限于头戴式显示器(head-mounted display；HMD)或可适于VR应用、AR应用、MR应用、XR应用的数字眼镜。

主机显示器110可为LCD、LED显示器、OLED显示器或其它显示器。在一个实施例中，主机显示器110用于显示数据，例如图像、虚拟环境图像、视频或从处理器170传输的图片。在一个实施例中，主机显示器110可嵌入主要设备中。在一些实施例中，主机显示器110可为外部设备的显示器(例如智能电话、平板电脑等)，且外部设备可放置在HMD的主体上。

运动传感器130可以是加速计、陀螺仪、磁力计、激光传感器、惯性测量单元(inertial measurement unit；IMU)、红外线(infrared ray；IR)传感器、图像传感器、深度相机，或前述传感器的任何组合。在一个实施例中，运动传感器130用于感测主机设备100或系统1的运动，以生成来自运动传感器130的感测结果的运动感测数据(例如相机图像、所感测的强度值等)。对于一个实例，运动感测数据包括3自由度(3-degree of freedom；3-DoF)数据，且3-DoF数据与三维(three-dimensional；3D)空间中的用户头部的旋转数据(例如偏航、滚动以及俯仰中的加速度)相关。对于另一实例，运动感测数据包括6自由度(6-degreeoffreedom；6-DoF)数据。与3-DoF数据相比，6-DOF数据进一步与三个垂直轴中的用户头部的位移(例如在纵荡(surge)、垂荡(heave)以及横荡(sway)中的加速度)相关。对于另一实例，运动感测数据包括2D/3D空间中的用户头部的相对位置和/或位移。在一些实施例中，运动传感器130可嵌入于连接到主机设备100的手持型控制器或可穿戴设备中，或可嵌入于主机设备100中。

存储器150可以是任何类型的固定或可移动随机存取存储器(random-accessmemory；RAM)、只读存储器(read-only memory；ROM)、闪存存储器、类似装置或以上装置的组合。存储器150记录程序代码、装置配置、缓冲器数据或永久性数据(例如运动感测数据、三维内容或图像帧)，且稍后将介绍这些数据。

处理器170耦接到主机显示器110、运动传感器130以及存储器150。处理器170配置成加载存储器150中存储的程序代码，以执行本发明的示例性实施例的程序。

在一些实施例中，处理器170可为中央处理单元(central processing unit；CPU)、微处理器、微控制器、图形处理单元(graphics processing unit；GPU)、数字信号处理(digital signal processing；DSP)芯片、现场可编程门阵列(field-programmablegate array；FPGA)。处理器170的功能也可通过独立电子装置或集成电路(integratedcircuit；IC)来实施，且处理器170的操作也可由软件来实施。

图1B是示出根据本发明的示例性实施例中的一个的软件结构的方块图。处理器170可对应于程序代码加载且执行一个或多个渲染引擎171和合成插件(plugin)173。渲染引擎171执行将三维模型转换为二维图像的三维计算机图形程序的三维渲染程序。在一些实施例中，通过渲染引擎171转换的二维图像包含三维虚拟环境中的位置信息。合成插件173混合或组合从渲染引擎171输出的两个或大于两个图像帧。

在一个实施例中，主机设备100包含主机显示器110、运动传感器130、存储器150以及处理器170，且通过线连接、无线连接或可传输数据的任何种类的连接与服务器30或客户端装置10通信。在一些实施例中，处理器170可不安置在具有主机显示器110和运动传感器130的同一设备处。然而，设备分别装备有主机显示器110、运动传感器130，且处理器170可还包含具有兼容通信技术(例如蓝牙、Wi-Fi以及IR无线通信或物理传输线路)的通信收发器以向彼此传输数据或由彼此接收数据。举例来说，主机显示器110和处理器170可安置在主机设备100中，而运动传感器130安置在主机设备100外部。对于另一实例，处理器170可安置在计算装置中，而主机显示器110和运动传感器130安置在计算装置外部。

为了较好理解在本发明的一个或多个实施例中提供的操作程序，在下文将举例说明若干实施例以详细解释系统1的操作程序。在以下实施例中应用系统1中的装置和模块以解释用于渲染本文中所提供的虚拟环境的方法。方法的每一步骤可根据实际实施情况来调整，且不应限于本文描述的内容。

图2是示出根据本发明的示例性实施例中的一个的用于渲染虚拟环境的方法的流程图。参看图2，处理器170可获得多个数字内容(步骤S210)。具体来说，数字内容可为真实或虚拟三维场景、虚拟化身、视频、图片或三维虚拟环境中的其它虚拟对象。视频或图片文件可通过解码器解码以生成对应于三维虚拟环境中的表面纹理。三维虚拟环境可为游戏环境、虚拟社会环境或虚拟会议。在一个实施例中，数字内容包含没有访问控制保护的第一内容和具有访问控制保护的第二内容。访问控制保护与数字内容(例如数字版权管理(DRM)或其它版权相关的管理技术)的访问控制相关。数字内容的访问控制可与年龄分类、会员级别分类、管理分类或任何其它种类的访问控制管理相关。在一些实施例中，具有访问控制保护的第二内容可展现在主机显示器110上，但不展现在客户端装置10上。举例来说，如果第二内容未授权显示在客户端装置10上，那么空白帧或全黑帧将展现在客户端装置10上。在一个实施例中，第一内容是三维场景，且第二内容是具有访问控制保护的视频。在一些实施例中，第一内容和第二内容可以是在同一三维虚拟环境中的任何对象或三维模型。

处理器170可将数字内容分别渲染为多个图像帧(步骤S230)。具体来说，为了在客户端装置10或主机显示器110上展现三维虚拟环境，处理器170可执行三维渲染程序。三维渲染程序是将三维模型转换为二维图像的三维计算机图形程序。三维渲染程序可包含例如应用阶段、几何处理阶段以及光栅化(rasterization)阶段。在应用阶段中，例如视需要通过输入装置的手段或在动画过程中的用户交互改变场景。在几何处理阶段中，可执行具有多边形和其顶点的操作。举例来说，几何处理阶段例如为顶点着色、投影、剪辑以及屏幕映射。在光栅化阶段中，离散分段从几何处理阶段输出的连续基元(continuous primitives)中产生，所述离散分段是网格点(grid points)。

在一个实施例中，处理器170可根据主机设备100或从运动传感器130所获得的系统1的运动感测数据产生图像帧。在几何处理阶段中，将定义三维虚拟环境中表示用户的检视器。处理器170使用主机设备100的运动感测数据来确定待渲染的场景中的检视器的图的位置和方向。举例来说，如果用户头部移动或旋转，那么图的三维场景可变化，且从渲染程序输出的图像帧也可随着主机设备100或系统1的移动或旋转而变化。

在一个实施例中，将通过处理器170提供一个或多个三维渲染引擎以渲染数字内容。在一些实施例中，提供主控三维渲染引擎和一个或多个从属三维渲染引擎。主控三维渲染引擎用于渲染没有访问控制保护的第一内容，且从属三维渲染引擎用于渲染具有访问控制保护的第二内容。举例来说，主控三维渲染引擎将三维场景渲染为图像帧，且从属三维渲染引擎将具有访问控制保护的视频渲染为图像帧。

图3是示出根据本发明的示例性实施例中的一个的引擎结构3的示意图。参看图3，引擎结构3包含主控三维渲染引擎31、一个或多个从属三维渲染引擎33₁～33_n以及多个帧缓冲器35，其中n为正整数和从属三维渲染引擎33₁～33_n的数量。如果具有访问控制保护的第二内容不存在于三维虚拟环境中，那么主控三维渲染引擎31可仅将没有访问控制保护的第一内容渲染为图像帧，且输出的图像帧存储在帧缓冲器35上。如果具有访问控制保护的第二内容存在于三维虚拟环境中，那么主控三维渲染引擎31可将第二内容传输到从属三维渲染引擎33₁。主控三维渲染引擎31和多个从属三维渲染引擎33₁～33_n可分别渲染数字内容。在一些实施例中，不同的三维渲染引擎33₁～33_n可配置成渲染具有不同格式、不同保护协议或不同分辨率的数字内容。基于三维渲染引擎33₁～33_n的其性能和功能，将依序将一个或多个第二内容传输到对应的三维渲染引擎，以使得三维渲染引擎33₁～33_n中的每一个取决于三维渲染引擎33₁～33_n的性能或功能渲染对应的第二内容。也就是说，第二内容可从三维渲染引擎33₁传输到三维渲染引擎33₂。接着，上一三维渲染引擎33_n将所有第二内容的图像帧输出到帧缓冲器35。

图4是示出根据本发明的示例性实施例中的一个的另一引擎结构4的示意图。参看图4，引擎结构4包含主控三维渲染引擎41、多个从属三维渲染引擎43₁～43_n以及多个帧缓冲器45，其中m为正整数和从属三维渲染引擎43₁～43_m的数量。引擎结构3与引擎结构4之间的差异为每个从属三维渲染引擎43₁～43_m将图像帧输出到其对应的帧缓冲器45。

在一个实施例中，对应于通过帧缓冲器45输出的不同数字内容的图像帧可显示在客户端装置10或主机显示器110上。处理器170可将图像帧上传到服务器30，以在客户端装置10上提供视频流媒体。对于HMD，处理器170可进一步产生分别用于用户的两个眼睛的图像帧且翘曲用于两个眼睛的图像帧。

因为单独地渲染同一三维虚拟环境中的多个数字内容，处理器170可确定待共享到或显示在特定显示器上的特定数字内容的图像帧。在一些实施例中，处理器170可基于数字内容的类型、内容共享要求或其它设计要求确定是否单独地渲染多个数字内容。举例来说，如果一个数字内容的类型是用DRM加密，那么处理器170可确定在同一三维虚拟环境中单独地渲染多个数字内容。对于另一实例，如果要求一个数字内容与客户端装置10共享，那么处理器170可确定在同一三维虚拟环境中单独地渲染多个数字内容。然而，处理器170仍可将同一三维虚拟环境中的多个数字内容视为一个内容且将所有数字内容一起渲染为图像帧。

除单独地展现对应于多个数字内容的图像帧之外，处理器170可根据三维虚拟环境中的数字内容的位置信息混合分别对应于多个数字内容的图像帧(步骤S250)。具体来说，位置信息包含数字内容的绝对位置或数字内容相对于三维虚拟环境中的其它数字内容的相对位置。在几何处理阶段的投影中，将多个三维对象投影到二维平面。相对于三维虚拟环境中的检视器的这些三维对象的包含在数字内容的位置信息中的深度信息对于投影将为所需的。如果两个数字内容在图像帧中交叠，那么处理器170可通过合成插件173使用这些数字内容的深度信息来确定数字内容的哪一部分应展现在图像帧上。如果数字内容在图像帧中不交叠，那么处理器170可通过合成插件173基于相对于检视器的这些数字内容的包含在数字内容的位置信息中的左右关联直接地组合对应于所有数字内容的图像帧。在一些实施例中，用于渲染数字内容的网格、着色器、变换以及其它所需的数据可用于对应于多个数字内容的图像帧的组合。类似地，对应于多个数字内容的图像帧的混合结果可显示在客户端装置10及/或主机显示器110上。此外，处理器170可进一步产生分别用于用户的两个眼睛的混合结果的图像帧且翘曲用于两个眼睛的图像帧。

在下文中，将介绍用于共享数字内容的情境。图5是示出根据本发明的示例性实施例中的一个的用于共享内容的方法的流程图。参看图5，处理器170确定是否将数字内容共享到客户端装置10(步骤S510)。举例来说，演示或实时广播要求将需要共享数字内容。此外，数字内容包含没有访问控制保护的第一内容和具有访问控制保护的第二内容。如果不共享数字内容，那么处理器170可将所有数字内容视为一个内容且直接地将所有数字内容渲染为图像帧而没有步骤S250的混合程序(步骤S520)，且可将所渲染的结果显示在主机显示器130上(步骤S560)。假设优客(youtuber)在主机显示器130上主持，且其它客户在客户端装置10上观看。在一些实施例中，如果具有访问控制保护的第二内容不存在，那么处理器170也可仅将第一内容渲染为用于显示在主机显示器130上的图像帧而不混合图像帧。

另一方面，如果计划共享数字内容，那么处理器170可分别渲染第一内容和第二内容(步骤S530)，以产生对应于没有访问控制保护的第一内容的图像帧中的第一帧(即，不受保护帧)和对应于具有访问控制保护的第二内容的图像帧中的第二帧(即，受保护帧)。处理器170可将对应于没有访问控制保护的第一内容的图像帧中的第一帧(即，不受保护帧)传输到客户端装置10而不传输对应于具有访问控制保护的第二内容的图像帧中的第二帧。在此实施例中，将对应于第一内容的不受保护帧上传到服务器30(步骤S540)，接着可通过流式传送在客户端装置10上展现不受保护帧(步骤S550)。另一方面，处理器150可通过合成插件173如步骤S250混合对应于第一内容和第二内容的图像帧(步骤S545)。接着，可将不受保护帧和受保护帧的混合结果显示在主机显示器130上(步骤S560)。

综上所述，在本发明实施例的用于渲染虚拟环境的方法和系统中，可分别渲染在相同虚拟环境中的多个数字内容。此外，可基于虚拟环境中数字内容的位置信息结合对应于不同数字内容的图像框。藉此，可将不同数字内容的渲染结果渲染在不同显示器上。若存在具有访问控制保护的数字内容，则仍可分享其他未受保护的数字内容到其他显示器。

所属领域的技术人员将显而易见，可在不脱离本发明的范围或精神的情况下对本发明的结构作出各种修改和变化。鉴于以上内容，希望本发明涵盖本发明的修改和变化，前提是所述修改和变化落入所附权利要求和其等效物的范围内。

Claims

1.一种用于渲染虚拟环境的方法，包括：

获得多个数字内容，其中所述数字内容在同一三维虚拟环境中为不同的内容；以及

根据所述数字内容的位置信息，将所述三维虚拟环境中的所述数字内容分别渲染为多个图像帧，其中所述位置信息包括所述数字内容中的一个相对于所述三维虚拟环境中的其它数字内容的位置，且所述图像帧和所述图像帧的混合结果用于显示。

2.根据权利要求1所述的用于渲染虚拟环境的方法，其中所述数字内容包括没有访问控制保护的第一内容和具有所述访问控制保护的第二内容。

3.根据权利要求2所述的用于渲染虚拟环境的方法，其中将所述数字内容渲染为所述图像帧的步骤包括：

响应于存在所述访问控制保护的所述第二内容，将所述数字内容分别渲染为所述图像帧；以及

在将所述数字内容渲染为所述图像帧的步骤之后，根据所述三维虚拟环境中的所述数字内容的所述位置信息来混合所述图像帧。

4.根据权利要求2所述的用于渲染虚拟环境的方法，其中将所述数字内容渲染为所述图像帧的步骤包括：

响应于不存在所述访问控制保护的所述第二内容，仅将所述第一内容渲染为用于显示的所述图像帧而不混合所述图像帧。

5.根据权利要求3所述的用于渲染虚拟环境的方法，其中在将所述数字内容渲染为所述图像帧的步骤之后，所述方法还包括：

传输所述图像帧中的第一帧而不传输所述图像帧中的第二帧，其中所述第一帧对应于没有所述访问控制保护的所述第一内容，且所述第二帧对应于具有所述访问控制保护的所述第二内容。

6.根据权利要求3所述的用于渲染虚拟环境的方法，其中将所述数字内容渲染为所述图像帧的步骤包括：

提供主控三维渲染引擎和至少一个从属三维渲染引擎，其中所述主控三维渲染引擎用于渲染没有所述访问控制保护的所述第一内容，且所述至少一个从属三维渲染引擎用于渲染具有所述访问控制保护的所述第二内容。

7.根据权利要求6所述的用于渲染虚拟环境的方法，还包括：

通过所述主控三维渲染引擎将具有所述访问控制保护的所述第二内容传输到所述至少一个从属三维渲染引擎；以及

混合从所述主控三维渲染引擎和所述至少一个从属三维渲染引擎输出的所述图像帧。

8.根据权利要求1所述的用于渲染虚拟环境的方法，其中将所述数字内容渲染为所述图像帧的步骤包括：

获得用户头部的运动感测数据；以及

根据所述用户头部的所述运动感测数据产生所述图像帧。

9.一种用于渲染虚拟环境的系统，包括：

主机显示器；

存储器，存储程序代码；以及

处理器，耦接到所述主机显示器和所述存储器，且加载所述程序代码以执行以下步骤：

根据所述数字内容的位置信息，将所述三维虚拟环境中的所述数字内容分别渲染为多个图像帧，其中所述位置信息包括所述数字内容中的一个相对于所述三维虚拟环境中的其它数字内容的位置，且所述图像帧和所述图像帧的混合结果用于在所述主机显示器上显示。

10.根据权利要求9所述的用于渲染虚拟环境的系统，其中所述数字内容包括没有访问控制保护的第一内容和具有所述访问控制保护的第二内容。

11.根据权利要求10所述的用于渲染虚拟环境的系统，其中所述处理器进一步执行以下步骤：

12.根据权利要求10所述的用于渲染虚拟环境的系统，其中所述处理器进一步执行以下步骤：

响应于不存在所述访问控制保护的所述第二内容，仅将所述第一内容渲染为用于在所述主机显示器上显示的所述图像帧而不混合所述图像帧。

13.根据权利要求11所述的用于渲染虚拟环境的系统，还包括：

客户端装置，其中所述处理器进一步执行以下步骤：

将所述图像帧中的第一帧传输到所述客户端装置而不传输所述图像帧中的第二帧，其中所述第一帧对应于没有所述访问控制保护的所述第一内容，且所述第二帧对应于具有所述访问控制保护的所述第二内容。

14.根据权利要求11所述的用于渲染虚拟环境的系统，其中所述处理器进一步执行以下步骤：

15.根据权利要求14所述的用于渲染虚拟环境的系统，其中所述处理器进一步执行以下步骤：

16.根据权利要求9所述的用于渲染虚拟环境的系统，还包括：

运动传感器，与用户头部一起作用，且获得所述用户头部的运动感测数据，其中所述处理器进一步执行以下步骤：

根据所述用户头部的所述运动感测数据产生所述图像帧。