CN109829981B

CN109829981B - 三维场景呈现方法、装置、设备及存储介质

Info

Publication number: CN109829981B
Application number: CN201910118912.1A
Authority: CN
Inventors: 刘志愿; 陈小明; 张小龙
Original assignee: Shenzhen Voxelsense Technology Co ltd
Current assignee: Shenzhen Voxelsense Technology Co ltd
Priority date: 2019-02-16
Filing date: 2019-02-16
Publication date: 2023-06-27
Anticipated expiration: 2039-02-16
Also published as: CN109829981A

Abstract

本发明公开了一种三维场景呈现方法、装置、设备及存储介质，该方法包括：获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；将所述纹理输入图形处理器，由所述图形处理器将所述纹理对应的虚拟场景渲染到显示设备。针对不同类型的虚拟场景来选择不同的三维场景呈现方法，由观察模式决定三维场景呈现方式，因而处于不同的观测角度的用户都能获得最佳视角，提高了用户的沉浸式体验。

Description

三维场景呈现方法、装置、设备及存储介质

技术领域

本发明涉及人机交互技术领域，尤其涉及一种三维场景呈现方法、装置、设备及存储介质。

背景技术

虚拟现实技术是人机交互技术中的一个重要分支，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机生成一种模拟环境，用户可沉浸于三维动态视景仿真中。在此过程中，用户通过佩戴3D眼镜来观看3D显示设备中呈现的虚拟三维场景。在一般三维显示系统中，视图矩阵和投影矩阵未根据用户的观测角度以及不同的虚拟场景来进行对应的特殊处理，用户往往无法获得最佳的沉浸式体验。

发明内容

本发明提供一种三维场景呈现方法、装置、设备及存储介质，旨在提高用户的沉浸式体验。

为实现上述目的，本发明提供一种三维场景呈现方法，所述方法包括：

获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；

根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；

基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；

将所述纹理输入图形处理器，由所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备。

优选地，所述获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系的步骤包括：

通过硬件系统检测3D眼镜与显示设备的第二空间位置关系；

基于所述第二空间位置关系，获得与所述第二空间位置关系直接对应的所述第一空间位置关系。

优选地，所述基于观察模式获得所述虚拟相机的投影矩阵的步骤包括：

根据计算公式计算所述投影矩阵，所述计算公式如下：

其中，M表示投影矩阵，l、r、t、b分别表示视锥体近平面的左、右、上、下的坐标，n是近平面距离，f是远平面距离。

优选地，所述观察模式包括固定点模式和固定线模式，所述基于观察模式获得所述虚拟相机的投影矩阵的步骤之前还包括：

判断所述观察模式是所述固定点模式还是所述固定线模式；

所述基于观察模式获得所述虚拟相机的投影矩阵的步骤还包括：

若所述观察模式是所述固定点模式，则所述投影矩阵为一个标准的对称的透视投影矩阵，l和b的取值均为-0.5，r和t的取值均为0.5；

若所述观察模式是所述固定线模式，则根据所述第一空间位置关系，计算出所述l、r、t、b的值。

优选地，将所述纹理输入图形处理器的步骤包括：

创建并绑定所述纹理；

将所述纹理输入所述图形处理器，并在所述纹理使用完毕后删除所述纹理。

此外，为实现上述目的，本发明实施例还提供一种三维场景视图呈现装置，所述三维场景视图呈现装置包括：

位置关系获取模块，用于获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；

第一获得模块，用于根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；

第二获得模块，用于基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；

渲染模块，用于将所述纹理输入图形处理器，由所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备。

优选地，所述位置关系获得模块，还用于：通过硬件系统检测3D眼镜与显示设备的第二空间位置关系；基于所述第二空间位置关系，获得与所述第二空间位置关系直接对应的所述第一空间位置关系。

优选地，所述第一获得模块，还用于：创建并绑定所述纹理；将所述纹理输入所述图形处理器，并在所述纹理使用完毕后删除所述纹理。

此外，为实现上述目的，本发明实施例还提供一种三维场景呈现设备，所述三维场景呈现设备包括处理器，存储器以及存储在所述存储器中的三维场景呈现程序，所述三维场景呈现程序被所述处理器运行时，实现如上所述的三维场景呈现方法的步骤。

此外，为实现上述目的，本发明实施例还提供一种计算机存储介质，所述计算机存储介质上存储有三维场景呈现程序，所述三维场景呈现程序被处理器运行时实现如上所述三维场景呈现方法的步骤。

相比现有技术，本发明提供一种三维场景呈现方法、装置、设备及存储介质，该方法包括：获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；将所述纹理输入图形处理器，由所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备。针对不同类型的虚拟场景来选择不同的三维场景呈现方法，根据特定的视图矩阵和与观察模式相关的投影矩阵来获取虚拟相机的纹理，并将所述纹理输入图形处理器，进而将虚拟相机观测到的虚拟场景渲染至显示设备，本发明由观察模式决定三维场景呈现方式，因而处于不同的观测角度的用户都能获得最佳视角，提高了用户的沉浸式体验。

附图说明

图1是本发明各实施例涉及的三维场景呈现设备的硬件结构示意图；

图2是本发明三维场景呈现方法第一实施例的流程示意图；

图3是本发明固定点观察模式示意图；

图4是本发明固定线观察模式示意图

图5是本发明三维场景呈现装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例主要涉及的三维场景呈现设备是指能够实现网络连接的网络连接设备，所述三维场景呈现设备可以是服务器、云平台等。

参照图1，图1是本发明各实施例涉及的三维场景呈现设备的硬件结构示意图。本发明实施例中，三维场景呈现设备可以包括处理器1001(例如中央处理器CentralProcessing Unit、CPU)，通信总线1002，输入端口1003，输出端口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；输入端口1003用于数据输入；输出端口1004用于数据输出，存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种可读存储介质的存储器1005可以包括操作系统、网络通信模块、应用程序模块以及三维场景呈现程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的三维场景呈现程序，并执行本发明实施例提供的三维场景呈现方法。

本发明实施例提供了一种三维场景呈现方法。

参照图2，图2是本发明三维场景呈现方法第一实施例的流程示意图。

本实施例中，所述三维场景呈现方法应用于三维场景呈现设备，所述方法包括：

步骤S101，获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；

本实施例中，所述第一空间位置关系与第二空间位置关系直接对应，故可以直接根据所述第二空间位置关系获得所述第一空间位置关系，所述第一空间位置关系是指所述虚拟相机与所述虚拟屏幕的空间位置关系，所述第二空间位置关系是指3D眼镜与显示设备的空间位置关系。

具体地，首先通过硬件系统检测3D眼镜与显示设备的第二空间位置关系；例如通过摄像头、距离/红外传感器等获得用户佩戴的3D眼镜与显示设备的第二空间位置关系，并将所述第二空间位置关系用三维坐标系中坐标位置表示。所述显示设备可以是屏幕。基于所述第二空间位置关系，获得与所述第二空间位置关系直接对应的所述第一空间位置关系。也即，所述第二空间位置关系与所述第一空间位置关系一一对应。

步骤S102，根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；

本实施例中，所述观察模式包括固定点模式和固定线模式，所述基于观察模式获得所述虚拟相机的投影矩阵的步骤之前还包括：

判断所述观察模式是所述固定点模式还是所述固定线模式；

如图3所示，图3是本发明固定点观察模式示意图。在所述固定点模式下，所述人眼的中轴线2始终通过所述虚拟空间中物体3的中心点，可知所述虚拟相机的中轴线始终通过显示设备1的中心点。

若所述观察模式是所述固定点模式，则所述虚拟相机的中轴线始终通过所述虚拟屏幕的中心点，因而所述虚拟相机的投影矩阵的远近平面左l、右r、上t、下b坐标都可以确定。

进一步地，所述观察模式还包括固定线模式，所述固定线模式是指观测者视角围绕显示设备的矩形区域的观察模式。如图4所示，图4是本发明固定线观察模式示意图。在所述固定线观察模式下，人眼的观察范围为显示设备1的矩形区域，人眼的视椎体始终通过所述显示设备的四个角点。

在所述固定线模式下，所述基于观察模式获得所述虚拟相机的投影矩阵的步骤还包括：若所述观察模式是所述固定线模式，则获取所述虚拟相机的视锥体参数；视椎体是场景中相机的可见的一个椎体范围，包括上top、下bottom、左left、右right、近near、远far六个面，故可以根据所述椎体范围利用几何学知识计算对应的视锥体参数。

本实施例中，所述基于观察模式获得所述虚拟相机的投影矩阵的步骤包括：

根据计算公式计算所述投影矩阵，所述计算公式如下：

若所述观察模式是所述固定点模式，则所述投影矩阵为一个标准的对称的透视投影矩阵，l和b的取值均为-0.5，r和t的取值均为0.5；n和f的值可以具体设定，由此获得所述固定点模式下的所述投影矩阵。

若所述观察模式是所述固定线模式，则根据所述第一空间位置关系，计算出所述l、r、t、b的值。在所述固定线模式下，所述l、r、t、b的值均是固定的，n和f的值可以具体设定，由此获得所述固定线模式下的所述投影矩阵。

步骤S103，基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；

基于所述视图矩阵和所述投影矩阵即可以获得所述虚拟场景中的所述虚拟相机的纹理。一般地，所述虚拟相机的位置是所述虚拟空间中带有六自由度的点，该点的位置只与虚拟屏幕相关。

步骤S104，将所述纹理输入图形处理器，由所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备。

获取所述虚拟相机的纹理后，将所述纹理输入图形处理器。

具体地，所述将所述纹理输入图形处理器的步骤包括：

步骤a：创建并绑定所述纹理；

在一实施例中，可以通过创建函数创建所述纹理，并通过绑定函数绑定所述纹理，再通过函数将所述像素值传给当前绑定的纹理对象，于是便创建了纹理。像素传递函数的参数包括纹理的类型，纹理的等级，每个像素的字节数，纹理的宽度和高度，边框大小，像素数据的格式，像素值的数据类型，像素数据等。

步骤b：将所述纹理输入所述图形处理器，并在所述纹理使用完毕后删除所述纹理。

一般地，在所述纹理使用完毕后(一般是程序退出或场景转换时)，删除所述纹理，以释放资源。具体地，调用删除函数即可删除所述纹理。

所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备，以呈现对应的三维场景。

本实施例通过上述方案，获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；将所述纹理输入图形处理器，由所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备。针对不同类型的虚拟场景来选择不同的三维场景呈现方法，根据特定的视图矩阵和与观察模式相关的投影矩阵来获取虚拟相机的纹理，并将所述虚拟相机的纹理输入图形处理器，进而将虚拟相机观测到的虚拟场景渲染至显示设备，本实施例由观察模式决定三维场景呈现方式，因而处于不同的观测角度的用户都能获得最佳视角，提高了用户的沉浸式体验。

此外，本实施例还提供一种三维场景呈现装置。参照图5，图5为本发明三维场景呈现装置第一实施例的功能模块示意图。

本发明提供的三维场景呈现装置是一种虚拟装置，存储于图1所示的三维场景呈现设备的存储器1005中，以实现三维场景呈现程序的所有功能：用于获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；用于根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；用于基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；用于将所述纹理输入图形处理器，由所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备。

具体地，本实施例中所述虚拟场景呈现装置包括:

进一步地，所述位置关系获取模块还用于：

通过硬件系统检3D眼镜与显示设备的第二空间位置关系；

进一步地，所述第一获得模块还用于：

根据计算公式计算所述投影矩阵，所述计算公式如下：

进一步地，所述第一获得模块还用于：

判断所述观察模式是所述固定点模式还是所述固定线模式；

进一步地，所述第一获得模块还用于：

进一步地，所述渲染模块还用于：

创建并绑定所述纹理；

进一步地，本发明还公开了一种计算机存储介质，所述计算机存储介质上存储有三维场景呈现程序，所述三维场景呈现程序被处理器运行时实现上所述三维场景呈现方法的步骤，此处不再赘述。

相比现有技术，本发明提出的一种三维场景呈现方法、装置、设备及存储介质，获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；根据所述第一空间位置关系获得所述虚拟相机的视图矩阵，并基于观察模式获得所述虚拟相机的投影矩阵；基于所述视图矩阵和所述投影矩阵，获得所述虚拟场景中的所述虚拟相机的纹理；将所述纹理输入图形处理器，由所述图形处理器基于所述纹理将对应的虚拟场景渲染到显示设备。针对不同类型的虚拟场景来选择不同的三维场景呈现方法，根据特定的视图矩阵和与观察模式相关的投影矩阵来获取虚拟相机的纹理，并将所述纹理输入图形处理器，进而将虚拟相机观测到的虚拟场景渲染至显示设备，本实施例由观察模式决定三维场景呈现方式，因而处于不同的观测角度的用户都能获得最佳视角，提高了用户的沉浸式体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种三维场景呈现方法，其特征在于，所述方法包括：

获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系；

其中，所述观察模式包括固定点模式和固定线模式，所述基于观察模式获得所述虚拟相机的投影矩阵的步骤之前还包括：

判断所述观察模式是所述固定点模式还是所述固定线模式，其中，所述虚拟相机包括视锥体近平面，l、r、t、b分别表示所述视锥体近平面的左、右、上、下的坐标；

若所述观察模式是所述固定点模式，则所述投影矩阵为一个标准的透视投影矩阵，所述l和b的取值均为-0.5，所述r和t的取值均为0.5；

若所述观察模式是所述固定线模式，则根据所述第一空间位置关系，计算出所述l、r、t、b的值；

2.根据权利要求1所述的方法，其特征在于，所述获取虚拟场景中虚拟相机与虚拟屏幕的第一空间位置关系的步骤包括：

通过硬件系统检测3D眼镜与显示设备的第二空间位置关系；

3.根据权利要求1所述的方法，其特征在于，所述基于观察模式获得所述虚拟相机的投影矩阵的步骤包括：

根据计算公式计算所述投影矩阵，所述计算公式如下：

其中，M表示投影矩阵，n是近平面距离，f是远平面距离。

4.根据权利要求1所述的方法，其特征在于，所述将所述纹理输入图形处理器的步骤包括：

创建并绑定所述纹理；

5.一种三维场景视图呈现装置，其特征在于，所述三维场景视图呈现装置包括：

判断所述观察模式是所述固定点模式还是所述固定线模式，其中，所述虚拟相机包括视锥体近平面，所述视椎体近平面的坐标包括左l、右r、上t、下b；

若所述观察模式是所述固定点模式，则所述投影矩阵为一个标准的透视投影矩阵，l和b的取值均为-0.5，r和t的取值均为0.5；

6.如权利要求5所述的装置，其特征在于，所述位置关系获得模块，还用于：通过硬件系统检测3D眼镜与显示设备的第二空间位置关系；基于所述第二空间位置关系，获得与所述第二空间位置关系直接对应的所述第一空间位置关系。

7.如权利要求5所述的装置，其特征在于，所述第一获得模块，还用于：创建并绑定所述纹理；将所述纹理输入所述图形处理器，并在所述纹理使用完毕后删除所述纹理。

8.一种三维场景呈现设备，其特征在于，所述三维场景呈现设备包括处理器，存储器以及存储在所述存储器中的三维场景呈现程序，所述三维场景呈现程序被所述处理器运行时，实现如权利要求1-4中任一项所述的三维场景呈现方法的步骤。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有三维场景呈现程序，所述三维场景呈现程序被处理器运行时实现如权利要求1-4中任一项所述三维场景呈现方法的步骤。