CN116880723B

CN116880723B - 一种3d场景显示方法及系统

Info

Publication number: CN116880723B
Application number: CN202311152612.8A
Authority: CN
Inventors: 王晓敏; 张琨
Original assignee: Jiangxi Geruling Technology Co ltd
Current assignee: Jiangxi Geruling Technology Co ltd
Priority date: 2023-09-08
Filing date: 2023-09-08
Publication date: 2023-11-17
Anticipated expiration: 2043-09-08
Also published as: CN116880723A

Abstract

本发明提供了一种3D场景显示方法及系统，该方法包括：同时检测出用户左眼球以及右眼球的位置信息，并根据位置信息计算出左眼球以及右眼球的中心点与3D屏幕之间的目标距离；根据位置信息以及目标距离计算出与左眼球以及右眼球对应的视锥体参数，并获取相机的投影参数；根据视锥体参数以及投影参数分别渲染出与左眼球对应的第一3D画面以及与右眼球对应的第二3D画面，并基于预设规则对第一3D画面以及第二3D画面进行融合处理，以生成对应的虚拟3D场景。本发明能够有效的消除畸变的影响，对应大幅提升了用户的使用体验。

Description

一种3D场景显示方法及系统

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种3D场景显示方法及系统。

背景技术

随着科技的进步以及生产力的快速发展，虚拟现实技术也得到了快速的发展，并且已经在多个领域得到了广泛的应用，在一定程度上方便了人们的生活，同时提升了人们的工作效率。

其中，CAVE（Cave Automatic Virtual Environment 沉浸式虚拟现实显示系统）因其具有分辨率高、沉浸感强以及交互性好的特点，得到了广泛的应用。具体的，其由多个投影屏幕组成，并且将图像投射到四面墙壁和地板上，用户只需站在投影区域中，就可以感受到身临其境的虚拟现实环境。

现有的CAVE系统大部分采用主动立体眼睛加动作捕捉的方式增强系统的立体观感，然而，上述方案实施的过程中需要使用固定机位的定焦相机，导致在实际使用的过程中，可能会出现无法处理因空间关系的改变而造成画面产生畸变的现象，同时限制了双目平面不能绕视线方向转动，造成立体效果有限，从而降低了用户的使用体验。

发明内容

基于此，本发明的目的是提供一种3D场景显示方法及系统，以解决现有技术可能会出现无法处理因空间关系的改变而造成画面产生畸变的现象，同时限制了双目平面不能绕视线方向转动，导致立体效果有限的问题。

本发明实施例第一方面提出了：

一种3D场景显示方法，其中，所述方法包括：

同时检测出用户左眼球以及右眼球的位置信息，并根据所述位置信息计算出所述左眼球以及所述右眼球的中心点与3D屏幕之间的目标距离；

根据所述位置信息以及所述目标距离计算出与所述左眼球以及所述右眼球对应的视锥体参数，并获取相机的投影参数；

根据所述视锥体参数以及所述投影参数分别渲染出与所述左眼球对应的第一3D画面以及与所述右眼球对应的第二3D画面，并基于预设规则对所述第一3D画面以及所述第二3D画面进行融合处理，以生成对应的虚拟3D场景。

本发明的有益效果是：通过实时检测出用户左眼球以及右眼球的位置，就能够对应计算出当前用户与3D屏幕之间的目标距离，基于此，能够进一步获取到用于构建出与当前用户的眼球适配的3D画面的视锥体参数以及相机的投影参数，进一步的，结合上述参数能够分别渲染出左眼球以及右眼球分别能够看到的第一3D画面以及第二3D画面，最后只需对两者进行融合处理，就能够快速的生成用户需要的虚拟3D场景，从而不会出现畸变的现象，同时大幅提升了用户的使用体验。

进一步的，所述同时检测出用户左眼球以及右眼球的位置信息的步骤包括：

实时采集所述用户的全身图像，并根据所述全身图像检测出所述用户的身体中心点，所述身体中心点具有唯一性；

以所述中心点为原点分别延伸出对应的x轴、y轴以及z轴，并根据所述x轴、y轴以及z轴构建出对应的空间坐标系，其中，所述x轴和所述y轴位于同一基准平面内，所述基准平面与水平面平行，所述z轴穿过所述原点并与所述基准平面垂直设置；

通过所述空间坐标系分别检测出所述左眼球以及所述右眼球分别对应的空间坐标阈值。

进一步的，所述根据所述位置信息计算出所述左眼球以及所述右眼球的中心点与3D屏幕之间的目标距离的步骤包括：

基于预设规则分别检测出所述左眼球以及所述右眼球分别对应的眼球中心点，并在所述空间坐标阈值中映射出与所述眼球中心点对应的第一目标空间坐标；

通过所述空间坐标系检测出所述3D屏幕对应的第二目标空间坐标，并根据所述第一目标空间坐标以及所述第二目标空间坐标计算出所述目标距离。

进一步的，所述根据所述视锥体参数以及所述投影参数分别渲染出与所述左眼球对应的第一3D画面以及与所述右眼球对应的第二3D画面的步骤包括：

根据所述投影参数计算出与所述相机对应的视场角、投影矩阵以及裁剪矩阵，并根据所述视锥体参数在预设数据库中匹配出对应的渲染系数；

将所述视场角以及所述渲染系数输入至所述投影矩阵中，以渲染出对应的原始3D画面，并将所述原始3D画面输入至所述裁剪矩阵中，以分别生成与所述3D屏幕适配的所述第一3D画面以及所述第二3D画面。

进一步的，所述将所述视场角以及所述渲染系数输入至所述投影矩阵中，以渲染出对应的原始3D画面的步骤包括：

基于所述视场角对所述相机进行位置偏移以及方向偏移，以生成若干对应的偏移值，并将若干所述偏移值以及所述渲染系数同时输入至所述投影矩阵中，以融合出对应的渲染矩阵；

通过DTW算法对所述渲染矩阵进行可视化处理，以生成若干对应的画面代码，并将所述画面代码实时转换成所述原始3D画面。

进一步的，所述基于预设规则对所述第一3D画面以及所述第二3D画面进行融合处理，以生成对应的虚拟3D场景的步骤包括：

创建一空白3D场景模板，并将所述第一3D画面以及所述第二3D画面自上而下依次层叠设于所述空白3D场景模板内；

对所述第一3D画面以及所述第二3D画面进行虚化处理，并实时检测出所述第一3D画面与所述第二3D画面之间的相同区域以及不同区域；

保留所述相同区域，并对所述不同区域进行拼接处理，以对应生成所述虚拟3D场景。

进一步的，所述方法还包括：

实时接收所述用户发出的语音信息，并在所述语音信息中提取出对应的语音指令；

根据所述语音指令执行对应的操作，所述操作包括开启以及关闭。

本发明实施例第二方面提出了：

一种3D场景显示系统，其中，所述系统包括：

检测模块，用于同时检测出用户左眼球以及右眼球的位置信息，并根据所述位置信息计算出所述左眼球以及所述右眼球的中心点与3D屏幕之间的目标距离；

计算模块，用于根据所述位置信息以及所述目标距离计算出与所述左眼球以及所述右眼球对应的视锥体参数，并获取相机的投影参数；

渲染模块，用于根据所述视锥体参数以及所述投影参数分别渲染出与所述左眼球对应的第一3D画面以及与所述右眼球对应的第二3D画面，并基于预设规则对所述第一3D画面以及所述第二3D画面进行融合处理，以生成对应的虚拟3D场景。

进一步的，所述检测模块具体用于：

进一步的，所述检测模块还具体用于：

进一步的，所述渲染模块具体用于：

进一步的，所述渲染模块还具体用于：

进一步的，所述3D场景显示系统还包括接收模块，所述接收模块具体用于：

本发明实施例第三方面提出了：

一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上面所述的3D场景显示方法。

本发明实施例第四方面提出了：

一种可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上面所述的3D场景显示方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明第一实施例提供的3D场景显示方法的流程图；

图2为本发明第六实施例提供的3D场景显示系统的结构框图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，所示为本发明第一实施例提供的3D场景显示方法，本实施例提供的3D场景显示方法能够快速的生成用户需要的虚拟3D场景，从而不会出现畸变的现象，同时大幅提升了用户的使用体验。

第一实施例

具体的，本实施例提供的3D场景显示方法具体包括以下步骤：

步骤S10，同时检测出用户左眼球以及右眼球的位置信息，并根据所述位置信息计算出所述左眼球以及所述右眼球的中心点与3D屏幕之间的目标距离；

步骤S20，根据所述位置信息以及所述目标距离计算出与所述左眼球以及所述右眼球对应的视锥体参数，并获取相机的投影参数；

步骤S30，根据所述视锥体参数以及所述投影参数分别渲染出与所述左眼球对应的第一3D画面以及与所述右眼球对应的第二3D画面，并基于预设规则对所述第一3D画面以及所述第二3D画面进行融合处理，以生成对应的虚拟3D场景。

具体的，在本实施例中，首先需要说明的是，为了能够有效的消除畸变的影响，会分别检测出用户左眼球以及右眼球的位置信息，即当前用户的左眼球以及右眼球具体在什么位置，进一步的，在检测到左眼球以及右眼球的位置之后，就能够进一步计算出当前用户的左眼球和右眼球与预先设置好的3D屏幕之间的目标距离，即两者之间的直线距离。进一步的，在获取到需要的目标距离之后，就能够根据现有的视锥体计算原理对应计算出当前用户的左眼球以及右眼球所对应的视锥体参数，与此同时，还需要同步获取到预先设置好的相机的投影参数。

进一步的，在通过上述方式获取到需要的视锥体参数之后，就能够进一步根据上述相机的投影参数分别渲染出与当前用户的眼球适配的第一3D画面以及第二3D画面，基于此，最后根据预先设置好的渲染规则对当前第一3D画面以及第二3D画面进行融合处理，就能够最终生成上述虚拟3D场景。

第二实施例

具体的，在本实施例中，需要说明的是，上述同时检测出用户左眼球以及右眼球的位置信息的步骤包括：

具体的，在本实施例中，需要说明的是，为了能够准确的获取到用户眼球的位置信息，需要实时构建出与当前用户适配的空间坐标系，即三维坐标系。具体的，通过上述相机实时采集用户的全身图像，优选的，是正面全身图像，从而能够快速的确定出当前用户身体的中心点，并且每个用户的中心点均是唯一的。

基于此，就能够直接将当前用户身体的中心点作为上述空间坐标系的原点，与此同时，分别延伸出需要的x轴、y轴以及z轴，从而能够简单、快速的构建出需要的空间坐标系，在此基础之上，就能够直接通过该空间坐标系检测出当前用户的左眼球以及右眼球分别对应的空间坐标阈值，即上述位置信息。

具体的，在本实施例中，还需要说明的是，上述根据所述位置信息计算出所述左眼球以及所述右眼球的中心点与3D屏幕之间的目标距离的步骤包括：

具体的，在本实施例中，还需要说明的是，在通过上述步骤获取到左眼球以及右眼球的位置时，此时可以进一步检测出眼球的中心点，具体的，本领域技术人员公知的是，人的眼球呈有规则的椭圆形，从而只需在左眼球以及右眼球上模拟出椭圆的最长边以及最小边，并实时检测出当前最长边与最小边之间的交点，该交点就可以确定出眼球的中心点，基于此，能够进一步通过上述空间坐标阈值映射出当前中心点的第一目标空间坐标，对应的，通过上述空间坐标系检测出上述3D屏幕的第二目标空间坐标，在此基础之上，只需计算出上述第一目标空间坐标与第二目标空间坐标之间的差值，就是计算出上述目标距离。

第三实施例

另外，在本实施例中，需要说明的是，上述根据所述视锥体参数以及所述投影参数分别渲染出与所述左眼球对应的第一3D画面以及与所述右眼球对应的第二3D画面的步骤包括：

另外，在本实施例中，需要说明的是，在通过上述步骤获取到需要的投影参数之后，就能够进一步根据当前投影参数计算出与上述相机对应的视场角，具体的，该投影参数可以包括投影面积、投影分辨率以及投影亮度等参数，基于此，就能够对应计算出与当前相机对应的视场角、投影矩阵以及裁剪矩阵。

进一步的，还能够根据上述视锥体参数在预设数据库中匹配出对应的渲染系数，基于此，只需将上述视场角以及渲染系数输入至上述投影矩阵中，以对应渲染出需要的原始3D画面，与此同时，将该3D画面输入至上述裁剪矩阵中，从而能够最终生成上述第一3D画面以及第二3D画面。

另外，在本实施例中，还需要说明的是，上述将所述视场角以及所述渲染系数输入至所述投影矩阵中，以渲染出对应的原始3D画面的步骤包括：

另外，在本实施例中，还需要说明的是，为了能够准确的渲染出需要的3D画面，在获取到上述视场角后，基于当前视场角的范围，例如160°，对上述相机的镜头进行多次位置偏移以及方向偏移，从而能够对应产生若干偏移值，与此同时，将当前偏移值以及上述渲染系数同时输入至上述投影矩阵中，以对当前投影矩阵进行融合处理，即对齐内部的数据进行融合处理，从而能够转换成对应的渲染矩阵。进一步的，通过现有的DTW算法对当前渲染矩阵进行可视化处理，并能够输出若干对应的画面代码，具体的，该若干画面代码能够被计算机所识别，从而能够将当前画面代码实时转换成上述原始3D画面。

第四实施例

其中，在本实施例中，需要指出的是，所述基于预设规则对所述第一3D画面以及所述第二3D画面进行融合处理，以生成对应的虚拟3D场景的步骤包括：

其中，在本实施例中，需要指出的是，为了能够完整的显示出上述虚拟3D场景，具体的，会首先创建出一个空白3D场景模板，进一步的，将上述第一3D画面以及第二3D画面按照自上而下的顺序依次层叠设于上述空白3D场景模板中，基于此，为了能够进行准确的比对，还需要对当前第一3D画面以及第二3D画面进行虚化处理，相比于透明化处理，该虚化处理并不会失去当前第一3D画面以及第二3D画面中的图像，从而能够进一步识别出当前第一3D画面与第二3D画面中的相同区域以及不同区域。

其中，需要指出的是，相同区域就是两者在同一位置具有相同图像的区域，对应的，不同区域是指两者在同一位置具有不同图像的区域，基于此，实时保留相同区域，并对不同区域进行对应的拼接处理，就能够简单、快速的生成上述虚拟3D场景。

第五实施例

其中，在本实施例中，需要指出的是，所述方法还包括：

其中，在本实施例中，需要指出的是，为了便于用户的控制，还设置有语音控制的功能。

具体的，在实际的使用过程中，能够实时接收用户发出的语音信息，并在其中提取出有用的语音指令，基于此，就能够进行对应的操作，从而大幅提升了用户的使用体验。

请参阅图2，本发明第六实施例提供了：

一种3D场景显示系统，其中，所述系统包括：

其中，上述3D场景显示系统中，所述检测模块具体用于：

其中，上述3D场景显示系统中，所述检测模块还具体用于：

其中，上述3D场景显示系统中，所述渲染模块具体用于：

其中，上述3D场景显示系统中，所述渲染模块还具体用于：

其中，上述3D场景显示系统中，所述3D场景显示系统还包括接收模块，所述接收模块具体用于：

本发明第七实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述实施例提供的3D场景显示方法。

本发明第八实施例提供了一种可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例提供的3D场景显示方法。

综上所述，本发明上述实施例提供的3D场景显示方法及系统能够快速的生成用户需要的虚拟3D场景，从而不会出现畸变的现象，同时大幅提升了用户的使用体验。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种3D场景显示方法，其特征在于：所述方法包括：

根据所述视锥体参数以及所述投影参数分别渲染出与所述左眼球对应的第一3D画面以及与所述右眼球对应的第二3D画面，并基于预设规则对所述第一3D画面以及所述第二3D画面进行融合处理，以生成对应的虚拟3D场景；

所述根据所述视锥体参数以及所述投影参数分别渲染出与所述左眼球对应的第一3D画面以及与所述右眼球对应的第二3D画面的步骤包括：

将所述视场角以及所述渲染系数输入至所述投影矩阵中，以渲染出对应的原始3D画面，并将所述原始3D画面输入至所述裁剪矩阵中，以分别生成与所述3D屏幕适配的所述第一3D画面以及所述第二3D画面；

所述将所述视场角以及所述渲染系数输入至所述投影矩阵中，以渲染出对应的原始3D画面的步骤包括：

2.根据权利要求1所述的3D场景显示方法，其特征在于：所述同时检测出用户左眼球以及右眼球的位置信息的步骤包括：

3.根据权利要求2所述的3D场景显示方法，其特征在于：所述根据所述位置信息计算出所述左眼球以及所述右眼球的中心点与3D屏幕之间的目标距离的步骤包括：

4.根据权利要求1所述的3D场景显示方法，其特征在于：所述基于预设规则对所述第一3D画面以及所述第二3D画面进行融合处理，以生成对应的虚拟3D场景的步骤包括：

5.根据权利要求1所述的3D场景显示方法，其特征在于：所述方法还包括：

6.一种3D场景显示系统，其特征在于，用于实现如权利要求1至5中任意一项所述的3D场景显示方法，所述系统包括：

7.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的3D场景显示方法。

8.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任意一项所述的3D场景显示方法。