CN116704163A - 在终端显示虚拟现实场景的方法、装置、设备及介质 - Google Patents
在终端显示虚拟现实场景的方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116704163A CN116704163A CN202310967805.2A CN202310967805A CN116704163A CN 116704163 A CN116704163 A CN 116704163A CN 202310967805 A CN202310967805 A CN 202310967805A CN 116704163 A CN116704163 A CN 116704163A
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional
- compressed
- virtual reality
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000007906 compression Methods 0.000 claims abstract description 48
- 230000006835 compression Effects 0.000 claims abstract description 48
- 230000001502 supplementing effect Effects 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013144 data compression Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供了在终端显示虚拟现实场景的方法、装置、设备及介质，涉及数据处理技术领域，其中，该方法包括以下步骤：将待显示的三维形体图像转换为三维网格数据和三维点云数据；压缩后生成二维的压缩三维网格数据和压缩三维点云数据；利用二维的压缩三维网格数据生成基础三维坐标数据，计算损失的三维网格数据并对基础三维坐标数据进行填充，生成待显示的虚拟现实场景的骨架数据；通过压缩三维点云数据对骨架数据进行细节特征的填充，生成填充后三维图像数据；将填充后三维图像数据转换为终端可执行的脚本语言，在浏览器中显示待显示的虚拟现实场景。由于该方案通过压缩后补充的方式，提高了虚拟现实场景在终端的显示精度。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种在终端显示虚拟现实场景的方法、装置、设备及介质。
背景技术
虚拟现实场景在各种终端的显示已经成为主流。现有的显示终端包括AR端、客户端（移动端、电脑端）等。目前，虚拟现实场景在终端显示后，虚拟现实场景的模型精度会下降。为了尽可能的给用户带来真实环境的感知体验，模型和场景需要绘制的尽可能逼真并且建模时需要构造的非常精细。但是，若三维形体图像过于精细且场景复杂度达到一定规模以后，三维形体图像传输所产生的数据量会过于庞大，终端需要接受来自服务器端的巨大数据流量，在网络不畅或者达不到所需的网络条件时，用户使用虚拟现实场景时会出现卡顿或精度降低。同时，各个显示终端对虚拟现实场景显示的精度支持通常也不尽相同。使用现有的虚拟现实场景的显示方法在每一个类型的终端上显示虚拟现实场景，会使用户体验较差。
发明内容
有鉴于此，本发明实施例提供了一种在终端显示虚拟现实场景的方法，以解决现有技术中在终端对虚拟现实场景显示时精度偏低的技术问题。该方法包括：
将待显示的三维形体图像转换为三维网格数据和三维点云数据；
分别对三维网格数据和三维点云数据进行压缩，生成二维的压缩三维网格数据和压缩三维点云数据；
利用二维的压缩三维网格数据生成基础三维坐标数据，计算二维的压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用压缩损失网格数据对基础三维坐标数据进行填充，生成待显示的虚拟现实场景的骨架数据；
通过压缩三维点云数据对骨架数据进行细节特征的填充，生成填充后三维图像数据；
将填充后三维图像数据转换为终端可执行的脚本语言，在通过终端的浏览器渲染脚本语言时，在浏览器中显示待显示的虚拟现实场景。
本发明实施例还提供了一种在终端显示虚拟现实场景的装置，以解决现有技术中在终端显示虚拟现实场景时精度偏低的技术问题。该装置包括：
三维形体图像转换模块，用于将待显示的三维形体图像转换为三维网格数据和三维点云数据；
数据压缩模块，用于分别对三维网格数据和三维点云数据进行压缩，生成二维的压缩三维网格数据和压缩三维点云数据；
三维数据重构模块，用于利用二维的压缩三维网格数据生成基础三维坐标数据，计算二维的压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用压缩损失网格数据对基础三维坐标数据进行填充，生成待显示的虚拟现实场景的骨架数据；
骨架数据填充模块，用于通过压缩三维点云数据对骨架数据进行细节特征的填充，生成填充后三维图像数据；
终端虚拟现实场景显示模块，用于将填充后三维图像数据转换为终端可执行的脚本语言，在通过终端的浏览器渲染脚本语言时，在浏览器中显示待显示的虚拟现实场景。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的在终端显示虚拟现实场景的方法，以解决现有技术中在终端显示虚拟现实场景时精度偏低的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的在终端显示虚拟现实场景的方法的计算机程序，以解决现有技术中在终端显示虚拟现实场景时精度偏低的技术问题。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：
将三维形体图像转换为三维网格数据和三维点云数据，通过三维网格数据生成骨架数据，将三维点云数据作为细节填充数据，为后续骨架数据的填充提供基础数据；分别对三维网格数据和三维点云数据进行压缩，能够降低三维数据的大小，进而降低终端接收三维数据的巨大数据流量；计算二维的压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用所述压缩损失网格数据对所述基础三维坐标数据进行填充并作为骨架数据，能够在三维数据大小降低的基础上，提高骨架数据的模型精度；通过压缩三维点云数据对骨架数据进行细节特征的填充，在使得大部分细节保留的同时，达到减小三维图像数据的大小的目的；最后，将三维图像数据转换为统一的脚本语言，脚本语言可在各种类型的终端的浏览器中运行，以达到在各种类型的终端上显示虚拟现实场景的目的，由于上述三维图像数据达到了降低大小且提高内容本身精度的效果，使得在各种类型终端上显示虚拟现实场景时，可以最小限度的使用各种类型终端的传输流量，并在各种类型终端上都能实现高精度的显示，进而有利于改善用户的感知体验。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种在终端显示虚拟现实场景的方法的流程图；
图2是本发明实施例提供的一种计算机设备的结构框图；
图3是本发明实施例提供的一种在终端显示虚拟现实场景的装置的结构框图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明实施例中，提供了一种在终端显示虚拟现实场景的方法，如图1所示，该方法包括：
步骤S101：将待显示的三维形体图像转换为三维网格数据和三维点云数据；
步骤S102：分别对三维网格数据和三维点云数据进行压缩，生成二维的压缩三维网格数据和压缩三维点云数据；
步骤S103：利用二维的压缩三维网格数据生成基础三维坐标数据，计算二维的压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用压缩损失网格数据对基础三维坐标数据进行填充，生成待显示的虚拟现实场景的骨架数据；
步骤S104：通过压缩三维点云数据对骨架数据进行细节特征的填充，生成填充后三维图像数据；
步骤S105：将填充后三维图像数据转换为终端可执行的脚本语言，在通过终端的浏览器渲染脚本语言时，在浏览器中显示待显示的虚拟现实场景。
具体实施时，通过以下步骤实现利用压缩三维网格数据生成基础三维坐标数据，计算二维的压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用压缩损失网格数据对基础三维坐标数据进行填充生成待显示的虚拟现实场景的骨架数据：
将压缩三维网格数据中的二维坐标转为三维坐标，生成基础三维坐标数据；通过损失函数计算三维网格数据和压缩三维网格数据之间的差值，得到压缩损失网格数据；使用压缩损失网格数据对基础三维坐标数据进行补充，生成补充三维坐标数据，将补充三维坐标数据作为骨架数据。
具体的，为了便于服务器和终端之间的数据传输，首先必须将待显示的三维形体图像进行压缩，同时，为了后续填充中，能够有骨架数据和细节填充数据两种类型的数据，所以首先将三维形体图像转换为三维网格数据和三维点云数据。其中，三维网格数据用于构建虚拟现实场景的骨架数据，三维点云数据用于构建虚拟现实场景的细节特征。
具体的，计算三维网格数据和压缩三维网格数据之间压缩损失网格数据，并使用压缩损失网格数据作为补充数据来提高三维坐标数据的数据精度，在降低数据大小的同时，提高了三维坐标数据本身的精度，最终达到提高虚拟现实场景的精度的目的。
具体的，三维点云数据作为细节填充数据，经过压缩后，能有效降低数据大小，同时，由于压缩三维点云数据带来的细节损失小于直接压缩三维形体图像带来的损失，进而保证了终端上虚拟现实场景的精度。
具体实施时，通过以下步骤实现将压缩三维网格数据中的二维坐标转为三维坐标，生成基础三维坐标数据：
针对压缩三维网格数据中的二维坐标里的每个网格顶点，使用矩阵算法计算每个网格顶点在压缩前的三维坐标和压缩后的二维坐标的差异数据，并将所有网格顶点的差异数据生成差异数据集；利用动态规划算法，基于差异数据集，通过坐标系转换的方式，将每个网格顶点压缩后的二维坐标数据转换为三维坐标数据；将所有网格顶点的三维坐标数据组合生成基础三维坐标数据。
具体实施时，通过以下步骤实现对三维网格数据进行压缩，生成压缩三维网格数据：
遍历所述三维网格数据中所有的表面的三角网格，将所述三维网格数据中的每个表面的三角网格转换为拓扑形式；将每个表面的三角网格的拓扑形式生成拓扑符；将所有表面三角网格的所述拓扑符生成拓扑符组；将所述拓扑符组生成拓扑符列表并编码后输出，生成二维的所述压缩三维网格数据。
具体的，三角网格之间的拓扑连接关系主要体现在三角形的点线面的连接上。拓扑关系是指图形元素之间在空间上的相互连接、邻接关系并不考虑具体位置。
具体实施时，通过以下步骤实现对三维点云数据进行压缩，生成压缩三维点云数据：
将三维点云数据进行预处理，生成待处理点云数据；选取待处理点云数据的一部分数据作为预编码点云数据，分别采用霍夫曼编码、算术编码和非对称数字系统对预编码点云数据进行预编码，比较使用每种编码方式编码后产生的码流的大小，选择码流大小最小的编码方式作为熵编码方式；使用选择的熵编码对待处理点云数据进行压缩，生成压缩三维点云数据。
具体的，分别计算使用霍夫曼编码、算术编码和非对称数字系统编码后的码流大小。比较三种编码方式的码流大小，选择码流大小最小的编码方式作为最终的熵编码方式。
具体实施时，还可以采取其他方式压缩三维点云数据，例如，将所述三维点云数据进行预处理，生成待处理点云数据；将所述待处理点云数据的每个点云帧划分为多个编码块，分别对每个所述编码块计算编码系数，如通过预测、变换和量化等方式得到每个所述编码块的编码系数，每个所述点云帧的各个所述编码块的编码系数形成每个点云帧的一组编码系数，通过每个所述点云帧的一组编码系数，得到每个所述点云帧的编码系数；根据每个所述点云帧的所述编码系数，采用三通道和单通道的编码方式对每个所述点云数据进行预编码，通过预编码的结果确定熵编码种类；使用确定的所述熵编码对所述三维点云数据进行压缩，生成所述压缩三维点云数据。
具体的，熵在编码中，是对信息的衡量，熵越大，表明所包含的信息越多。对于高频出现的事件，其本身包含的信息其实是不多的，所以其对应的熵更小。而低频出现的事件，其包含的信息更多，对应的熵更大。常用的熵编码包括霍夫曼编码、算术编码以及非对称数字系统等。霍夫曼编码是速度最快的熵编码，其基本原理是基于统计的频率，构建二叉树，最后高频率的字符用最短的编码表示，最低频率的字符用最长的编码来表示，其基本的操作就是不断构建二叉树的过程，即构建霍夫曼树，执行霍夫曼编码。算术编码是一种无限接近熵编码理论值的编码，其本质操作就是用一个[0，1)的小数来表示最终的编码结果，其基本操作也是基于统计来进行。非对称数字系统结合了这两种方法的最佳特性。它可以像算术编码一样简洁地表示一串符号，但编码和解码步骤像霍夫曼编码一样具有很快的速度。通过上述方法，选择适合的熵编码类型对三维点云数据进行压缩。
具体实施时，通过以下步骤实现对将填充后三维图像数据转换为终端可执行的脚本语言：
将填充后三维图像数据转换为图形语言传输格式文件；将图形语言传输格式文件转换为终端可执行的脚本语言。
具体的，上述终端可以包括电脑端、移动端、AR设备端和VR设备端等不同类型的终端，生成的脚本语言在上述终端上均可执行。
具体的，采用转换工具将图形语言传输格式文件（如*.gltf或者*.glb等）转换为浏览器可执行的脚本语言文件。
具体实施时，为了加强虚拟现实场景的用户体验，提出了对生成的脚本语言中追加动画效果，可以通过以下步骤实现：
生成脚本语言后，利用脚本动画库，在脚本语言中增加动画效果和基于时间轴连续变化的动画效果，以对脚本语言进行内容扩展。
具体的，动画效果包括诸如淡入淡出、滚动、停止、结束、翻转、水波涟漪等。同时，脚本动画库还支持基于创建对象的移动和位置的时间顺序创建基于时间轴的变化的动画效果。
具体实施时，上述在终端显示虚拟现实场景的方法的可以在服务器上运行，即在服务器上运行上述在终端显示虚拟现实场景的方法后，即可得到将填充后三维图像数据转换为终端可执行的脚本语言，进而在各类型的终端上显示待显示的虚拟现实场景时，各类型的终端只需要传输获取该脚本语言并进行渲染，即可在览器中显示待显示的虚拟现实场景。
在本实施例中，提供了一种计算机设备，如图2所示，包括存储器201、处理器202及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的在终端显示虚拟现实场景的方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的在终端显示虚拟现实场景的方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种在终端显示虚拟现实场景的装置，如下面的实施例所述。由于在终端显示虚拟现实场景的装置解决问题的原理与在终端显示虚拟现实场景的方法相似，因此在终端显示虚拟现实场景的装置的实施可以参见在终端显示虚拟现实场景的方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是本发明实施例的在终端显示虚拟现实场景的装置的一种结构框图，如图3所示，包括：三维形体图像转换模块301、数据压缩模块302、三维数据重构模块303、骨架数据填充模块304和终端虚拟现实场景显示模块305，下面对该结构进行说明。
三维形体图像转换模块301，用于将待显示的三维形体图像转换为三维网格数据和三维点云数据；
数据压缩模块302，用于分别对三维网格数据和三维点云数据进行压缩，生成二维的压缩三维网格数据和压缩三维点云数据；
三维数据重构模块303，用于利用二维的压缩三维网格数据生成基础三维坐标数据，计算二维的压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用压缩损失网格数据对基础三维坐标数据进行填充，生成待显示的虚拟现实场景的骨架数据；
骨架数据填充模块304，用于通过压缩三维点云数据对骨架数据进行细节特征的填充，生成填充后三维图像数据；
终端虚拟现实场景显示模块305，用于将填充后三维图像数据转换为终端可执行的脚本语言，在通过终端的浏览器渲染脚本语言时，在浏览器中显示待显示的虚拟现实场景。
在一个实施例中，数据压缩模块，包括：
拓扑形式转换单元，用于遍历三维网格数据中所有的表面的三角网格，将三维网格数据中的每个表面的三角网格转换为拓扑形式；
拓扑符生成单元，用于将每个表面的三角网格的拓扑形式生成拓扑符；
拓扑符组生成单元，用于将所有表面三角网格的拓扑符生成拓扑符组；
三维网格数据压缩单元，用于将拓扑符组生成拓扑符列表并编码后输出，生成二维的压缩三维网格数据。
在一个实施例中，数据压缩模块，还包括：
待处理单元，用于将三维点云数据进行预处理，生成待处理点云数据；
预编码单元，用于选取待处理点云数据的一部分数据作为预编码点云数据，分别采用霍夫曼编码、算术编码和非对称数字系统对预编码点云数据进行预编码，比较使用每种编码方式编码后产生的码流的大小，选择码流大小最小的编码方式作为熵编码方式；
三维点云数据压缩单元，使用选择的熵编码对待处理点云数据进行压缩，生成压缩三维点云数据。
在一个实施例中，三维数据重构模块，包括：
坐标转换单元，用于将压缩三维网格数据中的二维坐标转为三维坐标，生成基础三维坐标数据；
压缩损失数据计算单元，用于通过损失函数计算三维网格数据和压缩三维网格数据之间的差值，得到压缩损失网格数据；
三维坐标数据填充单元，用于使用压缩损失网格数据对基础三维坐标数据进行补充，生成补充三维坐标数据，将补充三维坐标数据作为骨架数据。
在一个实施例中，坐标转换单元，用于针对压缩三维网格数据中的二维坐标里的每个网格顶点，使用矩阵算法计算每个网格顶点在压缩前的三维坐标和压缩后的二维坐标的差异数据，并将所有网格顶点的差异数据生成差异数据集；利用动态规划算法，基于差异数据集，通过坐标系转换的方式，将每个网格顶点压缩后的二维坐标数据转换为三维坐标数据；将所有网格顶点的三维坐标数据组合生成基础三维坐标数据。
在一个实施例中，终端虚拟现实场景显示模块，包括：
图形语言传输格式转换单元，用于将填充后三维图像数据转换为图形语言传输格式文件；
脚本语言转换单元，用于将图形语言传输格式文件转换为终端可执行的脚本语言。
在一个实施例中，上述装置还包括：
脚本语言扩展模块，用于生成脚本语言后，利用脚本动画库，在脚本语言中增加动画效果和基于时间轴连续变化的动画效果，以对脚本语言进行内容扩展。
本发明实施例实现了如下技术效果：将三维形体图像转换为三维网格数据和三维点云数据，通过三维网格数据生成骨架数据，将三维点云数据作为细节填充数据，为后续骨架数据的填充提供基础数据；分别对三维网格数据和三维点云数据进行压缩，能够降低三维数据的大小，进而降低终端接收三维数据的巨大数据流量；计算二维的压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用所述压缩损失网格数据对所述基础三维坐标数据进行填充并作为骨架数据，能够在三维数据大小降低的基础上，提高骨架数据的模型精度；通过压缩三维点云数据对骨架数据进行细节特征的填充，在使得大部分细节保留的同时，达到减小三维图像数据的大小的目的；最后，将三维图像数据转换为统一的脚本语言，脚本语言可在各种类型的终端的浏览器中运行，达到在各种类型的终端上显示虚拟现实场景的目的，由于上述三维图像数据达到了降低大小且提高内容本身精度的效果，使得在各种类型终端上显示虚拟现实场景时，可以最小限度的使用各种类型终端的传输流量，并在各种类型终端上都能实现高精度的显示，进而有利于改善用户的感知体验；可通过脚本动画库在脚本语言中增加各种动画效果，能够提高用户在虚拟现实场景中的操作体验。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种在终端显示虚拟现实场景的方法，其特征在于，包括：
将待显示的三维形体图像转换为三维网格数据和三维点云数据；
分别对所述三维网格数据和所述三维点云数据进行压缩，生成二维的压缩三维网格数据和压缩三维点云数据；
利用二维的所述压缩三维网格数据生成基础三维坐标数据，计算二维的所述压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用所述压缩损失网格数据对所述基础三维坐标数据进行填充，生成所述待显示的虚拟现实场景的骨架数据；
通过所述压缩三维点云数据对所述骨架数据进行细节特征的填充，生成填充后三维图像数据；
将所述填充后三维图像数据转换为终端可执行的脚本语言，在通过所述终端的浏览器渲染所述脚本语言时，在所述浏览器中显示所述待显示的虚拟现实场景。
2.如权利要求1所述的在终端显示虚拟现实场景的方法，其特征在于，利用所述压缩三维网格数据生成基础三维坐标数据，计算二维的所述压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用所述压缩损失网格数据对所述基础三维坐标数据进行填充生成所述待显示的虚拟现实场景的骨架数据，包括：
将所述压缩三维网格数据中的二维坐标转为三维坐标，生成基础三维坐标数据；
通过损失函数计算所述三维网格数据和所述压缩三维网格数据之间的差值，得到所述压缩损失网格数据；
使用所述压缩损失网格数据对所述基础三维坐标数据进行补充，生成补充三维坐标数据，将所述补充三维坐标数据作为所述骨架数据。
3.如权利要求2所述的在终端显示虚拟现实场景的方法，其特征在于，将所述压缩三维网格数据中的二维坐标转为三维坐标，生成基础三维坐标数据，包括：
针对所述压缩三维网格数据中的二维坐标里的每个网格顶点，使用矩阵算法计算每个网格顶点在压缩前的三维坐标和压缩后的二维坐标的差异数据，并将所有网格顶点的差异数据生成差异数据集；
利用动态规划算法，基于所述差异数据集，通过坐标系转换的方式，将每个网格顶点压缩后的二维坐标数据转换为三维坐标数据；
将所有网格顶点的三维坐标数据组合生成所述基础三维坐标数据。
4.如权利要求1所述的在终端显示虚拟现实场景的方法，其特征在于，对所述三维网格数据进行压缩，生成压缩三维网格数据，包括：
遍历所述三维网格数据中所有的表面的三角网格，将所述三维网格数据中的每个表面的三角网格转换为拓扑形式；
将每个表面的三角网格的拓扑形式生成拓扑符；
将所有表面三角网格的所述拓扑符生成拓扑符组；
将所述拓扑符组生成拓扑符列表并编码后输出，生成二维的所述压缩三维网格数据。
5.如权利要求1所述的在终端显示虚拟现实场景的方法，其特征在于，对所述三维点云数据进行压缩，生成压缩三维点云数据，包括：
将所述三维点云数据进行预处理，生成待处理点云数据；
选取待处理点云数据的一部分数据作为预编码点云数据，分别采用霍夫曼编码、算术编码和非对称数字系统对所述预编码点云数据进行预编码，比较使用每种编码方式编码后产生的码流的大小，选择码流大小最小的编码方式作为熵编码方式；
使用选择的熵编码对所述待处理点云数据进行压缩，生成压缩三维点云数据。
6.如权利要求1所述的在终端显示虚拟现实场景的方法，其特征在于，将所述填充后三维图像数据转换为终端可执行的脚本语言，包括：
将所述填充后三维图像数据转换为图形语言传输格式文件；
将所述图形语言传输格式文件转换为所述终端可执行的脚本语言。
7.如权利要求1至6中任一项所述的在终端显示虚拟现实场景的方法，其特征在于，还包括：
生成所述脚本语言后，利用脚本动画库，在所述脚本语言中增加动画效果和基于时间轴连续变化的动画效果，以对所述脚本语言进行内容扩展。
8.一种在终端显示虚拟现实场景的装置，其特征在于，包括：
三维形体图像转换模块，用于将待显示的三维形体图像转换为三维网格数据和三维点云数据；
数据压缩模块，用于分别对所述三维网格数据和所述三维点云数据进行压缩，生成二维的压缩三维网格数据和压缩三维点云数据；
三维数据重构模块，用于利用二维的所述压缩三维网格数据生成基础三维坐标数据，计算二维的所述压缩三维网格数据在压缩中损失的三维网格数据作为压缩损失网格数据，利用所述压缩损失网格数据对所述基础三维坐标数据进行填充，生成所述待显示的虚拟现实场景的骨架数据；
骨架数据填充模块，用于通过所述压缩三维点云数据对所述骨架数据进行细节特征的填充，生成填充后三维图像数据；
终端虚拟现实场景显示模块，用于将所述填充后三维图像数据转换为终端可执行的脚本语言，在通过所述终端的浏览器渲染所述脚本语言时，在所述浏览器中显示所述待显示的虚拟现实场景。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的在终端显示虚拟现实场景的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的在终端显示虚拟现实场景的方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967805.2A CN116704163B (zh) | 2023-08-03 | 2023-08-03 | 在终端显示虚拟现实场景的方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967805.2A CN116704163B (zh) | 2023-08-03 | 2023-08-03 | 在终端显示虚拟现实场景的方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116704163A true CN116704163A (zh) | 2023-09-05 |
| CN116704163B CN116704163B (zh) | 2023-10-31 |
Family
ID=87826099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310967805.2A Active CN116704163B (zh) | 2023-08-03 | 2023-08-03 | 在终端显示虚拟现实场景的方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704163B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843841A (zh) * | 2023-09-04 | 2023-10-03 | 四川物通科技有限公司 | 基于网格压缩的大规模虚拟现实系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020094823A (ko) * | 2001-06-13 | 2002-12-18 | 김창수 | 골격화를 이용한 3차원 체적소의 부호화 방법 |
| WO2014191055A1 (en) * | 2013-05-31 | 2014-12-04 | Longsand Limited | Three-dimensional object modeling |
| CN104392387A (zh) * | 2014-10-10 | 2015-03-04 | 华电电力科学研究院 | 一种基于Unity3D的圆形煤场三维智能可视化展示平台 |
| CN105844691A (zh) * | 2016-04-15 | 2016-08-10 | 武汉理工大学 | 无序点云三维重建方法 |
| CN111316650A (zh) * | 2017-10-27 | 2020-06-19 | 松下电器（美国）知识产权公司 | 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法 |
| CN111860666A (zh) * | 2020-07-27 | 2020-10-30 | 湖南工程学院 | 一种基于点云与图像自注意力机制融合的3d目标检测方法 |
| KR20210147626A (ko) * | 2020-05-29 | 2021-12-07 | 연세대학교 산학협력단 | 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법 |
| US20220028119A1 (en) * | 2018-12-13 | 2022-01-27 | Samsung Electronics Co., Ltd. | Method, device, and computer-readable recording medium for compressing 3d mesh content |
| CN114445584A (zh) * | 2020-11-04 | 2022-05-06 | 复旦大学 | 基于彩色点云生成带纹理三维网格模型的方法及装置 |
| KR20220085694A (ko) * | 2020-12-15 | 2022-06-22 | 광운대학교 산학협력단 | 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템 |
| US20220292728A1 (en) * | 2021-03-15 | 2022-09-15 | Shenzhen University | Point cloud data processing method and device, computer device, and storage medium |
| US20230055026A1 (en) * | 2020-12-07 | 2023-02-23 | Tencent Technology (Shenzhen) Company Limited | Point cloud data encoding method, point cloud data decoding method, point cloud data processing method, apparatuses, electronic device, computer program product, and computer-readable storage medium |
| CN116189147A (zh) * | 2023-02-23 | 2023-05-30 | 大连理工大学 | 一种基于yolo的三维点云低功耗快速目标检测方法 |
| CN116415019A (zh) * | 2021-12-28 | 2023-07-11 | 中移（杭州）信息技术有限公司 | 虚拟现实vr图像识别方法及装置、电子设备、存储介质 |
-
2023
- 2023-08-03 CN CN202310967805.2A patent/CN116704163B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020094823A (ko) * | 2001-06-13 | 2002-12-18 | 김창수 | 골격화를 이용한 3차원 체적소의 부호화 방법 |
| WO2014191055A1 (en) * | 2013-05-31 | 2014-12-04 | Longsand Limited | Three-dimensional object modeling |
| CN104392387A (zh) * | 2014-10-10 | 2015-03-04 | 华电电力科学研究院 | 一种基于Unity3D的圆形煤场三维智能可视化展示平台 |
| CN105844691A (zh) * | 2016-04-15 | 2016-08-10 | 武汉理工大学 | 无序点云三维重建方法 |
| CN111316650A (zh) * | 2017-10-27 | 2020-06-19 | 松下电器（美国）知识产权公司 | 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法 |
| US20220028119A1 (en) * | 2018-12-13 | 2022-01-27 | Samsung Electronics Co., Ltd. | Method, device, and computer-readable recording medium for compressing 3d mesh content |
| KR20210147626A (ko) * | 2020-05-29 | 2021-12-07 | 연세대학교 산학협력단 | 경쟁적 학습을 이용한 3차원 얼굴 이미지 합성 장치 및 방법 |
| CN111860666A (zh) * | 2020-07-27 | 2020-10-30 | 湖南工程学院 | 一种基于点云与图像自注意力机制融合的3d目标检测方法 |
| CN114445584A (zh) * | 2020-11-04 | 2022-05-06 | 复旦大学 | 基于彩色点云生成带纹理三维网格模型的方法及装置 |
| US20230055026A1 (en) * | 2020-12-07 | 2023-02-23 | Tencent Technology (Shenzhen) Company Limited | Point cloud data encoding method, point cloud data decoding method, point cloud data processing method, apparatuses, electronic device, computer program product, and computer-readable storage medium |
| KR20220085694A (ko) * | 2020-12-15 | 2022-06-22 | 광운대학교 산학협력단 | 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템 |
| US20220292728A1 (en) * | 2021-03-15 | 2022-09-15 | Shenzhen University | Point cloud data processing method and device, computer device, and storage medium |
| CN116415019A (zh) * | 2021-12-28 | 2023-07-11 | 中移（杭州）信息技术有限公司 | 虚拟现实vr图像识别方法及装置、电子设备、存储介质 |
| CN116189147A (zh) * | 2023-02-23 | 2023-05-30 | 大连理工大学 | 一种基于yolo的三维点云低功耗快速目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 潘志广: "保持纹理色彩特征的三维网格与点云模型简化方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843841A (zh) * | 2023-09-04 | 2023-10-03 | 四川物通科技有限公司 | 基于网格压缩的大规模虚拟现实系统 |
| CN116843841B (zh) * | 2023-09-04 | 2023-11-21 | 四川物通科技有限公司 | 基于网格压缩的大规模虚拟现实系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116704163B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110166757B (zh) | 用计算机实现的压缩数据的方法、系统、存储介质 | |
| Miao et al. | 3D geographic scenes visualization based on WebGL | |
| KR20090080421A (ko) | ３차원 메쉬 모델의 메쉬 데이터의 압축 및 복원 방법 및시스템 | |
| CN116704163B (zh) | 在终端显示虚拟现实场景的方法、装置、设备及介质 | |
| US7138998B2 (en) | Multi-resolution spatial partitioning | |
| US20220028119A1 (en) | Method, device, and computer-readable recording medium for compressing 3d mesh content | |
| US20150154796A1 (en) | Accelerated three-dimensional intersection testing using compressed volumes | |
| CN113593051B (zh) | 一种实景可视化方法及大坝可视化方法及计算机设备 | |
| CN111435551B (zh) | 点云滤波方法、装置及存储介质 | |
| CN102497545B (zh) | 内容自适应和艺术可引导可缩放视频编码 | |
| JP2012068881A (ja) | ３次元動画像の圧縮に用いる基本単位及び当該基本単位の生成方法、当該基本単位を用いた３次元動画像の圧縮方法 | |
| CN106887032B (zh) | 三维场景渲染方法和系统以及相关设备 | |
| US11418769B1 (en) | Viewport adaptive volumetric content streaming and/or rendering | |
| Chen et al. | Progressive visualization of complex 3D models over the internet | |
| CN116977523B (zh) | 一种step格式在web端的渲染方法 | |
| CN116612223B (zh) | 数字孪生模拟空间的生成方法、装置、计算机设备和介质 | |
| CN114556147A (zh) | 点云几何上采样 | |
| CN114708377B (zh) | 一种虚拟空间中的3d图像渲染方法 | |
| CN114170394B (zh) | 一种海量倾斜数据在Web端的展示优化方法及装置 | |
| CN113470172B (zh) | 一种OBJ三维模型转换3DTiles方法 | |
| Zhang et al. | Hybrid coding for animated polygonal meshes: Combining delta and octree | |
| Scheib et al. | Efficient fitting and rendering of large scattered data sets using subdivision surfaces | |
| CN116664743B (zh) | 基于全球格网的电离层tec数据高动态渲染方法及系统 | |
| JP2006277772A (ja) | 情報処理装置、情報処理方法、情報処理プログラム、記録媒体、及び情報提供装置 | |
| KR101086772B1 (ko) | 양자화 기법에 기반한 3차원 메쉬 압축 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |