CN113240786B - 一种视频点云渲染方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种视频点云渲染方法、装置、电子设备及存储介质，获取在相同世界坐标系下的一组PLY文件，依次解析每个PLY文件，得到PLY文件中的点信息和面信息，将每个点的点属性信息转换为第一类型数据得到点属性信息组，将每个面的面属性信息中的顶点序号值转换成第二类型数据得到面属性信息组，将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中，当所有的PLY文件解析完毕后，读取视频点云流文件进行视频点云渲染。本发明在进行视频点云渲染之前，将点属性信息和面的顶点序号值均进行了统一转换，并进行了顺序存储，在提高渲染效率的同时可实时渲染，使渲染得到的物体是一个动态物体。

Description

一种视频点云渲染方法、装置、电子设备及存储介质

技术领域

本发明涉及点云渲染技术领域，更具体的说，涉及一种视频点云渲染方法、装置、电子设备及存储介质。

背景技术

点云是空间坐标系下点的数据集合，点云中的每个点包括三维空间坐标 (x，y，z)、颜色值和法线等属性信息。点云通常以标准格式PLY(Polygon File Format，多边形文件格式)文件格式表示，渲染PLY文件即在三维空间下，将PLY文件中所有的点按照位置画出来，并按照对应的颜色渲染上，即可在屏幕上出现渲染PLY文件得到的物体。在三维空间里，可以任意转换观察着的视角，任意移动视角，任意缩放视角观看物体。比如，PLY文件描述的是一个茶壶，对PLY文件渲染完成后，在屏幕上会出现一个茶壶，通过拖拽等操作，可以上下左右360度任意旋转、缩放和平移茶壶。

目前点云渲染软件，如MeshLab等等，都只能渲染单帧点云文件。由于PLY 文件中的点坐标、颜色值等信息的存储方式各异，且均为离散存储，而每个 PLY文件很大，一个PLY文件可以包含几十万个点的物体，该物体是三维空间下的物体，通常用一系列的三角形表示，因此，一个PLY文件可以形成约一百万个三角形区域，单帧PLY文件占用的存储空间可能达到几十MB。因此，在进行视频渲染时，边读取PLY文件中的点信息并进行格式转换，边进行渲染的效率比较低，从而视频点云无法做到实时渲染，导致渲染得到的物体是一个静止不动的物体，虽然在世界坐标系中的任意位置可以观察此物体，但是物体一直保持静止，显得非常单调。

发明内容

有鉴于此，本发明公开一种视频点云渲染方法、装置、电子设备及存储介质，以实现在进行视频点云渲染之前，将各个点的点属性信息统一转换为第一类型数据，以及将各个面的顶点序号值统一转换成第二类型数据，并将格式统一后的点信息和面信息顺序存储，使得在进行视频点云渲染时，无需对点信息和面信息进行格式转换，而是直接进行渲染即可，从而实现了在提高渲染效率的同时，也可以做到视频点云的实时渲染，使得渲染得到的物体是一个动态物体，大大提高用户体验。

一种视频点云渲染方法，包括：

获取在相同世界坐标系下的一组多边形文件格式PLY文件；

依次解析每个所述PLY文件，得到所述PLY文件中的点信息和面信息，所述点信息包括：点个数信息和每个点的点属性信息，所述面信息包括：面个数信息和每个面的面属性信息；

将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组；

将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组；

将所述点个数信息、所述点属性信息组、所述面个数信息和所述面属性信息组依次连续存储至新建的视频点云流文件中；

当所有的所述PLY文件解析完毕后，读取所述视频点云流文件进行视频点云渲染。

可选的，所述点属性信息至少包括：点坐标以及所述点坐标在所述PLY 文件中的存储格式，所述存储格式包括：大端模式、小端模式和字符串模式。

可选的，在所述将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组之后，还包括：

将所述点个数信息和所述点属性信息组连续存储至第一内存数组中。

可选的，所述面属性信息包括：顶点个数信息和每个顶点序号值在所述 PLY文件中的存储格式，所述存储格式包括：大端模式、小端模式和字符串模式。

可选的，所述将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组，具体包括：

判断每个面中包含的顶点个数信息是否等于三个或大于三个；

如果所述顶点个数信息等于三个，则将三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至第二内存数组中；

如果所述顶点个数信息大于三个，则将顶点个数信息大于三个的面拆分成每三个顶点为一组的多个三角形子面，其中，各个所述三角形子面之间不存在重叠区域；

将每个所述三角形子面的三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至所述第二内存数组中。

可选的，所述视频点云流文件为一个或多个。

一种视频点云渲染装置，包括：

获取单元，用于获取在相同世界坐标系下的一组多边形文件格式PLY文件；

解析单元，用于依次解析每个所述PLY文件，得到所述PLY文件中的点信息和面信息，所述点信息包括：点个数信息和每个点的点属性信息，所述面信息包括：面个数信息和每个面的面属性信息；

第一转换单元，用于将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组；

第二转换单元，将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组；

存储单元，用于将所述点个数信息、所述点属性信息组、所述面个数信息和所述面属性信息组依次连续存储至新建的视频点云流文件中；

渲染单元，用于当所有的所述PLY文件解析完毕后，读取所述视频点云流文件进行视频点云渲染。

可选的，还包括：

第一存储单元，用于在所述第一转换单元将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组之后，将所述点个数信息和所述点属性信息组连续存储至第一内存数组中。

可选的，所述第二转换单元具体用于：

判断每个面中包含的顶点个数信息是否等于三个或大于三个；

如果所述顶点个数信息等于三个，则将三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至第二内存数组中；

如果所述顶点个数信息大于三个，则将顶点个数信息大于三个的面拆分成每三个顶点为一组的多个三角形子面，其中，各个所述三角形子面之间不存在重叠区域；

将每个所述三角形子面的三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至所述第二内存数组中。

一种电子设备，所述电子设备包括存储器和处理器；

所述存储器用于存储至少一个指令；

所述处理器用于执行所述至少一个指令以实现如上述所述的视频点云渲染方法。

一种计算机可读存储介质，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现如上述所述的视频点云渲染方法。

从上述的技术方案可知，本发明公开了一种视频点云渲染方法、装置、电子设备及存储介质，获取在相同世界坐标系下的一组PLY文件，依次解析每个PLY文件，得到PLY文件中的点信息和面信息，将每个点的点属性信息转换为第一类型数据，得到点属性信息组，以及将每个面的面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组，将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中，当所有的PLY文件解析完毕后，读取视频点云流文件进行视频点云渲染。本发明在进行视频点云渲染之前，将各个点的点属性信息统一转换为第一类型数据，以及将各个面的顶点序号值统一转换成第二类型数据，并将格式统一后的点信息和面信息顺序存储，使得在进行视频点云渲染时，无需对点信息和面信息进行格式转换，而是直接进行渲染即可，从而实现了在提高渲染效率的同时，也可以做到视频点云的实时渲染，使得渲染得到的物体是一个动态物体，大大提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。

图1为本发明实施例公开的一种视频点云渲染方法流程图；

图2为本发明实施例公开的一种将每个面的面属性信息中的顶点序号值转换成第二类型数据得到面属性信息组的方法流程图；

图3为本发明实施例公开的一种视频点云渲染装置的结构示意图。

具体实施方式

本发明的发明人经过研究后发现，导致PLY文件格式不适合视频点云渲染的原因与PLY文件格式的定义相关。PLY文件中主要定义了“点”和“面”两种元素。最基本的元素是“点”，“点”可以包括很多属性信息，包括：三维空间坐标(x，y，z)，颜色值(r，g，b)和法线(nx，ny，nz)等信息。这些属性信息可以为浮点数，也可以为整数。每个属性信息对应的值可以大端模式、小端模式或字符串的形式存储于PLY文件中。而渲染引擎，如OpenGL，一般只接受一种数据格式，所以在进行渲染的过程中需要进行格式转换。由于PLY文件中的点数量较多，因此，在渲染过程中对PLY文件中的点实时进行格式转换不现实。

“面”的信息包含两部分，第一部分为一个“面”由几个顶点组成，第二部分为每个顶点的索引。目前，主流的3D渲染模块，通常都是以三角形作为基本的渲染单元，所以当“面”为多边形的面时，也需要对“面”进行转换。

为解决PLY文件格式不适合视频点云渲染的问题，本发明提供了一种视频点云渲染方法、装置、电子设备及存储介质，获取在相同世界坐标系下的一组PLY文件，依次解析每个PLY文件，得到PLY文件中的点信息和面信息，将每个点的点属性信息转换为第一类型数据，得到点属性信息组，以及将每个面的面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组，将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中，当所有的PLY文件解析完毕后，读取视频点云流文件进行视频点云渲染。本发明在进行视频点云渲染之前，将各个点的点属性信息统一转换为第一类型数据，以及将各个面的顶点序号值统一转换成第二类型数据，并将格式统一后的点信息和面信息顺序存储，使得在进行视频点云渲染时，无需对点信息和面信息进行格式转换，而是直接进行渲染即可，从而实现了在提高渲染效率的同时，也可以做到视频点云的实时渲染，使得渲染得到的物体是一个动态物体，大大提高了用户体验。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例公开的一种视频点云渲染方法流程图，该方法包括：

步骤S101、获取在相同世界坐标系下的一组PLY文件；

其中，PLY文件中包括：点属性信息以及面信息，面信息具体可以为顶点组成三角形信息，点属性信息可以包括：三维空间坐标(x，y，z)，颜色值(r，g，b)和法线(nx，ny，nz)等信息。面信息包含两部分，第一部分为一个“面”由几个顶点组成，第二部分为每个顶点的索引。

在实际应用中，PLY文件中还可以包括点颜色信息和点法线信息等，并不做具体限定。

本实施例中获取的一组PLY文件可以为：单位时间播放视频帧所需的 PLY文件，比如，每秒播放25帧视频，则每秒需要提供25个PLY文件。

步骤S102、依次解析每个所述PLY文件，得到所述PLY文件中的点信息和面信息；

其中，所述点信息包括：点个数信息和每个点的点属性信息，所述面信息包括：面个数信息和每个面的面属性信息。

步骤S103、将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组；

在实际应用中，点的各种属性也可以支持其他类型，如整型或字符串类型。目前主流渲染引擎用的是浮点型数据，如果渲染引擎支持整型等类型，或者以后又出现一种新的渲染引擎，支持新的数据类型。则点属性信息转换格式只需要做相应调整即可，视频点云流文件也可以支持新的数据类型。

渲染引擎里的点属性数据最常用浮点型表示，每个浮点数用4字节表示，整个文件大小也比较合理适中，因此，本实施例优选第一类型数据为浮点型数据。若将点属性信息转成字符串类型，不仅文件会变得很大，而且点属性信息转换成字符串类型相对于将点属性信息转换为浮点型数据而言，数据转换速率低。

由于点属性信息中，各个属性对应的值的存储格式各异，可以为大端模式、小端模式和字符串模式三种格式中的一种，因此，本发明为减少视频渲染时，边渲染边进行格式转换的工作量，在进行视频渲染之前，将每个点的属性信息均转换为第一类型数据，实现各个属性存储格式的统一，从而省去边渲染边对各个属性进行格式转换的工作量。

步骤S104、将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组；

由于将顶点序号值转换成整数类型相对于转换成其他类型而言，数据转换速率快，因此，本实施例中，第二类型数据优选整数类型。

其中，面属性信息包括：顶点个数信息和每个顶点序号值在PLY文件中的存储格式，存储格式包括：大端模式、小端模式和字符串模式。也即，每个顶点序号值为大端模式、小端模式和字符串模式三种格式中的一种，并存储于PLY文件中。

同样，本发明为减少视频渲染时，边渲染边进行格式转换的工作量，在进行视频渲染之前，将每顶点序号值均转换成第二类型数据，实现各个顶点序号值存储格式的统一，从而省去边渲染边对各个顶点序号值进行格式转换的工作量。

步骤S105、将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中；

本实施例中，预先根据操作系统提供的API(Application ProgrammingInterface，应用程序接口)新建视频点云流文件，新建的视频点云流文件在初始状态时为空，在执行完步骤S101～步骤S104后，将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中。在存储过程中，可以将前第一预设数量的字节保存点个数信息，比如，将前4 个字节保存点个数信息，然后保存完整的点属性信息组，比如，后续4个字节保存完整的点属性信息组，当所有的点信息存储完成后，再依次存储面个数信息以及全部的面属性信息。

举例说明，视频点云流文件存储格式可参见表1所示，表1如下：

表1

本发明将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件的过程具体如下：

1、文件第0到3字节，共4个字节为一个整数，代表这个文件里有多少个点，图中为10个点；

2、文件第4到7字节，10.83是第1个点在空间立体几何中的X坐标，为4字节浮点数，范围是[-∞,+∞]；

3、文件第8到11字节，-2.41是第1个点在空间立体几何中的Y坐标，为4字节浮点数，范围是[-∞,+∞]；

4、文件第12到15字节，3.69是第1个点在空间立体几何中的Z坐标，为4字节浮点数，范围是[-∞,+∞]；

5、文件第16到19字节，0.33是第1个点的R(红色)颜色分量，为4字节浮点数，范围是[0,1.0]；

6、文件第20到23字节，0.8是第1个点的G(绿色)颜色分量，为4字节浮点数，范围是[0,1.0]；

7、文件第24到27字节，0.57是第1个点的B(蓝色)颜色分量，为4字节浮点数，范围是[0,1.0]；

8、文件第28到31字节，5.25是第2个点在空间立体几何中的X坐标，为4字节浮点数，范围是[-∞,+∞]；

9、文件第32到35字节，1.78是第2个点在空间立体几何中的Y坐标，为4字节浮点数，范围是[-∞,+∞]；

10、文件第36到39字节，-7.43是第2个点在空间立体几何中的Z坐标，为4字节浮点数，范围是[-∞,+∞]；

11、文件第40到43字节，0.98是第2个点的R(红色)颜色分量，为4字节浮点数，范围是[0,1.0]；

12、文件第44到47字节，0.34是第2个点的G(绿色)颜色分量，为4字节浮点数，范围是[0,1.0]；

13、文件第48到51字节，0.12是第2个点的B(蓝色)颜色分量，为4字节浮点数，范围是[0,1.0]；

14、文件第52到55字节，-6.55是第3个点在空间立体几何中的X坐标，为4字节浮点数，范围是[-∞,+∞]；

15、文件第56到59字节，-3.27是第3个点在空间立体几何中的Y坐标，为4字节浮点数，范围是[-∞,+∞]；

16、文件第60到63字节，3.71是第3个点在空间立体几何中的Z坐标，为4字节浮点数，范围是[-∞,+∞]；

17、文件第64到67字节，0.23是第3个点的R(红色)颜色分量，为4字节浮点数，范围是[0,1.0]；

18、文件第68到71字节，0.44是第3个点的G(绿色)颜色分量，为4字节浮点数，范围是[0,1.0]；

19、文件第72到75字节，0.81是第3个点的B(蓝色)颜色分量，为4字节浮点数，范围是[0,1.0]；

20、重复上述步骤，直到把10个点的信息全部写完，所有点信息需要占用244字节。

21、文件第244到247字节，共4个字节为一个整数，代表这个文件里有多少个面，图里为16个面；

22、文件第248到251字节，4代表第1个面的第1个顶点序号，为4字节整数，范围是[1,10]；

23、文件第252到255字节，7代表第1个面的第2个顶点序号，为4字节整数，范围是[1,10]

24、文件第256到259字节，9代表第1个面的第3个顶点序号，为4字节整数，范围是[1,10]；

//至此写完第1个面的信息，因为1个面一定由3个顶点构成；

25、文件第260到263字节，2代表第2个面的第1个顶点序号，为4字节整数，范围是[1,10]；

26、文件第264到267字节，5代表第2个面的第2个顶点序号，为4字节整数，范围是[1,10]；

27、文件第268到271字节，6代表第2个面的第3个顶点序号，为4字节整数，范围是[1,10]；

28、重复上述步骤，直到把16个面的信息全部写完，所有面信息需要占用196字节；

最后整个文件的大小是：244+196＝440字节。

步骤S106、当所有的PLY文件解析完毕后，读取视频点云流文件进行视频点云渲染。

在实际应用中,当所有的PLY文件解析完毕后，可以用渲染引擎技术读取视频点云流文件进行视频点云渲染。

针对每个PLY文件均重复执行步骤S102～步骤S105，直至所有的PLY 文件解析完毕后，使用渲染引擎技术，比如OpenGL渲染模块，将读取的视频点云流文件中存储的信息传送至OpenGL接口中，进行视频点云渲染。

需要特别说明的是，在实际应用中，可以针对每个解析的PLY文件，均新建一个视频点云流文件，以存储当前解析PLY文件得到的点个数信息、点属性信息组、面个数信息和面属性信息组。在进行视频点云渲染时，按照各个视频点云流文件存储数据的先后顺序，依次读取每个视频点云流文件进行视频点云渲染。

为提高视频点云渲染效率，在实际应用中，可以将各个单独的视频点云流文件用一个存储空间更大的视频点云流文件代替，即针对一组PLY文件仅新建一个视频点云流文件，并将对所有的PLY文件解析得到的点个数信息、点属性信息组、面个数信息和面属性信息组，按照实际生成顺序，依次连续的存储至同一个视频点云流文件中。在进行视频点云渲染时，按照各个数据的存储顺序，依次从视频点云流文件中读取数据进行视频点云渲染。

综上可知，本发明公开了一种视频点云渲染方法，获取在相同世界坐标系下的一组PLY文件，依次解析每个PLY文件，得到PLY文件中的点信息和面信息，将每个点的点属性信息转换为第一类型数据，得到点属性信息组，以及将每个面的面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组，将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中，当所有的PLY文件解析完毕后，读取视频点云流文件进行视频点云渲染。本发明在进行视频点云渲染之前，将各个点的点属性信息统一转换为第一类型数据，以及将各个面的顶点序号值统一转换成第二类型数据，并将格式统一后的点信息和面信息顺序存储，使得在进行视频点云渲染时，无需对点信息和面信息进行格式转换，而是直接进行渲染即可，从而实现了在提高渲染效率的同时，也可以做到视频点云的实时渲染，使得渲染得到的物体是一个动态物体，大大提高了用户体验。

另外，本发明中的视频点云文件可以为一个或多个。当PLY文件较少时，可以将解析所有PLY文件得到的点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至同一个新建的视频点云文件中。当PLY文件较多时，为避免一个视频点云文件过大，导致系统不支持，或者读取文件效率有问题，可以自由设置多个PLY文件解析得到的点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至同一个新建的视频点云文件中。

本实施例中，点属性信息至少包括：点坐标以及所述点坐标在所述PLY 文件中的存储格式，所述存储格式包括：大端模式、小端模式和字符串模式，也即，每个属性对应的值为大端模式、小端模式和字符串模式三种格式中的一种，并存储于PLY文件中。

在实际应用中，点属性信息还可以包括：点颜色和点法线两个属性，以及所述点颜色和所述点法线在所述PLY文件中的存储格式，所述存储格式包括：大端模式、小端模式和字符串模式。

大端模式，是指数据的高字节保存在内存的低地址中，而数据的低字节保存在内存的高地址中，该存储模式类似于把数据当作字符串顺序处理：地址由小向大增加，而数据从高位往低位放。

小端模式，是指数据的高字节保存在内存的高地址中，而数据的低字节保存在内存的低地址中，该存储模式将地址的高低和数据位权有效地结合起来，高地址部分权值高，低地址部分权值低。

字符串是由数字、字母和下划线组成的一串字符。一般记为 s＝“a1a2···an”(n>＝0)。它是编程语言中表示文本的数据类型。

需要特别说明的是，本实施例中只列举了点的位置，颜色这两个属性，在实际应用中还可以有法线，纹理坐标，或者未来添加的新属性。但不论是什么属性，最终都得由数据构成的，并会对应到整型，浮点型，字符串类型，或者这几种类型的组合里。视频点云流文件，可以把后续扩展的属性信息，依次存在现有属性信息的后面即可，在文件里以字节连续的方式存放，读取时就可以一次读出来，无需修改即可发送至渲染引擎。

在实际应用中，在执行完步骤S103，得到点属性信息组后，可以先将点个数信息和点属性信息组放置在一个内存数组中，为便于表述，将该内存数组记为第一内存数组，然后在点信息和面信息均处理完成后，再将点个数信息和点属性信息组由第一内存数组按照存储顺序，依次连续存储至视频点云刘文件中。其中，连续存储指的是在第一内存数组里依次存放所有的点个数信息和点属性信息，且中间不留空字节。

因此，为进一步优化上述实施例，在步骤S103之后，还可以包括：

将点个数信息和点属性信息组连续存储至第一内存数组中。

例如，每个点都有点坐标(x，y，z)、点颜色(r，g，b)和点法线(nx， ny，nz)共九个数据信息，则将这九个数据转换为第一类型数据后，连续存储至第一内存数组中，在当前点的属性信息存储完毕后，再存储当前点的下一个点的属性信息至第一内存数组中。

其中，点坐标(x，y，z)中，x表示空间中x坐标，y表示空间中y坐标，z表示空间中z坐标。

点颜色(r，g，b)中，r表示颜色值中的红色分量，g表示颜色值中的绿色分量，b表示颜色值中的蓝色分量。

点法线(nx，ny，nz)中，nx表示点法线的x方向向量，ny表示点法线的y方向向量，nz表示点法线的z方向向量。

为进一步优化上述实施例，参见图2，本发明实施例公开的一种将每个面的面属性信息中的顶点序号值转换成第二类型数据得到面属性信息组的方法流程图，也即图1中的步骤S104具体可以包括：

步骤S201、判断每个面中包含的顶点个数信息等于三个或大于三个；

步骤S202、如果顶点个数信息等于三个，则将三个顶点的顶点序号值转换成第二类型数据，得到面属性信息组，并将面属性信息组存储至第二内存数组中；

需要特别说明的是，第一内存数组和第二内存数组中均为普通数组，“第一”和“第二”仅用于区分第一内存数组和第二内存数组为两个不同的数组，第一内存数组中存储的内容和第二内存数组中存储的内容不同。

步骤S203、如果顶点个数信息大于三个，则将顶点个数信息大于三个的面拆分成每三个顶点为一组的多个三角形子面；

其中，各个三角形子面之间不存在重叠区域，但可以具有公共边。

步骤S204、将每个三角形子面的三个顶点的顶点序号值转换成第二类型数据，得到面属性信息组，并将面属性信息组存储至第二内存数组中。

可以理解，一个面一般由多个顶点组成，且一个面中的顶点数量至少为三个，在进行视频点云渲染时，需要保证渲染时的渲染单元为三角形区域，基于此，本发明针对具有超过三个顶点的面，预先将其划分成多个三角形区域，然后再执行后续的视频点云渲染操作，从而省去了视频点云渲染时，因将面划分成三角形区域所带来的额外工作量，从而大大提高了视频点云渲染速度。

与上述方法实施例相对应，本发明还公开了一种视频点云渲染装置。

参见图3，本发明实施例公开的一种视频点云渲染装置的结构示意图，该装置包括：

获取单元301，用于获取在相同世界坐标系下的一组多边形文件格式PLY 文件；

其中，PLY文件中包括：点属性信息以及面信息，面信息具体可以为顶点组成三角形信息，点属性信息可以包括：三维空间坐标(x，y，z)，颜色值(r，g，b)和法线(nx，ny，nz)等信息。面信息包含两部分，第一部分为一个“面”由几个顶点组成，第二部分为每个顶点的索引。

本实施例中获取的一组PLY文件可以为：单位时间播放视频帧所需的 PLY文件，比如，每秒播放25帧视频，则每秒需要提供25个PLY文件。

解析单元302，用于依次解析每个所述PLY文件，得到所述PLY文件中的点信息和面信息；

所述点信息包括：点个数信息和每个点的点属性信息，所述面信息包括：面个数信息和每个面的面属性信息。

第一转换单元303，用于将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组；

在实际应用中，点的各种属性也可以支持其他类型，如整型或字符串类型。目前主流渲染引擎用的是浮点型数据，如果渲染引擎支持整型等类型，或者以后又出现一种新的渲染引擎，支持新的数据类型。则点属性信息转换格式只需要做相应调整即可，视频点云流文件也可以支持新的数据类型。

渲染引擎里的点属性数据最常用浮点型表示，每个浮点数用4字节表示，整个文件大小也比较合理适中，因此，本实施例优选第一类型数据为浮点型数据。若将点属性信息转成字符串类型，不仅文件会变得很大，而且点属性信息转换成字符串类型相对于将点属性信息转换为浮点型数据而言，数据转换速率低。

由于点属性信息中，各个属性对应的值的存储格式各异，可以为大端模式、小端模式和字符串模式三种格式中的一种，因此，本发明为减少视频渲染时，边渲染边进行格式转换的工作量，在进行视频渲染之前，将每个点的属性信息均转换为第一类型数据，实现各个属性存储格式的统一，从而省去边渲染边对各个属性进行格式转换的工作量。

第二转换单元304，将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组；

由于将顶点序号值转换成整数类型相对于转换成其他类型而言，数据转换速率快，因此，本实施例中，第二类型数据优选整数类型。

其中，面属性信息包括：顶点个数信息和每个顶点序号值在PLY文件中的存储格式，存储格式包括：大端模式、小端模式和字符串模式。也即，每个顶点序号值为大端模式、小端模式和字符串模式三种格式中的一种，并存储于PLY文件中。

同样，本发明为减少视频渲染时，边渲染边进行格式转换的工作量，在进行视频渲染之前，将每顶点序号值均转换成第二类型数据，实现各个顶点序号值存储格式的统一，从而省去边渲染边对各个顶点序号值进行格式转换的工作量。

存储单元305，用于将所述点个数信息、所述点属性信息组、所述面个数信息和所述面属性信息组依次连续存储至新建的视频点云流文件中；

本实施例中，预先根据操作系统提供的API(Application ProgrammingInterface，应用程序接口)新建视频点云流文件，新建的视频点云流文件在初始状态时为空，在执行完上述操作后，将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中。在存储过程中，可以将前第一预设数量的字节保存点个数信息，比如，将前4个字节保存点个数信息，然后保存完整的点属性信息组，比如，后续4个字节保存完整的点属性信息组，当所有的点信息存储完成后，再依次存储面个数信息以及全部的面属性信息。

渲染单元306，用于当所有的所述PLY文件解析完毕后，读取所述视频点云流文件进行视频点云渲染。

在实际应用中,当所有的PLY文件解析完毕后，可以用渲染引擎技术读取视频点云流文件进行视频点云渲染。

针对每个PLY文件均重复执行步骤S102～步骤S105，直至所有的PLY 文件解析完毕后，使用渲染引擎技术，比如OpenGL渲染模块，将读取的视频点云流文件中存储的信息传送至OpenGL接口中，进行视频点云渲染。

需要特别说明的是，在实际应用中，可以针对每个解析的PLY文件，均新建一个视频点云流文件，以存储当前解析PLY文件得到的点个数信息、点属性信息组、面个数信息和面属性信息组。在进行视频点云渲染时，按照各个视频点云流文件存储数据的先后顺序，依次读取每个视频点云流文件进行视频点云渲染。

为提高视频点云渲染效率，在实际应用中，可以将各个单独的视频点云流文件用一个存储空间更大的视频点云流文件代替，即针对一组PLY文件仅新建一个视频点云流文件，并将对所有的PLY文件解析得到的点个数信息、点属性信息组、面个数信息和面属性信息组，按照实际生成顺序，依次连续的存储至同一个视频点云流文件中。在进行视频点云渲染时，按照各个数据的存储顺序，依次从视频点云流文件中读取数据进行视频点云渲染。

综上可知，本发明公开了一种视频点云渲染装置，获取在相同世界坐标系下的一组PLY文件，依次解析每个PLY文件，得到PLY文件中的点信息和面信息，将每个点的点属性信息转换为第一类型数据，得到点属性信息组，以及将每个面的面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组，将点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至新建的视频点云流文件中，当所有的PLY文件解析完毕后，读取视频点云流文件进行视频点云渲染。本发明在进行视频点云渲染之前，将各个点的点属性信息统一转换为第一类型数据，以及将各个面的顶点序号值统一转换成第二类型数据，并将格式统一后的点信息和面信息顺序存储，使得在进行视频点云渲染时，无需对点信息和面信息进行格式转换，而是直接进行渲染即可，从而实现了在提高渲染效率的同时，也可以做到视频点云的实时渲染，使得渲染得到的物体是一个动态物体，大大提高了用户体验。

另外，本发明中的视频点云文件可以为一个或多个。当PLY文件较少时，可以将解析所有PLY文件得到的点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至同一个新建的视频点云文件中。当PLY文件较多时，为避免一个视频点云文件过大，导致系统不支持，或者读取文件效率有问题，可以自由设置多个PLY文件解析得到的点个数信息、点属性信息组、面个数信息和面属性信息组依次连续存储至同一个新建的视频点云文件中。

在实际应用中，在得到点属性信息组后，可以先将点个数信息和点属性信息组放置在一个内存数组中，为便于表述，将该内存数组记为第一内存数组，然后在点信息和面信息均处理完成后，再将点个数信息和点属性信息组由第一内存数组按照存储顺序，依次连续存储至视频点云流文件中。其中，连续存储指的是在第一内存数组里依次存放所有的点个数信息和点属性信息，且中间不留空字节。

因此，为进一步优化上述实施例，视频点云渲染装置还可以包括：

第一存储单元，用于在第一转换单元303将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组之后，将所述点个数信息和所述点属性信息组连续存储至第一内存数组中。

为进一步优化上述实施例，视频点云渲染装置第二转换单元304具体用于：

判断每个面中包含的顶点个数信息是否等于三个或大于三个；

如果所述顶点个数信息等于三个，则将三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至第二内存数组中；

如果所述顶点个数信息大于三个，则将顶点个数信息大于三个的面拆分成每三个顶点为一组的多个三角形子面，其中，各个所述三角形子面之间不存在重叠区域；

将每个所述三角形子面的三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至所述第二内存数组中。

需要特别说明的是，第一内存数组和第二内存数组中均为普通数组，“第一”和“第二”仅用于区分第一内存数组和第二内存数组为两个不同的数组，第一内存数组中存储的内容和第二内存数组中存储的内容不同。

可以理解，一个面一般由多个顶点组成，且一个面中的顶点数量至少为三个，在进行视频点云渲染时，需要保证渲染时的渲染单元为三角形区域，基于此，本发明针对具有超过三个顶点的面，预先将其划分成多个三角形区域，然后再执行后续的视频点云渲染操作，从而省去了视频点云渲染时，因将面划分成三角形区域所带来的额外工作量，从而大大提高了视频点云渲染速度。

需要说明的是，装置实施例中各组成部分的具体工作原理，请参见方法实施例对应部分，此处不再赘述。

与上述实施例相对应，本发明还公开了一种电子设备，包括：存储器和处理器；

所述存储器用于存储至少一个指令；

所述处理器用于执行所述至少一个指令以实现上述视频点云渲染方法。

与上述实施例相对应，本发明还公开了一种计算机可读存储介质，计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现上述的视频点云渲染方法。

需要说明的是，电子设备和计算机可读存储介质执行视频点云渲染的操作请参见上述实施例对应部分，此处不再赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种视频点云渲染方法，其特征在于，包括：

获取在相同世界坐标系下的一组多边形文件格式PLY文件；

依次解析每个所述PLY文件，得到所述PLY文件中的点信息和面信息，所述点信息包括：点个数信息和每个点的点属性信息，所述面信息包括：面个数信息和每个面的面属性信息；

将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组；

将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组；

将所述点个数信息、所述点属性信息组、所述面个数信息和所述面属性信息组依次连续存储至新建的视频点云流文件中；

当所有的所述PLY文件解析完毕后，读取所述视频点云流文件进行视频点云渲染。

2.根据权利要求1所述的视频点云渲染方法，其特征在于，所述点属性信息至少包括：点坐标以及所述点坐标在所述PLY文件中的存储格式，所述存储格式包括：大端模式、小端模式和字符串模式。

3.根据权利要求1所述的视频点云渲染方法，其特征在于，在所述将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组之后，还包括：

将所述点个数信息和所述点属性信息组连续存储至第一内存数组中。

4.根据权利要求1所述的视频点云渲染方法，其特征在于，所述面属性信息包括：顶点个数信息和每个顶点序号值在所述PLY文件中的存储格式，所述存储格式包括：大端模式、小端模式和字符串模式。

5.根据权利要求1所述的视频点云渲染方法，其特征在于，所述将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组，具体包括：

判断每个面中包含的顶点个数信息是否等于三个或大于三个；

如果所述顶点个数信息等于三个，则将三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至第二内存数组中；

如果所述顶点个数信息大于三个，则将顶点个数信息大于三个的面拆分成每三个顶点为一组的多个三角形子面，其中，各个所述三角形子面之间不存在重叠区域；

将每个所述三角形子面的三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至所述第二内存数组中。

6.根据权利要求1所述的视频点云渲染方法，其特征在于，所述视频点云流文件为一个或多个。

7.一种视频点云渲染装置，其特征在于，包括：

获取单元，用于获取在相同世界坐标系下的一组多边形文件格式PLY文件；

解析单元，用于依次解析每个所述PLY文件，得到所述PLY文件中的点信息和面信息，所述点信息包括：点个数信息和每个点的点属性信息，所述面信息包括：面个数信息和每个面的面属性信息；

第一转换单元，用于将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组；

第二转换单元，将每个面的所述面属性信息中的顶点序号值转换成第二类型数据，得到面属性信息组；

存储单元，用于将所述点个数信息、所述点属性信息组、所述面个数信息和所述面属性信息组依次连续存储至新建的视频点云流文件中；

渲染单元，用于当所有的所述PLY文件解析完毕后，读取所述视频点云流文件进行视频点云渲染。

8.根据权利要求7所述的视频点云渲染装置，其特征在于，还包括：

第一存储单元，用于在所述第一转换单元将每个点的所述点属性信息转换为第一类型数据，得到点属性信息组之后，将所述点个数信息和所述点属性信息组连续存储至第一内存数组中。

9.根据权利要求7所述的视频点云渲染装置，其特征在于，所述第二转换单元具体用于：

判断每个面中包含的顶点个数信息是否等于三个或大于三个；

如果所述顶点个数信息等于三个，则将三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至第二内存数组中；

如果所述顶点个数信息大于三个，则将顶点个数信息大于三个的面拆分成每三个顶点为一组的多个三角形子面，其中，各个所述三角形子面之间不存在重叠区域；

将每个所述三角形子面的三个顶点的顶点序号值转换成所述第二类型数据，得到所述面属性信息组，并将所述面属性信息组存储至所述第二内存数组中。

10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；

所述存储器用于存储至少一个指令；

所述处理器用于执行所述至少一个指令以实现如权利要求1～6任意一项所述的视频点云渲染方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1～6任意一项所述的视频点云渲染方法。

Images