CN113282776B - 用于图形引擎资源文件压缩的数据处理系统 - Google Patents

Abstract

本发明涉及一种用于图形引擎资源文件压缩的数据处理系统，包括预设的目标数据列表、压缩数据结构、处理器和存储有计算机程序的存储器，其中，目标数据列表包括目标数据名称、目标数据类型和二进制名称字符串字段，目标数据类型包括缓冲数据类型和分帧数据类型，二进制名称字符串用于唯一标识相同数据类型中的每一目标数据名称；压缩数据结构为二进制数据结构，包括数据头结构和资源数据结构，数据头结构包括目标数据类型数据段、二进制名称字符串数据段和目标数据序号数据段，资源数据结构用于存储压缩后的目标数据。本发明提高了图形引擎资源文件压缩的压缩率和解压缩效率，并能够保证解压缩后的图像质量，具有通用性。

Description

用于图形引擎资源文件压缩的数据处理系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种用于图形引擎资源文件压缩的数据处理系统。

背景技术

现有的图形引擎为了保证图片、动画等资源无损或较低损失，对图形引擎资源文件压缩做了很大牺牲，压缩率通常较低，有些情况下甚至对资源文件数据未经过任何压缩即进行保存。资源文件未压缩或者压缩率低使得资源文件需要占据很大的存储空间，成本高。有些图形引擎实现了较高压缩率的压缩，但是又无法保证解压缩效率和解压后的图片质量。此外，不同的图形引擎有自己对应的一套资源文件，目前不同图像引擎之前无法做到数据互通。由此可知，如何提供一种通用的图形引擎资源文件压缩的数据处理系统，提高图形引擎资源文件压缩的压缩率和解压缩效率，并保证解压缩后的图像质量成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种用于图形引擎资源文件压缩的数据处理系统，适用于不同的图形引擎，提高了图形引擎资源文件压缩的压缩率和解压缩效率，并能够保证解压缩后的图像质量。

根据本发明一方面，提供了一种用于图形引擎资源文件压缩的数据处理系统，包括预设的目标数据列表、压缩数据结构、处理器和存储有计算机程序的存储器，其中，所述目标数据列表包括目标数据名称、目标数据类型和二进制名称字符串字段，所述目标数据类型包括缓冲数据类型和分帧数据类型，所述二进制名称字符串用于唯一标识相同数据类型中的每一目标数据名称；所述压缩数据结构为二进制数据结构，包括数据头结构和资源数据结构，所述数据头结构包括目标数据类型数据段、二进制名称字符串数据段和目标数据序号数据段，所述资源数据结构用于存储压缩后的目标数据，当所述处理器执行所述计算机程序时，用于实现以下步骤：

步骤S1、将待处理资源文件进行json解析，基于所述目标数据列表中的目标数据名称，从解析后的待处理资源文件中提取对应的目标数据，并为相同目标数据名称的目标数据依次标注序号，生成对应的待处理目标数据；

步骤S2、基于所述待处理目标数据对应的目标数据名称、目标数据类型和序号，生成用于存储缓冲数据类型目标数据的第一树形结构和用于存储分帧数据类型目标数据的第二树形结构；

步骤S3、基于所述第一树形结构在预设的第一压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，基于所述第二树形结构在预设的第二压缩通道中按照所述压缩数据结构压缩分帧数据类型目标数据；

步骤S4、将压缩后的目标数据进行存储，生成压缩资源文件。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种用于图形引擎资源文件压缩的数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明适用于不同的图形引擎，具有通用性，此外，还提高了图形引擎资源文件压缩的压缩率和解压缩效率，节省资源消耗，并能够保证解压缩后的图像质量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的用于图形引擎资源文件压缩的数据处理系统示意图；

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种用于图形引擎资源文件压缩的数据处理系统的具体实施方式及其功效，详细说明如后。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

本发明实施例提供了一种用于图形引擎资源文件压缩的数据处理系统，如图1所示，包括预设的目标数据列表、压缩数据结构、处理器和存储有计算机程序的存储器，其中，所述目标数据列表包括目标数据名称、目标数据类型和二进制名称字符串字段，所述目标数据类型包括缓冲数据类型和分帧数据类型，所述二进制名称字符串用于唯一标识相同数据类型中的每一目标数据名称，可以理解的是，不同数据类型中的目标数据名称对应的二进制名称字符串可能相同。所述压缩数据结构为二进制数据结构，包括数据头结构和资源数据结构，所述数据头结构包括目标数据类型数据段、二进制名称字符串数据段和目标数据序号数据段，所述资源数据结构用于存储压缩后的目标数据，当所述处理器执行所述计算机程序时，用于实现以下步骤：

步骤S1、将待处理资源文件进行json解析，基于所述目标数据列表中的目标数据名称，从解析后的待处理资源文件中提取对应的目标数据，并为相同目标数据名称的目标数据依次标注序号，生成对应的待处理目标数据；

其中，待处理资源文件可以是来自不同图形引擎的资源文件，图像引擎具体可以为游戏图像引擎，资源文件具体可以为fbx文件,obj文件,meta文件,mat文件等。通过步骤S1可以将不同图形引擎的资源文件进行数据提取，得到目标数据，本发明实施例中，目标数据即为资源文件中需要进行压缩的数据。

步骤S2、基于所述待处理目标数据对应的目标数据名称、目标数据类型和序号，生成用于存储缓冲数据类型目标数据的第一树形结构和用于存储分帧数据类型目标数据的第二树形结构；

其中，通过步骤S2能够将数据结构相似的目标数据基于不同的树形结构进行归类，便于后续数据压缩过程中，目标数据按照数据类型以及目标数据名称类别进行获取，提高了数据压缩的效率。

步骤S3、基于所述第一树形结构在预设的第一压缩通道中按照所述压缩数据结构压缩缓冲数据（Buffer）类型目标数据，基于所述第二树形结构在预设的第二压缩通道中按照所述压缩数据结构压缩分帧数据（Frames）类型目标数据；

其中，步骤S3将不同类型的数据通过不同压缩通道来压缩，进一步提高了资源文件的压缩效率。需要说明的是，每一压缩通道可以设置为单线程压缩或多线程压缩的形式。单线程压缩时，压缩通道每次压缩一个目标数据。多线程压缩时，压缩通道可以同时对多个目标数据进行压缩。

步骤S4、将压缩后的目标数据进行存储，生成压缩资源文件。

本发明实施例适用于不同的图形引擎，具有通用性，此外，还提高了图形引擎资源文件压缩的压缩率和解压缩效率，节省资源消耗，并能够保证解压缩后的图像质量。

作为一种实施例，所述缓冲数据类型的目标数据包括顶点缓冲数据（vertexBuffer）、索引缓冲数据（indexBuffer）和均匀缓冲数据（uniformBuffer），所述分帧数据类型的目标数据包括动画数据（animation）和节点数据（node）。所述动画数据包括动画平移数据、动画旋转数据和动画缩放数据，所述顶点缓冲数据、索引缓冲数据、均匀缓冲数据、节点数据、动画平移数据、动画旋转数据和动画缩放数据为三维数据或四维数据，所述三维数据包括三个float数据，所述四维数据包括四个float数据。

基于上述示例的数据特征，所述压缩数据结构可以设置为H位二进制结构，H=h*32,h为大于等于1的整数，所述目标数据类型数据段对应第0位，第0位设置为“0”表示缓冲数据类型，第0位设置为“1”表示分帧数据类型，第0位设置为标识位，便于解压缩的时候迅速分类，提高解压效率。所述二进制名称字符串数据段对应第1位到第4位，所述目标数据序号数据段对应第5位到第9位，第1位到第4位，便于解压缩的时候迅速确定目标数据名称，结合第5位到第9位的序号，能够快速确定各个目标数局之前的顺序关系和组合关系，便于解压缩，提高了解压效率。优选的，h取值为1，即所述压缩数据结构为32位二进制结构，第0位到第15位为所述数据头结构，第16位到第31位为所述资源数据结构。

作为一种实施例，步骤S1中，可以直接采用递增的方式来为相同目标数据名称的目标数据标注序号，但是在相同目标数据名称的目标数据数量较多时，若一直递增下去，则在压缩成二进制数据时，需要占据较多的位数，基于此，本发明实施例采用了序号循环利用的方式，并结合后续基于树形结构经压缩处理的方法，能够将序号维持在一定范围内，且能够明确相同名称目标数据的顺序。具体的，所述步骤S1中，所述为相同目标数据名称的目标数据标注序号，包括：

步骤S11、获取与当前目标数据的目标数据名称相同的上一目标数据的序号x,判断x是否小于16，若小于，则将当前目标数据的目标数据序号设置为x+1,否则,设置为1。

需要说明的是，压缩通道单线程处理时，采用序号循环利用的方式直接能够明确目标数据的顺序。多线程处理时，即便出现一定范围的乱序，随着后续生成的压缩数据，依然可以快速识别目标数据的顺序。

作为一种实施例，所述步骤S2包括：

步骤S21、构建第i树形结构的根节点，所述根节点对应所述第i树形结构的目标数据类型，i=1或2；

可以理解的是，当构建用于存储缓冲数据类型目标数据的树形结构时，i取值为1，当构建用于存储分帧数据类型目标数据的第二树形结构时，i取值为2；

步骤S22、在第i树形结构的根节点下创建N个子节点{P_i1,P_i2,…P_iN}，其中，P_ij表示i树形结构的根节点下的第j个子节点，每一子节点对应一个目标数据名称类别，j的取值范围为1到N，N为所述第i树形结构的目标数据类型所包含的目标数据名称类别总数量，需要说明的是，i去不同的至时，N的取值可能不同，在每P_ij中设置对应的当前目标数据数量M_ij，M_ij的初始值为0;

步骤S23、逐个读取待处理目标数据，基于当前读取的待处理目标数据的目标数据名称确定对应的子节点P_ij，以P_ij作为父节点，在P_ij下新增一个子节点，存储所述当前读取的待处理目标数据；

可理解的是，步骤S1中生成的待处理目标数据是按照提取数据的先后顺序对目标数据名称相同的目标数据进行标号获取的，对应地，步骤S23中，也是按照相应的先后顺序逐个读取待处理目标数据，进一步的，P_ij下的子节存储的待处理目标数据的序号也是按照相应的先后顺序排列的。

步骤S24、设置M_ij= M_ij+1，判断所有待处理目标数据是否全部读取完毕，若是，则结束流程，否则返回执行步骤S23。

作为一种实施例，所述步骤S2最终所生成的第i树形结构中，P_ij对应的子节点为{Q_ij1, Q_ij2,…Q_ijS},S的取值为所述步骤S2最终所生成的第i树形结构中M_ij的取值,可以理解的是，当i和j取不同的值时，S的取值也不同，Q_ijs表示第P_ij对应的第s个子节点，s的取值范围为1到S，所述步骤S3中包括：

步骤S31、设置s=1，j=1;

步骤S32、判断当前M_ij的值是否为0，若不为0，则获取Q_ijs的待处理目标数据，输入第i压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，执行步骤S33，若为0，则直接执行步骤S33；

步骤S33、将j与N比较，s与S_M比较，若j<N, s<S_M,则设置j=j+1，返回执行步骤S32，若j=N，s<S_M,则设置j=1，s=s+1, 返回执行步骤S32,若s= S_M，则结束流程，其中，S_M=max(S)。

需要说明的是，基于步骤S31-步骤S33，基于每一数据类型对应的树形结构，可以快速准确地按照预设的目标数据名称排序，以及按照相同名称的目标数据序号排序，依次获取目标数据，并传输到对应的压缩通道中进行数据压缩。

作为一种实施例，所述步骤S32中，获取Q_ijs的待处理目标数据，输入第i压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，包括：

步骤S321、判断Q_ijs的待处理目标数据的float数据总量是否小于等于4，若是，则直接执行步骤S322，否则，在所述压缩数据结构之后扩展至少一个与所述压缩数据结构位数相同的存储位，使得扩展后的所述压缩数据结构足够存储Q_ijs的待处理目标数据，然后执行步骤S322；

步骤S322、获取Q_ijs的待处理目标数据对应的二进制名称字符串和序号，并将Q_ijs的序号转换为4位二进制序号，将所述压缩数据结构的第一位设置为“0”，Q_ijs的二进制名称字符串设置在所述压缩数据结构的第1位到第4位，将Q_ijs的二进制序号设置在第5位到第9位；

步骤S323、将Q_ijs的待处理目标数据中每一float数据依次进行位运算，转换为4位二进制数据，并从第16位开始，依次存放；

步骤S324、将所述压缩数据结构的未设置数据的其他位上补零，生成压缩后的目标数据。

仍以所述缓冲数据类型的目标数据包括顶点缓冲数据、索引缓冲数据和均匀缓冲数据，所述分帧数据类型的目标数据包括动画数据和节点数据为例，32位通常足以存储顶点缓冲数据、索引缓冲数据、均匀缓冲数据、节点数据和节点数据，因此直接采用步骤S321至步骤S324即可，且步骤S321中无需对压缩数据结构进行扩展。对于包括动画平移数据、动画旋转数据和动画缩放数据的动画数据来说，通常是需要S321中，对压缩数据结构进行扩展以后再执行S322至步骤S324，进行数据压缩。但可以理解的是，通过将32位扩展的64位后，还可能空余较多的位，且由于动画数据中包含了多种类型的动画数据，为了进一步利用空余位，以及便于后续解压缩，可进一步存储每一类动画数据的在所述压缩数据结构中的起始位信息，具体地，作为一种实施例，若Q_ijs的待处理目标数据包括G组float数据，G大于等于2，且float数据总量大于等于4，所述步骤S32中，获取Q_ijs的待处理目标数据，输入第i压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，包括：

步骤S325、在所述压缩数据结构之后扩展至少一个与所述压缩数据结构位数相同的存储位，使得扩展后的所述压缩数据结构足够存储Q_ijs的待处理目标数据以及每一组float数据的起始标志位；

步骤S326、获取Q_ijs的待处理目标数据对应的二进制名称字符串和序号，并将Q_ijs的序号转换为4位二进制序号，将所述压缩数据结构的第一位设置为“0”，Q_ijs的二进制名称字符串设置在所述压缩数据结构的第1位到第4位，将Q_ijs的二进制序号设置在第5位到第9位，从第10位开始，依次开始存储每一组float数据的起始标志位，直至将G个起始标志位存储完毕，然后以每一组float数据的起始标志位为起点，对应存储每一组float数据；

可以理解的是，这种情况下，如果G个起始标志位存储完毕后，是有可能超过16位的，这样将数据头结构也进行了扩充。

步骤S327、将所述压缩数据结构的未设置数据的其他位上补零，生成压缩后的目标数据。

作为一种实施例，所述步骤S4包括：

步骤S41、将压缩后的目标数据的压缩数据结构中的第0位到第9位作为key,将压缩后的目标数据作为对应的value,存储至预设的数据库中。

作为一种实施例，具体可采用map(地图)数据的形式存储，key即为map中的索引，便于快速查找压缩后的目标数据。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种用于图形引擎资源文件压缩的数据处理系统，其特征在于，

包括预设的目标数据列表、压缩数据结构、处理器和存储有计算机程序的存储器，其中，所述目标数据列表包括目标数据名称、目标数据类型和二进制名称字符串字段，所述目标数据类型包括缓冲数据类型和分帧数据类型，所述二进制名称字符串用于唯一标识相同数据类型中的每一目标数据名称；所述压缩数据结构为二进制数据结构，包括数据头结构和资源数据结构，所述数据头结构包括目标数据类型数据段、二进制名称字符串数据段和目标数据序号数据段，所述资源数据结构用于存储压缩后的目标数据，当所述处理器执行所述计算机程序时，用于实现以下步骤：

步骤S1、将待处理资源文件进行json解析，基于所述目标数据列表中的目标数据名称，从解析后的待处理资源文件中提取对应的目标数据，并为相同目标数据名称的目标数据依次标注序号，生成对应的待处理目标数据；

步骤S2、基于所述待处理目标数据对应的目标数据名称、目标数据类型和序号，生成用于存储缓冲数据类型目标数据的第一树形结构和用于存储分帧数据类型目标数据的第二树形结构；

步骤S3、基于所述第一树形结构在预设的第一压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，基于所述第二树形结构在预设的第二压缩通道中按照所述压缩数据结构压缩分帧数据类型目标数据，所述第一压缩通道和第二压缩通道设置为单线程压缩或多线程压缩的形式；

步骤S4、将压缩后的目标数据进行存储，生成压缩资源文件。

2.根据权利要求1所述的系统，其特征在于，

所述缓冲数据类型的目标数据包括顶点缓冲数据、索引缓冲数据和均匀缓冲数据，所述分帧数据类型的目标数据包括动画数据和节点数据，所述动画数据包括动画平移数据、动画旋转数据和动画缩放数据，所述顶点缓冲数据、索引缓冲数据、均匀缓冲数据、节点数据、动画平移数据、动画旋转数据和动画缩放数据为三维数据或四维数据，所述三维数据包括三个float数据，所述四维数据包括四个float数据。

3.根据权利要求2所述的系统，其特征在于，

所述压缩数据结构为H位二进制结构，H=h*32,h为大于等于1的整数，所述目标数据类型数据段对应第0位，第0位设置为“0”表示缓冲数据类型，第0位设置为“1”表示分帧数据类型；所述二进制名称字符串数据段对应第1位到第4位，所述目标数据序号数据段对应第5位到第9位。

4.根据权利要求3所述的系统，其特征在于，

h取值为1，第0位到第15位为所述数据头结构，第16位到第31位为所述资源数据结构。

5.根据权利要求3所述的系统，其特征在于，

所述步骤S1中，所述为相同目标数据名称的目标数据标注序号，包括：

步骤S11、获取与当前目标数据的目标数据名称相同的上一目标数据的序号x,判断x是否小于16，若小于，则将当前目标数据的目标数据序号设置为x+1,否则,设置为1。

6.根据权利要求3所述的系统，其特征在于，

所述步骤S2包括：

步骤S21、构建第i树形结构的根节点，所述根节点对应所述第i树形结构的目标数据类型，i=1或2；

步骤S22、在第i树形结构的根节点下创建N个子节点{P_i1,P_i2,…P_iN}，其中，P_ij表示i树形结构的根节点下的第j个子节点，每一子节点对应一个目标数据名称类别，j的取值范围为1到N，N为所述第i树形结构的目标数据类型所包含的目标数据名称类别总数量，在每P_ij中设置对应的当前目标数据数量M_ij，M_ij的初始值为0;

步骤S23、逐个读取待处理目标数据，基于当前读取的待处理目标数据的目标数据名称确定对应的子节点P_ij，以P_ij作为父节点，在P_ij下新增一个子节点，存储所述当前读取的待处理目标数据；

步骤S24、设置M_ij= M_ij+1，判断所有待处理目标数据是否全部读取完毕，若是，则结束流程，否则返回执行步骤S23。

7.根据权利要求6所述的系统，其特征在于，

所述步骤S2最终所生成的第i树形结构中，P_ij对应的子节点为{Q_ij1, Q_ij2,…Q_ijS},S的取值为所述步骤S2最终所生成的第i树形结构中M_ij的取值,Q_ijs表示第P_ij对应的第s个子节点，s的取值范围为1到S，所述步骤S3中包括：

步骤S31、设置s=1，j=1;

步骤S32、判断当前M_ij的值是否为0，若不为0，则获取Q_ijs的待处理目标数据，输入第i压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，执行步骤S33，若为0，则直接执行步骤S33；

步骤S33、将j与N比较，s与S_M比较，若j<N, s<S_M,则设置j=j+1，返回执行步骤S32，若j=N，s<S_M,则设置j=1，s=s+1, 返回执行步骤S32,若s= S_M，则结束流程，其中，S_M=max(S)。

8.根据权利要求7所述的系统，其特征在于，

所述步骤S32中，获取Q_ijs的待处理目标数据，输入第i压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，包括：

步骤S321、判断Q_ijs的待处理目标数据的float数据总量是否小于等于4，若是，则直接执行步骤S322，否则，在所述压缩数据结构之后扩展至少一个与所述压缩数据结构位数相同的存储位，使得扩展后的所述压缩数据结构足够存储Q_ijs的待处理目标数据，然后执行步骤S322；

步骤S322、获取Q_ijs的待处理目标数据对应的二进制名称字符串和序号，并将Q_ijs的序号转换为4位二进制序号，将所述压缩数据结构的第一位设置为“0”，Q_ijs的二进制名称字符串设置在所述压缩数据结构的第1位到第4位，将Q_ijs的二进制序号设置在第5位到第9位；

步骤S323、将Q_ijs的待处理目标数据中每一float数据依次进行位运算，转换为4位二进制数据，并从第16位开始，依次存放；

步骤S324、将所述压缩数据结构的未设置数据的其他位上补零，生成压缩后的目标数据。

9.根据权利要求7所述的系统，其特征在于，

若Q_ijs的待处理目标数据包括G组float数据，G大于等于2，且float数据总量大于等于4，所述步骤S32中，获取Q_ijs的待处理目标数据，输入第i压缩通道中按照所述压缩数据结构压缩缓冲数据类型目标数据，包括：

步骤S325、在所述压缩数据结构之后扩展至少一个与所述压缩数据结构位数相同的存储位，使得扩展后的所述压缩数据结构足够存储Q_ijs的待处理目标数据以及每一组float数据的起始标志位；

步骤S326、获取Q_ijs的待处理目标数据对应的二进制名称字符串和序号，并将Q_ijs的序号转换为4位二进制序号，将所述压缩数据结构的第一位设置为“0”，Q_ijs的二进制名称字符串设置在所述压缩数据结构的第1位到第4位，将Q_ijs的二进制序号设置在第5位到第9位，从第10位开始，依次开始存储每一组float数据的起始标志位，直至将G个起始标志位存储完毕，然后以每一组float数据的起始标志位为起点，对应存储每一组float数据；

步骤S327、将所述压缩数据结构的未设置数据的其他位上补零，生成压缩后的目标数据。

10.根据权利要求3所述的系统，其特征在于，

所述步骤S4包括：

步骤S41、将压缩后的目标数据的压缩数据结构中的第0位到第9位作为key,将压缩后的目标数据作为对应的value,存储至预设的数据库中。

Images