CN116028446A - 时序数据文件化管理方法、装置、设备及其存储介质 - Google Patents

Abstract

本申请实施例属于数据管理技术领域，涉及一种时序数据文件化管理方法、装置、设备及其存储介质，包括获取目标存储表的表名信息为文件目录名称生成管理根目录；获取缓存入的每一条待管理的时序数据的缓存入库时间；基于缓存入库时间和预设的表分区表达式，对所有待管理的时序数据进行分区处理；在管理根目录下，生成管理子目录；根据分区处理结果和目标存储表的表结构信息在所有管理子目录下生成对应的数据管理文件；获取所有待管理的时序数据，以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。该方法便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

Description

时序数据文件化管理方法、装置、设备及其存储介质

技术领域

本申请涉及数据管理技术领域，尤其涉及一种时序数据文件化管理方法、装置、设备及其存储介质。

背景技术

时序数据，即时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快、依赖于采集时间、测点多信息量大。

在智慧物联IoT领域，越来越多的传感器或点表随着智能设备和智能网关的普及化，能够随时随地的上传数据。而这些数据往往都是时间顺序属于时序数据。目前，每一个监测点一秒钟内可产生多条数据，每一条数据均要求对应唯一的时间，常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天可以产生几十GB的数据量。因此，如何提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理，成为了对时序数据进行存储管理时亟需解决的问题。

发明内容

本申请实施例的目的在于提出一种时序数据文件化管理方法、装置、设备及其存储介质，以提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

为了解决上述技术问题，本申请实施例提供一种时序数据文件化管理方法，采用了如下所述的技术方案：

一种时序数据文件化管理方法，包括下述步骤：

获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；

在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；

根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；

将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；

获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；

在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；

根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；

获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。

进一步的，所述根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中的步骤，具体包括：

在每一条待管理的时序数据进行缓存入库操作时，获取缓存入库时间；

以所述缓存入库时间作为排序字段，按照缓存入库时间的先后顺序对所有待管理的时序数据进行排序，获取排序结果；

根据排序结果将所有待管理的时序数据逐一缓存入目标存储表中。

进一步的，在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之前，所述方法还包括：

设置各分区内待管理的时序数据的行数信息，并将各分区内待管理的时序数据的行数信息作为行数阈值；

设置所述返回值的目标数据格式，其中，所述返回值表示所述表分区表达式执行完毕之后对应的输出结果；

在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之后，所述方法还包括：

步骤A：设置各分区内待管理的时序数据的初始行数信息为0；

步骤B：在待管理的时序数据的缓存入库时间作为计算参数传入预设的表分区表达式时，依次获取传入的计算参数，并统计所述传入的计算参数的数量，其中，每获取到一个传入的计算参数，所述初始行数信息累加1；

步骤C：直到所述初始行数信息对应的累加结果与目标分区对应的行数阈值相同，完成对目标分区的预分区处理；

步骤D：重复执行步骤B至步骤C，完成对各分区的预分区处理。

进一步的，所述对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理的步骤，具体包括：

根据各分区进行预分区处理所获取的计算参数，确定各分区内各计算参数分别所对应的待管理的时序数据；

基于所述各分区进行预分区处理所获取的计算参数和各分区内各计算参数分别所对应的待管理的时序数据对目标存储表进行分区处理。

进一步的，在执行所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤之前，所述方法还包括：

获取经过分区处理之后各分区内时序数据最小编号；

获取经过分区处理之后各分区内时序数据最大编号；

基于预设的分区处理日志记录文件，识别各分区内被分区处理次数最多的时序数据，以及所述被分区处理次数最多的时序数据对应的分区处理次数；

当前分区输出的返回值由当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数共同构成，所述返回值的目标数据格式为当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数四者的拼接格式数据，所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤，具体包括：

获取各分区分别对应的分区计算值、各分区中时序数据最小编号、各分区中时序数据最大编号和各分区内处理次数最多的时序数据对应的分区处理次数；

根据预设的拼接符号对同一分区对应的分区计算值、时序数据最小编号、时序数据最大编号和处理次数最多的时序数据对应的分区处理次数进行拼接处理，获取各分区分别对应的拼接格式数据；

将各分区分别对应的拼接格式数据作为各分区的返回值。

进一步的，目标数据表的表结构信息包括表中列字段信息、索引字段信息、数据总行数，所述数据管理文件包括基础管理文件和分区管理文件，所述根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件的步骤，具体包括：

根据所述分区处理结果生成所述分区管理文件，其中，所述分区管理文件包括分区表达式文件、分区字段最大值文件、分区字段最小值文件；

根据所述目标存储表的表结构信息生成所述基础管理文件，其中，所述基础管理文件包括校验文件、列信息文件、计数文件、索引文件、列数据文件、列字段标记文件。

进一步的，在执行所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤之前，所述方法还包括：

基于LZ4压缩算法对每一条待管理的时序数据进行压缩处理，生成与待管理的时序数据数量相同的压缩数据块，其中，压缩数据块由待压缩数据和预设的头部数据信息共同压缩而成，所述预设的头部数据信息使用9位字节表示，具体由1个UInt8整型序列和2个UInt32整型序列共同组成9位字节，待压缩数据即当前待进行压缩的待管理的时序数据；

所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤，具体包括：

根据所有待管理的时序数据对应的表中列字段信息，将所有待管理的时序数据写入到所述基础管理文件中的列数据文件内；

所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤，还包括：

根据所有待管理的时序数据在列数据文件内的存储位置，将根据每一条待管理的时序数据分别所生成的压缩数据块写入到列数据文件内的目标位置，其中，每一条待管理的时序数据对应的存储位置和其对应的压缩数据块对应的目标位置存在唯一对应关系。

为了解决上述技术问题，本申请实施例还提供一种时序数据文件化管理装置，采用了如下所述的技术方案：

一种时序数据文件化管理装置，包括：

表信息获取模块，用于获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；

管理根目录生成模块，用于在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；

时序数据缓存入库模块，用于根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；

表内数据分区处理模块，用于将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；

分区处理返回值获取模块，用于获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；

管理子目录生成模块，用于在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；

数据管理文件生成模块，用于根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；

时序数据写入模块，用于获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述所述的时序数据文件化管理方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的时序数据文件化管理方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例所述时序数据文件化管理方法，通过获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。该方法便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的时序数据文件化管理方法的一个实施例的流程图；

图3是图2所示步骤203的一个具体实施例的流程图；

图4是图2所示步骤205的一个具体实施例的流程图；

图5根据本申请的时序数据文件化管理装置的一个实施例的结构示意图；

图6根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的时序数据文件化管理方法一般由服务器/终端设备执行，相应地，时序数据文件化管理装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的时序数据文件化管理方法的一个实施例的流程图。所述的时序数据文件化管理方法，包括以下步骤：

步骤201，获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据。

步骤202，在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录。

具体的，假设目标存储表的表面信息为tb_like,则直接以表名tb_like作为文件管理器中的管理根目录的文件目录名称。

步骤203，根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间。

继续参考图3，图3是图2所示步骤203的一个具体实施例的流程图，包括：

步骤301，在每一条待管理的时序数据进行缓存入库操作时，获取缓存入库时间；

步骤302，以所述缓存入库时间作为排序字段，按照缓存入库时间的先后顺序对所有待管理的时序数据进行排序，获取排序结果；

步骤303，根据排序结果将所有待管理的时序数据逐一缓存入目标存储表中。

通过待管理的时序数据的缓存入库时间，对待管理的时序数据进行排序处理，按照缓存入库时间将所述待管理的时序数据逐次加入到目标存储表中，避免了时序数据的存储混乱，便于科学对时序数据进行管理。

步骤204，将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果。

本实施例中，在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之前，所述方法还包括：设置各分区内待管理的时序数据的行数信息，并将各分区内待管理的时序数据的行数信息作为行数阈值；设置所述返回值的目标数据格式，其中，所述返回值表示所述表分区表达式执行完毕之后对应的输出结果。

本实施例中，在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之后，所述方法还包括：

步骤A：设置各分区内待管理的时序数据的初始行数信息为0；

步骤B：在待管理的时序数据的缓存入库时间作为计算参数传入预设的表分区表达式时，依次获取传入的计算参数，并统计所述传入的计算参数的数量，其中，每获取到一个传入的计算参数，所述初始行数信息累加1；

步骤C：直到所述初始行数信息对应的累加结果与目标分区对应的行数阈值相同，完成对目标分区的预分区处理；

步骤D：重复执行步骤B至步骤C，完成对各分区的预分区处理。

通过预分区处理，为待管理的时序数据进行分区提供在先依据，使得后期在进行最终分区时，实现按照预分区处理结果，对所述待管理的时序数据进行分区处理，便于科学对时序数据进行管理。

本实施例中，所述对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理的步骤，具体包括：根据各分区进行预分区处理所获取的计算参数，确定各分区内各计算参数分别所对应的待管理的时序数据；基于所述各分区进行预分区处理所获取的计算参数和各分区内各计算参数分别所对应的待管理的时序数据对目标存储表进行分区处理。

步骤205，获取经过分区处理之后所述预设的表分区表达式输出的所有返回值。

本实施例中，在执行所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤之前，所述方法还包括：获取经过分区处理之后各分区内时序数据最小编号；获取经过分区处理之后各分区内时序数据最大编号；基于预设的分区处理日志记录文件，识别各分区内被分区处理次数最多的时序数据，以及所述被分区处理次数最多的时序数据对应的分区处理次数。

本实施例中，当前分区输出的返回值由当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数共同构成。

具体的，所述返回值的目标数据格式为当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数四者的拼接格式数据。

继续参考图4，图4是图2所示步骤205的一个具体实施例的流程图，包括：

步骤401，获取各分区分别对应的分区计算值、各分区中时序数据最小编号、各分区中时序数据最大编号和各分区内处理次数最多的时序数据对应的分区处理次数；

步骤402，根据预设的拼接符号对同一分区对应的分区计算值、时序数据最小编号、时序数据最大编号和处理次数最多的时序数据对应的分区处理次数进行拼接处理，获取各分区分别对应的拼接格式数据；

步骤403，将各分区分别对应的拼接格式数据作为各分区的返回值。

具体的，各分区的返回值的生成规则如下：当前分区对应的分区计算值_当前分区中时序数据最小编号_当前分区中时序数据最大编号_当前分区内处理次数最多的时序数据对应的分区处理次数。其中，当前分区对应的分区计算值直接使用分区表达式计算而得出的值，例如：分区表达式为toYYYYMM(timestamp)，其中，timestamp表示待管理的时序数据的缓存入库时间，即计算参数，接入的数据中有一列的名称为timestamp且值为2022-12-01，则当前分区对应的分区计算值为202212；当前分区中时序数据最小编号表示当前分区内缓存的时序数据的最小ID值，例如，所述当前分区中时序数据最小编号为11；当前分区中时序数据最大编号表示当前分区内缓存的时序数据的最大ID值，例如，所述当前分区中时序数据最大编号为22；当前分区内处理次数最多的时序数据对应的分区处理次数表示当前分区内时序数据被合并过的最高次数，初始值为0，以分区为单位，如果不同分区发生合并则在合并之后形成的新分区内所有时序数据的合并次数累计加1，例如，存在某个时序数据的最高次数为9，则所述时序数据并合并的次数为9，即其被从不同的分区进行合并，也即存在10个分区被合并，最终生成的当前分区的返回值为：202212_11_22_9。

同理，各分区的返回值的生成规则也可以为：当前分区对应的分区计算值_当前分区所合并的在先分区的最小编号_当前分区所合并的在先分区的最大编号_当前分区内处理次数最多的时序数据对应的分区处理次数。显然，当前分区对应的分区计算值还是直接使用分区表达式计算而得出的值，例如：分区表达式为toYYYYMM(timestamp)，其中，timestamp表示待管理的时序数据的缓存入库时间，即计算参数，接入的数据中有一列的名称为timestamp且值为2022-12-01，则当前分区对应的分区计算值为202212；而当前分区所合并的在先分区的最小编号和当前分区所合并的在先分区的最大编号，不再使用当前分区内时序数据的编号进行表示，而是使用分区编号进行表示，例如：当前分区由在先的分区合并而成，其中，所述在先分区的分区编号包括分区1、分区3、分区4、分区8，则当前分区由4个在先分区合并而成，则当前分区所合并的在先分区的最小编号为1，当前分区所合并的在先分区的最大编号为8；假设当前分区由这4个在先分区两两合并之后，再进行合成，则所述当前分区内处理次数最多的时序数据对应的分区处理次数为3，即其中一个在先分区为第一次分区处理，两两合并之后形成的中间分区为第二次分区处理，之后在进行合成形成的当前分区为第三次分区处理，则最终生成的当前分区的返回值为：202212_1_8_3；假设当前分区由这4个在先分区中某个分区逐一合并其他分区而形成，则所述当前分区内处理次数最多的时序数据对应的分区处理次数为4，即其中一个在先分区为分区1，则进行第一次分区处理，然后分区1合并分区3形成的中间分区为第二次分区处理，之后再合成分区4形成中间分区为第三次分区处理，最后合成分区8形成当前分区为第四次分区处理，则最终生成的当前分区的返回值为：202212_1_8_4。

步骤206，在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录。

假设最终生成的当前分区的返回值为202212_1_8_4，则以202212_1_8_4作为当前分区对应的管理子目录的文件目录名称。

根据各分区的返回值设置管理子目录的文件目录名称，使得文件目录名称的命名与时序数据的缓存入库时间、分区处理结果产生关联性，而且也保证了文件目录名称命名的统一性和规范性，便于后期科学对时序数据进行管理。

步骤207，根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件。

本实施例中，目标数据表的表结构信息包括表中列字段信息、索引字段信息、数据总行数。

本实施例中，所述数据管理文件包括基础管理文件和分区管理文件。

本实施例中，所述根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件的步骤，具体包括：根据所述分区处理结果生成所述分区管理文件，其中，所述分区管理文件包括分区表达式文件、分区字段最大值文件、分区字段最小值文件；根据所述目标存储表的表结构信息生成所述基础管理文件，其中，所述基础管理文件包括校验文件、列信息文件、计数文件、索引文件、列数据文件、列字段标记文件。

具体的，上述校验文件中存储其他各类文件的大小及文件名称与文件大小间的哈希关系值，用于快速校验文件完整性和正确性，例如：计数文件的大小为20kb，则校验文件中存储内容包括[计数文件：20kb]；

上述列信息文件存储时序数据的所有列字段信息，上述计数文件存储当前分区目录下的数据总行数，上述索引文件用于存储稀疏索引，上述列数据文件用于存储某一列的数据，采用压缩格式存储，上述列字段文件标记文件用于存储列数据文件中数据的偏移量信息，上述分区表达式文件用于存储当前分区下分区表达式对应的分区计算值，上述分区字段最小值文件和分区字段最大值文件用于存储当前分区中时序数据的最小编号和最大编号，同时，也存储当前分区进行合并后，在先分区的最小分区编号和最大分区编号。

通过生成对应的数据管理文件，以数据管理文件在对应表征目标存储表中数据，使得管理人员在后期维护时，只需结合数据管理文件即可维护管理时序数据，无需通过目标存储表进行逐行查看，一定程度上简化了维护过程和减少了维护工作量，便于科学对时序数据进行管理。

步骤208，获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。

本实施例中，在执行所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤之前，所述方法还包括：基于LZ4压缩算法对每一条待管理的时序数据进行压缩处理，生成与待管理的时序数据数量相同的压缩数据块，其中，压缩数据块由待压缩数据和预设的头部数据信息共同压缩而成，所述预设的头部数据信息使用9位字节表示，具体由1个UInt8整型序列和2个UInt32整型序列共同组成9位字节，待压缩数据即当前待进行压缩的待管理的时序数据。

通过压缩处理的方式，减少了数据管理文件中数据的存储大小，降低了服务器的资源存储消耗，提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

本实施例中，所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤，具体包括：根据所有待管理的时序数据对应的表中列字段信息，将所有待管理的时序数据写入到所述基础管理文件中的列数据文件内。

本实施例中，所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤，还包括：根据所有待管理的时序数据在列数据文件内的存储位置，将根据每一条待管理的时序数据分别所生成的压缩数据块写入到列数据文件内的目标位置，其中，每一条待管理的时序数据对应的存储位置和其对应的压缩数据块对应的目标位置存在唯一对应关系。

具体的，将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，遵循预设的写入规则，其中，所述预设的写入规则包括：预先根据固定的粒度计算写入数据的长度，并基于预设的间隔长度在写入数据中设置间隔符，保证了数据在写入文件时存在间隔长度，实现了层次性和规范写入，避免了数据整体无间隔写入，科学对时序数据进行管理。

本申请通过获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。该方法便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例中，涉及人工智能中大数据处理技术，时间序列数据由于其产生频率快、依赖于采集时间、测点多信息量大，易导致数据量过大，从而使得管理变得困难，本申请通过分区处理、压缩处理、文件化管理，便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理，相应的，可以将本申请所述的时序数据文件化管理方法对应的执行程序封装为处理插件，通过插件方式对新的时序数据进行处理，减少人工工作量，更加自动化和智能化。

进一步参考图5，作为对上述图2所示方法的实现，本申请提供了一种时序数据文件化管理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例所述的时序数据文件化管理装置500包括：表信息获取模块501、管理根目录生成模块502、时序数据缓存入库模块503、表内数据分区处理模块504、分区处理返回值获取模块505、管理子目录生成模块506、数据管理文件生成模块507和时序数据写入模块508。其中，

表信息获取模块501，用于获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；

管理根目录生成模块502，用于在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；

时序数据缓存入库模块503，用于根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；

表内数据分区处理模块504，用于将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；

分区处理返回值获取模块505，用于获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；

管理子目录生成模块506，用于在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；

数据管理文件生成模块507，用于根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；

时序数据写入模块508，用于获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。

在本申请的一些具体的实施方式中，所述的时序数据文件化管理装置500还包括预分区处理模块，所述预分区处理模块用于设置各分区内待管理的时序数据的初始行数信息为0；在待管理的时序数据的缓存入库时间作为计算参数传入预设的表分区表达式时，依次获取传入的计算参数，并统计所述传入的计算参数的数量，其中，每获取到一个传入的计算参数，所述初始行数信息累加1；直到所述初始行数信息对应的累加结果与目标分区对应的行数阈值相同，完成对目标分区的预分区处理；重复执行上述步骤，完成对各分区的预分区处理。

在本申请的一些具体的实施方式中，所述的时序数据文件化管理装置500还包括数据压缩模块，所述数据压缩模块用于基于LZ4压缩算法对每一条待管理的时序数据进行压缩处理，生成与待管理的时序数据数量相同的压缩数据块，其中，压缩数据块由待压缩数据和预设的头部数据信息共同压缩而成，所述预设的头部数据信息使用9位字节表示，具体由1个UInt8整型序列和2个UInt32整型序列共同组成9位字节，待压缩数据即当前待进行压缩的待管理的时序数据。

本申请通过获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。该方法便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器6a、处理器6b、网络接口6c。需要指出的是，图中仅示出了具有组件6a-6c的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器6a至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器6a可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器6a也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器6a还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器6a通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如时序数据文件化管理方法的计算机可读指令等。此外，所述存储器6a还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器6b在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器6b通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器6b用于运行所述存储器6a中存储的计算机可读指令或者处理数据，例如运行所述时序数据文件化管理方法的计算机可读指令。

所述网络接口6c可包括无线网络接口或有线网络接口，该网络接口6c通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本实施例提出的计算机设备，属于数据管理技术领域。本申请通过获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。该方法便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被处理器执行，以使所述处理器执行如上述的时序数据文件化管理方法的步骤。

本实施例提出的计算机可读存储介质，属于数据管理技术领域。本申请通过获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。该方法便于提高时序数据压缩比，减少磁盘空间使用，增加时序数据的写入速率，科学对时序数据进行管理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种时序数据文件化管理方法，其特征在于，包括下述步骤：

获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；

在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；

根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；

将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；

获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；

在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；

根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；

获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。

2.根据权利要求1所述的时序数据文件化管理方法，其特征在于，所述根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中的步骤，具体包括：

在每一条待管理的时序数据进行缓存入库操作时，获取缓存入库时间；

以所述缓存入库时间作为排序字段，按照缓存入库时间的先后顺序对所有待管理的时序数据进行排序，获取排序结果；

根据排序结果将所有待管理的时序数据逐一缓存入目标存储表中。

3.根据权利要求1所述的时序数据文件化管理方法，其特征在于，在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之前，所述方法还包括：

设置各分区内待管理的时序数据的行数信息，并将各分区内待管理的时序数据的行数信息作为行数阈值；

设置所述返回值的目标数据格式，其中，所述返回值表示所述表分区表达式执行完毕之后对应的输出结果；

在执行所述将所述缓存入库时间作为计算参数传入预设的表分区表达式的步骤之后，所述方法还包括：

步骤A：设置各分区内待管理的时序数据的初始行数信息为0；

步骤B：在待管理的时序数据的缓存入库时间作为计算参数传入预设的表分区表达式时，依次获取传入的计算参数，并统计所述传入的计算参数的数量，其中，每获取到一个传入的计算参数，所述初始行数信息累加1；

步骤C：直到所述初始行数信息对应的累加结果与目标分区对应的行数阈值相同，完成对目标分区的预分区处理；

步骤D：重复执行步骤B至步骤C，完成对各分区的预分区处理。

4.根据权利要求3所述的时序数据文件化管理方法，其特征在于，所述对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理的步骤，具体包括：

根据各分区进行预分区处理所获取的计算参数，确定各分区内各计算参数分别所对应的待管理的时序数据；

基于所述各分区进行预分区处理所获取的计算参数和各分区内各计算参数分别所对应的待管理的时序数据对目标存储表进行分区处理。

5.根据权利要求4所述的时序数据文件化管理方法，其特征在于，在执行所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤之前，所述方法还包括：

获取经过分区处理之后各分区内时序数据最小编号；

获取经过分区处理之后各分区内时序数据最大编号；

基于预设的分区处理日志记录文件，识别各分区内被分区处理次数最多的时序数据，以及所述被分区处理次数最多的时序数据对应的分区处理次数；

当前分区输出的返回值由当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数共同构成，所述返回值的目标数据格式为当前分区对应的分区计算值、当前分区中时序数据最小编号、当前分区中时序数据最大编号和当前分区内处理次数最多的时序数据对应的分区处理次数四者的拼接格式数据，所述获取经过分区处理之后所述预设的表分区表达式输出的所有返回值的步骤，具体包括：

获取各分区分别对应的分区计算值、各分区中时序数据最小编号、各分区中时序数据最大编号和各分区内处理次数最多的时序数据对应的分区处理次数；

根据预设的拼接符号对同一分区对应的分区计算值、时序数据最小编号、时序数据最大编号和处理次数最多的时序数据对应的分区处理次数进行拼接处理，获取各分区分别对应的拼接格式数据；

将各分区分别对应的拼接格式数据作为各分区的返回值。

6.根据权利要求1至5任一项所述的时序数据文件化管理方法，其特征在于，目标数据表的表结构信息包括表中列字段信息、索引字段信息、数据总行数，所述数据管理文件包括基础管理文件和分区管理文件，所述根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件的步骤，具体包括：

根据所述分区处理结果生成所述分区管理文件，其中，所述分区管理文件包括分区表达式文件、分区字段最大值文件、分区字段最小值文件；

根据所述目标存储表的表结构信息生成所述基础管理文件，其中，所述基础管理文件包括校验文件、列信息文件、计数文件、索引文件、列数据文件、列字段标记文件。

7.根据权利要求6所述的时序数据文件化管理方法，其特征在于，在执行所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤之前，所述方法还包括：

基于LZ4压缩算法对每一条待管理的时序数据进行压缩处理，生成与待管理的时序数据数量相同的压缩数据块，其中，压缩数据块由待压缩数据和预设的头部数据信息共同压缩而成，所述预设的头部数据信息使用9位字节表示，具体由1个UInt8整型序列和2个UInt32整型序列共同组成9位字节，待压缩数据即当前待进行压缩的待管理的时序数据；

所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤，具体包括：

根据所有待管理的时序数据对应的表中列字段信息，将所有待管理的时序数据写入到所述基础管理文件中的列数据文件内；

所述将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内的步骤，还包括：

根据所有待管理的时序数据在列数据文件内的存储位置，将根据每一条待管理的时序数据分别所生成的压缩数据块写入到列数据文件内的目标位置，其中，每一条待管理的时序数据对应的存储位置和其对应的压缩数据块对应的目标位置存在唯一对应关系。

8.一种时序数据文件化管理装置，其特征在于，包括：

表信息获取模块，用于获取目标存储表的表名信息和表结构信息，其中，所述目标存储表用于存储待管理的时序数据；

管理根目录生成模块，用于在预设的文件管理服务器中以目标存储表的表名信息作为文件目录名称，以生成管理根目录；

时序数据缓存入库模块，用于根据预设的数据实时传输方式，将所述待管理的时序数据实时缓存入所述目标存储表中，并获取缓存入库时间，其中，所述缓存入库时间为每一条待管理的时序数据缓存到所述目标存储表中的时间；

表内数据分区处理模块，用于将所述缓存入库时间作为计算参数传入预设的表分区表达式，对所述目标存储表内缓存入的所有待管理的时序数据进行分区处理，获取分区处理结果；

分区处理返回值获取模块，用于获取经过分区处理之后所述预设的表分区表达式输出的所有返回值；

管理子目录生成模块，用于在所述管理根目录下，以所有返回值作为文件目录名称，以生成各分区对应的管理子目录；

数据管理文件生成模块，用于根据所述分区处理结果和所述目标存储表的表结构信息在各分区对应的管理子目录下对应生成数据管理文件；

时序数据写入模块，用于获取所述目标存储表内缓存入的所有待管理的时序数据，并将所有待管理的时序数据以数据流形式写入到对应的数据管理文件内，完成对待管理的时序数据的文件化管理。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的时序数据文件化管理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的时序数据文件化管理方法的步骤。

Images