CN112419058A - 数据管理方法和装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种数据管理方法和装置、存储介质及电子设备。其中，该方法包括：响应数据管理请求，在与目标生成时间戳对应的目标数据分片文件中，确定目标时序数据中待管理的目标元素数据的目标存储位置，其中，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，目标数据结构是用于对时序数据中的目标元素数据进行分类压缩存储的数据存储结构；对目标存储位置上存储的目标元素数据执行管理操作。本发明解决了由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的技术问题。

Description

数据管理方法和装置、存储介质及电子设备

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据管理方法和装置、存储介质及电子设备。

背景技术

针对金融领域中海量的股票金融数据，目前常用的管理方式是借助数据库或外部文件来存储上述数据。但上述方式均存在一定缺陷：1)通过数据库存储管理股票金融数据。随着时间发展，越来越多的股票代码和交易日的数据需要被存储到数据库中，以便于数据管理。但由于数据体量的增大，将使得数据库的数据检索速度逐渐降低，访问数据库的时间大幅增加。而且实际上有很多股票代码和交易日的数据是冗余的；2)通过外部文件存储管理股票金融数据。但由于不同外部文件对应的各个平台间是不通用的，在需要使用某些股票金融数据时，就需要从不同的平台中分别读取，从而导致无法直接将上述数据量较大的股票金融数据加载至内存中使用。

也就是说，在相关技术提供的数据管理过程中，由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据管理方法和装置、存储介质及电子设备，以至少解决由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的技术问题。

根据本发明实施例的一个方面，提供了一种数据管理方法，包括：获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，上述数据管理请求中携带有上述目标时序数据的数据类型标识符和上述目标时序数据的目标生成时间戳；响应上述数据管理请求，在与上述目标生成时间戳对应的目标数据分片文件中，确定上述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在上述目标数据分片文件中按照目标数据结构存储了包含上述目标生成时间戳的目标时间段内生成的时序数据，上述目标数据结构是用于对上述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；对上述目标存储位置上存储的上述目标元素数据执行管理操作。

根据本发明实施例的另一方面，还提供了一种数据管理装置，包括：第一获取单元，用于获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，上述数据管理请求中携带有上述目标时序数据的数据类型标识符和上述目标时序数据的目标生成时间戳；第一确定单元，用于响应上述数据管理请求，在与上述目标生成时间戳对应的目标数据分片文件中，确定上述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在上述目标数据分片文件中按照目标数据结构存储了包含上述目标生成时间戳的目标时间段内生成的时序数据，上述目标数据结构是用于对上述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；第一管理单元，用于对上述目标存储位置上存储的上述目标元素数据执行管理操作。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述的数据管理方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的数据管理方法。

在本发明实施例中，采用获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，上述数据管理请求中携带有上述目标时序数据的数据类型标识符和上述目标时序数据的目标生成时间戳；响应上述数据管理请求，在与上述目标生成时间戳对应的目标数据分片文件中，确定上述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在上述目标数据分片文件中按照目标数据结构存储了包含上述目标生成时间戳的目标时间段内生成的时序数据，上述目标数据结构是用于对上述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；对上述目标存储位置上存储的上述目标元素数据执行管理操作的方式；通过目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，然后将上述时序数据中的元素数据处理为分类压缩存储的数据存储结构，达到了提高数据管理效率的目的，从而实现了减少数据存储空间，以及降低数据管理操作复杂度的技术效果，进而解决了由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的数据管理方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的数据管理方法的应用环境的示意图；

图3是根据本发明实施例的一种可选的数据管理方法的流程示意图；

图4是根据本发明实施例的一种可选的数据管理方法的数据压缩和解压过程示意图；

图5是根据本发明实施例的一种可选的数据管理方法的数据处理示意图；

图6是根据本发明实施例的另一种可选的数据管理方法的数据处理示意图；

图7是根据本发明实施例的又一种可选的数据管理方法的数据处理示意图；

图8是根据本发明实施例的另一种可选的数据管理方法的数据处理示意图；

图9是根据本发明实施例的一种可选的数据管理装置的结构示意图；

图10是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种数据管理方法，可选地，作为一种可选的实施方式，上述数据管理方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有数据管理应用客户端。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于呈现对目标存储位置上存储的目标元素数据执行管理操作结果；处理器1024用获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，数据管理请求中携带有目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳。存储器1026用于存储目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳。

此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳。处理引擎1064用于响应数据管理请求，在与目标生成时间戳对应的目标数据分片文件中，确定目标时序数据中待管理的目标元素数据的目标存储位置，以及对目标存储位置上存储的目标元素数据执行管理操作。

具体过程如以下步骤：假设如图1所示终端设备102中运行有数据管理应用客户端，用户108操作人机交互屏幕1022对数据进行管理和操作，如步骤S102，获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，数据管理请求中携带有目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳。然后执行步骤S104，将对目标时序数据执行管理操作的管理请求通过网络104发送给服务器106。如步骤S106，响应数据管理请求，在与目标生成时间戳对应的目标数据分片文件中，确定目标时序数据中待管理的目标元素数据的目标存储位置，其中，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，目标数据结构是用于对时序数据中的元素数据进行分类压缩存储的数据存储结构。然后进入步骤S108，对目标存储位置上存储的目标元素数据执行管理操作；并如步骤S110，通过网络104通知终端设备102，返回目标元素数据所在的存储位置。

作为另一种可选的实施方式，本申请上述数据管理方法可以应用于图2所示的应用环境中。如图2所示，用户202与终端设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中终端设备204可以但不限于参考执行上述终端设备102所执行的操作，并对目标存储位置上存储的目标元素数据执行管理操作。

可选地，上述终端设备102和终端设备204可以但不限于为手机、平板电脑、笔记本电脑、PC机等终端，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。

可选地，作为一种可选的实施方式，如图3所示，上述数据管理方法包括：

S302，获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，数据管理请求中携带有目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳；

S304，响应数据管理请求，在与目标生成时间戳对应的目标数据分片文件中，确定目标时序数据中待管理的目标元素数据的目标存储位置，其中，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，目标数据结构是用于对时序数据中的目标元素数据进行分类压缩存储的数据存储结构；

S306，对目标存储位置上存储的目标元素数据执行管理操作。

在步骤S302中，实际应用时，目标时序数据可以包括但不限于股票金融数据，股票金融数据，也可以为其他有强时间属性的数据，例如天气数据，在此不做限定；例如，当目标时序数据为股票金融数据时，数据类型标识可以为股票代码，目标生成时间戳可以为该股票的交易日或者上市的时间等。

在步骤S304中，实际应用时，与目标生成时间戳对应的目标数据分片文件，可以为股票金融数据中按月生成的交易信息文件。确定出该股票金融数据中的待管理的目标元素数据，该目标元素数据可以为该股票的股票代码，股票交易日或股票的上市时间以及股票指标数据(如收盘价，开盘价等)；在所述目标数据分片文件中按照目标数据结构存储了包含所述目标生成时间戳的目标时间段内生成的时序数据，例如在一个月内所有股票代码对应的股票交易日；所述目标数据结构是用于对所述时序数据中的目标元素数据进行分类压缩存储的数据存储结构，也就是说，例如可以将股票代码，股票交易日或股票的上市时间以及股票指标数据等不同类型的数据分类进行压缩，及存储形成数据存储结构。

在步骤S306中，实际应用时，对目标存储位置上存储的目标元素数据执行管理操作，也就是说可以根据上述数据存储结构中的不同的目标元素数据进行删除，增加或更新操作。

在本发明实施例中，采用获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，上述数据管理请求中携带有上述目标时序数据的数据类型标识符和上述目标时序数据的目标生成时间戳；响应上述数据管理请求，在与上述目标生成时间戳对应的目标数据分片文件中，确定上述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在上述目标数据分片文件中按照目标数据结构存储了包含上述目标生成时间戳的目标时间段内生成的时序数据，上述目标数据结构是用于对上述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；对上述目标存储位置上存储的上述目标元素数据执行管理操作的方式；通过目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，然后将上述时序数据中的元素数据处理为分类压缩存储的数据存储结构，达到了提高数据管理效率的目的，从而实现了减少数据存储空间，以及降低数据管理操作复杂度的技术效果，进而解决了由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的技术问题。

在一实施例中，步骤S304包括：在目标数据分片文件存储的数据矩阵中，确定包含数据类型标识符和目标元素数据中记录的属性特征对应的特征类别标识符的数据行的行位置标签；获取目标生成时间戳和与目标时间段匹配的参考时间戳之间的时序关系；在目标数据分片文件存储的数据矩阵中，根据时序关系确定目标时序数据所在位置的列位置标签；将行位置标签和列位置标签所指示的位置，确定为目标元素数据所在的目标存储位置。

在本发明实施例中，数据矩阵可以为数据表格形式，在目标数据分片文件存储的表格中，如表1所示，表1为目标数据分片文件存储的数据矩阵，该目标数据分片文件为股票数据分片文件。其中，code表示股票代码，td表示股票交易日，factor1为开盘价，factor2为收盘价。

表1

code	td	factor1(开盘价)	factor2(收盘价)
				000001	2020-09-07	14.88	14.94
000001	2020-09-08	15.00	15.43
				000002	2020-09-07	27.95	28.43
000002	2020-09-08	28.60	28.30

例如，在表2中，股票代码为000001的标识符为0，股票代码为000002的标识符为1，也就是说股票代码000001在股票数据分片文件映射的标识符为0，股票代码为000002在股票数据分片文件映射的标识符为1，如下表2所示。

表2

code	标识符
		000001	0
000002	1

例如，股票指标factor1(开盘价)的标识符为0，股票指标factor2(收盘价)000002的标识符为1，也就是说股票指标factor1(开盘价)在股票数据分片文件映射的标识符为0，股票指标factor1(开盘价)在股票数据分片文件映射的标识符为1，如下表3所示。

表3

股票指标	标识符
		factor1	0
factor2	1

确定包含股票代码和股票指标数据对应的特征类别标识符的行位置标签，例如，股票代码000001的映射标识符为0，股票指标factor1(开盘价)在股票数据分片文件映射的标识符为0，就可以定位到如表4中的第一行的数据。

表4

code	factor	td0	td1	td2	td3	td4	td5
								0	0	min	min	min	min	14.88	15.00
0	1	min	min	min	min	14.94	15.43
								1	0	min	min	min	min	27.95	28.60
1	1	min	min	min	min	28.43	28.30

获取目标生成时间戳和与所述目标时间段匹配的参考时间戳之间的时序关系，例如，获取股票交易日在一个周期内的股票交易时间的对应关系，该周期包括每个月的1号，2号或15号等日期，由于每个月的时长不同，例如1月有31天，二月有28天，因此该周期不包括月末。

这里，如表5所示，例如，当前股票代码的实际交易日为2020-09-07，设计映射规则为2020-09-01偏移的第n个交易日为tdn，2020-09-01映射的交易日标识符为td0，由于2020-09-01为周二，是2020年9月的第一个交易日，除去2020-09-05和2020-09-05两个非交易日，那么实际交易日为2020-09-07为9月的第五个交易日，因此，偏移日期为2020-09-07对应的交易日标识符为td4。

表5

偏移日期	偏移日期标识符
		2020-09-07	td4
2020-09-08	td5

在本发明实施例中，目标时序数据为天气数据时，例如2020年9月的天气温度中包含了30天连续的温度数据。当2020-09-01映射的偏移日期标识符为td0时，设计映射规则为2020-09-01偏移的第n个交易日为tdn，那么2020-09-30偏移日期的偏移日期标识符为td29。

在目标数据分片文件存储的数据矩阵中，根据时序关系确定所述目标时序数据所在位置的列位置标签；如上述表4中，2020-09-07对应的交易日标识符为td4，在表4中，对应的列为第7列。

根据行位置标签和列位置标签所指示的位置，确定为目标元素数据所在的目标存储位置。例如股票代码000001的映射标识符为0，股票指标factor1(开盘价)在股票数据分片文件映射的标识符为0，在2020-09-07对应的交易日标识符为td4，在表4中，对应的列为第7列，此时对应的数据14.88即该股票地面000001的开盘价。

在一实施例中，在步骤S302之前，还包括：获取携带有生成时间戳的时序数据，其中，时序数据包括目标时序数据；按照生成时间戳所在时间段对时序数据进行分组，得到多组时序数据，其中，每一组时序数据中包括多个对象时序数据；对每一组时序数据，按照目标数据结构依次提取每个对象时序数据中的时序元素数据和属性元素数据，并对时序元素数据和属性元素数据进行分类压缩存储，以得到一组时序数据对应的数据分片文件。例如，可以对一个周期内(比如一个月内)的时序进行分组得到每一天的时序。将一个月内的每一天所包含的金融交易数据(如股票交易日，股票开盘价，股票收盘价)等不同类型的数据进行分类压缩，得到以月为周期的数据分片文件，例如包含表4结构的数据分片文件。

在一实施例中，按照目标数据结构依次提取每个对象时序数据中的时序元素数据和属性元素数据之后，还包括：获取时序元素数据中记录的对象生成时间戳，和对象生成时间戳所在时间段匹配的对象参考时间戳之间的对象时序关系；例如在表5中，获取当前股票代码的实际交易日为2020-09-07，设计映射规则为2020-09-01偏移的第n个交易日为tdn，2020-09-01映射的交易日标识符为td0，那么实际交易日为2020-09-07对应的交易日标识符为td4。

根据对象时序关系确定时序元素数据对应的时序标识符；遍历属性元素数据，依次执行以下操作：确定待处理的当前属性元素数据；在当前属性元素数据用于指示对象时序数据的数据类型的情况下，将当前属性元素数据映射为对应的数据类型标识符；在当前属性元素数据用于指示对象时序数据的属性特征的情况下，将属性特征中的各个特征类别分别映射为对应的特征类别标识符；利用数据类型标识符、特征类别标识符和时序标识符构建目标数据结构。这里，当前属性元素数据可以包括但不限于：类型标识为股票代码，和参数因子factor，如factor中的各个因子，如开盘价、收盘价、收益、涨幅、跌幅等，在此不做限定。将属性特征中的各个特征类别分别映射为对应的特征类别标识符；例如，票代码为000001的标识符为0，股票代码为000002的标识符为1，也就是说股票代码000001在股票数据分片文件映射的标识符为0，股票代码为000002在股票数据分片文件映射的标识符为1；股票指标factor1(开盘价)的标识符为0，股票指标factor2(收盘价)000002的标识符为1，也就是说股票指标factor1(开盘价)在股票数据分片文件映射的标识符为0，股票指标factor1(开盘价)在股票数据分片文件映射的标识符为1；当前股票代码的实际交易日为2020-09-07，设计映射规则为2020-09-01偏移的第n个交易日为tdn，2020-09-01映射的交易日标识符为td0，那么实际交易日为2020-09-07对应的交易日标识符为td4。利用上述数据类型标识符(股票映射代码0或1等)、特征类别标识符(0或1等)和时序标识符(tdn)构建目标数据结构，如上述表4所示的数据结构。

在一实施例中，对时序元素数据和属性元素数据进行分类压缩存储包括：遍历每个对象时序数据，依次执行以下操作：根据当前对象时序数据中的各个属性元素数据确定当前数据类型标识符和当前特征类别标识符；基于当前数据类型标识符和当前特征类别标识符，确定各个属性元素数据中记录的属性特征值分别所在的行存储位置；根据当前对象时序数据中时序元素数据中记录的当前对象生成时间戳，确定当前时序标识符；基于当前时序标识符确定各个属性元素数据中记录的属性特征值分别所在的列存储位置；在行存储位置与列存储位置所指示的对象位置对应存储属性特征值。

在本实施中，根据当前金融数据中的每一条金融交易数据中包含的各个属性元素(交易日，开盘价，收盘价，涨幅和跌幅等)，确定各个属性元素数据中记录的属性特征值分别所在的行存储位置，根据当前对象时序数据中时序元素数据中记录的当前对象生成时间戳，确定当前时序标识符，即相对于初始交易日生成tdn格式的时序标识符；基于当前时序标识符(tdn)确定各个属性元素数据中记录的属性特征值(例如开盘价)分别所在的列存储位置。

例如，将月份第一个交易日的股票通过code的数字大小升序做0至code数量的映射。如果当月新上市的股票均按上市时间和code数字大小排序添加至文件尾部，保证股票的绝对位置不发生改变，下个月份会重新按照code的数字大小排序，每个月份的数据均是独立互相不影响的，即，交易数据每月更新。每月新增的数据(比如增加新的股票代码)先增加到尾部，但下月更新时按照交易码重新顺序排列，这里，假设当前月份有300个股票代码，下个月增加了50个股票代码，那么就需要将50个股票代码对应映射到数据的尾部进行处理。例如，股票代码000001映射的标识符为0，股票代码000300对应映射的标识符为299，那么新增加的股票代码映射的标识符为从300到349。

在一实施例中，在行存储位置与列存储位置所指示的对象位置对应存储属性特征值时，还包括：在目标数据结构中的任意一个时序标识符所指示的数据列中缺省属性特征值的情况下，存储目标占位符。如，上述表4中，缺省的属性特效值用min标识，该标识为Float数据类型的目标占位符。

在一实施例中，对目标存储位置上存储的目标元素数据执行管理操作包括：在数据管理请求为数据查找请求的情况下，读取目标存储位置上存储的目标元素数据；在数据管理请求为数据修改请求的情况下，修改目标存储位置上存储的目标元素数据；在数据管理请求为数据删除请求的情况下，删除目标存储位置上存储的目标元素数据，并在目标存储位置上增加占位符。通过本实施，可以对目标存储位置上存储的目标数据执行更新操作，提高了数据管理的效率。

在本发明实施例中，采用获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，上述数据管理请求中携带有上述目标时序数据的数据类型标识符和上述目标时序数据的目标生成时间戳；响应上述数据管理请求，在与上述目标生成时间戳对应的目标数据分片文件中，确定上述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在上述目标数据分片文件中按照目标数据结构存储了包含上述目标生成时间戳的目标时间段内生成的时序数据，上述目标数据结构是用于对上述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；对上述目标存储位置上存储的上述目标元素数据执行管理操作的方式；通过目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，然后将上述时序数据中的元素数据处理为分类压缩存储的数据存储结构，达到了提高数据管理效率的目的，从而实现了减少数据存储空间，以及降低数据管理操作复杂度的技术效果，进而解决了由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的技术问题。

可选地，作为一种可选的应用实施方式，如图4所示，上述数据管理方法中的数据压缩和解压过程包括：

S402.获取原始金融数据，如上述表1所示。

S404.将原始金融数据通过coder(压缩程序)压缩为meta类型的数据；

S406.并且将压缩后的文件按月份进行划分为不同类型的文件，例meta-2020-09。meta数据分为code文件，td文件，factor文件，其中code文件如上述表2所示，td偏移文件如上述表5所示，factor偏移文件如上述表3所示。

S408.将原始金融数据通过coder压缩为data数据，并且压缩后的文件按月份进行划分为不同文件，例如命名格式：data-2020-09，data数据如上述表4所示。

S410.压缩后的不同类型的数据通过decoder(解压缩程序)按不同数据需求解压类似表1结果返回客户端进行使用，其中factor列的个数可以根据需要进行调整，例如增加或减少。

可选地，作为一种可选的应用实施方式，上述数据管理方法包括：

1.将月份第一个交易日的股票通过code的数字大小升序做0至code数量的映射。如果当月新上市的股票均按上市时间和code数字大小排序添加至文件尾部，保证股票的绝对位置不发生改变，下个月份会重新按照code的数字大小排序，每个月份的数据均是独立互相不影响的，图5所示，

图5的(a)部分，在步骤S501中，9月的股票代码为，000001，000002，000004等，在步骤S502中，设置股票代码000001映射的数字为0，股票代码000002映射的数字为1，股票代码000004映射的数字为2；针对当月已存在的股票按顺序进行映射，以此类推。图5的(b)部分，步骤S503，当月新增了股票代码为000006和000007以及000005，在步骤S504中，就将该股票代码放置在队列的末尾，股票代码为000006和000007以及000005，对应标识符的数字为3，4，5；在步骤S505中，根据股票代码的大小进行排序，股票代码为000005和000006以及000007，得到标识符对应的数字为5，3，4。

在当月存在新上市股时，依然按其上市时间，对其进行编码映射并排序。这里，针对当月新上市股票，按顺序排在当月所有股票顺序队列的末尾。应当注意，这里的000001、000002、000004、000005、000006、000007均为示意性代码，不具备序列属性，股票代码是按照股市要求的唯一标识，其唯一标识了一支股票。

2.将当月的所有股票交易日td按时间升序做0至交易日数量的映射,记为tdn，如图6所示，步骤S601，记录2020年9月的交易日；进入步骤S602，在该步骤中，按照交易日的时间顺序对交易日数据进行映射处理，规则即为日期规则。

3.将所有股票因子数据factor(如开盘价，收盘价，涨幅，跌幅)按用户自定义顺序做0至数量n的映射，本例子按照factor1，factor2的升序排列，如以上表1所示。

4.如图7所示，步骤S701，获取上述表1中的数据；然后进入步骤S702，将原始数据按上述3个步骤进行替换，得到格式为股票code码的映射值，因子factor映射值，tdn的映射值，缺失的td用最小值min(float类型数据)进行占位；然后进入步骤S703，保证数据对齐，这样就能得到压缩后的数据。

5.如图8所示，在步骤S802中，收到查询例如股票代码为000001在2020-09-08交易日的收盘价的数据请求后，进入步骤S804，先通过code和factor的映射关系定位到第几行，通过td得到第几列的因子值。例查询000001在2020-09-08交易日的收盘价(factor2)，根据图中信息，进入步骤S806，可以得到code映射为0，收盘价(factor2)映射为1，td映射为5，得到为表5中第二行第7列值当前股票代码为000001的开盘价为15.43。通过本发明实施例中将文件通过压缩按月份分区后使得文件存储空间减少，减少了磁盘的存储空间，当服务需要数据时将对应月份数据加载至内存，降低了内存的占用，数据对齐更容易定位到需求的数据值，提高了查找效率。此外，本发明实施例还适用于具有强时间属性的任何数据的数据库的处理。

在本发明实施例中，采用获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，上述数据管理请求中携带有上述目标时序数据的数据类型标识符和上述目标时序数据的目标生成时间戳；响应上述数据管理请求，在与上述目标生成时间戳对应的目标数据分片文件中，确定上述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在上述目标数据分片文件中按照目标数据结构存储了包含上述目标生成时间戳的目标时间段内生成的时序数据，上述目标数据结构是用于对上述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；对上述目标存储位置上存储的上述目标元素数据执行管理操作的方式；通过目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，然后将上述时序数据中的元素数据处理为分类压缩存储的数据存储结构，达到了提高数据管理效率的目的，从而实现了减少数据存储空间，以及降低数据管理操作复杂度的技术效果，进而解决了由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的技术问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述数据管理方法的数据管理装置。如图9所示，该装置包括：

第一获取单元902，用于获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，数据管理请求中携带有目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳；

第一确定单元904，用于响应数据管理请求，在与目标生成时间戳对应的目标数据分片文件中，确定目标时序数据中待管理的目标元素数据的目标存储位置，其中，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，目标数据结构是用于对时序数据中的元素数据进行分类压缩存储的数据存储结构；

第一管理单元906，用于对目标存储位置上存储的目标元素数据执行管理操作。

在本申请实施例中，目标时序数据可以包括但不限于股票金融数据，股票金融数据，也可以为其他有强时间属性的数据，例如天气数据，在此不做限定；例如，当目标时序数据为股票金融数据时，数据类型标识可以为股票代码，目标生成时间戳可以为该股票的交易日或者上市的时间等。

在本申请实施例中，与目标生成时间戳对应的目标数据分片文件，可以为股票金融数据中按月生成的交易信息文件。确定出该股票金融数据中的待管理的目标元素数据，该目标元素数据可以为该股票的股票代码，股票交易日或股票的上市时间以及股票指标数据(如收盘价，开盘价等)；在所述目标数据分片文件中按照目标数据结构存储了包含所述目标生成时间戳的目标时间段内生成的时序数据，例如在一个月内所有股票代码对应的股票交易日；所述目标数据结构是用于对所述时序数据中的目标元素数据进行分类压缩存储的数据存储结构，也就是说，例如可以将股票代码，股票交易日或股票的上市时间以及股票指标数据等不同类型的数据分类进行压缩存储形成数据存储结构。

在本申请实施例中，对目标存储位置上存储的目标元素数据执行管理操作，也就是说可以根据上述数据存储结构中的不同的目标元素数据进行删除，增加或更新操作。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

在本发明实施例中，采用获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，上述数据管理请求中携带有上述目标时序数据的数据类型标识符和上述目标时序数据的目标生成时间戳；响应上述数据管理请求，在与上述目标生成时间戳对应的目标数据分片文件中，确定上述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在上述目标数据分片文件中按照目标数据结构存储了包含上述目标生成时间戳的目标时间段内生成的时序数据，上述目标数据结构是用于对上述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；对上述目标存储位置上存储的上述目标元素数据执行管理操作的方式；通过目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，然后将上述时序数据中的元素数据处理为分类压缩存储的数据存储结构，达到了提高数据管理效率的目的，从而实现了减少数据存储空间，以及降低数据管理操作复杂度的技术效果，进而解决了由于海量的数据存储占用了很大的存储空间，使得数据管理操作的复杂度增加，从而导致数据管理效率降低的技术问题。

本实施例的其他实例可以参见上述实施例，在此不做赘述。

根据本发明实施例的又一个方面，还提供了一种用于实施上述数据管理方法的电子设备，如图10所示，该电子设备包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，数据管理请求中携带有目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳；

S2，响应数据管理请求，在与目标生成时间戳对应的目标数据分片文件中，确定目标时序数据中待管理的目标元素数据的目标存储位置，其中，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，目标数据结构是用于对时序数据中的目标元素数据进行分类压缩存储的数据存储结构；

S3，对目标存储位置上存储的目标元素数据执行管理操作。

可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图10其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。

其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的数据管理方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据管理方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于存储目标元素以及目标数据结构参数等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述数据管理装置中的第一获取单元902、第一确定单元904、第一管理单元906。此外，还可以包括但不限于上述数据管理装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器1008，用于显示目标元素数据；和连接总线1010，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，数据管理请求中携带有目标时序数据的数据类型标识符和目标时序数据的目标生成时间戳；

S2，响应数据管理请求，在与目标生成时间戳对应的目标数据分片文件中，确定目标时序数据中待管理的目标元素数据的目标存储位置，其中，在目标数据分片文件中按照目标数据结构存储了包含目标生成时间戳的目标时间段内生成的时序数据，目标数据结构是用于对时序数据中的目标元素数据进行分类压缩存储的数据存储结构；

S3，对目标存储位置上存储的目标元素数据执行管理操作。

在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据管理方法，其特征在于，包括：

获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，所述数据管理请求中携带有所述目标时序数据的数据类型标识符和所述目标时序数据的目标生成时间戳；

响应所述数据管理请求，在与所述目标生成时间戳对应的目标数据分片文件中，确定所述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在所述目标数据分片文件中按照目标数据结构存储了包含所述目标生成时间戳的目标时间段内生成的时序数据，所述目标数据结构是用于对所述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；

对所述目标存储位置上存储的所述目标元素数据执行管理操作。

2.根据权利要求1所述的方法，其特征在于，所述在与所述目标生成时间戳对应的目标数据分片文件中，确定所述目标时序数据中待管理的目标元素数据的目标存储位置包括：

在所述目标数据分片文件存储的数据矩阵中，确定包含所述数据类型标识符和所述目标元素数据中记录的属性特征对应的特征类别标识符的数据行的行位置标签；

获取所述目标生成时间戳和与所述目标时间段匹配的参考时间戳之间的时序关系；

在所述目标数据分片文件存储的数据矩阵中，根据所述时序关系确定所述目标时序数据所在位置的列位置标签；

将所述行位置标签和所述列位置标签所指示的位置，确定为所述目标元素数据所在的所述目标存储位置。

3.根据权利要求1所述的方法，其特征在于，在所述获取用于请求对目标时序数据执行管理操作的数据管理请求之前，还包括：

获取携带有生成时间戳的时序数据，其中，所述时序数据包括所述目标时序数据；

按照所述生成时间戳所在时间段对所述时序数据进行分组，得到多组时序数据，其中，每一组所述时序数据中包括多个对象时序数据；

对每一组所述时序数据，按照所述目标数据结构依次提取每个所述对象时序数据中的时序元素数据和属性元素数据，并对所述时序元素数据和所述属性元素数据进行分类压缩存储，以得到一组所述时序数据对应的数据分片文件。

4.根据权利要求3所述的方法，其特征在于，在所述按照所述目标数据结构依次提取每个所述对象时序数据中的时序元素数据和属性元素数据之后，还包括：

获取所述时序元素数据中记录的对象生成时间戳，和所述对象生成时间戳所在时间段匹配的对象参考时间戳之间的对象时序关系；

根据所述对象时序关系确定所述时序元素数据对应的时序标识符；

遍历所述属性元素数据，依次执行以下操作：

确定待处理的当前属性元素数据；

在所述当前属性元素数据用于指示所述对象时序数据的数据类型的情况下，将所述当前属性元素数据映射为对应的数据类型标识符；

在所述当前属性元素数据用于指示所述对象时序数据的属性特征的情况下，将所述属性特征中的各个特征类别分别映射为对应的特征类别标识符；

利用所述数据类型标识符、所述特征类别标识符和所述时序标识符构建所述目标数据结构。

5.根据权利要求4所述的方法，其特征在于，所述对所述时序元素数据和所述属性元素数据进行分类压缩存储包括：

遍历每个所述对象时序数据，依次执行以下操作：

根据当前对象时序数据中的各个属性元素数据确定当前数据类型标识符和当前特征类别标识符；

基于所述当前数据类型标识符和所述当前特征类别标识符，确定各个所述属性元素数据中记录的属性特征值分别所在的行存储位置；

根据所述当前对象时序数据中时序元素数据中记录的当前对象生成时间戳，确定当前时序标识符；

基于所述当前时序标识符确定各个所述属性元素数据中记录的属性特征值分别所在的列存储位置；

在所述行存储位置与所述列存储位置所指示的对象位置对应存储所述属性特征值。

6.根据权利要求5所述的方法，其特征在于，在所述行存储位置与所述列存储位置所指示的对象位置对应存储所述属性特征值时，还包括：

在所述目标数据结构中的任意一个时序标识符所指示的数据列中缺省属性特征值的情况下，存储目标占位符。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述目标存储位置上存储的所述目标元素数据执行管理操作包括：

在所述数据管理请求为数据查找请求的情况下，读取所述目标存储位置上存储的所述目标元素数据；

在所述数据管理请求为数据修改请求的情况下，修改所述目标存储位置上存储的所述目标元素数据；

在所述数据管理请求为数据删除请求的情况下，删除所述目标存储位置上存储的所述目标元素数据，并在所述目标存储位置上增加占位符。

8.一种数据管理装置，其特征在于，包括：

第一获取单元，用于获取用于请求对目标时序数据执行管理操作的数据管理请求，其中，所述数据管理请求中携带有所述目标时序数据的数据类型标识符和所述目标时序数据的目标生成时间戳；

第一确定单元，用于响应所述数据管理请求，在与所述目标生成时间戳对应的目标数据分片文件中，确定所述目标时序数据中待管理的目标元素数据的目标存储位置，其中，在所述目标数据分片文件中按照目标数据结构存储了包含所述目标生成时间戳的目标时间段内生成的时序数据，所述目标数据结构是用于对所述时序数据中的目标元素数据进行分类压缩存储的数据存储结构；

第一管理单元，用于对所述目标存储位置上存储的所述目标元素数据执行管理操作。

9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images