CN112835908B - 一种时序数据存储方法、系统、存储设备和存储介质 - Google Patents
一种时序数据存储方法、系统、存储设备和存储介质 Download PDFInfo
- Publication number
- CN112835908B CN112835908B CN202110196292.0A CN202110196292A CN112835908B CN 112835908 B CN112835908 B CN 112835908B CN 202110196292 A CN202110196292 A CN 202110196292A CN 112835908 B CN112835908 B CN 112835908B
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- storage
- time sequence
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种时序数据存储方法,包括:获取目标存储逻辑,目标存储逻辑包括预设存储层次关系,根据预设存储层次关系生成可存储目录;根据预设采样频率获取待存储时序数据,待存储时序数据为具有N个特征的N维数组,N是大于1的整数;将待存储时序数据转换为二进制格式的待存储二进制数据,将待存储二进制数据存储在与待存储二进制数据对应的N个特征匹配的可存储目录中。本发明还公开了种时序数据存储系统、存储设备和存储介质。本发明可以提升读取效率,方便使用数据。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种时序数据存储方法、系统、存储设备和存储介质。
背景技术
在数据分析,挖掘和建模领域,通过对原始数据的清洗,加工及聚合来提取出有价值的信息(专业领域内称之为特征)是最重要,也是最为耗费人力的一个关键步骤。传统的、直观的存储方案为将所有数据存放至数据库内,通过数据库内的数据表来控制数据的存放,读取,修改或查询等功能。
时序数据是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。时序数据由于其特殊的形式(与时间高度相关),在进行存储时就会面临很多区别于传统数据存储的问题和困难,如高度的稀疏性,更加复杂的处理逻辑等。如果原始数据量很大,实时的计算更会浪费大量的时间,并可能影响整体系统的吞吐量。
发明内容
基于此,有必要针对上述问题,提出了一种时序数据存储方法、系统、存储设备和存储介质。
一种时序数据存储方法,包括:获取目标存储逻辑,所述目标存储逻辑包括预设存储层次关系,根据预设存储层次关系生成可存储目录;根据预设采样频率获取待存储时序数据,所述待存储时序数据为具有N个特征的N维数组,N是大于1的整数;将所述待存储时序数据转换为二进制格式的待存储二进制数据,将所述待存储二进制数据存储在与所述待存储二进制数据对应的N个特征匹配的可存储目录中。
其中,所述时序数据存储方法还包括:获取选取逻辑,根据所述选取逻辑生成筛选条件,根据所述筛选条件从所述可存储目录中选取与所述筛选条件匹配的待存储二进制数据,根据所述选取的待存储二进制数据生成选取数据。
其中,所述根据所述选取的待存储二进制数据生成选取数据的步骤之后,包括:将待新增特征与所述选取数据的粒度进行匹配,生成待新增数据,将所述待新增数据和所述选取数据拼接,生成目标数据。
其中,所述根据所述筛选条件从所述可存储目录中选取与所述筛选条件匹配的待存储二进制数据的步骤之后,包括:获取预设延伸处理类型,根据所述延伸处理类型设置操作接口;对所述操作接口进行连接,并设置对应的调用格式,根据调用指令获取所述选取的待存储二进制数据的延伸数据。
其中,所述预设延伸处理类型包括:数据回溯、数据缩放、缺失值插补中的至少一项。
其中,所述待存储二进制数据存储在与所述待存储二进制数据对应的N个特征匹配的可存储目录中的步骤之后,包括:根据预设命名规则为所述待存储二进制数据命名,且同一个可存储目录中的待存储二进制数据名称均不相同。
其中,所述根据预设采样频率获取待存储时序数据的步骤,包括:根据预设处理逻辑对所述待存储时序数据进行计算,获取计算数据,将所述计算数据加入所述待存储时序数据。
一种时序数据存储系统,包括:获取模块,用于获取目标存储逻辑,所述目标存储逻辑包括预设存储层次关系,根据目标存储层次关系生成可存储目录;数据模块,用于根据预设采样频率获取待存储时序数据,所述待存储时序数据为具有N个特征的N维数组,N是大于1的整数;存储模块,用于将所述待存储时序数据转换为二进制格式的待存储二进制数据,将所述待存储二进制数据存储在与所述待存储二进制数据对应的N个特征匹配的可存储目录中。
一种存储设备,包括:处理器、存储器和通信电路,所述处理器耦接所述存储器和所述通信电路,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序以实现如上所述的方法。
一种存储介质,存储有计算机程序,所述计算机程序能够被处理器执行以实现如上所述的方法。
采用本发明实施例,具有如下有益效果:
通过将待存储时序数据转换为二进制格式进行存储,可以有效降低占用的存储空间,根据预设存储层次关系生成可存储目录,将二进制格式的待存储二进制数据根据对应的N个特征存储到匹配的可存储目录中,从而可以将最细粒度的待存储二进制数据存储到不同的目录中,可以并发式读取数据,提升读取效率,方便使用数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1是本发明提供的时序数据存储方法的第一实施例的流程示意图;
图2是本发明提供的可存储目录的结构示意图;
图3是本发明提供的待存储时序数据的结构示意图;
图4是本发明提供的时序数据存储方法的第二实施例的流程示意图;
图5是本发明提供的选取数据的结构示意图;
图6是本发明提供的时序数据存储方法的第三实施例的流程示意图;
图7是本发明提供的时序数据存储方法的第四实施例的流程示意图;
图8是本发明提供的时序数据存储系统的一实施例的结构示意图;
图9是本发明提供的存储设备的一实施例的结构示意图;
图10是本发明提供的存储介质的一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1是本发明提供的时序数据存储方法的第一实施例的流程示意图。本发明提供的时序数据存储方法包括如下步骤:
S101:获取目标存储逻辑,目标存储逻辑包括预设存储层次关系,根据预设存储层次关系生成可存储目录。
在一个具体的实施场景中,获取目标存储逻辑,目标存储逻辑用于指示按照特定的层级关系存储数据,例如目标存储逻辑按照实际要解决的问题所提出的要求来设计数据存储的预设存储层次关系,根据预设存储层次关系生成可存储目录。例如要解决的问题是获取商品在A天气状态下B时间段内的销量,则生成的可存储目录为A/B/待存储数据。
在一个实施场景中,在对连锁零售商店进行销量预测时,要求预测每家门店每天每半小时的未来销量,那么预设存储层次关系对应的可存储目录就会对应的设计为:门店/日期/特征属性/对应的待存储数据。在本实施场景中,待存储数据为segment文件,在其他实施场景中,待存储数据可以为其他数据文件。在其他实施场景中,可存储目录的还可以设计为日期/门店/特征属性/对应的待存储数据或者特征属性/门店/日期/对应的待存储数据。可存储目录可以根据用户的实际需求进行灵活设置,如针对不同工厂可存储目录可以设置为日期/工厂编号/特征属性。
其中,特征属性可以对应多个不同的子属性,例如特征属性为天气特征,则可以对应温度、湿度、日照时长等等多个子属性,又例如,特征属性为销售属性,则可以对应单价、销量、利润、客流量等等多个子属性。当特征属性对应多个不同的子属性时,将多个子属性按照预设顺序组成数组,例如特征属性为天气特征时,对应的数组为(25,50,12),特征属性为销售属性时,对应的数组为(5,20,2,10)。
请结合参阅图2,图2是本发明提供的可存储目录的结构示意图。如图2所示的,待存储数据为一个三维的segment,三个维度分别为date、time window和feature。根据该segment的特征类型(例如,销量特征、天气特征、节日特征等等)将该segment以二进制格式存储于对应的可存储目录中。在segment的存储系统中,按照门店(例如Store1、Store2)/日期(例如,2019-01、2018-12)/特征属性(销售特征、天气特征、节日特征)的层级结构存储数据。
S102:根据预设采样频率获取待存储时序数据,待存储时序数据为具有N个特征的N维数组,N是大于1的整数。
在一个具体的实施场景中,获取预设采样频率,预设采样频率根据需要预测的目标进行设定,例如要求预测每家门店每天每半小时的未来销量,则每天每半小时获取当前销量,生成待存储时序数据。在本实施场景中待存储时序数据为具有三个特征的三维数组,(维度1:日期date;维度2:时间窗口time window;维度3:特征feature)。在其他实施场景中,待存储时序数据为具有N个特征的N为数组,N是大于1的整数,例如,2、4、5、7等等。在本实施场景中,时间窗口对应预设采样频率,为半小时,在其他实施场景中也可以根据用户需求进行调节,例如1小时、10分钟、1分钟等等。
在其他实施场景中,待存储时序数据可以是根据预设频率采样获取的数据进行组合获取。请结合参阅图3,图3是本发明提供的待存储时序数据的结构示意图。图3所示的,一个包含2018年11月1日至11月4日的每天3个时间窗口的4个特征的segment结构示例。一个segment可以由多个segment按照日期、时间窗口、特征的顺序进行排列组合得到。
S103:将待存储时序数据转换为二进制格式的待存储二进制数据,将待存储二进制数据存储在与待存储二进制数据对应的N个特征匹配的可存储目录中。
在一个具体的实施场景中,将待存储时序数据转换为二进制格式的待存储二进制数据,保存成为二进制格式的文件将大幅度降低计算机存储空间的占用。获取待存储时序数据的N个特征,获取该N个特征匹配的可存储目录。例如待存储时序数据的N个特征为2018-12、1、销量,采集的零售店为Store1,销量属于销售特征,则对应的可存储目录为Store1/2018-12/销售特征。
在本实施场景中,待存储二进制数据具有日期维度和时间窗口维度,在进行复杂的分析或建模时可以快速构造所需要的特征,节省了从原始非时序数据进行逻辑处理的时间,大幅提高了时序数据进行聚合操作的速度。最细粒度的segment文件分布在不同的可存储目录下,无须使用复杂的技术就可以并发式的读取数据,从而支持后续并行式的数据分析或数据建模。
在另一个实施场景中,根据预设命名规则为待存储二进制数据命名。进一步地,可以根据采集时间的先后顺序进行命名,例如第一个存储的待存储二进制数据命名为000000,第二个为000001,第三个为000002,以此类推。或者可以采用其他的命名规则进行命名,为了避免数据管理混乱或者错漏,同一个可存储目录中的待存储二进制数据名称均不相同,这样可以方便的实现数据的版本控制以及溯源操作。在本实施场景中使用了叠加六位数字的数字串作为命名的名称,在其他实施场景中,不限于此种命名规则,其他任意的命名规则(如字母加数字组合,纯字母组合,特殊字符组合等)同样可以作为替代来实现类似的效果。
根据预设处理逻辑对待存储时序数据进行计算,获取计算数据,将计算数据加入待存储时序数据。例如计算1小时内的销量的平均值,则将计算出的平均值加入到待存储时序数据中,根据预设命名规则进行命名和存储。当需要对同一份待存储数据按照不同的计算处理逻辑生成不同的计算数据但又不计划覆盖相同目录下已经存在的计算数据时,按照命名规则命名为一个新的数据名称。例如计算1小时内的销量的总和,则根据命名规则进行命名,该命名与平均值命名不同以进行区分。
通过上述描述可知,在本实施例中通过将待存储时序数据转换为二进制格式进行存储,可以有效降低占用的存储空间,根据预设存储层次关系生成可存储目录,将二进制格式的待存储二进制数据根据对应的N个特征存储到匹配的可存储目录中,从而可以将最细粒度的待存储二进制数据存储到不同的目录中,可以并发式读取数据,提升读取效率,方便使用数据。
请参阅图4,图4是本发明提供的时序数据存储方法的第二实施例的流程示意图。本发明提供的时序数据存储方法包括如下步骤:
S201:获取目标存储逻辑,目标存储逻辑包括预设存储层次关系,根据预设存储层次关系生成可存储目录。
S202:根据预设采样频率获取待存储时序数据,待存储时序数据为具有N个特征的N维数组,N是大于1的整数。
S203:将待存储时序数据转换为二进制格式的待存储二进制数据,将待存储二进制数据存储在与待存储二进制数据对应的N个特征匹配的可存储目录中。
在一个具体的实施场景中,步骤S201-S203与本发明提供的时序数据存储方法的第一实施例中的步骤S101-S103基本一致,此处不再进行赘述。
S204:获取选取逻辑,根据选取逻辑生成筛选条件,根据筛选条件从可存储目录中选取与筛选条件匹配的待存储二进制数据,根据选取的待存储二进制数据生成选取数据。
在一个具体的实施场景中,获取选取逻辑,选取逻辑用于选取特定要求的时间段内的部分数据。在经过上述步骤的存储后,可存储目录中存储有大量的待存储二进制数据,当只需要读取某一个特定时间段的数据时,就可以使用代码构造的选取接口来只选取需要的数据,规避掉无用数据的干扰。根据选取逻辑生成筛选条件,在本实施场景中,筛选条件的格式是(门店格式,开始时间,结束时间,特征属性),将筛选条件输入选取接口,输出即为经过筛选后的与筛选条件匹配的待存储二进制数据。经过筛选后的与筛选条件匹配的待存储二进制数据进行组合,生成选取数据。
请结合参阅图5,图5是本发明提供的选取数据的结构示意图。如图5所示的,在数据库中可存储目录中存储有多个待存储二进制数据,每个待存储二进制数据对应一个门店、一个日期、一个特质属性,根据输入的筛选条件通过数据库API(ApplicationProgramming Interface,应用程序接口)输出选取的待存储二进制数据。在本实施场景中是2018-11至2019-01的一家门店(例如Store1)或者多家门店(例如全部门店)的三种特质属性(sales、weather、holiday)的待存储二进制数据。将选取的待存储二进制数据通过组合API输出选取数据。
通过上述描述可知,在本实施例中,通过将最细粒度的待存储二进制数据存储到不同的目录中,在选取待存储二进制数据时,可以并发式读取数据,提升读取效率,方便使用数据。
请参阅图6,图6是本发明提供的时序数据存储方法的第三实施例的流程示意图。本发明提供的时序数据存储方法包括如下步骤:
S301:获取目标存储逻辑,目标存储逻辑包括预设存储层次关系,根据预设存储层次关系生成可存储目录。
S302:根据预设采样频率获取待存储时序数据,待存储时序数据为具有N个特征的N维数组,N是大于1的整数。
S303:将待存储时序数据转换为二进制格式的待存储二进制数据,将待存储二进制数据存储在与待存储二进制数据对应的N个特征匹配的可存储目录中。
S304:获取选取逻辑,根据选取逻辑生成筛选条件,根据筛选条件从可存储目录中选取与筛选条件匹配的待存储二进制数据,根据选取的待存储二进制数据生成选取数据。
在一个具体的实施场景中,步骤S301-S304与本发明提供的时序数据存储方法的第二实施例中的步骤S201-S204基本一致,此处不再进行赘述。
S305:将待新增特征与选取数据的粒度进行匹配,生成待新增数据,将待新增数据和选取数据拼接,生成目标数据。
在一个具体的实施场景中,存在一些无需在待存储时序数据中存储,但是在数据分析或者建模时需要使用的极度稀疏的特征,例如节假日情况,采用了虚拟segment(即virtual segment)的方式来实现对现有数据的扩充。例如,待新增特征为本日是否为国庆节,由于国庆节(10月01日)全年仅有一天,因此若作为待存储书序数据的一个特征进行存储,将会耗费较多的存储空间。在进行数据分析或者建模时,已经生成的选取数据,例如选取数据为5家门店10天的10个特征的选取数据,则选取数据为5*10*10的数组,也就是说选取数据的粒度为5*10。
将待新增特征与选取数据的粒度进行匹配,生成新增数据,新增数据为5*10*1的数组,将待新增数据和选取数据拼接,生成目标数据,目标数据为5*10*(10+1)也就是5*10*11的数组。
在其他实施场景中,还可能是在初步进行数据采集时有部分特征遗漏,在进行数据分析或者建模时,可以通过该方法将遗漏的特征补上。
通过上述描述可知,在本实施例中将待新增特征与选取数据的粒度进行匹配,生成待新增数据,将待新增数据和选取数据拼接,生成目标数据,可以实现特征的灵活补充,节约存储空间,提升数据使用便捷度。
请参阅图7,图7是本发明提供的时序数据存储方法第四实施例的流程示意图。本发明提供的时序数据存储方法包括如下步骤:
S401:获取目标存储逻辑,目标存储逻辑包括预设存储层次关系,根据预设存储层次关系生成可存储目录。
S402:根据预设采样频率获取待存储时序数据,待存储时序数据为具有N个特征的N维数组,N是大于1的整数。
S403:将待存储时序数据转换为二进制格式的待存储二进制数据,将待存储二进制数据存储在与待存储二进制数据对应的N个特征匹配的可存储目录中。
S404:获取选取逻辑,根据选取逻辑生成筛选条件,根据筛选条件从可存储目录中选取与筛选条件匹配的待存储二进制数据,根据选取的待存储二进制数据生成选取数据。
在一个具体的实施场景中,步骤S401-S404与本发明提供的时序数据存储方法的第二实施例中的步骤S201-S204基本一致,此处不再进行赘述。
S405:获取预设延伸处理类型,根据延伸处理类型设置操作接口;对操作接口进行连接,并设置对应的调用格式,根据调用指令获取选取的待存储二进制数据的延伸数据。
在一个具体的实施场景中,区别于数据去重等简单的预处理,现实的项目中选取数据在读取载入后往往还存在各种特殊的延伸处理需求,如时序数据往往需要当前时间窗口的前一段时间包含的特征来做为当前数据的补充,如在分析2019年2月的销量情况时,也需要提取2018年2月,2017年2月的的销量作为补充的特征。如果只是使用手动的方式去按照时间范围来选择数据就会降低效率。在其他实施场景中,可能存在数据缺失的情况,例如,某一家门店由于台风等突发情况暂停营业一天,则该天的销量数据为缺失值,可以根据经验值对该缺失值进行插补,或者通过补0的方式进行插补。在其他实施场景中,还可能存在特征数值的量级差距过大的情况,例如一个特征为标价,取值范围为5-10(元),另一个特征为销量,取值范围为5000-8000,由于两者量级差距过大,在进行数据分析时可能会造成误差过大,因此需要将所有的数据按照确定的尺度缩放至确定的范围内,例如,将所有数值型数据缩放至[0,1]范围内。
通过设计一个额外的数据延伸处理模块实现各种特殊的延伸处理。获取预设延伸处理类型,预设延伸处理类型包括:数据回溯、数据缩放、缺失值插补中的至少一项。针对预设延伸处理类型,根据延伸处理类型设置操作接口,对所有的操作接口进行连接,并设置对应的调用格式,从而可以根据调用指令获取选取的待存储二进制数据的延伸数据。
在一个实施场景中,读取了本周的天气特征的选取数据后还想要加入一周前的天气特征,那么直接在读取本周天气特征的代码中加入数据回溯接口即可(如:load weathersegment|lag week 1即表示执行上述操作)。
通过上述描述可知,在本实施例中,通过获取预设延伸处理类型,根据延伸处理类型设置操作接口,对操作接口进行连接,并设置对应的调用格式,根据调用指令获取选取的待存储二进制数据的延伸数据可以实现数据的灵活获取,提升获取数据的效率。
请参阅图8,图8是本发明提供的时序数据存储系统的一实施例的结构示意图。时序数据存储系统10包括获取模块11、数据模块12和存储模块13。
获取模块11用于获取目标存储逻辑,目标存储逻辑包括预设存储层次关系,根据目标存储层次关系生成可存储目录;数据模块12用于根据预设采样频率获取待存储时序数据,待存储时序数据为具有N个特征的N维数组,N是大于1的整数;存储模块13用于将待存储时序数据转换为二进制格式的待存储二进制数据,将待存储二进制数据存储在与待存储二进制数据对应的N个特征匹配的可存储目录中。
时序数据存储系统10还包括选取模块14,选取模块14用于获取选取逻辑,根据选取逻辑生成筛选条件,根据筛选条件从可存储目录中选取与筛选条件匹配的待存储二进制数据,根据选取的待存储二进制数据生成选取数据。
选取模块14还用于将待新增特征与选取数据的粒度进行匹配,生成待新增数据,将待新增数据和选取数据拼接,生成目标数据。
存储模块13还用于获取预设延伸处理类型,根据延伸处理类型设置操作接口;对操作接口进行连接,并设置对应的调用格式,根据调用指令获取选取的待存储二进制数据的延伸数据。
预设延伸处理类型包括:数据回溯、数据缩放、缺失值插补中的至少一项。
数据模块12用于根据预设命名规则为待存储二进制数据命名,且同一个可存储目录中的待存储二进制数据名称均不相同。
存储模块13还用于根据预设处理逻辑对待存储时序数据进行计算,获取计算数据,将计算数据加入待存储时序数据。
通过上述描述可知,在本实施例中时序数据存储系统将待存储时序数据转换为二进制格式进行存储,可以有效降低占用的存储空间,根据预设存储层次关系生成可存储目录,将二进制格式的待存储二进制数据根据对应的N个特征存储到匹配的可存储目录中,从而可以将最细粒度的待存储二进制数据存储到不同的目录中,可以并发式读取数据,提升读取效率,方便使用数据。
请参阅图9,图9是本发明提供的存储设备的一实施例的结构示意图。存储设备20包括处理器21、存储器22。处理器21耦接存储器22。存储器22中存储有计算机程序,处理器21在工作时执行该计算机程序以实现如图1、图4、图6和图7所示的方法。详细的方法可参见上述,在此不再赘述。
通过上述描述可知,本实施例中存储设备将待存储时序数据转换为二进制格式进行存储,可以有效降低占用的存储空间,根据预设存储层次关系生成可存储目录,将二进制格式的待存储二进制数据根据对应的N个特征存储到匹配的可存储目录中,从而可以将最细粒度的待存储二进制数据存储到不同的目录中,可以并发式读取数据,提升读取效率,方便使用数据。
请参阅图10,图10是本发明提供的存储介质的一实施例的结构示意图。存储介质30中存储有至少一个计算机程序31,计算机程序31用于被处理器执行以实现如图1、图4、图6和图7所示的方法,详细的方法可参见上述,在此不再赘述。在一个实施例中,存储介质30可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具,还可以是服务器等等。
通过上述描述可知,在本实施例中存储介质中的计算机程序可以用于将待存储时序数据转换为二进制格式进行存储,可以有效降低占用的存储空间,根据预设存储层次关系生成可存储目录,将二进制格式的待存储二进制数据根据对应的N个特征存储到匹配的可存储目录中,从而可以将最细粒度的待存储二进制数据存储到不同的目录中,可以并发式读取数据,提升读取效率,方便使用数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种时序数据存储方法,其特征在于,包括:
获取目标存储逻辑,所述目标存储逻辑包括预设存储层次关系,根据预设存储层次关系生成可存储目录;所述预设存储层次关系是根据待存储时序数据的特征形成的;所述目标存储逻辑用于指示按照预设的层级关系存储数据;
根据预设采样频率获取待存储时序数据,所述待存储时序数据为具有N个特征的N维数组,N是大于1的整数;
将所述待存储时序数据转换为二进制格式的待存储二进制数据,将所述待存储二进制数据存储在与所述待存储二进制数据对应的N个特征匹配的可存储目录中;
所述根据预设采样频率获取待存储时序数据的步骤,包括:
根据预设处理逻辑对所述待存储时序数据进行计算,获取计算数据,将所述计算数据加入所述待存储时序数据。
2.根据权利要求1所述的时序数据存储方法,其特征在于,所述时序数据存储方法还包括:
获取选取逻辑,根据所述选取逻辑生成筛选条件,根据所述筛选条件从所述可存储目录中选取与所述筛选条件匹配的待存储二进制数据,根据所述选取的待存储二进制数据生成选取数据。
3.根据权利要求2所述的时序数据存储方法,其特征在于,所述根据所述选取的待存储二进制数据生成选取数据的步骤之后,包括:
将待新增特征与所述选取数据的粒度进行匹配,生成待新增数据,将所述待新增数据和所述选取数据拼接,生成目标数据。
4.根据权利要求2所述的时序数据存储方法,其特征在于,所述根据所述筛选条件从所述可存储目录中选取与所述筛选条件匹配的待存储二进制数据的步骤之后,包括:
获取预设延伸处理类型,根据所述延伸处理类型设置操作接口;
对所述操作接口进行连接,并设置对应的调用格式,根据调用指令获取所述选取的待存储二进制数据的延伸数据。
5.根据权利要求4所述的时序数据存储方法,其特征在于,所述预设延伸处理类型包括:数据回溯、数据缩放、缺失值插补中的至少一项。
6.根据权利要求1所述的时序数据存储方法,其特征在于,所述待存储二进制数据存储在与所述待存储二进制数据对应的N个特征匹配的可存储目录中的步骤之后,包括:
根据预设命名规则为所述待存储二进制数据命名,且同一个可存储目录中的待存储二进制数据名称均不相同。
7.一种时序数据存储系统,其特征在于,包括:
获取模块,用于获取目标存储逻辑,所述目标存储逻辑包括预设存储层次关系,根据目标存储层次关系生成可存储目录;所述预设存储层次关系是根据待存储时序数据的特征形成的;所述目标存储逻辑用于指示按照预设的层级关系存储数据;
数据模块,用于根据预设采样频率获取待存储时序数据,所述待存储时序数据为具有N个特征的N维数组,N是大于1的整数;根据预设处理逻辑对所述待存储时序数据进行计算,获取计算数据,将所述计算数据加入所述待存储时序数据;
存储模块,用于将所述待存储时序数据转换为二进制格式的待存储二进制数据,将所述待存储二进制数据存储在与所述待存储二进制数据对应的N个特征匹配的可存储目录中。
8.一种存储设备,其特征在于,包括:处理器、存储器和通信电路,所述处理器耦接所述存储器和所述通信电路,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序以实现如权利要求1-6任一项所述的方法。
9.一种存储介质,其特征在于,存储有计算机程序,所述计算机程序能够被处理器执行以实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110196292.0A CN112835908B (zh) | 2021-02-22 | 2021-02-22 | 一种时序数据存储方法、系统、存储设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110196292.0A CN112835908B (zh) | 2021-02-22 | 2021-02-22 | 一种时序数据存储方法、系统、存储设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112835908A CN112835908A (zh) | 2021-05-25 |
CN112835908B true CN112835908B (zh) | 2023-01-10 |
Family
ID=75932849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110196292.0A Active CN112835908B (zh) | 2021-02-22 | 2021-02-22 | 一种时序数据存储方法、系统、存储设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112835908B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817679A (zh) * | 2022-04-14 | 2022-07-29 | 中南林业科技大学 | 一种物联网汇聚节点乱序时序数据的存储方法 |
CN115809242A (zh) * | 2022-11-18 | 2023-03-17 | 江苏省气象信息中心 | 气象数据存储方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582644A (zh) * | 2018-12-21 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 文件存储方法、装置、设备及计算机可读存储介质 |
CN110457256A (zh) * | 2019-08-01 | 2019-11-15 | 大众问问(北京)信息科技有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
WO2020173334A1 (zh) * | 2019-02-25 | 2020-09-03 | 阿里巴巴集团控股有限公司 | 数据存储方法及数据查询方法 |
CN111694908A (zh) * | 2019-03-15 | 2020-09-22 | 丰图科技(深圳)有限公司 | 数据存储方法、装置及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521383A (zh) * | 2011-12-22 | 2012-06-27 | 南京烽火星空通信发展有限公司 | 一种分布式系统中的海量文件存储和访问方法 |
CN103793441A (zh) * | 2012-11-05 | 2014-05-14 | 北京神州普惠科技股份有限公司 | 基于动态规则的多维数据层次分类方法 |
WO2016141590A1 (zh) * | 2015-03-12 | 2016-09-15 | 华为技术有限公司 | 时序数据处理方法及装置 |
CN106648446B (zh) * | 2015-10-30 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 一种用于时序数据的存储方法、装置及电子设备 |
US20190005038A1 (en) * | 2017-06-30 | 2019-01-03 | Xerox Corporation | Method and apparatus for grouping documents based on high-level features clustering |
CN109063012A (zh) * | 2018-07-11 | 2018-12-21 | 北京百度网讯科技有限公司 | 存储、查询时序数据的方法、装置、设备和计算机存储介质 |
CN109241062A (zh) * | 2018-09-27 | 2019-01-18 | 国信优易数据有限公司 | 一种政务数据目录的生成方法及装置 |
CN111639060A (zh) * | 2020-06-08 | 2020-09-08 | 华润电力技术研究院有限公司 | 一种火电厂时序数据处理方法、装置、设备及介质 |
CN111966695B (zh) * | 2020-10-23 | 2021-01-08 | 山东鼎滏软件科技有限公司 | 一种用于油气田生产的时序数据库系统 |
-
2021
- 2021-02-22 CN CN202110196292.0A patent/CN112835908B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582644A (zh) * | 2018-12-21 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 文件存储方法、装置、设备及计算机可读存储介质 |
WO2020173334A1 (zh) * | 2019-02-25 | 2020-09-03 | 阿里巴巴集团控股有限公司 | 数据存储方法及数据查询方法 |
CN111694908A (zh) * | 2019-03-15 | 2020-09-22 | 丰图科技(深圳)有限公司 | 数据存储方法、装置及存储介质 |
CN110457256A (zh) * | 2019-08-01 | 2019-11-15 | 大众问问(北京)信息科技有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于大数据的数据服务应用研究;陈光等;《计算机技术与发展》;20180831;第28卷(第8期);第129-134页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112835908A (zh) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112835908B (zh) | 一种时序数据存储方法、系统、存储设备和存储介质 | |
US20210166252A1 (en) | Method of training machine learning models for making simulated estimations | |
CN112650766A (zh) | 数据库数据操作的方法、系统及服务器 | |
CN110275889B (zh) | 一种适用于机器学习的特征处理方法及装置 | |
CN112948504B (zh) | 数据采集方法、装置、计算机设备和存储介质 | |
CN112734570A (zh) | 信用违约预测方法、装置及电子设备 | |
CN115374094B (zh) | 多源数据融合方法、智能终端以及存储介质 | |
CN101290622A (zh) | 数据库清洗系统及方法 | |
CN116452123A (zh) | 清单项目特征值的生成方法、装置和计算机设备 | |
CN114547189A (zh) | 数据服务构建方法、构建装置、电子设备及存储介质 | |
CN110659998A (zh) | 数据处理方法、装置、计算机装置及存储介质 | |
CN111008198B (zh) | 业务数据获取方法、装置、存储介质、电子设备 | |
CN112231531A (zh) | 一种基于opentsdb的数据展示方法、设备及介质 | |
CN111611230A (zh) | 主数据系统的建立方法、装置、计算机设备及存储介质 | |
CN114925919A (zh) | 业务资源处理方法、装置、计算机设备和存储介质 | |
CN105045881A (zh) | 一种历史数据新增方法 | |
CN115408547A (zh) | 一种字典树构建方法、装置、设备及存储介质 | |
CN112307017B (zh) | 数据存储方法、查询方法及相关设备、存储介质 | |
CN114168581A (zh) | 数据清洗方法、装置、计算机设备及存储介质 | |
CN114493378A (zh) | 一种工业设备的指标获取方法、装置及计算机设备 | |
CN114238452A (zh) | 房屋维修资源数据处理方法、装置和计算机设备 | |
CN110674214B (zh) | 大数据同步方法、装置、计算机设备及存储介质 | |
CN113342860A (zh) | 基于通用接口的指标计算方法、装置、设备和存储介质 | |
CN114547144B (zh) | 时序数据范围查询方法、装置及设备 | |
CN114092265B (zh) | 提高保单新业务价值确定效率的方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |