发明内容
本发明的主要目的在于提出一种设备数据存储方法、提取方法、存储平台及提取平台,旨在可以将不同类型的目标数据分别存储到不同的存储系统中,实现数据分离,增强了系统稳定性及数据安全性,提高了业务处理的效率。
根据本发明的一个方面,提供了一种设备数据存储方法,基于核心存储服务器,核心存储服务器设有多种存储附加属性,方法包括:将目标数据依据每一存储附加属性进行匹配;当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
可选的,将目标数据依据每一存储附加属性进行匹配之前,方法还包括:接收目标数据;将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。
可选的,接收目标数据,包括通过系统存储接口接收目标数据。
可选的,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,包括:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
可选的,存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
根据本发明的第二个方面,提供了一种设备数据提取方法,基于核心存储服务器,核心存储服务器设有多种存储附加属性,方法包括:判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
可选的,在目标数据的存储时间未超过预设存储时间,并从分布式缓存系统中提取目标数据之后,方法还包括:延长目标数据在分布式缓存系统中的存储时间。
可选的,在目标数据的存储时间超过预设存储时间的情况下,方法还包括:清除分布式缓存系统中存储时间超过预设存储时间的数据。
可选的,从分布式缓存系统中提取目标数据,包括:从分布式缓存系统经系统存储接口提取目标数据。
可选的,依据确定的存储附加属性值及目标数据的数据主键提取目标数据,包括:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统;在该存储系统中依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据。
根据本发明的第三个方面,提供了一种设备数据存储平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:匹配模块,用于将目标数据依据每一存储附加属性进行匹配;存储模块,用于当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
可选的,平台还包括:接收单元,用于将目标数据依据每一存储附加属性进行匹配之前,接收目标数据;缓存单元,用于将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;存储单元,用于在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。
可选的,接收单元具体用于通过系统存储接口接收目标数据。
可选的,存储模块还具体用于:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
可选的,存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
根据本发明的第四个方面,提供了一种设备数据提取平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:判断模块,用于判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;提取缓存模块,用于在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;提取存储模块,用于在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
可选的,平台还包括:延时模块,用于在目标数据的存储时间未超过预设存储时间,并从分布式缓存系统中提取目标数据之后,延长目标数据在分布式缓存系统中的存储时间。
可选的,平台还包括:清楚模块,用于在目标数据的存储时间超过预设存储时间的情况下,清除分布式缓存系统中存储时间超过预设存储时间的数据。
可选的,提取缓存模块具体用于:从分布式缓存系统经系统存储接口提取目标数据。
可选的,提取存储模块具体用于:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统;在该存储系统中依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据。
根据本发明的第五个方面,提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现本发明第一方面所记载的方法的步骤。
根据本发明的第六个方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本发明第一方面所记载的方法的步骤。
根据本发明的第七个方面,提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现本发明第二方面所记载的方法的步骤。
根据本发明的第八个方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本发明第二方面所记载的方法的步骤。
本发明有益效果如下:本发明实施例所提供的一种设备数据存储方法、提取方法、存储平台及提取平台,增强了存储系统的稳定性及数据安全性,提高存储系统的业务处理效率。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
为了便于理解本发明实施例,下面通过几个具体实施例对本发明的实施过程进行详细的阐述。
在本发明第一实施例中,提供了一种设备数据存储方法,其基于核心存储服务器,用于存储目标数据,核心存储服务器设有多种存储附加属性,方法包括:
将目标数据依据每一存储附加属性进行匹配;当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
就此,可以将不同类型的目标数据,分别存储到不同的存储系统中,实现数据分离,增强了系统稳定性及数据安全性,提高了业务处理的效率,即实现了业务区分或重要程度区分。
具体的,图1为本实施例的流程框图,图3为本发明实施例的原理框图。根据图1及图3所示,本发明第一实施例提供的一种设备数据存储方法,其基于核心存储服务器,其中,该核心存储服务器设有多种存储附加属性,且该方法包括:
S1:将目标数据依据每一存储附加属性进行匹配;
其中,目标数据包括物联网中的设备数据,而且,每种存储附加属性均对应有存储系统,当目标数据与任一存储附加属性匹配的情况下,就将该目标数据存储在该存储附加属性对应的存储系统中,而且,如果目标数据同时与至少两种存储附加属性匹配,则将该目标数据同时存储在该至少两种存储附加属性对应的存储系统中。
首先,需要接收目标数据,优选的,可通过系统存储接口接收目标数据;然后将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。即:首先,需要通过系统存储接口接收目标数据,然后将该目标数据存储至分布式缓存系统中,该目标数据只在该分布式缓存系统中保存预设存储时间,当超过该预设存储时间时,确定将该目标数据依据每一存储附加属性进行匹配。其中,该系统存储接口为统一的对外接口,无论存储该目标数据,还是在存储该目标数据之后再提取该目标数据,目标数据都是通过该系统存储接口与外界进行交互,而且,在存储目标数据时,只需存储该目标数据及数据主键即可完成存储,不需要建立连接、初始化连接池等传统的操作。而且,上述的预设存储时间可以由用户自己设定,也可以由系统设定。
接着,将目标数据与每一存储附加属性进行匹配。
S2:当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
在目标数据与任一存储附加属性或多种存储附加属性匹配的情况下,就将该目标数据存储在该任一或多种存储附加属性对应的存储系统中,在将目标数据存储至存储系统中时,还需将该目标数据的数据主键及该目标数据匹配的存储附加属性存入分布式索引系统,在提取该目标数据时,可以通过分布式索引系统中的目标数据匹配的存储附加属性可以查找到该目标数据的数据主键。就此,可以将不同类型的目标数据,分别存储到不同的存储系统中,实现数据分离,增强了系统稳定性及数据安全性,提高了业务处理的效率,即实现了业务区分或重要程度区分。
优选的,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,包括:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
具体的,针对将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,每个存储系统均具有对应的存储访问单元,核心存储服务器通过存储访问单元访问对应的存储系统,而且,存储访问单元会屏蔽对对应存储系统的访问细节,即屏蔽了底层多种存储系统的访问复杂性,并扩展核心存储服务器的存储能力。而且,通过多个存取访问单元,提高了对多种存储系统的存取访问能力。
针对存储附加属性,本实施例进行以下设置:存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;而且,当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中,并且不增加该目标数据的数据时间属性值;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
具体的,在存储目标数据时,通过接口参数,控制存储细节,具体的,存储目标数据时先确定目标数据是否与核心存储服务器的存储附加属性匹配,而核心存储服务器的存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名。当目标数据匹配强事务标志时,强事务标志为是,否则,强事务标志为否;当目标数据匹配历史数据保存标志时,历史数据保存标志为是,否则,历史数据保存标志为否;当目标数据匹配离线分析标识时,离线分析标识为是,否则,离线分析标识为否。在强事务标志为是时,存储目标数据至数据库管理系统(传统DBMS)中,并保证多条数据同时保存成功或同时失败。在强事务标志为否时,存储目标数据至非关系型数据库(NOSQL)中。在历史数据保存标志为是时,将目标数据存储到大数据存储系统中,并增加目标数据的时间属性值,当超过该时间属性值时,即删除该目标数据。在离线分析标识为是,且历史数据保存标志为否的情况下,存储目标数据到大数据存储系统中,但不增加数据时间属性值。如果目标数据具有至少一组索引字段,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
图2为本本发明第二实施例的流程框图。结合图2及图3所示,本发明第二实施例提供的一种设备数据提取方法,其基于核心存储服务器,其中,该核心存储服务器设有多种存储附加属性,该方法作用于提取目标数据,包括:
S11:判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;
其中,目标数据包括物联网中的设备数据,而且,在需要提取目标数据时,先通过后台程序获知该目标数据的存储时间,确定目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间。
S12:在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;
在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据,即如果用户再次访问这些存储在分布式缓存系统中的目标数据,则直接从分布式缓存系统提取到该目标数据,即无需访问核心存储服务,可更快的获取到目标数据,优选的,当用户从分布式缓存系统中提取出目标数据后,延长目标数据在分布式缓存系统中的存储时间。分布式缓存系统访问速度快,支持高连接数,因此在目标数据访问集中时可以提高访问的效率和吞吐率。
S13:在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
而在目标数据的存储时间超过预设存储时间的情况下,目标数据就已经被存入对应的存储系统中了,所以需要确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。优选的,在目标数据的存储时间超过预设存储时间的情况下,清除分布式缓存系统中存储时间超过预设存储时间的数据。就此保证分布式缓存系统只缓存少量的热点目标数据,以节约存储空间并减少过期的目标数据的干扰,提高了提取目标数据时查找速率,即提高了目标数据的提取速率。
其中,从分布式缓存系统提取的目标数据经系统存储接口提取出。
此外,上述的依据确定的存储附加属性值及目标数据的数据主键提取目标数据,其包括:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统。即通过分布式索引系统中的存储附加属性及数据主键,可以提高对海量历史数据检索提供的访问性能。
然后,在依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据,就此完成目标数据的提取工作。
图4为本发明第三实施例的结构示意图,根据图3及图4所示,本发明第三实施例提供一种设备数据存储平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:
匹配模块,用于将目标数据依据每一存储附加属性进行匹配;存储模块,用于当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
可选的,平台还包括:接收单元,用于将目标数据依据每一存储附加属性进行匹配之前,接收目标数据;缓存单元,用于将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;存储单元,用于在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。
可选的,接收单元具体用于通过系统存储接口接收目标数据。可选的,存储模块还具体用于:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
可选的,存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
图5为本发明第四实施例的结构示意图,根据图4、图3及图5所示,本发明第四实施例提供一种设备数据提取平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:判断模块,用于判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;提取缓存模块,用于在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;提取存储模块,用于在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
可选的,平台还包括:延时模块,用于在目标数据的存储时间未超过预设存储时间,并从分布式缓存系统中提取目标数据之后,延长目标数据在分布式缓存系统中的存储时间。
可选的,平台还包括:清楚模块,用于在目标数据的存储时间超过预设存储时间的情况下,清除分布式缓存系统中存储时间超过预设存储时间的数据。
可选的,提取缓存模块具体用于:从分布式缓存系统经系统存储接口提取目标数据。
可选的,提取存储模块具体用于:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统;在该存储系统中依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据。
本发明第五实施例提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现第一实施例所记载的方法的步骤。
由于在第一实施例中已经对一种设备数据存储方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
本发明第六实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现第一实施例所记载的方法的步骤。
由于在第一实施例中已经对一种设备数据存储方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
本发明第七实施例提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现第二实施例所记载的方法的步骤。
由于在第二实施例中已经对一种设备数据提取方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
本发明第八实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现第二实施例所记载的方法的步骤。
由于在第二实施例中已经对一种设备数据提取方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。