CN108334549A - 一种设备数据存储方法、提取方法、存储平台及提取平台 - Google Patents

一种设备数据存储方法、提取方法、存储平台及提取平台 Download PDF

Info

Publication number
CN108334549A
CN108334549A CN201711459980.1A CN201711459980A CN108334549A CN 108334549 A CN108334549 A CN 108334549A CN 201711459980 A CN201711459980 A CN 201711459980A CN 108334549 A CN108334549 A CN 108334549A
Authority
CN
China
Prior art keywords
target data
storage
data
stored
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711459980.1A
Other languages
English (en)
Inventor
郭昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Uplus Intelligent Technology Beijing Co Ltd
Original Assignee
Haier Uplus Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haier Uplus Intelligent Technology Beijing Co Ltd filed Critical Haier Uplus Intelligent Technology Beijing Co Ltd
Priority to CN201711459980.1A priority Critical patent/CN108334549A/zh
Publication of CN108334549A publication Critical patent/CN108334549A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种设备数据存储方法、提取方法、存储平台及提取平台,其中,所述存储方法基于核心存储服务器,核心存储服务器设有多种存储附加属性,包括:将目标数据依据每一存储附加属性进行匹配;当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。本发明的方法及平台,可以将不同类型的目标数据,分别存储到不同的存储系统中,实现数据分离,增强了系统稳定性及数据安全性,提高了业务处理的效率。

Description

一种设备数据存储方法、提取方法、存储平台及提取平台
技术领域
本发明涉及设备数据存取,尤其涉及一种设备数据存储方法、提取方法、存储平台及提取平台。
背景技术
设备数据是物联网平台中的核心部分。所以,设备数据被存储后,在需要使用该设备数据时,不仅需要快速的提取出该设备数据,还需其具有实时性及有效性,以保证大批量设备与平台的通信畅通。此外,在存储该设备数据时,还需保存设备数据的海量历史数据,并能从海量历史数据中极快的检索用户所需的数据。
但是,现有技术中的存储系统繁多,存储的设备数据混杂,实时数据与历史数据、核心数据与非核心数据经常存储在一起,降低了存储系统的数据安全性及稳定性,这也导致了数据存取效率参差不齐,影响业务处理的效率及稳定性。
发明内容
本发明的主要目的在于提出一种设备数据存储方法、提取方法、存储平台及提取平台,旨在可以将不同类型的目标数据分别存储到不同的存储系统中,实现数据分离,增强了系统稳定性及数据安全性,提高了业务处理的效率。
根据本发明的一个方面,提供了一种设备数据存储方法,基于核心存储服务器,核心存储服务器设有多种存储附加属性,方法包括:将目标数据依据每一存储附加属性进行匹配;当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
可选的,将目标数据依据每一存储附加属性进行匹配之前,方法还包括:接收目标数据;将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。
可选的,接收目标数据,包括通过系统存储接口接收目标数据。
可选的,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,包括:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
可选的,存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
根据本发明的第二个方面,提供了一种设备数据提取方法,基于核心存储服务器,核心存储服务器设有多种存储附加属性,方法包括:判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
可选的,在目标数据的存储时间未超过预设存储时间,并从分布式缓存系统中提取目标数据之后,方法还包括:延长目标数据在分布式缓存系统中的存储时间。
可选的,在目标数据的存储时间超过预设存储时间的情况下,方法还包括:清除分布式缓存系统中存储时间超过预设存储时间的数据。
可选的,从分布式缓存系统中提取目标数据,包括:从分布式缓存系统经系统存储接口提取目标数据。
可选的,依据确定的存储附加属性值及目标数据的数据主键提取目标数据,包括:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统;在该存储系统中依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据。
根据本发明的第三个方面,提供了一种设备数据存储平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:匹配模块,用于将目标数据依据每一存储附加属性进行匹配;存储模块,用于当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
可选的,平台还包括:接收单元,用于将目标数据依据每一存储附加属性进行匹配之前,接收目标数据;缓存单元,用于将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;存储单元,用于在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。
可选的,接收单元具体用于通过系统存储接口接收目标数据。
可选的,存储模块还具体用于:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
可选的,存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
根据本发明的第四个方面,提供了一种设备数据提取平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:判断模块,用于判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;提取缓存模块,用于在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;提取存储模块,用于在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
可选的,平台还包括:延时模块,用于在目标数据的存储时间未超过预设存储时间,并从分布式缓存系统中提取目标数据之后,延长目标数据在分布式缓存系统中的存储时间。
可选的,平台还包括:清楚模块,用于在目标数据的存储时间超过预设存储时间的情况下,清除分布式缓存系统中存储时间超过预设存储时间的数据。
可选的,提取缓存模块具体用于:从分布式缓存系统经系统存储接口提取目标数据。
可选的,提取存储模块具体用于:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统;在该存储系统中依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据。
根据本发明的第五个方面,提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现本发明第一方面所记载的方法的步骤。
根据本发明的第六个方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本发明第一方面所记载的方法的步骤。
根据本发明的第七个方面,提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现本发明第二方面所记载的方法的步骤。
根据本发明的第八个方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现本发明第二方面所记载的方法的步骤。
本发明有益效果如下:本发明实施例所提供的一种设备数据存储方法、提取方法、存储平台及提取平台,增强了存储系统的稳定性及数据安全性,提高存储系统的业务处理效率。
附图说明
图1为本发明第一实施例一种设备数据存储方法的流程框图;
图2为本发明第二实施例一种设备数据提取方法的流程框图;
图3为本发明第一至第四实施例的原理框图;
图4为本发明第三实施例一种设备数据存储平台的结构示意图;
图5为本发明第四实施例一种设备数据提取平台的结构示意图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
为了便于理解本发明实施例,下面通过几个具体实施例对本发明的实施过程进行详细的阐述。
在本发明第一实施例中,提供了一种设备数据存储方法,其基于核心存储服务器,用于存储目标数据,核心存储服务器设有多种存储附加属性,方法包括:
将目标数据依据每一存储附加属性进行匹配;当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
就此,可以将不同类型的目标数据,分别存储到不同的存储系统中,实现数据分离,增强了系统稳定性及数据安全性,提高了业务处理的效率,即实现了业务区分或重要程度区分。
具体的,图1为本实施例的流程框图,图3为本发明实施例的原理框图。根据图1及图3所示,本发明第一实施例提供的一种设备数据存储方法,其基于核心存储服务器,其中,该核心存储服务器设有多种存储附加属性,且该方法包括:
S1:将目标数据依据每一存储附加属性进行匹配;
其中,目标数据包括物联网中的设备数据,而且,每种存储附加属性均对应有存储系统,当目标数据与任一存储附加属性匹配的情况下,就将该目标数据存储在该存储附加属性对应的存储系统中,而且,如果目标数据同时与至少两种存储附加属性匹配,则将该目标数据同时存储在该至少两种存储附加属性对应的存储系统中。
首先,需要接收目标数据,优选的,可通过系统存储接口接收目标数据;然后将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。即:首先,需要通过系统存储接口接收目标数据,然后将该目标数据存储至分布式缓存系统中,该目标数据只在该分布式缓存系统中保存预设存储时间,当超过该预设存储时间时,确定将该目标数据依据每一存储附加属性进行匹配。其中,该系统存储接口为统一的对外接口,无论存储该目标数据,还是在存储该目标数据之后再提取该目标数据,目标数据都是通过该系统存储接口与外界进行交互,而且,在存储目标数据时,只需存储该目标数据及数据主键即可完成存储,不需要建立连接、初始化连接池等传统的操作。而且,上述的预设存储时间可以由用户自己设定,也可以由系统设定。
接着,将目标数据与每一存储附加属性进行匹配。
S2:当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
在目标数据与任一存储附加属性或多种存储附加属性匹配的情况下,就将该目标数据存储在该任一或多种存储附加属性对应的存储系统中,在将目标数据存储至存储系统中时,还需将该目标数据的数据主键及该目标数据匹配的存储附加属性存入分布式索引系统,在提取该目标数据时,可以通过分布式索引系统中的目标数据匹配的存储附加属性可以查找到该目标数据的数据主键。就此,可以将不同类型的目标数据,分别存储到不同的存储系统中,实现数据分离,增强了系统稳定性及数据安全性,提高了业务处理的效率,即实现了业务区分或重要程度区分。
优选的,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,包括:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
具体的,针对将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,每个存储系统均具有对应的存储访问单元,核心存储服务器通过存储访问单元访问对应的存储系统,而且,存储访问单元会屏蔽对对应存储系统的访问细节,即屏蔽了底层多种存储系统的访问复杂性,并扩展核心存储服务器的存储能力。而且,通过多个存取访问单元,提高了对多种存储系统的存取访问能力。
针对存储附加属性,本实施例进行以下设置:存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;而且,当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中,并且不增加该目标数据的数据时间属性值;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
具体的,在存储目标数据时,通过接口参数,控制存储细节,具体的,存储目标数据时先确定目标数据是否与核心存储服务器的存储附加属性匹配,而核心存储服务器的存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名。当目标数据匹配强事务标志时,强事务标志为是,否则,强事务标志为否;当目标数据匹配历史数据保存标志时,历史数据保存标志为是,否则,历史数据保存标志为否;当目标数据匹配离线分析标识时,离线分析标识为是,否则,离线分析标识为否。在强事务标志为是时,存储目标数据至数据库管理系统(传统DBMS)中,并保证多条数据同时保存成功或同时失败。在强事务标志为否时,存储目标数据至非关系型数据库(NOSQL)中。在历史数据保存标志为是时,将目标数据存储到大数据存储系统中,并增加目标数据的时间属性值,当超过该时间属性值时,即删除该目标数据。在离线分析标识为是,且历史数据保存标志为否的情况下,存储目标数据到大数据存储系统中,但不增加数据时间属性值。如果目标数据具有至少一组索引字段,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
图2为本本发明第二实施例的流程框图。结合图2及图3所示,本发明第二实施例提供的一种设备数据提取方法,其基于核心存储服务器,其中,该核心存储服务器设有多种存储附加属性,该方法作用于提取目标数据,包括:
S11:判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;
其中,目标数据包括物联网中的设备数据,而且,在需要提取目标数据时,先通过后台程序获知该目标数据的存储时间,确定目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间。
S12:在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;
在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据,即如果用户再次访问这些存储在分布式缓存系统中的目标数据,则直接从分布式缓存系统提取到该目标数据,即无需访问核心存储服务,可更快的获取到目标数据,优选的,当用户从分布式缓存系统中提取出目标数据后,延长目标数据在分布式缓存系统中的存储时间。分布式缓存系统访问速度快,支持高连接数,因此在目标数据访问集中时可以提高访问的效率和吞吐率。
S13:在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
而在目标数据的存储时间超过预设存储时间的情况下,目标数据就已经被存入对应的存储系统中了,所以需要确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。优选的,在目标数据的存储时间超过预设存储时间的情况下,清除分布式缓存系统中存储时间超过预设存储时间的数据。就此保证分布式缓存系统只缓存少量的热点目标数据,以节约存储空间并减少过期的目标数据的干扰,提高了提取目标数据时查找速率,即提高了目标数据的提取速率。
其中,从分布式缓存系统提取的目标数据经系统存储接口提取出。
此外,上述的依据确定的存储附加属性值及目标数据的数据主键提取目标数据,其包括:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统。即通过分布式索引系统中的存储附加属性及数据主键,可以提高对海量历史数据检索提供的访问性能。
然后,在依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据,就此完成目标数据的提取工作。
图4为本发明第三实施例的结构示意图,根据图3及图4所示,本发明第三实施例提供一种设备数据存储平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:
匹配模块,用于将目标数据依据每一存储附加属性进行匹配;存储模块,用于当目标数据成功与存储附加属性匹配成功后,将目标数据存储至匹配成功的存储附加属性所对应的存储系统中,且将目标数据的存储附加属性及目标数据的数据主键存储至分布式索引系统。
可选的,平台还包括:接收单元,用于将目标数据依据每一存储附加属性进行匹配之前,接收目标数据;缓存单元,用于将目标数据存储至分布式缓存系统,且目标数据在分布式缓存系统中保留预设存储时间;存储单元,用于在超过预设存储时间的情况下,确定将目标数据依据每一存储附加属性进行匹配。
可选的,接收单元具体用于通过系统存储接口接收目标数据。可选的,存储模块还具体用于:通过存储访问单元访问对应的存储系统,且存储访问单元屏蔽对对应的存储系统的访问细节。
可选的,存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;当目标数据匹配强事务标志时,将目标数据存储至数据库管理系统中;否则,将目标数据存储至非关系型数据库中;当目标数据匹配历史数据保存标志时,将目标数据存储到大数据存储系统中,并增加目标数据的数据时间属性值;当目标数据匹配离线分析标识,且目标数据不与历史数据保存标志匹配的情况下,将目标数据存储至大数据存储系统中;当目标数据具有至少一组索引字段时,则根据索引字段,将目标数据的数据主键索引到分布式索引系统中;当目标数据也匹配历史数据保存标志,且目标数据同时具有至少一组索引字段时,则将目标数据的数据主键及数据时间属性值索引至分布式索引系统中。
图5为本发明第四实施例的结构示意图,根据图4、图3及图5所示,本发明第四实施例提供一种设备数据提取平台,基于核心存储服务器,核心存储服务器设有多种存储附加属性,平台包括:判断模块,用于判断目标数据的存储时间是否超过分布式缓冲系统保留目标数据的预设存储时间;提取缓存模块,用于在目标数据的存储时间未超过预设存储时间的情况下,从分布式缓存系统中提取目标数据;提取存储模块,用于在目标数据的存储时间超过预设存储时间的情况下,确定目标数据所匹配的存储附加属性值,依据确定的存储附加属性值及目标数据的数据主键提取目标数据。
可选的,平台还包括:延时模块,用于在目标数据的存储时间未超过预设存储时间,并从分布式缓存系统中提取目标数据之后,延长目标数据在分布式缓存系统中的存储时间。
可选的,平台还包括:清楚模块,用于在目标数据的存储时间超过预设存储时间的情况下,清除分布式缓存系统中存储时间超过预设存储时间的数据。
可选的,提取缓存模块具体用于:从分布式缓存系统经系统存储接口提取目标数据。
可选的,提取存储模块具体用于:依据确定的存储附加属性值确定目标数据的数据主键及存储目标数据的存储系统;在该存储系统中依据目标数据的数据主键查找到目标数据的情况下,经系统存储接口以从存储目标数据的存储系统中提取目标数据。
本发明第五实施例提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现第一实施例所记载的方法的步骤。
由于在第一实施例中已经对一种设备数据存储方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
本发明第六实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现第一实施例所记载的方法的步骤。
由于在第一实施例中已经对一种设备数据存储方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
本发明第七实施例提供了一种计算机可读存储介质,存储介质上存储有计算机程序,程序被处理器执行时实现第二实施例所记载的方法的步骤。
由于在第二实施例中已经对一种设备数据提取方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
本发明第八实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现第二实施例所记载的方法的步骤。
由于在第二实施例中已经对一种设备数据提取方法进行了详细说明,所以在本实施例中不对该方法的实施过程进行重复阐述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (24)

1.一种设备数据存储方法,其特征在于,基于核心存储服务器,所述核心存储服务器设有多种存储附加属性,所述方法包括:
将目标数据依据每一所述存储附加属性进行匹配;
当所述目标数据成功与所述存储附加属性匹配成功后,将所述目标数据存储至匹配成功的所述存储附加属性所对应的存储系统中,且将所述目标数据的存储附加属性及所述目标数据的数据主键存储至分布式索引系统。
2.根据权利要求1所述的方法,其特征在于,所述将目标数据依据每一所述存储附加属性进行匹配之前,所述方法还包括:
接收所述目标数据;
将所述目标数据存储至分布式缓存系统,且所述目标数据在所述分布式缓存系统中保留预设存储时间;
在超过所述预设存储时间的情况下,确定将所述目标数据依据每一所述存储附加属性进行匹配。
3.根据权利要求2所述的方法,其特征在于,所述接收所述目标数据,包括通过系统存储接口接收所述目标数据。
4.根据权利要求2所述的方法,其特征在于,所述将所述目标数据存储至匹配成功的所述存储附加属性所对应的存储系统中,包括:通过存储访问单元访问所述对应的存储系统,且所述存储访问单元屏蔽对所述对应的存储系统的访问细节。
5.根据权利要求1所述的方法,其特征在于,所述存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;
当所述目标数据匹配所述强事务标志时,将所述目标数据存储至数据库管理系统中;否则,将所述目标数据存储至非关系型数据库中;
当所述目标数据匹配所述历史数据保存标志时,将所述目标数据存储到大数据存储系统中,并增加所述目标数据的数据时间属性值;
当所述目标数据匹配所述离线分析标识,且所述目标数据不与所述历史数据保存标志匹配的情况下,将所述目标数据存储至所述大数据存储系统中;
当所述目标数据具有至少一组索引字段时,则根据索引字段,将所述目标数据的数据主键索引到所述分布式索引系统中;
当所述目标数据匹配所述历史数据保存标志,且所述目标数据同时具有至少一组索引字段时,则将所述目标数据的数据主键及数据时间属性值索引至所述分布式索引系统中。
6.一种设备数据提取方法,其特征在于,基于核心存储服务器,所述核心存储服务器设有多种存储附加属性,所述方法包括:
判断目标数据的存储时间是否超过分布式缓冲系统保留所述目标数据的预设存储时间;
在所述目标数据的存储时间未超过所述预设存储时间的情况下,从所述分布式缓存系统中提取所述目标数据;
在所述目标数据的存储时间超过所述预设存储时间的情况下,确定所述目标数据所匹配的存储附加属性值,依据所述确定的存储附加属性值及所述目标数据的数据主键提取所述目标数据。
7.根据权利要求6所述的方法,其特征在于,在所述目标数据的存储时间未超过所述预设存储时间,并从分布式缓存系统中提取所述目标数据之后,所述方法还包括:
延长所述目标数据在所述分布式缓存系统中的存储时间。
8.根据权利要求6所述的方法,其特征在于,在所述目标数据的存储时间超过所述预设存储时间的情况下,所述方法还包括:
清除所述分布式缓存系统中存储时间超过所述预设存储时间的数据。
9.根据权利要求6所述的方法,其特征在于,所述从分布式缓存系统中提取目标数据,包括:从所述分布式缓存系统经系统存储接口提取所述目标数据。
10.根据权利要求6所述的方法,其特征在于,所述依据所述确定的存储附加属性值及所述目标数据的数据主键提取所述目标数据,包括:
依据所述确定的存储附加属性值确定所述目标数据的数据主键及存储所述目标数据的存储系统;
在该存储系统中依据所述目标数据的数据主键查找到所述目标数据的情况下,经系统存储接口以从存储所述目标数据的存储系统中提取所述目标数据。
11.一种设备数据存储平台,其特征在于,基于核心存储服务器,所述核心存储服务器设有多种存储附加属性,所述平台包括:
匹配模块,用于将目标数据依据每一所述存储附加属性进行匹配;
存储模块,用于当所述目标数据成功与所述存储附加属性匹配成功后,将所述目标数据存储至匹配成功的所述存储附加属性所对应的存储系统中,且将所述目标数据的存储附加属性及所述目标数据的数据主键存储至分布式索引系统。
12.根据权利要求11所述的平台,其特征在于,所述平台还包括:
接收单元,用于所述将目标数据依据每一所述存储附加属性进行匹配之前,接收所述目标数据;
缓存单元,用于将所述目标数据存储至分布式缓存系统,且所述目标数据在所述分布式缓存系统中保留预设存储时间;
存储单元,用于在超过所述预设存储时间的情况下,确定将所述目标数据依据每一所述存储附加属性进行匹配。
13.根据权利要求12所述的平台,其特征在于,所述接收单元具体用于通过所述系统存储接口接收所述目标数据。
14.根据权利要求12所述的平台,其特征在于,所述存储模块还具体用于:通过存储访问单元访问所述对应的存储系统,且所述存储访问单元屏蔽对所述对应的存储系统的访问细节。
15.根据权利要求11所述的平台,其特征在于,所述存储附加属性包括:强事务标志、历史数据保存标志、离线分析标识及多组索引字段名;
当所述目标数据匹配所述强事务标志时,将所述目标数据存储至数据库管理系统中;否则,将所述目标数据存储至非关系型数据库中;
当所述目标数据匹配所述历史数据保存标志时,将所述目标数据存储到大数据存储系统中,并增加所述目标数据的数据时间属性值;
当所述目标数据匹配所述离线分析标识,且所述目标数据不与所述历史数据保存标志匹配的情况下,将所述目标数据存储至所述大数据存储系统中;
当所述目标数据具有至少一组索引字段时,则根据索引字段,将所述目标数据的数据主键索引到所述分布式索引系统中;
当所述目标数据也匹配所述历史数据保存标志,且所述目标数据同时具有至少一组索引字段时,则将所述目标数据的数据主键及数据时间属性值索引至所述分布式索引系统中。
16.一种设备数据提取平台,其特征在于,基于核心存储服务器,所述核心存储服务器设有多种存储附加属性,所述平台包括:
判断模块,用于判断目标数据的存储时间是否超过分布式缓冲系统保留所述目标数据的预设存储时间;
提取缓存模块,用于在所述目标数据的存储时间未超过所述预设存储时间的情况下,从所述分布式缓存系统中提取所述目标数据;
提取存储模块,用于在所述目标数据的存储时间超过所述预设存储时间的情况下,确定所述目标数据所匹配的存储附加属性值,依据所述确定的存储附加属性值及所述目标数据的数据主键提取所述目标数据。
17.根据权利要求16所述的平台,其特征在于,所述平台还包括:
延时模块,用于在所述目标数据的存储时间未超过所述预设存储时间,并从分布式缓存系统中提取所述目标数据之后,延长所述目标数据在所述分布式缓存系统中的存储时间。
18.根据权利要求16所述的平台,其特征在于,所述平台还包括:
清楚模块,用于在所述目标数据的存储时间超过所述预设存储时间的情况下,清除所述分布式缓存系统中存储时间超过所述预设存储时间的数据。
19.根据权利要求16所述的平台,其特征在于,所述提取缓存模块具体用于:从所述分布式缓存系统经系统存储接口提取所述目标数据。
20.根据权利要求16所述的平台,其特征在于,所述提取存储模块具体用于:
依据所述确定的存储附加属性值确定所述目标数据的数据主键及存储所述目标数据的存储系统;
在该存储系统中依据所述目标数据的数据主键查找到所述目标数据的情况下,经系统存储接口以从存储所述目标数据的存储系统中提取所述目标数据。
21.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述程序被处理器执行时实现权利要求1至6中任意一项所述方法的步骤。
22.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至6中任意一项所述方法的步骤。
23.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述程序被处理器执行时实现权利要求6至12中任意一项所述方法的步骤。
24.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求6至12中任意一项所述方法的步骤。
CN201711459980.1A 2017-12-28 2017-12-28 一种设备数据存储方法、提取方法、存储平台及提取平台 Pending CN108334549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711459980.1A CN108334549A (zh) 2017-12-28 2017-12-28 一种设备数据存储方法、提取方法、存储平台及提取平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711459980.1A CN108334549A (zh) 2017-12-28 2017-12-28 一种设备数据存储方法、提取方法、存储平台及提取平台

Publications (1)

Publication Number Publication Date
CN108334549A true CN108334549A (zh) 2018-07-27

Family

ID=62923666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711459980.1A Pending CN108334549A (zh) 2017-12-28 2017-12-28 一种设备数据存储方法、提取方法、存储平台及提取平台

Country Status (1)

Country Link
CN (1) CN108334549A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783576A (zh) * 2019-01-02 2019-05-21 佛山市顺德区美的洗涤电器制造有限公司 家电设备及其数据存储方法、装置
CN111177782A (zh) * 2019-12-30 2020-05-19 智慧神州(北京)科技有限公司 基于大数据的分布式数据的提取方法、装置与存储介质
CN113761185A (zh) * 2021-01-06 2021-12-07 北京沃东天骏信息技术有限公司 主键提取方法、设备及存储介质
CN113806397A (zh) * 2020-06-12 2021-12-17 大唐移动通信设备有限公司 一种数据处理的方法及装置、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544157A (zh) * 2012-07-11 2014-01-29 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN104090891A (zh) * 2013-12-12 2014-10-08 深圳市腾讯计算机系统有限公司 数据处理方法、装置、数据处理服务器及系统
CN104765749A (zh) * 2014-01-07 2015-07-08 阿里巴巴集团控股有限公司 一种数据存储方法及装置
CN105243169A (zh) * 2015-11-12 2016-01-13 中国建设银行股份有限公司 一种数据查询方法及系统
US20160071158A1 (en) * 2014-09-09 2016-03-10 Kabushiki Kaisha Toshiba Data processor, content distribution system, and communication apparatus
CN105700819A (zh) * 2014-11-28 2016-06-22 国际商业机器公司 用于网络数据存储的方法和系统
US20170075949A1 (en) * 2011-06-27 2017-03-16 Amazon Technologies, Inc. System and method for conditionally updating an item with attribute granularity

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170075949A1 (en) * 2011-06-27 2017-03-16 Amazon Technologies, Inc. System and method for conditionally updating an item with attribute granularity
CN103544157A (zh) * 2012-07-11 2014-01-29 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN104090891A (zh) * 2013-12-12 2014-10-08 深圳市腾讯计算机系统有限公司 数据处理方法、装置、数据处理服务器及系统
CN104765749A (zh) * 2014-01-07 2015-07-08 阿里巴巴集团控股有限公司 一种数据存储方法及装置
US20160071158A1 (en) * 2014-09-09 2016-03-10 Kabushiki Kaisha Toshiba Data processor, content distribution system, and communication apparatus
CN105700819A (zh) * 2014-11-28 2016-06-22 国际商业机器公司 用于网络数据存储的方法和系统
CN105243169A (zh) * 2015-11-12 2016-01-13 中国建设银行股份有限公司 一种数据查询方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783576A (zh) * 2019-01-02 2019-05-21 佛山市顺德区美的洗涤电器制造有限公司 家电设备及其数据存储方法、装置
CN109783576B (zh) * 2019-01-02 2022-05-31 佛山市顺德区美的洗涤电器制造有限公司 家电设备及其数据存储方法、装置
CN111177782A (zh) * 2019-12-30 2020-05-19 智慧神州(北京)科技有限公司 基于大数据的分布式数据的提取方法、装置与存储介质
CN113806397A (zh) * 2020-06-12 2021-12-17 大唐移动通信设备有限公司 一种数据处理的方法及装置、电子设备、存储介质
CN113761185A (zh) * 2021-01-06 2021-12-07 北京沃东天骏信息技术有限公司 主键提取方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108334549A (zh) 一种设备数据存储方法、提取方法、存储平台及提取平台
CN104572727B (zh) 一种数据查询方法及装置
CN102843396B (zh) 一种分布式缓存系统中的数据写入及读取方法及装置
CN104794228B (zh) 一种搜索结果提供方法及装置
CN104281701B (zh) 分布式多尺度空间数据查询方法及系统
CN206775541U (zh) 分布式游戏服务系统
CN106569733A (zh) 缓存数据的处理方法和装置
CN102737119B (zh) 统一资源定位符的查找方法、过滤方法和相关设备及系统
CN103177005A (zh) 一种数据访问的处理方法和系统
CN106528787A (zh) 一种基于海量数据多维分析的查询方法及装置
CN106294772A (zh) 分布式内存列式数据库的缓存管理方法
CN106959928B (zh) 一种基于多级缓存结构的流式数据实时处理方法及系统
CN101169790A (zh) 一种基于web应用的矩阵式数据缓存方法及装置
CN109450955A (zh) 一种基于网络攻击的流量处理方法及装置
CN103092867A (zh) 一种数据管理方法及系统、数据分析装置
CN102916935A (zh) 一种网站内容防抓取的方法
CN108509437A (zh) 一种ElasticSearch查询加速方法
CN104750826B (zh) 一种结构化数据资源元数据自动甄别与动态注册方法
CN105224560A (zh) 缓存数据的查找方法和装置
CN104426838A (zh) 一种互联网缓存调度方法及系统
CN105373746B (zh) 一种分布式数据处理方法和装置
CN106682042A (zh) 一种关系数据缓存及查询方法及装置
CN105159950A (zh) 海量数据实时排序查询方法及系统
CN107577787A (zh) 关联数据信息入库的方法及系统
CN107180043A (zh) 分页实现方法和分页系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200108

Address after: 100086, room 601-606, room 6, Pacific International Building, No. 106, Haidian District, Beijing, Zhichun Road

Applicant after: HAIER UPLUS INTELLIGENT TECHNOLOGY (BEIJING) Co.,Ltd.

Applicant after: Qingdao Haier Technology Co., Ltd.

Address before: 100086, room 601-606, room 6, Pacific International Building, No. 106, Haidian District, Beijing, Zhichun Road

Applicant before: HAIER UPLUS INTELLIGENT TECHNOLOGY (BEIJING) Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727