CN106502842A - 数据恢复方法及系统 - Google Patents

数据恢复方法及系统 Download PDF

Info

Publication number
CN106502842A
CN106502842A CN201611051770.4A CN201611051770A CN106502842A CN 106502842 A CN106502842 A CN 106502842A CN 201611051770 A CN201611051770 A CN 201611051770A CN 106502842 A CN106502842 A CN 106502842A
Authority
CN
China
Prior art keywords
data
daily record
restored
corresponding relation
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611051770.4A
Other languages
English (en)
Other versions
CN106502842B (zh
Inventor
张旭华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201611051770.4A priority Critical patent/CN106502842B/zh
Publication of CN106502842A publication Critical patent/CN106502842A/zh
Application granted granted Critical
Publication of CN106502842B publication Critical patent/CN106502842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying

Abstract

本公开是关于一种数据恢复方法及系统,其中,数据恢复方法包括:生成数据处理日志;对数据处理日志进行分类预处理,得到预处理数据,预处理数据中包含的数据结构或语句能够用于直接恢复数据;根据预处理数据确定出待恢复数据,并对待恢复数据进行恢复。上述实施例,通过对数据处理日志进行分类预处理,使得预处理数据包含的数据结构或语句能够用于直接恢复数据,并根据预处理数据确定出待恢复数据,由于待恢复数据位于预处理数据中,即待恢复数据中包含的数据结构或语句能够用于直接恢复数据,因此可以达到快速恢复数据的目的。

Description

数据恢复方法及系统
技术领域
本公开涉及通信技术领域,尤其涉及一种数据恢复方法及系统。
背景技术
随着互联网业务的发展,网站应用规模的不断扩大,常规的框架已无法应对,分布式框架势在必行。目前,服务一般采用分布式框架,在服务端进行数据操作时,经常会涉及到数据库操作或者消息队列操作。而在数据操作的过程中,经常会出现数据库写入失败或者消息队列写入失败等错误。当出现错误时,需要能够追踪到具体出错的数据,例如出错的机器和出错的内容,并能够快速对出错的数据进行恢复,以提高服务的稳定性。
因此,迫切需要提供一种可以快速对出错数据进行恢复的技术方案。
发明内容
为克服相关技术中存在的问题,本公开提供一种数据恢复方法及系统。
根据本公开实施例的第一方面,提供一种数据恢复方法,包括:
生成数据处理日志;
对所述数据处理日志进行分类预处理,得到预处理数据,所述预处理数据中包含的数据结构或语句能够用于直接恢复数据;
根据所述预处理数据确定出待恢复数据,并对所述待恢复数据进行恢复。
在一实施例中,所述对所述数据处理日志进行分类预处理,包括:
根据预先配置的日志优先级与存储方式的第一对应关系对所述数据处理日志进行分级存储;
根据预先配置的存储方式与分类处理方式的第二对应关系对分级存储的所述数据处理日志进行分类处理。
在一实施例中,所述根据预先配置的日志优先级与存储方式的第一对应关系对所述数据处理日志进行分级存储,包括:若接收的所述数据处理日志对应的日志优先级为第一预设优先级,则将所述数据处理日志存储在数据库或内存中,若接收的所述数据处理日志对应的日志优先级为第二预设优先级,则将所述数据处理日志存储在文本文件中;或者
所述根据预先配置的存储方式与分类处理方式的第二对应关系对分级存储的所述数据处理日志进行分类处理,包括:若所述数据处理日志存储在数据库中,则对日志内容进行格式转换或语句转换,若所述数据处理日志存储在非数据库中,则对日志内容进行格式转换。
在一实施例中,所述对所述待恢复数据进行恢复,包括:
根据预先配置的所述待恢复数据的属性和处理方式的第三对应关系对所述待恢复数据进行数据恢复。
在一实施例中,所述根据预先配置的所述待恢复数据的属性和处理方式的第三对应关系对所述待恢复数据进行数据恢复,包括:
若所述待恢复数据的数据量小于预设数量且级别为第一预设级别,则根据格式转换后的日志内容恢复所述待恢复数据;
若所述待恢复数据的数据量小于预设数量且级别为第二预设级别,则执行转换后的语句,以恢复所述待恢复数据;
若所述待恢复数据的数据量大于或等于预设数量,则将所述待恢复数据缓存在数据队列中,然后根据所述待恢复数据的级别恢复所述待恢复数据。
在一实施例中,所述方法还包括:
配置和/或更新配置所述第一对应关系、所述第二对应关系和所述第三对应关系中的至少一项。
根据本公开实施例的第二方面,提供一种数据恢复系统,包括:
至少一个服务节点,被配置为生成数据处理日志,并向数据收集节点发送所述数据处理日志;
所述数据收集节点,被配置为接收所述数据处理日志,对所述数据处理日志进行分类预处理,得到预处理数据,并向中心协调节点发送数据恢复消息,其中,所述预处理数据中包含的数据结构或语句能够用于直接恢复数据;
所述中心协调节点,被配置为接收所述数据恢复消息,根据所述数据恢复消息获得所述预处理数据,并向数据恢复节点发送所述预处理数据;
所述数据恢复节点,被配置为接收所述预处理数据,根据所述预处理数据确定出待恢复数据,并对所述待恢复数据进行恢复。
在一实施例中,所述数据收集节点包括:
分级存储模块,被配置为根据预先配置的日志优先级与存储方式的第一对应关系对所述数据处理日志进行分级存储;
分类处理模块,被配置为根据预先配置的存储方式与分类处理方式的第二对应关系对所述分级存储模块分级存储的所述数据处理日志进行分类处理。
在一实施例中,所述分级存储模块,被配置为若接收的所述数据处理日志对应的日志优先级为第一预设优先级,则将所述数据处理日志存储在数据库或内存中,若接收的所述数据处理日志对应的日志优先级为第二预设优先级,则将所述数据处理日志存储在文本文件中;或者
所述分类处理模块,被配置为若所述数据处理日志存储在数据库中,则对日志内容进行格式转换或语句转换,若所述数据处理日志存储在非数据库中,则对日志内容进行格式转换。
在一实施例中,所述数据恢复节点,被配置为根据预先配置的所述待恢复数据的属性和处理方式的第三对应关系对所述待恢复数据进行数据恢复。
在一实施例中,所述数据恢复节点包括:
第一恢复模块,被配置为若所述待恢复数据的数据量小于预设数量且级别为第一预设级别,则根据格式转换后的日志内容恢复所述待恢复数据;
第二恢复模块,被配置为若所述待恢复数据的数据量小于预设数量且级别为第二预设级别,则执行转换后的语句,以恢复所述待恢复数据;
第三恢复模块,被配置为若所述待恢复数据的数据量大于或等于预设数量,则将所述待恢复数据缓存在数据队列中,然后根据所述待恢复数据的级别恢复所述待恢复数据。
在一实施例中,所述中心协调节点,还被配置为为所述数据收集节点配置和/或更新配置所述第一对应关系和所述第二对应关系,以及为所述数据恢复节点配置和/或更新配置所述第三对应关系。
在一实施例中,所述数据收集节点,还被配置为为所述中心协调节点提供第一接口;
所述数据恢复节点,还被配置为为所述中心协调节点提供第二接口;
所述中心协调节点,被配置为通过所述第一接口为所述数据收集节点配置和/或更新配置所述第一对应关系和所述第二对应关系,以及通过所述第二接口为所述数据恢复节点配置和/或更新配置所述第三对应关系。
本公开的实施例提供的技术方案可以包括以下有益效果:通过对数据处理日志进行分类预处理,使得预处理数据包含的数据结构或语句能够用于直接恢复数据,并根据预处理数据确定出待恢复数据,由于待恢复数据位于预处理数据中,即待恢复数据中包含的数据结构或语句能够用于直接恢复数据,因此可以达到快速恢复数据的目的。
通过对数据处理日志进行分级存储和分类处理,使得预处理数据中包含的数据结构或语句能够用于直接恢复数据,从而为快速恢复数据提供了条件。
通过描述分级存储的内容和分类处理的内容,使得方案更清楚。
根据预先配置的所述待恢复数据的属性和处理方式的第三对应关系对所述待恢复数据进行数据恢复,可以对不同属性的待恢复数据进行不同的处理。
根据待恢复数据的数据量和级别进行数据恢复,既能满足快速入库的需求,又能保证入库的安全性。
可以灵活、动态地配置第一对应关系、第二对应关系和第三对应关系,从而为快速、安全地恢复数据提供条件。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种数据恢复系统的框图。
图2是根据一示例性实施例示出的另一种数据恢复系统的框图。
图3是根据一示例性实施例示出的另一种数据恢复系统的框图。
图4是根据一示例性实施例示出的一种数据恢复方法的流程图。
图5是根据一示例性实施例示出的另一种数据恢复方法的流程图。
图6是根据一示例性实施例示出的另一种数据恢复方法的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种数据恢复系统的框图,如图1所示,该系统包括:至少一个服务节点11、数据收集节点12、中心协调节点13和数据恢复节点14。
至少一个服务节点11被配置为生成数据处理日志,并向数据收集节点12发送数据处理日志。
在该实施例中,当有数据操作时,服务节点11可以生成数据处理日志。
数据收集节点12被配置为接收数据处理日志,对数据处理日志进行分类预处理,得到预处理数据,并向中心协调节点13发送数据恢复消息,其中,预处理数据中包含的数据结构或语句能够用于直接恢复数据。
其中,预处理数据中包含的数据结构可以包括但不局限于轻量级的数据交换格式JSON格式,预处理数据中包含的语句可以包括但局限于结构化查询语言(StructuredQuery Language,SQL)语句。
中心协调节点13被配置为接收数据恢复消息,根据数据恢复消息获得预处理数据,并向数据恢复节点14发送预处理数据。
数据恢复节点14被配置为接收预处理数据,根据预处理数据确定出待恢复数据,并对待恢复数据进行恢复。
在该实施例中,数据恢复节点14在接收到预处理数据后,可以将预处理数据和预存的基准数据进行比较,以确定出待恢复数据,并可以根据预先配置的待恢复数据的属性和处理方式的第三对应关系对待恢复数据进行数据恢复。由于待恢复数据位于预处理数据中,即待恢复数据中包含的数据结构或语句能够用于直接恢复数据,因此数据恢复节点14可以快速地恢复数据。
上述系统实施例,通过对数据处理日志进行分类预处理,使得预处理数据包含的数据结构或语句能够用于直接恢复数据,并根据预处理数据确定出待恢复数据,由于待恢复数据位于预处理数据中,即待恢复数据中包含的数据结构或语句能够用于直接恢复数据,因此可以达到快速恢复数据的目的。
图2是根据一示例性实施例示出的另一种数据恢复系统的框图,如图2所示,在图1所示实施例的基础上,数据收集节点12可以包括:分级存储模块121和分类处理模块122。
分级存储模块121被配置为根据预先配置的日志优先级与存储方式的第一对应关系对数据处理日志进行分级存储。
分类处理模块122被配置为根据预先配置的存储方式与分类处理方式的第二对应关系对分级存储模块121分级存储的数据处理日志进行分类处理。
在该实施例中,分级存储模块121可以被配置为若接收的数据处理日志对应的日志优先级为第一预设优先级,则将数据处理日志存储在数据库或内存中,若接收的数据处理日志对应的日志优先级为第二预设优先级,则将数据处理日志存储在文本文件中。
假设数据处理日志共有七个优先级,当接收的数据处理日志对应的日志优先级为第七优先级即高优先级时,可以将数据处理日志存储在数据库或内存中,当接收的数据处理日志对应的日志优先级为第一优先级即低优先级时,可以将数据处理日志存储在文本文件中。
在该实施例中,分类处理模块122可以被配置为若数据处理日志存储在数据库中,则可以对日志内容进行格式转换或语句转换,若数据处理日志存储在非数据库中,则可以对日志内容进行格式转换。
其中,对日志内容进行格式转换可以为将日志内容转换为JSON格式,对日志内容进行语句转换可以为将日志内容转换为SQL语句。
上述实施例,通过对数据处理日志进行分级存储和分类处理,使得预处理数据中包含的数据结构或语句能够用于直接恢复数据,从而为快速恢复数据提供了条件。
在另一实施例中,中心协调节点13可以被配置为为数据收集节点12配置日志优先级与存储方式的第一对应关系和存储方式与分类处理方式的第二对应关系,以及为数据恢复节点14配置待恢复数据的属性和处理方式的第三对应关系。另外,中心协调节点13还可以更新配置即可以动态配置第一对应关系、第二对应关系和第三对应关系。
其中,可以通过多种方式配置第一对应关系、第二对应关系和第三对应关系。例如,可以通过协议配置,也可以通过接口配置。
假设通过接口配置,则数据收集节点12可以被配置为为中心协调节点13提供第一接口,数据恢复节点14可以被配置为为中心协调节点13提供第二接口,而中心协调节点13可以被配置为通过第一接口为数据收集节点12动态配置第一对应关系和第二对应关系,以及通过第二接口为数据恢复节点14动态配置第三对应关系。
由此可见,中心协调节点13可以动态控制数据收集节点12及数据恢复节点13,并结合当前待恢复数据的特点灵活配置第一对应关系、第二对应关系和第三对应关系。
在该实施例中,数据恢复节点14可以被配置为根据预先配置的第三对应关系对待恢复数据进行数据恢复。如图3所示,数据恢复节点14可以包括:第一恢复模块141、第二恢复模块142和第三恢复模块143。
第一恢复模块141被配置为若待恢复数据的数据量小于预设数量且级别为第一预设级别,则根据格式转换后的日志内容恢复待恢复数据。
第二恢复模块142被配置为若待恢复数据的数据量小于预设数量且级别为第二预设级别,则执行转换后的语句,以恢复待恢复数据。
第三恢复模块143被配置为若待恢复数据的数据量大于或等于预设数量,则将待恢复数据缓存在数据队列中,然后根据待恢复数据的级别恢复待恢复数据。
其中,预设数量可以根据需要设置,例如1000条、3000条等,第一预设级别可以为数据一致性检查要求较高的级别,第二预设级别可以为数据入库优先级较高的级别。
假设待恢复数据的一致性检查要求较高且数据量小于预设数量,则第一恢复模块141可以分配CPU等资源,接收JSON数据对象,并在入库前,根据JSON对象的内容做一致性检查;假设待恢复数据的入库优先级较高数据量小于预设数量,则第二恢复模块142可以接收SQL语句,分配磁盘容量等资源,并执行SQL语句以对该部分数据直接进行快速入库;如果待恢复数据的优先级一般,数据量一般,也可采用上述方式;如果待恢复数据的优先级一般,但数据量很大,则第三恢复模块143可以先将待恢复数据缓存在数据队列中,并进行异步分析,然后根据待恢复数据的级别恢复数据。
上述实施例,根据待恢复数据的数据量和级别进行数据恢复,既能满足快速入库的需求,又能保证入库的安全性。
图4是根据一示例性实施例示出的一种数据恢复方法的流程图,如图4所示,该数据恢复方法可以应用但不局限于图1所示的系统上,该数据恢复方法包括以下步骤S401-S403:
在步骤S401中,生成数据处理日志。
在步骤S402中,对数据处理日志进行分类预处理,得到预处理数据,该预处理数据中包含的数据结构或语句能够用于直接恢复数据。
其中,预处理数据中包含的数据结构可以包括但不局限于轻量级的数据交换格式JSON格式,预处理数据中包含的语句可以包括但局限于结构化查询语言(StructuredQuery Language,SQL)语句。
在步骤S403中,根据预处理数据确定出待恢复数据,并对待恢复数据进行恢复。
在该实施例中,在接收到预处理数据后,可以将预处理数据和预存的基准数据进行比较,以确定出待恢复数据,并可以根据预先配置的待恢复数据的属性和处理方式的第三对应关系对待恢复数据进行数据恢复。由于待恢复数据位于预处理数据中,即待恢复数据中包含的数据结构或语句能够用于直接恢复数据,因此可以快速地恢复数据。
上述方法实施例,通过对数据处理日志进行分类预处理,使得预处理数据包含的数据结构或语句能够用于直接恢复数据,并根据预处理数据确定出待恢复数据,由于待恢复数据位于预处理数据中,即待恢复数据中包含的数据结构或语句能够用于直接恢复数据,因此可以达到快速恢复数据的目的。
图5是根据一示例性实施例示出的另一种数据恢复方法的流程图,如图5所示,该方法包括如下步骤:
在步骤S501中,生成数据处理日志。
在步骤S502中,根据预先配置的日志优先级与存储方式的第一对应关系对数据处理日志进行分级存储。
在该实施例中,若接收的数据处理日志对应的日志优先级为第一预设优先级,则将数据处理日志存储在数据库或内存中,若接收的数据处理日志对应的日志优先级为第二预设优先级,则将数据处理日志存储在文本文件中。
假设数据处理日志共有七个优先级,当接收的数据处理日志对应的日志优先级为第七优先级即高优先级时,可以将数据处理日志存储在数据库或内存中,当接收的数据处理日志对应的日志优先级为第一优先级即低优先级时,可以将数据处理日志存储在文本文件中。
在步骤S503中,根据预先配置的存储方式与分类处理方式的第二对应关系对分级存储的数据处理日志进行分类处理。
在该实施例中,若数据处理日志存储在数据库中,则可以对日志内容进行格式转换或语句转换,若数据处理日志存储在非数据库中,则可以对日志内容进行格式转换。
其中,对日志内容进行格式转换可以为将日志内容转换为JSON格式,对日志内容进行语句转换可以为将日志内容转换为SQL语句。
在步骤S504中,根据预先配置的待恢复数据的属性和处理方式的第三对应关系对待恢复数据进行数据恢复。
在该实施例中,若待恢复数据的数据量小于预设数量且级别为第一预设级别,则可以根据格式转换后的日志内容恢复待恢复数据。若待恢复数据的数据量小于预设数量且级别为第二预设级别,则可以执行转换后的语句例如SQL语句,以恢复待恢复数据。若待恢复数据的数据量大于或等于预设数量,则将待恢复数据缓存在数据队列中,然后根据待恢复数据的级别恢复待恢复数据。
其中,预设数量可以根据需要设置,例如1000条、3000条等,第一预设级别可以为数据一致性检查要求较高的级别,第二预设级别可以为数据入库优先级较高的级别。
假设待恢复数据的一致性检查要求较高且数据量小于预设数量,则可以分配CPU等资源,接收JSON数据对象,并在入库前,根据JSON对象的内容做一致性检查;假设待恢复数据的入库优先级较高数据量小于预设数量,则可以接收SQL语句,分配磁盘容量等资源,并执行SQL语句以对该部分数据直接进行快速入库;如果待恢复数据的优先级一般,数据量一般,也可采用上述方式;如果待恢复数据的优先级一般,但数据量很大,则可以先将待恢复数据缓存在数据队列中,并进行异步分析,然后根据待恢复数据的级别恢复数据。
上述方法实施例,通过对数据处理日志进行分级存储和分类处理,使得预处理数据中包含的数据结构或语句能够用于直接恢复数据,从而为快速恢复数据提供了条件,同时,根据待恢复数据的数据量和级别进行数据恢复,既能满足快速入库的需求,又能保证入库的安全性。
图6是根据一示例性实施例示出的另一种数据恢复方法的流程图,如图6所示,在上述步骤S501之前,该方法还可以包括如下步骤:
步骤S500,配置第一对应关系、第二对应关系和第三对应关系。
其中,可以通过多种方式配置第一对应关系、第二对应关系和第三对应关系。例如,可以通过协议配置,也可以通过接口配置。
另外,还可以更新配置第一对应关系、第二对应关系和第三对应关系。
上述方法实施例,可以灵活、动态地配置第一对应关系、第二对应关系和第三对应关系,从而为快速、安全地恢复数据提供条件。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种数据恢复方法,其特征在于,所述方法包括:
生成数据处理日志;
对所述数据处理日志进行分类预处理,得到预处理数据,所述预处理数据中包含的数据结构或语句能够用于直接恢复数据;
根据所述预处理数据确定出待恢复数据,并对所述待恢复数据进行恢复。
2.根据权利要求1所述的数据恢复方法,其特征在于,所述对所述数据处理日志进行分类预处理,包括:
根据预先配置的日志优先级与存储方式的第一对应关系对所述数据处理日志进行分级存储;
根据预先配置的存储方式与分类处理方式的第二对应关系对分级存储的所述数据处理日志进行分类处理。
3.根据权利要求2所述的数据恢复方法,其特征在于,所述根据预先配置的日志优先级与存储方式的第一对应关系对所述数据处理日志进行分级存储,包括:若接收的所述数据处理日志对应的日志优先级为第一预设优先级,则将所述数据处理日志存储在数据库或内存中,若接收的所述数据处理日志对应的日志优先级为第二预设优先级,则将所述数据处理日志存储在文本文件中;或者
所述根据预先配置的存储方式与分类处理方式的第二对应关系对分级存储的所述数据处理日志进行分类处理,包括:若所述数据处理日志存储在数据库中,则对日志内容进行格式转换或语句转换,若所述数据处理日志存储在非数据库中,则对日志内容进行格式转换。
4.根据权利要求3所述的数据恢复方法,其特征在于,所述对所述待恢复数据进行恢复,包括:
根据预先配置的所述待恢复数据的属性和处理方式的第三对应关系对所述待恢复数据进行数据恢复。
5.根据权利要求4所述的数据恢复方法,其特征在于,所述根据预先配置的所述待恢复数据的属性和处理方式的第三对应关系对所述待恢复数据进行数据恢复,包括:
若所述待恢复数据的数据量小于预设数量且级别为第一预设级别,则根据格式转换后的日志内容恢复所述待恢复数据;
若所述待恢复数据的数据量小于预设数量且级别为第二预设级别,则执行转换后的语句,以恢复所述待恢复数据;
若所述待恢复数据的数据量大于或等于预设数量,则将所述待恢复数据缓存在数据队列中,然后根据所述待恢复数据的级别恢复所述待恢复数据。
6.根据权利要求2或4所述的数据恢复方法,其特征在于,所述方法还包括:
配置和/或更新配置所述第一对应关系、所述第二对应关系和所述第三对应关系中的至少一项。
7.一种数据恢复系统,其特征在于,所述系统包括:
至少一个服务节点,被配置为生成数据处理日志,并向数据收集节点发送所述数据处理日志;
所述数据收集节点,被配置为接收所述数据处理日志,对所述数据处理日志进行分类预处理,得到预处理数据,并向中心协调节点发送数据恢复消息,其中,所述预处理数据中包含的数据结构或语句能够用于直接恢复数据;
所述中心协调节点,被配置为接收所述数据恢复消息,根据所述数据恢复消息获得所述预处理数据,并向数据恢复节点发送所述预处理数据;
所述数据恢复节点,被配置为接收所述预处理数据,根据所述预处理数据确定出待恢复数据,并对所述待恢复数据进行恢复。
8.根据权利要求7所述的数据恢复系统,其特征在于,所述数据收集节点包括:
分级存储模块,被配置为根据预先配置的日志优先级与存储方式的第一对应关系对所述数据处理日志进行分级存储;
分类处理模块,被配置为根据预先配置的存储方式与分类处理方式的第二对应关系对所述分级存储模块分级存储的所述数据处理日志进行分类处理。
9.根据权利要求8所述的数据恢复系统,其特征在于,所述分级存储模块,被配置为若接收的所述数据处理日志对应的日志优先级为第一预设优先级,则将所述数据处理日志存储在数据库或内存中,若接收的所述数据处理日志对应的日志优先级为第二预设优先级,则将所述数据处理日志存储在文本文件中;或者
所述分类处理模块,被配置为若所述数据处理日志存储在数据库中,则对日志内容进行格式转换或语句转换,若所述数据处理日志存储在非数据库中,则对日志内容进行格式转换。
10.根据权利要求9所述的数据恢复系统,其特征在于,所述数据恢复节点,被配置为根据预先配置的所述待恢复数据的属性和处理方式的第三对应关系对所述待恢复数据进行数据恢复。
11.根据权利要求10所述的数据恢复系统,其特征在于,所述数据恢复节点包括:
第一恢复模块,被配置为若所述待恢复数据的数据量小于预设数量且级别为第一预设级别,则根据格式转换后的日志内容恢复所述待恢复数据;
第二恢复模块,被配置为若所述待恢复数据的数据量小于预设数量且级别为第二预设级别,则执行转换后的语句,以恢复所述待恢复数据;
第三恢复模块,被配置为若所述待恢复数据的数据量大于或等于预设数量,则将所述待恢复数据缓存在数据队列中,然后根据所述待恢复数据的级别恢复所述待恢复数据。
12.根据权利要求8或10所述的数据恢复系统,其特征在于,所述中心协调节点,还被配置为为所述数据收集节点配置和/或更新配置所述第一对应关系和所述第二对应关系,以及为所述数据恢复节点配置和/或更新配置所述第三对应关系。
13.根据权利要求12所述的数据恢复系统,其特征在于,所述数据收集节点,还被配置为为所述中心协调节点提供第一接口;
所述数据恢复节点,还被配置为为所述中心协调节点提供第二接口;
所述中心协调节点,被配置为通过所述第一接口为所述数据收集节点配置和/或更新配置所述第一对应关系和所述第二对应关系,以及通过所述第二接口为所述数据恢复节点配置和/或更新配置所述第三对应关系。
CN201611051770.4A 2016-11-23 2016-11-23 数据恢复方法及系统 Active CN106502842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611051770.4A CN106502842B (zh) 2016-11-23 2016-11-23 数据恢复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611051770.4A CN106502842B (zh) 2016-11-23 2016-11-23 数据恢复方法及系统

Publications (2)

Publication Number Publication Date
CN106502842A true CN106502842A (zh) 2017-03-15
CN106502842B CN106502842B (zh) 2019-05-21

Family

ID=58328679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611051770.4A Active CN106502842B (zh) 2016-11-23 2016-11-23 数据恢复方法及系统

Country Status (1)

Country Link
CN (1) CN106502842B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038201A (zh) * 2017-12-12 2018-05-15 无锡华云数据技术服务有限公司 一种数据整合系统及其分布式数据整合系统
CN108509518A (zh) * 2018-03-09 2018-09-07 北京小米移动软件有限公司 信息处理方法及设备
CN114218017A (zh) * 2022-02-18 2022-03-22 苏州浪潮智能科技有限公司 一种数据恢复方法、系统、装置及存储设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息系统有限公司 一种基于日志快照的数据恢复和同步方法
CN102156720A (zh) * 2011-03-28 2011-08-17 中国人民解放军国防科学技术大学 一种数据恢复的方法、装置和系统
CN105138615A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种构建大数据分布式日志的方法和系统
US9223843B1 (en) * 2013-12-02 2015-12-29 Amazon Technologies, Inc. Optimized log storage for asynchronous log updates
CN105279045A (zh) * 2015-10-28 2016-01-27 浪潮(北京)电子信息产业有限公司 一种数据库的数据恢复方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436207A (zh) * 2008-12-16 2009-05-20 浪潮通信信息系统有限公司 一种基于日志快照的数据恢复和同步方法
CN102156720A (zh) * 2011-03-28 2011-08-17 中国人民解放军国防科学技术大学 一种数据恢复的方法、装置和系统
US9223843B1 (en) * 2013-12-02 2015-12-29 Amazon Technologies, Inc. Optimized log storage for asynchronous log updates
CN105138615A (zh) * 2015-08-10 2015-12-09 北京思特奇信息技术股份有限公司 一种构建大数据分布式日志的方法和系统
CN105279045A (zh) * 2015-10-28 2016-01-27 浪潮(北京)电子信息产业有限公司 一种数据库的数据恢复方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038201A (zh) * 2017-12-12 2018-05-15 无锡华云数据技术服务有限公司 一种数据整合系统及其分布式数据整合系统
CN108509518A (zh) * 2018-03-09 2018-09-07 北京小米移动软件有限公司 信息处理方法及设备
CN114218017A (zh) * 2022-02-18 2022-03-22 苏州浪潮智能科技有限公司 一种数据恢复方法、系统、装置及存储设备

Also Published As

Publication number Publication date
CN106502842B (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
US11288142B2 (en) Recovery strategy for a stream processing system
US10831562B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
CN106802826B (zh) 一种基于线程池的业务处理方法及装置
CN106790718A (zh) 服务调用链路分析方法及系统
CN110019267A (zh) 一种元数据更新方法、装置、系统、电子设备及存储介质
US20150074115A1 (en) Distributed storage of data
US20180189350A1 (en) Streaming data processing method, streaming data processing device and memory medium
WO2015094269A1 (en) Hybrid flows containing a continuous flow
KR20210156243A (ko) 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체
CN106502842A (zh) 数据恢复方法及系统
CN108984279A (zh) 一种面向物联网传统sql开发人员的流式计算方法
CN107798111B (zh) 一种分布式环境中大批量导出数据的方法
CN114756629B (zh) 基于sql的多源异构数据交互分析引擎及方法
CN111198754A (zh) 一种任务调度方法及装置
CN108073641B (zh) 查询数据表的方法和装置
JP7109572B2 (ja) トランザクション処理の方法およびサーバー、ならびにトランザクション処理のシステム
US20200202233A1 (en) Future scenario generating device and method, and computer program
US8667008B2 (en) Search request control apparatus and search request control method
Knoell et al. BISHOP-Big Data Driven Self-Learning Support for High-performance Ontology Population.
CN110781647B (zh) 一种基于Flink实现数据格式校验的方法
CN113326311A (zh) 一种数据转换方法及装置
CN107818122A (zh) 一种代理组件、搜索管理方法及搜索管理系统
CN109522915B (zh) 病毒文件聚类方法、装置及可读介质
CN109522004A (zh) 一种etl流程在分布式架构运行的方法
CN110825453A (zh) 基于大数据平台的数据处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant