CN103019886A - 多元数据服务器下日志系统的恢复方法和装置 - Google Patents

多元数据服务器下日志系统的恢复方法和装置 Download PDF

Info

Publication number
CN103019886A
CN103019886A CN201210533418XA CN201210533418A CN103019886A CN 103019886 A CN103019886 A CN 103019886A CN 201210533418X A CN201210533418X A CN 201210533418XA CN 201210533418 A CN201210533418 A CN 201210533418A CN 103019886 A CN103019886 A CN 103019886A
Authority
CN
China
Prior art keywords
data file
meta data
size
current meta
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210533418XA
Other languages
English (en)
Other versions
CN103019886B (zh
Inventor
张东阳
李博
张玉龙
苗艳超
刘新春
邵宗有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Dawning Information Industry Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201210533418.XA priority Critical patent/CN103019886B/zh
Publication of CN103019886A publication Critical patent/CN103019886A/zh
Application granted granted Critical
Publication of CN103019886B publication Critical patent/CN103019886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种，多元数据服务器下日志系统的恢复方法，包括：在宕机的节点重启时，查询当前元数据文件的大小；将当前元数据文件的大小与预定的阈值进行比较；以及在当前元数据文件的大小小于预定的阈值时，将当前元数据文件直接拷贝到所述节点。通过本发明的技术方案，能够降低恢复元数据文件的时间。

Description

多元数据服务器下日志系统的恢复方法和装置
技术领域
本发明总的来说涉及多元数据服务器的日志系统，更具体地，涉及多元数据服务器下日志系统的恢复方法和装置。
背景技术
为了保证多元数据服务器的一致性和原子性，采用日志系统来完成元数据的数据存储。当主副本(元数据服务器组中提供数据服务的副本)发生宕机时，从副本(元数据服务器中不提供服务但接受主副本传递的数据的副本)需要为主副本保存数据，若主副本发生宕机的时间非常长，从副本为主副本保存的日志数据可能会非常多。这样，当宕机的节点重启时，需要根据日志进行应用元数据，从而恢复元数据。
现有系统在遇到这种情况时，只能按照日志设备中的文件进行顺序应用。若日志文件很大，则需要进行长时间应用，当元数据文件分属于磁盘的不同位置，磁头将会反复进行寻道，从而需要极长的时间进行恢复。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种日志系统的恢复方法，其能够降低日志的恢复时间。
根据本发明的一个方面，提供了一种多元数据服务器下日志系统的恢复方法，包括：在宕机的节点重启时，查询当前元数据文件的大小；将当前元数据文件的大小与预定的阈值进行比较；以及当当前元数据文件的大小小于预定的阈值时，将当前元数据文件直接拷贝到节点。
优选地，在拷贝当前元数据文件的同时，记录拷贝时的事务号。
优选地，在记录事务号之后，该方法还包括应用事务号后面的事务。
优选地，当前元数据文件的大小大于预定的阈值时，顺序应用日志文件。
优选地，预定的阈值根据多元数据服务器的系统容量来确定。
根据本发明的另一方面，提供了一种多元数据服务器下日志系统的恢复装置，包括：查询模块，用于在宕机的节点重启时，查询当前元数据文件的大小；比较模块，用于将当前元数据文件的大小与预定的阈值进行比较；以及拷贝模块，用于当当前元数据文件的大小小于预定的阈值时，将当前元数据文件直接拷贝到节点。
优选地，该装置还包括记录模块，用于在拷贝模块拷贝当前元数据文件的同时记录拷贝时的事务号。
优选地，该装置还包括第一应用模块，用于在记录模块记录事务号之后，应用事务号后面的事务。
优选地，该装置还包括第二应用模块，用于当当前元数据文件的大小大于所述预定的阈值时，顺序应用日志文件。
优选地，预定的阈值根据多元数据服务器的系统容量来确定。
通过本发明的技术方案，能够降低恢复元数据文件的时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的多元数据服务器下日志系统的恢复方法的流程图；以及
图2是根据本发明实施例的多元数据服务器下日志系统的恢复装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
以下，参照图1和图2详细描述本发明。
1是根据本发明实施例的多元数据服务器下日志系统的恢复方法的流程图。
参照图1，根据本发明的多元数据服务器下日志系统的恢复方法，包括：S102，在宕机的节点重启时，查询当前元数据文件的大小；S104，将当前元数据文件的大小与预定的阈值进行比较；以及S106，在当前元数据文件的大小小于预定的阈值时，将当前元数据文件直接拷贝到节点。
此外，在拷贝当前元数据文件的同时，还记录拷贝时的事务号，这样就可以只应用事务号后面的事务来恢复元数据。例如，一个日志文件中具有200个事务，如果宕机发生在第100个事务处，则通过采用本发明的方法，将当前元数据文件拷贝到宕机的节点处并且只应用第100到第200个事务即可，从而节省了前100个事务的应用时间，降低了恢复元数据文件的时间。
然而，在当前元数据文件的大小大于预定的阈值时，只能采用顺序应用日志文件的方式，因为如果元数据文件很大，则拷贝也需要花费很长的时间，因此也就没有再采用这样的方式，只需要按照现有技术的方法顺序应用日志设备中的文件即可。
注意，本文所说的预定阈值并不是一个固定的值，其需要根据多元数据服务器的系统容量来确定。如果系统容量相对较大，则可以采用大一些的阈值，而如果系统容量较小，则只能采用小一些的阈值。这对于本领域的技术人员是显而易见的。
图2是根据本发明实施例的多元数据服务器下日志系统的恢复装置的框图。
参照图2，根据本发明的多元数据服务器下日志系统的恢复装置包括：查询模块22，用于在宕机的节点重启时，查询当前元数据文件的大小；比较模块24，用于将当前元数据文件的大小与预定的阈值进行比较；以及拷贝模块26，用于在当前元数据文件的大小小于预定的阈值时，将当前元数据文件直接拷贝到节点。
此外，该装置还包括记录模块，用于在拷贝模块26拷贝当前元数据文件的同时记录拷贝时的事务号。并且该装置还包括第一应用模块，用于在记录模块记录事务号之后，应用事务号后面的事务。
另外，该装置还可以包括第二应用模块，用于在当前元数据文件的大小大于预定阈值时，顺序应用日志文件。
综上所述，借助于本发明的上述技术方案，通过在恢复时拷贝元数据文件和记录事务的事务号的策略，能够降低恢复元数据文件的时间。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多元数据服务器下日志系统的恢复方法，其特征在于，所述方法包括：
在宕机的节点重启时，查询当前元数据文件的大小；
将所述当前元数据文件的大小与预定的阈值进行比较；以及
当所述当前元数据文件的大小小于所述预定的阈值时，将所述当前元数据文件直接拷贝到所述节点。
2.根据权利要求1所述的方法，其特征在于，在拷贝所述当前元数据文件的同时，记录拷贝时的事务号。
3.根据权利要求2所述的方法，其特征在于，在记录所述事务号之后，所述方法还包括应用所述事务号后面的事务。
4.根据权利要求1所述的方法，其特征在于，当所述当前元数据文件的大小大于所述预定的阈值时，顺序应用日志文件。
5.根据权利要求1所述的方法，其特征在于，所述预定的阈值根据所述多元数据服务器的系统容量来确定。
6.一种多元数据服务器下日志系统的恢复装置，其特征在于，所述装置包括：
查询模块，用于在宕机的节点重启时，查询当前元数据文件的大小；
比较模块，用于将所述当前元数据文件的大小与预定的阈值进行比较；以及
拷贝模块，用于当所述当前元数据文件的大小小于所述预定的阈值时，将所述当前元数据文件直接拷贝到所述节点。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括记录模块，用于在所述拷贝模块拷贝所述当前元数据文件的同时记录拷贝时的事务号。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括第一应用模块，用于在所述记录模块记录所述事务号之后，应用所述事务号后面的事务。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括第二应用模块，用于当所述当前元数据文件的大小大于所述预定的阈值时，顺序应用日志文件。
10.根据权利要求6所述的装置，其特征在于，所述预定的阈值根据所述多元数据服务器的系统容量来确定。
CN201210533418.XA 2012-12-11 2012-12-11 多元数据服务器下日志系统的恢复方法和装置 Active CN103019886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210533418.XA CN103019886B (zh) 2012-12-11 2012-12-11 多元数据服务器下日志系统的恢复方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210533418.XA CN103019886B (zh) 2012-12-11 2012-12-11 多元数据服务器下日志系统的恢复方法和装置

Publications (2)

Publication Number Publication Date
CN103019886A true CN103019886A (zh) 2013-04-03
CN103019886B CN103019886B (zh) 2016-03-30

Family

ID=47968516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210533418.XA Active CN103019886B (zh) 2012-12-11 2012-12-11 多元数据服务器下日志系统的恢复方法和装置

Country Status (1)

Country Link
CN (1) CN103019886B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078666A (zh) * 2019-12-11 2020-04-28 中国建设银行股份有限公司 基于跨中心多数据库的自动化卸数供数的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635746A (zh) * 2009-08-27 2010-01-27 杭州华三通信技术有限公司 一种数据保护方法及装置
CN102089746A (zh) * 2008-05-13 2011-06-08 微软公司 采用事务日志的闪存恢复
CN102368222A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种多副本存储系统在线修复的方法
CN102508891A (zh) * 2011-10-25 2012-06-20 曙光信息产业(北京)有限公司 一种基于丢弃的多元数据服务器元数据日志一致性的方法
CN102662795A (zh) * 2012-03-20 2012-09-12 浪潮电子信息产业股份有限公司 一种分布式存储系统中元数据容错恢复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102089746A (zh) * 2008-05-13 2011-06-08 微软公司 采用事务日志的闪存恢复
CN101635746A (zh) * 2009-08-27 2010-01-27 杭州华三通信技术有限公司 一种数据保护方法及装置
CN102368222A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种多副本存储系统在线修复的方法
CN102508891A (zh) * 2011-10-25 2012-06-20 曙光信息产业(北京)有限公司 一种基于丢弃的多元数据服务器元数据日志一致性的方法
CN102662795A (zh) * 2012-03-20 2012-09-12 浪潮电子信息产业股份有限公司 一种分布式存储系统中元数据容错恢复方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078666A (zh) * 2019-12-11 2020-04-28 中国建设银行股份有限公司 基于跨中心多数据库的自动化卸数供数的方法
CN111078666B (zh) * 2019-12-11 2023-06-27 中国建设银行股份有限公司 基于跨中心多数据库的自动化卸数供数的方法

Also Published As

Publication number Publication date
CN103019886B (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
US10552244B2 (en) Methods, systems and products for data backup
US7099901B2 (en) Method for backing up a disk array system
CN102521083B (zh) 一种云计算系统中虚拟机备份方法和系统
CN101441583B (zh) 单一实例存储池的复制和恢复
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
US20170155716A1 (en) Granular sync/semi-sync architecture
CN102609479B (zh) 一种内存数据库节点复制方法
CN103197988A (zh) 一种数据备份、恢复的方法、设备和数据库系统
CN109325075A (zh) 一种基于定时备份的Oracle及时挂载恢复系统及方法
CN108255638B (zh) 一种快照回滚方法及装置
CN105045681A (zh) 一种Oracle多通道并行备份及恢复方法
CN103167026A (zh) 一种云存储环境数据处理方法、系统及设备
CN104484480A (zh) 基于重复数据删除的远程复制方法及装置
CN104461773A (zh) 一种虚拟机备份去重的方法
CN103902410A (zh) 云存储系统的数据备份加速方法
CN103838645B (zh) 一种基于哈希的远程差异合成备份实现方法
CN102508740A (zh) 文件系统远程复制方法
CN101937378B (zh) 一种对存储设备的数据进行备份保护的方法及计算机系统
CN103176867A (zh) 一种快速文件差异备份方法
CN106201772A (zh) 一种基于数据中心的操作系统备份、恢复方法及装置
CN106708657A (zh) 一种元数据管理方法及装置、分布式文件系统
CN109358988A (zh) 一种云备份数据的恢复方法、装置、系统及可读存储介质
CN104679746A (zh) 去重复数据的恢复方法及装置
WO2016107219A1 (zh) 数据恢复方法及装置
CN103176866A (zh) 一种应用于ntfs文件系统下的文件权限备份方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220727

Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right