CN102981934A - 日志转移方法和日志转移装置 - Google Patents

日志转移方法和日志转移装置 Download PDF

Info

Publication number
CN102981934A
CN102981934A CN2012105642852A CN201210564285A CN102981934A CN 102981934 A CN102981934 A CN 102981934A CN 2012105642852 A CN2012105642852 A CN 2012105642852A CN 201210564285 A CN201210564285 A CN 201210564285A CN 102981934 A CN102981934 A CN 102981934A
Authority
CN
China
Prior art keywords
daily record
storage server
data
data storage
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012105642852A
Other languages
English (en)
Inventor
张东阳
李博
张玉龙
苗艳超
刘新春
邵宗有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN2012105642852A priority Critical patent/CN102981934A/zh
Publication of CN102981934A publication Critical patent/CN102981934A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种日志转移方法，其在主副本宕机时，通过网络将日志数据发送到数据存储服务器，从而将主副本保存到数据存储服务器上。通过这样的技术方案，在宕机时转移日志，使得可以一直提供服务。

Description

日志转移方法和日志转移装置
技术领域
本发明总的来说涉及日志系统，更具体地，涉及主副本宕机时的日志转移方法和日志转移装置。
背景技术
为了保证多元数据服务器的一致性和原子性，采用日志系统来进行元数据的数据存储。当主副本(元数据服务器中提供数据服务的副本)发生宕机时，从副本(元数据服务器中不提供服务，但接受主副本传递的数据的副本)需要为主副本保存数据，若主副本发生宕机的时间非常长，从副本为主副本保存的日志数据可能会非常多。从而，从副本的日志设备空间最终将无法写入，因此必须将其进行转移。
现有系统在遇到这种情况时，只能将其存储到一个固定存储设备上。然而，这种方法带来的问题是，固定的存储设备不能保证其可靠性，当其发生失效时，将会丢失日志，从而最终导致无法进行元数据的恢复。同时，在恢复时只能顺序读磁盘上的数据，从而降低了恢复时的性能。
针对相关技术中的问题，日前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种日志转移方法和日志转移装置，其能够在主副本宕机的情况下一直提供服务。
根据本发明的一个方面，提供了一种日志转移方法，包括：在主副本宕机时，日志系统通过网络将日志数据发送到数据存储服务器，从而将主副本保存到数据存储服务器上。
此外，如果数据存储服务器为多副本，则主副本发送数据以在数据存储服务器上保存从副本。
另一方面，在恢复元数据时，日志系统根据记录情况从存储在数据存储服务器上的主副本和从副本读取数据以恢复元数据。
优选地，记录情况为日志数据在元数据服务器中的存储位置。
优选地，在恢复所述元数据时，日志系统从存储在数据存储服务器上的主副本读取数据，如果该主副本宕机，则从存储在数据存储服务器上的从副本读取数据。
根据本发明的另一方面，提供了一种日志转移装置，其包括保存模块，用于在主副本宕机时，使日志系统通过网络将日志数据发送到数据存储服务器，从而将主副本保存到数据存储服务器上。
此外，如果数据存储服务器为多副本，则主副本发送数据以在数据存储服务器上保存从副本。
另外，日志转移装置还包括读取模块，用于在恢复元数据时，使日志系统根据记录情况从存储在所述数据存储服务器上的主副本和从副本读取数据以恢复元数据。
优选地，记录情况为日志数据在元数据服务器中的存储位置。
优选地，在恢复所述元数据时，读取模块使日志系统从存储在数据存储服务器上的主副本读取数据，如果该主副本宕机，则从存储在数据存储服务器上的从副本读取数据。
本发明通过将日志系统转移到数据存储服务器上，使得在宕机时也能一直提供服务并且保证了日志数据的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的日志转移方法的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的日志转移方法包括：在主副本宕机时，日志系统通过网络将日志数据发送到数据存储服务器，从而将主副本保存到数据存储服务器上。
此外，如果数据存储服务器为多副本，则主副本发送数据(诸如通过网络接口)以在数据存储服务器上保存从副本。
此外，在恢复元数据时，日志系统根据记录情况从存储在数据存储服务器上的主副本和从副本读取数据以恢复元数据。
优选地，记录情况为日志数据在元数据服务器中的存储位置。
优选地，在恢复所述元数据时，日志系统从存储在数据存储服务器上的主副本读取数据，如果该主副本宕机，则从存储在数据存储服务器上的从副本读取数据。
另一方面，根据本发明的日志转移装置包括保存模块，用于在主副本宕机时，使日志系统通过网络将日志数据发送到数据存储服务器，从而将主副本保存到数据存储服务器上。
此外，如果数据存储服务器为多副本，则主副本发送数据以在数据存储服务器上保存从副本。
另外，日志转移装置还包括读取模块，用于在恢复元数据时，使日志系统根据记录情况从存储在所述数据存储服务器上的主副本和从副本读取数据以恢复元数据。
优选地，记录情况为日志数据在元数据服务器中的存储位置。
优选地，在恢复所述元数据时，读取模块使日志系统从存储在数据存储服务器上的主副本读取数据，如果该主副本宕机，则从存储在数据存储服务器上的从副本读取数据。
以下参照图1详细描述本发明。
图1是根据本发明实施例的日志转移方法的示意图
本技术方案采用的策略如图所示：在主副本宕机时，日志系统将本地日志设备空间无法保存的日志数据通过网络发送至数据存储服务器上，从而将日志数据保存到数据存储服务器上。这里，数据存储服务器是存放日志系统的额外的日志的服务器。
注意，如果数据存储服务器是多副本，则在数据存储服务器中写入副本时，首先需要写入主副本，然后主副本发送数据到从副本，即，将从副本保存到数据存储服务器上。这里所说的数据存储服务器是多副本是指数据存储服务器上有多于一个的副本，一主一从或者一主两从，这里的主从的概念和元数据服务的概念相同，但区别在于服务模式不一样，数据存储服务器的从副本可以提供读服务，而元数据服务器中只有主副本才可以提供服务。
另外，在恢复元数据时，日志系统根据记录情况(日志数据在元数据服务器中的存储位置)，从主副本和从副本读取恢复数据，来进行元数据的恢复。一般情况下，只从主副本上读取数据，当主副本宕机，才从从副本上进行读取。
通过本发明的方法，当主副本发生长时间的宕机，日志系统均可以将日志进行转移，因此，可以一直提供服务。另外，转移日志数据使用数据存储服务器进行多副本存储，从而提高了日志数据的可靠性。在这种写入模式下，当恢复元数据时，可以同时读取主副本和从副本的数据，从而提高了恢复时读取日志数据的性能。
综上所述，借助于本发明的上述技术方案，通过数据存储服务器进行日志数据转存并在恢复时数据存储服务器进行多副本恢复，可以一直提供服务，从而提高了日志数据的可靠性，并且提高了读取日志数据的性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志转移方法，其特征在于，所述日志转移方法包括：在主副本宕机时，日志系统通过网络将日志数据发送到数据存储服务器，从而将所述主副本保存到所述数据存储服务器上。
2.根据权利要求1所述的日志转移方法，其特征在于，如果所述数据存储服务器为多副本，则所述主副本发送数据以在所述数据存储服务器上保存从副本。
3.根据权利要求2所述的日志转移方法，其特征在于，在恢复元数据时，所述日志系统根据记录情况从存储在所述数据存储服务器上的所述主副本和所述从副本读取数据以恢复所述元数据。
4.根据权利要求3所述的日志转移方法，其特征在于，所述记录情况为所述日志数据在元数据服务器中的存储位置。
5.根据权利要求3所述的日志转移方法，其特征在于，在恢复所述元数据时，所述日志系统从存储在所述数据存储服务器上的所述主副本读取数据，如果该主副本宕机，则从存储在所述数据存储服务器上的所述从副本读取数据。
6.一种日志转移装置，其特征在于，所述日志转移装置包括保存模块，用于在主副本宕机时，使日志系统通过网络将日志数据发送到数据存储服务器，从而将所述主副本保存到所述数据存储服务器上。
7.根据权利要求6所述的日志转移装置，其特征在于，如果所述数据存储服务器为多副本，则所述主副本发送数据以在所述数据存储服务器上保存从副本。
8.根据权利要求7所述的日志转移装置，其特征在于，所述日志转移装置还包括读取模块，用于在恢复元数据时，使所述日志系统根据记录情况从存储在所述数据存储服务器上的所述主副本和所述从副本读取数据以恢复所述元数据。
9.根据权利要求8所述的日志转移装置，其特征在于，所述记录情况为所述日志数据在元数据服务器中的存储位置。
10.根据权利要求8所述的日志转移装置，其特征在于，在恢复所述元数据时，所述读取模块使所述日志系统从存储在所述数据存储服务器上的所述主副本读取数据，如果该主副本宕机，则从存储在所述数据存储服务器上的所述从副本读取数据。
CN2012105642852A 2012-12-21 2012-12-21 日志转移方法和日志转移装置 Pending CN102981934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012105642852A CN102981934A (zh) 2012-12-21 2012-12-21 日志转移方法和日志转移装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012105642852A CN102981934A (zh) 2012-12-21 2012-12-21 日志转移方法和日志转移装置

Publications (1)

Publication Number Publication Date
CN102981934A true CN102981934A (zh) 2013-03-20

Family

ID=47855989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012105642852A Pending CN102981934A (zh) 2012-12-21 2012-12-21 日志转移方法和日志转移装置

Country Status (1)

Country Link
CN (1) CN102981934A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183868A (zh) * 2015-09-15 2015-12-23 浪潮(北京)电子信息产业有限公司 一种文件系统日志的存储方法及装置
CN105338078A (zh) * 2015-10-26 2016-02-17 北京百度网讯科技有限公司 用于存储系统的数据存储方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841335A (zh) * 2005-03-30 2006-10-04 国际商业机器公司 用于通过块复制增加文件系统可用性的方法和目标服务器
US20070016672A1 (en) * 2005-07-12 2007-01-18 Visible Measures, Inc. Distributed capture and aggregation of dynamic application usage information
CN101122876A (zh) * 2006-08-09 2008-02-13 国际商业机器公司 带集成式连续数据保护和远程副本的存储管理系统和方法
CN101692227A (zh) * 2009-09-25 2010-04-07 中国人民解放军国防科学技术大学 大规模高可靠的归档存储系统构建方法
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
CN102024022A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统复制元数据的方法
CN102368222A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种多副本存储系统在线修复的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1841335A (zh) * 2005-03-30 2006-10-04 国际商业机器公司 用于通过块复制增加文件系统可用性的方法和目标服务器
US20070016672A1 (en) * 2005-07-12 2007-01-18 Visible Measures, Inc. Distributed capture and aggregation of dynamic application usage information
CN101122876A (zh) * 2006-08-09 2008-02-13 国际商业机器公司 带集成式连续数据保护和远程副本的存储管理系统和方法
CN101692227A (zh) * 2009-09-25 2010-04-07 中国人民解放军国防科学技术大学 大规模高可靠的归档存储系统构建方法
CN102024022A (zh) * 2010-11-04 2011-04-20 曙光信息产业(北京)有限公司 一种分布式文件系统复制元数据的方法
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
CN102368222A (zh) * 2011-10-25 2012-03-07 曙光信息产业(北京)有限公司 一种多副本存储系统在线修复的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183868A (zh) * 2015-09-15 2015-12-23 浪潮(北京)电子信息产业有限公司 一种文件系统日志的存储方法及装置
CN105338078A (zh) * 2015-10-26 2016-02-17 北京百度网讯科技有限公司 用于存储系统的数据存储方法和装置
CN105338078B (zh) * 2015-10-26 2019-01-01 北京百度网讯科技有限公司 用于存储系统的数据存储方法和装置

Similar Documents

Publication Publication Date Title
US7827299B2 (en) Transitioning between historical and real time data streams in the processing of data change messages
CN103780638B (zh) 数据同步方法及系统
CN102024044B (zh) 分布式文件系统
CN102142032B (zh) 一种分布式文件系统的数据读写方法及系统
CN101854388B (zh) 一种集群存储中并行访问大量小文件的方法及系统
CN102955720B (zh) 一种提高ext文件系统稳定性的方法
CN101453489B (zh) 一种网络附加存储装置及其数据备份和数据恢复方法
US9785514B1 (en) Techniques for file system recovery
CN101707633B (zh) 一种基于文件系统的消息中间件持久消息的存储方法
CN104657366B (zh) 海量日志写入数据库的方法、装置和日志容灾系统
CN105183839A (zh) 一种基于Hadoop的小文件分级索引的存储优化方法
CN104111804A (zh) 一种分布式文件系统
CN102521072A (zh) 虚拟磁带库设备及数据恢复方法
US20110137874A1 (en) Methods to Minimize Communication in a Cluster Database System
CN103763368B (zh) 一种跨数据中心的数据同步方法
CN103037004A (zh) 云存储系统操作的实现方法和装置
CN101815983A (zh) 用于防止硬盘驱动文件系统的损坏的方法和系统
US9798761B2 (en) Apparatus and method for fsync system call processing using ordered mode journaling with file unit
CN106027638A (zh) 一种基于混合编码的hadoop数据分发方法
CN102385624B (zh) 一种面向分布式文件系统的日志数据组织的方法
CN102904917A (zh) 海量图片的处理系统及其方法
CN102541693A (zh) 数据的多副本存储管理方法和系统
CN102981934A (zh) 日志转移方法和日志转移装置
CN103207916A (zh) 元数据处理的方法和装置
CN103399943A (zh) 集群数据库并行查询的通讯方法和通讯装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130320

RJ01 Rejection of invention patent application after publication