CN106528876A - 分布式系统的信息处理方法及分布式信息处理系统 - Google Patents

分布式系统的信息处理方法及分布式信息处理系统 Download PDF

Info

Publication number
CN106528876A
CN106528876A CN201611131370.4A CN201611131370A CN106528876A CN 106528876 A CN106528876 A CN 106528876A CN 201611131370 A CN201611131370 A CN 201611131370A CN 106528876 A CN106528876 A CN 106528876A
Authority
CN
China
Prior art keywords
metamessage
information
journal file
operation requests
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611131370.4A
Other languages
English (en)
Other versions
CN106528876B (zh
Inventor
赵安安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201611131370.4A priority Critical patent/CN106528876B/zh
Publication of CN106528876A publication Critical patent/CN106528876A/zh
Application granted granted Critical
Publication of CN106528876B publication Critical patent/CN106528876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Abstract

本发明公开了一种分布式系统的信息处理方法及分布式信息处理系统,其中,分布式系统包含用于存储元信息的中心节点和多个用于存储数据的数据节点;所述分布式系统的信息处理方法包括:接收信息操作请求;判断信息操作请求的类型;若判断得到信息操作请求的类型为元信息操作请求,则利用中心节点,根据元信息操作请求,对元信息进行操作;若判断得到信息操作请求的类型为数据操作请求,则利用数据节点,根据数据操作请求,对数据进行操作。根据本发明提供的技术方案,实现了对各节点的管理职能的划分,减轻了各节点的信息处理压力,有助于提高分布式系统的处理效率。

Description

分布式系统的信息处理方法及分布式信息处理系统
技术领域
本发明涉及互联网技术领域,具体涉及一种分布式系统的信息处理方法及分布式信息处理系统。
背景技术
由于分布式系统具有高度的内聚性和透明性,已得到了广泛的应用。然而在现有的分布式系统中,每个节点都需要存储与管理元信息和数据。当节点接收到对元信息进行操作的操作请求时,该节点需要对元信息进行操作;而当节点接收到对数据进行操作的操作请求时,该节点还需对数据进行操作。因此,由于每个节点都需要对元信息和数据进行存储与管理,导致各节点的信息处理压力较大,影响了系统的处理效率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式系统的信息处理方法及分布式信息处理系统。
根据本发明的一个方面,提供了一种分布式系统的信息处理方法,分布式系统包含用于存储元信息的中心节点和多个用于存储数据的数据节点;该方法包括:
接收信息操作请求;
判断信息操作请求的类型;
若判断得到信息操作请求的类型为元信息操作请求,则利用中心节点,根据元信息操作请求,对元信息进行操作;若判断得到信息操作请求的类型为数据操作请求,则利用数据节点,根据数据操作请求,对数据进行操作。
根据本发明的另一方面,提供了一种分布式信息处理系统,其包括:用于存储元信息的中心节点和多个用于存储数据的数据节点;
其中,中心节点包括:
第一接收模块,适于接收元信息操作请求;
第一操作处理模块,适于根据元信息操作请求,对元信息进行操作;
数据节点包括:
第二接收模块,适于接收数据操作请求;
第二操作处理模块,适于根据数据操作请求,对数据进行操作。
根据本发明提供的技术方案,接收信息操作请求,接着判断信息操作请求的类型,如果判断得到信息操作请求的类型为元信息操作请求,则利用中心节点,根据元信息操作请求,对元信息进行操作;如果判断得到信息操作请求的类型为数据操作请求,则利用数据节点,根据数据操作请求,对数据进行操作。根据本发明提供的技术方案,利用中心节点对元信息进行存储与管理,并利用数据节点对数据进行存储与管理,从而实现了对各节点的管理职能的划分,减轻了各节点的信息处理压力,有助于提高分布式系统的处理效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的分布式系统的信息处理方法的流程示意图;
图2示出了根据本发明另一个实施例的分布式系统的信息处理方法的流程示意图;
图3示出了根据本发明一个实施例的分布式信息处理系统的结构框图;
图4示出了根据本发明另一个实施例的分布式信息处理系统的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在现有的分布式系统中,每个节点都需要存储与管理元信息和数据。当节点接收到对元信息进行操作的操作请求时,该节点需要对元信息进行操作;而当节点接收到对数据进行操作的操作请求时,该节点还需对数据进行操作。因此,每个节点都需要对元信息和数据进行存储与管理,导致各节点的信息处理压力较大。为了解决上述问题,在本发明提供的技术方案中,分布式系统包含用于存储元信息的中心节点和多个用于存储数据的数据节点,也就是说,利用中心节点存储元信息,并利用数据节点存储数据,从而实现了对各节点的管理职能的划分,减轻了各节点的信息处理压力,有助于提高分布式系统的处理效率。
图1示出了根据本发明一个实施例的分布式系统的信息处理方法的流程示意图,其中,分布式系统包含用于存储元信息的中心节点和多个用于存储数据的数据节点,如图1所示,该方法包括如下步骤:
步骤S100,接收信息操作请求。
例如,当客户端想要对分布式系统所存储的信息进行删除或修改等操作时,客户端需要向分布式系统发送信息操作请求,那么在步骤S100中,接收客户端发送的信息操作请求。
步骤S101,判断信息操作请求的类型;若判断得到信息操作请求的类型为元信息操作请求,则执行步骤S102;若判断得到信息操作请求的类型为数据操作请求,则执行步骤S103。
其中,信息操作请求可能是请求对元信息进行操作的操作请求,也可能是请求对数据进行操作的操作请求,在本发明实施例中,将请求对元信息进行操作的操作请求的类型定义为元信息操作请求,将请求对数据进行操作的操作请求的类型定义为数据操作请求。由于在本发明中利用中心节点存储元信息,利用数据节点存储数据,因此在接收了信息操作请求之后,在步骤S101中,需要对信息操作请求的类型进行判断。如果判断得到信息操作请求的类型为元信息操作请求,则执行步骤S102;如果判断得到信息操作请求的类型为数据操作请求,则执行步骤S103。
具体地,信息操作请求可包括类型标识信息,在步骤S101中,根据信息操作请求中的类型标识信息可方便地对信息操作请求的类型进行判断。例如,可用标识1表示元信息操作请求,用标识2表示数据操作请求。那么如果信息操作请求中的类型标识信息为标识1,则说明该信息操作请求的类型为元信息操作请求,则执行步骤S102;如果信息操作请求中的类型标识信息为标识2时,则说明该信息操作请求的类型为数据操作请求,则执行步骤S103。
步骤S102,利用中心节点,根据元信息操作请求,对元信息进行操作。
由于元信息是由中心节点进行存储的,如果经步骤S101判断得到信息操作请求的类型为元信息操作请求,那么在步骤S102中,利用中心节点,根据元信息操作请求,对元信息进行操作。例如,元信息操作请求为修改某条元信息,那么在步骤S102中,利用中心节点,对该条元信息进行修改操作。
步骤S103,利用数据节点,根据数据操作请求,对数据进行操作。
由于数据是由数据节点进行存储的,如果经步骤S101判断得到信息操作请求的类型为数据操作请求,则在步骤S103中,利用数据节点,根据数据操作请求,对数据进行操作。例如,数据操作请求为删除某条数据,那么在步骤S103中,利用数据节点,对该条数据进行删除操作。
根据本发明提供的分布式系统的信息处理方法,接收信息操作请求,接着判断信息操作请求的类型,如果判断得到信息操作请求的类型为元信息操作请求,则利用中心节点,根据元信息操作请求,对元信息进行操作;如果判断得到信息操作请求的类型为数据操作请求,则利用数据节点,根据数据操作请求,对数据进行操作。根据本发明提供的技术方案,利用中心节点对元信息进行存储与管理,并利用数据节点对数据进行存储与管理,从而实现了对各节点的管理职能的划分,减轻了各节点的信息处理压力,有助于提高分布式系统的处理效率。
图2示出了根据本发明另一个实施例的分布式系统的信息处理方法的流程示意图,如图2所示,该方法包括如下步骤:
步骤S200,接收信息操作请求。
在步骤S200中,接收客户端发送的信息操作请求。其中,信息操作请求可能是请求对元信息进行操作的操作请求,也可能是请求对数据进行操作的操作请求。
步骤S201,判断信息操作请求的类型;若判断得到信息操作请求的类型为元信息操作请求,则执行步骤S202;若判断得到信息操作请求的类型为数据操作请求,则执行步骤S206。
在接收了信息操作请求之后,为了确定是利用中心节点还是利用数据节点来响应该信息操作请求,在步骤S201中,需要判断信息操作请求的类型。如果判断得到信息操作请求的类型为元信息操作请求,则执行步骤S202;如果判断得到信息操作请求的类型为数据操作请求,则执行步骤S206。
具体地,信息操作请求可包括类型标识信息,在步骤S201中,根据信息操作请求中的类型标识信息可方便地对信息操作请求的类型进行判断。例如,根据信息操作请求中的类型标识信息可知,该信息操作请求的类型为元信息操作请求,则执行步骤S202。
步骤S202,利用中心节点,根据元信息操作请求,对元信息进行操作。
如果经步骤S201判断得到信息操作请求的类型为元信息操作请求,那么在步骤S202中,利用中心节点,根据元信息操作请求,对元信息进行操作。
另外,当数据节点需要对其存储的数据所对应的元信息进行更新时,数据节点可向中心节点发送元信息更新消息,那么中心节点接收数据节点发送的元信息更新消息,并根据元信息更新消息对所存储的元信息进行更新。
步骤S203,生成以条目为单位的日志记录,以日志记录更新内存,并采用异步线程将日志记录持久化添加到日志文件中。
为了便于后续能够清楚地知道利用中心节点对元信息进行了哪些操作,在对元信息进行操作之后,在步骤S203中,生成以条目为单位的日志记录,其中,根据日志记录可知,对哪条元信息进行了操作、操作的具体的内容以及操作时间。在生成了日志记录之后,以日志记录更新内存,也就是将日志记录写入内存中。另外,当出现宕机等异常情况时,内存中所存储的信息可能会丢失,那么为了能够更为有效地存储日志记录,可采用异步线程将日志记录持久化添加到日志文件中,从而将日志记录存储至磁盘中,实现了对日志记录的持久化存储。
步骤S204,判断日志文件的大小是否大于预设阈值;若是,则执行步骤S205;若是,则执行步骤S204。
本领域技术人员可根据实际需要设置预设阈值,此处不做限定。例如,可将预设阈值设置为100MB,如果判断日志文件的大小大于100MB时,则执行步骤S205;如果判断日志文件的大小小于或等于100MB时,则执行步骤S204,继续对日志文件的大小是否大于预设阈值进行判断。
步骤S205,对日志文件进行切分处理。
为了避免日志文件的大小过大,在经步骤S204判断得到日志文件的大小大于预设阈值的情况下,在步骤S205中,对日志文件进行切分处理,得到若干个文件大小符合预设阈值的日志文件。如果不对日志文件进行切分处理,仅通过一个日志文件存储日志记录,那么当该日志文件损坏时,将可能会造成所有日志记录的丢失。在本实施例中,对日志文件进行切分处理,得到若干个文件大小符合预设阈值的日志文件,那么当某个日志文件损坏时,仅可能会丢失该日志文件中的日志记录,而不会造成所有日志记录的丢失,从而有助于有效存储日志记录。
假设,预设阈值为100MB,那么当日志文件的大小为101MB时,在步骤S205中,对日志文件进行切分处理,切分得到大小为100MB的日志文件1和大小为1MB的日志文件2,随着后续的日志记录不断地被持久化添加到日志文件2中,日志文件2的大小会不断增加,当日志文件2的大小大于100MB时,对日志文件2进行切分处理,切分得到大小为100MB的日志文件2和大小小于100MB的文件3,依此类推,得到若干个文件大小符合预设阈值的日志文件。
步骤S206,利用数据节点,根据数据操作请求,对数据进行操作。
如果经步骤S201判断得到信息操作请求的类型为数据操作请求,那么在步骤S206中,利用数据节点,根据数据操作请求,对数据进行操作。
其中,分布式系统中的中心节点的数量可以为一个或多个。当中心节点为多个时,多个中心节点中的日志文件需要保持同步,那么在采用异步线程将日志记录持久化添加到日志文件中之后,该方法还可包括:向其它中心节点发送日志同步消息的步骤,以供其它中心节点根据该日志同步消息更新各自的日志文件。
其中,为了便于管理日志记录,每条日志记录对应有索引信息,具体地,日志同步消息中包括有日志记录对应的索引信息,那么其它中心节点在接收到了日志同步消息之后,就可利用索引信息,从各自的日志文件中删除不一致的日志记录或者在各自的日志文件中增加日志记录。
例如,中心节点包括:中心节点1和中心节点2,中心节点1向中心节点2发送了日志同步消息,其中,日志同步消息中包括的索引信息为索引1、索引2和索引3,假设中心节点2的日志文件中包括索引1对应的日志记录和索引2对应的日志记录,那么中心节点2利用日志同步消息中包括的索引信息,在其日志文件中增加索引3对应的日志记录。
根据本发明提供的分布式系统的信息处理方法,在信息操作请求的类型为元信息操作请求的情况下,利用中心节点,根据元信息操作请求,对元信息进行操作,接着生成以条目为单位的日志记录,以日志记录更新内存,并采用异步线程将日志记录持久化添加到日志文件中,而且在日志文件的大小大于预设阈值的情况下,对日志文件进行切分处理;并且在中心节点为多个时,向其它中心节点发送日志同步消息,以供其它中心节点根据该日志同步消息更新各自的日志文件;而在信息操作请求的类型为数据操作请求的情况下,利用数据节点,根据数据操作请求,对数据进行操作。根据本发明提供的技术方案,利用中心节点对元信息进行存储与管理,并利用数据节点对数据进行存储与管理,从而实现了对各节点的管理职能的划分,使得分布式系统的架构更加清晰,减轻了各节点的信息处理压力,提高了分布式系统的处理效率,优化了分布式系统的信息处理方式;另外,该技术方案采用异步线程将日志记录持久化添加到日志文件中,并对日志文件进行切分处理,还实现了对日志记录的有效存储。
图3示出了根据本发明一个实施例的分布式信息处理系统的结构框图,如图3所示,该系统300包括:用于存储元信息的中心节点310和多个用于存储数据的数据节点320。
其中,中心节点310包括:第一接收模块311和第一操作处理模块312。
第一接收模块311适于:接收元信息操作请求。
第一操作处理模块312适于:根据元信息操作请求,对元信息进行操作。
由于元信息是由中心节点310进行存储的,第一操作处理模块312根据第一接收模块311接收到的元信息操作请求,对元信息进行操作。例如,元信息操作请求为修改某条元信息,那么第一操作处理模块312对该条元信息进行修改操作。
数据节点320包括:第二接收模块321和第二操作处理模块322。
第二接收模块321适于:接收数据操作请求。
第二操作处理模块322适于:根据数据操作请求,对数据进行操作。
由于数据是由数据节点320进行存储的,第二操作处理模块322根据第二接收模块321接收到的数据操作请求,对数据进行操作。例如,数据操作请求为删除某条数据,那么第二操作处理模块322对该条数据进行删除操作。
根据本发明提供的分布式信息处理系统,中心节点中的第一接收模块接收元信息操作请求,中心节点中的第一操作处理模块根据元信息操作请求,对元信息进行操作;数据节点中的第二接收模块接收数据操作请求,数据节点中的第二操作处理模块根据数据操作请求,对数据进行操作。根据本发明提供的技术方案,利用中心节点对元信息进行存储与管理,并利用数据节点对数据进行存储与管理,从而实现了对各节点的管理职能的划分,减轻了各节点的信息处理压力,有助于提高系统的处理效率。
图4示出了根据本发明另一个实施例的分布式信息处理系统的结构框图,如图4所示,该系统400包括:用于存储元信息的中心节点410和多个用于存储数据的数据节点420。
其中,中心节点410包括:第一接收模块411、第一操作处理模块412、日志处理模块413、判断模块414和日志切分模块415。
第一接收模块411适于:接收元信息操作请求。
第一操作处理模块412适于:根据元信息操作请求,对元信息进行操作。
其中,第一接收模块411还适于接收数据节点420发送的元信息更新消息,第一操作处理模块412还适于:根据元信息更新消息对所存储的元信息进行更新。
当数据节点420需要对其存储的数据所对应的元信息进行更新时,数据节点420可向中心节点410发送元信息更新消息,那么中心节点410中的第一接收模块411接收数据节点420发送的元信息更新消息,并根据元信息更新消息对所存储的元信息进行更新。
日志处理模块413适于:生成以条目为单位的日志记录,以日志记录更新内存,并采用异步线程将日志记录持久化添加到日志文件中。
为了便于后续能够清楚地知道中心节点410对元信息进行了哪些操作,在第一操作处理模块412对元信息进行操作之后,触发日志处理模块413,日志处理模块413生成以条目为单位的日志记录,以日志记录更新内存,也就是将日志记录写入内存中。另外,当出现宕机等异常情况时,内存中所存储的信息可能会丢失,那么为了能够更为有效地存储日志记录,日志处理模块413还采用异步线程将日志记录持久化添加到日志文件中,从而将日志记录存储至磁盘中,实现了对日志记录的持久化存储。
判断模块414适于:判断日志文件的大小是否大于预设阈值。
本领域技术人员可根据实际需要设置预设阈值,此处不做限定。如果判断模块414判断得到日志文件的大小大于预设阈值,则触发日志切分模块415。
日志切分模块415适于:若判断模块414判断得到日志文件的大小大于预设阈值,则对日志文件进行切分处理。
为了避免日志文件的大小过大,在判断模块414判断得到日志文件的大小大于预设阈值的情况下,日志切分模块415对日志文件进行切分处理,得到若干个文件大小符合预设阈值的日志文件。
其中,分布式信息处理系统中的中心节点410的数量可以为一个或多个。当中心节点410为多个时,中心节点410还包括:日志同步模块416,适于向其它中心节点410发送日志同步消息,以供其它中心节点410更新各自的日志文件。
其中,每条日志记录对应有索引信息,那么日志同步模块416进一步适于:向其它中心节点410发送日志同步消息,以供其它中心节点410利用索引信息,从各自的日志文件中删除不一致的日志记录或者在各自的日志文件中增加日志记录。
数据节点420包括:第二接收模块421和第二操作处理模块422。
第二接收模块421适于:接收数据操作请求。
第二操作处理模块422适于:根据数据操作请求,对数据进行操作。
由于数据是由数据节点420进行存储的,第二操作处理模块422根据第二接收模块421接收到的数据操作请求,对数据进行操作。
根据本发明提供的分布式信息处理系统,利用中心节点对元信息进行存储与管理,并利用数据节点对数据进行存储与管理,从而实现了对各节点的管理职能的划分,得到了架构更加清晰的分布式信息处理系统,减轻了各节点的信息处理压力,提高了系统的处理效率;另外,该技术方案采用异步线程将日志记录持久化添加到日志文件中,并对日志文件进行切分处理,还实现了对日志记录的有效存储。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:
A1、一种分布式系统的信息处理方法,所述分布式系统包含用于存储元信息的中心节点和多个用于存储数据的数据节点;所述方法包括:
接收信息操作请求;
判断所述信息操作请求的类型;
若判断得到所述信息操作请求的类型为元信息操作请求,则利用中心节点,根据所述元信息操作请求,对元信息进行操作;若判断得到所述信息操作请求的类型为数据操作请求,则利用数据节点,根据所述数据操作请求,对数据进行操作。
A2、根据A1所述的方法,其中,所述方法还包括:
所述中心节点接收数据节点发送的元信息更新消息,根据所述元信息更新消息对所存储的元信息进行更新。
A3、根据A1所述的方法,其中,在对元信息进行操作之后,所述方法还包括:
生成以条目为单位的日志记录,以所述日志记录更新内存,并采用异步线程将所述日志记录持久化添加到日志文件中。
A4、根据A3所述的方法,其中,在所述采用异步线程将所述日志记录持久化添加到日志文件中之后,所述方法还包括:
判断所述日志文件的大小是否大于预设阈值;若是,则对所述日志文件进行切分处理。
A5、根据A3所述的方法,其中,所述中心节点为多个;在所述采用异步线程将所述日志记录持久化添加到日志文件中之后,所述方法还包括:
向其它中心节点发送日志同步消息,以供其它中心节点更新各自的日志文件。
A6、根据A5所述的方法,其中,每条日志记录对应有索引信息;
所述其它中心节点更新各自的日志文件进一步包括:
利用所述索引信息,从各自的日志文件中删除不一致的日志记录;或者,
在各自的日志文件中增加日志记录。
本发明还公开了:
B7、一种分布式信息处理系统,其包括:用于存储元信息的中心节点和多个用于存储数据的数据节点;
所述中心节点包括:
第一接收模块,适于接收元信息操作请求;
第一操作处理模块,适于根据所述元信息操作请求,对元信息进行操作;
所述数据节点包括:
第二接收模块,适于接收数据操作请求;
第二操作处理模块,适于根据所述数据操作请求,对数据进行操作。
B8、根据B7所述的系统,其中,所述第一接收模块还适于:接收数据节点发送的元信息更新消息;
所述第一操作处理模块还适于:根据所述元信息更新消息对所存储的元信息进行更新。
B9、根据B7所述的系统,其中,所述中心节点还包括:日志处理模块,适于生成以条目为单位的日志记录,以所述日志记录更新内存,并采用异步线程将所述日志记录持久化添加到日志文件中。
B10、根据B9所述的系统,其中,所述中心节点还包括:
判断模块,适于判断所述日志文件的大小是否大于预设阈值;
日志切分模块,适于若所述判断模块判断得到所述日志文件的大小大于预设阈值,则对所述日志文件进行切分处理。
B11、根据B9所述的系统,其中,所述中心节点为多个;
所述中心节点还包括:日志同步模块,适于向其它中心节点发送日志同步消息,以供其它中心节点更新各自的日志文件。
B12、根据B11所述的系统,其中,每条日志记录对应有索引信息;
所述日志同步模块进一步适于:向其它中心节点发送日志同步消息,以供其它中心节点利用所述索引信息,从各自的日志文件中删除不一致的日志记录或者在各自的日志文件中增加日志记录。

Claims (10)

1.一种分布式系统的信息处理方法,所述分布式系统包含用于存储元信息的中心节点和多个用于存储数据的数据节点;所述方法包括:
接收信息操作请求;
判断所述信息操作请求的类型;
若判断得到所述信息操作请求的类型为元信息操作请求,则利用中心节点,根据所述元信息操作请求,对元信息进行操作;若判断得到所述信息操作请求的类型为数据操作请求,则利用数据节点,根据所述数据操作请求,对数据进行操作。
2.根据权利要求1所述的方法,其中,所述方法还包括:
所述中心节点接收数据节点发送的元信息更新消息,根据所述元信息更新消息对所存储的元信息进行更新。
3.根据权利要求1所述的方法,其中,在对元信息进行操作之后,所述方法还包括:
生成以条目为单位的日志记录,以所述日志记录更新内存,并采用异步线程将所述日志记录持久化添加到日志文件中。
4.根据权利要求3所述的方法,其中,在所述采用异步线程将所述日志记录持久化添加到日志文件中之后,所述方法还包括:
判断所述日志文件的大小是否大于预设阈值;若是,则对所述日志文件进行切分处理。
5.根据权利要求3所述的方法,其中,所述中心节点为多个;在所述采用异步线程将所述日志记录持久化添加到日志文件中之后,所述方法还包括:
向其它中心节点发送日志同步消息,以供其它中心节点更新各自的日志文件。
6.根据权利要求5所述的方法,其中,每条日志记录对应有索引信息;
所述其它中心节点更新各自的日志文件进一步包括:
利用所述索引信息,从各自的日志文件中删除不一致的日志记录;或者,
在各自的日志文件中增加日志记录。
7.一种分布式信息处理系统,其包括:用于存储元信息的中心节点和多个用于存储数据的数据节点;
所述中心节点包括:
第一接收模块,适于接收元信息操作请求;
第一操作处理模块,适于根据所述元信息操作请求,对元信息进行操作;
所述数据节点包括:
第二接收模块,适于接收数据操作请求;
第二操作处理模块,适于根据所述数据操作请求,对数据进行操作。
8.根据权利要求7所述的系统,其中,所述第一接收模块还适于:接收数据节点发送的元信息更新消息;
所述第一操作处理模块还适于:根据所述元信息更新消息对所存储的元信息进行更新。
9.根据权利要求7所述的系统,其中,所述中心节点还包括:日志处理模块,适于生成以条目为单位的日志记录,以所述日志记录更新内存,并采用异步线程将所述日志记录持久化添加到日志文件中。
10.根据权利要求9所述的系统,其中,所述中心节点还包括:
判断模块,适于判断所述日志文件的大小是否大于预设阈值;
日志切分模块,适于若所述判断模块判断得到所述日志文件的大小大于预设阈值,则对所述日志文件进行切分处理。
CN201611131370.4A 2016-12-09 2016-12-09 分布式系统的信息处理方法及分布式信息处理系统 Active CN106528876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611131370.4A CN106528876B (zh) 2016-12-09 2016-12-09 分布式系统的信息处理方法及分布式信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611131370.4A CN106528876B (zh) 2016-12-09 2016-12-09 分布式系统的信息处理方法及分布式信息处理系统

Publications (2)

Publication Number Publication Date
CN106528876A true CN106528876A (zh) 2017-03-22
CN106528876B CN106528876B (zh) 2019-08-23

Family

ID=58342906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611131370.4A Active CN106528876B (zh) 2016-12-09 2016-12-09 分布式系统的信息处理方法及分布式信息处理系统

Country Status (1)

Country Link
CN (1) CN106528876B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121514A (zh) * 2017-12-29 2018-06-05 北京奇虎科技有限公司 元信息更新方法、装置、计算设备及计算机存储介质
CN110888858A (zh) * 2019-10-29 2020-03-17 北京奇艺世纪科技有限公司 数据库的操作方法和装置、存储介质、电子装置
CN111208946A (zh) * 2020-01-06 2020-05-29 北京同有飞骥科技股份有限公司 支持kb级别小文件并发io的数据持久化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106286A (zh) * 2013-03-04 2013-05-15 曙光信息产业(北京)有限公司 元数据的管理方法和装置
US20140258223A1 (en) * 2013-03-08 2014-09-11 Oracle International Corporation Adaptive high-performance database redo log synchronization
CN104063486A (zh) * 2014-07-03 2014-09-24 四川中亚联邦科技有限公司 一种大数据分布式存储方法和系统
US20150127608A1 (en) * 2013-11-01 2015-05-07 Cloudera, Inc. Manifest-based snapshots in distributed computing environments
CN105554135A (zh) * 2015-12-23 2016-05-04 北京奇虎科技有限公司 数据节点间同步元信息的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106286A (zh) * 2013-03-04 2013-05-15 曙光信息产业(北京)有限公司 元数据的管理方法和装置
US20140258223A1 (en) * 2013-03-08 2014-09-11 Oracle International Corporation Adaptive high-performance database redo log synchronization
US20150127608A1 (en) * 2013-11-01 2015-05-07 Cloudera, Inc. Manifest-based snapshots in distributed computing environments
CN104063486A (zh) * 2014-07-03 2014-09-24 四川中亚联邦科技有限公司 一种大数据分布式存储方法和系统
CN105554135A (zh) * 2015-12-23 2016-05-04 北京奇虎科技有限公司 数据节点间同步元信息的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋智军: "《深入浅出大数据 第1版》", 31 March 2016, 北京:清华大学出版社 *
文艾 等: "《高可用性的HDFS Hadoop分布式文件系统深度实践 第1版》", 31 May 2012, 北京:清华大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121514A (zh) * 2017-12-29 2018-06-05 北京奇虎科技有限公司 元信息更新方法、装置、计算设备及计算机存储介质
CN108121514B (zh) * 2017-12-29 2021-05-25 北京奇虎科技有限公司 元信息更新方法、装置、计算设备及计算机存储介质
CN110888858A (zh) * 2019-10-29 2020-03-17 北京奇艺世纪科技有限公司 数据库的操作方法和装置、存储介质、电子装置
CN111208946A (zh) * 2020-01-06 2020-05-29 北京同有飞骥科技股份有限公司 支持kb级别小文件并发io的数据持久化方法及系统

Also Published As

Publication number Publication date
CN106528876B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
US9569458B2 (en) Preserving a state using snapshots with selective tuple versioning
US8332367B2 (en) Parallel data redundancy removal
US20190188086A1 (en) Redundancy reduction in blockchains
US8966218B2 (en) On-access predictive data allocation and reallocation system and method
CN108228649B (zh) 用于数据访问的方法和设备
US10275481B2 (en) Updating of in-memory synopsis metadata for inserts in database table
US8291186B2 (en) Volume record data set optimization apparatus and method
US9514139B2 (en) Space efficient cascading point in time copying
US10838963B2 (en) Optimized access for hierarchical low cardinality value synopsis in analytical databases
CN109831540B (zh) 分布式存储方法、装置、电子设备及存储介质
US10204021B2 (en) Recovery of an infected and quarantined file in a primary storage controller from a secondary storage controller
US20170103068A1 (en) Data deduplication using a small hash table
US11544150B2 (en) Method of detecting source change for file level incremental backup
CN106528876A (zh) 分布式系统的信息处理方法及分布式信息处理系统
CN107085613B (zh) 入库文件的过滤方法和装置
CN104599433A (zh) 一种指标数据的监测方法、装置及服务器
US11604803B2 (en) Net change mirroring optimization across transactions in replication environment
CN109086462A (zh) 一种分布式文件系统中元数据的管理方法
CN106599247A (zh) LSM‑tree结构中数据文件的合并方法及装置
US10642903B2 (en) Tagging and querying system objects
US20200183914A1 (en) Fixing anomalies in a preserved data structure used to generate a temporary data structure during system initialization
US10642941B2 (en) System and method for pipeline management of artifacts
US10552059B2 (en) Data migration with placement based on access patterns
US11416468B2 (en) Active-active system index management
CN105573862B (zh) 一种恢复文件系统的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant