CN103019824B - 元数据服务器下日志系统的多进程处理方法和系统 - Google Patents
元数据服务器下日志系统的多进程处理方法和系统 Download PDFInfo
- Publication number
- CN103019824B CN103019824B CN201210562415.9A CN201210562415A CN103019824B CN 103019824 B CN103019824 B CN 103019824B CN 201210562415 A CN201210562415 A CN 201210562415A CN 103019824 B CN103019824 B CN 103019824B
- Authority
- CN
- China
- Prior art keywords
- daily record
- process space
- metadata
- log
- thread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种元数据服务器下日志系统的多进程处理方法，包括：将日志系统划分为两个进程空间；以及利用两个进程空间分别进行不同的日志处理。通过本发明的技术方案，能够降低日志系统和元数据服务系统之间的耦合度。
Description
技术领域
本发明涉及元数据服务器领域，更具体地，涉及元数据服务器下日志系统的多进程处理方法和系统。
背景技术
为了保证多元数据服务器的一致性和原子性，采用日志系统来完成元数据的数据存储。通常，日志系统分为多个逻辑层次，包括从元数据服务器获取数据形成事务、写内存、写日志设备和元数据磁盘等多个流水阶段。现有技术将多个阶段都放入一个进程，分多个阶段进行流水化处理。
然而，现有系统的技术使得日志系统和元数据服务系统耦合度非常大，并且这种方法使得日志系统只能用于元数据服务器上，从而不利于日志系统的扩展。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出元数据服务器下日志系统的多进程处理方法和系统，其能够降低日志系统和元数据服务系统之间的耦合度，并且能够有效扩展日志系统。
根据本发明的一个方面，提供了一种元数据服务器下日志系统的多进程处理方法，包括：将日志系统划分为两个进程空间；以及利用两个进程空间分别进行不同的日志处理。
更优选地，这两个进程空间为日志进程空间和元数据进程空间。
优选地，日志进程空间中的日志处理线程用于处理日志数据、保存内存处理以及保存日志设备和元数据设备处理。
优选地，数据进程空间中的日志代理线程用于接收元数据服务器的事务请求。
优选地，两个进程空间之间通过网络接口进行消息传递。
根据本发明的另一方面，提供了一种元数据服务器下日志系统的多进程处理系统，包括：通过划分日志系统所获得的两个进程空间；以及网络通信模块，用于在两个进程空间之间进行消息传递。
更优选地，这两个进程空间为日志进程空间和元数据进程空间。
优选地，日志进程空间中的日志处理线程用于处理日志数据、保存内存处理以及日志设备和元数据设备处理，以及元数据进程空间中的日志代理线程用于接收元数据服务器的事务请求。
本发明通过将日志系统划分为两个进程空间，降低了日志系统和元数据服务系统之间的耦合度，并且所划分的两个进程空间可以单独作用，从而有利于日志系统的扩展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的元数据服务器下日志系统的多进程处理方法的流程图；以及
图2是根据本发明具体实施例的日志系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图详细描述本发明。
图1是根据本发明实施例的元数据服务器下日志系统的多进程处理方法的流程图。
参照图1，根据本发明的元数据服务器下日志系统的多进程处理方法包括：S102，将日志系统划分为两个进程空间；以及S104，利用两个进程空间分别进行不同的日志处理。
优选地，这两个进程空间为日志进程空间和元数据进程空间。
此外，日志进程空间中的日志处理线程用于处理日志数据、保存内存处理以及保存日志设备和元数据设备处理。具体来说，保存内存处理是指将日志数据写入内存中，保存日志设备是指写入日志设备磁盘并同步，保存元数据设备处理是指写入元数据磁盘并同步。
优选地，数据进程空间中的日志代理线程用于接收元数据服务器的事务请求。
优选地，两个进程空间之间通过网络接口进行消息传递。
以下参照图2对本发明的实施例进行详细描述。注意，虽然在图2的实施例中，将日志系统划分为两个进程空间，但本领域技术人员应该理解，并不限于将日志系统只划分为两个进程空间，而是可以根据需要将日志系统划分为两个以上的进程空间。
图2是根据本发明具体实施例的日志系统的示意图。
参照图2，将日志系统划分为日志进程空间和元数据进程空间，并通过网络在这两个进程空间进行消息传递。
具体来说，日志进程空间中的日志处理线程用来处理日志数据、保存内存处理以及保存日志设备和元数据设备处理，而元数据进程空间中的日志代理线程负责接收元数据的事务请求。。
具体参见图2，元数据进程空间中的元数据线程是接受客户端节点的数据，经元数据线程处理后生成为日志数据，元数据进程空间中的日志代理线程负责从元数据线程获取日志数据。此外，日志进程空间的日志处理线程负责从元数据进程空间中的日志代理线程获取日志数据并写入元数据磁盘中。
可以看出，由于划分后的日志系统的一部分(如日志进程空间)可以用于其他模块，只要该模块能够提供标准接口(如生成事务等)即可，如此日志系统可用于任何需要保证原子性和一致性的系统来作为其存储系统，从而降低了日志系统和元数据服务系统的耦合度。
此外，两个进程空间使用网络进行消息传递，使得日志系统的代理线程和处理线程位于不同节点。例如，日志进程空间可以单独对其他模块进行服务，从而有利于日志系统的扩展。
还应该注意，日志系统中的日志处理线程、日志代理线程等进行的处理以及网络通信模块的实现均属于本领域的公知常识，并不属于本发明所要保护的范畴，因此在本文省略了其描述。
综上所述，本发明通过将日志系统划分为两个进程空间，降低了日志系统和元数据服务系统之间的耦合度，并且所划分的两个进程空间可以单独作用，从而有利于日志系统的扩展。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种元数据服务器下日志系统的多进程处理方法，其特征在于，所述方法包括：
将日志系统划分为日志进程空间和元数据进程空间；以及
利用所述日志进程空间和所述元数据进程空间分别进行不同的日志处理，
其中，所述元数据进程空间中的日志代理线程用于从所述元数据进程空间中元数据线程获取日志数据，并且所述日志进程空间中的日志处理线程从所述日志代理线程中获取所述日志数据。
2.根据权利要求1所述的方法，其特征在于，所述日志进程空间中的所述日志处理线程用于处理日志数据、保存内存处理以及保存日志设备和元数据设备处理。
3.根据权利要求1所述的方法，其特征在于，所述两个进程空间之间通过网络接口进行消息传递。
4.一种元数据服务器下日志系统的多进程处理系统，其特征在于，所述系统包括：
通过划分所述日志系统所获得的日志进程空间和元数据进程空间；以及
网络通信模块，用于在所述日志进程空间和所述元数据进程空间之间进行消息传递，
其中，所述元数据进程空间中的日志代理线程用于从所述元数据进程空间中元数据线程获取日志数据，并且所述日志进程空间中的日志处理线程从所述日志代理线程中获取所述日志数据。
5.根据权利要求4所述的系统，其特征在于，所述日志进程空间中的所述日志处理线程用于处理日志数据、保存内存处理以及日志设备和元数据设备处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210562415.9A CN103019824B (zh) | 2012-12-21 | 2012-12-21 | 元数据服务器下日志系统的多进程处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210562415.9A CN103019824B (zh) | 2012-12-21 | 2012-12-21 | 元数据服务器下日志系统的多进程处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103019824A CN103019824A (zh) | 2013-04-03 |
| CN103019824B true CN103019824B (zh) | 2015-11-25 |
Family
ID=47968455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210562415.9A Active CN103019824B (zh) | 2012-12-21 | 2012-12-21 | 元数据服务器下日志系统的多进程处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103019824B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117630B (zh) * | 2018-09-27 | 2023-08-01 | 努比亚技术有限公司 | 减少日志丢失的方法、移动终端及可读存储介质 |
| CN110319037A (zh) * | 2019-05-09 | 2019-10-11 | 苏州浪潮智能科技有限公司 | Bmc及其风扇控制方法、系统和计算机可读存储介质 |
| CN114945023A (zh) * | 2022-05-20 | 2022-08-26 | 济南浪潮数据技术有限公司 | 一种网络连接复用方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667113A (zh) * | 2008-09-02 | 2010-03-10 | 阿里巴巴集团控股有限公司 | 一种多线程日志记录方法及装置 |
| CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
| CN102810057A (zh) * | 2011-05-30 | 2012-12-05 | 中国银联股份有限公司 | 一种记录日志的方法 |
-
2012
- 2012-12-21 CN CN201210562415.9A patent/CN103019824B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667113A (zh) * | 2008-09-02 | 2010-03-10 | 阿里巴巴集团控股有限公司 | 一种多线程日志记录方法及装置 |
| CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
| CN102810057A (zh) * | 2011-05-30 | 2012-12-05 | 中国银联股份有限公司 | 一种记录日志的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《浅析一个分布式日志服务器的应用》;邹晓峰，李鸣亚;《考试周刊》;20071208;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103019824A (zh) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10114749B2 (en) | Cache memory system and method for accessing cache line | |
| US9569457B2 (en) | Data processing method and apparatus for distributed systems | |
| WO2019033605A1 (zh) | 订单异步处理的方法、装置、存储介质及终端 | |
| US8375200B2 (en) | Embedded device and file change notification method of the embedded device | |
| CN103530388A (zh) | 一种云存储系统中提升性能的数据处理方法 | |
| CN105516284A (zh) | 一种集群数据库分布式存储的方法和装置 | |
| CN103019824B (zh) | 元数据服务器下日志系统的多进程处理方法和系统 | |
| CN103795801A (zh) | 一种基于实时应用集群的元数据集群设计方法 | |
| EP3465444A1 (en) | Data access between computing nodes | |
| CN105468297A (zh) | 一种云存储系统内主从设备数据快速同步的方法 | |
| CN105677256A (zh) | 基于本地缓存的虚拟磁盘系统及调度方法 | |
| CN105516313A (zh) | 一种用于大数据的分布式存储系统 | |
| CN104408014A (zh) | 一种计算系统之间处理单元互连的系统及方法 | |
| US20170215296A1 (en) | Multi-bay apparatus | |
| CN106951456B (zh) | 一种内存数据库系统及数据处理系统 | |
| WO2016188280A1 (zh) | 数据库分表的写入方法及装置 | |
| CN104461941B (zh) | 一种内存系统架构及管理方法 | |
| CN105407044A (zh) | 一种基于nfs的云存储网关系统的实现方法 | |
| CN103500108A (zh) | 系统内存访问方法、节点控制器和多处理器系统 | |
| CN103577469A (zh) | 数据库连接复用方法和装置 | |
| CN107220003A (zh) | 一种数据读取方法和系统 | |
| CN205263797U (zh) | 一种采用固态硬盘ssd作为二级缓存的存储器 | |
| CN105426125A (zh) | 一种数据存储方法及装置 | |
| CN107408071A (zh) | 一种内存访问方法、装置和系统 | |
| CN104932839A (zh) | 一种实现单控制器存储的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20130403 Assignee: JIANGSU DAWN INFORMATION TECHNOLOGY Co.,Ltd. Assignor: Dawning Information Industry (Beijing) Co.,Ltd. Contract record no.: 2017320000013 Denomination of invention: Multi-process processing method and system of log system under metadata server Granted publication date: 20151125 License type: Exclusive License Record date: 20170217 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220725 Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Patentee after: Dawning Information Industry (Beijing) Co.,Ltd. Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd. Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right |