CN103902382A - 一种基于负载均衡的文件系统日志模型 - Google Patents
一种基于负载均衡的文件系统日志模型 Download PDFInfo
- Publication number
- CN103902382A CN103902382A CN201410111765.2A CN201410111765A CN103902382A CN 103902382 A CN103902382 A CN 103902382A CN 201410111765 A CN201410111765 A CN 201410111765A CN 103902382 A CN103902382 A CN 103902382A
- Authority
- CN
- China
- Prior art keywords
- log
- daily record
- pond
- pool
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明所述基于负载均衡的文件系统日志模型，包括日志存储池映射模块、日志存储池模块、日志进程池和日志缓冲池四大部分，该模型以负载检测和动态分配为核心，通过整合日志缓冲池、日志进程池、日志存储池、日志存储池映射模块，日志信息写入日志缓冲池后，日志进程池中的日志会采用哈希算法取固定位置的日志，并根据日志ID计算出该日志在日志存储池中的存放位置，当需要从日志系统中读取数据满足fsck等检测修复应用程序处理需求时，日志进程池中的进程会并行的从日志存储池中读取日志来填充日志缓冲池，可以缩短fsck等检测修复程序读取日志磁盘的时间，提高效率。
Description
技术领域
本发明涉及计算机系统领域，具体涉及一种基于负载均衡的文件系统日志模型。
背景技术
进入21世纪以来，随着信息时代的加速，企业数据呈现出爆炸性增长的趋势，特别是移动互联网、物联网和云计算的发展更加剧了数据的爆炸式增长。IDC报告指出，全球数据量每年以60%的速度递增，2010年全球数据量达1.8ZB，2015年将达到8ZB，2020年将达到35ZB，标志着“大数据”时代的到来。数据的大量增长伴随着人们对快速获取数据的渴望，同时随着数据量的增长，存放数据的存储系统规模也越来越大，当系统失效时，随之而来的数据修复工作规模也越来越大，要求对数据修复的时间也尽可能的少。
当今存储系统中，很大一部分是文件系统，而基于日志的文件系统已经成为主流，写入时首先要写入日志，而后再写入文件系统，数据修复时也是依赖文件系统来进行修复。底层的磁盘文件系统，如ext3、ext4等日志和数据是存放在同一块磁盘上的，极大的限制了日志和数据的读写效率，大型集群文件系统虽然有单独的日志盘，但每个底层数据盘附带一块日志盘的做法在大量读写该数据盘上数据时性能不高，且成本很高。
发明内容
本发明针对现有技术存在的不足之处，提供一种基于负载均衡的文件系统日志模型。
本发明公开了一种基于负载均衡的文件系统日志模型，其解决所述技术问题采用的技术方案如下：该基于负载均衡的文件系统日志模型的体系结构包括：日志存储池映射模块（1）、日志存储池模块（2）、日志进程池（3）和日志缓冲池（4）四大部分，其中：
日志存储池映射模块（1）是结构的核心，负责建立日志ID和日志存储池中存储位置的映射关系以及实时监测日志存储池中设备负载及容量信息情况；
日志存储池模块（2）主要聚合多个存储设备，构建日志存储池，对外提供日志读写存储服务；
日志进程池（3）主要检索日志存储池映射模块(1)以及日志缓冲池(4)，根据日志ID计算其在日志存储池(2)中的存储位置，读取日志或将日志写入日志存储池(2)；
日志缓冲池（4）主要用于缓存日志信息。
该基于负载均衡的文件系统日志模型以负载检测和动态分配为核心，通过整合日志缓冲池、日志进程池、日志存储池、日志存储池映射模块，使该模型可以根据日志系统各日志盘容量及负载情况动态分配日志任务，同时可按需从日志系统中读取数据满足fsck等检测修复应用程序处理需求，提高日志写入及读取的效率。
本发明公开的基于负载均衡的文件系统日志模型的有益效果是：
通过所述基于负载均衡的文件系统日志模型，能够多进程处理缓冲池中的日志信息，每个进程都会根据日志ID计算出的存储位置，直接将日志信息写入指定存储位置，提高日志写入效率，同时采用日志存储池的方式，日志分散存储，可同时发出多个请求，提高日志读取的效率。
附图说明
附图1为传统的日志系统模型图；
附图2为本发明基于负载均衡的日志系统模型图。
具体实施方式
下面结合附图，对本发明所公开的基于负载均衡的文件系统日志模型做进一步详细说明。
本发明所述基于负载均衡的文件系统日志模型的体系结构主要包括：日志存储池映射模块（1）、日志存储池模块（2）、日志进程池（3）、日志缓冲池（4）；其中：
日志存储池映射模块（1）是结构的核心，负责建立日志ID和日志存储池中存储位置的映射关系以及实时监测日志存储池中设备负载及容量信息情况；
日志存储池模块（2）主要聚合多个存储设备，构建日志存储池，对外提供日志读写存储服务；
日志进程池（3）检索日志存储池映射模块(1)以及日志缓冲池(4)，根据日志ID计算其在日志存储池(2)中的存储位置，读取日志或将日志写入日志存储池(2)；
日志缓冲池（4）的作用为缓存日志信息。
本发明的结构区别于传统的日志系统：现有的日志模型的采用单进程方式，读写性能低，影响了文件系统读写的效率。本发明的特征在于以负载检测和动态分配为核心，通过整合日志缓冲池、日志进程池、日志存储池、日志存储池映射模块，使该模型可以根据日志系统各日志盘容量及负载情况动态分配日志任务，同时可按需从日志系统中读取数据满足fsck等检测修复应用程序处理需求，提高日志写入及读取的效率。
采用本发明所述基于负载均衡的文件系统日志模型的具体实现过程如下：
本发明提出的一种以负载检测和动态分配为核心，通过整合日志缓冲池、日志进程池、日志存储池和日志存储池映射模块的日志模型，日志信息写入日志缓冲池后，日志进程池中的日志会采用哈希算法取固定位置的日志，并根据日志ID计算出该日志在日志存储池中的存放位置；当需要从日志系统中读取数据满足fsck等检测修复应用程序处理需求时，日志进程池中的进程会并行的从日志存储池中读取日志来填充日志缓冲池，可以缩短fsck等检测修复程序读取日志磁盘的时间，提高效率。
在本发明中，所述日志模型的日志存储池映射模块、日志存储池模块、日志进程池、日志缓冲池相结合，实时监测日志存储池中设备负载及容量信息情况，按照日志ID，进行哈希计算，建立日志ID和日志存储池中存储位置的映射关系以及。将日志写入日志缓冲池，采用进程池的方式，多进程读写日志，提高日志存储以及日志读取的效率。
除去本发明所述特征技术之外，均为本专业技术人员的已知技术。
Claims (6)
1.一种基于负载均衡的文件系统日志模型，其特征在于，其体系结构包括：日志存储池映射模块（1）、日志存储池模块（2）、日志进程池（3）和日志缓冲池（4）四大部分；该基于负载均衡的文件系统日志模型以负载检测和动态分配为核心，通过整合日志缓冲池、日志进程池、日志存储池、日志存储池映射模块相结合，使该模型能够根据日志系统各日志盘容量及负载情况动态分配日志任务，同时能够按需从日志系统中读取数据满足fsck检测修复应用程序处理需求。
2.根据权利要求1所述的基于负载均衡的文件系统日志模型，其特征在于，日志存储池映射模块（1）是结构的核心，负责建立日志ID和日志存储池中存储位置的映射关系以及实时监测日志存储池中设备负载及容量信息情况。
3.根据权利要求2所述的基于负载均衡的文件系统日志模型，其特征在于，日志存储池模块（2）用来聚合多个存储设备，构建日志存储池，对外提供日志读写存储服务。
4.根据权利要求3所述的基于负载均衡的文件系统日志模型，其特征在于，日志进程池（3）用于检索日志存储池映射模块(1)以及日志缓冲池(4)，根据日志ID计算其在日志存储池(2)中的存储位置，读取日志或将日志写入日志存储池(2)。
5.根据权利要求4所述的基于负载均衡的文件系统日志模型，其特征在于，日志缓冲池（4）用于缓存日志信息。
6.根据权利要求5所述的基于负载均衡的文件系统日志模型，其特征在于，通过整合日志缓冲池、日志进程池、日志存储池和日志存储池映射模块，日志信息写入日志缓冲池后，日志进程池中的日志会采用哈希算法取固定位置的日志，并根据日志ID计算出该日志在日志存储池中的存放位置；当需要从日志系统中读取数据满足fsck检测修复应用程序处理需求时，日志进程池中的进程会并行的从日志存储池中读取日志来填充日志缓冲池。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410111765.2A CN103902382A (zh) | 2014-03-25 | 2014-03-25 | 一种基于负载均衡的文件系统日志模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410111765.2A CN103902382A (zh) | 2014-03-25 | 2014-03-25 | 一种基于负载均衡的文件系统日志模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103902382A true CN103902382A (zh) | 2014-07-02 |
Family
ID=50993720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410111765.2A Pending CN103902382A (zh) | 2014-03-25 | 2014-03-25 | 一种基于负载均衡的文件系统日志模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103902382A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992572A (zh) * | 2019-03-06 | 2019-07-09 | 华南理工大学 | 一种自适应均衡日志存储请求的方法 |
| CN113076060A (zh) * | 2021-03-10 | 2021-07-06 | 杭州又拍云科技有限公司 | 一种单点日志存储方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
| CN103399856A (zh) * | 2013-07-01 | 2013-11-20 | 北京科东电力控制系统有限责任公司 | 面向scada系统的爆发式数据缓存处理系统及其方法 |
-
2014
- 2014-03-25 CN CN201410111765.2A patent/CN103902382A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
| CN103399856A (zh) * | 2013-07-01 | 2013-11-20 | 北京科东电力控制系统有限责任公司 | 面向scada系统的爆发式数据缓存处理系统及其方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992572A (zh) * | 2019-03-06 | 2019-07-09 | 华南理工大学 | 一种自适应均衡日志存储请求的方法 |
| CN113076060A (zh) * | 2021-03-10 | 2021-07-06 | 杭州又拍云科技有限公司 | 一种单点日志存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9298389B2 (en) | Operating a memory management controller | |
| US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
| EP3033682A1 (en) | Address translation for a non-volatile memory storage device | |
| WO2017092480A1 (zh) | 一种数据迁移的方法及装置 | |
| US20210191619A1 (en) | Re-placing data within a mapped-raid environment | |
| US10482033B2 (en) | Method and device for controlling memory | |
| CN103916459A (zh) | 一种大数据归档存储系统 | |
| WO2019100463A1 (zh) | 一种提升闪存性能的方法、装置、设备及存储介质 | |
| CN105224473A (zh) | 一种固态硬盘缓存数据的更新方法及装置 | |
| CN105630810A (zh) | 一种对于海量小文件在分布式存储系统中上载的方法 | |
| EP4283472A1 (en) | Method for caching data, a host device for caching data, and a storage system for caching data | |
| CN106033320A (zh) | 高性能廉价磁盘冗余阵列raid机制的处理方法及装置 | |
| GB2616789A (en) | Enhanced application performance using storage system optimization | |
| CN106371762A (zh) | 一种存储数据优化方法及系统 | |
| US11321002B2 (en) | Converting a virtual volume between volume types | |
| CN103902382A (zh) | 一种基于负载均衡的文件系统日志模型 | |
| CN103176753B (zh) | 存储设备及其数据管理方法 | |
| CN103399783A (zh) | 虚拟机的镜像文件的存储方法和装置 | |
| EP3264254A1 (en) | System and method for a simulation of a block storage system on an object storage system | |
| CN109542960B (zh) | 一种数据分析域系统 | |
| US11929135B2 (en) | Read disturb information determination system | |
| CN105404471B (zh) | 一种分布式云存储高速缓存层实现方法 | |
| CN104571959A (zh) | 数据处理方法和装置 | |
| CN104391652A (zh) | 一种硬盘的损耗均衡方法及装置 | |
| CN102541463B (zh) | 快闪存储装置及其数据存取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140702 |