CN101764705A - 一种基于日志信息处理的写磁盘方法和系统 - Google Patents
一种基于日志信息处理的写磁盘方法和系统 Download PDFInfo
- Publication number
- CN101764705A CN101764705A CN200910238741A CN200910238741A CN101764705A CN 101764705 A CN101764705 A CN 101764705A CN 200910238741 A CN200910238741 A CN 200910238741A CN 200910238741 A CN200910238741 A CN 200910238741A CN 101764705 A CN101764705 A CN 101764705A
- Authority
- CN
- China
- Prior art keywords
- log information
- disk
- fifo buffer
- writing
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及网站日志信息处理技术领域，并具体公开了一种基于日志信息处理的写磁盘方法，包括步骤：网站服务器接收日志信息，将日志信息发送至Spread环路；创建固定大小的FIFO Buffer，将日志信息存入上述FIFO Buffer；当上述FIFO Buffer中的数据存量达到预警值时，将FIFO Buffer中的数据全部读出，写入磁盘。本发明还公开了一种基于日志信息处理的写磁盘系统。将日志信息存入FIFO Buffer，有效缓冲了爆发式请求对系统的冲击，待日志信息存储量达到预警值再一次性写入磁盘，有效避免频繁写入磁盘对系统性能的影响。
Description
技术领域
本发明涉网站日志信息处理领域，特别是涉及一种基于日志信息处理的写磁盘方法和系统。
背景技术
随着信息社会的到来，人们越来越依靠网络来获取庞大的信息量。大型网站服务器众多，网站访问量大，致使日志的收集成为棘手的难题。目前大多解决方案是采用Apache或lighthttp等Http Server收集日志到本地，然后通过FTP，远程文件拷贝等方式将日志拷贝到统一的服务器合并后分析。
现有技术中，Http Server在处理大规模并发情况时存在不稳定性。在日志信息处理系统中，所有日志信息最终汇总到一台单独的服务器上，日志信息在这台服务器上的汇总是整个系统中最后的瓶颈。将日志信息写入磁盘是一个独占系统中断的过程，频繁写磁盘操作会严重影响其他进程工作，降低系统响应性能。
发明内容
本发明所要解决的技术问题是提供一种基于日志信息处理的写磁盘方法和系统，以解决日志信息处理过程中写磁盘对其他进程的影响。
为实现上述发明目的，本发明提供以下方案：
一种基于日志信息处理的写磁盘方法，其特征在于，包括以下步骤：
网站服务器接收日志信息，将日志信息发送至Spread环路；
创建固定大小的FIFO Buffer，将日志信息存入上述FIFO Buffer；
当上述FIFO Buffer中的数据存量达到预警值时，将FIFO Buffer中的数据全部读出，写入磁盘。
本发明还提供一种基于日志信息处理的写磁盘系统，包括：网站服务器、Spread环路和磁盘；其特征在于，所述Spread环路和磁盘之间连接有写磁盘模块，所述写磁盘模块包括日志信息存储子模块和磁盘写入子模块；
所述日志信息存储子模块，用于从Spread环路接收日志信息，并将日志信息保存到系统的固定大小的FIFO Buffer中；
所述磁盘写入子模块，用于监控上述FIFO Buffer的状态，当所述FIFOBuffer中的日志信息存储量达到预警值时，一次将所述FIFO Buffer中的数据全部读出，写入磁盘中。
与现有技术相比，本发明具有以下优点：
将日志信息从Spread环路中读入固定大小的FIFO Buffer中，有效缓冲了爆发式请求发生时对系统的冲击。系统监控FIFO Buffer中日志信息的存储量，当存储量达到预警值时，一次将FIFO Buffer中的日志信息全部写入磁盘中，减少了磁盘写入的次数，避免了频繁写入磁盘操作对其他进程的影响，提高了系统的响应性能。
附图说明
图1为本发明方法流程示意图；
图2为本发明系统模块示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供一种基于日志信息处理的写磁盘方法，参照图1，包括：
步骤S101，网站服务器接收日志信息，将日志信息发送至Spread环路；
步骤S102，创建固定大小的FIFO Buffer，将日志信息存入上述FIFOBuffer；
步骤S103，当上述FIFO Buffer中的数据存量达到预警值时，将FIFOBuffer中的数据全部读出，写入磁盘。
在日志信息处理过程中，最后所有的日志信息都将通过Spread环路写入至一台单独的服务器上，即所述的磁盘中。频繁的写入磁盘会造成本地磁盘负载增加，写入日志还会受到移动大量日志时造成的对磁盘操作的抢夺冲突，容易致使写入的日志丢失。本实施例中，将日志信息先从Spread环路读取到FIFOBuffer中，将日志信息缓冲起来，当日志信息数量达到一定大小时再一次性写入磁盘，减少了磁盘的写入次数，有效缓解磁盘频繁写入造成的磁盘操作冲突，提升系统的响应性能，解决日志信息处理系统中集中存储时所面临的瓶颈问题。
本发明还提供一种基于日志信息处理的写磁盘系统，参见图2，包括：网站服务器11、Spread环路12和磁盘13；网站服务器11接收日志信息，将日志信息发送至Spread环路12，再由Spread环路12写入磁盘13；Spread环路12和磁盘13之间连接有写磁盘模块14，所述写磁盘模块14包括日志信息存储子模块141和磁盘写入子模块142；
所述日志信息存储子模块141，用于从Spread环路12接收日志信息，并将日志信息保存到系统的固定大小的FIFO Buffer中；
所述磁盘写入子模块142，用于监控上述FIFO Buffer的状态，当所述FIFOBuffer中的日志信息存储量达到预警值时，一次将所述FIFO Buffer中的数据全部读出，写入磁盘13中。
本系统中，日志信息存储子模块141将Spread环路发送的日志信息存储在固定大小的FIFO Buffer中，起到了缓冲的作用，有效缓解爆发式请求发生时对系统的冲击。磁盘写入子模块142监控FIFO Buffer中的日志信息存储情况，当FIFO Buffer中的日志信息存储量达到预警值时，磁盘写入子模块142一次将FIFO Buffer中的日志信息全部写入磁盘中，减少了磁盘的写入次数，有效缓解磁盘频繁写入造成的磁盘操作的冲突，提升系统的响应性能，解决日志信息处理系统中集中存储时所面临的瓶颈问题。
以上对本发明所提供的一种基于日志信息处理的写磁盘方法、系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (2)
1.一种基于日志信息处理的写磁盘方法，其特征在于，包括以下步骤：
网站服务器接收日志信息，将日志信息发送至Spread环路；
创建固定大小的FIFO Buffer，将日志信息存入上述FIFO Buffer；
当上述FIFO Buffer中的数据存量达到预警值时，将FIFO Buffer中的数据全部读出，写入磁盘。
2.一种基于日志信息处理的写磁盘系统，包括：网站服务器、Spread环路和磁盘；其特征在于，所述Spread环路和磁盘之间连接有写磁盘模块，所述写磁盘模块包括日志信息存储子模块和磁盘写入子模块；
所述日志信息存储子模块，用于从Spread环路接收日志信息，并将日志信息存入到系统的固定大小的FIFO Buffer中；
所述磁盘写入子模块，用于监控上述FIFO Buffer的状态，当所述FIFOBuffer中的日志信息存储量达到预警值时，一次将所述FIFO Buffer中的数据全部读出，写入磁盘中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910238741A CN101764705A (zh) | 2009-11-24 | 2009-11-24 | 一种基于日志信息处理的写磁盘方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910238741A CN101764705A (zh) | 2009-11-24 | 2009-11-24 | 一种基于日志信息处理的写磁盘方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101764705A true CN101764705A (zh) | 2010-06-30 |
Family
ID=42495701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910238741A Pending CN101764705A (zh) | 2009-11-24 | 2009-11-24 | 一种基于日志信息处理的写磁盘方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101764705A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176888A (zh) * | 2011-12-22 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种日志记录的方法和系统 |
| CN103309767A (zh) * | 2012-03-08 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种客户端日志处理方法和装置 |
-
2009
- 2009-11-24 CN CN200910238741A patent/CN101764705A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176888A (zh) * | 2011-12-22 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种日志记录的方法和系统 |
| CN103176888B (zh) * | 2011-12-22 | 2018-01-23 | 阿里巴巴集团控股有限公司 | 一种日志记录的方法和系统 |
| CN103309767A (zh) * | 2012-03-08 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种客户端日志处理方法和装置 |
| CN103309767B (zh) * | 2012-03-08 | 2016-01-13 | 阿里巴巴集团控股有限公司 | 一种客户端日志处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103856567B (zh) | 基于Hadoop分布式文件系统的小文件存储方法 | |
| US7739475B2 (en) | System and method for updating dirty data of designated raw device | |
| CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
| CN101916227B (zh) | 一种rldram sio存储器访问控制方法和装置 | |
| CN102117248A (zh) | 一种缓存系统和在缓存系统中缓存数据的方法 | |
| CN104657366B (zh) | 海量日志写入数据库的方法、装置和日志容灾系统 | |
| CN102479250A (zh) | 一种嵌入式浏览器磁盘缓存方法 | |
| US9411519B2 (en) | Implementing enhanced performance flash memory devices | |
| US9195611B2 (en) | Efficiently updating and deleting data in a data storage system | |
| WO2012174888A1 (zh) | 一种分布式缓存系统中的数据写入及读取方法及装置 | |
| CN103516549B (zh) | 一种基于共享对象存储的文件系统元数据日志机制 | |
| CN103246696A (zh) | 高并发数据库的访问方法及应用于多服务器系统的方法 | |
| CN105005617A (zh) | 一种时间序列数据的存储方法及装置 | |
| CN105426472B (zh) | 分布式计算系统及其数据处理方法 | |
| CN104320448B (zh) | 一种基于大数据的计算设备的缓存与预取加速方法和装置 | |
| CN107608627B (zh) | 一种远端数据分级存储方法、电子设备及存储介质 | |
| JP2009163647A (ja) | ディスクアレイ装置 | |
| CN103853766A (zh) | 一种面向流式数据的在线处理方法及系统 | |
| CN103647850A (zh) | 一种分布式版本控制系统的数据处理方法、设备及系统 | |
| CN104615577A (zh) | 一种大数据服务器 | |
| CN105787012A (zh) | 一种提高存储系统处理小文件的方法以及存储系统 | |
| CN103605630A (zh) | 一种虚拟服务器系统及其数据读写方法 | |
| CN106681660B (zh) | Io调度方法及io调度装置 | |
| CN104657358B (zh) | 实现网页程序离线缓存的方法和系统 | |
| WO2023185111A1 (zh) | 一种数据文件的快速存取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100630 |