CN100370752C - 一种日志信息的存储方法 - Google Patents
一种日志信息的存储方法 Download PDFInfo
- Publication number
- CN100370752C CN100370752C CNB2005100593506A CN200510059350A CN100370752C CN 100370752 C CN100370752 C CN 100370752C CN B2005100593506 A CNB2005100593506 A CN B2005100593506A CN 200510059350 A CN200510059350 A CN 200510059350A CN 100370752 C CN100370752 C CN 100370752C
- Authority
- CN
- China
- Prior art keywords
- log information
- backstage
- storage means
- log
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种日志信息的存储方法,其核心为:设置压缩日志信息的预定条件,后台根据所述预定条件对其存储的日志信息进行压缩并存储。本发明在不影响后台正常运行的情况下,极大程度的减少了日志信息占用的后台存储空间,使具有相同存储空间的后台能够存储更多的日志信息;从而实现了提高后台存储日志信息存储量的目的。
Description
技术领域
本发明涉及日志信息处理技术,具体涉及一种日志信息的存储方法。
背景技术
日志功能是对通信系统中的问题、尤其是对不可重现的问题进行问题定位的一个重要手段。如移动用户投诉:其两天前在某处通话时总是存在掉话现象。为了解决该移动用户的投诉,不能让移动用户重新在那个地方再打一次电话,而只能通过后台存储的日志信息来分析。
后台存储日志信息的多少,对问题定位来说,是非常重要的。举一个简单的例子,如果一个通信系统每天输出的移动用户的日志信息为300MByte,而后台存储日志信息的空间最多为600MByte,那么,后台最多能够存储两天的日志信息。在这种情况下,如果移动用户投诉四天前发生的问题,运营商由于无法获取四天前的日志信息,则无法解决移动用户此次投诉的问题。
发明内容
本发明的目的在于,提供一种日志信息的存储方法,在不影响后台正常运行的情况下,实现了提高后台存储日志信息存储量的目的。
为达到上述目的,本发明提供的一种日志信息的存储方法,包括:
a、设置压缩日志信息的预定条件;
b、后台从日志通道中接收日志信息,并存储所述接收的日志信息,所述后台存储的日志信息的内容采用编码数值表示,后台根据所述预定条件对所述存储的日志信息进行压缩并存储;
所述日志通道为前台与所述后台之间消息传输通道中隔离出的日志通道。
所述步骤a中的预定条件包括:预定时间和/或后台的空闲状态。
所述步骤b中后台根据所述预定条件对所述存储的日志信息进行压缩并存储的步骤具体为:
所述后台在确定所述预定条件满足时,根据预定压缩算法对其存储的日志信息自动进行压缩处理;
所述后台存储压缩后的日志信息,删除压缩前的日志信息。
所述方法还包括:
c、根据需要自动对所述存储的压缩后的日志信息进行解压缩处理。
所述步骤c具体为:
在需要进行日志信息分析时,自动对所述存储的压缩后的日志信息进行解压缩处理。
所述步骤c还包括:
显示解压缩处理的进度。
所述显示解压缩处理的进度具体为:
根据进度条的方式显示解压缩处理的进度。
所述方法后台接收的日志信息为:
前台根据可变长的数据结构向所述后台输出的日志信息。
通过上述技术方案的描述可知,本发明通过设置后台压缩日志信息的预定条件,后台根据该预定条件自动对其存储的日志信息进行压缩处理,在不影响后台正常运行的情况下,极大程度的减少了日志信息占用的后台存储空间,使具有相同存储空间的后台能够存储更多的日志信息;通过在日志分析时,自动对压缩的日志信息进行解压缩处理,并显示解压缩进度,避免了由于日志信息压缩给日志信息分析带来的不便;通过在前、后台的消息传输通道中隔离出日志信息通道,避免了日志信息因流量控制等原因被丢弃的现象,使后台存储的日志信息尽可能的完整;通过采用可变长数据结构的日志信息,不但减少了前、后台传输日志信息的流量,而且能够使后台存储更多的日志信息;从而通过本发明提供的技术方案实现了提高后台存储日志信息存储量的目的。
具体实施方式
本发明的核心是:设置压缩日志信息的预定条件,后台根据所述预定条件对其存储的日志信息进行压缩并存储。
下面基于本发明的核心思想对本发明提供的技术方案做进一步的描述。
本发明中的日志信息包括移动用户的日志信息。本发明中的预定条件可以为预定时间、可以为后台的空闲状态、也可以为预定时间和后台空闲状态的组合。预定时间可以设置为:每天的半夜2:00等,后台的空闲状态可以设置为:后台不繁忙且处于空闲状态时。
在设置了上述预定条件后,如果预定条件满足,后台就对其存储的日志信息自动进行压缩处理,如预定条件为每天的半夜2:00时,后台在每天的半夜2:00对前一天的日志文件自动进行压缩,由于是在深夜进行压缩,所以,后台的压缩效率不会成为瓶颈。在压缩完成后,存储压缩后的日志文件,并删除压缩前的日志文件。
后台对日志文件的压缩可以为现有的一些比较成熟的压缩算法,如RAR、WINZIP等压缩软件。
采用目前现有的一些压缩算法,由于日志文件中不同移动用户的日志信息很相似,所以,可具有很高的压缩比,可以将日志信息占用的存储空间压缩到压缩前日志信息占用存储空间的5%,大大减少了每天的日志信息存储量,同时,延长了日志信息存储的时间。
在需要使用压缩后的日志文件时,如需要进行日志信息分析时,后台能够自动对其存储的压缩后的日志文件进行解压缩处理,避免了由于日志文件压缩给日志文件分析带来的不便。在解压缩过程中,后台解析的效率直接影响人等待的直观感受,因此本发明需要显示解压缩处理的进度,如以进度条的方式显示解压缩处理的进度。
本发明为确保日志信息不会因为流量控制等原因而被丢弃,在前台与后台之间的消息传输通道中隔离出日志通道,为日志信息设置一定带宽的传输通道,保证日志信息传输通道的带宽,保证日志信息传输通道的可用带宽不会被抢占,前台将日志信息通过上述隔离出的日志通道传输至后台,后台接收并存储前台传输来的日志信息。
在输出日志信息时,如果采用定长的数据结构输出日志信息,则必然会占用很大的流量,为了减少前后台之间的日志信息传输流量,本发明采用可变长度的数据结构输出日志信息,例如采用LV方式编码,即LENGTH/VALUE(长度/数据内容)方式,LENGTH指示可变长数据的长度,从而,节省了日志信息占用的存储空间。
在采用可变长度的数据结构输出日志信息时,需要适度,因为可变长会影响前台运行的效率。对于通信系统来说,前台的运行效率是非常关键的,影响系统的容量。
下面以一个具体的例子对本发明的有益效果进行说明。
设定通信系统的忙时呼叫次数(BHCA)为是A次,通信系统的呼损是B%,一个移动用户的日志记录包含C个字节,后台硬盘最大的日志存储空间是D字节,如果不对所有的移动用户在通话结束时都输出日志信息,而是在移动用户的呼叫出现故障时,如在掉话、无法接入时,才将移动用户的日志信息输出,那么,通信系统在忙时,每秒的最大日志信息流量K=(A×B%×C)/3600秒,后台每天的日志存储量L=(A×B%×C)×24小时,一个移动用户的日志信息可存储的时间M=D/L。
如果按照通信系统的呼损是1%计算,那么,通信系统在忙时每秒的最大日志流量K和每天的日志存储量L可以减少99%。
在采用压缩日志信息后,本发明在每天的日志存储量L减少99%的基础上又减少了95%,进一步有效的减少了每天的日志信息存储量,同时,进一步延长了日志信息存储的时间。
在输出移动用户的日志信息时,如果采用特殊的编码方式,如通过一个32位的编码数值来标识固定的文件名、行号、错误原因值、以及其它辅助信息等所有信息,在增加输出日志信息所包含的内容的同时,进一步减少了系统忙时每秒的最大日志流量K和每天的日志存储量L。
虽然通过实施例描绘了本发明,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,本发明的申请文件的权利要求包括这些变形和变化。
Claims (9)
1.一种日志信息的存储方法,其特征在于,包括:
a、设置压缩日志信息的预定条件;
b、后台从日志通道中接收日志信息,并存储所述接收的日志信息,所述后台存储的日志信息的内容采用编码数值表示,后台根据所述预定条件对所述存储的日志信息进行压缩并存储;
所述日志通道为前台与所述后台之间消息传输通道中隔离出的日志通道。
2.如权利要求1所述的一种日志信息的存储方法,其特征在于,所述日志信息包括:移动用户的日志信息。
3.如权利要求1所述的一种日志信息的存储方法,其特征在于,所述步骤a中的预定条件包括:预定时间和/或后台的空闲状态。
4.如权利要求1、2或3所述的一种日志信息的存储方法,其特征在于,所述步骤b中后台根据所述预定条件对所述存储的日志信息进行压缩并存储的步骤具体为:
所述后台在确定所述预定条件满足时,根据预定压缩算法对其存储的日志信息自动进行压缩处理;
所述后台存储压缩后的日志信息,删除压缩前的日志信息。
5.如权利要求1、2或3所述的一种日志信息的存储方法,其特征在于,所述方法还包括:
c、根据需要自动对所述存储的压缩后的日志信息进行解压缩处理。
6.如权利要求5所述的一种日志信息的存储方法,其特征在于,所述步骤c具体为:
在需要进行日志信息分析时,自动对所述存储的压缩后的日志信息进行解压缩处理。
7.如权利要求5所述的一种日志信息的存储方法,其特征在于,所述步骤c还包括:
显示解压缩处理的进度。
8.如权利要求7所述的一种日志信息的存储方法,其特征在于,所述显示解压缩处理的进度具体为:
根据进度条的方式显示解压缩处理的进度。
9.如权利要求1、2或3所述的一种日志信息的存储方法,其特征在于,所述后台接收的日志信息为:
前台根据可变长的数据结构向所述后台输出的日志信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100593506A CN100370752C (zh) | 2005-03-28 | 2005-03-28 | 一种日志信息的存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100593506A CN100370752C (zh) | 2005-03-28 | 2005-03-28 | 一种日志信息的存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1842021A CN1842021A (zh) | 2006-10-04 |
CN100370752C true CN100370752C (zh) | 2008-02-20 |
Family
ID=37030876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100593506A Active CN100370752C (zh) | 2005-03-28 | 2005-03-28 | 一种日志信息的存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100370752C (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102820983B (zh) * | 2011-11-18 | 2016-04-13 | 金蝶软件(中国)有限公司 | 系统异常信息采集方法及管理器 |
CN103379136B (zh) * | 2012-04-17 | 2017-02-22 | 中国移动通信集团公司 | 一种日志采集数据压缩方法、解压缩方法及装置 |
CN102970158B (zh) * | 2012-11-05 | 2017-02-08 | 广东睿江云计算股份有限公司 | 日志存储与处理的方法及日志服务器 |
CN104408100B (zh) * | 2014-11-19 | 2018-04-27 | 北京融海恒信咨询有限公司 | 结构化网站日志的压缩方法 |
CN106649344B (zh) * | 2015-10-31 | 2020-01-10 | 华为数字技术(苏州)有限公司 | 一种网络日志压缩方法和装置 |
CN105516307A (zh) * | 2015-12-09 | 2016-04-20 | 浪潮电子信息产业股份有限公司 | 一种基于压缩的优化云存储系统日志存储的方法 |
CN106027595A (zh) * | 2016-04-25 | 2016-10-12 | 乐视控股(北京)有限公司 | 用于cdn节点的访问日志处理方法及系统 |
CN106250471A (zh) * | 2016-07-29 | 2016-12-21 | 东北大学 | 一种用于列车atp的数据自动提取与存储系统及方法 |
CN106354617B (zh) * | 2016-08-29 | 2019-04-12 | 广州华多网络科技有限公司 | 程序压缩性日志文件输出方法及装置 |
CN113407508B (zh) * | 2021-06-11 | 2023-04-25 | 济南浪潮数据技术有限公司 | 一种日志文件压缩的方法、系统、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029756A (ja) * | 1998-07-13 | 2000-01-28 | Nec Corp | ファイル圧縮管理方式 |
US6275826B1 (en) * | 1999-03-04 | 2001-08-14 | International Business Machines Corporation | Program products for pacing the frequency at which systems of a multisystem environment compress log streams |
CN1394034A (zh) * | 2001-06-21 | 2003-01-29 | 华为技术有限公司 | 综合网管设备日志管理系统 |
CN1808454A (zh) * | 2005-01-17 | 2006-07-26 | 株式会社东芝 | 具有监查日志管理功能的医疗设备 |
-
2005
- 2005-03-28 CN CNB2005100593506A patent/CN100370752C/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029756A (ja) * | 1998-07-13 | 2000-01-28 | Nec Corp | ファイル圧縮管理方式 |
US6275826B1 (en) * | 1999-03-04 | 2001-08-14 | International Business Machines Corporation | Program products for pacing the frequency at which systems of a multisystem environment compress log streams |
CN1394034A (zh) * | 2001-06-21 | 2003-01-29 | 华为技术有限公司 | 综合网管设备日志管理系统 |
CN1808454A (zh) * | 2005-01-17 | 2006-07-26 | 株式会社东芝 | 具有监查日志管理功能的医疗设备 |
Also Published As
Publication number | Publication date |
---|---|
CN1842021A (zh) | 2006-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100370752C (zh) | 一种日志信息的存储方法 | |
CN1230327A (zh) | 数据存储装置 | |
CN1272019A (zh) | 话音消息传送系统中被删除话音消息的检索 | |
CN101827209B (zh) | 高清视频循环存储网络摄录机 | |
EA006379B1 (ru) | Способ записи, сохранения и обмена информацией в сети сотовой связи | |
CN1192584C (zh) | 通信设备与操作方法 | |
CN106375859A (zh) | 一种媒体处理方法、装置及终端 | |
KR19990036859A (ko) | 음성 메시지에 대한 순환 메모리 시스템 및 방법 | |
US6959072B1 (en) | Apparatus and method for recording/reproducing voice message in exchange system having internet gateway | |
CN101179798B (zh) | 在手机之间传输数据的操作方法及装置 | |
EP1153377B1 (fr) | Carte a puce chargeable avec des donnees compressees | |
US6535583B1 (en) | Voice recompression method and apparatus | |
CN2410710Y (zh) | 一种图像/语音前端处理装置 | |
CN100428766C (zh) | 一种座席话务录音系统以及用该系统进行话务录音的方法 | |
CN100525451C (zh) | 一种传输视频压缩编码结果的方法和装置 | |
CN101754004B (zh) | 一种3g可视电话及其工作方法 | |
CN1154378C (zh) | 一种移动智能网中大话务量业务处理方法 | |
CN1610370A (zh) | 电话通话中的电话号码收发及自动存储方法 | |
CN1361638A (zh) | 简讯分类的方法 | |
CN101621577A (zh) | 一种短信处理方法及其终端 | |
US5889760A (en) | ATM switching system capable of equally distributing calls | |
CN201418105Y (zh) | 小型呼叫中心 | |
CN1392470A (zh) | 可携式语音播放电子邮件装置及其方法 | |
KR100550974B1 (ko) | 디지털 멀티 미디어 방송 단말기의 시청 이력 업로드 방법 | |
JP4237869B2 (ja) | 画像伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |