CN104883275B - 一种通信设备的日志缓存方法及系统 - Google Patents

一种通信设备的日志缓存方法及系统 Download PDF

Info

Publication number
CN104883275B
CN104883275B CN201510248670.XA CN201510248670A CN104883275B CN 104883275 B CN104883275 B CN 104883275B CN 201510248670 A CN201510248670 A CN 201510248670A CN 104883275 B CN104883275 B CN 104883275B
Authority
CN
China
Prior art keywords
level
log information
log
buffer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510248670.XA
Other languages
English (en)
Other versions
CN104883275A (zh
Inventor
陈亚亚
符永锐
李静
聂建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN201510248670.XA priority Critical patent/CN104883275B/zh
Publication of CN104883275A publication Critical patent/CN104883275A/zh
Application granted granted Critical
Publication of CN104883275B publication Critical patent/CN104883275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports

Abstract

本发明公开了一种通信设备的日志缓存方法及系统，该方法包括以下步骤：将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；读取一级缓冲区中的日志信息，并从日志信息中提取出特征信息；根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，返回读取日志信息；若不需要上报，则判断日志信息是否需要本地记录，若需要，则发送日志信息到二级本地缓冲区，对日志信息进行本地记录，返回读取日志信息；若不需要，则返回读取日志信息。本发明，大大提高了日志的实时上报效率，保证了日志的快速接收处理。

Description

一种通信设备的日志缓存方法及系统
技术领域
本发明涉及通信技术领域，具体涉及一种通信设备的日志缓存方法及系统。
背景技术
随着通信技术的迅猛发展，电信业务向综合化、数字化、智能化、宽带化和个人化方向发展，人们对电信业务多样化的需求越来越高，尤其是对话音、数据、图像等业务一线接入的要求也不断提高，因此，基于接入网用户侧的通信设备要承担越来越多的业务需求，随之而产生的网络管理需求也更为复杂。同时，语音、图像等实时业务的大量应用，使得电信运营商必须对各通信设备的运行状态进行实时监控。
在此背景下，通信设备不仅要将自身运行的日志信息进行详细的记录，便于用户对各种业务进行跟踪查询，还要将重要的运行状态信息，如故障告警等信息，通过日志的形式实时上报给远端的网络管理系统，使之便于对各通信设备进行远程监控。因此，通信设备除了要承担记录自身运行的日志信息的功能，还要承担日志的实时上报功能，这就要求设备对日志的处理和管理能够更加便捷和快速。
目前通信设备的日志记录实体偏向于日志的接收、分析和存储，无法保证日志的快速接收处理，对重要日志，尤其是故障告警等实时性要求很高的日志不能做到及时上报，因此，急需一种通信设备的日志缓存方法，既能保证日志的存储功能，也可以满足日志实时上报的要求。
发明内容
本发明所要解决的技术问题是解决通信设备无法保证日志的快速接收处理，对于实时性要求较高的日志不能做到及时上报的问题。
为了解决上述技术问题，本发明所采用的技术方案是提供一种通信设备的日志缓存方法，包括以下步骤：
步骤101：将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
步骤102：读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
步骤103：根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，转步骤102；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲区中的日志信息，对日志信息进行本地记录，转步骤102；若不需要本地记录，则直接转步骤102。
在上述技术方案中，可根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
在上述技术方案中，所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息。
在上述技术方案中，所述方法还包括：当所述日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
本发明还提供了一种通信设备的日志缓存系统，包括：
划分单元，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
信息处理单元，读取所述一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
判断单元，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到所述二级上报缓冲区，然后读取所述二级上报缓冲区中的日志信息，将日志信息发送到远程网管，执行信息处理单元；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到所述二级本地缓冲区，然后读取所述二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行所述信息处理单元；若不需要本地记录，则再次执行所述信息处理单元。
在上述技术方案中，还包括第一设置单元，根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
在上述技术方案中，还包括第二设置单元，设置所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息。
在上述技术方案中，当所述判断单元判断日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
本发明，通过将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区，根据从日志信息中提取出的特征信息和本地网管预先设定的条件参数判断日志信息是否需要上报，若需要上报则发送日志信息到二级上报缓冲区，上报日志信息到远程网管，并返回读取日志信息；若不需要上报则判断日志信息是否需要本地记录，若需要本地记录则发送日志信息到二级本地缓冲区，进行本地记录，并返回读取日志信息；若不需要本地记录则直接返回读取日志信息，该方案大大提高了日志的实时上报效率，保证了日志的快速接收处理。
附图说明
图1为本发明实施例提供的一种通信设备的日志缓存方法流程图；
图2为本发明实施例提供的一级缓冲区对日志上报条件进行判断的具体方法流程图；
图3为本发明实施例提供的一级缓冲区对日志本地记录条件进行判断的具体方法流程图；
图4为本发明实施例提供一种通信设备的日志缓存系统的示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做出详细的说明。
本发明实施例提供了一种通信设备的日志缓存方法，如图1所示，所述方法包括以下步骤：
步骤101、将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区。
步骤102、读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息。
可选的，一级缓冲区可为日志信息加上时间戳。
为提高日志的处理效率，输入日志缓冲区的日志信息均采用统一格式的结构体，结构体中包括日志类型(上报或本地记录)、日志类别(告警、流量等分类)、日志级别等特征信息。
步骤103、根据特征信息和本地网管(用户)预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则执行步骤104；否则，执行步骤106。
步骤104、将日志信息发送到二级上报缓冲区，读取二级上报缓冲区中的日志信息。
步骤105、将日志信息组装为符合syslog协议规范的UDP报文，发送到远程网管(日志服务器)，转步骤102。
步骤106、根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要本地记录，若需要本地记录，则执行步骤107；否则，执行步骤102。
步骤107、将日志信息发送到二级本地缓冲区，读取二级本地缓冲区中的日志信息。
步骤108、对日志信息进行本地记录，转步骤102。
需要说明的是，在以上操作步骤中，同一个日志可能既需要上报也需要本地记录，此时，将日志信息同时发送给二级上报缓冲区和二级本地缓冲区进行相应的处理。
如图2所示，一级缓冲区对日志上报条件进行判断(步骤103)的具体实施方式为：
步骤201、从日志信息中提取出特征信息。
步骤202、根据特征信息判断日志类型是否为上报，若是，则执行步骤203；否则，执行步骤206。
步骤203、判断日志类别对应的配置是否允许上报，若是，则执行步骤204；否则，执行步骤206。
步骤204、判断日志级别是否满足上报要求，若是，则执行步骤205；否则，执行步骤206。
步骤205、将日志信息发送到二级上报缓冲区进行上报。
步骤206、结束。
如图3所示，一级缓冲区对日志本地记录条件进行判断(步骤106)的具体实施方式为：
步骤301、从日志信息中提取出特征信息。
步骤302、根据特征信息判断日志级别是否满足本地记录的要求，若是，则执行步骤303；否则，执行步骤306。
步骤303、判断日志类别对应的配置是否允许记录日志，若是，则执行步骤304；否则，执行步骤306。
步骤304、判断日志级别是否满足对应模块的要求，若是，则执行步骤305；否则，执行步骤306。
步骤305、将日志信息发送到二级本地缓冲区进行本地记录。
步骤306、结束。
一般情况下，针对日志上报或本地记录的判断条件均来自于日志结构体本身，不能来自于日志正文解析后的内容，如上述步骤202中的判断条件，直接来自于日志结构体中的日志类型信息。
关于缓冲区大小和读取间隔：各缓冲区采用循环方式记录日志，当日志写入条目超过缓冲区容量时，直接将最新日志覆盖到起始日志所在位置，所以必须在缓冲区写满之前，尽快将日志信息读出，否则，会造成日志信息的丢失。为此，缓冲区读取日志采用批量方式读取，各缓冲区根据自己的处理能力设定一次批量读取最多的日志的数量。
本方案，将日志缓冲区划分成两级缓冲区，分别是一级缓冲区、二级上报缓冲区和二级本地缓冲区，两次缓冲区采用不同的处理周期和缓冲区大小，原则上，二级缓冲区的处理周期比一级缓冲区的处理周期要长，二级缓冲区要比一级缓冲区大，一级缓冲区的处理过程只进行必要的判断工作，就将日志丢入二级缓冲区，以保证一级缓冲区接收的来自各功能模块的日志信息能够得到尽快处理，避免日志信息丢失，较快的处理速度也避免了对各处理模块发送日志的动作发生阻塞。二级缓冲区的作用是处理日志信息并记录或上报，耗时较多，因此，必须适当的放宽缓冲区大小和处理周期。
根据以上原则，本实施例中，各级缓冲区大小、读取间隔和一次读取日志数量的设置如表1所示，这些参数的取值是在本实施例所处运行环境下经过不断测试调整后的结果，既满足本发明的功能要求和运行效率，也不会对设备的性能造成太大影响。
表1.日志缓冲区基本参数配置
缓冲区大小(条) 读取间隔(s) 一次读取日志数量(条)
一级缓冲区 5000 1 1000
二级本地缓冲区 10000 10 5000
二级上报缓冲区 10000 1 5000
在配置上述日志缓冲区的参数时，由于一级缓冲区所加的时间戳最小粒度为1s，所以其读取间隔设置为1s，而上报日志属于对日志进行处理的重点内容，所以在通信设备性能能够承受的情况下，二级上报缓冲区的读取间隔设置为和一级缓冲区的读取间隔相等。
本实施例中，一级缓冲区在处理日志信息时允许不加时间戳，仅对日志类型进行判断后进行后续处理，在此条件下，一级缓冲区和二级上报缓冲区的读取间隔还可以适当的缩短，进一步提高日志的实时上报效率，保证日志的处理效率。
本发明实施例还提供了一种通信设备的日志缓存系统，如图4所示，包括：
划分单元10，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
信息处理单元20，读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
判断单元30，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，执行信息处理单元20；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行信息处理单元20；若不需要本地记录，则再次执行信息处理单元20。
本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (6)

1.一种通信设备的日志缓存方法，其特征在于，包括以下步骤：
步骤101：将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
步骤102：读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
步骤103：根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，转步骤102；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲区中的日志信息，对日志信息进行本地记录，转步骤102；若不需要本地记录，则直接转步骤102；
一级缓冲区只进行必要的判断工作，就将日志信息发送到二级上报缓冲区或二级本地缓冲区；二级上报缓冲区或二级本地缓冲区处理日志信息并上报或记录；
所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别以及日志级别特征信息，针对日志上报或本地记录的判断条件均来自于日志结构体本身。
2.如权利要求1所述的方法，其特征在于，可根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
当所述日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
4.一种通信设备的日志缓存系统，其特征在于，包括：
划分单元，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
信息处理单元，读取所述一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
第二设置单元，设置所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息；
判断单元，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到所述二级上报缓冲区，然后读取所述二级上报缓冲区中的日志信息，将日志信息发送到远程网管，执行所述信息处理单元；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到所述二级本地缓冲区，然后读取所述二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行所述信息处理单元；若不需要本地记录，则再次执行所述信息处理单元；针对日志上报或本地记录的判断条件均来自于日志结构体本身；
所述一级缓冲区只进行必要的判断工作，就将日志信息发送到二级上报缓冲区或二级本地缓冲区；所述二级上报缓冲区或二级本地缓冲区处理日志信息并上报或记录。
5.如权利要求4所述的系统，其特征在于，还包括第一设置单元，根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
6.如权利要求4所述的系统，其特征在于，当所述判断单元判断日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
CN201510248670.XA 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统 Active CN104883275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510248670.XA CN104883275B (zh) 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510248670.XA CN104883275B (zh) 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统

Publications (2)

Publication Number Publication Date
CN104883275A CN104883275A (zh) 2015-09-02
CN104883275B true CN104883275B (zh) 2018-11-06

Family

ID=53950615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510248670.XA Active CN104883275B (zh) 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统

Country Status (1)

Country Link
CN (1) CN104883275B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590241B (zh) * 2017-09-13 2021-07-09 Oppo广东移动通信有限公司 日志信息上报方法、装置及存储介质、adsp和终端
CN107545067B (zh) * 2017-09-13 2022-02-08 Oppo广东移动通信有限公司 日志信息上报方法、装置及存储介质、adsp和终端
CN111176957A (zh) * 2019-12-06 2020-05-19 陕西上讯信息技术有限公司 包含及时搜索的日志浏览方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272276A (zh) * 2008-04-22 2008-09-24 深圳国人通信有限公司 一种日志管理的实现方法
CN102624562A (zh) * 2012-03-13 2012-08-01 网经科技（苏州）有限公司 网络管理系统中分布式syslog日志的安全管理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003288754A1 (en) * 2002-12-20 2004-07-14 Matsushita Electric Industrial Co., Ltd. System and method for content history log collection for digital rights management
GB0308137D0 (en) * 2003-04-09 2003-05-14 Ibm Method and apparatus for data logging
CN1855840A (zh) * 2005-04-26 2006-11-01 华为技术有限公司 一种网络管理器从网元设备获取日志信息的方法
CN100361454C (zh) * 2005-04-27 2008-01-09 华为技术有限公司 一种网络管理服务器从网元设备获取日志信息的方法
CN100461710C (zh) * 2007-03-15 2009-02-11 华为技术有限公司 分布式系统日志收集方法及系统
CN102164043A (zh) * 2010-10-27 2011-08-24 青岛海信传媒网络技术有限公司 日志上报方法及终端
CN102799514B (zh) * 2011-05-24 2017-02-15 中兴通讯股份有限公司 一种日志记录管理方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272276A (zh) * 2008-04-22 2008-09-24 深圳国人通信有限公司 一种日志管理的实现方法
CN102624562A (zh) * 2012-03-13 2012-08-01 网经科技（苏州）有限公司 网络管理系统中分布式syslog日志的安全管理方法

Also Published As

Publication number Publication date
CN104883275A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
KR102483025B1 (ko) 운영 유지 시스템 및 방법
CN107943668B (zh) 计算机服务器集群日志监控方法及监控平台
CN107992398A (zh) 一种业务系统的监控方法和监控系统
CN108092836A (zh) 一种服务器的监控方法及装置
CN103001809B (zh) 用于云存储系统的服务节点状态监控方法
CN106055608A (zh) 自动采集和分析交换机日志的方法和装置
CN109034580B (zh) 一种基于大数据分析的信息系统整体健康度评估方法
CN114500250B (zh) 一种云模式下体系联动的综合运维系统及方法
CN104883275B (zh) 一种通信设备的日志缓存方法及系统
CN104574219A (zh) 电网业务信息系统运行工况的监测预警方法及系统
CN109660389A (zh) 一种it资产管理方法及装置
CN106549807A (zh) 一种日志的分类上报方法及系统
CN105743699A (zh) 一种虚拟化环境的故障预警方法及系统
CN107992403A (zh) Io性能测试方法、装置、设备及计算机可读存储介质
US10574552B2 (en) Operation of data network
CN106559498A (zh) 风控数据收集平台及其收集方法
CN105069029B (zh) 一种实时etl系统及方法
CN112559237A (zh) 运维系统排障方法、装置、服务器和存储介质
CN109978547A (zh) 风险行为控制方法及系统、设备和存储介质
CN113904910A (zh) 一种基于运维系统的智能资产发现方法及装置
CN104967667A (zh) 一种基于云服务的软件稳定性测试远程监控系统
CN110647086B (zh) 一种基于运行大数据分析的智能运维监控系统
CN111970151A (zh) 虚拟及容器网络的流量故障定位方法及系统
Wu et al. Enterprise Digital Intelligent Remote Control System Based on Industrial Internet of Things
CN115222181B (zh) 机器人运营状态监控系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant