CN104883275A - 一种通信设备的日志缓存方法及系统 - Google Patents

一种通信设备的日志缓存方法及系统 Download PDF

Info

Publication number
CN104883275A
CN104883275A CN201510248670.XA CN201510248670A CN104883275A CN 104883275 A CN104883275 A CN 104883275A CN 201510248670 A CN201510248670 A CN 201510248670A CN 104883275 A CN104883275 A CN 104883275A
Authority
CN
China
Prior art keywords
log information
log
information
local
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510248670.XA
Other languages
English (en)
Other versions
CN104883275B (zh
Inventor
陈亚亚
符永锐
李静
聂建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fiberhome Telecommunication Technologies Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN201510248670.XA priority Critical patent/CN104883275B/zh
Publication of CN104883275A publication Critical patent/CN104883275A/zh
Application granted granted Critical
Publication of CN104883275B publication Critical patent/CN104883275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports

Abstract

本发明公开了一种通信设备的日志缓存方法及系统，该方法包括以下步骤：将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；读取一级缓冲区中的日志信息，并从日志信息中提取出特征信息；根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，返回读取日志信息；若不需要上报，则判断日志信息是否需要本地记录，若需要，则发送日志信息到二级本地缓冲区，对日志信息进行本地记录，返回读取日志信息；若不需要，则返回读取日志信息。本发明，大大提高了日志的实时上报效率，保证了日志的快速接收处理。

Description

一种通信设备的日志缓存方法及系统
技术领域
本发明涉及通信技术领域，具体涉及一种通信设备的日志缓存方法及系统。
背景技术
随着通信技术的迅猛发展，电信业务向综合化、数字化、智能化、宽带化和个人化方向发展，人们对电信业务多样化的需求越来越高，尤其是对话音、数据、图像等业务一线接入的要求也不断提高，因此，基于接入网用户侧的通信设备要承担越来越多的业务需求，随之而产生的网络管理需求也更为复杂。同时，语音、图像等实时业务的大量应用，使得电信运营商必须对各通信设备的运行状态进行实时监控。
在此背景下，通信设备不仅要将自身运行的日志信息进行详细的记录，便于用户对各种业务进行跟踪查询，还要将重要的运行状态信息，如故障告警等信息，通过日志的形式实时上报给远端的网络管理系统，使之便于对各通信设备进行远程监控。因此，通信设备除了要承担记录自身运行的日志信息的功能，还要承担日志的实时上报功能，这就要求设备对日志的处理和管理能够更加便捷和快速。
目前通信设备的日志记录实体偏向于日志的接收、分析和存储，无法保证日志的快速接收处理，对重要日志，尤其是故障告警等实时性要求很高的日志不能做到及时上报，因此，急需一种通信设备的日志缓存方法，既能保证日志的存储功能，也可以满足日志实时上报的要求。
发明内容
本发明所要解决的技术问题是解决通信设备无法保证日志的快速接收处理，对于实时性要求较高的日志不能做到及时上报的问题。
为了解决上述技术问题，本发明所采用的技术方案是提供一种通信设备的日志缓存方法，包括以下步骤：
步骤101：将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
步骤102：读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
步骤103：根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，转步骤102；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲区中的日志信息，对日志信息进行本地记录，转步骤102；若不需要本地记录，则直接转步骤102。
在上述技术方案中，可根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
在上述技术方案中，所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息。
在上述技术方案中，所述方法还包括：当所述日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
本发明还提供了一种通信设备的日志缓存系统，包括：
划分单元，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
信息处理单元，读取所述一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
判断单元，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到所述二级上报缓冲区，然后读取所述二级上报缓冲区中的日志信息，将日志信息发送到远程网管，执行信息处理单元；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到所述二级本地缓冲区，然后读取所述二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行所述信息处理单元；若不需要本地记录，则再次执行所述信息处理单元。
在上述技术方案中，还包括第一设置单元，根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
在上述技术方案中，还包括第二设置单元，设置所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息。
在上述技术方案中，当所述判断单元判断日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
本发明，通过将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区，根据从日志信息中提取出的特征信息和本地网管预先设定的条件参数判断日志信息是否需要上报，若需要上报则发送日志信息到二级上报缓冲区，上报日志信息到远程网管，并返回读取日志信息；若不需要上报则判断日志信息是否需要本地记录，若需要本地记录则发送日志信息到二级本地缓冲区，进行本地记录，并返回读取日志信息；若不需要本地记录则直接返回读取日志信息，该方案大大提高了日志的实时上报效率，保证了日志的快速接收处理。
附图说明
图1为本发明实施例提供的一种通信设备的日志缓存方法流程图；
图2为本发明实施例提供的一级缓冲区对日志上报条件进行判断的具体方法流程图；
图3为本发明实施例提供的一级缓冲区对日志本地记录条件进行判断的具体方法流程图；
图4为本发明实施例提供一种通信设备的日志缓存系统的示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做出详细的说明。
本发明实施例提供了一种通信设备的日志缓存方法，如图1所示，所述方法包括以下步骤：
步骤101、将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区。
步骤102、读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息。
可选的，一级缓冲区可为日志信息加上时间戳。
为提高日志的处理效率，输入日志缓冲区的日志信息均采用统一格式的结构体，结构体中包括日志类型(上报或本地记录)、日志类别(告警、流量等分类)、日志级别等特征信息。
步骤103、根据特征信息和本地网管(用户)预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则执行步骤104；否则，执行步骤106。
步骤104、将日志信息发送到二级上报缓冲区，读取二级上报缓冲区中的日志信息。
步骤105、将日志信息组装为符合syslog协议规范的UDP报文，发送到远程网管(日志服务器)，转步骤102。
步骤106、根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要本地记录，若需要本地记录，则执行步骤107；否则，执行步骤102。
步骤107、将日志信息发送到二级本地缓冲区，读取二级本地缓冲区中的日志信息。
步骤108、对日志信息进行本地记录，转步骤102。
需要说明的是，在以上操作步骤中，同一个日志可能既需要上报也需要本地记录，此时，将日志信息同时发送给二级上报缓冲区和二级本地缓冲区进行相应的处理。
如图2所示，一级缓冲区对日志上报条件进行判断(步骤103)的具体实施方式为：
步骤201、从日志信息中提取出特征信息。
步骤202、根据特征信息判断日志类型是否为上报，若是，则执行步骤203；否则，执行步骤206。
步骤203、判断日志类别对应的配置是否允许上报，若是，则执行步骤204；否则，执行步骤206。
步骤204、判断日志级别是否满足上报要求，若是，则执行步骤205；否则，执行步骤206。
步骤205、将日志信息发送到二级上报缓冲区进行上报。
步骤206、结束。
如图3所示，一级缓冲区对日志本地记录条件进行判断(步骤106)的具体实施方式为：
步骤301、从日志信息中提取出特征信息。
步骤302、根据特征信息判断日志级别是否满足本地记录的要求，若是，则执行步骤303；否则，执行步骤306。
步骤303、判断日志类别对应的配置是否允许记录日志，若是，则执行步骤304；否则，执行步骤306。
步骤304、判断日志级别是否满足对应模块的要求，若是，则执行步骤305；否则，执行步骤306。
步骤305、将日志信息发送到二级本地缓冲区进行本地记录。
步骤306、结束。
一般情况下，针对日志上报或本地记录的判断条件均来自于日志结构体本身，不能来自于日志正文解析后的内容，如上述步骤202中的判断条件，直接来自于日志结构体中的日志类型信息。
关于缓冲区大小和读取间隔：各缓冲区采用循环方式记录日志，当日志写入条目超过缓冲区容量时，直接将最新日志覆盖到起始日志所在位置，所以必须在缓冲区写满之前，尽快将日志信息读出，否则，会造成日志信息的丢失。为此，缓冲区读取日志采用批量方式读取，各缓冲区根据自己的处理能力设定一次批量读取最多的日志的数量。
本方案，将日志缓冲区划分成两级缓冲区，分别是一级缓冲区、二级上报缓冲区和二级本地缓冲区，两次缓冲区采用不同的处理周期和缓冲区大小，原则上，二级缓冲区的处理周期比一级缓冲区的处理周期要长，二级缓冲区要比一级缓冲区大，一级缓冲区的处理过程只进行必要的判断工作，就将日志丢入二级缓冲区，以保证一级缓冲区接收的来自各功能模块的日志信息能够得到尽快处理，避免日志信息丢失，较快的处理速度也避免了对各处理模块发送日志的动作发生阻塞。二级缓冲区的作用是处理日志信息并记录或上报，耗时较多，因此，必须适当的放宽缓冲区大小和处理周期。
根据以上原则，本实施例中，各级缓冲区大小、读取间隔和一次读取日志数量的设置如表1所示，这些参数的取值是在本实施例所处运行环境下经过不断测试调整后的结果，既满足本发明的功能要求和运行效率，也不会对设备的性能造成太大影响。
表1.日志缓冲区基本参数配置
缓冲区大小(条) 读取间隔(s) 一次读取日志数量(条)
一级缓冲区 5000 1 1000
二级本地缓冲区 10000 10 5000
二级上报缓冲区 10000 1 5000
在配置上述日志缓冲区的参数时，由于一级缓冲区所加的时间戳最小粒度为1s，所以其读取间隔设置为1s，而上报日志属于对日志进行处理的重点内容，所以在通信设备性能能够承受的情况下，二级上报缓冲区的读取间隔设置为和一级缓冲区的读取间隔相等。
本实施例中，一级缓冲区在处理日志信息时允许不加时间戳，仅对日志类型进行判断后进行后续处理，在此条件下，一级缓冲区和二级上报缓冲区的读取间隔还可以适当的缩短，进一步提高日志的实时上报效率，保证日志的处理效率。
本发明实施例还提供了一种通信设备的日志缓存系统，如图4所示，包括：
划分单元10，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
信息处理单元20，读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
判断单元30，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，执行信息处理单元20；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行信息处理单元20；若不需要本地记录，则再次执行信息处理单元20。
本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (8)

1.一种通信设备的日志缓存方法，其特征在于，包括以下步骤：
步骤101：将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
步骤102：读取一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
步骤103：根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到二级上报缓冲区，然后读取二级上报缓冲区中的日志信息，将日志信息发送到远程网管，转步骤102；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到二级本地缓冲区，然后读取二级本地缓冲区中的日志信息，对日志信息进行本地记录，转步骤102；若不需要本地记录，则直接转步骤102。
2.如权利要求1所述的方法，其特征在于，可根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
3.如权利要求1所述的方法，其特征在于，所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别以及日志级别特征信息。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
当所述日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
5.一种通信设备的日志缓存系统，其特征在于，包括：
划分单元，将日志缓冲区划分为一级缓冲区、二级上报缓冲区和二级本地缓冲区；
信息处理单元，读取所述一级缓冲区中来自各功能模块的日志信息，并从日志信息中提取出特征信息；
判断单元，根据特征信息和本地网管预先设定的条件参数，判断日志信息是否需要上报，若需要上报，则发送日志信息到所述二级上报缓冲区，然后读取所述二级上报缓冲区中的日志信息，将日志信息发送到远程网管，执行所述信息处理单元；若不需要上报，则判断日志信息是否需要本地记录，若需要本地记录，则发送日志信息到所述二级本地缓冲区，然后读取所述二级本地缓冲区中的日志信息，对日志信息进行本地记录，执行所述信息处理单元；若不需要本地记录，则再次执行所述信息处理单元。
6.如权利要求5所述的系统，其特征在于，还包括第一设置单元，根据实际的运行环境设置和调整所述日志缓冲区的大小、读取间隔和一次读取日志的数量，并设置所述二级上报缓冲区的读取间隔与所述一级缓冲区的读取间隔相等。
7.如权利要求5所述的系统，其特征在于，还包括第二设置单元，设置所述日志信息均采用统一格式的结构体，所述结构体中包括日志类型、日志类别、日志级别特征信息。
8.如权利要求5所述的系统，其特征在于，当所述判断单元判断日志信息同时需要上报和本地记录时，将所述日志信息同时发送到所述二级上报缓冲区和所述二级本地缓冲区。
CN201510248670.XA 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统 Active CN104883275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510248670.XA CN104883275B (zh) 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510248670.XA CN104883275B (zh) 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统

Publications (2)

Publication Number Publication Date
CN104883275A true CN104883275A (zh) 2015-09-02
CN104883275B CN104883275B (zh) 2018-11-06

Family

ID=53950615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510248670.XA Active CN104883275B (zh) 2015-05-15 2015-05-15 一种通信设备的日志缓存方法及系统

Country Status (1)

Country Link
CN (1) CN104883275B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545067A (zh) * 2017-09-13 2018-01-05 广东欧珀移动通信有限公司 日志信息上报方法、装置及存储介质、adsp和终端
CN107590241A (zh) * 2017-09-13 2018-01-16 广东欧珀移动通信有限公司 日志信息上报方法、装置及存储介质、adsp和终端
CN111176957A (zh) * 2019-12-06 2020-05-19 陕西上讯信息技术有限公司 包含及时搜索的日志浏览方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133448A1 (en) * 2002-12-20 2004-07-08 Akio Higashi Content history log collecting system, terminal device and server device
WO2004091149A2 (en) * 2003-04-09 2004-10-21 International Business Machines Corporation Method and apparatus for data logging
CN1794646A (zh) * 2005-04-27 2006-06-28 华为技术有限公司 一种网络管理服务器从网元设备获取日志信息的方法
CN1855840A (zh) * 2005-04-26 2006-11-01 华为技术有限公司 一种网络管理器从网元设备获取日志信息的方法
CN101043375A (zh) * 2007-03-15 2007-09-26 华为技术有限公司 分布式系统日志收集方法及系统
CN101272276A (zh) * 2008-04-22 2008-09-24 深圳国人通信有限公司 一种日志管理的实现方法
CN102164043A (zh) * 2010-10-27 2011-08-24 青岛海信传媒网络技术有限公司 日志上报方法及终端
CN102624562A (zh) * 2012-03-13 2012-08-01 网经科技（苏州）有限公司 网络管理系统中分布式syslog日志的安全管理方法
CN102799514A (zh) * 2011-05-24 2012-11-28 中兴通讯股份有限公司 一种日志记录管理方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133448A1 (en) * 2002-12-20 2004-07-08 Akio Higashi Content history log collecting system, terminal device and server device
WO2004091149A2 (en) * 2003-04-09 2004-10-21 International Business Machines Corporation Method and apparatus for data logging
CN1855840A (zh) * 2005-04-26 2006-11-01 华为技术有限公司 一种网络管理器从网元设备获取日志信息的方法
CN1794646A (zh) * 2005-04-27 2006-06-28 华为技术有限公司 一种网络管理服务器从网元设备获取日志信息的方法
CN101043375A (zh) * 2007-03-15 2007-09-26 华为技术有限公司 分布式系统日志收集方法及系统
CN101272276A (zh) * 2008-04-22 2008-09-24 深圳国人通信有限公司 一种日志管理的实现方法
CN102164043A (zh) * 2010-10-27 2011-08-24 青岛海信传媒网络技术有限公司 日志上报方法及终端
CN102799514A (zh) * 2011-05-24 2012-11-28 中兴通讯股份有限公司 一种日志记录管理方法和系统
CN102624562A (zh) * 2012-03-13 2012-08-01 网经科技（苏州）有限公司 网络管理系统中分布式syslog日志的安全管理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545067A (zh) * 2017-09-13 2018-01-05 广东欧珀移动通信有限公司 日志信息上报方法、装置及存储介质、adsp和终端
CN107590241A (zh) * 2017-09-13 2018-01-16 广东欧珀移动通信有限公司 日志信息上报方法、装置及存储介质、adsp和终端
CN111176957A (zh) * 2019-12-06 2020-05-19 陕西上讯信息技术有限公司 包含及时搜索的日志浏览方法、装置及电子设备

Also Published As

Publication number Publication date
CN104883275B (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN111131379B (zh) 一种分布式流量采集系统和边缘计算方法
CN105159964A (zh) 一种日志监控方法及系统
CN105589791A (zh) 一种云计算环境下应用系统日志监控管理的方法
CN106230809B (zh) 一种基于url的移动互联网舆情监测方法及系统
CN113542039A (zh) 一种通过ai算法定位5g网络虚拟化跨层问题的方法
CN107085549B (zh) 故障信息生成的方法和装置
CN106407078A (zh) 基于信息交互的客户端性能监控装置及方法
CN108108445A (zh) 一种智能数据处理方法和系统
CN108132868A (zh) 一种数据监控方法、装置、计算设备及存储介质
CN104883275A (zh) 一种通信设备的日志缓存方法及系统
CN106549807A (zh) 一种日志的分类上报方法及系统
CN109510721A (zh) 一种基于Syslog的网络日志管理方法与系统
CN107463490B (zh) 一种应用于平台开发中的集群日志集中收集方法
CN106559498A (zh) 风控数据收集平台及其收集方法
CN105607606B (zh) 一种基于双主板架构的数据采集装置及方法
CN111082956B (zh) 一种事件流处理方法、电子设备和可读存储介质
CN116723136B (zh) 应用fcm聚类算法的网络检测数据的方法
CN105245394A (zh) 一种基于分层方式分析网络访问日志的方法和设备
CN107786641A (zh) 一种分布式多系统用户行为日志的采集方法
CN201601832U (zh) 无线通信网网络工况监控装置
CN102882732B (zh) 一种基于终端通信接入设备性能管理方法
CN106485378A (zh) 业务数据的传输方法、系统和服务器
CN105656953A (zh) 一种基于互联网大数据机器人物联网系统
CN115374066B (zh) 远程可视化系统与远程可视化方法
CN103455860A (zh) 计算机辅助电话访问系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant