CN101729295B - 一种日志功能的实现方法 - Google Patents
一种日志功能的实现方法 Download PDFInfo
- Publication number
- CN101729295B CN101729295B CN2009102417121A CN200910241712A CN101729295B CN 101729295 B CN101729295 B CN 101729295B CN 2009102417121 A CN2009102417121 A CN 2009102417121A CN 200910241712 A CN200910241712 A CN 200910241712A CN 101729295 B CN101729295 B CN 101729295B
- Authority
- CN
- China
- Prior art keywords
- log
- daily record
- information
- address
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志功能的实现方法,旨在提供一种通信设备日志功能的记录、查看方法。其技术方案的要点是,一种日志功能的实现方法,在通信设备系统内部利用消息机制传输日志信息,利用进程机制接收并存储日志信息;缓存系统用于匹配短时间内相同内容的日志,减少重复日志存储次数;存储系统能够将日志写入内部存储单元或网络存储设备,内部存储单元中的日志也允许自动或手动转储至网络存储设备中。本发明的用途:提供一种安全、使用方便、灵活的通信设备日志功能的记录、查看方法。可以有效避免因广播单播风暴攻击而使日志功能瘫痪。
Description
技术领域
本发明涉及到通信领域,更具体地说,涉及到通信设备日志功能的记录、查看方法。
背景技术
通信设备需要记录日志信息,其中包括操作日志、系统日志、运行日志等,其主要目的是当通信设备运行时发生突发事件或者某些重要事件可以记录现场情况,以便日后调试。让客户了解通信设备的运行情况,评价通信设备的工作情况。
实际的通信网络常常因广播单播风暴攻击而使日志功能瘫痪。由于通信设备功能增多而使通信设备变得不稳定,并且破坏通信设备的其它功能或程序。现有的日志记录功能也比较单一使用不够灵活。
发明内容
本发明的目的是克服现有技术中的不足,提供一种安全、使用方便、灵活的通信设备日志功能的记录、查看方法。
一种日志功能的实现方法,在通信设备系统内部利用消息机制传输日志信息,利用进程机制接收并存储日志信息;缓存系统用于匹配短时间内相同内容的日志,减少重复日志存储次数;存储系统能够将日志写入内部存储单元或网络存储设备,内部存储单元中的日志也允许自动或手动转储至网络存储设备中。
日志系统启动初始化包括如下步骤:
第一步:初始化日志存储系统,具备本地内部存储及远程网络存储的功能;
第二步:初始化不同类型日志的索引地址信息与日志序号信息,用于记录不同类型日志的起始地址、结束地址、头地址、尾地址、下一条日志的序号;
第三步:初始化日志缓存系统,能够减少重复日志的存储次数;
第四步:创建日志任务,利用系统消息机制,监听日志消息,并能够将日志信息通过日志存储系统永久保存。
初始化不同类型日志的索引地址时采用遍历存储单元内容查找节点的方式进行不同类型日志的头地址和尾地址信息查找。
日志系统可以分类记录:操作日志、运行日志、系统日志;通过记录日志类别、日志序号、日志类型、日志生成时间和日志内容保存各种日志信息。
日志系统的永久保存需单独的本地内部存储单元和/或网络远程存储设备的支持。
在记录大量日志时,利用延时机制,以免日志信息丢失。
在进行日志存储之前先进行缓存匹配,如果缓存内在规定时间内没有相同的日志,则将进入日志存储系统永久保存。
缓存匹配用于在系统缓存中匹配相同内容和指定时间范围内的日志,如果在系统规定时间内有同样的日志信息需要记录,日志系统只更新缓存内的日志时间和本条日志在缓存内重复的次数而不实际进行存储;当缓存内重复次数超过2次的日志信息需要老化时,将日志内容及重复次数再次进行存储,以保证重复的日志信息被记录。
日志存储系统允许将日志内容写入本地内部单独存储单元存储;将日志存入存储单元时需要及时更新日志系统中的地址索引信息,如果写入的日志条目超过存储设备允许的最大容量,还需进行地址环绕。
由于地址环绕会将旧的日志信息覆盖,日志系统还允许设置自动在覆盖前将旧的日志信息转储到其他存储设备中,以保证日志不丢失。
日志系统查看功能分为通信设备端的Web网页查看部分与CLI字符界面命令行查看部分,如果将通信设备的日志数据传送至网络远程存储设备中,能够在网管软件中查看到日志信息,并允许利用网管软件强大的功能进行精准的统计和分析。
允许对某一大类别的日志功能进行使能或者关闭,也允许对某大类中某一小类别的日志信息单独进行关闭。
日志转储有两种格式:一、通用文本格式,用于通用ftp服务器;二、二进制数据格式,用于专用网管服务器,专用服务器可以根据二进制数据+数据结构体进行数据分析,从而提供更强的日志分析统计功能。
本发明的有益效果是:提供一种安全、使用方便、灵活的通信设备日志功能的记录、查看方法。可以有效避免因广播单播风暴攻击而使日志功能瘫痪。建立一条消息队列,并单独启动一个日志的进程实时的监听队列中的信息,将日志写入单独用于存储日志的存储单元中,有效避免了对通信设备其他功能或程序的冲击和破坏。日志信息存储方式有三种:单独用于存储日志的存储单元或存储入服务器或者写入单独用于存储日志的存储单元后自动或手动备份到服务器中,比较灵活,可根据用户的需要选择。
附图说明
图1日志初始化部分流程图;
图2日志记录部分流程图;
图3日志消息发送流程图。
具体实施方式
本实施例是交换机的日志记录及查看实现方法,本方法也可以用于路由器等其它通信设备。
下面结合附图对本发明作进一步的描述。
图1指示了日志初始化部分流程图;日志系统初始化→不同类别的日志地址及序号初始化→日志地址及序号初始化→根据日志类型,设定日志起始地址和结束地址→将日志读入内存中→循环本类型所有日志→日志是否有效,如果无效,继续循环本类型所有日志;如果有效,继续往下进行→记录日志头地址、尾地址、下一条日志的序号→判断循环结束→如果循环没有结束,继续循环本类型所有日志;如果循环结束,地址序号初始化完毕,继续往下进行→日志缓存系统初始化→建立日志消息队列系统→建立日志消息监听进程→日志系统初始化完毕。
图2指示了日志记录部分流程图;日志消息发送→判断需记录消息类型是否使能,否,结束;是,准备并格式化消息信息内容,继续往下进行→创建日志消息,并记录消息内容及时间→将日志消息发送至日志消息队列→结束。
图3指示了日志消息发送流程图;日志记录→循环等待日志消息→收到一个日志信息→封装日志序号→封装校验码→判断日志是否在缓存中,判断完毕→不记录日志,日志记录结束;或记录日志,继续往下进行→判断日志记录途径,继续往下进行→一种是,将日志存储入存储单元中,当存储单元已满时允许自动进行转存;另一种是,将日志存入网络设备中。→日志记录结束。
判断日志是否在缓存中,日志缓存判断→判断日志类型是否需要缓存→否,记录日志;是,判断日志内容及类型是否与缓存匹配,继续往下进行→否,将日志复制入缓存中,记录日志;是,判断日志记录时间是否超过规定时间,继续往下进行→否,更新日志缓存时间及被缓存的次数,日志记录结束;是,查找最旧一条缓存,继续往下进行→缓存是否匹配2次以上→否,将日志复制入缓存中,记录日志;是,将缓存内最旧一条缓存内日志及匹配次数与最后记录时间再次记录日志,将日志复制入缓存中,记录日志。
交换机的日志功能总体分为实现:
1.日志系统启动初始化部分;
2.日志系统分类记录部分;
3.日志系统写入flash部分;
4.日志系统查看部分;
5.日志系统控制部分。
其中,前三部分实现了日志系统的核心功能,后两部分实现了日志系统的查看访问与控制的功能。
1.日志系统启动初始化部分
日志系统启动初始化部分见图1部分,这里仅对图1部分进行补充,本实施例的存储单元用flash芯片;并创建一个信号量用于互斥flash(存储单元)的操作。
由于没有头结点保存这些地址信息,而起始地址和结束地址相对是固定的,所以对于头地址和尾地址的地址信息我们采用遍历flash(存储单元)内容查找节点的方式进行。
创建一个消息队列,并启动一个单独的进程来监听此消息队列。
系统要启动一个监听进程,其作用为监听消息队列中的内容,如果发现消息队列中存在需要记录的信息时,则将信息取出,并封装上日志序号和CRC校验码,在写入flash(存储单元)之前先进行缓存匹配。
2.日志系统分类记录部分
函数log_msg为外部函数记录日志的接口函数,其参数ulLogType为记录日志的类别,ulEventType为日志消息的类型,format为参数可变的记录消息内容。
日志记录部分主要见图2部分,创建一个消息体,将日志信息的内容、类型、时间填充到消息体内部,并发送到消息队列。
本实施例设定的消息队列最多只能存放256个消息体,超过的话则被丢弃,所以在发送消息前检测消息队列中的消息条目,如果超过一定比例的话,则需要延迟一段时间再发送消息,以免日志信息丢失。消息队列能存放的消息体可根据实际需要设定。
3.日志系统写入flash(存储单元)或存储入服务器部分
日志消息发送主要见图3部分。
缓存匹配函数用于在系统缓存中匹配相同内容的日志,本实施例对于地址冲突类型的日志和广播单播风暴攻击类型的日志则给予缓存匹配,其他类型日志按实际需要进行缓存匹配。
最后日志写入函数用于将日志内容写入flash(存储单元)存储。将日志存入flash(存储单元)时需要及时更新日志系统中的地址信息,如果写入的日志条目超过最大数目的话,还需进行地址环绕。
日志存储有三种方案:一种是,将日志存储入flash(存储单元)中;一种是,将日志存入网络设备中;另一种是,将日志存储入flash(存储单元)中,当flash(存储单元)已满时允许自动或手动进行转存到网络设备中;此处的网络设备包括通用或专用网管。
4.日志系统查看部分
交换机的日志查看功能分为Web查看部分与CLI查看部分,另外如果将交换机的日志数据传送至网管软件中,亦能够在中查看到日志信息,并同时利用EMS强大的数据统计分析功能,更方便的查询日志。
由于日志的条目不确定,所以我们用链表来临时存储日志查询信息。CLI模块和Web模块获取到日志的链表后,遍历链表并用自己的格式打印输出信息。
日志上传分为两种:一种是上传日志到普通ftp服务器,此类上传的日志信息与在CLI下查看的日志信息完全相同,但在ftp服务器中可以按文件保存不同时间段的日志,从而实现日志的长久保存;另外一种是将日志的原始信息不做任何处理上传至网管软件中,由EMS网管软件负责解析日志的内容,可以进行分类汇总,并与原始日志相合并,从而更好的存储交换机的日志信息。
5.日志系统控制部分
在日志系统中,有一个标志位负责某一类型日志系统的使能与关闭。可以通过CLI下的命令或者WEB页面来进行访问。允许对某一大类别的日志功能进行使能或者关闭,也允许对某大类中某一小类别的日志信息单独进行关闭。
以上所述仅为本发明的过程及方法实施例,并不用以限制本发明,凡在本发明的精神和实质之内所做的任何修改、等同替换、改进等,均应包含在本发明保护范围之内。
Claims (2)
1.一种日志功能的实现方法,其特征是,在通信设备系统内部利用消息机制传输日志信息,利用进程机制接收并存储日志信息;缓存系统用于匹配短时间内相同内容的日志,减少重复日志存储次数,在进行日志存储之前先进行缓存匹配,如果缓存内在规定时间内没有相同的日志,则将进入日志存储系统永久保存,缓存匹配用于在系统缓存中匹配相同内容和指定时间范围内的日志,如果在系统规定时间内有同样的日志信息需要记录,日志系统只更新缓存内的日志时间和本条日志在缓存内重复的次数而不实际进行存储;当缓存内重复次数超过2次的日志信息需要老化时,将日志内容及重复次数再次进行存储,以保证重复的日志信息被记录;存储系统能够将日志写入内部存储单元或网络存储设备,内部存储单元中的日志也允许自动或手动转储至网络存储设备中。
2.根据权利要求1所述的方法,其特征是,还包括日志系统启动初始化,步骤如下:
第一步:初始化日志存储系统,具备本地内部存储及远程网络存储的功能;
第二步:初始化不同类型日志的索引地址信息与日志序号信息,用于记录不同类型日志的起始地址、结束地址、头地址、尾地址、下一条日志的序号;
第三步:初始化日志缓存系统,能够减少重复日志的存储次数;
第四步:创建日志任务,利用系统消息机制,监听日志消息,并能够将日志信息通过日志存储系统永久保存。
3.根据权利要求2所述的方法,其特征是,初始化不同类型日志的索引地址时采用遍历存储单元内容查找节点的方式进行不同类型日志的头地址和尾地址信息查找。
4.根据权利要求1或2或3所述的方法,其特征是,日志系统可以分类记录:操作日志、运行日志、系统日志;通过记录日志类别、日志序号、日志类型、日志生成时间和日志内容保存各种日志信息。
5.根据权利要求4所述的方法,其特征是,允许对某一大类别的日志功能进行使能或者关闭,也允许对某大类中某一小类别的日志信息单独进行关闭。
6.根据权利要求1或2所述的方法,其特征是,日志系统的永久保存需单独的本地内部存储单元和/或网络远程存储设备的支持。
7.根据权利要求6所述的方法,其特征是,日志系统查看功能分为通信设备端的Web网页查看部分与CLI字符界面命令行查看部分,如果将通信设备的日志数据传送至网络远程存储设备中,能够在网管软件中查看到日志信息,并允许利用网管软件强大的功能进行精准的统计和分析。
8.根据权利要求6所述的方法,其特征是,日志转储有两种格式:一、通用文本格式,用于通用ftp服务器;二、二进制数据格式,用于专用网管服务器,专用网管服务器可以根据二进制数据+数据结构体进行数据分析,从而提供更强的日志分析统计功能。
9.根据权利要求1所述的方法,其特征是,在记录大量日志时,利用延时机制,以免日志信息丢失。
10.根据权利要求1所述的方法,其特征是,日志存储系统允许将日志内容写入本地内部单独存储单元存储;将日志存入存储单元时需要及时更新日志系统中的地址索引信息,如果写入的日志条目超过存储设备允许的最大容量,还需进行地址环绕。
11.根据权利要求10所述的方法,其特征是,由于地址环绕会将旧的日志信息覆盖,日志系统还允许设置自动在覆盖前将旧的日志信息转储到其他存储设备中,以保证日志不丢失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102417121A CN101729295B (zh) | 2009-12-02 | 2009-12-02 | 一种日志功能的实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102417121A CN101729295B (zh) | 2009-12-02 | 2009-12-02 | 一种日志功能的实现方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101729295A CN101729295A (zh) | 2010-06-09 |
CN101729295B true CN101729295B (zh) | 2012-01-11 |
Family
ID=42449567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102417121A Active CN101729295B (zh) | 2009-12-02 | 2009-12-02 | 一种日志功能的实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101729295B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102035889A (zh) * | 2010-12-16 | 2011-04-27 | 上海泰捷通信技术有限公司 | 远程通讯终端的软件测试方法 |
CN102739925A (zh) * | 2011-05-16 | 2012-10-17 | 新奥特(北京)视频技术有限公司 | 一种日志记录方法和装置 |
CN103914485B (zh) * | 2013-01-07 | 2017-05-03 | 上海宝信软件股份有限公司 | 一种远程收集和检索展示应用系统日志的系统及方法 |
CN103164511B (zh) * | 2013-02-21 | 2017-02-08 | 烽火通信科技股份有限公司 | 一种存储事件日志自动过滤重复抖动数据的方法 |
CN104660427A (zh) * | 2013-11-18 | 2015-05-27 | 深圳市腾讯计算机系统有限公司 | 日志实时统计方法及装置 |
CN103793479A (zh) * | 2014-01-14 | 2014-05-14 | 上海上讯信息技术股份有限公司 | 日志管理方法及系统 |
CN107707581A (zh) * | 2015-06-26 | 2018-02-16 | 中兴通讯股份有限公司 | 文件处理方法及装置 |
CN105049260B (zh) * | 2015-08-24 | 2019-03-19 | 浪潮(北京)电子信息产业有限公司 | 日志管理方法和装置 |
CN105553716A (zh) * | 2015-12-12 | 2016-05-04 | 天津南大通用数据技术股份有限公司 | 大规模集群下各节点日志的抓取和展示系统 |
CN108319541A (zh) * | 2017-01-16 | 2018-07-24 | 上海大唐移动通信设备有限公司 | 一种日志文件分析方法及装置 |
CN106656635A (zh) * | 2017-02-14 | 2017-05-10 | 杭州迪普科技股份有限公司 | 监控报文转发流程的方法及装置 |
CN107347024B (zh) * | 2017-07-19 | 2020-04-28 | 华为技术有限公司 | 一种存储操作日志的方法、设备和系统 |
CN107506422A (zh) * | 2017-08-17 | 2017-12-22 | 北京理工大学 | 一种多数据源的分布式日志处理系统及方法 |
CN110019064A (zh) * | 2017-09-01 | 2019-07-16 | 大唐移动通信设备有限公司 | 消除重复日志记录的过滤方法及装置 |
CN107918565A (zh) * | 2017-11-17 | 2018-04-17 | 广东小天才科技有限公司 | 一种应用程序的异常信息的上报方法及移动终端 |
CN111240974B (zh) * | 2020-01-06 | 2024-04-26 | 先进新星技术(新加坡)控股有限公司 | 日志输出方法、装置、电子设备及介质 |
CN112231191B (zh) * | 2020-10-23 | 2023-03-31 | 新华三信息安全技术有限公司 | 一种日志采集方法及装置 |
CN115328878B (zh) * | 2022-10-17 | 2023-04-07 | 成都卫士通信息产业股份有限公司 | 日志数据存储系统、方法、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1592233A (zh) * | 2003-08-30 | 2005-03-09 | 华为技术有限公司 | 安全日志的实现方法 |
CN1635520A (zh) * | 2003-12-27 | 2005-07-06 | 鸿富锦精密工业(深圳)有限公司 | 数据处理系统及方法 |
CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技(北京)有限公司 | 高性能的Syslog日志处理和存储方法 |
-
2009
- 2009-12-02 CN CN2009102417121A patent/CN101729295B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1592233A (zh) * | 2003-08-30 | 2005-03-09 | 华为技术有限公司 | 安全日志的实现方法 |
CN1635520A (zh) * | 2003-12-27 | 2005-07-06 | 鸿富锦精密工业(深圳)有限公司 | 数据处理系统及方法 |
CN101087210A (zh) * | 2007-05-22 | 2007-12-12 | 网御神州科技(北京)有限公司 | 高性能的Syslog日志处理和存储方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101729295A (zh) | 2010-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101729295B (zh) | 一种日志功能的实现方法 | |
CN103514106B (zh) | 一种数据缓存方法 | |
WO2012110314A1 (de) | Verfahren und vorrichtung zur analyse von datenpaketen | |
CN109688097A (zh) | 网站防护方法、网站防护装置、网站防护设备及存储介质 | |
CN104202182B (zh) | 基于信息隐藏的卫星系统在轨重构方法 | |
CN106603713A (zh) | 会话管理方法和系统 | |
EP1074916A3 (en) | Hardware mechanism for managing cache structures in a data storage system | |
CN105245842A (zh) | 基于行车记录仪的海量视频监控系统 | |
CN111596922A (zh) | 基于redis实现自定义缓存注解的方法 | |
CN103516580A (zh) | 一种基于消息队列实现消息接收与转发的方法及系统 | |
DE60306209T2 (de) | Verfahren, mobile vorrichtungen und rechnerlesbare media zur datenverwaltung | |
CN107786623A (zh) | 消息异步处理方法和装置 | |
CN106874778A (zh) | 基于Android系统的智能终端文件获取以及数据恢复系统及方法 | |
CN110750372A (zh) | 基于共享内存的日志系统及日志管理方法 | |
CN106547823A (zh) | 无盘符执法仪数据采集装置和方法 | |
CN105760398A (zh) | 一种日志记录系统及日志记录操作方法 | |
CN104462996B (zh) | 实现对远程取证目标终端进行协同取证分析的方法及系统 | |
CN100384282C (zh) | 一种记录小区日志的实现方法 | |
CN112596682B (zh) | 一种区块链用存储装置及存储方法 | |
CN103701937A (zh) | 一种上传大文件的方法 | |
CN115658803A (zh) | 一种基于区块链的数据共享的方法 | |
CN114070787A (zh) | 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备 | |
CN107426066A (zh) | 一种虚拟化警情信息汇集管理装置及方法 | |
CN109977121B (zh) | 一种大数据快速存储系统 | |
US9648079B2 (en) | System and method for providing content to a requesting terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |