CN106452867A - 日志报文处理方法及系统 - Google Patents

日志报文处理方法及系统 Download PDF

Info

Publication number
CN106452867A
CN106452867A CN201610888154.8A CN201610888154A CN106452867A CN 106452867 A CN106452867 A CN 106452867A CN 201610888154 A CN201610888154 A CN 201610888154A CN 106452867 A CN106452867 A CN 106452867A
Authority
CN
China
Prior art keywords
log
daily record
server
content
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610888154.8A
Other languages
English (en)
Inventor
袁聪
叶培宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guiyang Longmaster Information and Technology Co ltd
Original Assignee
Guiyang Longmaster Information and Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guiyang Longmaster Information and Technology Co ltd filed Critical Guiyang Longmaster Information and Technology Co ltd
Publication of CN106452867A publication Critical patent/CN106452867A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志报文处理方法及系统，上述方法包括：采用作为统一入口的日志采集服务器接收日志来源端发送的全部日志报文，其中，所述日志报文携带有当前服务对应的编号；所述日志采集服务器将日志信息转换成json数据；所述日志采集服务器将所述json数据发送至REDIS缓存中所述编号对应的哈希表中暂存。根据本发明提供的技术方案，能够让整个系统的日志通过唯一的入口进行采集，实现了日志统一采集、记录、管理。

Description

日志报文处理方法及系统
技术领域
本发明涉及通信领域，具体而言，涉及一种日志报文处理方法及系统。
背景技术
在软件的开发、测试、使用和维护中，日志为系统正确和稳定的运行提供了非常重要的参考和依据，帮助开发、测试、维护人员对软件系统进行调试和维护。然而一般情况下日志的数据量是非常大的，这就使查询、维护起来非常困难。
随着业务的不断扩展，系统服务数量剧增，维护服务中最重要的一块就是日志维护工作。分析日志，可以发现服务运行时出现的一系列问题，再改造服务。扩展服务时，日志也能让开发人员对服务实时的运行状况进行监控。
然而由于服务过多，不管是开发人员还是维护人员，对服务日志的维护也越来越繁琐，造成用户体验较低。
发明内容
本发明的主要目的在于公开了一种日志报文处理方法及系统，以至少解决相关技术中由于服务过多，对服务日志的维护也越来越繁琐，造成用户体验较低的问题。
根据本发明的一个方面，提供了一种日志报文处理方法。
根据本发明的日志报文处理方法包括：采用作为统一入口的日志采集服务器接收日志来源端发送的全部日志报文，其中，上述日志报文携带有当前服务对应的编号；上述日志采集服务器将日志信息转换成json数据；上述日志采集服务器将上述json数据发送至REDIS缓存中上述编号对应的哈希表中暂存。
优选地，上述日志采集服务器接收日志来源端发送的全部日志报文包括：上述日志采集服务器接收上述日志来源端以POST请求方式发送的全部日志报文。
优选地，在上述日志采集服务器将上述json数据发送至REDIS缓存中上述编号对应的哈希表中暂存之后，还包括：日志记录服务器每隔预定时间从上述REDIS缓存中上述编号对应的哈希表中获取全部json数据；上述日志记录服务器将哈希表中取出的json数据进行解析，得到日志内容并保存。
优选地，上述日志报文还携带有：日志类型，则当前服务对应的编号上述日志记录服务器将哈希表中取出的json数据进行解析，得到日志内容并保存包括：上述日志记录服务器根据当前服务对应的编号以及日志类型判断当前服务下是否包括上述日志内容的日志类型；如果包括上述日志内容的日志类型，则继续保存上述日志内容；如果没有包括上述日志内容的日志类型，则自动创建该日志类型，之后继续保存上述日志内容。
优选地，上述日志记录服务器保存上述日志内容包括：上述日志记录服务器对各个服务判断配置的保存类型，确定将上述日志内容保存到数据库和/或文本文件中。
优选地，上述日志采集服务器为能够配置进程数量的web服务器，其中，上述日志采集服务器根据日志报文的数量对上述进程数量进行配置。
根据本发明的另一方面，提供了一种日志报文处理系统。
根据本发明的日志报文处理系统包括：作为统一入口的日志采集服务器；其中，上述日志采集服务器包括：接收模块，用于接收日志来源端发送的全部日志报文，其中，上述日志报文携带有当前服务对应的编号；转换模块，用于将日志信息转换成json数据；发送模块，用于将上述json数据发送至REDIS缓存中上述编号对应的哈希表中暂存。
优选地，上述系统还包括：日志记录服务器，其中，上述日志记录服务器包括：获取模块，用于每隔预定时间从上述REDIS缓存中上述编号对应的哈希表中获取全部json数据；保存模块，用于将哈希表中取出的json数据进行解析，得到日志内容并保存。
优选地，上述日志报文还携带有：日志类型，则上述保存模块包括：判断单元，用于根据当前服务对应的编号以及日志类型判断当前服务下是否包括上述日志内容的日志类型；第一保存单元，用于在包括上述日志内容的日志类型，继续保存上述日志内容；第二保存单元，用于在没有包括上述日志内容的日志类型时，则自动创建该日志类型，之后继续保存上述日志内容。
优选地，上述日志采集服务器为能够配置进程数量的web服务器，其中，上述日志采集服务器根据日志报文的数量对上述进程数量进行配置。
与现有技术相比，本发明实施例至少具有以下优点：能够让整个系统的日志通过唯一的入口进行采集，实现了日志统一采集、记录、管理，开发维护人员能从一个页面浏览每一个服务产生的每一条日志记录。极大方便了用户协调工作，大大提升了排查问题，解决问题的效率。将资源消耗极大的日志采集一分为二，实现快速采集和延时查看。
附图说明
图1是根据本发明实施例的日志报文处理方法的流程图；
图2是根据本发明优选实施例的日志保存类型的配置页面截图；
图3是根据本发明优选实施例的日志报文处理方法的流程图；
图4是根据本发明实施例的日志报文处理系统的结构框图；以及
图5是根据本发明优选实施例的日志报文处理系统的结构框图。
具体实施方式
下面结合说明书附图对本发明的具体实现方式做一详细描述。
图1是根据本发明实施例的日志报文处理方法的流程图。如图1所示，该日志报文处理方法包括：
步骤S101：采用作为统一入口的日志采集服务器接收日志来源端发送的全部日志报文，其中，上述日志报文携带有当前服务对应的编号；
步骤S103：上述日志采集服务器将日志信息转换成json数据；
步骤S105：上述日志采集服务器将上述json数据发送至REDIS缓存中上述编号对应的哈希表中暂存。
采用图1所示的方法，能够让整个系统的日志通过唯一的入口进行采集，实现了日志统一采集、记录、管理，开发维护人员能从一个页面浏览每一个服务产生的每一条日志记录。极大方便了用户协调工作，大大提升了排查问题，解决问题的效率；将资源消耗极大的日志采集一分为二，实现快速采集和延时查看。
优选地，上述日志采集服务器接收日志来源端发送的全部日志报文包括：上述日志采集服务器接收上述日志来源端以POST请求方式发送的全部日志报文。
在优选实施过程中，网站，服务等日志来源端将日志报文构造为POST请求，然后发送至日志采集服务器。POST请求如下：
$data＝array(
“logName”＝>$moduleNm,
“code”＝>$typeCode,
“logInfo”＝>$msg,
“op”＝>’888’
)；
其中，code表示每个服务对应的编号；logName表示日志类型；logInfo表示日志内容；op表示日志操作人(888代表系统服务产生)。
优选地，在上述日志采集服务器将上述json数据发送至REDIS缓存中上述编号对应的哈希表中暂存之后，还可以包括：日志记录服务器每隔预定时间从上述REDIS缓存中上述编号对应的哈希表中获取全部json数据；上述日志记录服务器将哈希表中取出的json数据进行解析，得到日志内容并保存。
利用性能极佳的REDIS缓存作为中间保存工具，在内存中为每个服务创建一张哈希表，用来保存该服务产生的所有类型的服务。服务器接收到日志收集请求后，如果直接写入文件或是直接写入数据库，会受到数据库、文件写入较慢的限制，从而影响到整个服务的日志接收效率。
日志记录服务器每隔预定时间将内存哈希表中的数据全部取出，导入到数据库或表中。由于日志对实时性要求不是特别高，故采用间隔执行导入的方式，一方面定时减轻，内存的数据负担；另一方面控制了写入频率，不会对数据库或文件IO造成无法控制的压力。
优选地，上述日志报文还可以携带有：日志类型，则当前服务对应的编号上述日志记录服务器将哈希表中取出的json数据进行解析，得到日志内容并保存包括：上述日志记录服务器根据当前服务对应的编号以及日志类型判断当前服务下是否包括上述日志内容的日志类型；如果包括上述日志内容的日志类型，则继续保存上述日志内容；如果没有包括上述日志内容的日志类型，则自动创建该日志类型，之后继续保存上述日志内容。
优选地，上述日志记录服务器保存上述日志内容可以进一步包括：上述日志记录服务器对各个服务判断配置的保存类型，确定将上述日志内容保存到数据库和/或文本文件中。
在优选实施过程中，日志载体可以包括：文件或数据库表。在配置服务时，可以选择将日志保存为文件、数据库表或者两者都保存，根据需求灵活的选择记录方式，具体可以参见图2所示的配置页面截图。
优选地，上述日志采集服务器可以为能够配置进程数量的web服务器，其中，上述日志采集服务器根据日志报文的数量对上述进程数量进行配置。例如，日志报文的数量越多，可以配置越多的进程数量，这样多进程处理可以提高服务的处理效率。
以下结合图3进一步描述上述优选实施方式。
图3是根据本发明优选实施例的日志报文处理方法的流程图。如图3所示，该日志报文处理方法包括：
步骤S301：网站，服务等日志来源端将日志报文构造为POST请求。
例如，POST请求如下：
$data＝array(
“logName”＝>$moduleNm,
“code”＝>$typeCode,
“logInfo”＝>$msg,
“op”＝>’888’
)；
其中，code表示每个服务对应的编号；logName表示日志类型；logInfo表示日志内容；op表示日志操作人(888代表系统服务产生)。
步骤S303:通过POST请求将信息发送到日志采集服务器。
其中，日志采集服务器是一个能够设置进程数量的web服务器，可以根据日志量对进程数量进行配置，提高服务的处理过程。
步骤S305:日志采集服务器接收到日志报文后，将日志报文整理转换成json数据。
例如，json数据:{
"logName":"日志类型名称",
"logInfo":"日志内容",
"op":"操作者",
"dt":"日志时间"
}
步骤S307:将数据存入REDIS缓存中，当前服务对应的编号所对应的哈希表中。
步骤S309:日志记录服务器每隔预定时间(例如，一分钟)，将REDIS哈希表中的所有数据取出。
步骤S311：日志记录服务器将哈希表中取出的json进行解析，得到日志内容，日志记录服务器根据当前服务对应的编号以及日志类型进行处理，判断当前服务下是否已经包含该日志类型，有则继续保存日志，没有则会自动创建日志类型再继续保存日志。
步骤S313：日志记录服务器对各个服务判断配置的保存类型，确定是保存到数据库和/或文本文件中，将日志内容储存到相应的保存实体中。
图4是根据本发明实施例的日志报文处理系统的结构框图。如图4所示，该日志报文处理系统包括：作为统一入口的日志采集服务器1；其中，上述日志采集服务器1包括：接收模块10，用于接收日志来源端发送的全部日志报文，其中，上述日志报文携带有当前服务对应的编号；转换模块12，用于将日志信息转换成json数据；发送模块14，用于将上述json数据发送至REDIS缓存中上述编号对应的哈希表中暂存。
采用图4所示的系统，通过唯一的入口进行采集日志，实现了日志统一采集、记录、管理，开发维护人员能从一个页面浏览每一个服务产生的每一条日志记录。极大方便了用户协调工作，大大提升了排查问题，解决问题的效率；性能方便将资源消耗极大的日志采集一分为二，实现快速采集和延时查看。
优选地，如图5所示，上述系统还可以包括：日志记录服务器2，其中，上述日志记录服务器2包括：获取模块20，用于每隔预定时间从上述REDIS缓存中上述编号对应的哈希表中获取全部json数据；保存模块22，用于将哈希表中取出的json数据进行解析，得到日志内容并保存。
优选地，如图5所示，上述日志报文还可以携带有：日志类型，则上述保存模块22可以进一步包括：判断单元220，用于根据当前服务对应的编号以及日志类型判断当前服务下是否包括上述日志内容的日志类型；第一保存单元222，用于在包括上述日志内容的日志类型，继续保存上述日志内容；第二保存单元224，用于在没有包括上述日志内容的日志类型时，则自动创建该日志类型，之后继续保存上述日志内容。
优选地，上述日志采集服务器为能够配置进程数量的web服务器，其中，上述日志采集服务器根据日志报文的数量对上述进程数量进行配置。
综上所述，借助本发明提供的上述实施例，实现了日志统一采集、记录、管理，开发人员、维护人员能从一个页面就能够浏览每一个服务产生的各条日志记录。极大方便了用户协调工作，大大提升了排查问题，解决问题的效率；将资源消耗极大的日志采集一分为二，实现快速采集和延时查看。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种日志报文处理方法，其特征在于，包括：
采用作为统一入口的日志采集服务器接收日志来源端发送的全部日志报文，其中，所述日志报文携带有当前服务对应的编号；
所述日志采集服务器将日志信息转换成json数据；
所述日志采集服务器将所述json数据发送至REDIS缓存中所述编号对应的哈希表中暂存。
2.根据权利要求1所述的方法，其特征在于，所述日志采集服务器接收日志来源端发送的全部日志报文包括：所述日志采集服务器接收所述日志来源端以POST请求方式发送的全部日志报文。
3.根据权利要求1所述的方法，其特征在于，在所述日志采集服务器将所述json数据发送至REDIS缓存中所述编号对应的哈希表中暂存之后，还包括：
日志记录服务器每隔预定时间从所述REDIS缓存中所述编号对应的哈希表中获取全部json数据；
所述日志记录服务器将哈希表中取出的json数据进行解析，得到日志内容并保存。
4.根据权利要求3所述的方法，其特征在于，所述日志报文还携带有：日志类型，则当前服务对应的编号所述日志记录服务器将哈希表中取出的json数据进行解析，得到日志内容并保存包括：
所述日志记录服务器根据当前服务对应的编号以及日志类型判断当前服务下是否包括所述日志内容的日志类型；
如果包括所述日志内容的日志类型，则继续保存所述日志内容；
如果没有包括所述日志内容的日志类型，则自动创建该日志类型，之后继续保存所述日志内容。
5.根据权利要求4所述的方法，其特征在于，所述日志记录服务器保存所述日志内容包括：
所述日志记录服务器对各个服务判断配置的保存类型，确定将所述日志内容保存到数据库和/或文本文件中。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述日志采集服务器为能够配置进程数量的web服务器，其中，所述日志采集服务器根据日志报文的数量对所述进程数量进行配置。
7.一种日志报文处理系统，其特征在于，包括：作为统一入口的日志采集服务器；其中，所述日志采集服务器包括：
接收模块，用于接收日志来源端发送的全部日志报文，其中，所述日志报文携带有当前服务对应的编号；
转换模块，用于将日志信息转换成json数据；
发送模块，用于将所述json数据发送至REDIS缓存中所述编号对应的哈希表中暂存。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：日志记录服务器，其中，所述日志记录服务器包括：
获取模块，用于每隔预定时间从所述REDIS缓存中所述编号对应的哈希表中获取全部json数据；
保存模块，用于将哈希表中取出的json数据进行解析，得到日志内容并保存。
9.根据权利要求8所述的系统，其特征在于，所述日志报文还携带有：日志类型，则所述保存模块包括：
判断单元，用于根据当前服务对应的编号以及日志类型判断当前服务下是否包括所述日志内容的日志类型；
第一保存单元，用于在包括所述日志内容的日志类型，继续保存所述日志内容；
第二保存单元，用于在没有包括所述日志内容的日志类型时，则自动创建该日志类型，之后继续保存所述日志内容。
10.根据权利要求7至9中任一项所述的系统，其特征在于，所述日志采集服务器为能够配置进程数量的web服务器，其中，所述日志采集服务器根据日志报文的数量对所述进程数量进行配置。
CN201610888154.8A 2016-08-10 2016-10-12 日志报文处理方法及系统 Withdrawn CN106452867A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016106516107 2016-08-10
CN201610651610 2016-08-10

Publications (1)

Publication Number Publication Date
CN106452867A true CN106452867A (zh) 2017-02-22

Family

ID=58173445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610888154.8A Withdrawn CN106452867A (zh) 2016-08-10 2016-10-12 日志报文处理方法及系统

Country Status (1)

Country Link
CN (1) CN106452867A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426004A (zh) * 2017-05-03 2017-12-01 深圳市众泰兄弟科技发展有限公司 一种基于大数据的网络安全可视化处理方法
CN107612730A (zh) * 2017-09-18 2018-01-19 山东浪潮云服务信息科技有限公司 一种日志采集分析方法、装置以及系统
CN109992582A (zh) * 2019-02-19 2019-07-09 深圳点猫科技有限公司 一种基于图形编程的临时数据处理方法及电子设备
CN110753136A (zh) * 2019-10-24 2020-02-04 北京锐安科技有限公司 域名解析方法、装置、设备及存储介质
CN110990223A (zh) * 2019-11-27 2020-04-10 中诚信征信有限公司 一种基于系统日志的监控告警方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790686A (zh) * 2011-05-17 2012-11-21 浙江核新同花顺网络信息股份有限公司 日志数据采集方法、系统及服务器
CN103200046A (zh) * 2013-03-28 2013-07-10 青岛海信传媒网络技术有限公司 监控网元设备性能的方法及系统
CN105022822A (zh) * 2015-07-17 2015-11-04 成都视达科信息技术有限公司 一种基于php收集及存储日志的方法和系统
CN105577431A (zh) * 2015-12-11 2016-05-11 青岛云成互动网络有限公司 一种基于互联网应用的用户信息识别分类方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790686A (zh) * 2011-05-17 2012-11-21 浙江核新同花顺网络信息股份有限公司 日志数据采集方法、系统及服务器
CN103200046A (zh) * 2013-03-28 2013-07-10 青岛海信传媒网络技术有限公司 监控网元设备性能的方法及系统
CN105022822A (zh) * 2015-07-17 2015-11-04 成都视达科信息技术有限公司 一种基于php收集及存储日志的方法和系统
CN105577431A (zh) * 2015-12-11 2016-05-11 青岛云成互动网络有限公司 一种基于互联网应用的用户信息识别分类方法和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426004A (zh) * 2017-05-03 2017-12-01 深圳市众泰兄弟科技发展有限公司 一种基于大数据的网络安全可视化处理方法
CN107612730A (zh) * 2017-09-18 2018-01-19 山东浪潮云服务信息科技有限公司 一种日志采集分析方法、装置以及系统
CN109992582A (zh) * 2019-02-19 2019-07-09 深圳点猫科技有限公司 一种基于图形编程的临时数据处理方法及电子设备
CN110753136A (zh) * 2019-10-24 2020-02-04 北京锐安科技有限公司 域名解析方法、装置、设备及存储介质
CN110753136B (zh) * 2019-10-24 2022-03-04 北京锐安科技有限公司 域名解析方法、装置、设备及存储介质
CN110990223A (zh) * 2019-11-27 2020-04-10 中诚信征信有限公司 一种基于系统日志的监控告警方法及装置

Similar Documents

Publication Publication Date Title
CN106452867A (zh) 日志报文处理方法及系统
CN103927370B (zh) 一种组合文字和图片信息的网络资讯批量采集方法
CN103235820B (zh) 一种集群系统中数据存储方法与装置
CN103942287B (zh) 海量数据处理方法、数据库服务器及应用服务器
CN106295382B (zh) 一种信息风险防控方法及装置
CN103368957B (zh) 对网页访问行为进行处理的方法及系统、客户端、服务器
CN105468492A (zh) 一种基于搜索引擎的数据监控方法和系统
CA2487028A1 (en) System and method for facilitating information collection, storage, and distribution
CN104022922B (zh) 移动终端、心跳转发服务器以及心跳信息发送方法和系统
CN101833570A (zh) 一种移动终端页面推送优化的方法和装置
CN107145556B (zh) 通用的分布式采集系统
CN106155812A (zh) 一种对虚拟主机的资源管理的方法、装置、系统及电子设备
CN108509326A (zh) 一种基于nginx日志的服务状态统计方法及系统
CN101556586A (zh) 一种自动采集数据的方法、系统和装置
CN105721519B (zh) 一种网页数据采集方法、装置及系统
Hongqian et al. Cloud-based data management system for automatic real-time data acquisition from large-scale laying-hen farms
CN105069029B (zh) 一种实时etl系统及方法
CN105242873B (zh) 云计算系统的性能数据的采集与存储方法及装置
Siegel et al. Mothball toxicity.
CN102055621A (zh) 将网络业务与相关包有效关联的方法和设备
CN114661823A (zh) 数据同步的方法、装置、电子设备及可读存储介质
CN103812679A (zh) 一种海量日志统计分析系统和方法
CN108629013B (zh) 基于区块链的企业数据收集和展示的方法及其系统
US10761862B2 (en) Method and device for adding indicative icon in interactive application
CN106648722A (zh) 基于大数据的Flume接收端数据处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170222