CN112073408B - 基于Syslog协议和Kafka队列的监控方法 - Google Patents
基于Syslog协议和Kafka队列的监控方法 Download PDFInfo
- Publication number
- CN112073408B CN112073408B CN202010921284.3A CN202010921284A CN112073408B CN 112073408 B CN112073408 B CN 112073408B CN 202010921284 A CN202010921284 A CN 202010921284A CN 112073408 B CN112073408 B CN 112073408B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- syslog
- protocol
- syslog protocol
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 238000005538 encapsulation Methods 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Abstract
本发明实施例公开了业务系统技术领域的基于Syslog协议和Kafka队列的监控方法，包括如下步骤：S1、启动业务流程X，按照统一的执行规则依次执行各应用程序；S2、在执行各应用程序时，通过Syslog协议封装每个功能模块的日志输出模板；S3、利用Kafka队列进行日志的存放，并由任务监控中心进行数据的消费，统一按照规则对每个模块送过来的监控日志进行解析和处理。本发明充分利用了Syslog协议作为监控的载体，对Syslog协议进行重新的封装，对协议中的每个字段进行重新的定义，具备了高度的可扩展性和业务流程执行的完整性，同时采用Kafka队列的方式多每一个模块的发送出来的Syslog日志进行统一的存储和消费，避免了原来日志分散，不统一。
Description
技术领域
本发明实施例涉及业务系统技术领域，尤其涉及基于Syslog协议和Kafka队列的监控方法。
背景技术
目前在业务系统涉及多功能模块的运行过程中，针对某一个业务流转过程中涉及到的全生命周期的端到端完整的监控管理，尚缺有效的手段。如何针对一个完整的业务流程中间经历的各个模块，在每个功能模块中的业务处理过程和运行异常进行有效的监控，当前的处理手段是在每个单独功能模块进行日志查询，定位具体的处理异常和问题排查。
基于此，本发明设计了基于Syslog协议和Kafka队列的监控方法，以解决上述问题。
发明内容
本发明实施例提供基于Syslog协议和Kafka队列的监控方法，以解决背景技术中提及的技术问题。
本发明实施例提供基于Syslog协议和Kafka队列的监控方法。在一种可行的方案中，包括如下步骤：
S1、启动业务流程X，按照统一的执行规则依次执行各应用程序；
S2、在执行各应用程序时，通过Syslog协议封装每个功能模块的日志输出模板；
S3、利用Kafka队列进行日志的存放，并由任务监控中心进行数据的消费，统一按照规则对每个模块送过来的监控日志进行解析和处理。
本发明实施例提供基于Syslog协议和Kafka队列的监控方法。在一种可行的方案中，所述S2中的Syslog协议封装过程包括如下步骤：
执行过程中应用程序的agent将执行结果收集完成，通过Syslog协议进行封装，后发送到日志接收模块对日志进行接收，并对Syslog协议进行解析后，将所有的信息连同Message内容一同输送至Kafka队列。
本发明实施例提供基于Syslog协议和Kafka队列的监控方法。在一种可行的方案中，所述Syslog协议的内容包括业务功能模块的标识Facility、监控日志的等级定义Serverity、监控日志的发送时间Time、功能模块所在的主机标识HostName以及监控日志的完整结构体Message。
本发明实施例提供基于Syslog协议和Kafka队列的监控方法。在一种可行的方案中，所述S2中Syslog消息体结构格式为JSON格式，且所述Syslog消息体结构包括流程编号信息、接收时间信息、完成时间信息、处理结果信息以及结果描述信息。
本发明实施例提供基于Syslog协议和Kafka队列的监控方法。在一种可行的方案中，所述S3中任务监控中心对数据消费包括如下步骤：
按照任务执行规则依次接收业务流程X中各应用程序发送的监控日志，且在收到最后一组应用程序发送的监控日志后，标识业务流程X完结，并统一输出业务流程X的全生命周期的监控链路。
基于上述方案可知，本发明的有益效果为：
1、本发明通过利用Syslog协议封装每个功能模块的日志输出模板，再利用Kafka队列进行日志的存放，由统一的监控中心进行数据的消费，达到的程序运行监控；同时通过每一个业务流程的唯一ID进行所有模块的贯穿，在统一的监控中心输出一个完整的全生命周期的端到端监控链，方便了解跟踪每个业务流在经历的每一个功能模块的执行情况，包括正常的运行日志和异常的日志，充分保障了业务流程执行过程中每个功能模块执行过程的监控，实现了整个业务流执行的生命周期管理；
2、本发明充分利用了Syslog协议作为监控的载体，对Syslog协议进行重新的封装，对协议中的每个字段进行重新的定义，具备了高度的可扩展性和业务流程执行的完整性，同时采用Kafka队列的方式多每一个模块的发送出来的Syslog日志进行统一的存储和消费，避免了原来日志分散，不统一的弊病，实现业务流程执行多功能模块之间的全生命周期的管理，为保障系统的稳定运行和高效的监控提供了有效的手段。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明监控方法的业务流程框架图；
图2为本发明Syslog协议定义内容构架图。
实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，也可以是成一体；可以是机械连接，也可以是电连接，也可以是通讯连接；可以是直接连接，也可以通过中间媒介的间接连接，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1-2为本发明提供的基于Syslog协议和Kafka队列的监控方法；包括如下步骤：
S1、启动业务流程X，按照统一的执行规则依次执行各应用程序；
S2、在执行各应用程序时，通过Syslog协议封装每个功能模块的日志输出模板；
S3、利用Kafka队列进行日志的存放，并由任务监控中心进行数据的消费，统一按照规则对每个模块送过来的监控日志进行解析和处理。
通过上述内容不难发现，在利用本发明的基于Syslog协议和Kafka队列的监控方法对业务流程X中的应用程序执行过程中，通过业务流程X执行启动，按照执行规则可以依次从第一个应用程序A（start）开始执行，并经过应用程序B，直至应用程序N（end），即完成所有的业务流程X的执行过程；在对应用程序A开始执行时，执行过程中，会通过Syslog协议对应用程序A中每一个功能模块的日志输出模块，并将日志数据输送至Kafla队列进行存放，并通过利用任务监控中心对数据进行消费，同时按照统一规则对该日志数据进行解析和处理工作；在执行完成应用程序A后，依次类推，业务流程X会依次执行应用程序B，直至到应用程序N，完成对整个的业务流程X执行工作，充分保障了业务流程执行过程中每个功能模块执行过程的监控，实现了整个业务流执行的生命周期管理。
可选地，所述S2中的Syslog协议封装过程包括如下步骤：
执行过程中应用程序的agent将执行结果收集完成，通过Syslog协议进行封装，后发送到日志接收模块对日志进行接收，并对Syslog协议进行解析后，将所有的信息连同Message内容一同输送至Kafka队列。值得说明的是，在本实施例中，在执行业务流程X中的应用程序A，应用程序B，直至应用程序N，均通过此Syslog协议封装过程完成所有信息连通Message内容对Kafka队列的输送。
此外，所述Syslog协议的内容包括业务功能模块的标识Facility、监控日志的等级定义Serverity、监控日志的发送时间Time、功能模块所在的主机标识HostName以及监控日志的完整结构体Message，在yslog协议的内容中，业务功能模块的标识Facility为每一个功能模块定义的一个唯一标识，例如uacp-apl、uacp-commond、uscp-driver等；监控日志的等级定义Serverity可以为按如下等级定义：正常日志0、普通异常1、严重异常2、紧急异常3；监控日志的发送时间Time为发送监控日志的当前时间；监控日志的完整结构体Message为监控日志的具体内容。
再具体地说，所述S2中Syslog消息体结构格式为JSON格式，且所述Syslog消息体结构包括流程编号信息、接收时间信息、完成时间信息、处理结果信息以及结果描述信息；在本实施例中，消息结构体采用JSON的格式、具体JSON内容统一进行格式的定义，具体内容为：flow_id（业务流程唯一标识）、start_time（接收时间）、end_time（完成时间）、action_state（处理结果）和action_desc（结果描述）。主要包含流程编号、接收时间、完成时间、处理结果、结果描述等信息；在整个消息结构体设计过程中流程编号尤为重要，是贯穿整个业务流程执行整个生命周期的唯一标识。
进一步的，所述S3中任务监控中心对数据消费包括如下步骤：
按照任务执行规则依次接收业务流程X中各应用程序发送的监控日志，且在收到最后一组应用程序发送的监控日志后，标识业务流程X完结，并统一输出业务流程X的全生命周期的监控链路，通过此任务监控中心对数据消费过程，可以实现入库持久化。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一特征和第二特征直接接触，或第一特征和第二特征通过中间媒介间接接触。
而且，第一特征在第二特征“之上”、“上方”和“上面”可以是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度低于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述，意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任意一个或者多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (3)
1.基于Syslog协议和Kafka队列的监控方法，其特征在于，包括如下步骤：
S1、启动业务流程X，按照统一的执行规则依次执行各应用程序；
S2、在执行各应用程序时，通过Syslog协议封装每个功能模块的日志输出模板；
S3、利用Kafka队列进行日志的存放，并由任务监控中心进行数据的消费，统一按照规则对每个模块送过来的监控日志进行解析和处理；
所述S2中的Syslog协议封装过程包括如下步骤：执行过程中应用程序的agent将执行结果收集完成，通过Syslog协议进行封装，后发送到日志接收模块对日志进行接收，并对Syslog协议进行解析后，将所有的信息连同Message内容一同输送至Kafka队列；
所述S3中任务监控中心对数据消费包括如下步骤：按照任务执行规则依次接收业务流程X中各应用程序发送的监控日志，且在收到最后一组应用程序发送的监控日志后，标识业务流程X完结，并统一输出业务流程X的全生命周期的监控链路。
2.根据权利要求1所述的基于Syslog协议和Kafka队列的监控方法，其特征在于，所述Syslog协议的内容包括业务功能模块的标识Facility、监控日志的等级定义Serverity、监控日志的发送时间Time、功能模块所在的主机标识HostName以及监控日志的完整结构体Message。
3.根据权利要求1所述的基于Syslog协议和Kafka队列的监控方法，其特征在于，所述S2中Syslog消息体结构格式为JSON格式，且所述Syslog消息体结构包括流程编号信息、接收时间信息、完成时间信息、处理结果信息以及结果描述信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010921284.3A CN112073408B (zh) | 2020-09-04 | 2020-09-04 | 基于Syslog协议和Kafka队列的监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010921284.3A CN112073408B (zh) | 2020-09-04 | 2020-09-04 | 基于Syslog协议和Kafka队列的监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112073408A CN112073408A (zh) | 2020-12-11 |
| CN112073408B true CN112073408B (zh) | 2023-12-01 |
Family
ID=73666443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010921284.3A Active CN112073408B (zh) | 2020-09-04 | 2020-09-04 | 基于Syslog协议和Kafka队列的监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112073408B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102064969A (zh) * | 2010-12-27 | 2011-05-18 | 大唐移动通信设备有限公司 | 一种日志的处理方法和设备 |
| CN109669848A (zh) * | 2017-10-16 | 2019-04-23 | 比亚迪股份有限公司 | 日志生成方法、应用服务器、日志服务器及日志生成系统 |
| CN109818805A (zh) * | 2019-02-27 | 2019-05-28 | 山东浪潮云信息技术有限公司 | 一种服务网关日志记录及检索方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7653633B2 (en) * | 2005-11-12 | 2010-01-26 | Logrhythm, Inc. | Log collection, structuring and processing |
-
2020
- 2020-09-04 CN CN202010921284.3A patent/CN112073408B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102064969A (zh) * | 2010-12-27 | 2011-05-18 | 大唐移动通信设备有限公司 | 一种日志的处理方法和设备 |
| CN109669848A (zh) * | 2017-10-16 | 2019-04-23 | 比亚迪股份有限公司 | 日志生成方法、应用服务器、日志服务器及日志生成系统 |
| CN109818805A (zh) * | 2019-02-27 | 2019-05-28 | 山东浪潮云信息技术有限公司 | 一种服务网关日志记录及检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112073408A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102467412B (zh) | 一种处理操作请求的方法、装置及业务系统 | |
| CN110362401A (zh) | 数据跑批方法、装置、存储介质及集群中的成员主机 | |
| CN104412629A (zh) | 发现设备后即刻连接 | |
| CN112788128B (zh) | 业务信息的推送方法、装置、存储介质及电子装置 | |
| CN111400127B (zh) | 业务日志的监控方法及装置、存储介质、计算机设备 | |
| CN111625419B (zh) | 一种日志采集方法、系统、设备及计算机可读存储介质 | |
| CN101345652A (zh) | 数据采集方法及数据采集设备 | |
| CN110231998B (zh) | 分布式定时任务的检测方法、装置及存储介质 | |
| CN109219074B (zh) | 一种传感器网络的监听方法、监听器以及检测装置 | |
| CN111611254A (zh) | 设备能耗异常监测方法、装置、终端设备及存储介质 | |
| CN114710571B (zh) | 数据包处理系统 | |
| CN112073408B (zh) | 基于Syslog协议和Kafka队列的监控方法 | |
| CN112068963B (zh) | 一种嵌入式系统分布式调度系统 | |
| CN106302432B (zh) | 一种基于车联网的通信装置及控制方法 | |
| CN109246736B (zh) | 一种传感器网络监听系统、监听器及故障分析终端 | |
| CN111638871A (zh) | 一种设备信息处理方法、装置、设备、介质 | |
| CN112035311A (zh) | 一种程序逻辑监控方法及装置 | |
| CN113965447B (zh) | 一种在线云诊断方法、装置、系统、设备及存储介质 | |
| CN115866013A (zh) | 一种通信节点、数据传输方法及存储介质 | |
| CN112650597A (zh) | 高并发采集数据的处理系统及方法 | |
| CN109951309B (zh) | 电能云采集系统网络节点维护方法及装置 | |
| CN211293728U (zh) | Plc远程模块间的数据交互系统 | |
| CN108601009A (zh) | 一种一对多、降功耗、快速的无线设备连接方法和系统 | |
| CN110569673A (zh) | 一种数据文件处理方法、装置、设备及储存介质 | |
| CN114415953B (zh) | 一种对数据源进行数据采集的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |