CN109525422A - 一种日志数据监控管理方法 - Google Patents

一种日志数据监控管理方法 Download PDF

Info

Publication number
CN109525422A
CN109525422A CN201811290542.1A CN201811290542A CN109525422A CN 109525422 A CN109525422 A CN 109525422A CN 201811290542 A CN201811290542 A CN 201811290542A CN 109525422 A CN109525422 A CN 109525422A
Authority
CN
China
Prior art keywords
data
management
monitoring
task
managing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811290542.1A
Other languages
English (en)
Inventor
李刚
石淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Raindrop Technology Co Ltd
Original Assignee
Wuhan Raindrop Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Raindrop Technology Co Ltd filed Critical Wuhan Raindrop Technology Co Ltd
Priority to CN201811290542.1A priority Critical patent/CN109525422A/zh
Publication of CN109525422A publication Critical patent/CN109525422A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明属于数据处理技术领域，尤其涉及一种日志数据监控管理方法。本发明的日志数据监控管理方法通过分层节点布置避免了海量节点数据采集的弊端，提高数据实时处理的效率，降低日志数据管理以及监控的难度，利用分布式锁等相应结构和内容协调任务流程的管理和数据传递的过程，提高了多流程管理以及组织的效率，降低了设备负载。

Description

一种日志数据监控管理方法
技术领域
本发明属于数据处理技术领域，尤其涉及一种日志数据监控管理方法。
背景技术
日志是系统内反映各设备或节点运行状态、数据传输状态以及异常时间状态等多种数据信息的重要载体，一般情况下，日志数据存储在相应的节点设备上，在需要时，例如在评价或者分析系统整体运行状态以及运行历史数据等工作时，需要将各设备或节点上的日志数据进行提取和分析。但随着系统设备的不断增多以及节点种类以及数目的扩展，传统的日志数据提取以及存储方法将消耗大量的系统资源去完成，整个过程消需要耗很长的时间，其间对整个系统的运行会产生很大影响，在以下重要关键系统中更是会引起巨大的不利影响，同时整个系统内日志数据的后期处理以及存储等都将地来持续的执行压力，不利于在一些实时性、高负载的系统内使用。
发明内容
本发明创造的目的在于，提供一种对系统资源消耗低，数据处理便捷的日志数据监控管理方法。
为实现上述目的，本发明创造采用如下技术方案。
本发明的一种日志数据监控管理方法，包括如下步骤：
用于建立规范化的日志格式的步骤，所述日志由点区、内容区和标志区构成，节点区内存储有日志优先级、时间和代码行字节，为便于日志的兼容使用，时间采用标准的ISO8601格式；内容区用于表述日志输出目的；标志区由多各键值对构成，键值对之间相互分割；对于不符合格式要求的日志使用正则表达式进行处理，
用于建立数据监控服务的步骤，包括
数据采集、具体是指在需要采集的各节点构建采集层，在采集层之间的部分中心节点布置中间层，中间层收集采集层获取的数据(即日志文件)，并根据配置数据发送至不同的KafkaTopic分组；采集层以及中间层相互配置可以实现灵活高效的系统结构，利用中间层集中处理，减少采集层文件配置的内容，同时集中管理权限，减少系统隐患；在节点设备服务异常时，中间层设备重试连接其他节点；
数据处理、具体是指对不同的KafkaTopic分组分别进行实时计算，根据传入的任务地址查询任务配置信息，包括Topic、任务名、任务内容，根据已配置的Topic信息创建前端数据产生器，前端数据产生器定时的访问数据库以获取最新的任务配置信息并下发至多个转发节点器，转发节点器根据更新后的任务配置信息进行更新；转发节点器中至少包括用于根据配置要求进行规则匹配过滤的第一转发节点器；用于按照键值对将数据进行组合的第二转发节点器；用于调用API将统计数据写入数据库的第三转发节点器；利用Kafka作为缓存装置，降低后置服务的压力；
数据监管，具体是指启动分发任务流程、设置单独的线程进行异常问题检查、在发现设备异常时将相应任务调度至其他同级，同时利用MySQL服务机制实现分布式锁，在任务调度过程中利用获取锁提高调度效率，降低设备传输存储的资源消耗；
在具体实施过程中，服务器部署于多个节点之上，应用前端节点以及分发服务采用双机部署HTTP和反向代理服务，各节点之间采用分布式锁实现数据同步；
为便于实现管理以及信息获取，本实施例还包括用于实现可视化功能的步骤，包括在系统内构建ID管理、视图管理、接口管理、监控管理四个模块，ID管理模块建立关于操作者和使用者ID的异常数据接收管理，用于实现人员的管理和分组、添加或删除数据传递的路径；视图管理模块显示各模块配置以及状态等数据视图，提供快捷操作接口；接口管理模块创建和管理接口探活任务以及探活报警数据，包括在接口探活过程中创建接口地址，设定检查周期以及报警设置；监控管理创建不同的监控项目，并完成监控数据的管理。
其有益效果在于：本发明的日志数据监控管理方法通过分层节点布置避免了海量节点数据采集的弊端，提高数据实时处理的效率，降低日志数据管理以及监控的难度，利用分布式锁等相应结构和内容协调任务流程的管理和数据传递的过程，提高了多流程管理以及组织的效率，降低了设备负载。
附图说明
图1是数据处理流程中的配置数据管理流程示意图；
图2是实施例中异常检查和调度原理示意图。
具体实施方式
以下结合具体实施例对本发明创造作详细说明。
本发明的一种日志数据监控管理方法，包括如下步骤：
用于建立规范化的日志格式的步骤，所述日志由节点区、内容区和标志区构成，节点区内存储有日志优先级、时间和代码行字节，为便于日志的兼容使用，时间采用标准的ISO8601格式；内容区用于表述日志输出目的；标志区由多各键值对构成，键值对之间相互分割；对于不符合格式要求的日志使用正则表达式进行处理，
用于建立数据监控服务的步骤，包括
数据采集、具体是指在需要采集的各节点构建采集层，在采集层之间的部分中心节点布置中间层，中间层收集采集层获取的数据(即日志文件)，并根据配置数据发送至不同的KafkaTopic分组；采集层以及中间层相互配置可以实现灵活高效的系统结构，利用中间层集中处理，减少采集层文件配置的内容，同时集中管理权限，减少系统隐患；在节点设备服务异常时，中间层设备重试连接其他节点；
数据处理、具体是指对不同的KafkaTopic分组分别进行实时计算，根据传入的任务地址查询任务配置信息，包括Topic、任务名、任务内容，如图1所示，根据已配置的Topic信息创建前端数据产生器，前端数据产生器定时的访问数据库以获取最新的任务配置信息并下发至多个转发节点器，转发节点器根据更新后的任务配置信息进行更新；转发节点器中至少包括用于根据配置要求进行规则匹配过滤的第一转发节点器；用于按照键值对将数据进行组合的第二转发节点器；用于调用API将统计数据写入数据库的第三转发节点器；利用Kafka作为缓存装置，降低后置服务的压力；
数据监管，具体是指启动分发任务流程、设置单独的线程进行异常问题检查、在发现设备异常时将相应任务调度至其他同级，同时利用MySQL服务机制实现分布式锁，如图2所示，在任务调度过程中利用获取锁提高调度效率，降低设备传输存储的资源消耗，包括在获取锁后检查系统可用状态，并根据其可用状态进行不同操作，在操作完成后释放锁；
在具体实施过程中，服务器部署于多个节点之上，应用前端节点以及分发服务采用双机部署HTTP和反向代理服务，各节点之间采用分布式锁实现数据同步；
为便于实现管理以及信息获取，本实施例还包括用于实现可视化功能的步骤，包括在系统内构建ID管理、视图管理、接口管理、监控管理四个模块，ID管理模块建立关于操作者和使用者ID的异常数据接收管理，用于实现人员的管理和分组、添加或删除数据传递的路径；视图管理模块显示各模块配置以及状态等数据视图，提供快捷操作接口；接口管理模块创建和管理接口探活任务以及探活报警数据，包括在接口探活过程中创建接口地址，设定检查周期以及报警设置；监控管理创建不同的监控项目，并完成监控数据的管理。
最后应当说明的是，以上实施例仅用以说明本发明创造的技术方案，而非对本发明创造保护范围的限制，尽管参照较佳实施例对本发明创造作了详细地说明，本领域的普通技术人员应当理解，可以对本发明创造的技术方案进行修改或者等同替换，而不脱离本发明创造技术方案的实质和范围。

Claims (2)

1.一种日志数据监控管理方法，其特征在于，包括：
用于建立规范化的日志格式的步骤，所述日志由节点区、内容区和标志区构成，节点区内存储有日志优先级、时间和代码行字节，时间采用标准的ISO8601格式；内容区用于表述日志输出目的；标志区由多各键值对构成，键值对之间相互分割；对于不符合格式要求的日志使用正则表达式进行处理；
用于建立数据监控服务的步骤，包括数据采集、具体是指在需要采集的各节点构建采集层，在采集层之间的部分中心节点布置中间层，中间层收集采集层获取的数据，并根据配置数据发送至不同的KafkaTopic分组；采集层以及中间层相互配置可以实现灵活高效的系统结构，利用中间层集中处理，减少采集层文件配置的内容，同时集中管理权限，减少系统隐患；在节点设备服务异常时，中间层设备重试连接其他节点；以及，数据处理、具体是指对不同的KafkaTopic分组分别进行实时计算，根据传入的任务地址查询任务配置信息，包括Topic、任务名、任务内容，根据已配置的Topic信息创建前端数据产生器，前端数据产生器定时的访问数据库以获取最新的任务配置信息并下发至多个转发节点器，转发节点器根据更新后的任务配置信息进行更新；转发节点器中至少包括用于根据配置要求进行规则匹配过滤的第一转发节点器；用于按照键值对将数据进行组合的第二转发节点器；用于调用API将统计数据写入数据库的第三转发节点器；利用Kafka作为缓存装置，降低后置服务的压力；以及，数据监管，具体是指启动分发任务流程、设置单独的线程进行异常问题检查、在发现设备异常时将相应任务调度至其他同级，同时利用MySQL服务机制实现分布式锁，在任务调度过程中利用获取锁提高调度效率，降低设备传输存储的资源消耗；
在具体实施过程中，服务器部署于多个节点之上，应用前端节点以及分发服务采用双机部署HTTP和反向代理服务，各节点之间采用分布式锁实现数据同步。
2.根据权利要求1所述的一种日志数据监控管理方法，其特征在于，还包括用于实现可视化功能的步骤，具体是指在系统内构建ID管理、视图管理、接口管理、监控管理四个模块，ID管理模块建立关于操作者和使用者ID的异常数据接收管理，用于实现人员的管理和分组、添加或删除数据传递的路径；视图管理模块显示各模块配置以及状态等数据视图，提供快捷操作接口；接口管理模块创建和管理接口探活任务以及探活报警数据，包括在接口探活过程中创建接口地址，设定检查周期以及报警设置；监控管理创建不同的监控项目，并完成监控数据的管理。
CN201811290542.1A 2018-10-31 2018-10-31 一种日志数据监控管理方法 Pending CN109525422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811290542.1A CN109525422A (zh) 2018-10-31 2018-10-31 一种日志数据监控管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811290542.1A CN109525422A (zh) 2018-10-31 2018-10-31 一种日志数据监控管理方法

Publications (1)

Publication Number Publication Date
CN109525422A true CN109525422A (zh) 2019-03-26

Family

ID=65773074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811290542.1A Pending CN109525422A (zh) 2018-10-31 2018-10-31 一种日志数据监控管理方法

Country Status (1)

Country Link
CN (1) CN109525422A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090698A (zh) * 2019-11-29 2020-05-01 国电南瑞科技股份有限公司 一种面向配网1+n系统集中监控的告警同步方法和装置
CN113111071A (zh) * 2021-05-11 2021-07-13 星辰天合（北京）数据科技有限公司 对象处理方法、装置、非易失性存储介质及处理器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105207826A (zh) * 2015-10-26 2015-12-30 南京联成科技发展有限公司 一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
US20170075693A1 (en) * 2015-09-16 2017-03-16 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
CN106571960A (zh) * 2016-11-03 2017-04-19 北京农信互联科技有限公司 日志收集管理系统及方法
CN106649670A (zh) * 2016-12-14 2017-05-10 北京五八信息技术有限公司 基于流式计算的数据监控方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170075693A1 (en) * 2015-09-16 2017-03-16 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
CN105207826A (zh) * 2015-10-26 2015-12-30 南京联成科技发展有限公司 一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统
CN105868075A (zh) * 2016-03-31 2016-08-17 浪潮通信信息系统有限公司 一种实时监控分析大量日志的系统及方法
CN106571960A (zh) * 2016-11-03 2017-04-19 北京农信互联科技有限公司 日志收集管理系统及方法
CN106649670A (zh) * 2016-12-14 2017-05-10 北京五八信息技术有限公司 基于流式计算的数据监控方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111090698A (zh) * 2019-11-29 2020-05-01 国电南瑞科技股份有限公司 一种面向配网1+n系统集中监控的告警同步方法和装置
CN111090698B (zh) * 2019-11-29 2022-08-26 国电南瑞科技股份有限公司 一种面向配网1+n系统集中监控的告警同步方法和装置
CN113111071A (zh) * 2021-05-11 2021-07-13 星辰天合（北京）数据科技有限公司 对象处理方法、装置、非易失性存储介质及处理器
CN113111071B (zh) * 2021-05-11 2024-05-07 北京星辰天合科技股份有限公司 对象处理方法、装置、非易失性存储介质及处理器

Similar Documents

Publication Publication Date Title
CN109327509B (zh) 一种主/从架构的低耦合的分布式流式计算系统
CN112671560B (zh) 一种高可用的分布式实时告警处理方法及系统
CN104536809B (zh) 一种基于客户端、服务器系统的分布式定时任务调度系统
CN106612199B (zh) 一种网络监控数据收集与分析系统及方法
CN110247810A (zh) 一种收集容器服务监控数据的系统及方法
CN107508722B (zh) 一种业务监控方法和装置
CN107528870B (zh) 一种数据采集方法及其设备
CN108471366A (zh) 一种面向云原生应用的立体监控系统
CN103546343B (zh) 网络流量分析系统的网络流量展示方法和系统
CN104243185B (zh) 一种体验式业务监控系统
CN104092755B (zh) 一种云服务起源数据的捕获方法和装置
CN104270779A (zh) 一种无线网络故障原因预处理方法及无线网络故障工单派发系统
CN108965048B (zh) 语音网关的数据采集方法、装置及存储介质、服务器
CN110071873A (zh) 一种发送数据的方法、装置及相关设备
CN110162512A (zh) 一种日志检索方法、装置及存储介质
CN110912731B (zh) 基于nfv采用dpi技术实现业务识别和拓扑分析的系统和方法
CN114518934A (zh) 一种统一运维平台架构系统
CN106559498A (zh) 风控数据收集平台及其收集方法
CN109525422A (zh) 一种日志数据监控管理方法
US10331484B2 (en) Distributed data platform resource allocator
CN114356692A (zh) 一种应用监控链路的可视化处理方法、装置及存储介质
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN111817865A (zh) 一种监控网管设备的方法及监控系统
CN105490849B (zh) 应用系统的自动部署方法及系统
CN113570347A (zh) 一种面向微服务架构系统的rpa运维方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326