CN111274215A - 一种基于分布式的日志统一管理方法 - Google Patents

一种基于分布式的日志统一管理方法 Download PDF

Info

Publication number
CN111274215A
CN111274215A CN202010016659.1A CN202010016659A CN111274215A CN 111274215 A CN111274215 A CN 111274215A CN 202010016659 A CN202010016659 A CN 202010016659A CN 111274215 A CN111274215 A CN 111274215A
Authority
CN
China
Prior art keywords
log
data
appcode
information
collection client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010016659.1A
Other languages
English (en)
Inventor
唐雪飞
莫稽
马晨曦
胡茂秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Comsys Information Technology Co ltd
Original Assignee
Chengdu Comsys Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Comsys Information Technology Co ltd filed Critical Chengdu Comsys Information Technology Co ltd
Priority to CN202010016659.1A priority Critical patent/CN111274215A/zh
Publication of CN111274215A publication Critical patent/CN111274215A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于分布式的日志统一管理方法，包括以下步骤：S1、安装日志采集客户端；S2、利用appCode做初始化统一标准配置；S3、各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；S4、定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；S5、将转换后的数据推送到分布式消息kafka；S6、取提取所需数据；S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；S9、日志统一展示。本发明在收集日志信息时，采用分布式消息队列方式挺高了应用吞吐量，在存储方面采用mongodb集群，能够大大的提高管理水平和工作效率。

Description

一种基于分布式的日志统一管理方法
技术领域
本发明涉及一种基于分布式的日志统一管理方法。
背景技术
传统的软件应用日志一般有两种管理方式：记录在本地文件中，当需要查询、处理时，从文件中抽取对应的信息，通过人工来处理，过程复杂且容易出错；另一种处理方式是把日志信息存储在数据库中，通过数据库语句来进行查询和分析。
随着企业业务发展需要，软件应用系统规模、容量，复杂度，数量也日趋提高，传统日志管理模式存在存储量不高，处理能力差，查询效率低，吞吐量低，数据杂乱等问题。一个复杂的软件应用系统都是若干个独立的软件应用集成起来的，这些软件应用存在相互调用关系，出现问题时需针对性的进行跟踪定位就必须依赖日志记录来综合查询分析问题所在，以及后续系统的升级，都需要通过日志综合运行情况提供决策依据，然而独立的软件应用日志各自存储比较分散难于统一查看管理且无法满足后续更复杂业务的发展。
发明内容
本发明的目的在于克服现有技术的不足，提供一种采用分布式消息队列方式挺高了应用吞吐量，能够满足大规模应用和后续持续集成更多的业务需求打下技术基础，大大的提高管理水平，工作效率的基于分布式的日志统一管理方法。
本发明的目的是通过以下技术方案来实现的：一种基于分布式的日志统一管理方法，包括以下步骤：
S1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；
S2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；
S3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；
S4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；
S5、将转换后的数据推送到分布式消息kafka；
S6、日志系统通过kafka提供的监听器拉取提取所需数据，并采用List数据类型作为日志的缓存队列；
S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；
S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；
S9、日志统一展示：通过mongodb查找出所需数据，并转换成图表进行展示。
进一步地，所述步骤S6具体实现方法为：设定kafka主题自动监听器，有信息时，自动读取信息数据，并按照不同的分类把数据拉取出来，装到List数据结构中，然后通过队列缓存起来。
本发明的有益效果是：本发明在收集日志信息时，采用分布式消息队列方式挺高了应用吞吐量，在存储方面采用mongodb集群，以及使用统一管理准确归类的模式大幅度的提高企业协同工作、处理错误效率，以及为更好的发展业务提供分析数据。能够满足大规模应用和后续持续集成更多的业务需求打下技术基础，大大的提高管理水平，工作效率。
附图说明
图1为本发明的基于分布式的日志统一管理方法的流程图。
具体实施方式
本发明提供了一种基于分布式的日志统一管理方法，将各个应用注册统一编码管理，分配appCode，以及收集应用的日志统一推送到分布式消息队列中；在分布式队列中提取日志信息，按照分类统一存储到mongodb，通过一个管理端统一展示所需数据，本发明通过appCode能在众多应用集中统一管理中快递查找到所需应用数据，并能查询对应应用全部的调用详情，运行详情，对于分析异常，定位异常非常方便快捷。在收集日志信息时，采用分布式消息队列方式挺高了应用吞吐量，在存储方面采用mongodb集群，能够满足大规模应用和后续持续集成更多的业务需求打下技术基础，大大的提高管理水平，工作效率。下面结合附图进一步说明本发明的技术方案。
如图1所示，本发明的一种基于分布式的日志统一管理方法，包括以下步骤：
S1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；当应用需要对日志进行管理时，首先把各个应用统一注册到日志系统开放的接口中拿到日志系统返回交互所需的appCode，此值用于后续交互，后边日志分类，检索日志，排查故障，在众多应用集中统一管理的情况下能快速查询所需要的日志信息非常方便、快捷。
S2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；为了避免日志信息不规范，良好的可读性，已经高效率的查询，需统一规范日志的数据结构，日志分类，以及推送接口，在接入日志管理时还需接入日志收集客户端，并用交互凭据appCode初始化，其中客户端制定了规范以及健全交互安全性，明确了日志分类格式，日志推送格式，以及日志数据结构，利用客户端规范化的标准为后续统一管理提供可靠的数据源。
S3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；日志相关信息收集成功后，数据由日志收集客户端统一处理，由此只需把数据传到日志收集客户端提供的推送接口即可，制定统一的推送接口标准，有利于数据的统一性，强壮程序应用，提高开发效率，以及为持续集成提供便利。
S4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；
S5、将转换后的数据推送到分布式消息kafka；数据经过转换后，推送到分布式消息kafka，按照应用appCodec创建kafka主题。其中kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写,kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在软件应用中的所有动作流数据，并需要能够支撑较大的数据量,且具备良好的容错能力，并能统一线上和离线的消息处理，大大提供了日志数据的吞吐量。
S6、日志系统通过kafka提供的监听器拉取提取所需数据，并采用List数据类型作为日志的缓存队列；设定kafka主题自动监听器，有信息时，自动读取信息数据，并按照不同的分类把数据拉取出来，装到List数据结构中，然后通过队列缓存起来，并且设定队列大小初始化值，设定可控队列更有效的利用资源，提高性能。
S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；
S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；为了可读性，更加科学的管理，以及提高查询效率，系统按照appCode把数据进行分类，存储到mongodb中，mongodb一个基于分布式文件存储的数据库,提供可扩展的高性能数据存储解决方案，支持动态查询，模式自由，支持完全索引，因为在分类存储时，mongodbcollection为appCode为命名，提高查询性能，更好的利用资源。
S9、日志统一展示：通过mongodb查找出所需数据，并转换成图表进行展示；本日志系统把界面使用了ECharts开源可视化库，提供分析和可视化的Web展示控件，它可以在实际应用中查找，交互数据，并生成各种维度的表图。主要展示信息包括：日志安全事件分析，日志耗时对比，失败时间日志分析图、日志查询结果，服务器资源。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种基于分布式的日志统一管理方法，其特征在于，包括以下步骤：
S1、为需要对日志进行管理的软件应用安装日志采集客户端，并将日志采集客户端注册到日志系统生成交互所需的appCode；
S2、利用appCode做初始化统一标准配置：统一规范日志的数据结构、日志分类和推送接口；
S3、采用统一的日志收集客户端采集软件应用的日志信息，各个应用按照统一标准配置将日志信息异步传递到日志收集客户端；
S4、日志收集客户端定义日志分类编码，利用日志分类编码对收集到的日志信息进行分类；并在内存中构建一个hashMap，将分类编码作为key，分类内容作为具体值存放在hashMap中，然后把hashMap转成JSON字符串；
S5、将转换后的数据推送到分布式消息kafka；
S6、日志系统通过kafka提供的监听器拉取提取所需数据，并采用List数据类型作为日志的缓存队列；
S7、设定存储事件的监听队列数量的阈值，当日志缓存队列的数量大于或等于设定的阈值时，触发转储动作；
S8、提取S1的appCode，按照appCode把日志数据进行分类，然后存储到mongodb中；
S9、日志统一展示：通过mongodb查找出所需数据，并转换成图表进行展示。
2.根据权利要求1所述的一种基于分布式的日志统一管理方法，其特征在于，所述步骤S6具体实现方法为：设定kafka主题自动监听器，有信息时，自动读取信息数据，并按照不同的分类把数据拉取出来，装到List数据结构中，然后通过队列缓存起来。
CN202010016659.1A 2020-01-08 2020-01-08 一种基于分布式的日志统一管理方法 Pending CN111274215A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010016659.1A CN111274215A (zh) 2020-01-08 2020-01-08 一种基于分布式的日志统一管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010016659.1A CN111274215A (zh) 2020-01-08 2020-01-08 一种基于分布式的日志统一管理方法

Publications (1)

Publication Number Publication Date
CN111274215A true CN111274215A (zh) 2020-06-12

Family

ID=70998828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010016659.1A Pending CN111274215A (zh) 2020-01-08 2020-01-08 一种基于分布式的日志统一管理方法

Country Status (1)

Country Link
CN (1) CN111274215A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306979A (zh) * 2020-10-30 2021-02-02 山东浪潮通软信息科技有限公司 基于消息队列的日志信息处理方法、装置及可读介质
CN114610689A (zh) * 2022-03-17 2022-06-10 焦点科技股份有限公司 一种分布式环境中请求日志的记录和分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891873A (zh) * 2011-07-21 2013-01-23 腾讯科技（深圳）有限公司 一种存储日志数据的方法及日志数据存储系统
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN107220304A (zh) * 2017-05-10 2017-09-29 杭州铭师堂教育科技发展有限公司 基于salt的海量mongodb慢日志管理系统
CN107861859A (zh) * 2017-11-22 2018-03-30 北京汇通金财信息科技有限公司 一种基于微服务架构的日志管理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891873A (zh) * 2011-07-21 2013-01-23 腾讯科技（深圳）有限公司 一种存储日志数据的方法及日志数据存储系统
CN106709003A (zh) * 2016-12-23 2017-05-24 长沙理工大学 基于Hadoop的海量日志数据处理方法
CN107220304A (zh) * 2017-05-10 2017-09-29 杭州铭师堂教育科技发展有限公司 基于salt的海量mongodb慢日志管理系统
CN107861859A (zh) * 2017-11-22 2018-03-30 北京汇通金财信息科技有限公司 一种基于微服务架构的日志管理方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306979A (zh) * 2020-10-30 2021-02-02 山东浪潮通软信息科技有限公司 基于消息队列的日志信息处理方法、装置及可读介质
CN112306979B (zh) * 2020-10-30 2022-11-01 浪潮通用软件有限公司 基于消息队列的日志信息处理方法、装置及可读介质
CN114610689A (zh) * 2022-03-17 2022-06-10 焦点科技股份有限公司 一种分布式环境中请求日志的记录和分析方法
CN114610689B (zh) * 2022-03-17 2024-04-30 焦点科技股份有限公司 一种分布式环境中请求日志的记录和分析方法

Similar Documents

Publication Publication Date Title
US10560465B2 (en) Real time anomaly detection for data streams
US11836533B2 (en) Automated reconfiguration of real time data stream processing
US10447772B2 (en) Managed function execution for processing data streams in real time
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
CN111339186B (zh) 工作流引擎数据同步方法、装置、介质及电子设备
CN112162965B (zh) 一种日志数据处理的方法、装置、计算机设备及存储介质
CN111309550A (zh) 应用程序的数据采集方法、系统、设备和存储介质
CN112115042A (zh) 一种基于采集回放的软件测试方法和系统
CN110147470B (zh) 一种跨机房数据比对系统及方法
EP3937022B1 (en) Method and apparatus of monitoring interface performance of distributed application, device and storage medium
CN113282611B (zh) 一种流数据同步的方法、装置、计算机设备及存储介质
CN111274215A (zh) 一种基于分布式的日志统一管理方法
CN112181960A (zh) 一种基于AIOps的智能运维框架系统
CN109308290A (zh) 一种基于cim的高效数据清洗转换方法
CN113590437B (zh) 一种告警信息处理方法、装置、设备和介质
CN114090529A (zh) 一种日志管理方法、装置、系统和存储介质
CN115964392A (zh) 基于flink的实时监控方法、装置、设备及可读存储介质
CN109324892A (zh) 分布式管理方法、分布式管理系统及装置
US10567469B1 (en) Embedding hypermedia resources in data interchange format documents
CN115391361A (zh) 一种基于分布式数据库的实时数据处理方法及其装置
CN114547106A (zh) 数据查询方法及装置、存储介质、计算机系统
CN116610531B (zh) 基于代码探针采集数据埋点及请求图片上传数据的方法
CN109710673B (zh) 作品处理方法、装置、设备和介质
CN117743291A (zh) 数据处理方法、装置、计算机设备及存储介质
CN116483824A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612