CN112363905A - 一种应用日志收集系统 - Google Patents

一种应用日志收集系统 Download PDF

Info

Publication number
CN112363905A
CN112363905A CN202110039207.XA CN202110039207A CN112363905A CN 112363905 A CN112363905 A CN 112363905A CN 202110039207 A CN202110039207 A CN 202110039207A CN 112363905 A CN112363905 A CN 112363905A
Authority
CN
China
Prior art keywords
log
application
unit
newly added
intermediate cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110039207.XA
Other languages
English (en)
Other versions
CN112363905B (zh
Inventor
朱金星
张静雅
丁飞
祝文东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunzhenxin Technology Co ltd
Original Assignee
Beijing Yunzhenxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunzhenxin Technology Co ltd filed Critical Beijing Yunzhenxin Technology Co ltd
Priority to CN202110039207.XA priority Critical patent/CN112363905B/zh
Publication of CN112363905A publication Critical patent/CN112363905A/zh
Application granted granted Critical
Publication of CN112363905B publication Critical patent/CN112363905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems

Abstract

本发明涉及一种应用日志收集系统，包括至少一个日志收集单元、中间缓存单元、日志过滤单元和日志存储单元，其中，所述日志收集单元设置在与主机节点相隔离的虚拟空间内，用于生成应用日志，并实时将新增应用日志传输给所述中间缓存单元；所述中间缓存单元用于缓存所述日志收集单元发送的新增应用日志；所述日志过滤单元用于实时监测所述中间缓存单元，当监测到所述中间缓存单元中新增应用日志时，获取所述新增应用日志并根据预设的过滤规则过滤所述新增应用日志，得到目标应用日志，将所述目标应用日志传输给所述日志存储单元；所述日志存储单元用于将所述目标应用日志进行物理存储。本发明能够简单快速地同步收集目标应用日志。

Description

一种应用日志收集系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种应用日志收集系统。
背景技术
现有技术中，通常需要收集应用日志，将目标日志快度同步至信息交互界面上，进行日志监控、日志分析等操作。但是，现有技术中，通常是将收集到的所有应用日志内容全部进行存储，耗费存储空间大，且当需要目标应用日志时，往往需要耗费大量的计算资源来分析所有存储的应用日志文件并从中获取目标应用日志，整个目标日志获取过程复杂，增大了服务器的计算压力，且获取目标日志的速度慢、效率低，具有滞后性。由此可知，如何简单快速地同步收集目标应用日志成为亟待解决的技术问题。
发明内容
本发明目的在于，提供一种应用日志收集系统，能够简单快速地同步收集目标应用日志。
本发明提供了一种应用日志收集系统，包括至少一个日志收集单元、中间缓存单元、日志过滤单元和日志存储单元，其中，
所述日志收集单元设置在与主机节点相隔离的虚拟空间内，用于生成应用日志，并实时将新增应用日志传输给所述中间缓存单元；
所述中间缓存单元用于缓存所述日志收集单元发送的新增应用日志；
所述日志过滤单元用于实时监测所述中间缓存单元，当监测到所述中间缓存单元中新增应用日志时，获取所述新增应用日志并根据预设的过滤规则过滤所述新增应用日志，得到目标应用日志，将所述目标应用日志传输给所述日志存储单元；
所述日志存储单元用于将所述目标应用日志进行物理存储。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种应用日志收集系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：
本发明能够简单快速地同步收集目标应用日志，提高了日志收集的速度和效率，且日志存储单元仅需存储所需要的目标应用日志，无需存储所有的应用日志，避免浪费存储空间，在存储前已经将应用日志过滤，后续进行日志分析时，直接从目标日志中简单获取即可，无需对全量日志进行分析计算，避免浪费计算资源。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1为本发明一实施例提供的应用日志收集系统示意图；
图2为本发明另一实施例提供的应用日志收集系统示意图。
【符号说明】
1：日志收集单元 2：中间缓存单元
3：日志过滤单元 4：日志存储单元
11：第一虚拟容器 12：虚拟日志目录
13：第二虚拟容器 。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种应用日志收集系统的具体实施方式及其功效，详细说明如后。
本发明实施例提供了一种应用日志收集系统，如图1所示，包括至少一个日志收集单元1、中间缓存单元2、日志过滤单元3和日志存储单元4，其中，所述日志收集单元1设置在与主机节点相隔离的虚拟空间内，用于生成应用日志，并实时将新增应用日志传输给所述中间缓存单元2；所述中间缓存单元2用于缓存所述日志收集单元1发送的新增应用日志；所述日志过滤单元3用于实时监测所述中间缓存单元2，当监测到所述中间缓存单元2中新增应用日志时，获取所述新增应用日志并根据预设的过滤规则过滤所述新增应用日志，得到目标应用日志，将所述目标应用日志传输给所述日志存储单元4；所述日志存储单元4用于将所述目标应用日志进行物理存储。
本发明实施例所述系统能够简单快速地同步收集目标应用日志，提高了日志收集的速度和效率，且日志存储单元4仅需存储所需要的目标应用日志，无需存储所有的应用日志，避免浪费存储空间，在存储前已经将应用日志过滤，后续进行日志分析时，直接从目标日志中简单获取即可，无需对全量日志进行分析计算，避免浪费计算资源。
根据本发明，所述系统可以物理实现为一个服务器，也可以实现为包括多个服务器的服务器群组，本领域技术人员知晓，服务器的型号、规格等参数并不影响本发明的保护范围。
作为一种实施例，如图2所示，所述日志收集单元1包括第一虚拟容器11、虚拟日志目录12和第二虚拟容器13，所述第一虚拟容器11嵌入一个对应的应用，其中，所述第一虚拟容器11用于生成其中嵌入应用对应的应用日志并置于所述虚拟日志目录12中；所述第二虚拟容器13用于实时监控所述虚拟日志目录12，当监测到所述虚拟日志目录12中新增应用日志时，从所述虚拟日志目录12中获取新增应用日志并传输给所述中间缓存单元2。日志是分散存储的，通过所述系统设置的日志收集单元1中可以将系统中对应的应用日志快速收集。可理解的是，如果系统针对X个应用收集应用日志，则所述系统包括X个日志收集单元1，每一第一虚拟容器11嵌入一个对应的应用。所述虚拟空间中内包括对应的内存和CPU，与主机节点隔离开，应用日志在对应的第一虚拟容器11中产生，不会污染到主机节点。所述第二虚拟容器13可以通过嵌入filebit工具来实时监控所述虚拟日志目录12，并获取新增应用日志，实现秒级获取，提高应用日志的收集效率，filebit工具是一个现有的轻量级的日志收集处理工具，占用资源少，在此不再展开描述。
所述虚拟日志目录12和所述第二虚拟容器13跟随对应的第一虚拟容器11的存在而存在，跟随第一虚拟容器11的销毁而销毁，因此，所述系统中的日志收集单元1可以根据应用的日志获取需求进行动态调整，例如，当所述系统无需收集已存在的第一应用的应用日志时，所述系统从所述虚拟空间中删除所述第一应用对应的日志收集单元1，可以理解的是，无需收集指的是后边不需要再收集分析的应用的应用日志。再如，当所述系统需要收集新增的第二应用的应用日志时，所述系统在所述虚拟空间中新增一个日志收集单元1，并在新增的日志收集单元1的第一虚拟容器11中嵌入所述第二应用，新增的日志收集单元1中会生成第二应用对应的虚拟日志目录12，新增的日志收集单元1中的第二虚拟容器13会对对应的虚拟日志目录12监控，并将新增的第二应用的应用日志实时传输给中间缓存单元2执行后续操作。根据应用的日志获取需求进行动态调整日志收集单元1体现了所述系统良好的扩展性。 此外，此外即便一些日志收集单元1被删除，但由于所述系统的数据流是不可逆的，之前存储在日志存储单元4中的应用日志信息并不会被删除，后续仍可被调用分析。
作为一种实施例，所述中间缓存单元2中设置有默认存储周期，当应用日志在所述中间缓存单元2中存储至所述默认存储周期时，所述中间缓存单元2将对应的应用日志从所述中间缓存单元2中删除。其中，默认存储周期可以设置为180天，这样技能和保证应用日志能够被实时获取到，或者后续默认存储周期内能够根据需求被获取到，又可以将无用的应用日志从中间缓存单元2中删除，避免无用的应用日志占用空间。中间缓存单元2具体可采用Kafka队列的形式来缓存新增应用日志，Kafka队列在此不再展开描述。
作为一种实施例，日志过滤单元3也能实现秒级监控，提高应用日志的收集效率，具体可以设置为根据时间戳监控单向一毫秒中间缓存单元2中是否出现新的数据，实现秒级响应。所述日志过滤单元3包括日志处理器和日志过滤器，其中，日志处理器用于根据预设的日志语法标识将所述新增应用日志进行分词处理，得到多个日志分词字段；日志过滤器用于根据预设的过滤规则过滤所得到多个日志分词字段，得到目标应用日志。
根据所设置的过滤规则，日志过滤器会进行对应的过滤处理来获对应的目标日志，例如，所述日志过滤器具体用于，获取所述多个日志分词字段中预设前M个日志分词字段作为目标应用日志，将其余日志分词字段滤除，M为正整数，根据具体的应用场景、应用日志收集需求来设定。再如，所述日志过滤器具体用于，判断所述多个日志分词字段中，是否出现连续出现预设N个中文字符的日志分词字段，若出现，则将对应的整条新增应用日志记录滤除，N为正整数，根据具体的应用场景、应用日志收集需求来设定。
可以理解的是，日志的过滤规则可以根据具体的日志收集需求来动态设置和调整，具有可扩展性。例如对于进行日志故障监控的应用场景，还可以将过滤规则根据故障日志监控机制来设置，获取故障起始时间、故障终止时间，根据日志时间戳，将故障启示时间和故障终止时间之间的日志确定为目标日志存储。
作为一种实施例，日志存储单元4具体可设置为基于内嵌式存储（embeddedstorage，简称ES）来实现，所述日志存储单元4可以包括多个ES存储集群，ES存储集群的结构在此不再展开描述。
作为一种实施例，所述系统还包括显示单元，用于每间隔预设的时间从所述日志存储单元4中获取目标应用日志进行显示，其中，时间间隔可设置为5s,这样每隔5S就可以直接刷新页面。作为一种实施例，所述显示单元还可用于接收用户输入关键字和时间点，并根据所述关键字和时间点检索所述日志存储单元4，获取对应的目标应用日志进行显示。
通过显示单元可以将对应的目标日志进行友好呈现，使用户迅速了解到对应应用的使用情况，提升了用户体验。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种应用日志收集系统，其特征在于，包括至少一个日志收集单元、中间缓存单元、日志过滤单元和日志存储单元，其中，
所述日志收集单元设置在与主机节点相隔离的虚拟空间内，用于生成应用日志，并实时将新增应用日志传输给所述中间缓存单元；
所述中间缓存单元用于缓存所述日志收集单元发送的新增应用日志；
所述日志过滤单元用于实时监测所述中间缓存单元，当监测到所述中间缓存单元中新增应用日志时，获取所述新增应用日志并根据预设的过滤规则过滤所述新增应用日志，得到目标应用日志，将所述目标应用日志传输给所述日志存储单元；
所述日志存储单元用于将所述目标应用日志进行物理存储。
2.根据权利要求1所述的系统，其特征在于，
所述日志收集单元包括第一虚拟容器、虚拟日志目录和第二虚拟容器，所述第一虚拟容器嵌入一个对应的应用，其中，
所述第一虚拟容器用于生成其中嵌入应用对应的应用日志并置于所述虚拟日志目录中；
所述第二虚拟容器用于实时监控所述虚拟日志目录，当监测到所述虚拟日志目录中新增应用日志时，从所述虚拟日志目录中获取新增应用日志并传输给所述中间缓存单元。
3.根据权利要求1所述的系统，其特征在于，
当所述系统无需收集已存在的第一应用的应用日志时，所述系统从所述虚拟空间中删除所述第一应用对应的日志收集单元。
4.根据权利要求1所述的系统，其特征在于，
当所述系统需要收集新增的第二应用的应用日志时，所述系统在所述虚拟空间中新增一个日志收集单元，并在新增的日志收集单元的第一虚拟容器中嵌入所述第二应用。
5.根据权利要求1所述的系统，其特征在于，
所述中间缓存单元中设置有默认存储周期，当应用日志在所述中间缓存单元中存储至所述默认存储周期时，所述中间缓存单元将对应的应用日志从所述中间缓存单元中删除。
6.根据权利要求1所述的系统，其特征在于，
所述日志过滤单元包括：
日志处理器，用于根据预设的日志语法标识将所述新增应用日志进行分词处理，得到多个日志分词字段；
日志过滤器，用于根据预设的过滤规则过滤所得到多个日志分词字段，得到目标应用日志。
7.根据权利要求6所述的系统，其特征在于，
所述日志过滤器具体用于，获取所述多个日志分词字段中预设前M个日志分词字段作为目标应用日志，将其余日志分词字段滤除。
8.根据权利要求6所述的系统，其特征在于，
所述日志过滤器具体用于，判断所述多个日志分词字段中，是否出现连续出现预设N个中文字符的日志分词字段，若出现，则将对应的整条新增应用日志记录滤除。
9.根据权利要求1所述的系统，其特征在于，
所述系统还包括显示单元，用于每间隔预设的时间从所述存储单元中获取目标应用日志进行显示。
10.根据权利要求9所述的系统，其特征在于，
所述显示单元还用于接收用户输入关键字和时间点，并根据所述关键字和时间点检索所述存储单元，获取对应的目标应用日志进行显示。
CN202110039207.XA 2021-01-13 2021-01-13 一种应用日志收集系统 Active CN112363905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110039207.XA CN112363905B (zh) 2021-01-13 2021-01-13 一种应用日志收集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110039207.XA CN112363905B (zh) 2021-01-13 2021-01-13 一种应用日志收集系统

Publications (2)

Publication Number Publication Date
CN112363905A true CN112363905A (zh) 2021-02-12
CN112363905B CN112363905B (zh) 2021-08-24

Family

ID=74534885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110039207.XA Active CN112363905B (zh) 2021-01-13 2021-01-13 一种应用日志收集系统

Country Status (1)

Country Link
CN (1) CN112363905B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968728A (zh) * 2010-09-27 2011-02-09 广东威创视讯科技股份有限公司 一种获取图像更新时垂直同步时间后的处理方法及装置
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN105893205A (zh) * 2015-11-20 2016-08-24 乐视云计算有限公司 监控基于docker创建的container的方法及系统
CN106354765A (zh) * 2016-08-19 2017-01-25 广东亿迅科技有限公司 一种基于分布式采集的日志分析系统及方法
CN106570057A (zh) * 2016-09-29 2017-04-19 上海爱数信息技术股份有限公司 一种计算机日志的自动整合过滤方法及系统
CN107239382A (zh) * 2017-06-23 2017-10-10 深圳市冬泉谷信息技术有限公司 一种容器应用的日志处理方法及系统
CN108509254A (zh) * 2018-04-17 2018-09-07 中山市华南理工大学现代产业技术研究院 Docker Container的监控方法及系统
US20180316759A1 (en) * 2017-04-27 2018-11-01 Microsoft Technology Licensing, Llc Pluggable autoscaling systems and methods using a common set of scale protocols for a cloud network
CN109245931A (zh) * 2018-09-19 2019-01-18 四川长虹电器股份有限公司 基于kubernetes的容器云平台的日志管理和监控报警的实现方法
CN109871258A (zh) * 2019-01-17 2019-06-11 珠海金山网络游戏科技有限公司 基于分布式容器的修改主机配置的方法及装置
CN111722974A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 日志信息的采集方法及装置、计算机设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968728A (zh) * 2010-09-27 2011-02-09 广东威创视讯科技股份有限公司 一种获取图像更新时垂直同步时间后的处理方法及装置
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN105893205A (zh) * 2015-11-20 2016-08-24 乐视云计算有限公司 监控基于docker创建的container的方法及系统
CN106354765A (zh) * 2016-08-19 2017-01-25 广东亿迅科技有限公司 一种基于分布式采集的日志分析系统及方法
CN106570057A (zh) * 2016-09-29 2017-04-19 上海爱数信息技术股份有限公司 一种计算机日志的自动整合过滤方法及系统
US20180316759A1 (en) * 2017-04-27 2018-11-01 Microsoft Technology Licensing, Llc Pluggable autoscaling systems and methods using a common set of scale protocols for a cloud network
CN107239382A (zh) * 2017-06-23 2017-10-10 深圳市冬泉谷信息技术有限公司 一种容器应用的日志处理方法及系统
CN108509254A (zh) * 2018-04-17 2018-09-07 中山市华南理工大学现代产业技术研究院 Docker Container的监控方法及系统
CN109245931A (zh) * 2018-09-19 2019-01-18 四川长虹电器股份有限公司 基于kubernetes的容器云平台的日志管理和监控报警的实现方法
CN109871258A (zh) * 2019-01-17 2019-06-11 珠海金山网络游戏科技有限公司 基于分布式容器的修改主机配置的方法及装置
CN111722974A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 日志信息的采集方法及装置、计算机设备

Also Published As

Publication number Publication date
CN112363905B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
US10180891B2 (en) Monitoring processes running on a platform as a service architecture
CN105824744B (zh) 一种基于b2b平台的实时日志采集分析方法
CN107729210B (zh) 分布式服务集群的异常诊断方法和装置
US9071637B2 (en) Automated security analytics platform
US8954971B2 (en) Data collecting method, data collecting apparatus and network management device
US10200388B2 (en) Automated security analytics platform with multi-level representation conversion for space efficiency and incremental persistence
US8984633B2 (en) Automated security analytics platform with visualization agnostic selection linked portlets
WO2020087082A1 (en) Trace and span sampling and analysis for instrumented software
WO2015168262A2 (en) Systems, devices and methods for generating locality-indicative data representations of data streams, and compressions thereof
CN111046011B (zh) 日志收集方法、系统、装置、电子设备及可读存储介质
CN108228322B (zh) 一种分布式链路跟踪、分析方法及服务器、全局调度器
CN107783881B (zh) 基于内存队列的网站动态性能监控方法及系统
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN108616556B (zh) 数据处理方法、装置和系统
CN111143158A (zh) 一种监控数据实时存储方法、系统、电子设备及存储介质
CN111813756A (zh) 一种日志检索系统、方法、装置、电子设备及存储介质
Suguna et al. Big data analysis in e-commerce system using HadoopMapReduce
Cao et al. Timon: A timestamped event database for efficient telemetry data processing and analytics
CN108337100B (zh) 一种云平台监测的方法和装置
CN112363905B (zh) 一种应用日志收集系统
CN110011845B (zh) 日志采集方法及系统
CN110888840A (zh) 分布式文件系统中的文件查询方法、装置、设备及介质
CN111190790A (zh) 一种基于峰值预测的云计算集群监控方法及系统
CN110019045B (zh) 日志落地方法及装置
JP2004178336A (ja) 運用管理システム、管理計算機、監視対象計算機、運用管理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant