CN106991177B - 一种分布式环境下实时日志的无损采集方法及其系统 - Google Patents

一种分布式环境下实时日志的无损采集方法及其系统 Download PDF

Info

Publication number
CN106991177B
CN106991177B CN201710221073.7A CN201710221073A CN106991177B CN 106991177 B CN106991177 B CN 106991177B CN 201710221073 A CN201710221073 A CN 201710221073A CN 106991177 B CN106991177 B CN 106991177B
Authority
CN
China
Prior art keywords
log
file
configuration
acquisition
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710221073.7A
Other languages
English (en)
Other versions
CN106991177A (zh
Inventor
张雷
张伟
何广柏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eshore Technology Co Ltd
Original Assignee
Guangdong Eshore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eshore Technology Co Ltd filed Critical Guangdong Eshore Technology Co Ltd
Priority to CN201710221073.7A priority Critical patent/CN106991177B/zh
Publication of CN106991177A publication Critical patent/CN106991177A/zh
Application granted granted Critical
Publication of CN106991177B publication Critical patent/CN106991177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2358Change logging, detection, and notification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种分布式环境下实时日志的无损采集方法及其系统,该方法包括获取日志文件中的日志消息;采用Disk‑Assisted缓冲模式对所述日志消息进行缓存;实时更新状态信息到偏移量状态文件;记录日志文件与偏移量状态文件的对应关系;判断日志文件是否出现漏采情况;若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件。本发明通过将日志消息持久化到磁盘中,保障消息不丢失,偏移量状态文件的更新有利于保障消息不丢失或重复发送数据,对日志文件进行漏采判断,防止漏采情况发生,实现无损的采集实时日志,配置以及运营均方便,性能高,保障分布式系统日志采集实时性与可靠性,具有强大的异常重采能力。

Description

一种分布式环境下实时日志的无损采集方法及其系统
技术领域
本发明涉及日志采集方法,更具体地说是指一种分布式环境下实时日志的无损采集方法及其系统。
背景技术
随着平台化技术和分布式计算技术的发展,用于记录用户操作、系统运行状态的日志可能遍布成百上千的服务器上,如何将这些数据收集到一起,供后续分析使用,是一大技术难题。分布式采集系统的出现就是为了满足分布式系统环境下海量日志的采集需求,分布式采集系统利用分布在网络联通的多个计算机节点上的采集器,通过元数据统一管理、采集器分布存放实现分布式环境下系统的日志采集。
目前,通常采用Rsyslog以及Logstash两种方式进行日志的采集,Rsyslog是Linux日志机制的核心常驻服务,该服务负责监听Linux下的日志信息,并把日志信息追加到对应的日志文件中,一般在/var/log目录下。它还可以把日志信息通过网络协议发送到另一台Linux服务器上。Rsyslog采用模块化设计,能够定制各类数据发送方,同时提供对数据进行处理并写到各种数据接受方(可定制)的能力。Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置。Logstash也采用模块化设计,能够支持多种发送方,同时提供对数据进行处理并写到各种数据接受方(可定制)的能力。其低准入门槛适合小企业使用。
使用Rsyslog进行采集日志文件时会有以下的缺点:
1、Rsyslog的单点问题会导致异常退出期间部分滚动输出的日志文件无法采集。
2、Rsyslog不支持动态日志目录采集如每日更新的日期目录,同时也不支持对相同结构的多目录进行统一配置与采集。
3、Rsyslog不支持采集后日志文件的归档与删除,日志输出目录的文件数量越来越多,需要人工归档与删除。
使用Logstash进行采集日志文件时会有以下的缺点:
1、Logstash的单点问题会导致异常退出期间,会出现高概率的重发与丢失日志消息。
2、Logstash不支持动态日志目录采集如每日更新的日期目录,同时也不支持对相同结构的多目录进行统一配置与采集。
3、Logstash都不支持采集后日志文件的归档与删除,日志输出目录的文件数量越来越多。
4、在分布式系统环境下,Logstash采集配置等元数据没有中心化配置与发布等功能,无法对各个主机的采集元数据有效管理。
5、在分布式系统环境下,Logstash没有提供监控输出接口,无法有效管理Logstash地状态。
4、Logstash采用ruby开发,采集性能低下。
因此,有必要设计一种分布式环境下实时日志的无损采集方法及其系统,实现无损的采集实时日志,配置以及运营均方便,且性能高,不仅保障分布式系统日志采集实时性与可靠性,同时具有了强大的异常重采能力。
发明内容
本发明的目的在于克服现有技术的缺陷,提供一种分布式环境下实时日志的无损采集方法及其系统。
为实现上述目的,本发明采用以下技术方案:一种分布式环境下实时日志的无损采集方法,所述方法包括:
获取日志文件中的日志消息;
采用Disk-Assisted缓冲模式对所述日志消息进行缓存;
实时更新状态信息到偏移量状态文件;
记录日志文件与偏移量状态文件的对应关系;
判断日志文件是否出现漏采情况;
若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件。
其进一步技术方案为:采用Disk-Assisted缓冲模式对所述日志消息进行缓存的步骤之后,还包括:
对日志消息进行格式化与过滤。
其进一步技术方案为:获取日志文件中的日志消息的步骤,包括以下具体步骤:
判断采集路径中是否含有“*”,若采集路径中含有“*”,则根据目录生成实际的采集配置文件,采集多目录下的日志文件,或者,若采集路径中不含有“*”,则进行下一步骤;
判断采集路径中是否含有“{date}”,若采集路径中含有“{date}”,则定时根据当日日期生成对应的采集配置文件,采集动态日期目录下的日志文件,或者,若采集路径中不含有“{date}”,则采集单目录下的日志文件。
其进一步技术方案为:采用Disk-Assisted缓冲模式对所述日志消息进行缓存的步骤,包括以下具体步骤:
判断内存队列是否处于满载状态或者退出状态;
若内存队列不处于满载状态或者退出状态,则将所述日志消息缓存于所述内存列队中;
若内存队列处于满载状态或者退出状态,则激活磁盘队列,将所述日志消息持久化到磁盘中。
其进一步技术方案为:若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件的步骤之后,还包括:
对最后更新时间为历史日期的日志文件发起归档与删除操作。
其进一步技术方案为:所述一种分布式环境下实时日志的无损采集方法还包括:
提供网页进行统一配置与发布。
本发明还提供了一种分布式环境下实时日志的无损采集系统,包括输入单元、消息缓存单元、输出单元、记录单元以及数据检测单元;
所述输入单元,用于获取日志文件中的日志消息;
所述消息缓存单元,用于采用Disk-Assisted缓冲模式对所述日志消息进行缓存;
所述输出单元,用于实时更新状态信息到偏移量状态文件;
所述记录单元,用于记录日志文件与偏移量状态文件的对应关系;
所述数据检测单元,用于判断日志文件是否出现漏采情况,若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件。
其进一步技术方案为:所述一种分布式环境下实时日志的无损采集系统还包括解析过滤单元,所述解析过滤单元用于对日志消息进行格式化与过滤。
其进一步技术方案为:所述输入单元包括多目录采集模块以及动态目录采集模块;
所述多目录采集模块,用于判断采集路径中是否含有“*”,若采集路径中含有“*”,则根据目录生成实际的采集配置文件,采集多目录下的日志文件;
所述动态目录采集模块,用于判断采集路径中是否含有“{date}”,若采集路径中含有“{date}”,则定时根据当日日期生成对应的采集配置文件,采集动态日期目录下的日志文件,或者,若采集路径中不含有“{date}”,则采集单目录下的日志文件。
其进一步技术方案为:所述消息缓存单元包括判断模块、内存列队缓存模块以及磁盘队列缓存模块;
所述判断模块,用于判断内存队列是否处于满载状态或者退出状态;
所述内存列队缓存模块,用于若内存队列不处于满载状态或者退出状态,则将所述日志消息缓存于所述内存列队中;
所述磁盘队列缓存模块,用于若内存队列处于满载状态或者退出状态,则激活磁盘队列,将所述日志消息持久化到磁盘中。
本发明与现有技术相比的有益效果是:本发明的一种分布式环境下实时日志的无损采集方法,通过将获取的日志消息进行缓存,当内存队列满或者退出时会激活磁盘队列,用于持久化到磁盘中,保障消息不丢失,偏移量状态文件的更新有利于保障消息不丢失或者重复发送数据,对日志文件进行漏采判断,防止漏采情况发生,实现无损的采集实时日志,配置以及运营均方便,且性能高,不仅保障分布式系统日志采集实时性与可靠性,同时具有了强大的异常重采能力。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
图1为本发明具体实施例提供的一种分布式环境下实时日志的无损采集方法的流程图;
图2为本发明具体实施例提供的获取日志文件中的日志消息的具体流程图;
图3为本发明具体实施例提供的采用Disk-Assisted缓冲模式对日志消息进行缓存的具体流程图;
图4为本发明具体实施例提供的一种分布式环境下实时日志的无损采集系统的结构示意图;
图5为本发明具体实施例提供的输入单元的结构示意图;
图6为本发明具体实施例提供的消息缓存单元的结构示意图。
具体实施方式
为了更充分理解本发明的技术内容,下面结合具体实施例对本发明的技术方案进一步介绍和说明,但不局限于此。
如图1~6所示的具体实施例,本实施例提供的一种分布式环境下实时日志的无损采集方法,可以运用在分布式系统的日志统一归集管理中,实现无损的采集实时日志,配置以及运营均方便,且性能高,不仅保障分布式系统日志采集实时性与可靠性,同时具有了强大的异常重采能力。
本实施例提供的一种分布式环境下实时日志的无损采集方法,该方法包括:
S1、获取日志文件中的日志消息;
S2、采用Disk-Assisted缓冲模式对所述日志消息进行缓存;
S3、对日志消息进行格式化与过滤;
S4、实时更新状态信息到偏移量状态文件;
S5、记录日志文件与偏移量状态文件的对应关系;
S6、判断日志文件是否出现漏采情况;
S7、若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件;
S8、对最后更新时间为历史日期的日志文件发起归档与删除操作。
上述的一种分布式环境下实时日志的无损采集方法还包括:若日志文件不出现漏采情况,则进入S8步骤。
对于上述的S1步骤,获取日志文件中的日志消息,使用事件监听方式进行获取日志消息,当日志文件写入事件触发时,将第一时间采集到日志消息并发送到缓冲队列当中,其包括以下具体步骤:
S11、判断采集路径中是否含有“*”,若采集路径中含有“*”,则S12、根据目录生成实际的采集配置文件,采集多目录下的日志文件,或者,若采集路径中不含有“*”,则进行下一步骤;
S13、判断采集路径中是否含有“{date}”,若采集路径中含有“{date}”,则S14、定时根据当日日期生成对应的采集配置文件,采集动态日期目录下的日志文件,或者,若采集路径中不含有“{date}”,则S15、采集单目录下的日志文件。
上述的S11步骤-S14步骤,实现文件多目录、动态目录文件采集。
更进一步的,上述的S2步骤,采用Disk-Assisted缓冲模式对所述日志消息进行缓存的步骤,包括以下具体步骤:
S21、判断内存队列是否处于满载状态或者退出状态;
S22、若内存队列不处于满载状态或者退出状态,则将所述日志消息缓存于所述内存列队中;
S23、若内存队列处于满载状态或者退出状态,则激活磁盘队列,将所述日志消息持久化到磁盘中。
当内存队列处于满载状态或者退出状态时会激活磁盘队列,用于持久化到磁盘中,保障消息不丢失。
上述的S4步骤,实时更新状态信息到偏移量状态文件,安全可靠输出日志消息,并在输出异常时保证日志消息的存盘。
上述的状态信息包括偏移量等状态信息。当Eops-Agent采集器重启时会加载状态信息,并从偏移量处重新读取数据,保障消息不丢失或者重复发送数据。
上述的S6步骤以及S7步骤,不仅保障分布式系统日志采集实时性与可靠性,同时具有了强大的异常重采能力,为进一步实现分布式系统日志统一归集管理提供基础设施。
对于S8步骤,对最后更新时间为历史日期的日志文件发起归档与删除操作,采集后文件归档与删除,支持无损实时采集。
另外,上述的一种分布式环境下实时日志的无损采集方法包括提供网页进行统一配置与发布,实现可视化统一配置、中心化管理。
在网页上提供统一配置功能,可以对进行采集的日志文件名称、进程号、路径、归档路径与是否删除等信息进行配置,配置完成生成配置模板文件。
发布前需要选择配置模板文件与完成发布所属集群、主机组等发布信息的配置,进行发布操作后,网页界面将配置模板文件发布到对应主机的Eops-Agent采集器采集配置模板目录下,并重启采集器,完成采集发布。
上述的一种分布式环境下实时日志的无损采集方法,通过将获取的日志消息进行缓存,当内存队列满或者退出时会激活磁盘队列,用于持久化到磁盘中,保障消息不丢失,偏移量状态文件的更新有利于保障消息不丢失或者重复发送数据,对日志文件进行漏采判断,防止漏采情况发生,实现无损的采集实时日志,配置以及运营均方便,且性能高,不仅保障分布式系统日志采集实时性与可靠性,同时具有了强大的异常重采能力。
如图4所示,本实施例还提供了一种分布式环境下实时日志的无损采集系统,包括输入单元10、消息缓存单元20、输出单元40、记录单元50以及数据检测单元60。
输入单元10,用于获取日志文件中的日志消息。
消息缓存单元20,用于采用Disk-Assisted缓冲模式对所述日志消息进行缓存。
输出单元40,用于实时更新状态信息到偏移量状态文件。
记录单元50,用于记录日志文件与偏移量状态文件的对应关系。
数据检测单元60,用于判断日志文件是否出现漏采情况,若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件。
上述的一种分布式环境下实时日志的无损采集系统还包括解析过滤单元30,解析过滤单元30用于对日志消息进行格式化与过滤。
更进一步的,上述的输入单元10包括多目录采集模块11以及动态目录采集模块12。
多目录采集模块11,用于判断采集路径中是否含有“*”,若采集路径中含有“*”,则根据目录生成实际的采集配置文件,采集多目录下的日志文件。
动态目录采集模块12,用于判断采集路径中是否含有“{date}”,若采集路径中含有“{date}”,则定时根据当日日期生成对应的采集配置文件,采集动态日期目录下的日志文件,或者,若采集路径中不含有“{date}”,则采集单目录下的日志文件。
上述的多目录采集模块11以及动态目录采集模块12实现文件多目录、动态目录文件采集。
另外,消息缓存单元20包括判断模块21、内存列队缓存模块22以及磁盘队列缓存模块23。
判断模块21,用于判断内存队列是否处于满载状态或者退出状态。
内存列队缓存模块22,用于若内存队列不处于满载状态或者退出状态,则将所述日志消息缓存于所述内存列队中。
磁盘队列缓存模块23,用于若内存队列处于满载状态或者退出状态,则激活磁盘队列,将所述日志消息持久化到磁盘中。
当内存队列处于满载状态或者退出状态时会激活磁盘队列,用于持久化到磁盘中,保障消息不丢失。
输出单元40安全可靠输出日志消息,并在输出异常时保证日志消息的存盘,上述的状态信息包括偏移量等状态信息。当Eops-Agent采集器重启时会加载状态信息,并从偏移量处重新读取数据,保障消息不丢失或者重复发送数据。
数据检测单元60不仅保障分布式系统日志采集实时性与可靠性,同时具有了强大的异常重采能力,为进一步实现分布式系统日志统一归集管理提供基础设施。
另外,上述的一种分布式环境无损的实时日志采集系统还包括归档删除单元70,用于对最后更新时间为历史日期的日志文件发起归档与删除操作,采集后文件归档与删除,支持无损实时采集。
更进一步的,上述的一种分布式环境无损的实时日志采集系统还包括配置单元80,该配置单元80用于提供网页进行统一配置与发布,实现可视化统一配置、中心化管理。
在网页上提供统一配置功能,可以对进行采集的日志文件名称、进程号、路径、归档路径与是否删除等信息进行配置,配置完成生成配置模板文件。
发布前需要选择配置模板文件与完成发布所属集群、主机组等发布信息的配置,进行发布操作后,网页界面将配置模板文件发布到对应主机的Eops-Agent采集器采集配置模板目录下,并重启采集器,完成采集发布。
上述的一种分布式环境下实时日志的无损采集系统,通过将获取的日志消息进行缓存,当内存队列满或者退出时会激活磁盘队列,用于持久化到磁盘中,保障消息不丢失,偏移量状态文件的更新有利于保障消息不丢失或者重复发送数据,对日志文件进行漏采判断,防止漏采情况发生,实现无损的采集实时日志,配置以及运营均方便,且性能高,不仅保障分布式系统日志采集实时性与可靠性,同时具有了强大的异常重采能力。
上述仅以实施例来进一步说明本发明的技术内容,以便于读者更容易理解,但不代表本发明的实施方式仅限于此,任何依本发明所做的技术延伸或再创造,均受本发明的保护。本发明的保护范围以权利要求书为准。

Claims (9)

1.一种分布式环境下实时日志的无损采集方法,其特征在于,所述方法包括:
获取日志文件中的日志消息;
采用Disk-Assisted缓冲模式对所述日志消息进行缓存;
实时更新状态信息到偏移量状态文件;
记录日志文件与偏移量状态文件的对应关系;
判断日志文件是否出现漏采情况;
若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件;
所述一种分布式环境下实时日志的无损采集方法还包括:
提供网页进行统一配置与发布,具体地,对进行采集的日志文件名称、进程号、路径、归档路径与是否删除的信息进行配置,配置完成生成配置模板文件;发布前需要选择配置模板文件与完成发布所属集群、主机组发布信息的配置,进行发布操作后,网页界面将配置模板文件发布到对应主机的Eops-Agent采集器采集配置模板目录下,并重启采集器,完成采集发布。
2.根据权利要求1所述的一种分布式环境下实时日志的无损采集方法,其特征在于,采用Disk-Assisted缓冲模式对所述日志消息进行缓存的步骤之后,还包括:
对日志消息进行格式化与过滤。
3.根据权利要求1所述的一种分布式环境下实时日志的无损采集方法,其特征在于,获取日志文件中的日志消息的步骤,包括以下具体步骤:
判断采集路径中是否含有“*”,若采集路径中含有“*”,则根据目录生成实际的采集配置文件,采集多目录下的日志文件,或者,若采集路径中不含有“*”,则进行下一步骤;
判断采集路径中是否含有“{date}”,若采集路径中含有“{date}”,则定时根据当日日期生成对应的采集配置文件,采集动态日期目录下的日志文件,或者,若采集路径中不含有“{date}”,则采集单目录下的日志文件。
4.根据权利要求3所述的一种分布式环境下实时日志的无损采集方法,其特征在于,采用Disk-Assisted缓冲模式对所述日志消息进行缓存的步骤,包括以下具体步骤:
判断内存队列是否处于满载状态或者退出状态;
若内存队列不处于满载状态或者退出状态,则将所述日志消息缓存于所述内存列队中;
若内存队列处于满载状态或者退出状态,则激活磁盘队列,将所述日志消息持久化到磁盘中。
5.根据权利要求4所述的一种分布式环境下实时日志的无损采集方法,其特征在于,若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件的步骤之后,还包括:
对最后更新时间为历史日期的日志文件发起归档与删除操作。
6.一种分布式环境下实时日志的无损采集系统,其特征在于,包括输入单元、消息缓存单元、输出单元、记录单元以及数据检测单元;
所述输入单元,用于获取日志文件中的日志消息;
所述消息缓存单元,用于采用Disk-Assisted缓冲模式对所述日志消息进行缓存;
所述输出单元,用于实时更新状态信息到偏移量状态文件;
所述记录单元,用于记录日志文件与偏移量状态文件的对应关系;
所述数据检测单元,用于判断日志文件是否出现漏采情况,若日志文件出现漏采情况,则调用配置模块接口,生成漏采日志文件的采集配置文件;
还包括配置单元,所述配置单元用于提供网页进行统一配置与发布,具体地,对进行采集的日志文件名称、进程号、路径、归档路径与是否删除的信息进行配置,配置完成生成配置模板文件;发布前需要选择配置模板文件与完成发布所属集群、主机组发布信息的配置,进行发布操作后,网页界面将配置模板文件发布到对应主机的Eops-Agent采集器采集配置模板目录下,并重启采集器,完成采集发布。
7.根据权利要求6所述的一种分布式环境下实时日志的无损采集系统,其特征在于,所述一种分布式环境下实时日志的无损采集系统还包括解析过滤单元,所述解析过滤单元用于对日志消息进行格式化与过滤。
8.根据权利要求7所述的一种分布式环境下实时日志的无损采集系统,其特征在于,所述输入单元包括多目录采集模块以及动态目录采集模块;
所述多目录采集模块,用于判断采集路径中是否含有“*”,若采集路径中含有“*”,则根据目录生成实际的采集配置文件,采集多目录下的日志文件;
所述动态目录采集模块,用于判断采集路径中是否含有“{date}”,若采集路径中含有“{date}”,则定时根据当日日期生成对应的采集配置文件,采集动态日期目录下的日志文件,或者,若采集路径中不含有“{date}”,则采集单目录下的日志文件。
9.根据权利要求8所述的一种分布式环境下实时日志的无损采集系统,其特征在于,所述消息缓存单元包括判断模块、内存列队缓存模块以及磁盘队列缓存模块;
所述判断模块,用于判断内存队列是否处于满载状态或者退出状态;
所述内存列队缓存模块,用于若内存队列不处于满载状态或者退出状态,则将所述日志消息缓存于所述内存列队中;
所述磁盘队列缓存模块,用于若内存队列处于满载状态或者退出状态,则激活磁盘队列,将所述日志消息持久化到磁盘中。
CN201710221073.7A 2017-04-06 2017-04-06 一种分布式环境下实时日志的无损采集方法及其系统 Active CN106991177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710221073.7A CN106991177B (zh) 2017-04-06 2017-04-06 一种分布式环境下实时日志的无损采集方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710221073.7A CN106991177B (zh) 2017-04-06 2017-04-06 一种分布式环境下实时日志的无损采集方法及其系统

Publications (2)

Publication Number Publication Date
CN106991177A CN106991177A (zh) 2017-07-28
CN106991177B true CN106991177B (zh) 2020-11-13

Family

ID=59414843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710221073.7A Active CN106991177B (zh) 2017-04-06 2017-04-06 一种分布式环境下实时日志的无损采集方法及其系统

Country Status (1)

Country Link
CN (1) CN106991177B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943942B (zh) * 2017-11-23 2020-08-28 苏州优圣美智能系统有限公司 一种基于事件驱动的多轮转文件采集系统
CN108133017A (zh) * 2017-12-21 2018-06-08 广州市申迪计算机系统有限公司 一种多数据源采集配置方法及装置
CN108121645A (zh) * 2017-12-25 2018-06-05 深圳市分期乐网络科技有限公司 一种日志质量评估方法、装置、服务器以及存储介质
CN110162448A (zh) * 2018-02-13 2019-08-23 北京京东尚科信息技术有限公司 日志采集的方法和装置
CN110719233B (zh) * 2019-10-11 2023-10-31 北京百度网讯科技有限公司 用于发送信息的方法及装置
CN112860195A (zh) * 2021-03-26 2021-05-28 中国工商银行股份有限公司 日志存储方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178427B1 (en) * 1998-05-07 2001-01-23 Platinum Technology Ip, Inc. Method of mirroring log datasets using both log file data and live log data including gaps between the two data logs
CN102043686A (zh) * 2009-10-20 2011-05-04 华为技术有限公司 一种内存数据库的容灾方法、备用服务器及系统
CN104486107A (zh) * 2014-12-05 2015-04-01 曙光信息产业(北京)有限公司 一种日志采集装置及方法
CN105306261A (zh) * 2015-09-29 2016-02-03 北京奇艺世纪科技有限公司 一种收集日志的方法、装置及系统
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN106250496A (zh) * 2016-08-02 2016-12-21 北京集奥聚合科技有限公司 一种日志文件中的数据收集的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178427B1 (en) * 1998-05-07 2001-01-23 Platinum Technology Ip, Inc. Method of mirroring log datasets using both log file data and live log data including gaps between the two data logs
CN102043686A (zh) * 2009-10-20 2011-05-04 华为技术有限公司 一种内存数据库的容灾方法、备用服务器及系统
CN104486107A (zh) * 2014-12-05 2015-04-01 曙光信息产业(北京)有限公司 一种日志采集装置及方法
CN105306261A (zh) * 2015-09-29 2016-02-03 北京奇艺世纪科技有限公司 一种收集日志的方法、装置及系统
CN105824744A (zh) * 2016-03-21 2016-08-03 焦点科技股份有限公司 一种基于b2b平台的实时日志采集分析方法
CN106250496A (zh) * 2016-08-02 2016-12-21 北京集奥聚合科技有限公司 一种日志文件中的数据收集的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
rsyslog 队列介绍;modeyangg_cs;《https://www.jianshu.com/p/74c1f8ac00c7》;20160905;第1页 *

Also Published As

Publication number Publication date
CN106991177A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106991177B (zh) 一种分布式环境下实时日志的无损采集方法及其系统
CN105824744A (zh) 一种基于b2b平台的实时日志采集分析方法
CN108712501B (zh) 信息的发送方法、装置、计算设备以及存储介质
CN109710614A (zh) 一种实时数据存储与查询的方法及装置
CN109885453B (zh) 基于流数据处理的大数据平台监控系统
CN109918349A (zh) 日志处理方法、装置、存储介质和电子装置
CN111338893B (zh) 进程日志处理方法、装置、计算机设备以及存储介质
US20110219083A1 (en) Email auto-filing and management
CN110837423A (zh) 一种自动导引运输车数据采集的方法和装置
CN109151056B (zh) 基于Canal的消息推送方法和系统
CN103383698A (zh) 数据删除的方法及其移动终端
CN110750372A (zh) 基于共享内存的日志系统及日志管理方法
CN112069264A (zh) 异构数据源采集方法、装置、电子设备及存储介质
CN116089545B (zh) 一种采集存储介质变更数据入数据仓库的方法
CN112612677A (zh) 日志存储方法、装置、电子设备及可读存储介质
CN111930385A (zh) 数据采集方法、装置、设备及存储介质
CN116501700A (zh) 一种app格式化文件离线存储方法、装置、设备及存储介质
US9852031B2 (en) Computer system and method of identifying a failure
CN114490540B (zh) 数据存储方法、介质、装置和计算设备
CN105761164A (zh) 一种基于Hadoop的电力系统事故追忆的方法
WO2023287357A2 (en) Data transmission method, node and system
CN112231376A (zh) 一种用于离线数据采集的方法和装置
CN112506886B (zh) 一种多源业务操作日志采集方法及系统
CN114201659A (zh) 一种消息轨迹传输查询方法、装置及系统
CN103488768A (zh) 一种基于云计算的文件管理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant