CN113778810A - 一种日志收集方法、装置及系统 - Google Patents
一种日志收集方法、装置及系统 Download PDFInfo
- Publication number
- CN113778810A CN113778810A CN202111138091.1A CN202111138091A CN113778810A CN 113778810 A CN113778810 A CN 113778810A CN 202111138091 A CN202111138091 A CN 202111138091A CN 113778810 A CN113778810 A CN 113778810A
- Authority
- CN
- China
- Prior art keywords
- log
- log information
- component
- information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000009471 action Effects 0.000 description 3
- 235000014510 cooky Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012787 harvest procedure Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001124569 Lycaenidae Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志收集方法、装置及系统，包括：采用Filebeat组件采集目标日志文件中的日志信息，并将日志信息发送至kafka组件中进行分类缓存；获取kafka组件中的每类日志信息，并对日志信息进行处理；将处理后的日志信息进行分类存储；本发明实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种日志收集方法、装置及系统。
背景技术
随着业务的急剧膨胀及服务的多样化，让网络的组建变得越来越复杂，一个系统可能涉及到多个设备、部署多个实例。另外，设备的增加让跨运维小组之间的沟通代价变得很高，各种日志和告警散落在不同的设备上，导致不能够对日志进行集中管理，不利用用户的查看和对问题的定位。
鉴于此，如何提供一种解决上述技术问题的日志收集方法、装置及系统成为本领域技术人员需要解决的问题。
发明内容
本发明实施例的目的是提供一种日志收集方法、装置及系统，在使用过程中实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
为解决上述技术问题，本发明实施例提供了一种日志收集方法，包括：
采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
将处理后的日志信息进行分类存储。
可选的，所述采用Filebeat组件采集目标日志文件中的日志信息的过程为：
采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。
可选的，所述日志信息的类型包括：nginx日志、平台日志和mysql慢日志。
可选的，所述采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存的过程为：
预先从kafka组件中划分出多个缓存区，并确定出与每个所述缓存区各自对应的标识码；
采用Filebeat组件采集目标日志文件中的日志信息，并获取所述日志信息的类型；
根据预先确定的日志类型及缓存区的对应关系，确定出目标缓存区；
将所述日志信息发送至kafka组件中的所述目标缓存区进行存储。
可选的，所述获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理的过程为：
采用logstash组件获取所述kafka组件中的每类日志信息，并对所述日志信息进行预处理清洗、过滤、解析和格式转换，得到处理后的日志信息。
可选的，所述获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理的过程为：
采用flink组件获取所述kafka组件中的每类日志信息，并根据预设要求对所述日志信息进行计算，得到对应的聚合指标。
可选的，还包括：
接收用户输入的检索信息；
依据所述检索信息从存储的各个日志信息中筛选出目标日志信息，并将所述目标日志信息进行展示。
本发明实施例还提供了一种日志收集装置，包括：
采集模块，用于采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
处理模块，用于获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
存储模块，用于将处理后的日志信息进行分类存储。
可选的，所述采用Filebeat组件采集目标日志文件中的日志信息的过程为：
采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。
本发明实施例还提供了一种日志收集系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述日志收集方法的步骤。
本发明实施例提供了一种日志收集方法、装置及系统，包括：采用Filebeat组件采集目标日志文件中的日志信息，并将日志信息发送至kafka组件中进行分类缓存；获取kafka组件中的每类日志信息，并对日志信息进行处理；将处理后的日志信息进行分类存储。
可见，本发明通过Filebeat组件能够对不同设备内的日志信息进行采集，然后将所采集的日志信息发送至kafka组件中进行按照日志信息的类型进行分类缓存，然后再获取kafka组件中的每类日志信息，并对所获取的日志信息进行处理，并将处理后的日志信息进行分类存储，实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种日志收集方法的流程示意图；
图2为本发明实施例提供的一种日志收集过程的框架图；
图3为本发明实施例提供的一种日志收集装置的结构示意图。
具体实施方式
本发明实施例提供了一种日志收集方法、装置及系统，在使用过程中实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中基于Filebeat组件、Kafka组件、Logstash组件、ElasticSearch组件、Apache Flink组件来实现对多个设备的日志的收集和管理，其中：
Filebeat是一个用于转发和集中日志数据的轻量级shipper。作为代理安装在服务器上，filebeat监视指定的日志文件或位置，收集日志事件，并将它们转发给ElasticSearch或logstash进行索引。
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括syslog、消息传递(例如RabbitMQ)和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。作为日志预处理清洗中枢，对日志进行过滤、解析等简单处理。
ElasticSearch：Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。
请参照图1，图1为本发明实施例提供的一种日志收集方法的流程示意图。该方法包括：
S110：采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
需要说明的是，本发明实施例中采用Filebeat来对多组件的日志信息进行采集，具体用户可以预先指定目标日志文件，然后通过Filebeat对目标日志文件中的日志信息进行采集，由于日志信息的类型有多种，因此可以将采集到的日志信息发送至kafka组件中进行分类缓存。
具体的，可以采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。
在实际应用中可以通过多个探测器对指定的目标日志文件或目标日志目录进行检测，当检测到有新增日志信息产生时，Filebeat组件可以收割进程(harvester)，每个收割进程读取一个日志文件的新增内容，具体可以聚合这些事件，然后通过Filebeat组件发送至kafka组件中进行分类存储。
需要说明的是，本发明实施例中的日志信息的类型可以包括：nginx日志、平台日志和mysql慢日志。当然，在实际应用中不仅限于包括上述几种类型的日志，还可以包括其他类型的日志，具体可以根据实际需要进行确定，本发明实施例对此不作特殊限定。
进一步的，上述采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存的过程，具体可以为：
预先从kafka组件中划分出多个缓存区，并确定出与每个所述缓存区各自对应的标识码；
采用Filebeat组件采集目标日志文件中的日志信息，并获取所述日志信息的类型；
根据预先确定的日志类型及缓存区的对应关系，确定出目标缓存区；
将所述日志信息发送至kafka组件中的所述目标缓存区进行存储。
需要说明的是，如图2所示，可以将kafka组件划分出多个缓存区，每个缓存区对于一个标识码，一个标识码对应一个气质类型，因此可以将kafka组件划分划分为nginxTopic区、平台Topic区、mysql Topic区，在Filebeat组件采集目标日志文件中的日志信息后，根据所采集的日志信息的日志类型从kafka组件中找出与该日志类型对应的缓存区，然后将该日志信息发送至该缓存区进行缓存，例如，nginx日志发送至nginx Topic区进行缓存、平台日志发送至平台Topic区进行缓存、mysql慢日志发送至mysql Topic区进行缓存。
具体的，也可以在采集到日志信息后，确定出日志信息的类型，并将于该类型对应的标识码等标识字段添加至该日志信息中，然后将该日志信息发送至kafka组件，kafka组件接收到该日志信息后，根据该日志信息携带的标识字段确定出目标缓存区，然后将该日志信息存储至该目标缓存区。
还需要说明的是，在采用Filebeat组件采集nginx日志之前，可以自定义nginx日志格式，通过修改nginx配置文件，添加标准的json格式模板的方式定义nginx日志格式，其中的变量具体如下：
$remote_addr与$http_x_forwarded_for用以记录客户端的ip地址；$remote_user：用来记录客户端用户名称；$time_local：用来记录访问时间与时区；.$request：用来记录请求的url与http协议；$http_host：表示请求地址；$status：用来记录请求状态，成功是200；$body_bytes_sent：表示发送给客户端的文件主体内容的大小，比如899，可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量；$request_method:表示请求方式；$http_referer:用来记录从那个页面链接访问过来的；$http_user_agent：记录客户端浏览器的相关信息；$request：请求内容；$status：请求状态码；$http_user_agent：客户端机型；$http_cookie客户端的cookie；$hostname本主机服务器主机名；$upstream_addr转发到哪里；$upstream_response_time：转发响应时间；$request_time：整个请求的总时间；$server_name：虚拟主机名称；http_x_forwarded_for：客户端的真实ip，通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过$remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的http头信息中，可以增加x_forwarded_for信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。可以通过nginx日志变量定义按照业务需求定义需要的json字段。
另外，在采用Filebeat组件采集mysql慢日志时，需要预先开启mysql慢日志，定义指定的日志存放位置，定义慢日志的阈值时间，然后通过Filebeat组件将采集到的慢日志发送至kafka组件中对应的Topic中进行缓存。针对平体制，具体的平台根据业务需要定制需要的json格式的日志，Filebeat组件在监听到指定目录下平台日志文件有变化，会拉取平台日志文件，发送到指对应的kafka Topic中。
S120：获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
需要说明的是，由于kafka组件作为缓存，避免了高峰期对系统的冲击，支持重复消费Filebeat组件的数据，kafka组件按照Topic分区存储，支持重复消费。在从kafka组件中获取日志信息时，具体可以采用logstash组件获取所述kafka组件中的每类日志信息，并对所述日志信息进行预处理清洗、过滤、解析和格式转换，得到处理后的日志信息；还可以采用flink组件获取所述kafka组件中的每类日志信息，并根据预设要求对所述日志信息进行计算，得到对应的聚合指标。
也即，logstash组件和flink组件可以按照Topic去拉取指定的日志数据。另外，因为kfka的吞吐量高(Kafka每秒可以生产约25万消息(50MB)，每秒处理55万消息(110MB))，不用去担心系统瓶颈，因此通过将数据持久化到硬盘以及拷贝防止数据丢失，并且无需停机即可扩展机器，消息被处理的状态是在客户端维护，而不是由服务端维护，且当失败时能自动平衡。
具体的，logstash组件通过消费kafka中指定topic的日志数据，对日志进行预处理清洗，对日志进行过滤、解析，将日期转换统一格式，进行字段类型转换等操作。flink组件提供了Checkpoint(检查)机制，保障数据必须被处理且处理一次，从kafka组件实时接收结构化流量数据，进行数据处理、转换、清洗任务，实时计算相关指标，可以得到一些关键日志以及聚合指标，其中，指标计算任务是基于flink组件实时分析指定时间窗口内频繁被访问的资源，对ip进行统计，可以得到用户分布情况；对错误请求的统计，获取到需要更正的问题页面等，从而充分利用日志提供的信息。
S130：将处理后的日志信息进行分类存储。
具体的，在经过logstash组件或flink组件处理后的标准化数据可以进行分类存储，具体可以存储至ElasticSearch集群中，ElasticSearch集群为检索、聚合日志数据提供api接口。
在实际应用中，可以接收用户输入的检索信息，并依据所述检索信息从存储的各个日志信息中筛选出目标日志信息，并将所述目标日志信息进行展示。
也即，本发明实施例中用户可以在登录后，在权限范围内检索日志，可以根据ip、异常、接口多维度检索，通过检索慢查询提升系统效率。
可见，本发明通过Filebeat组件能够对不同设备内的日志信息进行采集，然后将所采集的日志信息发送至kafka组件中进行按照日志信息的类型进行分类缓存，然后再获取kafka组件中的每类日志信息，并对所获取的日志信息进行处理，并将处理后的日志信息进行分类存储，实现了对日志信息的集中管理，方便用户对日志进行查看，有利于提高日志管理效率，便于对问题进行定位。
在上述实施例的基础上，本发明实施例还提供了一种日志收集装置，具体请参照图3，该装置包括：
采集模块21，用于采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
处理模块22，用于获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
存储模块23，用于将处理后的日志信息进行分类存储。
可选的，采集模块21，具体用于采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。
需要说明的是，本发明实施例中提供的日志收集装置具有与上述实施例中所提供的日志收集方法相同的有益效果，并且对于本发明实施例中所涉及到的日志收集方法的具体介绍请参照上述实施例，本发明在此不再赘述。
在上述实施例的基础上，本发明实施例还提供了一种日志收集系统，该系统包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述日志收集方法的步骤。
例如，本发明实施例中的处理器具体可以用于实现采用Filebeat组件采集目标日志文件中的日志信息，并将日志信息发送至kafka组件中进行分类缓存；获取kafka组件中的每类日志信息，并对日志信息进行处理；将处理后的日志信息进行分类存储。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种日志收集方法，其特征在于，包括：
采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
将处理后的日志信息进行分类存储。
2.根据权利要求1所述的日志收集方法，其特征在于，所述采用Filebeat组件采集目标日志文件中的日志信息的过程为：
采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。
3.根据权利要求1所述的日志收集方法，其特征在于，所述日志信息的类型包括：nginx日志、平台日志和mysql慢日志。
4.根据权利要求1至3任意一项所述的日志收集方法，其特征在于，所述采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存的过程为：
预先从kafka组件中划分出多个缓存区，并确定出与每个所述缓存区各自对应的标识码；
采用Filebeat组件采集目标日志文件中的日志信息，并获取所述日志信息的类型；
根据预先确定的日志类型及缓存区的对应关系，确定出目标缓存区；
将所述日志信息发送至kafka组件中的所述目标缓存区进行存储。
5.根据权利要求4所述的日志收集方法，其特征在于，所述获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理的过程为：
采用logstash组件获取所述kafka组件中的每类日志信息，并对所述日志信息进行预处理清洗、过滤、解析和格式转换，得到处理后的日志信息。
6.根据权利要求4所述的日志收集方法，其特征在于，所述获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理的过程为：
采用flink组件获取所述kafka组件中的每类日志信息，并根据预设要求对所述日志信息进行计算，得到对应的聚合指标。
7.根据权利要求4所述的日志收集方法，其特征在于，还包括：
接收用户输入的检索信息；
依据所述检索信息从存储的各个日志信息中筛选出目标日志信息，并将所述目标日志信息进行展示。
8.一种日志收集装置，其特征在于，包括：
采集模块，用于采用Filebeat组件采集目标日志文件中的日志信息，并将所述日志信息发送至kafka组件中进行分类缓存；
处理模块，用于获取所述kafka组件中的每类日志信息，并对所述日志信息进行处理；
存储模块，用于将处理后的日志信息进行分类存储。
9.根据权利要求8所述的日志收集装置，其特征在于，所述采用Filebeat组件采集目标日志文件中的日志信息的过程为：
采用Filebeat组件通过探测器对目标日志文件进行监听，判断是否存在新增日志信息，若存在，则通过所述探测器采集所述日志文件中的新增日志信息。
10.一种日志收集系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述日志收集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111138091.1A CN113778810A (zh) | 2021-09-27 | 2021-09-27 | 一种日志收集方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111138091.1A CN113778810A (zh) | 2021-09-27 | 2021-09-27 | 一种日志收集方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113778810A true CN113778810A (zh) | 2021-12-10 |
Family
ID=78853958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111138091.1A Pending CN113778810A (zh) | 2021-09-27 | 2021-09-27 | 一种日志收集方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113778810A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115576792A (zh) * | 2022-11-24 | 2023-01-06 | 北京宝兰德软件股份有限公司 | 日志采集系统及方法 |
| CN117435449A (zh) * | 2023-11-06 | 2024-01-23 | 广州丰石科技有限公司 | 一种用户画像分析方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN107861859A (zh) * | 2017-11-22 | 2018-03-30 | 北京汇通金财信息科技有限公司 | 一种基于微服务架构的日志管理方法及系统 |
| CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
| CN109918349A (zh) * | 2019-02-25 | 2019-06-21 | 网易（杭州）网络有限公司 | 日志处理方法、装置、存储介质和电子装置 |
| CN110515912A (zh) * | 2019-07-18 | 2019-11-29 | 湖南星汉数智科技有限公司 | 日志处理方法、装置、计算机装置及计算机可读存储介质 |
| CN111104302A (zh) * | 2019-12-06 | 2020-05-05 | 紫光云(南京)数字技术有限公司 | 一种用于集群系统的改进elk日志分析方法 |
-
2021
- 2021-09-27 CN CN202111138091.1A patent/CN113778810A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017071134A1 (zh) * | 2015-10-28 | 2017-05-04 | 北京汇商融通信息技术有限公司 | 分布式跟踪系统 |
| CN107861859A (zh) * | 2017-11-22 | 2018-03-30 | 北京汇通金财信息科技有限公司 | 一种基于微服务架构的日志管理方法及系统 |
| CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
| CN109918349A (zh) * | 2019-02-25 | 2019-06-21 | 网易（杭州）网络有限公司 | 日志处理方法、装置、存储介质和电子装置 |
| CN110515912A (zh) * | 2019-07-18 | 2019-11-29 | 湖南星汉数智科技有限公司 | 日志处理方法、装置、计算机装置及计算机可读存储介质 |
| CN111104302A (zh) * | 2019-12-06 | 2020-05-05 | 紫光云(南京)数字技术有限公司 | 一种用于集群系统的改进elk日志分析方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115576792A (zh) * | 2022-11-24 | 2023-01-06 | 北京宝兰德软件股份有限公司 | 日志采集系统及方法 |
| CN117435449A (zh) * | 2023-11-06 | 2024-01-23 | 广州丰石科技有限公司 | 一种用户画像分析方法、装置、电子设备及存储介质 |
| CN117435449B (zh) * | 2023-11-06 | 2024-06-18 | 广州丰石科技有限公司 | 一种用户画像分析方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107992398B (zh) | 一种业务系统的监控方法和监控系统 | |
| CN110502494B (zh) | 日志处理方法、装置、计算机设备及存储介质 | |
| CN107145489B (zh) | 一种基于云平台的客户端应用的信息统计方法和装置 | |
| US20200151139A1 (en) | Session-Based Processing Method and System | |
| US9590880B2 (en) | Dynamic collection analysis and reporting of telemetry data | |
| CN107370806B (zh) | Http状态码监控方法、装置、存储介质和电子设备 | |
| US20110191394A1 (en) | Method of processing log files in an information system, and log file processing system | |
| CN105824744A (zh) | 一种基于b2b平台的实时日志采集分析方法 | |
| CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN102541884B (zh) | 数据库优化方法和装置 | |
| CN113778810A (zh) | 一种日志收集方法、装置及系统 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| US10044820B2 (en) | Method and system for automated transaction analysis | |
| CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN110209518A (zh) | 一种多数据源日志数据集中收集存储方法及装置 | |
| CN112181931A (zh) | 一种大数据系统链路追踪方法及电子设备 | |
| KR101945430B1 (ko) | 클라우드 스토리지 페더레이션 환경의 가용성 개선 방법 및 그에 따른 응용 프로그램 | |
| CN112528279A (zh) | 一种入侵检测模型的建立方法和装置 | |
| CN114116872A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108959041B (zh) | 信息发送的方法、服务器及计算机可读存储介质 | |
| CN113297245A (zh) | 获取执行信息的方法及装置 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| WO2022261249A1 (en) | Distributed task assignment, distributed alerts and supression management, and artifact life tracking storage in a cluster computing system | |
| CN111078975B (zh) | 一种多节点增量式数据采集系统及采集方法 | |
| CN113590047B (zh) | 数据库的筛查方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |