CN110362450A - 一种日志数据采集方法、装置及计算机可读存储介质 - Google Patents
一种日志数据采集方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110362450A CN110362450A CN201910641386.7A CN201910641386A CN110362450A CN 110362450 A CN110362450 A CN 110362450A CN 201910641386 A CN201910641386 A CN 201910641386A CN 110362450 A CN110362450 A CN 110362450A
- Authority
- CN
- China
- Prior art keywords
- daily record
- record data
- default
- log
- buffer area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims description 6
- 241001269238 Data Species 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
- G06F11/3075—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved in order to maintain consistency among the monitored data, e.g. ensuring that the monitored data belong to the same timeframe, to the same system or component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志数据采集方法，包括：依次读取源日志文件中的每预设单位的日志数据到预设内存区；将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则；将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。可见，即便源日志文件中有多种类型的日志数据，读取一次源日志文件也能够将所有类型的日志数据完成分类，在获取不同类型的日志数据时，即可从对应的缓冲区中进行读取，避免多次从磁盘中读取源日志文件，从而避免对磁盘性能的消耗。本申请还提供一种日志数据采集系统、装置及计算机可读存储介质，同样可以实现上述技术效果。
Description
技术领域
本发明涉及日志收集领域，尤其涉及一种日志数据采集方法、装置、系统及计算机可读存储介质。
背景技术
随着各种互联网业务的发展，日志收集需求愈加旺盛。网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录，即日志。每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。
一个日志文件中通常会有多种不同类型的数据，在日志收集时，不同的收集条件下，需要采集不同的日志数据，此时就需要对同一个日志文件反复地读取多次，每次读取后采集其中与本次收集条件对应的日志数据。然而，反复读取日志文件会增加对硬件磁盘的性能消耗，使业务系统对磁盘的硬件要求越来越高。
因此，如何在日志数据采集过程中避免反复多次读取同一日志文件，是本领域技术人员亟待解决的问题。
发明内容
本发明的主要目的在于提供一种日志数据采集方法、装置、系统及计算机可读存储介质，以在日志数据采集过程中避免反复多次读取同一日志文件。
为实现上述目的，本发明提供的一种日志数据采集方法，包括：
一种日志数据采集方法，包括：
依次读取源日志文件中的每预设单位的日志数据到预设内存区；
将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则；
将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
可选地，所述将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则，包括：
将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与当前读取到的预设单位的日志数据相匹配，且关键字与当前读取到的预设单位的日志数据相同的目标采集规则。
可选地，所述将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区之后，还包括：
在所述预设内存区中删除当前读取到的预设单位的日志数据。
可选地，所述方法还包括：
将所述预设缓冲区中的日志数据发送至日志数据接收方。
可选地，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：
检测所有预设缓冲区的日志数据大小是否超出预设阈值；
若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。
可选地，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：
检测当前时间是否到达预设发送时间；
若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。
可选地，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：
确定每个所述预设缓冲区对应的日志数据接收方；
将每个所述预设缓冲区中的日志数据分别发送至每个所述预设缓冲区对应的日志数据接收方。
为实现上述目的，本申请还提供一种日志数据采集系统，包括：
日志数据读取模块，用于依次读取源日志文件中的每预设单位的日志数据到预设内存区；
目标采集规则确定模块，用于将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则；
添加模块，用于将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
为实现上述目的，本申请还提供一种日志数据采集装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的日志数据采集程序，所述日志数据采集程序被所述处理器执行时实现如任意一项所述的日志数据采集方法。
为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志数据采集程序，所述日志数据采集程序可被一个或多个处理器执行，以实现如任一项所述的日志数据采集方法。
为实现上述技术效果，本申请还提供了一种计算机程序产品，包括计算机指令，当其在计算机上运行时，使得计算机可以执行上述任一项所述的日志数据采集方法。
本申请提供的一种日志数据采集方法，包括：依次读取源日志文件中的每预设单位的日志数据到预设内存区；在预先设定的所有采集规则中确定目标采集规则，所述目标采集规则与当前读取到的预设单位的日志数据相匹配；将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
由此可见，本申请当完成一次读取源日志文件的操作后，也就意味着源日志文件中的每预设单位的日志数据均进行了预设采集规则的匹配，并将匹配到的日志数据添加至了缓冲区，即便源日志文件中有多种类型的日志数据，读取一次源日志文件也能够将所有类型的日志数据完成分类，在获取不同类型的日志数据时，即可从对应的缓冲区中进行读取，避免多次从磁盘中读取源日志文件，从而避免对磁盘性能的消耗。本申请还提供一种日志数据采集系统、装置及计算机可读存储介质，同样可以实现上述技术效果。
附图说明
图1为本发明提供的一种日志数据采集方法流程图；
图2为本发明提供的一种具体的日志数据采集方法流程图；
图3为本发明提供的一种具体的日志数据采集方法流程图；
图4为本发明提供的一种具体的日志数据采集方法流程图；
图5为本发明一实施例揭露的日志数据采集系统的结构示意图；
图6为本发明一实施例揭露的日志数据采集装置的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本申请提供一种日志数据采集方法、装置、系统及计算机可读存储介质，以在日志数据采集过程中避免反复多次读取同一日志文件。
参照图1，图1为本发明一实施例的流程示意图。
在一实施例中，包括：
S101，依次读取源日志文件中的每预设单位的日志数据到预设内存区。
由于目前日志文件中，以行为单位记载日期、时间、使用者及动作等相关操作的描述，因此，在本方案中预设单位可以是行。当然也可以根据实际情况进行设定。
在本方案中，依次对每预设单位的日志数据进行操作。首先读取一预设单位的日志数据到预设内存区。通常情况下，日志数据被读取时，都是读到内存中，预设内存区在内存中的具体位置本方案不做出具体限定，仅需要区别于下文中的预设缓冲区。
S102，将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则。
一个源日志文件包括多种类型的日志数据，本方案预先为需要获取的多种类型的日志数据设定采集规则，采集规则用于在源日志文件中筛选出对应的类型的日志数据。
读取到一预设单位的日志数据时，首先在所有采集规则中对其进行匹配，确定能够与该数据匹配的采集规则，此条采集规则作为目标采集规则。
例如，对于一个源日志文件来说，其中包括有20种日志数据要被采集，则本方案提前为这20种日志数据分别设定采集规则，在读取到一预设单位的日志数据时，依次与这20种日志数据进行匹配，如，第10条预设采集规则能够与当前读取到的日志数据匹配，则第10条预设采集规则即为当前读取到的日志数据的目标采集规则。
需要说明的是，预设采集规则的设定根据实际日志数据采集需求确定，具体的采集规则可以采用键值分割、正则匹配等形式来实现。其中，键值分割即使用特定的分割符，将选定的文本内容进行分割，选择对应的键值数据；正则匹配即使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串，通常被用来检索、替换那些匹配某个模式的文本。
例如，读取到一行日志数据为2019-01-01 00:00:00WARN test1test2，其中，“2019-01-01 00:00:00”为datatime(日期时间)、“WARN”为level(等级)、test1为v1(版本1)、test2位v2(版本2)，则与该行日志数据匹配的目标采集规则为“A规则：datetime,level,v1,v2”。
需要说明的是，对于同一源日志文件来说，会有多个采集规则相同，但实际种类不同日志数据，如果用只用采集规则进行匹配，可能会造成匹配不正确的情况。为此，在一个具体的实施方式中，所述将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则，包括：
将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与当前读取到的预设单位的日志数据相匹配，且关键字与当前读取到的预设单位的日志数据相同的目标采集规则。
在本方案中，除了匹配预设采集规则外还要匹配关键字。
如上例，读取到一行日志数据为2019-01-01 00:00:00WARN test1test2，但是采集规则中有两类数据的采集规则相同：“A规则：datetime,level,v1,v2”、“B规则：datetime,level,v1,v2”，此时为了能够精确匹配到正确的规则，还需要为每个规则添加关键字，如A规则的关键字为level＝INFO，B规则的关键字为level＝WARN，则日志数据就会匹配到B规则。
S103，将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
在本方案中，为每一个预设采集规则都预先在内存中设置预设缓冲区，该缓冲区用来存放与对应的预设采集规则相匹配的日志数据。
将当前读取到的预设单位的日志数据添加至目标采集规则对应的预设缓冲区。
如上例，“A规则：datetime,level,v1,v2”对应的预设缓冲区为缓冲区1，则将日志数据2019-01-01 00:00:00WARN test1test2添加至缓冲区1。
由此可见，本申请当完成一次读取源日志文件的操作后，也就意味着源日志文件中的每预设单位的日志数据均进行了采集规则的匹配，并将匹配到的日志数据添加至了缓冲区，即便源日志文件中有多种类型的日志数据，读取一次源日志文件也能够将所有类型的日志数据完成分类，在获取不同类型的日志数据时，即可从对应的缓冲区中进行读取，避免多次从磁盘中读取源日志文件，从而避免对磁盘性能的消耗。
下面对本申请实施例提供的一种具体的日志数据采集方法进行介绍，下文描述的一种具体的日志数据采集方法与上述实施例可以相互参照。
参见图2，本申请实施例提供的一种具体的日志数据采集方法，具体包括：
S201，依次读取源日志文件中的每预设单位的日志数据到预设内存区。
S202，将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则。
S203，将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
S204，在所述预设内存区中删除当前读取到的预设单位的日志数据。
由于内存资源也较为有限，因此为了避免过多占用内存资源，本方案中在日志数据完成匹配并添加到预设缓冲区后，就将读取到预设内存区的日志数据删除。从而节省内存资源，避免大量消耗内存资源。
在上述实施例的基础上，本申请实施例对技术方案作出进一步的扩充与说明，具体如下：
所述方法还包括：
将所述预设缓冲区中的日志数据发送至日志数据接收方。
在本方案中，为了满足远程获取日志数据的需求，同时也避免日志数据对内存中缓冲区的长期占用，可以将预设缓冲区中的日志数据发送至日志数据接收方。
在一个具体的实施方式中，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：
确定每个所述预设缓冲区对应的日志数据接收方；
将每个所述预设缓冲区中的日志数据分别发送至每个所述预设缓冲区对应的日志数据接收方。
在本方案中，可以为不同的缓冲区设定不同的数据接收方，在发送日志数据之前，首先确定每个预设缓冲区对应的日志数据接收方，从而将不同缓冲区中的数据发送至对应缓冲区的不同的数据接收方中。
由于每个数据缓冲区中可能会有多个预设单位的日志数据，为了避免数据发送过程中出现发送混乱的情况，在本方案中采用“先进先出”的机制，按照添加进缓冲区的时间，从先到后依次发送每个预设单位的日志数据。
本申请提供两种日志数据发送的机制，具体参见下述两个具体的实施例。
下面对本申请实施例提供的一种具体的日志数据采集方法进行介绍，下文描述的一种具体的日志数据采集方法与上述实施例可以相互参照。
参见图3，本申请实施例提供的一种具体的日志数据采集方法，具体包括：
S301，依次读取源日志文件中的每预设单位的日志数据到预设内存区。
S302，在预先设定的所有采集规则中确定目标采集规则，所述目标采集规则与当前读取到的预设单位的日志数据相匹配。
S303，将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
S304，检测所有预设缓冲区的日志数据大小是否超出预设阈值。
第一种机制即根据所有预设缓冲区中接收到的日志数据大小来决定是否进行日志数据发送操作。
预设阈值可以是根据内存的实际情况设定的允许缓冲区缓存的最大数据量。
检测当前所有缓冲区的日志数据大小是否超出了预设阈值，若是，则执行S305，将所有预设缓冲区中的日志数据发送至日志数据接收方，若否，则不进行发送操作。
S305，若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。
由此可见，本申请检测缓冲区的日志数据大小超出预设阈值后，就将所有的日志数据发送至日志数据接收方，以避免占用大量的内存空间。
下面对本申请实施例提供的一种具体的日志数据采集方法进行介绍，下文描述的一种具体的日志数据采集方法与上述实施例可以相互参照。
参见图4，本申请实施例提供的一种具体的日志数据采集方法，具体包括：
S401，依次读取源日志文件中的每预设单位的日志数据到预设内存区。
S402，在预先设定的所有采集规则中确定目标采集规则，所述目标采集规则与当前读取到的预设单位的日志数据相匹配。
S403，将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
S404，检测当前时间是否到达预设发送时间。
第二种机制即是根据预设发送时间进行发送。
预设发送时间可以设置为两次发送的间隔时间，也可以是具体的执行发送操作的时间点数据，具体设定方式在本方案中不做具体限定。
当到达预设发送时间时，即执行S405，将所有预设缓冲区中的日志数据发送至日志数据接收方。
S405，若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。
由此可见，本申请检测到达预设发送时间后，就将所有的日志数据发送至日志数据接收方，以避免占用大量的内存空间，同时又能够保证日志数据接收方能够按时接收到日志数据。
需要说明的是，两种机制也可以共同实施，即检测所有预设缓冲区的日志数据大小超出预设阈值时，或，检测当前时间到达预设发送时间时，均执行将所有预设缓冲区中的日志数据发送至日志数据接收方的步骤。
下面对本申请实施例提供的一种日志数据采集系统进行介绍，下文描述的一种日志数据采集系统与上述任一实施例可以相互参照。
参见图5，本申请实施例提供的一种日志数据采集系统，具体包括：
日志数据读取模块501，用于依次读取源日志文件中的每预设单位的日志数据到预设内存区。
目标采集规则确定模块502，用于将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则。
添加模块503，用于将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
可选地，目标采集规则确定模块502具体用于将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与当前读取到的预设单位的日志数据相匹配，且关键字与当前读取到的预设单位的日志数据相同的目标采集规则。
可选地，日志数据采集系统还包括：
日志数据删除模块，用于在所述预设内存区中删除当前读取到的预设单位的日志数据。
可选地，日志数据采集系统还包括：
日志数据发送模块，用于将所述预设缓冲区中的日志数据发送至日志数据接收方。
可选地，日志数据发送模块具体包括：
第一检测单元，用于检测所有预设缓冲区的日志数据大小是否超出预设阈值；
第一发送单元，用于检测所有预设缓冲区的日志数据大小超出预设阈值时，将所有预设缓冲区中的日志数据发送至日志数据接收方。
可选地，日志数据发送模块具体包括：
第二检测单元，用于检测当前时间是否到达预设发送时间；
第二发送单元，用于检测当前时间到达预设发送时间后，将所有预设缓冲区中的日志数据发送至日志数据接收方。
可选地，日志数据发送模块具体包括：
接收方确定单元，用于确定每个所述预设缓冲区对应的日志数据接收方；
第三发送单元，用于将每个所述预设缓冲区中的日志数据分别发送至每个所述预设缓冲区对应的日志数据接收方。
本实施例的日志数据采集系统用于实现前述的日志数据采集方法，因此日志数据采集系统中的具体实施方式可见前文中的日志数据采集方法的实施例部分，例如，日志数据读取模块501，目标采集规则确定模块502，添加模块503，分别用于实现上述日志数据采集方法中步骤S101，S102，S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
由此可见，本申请当完成一次读取源日志文件的操作后，也就意味着源日志文件中的每预设单位的日志数据均进行了预设采集规则的匹配，并将匹配到的日志数据添加至了缓冲区，即便源日志文件中有多种类型的日志数据，读取一次源日志文件也能够将所有类型的日志数据完成分类，在获取不同类型的日志数据时，即可从对应的缓冲区中进行读取，避免多次从磁盘中读取源日志文件，从而避免对磁盘性能的消耗。
进一步的，参照图6，所述日志数据采集装置1还可以包括总线13，其中，所述存储器11和所述处理器12通过所述总线13连接。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘等。存储器11在一些实施例中可以是日志数据采集装置1的内部存储单元，例如该日志数据采集装置1的硬盘。存储器11在另一些实施例中也可以是日志数据采集装置1的外部存储设备，例如日志数据采集装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括日志数据采集装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于日志数据采集装置1的应用软件及各类数据，例如日志数据采集程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行日志数据采集程序等。
总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，日志数据采集装置1还可以包括网络接口14，网络接口14可选的可以包括无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该日志数据采集装置1与其他电子设备之间建立通信连接。
可选地，该日志数据采集装置1还可以包括用户接口15，用户接口15可以包括显示器(Display)、输入单元比如键盘(Keyboard)。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在日志数据采集装置1中处理的信息以及用于显示可视化的用户界面。
图6仅示出了具有组件11-15的日志数据采集装置1，本领域技术人员可以理解的是，图6示出的结构并不构成对日志数据采集装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种日志数据采集方法，其特征在于，包括：
依次读取源日志文件中的每预设单位的日志数据到预设内存区；
将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则；
将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
2.根据权利要求1所述的方法，其特征在于，所述将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则，包括：
将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与当前读取到的预设单位的日志数据相匹配，且关键字与当前读取到的预设单位的日志数据相同的目标采集规则。
3.根据权利要求1所述的方法，其特征在于，所述将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区之后，还包括：
在所述预设内存区中删除当前读取到的预设单位的日志数据。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：
将所述预设缓冲区中的日志数据发送至日志数据接收方。
5.根据权利要求4所述的方法，其特征在于，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：
检测所有预设缓冲区的日志数据大小是否超出预设阈值；
若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。
6.根据权利要求4所述的方法，其特征在于，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：
检测当前时间是否到达预设发送时间；
若是，则将所有预设缓冲区中的日志数据发送至日志数据接收方。
7.根据权利要求4所述的方法，其特征在于，所述将所述预设缓冲区中的日志数据发送至日志数据接收方，包括：
确定每个所述预设缓冲区对应的日志数据接收方；
将每个所述预设缓冲区中的日志数据分别发送至每个所述预设缓冲区对应的日志数据接收方。
8.一种日志数据采集系统，其特征在于，包括：
日志数据读取模块，用于依次读取源日志文件中的每预设单位的日志数据到预设内存区；
目标采集规则确定模块，用于将预先设定的所有采集规则与当前读取的预设单位的日志数据进行匹配，获取与所述当前读取的预设单位的日志数据匹配的目标采集规则；
添加模块，用于将当前读取到的预设单位的日志数据添加至所述目标采集规则对应的预设缓冲区。
9.一种日志数据采集装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的日志数据采集程序，所述日志数据采集程序被所述处理器执行时实现如权利要求1至7任意一项所述的日志数据采集方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志数据采集程序，所述日志数据采集程序可被一个或多个处理器执行，以实现如权利要求1至7任一项所述的日志数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910641386.7A CN110362450A (zh) | 2019-07-16 | 2019-07-16 | 一种日志数据采集方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910641386.7A CN110362450A (zh) | 2019-07-16 | 2019-07-16 | 一种日志数据采集方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110362450A true CN110362450A (zh) | 2019-10-22 |
Family
ID=68219595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910641386.7A Pending CN110362450A (zh) | 2019-07-16 | 2019-07-16 | 一种日志数据采集方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110362450A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104233A (zh) * | 2019-11-21 | 2020-05-05 | 深圳前海环融联易信息科技服务有限公司 | 数据采集方法、装置、计算机设备及计算机可读存储介质 |
| CN111240879A (zh) * | 2020-01-10 | 2020-06-05 | 苏州浪潮智能科技有限公司 | 一种sas卡固件日志收集方法、系统、装置及存储介质 |
| CN112199596A (zh) * | 2020-10-19 | 2021-01-08 | 杭州迪普科技股份有限公司 | 一种日志过滤处理的方法、装置、设备及介质 |
| CN112860632A (zh) * | 2021-01-22 | 2021-05-28 | 重庆六花网络科技有限公司 | 文件处理方法、终端及计算机可读存储介质 |
| CN115629944A (zh) * | 2022-12-21 | 2023-01-20 | 杭州谐云科技有限公司 | 一种容器日志的处理方法和日志处理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107748756A (zh) * | 2017-09-20 | 2018-03-02 | 努比亚技术有限公司 | 数据采集方法、移动终端及可读存储介质 |
| CN107798099A (zh) * | 2017-10-27 | 2018-03-13 | 努比亚技术有限公司 | 一种日志信息抓取方法、终端和计算机可读存储介质 |
| CN109375871A (zh) * | 2018-09-26 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种日志处理方法、系统及电子设备和存储介质 |
| CN109634818A (zh) * | 2018-10-24 | 2019-04-16 | 中国平安人寿保险股份有限公司 | 日志分析方法、系统、终端及计算机可读存储介质 |
| CN109902073A (zh) * | 2019-04-03 | 2019-06-18 | 北京奇安信科技有限公司 | 日志处理方法、装置、计算机设备和计算机可读存储介质 |
-
2019
- 2019-07-16 CN CN201910641386.7A patent/CN110362450A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107748756A (zh) * | 2017-09-20 | 2018-03-02 | 努比亚技术有限公司 | 数据采集方法、移动终端及可读存储介质 |
| CN107798099A (zh) * | 2017-10-27 | 2018-03-13 | 努比亚技术有限公司 | 一种日志信息抓取方法、终端和计算机可读存储介质 |
| CN109375871A (zh) * | 2018-09-26 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种日志处理方法、系统及电子设备和存储介质 |
| CN109634818A (zh) * | 2018-10-24 | 2019-04-16 | 中国平安人寿保险股份有限公司 | 日志分析方法、系统、终端及计算机可读存储介质 |
| CN109902073A (zh) * | 2019-04-03 | 2019-06-18 | 北京奇安信科技有限公司 | 日志处理方法、装置、计算机设备和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋卫祥, 北京工业大学出版社 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104233A (zh) * | 2019-11-21 | 2020-05-05 | 深圳前海环融联易信息科技服务有限公司 | 数据采集方法、装置、计算机设备及计算机可读存储介质 |
| CN111104233B (zh) * | 2019-11-21 | 2023-09-26 | 深圳前海环融联易信息科技服务有限公司 | 数据采集方法、装置、计算机设备及计算机可读存储介质 |
| CN111240879A (zh) * | 2020-01-10 | 2020-06-05 | 苏州浪潮智能科技有限公司 | 一种sas卡固件日志收集方法、系统、装置及存储介质 |
| CN111240879B (zh) * | 2020-01-10 | 2022-11-25 | 苏州浪潮智能科技有限公司 | 一种sas卡固件日志收集方法、系统、装置及存储介质 |
| CN112199596A (zh) * | 2020-10-19 | 2021-01-08 | 杭州迪普科技股份有限公司 | 一种日志过滤处理的方法、装置、设备及介质 |
| CN112199596B (zh) * | 2020-10-19 | 2023-08-25 | 杭州迪普科技股份有限公司 | 一种日志过滤处理的方法、装置、设备及介质 |
| CN112860632A (zh) * | 2021-01-22 | 2021-05-28 | 重庆六花网络科技有限公司 | 文件处理方法、终端及计算机可读存储介质 |
| CN112860632B (zh) * | 2021-01-22 | 2022-10-21 | 重庆六花网络科技有限公司 | 文件处理方法、终端及计算机可读存储介质 |
| CN115629944A (zh) * | 2022-12-21 | 2023-01-20 | 杭州谐云科技有限公司 | 一种容器日志的处理方法和日志处理系统 |
| CN115629944B (zh) * | 2022-12-21 | 2023-04-07 | 杭州谐云科技有限公司 | 一种容器日志的处理方法和日志处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110362450A (zh) | 一种日志数据采集方法、装置及计算机可读存储介质 | |
| US20170180944A1 (en) | Adding location names using private frequent location data | |
| WO2012095971A1 (ja) | 分類ルール生成装置、分類ルール生成方法、分類ルール生成プログラム及び記録媒体 | |
| CN111124267B (zh) | 数据写入的方法、设备和计算机程序产品 | |
| CN105095287A (zh) | Lsm数据合并排序方法和装置 | |
| CN101178701B (zh) | 一种多处理器间通信的方法及系统 | |
| CN113032105B (zh) | 一种Kubernetes集群访问控制方法、系统及相关设备 | |
| CN110223044A (zh) | 一种邮件推送方法、系统及电子设备和存储介质 | |
| CN106020984B (zh) | 电子设备中进程的创建方法及装置 | |
| CN109597707B (zh) | 克隆卷数据拷贝方法、装置及计算机可读存储介质 | |
| CN107861878A (zh) | Java应用程序性能问题定位的方法、装置和设备 | |
| CN109976823A (zh) | 一种应用程序启动方法、装置及终端设备 | |
| CN109472833A (zh) | 一种从日志文件中提取图片的方法、存储介质和服务器 | |
| CN109871408A (zh) | 一种多类型数据库适配方法、装置、电子设备及存储介质 | |
| CN106126708A (zh) | 一种删除终端存储的文件的方法和装置 | |
| CN111078587B (zh) | 内存分配方法、装置、存储介质及电子设备 | |
| CN107844520A (zh) | 电子装置、车辆数据导入方法及存储介质 | |
| CN112306959A (zh) | 一种移动存储设备的文件扫描方法、存储介质及设备终端 | |
| CN116089477A (zh) | 分布式训练方法及系统 | |
| CN110222315A (zh) | 一种数据统计方法、系统及电子设备和存储介质 | |
| CN107133077A (zh) | 一种网页端调用本地应用功能的方法及装置 | |
| CN110399166A (zh) | ME Nonce值的保存方法、装置、设备及存储介质 | |
| CN115809126A (zh) | 混合部署场景下的作业调度方法、装置及电子设备 | |
| US20200301608A1 (en) | Controller event queues | |
| CN111159602A (zh) | 网址页面快速访问方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191022 |