CN111723064A - 日志采集方法、装置、服务器及存储介质 - Google Patents
日志采集方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN111723064A CN111723064A CN201910223488.7A CN201910223488A CN111723064A CN 111723064 A CN111723064 A CN 111723064A CN 201910223488 A CN201910223488 A CN 201910223488A CN 111723064 A CN111723064 A CN 111723064A
- Authority
- CN
- China
- Prior art keywords
- log
- file
- log file
- collected
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012544 monitoring process Methods 0.000 claims abstract description 59
- 230000006870 function Effects 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 abstract description 11
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000014509 gene expression Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 244000038293 primary consumers Species 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种日志采集方法、装置、服务器及存储介质。该日志采集方法包括：通过监控目标文件目录下是否生成待采集的第一日志文件；若目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报第一日志文件；按照预设周期对目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向数据接收端采集上报所述遗漏日志文件。本发明实施例中通过监控目标文件目录下的日志文件的监控机制，保证日志采集的实时性，降低了服务器I/O压力，同时定期对目标文件目录下日志文件进行轮询，避免了监控机制传输数据过程中丢失数据的情况，提高了日志采集的可靠性。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种日志采集方法、装置、服务器及存储介质。
背景技术
在大数据时代，随着计算技术的迅猛发展和业务规模的不断扩大，数据量呈现爆炸式增长趋势，对比之前，数据量可能在GB级别，但是现如今的数据量已经达到TB甚至PB级别。
随着数据量的爆炸式增长，对数据操作，如修改，增加，删除等操作会产生大量的日志，最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集在其中扮演着重要的角色。
现有的日志采集方案，一种方式是通过采集工具定期采集，例如Flume或Fluented等，采集日志上报到目的端，由于通过工具采集日志一般是松耦合，实时性较差，定期采集数据量较大，可能造成I/O压力，并且存在丢数据的可能性。
发明内容
本发明实施例提供一种日志采集方法、装置、服务器及存储介质，通过监控目标文件目录下的日志文件的监控机制，保证日志采集的实时性，降低了服务器I/O压力，同时定期对目标文件目录下日志文件进行轮询，避免了监控机制传输数据过程中丢失数据的情况，提高了日志采集的可靠性。
第一方面，本申请提供一种日志采集方法，所述日志采集方法包括：
监控所述目标文件目录下是否生成待采集的第一日志文件；
若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；
若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
进一步的，所述方法还包括：
在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识；
保存所述第一日志文件和所述第一日志文件对应的标识。
进一步的，所述根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识，包括：
获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；
根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。
进一步的，所述方法还包括：
在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识；
所述按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件，包括：
获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；
分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。
进一步的，所述方法还包括：
在监控所述目标文件目录下是否生成待采集的第一日志文件之前，配置所述目标文件目录下日志文件的第一采集策略；
所述监控所述目标文件目录下是否生成待采集的第一日志文件，包括：
根据所述第一采集策略监控所述目标文件目录下是否生成待采集的第一日志文件。
进一步的，所述方法还包括：
获取将当前所述第一采集策略调整为第二采集策略的指令；
根据所述第二采集策略监控所述目标文件目录下是否生成待采集的第三日志文件；
若所述目标文件目录下生成待采集的第三日志文件，向数据接收端采集上报所述第三日志文件。
进一步的，所述方法还包括：
实时记录所述预设周期内采集上报的日志文件的字节数和条数；
根据所述字节数和条数生成心跳数据；
向监控平台发送所述心跳数据。
第二方面，本申请提供一种日志采集装置，所述日志采集装置包括：
监控单元，用于监控所述目标文件目录下是否生成待采集的第一日志文件；
采集单元，用于若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
轮询单元，用于按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
进一步的，所述日志采集装置还包括日志生成单元；
所述日志生成单元用于在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识；保存所述第一日志文件和所述第一日志文件对应的标识。
进一步的，所述日志生成单元具体用于：
获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；
根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。
进一步的，所述日志采集装置还包括记录单元；
所述记录单元用于在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识；
所述轮询单元具体用于：
获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；
分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。
进一步的，所述日志采集装置还包括配置单元；
所述配置单元用于在监控所述目标文件目录下是否生成待采集的第一日志文件之前，配置所述目标文件目录下日志文件的第一采集策略；
所述监控单元具体用于：根据所述第一采集策略监控所述目标文件目录下是否生成待采集的第一日志文件。
进一步的，所述配置单元还用于：获取将当前所述第一采集策略调整为第二采集策略的指令；根据所述第二采集策略监控所述目标文件目录下是否生成待采集的第三日志文件；
所述采集单元还用于若所述目标文件目录下生成待采集的第三日志文件，向数据接收端采集上报所述第三日志文件。
进一步的，所述日志采集装置还包括心跳单元；所述心跳单元用于：
实时记录所述预设周期内采集上报的日志文件的字节数和条数；
根据所述字节数和条数生成心跳数据；
向监控平台发送所述心跳数据。
第三方面，本申请提供一种服务器，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的日志采集方法。
第四方面，本申请提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的日志采集方法中的步骤。
本发明实施例通过监控目标文件目录下是否生成待采集的第一日志文件；若目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报第一日志文件；按照预设周期对目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向数据接收端采集上报所述遗漏日志文件。本发明实施例中通过监控目标文件目录下的日志文件的监控机制，保证日志采集的实时性，降低了服务器I/O压力，同时定期对目标文件目录下日志文件进行轮询，避免了监控机制传输数据过程中丢失数据的情况，提高了日志采集的可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中提供的日志采集方法的一个实施例流程示意图；
图2是在图1所示实施例的基础上，本发明实施例中提供的日志采集方法的另一个实施例流程示意图；
图3是在图1所示实施例的基础上，本发明实施例中提供的日志采集方法的另一个实施例流程示意图；
图4是在图1所示实施例的基础上，本发明实施例中提供的日志采集方法的另一个实施例流程示意图；
图5是本发明实施例中提供的日志采集装置的一个实施例流程示意图；
图6是本发明实施例中提供的服务器的一个实施例流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本发明实施例提供一种日志采集方法、装置、服务器及存储介质，以下分别进行详细说明。
首先，本发明实施例中提供一种日志采集方法，该日志采集方法包括：监控所述目标文件目录下是否生成待采集的第一日志文件；若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
本发明实施例中日志采集方法应用于日志采集装置，该日志采集装置可以位于服务器中，如图1所示，为本发明实施例中提供的日志采集方法的一个实施例流程示意图，该日志采集方法包括：
S101、监控所述目标文件目录下是否生成待采集的第一日志文件。
其中，目标文件目录为服务器中已存在的文件目录，该文件目录用于保存日志文件。
本发明实施例中，监控所述目标文件目录下是否生成待采集的第一日志文件的方式可以是通过预设的文件监控器，监控所述目标文件目录下是否生成待采集的第一日志文件，例如可以是使用预置的JDK(即Java语言的软件开发工具包)的WatchService监控所述目标文件目录下是否生成待采集的第一日志文件。
目前，文件目录结构支持完整路径和通配符两种模式。本发明实施例中，监控目标文件目录下是否生成待采集的第一日志文件时可以是多层目录匹配，即指定目标文件目录下所有符合文件名模式的文件都会被监控到，包含所有层次的目录。例如/apsara/nuwa/…/*.log表示监控/apsara/nuwa目录中(包含该目录的递归子目录)后缀名为.log的日志文件。又例如/var/logs/app_*…/*.log*表示/var/logs目录下所有符合app_*模式的目录中(包含该目录的递归子目录)文件名包含.log的日志文件。
S102、若目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件。
S103、按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件。
具体的，按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件可以有多种发起方式，一种是日志采集装置预先设定预设周期，按照预设周期对所述目标文件目录下生成的日志文件进行轮询，另一种是日志采集装置获取数据接收端发送的轮询指令，按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件。可以理解的是，在本发明其他一些实施例中，还可以是其他轮询方式，具体此处不作限定。
S104、若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
本发明实施例中，数据接收端即为数据采集的目的端，可以是消息接收平台，例如消息中间件kafka等。
本发明实施例中通过监控目标文件目录下的日志文件的监控机制，保证日志采集的实时性，降低了服务器I/O压力，同时定期对目标文件目录下日志文件进行轮询，避免了监控机制传输数据过程中丢失数据的情况，提高了日志采集的可靠性。
现有技术中，为了防止日志内容重复采集，一般使用文件设备名或Inode来标示唯一文件，正常情况下都是没问题的，但是当日志采集采用轮询的方式时，由于系统故障等原因导致日志采集中断时，此时可能造成下次采集从错误的位点开始采集，日志丢失很可能发生的，即存在日志丢失的风险。本发明实施例中，为了避免这种情况，对日志文件的标识进行了改进，本发明实施例中，在生成日志文件时，可以在日志文件的标识中加入日志文件的一部分数据的哈希值，以提升日志文件标识的唯一性。
因此，在上述实施例的基础上，在本发明一些实施例中，如图2所示，本发明实施例中日志采集方法还可以包括：
S201、在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识。
具体的，所述根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识，可以包括：获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。
其中，文件系统标识可以文件设备号，以日志采集装置对应的系统为Linux系统为例，在Linux下，一切皆文件，设备也不例外，为了管理这些设备，系统为它们各自都编了号，而每个设备号又分为主设备号和次设备号。主设备号用来区分不同类型的设备，而次设备号用来区分同一类型内的多个设备(及其设备分区)。而第一日志文件对应的索引节点号可以是一日志文件对应的Inode号，Inode号包含了与文件系统中各个文件相关的一些重要信息。
另外，所述第一日志文件中预设位置的数据可以是第一日志文件中预先指定的位置的数据，例如计算日志文件标识时，统一规范为采用日志文件中头部预设位数的数据进行计算，即第一日志文件中预设位置的数据为第一日志文件中头部预设位数的数据。
S202、保存所述第一日志文件和所述第一日志文件对应的标识。
在上述实施例的基础上，在本发明一些实施例中，为了避免日志反复采集，本发明实施例中日志采集方法还可以包括：在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识。
此时，所述按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件的步骤可以包括：获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。
本发明实施例中，第二日志文件为在当前周期内目标文件目录下生成的日志文件集合，包括在当前周期内目标文件目录下生成的所有日志文件，而第一日志文件为实时监控目标文件目录时，目标文件目录下实时生成的待采集的日志文件。若第一日志文件在当前周期内生成，则第二日志文件包括第一日志文件。
假设预设周期为1min，第一日志文件为当前1min周期内目标文件目录下生成的日志文件1，并被日志采集装置监控到，向数据接收端采集上报了该日志文件1，而在当前1min周期内目标文件目录下还生成了日志文件2、日志文件3和日志文件4(仅为举例，实际场景下模板文件目录下短时间内可能会生成大量日志文件)，而日志文件2和日志文件4也被日志采集装置监控到，向数据接收端采集上报了该日志文件2和日志文件4，日志文件3由于系统故障或者其他原因导致未被实时监控采集到，则通过轮询机制，获取当前1min周期内所述目标文件目录下生成的所有日志文件(第二日志文件)：日志文件1、日志文件2、日志文件3和日志文件4，通过轮询检测每个日志文件对应的标识是否已记录在已上报日志文件的标识中，可以确定日志文件3未上报到数据接收端，确定存在遗漏日志文件，该日志文件3为遗漏日志文件，这样只需将该日志文件3进行上报，保证日志文件不会重复采集和丢失，提高日志采集的效率和稳定性。
本发明实施例中，目标文件目录下生成的每个日志文件，如第二日志文件均采用如第一日志文件的方式生成对应的标识，即第二日志文件对应的标识可以是根据预设的哈希函数，对所述第二日志文件的文件系统标识、所述第二日志文件对应的索引节点号和所述第二日志文件中预设位置的数据进行计算，得到的。
在进行轮询时，由于可能涉及数量较大的情况，因此，在本发明另一些实施例中，为了避免I/O压力，在确定存在未采集上报的遗漏日志文件之后，向所述数据接收端采集上报遗漏日志文件时，可以进行上报限速，即预先配置限速值，在上报日志文件时能够从配置中获取限速值，例如默认1M/s。
在本发明实施例具体实施时，本发明实施例中日志采集方法还可以包括：在监控所述目标文件目录下是否生成待采集的第一日志文件之前，配置所述目标文件目录下日志文件的第一采集策略。此时，所述监控所述目标文件目录下是否生成待采集的第一日志文件，可以包括：根据所述第一采集策略监控所述目标文件目录下是否生成待采集的第一日志文件。
目前，日志采集实时上报的方案中，都属于紧耦合的方案，当需要更改采集协议或更改采集数据接收端时，需要推动所有应用使用方去修改代码，发布新版本，代价极高。因此，在本发明实施例中，日志采集装置中可以单独设置配置采集策略的配置单元，用于拉取预先配置的采集策略，例如可以从本地配置文件或远程配置中心拉取预先配置的日志采集策略，并且可以设置定时从远程配置中心拉取预先配置的日志采集策略，及时将远程配置中心的预先配置的日志采集策略更新到日志采集装置，日志采集装置根据当前配置的日志采集策略监控目标文件目录下日志文件。
其中，日志采集策略中可以设定日志采集的模式，例如采集什么类型数据，以什么格式保存日志等，在本发明实施例中在日志采集策略中可以设置极简模式、分隔符模式、JSON模式、完整正则模式等方式进行日志采集。
下面以完整正则模式对如何设置日志采集策略进行举例说明，具体如下：
(1)输入日志样例。
提供日志样例的目的是方便日志采集策略的配置单元自动提取其中的正则匹配模式，该过程中需要使用实际场景的日志。
(2)设置日志内容采集方式
默认为使用单行模式，即按照一行为一条日志进行分割，如果需要收集跨行日志(比如Java程序日志)，需要关闭单行模式，然后设置行首正则表达式。
(3)设置行首正则表达式。
一般来说，可以提供自动生成和手动输入两种功能。输入完日志样例后，可以自动生成即会生成行首正则表达式；如果无法自动生成，可以切换为手动模式输入行首正则表达式进行验证。
(4)开启提取字段。
如果需要对日志内容中的字段单独分析处理，可以使用提取字段功能将指定字段变成Key-Value对后发送到服务器端，所以需要指定解析一条日志内容的方式，即正则表达式。
本发明实施例中，日志采集策略的配置单元提供两种方式指定解析正则表达式。第一种方式是通过简单交互自动生成正则表达式。通过用户“划选”的方式操作日志样例，选中需要提取的字段，日志采集策略的配置单元会自动生成正则表达式。
具体的，在上述实施例的基础上，在本发明一些实施例中，如图3所示，该日志采集方法可以包括：
S301、获取将当前所述第一采集策略调整为第二采集策略的指令。
具体的，该获取将当前所述第一采集策略调整为第二采集策略的指令可以是本地更新采集策略，即需要调整采集策略时，用户进行设置，将当前所述第一采集策略调整为本地的第二采集策略，此时即获取将当前所述第一采集策略调整为第二采集策略的指令。可以理解的是，在本发明其他一些实施例中，还可以是其他获取调整采集策略的指令，例如，当从其他目的端接收到第二采集策略时，可以认为是获取将当前所述第一采集策略调整为第二采集策略的指令。
S302、根据所述第二采集策略监控所述目标文件目录下是否生成待采集的第三日志文件。
S303、若所述目标文件目录下生成待采集的第三日志文件，向数据接收端采集上报所述第三日志文件。
为了使操作人员及时了解日志采集的情况及进度，便于日志采集数据监控和日志采集装置是否异常，在上述实施例的基础之上，在本发明一些实施例中，如图4所示，本发明实施例中日志采集方法还可以进一步包括：
S401、实时记录所述预设周期内采集上报的日志文件的字节数和条数。
S402、根据所述字节数和条数生成心跳数据。
S403、向监控平台发送所述心跳数据。
当监控平台在很长时间内(预设时间)未收到心跳数据时，可以认为是日志采集存在异常，可以在监控平台发起告警或提示(如邮件或短信提示到对应操作人员)。
为了更好实施本发明实施例中日志采集方法，在日志采集方法基础之上，本发明实施例中还提供一种日志采集装置，如图5所示，该日志采集装置500包括：
监控单元501，用于监控所述目标文件目录下是否生成待采集的第一日志文件；
采集单元502，用于若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
轮询单元503，用于按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
本发明实施例通过监控单元501监控目标文件目录下是否生成待采集的第一日志文件；若目标文件目录下生成待采集的第一日志文件，采集单元502向数据接收端采集上报第一日志文件；轮询单元503按照预设周期对目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向数据接收端采集上报所述遗漏日志文件。本发明实施例中通过监控目标文件目录下的日志文件的监控机制，保证日志采集的实时性，降低了服务器I/O压力，同时定期对目标文件目录下日志文件进行轮询，避免了监控机制传输数据过程中丢失数据的情况，提高了日志采集的可靠性。
进一步的，所述日志采集装置还包括日志生成单元；
所述日志生成单元用于在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识；保存所述第一日志文件和所述第一日志文件对应的标识。
进一步的，所述日志生成单元具体用于：
获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；
根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。
进一步的，所述日志采集装置还包括记录单元；
所述记录单元用于在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识；
所述轮询单元具体用于：
获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；
分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。
进一步的，所述日志采集装置还包括配置单元；
所述配置单元用于在监控所述目标文件目录下是否生成待采集的第一日志文件之前，配置所述目标文件目录下日志文件的第一采集策略；
所述监控单元具体用于：根据所述第一采集策略监控所述目标文件目录下是否生成待采集的第一日志文件。
进一步的，所述配置单元还用于：获取将当前所述第一采集策略调整为第二采集策略的指令；根据所述第二采集策略监控所述目标文件目录下是否生成待采集的第三日志文件；
所述采集单元还用于若所述目标文件目录下生成待采集的第三日志文件，向数据接收端采集上报所述第三日志文件。
进一步的，所述日志采集装置还包括心跳单元；所述心跳单元用于：
实时记录所述预设周期内采集上报的日志文件的字节数和条数；
根据所述字节数和条数生成心跳数据；
向监控平台发送所述心跳数据。
本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种日志采集装置，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述日志采集方法实施例中任一实施例中所述的日志采集方法中的步骤。
本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种日志采集装置。如图6所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
服务器还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
监控所述目标文件目录下是否生成待采集的第一日志文件；
若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；
若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。该存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种日志采集方法中的步骤。例如，该指令可以执行如下步骤：
监控所述目标文件目录下是否生成待采集的第一日志文件；
若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；
若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种日志采集方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种日志采集方法，其特征在于，所述日志采集方法包括：
监控所述目标文件目录下是否生成待采集的第一日志文件；
若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；
若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
2.根据权利要求1所述的日志采集方法，其特征在于，所述方法还包括：
在所述目标文件目录下生成待采集的第一日志文件时，根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识；
保存所述第一日志文件和所述第一日志文件对应的标识。
3.根据权利要求2所述的日志采集方法，其特征在于，所述根据所述第一日志文件预设位置的数据进行哈希运算，得到所述第一日志文件的标识，包括：
获取第一日志文件的文件系统标识和所述第一日志文件对应的索引节点号；
根据预设的哈希函数，对所述第一日志文件的文件系统标识、所述第一日志文件对应的索引节点号和所述第一日志文件中预设位置的数据进行计算，得到所述第一日志文件的标识。
4.根据权利要求1所述的日志采集方法，其特征在于，所述方法还包括：
在向所述数据接收端采集上报日志文件时，记录已上报日志文件的标识；
所述按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件，包括：
获取当前周期内所述目标文件目录下生成的第二日志文件，所述第二日志文件中每个日志文件均包括对应的标识；
分别以所述第二日志文件中每个日志文件为目标日志文件，轮询检测所述目标日志文件对应的标识是否已记录在已上报日志文件的标识中，若否，确定存在未采集上报的遗漏日志文件，并将所述目标日志文件作为遗漏日志文件。
5.根据权利要求1所述的日志采集方法，其特征在于，所述方法还包括：
在监控所述目标文件目录下是否生成待采集的第一日志文件之前，配置所述目标文件目录下日志文件的第一采集策略；
所述监控所述目标文件目录下是否生成待采集的第一日志文件，包括：
根据所述第一采集策略监控所述目标文件目录下是否生成待采集的第一日志文件。
6.根据权利要求5所述的日志采集方法，其特征在于，所述方法还包括：
获取将当前所述第一采集策略调整为第二采集策略的指令；
根据所述第二采集策略监控所述目标文件目录下是否生成待采集的第三日志文件；
若所述目标文件目录下生成待采集的第三日志文件，向数据接收端采集上报所述第三日志文件。
7.根据权利要求1所述的日志采集方法，其特征在于，所述方法还包括：
实时记录所述预设周期内采集上报的日志文件的字节数和条数；
根据所述字节数和条数生成心跳数据；
向监控平台发送所述心跳数据。
8.一种日志采集装置，其特征在于，所述日志采集装置包括：
监控单元，用于监控所述目标文件目录下是否生成待采集的第一日志文件；
采集单元，用于若所述目标文件目录下生成待采集的第一日志文件，向数据接收端采集上报所述第一日志文件；
轮询单元，用于按照预设周期对所述目标文件目录下生成的日志文件进行轮询，确定是否存在未采集上报的遗漏日志文件；若存在未采集上报的遗漏日志文件，向所述数据接收端采集上报所述遗漏日志文件。
9.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的日志采集方法。
10.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的日志采集方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910223488.7A CN111723064A (zh) | 2019-03-22 | 2019-03-22 | 日志采集方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910223488.7A CN111723064A (zh) | 2019-03-22 | 2019-03-22 | 日志采集方法、装置、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111723064A true CN111723064A (zh) | 2020-09-29 |
Family
ID=72562789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910223488.7A Pending CN111723064A (zh) | 2019-03-22 | 2019-03-22 | 日志采集方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723064A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115497191A (zh) * | 2022-09-15 | 2022-12-20 | 厦门物之联智能科技有限公司 | 一种走行部监测系统脱轨原始数据轮询上报方法和装置 |
| CN116701426A (zh) * | 2023-08-07 | 2023-09-05 | 荣耀终端有限公司 | 数据处理方法、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041683B1 (en) * | 2006-09-29 | 2011-10-18 | Emc Corporation | Methods and apparatus for locating network logs |
| CN102790686A (zh) * | 2011-05-17 | 2012-11-21 | 浙江核新同花顺网络信息股份有限公司 | 日志数据采集方法、系统及服务器 |
| CN107508718A (zh) * | 2016-06-14 | 2017-12-22 | 阿里巴巴集团控股有限公司 | 日志采集系统、日志采集单元以及日志采集方法 |
| CN108304583A (zh) * | 2018-03-06 | 2018-07-20 | 北京顶象技术有限公司 | 一种文件采集方法及装置 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
-
2019
- 2019-03-22 CN CN201910223488.7A patent/CN111723064A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8041683B1 (en) * | 2006-09-29 | 2011-10-18 | Emc Corporation | Methods and apparatus for locating network logs |
| CN102790686A (zh) * | 2011-05-17 | 2012-11-21 | 浙江核新同花顺网络信息股份有限公司 | 日志数据采集方法、系统及服务器 |
| CN107508718A (zh) * | 2016-06-14 | 2017-12-22 | 阿里巴巴集团控股有限公司 | 日志采集系统、日志采集单元以及日志采集方法 |
| CN108304583A (zh) * | 2018-03-06 | 2018-07-20 | 北京顶象技术有限公司 | 一种文件采集方法及装置 |
| CN109327351A (zh) * | 2018-09-12 | 2019-02-12 | 拉扎斯网络科技（上海）有限公司 | 日志数据的实时采集方法、装置、电子设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115497191A (zh) * | 2022-09-15 | 2022-12-20 | 厦门物之联智能科技有限公司 | 一种走行部监测系统脱轨原始数据轮询上报方法和装置 |
| CN115497191B (zh) * | 2022-09-15 | 2023-11-17 | 厦门物之联智能科技有限公司 | 一种走行部监测系统脱轨原始数据轮询上报方法和装置 |
| CN116701426A (zh) * | 2023-08-07 | 2023-09-05 | 荣耀终端有限公司 | 数据处理方法、电子设备及存储介质 |
| CN116701426B (zh) * | 2023-08-07 | 2024-04-05 | 荣耀终端有限公司 | 数据处理方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3806432A1 (en) | Method for changing service on device and service changing system | |
| US9176798B2 (en) | Computer-readable recording medium, failure prediction device and applicability determination method | |
| US8806256B2 (en) | Power consumption monitor and method therefor | |
| EP2723017A1 (en) | Method, apparatus and system for implementing distributed auto-incrementing counting | |
| US20090248867A1 (en) | Network system, device, control method thereof, and storage medium | |
| CN113849294B (zh) | 一种kubernetes pod扩缩容的系统及方法 | |
| CN111723064A (zh) | 日志采集方法、装置、服务器及存储介质 | |
| CN113746821A (zh) | 智能设备控制方法、装置、存储介质及电子设备 | |
| CN111711669A (zh) | 一种数据上传方法、装置、服务器及存储介质 | |
| CN108877188A (zh) | 一种环保数据并发采集及多网络发布方法和装置 | |
| CN117527721A (zh) | 内容分发网络带宽控制方法、装置、设备和存储介质 | |
| CN106407069B (zh) | 用于管理能量管理系统中的数据库的设备和方法 | |
| CN114579368B (zh) | 持续数据保护的备份管理方法、计算机设备及存储介质 | |
| CN115190044B (zh) | 设备连接状态检查方法、装置、设备和存储介质 | |
| CN114116275A (zh) | 终端异常修复方法、装置、存储介质及电子设备 | |
| CN114817134A (zh) | 一种快照任务监控方法、装置、设备及介质 | |
| CN109992441B (zh) | 一种固件日志收集方法、系统、设备及介质 | |
| CN114490432A (zh) | 内存处理方法、装置、电子设备和计算机可读存储介质 | |
| JP2010170168A (ja) | 流量制御方法およびシステム | |
| CN110673710B (zh) | 一种服务器机箱复位方法、装置、设备、介质 | |
| CN117033084B (zh) | 虚拟机备份方法、装置、电子设备及存储介质 | |
| CN115914016A (zh) | 集群故障诊断方法、装置、设备和存储介质 | |
| CN118312234A (zh) | 组件控制方法、装置、设备和存储介质 | |
| CN114579369A (zh) | 数据的备份方法、计算机设备及存储介质 | |
| CN115269498A (zh) | 智能化数据归档方法、装置、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200929 |