CN112631873B - 日志监控方法、装置、计算机设备和存储介质 - Google Patents
日志监控方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112631873B CN112631873B CN202011612043.7A CN202011612043A CN112631873B CN 112631873 B CN112631873 B CN 112631873B CN 202011612043 A CN202011612043 A CN 202011612043A CN 112631873 B CN112631873 B CN 112631873B
- Authority
- CN
- China
- Prior art keywords
- log
- characters
- detected
- area
- keywords
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012544 monitoring process Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000012795 verification Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012806 monitoring device Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 8
- 230000008030 elimination Effects 0.000 abstract description 3
- 238000003379 elimination reaction Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Storage Device Security (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及日志监控领域，提供一种日志监控方法、装置、计算机设备和存储介质，包括：获取待检测日志；获取待检测日志的日志文件路径，并验证日志文件路径是否合法；若合法，则检测待检测日志中的关键字；检测待检测日志中的剔除关键字；截取待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；验证错误关键字上下文记录数是否为整数；若为整数，则检测待检测日志中的时间戳分隔符字符串；对时间戳分隔符字符串、关键字以及剔除关键字进行格式处理；格式处理后保存为文件；将文件进行编码输出。本申请在监控日志时支持剔除关键字，并且可以完整显示异常信息上下文；日志监控流程中经过多重验证，可以避免产生混乱。
Description
技术领域
本申请涉及日志监控的技术领域，特别涉及一种日志监控方法、装置、计算机设备和存储介质。
背景技术
日志监控对于运维来说是定位生产问题非常重要的手段，随着生产服务器中linux环境的增多，日志定位分析的工作量也随之增加，异常需要有准确高效的日志监控手段，使监控做到准确、及时的发现异常，直接定位具体的异常语句，以方便分析，同时又要支持灵活的过滤手段，即时排除无效告警，防止误报，从而达到提高工作效率的目的。
现有linux服务中的日志监控方法没有剔除关键字功能，不能精准搜素关键字和临时屏蔽异常关键字；这样会产生大量误报，使得监控混乱，另外异常关键字信息不能完整显示异常信息上下文，不利于快速分析异常；此时，则需要登陆告警主机查看完整日志。
发明内容
本申请的主要目的为提供一种日志监控方法、装置、计算机设备和存储介质，旨在克服目前监控日志时容易产生混乱的缺陷。
为实现上述目的，本申请提供了一种日志监控方法，包括以下步骤：
获取待检测日志；
获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；
若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；
验证所述错误关键字上下文记录数是否为整数；
若为整数，则检测所述待检测日志中的时间戳分隔符字符串；
对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；
将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；
将所述文件进行编码输出。
进一步地，所述将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件的步骤，包括：
分别获取格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串中包括的字符数量，分别为第一字符数量、第二字符数量以及第三字符数量；
计算所述第一字符数量、第二字符数量以及第三字符数量的第一比值；
创建一个文档，并将所述文档分隔为第一区域、第二区域以及第三区域，且所述第一区域、第二区域以及第三区域的比值等于所述第一比值；
将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域，以生成所述文件。
进一步地，所述将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域的步骤之后，还包括：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并对所述终端ID进行哈希计算，得到一个总长度为所述总数量的哈希串；
创建三个空白签章，分别为第一空白签章、第二空白签章以及第三空白签章；
选取所述哈希串中排列在前第一数量的字符添加在所述第一空白签章中，生成第一签章并加盖在所述第一区域；其中，所述第一数量等于第一字符数量；
从所述哈希串中前第一数量的字符之后选取排列在前第二数量的字符添加在所述第二空白签章中，生成第二签章并加盖在所述第二区域；其中，所述第二数量等于第二字符数量；
选取所述哈希串中排列在后第三数量的字符添加在所述第三空白签章中，生成第三签章加盖在所述第三区域；其中，所述第三数量等于第三字符数量。
进一步地，所述将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域的步骤之后，还包括：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并将所述终端ID与所述总数量进行组合，得到第一组合；
对所述第一组合进行哈希计算，得到一个总长度为指定数量的指定哈希串；
基于所述指定哈希串对所述文档进行加密，并将所述第一组合设置为所述文档的文件名称。
本申请还提供了一种日志监控装置，包括：
获取单元，用于获取待检测日志；
第一验证单元，用于获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；
第一检测单元，用于若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；
第二验证单元，用于验证所述错误关键字上下文记录数是否为整数；
第二检测单元，用于若为整数，则检测所述待检测日志中的时间戳分隔符字符串；
处理单元，用于对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；
保存单元，用于将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；
输出单元，用于将所述文件进行编码输出。
进一步地，所述保存单元，包括：
获取子单元，用于分别获取格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串中包括的字符数量，分别为第一字符数量、第二字符数量以及第三字符数量；
第一计算子单元，用于计算所述第一字符数量、第二字符数量以及第三字符数量的第一比值；
第一创建子单元，用于创建一个文档，并将所述文档分隔为第一区域、第二区域以及第三区域，且所述第一区域、第二区域以及第三区域的比值等于所述第一比值；
添加子单元，用于将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域，以生成所述文件。
进一步地，所述保存单元，还包括：
第二计算子单元，用于计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
生成子单元，用于从所述待检测日志中获取生成所述待检测日志的终端ID，并对所述终端ID进行哈希计算，得到一个总长度为所述总数量的哈希串；
第二创建子单元，用于创建三个空白签章，分别为第一空白签章、第二空白签章以及第三空白签章；
第一选取子单元，用于选取所述哈希串中排列在前第一数量的字符添加在所述第一空白签章中，生成第一签章并加盖在所述第一区域；其中，所述第一数量等于第一字符数量；
第二选取子单元，用于从所述哈希串中前第一数量的字符之后选取排列在前第二数量的字符添加在所述第二空白签章中，生成第二签章并加盖在所述第二区域；其中，所述第二数量等于第二字符数量；
第三选取子单元，用于选取所述哈希串中排列在后第三数量的字符添加在所述第三空白签章中，生成第三签章加盖在所述第三区域；其中，所述第三数量等于第三字符数量。
进一步地，所述保存单元，还用于：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并将所述终端ID与所述总数量进行组合，得到第一组合；
对所述第一组合进行哈希计算，得到一个总长度为指定数量的指定哈希串；
基于所述指定哈希串对所述文档进行加密，并将所述第一组合设置为所述文档的文件名称。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请提供的日志监控方法、装置、计算机设备和存储介质，包括：获取待检测日志；获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；验证所述错误关键字上下文记录数是否为整数；若为整数，则检测所述待检测日志中的时间戳分隔符字符串；对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；将所述文件进行编码输出。本申请在监控日志时支持剔除关键字，并且可以完整显示异常信息上下文；同时，本申请的日志监控流程中经过多重验证，可以避免产生混乱。
附图说明
图1是本申请一实施例中日志监控方法步骤示意图；
图2是本申请一实施例中日志监控装置结构框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种日志监控方法，包括以下步骤：
步骤S1，获取待检测日志；
步骤S2，获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；
步骤S3，若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；
步骤S4，验证所述错误关键字上下文记录数是否为整数；
步骤S5，若为整数，则检测所述待检测日志中的时间戳分隔符字符串；
步骤S6，对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；
步骤S7，将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；
步骤S8，将所述文件进行编码输出。
在本实施例中，上述方法应用于监控linux日志，通常由监控用户所在的终端进行日志的监控。如上述步骤S1所述的，监控时，执行检测命令，并对上一次告警时间点往后的日志进行监控，以输出检测结果。具体地，根据时间戳参数，使用Awk指令截取上次告警时间点以后的日志内容作为所述待检测日志。
如上述步骤S2所述的，上述日志文件路径为日志文件的完整路径，需要对其进行合法性验证，若该日志文件路径不存在，或者有误，则认定不合法。若该日志文件路径不合法，则表明上述日志文件的来源存在问题，则无需继续监控，便可以直接输出该待检测日志为异常的结果。
如上述步骤S3所述的，上述剔除关键字参数、错误关键字参数、错误关键上下文记录数参数均为预先配置的参数，在配置好之后，便可以根据上述参数在上述待检测日志中检测出对应的内容。具体地，上述剔除关键字参数中可以配置有多个剔除关键字(即需要剔除的关键字)，上述剔除关键字，为经常报错，但是开发又不进行处理且不影响应用的关键字，这一类关键字应当被剔除。根据上述剔除关键字参数从上述待检测日志中检测出的每个剔除关键字之间采用“|”进行分隔。同理，检测出的上述关键字之间也是采用“|”进行分隔。上述grep–Ve、grep–A-E、Awk指令等为linux环境下的指令，其用于执行上述检测动作。
如上述步骤S4所述的，上述错误关键字上下文记录数指的是上下文中出现错误关键字的次数，该次数应当为一整数，若为0，则表示无错误关键字。
如上述步骤S5所述的，若上述错误关键字上下文记录数为整数，则可以继续检测时间戳分隔符字符串。上述时间戳分隔符字符串为时间戳中的分隔符，上述时间戳分隔符字符串在不传时，取默认分隔字符串“[”，例如某一时间戳为：2019-07-25_16:39:37.921[ERROR][qtp903277991-13845]”,因此从上述待检测日志中检测到上述时间戳分隔符字符串“[”。进一步地,上述时间戳分隔符字符串“[”之前的时间串为检测到日志日常时，记录的告警时间。
如上述步骤S6所述的，从上述待检测日志中检测出的关键字、剔除关键字中包括的特殊字符、以及时间戳分隔符字符串无法被后续识别；因此，需要分别对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理。上述格式处理包括：对其中所包括的特殊字符“[”、“]”进行转义处理，以便用于识别。
最后，如上述步骤S7-S8所述的，将上述从待检测日志中检测出的关键字、剔除关键字、时间戳分隔符字符串保存在一个文件中，并进行编码输出，以便于机器识别。根据上述文件，便可以从中获取到上述待检测日志的相关内容，便于监控。在本实施例中，日志监控过程需要进程多重验证，使得日志监控的准确性提高，避免监控时由于日志文件的不正确而产生混乱。
在一实施例中，所述将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件的步骤S7，包括：
步骤S71，分别获取格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串中包括的字符数量，分别为第一字符数量、第二字符数量以及第三字符数量；
步骤S72，计算所述第一字符数量、第二字符数量以及第三字符数量的第一比值；
步骤S73，创建一个文档，并将所述文档分隔为第一区域、第二区域以及第三区域，且所述第一区域、第二区域以及第三区域的比值等于所述第一比值；
步骤S74，将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域，以生成所述文件。
在本实施例中，生成上述文件时，考虑到上述关键字、剔除关键字、时间戳分隔符字符串中分别包括的内容不同，对应的字符数量不同，将其添加在文档中所占的区域大小不同，因此，对上述文档进行区域划分为第一区域、第二区域以及第三区域，且所述第一区域、第二区域以及第三区域的比值等于所述关键字、剔除关键字、时间戳分隔符字符串中包括的字符数量之间的比值，以满足将上述关键字、剔除关键字、时间戳分隔符字符串适宜地添加至上述空白文档中。
在一实施例中，所述将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域的步骤S74之后，还包括：
步骤S741，计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
步骤S742，从所述待检测日志中获取生成所述待检测日志的终端ID，并对所述终端ID进行哈希计算，得到一个总长度为所述总数量的哈希串；
步骤S743，创建三个空白签章，分别为第一空白签章、第二空白签章以及第三空白签章；
步骤S744，选取所述哈希串中排列在前第一数量的字符添加在所述第一空白签章中，生成第一签章并加盖在所述第一区域；其中，所述第一数量等于第一字符数量；
步骤S745，从所述哈希串中前第一数量的字符之后选取排列在前第二数量的字符添加在所述第二空白签章中，生成第二签章并加盖在所述第二区域；其中，所述第二数量等于第二字符数量；
步骤S746，选取所述哈希串中排列在后第三数量的字符添加在所述第三空白签章中，生成第三签章加盖在所述第三区域；其中，所述第三数量等于第三字符数量。
在本实施例中，为了加强上述文件的防伪性，需要在上述文档中添加签章，普通的签章容易造假，因此，需要进行特殊处理。
由于上述文档被分成三个区域，因此可以设置三个签章，每个签章对应添加在一个区域内；为了增强上述签章与对应区域的关联性，增强防伪性，则可以在签章中添加与该区域中字符数量相同的一个字符；例如，第一区域内添加的关键字包括的第一字符数量为20，则加盖在上述第一区域上的第一签章中的字符数量也为20；通过这种关联，不仅可以从签章中表明上述区域中包括的内容的字符数量，若上述区域中的内容发生更改，则可以通过其字符数量与签章进行核对，及时发现更改；同时，不同区域上添加的签章也不同，增强了防伪性。进一步地，上述签章中的字符内容来源于对终端ID进行哈希计算的结果，更进一步地增强了与终端ID的关联性，提升防伪性。
在一实施例中，所述将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域的步骤S74之后，还包括：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并将所述终端ID与所述总数量进行组合，得到第一组合；
对所述第一组合进行哈希计算，得到一个总长度为指定数量的指定哈希串；
基于所述指定哈希串对所述文档进行加密，并将所述第一组合设置为所述文档的文件名称。
在本实施例中，为了进一步增加上述文件的安全性，应当对其进行加密处理。本实施例中，根据上述终端ID以及总数量进行组合后进行哈希计算得到对应的指定哈希串，该指定哈希串则作为对文档进行加密的密码。同时为了，接收上述文件的终端进行解密，将上述终端ID以及总数量进行组合得到的第一组合作为所述文档的文件名称，以便可以根据上述第一组合进行哈希计算得到解密密码。而在其他人员不知道这种规则的情况下，则无法对其进行解密。
参照图2，本申请一实施例中还提供了一种日志监控装置，包括：
获取单元10，用于获取待检测日志；
第一验证单元20，用于获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；
第一检测单元30，用于若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；
第二验证单元40，用于验证所述错误关键字上下文记录数是否为整数；
第二检测单元50，用于若为整数，则检测所述待检测日志中的时间戳分隔符字符串；
处理单元60，用于对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；
保存单元70，用于将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；
输出单元80，用于将所述文件进行编码输出。
在一实施例中，所述保存单元70，包括：
获取子单元，用于分别获取格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串中包括的字符数量，分别为第一字符数量、第二字符数量以及第三字符数量；
第一计算子单元，用于计算所述第一字符数量、第二字符数量以及第三字符数量的第一比值；
第一创建子单元，用于创建一个文档，并将所述文档分隔为第一区域、第二区域以及第三区域，且所述第一区域、第二区域以及第三区域的比值等于所述第一比值；
添加子单元，用于将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域，以生成所述文件。
在一实施例中，所述保存单元70，还包括：
第二计算子单元，用于计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
生成子单元，用于从所述待检测日志中获取生成所述待检测日志的终端ID，并对所述终端ID进行哈希计算，得到一个总长度为所述总数量的哈希串；
第二创建子单元，用于创建三个空白签章，分别为第一空白签章、第二空白签章以及第三空白签章；
第一选取子单元，用于选取所述哈希串中排列在前第一数量的字符添加在所述第一空白签章中，生成第一签章并加盖在所述第一区域；其中，所述第一数量等于第一字符数量；
第二选取子单元，用于从所述哈希串中前第一数量的字符之后选取排列在前第二数量的字符添加在所述第二空白签章中，生成第二签章并加盖在所述第二区域；其中，所述第二数量等于第二字符数量；
第三选取子单元，用于选取所述哈希串中排列在后第三数量的字符添加在所述第三空白签章中，生成第三签章加盖在所述第三区域；其中，所述第三数量等于第三字符数量。
在一实施例中，所述保存单元70，还用于：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并将所述终端ID与所述总数量进行组合，得到第一组合；
对所述第一组合进行哈希计算，得到一个总长度为指定数量的指定哈希串；
基于所述指定哈希串对所述文档进行加密，并将所述第一组合设置为所述文档的文件名称。
在本实施例中，上述各个单元、子单元的具体实现请参照上述方法实施例中所述，在此不再进行赘述。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储日志等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志监控方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种日志监控方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
综上所述，为本申请实施例中提供的日志监控方法、装置、计算机设备和存储介质，包括：获取待检测日志；获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；验证所述错误关键字上下文记录数是否为整数；若为整数，则检测所述待检测日志中的时间戳分隔符字符串；对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；将所述文件进行编码输出。本申请在监控日志时支持剔除关键字，并且可以完整显示异常信息上下文；同时，本申请的日志监控流程中经过多重验证，可以避免产生混乱。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种日志监控方法，其特征在于，包括以下步骤：
获取待检测日志；
获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；
若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；
验证所述错误关键字上下文记录数是否为整数；
若为整数，则检测所述待检测日志中的时间戳分隔符字符串；
对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；
将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；
将所述文件进行编码输出。
2.根据权利要求1所述的日志监控方法，其特征在于，所述将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件的步骤，包括：
分别获取格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串中包括的字符数量，分别为第一字符数量、第二字符数量以及第三字符数量；
计算所述第一字符数量、第二字符数量以及第三字符数量的第一比值；
创建一个文档，并将所述文档分隔为第一区域、第二区域以及第三区域，且所述第一区域、第二区域以及第三区域的比值等于所述第一比值；
将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域，以生成所述文件。
3.根据权利要求2所述的日志监控方法，其特征在于，所述将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域的步骤之后，还包括：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并对所述终端ID进行哈希计算，得到一个总长度为所述总数量的哈希串；
创建三个空白签章，分别为第一空白签章、第二空白签章以及第三空白签章；
选取所述哈希串中排列在前第一数量的字符添加在所述第一空白签章中，生成第一签章并加盖在所述第一区域；其中，所述第一数量等于第一字符数量；
从所述哈希串中前第一数量的字符之后选取排列在前第二数量的字符添加在所述第二空白签章中，生成第二签章并加盖在所述第二区域；其中，所述第二数量等于第二字符数量；
选取所述哈希串中排列在后第三数量的字符添加在所述第三空白签章中，生成第三签章加盖在所述第三区域；其中，所述第三数量等于第三字符数量。
4.根据权利要求2所述的日志监控方法，其特征在于，所述将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域的步骤之后，还包括：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并将所述终端ID与所述总数量进行组合，得到第一组合；
对所述第一组合进行哈希计算，得到一个总长度为指定数量的指定哈希串；
基于所述指定哈希串对所述文档进行加密，并将所述第一组合设置为所述文档的文件名称。
5.一种日志监控装置，其特征在于，包括：
获取单元，用于获取待检测日志；
第一验证单元，用于获取所述待检测日志的日志文件路径，并验证所述日志文件路径是否合法；
第一检测单元，用于若合法，则根据关键字参数，检测所述待检测日志中的关键字；根据剔除关键字参数，采用grep–Ve指令检测所述待检测日志中的剔除关键字；根据错误关键字参数、错误关键字上下文记录数参数，采用grep–A-E指令截取所述待检测日志中包含错误关键字上下文的n行记录，以获取错误关键字上下文记录数；
第二验证单元，用于验证所述错误关键字上下文记录数是否为整数；
第二检测单元，用于若为整数，则检测所述待检测日志中的时间戳分隔符字符串；
处理单元，用于对所述时间戳分隔符字符串进行格式处理，对所述关键字进行格式处理，以及对所述剔除关键字进行格式处理；
保存单元，用于将格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串保存为文件；
输出单元，用于将所述文件进行编码输出。
6.根据权利要求5所述的日志监控装置，其特征在于，所述保存单元，包括：
获取子单元，用于分别获取格式处理后的所述关键字、剔除关键字、时间戳分隔符字符串中包括的字符数量，分别为第一字符数量、第二字符数量以及第三字符数量；
第一计算子单元，用于计算所述第一字符数量、第二字符数量以及第三字符数量的第一比值；
第一创建子单元，用于创建一个文档，并将所述文档分隔为第一区域、第二区域以及第三区域，且所述第一区域、第二区域以及第三区域的比值等于所述第一比值；
添加子单元，用于将所述关键字添加至第一区域，将所述剔除关键字添加至第二区域，以及将所述时间戳分隔符字符串添加至第三区域，以生成所述文件。
7.根据权利要求6所述的日志监控装置，其特征在于，所述保存单元，还包括：
第二计算子单元，用于计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
生成子单元，用于从所述待检测日志中获取生成所述待检测日志的终端ID，并对所述终端ID进行哈希计算，得到一个总长度为所述总数量的哈希串；
第二创建子单元，用于创建三个空白签章，分别为第一空白签章、第二空白签章以及第三空白签章；
第一选取子单元，用于选取所述哈希串中排列在前第一数量的字符添加在所述第一空白签章中，生成第一签章并加盖在所述第一区域；其中，所述第一数量等于第一字符数量；
第二选取子单元，用于从所述哈希串中前第一数量的字符之后选取排列在前第二数量的字符添加在所述第二空白签章中，生成第二签章并加盖在所述第二区域；其中，所述第二数量等于第二字符数量；
第三选取子单元，用于选取所述哈希串中排列在后第三数量的字符添加在所述第三空白签章中，生成第三签章加盖在所述第三区域；其中，所述第三数量等于第三字符数量。
8.根据权利要求6所述的日志监控装置，其特征在于，所述保存单元，还用于：
计算所述第一字符数量、第二字符数量以及第三字符数量的总数量；
从所述待检测日志中获取生成所述待检测日志的终端ID，并将所述终端ID与所述总数量进行组合，得到第一组合；
对所述第一组合进行哈希计算，得到一个总长度为指定数量的指定哈希串；
基于所述指定哈希串对所述文档进行加密，并将所述第一组合设置为所述文档的文件名称。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612043.7A CN112631873B (zh) | 2020-12-30 | 2020-12-30 | 日志监控方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612043.7A CN112631873B (zh) | 2020-12-30 | 2020-12-30 | 日志监控方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112631873A CN112631873A (zh) | 2021-04-09 |
| CN112631873B true CN112631873B (zh) | 2023-11-21 |
Family
ID=75286839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011612043.7A Active CN112631873B (zh) | 2020-12-30 | 2020-12-30 | 日志监控方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112631873B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006309509A (ja) * | 2005-04-28 | 2006-11-09 | Nippon Telegr & Teleph Corp <Ntt> | 閲覧画面再利用装置、閲覧画面再利用プログラム、及び記録媒体 |
| JP2010224705A (ja) * | 2009-03-23 | 2010-10-07 | Hitachi Software Eng Co Ltd | ログ検索システム |
| CN102902764A (zh) * | 2012-09-25 | 2013-01-30 | 北京奇虎科技有限公司 | 一种日志记录的方法和装置 |
| CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
| CN106980627A (zh) * | 2016-01-18 | 2017-07-25 | 中兴通讯股份有限公司 | 日志内容的显示方法及装置 |
| CN109388623A (zh) * | 2018-11-02 | 2019-02-26 | 郑州云海信息技术有限公司 | 一种设备故障检测的方法、系统及相关组件 |
| CN111190792A (zh) * | 2019-12-20 | 2020-05-22 | 中移（杭州）信息技术有限公司 | 一种日志存储的方法、装置、电子设备及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4968293B2 (ja) * | 2009-08-06 | 2012-07-04 | コニカミノルタビジネステクノロジーズ株式会社 | 文書処理装置、文書処理方法およびプログラム |
| US9734005B2 (en) * | 2014-10-31 | 2017-08-15 | International Business Machines Corporation | Log analytics for problem diagnosis |
-
2020
- 2020-12-30 CN CN202011612043.7A patent/CN112631873B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006309509A (ja) * | 2005-04-28 | 2006-11-09 | Nippon Telegr & Teleph Corp <Ntt> | 閲覧画面再利用装置、閲覧画面再利用プログラム、及び記録媒体 |
| JP2010224705A (ja) * | 2009-03-23 | 2010-10-07 | Hitachi Software Eng Co Ltd | ログ検索システム |
| CN102902764A (zh) * | 2012-09-25 | 2013-01-30 | 北京奇虎科技有限公司 | 一种日志记录的方法和装置 |
| CN106980627A (zh) * | 2016-01-18 | 2017-07-25 | 中兴通讯股份有限公司 | 日志内容的显示方法及装置 |
| CN105740121A (zh) * | 2016-01-26 | 2016-07-06 | 中国银行股份有限公司 | 一种日志文本监控与预警方法、装置 |
| CN109388623A (zh) * | 2018-11-02 | 2019-02-26 | 郑州云海信息技术有限公司 | 一种设备故障检测的方法、系统及相关组件 |
| CN111190792A (zh) * | 2019-12-20 | 2020-05-22 | 中移（杭州）信息技术有限公司 | 一种日志存储的方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112631873A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263585B (zh) | 测试监管方法、装置、设备及存储介质 | |
| EP3566166B1 (en) | Management of security vulnerabilities | |
| CN111835737B (zh) | 基于自动学习的web攻击防护方法、及其相关设备 | |
| CN114444105B (zh) | 一种智能审计数据报送安全方法 | |
| CN111563016A (zh) | 日志采集分析方法、装置、计算机系统及可读存储介质 | |
| WO2019074687A1 (en) | METHOD FOR COPYING PRODUCTION BEHAVIORS IN A DEVELOPMENT ENVIRONMENT | |
| WO2020206838A1 (zh) | 代码片段翻译方法、装置、计算机设备和存储介质 | |
| CN112631873B (zh) | 日志监控方法、装置、计算机设备和存储介质 | |
| CN111885064B (zh) | 基于多源数据的安全事件分析方法、装置、电子装置和存储介质 | |
| CN115664864B (zh) | 一种信息安全提示方法及系统 | |
| CN111064730A (zh) | 网络安全检测方法、装置、设备及存储介质 | |
| CN115310087A (zh) | 一种基于抽象语法树的网站后门检测方法和系统 | |
| CN111897789B (zh) | 一种日志生成方法及装置 | |
| CN109740386B (zh) | 一种静态资源文件的检测方法及装置 | |
| CN108959486B (zh) | 审计字段信息获取方法、装置、计算机设备和存储介质 | |
| CN112667661B (zh) | 一种溯源信息关联查询方法及装置 | |
| CN110717131A (zh) | 页面改版的监控方法及相关系统 | |
| US11625318B2 (en) | System and method for identifying software behavior | |
| CN113037724B (zh) | 一种检测非法访问的方法及装置 | |
| JP5063440B2 (ja) | 処理装置及び処理方法 | |
| CN114928551B (zh) | 一种系统配置方法、装置和存储介质 | |
| CN115934473A (zh) | 异常信息采集工具生成方法、装置、计算机设备 | |
| CN114697119B (zh) | 数据检验方法、装置、计算机可读存储介质及电子设备 | |
| CN116132120A (zh) | 一种接口检测方法及装置 | |
| CN117118707A (zh) | 一种变电站的恶意网络入侵检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |