CN107025166B - 一种日志收集方法及系统 - Google Patents
一种日志收集方法及系统 Download PDFInfo
- Publication number
- CN107025166B CN107025166B CN201710288369.0A CN201710288369A CN107025166B CN 107025166 B CN107025166 B CN 107025166B CN 201710288369 A CN201710288369 A CN 201710288369A CN 107025166 B CN107025166 B CN 107025166B
- Authority
- CN
- China
- Prior art keywords
- path
- storage
- log
- target object
- specified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012216 screening Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/865—Monitoring of software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种日志收集方法及系统。本发明实施例通过输出候选对象以及各候选对象的配置界面,之后,响应于针对所述候选对象以及各候选对象的配置界面的操作指令,获取目标对象以及各目标对象的配置信息,从而,基于每个目标对象,获取该目标对象的存储路径,并根据该目标对象的配置信息,收集该存储路径下指定路径的日志。因此,本发明实施例提供的技术方案能够解决现有技术中日志收集过程耗时长且容易发生错漏的问题。
Description
【技术领域】
本发明涉及数据处理技术领域,尤其涉及一种日志收集方法及系统。
【背景技术】
一些复杂的软件系统通常有很多组件构成,每个组件都会生成各种各样的日志信息,这些日志信息可以用于辅助开发人员进行系统监控、改进或者修复。目前,通常采用人工拷贝问题时间段相关的日志的方式进行日志收集,或者,通过人工手动输入程序脚本的方式批量收集日志。
发明人发现现有技术中至少存在如下问题:
由于复杂系统的组件通常很多,完全依赖人工拷贝的方式进行日志收集的过程很耗时,而且,容易由于拷贝的日志错漏导致无法进行分析;而采用批量处理收集日志的方法,由于采集日志的目标的不同,在每次进行日志收集的过程中,都需要手动编辑输入不同的程序脚本,既耗时,又容易发生错漏。
【发明内容】
有鉴于此,本发明实施例提供了一种日志收集方法及系统,用以解决现有技术中日志收集过程耗时长且容易发生错漏的问题。
一方面,本发明实施例提供了一种日志收集方法,包括:
输出候选对象以及各候选对象的配置界面;
响应于针对所述候选对象以及各候选对象的配置界面的操作指令,获取目标对象以及各目标对象的配置信息;
基于每个目标对象,获取该目标对象的存储路径,并根据该目标对象的配置信息,收集该存储路径下指定路径的日志。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述配置信息包含路径标识符,根据该目标对象的配置信息,收集该存储路径下指定路径的日志,包括:
根据该目标对象的路径标识符,获得该存储路径下的指定路径;
收集该指定路径的日志。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述配置信息包含筛选标识符,根据该目标对象的配置信息,收集该存储路径下指定路径的日志,包括:
根据该目标对象的筛选标识符,判断是否进行筛选;
当判断为进行筛选时,获得目标时间段;
根据该目标对象的配置信息,收集该存储路径下指定路径在所述目标时间段内的日志。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,该存储路径下指定路径在所述目标时间段内的日志,包括:
该存储路径下指定路径在所述目标时间段内的全部日志;或者,
该存储路径下指定路径在所述目标时间段内的最新日志。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述方法还包括:
将收集到的各目标对象的日志存储至指定存储位置;
将收集到的各目标对象的日志存储至指定存储位置,包括:
将收集到的各目标对象的日志进行压缩;
将压缩后的日志存储至指定存储位置。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述方法还包括:
将收集到的各目标对象的日志存储至指定存储位置;
将收集到的各目标对象的日志存储至指定存储位置,包括:
检测收集到的日志的存储容量是否超出所述指定存储位置的剩余存储容量;
当收集到的日志的存储容量超出所述剩余存储容量时,按照所述指定存储位置中存储时刻的先后次序,依次删除所述指定存储位置中的数据,直至收集到的日志的存储容量未超出所述剩余存储容量时,将收集到的日志存储至所述指定存储位置。
另一方面,本发明实施例提供了一种日志收集系统,包括:
输出单元,用于输出候选对象以及各候选对象的配置界面;
获取单元,用于响应于针对所述候选对象以及各候选对象的配置界面的操作指令,获取目标对象以及各目标对象的配置信息;
收集单元,用于基于每个目标对象,获取该目标对象的存储路径,并根据该目标对象的配置信息,收集该存储路径下指定路径的日志。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述配置信息包含路径标识符,所述收集单元,包括:
第一获取子单元,用于根据该目标对象的路径标识符,获得该存储路径下的指定路径;
第一收集子单元,用于收集该指定路径的日志。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述配置信息包含筛选标识符,所述收集单元,包括:
判断子单元,用于根据该目标对象的筛选标识符,判断是否进行筛选;
第二获取子单元,用于当判断为进行筛选时,获得目标时间段;
第二收集子单元,用于根据该目标对象的配置信息,收集该存储路径下指定路径在所述目标时间段内的日志;
该存储路径下指定路径在所述目标时间段内的日志,包括:
该存储路径下指定路径在所述目标时间段内的全部日志;或者,
该存储路径下指定路径在所述目标时间段内的最新日志。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述系统还包括:
存储单元,用于将收集到的各目标对象的日志存储至指定存储位置;
所述存储单元,包括:
检测子单元,用于检测收集到的日志的存储容量是否超出所述指定存储位置的剩余存储容量;
存储子单元,用于当收集到的日志的存储容量超出所述剩余存储容量时,按照所述指定存储位置中存储时刻的先后次序,依次删除所述指定存储位置中的数据,直至收集到的日志的存储容量未超出所述剩余存储容量时,将收集到的日志存储至所述指定存储位置。
上述技术方案中的一个技术方案具有如下有益效果:
本发明实施例中,通过输出候选对象以及各候选对象的配置界面,并可以根据用户针对这些候选对象及其配置界面的操作指令,得到目标对象的配置信息,从而,根据这些配置信息确定每个目标对象的存储路径下的指定路径,进而,收集目标对象的存储路径下指定路径的日志,在该过程中,能够直接针对每个目标对象的指定路径的日志进行收集,不需要用户进行手动拷贝复制日志,能够避免由于用户不熟悉系统组件导致的拷贝错漏问题,且能够实现批量目标对象的日志收集,耗时较短;而且,也不需要用户手动编辑输入程序脚本,并运行脚本等复杂操作,节省了编辑输入程序脚本的时间,也避免了输入程序脚本时可能发生的错漏。基于此,本发明实施例提供的技术方案能够解决现有技术中日志收集过程耗时长且容易发生错漏的问题。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的日志收集方法的流程示意图;
图2是本发明实施例中输出的候选对象的配置界面的第一示意图;
图3是本发明实施例中输出的候选对象的配置界面的第二示意图;
图4是本发明实施例中输出的候选对象的配置界面的第三示意图;
图5是本发明实施例中输出的候选对象的配置界面的第四示意图;
图6是本发明实施例中输出的候选对象的配置界面的第五示意图;
图7是本发明实施例中输出的候选对象的配置界面的第六示意图;
图8是本发明实施例中输出的候选对象的配置界面的第七示意图;
图9是本发明实施例中输出的候选对象的配置界面的第八示意图;
图10是本发明实施例所提供的日志收集系统的功能方块图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述存储子单元,但这些存储子单元不应限于这些术语。这些术语仅用来将存储子单元彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一存储子单元也可以被称为第二存储子单元,类似地,第二存储子单元也可以被称为第一存储子单元。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
针对现有技术中所存在的日志收集过程耗时长且容易发生错漏的问题,本发明实施例提供了如下解决思路:响应于用户针对候选对象及其配置界面上的操作指令,确定需要收集日志的目标对象和目标对象的配置信息,并根据该配置信息确定目标对象的存储路径下的指定路径,直接收集指定路径的日志即可,避免了用户手动拷贝复制或手动编辑输入程序脚本带来的时耗和错漏问题。
在该思路的引导下,本方案实施例提供了以下可行的实施方案。
本发明实施例给出一种日志收集方法。
具体的,请参考图1,其为本发明实施例所提供的日志收集方法的流程示意图,如图1所示,该方法包括以下步骤:
S101,输出候选对象以及各候选对象的配置界面。
S102,响应于针对候选对象以及各候选对象的配置界面的操作指令,获取目标对象以及各目标对象的配置信息。
S103,基于每个目标对象,获取该目标对象的存储路径,并根据该目标对象的配置信息,收集该存储路径下指定路径的日志。
本发明实施例中,对于触发启动该日志收集方法的启动条件不进行特别限定。在一个具体的实现过程中,可以在满足预设条件时自动启动该方案,例如:系统出现异常时自动启动该方案,系统触发关机操作时启动该方案,等。或者,在另一个具体的实现过程中,还可以是维护人员手动启动该方案。
当本发明实施例提供的日志收集方法启动后,即执行S101,此时,输出候选对象以及各候选对象的配置界面,输出的候选对象及其配置界面用于提示用户针对候选对象以及各候选对象的配置界面进行操作,以便于获取操作指令。
在一个具体的实现过程中,请参考图2,其为本发明实施例中输出的候选对象的配置界面的第一示意图。
如图2所示,当启动本发明实施例提供的日志收集方法时,会输出如图2所示的配置界面,该配置界面用于提示用户针对每个候选对象的配置信息进行操作。具体的,如图2所示,该提示信息栏的左侧表示为各个候选对象;右侧表示其中一个候选对象Databaselog的配置界面中的配置信息示意图。
如图2所示,用户可以根据实际需要选择是否将提示栏左侧的对象设置为目标对象。如图2所示的候选对象,可以根据用户的操作信息进行编辑,编辑内容包括:添加候选对象、删除候选对象和编辑候选对象的配置信息等。
如图2所示,本发明实施例提供的每个对象的配置信息可以包括但不限于:名称、路径、Filters参数、是否考虑错误时刻Error Time、是否收集。
其中,名称为候选对象的名称,路径为该候选对象的存储路径。需要说明的是,候选对象的存储路径一般为默认设置,一般情况下不需要用户进行编辑操作;但是,当用户添加新的候选对象时,需要用户手动输入该候选对象的存储路径。基于此,当确定该候选对象为目标对象后,可以直接根据该配置信息获取该目标对象的存储路径。
具体的,如图2所示,在每个对象的具体提示信息中,包括:“是否收集”的选项,通过对“是否收集”进行选择,就可以确定是否将当前对象设置为目标对象。其中,当接收到的操作指令指示任意对象的具体提示信息中“是否收集”选择为是时,就确定这个对象为目标对象;否则,当接收到的操作指令指示某一对象的具体提示信息中“是否收集”选择为否时,就确定该对象不是目标对象。
本发明实施例中,配置信息中可以包含有路径标识符,路径标识符用于指示目标对象的存储路径下的指定路径。本发明实施例中,路径标识符可以包含在图2中的Filters参数中。其中,Filters参数是一种微型算法MiniMath,可以通过匹配算法MiniMatch支持的匹配表达式,匹配与路径标识符对应的任意子目录下的文件,并对该文件的日志进行过滤。
例如,如图2所示的配置界面上,当前配置的候选对象为:Databaselog对象,而Databaselog对象的Filters参数中的标识符为:D:\Database\data\mysql-bin-log.*,此时,该标识符指示的指定路径为:Databaselog对象的存储路径。
需要说明的是,指定路径可以通过路径标识符确定,而根据路径标识符的不同,指定路径指代的具体路径也不同。例如,指定路径可以是目标对象的存储路径;或者,又例如,目标对象的存储路径可以包含有多个子路径,指定路径可以是这些子路径中的某一个或多个子路径;或者,又例如,目标对象的存储路径可以包含有多个子路径,指定路径可以是这些子路径中除某些特定子路径之外的全部子路径。
基于此,在执行S103时,可以根据该目标对象的路径标识符,获得该存储路径下的指定路径,然后,收集该指定路径的日志。
并且,本发明实施例中,配置信息中还包含有筛选标识符,筛选标识符用于指示是否进行筛选。筛选标识符在图2中表现为“是否考虑Error Time”。
具体的,“是否考虑Error Time”用于指示是否利用错误时刻对日志进行筛选。例如,若接收到的指令指示某一对象的具体提示信息中“是否考虑Error Time”为是时,则会利用基本信息中的错误发生时刻和收集时间段等信息对日志进行筛选;反之,则不会利用错误时刻进行筛选。
此时,在执行S103时,可以根据该目标对象的筛选标识符,判断是否进行筛选,当判断为进行筛选时,获得目标时间段,并根据该目标对象的配置信息,收集该存储路径下指定路径在所述目标时间段内的日志。或者,当判断为不进行筛选时,根据该目标对象的配置信息,收集该存储路径下指定路径的日志。
请参考图3,其为本发明实施例中输出的候选对象的配置界面的第二示意图,如图3所示,“是否考虑Error Time”项可以包括三个选项,分别为:None、Error Time AddCollection Time Span以及Latest One For Error Time。其中,None表示不考虑错误时刻,在此不做赘述。
当考虑错误时刻时,该存储路径下指定路径在所述目标时间段内的日志可以包括但不限于以下两种情况:
第一种,Error Time Add Collection Time Span表示收集ErrorTime-TimeSpan到ErrorTime之间被更新过所有的日志,也即,收集目标时间段内的全部日志,此时,该存储路径下指定路径在所述目标时间段内的日志表示该存储路径下指定路径在目标时间段内的全部日志。
具体的,考虑到目标时间段内可能会发生日志的更新,则会产生多个可能重复的日志,此时,不需要对目标时间段内的日志进行其他区分处理,因此,收集到的每个目标对象的目标路径的每个子路径的日志的数目是不固定的,为至少一个。
第二种,Latest One For Error Time表示收集Error Time-Time Span到ErrorTime之间被更新过的最新的日志,也即,收集目标时间段内的最新日志,此时,该存储路径下指定路径在所述目标时间段内的日志表示该存储路径下指定路径在目标时间段内的最新日志。
具体的,考虑到目标时间段内可能会发生日志的更新,则会产生多个可能重复的日志,此时,需要对目标时间段内的日志进行区分处理,只收集最新的日志即可,也就是说,收集更新时间最短、最近的日志,因此,获取到的每个目标对象的目标路径的每个子路径的日志的数目为一个。
需要说明的是,在实现上述方法的过程中,获取目标时间段的实现方式可以有多个。
在一个具体的实现过程中,可以根据错误发生时刻和收集时间段获得目标时间段。本发明实施例中,而目标时间段也可以根据用户在配置界面中的操作信息来确定。此时,请参考图4,其为本发明实施例中输出的候选对象的配置界面的第三示意图。如图4所示,该配置界面上的配置信息可以包括但不限于:用户名字、电话、电子邮件、错误发生时刻、收集时段(分钟)和描述。
其中,用户名字、电话和电子邮件可以用于联系问题日志收集者。错误发生时刻为需要收集的日志的发生错误的时刻;收集时间段用于指示从错误发生时刻向前推进多长时间进行日志收集;描述用于对发生的错误或问题进行基本描述。
具体的,收集时间段可以根据需要进行预设。在具体的实现过程中,收集时间段可以设置为默认值,或者,也可以由用户进行设定,本发明实施例对此不进行特别限定。
例如,如图2所示,错误发生时刻为2016-10-14 13:50,而收集时间段为120,则需要进行日志收集的目标时间段为:2016-10-14 11:50~13:50,那么,当根据筛选标识符判断出进行筛选时,就可以根据该目标时间段进行日志收集,得到11:50~13:50这一目标时间段内的日志。
本发明实施例中,考虑到复杂系统的日志量非常大,因此,还提供了批处理文件来进行日志收集;并且,考虑到S101中输出的候选对象可能不能够覆盖用户需要收集日志的目标对象,因此,还提供了在配置界面上添加候选对象的操作。
具体的,请参考图5,其为本发明实施例中输出的候选对象的配置界面的第四示意图。如图5所示,当需要添加某一候选对象或需要添加批处理时,可以在如图5所示的界面左侧的候选对象上进行选择确定。
以下,具体说明这两种情况。
第一种,当选择添加候选对象时。
当在如图5所示的配置界面上选择了添加目录,也就是需要添加候选对象,此时,输出如图6所示的配置界面,图6为本发明实施例中输出的候选对象的配置界面的第五示意图。
结合图5与图6所示,该配置界面左侧的候选对象目录不变,并在该配置界面的右侧配置信息的区域输出可供用户编辑的输入框,这些输入框与图2所示的配置信息一致,在此不再进行赘述。其中,当图6所示的配置信息中“是否考虑Error Time”选择为是后,可以呈现如图3所示的配置界面,可供用户就考虑Error Time的具体实现方式进行配置。
当用户在图6所示的配置界面中编辑完成后,可以点击图6中的保存,此时,输出的配置界面请参考图7,其为本发明实施例中输出的候选对象的配置界面的第六示意图。如图7所示的配置界面上,用户已经完整添加了Test Folder这一候选对象,并且,在图7所示的配置界面左侧候选对象目录上出现该候选对象。此时,与图2类似,若用户点击了“开始收集”按钮,则开始根据用户输入的这些信息,顺序执行S102和S103。
第二种,当添加批处理文件进行日志收集时。
当在如图5所示的配置界面上选择了添加批处理时,输出如图8所示的配置界面,图8为本发明实施例中输出的候选对象的配置界面的第七示意图。
如图8所示,该配置界面上的配置信息可以包括但不限于:批处理名称、路径、参数、Bat日志以及是否收集。
具体的,如图8所示的配置信息中,路径为执行批处理程序的路径,批处理程序可以包括:bat程序或exe程序。
如图8所示的配置信息中,参数可以包括但不限于:当前收集的临时目录、错误时刻和收集时段。举例说明,当前收集的临时目录可以为:“D:\BugReport\Test Blankfolder Name12\2016.03.14.19.29.46\GantryLog”。
需要说明的是,如图8所示的配置界面中,参数在输入过程中时带双引号的,如果有需要的话,可以根据需要在Bat中去引号,比如,可以配置为不带双引号的收集的临时目录D:\BugReport\Test Blank folder Name12\2016.03.14.19.29.46\GantryLog。错误时刻和收集时段的格式如图4所示,在此不再赘述。
如图8所示的配置信息中,Bat文件表示批处理程序的相对收集日志的临时文件夹的相对路径。
当点击图8中的保存按钮后,可以得到类似于图9所示的配置界面,图9为本发明实施例中输出的候选对象的配置界面的第八示意图。如图9所示的配置界面上包含的配置信息为用户输入完成后的配置信息,若用户点击“开始收集”按钮,就可以根据这些操作指令,利用批处理程序顺序执行S102和S103批量处理各目标对象。
本发明实施例中,利用批处理批量收集各目标对象的日志,相当于同时获取到多个目标对象,并同时针对这多个目标对象进行日志收集。
本发明实施例中,当执行S103收集到各目标对象的存储路径下指定路径的日志之后,还可以将收集到的日志存储至指定存储位置。
其中,指定存储位置可以根据实际需要进行预设,可以为执行本方案的日志收集方法对应的系统的自身存储位置,或者,也可以是收集日志的复杂系统中的存储位置,或者,也可以是第三方设备上的存储位置,本发明实施例对此不进行特别限定。
本发明实施例中,考虑到收集到的日志量很大,为了进一步节省存储空间,因此,在一个具体的实现过程中,可以将收集到的各目标对象的日志进行压缩,并将压缩后的日志存储到指定存储位置。
本发明实施例中,考虑到复杂系统的日志量非常大,因此,当进行了多次日志收集后,会大量占用指定存储位置的存储空间,从而会影响系统的运行。基于此,本发明实施例在执行S105的过程中,还可以根据收集到的日志的存储容量执行自动删除策略。
因此,在另一个具体的实现过程中,检测收集到的日志的存储容量是否超出指定存储位置的剩余存储容量,然后,当收集到的日志的存储容量超出指定存储位置的剩余存储容量时,按照指定存储位置中存储时刻的顺序,依次删除指定存储位置中的数据,直至收集到的日志的存储容量未超出剩余存储容量时,将收集到的日志存储至指定存储位置。这样,通过上述自动删除策略,当当前收集到的日志的存储容量超过指定存储位置的剩余存储容量时,就会自动启动删除逻辑删除之前的收集记录,直到当前收集的目标日志存储到指定存储位置后不会超过该指定存储位置的存储容量为止。或者,当收集到的日志的存储容量未超出指定存储位置的剩余存储容量时,直接将收集到的日志存储至指定存储位置。
基于上述提供的日志收集方法,本发明实施例进一步给出实现上述方法实施例中各步骤及方法的系统实施例。
请参考图10,其为本发明实施例所提供的日志收集系统的功能方块图。如图10所示,该系统包括:
输出单元41,用于输出候选对象以及各候选对象的配置界面;
获取单元42,用于响应于针对候选对象以及各候选对象的配置界面的操作指令,获取目标对象以及各目标对象的配置信息;
收集单元43,用于基于每个目标对象,获取该目标对象的存储路径,并根据该目标对象的配置信息,收集该存储路径下指定路径的日志。
具体的,本发明实施例中,配置信息包含路径标识符,收集单元43,包括:
第一获取子单元431,用于根据该目标对象的路径标识符,获得该存储路径下的指定路径;
第一收集子单元432,用于收集该指定路径的日志。
具体的,配置信息包含筛选标识符,收集单元43,包括:
判断子单元433,用于根据该目标对象的筛选标识符,判断是否进行筛选;
第二获取子单元434,用于当判断为进行筛选时,获得目标时间段;
第二收集子单元435,用于根据该目标对象的配置信息,收集该存储路径下指定路径在目标时间段内的日志;
其中,该存储路径下指定路径在目标时间段内的日志,包括:
该存储路径下指定路径在目标时间段内的全部日志;或者,
该存储路径下指定路径在目标时间段内的最新日志。
本发明实施例中,该系统还包括:
存储单元44,用于将收集到的各目标对象的日志存储至指定存储位置。
在一个具体的实现过程中,存储单元44,包括:
检测子单元441,用于检测收集到的日志的存储容量是否超出指定存储位置的剩余存储容量;
存储子单元442,用于当收集到的日志的存储容量超出剩余存储容量时,按照指定存储位置中存储时刻的先后次序,依次删除指定存储位置中的数据,直至收集到的日志的存储容量未超出剩余存储容量时,将收集到的日志存储至指定存储位置。
由于本实施例中的各单元能够执行图1所示的方法,本实施例未详细描述的部分,可参考对图1的相关说明。
本发明实施例的技术方案具有以下有益效果:
本发明实施例中,通过输出候选对象以及各候选对象的配置界面,并可以根据用户针对这些候选对象及其配置界面的操作指令,得到目标对象的配置信息,从而,根据这些配置信息确定每个目标对象的存储路径下的指定路径,进而,收集目标对象的存储路径下指定路径的日志,在该过程中,能够直接针对每个目标对象的指定路径的日志进行收集,不需要用户进行手动拷贝复制日志,能够避免由于用户不熟悉系统组件导致的拷贝错漏问题,且能够实现批量目标对象的日志收集,耗时较短;而且,也不需要用户手动编辑输入程序脚本,并运行脚本等复杂操作,节省了编辑输入程序脚本的时间,也避免了输入程序脚本时可能发生的错漏。基于此,本发明实施例提供的技术方案能够解决现有技术中日志收集过程耗时长且容易发生错漏的问题。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (10)
1.一种日志收集方法,其特征在于,所述方法包括:
输出候选对象以及各候选对象的配置界面;
响应于针对所述候选对象以及各候选对象的配置界面的操作指令,获取目标对象以及各目标对象的配置信息;
基于每个目标对象,获取该目标对象的存储路径,并根据该目标对象的配置信息,收集该存储路径下指定路径的日志;
所述目标对象的配置信息可以包括但不限于:名称、路径、Filters参数、是否考虑错误时刻Error Time、是否收集;
响应于添加批处理的操作指令,添加批处理文件以及批处理文件的配置界面;所述批处理文件的配置界面包括:批处理名称、路径、参数、Bat日志以及是否收集。
2.根据权利要求1所述的方法,其特征在于,所述配置信息包含路径标识符,根据该目标对象的配置信息,收集该存储路径下指定路径的日志,包括:
根据该目标对象的路径标识符,获得该存储路径下的指定路径;
收集该指定路径的日志。
3.根据权利要求1所述的方法,其特征在于,所述配置信息包含筛选标识符,根据该目标对象的配置信息,收集该存储路径下指定路径的日志,包括:
根据该目标对象的筛选标识符,判断是否进行筛选;
当判断为进行筛选时,获得目标时间段;
根据该目标对象的配置信息,收集该存储路径下指定路径在所述目标时间段内的日志。
4.根据权利要求3所述的方法,其特征在于,该存储路径下指定路径在所述目标时间段内的日志,包括:
该存储路径下指定路径在所述目标时间段内的全部日志;或者,
该存储路径下指定路径在所述目标时间段内的最新日志。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将收集到的各目标对象的日志存储至指定存储位置;
将收集到的各目标对象的日志存储至指定存储位置,包括:
将收集到的各目标对象的日志进行压缩;
将压缩后的日志存储至指定存储位置。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将收集到的各目标对象的日志存储至指定存储位置;
将收集到的各目标对象的日志存储至指定存储位置,包括:
检测收集到的日志的存储容量是否超出所述指定存储位置的剩余存储容量;
当收集到的日志的存储容量超出所述剩余存储容量时,按照所述指定存储位置中存储时刻的先后次序,依次删除所述指定存储位置中的数据,直至收集到的日志的存储容量未超出所述剩余存储容量时,将收集到的日志存储至所述指定存储位置。
7.一种日志收集系统,其特征在于,所述系统包括:
输出单元,用于输出候选对象以及各候选对象的配置界面;
获取单元,用于响应于针对所述候选对象以及各候选对象的配置界面的操作指令,获取目标对象以及各目标对象的配置信息;
收集单元,用于基于每个目标对象,获取该目标对象的存储路径,并根据该目标对象的配置信息,收集该存储路径下指定路径的日志;
所述目标对象的配置信息可以包括但不限于:名称、路径、Filters参数、是否考虑错误时刻Error Time、是否收集;
获取单元,还用于响应于添加批处理的操作指令,添加批处理文件以及批处理文件的配置界面;所述批处理文件的配置界面包括:批处理名称、路径、参数、Bat日志以及是否收集。
8.根据权利要求7所述的系统,其特征在于,所述配置信息包含路径标识符,所述收集单元,包括:
第一获取子单元,用于根据该目标对象的路径标识符,获得该存储路径下的指定路径;
第一收集子单元,用于收集该指定路径的日志。
9.根据权利要求7所述的系统,其特征在于,所述配置信息包含筛选标识符,所述收集单元,包括:
判断子单元,用于根据该目标对象的筛选标识符,判断是否进行筛选;
第二获取子单元,用于当判断为进行筛选时,获得目标时间段;
第二收集子单元,用于根据该目标对象的配置信息,收集该存储路径下指定路径在所述目标时间段内的日志;
该存储路径下指定路径在所述目标时间段内的日志,包括:
该存储路径下指定路径在所述目标时间段内的全部日志;或者,
该存储路径下指定路径在所述目标时间段内的最新日志。
10.根据权利要求7所述的系统,其特征在于,所述系统还包括:
存储单元,用于将收集到的各目标对象的日志存储至指定存储位置;
所述存储单元,包括:
检测子单元,用于检测收集到的日志的存储容量是否超出所述指定存储位置的剩余存储容量;
存储子单元,用于当收集到的日志的存储容量超出所述剩余存储容量时,按照所述指定存储位置中存储时刻的先后次序,依次删除所述指定存储位置中的数据,直至收集到的日志的存储容量未超出所述剩余存储容量时,将收集到的日志存储至所述指定存储位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710288369.0A CN107025166B (zh) | 2017-04-27 | 2017-04-27 | 一种日志收集方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710288369.0A CN107025166B (zh) | 2017-04-27 | 2017-04-27 | 一种日志收集方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107025166A CN107025166A (zh) | 2017-08-08 |
CN107025166B true CN107025166B (zh) | 2020-12-22 |
Family
ID=59528194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710288369.0A Active CN107025166B (zh) | 2017-04-27 | 2017-04-27 | 一种日志收集方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107025166B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107608868B (zh) * | 2017-09-08 | 2021-10-22 | 联想(北京)有限公司 | 日志收集方法、基板管理控制器bmc及磁盘控制器 |
CN111198853B (zh) * | 2018-11-16 | 2023-08-22 | 北京微播视界科技有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN109617726A (zh) * | 2018-12-14 | 2019-04-12 | 深圳壹账通智能科技有限公司 | 错误日志采集方法及服务器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101197700A (zh) * | 2006-12-05 | 2008-06-11 | 阿里巴巴公司 | 提供日志服务的方法及系统 |
CN101436962A (zh) * | 2008-12-04 | 2009-05-20 | 金蝶软件(中国)有限公司 | 日志管理方法及系统 |
CN102820983A (zh) * | 2011-11-18 | 2012-12-12 | 金蝶软件(中国)有限公司 | 系统异常信息采集方法及管理器 |
CN102880541A (zh) * | 2012-09-28 | 2013-01-16 | 用友软件股份有限公司 | 日志信息的获取系统和获取方法 |
CN103684823A (zh) * | 2012-09-12 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 网络日志记录方法、网络访问路径确定方法及相关装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4606273B2 (ja) * | 2004-08-30 | 2011-01-05 | 株式会社リコー | ログ収集装置,ログ収集プログラム |
-
2017
- 2017-04-27 CN CN201710288369.0A patent/CN107025166B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101197700A (zh) * | 2006-12-05 | 2008-06-11 | 阿里巴巴公司 | 提供日志服务的方法及系统 |
CN101436962A (zh) * | 2008-12-04 | 2009-05-20 | 金蝶软件(中国)有限公司 | 日志管理方法及系统 |
CN102820983A (zh) * | 2011-11-18 | 2012-12-12 | 金蝶软件(中国)有限公司 | 系统异常信息采集方法及管理器 |
CN103684823A (zh) * | 2012-09-12 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 网络日志记录方法、网络访问路径确定方法及相关装置 |
CN102880541A (zh) * | 2012-09-28 | 2013-01-16 | 用友软件股份有限公司 | 日志信息的获取系统和获取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107025166A (zh) | 2017-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109240886B (zh) | 异常处理方法、装置、计算机设备以及存储介质 | |
CN107025166B (zh) | 一种日志收集方法及系统 | |
CN109614267A (zh) | 一种修复开机异常问题的方法、装置、存储介质及终端 | |
CN110688358B (zh) | 一种日志收集方法、装置、设备及可读存储介质 | |
CN1835454B (zh) | 事件通知管理方法和事件通知管理设备 | |
CN104375934A (zh) | 一种Android手机软件可靠性测试方法 | |
CN105183658A (zh) | 测试软件代码的方法及装置 | |
CN110083493A (zh) | 一种嵌入式系统故障自恢复方法、终端设备及存储介质 | |
CN108111343B (zh) | 基于云平台实现终端监控的方法、设备及计算机存储介质 | |
CN107102938B (zh) | 测试脚本的更新方法及装置 | |
CN111782264A (zh) | 代码分类信息提取方法、装置、计算机设备及存储介质 | |
CN109376073B (zh) | 一种测试环境记忆及恢复方法 | |
CN100576182C (zh) | 计算机文件的实时监控系统和方法 | |
CN115827451A (zh) | 测试缺陷的检测方法和装置、存储介质及电子装置 | |
CN110457187B (zh) | 基于备份测试数据可便捷运行的tpc-e测试方法及测试服务器 | |
CN113052532B (zh) | 物料清单检测方法、装置、设备及介质 | |
CN110888785A (zh) | 一种监控告警的方法及装置 | |
CN113037521B (zh) | 识别通讯设备状态的方法、通讯系统及存储介质 | |
CN114116357A (zh) | 一种硬盘的自动测试方法、装置和工具 | |
CN114237976A (zh) | 一种数据获取方法及装置 | |
JP2013191012A (ja) | 計算機ログ収集システム及び着脱式ログ記憶デバイス | |
CN111061701A (zh) | 信息处理方法、装置、服务器及计算机可读介质 | |
CN110704326A (zh) | 一种测试分析方法及装置 | |
JP2002366396A (ja) | 故障解析情報自動採取システム及び故障解析情報自動採取プログラム | |
CN110990395B (zh) | 一种数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co., Ltd Address before: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |