CN113064875A - 一种日志处理方法及装置 - Google Patents
一种日志处理方法及装置 Download PDFInfo
- Publication number
- CN113064875A CN113064875A CN202110482029.8A CN202110482029A CN113064875A CN 113064875 A CN113064875 A CN 113064875A CN 202110482029 A CN202110482029 A CN 202110482029A CN 113064875 A CN113064875 A CN 113064875A
- Authority
- CN
- China
- Prior art keywords
- processed
- log
- database
- generation time
- log corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Abstract
本发明提供了一种日志处理方法及装置,该方法为:获取待处理问题的故障编码、问题产生时间和问题信息;利用预设的故障记录文件,确定与待处理问题的故障编码对应的日志的名称和抓取路径;根据问题产生时间,结合待处理问题的故障编码对应的日志的名称和抓取路径,抓取与待处理问题对应的日志;将待处理问题对应的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。通过所展示的问题信息直观了解待处理问题,并可利用数据库中待处理问题对应的日志进行问题分析,不需要耗费大量人力物力查找问题日志,降低问题分析成本和提高问题分析效率。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种日志处理方法及装置。
背景技术
随着互联网的发展,诸如商业银行系统等应用系统的应用越发广泛,为保证应用系统的稳定运行,当应用系统出现问题时,需要对问题日志进行分析。
但是,由于应用系统的产品众多,目前各产品在对于日志的处理方式上没有统一的规范,问题日志夹杂在大量的基础日志中,需要技术人员从大量的基础日志中查找问题日志,或者,当问题日志被新产生的日志冲刷掉时,需要技术人员通过复现问题的方式来获取问题日志,前述两种获取问题日志的方式均会浪费大量的人力和时间,分析成本较高和分析效率较低。
发明内容
有鉴于此,本发明实施例提供一种日志处理方法及装置,以解决目前分析问题日志的成本较高和效率较低等问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开一种日志处理方法,所述方法包括:
获取待处理问题的故障编码、问题产生时间和问题信息;
利用预设的故障记录文件,确定与所述待处理问题的故障编码对应的日志的名称和抓取路径,所述故障记录文件中包含:多个故障编码,及每个故障编码对应的日志的名称和抓取路径;
根据所述问题产生时间,结合所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取与所述待处理问题对应的日志,所述待处理问题对应的日志包括问题日志和目标系统的状态日志;
将所述待处理问题对应的日志上传至数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
优选的,所述将所述待处理问题对应的日志上传至数据库中,根据所述问题产生时间展示所述待处理问题的问题信息,包括:
针对所述待处理问题对应的每一日志,确定所述日志是否已经被上传至数据库中;
将未被上传至所述数据库中的所述待处理问题对应的日志进行压缩,得到日志压缩包;
基于预设的上传时间间隔,将所述日志压缩包上传至所述数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
优选的,所述根据所述问题产生时间,结合所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取与所述待处理问题对应的日志,包括:
利用所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取日志产生时间涵盖所述问题产生时间的日志,并将其作为所述待处理问题对应的日志。
优选的,所述将所述待处理问题对应的日志上传至数据库中之后,还包括:
清除所述待处理问题对应的日志中的空文件和毁坏文件。
优选的,根据所述问题产生时间展示所述待处理问题的问题信息之后,还包括:
响应于用户点击所述待处理问题的问题信息的指令,从所述数据库中下载所述待处理问题对应的日志并将其反馈给所述用户。
本发明实施例第二方面公开一种日志处理装置,所述装置包括:
获取单元,用于获取待处理问题的故障编码、问题产生时间和问题信息;
确定单元,用于利用预设的故障记录文件,确定与所述待处理问题的故障编码对应的日志的名称和抓取路径,所述故障记录文件中包含:多个故障编码,及每个故障编码对应的日志的名称和抓取路径;
抓取单元,用于根据所述问题产生时间,结合所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取与所述待处理问题对应的日志,所述待处理问题对应的日志包括问题日志和目标系统的状态日志;
处理单元,用于将所述待处理问题对应的日志上传至数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
优选的,所述处理单元包括:
确定模块,用于针对所述待处理问题对应的每一日志,确定所述日志是否已经被上传至数据库中;
压缩模块,用于将未被上传至所述数据库中的所述待处理问题对应的日志进行压缩,得到日志压缩包;
处理模块,用于基于预设的上传时间间隔,将所述日志压缩包上传至所述数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
优选的,所述抓取单元具体用于:利用所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取日志产生时间涵盖所述问题产生时间的日志,并将其作为所述待处理问题对应的日志。
优选的,所述处理单元还用于:将所述待处理问题对应的日志上传至数据库中之后,清除所述待处理问题对应的日志中的空文件和毁坏文件。
优选的,所述装置还包括:
反馈单元,用于响应于用户点击所述待处理问题的问题信息的指令,从所述数据库中下载所述待处理问题对应的日志并将其反馈给所述用户。
基于上述本发明实施例提供的一种日志处理方法及装置,该方法为:获取待处理问题的故障编码、问题产生时间和问题信息;利用预设的故障记录文件,确定与待处理问题的故障编码对应的日志的名称和抓取路径;根据问题产生时间,结合待处理问题的故障编码对应的日志的名称和抓取路径,抓取与待处理问题对应的日志;将待处理问题对应的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。本方案中,监控到待处理问题出现时,根据待处理问题的故障编码和问题产生时间,结合故障记录文件,抓取待处理问题对应的日志。将所抓取的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。通过所展示的问题信息直观了解待处理问题,并可利用数据库中待处理问题对应的日志进行问题分析,不需要耗费大量人力物力查找问题日志,降低问题分析成本和提高问题分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种日志处理方法的流程图;
图2为本发明实施例提供的上传日志并展示问题信息的流程图;
图3为本发明实施例提供的一种日志处理装置的结构框图;
图4为本发明实施例提供的一种日志处理装置的另一结构框图;
图5为本发明实施例提供的一种日志处理装置的另一结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,目前当应用系统出现问题时,技术人员需要从大量的基础日志中查找问题日志,或者,当问题日志被新产生的日志冲刷掉时,需要技术人员通过复现问题的方式来获取问题日志,前述方式均会浪费大量的人力和时间,分析成本较高和分析效率较低。
因此,本发明实施例提供一种日志处理方法及装置,监控到待处理问题出现时,根据待处理问题的故障编码和问题产生时间,结合故障记录文件,抓取待处理问题对应的日志。将所抓取的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。通过所展示的问题信息直观了解待处理问题,并可利用数据库中待处理问题对应的日志进行问题分析,不需要耗费大量人力物力查找问题日志,以降低问题分析成本和提高问题分析效率。
参见图1,示出了本发明实施例提供的一种日志处理方法的流程图,该日志处理方法包括:
步骤S101:获取待处理问题的故障编码、问题产生时间和问题信息。
在具体实现步骤S101的过程中,监控目标系统的运行状态,当目标系统出现问题时,所出现的问题即为待处理问题,获取该待处理问题对应的故障编码、问题产生时间和问题信息。
需要说明的是,每一类问题存在与之对应的故障编码,问题产生时间即为产生问题的时间信息,问题信息包含问题的名称、类型和问题描述等详细信息。
步骤S102:利用预设的故障记录文件,确定与待处理问题的故障编码对应的日志的名称和抓取路径。
需要说明的是,预先设置故障记录文件,该故障记录文件中包含:多个故障编码,及每个故障编码对应的日志的名称和抓取路径。
可以理解的是,预先梳理每类问题对应的故障编码,以及确定定位每类问题所需要的日志的名称和抓取路径,由于问题和故障编码之间存在对应关系,因此故障编码也存在与之对应的日志的名称和抓取路径。
将梳理得到的各个故障编码,以及将各个故障编码对应的日志的名称和抓取路径,以指定方式(比如XML方式)记录在故障记录文件,也就是说,故障记录文件中包含了多个故障编码以及每个故障编码对应的日志的名称和抓取路径,日志的抓取路径指示获取该日志的路径。
当目标系统出现问题时,在打印与该问题相关的日志时,利用该故障记录文件可确保日志打印的完备性。
在具体实现步骤S102的过程中,通过指定采集方式,利用待处理问题的故障编码,在故障记录文件中采集与待处理问题的故障编码对应的日志的名称和抓取路径。
比如:采用离线采集的方式,利用待处理问题的故障编码,通过XML配置从故障记录文件中采集与待处理问题的故障编码对应的日志的名称和抓取路径。
步骤S103:根据问题产生时间,结合待处理问题的故障编码对应的日志的名称和抓取路径,抓取与待处理问题对应的日志。
需要说明的是,待处理问题对应的日志包括问题日志(也称为问题堆栈日志)和目标系统的状态日志,该状态日志用于辅助定位待处理问题,该状态日志包含目标系统的状态信息,比如状态日志包括:CPU使用率、内存使用率、运行队列信息、磁盘输入/输出统计信息、网络输入/输出统计信息、内存分页活动和进程衡量指标等信息。
可以理解的是,由于日志是按照时间顺序产生的,故当目标系统产生问题时,只有部分日志是有助于定位该问题的,该部分日志为:日志产生时间涵盖待处理问题的问题产生时间的日志。
在具体实现步骤S103的过程中,利用待处理问题的故障编码对应的日志的名称和抓取路径,抓取日志产生时间涵盖问题产生时间的日志,并将其作为待处理问题对应的日志,所抓取的日志即为待处理问题对应的日志。
比如:假设目标系统在14点产生一问题,此时假设利用名称和抓取路径查询得到3个日志(分别称为日志A、日志B和日志C),日志A的日志产生时间为12点01分至13点30分,日志B的日志产生时间为13点31分至15点(涵盖了14点),日志C的产生时间为15点01分至16点30分,此时仅抓取日志B即可。
通过上述方式抓取待处理问题对应的日志,可严格控制所抓取的日志的数量,提高处理效率。
步骤S104:将待处理问题对应的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。
在具体实现步骤S104的过程中,按照预设的上传时间间隔,将待处理问题对应的日志实时上传至数据库中存储,该数据库的类型可以是大型分布式数据库,在此对应数据库的类型不做具体限定,该上传时间间隔可以动态配置。
需要说明的是,在将待处理问题对应的日志上传至数据库时,可能存在多个问题共用某一日志的情况,在此种情况下,仅需要将多个问题所共用的日志上传一次即可,不需要重复上传多次相同的日志。
优选的,在将待处理问题对应的日志上传至数据库之后,清除待处理问题对应的日志中的空文件和毁坏文件等无法用于定位待处理问题的日志。
优选的,由上述步骤S101中的内容可知,故障记录文件中包含:故障编码及其对应的日志的名称和抓取路径。在将待处理问题对应的日志上传至数据库之后,可利用故障记录文件,检查上传至数据库的待处理问题对应的日志是否按照故障记录文件抓取,以及所抓取的日志是否齐全。
也就是说,故障记录文件中记录了需要抓取的待处理问题对应的日志列表,将抓取得到的日志和该日志列表进行比对,即可确定日志是否按照故障记录文件抓取以及是否抓取齐全。
在具体实现中,将待处理问题对应的日志上传至数据库之后,按照问题产生时间的顺序,在指定界面(比如web界面)展示待处理问题的问题信息,也就是说,在该指定界面可直观了解到目标系统所出现的问题的详细信息。
优选的,用户通过指定界面浏览待处理问题的问题信息时,可从数据库下载与该待处理问题对应的日志,具体实现方式为:响应于用户点击待处理问题的问题信息的指令,从数据库中下载待处理问题对应的日志并将其反馈给用户。
比如:假设指定界面上所展示的问题信息存在相应的链接,当用户点击问题信息对应的链接时,可从数据库中下载该问题信息所属的待处理问题的日志,并可利用下载得到的日志(问题日志和状态日志)对该待处理问题进行分析。
在本发明实施例中,监控到待处理问题出现时,根据待处理问题的故障编码和问题产生时间,结合故障记录文件,抓取待处理问题对应的日志。将所抓取的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。通过所展示的问题信息直观了解待处理问题,并可利用数据库中待处理问题对应的日志进行问题分析,不需要耗费大量人力物力查找问题日志,降低问题分析成本和提高问题分析效率。
上述本发明实施例图1步骤S104中涉及的上传日志并展示问题信息的过程,参见图2,示出了本发明实施例提供的上传日志并展示问题信息的流程图,包括以下步骤:
步骤S201:针对待处理问题对应的每一日志,确定日志是否已经被上传至数据库中。
由上述本发明实施例图1步骤S104中的内容可知,当多个问题共用一个日志时,仅需要将所共用的日志上传至数据库一次即可。
在具体实现步骤S201的过程中,针对待处理问题对应的每一日志,确定该日志是否已经被上传至数据库中。也就是从待处理问题对应的所有日志中,确定还未被上传至数据库的日志。
步骤S202:将未被上传至数据库中的待处理问题对应的日志进行压缩,得到日志压缩包。
在具体实现在步骤S202的过程中,将未被上传至数据库中的待处理问题对应的日志进行压缩,得到日志压缩包,该日志压缩包可按照待处理问题的故障编码和问题产生时间进行命名,由于不重复上传多个问题共用的日志,故可以有效控制压缩包的大小。
需要说明的是,对于每一个待处理问题,均单独将该待处理问题中未被上传至数据库的日志进行压缩,也就是每个待处理问题对应一个日志压缩包。
步骤S203:基于预设的上传时间间隔,将日志压缩包上传至数据库中,根据问题产生时间展示待处理问题的问题信息。
在具体实现步骤S203的过程中,按照上传时间间隔,将日志压缩包实时上传至数据库中进行存储,并根据问题产生时间展示待处理问题的问题信息。
可以理解的是,将日志压缩包上传数据库后,对该日志压缩包进行分析加工,清除该日志压缩包中的空文件和毁坏文件等无法用于定位待处理问题的日志,并利用检查上传至数据库的日志压缩包中的日志是否按照故障记录文件抓取。
优选的,当用户点击待处理问题的问题信息时,响应于用户点击待处理问题的问题信息的指令,从数据库中下载待处理问题对应的日志压缩包并将其反馈给用户,可以理解的是,所下载的日志压缩包为经过上述清除处理和检查处理后的压缩包。
在本发明实施例中,将待处理问题对应的未上传至数据库的日志进行压缩,得到日志压缩包,并将日志压缩包上传至数据库中进行存储。展示待处理问题的问题信息,使用户直观了解待处理问题的详细信息。当用户点击待处理问题的问题信息时,从数据库中下载待处理问题的日志压缩包并反馈给用户,使用户根据日志压缩包中的日志分析待处理问题,不需要耗费大量人力物力查找问题日志,降低问题分析成本和提高问题分析效率。
与上述本发明实施例提供的一种日志处理方法相对应,参见图3,本发明实施例还提供了一种日志处理装置的结构框图,该日志处理装置包括:获取单元301、确定单元302、抓取单元303和处理单元304;
获取单元301,用于获取待处理问题的故障编码、问题产生时间和问题信息。
确定单元302,用于利用预设的故障记录文件,确定与待处理问题的故障编码对应的日志的名称和抓取路径,故障记录文件中包含:多个故障编码,及每个故障编码对应的日志的名称和抓取路径。
抓取单元303,用于根据问题产生时间,结合待处理问题的故障编码对应的日志的名称和抓取路径,抓取与待处理问题对应的日志,待处理问题对应的日志包括问题日志和目标系统的状态日志。
在具体实现中,抓取单元303具体用于:利用待处理问题的故障编码对应的日志的名称和抓取路径,抓取日志产生时间涵盖问题产生时间的日志,并将其作为待处理问题对应的日志。
处理单元304,用于将待处理问题对应的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。
优选的,处理单元304还用于:将待处理问题对应的日志上传至数据库中之后,清除待处理问题对应的日志中的空文件和毁坏文件。
在本发明实施例中,监控到待处理问题出现时,根据待处理问题的故障编码和问题产生时间,结合故障记录文件,抓取待处理问题对应的日志。将所抓取的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。通过所展示的问题信息直观了解待处理问题,并可利用数据库中待处理问题对应的日志进行问题分析,不需要耗费大量人力物力查找问题日志,降低问题分析成本和提高问题分析效率。
优选的,结合图3,参见图4,示出了本发明实施例提供的一种日志处理装置的另一结构框图,处理单元304包括:确定模块3041、压缩模块3042和处理模块3043;
确定模块3041,用于针对待处理问题对应的每一日志,确定日志是否已经被上传至数据库中。
压缩模块3042,用于将未被上传至数据库中的待处理问题对应的日志进行压缩,得到日志压缩包。
处理模块3043,用于基于预设的上传时间间隔,将日志压缩包上传至数据库中,根据问题产生时间展示待处理问题的问题信息。
在本发明实施例中,将待处理问题对应的未上传至数据库的日志进行压缩,得到日志压缩包,并将日志压缩包上传至数据库中进行存储。展示待处理问题的问题信息,使用户直观了解待处理问题的详细信息。当用户点击待处理问题的问题信息时,从数据库中下载待处理问题的日志压缩包并反馈给用户,使用户根据日志压缩包中的日志分析待处理问题,不需要耗费大量人力物力查找问题日志,降低问题分析成本和提高问题分析效率。
优选的,结合图3,参见图5,示出了本发明实施例提供的一种日志处理装置的另一结构框图,该日志处理装置还包括:
反馈单元305,用于响应于用户点击待处理问题的问题信息的指令,从数据库中下载待处理问题对应的日志并将其反馈给用户。
综上所述,本发明实施例提供一种日志处理方法及装置,监控到待处理问题出现时,根据待处理问题的故障编码和问题产生时间,结合故障记录文件,抓取待处理问题对应的日志。将所抓取的日志上传至数据库中,根据问题产生时间展示待处理问题的问题信息。通过所展示的问题信息直观了解待处理问题的详细信息,并可利用数据库中待处理问题对应的日志进行问题分析,不需要耗费大量人力物力查找问题日志,以降低问题分析成本和提高问题分析效率。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种日志处理方法,其特征在于,所述方法包括:
获取待处理问题的故障编码、问题产生时间和问题信息;
利用预设的故障记录文件,确定与所述待处理问题的故障编码对应的日志的名称和抓取路径,所述故障记录文件中包含:多个故障编码,及每个故障编码对应的日志的名称和抓取路径;
根据所述问题产生时间,结合所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取与所述待处理问题对应的日志,所述待处理问题对应的日志包括问题日志和目标系统的状态日志;
将所述待处理问题对应的日志上传至数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
2.根据权利要求1所述的方法,其特征在于,所述将所述待处理问题对应的日志上传至数据库中,根据所述问题产生时间展示所述待处理问题的问题信息,包括:
针对所述待处理问题对应的每一日志,确定所述日志是否已经被上传至数据库中;
将未被上传至所述数据库中的所述待处理问题对应的日志进行压缩,得到日志压缩包;
基于预设的上传时间间隔,将所述日志压缩包上传至所述数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
3.根据权利要求1所述的方法,其特征在于,所述根据所述问题产生时间,结合所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取与所述待处理问题对应的日志,包括:
利用所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取日志产生时间涵盖所述问题产生时间的日志,并将其作为所述待处理问题对应的日志。
4.根据权利要求1所述的方法,其特征在于,所述将所述待处理问题对应的日志上传至数据库中之后,还包括:
清除所述待处理问题对应的日志中的空文件和毁坏文件。
5.根据权利要求1所述的方法,其特征在于,根据所述问题产生时间展示所述待处理问题的问题信息之后,还包括:
响应于用户点击所述待处理问题的问题信息的指令,从所述数据库中下载所述待处理问题对应的日志并将其反馈给所述用户。
6.一种日志处理装置,其特征在于,所述装置包括:
获取单元,用于获取待处理问题的故障编码、问题产生时间和问题信息;
确定单元,用于利用预设的故障记录文件,确定与所述待处理问题的故障编码对应的日志的名称和抓取路径,所述故障记录文件中包含:多个故障编码,及每个故障编码对应的日志的名称和抓取路径;
抓取单元,用于根据所述问题产生时间,结合所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取与所述待处理问题对应的日志,所述待处理问题对应的日志包括问题日志和目标系统的状态日志;
处理单元,用于将所述待处理问题对应的日志上传至数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
7.根据权利要求6所述的装置,其特征在于,所述处理单元包括:
确定模块,用于针对所述待处理问题对应的每一日志,确定所述日志是否已经被上传至数据库中;
压缩模块,用于将未被上传至所述数据库中的所述待处理问题对应的日志进行压缩,得到日志压缩包;
处理模块,用于基于预设的上传时间间隔,将所述日志压缩包上传至所述数据库中,根据所述问题产生时间展示所述待处理问题的问题信息。
8.根据权利要求6所述的装置,其特征在于,所述抓取单元具体用于:利用所述待处理问题的故障编码对应的日志的名称和抓取路径,抓取日志产生时间涵盖所述问题产生时间的日志,并将其作为所述待处理问题对应的日志。
9.根据权利要求6所述的装置,其特征在于,所述处理单元还用于:将所述待处理问题对应的日志上传至数据库中之后,清除所述待处理问题对应的日志中的空文件和毁坏文件。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
反馈单元,用于响应于用户点击所述待处理问题的问题信息的指令,从所述数据库中下载所述待处理问题对应的日志并将其反馈给所述用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110482029.8A CN113064875A (zh) | 2021-04-30 | 2021-04-30 | 一种日志处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110482029.8A CN113064875A (zh) | 2021-04-30 | 2021-04-30 | 一种日志处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113064875A true CN113064875A (zh) | 2021-07-02 |
Family
ID=76568182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110482029.8A Pending CN113064875A (zh) | 2021-04-30 | 2021-04-30 | 一种日志处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113064875A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114490257A (zh) * | 2022-01-13 | 2022-05-13 | 星河智联汽车科技有限公司 | 一种车辆的日志收集方法、装置和设备 |
-
2021
- 2021-04-30 CN CN202110482029.8A patent/CN113064875A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114490257A (zh) * | 2022-01-13 | 2022-05-13 | 星河智联汽车科技有限公司 | 一种车辆的日志收集方法、装置和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7689688B2 (en) | Multiple-application transaction monitoring facility for debugging and performance tuning | |
CN102035696B (zh) | 一种网站访问性能监测方法、装置及系统 | |
CN107977473B (zh) | 基于Logback的分布式系统日志的检索方法和系统 | |
CN113687974B (zh) | 客户端日志处理方法、装置及计算机设备 | |
US10387370B2 (en) | Collecting test results in different formats for storage | |
CN112181931A (zh) | 一种大数据系统链路追踪方法及电子设备 | |
CN111367760B (zh) | 日志采集方法及装置、计算机设备、存储介质 | |
US20130346427A1 (en) | Method and procedure for unassisted data collection, extraction and report generation and distribution | |
CN107357804A (zh) | 互联网金融海量日志的分析系统及方法 | |
CN111949611B (zh) | 一种文件处理方法、系统、设备及介质 | |
CN111984896A (zh) | 埋点数据采集方法、装置、计算机设备及可读存储介质 | |
CN113064875A (zh) | 一种日志处理方法及装置 | |
CN115622906A (zh) | 一种应用日志抓取系统及方法 | |
CN113778810A (zh) | 一种日志收集方法、装置及系统 | |
CN112749059A (zh) | 前端异常监控的方法、装置及系统 | |
CN110011845B (zh) | 日志采集方法及系统 | |
CN112486911A (zh) | 机器人运行数据收集管理方法、装置、存储介质及终端 | |
CN112579406A (zh) | 一种日志调用链生成方法和装置 | |
KR101828156B1 (ko) | 트랜잭션 모니터링 시스템 및 그 동작방법 | |
CN111045983B (zh) | 核电站电子文件管理方法、装置、终端设备及介质 | |
CN112685370B (zh) | 一种日志采集方法、装置、设备和介质 | |
CN114443343A (zh) | 一种服务接口反馈异常信息方法、装置、设备、存储介质 | |
CN101276273A (zh) | 自动监控系统和方法 | |
CN109586968A (zh) | 大数据平台的日志处理方法和大数据平台的日志处理系统 | |
CN117591381B (zh) | 数据上报方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |