CN111475324B - 日志信息的分析方法、装置、计算机设备和存储介质 - Google Patents
日志信息的分析方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111475324B CN111475324B CN202010259056.4A CN202010259056A CN111475324B CN 111475324 B CN111475324 B CN 111475324B CN 202010259056 A CN202010259056 A CN 202010259056A CN 111475324 B CN111475324 B CN 111475324B
- Authority
- CN
- China
- Prior art keywords
- information
- character string
- log
- character
- fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志信息的分析方法、装置、计算机设备和存储介质。所述方法包括:获取初始日志信息;对所述初始日志信息进行拆分,得到与初始日志信息对应的字符串信息;对所述字符串信息进行编码,得到对应的字符串序列信息;提取所述字符串序列信息的关键字符信息;将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告。采用本方法能够对日志信息进行有效分析,从而能够提高日志分析效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种日志信息的分析方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,个人计算机、智能手机等各种类型的电子设备越来越多,为人们的日常工作和生活带来了诸多便捷。在各种电子设备的日常运行过程中,通常需要将对应的日志信息记录下来并进行传输。特别是在业务软件系统中需要大量存储日志,日志能够起到“按图索骥”的作用,它对于故障定位和系统正常运行维护具有举足轻重的作用。
然而,在目前常用的日志信息分析方式中,由于电子设备能够同时运行多个程序,活动和数据的数量呈现指数级的增长,生成的日志数量也在快速增长,特别是嵌入式电子设备的内存和闪存空间有限,无法记录完整的日志信息,因而难以对日志信息进行有效分析,导致对日志信息进行分析的效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高日志分析效率的日志信息的分析方法、装置、计算机设备和存储介质。
一种日志信息的分析方法,所述方法包括:
获取初始日志信息;
对所述初始日志信息进行拆分,得到与初始日志信息对应的字符串信息;
对所述字符串信息进行编码,得到对应的字符串序列信息;
提取所述字符串序列信息的关键字符信息;
将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告。
在其中一个实施例中,所述对所述初始日志信息进行拆分,包括:
对所述初始日志信息进行提取,得到对应的日志临时表信息;
利用可变参数函数对所述日志临时表信息进行格式转换,得到对应的字符串信息和参数信息。
在其中一个实施例中,所述对所述字符串信息进行编码,得到对应的字符串序列信息包括:
对所述字符串信息进行编码,生成对应的字符串序列信息;
选取所述字符串序列信息中的预设字节长度作为字符串标识,将所述字符串信息与所述字符串标识的对应关系记录到日志关系表中。
在其中一个实施例中,所述对所述字符串信息进行编码包括:
利用哈希函数对所述字符串信息进行计算,得到与所述字符串信息对应的哈希值;
将所述哈希值与所述字符串信息对应关系记录到日志关系表中。
在其中一个实施例中,所述将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告包括:
将所述关键字符信息与预设故障信息进行相似度匹配;
当相似度大于阈值时,则对所述关键字符信息进行识别,得到对应的故障预测结果;
根据所述故障预测结果,生成对应的分析报告。
在其中一个实施例中,所述方法还包括:
获取与所述初始日志信息对应的关键字符信息,在历史故障信息中查找对应的故障关键字符信息;
将所述关键字符信息与所述故障关键字符信息进行匹配;
若匹配成功,则获取对应的故障预测结果;
根据所述故障预测结果,生成对应的分析报告。
一种日志信息的分析装置,所述装置包括:
获取模块,用于获取初始日志信息;
拆分模块,用于对所述初始日志信息进行拆分,得到与初始日志信息对应的字符串信息;
编码模块,用于对所述字符串信息进行编码,得到对应的字符串序列信息;
提取模块,用于提取所述字符串序列信息的关键字符信息;
匹配模块,用于将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取初始日志信息;
对所述初始日志信息进行拆分,得到与初始日志信息对应的字符串信息;
对所述字符串信息进行编码,得到对应的字符串序列信息;
提取所述字符串序列信息的关键字符信息;
将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取初始日志信息;
对所述初始日志信息进行拆分,得到与初始日志信息对应的字符串信息;
对所述字符串信息进行编码,得到对应的字符串序列信息;
提取所述字符串序列信息的关键字符信息;
将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告。
上述日志信息的分析方法、装置、计算机设备和存储介质,通过获取初始日志信息,对初始日志信息进行拆分,得到与初始日志信息对应的字符串信息。对字符串信息进行编码,得到对应的字符串序列信息,提取字符串序列信息的关键字符信息,将关键字符信息与预设故障信息进行匹配,生成对应的分析报告。相对于传统的日志信息分析方式,通过对初始日志信息进行拆分,并对拆分得到的字符串信息进行编码,得到对应的字符串序列信息,提取字符串序列信息的关键字符信息,将关键字符信息与预设故障信息进行匹配,由此使得即使是在嵌入式电子设备的内存和闪存空间有限的情况下,通过将初始日志信息进行编码转换和分区,提取与初始日志信息对应的字符串序列信息的关键字符信息,利用关键字符信息与预设故障信息进行匹配,能够对日志信息进行有效分析,从而能够提高日志分析效率。
附图说明
图1为一个实施例中日志信息的分析方法的应用环境图;
图2为一个实施例中日志信息的分析方法的流程示意图;
图3为一个实施例中对初始日志信息进行拆分步骤的流程示意图;
图4为另一个实施例中将关键字符信息与故障关键字符信息进行匹配步骤的流程示意图;
图5为一个实施例中日志信息的分析装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的日志信息的分析方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。终端102可以通过向服务器104发送请求,从服务器104获取对应的日志信息。终端102可以从服务器104获取初始日志信息,终端102对初始日志信息进行拆分,得到与初始日志信息对应的字符串信息。终端102对字符串信息进行编码,得到对应的字符串序列信息。终端102提取字符串序列信息的关键字符信息,将关键字符信息与预设故障信息进行匹配,生成对应的分析报告。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种日志信息的分析方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,获取初始日志信息。
日志数据可以包含系统或设备的所有活动和行为的有序记录,一般为半结构化的数据,例如,单行日志信息、复杂的多行日志信息等。终端可以实时的从本地直接获取计算机程序进行调试时生成的初始日志信息,终端也可以从服务器的数据库中获取不同类型的初始日志信息。例如,日志信息由低到高的等级类型可以包括:debug<info<warn<Error<Fatal,其中Fatal类型的日志,表示该日志错误问题相当严重,可以肯定这种错误已经无法修复,并且如果系统继续运行下去的话后果严重。
步骤204,对初始日志信息进行拆分,得到与初始日志信息对应的字符串信息。
终端根据获取到的初始日志信息,对初始日志信息进行拆分,得到与初始日志信息对应的字符串信息。具体的,终端对需要输出的日志信息进行分区,在编译前使用脚本将源代码中所有的调试日志输出提取出来,建立对应的日志临时表,根据日志临时表的内容,终端将日志信息对应的字符串信息提取出来,划分为字符串区域和参数区域。例如,终端可以从需要输出的日志信息中提取出对应的字符串信息即ID信息。
步骤206,对字符串信息进行编码,得到对应的字符串序列信息。
终端对上述提取出的字符串信息进行编码,得到对应的字符串序列信息。其中,终端可以对每天预设时间间隔内与初始日志信息对应的字符串信息进行编码,例如,按照编码规则将字符串信息简化为对应的日志ID信息。终端将得到对应的字符串序列信息进行储存,也可以直接上传到日志数据库中进行保存,以便后续进行日志查看时,可以获取到完整的所有初始日志信息。
步骤208,提取字符串序列信息的关键字符信息。
终端提取上述字符串序列信息中的关键字符信息,其中,关键字符信息可以根据预设的不同类型规则进行提取,预设的不同类型规则可以是根据用户查询的需求进行设置的。日志信息的类型通常是按照不同业务进行分类的,例如,用户运行某一业务系统时,生成对应的日志信息为用户名和对应的用户登录时间日期等,则预设规则可以设置为以用户对应的登录时间日期为关键字符,可以通过查找登录时间或者日期来进行与该用户相关日志信息的查找。
步骤210,将关键字符信息与预设故障信息进行匹配,生成对应的分析报告。
终端将关键字符信息与预设故障信息进行匹配,生成对应的分析报告。其中,系统中根据历史故障情况或者系统调试时运行状况预设了多种故障信息数据,终端也可以从服务器获取对应的已有故障信息,将上述获取到的关键字符信息与故障信息进行匹配,若匹配成功,则根据对应的日志类型判断定位故障的问题所在,生成对应的故障分析报告。若匹配失败,则对上述关键字符对应的初始日志信息进行识别,生成对应的运行状态分析报告。
本实施例中,通过获取初始日志信息,对初始日志信息进行拆分,得到与初始日志信息对应的字符串信息。对字符串信息进行编码,得到对应的字符串序列信息,提取字符串序列信息的关键字符信息,将关键字符信息与预设故障信息进行匹配,生成对应的分析报告。相对于传统的日志信息分析方式,通过对初始日志信息进行拆分,并对拆分得到的字符串信息进行编码,得到对应的字符串序列信息,提取字符串序列信息的关键字符信息,将关键字符信息与预设故障信息进行匹配,由此使得即使是在嵌入式电子设备的内存和闪存空间有限的情况下,通过将初始日志信息进行编码转换和分区,提取与初始日志信息对应的字符串序列信息的关键字符信息,利用关键字符信息与预设故障信息进行匹配,能够对日志信息进行有效分析,从而能够提高日志分析效率。
在一个实施例中,如图3所示,对初始日志信息进行拆分的步骤包括:
步骤302,对初始日志信息进行提取,得到对应的日志临时表信息。
步骤304,利用可变参数函数对日志临时表信息进行格式转换,得到对应的字符串信息和参数信息。
终端根据上述获取到的初始日志信息,对初始日志信息进行提取,得到对应的日志临时表信息,终端利用可变参数函数对日志临时表信息进行格式转换,得到对应的字符串信息和参数信息。具体的,终端在编译前使用脚本将源代码中所有的调试日志输出提取到一张临时表,即日志临时表信息,然后根据C语言的特征,终端将printf里面的格式化字符串区域提取出来,得到与初始日志信息对应的字符串信息即日志ID信息和日志参数信息。终端通过C语言的可变参数函数进行格式化字符串与参数的区分。本实施例中,通过利用可变参数函数对初始日志信息进行分区,由此使得能够将复杂的多行日志信息拆分为便于传输和存储的字符串信息即ID信息,即使在嵌入式电子设备中,也能过记录完整的日志信息,从而对日志信息进行有效的传输和存储。
在一个实施例中,对字符串信息进行编码,得到对应的字符串序列信息包括:对字符串信息进行编码,生成对应的字符串序列信息;选取字符串序列信息中的预设字节长度作为字符串标识,将字符串信息与字符串标识的对应关系记录到日志关系表中。
终端利用可变函数对日志临时表信息进行拆分后,终端对获取到的字符串序列信息进行编码,生成对应的字符串序列信息。终端选取字符串序列信息中的预设字节长度作为字符串标识,并将字符串信息与字符串标识的对应关系记录到日志关系表中。例如,终端可以将获取到的字符串保存在文件里面,终端可以利用md5sum工具生成日志文件的md5值,终端根据预设字节数选取md5值前4个字节作为字符串的编号,依次为每天生成的日志数据编号,并记录到字符串与编号对应关系表中。此外,终端也可以根据预设频率或者预设固定时间段,对每天系统生成的日志数据进行编码,并生成对应字符串标识与字符串信息对应关系表。其中,日志关系表可以包含日志标识和日志的字符串信息。例如系统生成了一条日志信息为“Time%d:open channel%d”,终端利用md5sum工具计算得到的md5值为“b4dd5af2ab8870e02485a0f04255f4d2”,终端根据预设字节数选取前4个字节,也就是b4dd5af2,作为与该日志信息对应的编号即字符串标识,同时在日志关系表中生成对应字符串标识与字符串信息对应的关系,即日志关系表中生成如下记录,记录了字符串标识与初始日志信息的关系,“b4dd5af2”“b4dd5af2ab8870e02485a0f04255f4d2”“Time%d:open channel%d”。
在一个实施例中,对字符串信息进行编码包括:利用哈希函数对字符串信息进行计算,得到与字符串信息对应的哈希值;将哈希值与字符串信息对应关系记录到日志关系表中。
终端对上述字符串信息进行编码。具体的,终端可以利用哈希函数对字符串信息进行计算,得到与字符串信息对应的哈希值,终端将哈希值与字符串信息对应关系记录到日志关系表中。其中,哈希算法(Hash)即散列函数。哈希算法是一种单向密码体制,即是一个从明文到密文的不可逆的映射,只有加密过程,没有解密过程。同时,哈希函数可以将任意长度的输入经过变化以后得到固定长度的输出。哈希函数的这种单向特征和输出数据长度固定的特征使得它可以生成消息或者数据。在源代码编译阶段,终端对日志的字符区域和参数区域进行拆分,根据日志中字符串信息计算出一个固定位的哈希值和一张哈希值与字符串对应关系表,目的就是保证相同的字符串计算出来的哈希值相同。当终端接收到需要查看日志的请求时,终端根据已经获取到的系统中输出的哈希值和可变参数,终端根据当前日志信息对应的哈希值,在之前生成的哈希值字符串对应关系表中进行查找,当终端查找到与当前哈希值对应的字符串信息时,终端将查找到的字符串信息与可变参数按照源代码中的顺序进行组合,还原完整日志,得到完整的初始日志信息。由此使得即使在嵌入式电子设备的内存和闪存空间有限的情况下,也能够根据哈希值对应的关系表还原完整的日志信息,因而可以对日志信息进行有效分析,从而能够提高日志分析效率。
在一个实施例中,将关键字符信息与预设故障信息进行匹配,生成对应的分析报告包括:将关键字符信息与预设故障信息进行相似度匹配;当相似度大于阈值时,则对关键字符信息进行识别,得到对应的故障预测结果;根据故障预测结果,生成对应的分析报告。
终端根据上述按照预设规则提取到的字符串序列信息的关键字符信息,终端将关键字符信息与预设故障信息进行相似度匹配。当相似度大于阈值时,则终端对关键字符信息进行识别,得到对应的故障预测结果,并根据故障预测结果,生成对应的分析报告。具体的,预设故障信息可以为终端根据系统测试时出现的故障信息预先设置好的不同类型的错误日志信息。例如,当日志信息类型为info时,则表明该类型日志信息的等级为重要输出信息,该日志信息用来反馈系统的当前状态并返回给客户端。当检测到该日志关键字符信息为warn类型时,则表明该类日志信息可修复,系统可继续运行下去;当检测到该日志信息类型为Fatal时,则表明该类日志错误信息相当严重,可以肯定这种错误已经无法修复,并且如果系统继续运行下去的话后果严重,技术人员应该进行更加深入的系统错误信息排查。进一步的,终端将关键字符信息与预设故障信息进行相似度匹配,当相似度达到预设阈值时,则表示匹配成功,终端对关键字符信息进行识别,得到对应的故障预测结果,并根据故障预测结果,生成对应的分析报告。本实施例中,通过将关键字符信息与预设故障信息进行相似度匹配,由此使得能够避免从数据库重新获取数据进行重复匹配的繁琐流程,快速准确的在关键字符信息中进行查找匹配,从而有效的提高了日志分析效率。
在其中一个实施例中,如图4所示,该方法还包括将关键字符信息与故障关键字符信息进行匹配的步骤,具体包括:
步骤402,获取与初始日志信息对应的关键字符信息,在历史故障信息中查找对应的故障关键字符信息。
步骤404,将关键字符信息与故障关键字符信息进行匹配。
步骤406,若匹配成功,则获取对应的故障预测结果。
步骤408,根据故障预测结果,生成对应的分析报告。
终端将关键字符信息与故障关键字符信息进行匹配。具体的,终端还可以获取与初始日志信息对应的关键字符信息,在历史故障信息中查找对应的故障关键字符信息,历史故障信息可以包括技术人员预设的预测错误日志信息以及根据历史故障信息生成的错误日志信息。终端将关键字符信息与历史故障关键字符信息进行匹配,若匹配成功,则获取对应的故障预测结果。终端根据故障预测结果,生成对应的分析报告。由此使得通过将关键字符信息与历史故障关键字符信息进行匹配,能够避免从数据库重新获取数据进行重复匹配的繁琐流程,快速准确的在历史故障关键字符信息中进行查找匹配,从而有效的提高了日志分析效率。
应该理解的是,虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种日志信息的分析装置,包括:获取模块502、拆分模块504、编码模块506、提取模块508和匹配模块510,其中:
获取模块502,用于获取初始日志信息。
拆分模块504,用于对初始日志信息进行拆分,得到与初始日志信息对应的字符串信息。
编码模块506,用于对字符串信息进行编码,得到对应的字符串序列信息。
提取模块508,用于提取字符串序列信息的关键字符信息。
匹配模块510,用于将关键字符信息与预设故障信息进行匹配,生成对应的分析报告。
在一个实施例中,拆分模块504还用于对初始日志信息进行提取,得到对应的日志临时表信息;利用可变参数函数对日志临时表信息进行格式转换,得到对应的字符串信息和参数信息。
在一个实施例中,编码模块506还用于对字符串信息进行编码,生成对应的字符串序列信息;选取字符串序列信息中的预设字节长度作为字符串标识,将字符串信息与字符串标识的对应关系记录到日志关系表中。
在一个实施例中,编码模块506还用于利用哈希函数对字符串信息进行计算,得到与字符串信息对应的哈希值;将哈希值与字符串信息对应关系记录到日志关系表中。
在一个实施例中,匹配模块510还用于将关键字符信息与预设故障信息进行相似度匹配;当相似度大于阈值时,则对关键字符信息进行识别,得到对应的故障预测结果;根据故障预测结果,生成对应的分析报告。
在一个实施例中,获取模块502还用于获取与初始日志信息对应的关键字符信息,在历史故障信息中查找对应的故障关键字符信息。匹配模块510还用于将关键字符信息与故障关键字符信息进行匹配;若匹配成功,则获取对应的故障预测结果;根据故障预测结果,生成对应的分析报告。
关于日志信息的分析装置的具体限定可以参见上文中对于日志信息的分析方法的限定,在此不再赘述。上述日志信息的分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种日志信息的分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各个方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种日志信息的分析方法,其特征在于,所述方法包括:
获取初始日志信息;
对所述初始日志信息进行拆分,得到与初始日志信息对应的字符串信息;
对所述字符串信息进行编码,生成对应的字符串序列信息;
提取所述字符串序列信息的关键字符信息;
将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告;
其中,所述对所述字符串信息进行编码包括:
利用哈希函数对所述字符串信息进行计算,得到与所述字符串信息对应的哈希值;
将所述哈希值与所述字符串信息对应关系记录到日志关系表中;
所述对所述初始日志信息进行拆分包括:
对所述初始日志信息进行提取,得到对应的日志临时表信息;
利用可变参数函数对所述日志临时表信息进行格式转换,得到对应的字符串信息和参数信息;
当接收到需要查看日志的请求时,根据已经获取到的系统中输出的哈希值和可变参数,根据当前日志信息对应的哈希值,在之前生成的哈希值字符串对应关系表中进行查找,当查找到与当前哈希值对应的字符串信息时,将查找到的字符串信息与可变参数按照源代码中的顺序进行组合,还原完整日志,得到完整的初始日志信息。
2.根据权利要求1所述的方法,其特征在于,所述将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告包括:
将所述关键字符信息与预设故障信息进行相似度匹配;
当相似度大于阈值时,则对所述关键字符信息进行识别,得到对应的故障预测结果;
根据所述故障预测结果,生成对应的分析报告。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述初始日志信息对应的关键字符信息,在历史故障信息中查找对应的故障关键字符信息;
将所述关键字符信息与所述故障关键字符信息进行匹配;
若匹配成功,则获取对应的故障预测结果;
根据所述故障预测结果,生成对应的分析报告。
4.根据权利要求1所述的方法,其特征在于,所述对所述字符串信息进行编码,得到对应的字符串序列信息包括:
对所述字符串信息进行编码,生成对应的字符串序列信息;
选取所述字符串序列信息中的预设字节长度作为字符串标识;
将所述字符串信息与所述字符串标识的对应关系记录到日志关系表中。
5.一种日志信息的分析装置,其特征在于,所述装置包括:
获取模块,用于获取初始日志信息;
拆分模块,用于对所述初始日志信息进行拆分,得到与初始日志信息对应的字符串信息;
编码模块,用于对所述字符串信息进行编码,生成对应的字符串序列信息;
提取模块,用于提取所述字符串序列信息的关键字符信息;
匹配模块,用于将所述关键字符信息与预设故障信息进行匹配,生成对应的分析报告;
所述拆分模块还用于对所述初始日志信息进行提取,得到对应的日志临时表信息;利用可变参数函数对所述日志临时表信息进行格式转换,得到对应的字符串信息和参数信息;
所述编码模块在所述对所述字符串信息进行编码时,用于利用哈希函数对所述字符串信息进行计算,得到与所述字符串信息对应的哈希值;将所述哈希值与所述字符串信息对应关系记录到日志关系表中;
当接收到需要查看日志的请求时,根据已经获取到的系统中输出的哈希值和可变参数,根据当前日志信息对应的哈希值,在之前生成的哈希值字符串对应关系表中进行查找,当查找到与当前哈希值对应的字符串信息时,将查找到的字符串信息与可变参数按照源代码中的顺序进行组合,还原完整日志,得到完整的初始日志信息。
6.根据权利要求5所述的日志信息的分析装置,其特征在于,所述匹配模块还用于将所述关键字符信息与预设故障信息进行相似度匹配;当相似度大于阈值时,则对所述关键字符信息进行识别,得到对应的故障预测结果;根据所述故障预测结果,生成对应的分析报告。
7.据权利要求5所述的日志信息的分析装置,其特征在于,所述获取模块还用于获取与所述初始日志信息对应的关键字符信息,在历史故障信息中查找对应的故障关键字符信息;将所述关键字符信息与所述故障关键字符信息进行匹配;若匹配成功,则获取对应的故障预测结果;根据所述故障预测结果,生成对应的分析报告。
8.据权利要求5所述的日志信息的分析装置,其特征在于,所述编码模块还用于选取所述字符串序列信息中的预设字节长度作为字符串标识,将所述字符串信息与所述字符串标识的对应关系记录到日志关系表中。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010259056.4A CN111475324B (zh) | 2020-04-03 | 2020-04-03 | 日志信息的分析方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010259056.4A CN111475324B (zh) | 2020-04-03 | 2020-04-03 | 日志信息的分析方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111475324A CN111475324A (zh) | 2020-07-31 |
CN111475324B true CN111475324B (zh) | 2024-03-15 |
Family
ID=71749688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010259056.4A Active CN111475324B (zh) | 2020-04-03 | 2020-04-03 | 日志信息的分析方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111475324B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112468503A (zh) * | 2020-11-30 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种基于防火墙的网站鉴别的方法、装置、设备及介质 |
CN113157532B (zh) * | 2021-02-08 | 2023-01-10 | 广州仪速安电子科技有限公司 | 一种基于终端联动的仪器故障告警方法和装置 |
CN113312220B (zh) * | 2021-05-26 | 2023-03-21 | 国家计算机网络与信息安全管理中心 | 一种固件隐患检测方法、装置及电子设备 |
CN114328076B (zh) * | 2021-09-18 | 2024-04-30 | 腾讯科技(深圳)有限公司 | 日志信息提取方法、装置、计算机设备和存储介质 |
CN114531340B (zh) * | 2022-02-17 | 2023-10-13 | Oppo广东移动通信有限公司 | 日志获取方法、装置、电子设备、芯片及存储介质 |
CN116170299A (zh) * | 2023-02-21 | 2023-05-26 | 上海洲邦信息科技有限公司 | 数据采集方法、系统及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013186508A (ja) * | 2012-03-06 | 2013-09-19 | Mitsubishi Denki Information Technology Corp | データ処理システム及びログデータ管理装置 |
CN103324565A (zh) * | 2012-05-30 | 2013-09-25 | 北京神州泰岳软件股份有限公司 | 日志监控方法 |
CN106294700A (zh) * | 2016-08-08 | 2017-01-04 | 无锡天脉聚源传媒科技有限公司 | 一种日志的存储与读取方法及装置 |
CN107315779A (zh) * | 2017-06-05 | 2017-11-03 | 海致网络技术(北京)有限公司 | 日志分析方法和系统 |
CN108228875A (zh) * | 2018-01-18 | 2018-06-29 | 北京奇安信科技有限公司 | 基于完美哈希的日志解析方法及装置 |
CN110188081A (zh) * | 2019-04-22 | 2019-08-30 | 平安科技(深圳)有限公司 | 基于cassandra数据库的日志数据存储方法、装置和计算机设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092742B (zh) * | 2011-10-31 | 2015-08-19 | 国际商业机器公司 | 程序日志记录优化方法和系统 |
GB2552974B (en) * | 2016-08-16 | 2020-11-04 | Imagination Tech Ltd | String logging in an embedded system |
-
2020
- 2020-04-03 CN CN202010259056.4A patent/CN111475324B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013186508A (ja) * | 2012-03-06 | 2013-09-19 | Mitsubishi Denki Information Technology Corp | データ処理システム及びログデータ管理装置 |
CN103324565A (zh) * | 2012-05-30 | 2013-09-25 | 北京神州泰岳软件股份有限公司 | 日志监控方法 |
CN106294700A (zh) * | 2016-08-08 | 2017-01-04 | 无锡天脉聚源传媒科技有限公司 | 一种日志的存储与读取方法及装置 |
CN107315779A (zh) * | 2017-06-05 | 2017-11-03 | 海致网络技术(北京)有限公司 | 日志分析方法和系统 |
CN108228875A (zh) * | 2018-01-18 | 2018-06-29 | 北京奇安信科技有限公司 | 基于完美哈希的日志解析方法及装置 |
CN110188081A (zh) * | 2019-04-22 | 2019-08-30 | 平安科技(深圳)有限公司 | 基于cassandra数据库的日志数据存储方法、装置和计算机设备 |
Non-Patent Citations (1)
Title |
---|
基于静态分析的高精度程序日志解析技术;范惊;章程;;计算机工程;20131015(10);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111475324A (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111475324B (zh) | 日志信息的分析方法、装置、计算机设备和存储介质 | |
CN109670049B (zh) | 图谱路径查询方法、装置、计算机设备和存储介质 | |
CN111522922B (zh) | 日志信息查询方法、装置、存储介质及计算机设备 | |
CN106936441B (zh) | 一种数据压缩方法和装置 | |
CN107908541B (zh) | 接口测试方法、装置、计算机设备及存储介质 | |
CN111176990B (zh) | 基于数据决策的测试数据生成方法、装置、计算机设备 | |
WO2020186786A1 (zh) | 文件处理方法、装置、计算机设备和存储介质 | |
US10977162B2 (en) | Real time application error identification and mitigation | |
CN109766261B (zh) | 覆盖测试方法、装置、计算机设备和存储介质 | |
US11809406B2 (en) | Event records in a log file | |
CN111459796B (zh) | 自动化测试方法、装置、计算机设备和存储介质 | |
CN110096419A (zh) | 接口日志的获取方法、接口日志管理服务器及业务服务器 | |
US10747657B2 (en) | Methods, systems, apparatuses and devices for facilitating execution of test cases | |
CN110995273B (zh) | 电力数据库的数据压缩方法、装置、设备及介质 | |
CN112311902B (zh) | 基于微服务的文件发送方法及装置 | |
US20130066954A1 (en) | Computer software analysis system, client computer, method of controlling operation of same and operation program therefor | |
CN112154420A (zh) | 自动智能云服务测试工具 | |
CN110471838A (zh) | 测试用例的校验方法、装置、计算机设备和存储介质 | |
CN110930193B (zh) | 广告转化率评估方法、装置、计算机设备和存储介质 | |
CN116561003A (zh) | 测试数据生成方法、装置、计算机设备和存储介质 | |
CN110460585B (zh) | 设备身份识别方法、装置、计算机设备以及存储介质 | |
CN108228448B (zh) | 一种代码跟踪方法及装置 | |
CN113868116B (zh) | 测试依赖数据的生成方法、装置、服务器及存储介质 | |
CN111966506B (zh) | 基于不同应用程序的内容分享方法和计算机设备 | |
CN115437906A (zh) | 测试方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |