CN117150001A - 一种日志解析方法、装置、设备及存储介质 - Google Patents
一种日志解析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117150001A CN117150001A CN202311167293.8A CN202311167293A CN117150001A CN 117150001 A CN117150001 A CN 117150001A CN 202311167293 A CN202311167293 A CN 202311167293A CN 117150001 A CN117150001 A CN 117150001A
- Authority
- CN
- China
- Prior art keywords
- log
- preset
- information
- analysis
- analyzed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012800 visualization Methods 0.000 claims abstract description 38
- 238000007405 data analysis Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007667 floating Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- PLAIAIKZKCZEQF-UHFFFAOYSA-N methyl 6-chloro-2-oxo-3h-1,2$l^{4},3-benzodithiazole-4-carboxylate Chemical compound COC(=O)C1=CC(Cl)=CC2=C1NS(=O)S2 PLAIAIKZKCZEQF-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种日志解析方法、装置、设备及存储介质,涉及计算机技术领域,包括:通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。本申请利用对应的目标预设目标日志注解文件针对待解析日志信息完成相应的日志解析操作,有效提高了日志解析的效率以及可视化的便利性。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种日志解析方法、装置、设备及存储介质。
背景技术
目前,在没有文件系统的嵌入式系统中,各所述业务应用子系统无法在本地保存任何数据,针对这种情况,系统的运行情况或日志数据只能以与外部通信的方式将相关数据发送给第三方来解析保存,常用的通信方式包括串口、CAN(Controller Area Network,控制器局域网总线)以及网络通信。
当前解析日志的技术方案中大都会在生成的日志内容中使用具有可读性的文本并增加额外的分隔符来区分日志内的不同字段,或制定结构化的日志协议标识具体字段,增加了日志数据长度,同时在网络传输过程中过大的数据包将会进行分包与组包操作,占用了带宽,加大了网络传输的延时及丢包的可能;并且结构化的日志协议要求日志生成方和日志解析方都要处理该协议结构,一旦结构有变更,双方都要进行变更。此外后续解析时针对日志中的各类数据需要单独处理,加大了可视化分析以及日志解析的难度,使得日志解析的效率较差。
发明内容
有鉴于此,本发明的目的在于提供一种日志解析方法、装置、设备及存储介质,能够有效提高日志解析的效率以及可视化的便利性。其具体方案如下:
第一方面,本申请提供了一种日志解析方法,应用于预设日志系统,包括:
通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;
基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;
在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。
可选的,所述通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息,包括:
通过预设接口管理单元以及用户数据报协议接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息。
可选的,所述利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,包括:
利用预设日志数据解析模型以及所述目标预设日志注解文件获取所述待解析日志信息中的各预先定义的日志字段的数值信息;其中,所述预先定义的日志字段包括整数字段、浮点数字段、键值对字段、位图字段、标识字段以及块字段;
基于各所述预先定义的日志字段的字段类型分别对相应的所述数值信息进行处理,得到相应的处理结果,以完成相应的日志解析操作。
可选的,所述得到相应的解析结果,包括:
将基于所述处理结果得到的可读文本信息确定为与所述待解析日志信息对应的解析结果。
可选的,所述基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作,包括:
通过利用与所述预设日志数据解析模型对应的模型属性信息生成与所述解析结果对应的目标展示图和/或目标展示表格,以完成相应的结果可视化操作;其中,所述模型属性信息包括图表类型信息、维度信息、显示模式信息。
可选的,所述日志解析方法,还包括:
在完成所述日志解析操作之后,对所述解析结果进行保存,以得到相应的日志记录。
可选的,所述通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息,包括:
接收各预设业务应用子系统在发生周期性事件或特定事件时,利用本地中对应的预设日志注解文件执行相应的日志字段值写入操作后得到的以字节流的方式发送的待解析日志信息。
第二方面,本申请提供了一种日志解析装置,应用于预设日志系统,包括:
信息接收模块,用于通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;
日志解析模块,用于基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;
结果展示模块,用于在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。
第三方面,本申请提供了一种电子设备,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现前述的日志解析方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述的日志解析方法的步骤。
可见,本申请中,先通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;然后基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;然后在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。本申请在接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息之后,利用对应的目标预设日志预设注解文件进行日志解析,并对结果进行可视化。这样一来,不仅能够有效提高日志解析的效率以及可视化的便利性,还有效解耦了预设业务应用子系统与预设日志系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种日志解析方法流程图;
图2为本申请提供的一种具体的日志解析方法流程示意图;
图3为本申请提供的一种具体的整数字段定义语句示意图;
图4为本申请提供的一种具体的浮点数字段定义语句示意图;
图5为本申请提供的一种具体的键值对字段定义语句示意图;
图6为本申请提供的一种具体的位图字段定义语句部分示意图;
图7为本申请提供的一种具体的位图字段定义语句部分示意图;
图8为本申请提供的一种具体的逐字节解析标识字段定义语句示意图;
图9为本申请提供的一种具体的块字段定义语句示意图;
图10为本申请提供的一种日志记录分组流程示意图;
图11为本申请提供的一种具体的日志解析方法流程图;
图12为本申请提供的一种日志解析装置结构示意图;
图13为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
当前解析日志的技术方案中大都会在生成的日志内容中使用具有可读性的文本并增加额外的分隔符来区分日志内的不同字段,或制定结构化的日志协议标识具体字段,增加了日志数据长度,同时在网络传输过程中过大的数据包将会进行分包与组包操作,占用了带宽,加大了网络传输的延时及丢包的可能;并且结构化的日志协议要求日志生成方和日志解析方都要处理该协议结构,一旦结构有变更,双方都要进行变更。此外后续解析时针对日志中的各类数据需要单独处理,加大了可视化分析以及日志解析的难度,使得日志解析的效率较差。为此,本申请提供了一种日志解析方案,能够有效提高日志解析的效率以及可视化的便利性。
参见图1所示,本发明实施例公开了一种日志解析方法,应用于预设日志系统,包括:
步骤S11、通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息。
具体的,结合图2所示,本实施例中,所述预设嵌入式系统具体可以为CBTC(Communication Based Train Control System,基于通信的列车自动控制系统),此时,各所述预设业务应用子系统具体可以为ATP(Automatic Train Protection,列车自动防护系统)、ATO(Automatic Train Operation,列车自动驾驶系统)、ZC(Zone Controller,区域控制器)、CBI(Computer Based Interlocking,计算机联锁系统)。
需要理解的是,本实施例中,所述通过预设接口管理单元(Interface ManagementUnit,也即IMU)接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息,包括:通过预设接口管理单元以及用户数据报协议(User DatagramProtocol,也即UDP)接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息。其中,所述通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息,包括:接收各预设业务应用子系统在发生周期性事件或特定事件时,利用本地中对应的预设日志注解文件执行相应的日志字段值写入操作后得到的以字节流的方式发送的待解析日志信息。其中,需要理解的是,所述预设日志注解文件为XML(Extensible Markup Language,可扩展标记语言格式)文件,用于规范日志结构、定义日志内容(也即所述待解析日志信息)包含的字段类型以及对应的字段属性,这样一来,通过注解文件即可知道日志传输大小;且日志具体内容中没有额外的标识信息,相比使用固定日志协议的方式,压缩了数据大小,减少了网络带宽,提升了传输性能。
此外,本实施例中,各所述预设业务应用子系统在以字节流的方式传输所述待解析日志信息之前,需要基于与周期性事件或特定事件对应的所述预设日志注解文件通过写入对应日志字段的数值来生成日志信息,进而形成日志字节流。
需要进一步理解的是,与各所述预设业务应用子系统分别对应的周期性事件以及特定事件之间并不完全相同,具体可以预先进行配置。其中,各所述预设业务应用子系统均会根据与自身对应的预设时间间隔周期性地生成日志,且每次生成的日志结构一致,即对应同一个所述预设日志注解文件。而各所述预设业务应用子系统只有在发生特定事件的时候才会针对特定事件生成日志,而且不同的特定事件对应不同的日志结构,即对应不同的所述预设日志注解文件。其中,所述预设时间间隔可以预先基于实际需求进行配置,或可子系统自身自动配置,或可由所述预设嵌入式系统自动配置。
参见图2所示,本实施例中,在所述待解析日志信息传输的过程中,所述预设嵌入式系统中的安全计算机平台将对日志字节流附加包头包尾,然后传输至所述预设接口管理单元,所述预设接口管理单元进行本地保存并转发给所述预设日志系统。
步骤S12、基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果。
本实施例中,所述利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,包括:利用预设日志数据解析模型以及所述目标预设日志注解文件获取所述待解析日志信息中的各预先定义的日志字段的数值信息;其中,所述预先定义的日志字段包括整数字段、浮点数字段、键值对字段、位图字段、标识字段以及块字段;基于各所述预先定义的日志字段的字段类型分别对相应的所述数值信息进行处理,得到相应的处理结果,以完成相应的日志解析操作。其中,针对各所述日志字段的日志字段的定义规范了日志内容,使得各所述预设业务应用子系统在生成日志内容时仅需写入数值,无需额外分隔符及任何文本,统一规范了日志结构,也压缩了日志内容的大小。
需要理解的是,针对各类所述日志字段依次进行描述,其中,所述整数字段的属性信息包括字段名称、字段长度、显示类型(二进制/十进制/十六进制)以及数值类型(是否有符号),该类型字段主要用于数值类型的日志,如系统周期号、报文数据长度、轮径值、交互系统ID(Identity Document,身份标识号)等,具体的XML定义语句如图3所示。所述浮点数字段的属性信息包括字段名称、字段长度、整数部分的字节长度、小数位数、数值类型(是否有符号),该类型字段主要用于带小数的数值类型日志,如列车当前速度、应答器修正位移、距停车点距离等,具体的XML定义语句如图4所示。所述键值对字段的属性信息包括字段名称、字段长度、匹配方式、键值集合。该类型字段预设了一个键值集合,该集合内具有多个以数值作为键以文本作为值的键值对,各所述业务应用子系统在写入日志内容时仅需写入数值,解析程序会按照匹配方式来计算对应的文本值;匹配方式包括按值匹配和按位匹配,按值匹配是指将字段值与键值做等于判断,若二者相等则返回对应键值,否则返回字段值,按位匹配是指将字段值与所有键值做按位与计算,并将结果大于0的键值拼接到一起作为解析后的文本值。该类型字段主要适用于具有特定含义的数值,如状态码或故障码等,具体的XML定义语句如图5所示。所述位图字段的属性信息包括字段名称、字段长度以及位字段集合,位子段属性包括字段名称、位起始索引、位长度和一个键值对集合。各所述业务应用子系统在生成日志内容时仅需写入对应的字段值,日志解析系统在遇到位图字段时,会逐个遍历其位字段集合,按位截取并计算位字段值,匹配对应的文本。用位来标识数据含义,主要用于压缩数据字节长度,具体的XML定义语句如图6与图7所示。所述标识字段用来指明特定字节的数据的用途,因此其属性信息包括字段名称、字段长度、预设值以及标识类型。各系统内置了四种标识类型包括版本标识(标识所述预设日志注解文件的版本,可用于版本检验、加载目标预设日志注解文件的历史版本并实现日志解析)、包头标识(数据包的起始字节,也可作为日志类型标识,对历史日志解析时可根据该标识确认注解文件的类型,结合版本标识就可确定唯一的注解文件)、包尾标识(表示数据包的结尾)、逐字节解析标识(所述预设日志系统在遇到该标识时将会把所有数据逐个字节的打印或保存下来,一般用于特定事件的所述待解析日志信息中,如取二时报文比较不一致时打印出所有报文,具体的XML定义语句如图8所示)。所述块字段允许各所述业务应用子系统将若干字段组合成一个可循环出现多次的块,其属性包括字段名称、循环次数上限、字段集合,具体的XML定义语句如图9所示。
本实施例中,基于设计好的通用的所述预设日志数据解析模型进行日志解析,但在具体实施时针对不同系统可独立设计相应的日志数据解析模型。通过设计所述预设日志数据解析模型,实现了仪表盘的定义,完成了日志数据的可视化分析。所述预设日志数据解析模型的模型属性信息中包括系统标识信息、名称信息、预设日志注解文件信息、维度信息、图表类型信息、显示模式信息、左右边界条件信息度量信息以及数据过滤条件信息。
需要理解的是,针对各所述模型属性信息依次进行描述,其中,所述系统标识信息为表示所述预设日志数据解析模型所属的所述预设业务应用子系统的信息;所述名称信息为相应的模型名称或仪表盘名称的唯一标识信息,用于知名数据解析的含义;所述预设日志注解文件信息为表明所述预设日志数据解析模型所使用的注解文件的信息;所述维度信息为可选属性,用户具体可选择一个所述日志字段作为维度,实现对待解析日志信息的分组,若以仪表盘形式进行显示,所述维度信息将作为仪表盘的横轴数据源;所述图表类型信息为可选属性,用于标识所述解析结果的展示形式,包括但不限于折线图、柱状图、饼图,若不设置则默认以表格的形式展示;所述左右边界条件信息为可选属性,系统允许用户选择若干所述日志字段并定义各字段的计算条件,满足所有字段计算条件的记录被成为边界,左/右边界视为数据记录集合中,第一条满足计算条件的记录。左边界和右边界之间的数据被视为一组,因此,若定义了左右边界,所述解析结果会产生多组结果,比如精准停车分析场景中,左边界即为开始停车条件,右边界即为完成停车条件,左右边界之间的数据即为一次精准停车的所有数据记录;所述度量信息为用户真正要分析的字段集合,所述预设日志数据解析模型支持静态字段和动态字段两种类型;所述数据筛选条件信息类似SQL(Structured Query Language,数据库语言)语句中的where关键字,允许用户设置若干筛选条件来实现过滤数据的目的。
需要理解的是,所述静态字段就是所述预设日志注解文件中定义的各所述日志字段,日志解析时可直接获取日志字段的值,但是如果要生成仪表盘,静态字段就仅支持数值类型的字段,如果仅以表格展示数据则无此限制;所述动态字段允许用户指定若干所述预设日志注解文件中的所述日志字段及其取值方式,并支持以选择的日志字段作为参数设置计算公式,并将计算后的结果作为动态字段的值。其中,取值方式包括字段原值、环比增量、字段截取三种方式。字段原值就是日志记录中的原始值;环比增量指当前记录与上一条记录的差值;字段截取指截取指定分隔符前的文本。与此同时,计算公式支持所有的算术运算符(加减乘除)和小括号。
本实施例中,结合图10所示,对基于所述左右边界条件信息进行记录分组的过程进行具体描述。由于在完成所述日志解析操作之后,对所述解析结果进行保存,以得到相应的日志记录。每条日志记录中包括于若干个所述日志字段对应的信息,具体信息排列方式视具体情况而定。首先,先从本地读取一条日志记录,判断是否为新的记录,如果否则终止并返回所有的编组以及期内的若干条日志记录并结束分组操作,如果是则判断是都已找到左边界,如果当前还未找到左边界则通过判断各所述日志字段是否均满足相应的预设计算条件来判断是当前所述日志记录是否当前记录是否为左边界,如果不是左边界则抛弃记录,否则进行标记并以当前所述日志记录作为起始记录开启新的编组,并再次进行日志记录的读取。如果当前已找到左边界,则通过判断各所述日志字段是否均满足相应的预设计算条件来判断是当前所述日志记录是否当前记录是否为右边界,如果不是,则加入编组;如果是有边界则进行标记并结束当前编组。以此类推,得到多个记录编组,完成记录分组操作。
此外,本实施例中,所述得到相应的解析结果,具体可以包括:将基于所述处理结果得到的可读文本信息确定为与所述待解析日志信息对应的解析结果。
步骤S13、在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。
本实施例中,所述基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作,包括:通过利用与所述预设日志数据解析模型对应的模型属性信息生成与所述解析结果对应的目标展示图和/或目标展示表格,以完成相应的结果可视化操作;其中,所述模型属性信息包括图表类型信息、维度信息、显示模式信息。
由此可见,本申请实施例中,先通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;然后基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;然后在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。本申请在接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息之后,利用对应的目标预设日志预设注解文件进行日志解析,并对结果进行可视化。这样一来,不仅能够有效提高日志解析的效率以及可视化的便利性,还有效解耦了预设业务应用子系统与预设日志系统。
参见图11所示,本发明实施例公开了一种日志解析方法,应用于预设日志系统,包括:
步骤S21、通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息。
步骤S22、基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件获取所述待解析日志信息中的各预先定义的日志字段的数值信息;其中,所述预先定义的日志字段包括整数字段、浮点数字段、键值对字段、位图字段、标识字段以及块字段。
步骤S23、基于各所述预先定义的日志字段的字段类型分别对相应的所述数值信息进行处理,得到相应的处理结果,以完成相应的日志解析操作。
步骤S24、将基于所述处理结果得到的可读文本信息确定为与所述待解析日志信息对应的解析结果。
步骤S25、在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。
其中,关于上述步骤S21至所述步骤S25的具体过程可以参考前述实施例公开的相应内容,在此不再进行赘述。
由此可见,本申请实施例中,在进行日志解析的过程中,通过获取所述待解析日志信息中的各预先定义的日志字段的数值信息并进行相应的处理,并基于将基于处理结果确定的可读文本确定为相应的解析结果。这样一来,通过对各类日志字段进行统一处理,提高了解析效率以及结果的可靠性。
参见图12所示,本申请实施例还相应公开了一种日志解析装置,应用于预设日志系统,包括:
信息接收模块11,用于通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;
日志解析模块12,用于基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;
结果展示模块13,用于在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。
其中,关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
由此可见,本申请中,先基于信息接收模块通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;然后通过日志解析模块基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;然后通过结果展示模块在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。本申请在接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息之后,利用对应的目标预设日志预设注解文件进行日志解析,并对结果进行可视化。这样一来,不仅能够有效提高日志解析的效率以及可视化的便利性,还有效解耦了预设业务应用子系统与预设日志系统。
在一些具体实施例中,所述日志解析模块12,具体可以用于通过预设接口管理单元以及用户数据报协议接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息。
在一些具体实施例中,所述日志解析模块12,具体可以包括:
数字信息获取单元,用于利用预设日志数据解析模型以及所述目标预设日志注解文件获取所述待解析日志信息中的各预先定义的日志字段的数值信息;其中,所述预先定义的日志字段包括整数字段、浮点数字段、键值对字段、位图字段、标识字段以及块字段;
信息处理单元,用于基于各所述预先定义的日志字段的字段类型分别对相应的所述数值信息进行处理,得到相应的处理结果,以完成相应的日志解析操作。
在一些具体实施例中,所述日志解析模块12,具体可以包括:
结果确定单元,用于将基于所述处理结果得到的可读文本信息确定为与所述待解析日志信息对应的解析结果。
在一些具体实施例中,所述结果展示模块13,具体可以包括:
图标生成单元,用于通过利用与所述预设日志数据解析模型对应的模型属性信息生成与所述解析结果对应的目标展示图和/或目标展示表格,以完成相应的结果可视化操作;其中,所述模型属性信息包括图表类型信息、维度信息、显示模式信息。
在一些具体实施例中,所述日志解析装置,具体还可以包括:
结果保存单元,用于在完成所述日志解析操作之后,对所述解析结果进行保存,以得到相应的日志记录。
在一些具体实施例中,所述日志解析模块12,具体可以包括:
日志信息接受单元,用于接收各预设业务应用子系统在发生周期性事件或特定事件时,利用本地中对应的预设日志注解文件执行相应的日志字段值写入操作后得到的以字节流的方式发送的待解析日志信息。
进一步的,本申请实施例还公开了一种电子设备,图13是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图13为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的日志解析方法中的相关步骤。另外,本实施例中的电子设备20具体可以为电子计算机。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的日志解析方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的日志解析方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种日志解析方法,其特征在于,应用于预设日志系统,包括:
通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;
基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;
在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。
2.根据权利要求1所述的日志解析方法,其特征在于,所述通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息,包括:
通过预设接口管理单元以及用户数据报协议接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息。
3.根据权利要求1所述的日志解析方法,其特征在于,所述利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,包括:
利用预设日志数据解析模型以及所述目标预设日志注解文件获取所述待解析日志信息中的各预先定义的日志字段的数值信息;其中,所述预先定义的日志字段包括整数字段、浮点数字段、键值对字段、位图字段、标识字段以及块字段;
基于各所述预先定义的日志字段的字段类型分别对相应的所述数值信息进行处理,得到相应的处理结果,以完成相应的日志解析操作。
4.根据权利要求3所述的日志解析方法,其特征在于,所述得到相应的解析结果,包括:
将基于所述处理结果得到的可读文本信息确定为与所述待解析日志信息对应的解析结果。
5.根据权利要求1所述的日志解析方法,其特征在于,所述基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作,包括:
通过利用与所述预设日志数据解析模型对应的模型属性信息生成与所述解析结果对应的目标展示图和/或目标展示表格,以完成相应的结果可视化操作;其中,所述模型属性信息包括图表类型信息、维度信息、显示模式信息。
6.根据权利要求5所述的日志解析方法,其特征在于,还包括:
在完成所述日志解析操作之后,对所述解析结果进行保存,以得到相应的日志记录。
7.根据权利要求1至6任一项所述的日志解析方法,其特征在于,所述通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息,包括:
接收各预设业务应用子系统在发生周期性事件或特定事件时,利用本地中对应的预设日志注解文件执行相应的日志字段值写入操作后得到的以字节流的方式发送的待解析日志信息。
8.一种日志解析装置,其特征在于,应用于预设日志系统,包括:
信息接收模块,用于通过预设接口管理单元接收当前预设嵌入式系统中各预设业务应用子系统以字节流的方式发送的待解析日志信息;
日志解析模块,用于基于所述待解析日志信息从本地确定对应的目标预设日志注解文件,并利用预设日志数据解析模型以及所述目标预设日志注解文件对所述待解析日志信息执行相应的日志解析操作,得到相应的解析结果;
结果展示模块,用于在完成所述日志解析操作之后,基于预设可视化规则对与所述待解析日志信息对应的所述解析结果执行相应的结果可视化操作。
9.一种电子设备,其特征在于,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至7任一项所述的日志解析方法。
10.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的日志解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167293.8A CN117150001A (zh) | 2023-09-11 | 2023-09-11 | 一种日志解析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311167293.8A CN117150001A (zh) | 2023-09-11 | 2023-09-11 | 一种日志解析方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117150001A true CN117150001A (zh) | 2023-12-01 |
Family
ID=88886664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311167293.8A Pending CN117150001A (zh) | 2023-09-11 | 2023-09-11 | 一种日志解析方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117150001A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118672989A (zh) * | 2024-08-20 | 2024-09-20 | 中孚安全技术有限公司 | 基于字节流的evtx格式系统日志查询方法及系统 |
-
2023
- 2023-09-11 CN CN202311167293.8A patent/CN117150001A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118672989A (zh) * | 2024-08-20 | 2024-09-20 | 中孚安全技术有限公司 | 基于字节流的evtx格式系统日志查询方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107656520B (zh) | Can总线数据解析方法及计算机可读存储介质 | |
CN112714134B (zh) | Can报文的解析方法、适配方法、装置、设备及介质 | |
CN106055450B (zh) | 一种二进制日志解析方法及装置 | |
CN117150001A (zh) | 一种日志解析方法、装置、设备及存储介质 | |
CN112162980A (zh) | 数据质量管控方法及系统、存储介质、电子设备 | |
CN103365886A (zh) | 车联网中的空间事件的查询方法和优化查询器 | |
CN114091383A (zh) | 测试序列生成方法、装置、系统及相关设备 | |
CN111159142A (zh) | 一种数据处理方法及装置 | |
CN103095644B (zh) | 一种数据内容解析方法及装置 | |
CN115967604A (zh) | 报文传输方法、装置、电子设备及计算机可读存储介质 | |
CN113632510B (zh) | 转换装置、转换方法和记录介质 | |
CN112905467B (zh) | 一种测试用例执行管理方法、装置、设备及存储介质 | |
CN114218256A (zh) | 访问语句处理方法、装置、设备及存储介质 | |
CN111143398B (zh) | 基于扩展sql函数的超大集合查询方法及装置 | |
CN107861725B (zh) | 一种iOS数据反向自动解析策略 | |
CN115994172B (zh) | 一种业务访问关系确定的方法、装置、设备及介质 | |
CN115344659B (zh) | 海量轨迹大数据的处理方法及系统、存储介质、电子设备 | |
CN117176305A (zh) | 一种目标校验算法的校验方法、装置、设备及介质 | |
CN111125147B (zh) | 基于扩展预计算模型和sql函数的超大集合分析方法及装置 | |
CN117632754A (zh) | 一种诊断数据处理方法、装置、设备及存储介质 | |
CN118153723A (zh) | 旅客名单报的管理方法、装置、设备及可读存储介质 | |
CN114860172A (zh) | 数据存储方法、装置、设备和存储介质 | |
CN117493180A (zh) | 测试用例的生成方法、装置和计算机设备 | |
CN117687981A (zh) | 日志管理方法、装置、存储介质及电子设备 | |
CN111694561A (zh) | 一种接口管理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |