CN111324583B - 一种业务日志的分类方法及装置 - Google Patents
一种业务日志的分类方法及装置 Download PDFInfo
- Publication number
- CN111324583B CN111324583B CN201811545473.4A CN201811545473A CN111324583B CN 111324583 B CN111324583 B CN 111324583B CN 201811545473 A CN201811545473 A CN 201811545473A CN 111324583 B CN111324583 B CN 111324583B
- Authority
- CN
- China
- Prior art keywords
- log
- information
- service
- application
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000006870 function Effects 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000010219 correlation analysis Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 abstract description 32
- 238000004458 analytical method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例中公开了一种业务日志的分类方法及装置。在获取多个业务服务的业务日志之后，其中，业务日志包括系统日志、应用日志和轨迹日志，提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息，关键信息为标识业务服务功能的信息；分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息；基于关联信息和预设分类原则，获取业务日志的日志信息网格，以记载分类后的系统日志、应用日志和轨迹日志的日志信息间的逻辑关系，在业务服务中建立业务日志与业务服务场景的关联关系，从而提高了故障定位效率与运维效率。
Description
技术领域
本申请涉及通信技术领域，尤其涉及一种业务日志的分类方法及装置。
背景技术
目前，业务日志的分类方法主要是基于产生的业务数据的来源进行分类，例如，将硬件设备产生的业务数据划分为系统日志，其中，硬件设备是指承载业务系统的主机设备；将应用系统执行程序过程中输出的业务数据划分为输出日志等。可见，传统的业务日志分类方法划分方法比较单一，且生成的业务日志并没有与实际的业务服务场景联系起来。业务服务场景可以是电信行业的所提供的业务服务场景。例如，缴费充值、开户和话费查询等。
当业务服务发生故障时，由于业务日志未建立与业务服务场景的关联关系，导致故障定位与运维的效率不高。
发明内容
本申请实施例提供一种业务日志的分类方法及装置。用于在业务服务中建立业务日志与业务服务场景的关联关系，从而提高了故障定位效率与运维效率。
第一方面，提供了一种业务日志的分类方法，该方法可以包括：
获取多个业务服务的业务日志，业务日志包括系统日志、应用日志和轨迹日志，其中，系统日志用于记录运行多个业务服务的执行业务服务设备的运行参数信息，应用日志用于记录运行多个业务服务的应用进程的运行参数信息，轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行参数信息；
提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息，关键信息为标识业务服务功能的信息；
分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息，关联信息表示系统日志、应用日志和轨迹日志间调用关系的信息；
基于关联信息和预设分类原则，获取业务日志的日志信息网格，日志信息网格用于记载分类后的系统日志、应用日志和轨迹日志的日志信息间的逻辑关系。
可见，该技术方案实现了在业务服务中建立业务日志与业务服务场景的关联关系，从而提高了故障定位效率与运维效率。
在一个可选的实现中，基于关联信息和预设分类原则，获取业务日志的日志信息网格，包括：
根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
根据关联信息，对分类后的日志信息进行关联，以获取业务日志的日志信息网格。
上述方式将应用日志、系统日志和轨迹日志的日志信息，进行分类、划小分解，从而建立业务日志与业务服务场景之间的逻辑关系。
在一个可选的实现中，根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类，包括：
对系统日志、应用日志和轨迹日志中的日志信息，按照执行主体属性、事件属性、资源属性和状态属性，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
该方式是对分类过程的具体实现方案：通过将应用日志、系统日志和轨迹日志的日志信息，按照执行主体属性、事件属性、资源属性和状态属性进行分类、建立业务日志与业务服务场景之间的逻辑关系。
在一个可选的实现中，获取日志信息网格之后，该方法还包括：
从系统日志、应用日志和轨迹日志对应的日志信息的关键信息中选取待预测参数信息，待预测参数信息为系统日志、应用日志或轨迹日志中的运行参数信息；
基于待预测参数信息，查询业务日志的日志信息网格，获取待预测参数信息的关联信息；
查询业务日志的日志信息网格，获取待预测参数信息在日志信息网格中存在的关联信息；
基于待预测参数信息的关联信息与历史事件的相关性信息，采用预设相关性分析算法，得到与相关性信息对应的待预测参数信息的相关性事件发生概率，历史事件的相关性信息为历史发生相关性事件的信息。
可见，在获得日志信息网格，即建立业务日志与业务服务场景之间的逻辑关系之后，该技术方案还可以基于日志信息网格对告警事件进行预设，实现对故障的快速定位，以提高故障定位效率与运维效率。
在一个可选的实现中，预设相关性分析算法为贝叶斯算法。
第二方面，提供了一种分类装置，该装置可以包括获取单元和提取单元；
获取单元，用于获取多个业务服务的业务日志，业务日志包括系统日志、应用日志和轨迹日志，其中，系统日志用于记录运行多个业务服务的执行业务服务设备的运行参数信息，应用日志用于记录运行多个业务服务的应用进程的运行参数信息，轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行参数信息；
提取单元，用于提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息，关键信息为标识业务服务功能的信息；
获取单元，还用于分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息，关联信息表示系统日志、应用日志和轨迹日志间调用关系的信息；
基于关联信息和预设分类原则，获取业务日志的日志信息网格，日志信息网格用于记载分类后的所述系统日志、应用日志和轨迹日志的日志信息间的逻辑关系。
在一个可选的实现中，获取单元，用于根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
根据关联信息，对分类后的日志信息进行关联，以获取业务日志的日志信息网格。
在一个可选的实现中，获取单元，用于对系统日志、应用日志和轨迹日志中的日志信息，按照执行主体属性、事件属性、资源属性和状态属性，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
在一个可选的实现中，该装置还包括：查询单元；
提取单元在获取日志信息网格之后，从系统日志、应用日志和轨迹日志对应的日志信息的关键信息中选取待预测参数信息，待预测参数信息为系统日志、应用日志或轨迹日志中的运行参数信息；
查询单元，用于查询业务日志的日志信息网格，获取待预测参数信息在日志信息网格中存在的关联信息；
基于待预测参数信息的关联信息与历史事件的相关性信息，采用预设相关性分析算法，得到与相关性信息对应的待预测参数信息的相关性事件发生概率，历史事件的相关性信息为历史发生相关性事件的信息。
在一个可选的实现中，预设相关性分析算法为贝叶斯算法。
第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存储的程序时，实现上述第一方面中任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。
本发明实施例提供的上述技术方案在获取多个业务服务的业务日志之后，其中，业务日志包括系统日志、应用日志和轨迹日志，系统日志用于记录运行多个业务服务的执行业务服务设备的运行参数信息，应用日志用于记录运行多个业务服务的应用进程的运行参数信息，轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行参数信息。提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息，关键信息为标识业务服务功能的信息；分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息，关联信息表示系统日志、应用日志和轨迹日志间调用关系的信息；基于关联信息和预设分类原则，获取业务日志的日志信息网格，以记载分类后的系统日志、应用日志和轨迹日志的日志信息间的逻辑关系，在业务服务中建立业务日志与业务服务场景的关联关系，从而提高了故障定位效率与运维效率。
附图说明
图1为本发明实施例提供的一种业务日志的分类方法的流程示意图；
图2为本发明实施例提供的一种日志信息网格的结构示意图；
图3为本发明实施例提供的一种分类装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的业务日志的分类方法适用于所有面向用户的业务系统中，该业务系统可以包括客户端和接收客户端发出的业务服务的服务器。
该分类方法应用在服务器上，服务器通过获取多个业务服务的业务日志，实现对业务日志的分析，确定业务日志中日志信息间的调用关系。基于该调用关系和预设分类原则，获取业务日志的日志信息网格，日志信息网格用于记载分类后的业务日志中日志信息的逻辑关系。本申请的上述分类方法通过日志信息网格将多个业务服务相互联系，提升了故障定位效率和运维效率。
其中，业务日志可以包括系统日志、应用日志和轨迹日志。其中，系统日志用于记录运行多个业务服务的设备的参数信息，即承载应用的主机设备所产生的参数信息，如本地主机IP地址(local_addr)、本地进程号(local_pid)、本地应用名(local_app)，开启时间(start time)、结束时间(end time)、本地主机名(local_host)等。应用日志用于记录运行多个业务服务的应用进程的参数信息，即业务系统自身应用在运营过程中根据业务的运行情况输出的参数信息，如关键字、消息ID、服务使用ID、服务调用流水号、服务使用方IP地址、服务类型、服务名称等，其中，业务系统自身应用可以是客户关系管理CRM系统中交费应用、详单查询应用、业务开通应用、充值交付应用等，关键字为描述应用自身业务功能标识。轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行信息，如业务类型、访问时间、访问时长、响应时间等。
预设分类原则为按照执行主体属性、事件属性、资源属性和状态属性，对业务日志中的日志信息进行分类。执行主体属性(或称“人”)是指将运维的人员分别归纳成各自独立的执行主体，每个执行主体根据职责划分。执行主体属性可以与一系列独立的事件属性关联。执行主体属性可以包括投诉人员、维护人员。事件属性(或称“事”)是指将业务日志分析结果归纳成一系列独立的事件，每类事件根据受资源的影响程度分别与相应的一系列资源属性关联。事件属性可以包括告警时间、故障时间等。资源属性(或称“物”)是指承载设备性能指标的实体。资源属性可以包括：主机、存储、数据库、应用系统等。状态属性(或称“态”)反映业务服务运行状态的指标。执行主体属性可以包括：CPU使用率、内存使用率等。
图1为本发明实施例提供的一种业务日志的分类方法的流程示意图。如图1所示，该方法的执行主体为服务器，该方法可以包括：
步骤110、获取多个业务服务的业务日志，业务日志包括系统日志、应用日志和轨迹日志。
服务器通过部署代理(agent)服务器，采集系统日志和应用日志，通过部署探针，采集轨迹日志，并将采集的系统日志、应用日志和轨迹日志上传至服务器中的数据处理平台，如数据处理器。
其中，系统日志用于记录运行多个业务服务的执行业务服务设备的运行参数信息，如本地主机IP地址(local_addr)、本地进程号(local_pid)、本地应用名(local_app)等；应用日志用于记录运行多个业务服务的应用进程的运行参数信息，如业务类型的关键字、消息ID、服务使用ID、服务使用方IP地址等；轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行参数信息，如访问时间、访问时长等。
步骤120、提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息。
服务器基于网络(Web)爬虫、全文检索等方法，对系统日志、应用日志和轨迹日志的日志内容进行大数据分析，获取上述三种日志信息的关键信息。关键信息为日志信息中标识业务服务功能的信息，关键信息是为每个业务服务预先定义的关键符号，该关键符号可以由数字、字母和/或下划线等信息组成。
其中，服务器可以运行Nutch的搜索引擎，由Nutch提供全文搜索技术和Web爬虫技术。
步骤130、分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息。
关联信息表示系统日志、应用日志和轨迹日志间调用关系的信息。服务器通过关键信息获得业务服务设备，如主机，以及不同业务服务的应用进程之间的调用关系，以及不同业务服务的应用进程间的调用关系。
步骤140、基于关联信息和预设分类原则，获取业务日志的日志信息网格。
服务器根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
具体的，对系统日志、应用日志和轨迹日志中的日志信息，按照执行主体属性、事件属性、资源属性和状态属性，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
其中，执行主体属性：将记录的与运维相关的各类人员分别归纳成各自独立的角色，每个角色根据职责划分，且与一系列的事件关联，角色间是相互独立，且相互包含的关系。
事件属性：将业务日志分析结果归纳成一系列独立的事件，每类事件根据受资源影响程度分别与相应的一系列资源关联，事件间是相互独立、相互依赖，且相互包含的关系。
资源属性：将业务日志中的系统资源信息，按各自特性进行分类划分。
状态属性：反映业务服务各方面的运行状态，如技术方面、服务方面、业务方面的运行指标。指标间相互独立，且相互影响。
之后，根据获得的关联信息，对分类后的日志信息进行关联，以获取业务日志的日志信息网格。日志信息网格用于记载分类后的系统日志、应用日志和轨迹日志的日志信息间的逻辑关系。
需要说明的是，为了进一步提高故障定位效率与运维效率，在执行主体属性中可以将执行主体按管理人员、平台维护人员和业务维护人员进一步划分。其中，管理人员可以包括中心领导人员、计费管理人员、客户关系管理(Customer Relationship Management，CRM)人员等。平台维护人员可以包括主机维护人员、存储维护人员、网络维护人员、资源池维护人员等。业务维护人员可以包括CRM维护人员、计费维护人员、客户保护(或称客保)维护人员等。在事件属性中可以将事件按事件分析、事件巡检和告警事件进一步划分。其中，事件分析可以包括故障分析事件、投诉分析事件、容量分析事件等。事件巡检可以包括系统巡检事件、平台巡检事件、业务巡检事件等。告警事件可以包括业务告警事件、系统告警事件、平台告警事件等。在资源属性中可以将资源按基础设施服务(Infrastructure as aService，IaaS)、平台服务(Platform as a Service，PaaS)、软件服务(Software as aService，SaaS)分层划分，也可以按基础设施、中间件、应用系统划分，资源网格按最小监控单元划分。其中，基础设施可以包括主机、存储、网络、资源池等。中间件可以包括Tomcat、WebLogic等应用服务器。应用系统可以包括客保、商务平台(International BusinessPlatform group，IBP)、CRM等。在状态属性中可以将业务状态指标按业务时长指标、服务指标和技术指标进一步划分。其中，业务时长指标可以包括业务开通时长、业务办理时长、资源配置时长等。服务指标可以包括故障处理时长、投诉处理及时率、投诉处理时长、故障主动发现率等。技术指标可以包括CPU使用率、内存使用率、IO读写量等。
在一个例子中，如图2所示，服务器根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类，得到执行主体属性、事件属性、资源属性和状态属性的相应日志信息，并建模，该模型包括四层日志信息，从上到下分别为执行主体属性层、事件属性层、资源属性层和状态属性层。其中，执行主体属性层包括管理人员、平台维护人员和业务维护人员。其中，管理人员可以包括中心领导、计费管理、CRM管理和ITSM管理。平台维护人员包括主机维护、存储维护、网络维护和资源池维护。业务维护人员包括CRM维护、计费维护、客保维护和ITSM维护。事件属性层包括分析、巡检和告警。其中，分析包括故障分析、投诉分析、容量分析和资产分析。巡检包括系统巡检、平台巡检、业务巡检和接口巡检。告警包括业务告警、系统告警、平台告警和接口告警。资源属性层包括基础设施服务(Infrastructure as a Service，IaaS)、平台服务(Platform as a Service，PaaS)、软件服务(Software as a Service，SaaS)分层划分，也可以按基础设施、中间件、应用系统划分，资源网格按最小监控单元划分。其中，基础设施包括主机、存储、网络、资源池。中间件包括Tomcat、WebLogic、Oracle、MySQL。应用系统包括客保、商务平台(InternationalBusiness Platform group，IBP)、CRM和综资(或称“综合资源”)。状态属性层包括业务指标、服务指标和技术指标。其中，业务指标可以包括业务开通时长、业务办理时长、资源配置时长、营业受理时长。服务指标包括故障处理时长、投诉处理及时率、投诉处理时长、故障主动发现率。技术指标可以包括CPU使用率、内存使用率、IO读写量和FS使用率。
之后，根据分析关键信息获得的关联信息，对分类后的四层日志信息进行关联，即将该模型四层中的日志信息进行关联，获取到业务日志的日志信息网格，日志信息网格可以实现故障的快速定位，以及提高了运维效率。
例如，事件属性层中出现业务告警，基于日志信息网格中的关联信息和该告警事件，在资源属性层查找到CRM下的主机有告警，且在状态属性层查找到该主机CPU的使用率为90％，从而实现故障的快速定位。
同时服务器基于日志信息网格中的关联信息和告警事件，会将执行主体属性层中的投诉人员与对应的运维人员联系起来，从而提高了运维效率。
进一步的，本发明实施例还可以基于业务日志的日志信息网格，实现告警预测。
具体的，在获取日志信息网格之后，服务器可以从系统日志、应用日志和轨迹日志的相应日志信息的关键信息中选取待预测参数信息进行告警预测，该待预测参数信息可以是预先指定的参数信息进行告警预测，如指定对当前CPU使用率进行告警预测；也可以是按照预设参数信息的优先级顺序进行依次告警预测，如若预设优先级从高到底的顺序可以为：内存使用率、IO读写量、故障处理时长、资源配置时长，则服务器按照预设优先级顺序依次对内存使用率、IO读写量、故障处理时长、资源配置时长进行告警预测。其中，待预测参数信息为系统日志、应用日志或轨迹日志中的运行参数信息。
之后，查询业务日志的日志信息网格，获取待预测参数信息在该日志信息网格中存在的关联信息；
基于待预测参数信息的关联信息与历史事件的相关性信息，采用预设相关性分析算法，得到与相关性信息对应的待预测参数信息的相关性事件发生概率，历史事件的相关性信息为历史发生该相关性事件的信息。
其中，预设相关性分析算法可以是贝叶斯算法。
本发明实施例提供的上述技术方案在获取多个业务服务的业务日志之后，其中，业务日志包括系统日志、应用日志和轨迹日志，系统日志用于记录运行多个业务服务的执行业务服务设备的运行参数信息，应用日志用于记录运行多个业务服务的应用进程的运行参数信息，轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行参数信息。提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息，关键信息为标识业务服务功能的信息；分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息，关联信息表示系统日志、应用日志和轨迹日志间调用关系的信息；基于关联信息和预设分类原则，获取业务日志的日志信息网格，以记载分类后的系统日志、应用日志和轨迹日志的日志信息间的逻辑关系，在业务服务中建立业务日志与业务服务场景的关联关系，从而提高了故障定位效率与运维效率。
与上述方法对应的，本发明实施例还提供一种分类装置，如图3所示，该装置可以包括：获取单元310和提取单元320；
获取单元310，用于获取多个业务服务的业务日志，业务日志包括系统日志、应用日志和轨迹日志，其中，系统日志用于记录运行多个业务服务的执行业务服务设备的运行参数信息，应用日志用于记录运行多个业务服务的应用进程的运行参数信息，轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行参数信息；
提取单元320，用于提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息，关键信息为标识业务服务功能的信息；
获取单元310，还用于分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息，关联信息表示系统日志、应用日志和轨迹日志间调用关系的信息；
基于关联信息和预设分类原则，获取业务日志的日志信息网格，日志信息网格用于记载分类后的所述系统日志、应用日志和轨迹日志的日志信息间的逻辑关系。
可选地，获取单元310，用于根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
根据关联信息，对分类后的日志信息进行关联，以获取业务日志的日志信息网格。
可选地，获取单元310，用于对系统日志、应用日志和轨迹日志中的日志信息，按照执行主体属性、事件属性、资源属性和状态属性，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
可选地，该装置还包括：查询单元330；
提取单元320在获取日志信息网格之后，从系统日志、应用日志和轨迹日志对应的日志信息的关键信息中选取待预测参数信息，待预测参数信息为系统日志、应用日志或轨迹日志中的运行参数信息；
查询单元330，用于查询业务日志的日志信息网格，获取待预测参数信息在日志信息网格中存在的关联信息；
基于待预测参数信息的关联信息与历史事件的相关性信息，采用预设相关性分析算法，得到与相关性信息对应的待预测参数信息的相关性事件发生概率，历史事件的相关性信息为历史发生相关性事件的信息。
可选地，预设相关性分析算法为贝叶斯算法。
本发明上述实施例提供的分类装置的各功能单元的功能，可以通过上述各方法步骤来实现，因此，本发明实施例提供的分类装置中的各个单元的具体工作过程和有益效果，在此不复赘述。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器410、通信接口420、存储器430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。
存储器430，用于存放计算机程序；
处理器410，用于执行存储器430上所存放的程序时，实现如下步骤：
获取多个业务服务的业务日志，业务日志包括系统日志、应用日志和轨迹日志，其中，系统日志用于记录运行多个业务服务的执行业务服务设备的运行参数信息，应用日志用于记录运行多个业务服务的应用进程的运行参数信息，轨迹日志用于记录运行多个业务服务中每个完整业务服务的运行参数信息；
提取系统日志、应用日志和轨迹日志对应的日志信息的关键信息，关键信息为标识业务服务功能的信息；
分析系统日志、应用日志和轨迹日志对应的关键信息，获取关联信息，关联信息表示系统日志、应用日志和轨迹日志间调用关系的信息；
基于关联信息和预设分类原则，获取业务日志的日志信息网格，日志信息网格用于记载分类后的系统日志、应用日志和轨迹日志的日志信息间的逻辑关系。
可选地，基于关联信息和预设分类原则，获取业务日志的日志信息网格，包括：
根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
根据关联信息，对分类后的日志信息进行关联，以获取业务日志的日志信息网格。
可选地，根据预设分类原则，对系统日志、应用日志和轨迹日志中的日志信息进行分类，包括：
对系统日志、应用日志和轨迹日志中的日志信息，按照执行主体属性、事件属性、资源属性和状态属性，对系统日志、应用日志和轨迹日志中的日志信息进行分类。
可选地，获取日志信息网格之后，从系统日志、应用日志和轨迹日志对应的日志信息的关键信息中选取待预测参数信息，待预测参数信息为系统日志、应用日志或轨迹日志中的运行参数信息；
基于待预测参数信息，查询业务日志的日志信息网格，获取待预测参数信息的关联信息；
查询业务日志的日志信息网格，获取待预测参数信息在日志信息网格中存在的关联信息；
基于待预测参数信息的关联信息与历史事件的相关性信息，采用预设相关性分析算法，得到与相关性信息对应的待预测参数信息的相关性事件发生概率，历史事件的相关性信息为历史发生相关性事件的信息。
可选地，预设相关性分析算法为贝叶斯算法。
本发明实施例体的电子设备在业务服务中建立业务日志与业务服务场景的关联关系，从而提高了故障定位效率与运维效率。
上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中网络设备的各器件解决问题的实施方式以及有益效果可以参见图1所示的实施例中的各步骤来实现，因此，本发明实施例提供的网络设备的具体工作过程和有益效果，在此不复赘述。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的业务日志的分类方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的业务日志的分类方法。
本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。
Claims (10)
1.一种业务日志的分类方法，其特征在于，所述方法包括：
获取多个业务服务的业务日志，所述业务日志包括系统日志、应用日志和轨迹日志，其中，所述系统日志用于记录运行所述多个业务服务的执行业务服务设备的运行参数信息，所述应用日志用于记录运行所述多个业务服务的应用进程的运行参数信息，所述轨迹日志用于记录运行所述多个业务服务中每个完整业务服务的运行参数信息；
提取所述系统日志、所述应用日志和所述轨迹日志对应的日志信息的关键信息，所述关键信息为标识业务服务功能的信息；
分析所述系统日志、所述应用日志和所述轨迹日志对应的关键信息，获取关联信息，所述关联信息表示所述系统日志、所述应用日志和所述轨迹日志间调用关系的信息；
基于所述关联信息和预设分类原则，获取所述业务日志的日志信息网格，所述日志信息网格用于记载分类后的所述系统日志、所述应用日志和所述轨迹日志的日志信息间的逻辑关系；
获取日志信息网格之后，所述方法还包括：
从所述系统日志、所述应用日志和所述轨迹日志对应的日志信息的关键信息中选取待预测参数信息，所述待预测参数信息为系统日志、应用日志或轨迹日志中的运行参数信息；
查询所述业务日志的日志信息网格，获取所述待预测参数信息在所述日志信息网格中存在的关联信息；
基于所述待预测参数信息的关联信息与历史事件的相关性信息，采用预设相关性分析算法，得到与所述相关性信息对应的所述待预测参数信息的相关性事件发生概率，所述历史事件的相关性信息为历史发生所述相关性事件的信息。
2.如权利要求1所述的方法，其特征在于，基于所述关联信息和预设分类原则，获取所述业务日志的日志信息网格，包括：
根据预设分类原则，对所述系统日志、所述应用日志和所述轨迹日志中的日志信息进行分类；
根据所述关联信息，对分类后的日志信息进行关联，以获取所述业务日志的日志信息网格。
3.如权利要求2所述的方法，其特征在于，根据预设分类原则，对所述系统日志、所述应用日志和所述轨迹日志中的日志信息进行分类，包括：
对所述系统日志、所述应用日志和所述轨迹日志中的日志信息，按照执行主体属性、事件属性、资源属性和状态属性，对所述系统日志、所述应用日志和所述轨迹日志中的日志信息进行分类。
4.如权利要求1所述的方法，其特征在于，所述预设相关性分析算法为贝叶斯算法。
5.一种分类装置，其特征在于，所述装置包括：
获取单元，用于获取多个业务服务的业务日志，所述业务日志包括系统日志、应用日志和轨迹日志，其中，所述系统日志用于记录运行所述多个业务服务的执行业务服务设备的运行参数信息，所述应用日志用于记录运行所述多个业务服务的应用进程的运行参数信息，所述轨迹日志用于记录运行所述多个业务服务中每个完整业务服务的运行参数信息；
提取单元，用于提取所述系统日志、所述应用日志和所述轨迹日志对应的日志信息的关键信息，所述关键信息为标识业务服务功能的信息；
所述获取单元，还用于分析所述系统日志、所述应用日志和所述轨迹日志对应的关键信息，获取关联信息，所述关联信息表示所述系统日志、所述应用日志和所述轨迹日志间调用关系的信息；
基于所述关联信息和预设分类原则，获取所述业务日志的日志信息网格，所述日志信息网格用于记载分类后的所述系统日志、所述应用日志和所述轨迹日志的日志信息间的逻辑关系；
所述装置还包括：查询单元；
所述提取单元在获取日志信息网格之后，还用于，
从所述系统日志、所述应用日志和所述轨迹日志对应的日志信息的关键信息中选取待预测参数信息，所述待预测参数信息为系统日志、应用日志或轨迹日志中的运行参数信息；
所述查询单元，用于查询所述业务日志的日志信息网格，获取所述待预测参数信息在所述日志信息网格中存在的关联信息；
基于所述待预测参数信息的关联信息与历史事件的相关性信息，采用预设相关性分析算法，得到与所述相关性信息对应的所述待预测参数信息的相关性事件发生概率，所述历史事件的相关性信息为历史发生所述相关性事件的信息。
6.如权利要求5所述的装置，其特征在于，所述获取单元，用于：
根据预设分类原则，对所述系统日志、所述应用日志和所述轨迹日志中的日志信息进行分类；
根据所述关联信息，对分类后的日志信息进行关联，以获取所述业务日志的日志信息网格。
7.如权利要求6所述的装置，其特征在于，所述获取单元，用于：
对所述系统日志、所述应用日志和所述轨迹日志中的日志信息，按照执行主体属性、事件属性、资源属性和状态属性，对所述系统日志、所述应用日志和所述轨迹日志中的日志信息进行分类。
8.如权利要求5所述的装置，其特征在于，所述预设相关性分析算法为贝叶斯算法。
9.一种电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存储的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811545473.4A CN111324583B (zh) | 2018-12-17 | 2018-12-17 | 一种业务日志的分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811545473.4A CN111324583B (zh) | 2018-12-17 | 2018-12-17 | 一种业务日志的分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111324583A CN111324583A (zh) | 2020-06-23 |
| CN111324583B true CN111324583B (zh) | 2023-10-27 |
Family
ID=71170647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811545473.4A Active CN111324583B (zh) | 2018-12-17 | 2018-12-17 | 一种业务日志的分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111324583B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069138A (zh) * | 2020-09-30 | 2020-12-11 | 中国银行股份有限公司 | 一种日志记录方法及装置 |
| CN112799869A (zh) * | 2021-02-19 | 2021-05-14 | 上海中通吉网络技术有限公司 | 跨业务域故障问题分析定位方法、装置、设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761173A (zh) * | 2013-12-28 | 2014-04-30 | 华中科技大学 | 一种基于日志的计算机系统故障诊断方法及装置 |
| WO2015189013A1 (de) * | 2014-06-11 | 2015-12-17 | BSH Hausgeräte GmbH | Haushaltsgerät mit einem statistisch steuerbaren betrieb |
| WO2016096035A1 (en) * | 2014-12-19 | 2016-06-23 | Fibetco Aps | A method and a system for forecasting a parameter |
| CN106528619A (zh) * | 2016-09-30 | 2017-03-22 | 国家电网公司 | 一种基于关键字段的交换机日志快速聚合方法 |
| CN107622084A (zh) * | 2017-08-10 | 2018-01-23 | 深圳前海微众银行股份有限公司 | 日志管理方法、系统以及计算机可读存储介质 |
| CN108093029A (zh) * | 2016-11-23 | 2018-05-29 | 曼·胡默尔有限公司 | 过滤器元件分析系统和相关联的方法 |
| CN108964995A (zh) * | 2018-07-03 | 2018-12-07 | 上海新炬网络信息技术股份有限公司 | 基于时间轴事件的日志关联分析方法 |
-
2018
- 2018-12-17 CN CN201811545473.4A patent/CN111324583B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761173A (zh) * | 2013-12-28 | 2014-04-30 | 华中科技大学 | 一种基于日志的计算机系统故障诊断方法及装置 |
| WO2015189013A1 (de) * | 2014-06-11 | 2015-12-17 | BSH Hausgeräte GmbH | Haushaltsgerät mit einem statistisch steuerbaren betrieb |
| WO2016096035A1 (en) * | 2014-12-19 | 2016-06-23 | Fibetco Aps | A method and a system for forecasting a parameter |
| CN106528619A (zh) * | 2016-09-30 | 2017-03-22 | 国家电网公司 | 一种基于关键字段的交换机日志快速聚合方法 |
| CN108093029A (zh) * | 2016-11-23 | 2018-05-29 | 曼·胡默尔有限公司 | 过滤器元件分析系统和相关联的方法 |
| CN107622084A (zh) * | 2017-08-10 | 2018-01-23 | 深圳前海微众银行股份有限公司 | 日志管理方法、系统以及计算机可读存储介质 |
| CN108964995A (zh) * | 2018-07-03 | 2018-12-07 | 上海新炬网络信息技术股份有限公司 | 基于时间轴事件的日志关联分析方法 |
Non-Patent Citations (2)
| Title |
|---|
| Pedro Pereira Rodrigues等.Predicting visualization of hospital clinical reports using survival analysis of access logs from a virtual patient record.《Proceedings of the 26th IEEE International Symposium on Computer-Based Medical Systems 》.2013,第1页. * |
| 班志杰 等.利用LMS规则的预取策略.《武汉大学学报(信息科学版)》.2009,第第34卷卷(第第34卷期),第1004-1005页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111324583A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684181B (zh) | 告警根因分析方法、装置、设备及存储介质 | |
| CN110661659B (zh) | 一种告警方法、装置、系统及电子设备 | |
| US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
| CN106953740B (zh) | 应用中页面访问数据的处理方法、客户端、服务器及系统 | |
| CN113190423B (zh) | 业务数据的监控方法、装置及系统 | |
| CN110232010A (zh) | 一种告警方法、告警服务器及监控服务器 | |
| CN110457175B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
| CN110362455B (zh) | 一种数据处理方法和数据处理装置 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
| CN109951326B (zh) | 数据处理方法、装置、存储介质及处理器 | |
| CN111324583B (zh) | 一种业务日志的分类方法及装置 | |
| CN113656245A (zh) | 数据的巡检方法、装置、存储介质及处理器 | |
| CN106878038A (zh) | 一种通信网络中故障定位方法及装置 | |
| CN111314137A (zh) | 信息通信网络自动化运维方法、装置、存储介质和处理器 | |
| CN113596078A (zh) | 业务问题定位方法及装置 | |
| CN115049493A (zh) | 一种区块链数据追踪方法、装置及电子设备 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| CN117271177B (zh) | 基于链路数据的根因定位方法、装置、电子设备及存储介质 | |
| CN117931589A (zh) | 运维故障的识别方法及装置 | |
| CN115686381B (zh) | 存储集群运行状态的预测方法及装置 | |
| CN109286532B (zh) | 云计算系统中告警信息的管理方法和装置 | |
| CN107193721B (zh) | 一种生成日志的方法和装置 | |
| CN114925130A (zh) | 一种基于调用链技术进行跨层根因分析的方法 | |
| CN110955760A (zh) | 判决结果的评价方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: No. 117, Minzu Avenue, Qingxiu District, Nanning City, Guangxi Zhuang Autonomous Region, 530028 Applicant after: GUANGXI BRANCH, CHINA MOBILE COMMUNICATION Group Applicant after: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd. Address before: 530000 No. 55, Jinhu Road, Nanning, the Guangxi Zhuang Autonomous Region Applicant before: GUANGXI BRANCH, CHINA MOBILE COMMUNICATION Group Applicant before: CHINA MOBILE COMMUNICATIONS GROUP Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |