CN112540906B - 基于探针的业务与数据关系智能解析方法及系统 - Google Patents
基于探针的业务与数据关系智能解析方法及系统 Download PDFInfo
- Publication number
- CN112540906B CN112540906B CN202011549693.1A CN202011549693A CN112540906B CN 112540906 B CN112540906 B CN 112540906B CN 202011549693 A CN202011549693 A CN 202011549693A CN 112540906 B CN112540906 B CN 112540906B
- Authority
- CN
- China
- Prior art keywords
- analysis result
- target
- log
- queue
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 790
- 239000000523 sample Substances 0.000 title claims abstract description 81
- 230000002159 abnormal effect Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 20
- 239000012634 fragment Substances 0.000 claims description 75
- 230000011218 segmentation Effects 0.000 claims description 52
- 238000012937 correction Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012163 sequencing technique Methods 0.000 claims 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供的基于探针的业务与数据关系智能解析方法及系统,涉及探针技术领域。在本申请中,首先,基于浏览器探针、服务器探针和数据库探针获取业务请求终端设备、业务提供服务器和数据库服务器运行过程中产生的日志数据,得到第一日志数据、第二日志数据和第三日志数据。其次,分别对第一日志数据、第二日志数据和第三日志进行解析处理,得到第一日志解析结果、第二日志解析结果和第三日志解析结果。然后,基于第一日志解析结果、第二日志解析结果和第三日志解析结果确定目标业务是否属于异常业务。基于上述方法,可以改善现有技术中确定业务是否异常的可靠度较低的问题。
Description
技术领域
本申请涉及探针技术领域,具体而言,涉及一种基于探针的业务与数据关系智能解析方法及系统。
背景技术
在互联网应用中,业务发生异常属于经常出现的状况。如此,为了保证业务的可靠执行,需要准确判断业务是否属于异常业务。但是,经发明人研究发现,现有技术中,存在这确定业务是否异常的可靠度较低的问题。
发明内容
有鉴于此,本申请的目的在于提供一种基于探针的业务与数据关系智能解析方法及系统,以改善现有技术中确定业务是否异常的可靠度较低的问题。
为实现上述目的,本申请实施例采用如下技术方案:
一种基于探针的业务与数据关系智能解析方法,应用于基于探针的业务与数据关系智能解析系统中的电子设备,该基于探针的业务与数据关系智能解析系统还包括与该电子设备连接的业务请求终端设备、业务提供服务器和数据库服务器,该方法包括:
基于分别设置于所述业务请求终端设备、所述业务提供服务器和所述数据库服务器的第一探针、第二探针和第三探针,获取该业务请求终端设备、该业务提供服务器和该数据库服务器运行过程中产生的日志数据,得到第一日志数据、第二日志数据和第三日志数据,其中,该第一探针为浏览器探针,该第二探针为服务器探针,该第三探针为数据库探针;
分别对所述第一日志数据、所述第二日志数据和所述第三日志进行解析处理,得到第一日志解析结果、第二日志解析结果和第三日志解析结果,其中,所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果分别包括目标业务在所述业务请求终端设备上是否存在异常、在所述业务提供服务器上是否存在异常、在所述数据库服务器上是否存在异常;
基于所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果确定所述目标业务是否属于异常业务。
在上述实施例的基础上,本申请还提供一种基于探针的业务与数据关系智能解析系统,包括电子设备、与电子设备连接的业务请求终端设备、与电子设备连接的业务提供服务器和与电子设备连接的数据库服务器;
其中,所述电子设备用于执行上述的基于探针的业务与数据关系智能解析方法。
本申请提供的基于探针的业务与数据关系智能解析方法及系统,通过第一探针、第二探针和第三探针分别获取业务请求终端设备、业务提供服务器和数据库服务器运行过程中产生的日志数据,得到第一日志数据、第二日志数据和第三日志数据,使得可以基于对第一日志数据、第二日志数据和第三日志数据进行解析得到的第一日志解析结果、第二日志解析结果和第三日志解析结果,联合判断目标业务是否属于异常业务。如此,由于判断目标业务是否属于异常业务的依据更多全面充分,可以使得判断结果更为可靠,从而改善现有技术中确定业务是否异常的可靠度较低的问题。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的基于探针的业务与数据关系智能解析方法包括的各步骤的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本申请的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种基于探针的业务与数据关系智能解析系统,可以包括电子设备、与该电子设备连接的业务请求终端设备、与该电子设备连接的业务提供服务器和与该电子设备连接的数据库服务器。
详细地,所述电子设备可以用于:
基于分别设置于所述业务请求终端设备、所述业务提供服务器和所述数据库服务器的第一探针、第二探针和第三探针,获取该业务请求终端设备、该业务提供服务器和该数据库服务器运行过程中产生的日志数据,得到第一日志数据、第二日志数据和第三日志数据,其中,该第一探针为浏览器探针,该第二探针为服务器探针,该第三探针为数据库探针;
分别对所述第一日志数据、所述第二日志数据和所述第三日志进行解析处理,得到第一日志解析结果、第二日志解析结果和第三日志解析结果,其中,所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果分别包括目标业务在所述业务请求终端设备上是否存在异常、在所述业务提供服务器上是否存在异常、在所述数据库服务器上是否存在异常;
基于所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果确定所述目标业务是否属于异常业务。
其中,所述业务请求终端设备可以基于用户的操作生成目标业务(基于此,可以形成所述第一日志数据),并将该目标业务发送给所述业务提供服务器,该业务提供服务器可以执行该目标业务(基于此,可以形成所述第二日志数据),如基于该目标业务请求所述数据库服务器查询并返回目标数据(基于此,可以形成所述第三日志数据)。
可选地,在一种可以替代的示例中,所述电子设备可以是一种具有数据处理能力的计算机设备,如服务器。
并且,如图1所示,所述电子设备可以包括存储器和处理器。
详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本申请实施例提供的基于探针的业务与数据关系智能解析方法。
可选地,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
并且,所述处理器可以是一种通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
结合图2,本申请实施例还提供一种基于探针的业务与数据关系智能解析方法,可应用于上述电子设备。其中,该基于探针的业务与数据关系智能解析方法有关的流程所定义的方法步骤,可以由所述电子设备实现。
下面将对图2所示的具体流程,进行详细阐述。
步骤S110,基于分别设置于所述业务请求终端设备、所述业务提供服务器和所述数据库服务器的第一探针、第二探针和第三探针,获取该业务请求终端设备、该业务提供服务器和该数据库服务器运行过程中产生的日志数据,得到第一日志数据、第二日志数据和第三日志数据。
在本实施例中,在所述业务请求终端设备、所述业务提供服务器和所述数据库服务器上分别设置有第一探针、第二探针和第三探针,如此,所述电子设备可以分别基于该第一探针、该第二探针和该第三探针获取该业务请求终端设备、该业务提供服务器和该数据库服务器运行过程(目标任务的生成、执行等过程)中产生的日志数据,如此,可以分别得到第一日志数据、第二日志数据和第三日志数据。
其中,所述第一探针为浏览器探针(即部署于浏览器端程序中的探针程序),所述第二探针为服务器探针(即部署于后台服务端程序中的探针程序),所述第三探针为数据库探针(即部署于数据库程序中的探针程序)。
步骤S120,分别对所述第一日志数据、所述第二日志数据和所述第三日志进行解析处理,得到第一日志解析结果、第二日志解析结果和第三日志解析结果。
在本实施例中,在基于步骤S110得到所述第一日志数据、所述第二日志数据和所述第三日志数据之后,所述电子设备可以分别对所述第一日志数据、所述第二日志数据和所述第三日志进行解析处理,如此,可以得到第一日志解析结果、第二日志解析结果和第三日志解析结果。
其中,所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果分别包括目标业务在所述业务请求终端设备上是否存在异常(如生成该目标业务的过程是否存在异常,如该目标业务只能在特定时间才能生成,若未在特定时间生成,则属于异常;如该目标业务只是批量生成,若为批量生成,则属于异常)、在所述业务提供服务器上是否存在异常(如执行该目标业务的过程是否存在异常,同样的,如该目标业务只能在特定时间才能执行,若未在特定时间执行,则属于异常)、在所述数据库服务器上是否存在异常(如基于该目标业务查询并返回目标数据的过程是否存在异常,同样的,如该目标数据只能在特定时间才能查询,若未在特定时间查询,则该目标业务属于异常)。
步骤S130,基于所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果确定所述目标业务是否属于异常业务。
在本实施例中,在基于步骤S120得到所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果之后,所述电子设备可以基于该第一日志解析结果、该第二日志解析结果和该第三日志解析结果,确定所述目标业务是否属于异常业务。
基于上述方法,由于判断目标业务是否属于异常业务的依据(综合考虑第一日志数据对应的第一日志解析结果、第二日志数据对应的第二日志解析结果和第三日志数据对应的第三日志解析结果)更为多全面、更为充分,可以使得基于该依据得到的判断结果更为可靠,从而改善现有技术中确定业务是否异常的可靠度较低的问题。
在上述示例的基础上,对于步骤S130需要说明的是,确定所述目标业务是否属于异常业务的具体方式不受限制,可以根据实际需求进行选择。
例如,在一种可以替代的示例中,步骤S130可以包括以下步骤:
首先,确定所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果中是否存在至少一个目标日志解析结果,其中,该目标日志解析结果为所述目标任务存在异常;其次,若所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果中存在至少一个所述目标日志解析结果,则确定所述目标业务是否属于异常业务。
也就是说,只要所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果中,存在有一个日志解析结果为所述目标任务存在异常,则确定该目标任务属于异常任务,即该目标任务在各个环节中,只要在一个环节中属于异常,则该目标任务都会被确定为异任务。
又例如,在另一种可以替代的示例中,步骤S130包括以下步骤:
首先,确定所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果是否都属于目标日志解析结果,其中,该目标日志解析结果为所述目标任务存在异常;其次,若所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果都属于目标日志解析结果,则确定所述目标业务是否属于异常业务。
也就是说,只有在所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果中,全部的日志解析结果都为所述目标任务存在异常,确定该目标任务属于异常任务,即该目标任务在各个环节中,只有在全部环节中都属于异常,该目标任务才会被确定为异任务。
再例如,在另一种可以替代的示例中,步骤S130包括以下步骤:
首先,获取针对所述第一日志解析结果预先确定的第一权重系数、针对所述第二日志解析结果预先确定的第二权重系数和针对所述第三日志解析结果预先确定的第三权重系数(也就是说,预先可以先分别配置形成该第一权重系数、该第二权重系数和该第三权重系数),其中,该第一权重系数、该第二权重系数和该第三权重系数之和为1;
其次,分别对所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果进行赋值处理,得到对应的第一解析结果值、第二解析结果值和第三解析结果值,其中,若日志解析结果为所述目标业务存在异常,则对应的解析结果值为1,若日志解析结果为所述目标业务不存在异常,则对应的解析结果值为-1;
然后,基于所述第一权重系数、所述第二权重系数、所述第三权重系数、所述第一解析结果值、所述第二解析结果值和所述第三解析结果值,进行加权求和计算,得到加权值(例如,所述第一权重系数、所述第二权重系数、所述第三权重系数分别为0.6、0.2、0.2,所述第一解析结果值、所述第二解析结果值和所述第三解析结果值分别为1、-1、-1,该加权值为0.6-0.2-0.2=0.2,如此,使得只要该第一日志解析结果为所述目标业务存在异常,则确定该目标业务属于异常业务,只要该第一日志解析结果为所述目标业务不存在异常,则确定该目标业务不属于异常业务,即所述第一日志数据的重要程度更高);
最后,基于所述加权值确定所述目标业务是否属于异常业务,其中,若该加权值大于0,则确定该目标业务属于异常业务,若该加权值不大于0,则确定该目标业务不属于异常业务(例如,在上述示例中,该加权值为0.2,即大于0,则确定该目标业务属于异常业务)。
在上述示例的基础上,获取所述第一权重系数、所述第二权重系数和所述第三权重系数的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,可以响应用户的配置操作生成所述第一权重系数、所述第二权重系数和所述第三权重系数。
又例如,在另一种可以替代的示例中,为了提高确定的所述第一权重系数、所述第二权重系数和所述第三权重系数可靠度,可以基于以下步骤确定该第一权重系数、该第二权重系数和该第三权重系数:
首先,获取所述第一日志解析结果对应的第一历史日志解析结果(如历史上对业务请求终端设备运行过程中产生的日志数据进行解析得到的解析结果)、所述第二日志解析结果对应的第二历史日志解析结果(如历史上对业务提供服务器运行过程中产生的日志数据进行解析得到的解析结果)、所述第三日志解析结果对应的第三历史日志解析结果(如历史上对数据库服务器运行过程中产生的日志数据进行解析得到的解析结果);
其次,基于所述第一历史日志解析结果、所述第二历史日志解析结果和所述第三历史日志解析结果,确定所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数。
在上述示例中,基于所述第一历史日志解析结果、所述第二历史日志解析结果和所述第三历史日志解析结果,确定所述第一权重系数、所述第二权重系数和所述第三权重系数的具体方式不受限制,可以根据实际应用需求进行选择,在本实施例中,分别提供以下三种示例。
在第一种示例中,可以包括以下步骤:
第一步,基于获取的多个所述第一历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第一解析结果历史队列(如第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5......);
第二步,基于获取的多个所述第二历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第二解析结果历史队列(如第二历史日志解析结果1、第二历史日志解析结果2、第二历史日志解析结果3、第二历史日志解析结果4、第二历史日志解析结果5......);
第三步,基于获取的多个所述第三历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第三解析结果历史队列(如第三历史日志解析结果1、第三历史日志解析结果2、第三历史日志解析结果3、第三历史日志解析结果4、第三历史日志解析结果5......,可以理解的是,第一历史日志解析结果1、第二历史日志解析结果1、第三历史日志解析结果1可以基于同一历史任务形成,如都是基于历史任务1形成,同样地,第一历史日志解析结果2、第二历史日志解析结果2、第三历史日志解析结果2可以基于同一历史任务形成,如都是基于历史任务2形成);
第四步,将所述第一解析结果历史队列、所述第二解析结果历史队列和所述第三解析结果历史队列分别作为一个目标解析结果历史队列(也就是说,可以形成三个目标解析结果历史队列);
第五步,针对每一个所述目标解析结果历史队列,以该目标解析结果历史队列中的第一个历史日志解析结果所在的位置为起始位置、以该目标解析结果历史队列中的最后一个历史日志解析结果所在的位置为终止位置,按照目标数量进行组合处理,得到该目标解析结果历史队列对应的多个目标解析结果历史片段队列,其中,每一个所述目标解析结果历史片段队列包括的历史日志解析结果的数量为所述目标数量,一个所述目标解析结果历史队列对应的多个目标解析结果历史片段队列中每相邻的两个所述目标解析结果历史片段队列之间对应队列位置的历史日志解析结果在时间上相邻(例如,针对一个目标解析结果历史队列“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5”,若所述目标数量为3,可以得到3个目标解析结果历史片段队列,分别为“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”、“第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”、“第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5”);
第六步,针对每一个所述目标解析结果历史队列,在该目标解析结果历史队列对应的多个目标解析结果历史片段队列中确定一个离散程度值最大的目标解析结果历史片段队列(经过本申请的发明人的研究发现,越离散,表明异常是由于对应设备造成的可能性越低,即表示任务本身存在异常的可能性越高),作为第一目标解析结果历史片段队列,其中,该离散程度值用于表征对应的目标解析结果历史片段队列包括的多个历史日志解析结果的离散程度,且若离散程度值最大的目标解析结果历史片段队列为多个,则将时间最晚的一个目标解析结果历史片段队列作为第一目标解析结果历史片段队列;
第七步,针对每一个所述目标解析结果历史队列,确定该目标解析结果历史队列对应的最后一个目标解析结果历史片段队列包括的多个历史日志解析结果之间的离散程度值是否大于第一离散程度预设值(基于用户的配置操作生成,其中,对精度需求越高,该第一离散程度预设值可以越大);
第八步,针对每一个所述目标解析结果历史队列,计算该目标解析结果历史队列对应的第一目标解析结果历史片段队列包括的多个历史日志解析结果的第一解析结果平均值、对应的最后一个目标解析结果历史片段队列包括的多个历史日志解析结果的第二解析结果平均值;
第九步,针对每一个所述目标解析结果历史队列,计算该目标解析结果历史队列对应的第一解析结果平均值和第二解析结果平均值的加权解析结果平均值,其中,若该第二解析结果平均值对应的离散程度值大于所述第一离散程度预设值,则该第二解析结果平均值的权重系数大于该第一解析结果平均值的权重系数,若该第二解析结果平均值对应的离散程度值不大于所述第一离散程度预设值,则该第二解析结果平均值的权重系数小于该第一解析结果平均值的权重系数,且该第一解析结果平均值的权重系数和该第二解析结果平均值的权重系数之和为1;
第十步,针对每一个所述目标解析结果历史队列,分别计算该目标解析结果历史队列对应的加权解析结果平均值与其它两个目标解析结果历史队列对应的加权解析结果平均值之间的差值,并计算该目标解析结果历史队列对应的两个差值之和(如此,针对每一个所述目标解析结果历史队列,都可以得到对应的差值之和,也就是说,如上述示例中,存在三个目标解析结果历史队列,该差值之和的数量可以为3个);
第十一步,基于所述两个差值之和的大小关系,分别为所述目标解析结果历史队列对应的权重系数进行配置处理,得到所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数,其中,该两个差值之和与对应的权重系数之间具有负相关关系(也就是说,一个目标解析结果历史队列对应的差值之和越大,表明其稳定性越差,因而,确定的权重系数可以越小;反之,一个目标解析结果历史队列对应的差值之和越小,表明其稳定性越好,因而,确定的权重系数可以越大)。
在第二种示例中,可以包括以下步骤:
第一步,基于获取的多个所述第一历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第一解析结果历史队列(如第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5......);
第二步,基于获取的多个所述第二历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第二解析结果历史队列(如第二历史日志解析结果1、第二历史日志解析结果2、第二历史日志解析结果3、第二历史日志解析结果4、第二历史日志解析结果5......);
第三步,基于获取的多个所述第三历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第三解析结果历史队列(如第三历史日志解析结果1、第三历史日志解析结果2、第三历史日志解析结果3、第三历史日志解析结果4、第三历史日志解析结果5......,可以理解的是,第一历史日志解析结果1、第二历史日志解析结果1、第三历史日志解析结果1可以基于同一历史任务形成,如都是基于历史任务1形成,同样地,第一历史日志解析结果2、第二历史日志解析结果2、第三历史日志解析结果2可以基于同一历史任务形成,如都是基于历史任务2形成);
第四步,将所述第一解析结果历史队列、所述第二解析结果历史队列和所述第三解析结果历史队列分别作为一个目标解析结果历史队列(也就是说,可以形成三个目标解析结果历史队列);
第五步,针对每一个所述目标解析结果历史队列,对所述目标解析结果历史队列进行分割处理,得到多个目标解析结果历史分割队列,其中,每一个所述目标解析结果历史分割队列包括多个历史日志解析结果(例如,针对一个目标解析结果历史队列“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5、、第一历史日志解析结果6”,可以分割为两个目标解析结果历史分割队列,分别为“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”、“第一历史日志解析结果4、第一历史日志解析结果5、第一历史日志解析结果6”);
第六步,针对每相邻的两个目标解析结果历史分割队列(属于同一个目标解析结果历史队列),将该相邻的两个目标解析结果历史分割队列中相邻的两个历史日志解析结果作为两个待分配历史日志解析结果(如上述示例中,将第一历史日志解析结果3、第一历史日志解析结果4作为两个待分配历史日志解析结果);
第七步,针对每相邻的两个目标解析结果历史分割队列,将该相邻的两个目标解析结果历史分割队列对应的所述待分配历史日志解析结果分配至对应的的前一个目标解析结果历史分割队列得到第一目标解析结果历史分割队列(即“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”),将分配后的后一个目标解析结果历史分割队列作为第二目标解析结果历史分割队列(即“第一历史日志解析结果5、第一历史日志解析结果6”);
第八步,针对每相邻的两个目标解析结果历史分割队列,将该相邻的两个目标解析结果历史分割队列对应的所述待分配历史日志解析结果分配至对应的的后一个目标解析结果历史分割队列得到第三目标解析结果历史分割队列(即“第一历史日志解析结果1、第一历史日志解析结果2”),将分配后的前一个目标解析结果历史分割队列作为第四目标解析结果历史分割队列(即“第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5、第一历史日志解析结果6”);
第九步,针对每相邻的两个目标解析结果历史分割队列对应的所述第一目标解析结果历史分割队列和所述第二目标解析结果历史分割队列,计算该第一目标解析结果历史分割队列包括的历史日志解析结果的第一离散程度值、该第二目标解析结果历史分割队列包括的历史日志解析结果的第二离散程度值,并计算该第一离散程度值和该第二离散程度值之间的差值,得到第一离散程度差值;
第十步,针对每相邻的两个目标解析结果历史分割队列对应的所述第三目标解析结果历史分割队列和所述第四目标解析结果历史分割队列,计算该第三目标解析结果历史分割队列包括的历史日志解析结果的第三离散程度值、该第四目标解析结果历史分割队列包括的历史日志解析结果的四离散程度值,并计算该第三离散程度值和该第四离散程度值之间的差值,得到第二离散程度差值;
第十一步,针对每相邻的两个目标解析结果历史分割队列,计算该相邻的两个目标解析结果历史分割队列中前一个目标解析结果历史分割队列包括的历史日志解析结果的第五离散程度值、后一个目标解析结果历史分割队列包括的历史日志解析结果的第六离散程度值,并计算该第五离散程度值和该第六离散程度值之间的差值,得到第三离散程度差值;
第十二步,针对每相邻的两个目标解析结果历史分割队列,将该相邻的两个目标解析结果历史分割队列对应的所述第一离散程度差值、所述第二离散程度差值和所述第三离散程度差值中的最小值,作为该相邻的两个目标解析结果历史分割队列的目标离散程度差值;
第十三步,针对每相邻的两个目标解析结果历史分割队列的目标离散程度差值,在该目标离散程度差值对应的两个目标解析结果历史分割队列中后一个目标解析结果历史分割队列包括的历史日志解析结果中确定出多个(全部或任意连续的多个,可以根据实际需求配置)历史日志解析结果;
第十四步,针对每一个所述目标解析结果历史队列,基于对应确定的所述历史日志解析结果(即在该目标解析结果历史队列对应的每一个目标离散程度差值对应的两个目标解析结果历史分割队列中后一个目标解析结果历史分割队列包括的历史日志解析结果中,确定出的每一个历史日志解析结果)按照生成时间信息从前到后的顺序,进行排序处理,得到该目标解析结果历史队列对应的目标解析结果历史更新队列(如此,针对三个目标解析结果历史队列,可以得到对应的3个目标解析结果历史更新队列);
第十五步,针对每一个所述目标解析结果历史更新队列,分别计算该目标解析结果历史更新队列与其它两个目标解析结果历史更新队列之间的队列相似度,并计算得到的两个队列相似度的相似度均值(如包括目标解析结果历史更新队列1、目标解析结果历史更新队列2和目标解析结果历史更新队列3,针对目标解析结果历史更新队列1,可以计算目标解析结果历史更新队列1与目标解析结果历史更新队列2之间的队列相似度、目标解析结果历史更新队列1与目标解析结果历史更新队列2之间的队列相似度,然后,在计算这两个队列相似度的平均值,其中,队列相似度可以是指对应时间具有相同的历史日志解析结果的数量,或者该数量与两个目标解析结果历史更新队列中包括的历史解析结果的数量较少的一个的比例值);
第十六步,基于所述相似度均值的大小关系,分别为每一个所述目标解析结果历史更新队列对应的权重系数进行配置处理,得到所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数,其中,该相似度均值与对应的权重系数之间具有正相关关系(也就是说,一个目标解析结果历史更新队列对应的相似度均值越大,表明该目标解析结果历史更新队列更加能够代表其它两个目标解析结果历史更新队列,因而,确定的权重系数可以越大;反之,一个目标解析结果历史更新队列对应的相似度均值越小,表明该目标解析结果历史更新队列难以有效代表其它两个目标解析结果历史更新队列,因而,确定的权重系数可以越小)。
在第三种特别的示例中,可以包括以下步骤:
第一步,基于获取的多个所述第一历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第一解析结果历史队列(如第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5......);
第二步,基于获取的多个所述第二历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第二解析结果历史队列(如第二历史日志解析结果1、第二历史日志解析结果2、第二历史日志解析结果3、第二历史日志解析结果4、第二历史日志解析结果5......);
第三步,基于获取的多个所述第三历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第三解析结果历史队列(如第三历史日志解析结果1、第三历史日志解析结果2、第三历史日志解析结果3、第三历史日志解析结果4、第三历史日志解析结果5......,可以理解的是,第一历史日志解析结果1、第二历史日志解析结果1、第三历史日志解析结果1可以基于同一历史任务形成,如都是基于历史任务1形成,同样地,第一历史日志解析结果2、第二历史日志解析结果2、第三历史日志解析结果2可以基于同一历史任务形成,如都是基于历史任务2形成);
第四步,将所述第一解析结果历史队列、所述第二解析结果历史队列和所述第三解析结果历史队列分别作为一个目标解析结果历史队列(也就是说,可以形成三个目标解析结果历史队列);
第五步,针对每一个所述目标解析结果历史队列,以该目标解析结果历史队列中的第一个历史日志解析结果所在的位置为起始位置、以该目标解析结果历史队列中的最后一个历史日志解析结果所在的位置为终止位置,按照目标数量进行组合处理,得到该目标解析结果历史队列对应的多个目标解析结果历史片段队列,其中,每一个所述目标解析结果历史片段队列包括的历史日志解析结果的数量为所述目标数量,一个所述目标解析结果历史队列对应的多个目标解析结果历史片段队列中每相邻的两个所述目标解析结果历史片段队列之间对应队列位置的历史日志解析结果在时间上相邻(例如,针对一个目标解析结果历史队列“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5”,若所述目标数量为3,可以得到3个目标解析结果历史片段队列,分别为“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”、“第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”、“第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5”)
第六步,针对每一个所述目标解析结果历史队列包括的每一个所述目标解析结果历史片段队列,将该目标解析结果历史片段队列与该目标解析结果历史队列包括的其它的每一个目标解析结果历史片段队列分别形成一个片段队列组合,得到该目标解析结果历史片段队列对应的至少一个片段队列组合,且该目标解析结果历史片段队列在该至少一个片段队列组合中作为主目标解析结果历史片段队列,该片段队列组合中的另一个目标解析结果历史片段队列作为从目标解析结果历史片段队列(例如,在上述示例中,针对一个目标解析结果历史片段队列“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”,可以将“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”和“第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”形成一个片段队列组合,并将“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”和“第一历史日志解析结果3、第一历史日志解析结果4、第一历史日志解析结果5”形成一个片段队列组合,在这两个片段队列组合中,“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”作为主目标解析结果历史片段队列);
第七步,针对每一个所述片段队列组合,将该片段队列组合中的主目标解析结果历史片段队列中的每一个历史日志解析结果所在的位置依次作为起始位置,将该起始位置及该起始位置以后的每一个历史日志解析结果确定为解析结果历史片段子队列(例如,针对主目标解析结果历史片段队列“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”,可以得到3个解析结果历史片段子队列,分别为“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”、“第一历史日志解析结果2、第一历史日志解析结果3”、“第一历史日志解析结果3”);
第八步,针对每一个所述主目标解析结果历史片段队列,计算该主目标解析结果历史片段队列对应的每一个解析结果历史片段子队列与对应的从目标解析结果历史片段队列之间的队列相似度(例如,针对片段队列组合“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”和“第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”,可以计算“第一历史日志解析结果1、第一历史日志解析结果2、第一历史日志解析结果3”和“第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”之间的队列相似度,计算“第一历史日志解析结果2、第一历史日志解析结果3”和“第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”之间的队列相似度,并计算“第一历史日志解析结果3”和“第一历史日志解析结果2、第一历史日志解析结果3、第一历史日志解析结果4”之间的队列相似度),其中,该队列相似度为,倒序后的解析结果历史片段子队列(如“第一历史日志解析结果3、第一历史日志解析结果2、第一历史日志解析结果1”)与倒序后的从目标解析结果历史片段队列(“如第一历史日志解析结果4、第一历史日志解析结果3、第一历史日志解析结果2”)在对应队列位置上具有相同历史日志解析结果的数量(即确定第一历史日志解析结果3与第一历史日志解析结果4是否相同、第一历史日志解析结果2与第一历史日志解析结果3是否相同、第一历史日志解析结果1与第一历史日志解析结果2是否相同),与该解析结果历史片段子队列包括的历史日志解析结果的数量之间的比值;
第九步,针对每一个所述主目标解析结果历史片段队列,计算该主目标解析结果历史片段队列对应的队列相似度的相似度加权均值(如前述的三个队列相似度的加权均值),并将该相似度加权均值作为该主目标解析结果历史片段队列与对应的从目标解析结果历史片段队列之间目标队列相似度,其中,同一个所述主目标解析结果历史片段队列对应的每一个队列相似度的权重系数之和为1,且该权重系数与该队列相似度对应的解析结果历史片段子队列包括的历史日志解析结果的数量之间具有正相关关系(也就是说,一个队列相似度对应的解析结果历史片段子队列包括的历史日志解析结果的数量越大,该队列相似度对应的权重系数也越大);
第十步,针对每一个所述目标解析结果历史片段队列,将该目标解析结果历史片段队列作为主目标解析结果历史片段队列与对应的每一个从目标解析结果历史片段队列之间目标队列相似度进行均值计算(如在前述的示例中,一个主目标解析结果历史片段队列对应有两个从目标解析结果历史片段队列,因而,可以计算对应的两个目标队列相似度之间的均值),得到该目标解析结果历史片段队列的队列相似度均值;
第十一步,将队列相似度均值最大的目标解析结果历史片段队列,作为对应目标解析结果历史队列的代表解析结果历史片段队列(如此,可以得到3个代表解析结果历史片段队列);
第十二步,针对每一个所述代表解析结果历史片段队列,分别计算该代表解析结果历史片段队列与其它两个代表解析结果历史片段队列之间的队列相似度,并计算得到的两个队列相似度的相似度均值;
第十三步,基于所述相似度均值的大小关系,分别为每一个所述代表解析结果历史片段队列对应的权重系数进行配置处理,得到所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数,其中,该相似度均值与对应的权重系数之间具有正相关关系(也就是说,一个代表解析结果历史片段队列对应的相似度均值越大,表明该代表解析结果历史片段队列更加能够代表其它两个代表解析结果历史片段队列,因而,确定的权重系数可以越大;反之,一个代表解析结果历史片段队列对应的相似度均值越小,表明该代表解析结果历史片段队列难以有效代表其它两个代表解析结果历史片段队列,因而,确定的权重系数可以越小)。
在上述示例的基础上,进行加权求和计算得到加权值的具体方式不受限制,可以根据实际应用需求进行选择。
例如,在一种可以替代的示例中,由于已经得到所述第一权重系数、所述第二权重系数、所述第三权重系数、所述第一解析结果值、所述第二解析结果值和所述第三解析结果值,为了保证计算的效率,可以直接基于所述第一权重系数、所述第二权重系数、所述第三权重系数、所述第一解析结果值、所述第二解析结果值和所述第三解析结果值进行加权求和计算。
又例如,在另一种可以替代的示例中,为了提高计算结果的可靠度,可以基于以下步骤进行加权求和计算:
首先,确定所述第一权重系数、所述第二权重系数和所述第三权重系数之间的相对大小关系;
其次,基于所述相对大小关系,对所述第一权重系数、所述第二权重系数和所述第三权重系数进行修正处理,得到第一权重修正系数、第二权重修正系数和第三权重修正系数;
然后,基于所述第一权重修正系数、所述第二权重修正系数、所述第三权重修正系数、所述第一解析结果值、所述第二解析结果值和所述第三解析结果值,进行加权求和计算,得到加权值。
在上述示例中,确定所述相对大小关系的具体方式不受限制,且基于该具体方式的不同,进行修正处理的具体方式也不受限制。
例如,在一种可以替代的示例中,可以基于以下步骤确定第一权重系数、第二权重系数和第三权重系数之间的相对大小关系:
首先,基于所述第一权重系数、所述第二权重系数和所述第三权重系数进行均值计算,得到对应的权重系数平均值;
其次,基于所述权重系数平均值对所述第一权重系数、所述第二权重系数和所述第三权重系数进行离散程度计算,得到对应的离散程度值。
也就是说,可以通过所述离散程度值表征所述第一权重系数、所述第二权重系数和所述第三权重系数之间的相对大小关系,且在该离散程度值大于第二离散程度预设值(该第二离散程度预设值的具体数值可以基于用于的配置操作生成,且对精度需求越高时,该第二离散程度预设值可以越小)时,进行所述修正处理使得具有最大值的权重系数减小、具有最小值的权重系数增加(例如,若所述第一权重系数最大,则减小该第一权重系数;若所述第三权重系数最小,则增加该第三权重系数;对于第二权重系数可以增加,也可以减小,只要满足修正处理之后的所述第一权重修正系数、所述第二权重修正系数和所述第三权重修正系数之和为1即可),且得到的第一权重修正系数、第二权重修正系数和第三权重修正系数的离散程度值不大于该第二离散程度预设值(即使得所述第一权重修正系数、所述第二权重修正系数和所述第三权重修正系数的离散程度值小于所述第一权重系数、所述第二权重系数和所述第三权重系数的离散程度值)。
综上所述,本申请提供的基于探针的业务与数据关系智能解析方法及系统,通过第一探针、第二探针和第三探针分别获取业务请求终端设备、业务提供服务器和数据库服务器运行过程中产生的日志数据,得到第一日志数据、第二日志数据和第三日志数据,使得可以基于对第一日志数据、第二日志数据和第三日志数据进行解析得到的第一日志解析结果、第二日志解析结果和第三日志解析结果,联合判断目标业务是否属于异常业务。如此,由于判断目标业务是否属于异常业务的依据更多全面充分,可以使得判断结果更为可靠,从而改善现有技术中确定业务是否异常的可靠度较低的问题,具有较高的实用价值。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种基于探针的业务与数据关系智能解析方法,其特征在于,应用于基于探针的业务与数据关系智能解析系统中的电子设备,该基于探针的业务与数据关系智能解析系统还包括与该电子设备连接的业务请求终端设备、业务提供服务器和数据库服务器,该方法包括:
基于分别设置于所述业务请求终端设备、所述业务提供服务器和所述数据库服务器的第一探针、第二探针和第三探针,获取该业务请求终端设备、该业务提供服务器和该数据库服务器运行过程中产生的日志数据,得到第一日志数据、第二日志数据和第三日志数据,其中,该第一探针为浏览器探针,该第二探针为服务器探针,该第三探针为数据库探针;
分别对所述第一日志数据、所述第二日志数据和所述第三日志进行解析处理,得到第一日志解析结果、第二日志解析结果和第三日志解析结果,其中,所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果分别包括目标业务在所述业务请求终端设备上是否存在异常、在所述业务提供服务器上是否存在异常、在所述数据库服务器上是否存在异常;
基于所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果确定所述目标业务是否属于异常业务;
所述基于所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果确定所述目标业务是否属于异常业务的步骤,包括:
获取针对所述第一日志解析结果预先确定的第一权重系数、针对所述第二日志解析结果预先确定的第二权重系数和针对所述第三日志解析结果预先确定的第三权重系数,其中,该第一权重系数、该第二权重系数和该第三权重系数之和为1;
分别对所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果进行赋值处理,得到对应的第一解析结果值、第二解析结果值和第三解析结果值,其中,若日志解析结果为所述目标业务存在异常,则对应的解析结果值为1,若日志解析结果为所述目标业务不存在异常,则对应的解析结果值为-1;
基于所述第一权重系数、所述第二权重系数、所述第三权重系数、所述第一解析结果值、所述第二解析结果值和所述第三解析结果值,进行加权求和计算,得到加权值;
基于所述加权值确定所述目标业务是否属于异常业务,其中,若该加权值大于0,则确定该目标业务属于异常业务,若该加权值不大于0,则确定该目标业务不属于异常业务;
所述获取针对所述第一日志解析结果预先确定的第一权重系数、针对所述第二日志解析结果预先确定的第二权重系数和针对所述第三日志解析结果预先确定的第三权重系数的步骤,包括:
获取所述第一日志解析结果对应的第一历史日志解析结果、所述第二日志解析结果对应的第二历史日志解析结果、所述第三日志解析结果对应的第三历史日志解析结果;
基于所述第一历史日志解析结果、所述第二历史日志解析结果和所述第三历史日志解析结果,确定所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数。
2.根据权利要求1所述的基于探针的业务与数据关系智能解析方法,其特征在于,所述基于所述第一历史日志解析结果、所述第二历史日志解析结果和所述第三历史日志解析结果,确定所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数的步骤,包括:
基于获取的多个所述第一历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第一解析结果历史队列;
基于获取的多个所述第二历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第二解析结果历史队列;
基于获取的多个所述第三历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第三解析结果历史队列;
将所述第一解析结果历史队列、所述第二解析结果历史队列和所述第三解析结果历史队列分别作为一个目标解析结果历史队列;
针对每一个所述目标解析结果历史队列,以该目标解析结果历史队列中的第一个历史日志解析结果所在的位置为起始位置、以该目标解析结果历史队列中的最后一个历史日志解析结果所在的位置为终止位置,按照目标数量进行组合处理,得到该目标解析结果历史队列对应的多个目标解析结果历史片段队列,其中,每一个所述目标解析结果历史片段队列包括的历史日志解析结果的数量为所述目标数量,一个所述目标解析结果历史队列对应的多个目标解析结果历史片段队列中每相邻的两个所述目标解析结果历史片段队列之间对应队列位置的历史日志解析结果在时间上相邻;
针对每一个所述目标解析结果历史队列,在该目标解析结果历史队列对应的多个目标解析结果历史片段队列中确定一个离散程度值最大的目标解析结果历史片段队列,作为第一目标解析结果历史片段队列,其中,该离散程度值用于表征对应的目标解析结果历史片段队列包括的多个历史日志解析结果的离散程度,且若离散程度值最大的目标解析结果历史片段队列为多个,则将时间最晚的一个目标解析结果历史片段队列作为第一目标解析结果历史片段队列;
针对每一个所述目标解析结果历史队列,确定该目标解析结果历史队列对应的最后一个目标解析结果历史片段队列包括的多个历史日志解析结果之间的离散程度值是否大于第一离散程度预设值;
针对每一个所述目标解析结果历史队列,计算该目标解析结果历史队列对应的第一目标解析结果历史片段队列包括的多个历史日志解析结果的第一解析结果平均值、对应的最后一个目标解析结果历史片段队列包括的多个历史日志解析结果的第二解析结果平均值;
针对每一个所述目标解析结果历史队列,计算该目标解析结果历史队列对应的第一解析结果平均值和第二解析结果平均值的加权解析结果平均值,其中,若该第二解析结果平均值对应的离散程度值大于所述第一离散程度预设值,则该第二解析结果平均值的权重系数大于该第一解析结果平均值的权重系数,若该第二解析结果平均值对应的离散程度值不大于所述第一离散程度预设值,则该第二解析结果平均值的权重系数小于该第一解析结果平均值的权重系数,且该第一解析结果平均值的权重系数和该第二解析结果平均值的权重系数之和为1;
针对每一个所述目标解析结果历史队列,分别计算该目标解析结果历史队列对应的加权解析结果平均值与其它两个目标解析结果历史队列对应的加权解析结果平均值之间的差值,并计算该目标解析结果历史队列对应的两个差值之和;
基于所述两个差值之和的大小关系,分别为所述目标解析结果历史队列对应的权重系数进行配置处理,得到所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数,其中,该两个差值之和与对应的权重系数之间具有负相关关系。
3.根据权利要求1所述的基于探针的业务与数据关系智能解析方法,其特征在于,所述基于所述第一历史日志解析结果、所述第二历史日志解析结果和所述第三历史日志解析结果,确定所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数的步骤,包括:
基于获取的多个所述第一历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第一解析结果历史队列;
基于获取的多个所述第二历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第二解析结果历史队列;
基于获取的多个所述第三历史日志解析结果的生成时间,按照时间从早到晚的顺序进行排序得到第三解析结果历史队列;
将所述第一解析结果历史队列、所述第二解析结果历史队列和所述第三解析结果历史队列分别作为一个目标解析结果历史队列;
针对每一个所述目标解析结果历史队列,对所述目标解析结果历史队列进行分割处理,得到多个目标解析结果历史分割队列,其中,每一个所述目标解析结果历史分割队列包括多个历史日志解析结果;
针对每相邻的两个目标解析结果历史分割队列,将该相邻的两个目标解析结果历史分割队列中相邻的两个历史日志解析结果作为两个待分配历史日志解析结果;
针对每相邻的两个目标解析结果历史分割队列,将该相邻的两个目标解析结果历史分割队列对应的所述待分配历史日志解析结果分配至对应的前一个目标解析结果历史分割队列得到第一目标解析结果历史分割队列,将分配后的后一个目标解析结果历史分割队列作为第二目标解析结果历史分割队列;
针对每相邻的两个目标解析结果历史分割队列,将该相邻的两个目标解析结果历史分割队列对应的所述待分配历史日志解析结果分配至对应的后一个目标解析结果历史分割队列得到第三目标解析结果历史分割队列,将分配后的前一个目标解析结果历史分割队列作为第四目标解析结果历史分割队列;
针对每相邻的两个目标解析结果历史分割队列对应的所述第一目标解析结果历史分割队列和所述第二目标解析结果历史分割队列,计算该第一目标解析结果历史分割队列包括的历史日志解析结果的第一离散程度值、该第二目标解析结果历史分割队列包括的历史日志解析结果的第二离散程度值,并计算该第一离散程度值和该第二离散程度值之间的差值,得到第一离散程度差值;
针对每相邻的两个目标解析结果历史分割队列对应的所述第三目标解析结果历史分割队列和所述第四目标解析结果历史分割队列,计算该第三目标解析结果历史分割队列包括的历史日志解析结果的第三离散程度值、该第四目标解析结果历史分割队列包括的历史日志解析结果的第四离散程度值,并计算该第三离散程度值和该第四离散程度值之间的差值,得到第二离散程度差值;
针对每相邻的两个目标解析结果历史分割队列,计算该相邻的两个目标解析结果历史分割队列中前一个目标解析结果历史分割队列包括的历史日志解析结果的第五离散程度值、后一个目标解析结果历史分割队列包括的历史日志解析结果的第六离散程度值,并计算该第五离散程度值和该第六离散程度值之间的差值,得到第三离散程度差值;
针对每相邻的两个目标解析结果历史分割队列,将该相邻的两个目标解析结果历史分割队列对应的所述第一离散程度差值、所述第二离散程度差值和所述第三离散程度差值中的最小值,作为该相邻的两个目标解析结果历史分割队列的目标离散程度差值;
针对每相邻的两个目标解析结果历史分割队列的目标离散程度差值,在该目标离散程度差值对应的两个目标解析结果历史分割队列中后一个目标解析结果历史分割队列包括的历史日志解析结果中确定出多个历史日志解析结果;
针对每一个所述目标解析结果历史队列,基于对应确定的所述历史日志解析结果按照生成时间信息从前到后的顺序,进行排序处理,得到该目标解析结果历史队列对应的目标解析结果历史更新队列;
针对每一个所述目标解析结果历史更新队列,分别计算该目标解析结果历史更新队列与其它两个目标解析结果历史更新队列之间的队列相似度,并计算得到的两个队列相似度的相似度均值;
基于所述相似度均值的大小关系,分别为每一个所述目标解析结果历史更新队列对应的权重系数进行配置处理,得到所述第一日志解析结果对应的第一权重系数、所述第二日志解析结果对应的第二权重系数和所述第三日志解析结果对应的第三权重系数,其中,该相似度均值与对应的权重系数之间具有正相关关系。
4.根据权利要求1所述的基于探针的业务与数据关系智能解析方法,其特征在于,所述基于所述第一权重系数、所述第二权重系数、所述第三权重系数、所述第一解析结果值、所述第二解析结果值和所述第三解析结果值,进行加权求和计算,得到加权值的步骤,包括:
确定所述第一权重系数、所述第二权重系数和所述第三权重系数之间的相对大小关系;
基于所述相对大小关系,对所述第一权重系数、所述第二权重系数和所述第三权重系数进行修正处理,得到第一权重修正系数、第二权重修正系数和第三权重修正系数;
基于所述第一权重修正系数、所述第二权重修正系数、所述第三权重修正系数、所述第一解析结果值、所述第二解析结果值和所述第三解析结果值,进行加权求和计算,得到加权值。
5.根据权利要求4所述的基于探针的业务与数据关系智能解析方法,其特征在于,所述确定所述第一权重系数、所述第二权重系数和所述第三权重系数之间的相对大小关系的步骤,包括:
基于所述第一权重系数、所述第二权重系数和所述第三权重系数进行均值计算,得到对应的权重系数平均值;
基于所述权重系数平均值对所述第一权重系数、所述第二权重系数和所述第三权重系数进行离散程度计算,得到对应的离散程度值;
其中,该离散程度值用于表征所述第一权重系数、所述第二权重系数和所述第三权重系数之间的相对大小关系,且在该离散程度值大于第二离散程度预设值时,进行所述修正处理使得具有最大值的权重系数增加、具有最小值的权重系数减少,且得到的第一权重修正系数、第二权重修正系数和第三权重修正系数的离散程度值不大于该第二离散程度预设值。
6.根据权利要求1所述的基于探针的业务与数据关系智能解析方法,其特征在于,所述基于所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果确定所述目标业务是否属于异常业务的步骤,包括:
确定所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果中是否存在至少一个目标日志解析结果,其中,该目标日志解析结果为所述目标业务存在异常;
若所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果中存在至少一个所述目标日志解析结果,则确定所述目标业务是否属于异常业务。
7.根据权利要求1所述的基于探针的业务与数据关系智能解析方法,其特征在于,所述基于所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果确定所述目标业务是否属于异常业务的步骤,包括:
确定所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果是否都属于目标日志解析结果,其中,该目标日志解析结果为所述目标业务存在异常;
若所述第一日志解析结果、所述第二日志解析结果和所述第三日志解析结果都属于目标日志解析结果,则确定所述目标业务是否属于异常业务。
8.一种基于探针的业务与数据关系智能解析系统,其特征在于,包括电子设备、与该电子设备连接的业务请求终端设备、与该电子设备连接的业务提供服务器和与该电子设备连接的数据库服务器;
其中,所述电子设备用于执行权利要求1-7任意一项所述的基于探针的业务与数据关系智能解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011549693.1A CN112540906B (zh) | 2020-12-24 | 2020-12-24 | 基于探针的业务与数据关系智能解析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011549693.1A CN112540906B (zh) | 2020-12-24 | 2020-12-24 | 基于探针的业务与数据关系智能解析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112540906A CN112540906A (zh) | 2021-03-23 |
CN112540906B true CN112540906B (zh) | 2024-04-26 |
Family
ID=75017381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011549693.1A Active CN112540906B (zh) | 2020-12-24 | 2020-12-24 | 基于探针的业务与数据关系智能解析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112540906B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115687051B (zh) * | 2022-12-30 | 2023-03-28 | 西安纽扣软件科技有限公司 | 一种基于点位解析的日志解析系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109818787A (zh) * | 2019-01-21 | 2019-05-28 | 苏州科达科技股份有限公司 | 业务异常检测方法、装置及存储介质 |
CN111078657A (zh) * | 2019-12-26 | 2020-04-28 | 北京思特奇信息技术股份有限公司 | 一种分布式系统的业务日志查询方法、系统、介质及设备 |
CN111526060A (zh) * | 2020-06-16 | 2020-08-11 | 网易(杭州)网络有限公司 | 业务日志的处理方法及系统 |
WO2020233077A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 系统服务的监控方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11030070B2 (en) * | 2018-06-06 | 2021-06-08 | Vmware, Inc. | Application health monitoring based on historical application health data and application logs |
-
2020
- 2020-12-24 CN CN202011549693.1A patent/CN112540906B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109818787A (zh) * | 2019-01-21 | 2019-05-28 | 苏州科达科技股份有限公司 | 业务异常检测方法、装置及存储介质 |
WO2020233077A1 (zh) * | 2019-05-21 | 2020-11-26 | 深圳壹账通智能科技有限公司 | 系统服务的监控方法、装置、设备及存储介质 |
CN111078657A (zh) * | 2019-12-26 | 2020-04-28 | 北京思特奇信息技术股份有限公司 | 一种分布式系统的业务日志查询方法、系统、介质及设备 |
CN111526060A (zh) * | 2020-06-16 | 2020-08-11 | 网易(杭州)网络有限公司 | 业务日志的处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112540906A (zh) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106874135B (zh) | 用于检测机房故障的方法、装置及设备 | |
CN111220889A (zh) | 晶圆测试数据处理方法及设备 | |
CN112765324B (zh) | 一种概念漂移检测方法及装置 | |
CN116126947B (zh) | 应用于企业管理系统的大数据分析方法及系统 | |
CN112540906B (zh) | 基于探针的业务与数据关系智能解析方法及系统 | |
CN113472555B (zh) | 故障检测方法、系统、装置、服务器及存储介质 | |
CN113672782A (zh) | 一种基于数据查询的物联网设备重要性匹配方法 | |
US20210390802A1 (en) | Method, Computer Program And Device For Processing Signals | |
CN114281663A (zh) | 测试处理方法、装置、电子设备和存储介质 | |
CN111414528B (zh) | 确定设备标识的方法、装置、存储介质及电子设备 | |
CN113626495A (zh) | 一种能源管理系统的运行数据采集方法 | |
CN116821777A (zh) | 一种新型基础测绘数据整合方法及系统 | |
CN115248837B (zh) | 一种获取文本的地理实体的数据处理系统 | |
CN115550178A (zh) | 一种智慧网关管控方法及系统 | |
CN114742028A (zh) | 基于特征的json一致性对比检测方法及系统 | |
CN113673430A (zh) | 一种基于物联网的用户行为分析方法 | |
CN115668150A (zh) | 接口性能测试方法和装置、服务器、计算机可读存储介质 | |
CN112684398A (zh) | 基于动态线损的电能表运行误差监测方法及系统 | |
CN111400370A (zh) | 数据流通中的数据监控方法及装置、存储介质、服务器 | |
CN115687792B (zh) | 针对在线互联网服务的大数据采集方法及系统 | |
CN112165530B (zh) | 一种服务调用关系分析方法及装置 | |
CN112597193B (zh) | 一种数据处理方法和数据处理系统 | |
CN108959014B (zh) | 用于监控平台的方法和装置 | |
CN116385938A (zh) | 异常关键点检测方法、装置、电子设备和存储介质 | |
CN107483223B (zh) | 网络传输速度的预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Country or region after: China Address after: Room 1105, 11th Floor, Shining Building, No. 35 Xueyuan Road, Haidian District, Beijing, 100083 Applicant after: Beijing Zhixiang Information Technology Co.,Ltd. Address before: 100055 No.6, Xili, Malian Road, Xicheng District, Beijing Applicant before: Beijing Zhixiang Energy Technology Co.,Ltd. Country or region before: China |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |