CN113590579B - 一种基于数据仓库的根因分析方法、装置及系统 - Google Patents
一种基于数据仓库的根因分析方法、装置及系统 Download PDFInfo
- Publication number
- CN113590579B CN113590579B CN202110694569.2A CN202110694569A CN113590579B CN 113590579 B CN113590579 B CN 113590579B CN 202110694569 A CN202110694569 A CN 202110694569A CN 113590579 B CN113590579 B CN 113590579B
- Authority
- CN
- China
- Prior art keywords
- query
- analysis
- target
- root cause
- data warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 422
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 39
- 230000002159 abnormal effect Effects 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/244—Grouping and aggregation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于数据仓库的根因分析方法、装置及系统,用以解决目前无法快速有效地对业务系统中的异常数据进行根因分析的问题。根因分析方法包括:获取待分析目标任务的目标指标的特征信息、以及用于对目标指标进行根因分析的至少一个分析策略;基于目标指标的特征信息以及至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,查询请求用于请求目标数据仓库通过联机分析处理进行数据查询并返回查询结果;基于目标数据仓库返回的查询结果,确定得到目标指标的根因分析结果。由于可基于至少一个分析策略从数据仓库中进行数据查询,并基于查询结果确定目标指标的根因分析结果,因此可从多个不同角度进行根因分析,提高分析效率。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种基于数据仓库的根因分析方法、装置及系统。
背景技术
在一些业务系统中,当业务数据出现异常时,通常需要进行根因分析,以确定导致该异常的根本原因,从而定位问题。比如,当某个业务流程的业务数据出现异常时,通过进行根因分析可以确定该业务流程中具体是哪个环节出现了问题,从而定位出现问题的环节。
然而,目前的根因分析方案往往限定了具体的场景,仅可以排查某一个特定领域的问题,过于定制化,且分析问题时的数据处理速度较慢,角度单一,导致无法快速有效地进行根因分析。
发明内容
本申请实施例提供一种基于数据仓库的根因分析方法,用以解决目前在对业务系统中的异常数据进行根因分析时,无法进行快速有效的根因分析的问题。
本申请实施例还提供一种基于数据仓库的根因分析装置,用以解决目前在对业务系统中的异常数据进行根因分析时,无法进行快速有效的根因分析的问题。
本申请实施例还提供一种基于数据仓库的根因分析系统,用以解决目前在对业务系统中的异常数据进行根因分析时,无法进行快速有效的根因分析的问题。
本申请实施例采用下述技术方案:
一种基于数据仓库的根因分析方法,包括:
获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;
基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;
基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果。
一种基于数据仓库的根因分析装置,包括:
获取单元,用于获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;
查询单元,用于基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;
确定单元,用于基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果。
一种基于数据仓库的根因分析系统,包括根因分析服务端和目标数据仓库,其中:
所述根因分析服务端,用于获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;基于所述目标指标的特征信息以及所述至少一个分析策略,向所述目标数据仓库发送查询请求以获取查询结果;
所述目标数据仓库,用于基于所述查询请求,通过联机分析处理进行数据查询;向所述根因分析服务端返回查询结果;
所述根因分析服务端,用于基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果。
本申请实施例还提供一种电子设备,包括处理器以及与处理器电连接的存储器,所述存储器存储有程序或者指令,所述程序或指令被所述处理器执行时实现如上述的基于数据仓库的根因分析方法。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,所述程序或指令在被处理器执行时实现如上述的基于数据仓库的根因分析方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
由于可以将根因分析时的不同分析思路抽象为不同的分析策略,并基于分析策略进行根因分析,因此,针对待分析的目标指标,只需要添加或修改分析策略,就可以实现从多个不同的角度进行根因分析的目的,从而可以更为全面有效地进行根因分析;由于可以借助于数据仓库进行数据查询,数据仓库在进行数据查询时可以通过联机分析处理技术实现,因此,可以有效提高根因分析时的数据查询和处理效率,从而快速地进行根因分析;此外,由于可以借助于数据仓库进行数据的查询和处理,因此,可以不限制进行根因分析的领域,即可以对多种不同领域的问题进行根因分析。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种基于数据仓库的根因分析方法的具体流程示意图;
图2为本申请实施例提供的一种基于数据仓库进行数据查询的流程示意图;
图3为本申请实施例提供的一种基于数据仓库的根因分析方法的具体流程示意图;
图4是本申请的一个实施例电子设备的结构示意图;
图5为本申请实施例提供的一种基于数据仓库的根因分析装置的具体结构示意图;
图6为本申请实施例提供的一种基于数据仓库的根因分析系统的具体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前在进行根因分析时,根因分析方案通常过于定制化。比如,用于进行根因分析的系统架构在设计之初限定了根因分析的场景,在这种场景下,往往只能解决或者排查某一个特定领域的问题,比如排查发现网络环境中最耗时的环节,或者排查各个机房的负载程度等。此外,在根因分析时,分析问题的角度实际上有多种,且分析的维度也可以有多种,而目前的根因分析方案的分析角度和维度都比较单一,这样就会限制问题的分析思路,也限制了发现根因的可能性。除此以外,目前的根因分析方案的数据处理速度也较慢,无法在短时间内对百万级别的数据进行排除。由此,导致目前的根因分析方案无法快速有效地进行根因分析。
为了解决上述问题,本申请实施例提出一种基于数据仓库的根因分析方法、装置及系统,该方法包括:获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果。
由于可以将根因分析时的不同分析思路抽象为不同的分析策略,并基于分析策略进行根因分析,因此,针对待分析的目标指标,只需要添加或修改分析策略,就可以实现从多个不同的角度进行根因分析的目的,从而可以更为全面有效地进行根因分析;由于可以借助于数据仓库进行数据查询,数据仓库在进行数据查询时可以通过联机分析处理技术实现,因此,可以有效提高根因分析时的数据查询和处理效率,从而快速地进行根因分析;此外,由于可以借助于数据仓库进行数据的查询和处理,因此,可以不限制进行根因分析的领域,即可以对多种不同领域的问题进行根因分析。
以下结合附图,详细说明本申请各实施例提供的技术方案。
本申请实施例提供的一种基于数据仓库的根因分析方法,用以解决目前在对业务系统中的异常数据进行根因分析时,无法进行快速有效的根因分析的问题。
本申请实施例所提供的基于数据仓库的根因分析方法的具体实现流程示意图如图1所示,图1所示实施例的执行主体可以是用于进行根因分析的根因分析服务端(以下可以简称服务端),该实施例主要包括下述步骤:
步骤11,获取待分析目标任务的目标指标的特征信息、以及用于对目标指标进行根因分析的至少一个分析策略。
在业务系统运行或对外提供服务的过程中,可以对业务系统中的数据指标进行监控。当监控到其中某个指标出现异常时,可以由服务端对该指标进行根因分析,以确定引起该指标异常的根本原因。本实施例中,可以将待根因分析的某个指标称为待分析的目标指标,将对目标指标的根因分析称为待分析的目标任务。
服务端在对目标指标进行根因分析时,可以获取该目标指标的特征信息以及用于对该目标指标进行根因分析的分析策略。目标指标的特征信息可以理解为与目标指标相关的信息,可选地,目标指标的特征信息具体可以包括以下至少一种:指定时间段、目标指标的指定维度以及与目标指标相关的其他指标,具体可以根据实际的场景确定,这里不做具体限定。其中,指定时间段可以理解为目标指标出现异常时的时间段,或是需要进行分析的时间段。目标指标的指定维度可以理解为目标指标包括的多个维度中的异常维度,或是需要进行分析的维度,该指定维度的个数可以是一个,也可以是多个。与目标指标相关的其他指标可以理解为用于直接或间接确定得到该目标指标的指标,该其他指标的个数可以是一个,也可以是多个。
应理解,在其他实现方式中,目标指标的特征信息中还可以包括除上述指定时间段、指定维度和其他指标以外的其他信息,只要与目标指标相关即可,比如指标的期望值等,这里不再一一举例说明。
分析策略可以理解为将问题的分析思路进行抽象后得到的用于对数据仓库进行查询的步骤或算法。一个分析策略可以表征使用一种分析思路从一个分析角度进行根因分析。本实施例在进行根因分析时,所使用的分析策略的个数可以是一个、两个或多个,具体可以根据实际需要确定,这里不做具体限定。优选地,可以使用两个或多个分析策略对目标指标进行根因分析。此外,还可以根据实际情况增添或修改分析策略,从而可以从不用的角度、更为全面的对目标指标进行根因分析,得到更为有效地分析结果。
本实施例中,针对每个分析策略而言,该分析策略中可以包括查询步骤以及查询参数。其中,查询步骤可以理解为在数据仓库中进行数据查询时的数据查询步骤或思路,该查询步骤可以包括多个步骤,该多个步骤可以有时间先后的执行顺序,即先执行哪一个步骤,后执行哪一个步骤。查询参数可以理解为在数据仓库中进行数据查询时,基于怎样的参数进行数据查询。该查询参数可以与上述目标指标的特征信息相对应,具体可以包括以下至少一种:查询的时间段、查询的时间粒度、查询的维度、查询的指标,其中,查询的时间段和时间粒度与上述目标指标的特征信息中包括的指定时间段相对应,查询的维度与上述目标指标的特征信息中包括的指定维度相对应,查询的指标与上述目标指标的特征信息中包括的与目标指标相关的其他指标相对应。
应理解,上述分析策略中的查询参数还可以包括其他用于进行数据查询的参数,这些参数可以基于分析策略确定得到,也可以由用户预先进行设置,这里不再一一举例说明。
为了便于理解上述目标指标的特征信息和分析策略,以下将举例说明。
假设目标指标为系统的业务量,该业务量在最近一周内异常,且业务量有多个维度,仅在维度1和维度2这两个维度下的业务量异常,此外,业务量与每秒查询率QPS有关。那么,在对目标指标(即业务量)进行根因分析时,目标指标的特征信息可以包括以下至少一种:指定时间段:一周内,指定维度:维度1和维度2,与目标指标相关的其他指标:QPS。
基于上述异常业务量信息,在对该异常的业务量进行根因分析时,假设分析思路为:确定指标异常所在的时间段内,异常最为显著的时刻是什么,那么,将分析思路抽象为分析策略后,分析策略中的查询参数可以包括以下至少一种:查询的时间段(比如一周内)、查询的时间粒度(比如一天、半天等)、查询维度1和维度2、查询指标QPS。查询步骤可以包括:依据不同的时间颗粒度,由大到小逐层进行聚合,当某一时间段内的数据量或者异常值过小时,终止该时段内的小粒度聚合,直到所有粒度层级被搜索完毕。
需要说明的是,上述举例说明了基于时间粒度的分析策略,在其他实现方式中,也可以使用其他分析策略。比如,基于维度组合的分析策略,其分析思路可以是:确定哪些维度值组合所代表的数据的异常最为突出,那么,对应的查询步骤可以包括:对全部单一维度的异常进行计算,根据异常值的分布及变化提取异常的维度,在提取出的维度或者组合中进行二次组合,根据异常值提取出新的异常的组合,使用先验算法对组合的搜索空间进行筛选,直到全部满足要求的组合都被找到。
再比如,分析策略也可以是基于相似指标的分析策略,其分析思路可以是:确定变化趋势相近的指标,那么,对应的查询步骤可以包括:查询与目标指标相关的指标,得到其变化曲线,筛选出最为相似的一组指标,在筛选出的指标中,选定某一维度,再次计算相似程度,并进行筛选,直到全部候选指标及其可展开维度被排查完毕。
又比如,分析策略还可以是基于变化拐点的分析策略,其分析思路可以是:确定在相同时间上产生拐点的指标,那么,对应的查询步骤可以包括:查询与目标指标相关的指标,得到曲线拐点的时间序列,通过数据点的分布选出相关指标,直到全部候选指标及其时间粒度被排查完毕。
以上简要说明了几种不同的分析策略,在其他实现方式中,还可以是其他的分析策略,这里不再一一举例说明。
本实施例中,在一种可能的实现方式中,在获取目标指标的特征信息和分析策略时,可以通过以下方式获取:
首先,从任务队列中获取待分析的目标任务。
具体地,在需要对目标指标进行根因分析时,可以由用户在根因分析系统提供的网页应用中配置与目标任务相关的分析参数,分析参数中可以包括目标指标的特征信息以及用于对目标指标进行根因分析的一个或多个分析策略。其中,用户配置的分析策略可以由根因分析系统提供,具体地,根因分析系统可以提供多个不同的分析策略,用户可以根据实际需求从中选择一个或多个分析策略作为对目标指标进行根因分析的策略。其中,系统提供的分析策略可以实时更新(比如修改或添加),以便用户可以灵活地进行选择,进而可以基于用户选择的分析策略更为全面有效地进行后续的根因分析。
可选地,用户在配置分析参数时,配置的分析参数还可以包括所使用的目标数据仓库的标识(即使用多个数据仓库中的哪个数据仓库进行数据查询),根因分析需要多长时间执行完毕,在得到根因分析结果后是否需要邮件通知相关人员,等等,用户具体配置的分析参数可以根据实际情况确定,这里不做具体限定,也不再一一举例说明。
用户在配置完成分析参数后,可以将分析参数提交给接口服务,接口服务可以将分析参数对应的分析任务写入任务队列中。任务队列可以用于存储待分析的一个或多个任务,一个任务可以表征对一个指标进行根因分析,且,一个任务中可以包括与该任务相关的分析参数。
在将目标任务写入任务队列中后,在需要对目标指标进行分析时,可以从任务队列中获取目标任务。其中,该目标任务可以是服务端从任务队列中主动拉取得到,也可以是任务队列主动推送给服务端。
其次,对目标任务中的分析参数进行解析,得到目标指标的特征信息以及至少一个分析策略。
这里的解析可以是对分析参数中包括的信息进行分析,从中确定出目标指标的特征信息以及用于对目标指标进行根因分析的至少一个分析策略。可选地,由于分析参数在网页应用、接口服务以及任务队列中传输时,会涉及到对分析参数进行压缩或加密等处理,因此,这里的解析也可以是对分析参数进行解密或解压后,分析得到目标指标的特征信息和分析策略。
步骤12:基于目标指标的特征信息以及至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,查询请求用于请求目标数据仓库通过联机分析处理进行数据查询并返回查询结果。
在步骤12中,服务端可以基于目标指标的特征信息和至少一个分析策略向目标数据仓库中发送查询请求,以便在目标数据仓库中进行数据查询后获取查询结果。
需要说明的是,业务系统的业务数据一般可以存在多个数据仓库中,不同的数据仓库可以存储不同的业务数据,在对目标指标进行根因分析时,可能只需要在其中一个或多个数据仓库中进行数据查询就可以实现根因分析,该一个或多个数据仓库即为上述目标数据仓库。本实施例中,目标数据仓库可以由用户预先进行配置。
本实施例中,目标数据仓库具有数据存储能力,其存储的数据具体可以是对目标指标进行根因分析时所需的业务数据。此外,目标数据仓库还具有数据分析能力,该数据分析能力具体为通过联机分析处理得到不同类型以及不同维度组合的指标信息。其中,联机分析处理可以理解为一种软件技术,可以迅速地对数据仓库进行多方面的查询,方便深入理解数据。
在向目标数据仓库发送查询请求时,请求查询的数据可以不是数据仓库中存储的原始数据,而是可以基于这些原始数据得到的其他数据,比如指标数据等。这样,目标数据仓库在进行数据查询时,可以通过联机分析处理查询原始数据并对查询到的原始数据进行分析处理,得到查询请求所请求查询的数据。比如,查询请求是请求查询指定时间内的异常值,则目标数据仓库的查询操作具体可以是:查询该指定时间内的异常数据,并对查询到的异常数据进行分析,得到与异常数据对应的异常值。
由于在目标数据仓库中进行数据查询时,目标数据仓库可以通过联机分析处理的技术进行数据查询,因此,可以有效提高根因分析时的数据查询和处理效率,从而在后续可以快速地进行根因分析。
本实施例中,在向目标数据仓库发送查询请求时,考虑到分析策略的个数可能是一个,也可能是两个或多个,因此,可以针对不同的分析策略向目标数据仓库发送不同的查询请求。
具体地,若分析策略的个数为1,则可以基于目标指标的特征信息和该一个分析策略向目标数据仓库发送查询请求,该查询请求用于请求目标数据仓库查询并返回与该一个分析策略对应的查询结果。若分析策略的个数为两个或多个,则需要针对每个分析策略分别发送查询请求,具体地,针对每个分析策略,可以基于该分析策略和目标指标的特征信息向目标数据仓库发送查询请求,该查询请求用于请求目标数据查询并返回与这一个分析策略对应的查询结果,如此,基于这多个分析策略,目标数据仓库可以查询并返回与多个分析策略一一对应的多个查询结果。由于各个分析策略之间可以相互独立的进行数据查询,因此,可以灵活地对根因分析时所使用的分析策略进行配置,以便后续可以从多个角度进行根因分析。
为了便于理解,以下可以以一个分析策略为例,详细说明在向目标数据仓库发送查询请求后,如何进行数据查询。
基于上述步骤11中记载的内容可知,目标指标的特征信息中可以包括指定时间段、指定维度以及与目标指标相关的其他指标中的至少一种,分析策略中可以包括查询步骤以及与目标指标的特征信息对应的查询参数,在此基础上,在向目标数据仓库发送查询请求时,可以基于目标指标的特征信息、分析策略中的查询步骤以及查询参数,生成对应的查询语句,然后基于生成的查询语句,向目标数据仓库发送相应的查询请求并接收返回的查询结果。也就是说,可以将目标指标的特征信息、分析策略中的查询步骤以及查询参数转化为具体的查询语句,基于查询语句向目标数据仓库发送查询请求。
本实施例中,分析策略中的查询步骤可以是一个步骤,也可以是多个步骤,其中,一个步骤可以说明通过一次查询就可以得到最终想要查询的结果,多个步骤可以说明通过多次查询才可以得到最终想要查询的结果。其中,这里的一次查询指的是服务端与目标数据仓库进行一次查询结果的交互,并非是目标数据仓库只进行一次查询的操作,多次查询指的是服务端与目标数据仓库进行多次查询结果的交互。
这样,若查询步骤为一个,则在基于查询语句在目标数据仓库进行数据查询,并接收到目标数据仓库返回的查询结果后,可以将该查询结果作为最终想要查询的结果。
若查询步骤为两个或多个,则在生成查询语句并基于生成的查询语句进行数据查询时,可以先根据目标指标的特征信息、第一个查询步骤以及查询参数,生成第一个查询步骤对应的查询语句(为了便于区分,以下可以称为第一查询语句),在得到第一查询语句后,可以基于第一查询语句向目标数据仓库发送对应的查询请求。此时,目标数据仓库可以基于第一查询语句进行数据查询,并返回对应的第一查询结果。
在目标数据仓库返回第一查询结果后,服务端可以接收该第一查询结果,并判断当前的查询步骤(即第一查询步骤)是否满足预设的终止查询条件,若满足,则结束查询,若不满足,则可以再次与目标数据仓库进行交互,以便进行再次查询。具体地,可以基于目标指标的特征信息、第一查询步骤的下一个查询步骤(以下可以称为第二查询步骤)以及查询参数,并结合当前的查询结果(即第一查询结果)生成与第二查询步骤对应的第二查询语句,并基于该第二查询语句再次向目标数据仓库发送相应的查询请求。此时,目标数据仓库会基于该第二查询语句进行数据查询并返回对应的第二查询结果。服务端在接收到目标数据仓库返回的第二查询结果后,可以继续判断当前的查询步骤(即第二查询步骤)是否满足预设的终止查询条件,若满足,则结束查询,若不满足,则可以基于目标指标的特征信息、第二查询步骤的下一个查询步骤(即第三查询步骤)以及查询参数,结合当前的查询结果(即第二查询结果)生成与第三查询步骤对应的第三查询语句,并基于第三查询语句向目标数据仓库发送相应的查询请求,……,如此循环执行上述查询步骤和是否结束循环的判断步骤,直至满足终止查询条件,并结束查询过程。
由此可见,在查询步骤包括两个或多个的情况下,在生成查询语句并基于生成的查询语句进行数据查询时,查询过程是一个循环的过程,即在接收到当前的查询步骤对应的查询结果后,需要判断当前的查询步骤是否满足预设的终止查询条件,若满足,则结束查询,若不满足,则基于目标指标的特征信息、下一个查询步骤以及查询参数,并结合当前的查询结果生成与下一个查询步骤对应的下一查询语句,并基于下一查询语句向目标数据仓库发送相应的查询请求,在接收到目标数据仓库返回的下一查询结果时,返回执行判断当前的查询步骤是否满足预设的终止查询条件的步骤,直至结束查询。
上述预设的终止查询条件可以包括以下至少一种:当前的查询步骤为分析策略指定的最后一个查询步骤、当前的查询步骤触发了预设的终止条件,该终止条件可以是查询结果的数量或分析限时等。
在结束查询后,服务端可以接收到与每个查询步骤分别对应的查询结果。本实施例中,可以将每个查询步骤对应的查询结果进行整合,整合后的结果可以视为最终的查询结果,该最终的查询结果即为与分析策略对应的查询结果,具体可以用于后续确定目标指标的根因分析结果。可选地,在其他实现方式中,服务端也可以将最后一个查询步骤对应的查询结果作为最终的查询结果,或者,也可以将其中部分查询步骤对应的查询结果进行整合后作为最终的查询结果,比如,可以将最后N个查询步骤分别对应的查询结果进行整合后作为最终的查询结果,N为大于1且小于M的整数,M为查询步骤的总个数。
为了便于理解在目标数据仓库中的循环查询过程,可以参见图2所示的实施例。图2为本申请实施例提供的一种基于数据仓库进行数据查询的流程示意图。图2所示的循环查询过程描述如下。
步骤21,基于目标指标的特征信息、分析策略中的第一个查询步骤和查询参数,生成第一查询语句。
步骤22,基于第一查询语句向目标数据仓库发送查询请求。
步骤23,接收目标数据仓库返回的查询结果。
步骤24,判断当前的查询步骤是否满足预设的终止查询条件。
若是,在执行步骤27,若否,则执行步骤25。
步骤25,基于目标指标的特征信息、下一个查询步骤以及查询策略中的查询参数,并结合当前的查询结果生成与下一个查询步骤对应的下一查询语句。
步骤26,基于下一查询语句向目标数据仓库发送相应的查询请求。
在执行完步骤26后,可以返回执行步骤23。
步骤27,结束查询。
循环执行以上步骤23至步骤26,直至结束查询,由此可以得到与一个分析策略对应的查询结果。
步骤13,基于目标数据仓库返回的查询结果,确定得到目标指标的根因分析结果。
服务端在基于查询结果确定目标指标的根因分析结果时,若所使用的分析策略的个数为一个,则可以基于该一个分析策略对应的查询结果确定目标指标的根因分析结果。其中,该一个分析策略对应的查询结果具体是服务端得到的最终的查询结果,具体地,若目标数据仓库在进行数据查询时,总的查询次数为一次(即查询步骤包括一个,目标数据仓库与服务端进行了一次查询结果的交互),则该一次查询得到的查询结果即为最终的查询结果,若目标数据仓库在进行数据查询时,总的查询次数为多次,则最终的查询结果可以是多次查询结果整合后得到的结果,也可以是最后一次的查询结果,还可以是其中部分查询结果整合后得到的结果。
需要说明的是,目标数据仓库在进行数据查询时,数据查询的过程可以理解为根因分析的过程,因此,在得到最终的查询结果后,基于该最终的查询结果就可以得到目标指标的根因分析结果。
若所使用的分析策略的个数为两个或多个,则可以基于与多个分析策略对应的查询结果确定目标指标的根因分析结果。具体地,首先,可以分别获取与每个分析策略对应的查询结果,每个分析策略对应的查询结果可以基于步骤12确定得到;其次,针对每个查询结果,可以确定得到对应的根因分析结果;最后,对每个查询结果各自对应的根因分析结果进行整合,可以确定得到目标指标的最终的根因分析结果。
基于本申请实施例提供的技术方案可知,数据仓库在整个分析流程中承担着储存引擎和计算引擎的工作,通过调用不同的分析策略或者分析算法对数据仓库进行查询,可以直接从数据本身得到根因分析结果。这种根因分析方法依赖于数据仓库的建设,因为潜在的描述根本原因的数据或信息必须以某种形式存在于或者说隐藏于数据仓库之中,否则即使使用联机查询的方式也没有办法直接或间接地引导出根本原因;不过这通常不是根因分析的瓶颈,因为往往我们所分析的数据源头都包含着大量的信息,其所包含的字段或者说维度往往已经包含了根本原因,我们只需要找到一种方式可以令我们快速地寻找到潜在的根本原因;如果没有数据仓库,那么仅仅依靠分析策略是没有办法快速地从上亿的数据中直接查询出根本原因的。
此外,分析策略在整个根因分析过程中同样有着非常重要的功能。如果没有分析策略,单纯依靠数据仓库是没有办法进行根因分析的。尽管数据仓库在联机查询方面有着优越的性能特点,盲目地使用数据仓库或者简单地对其进行一些查询仍然不可能在短时间内得到根因分析结果,这就需要使用分析策略,在短时间内有选择性地对数据仓库进行查询,从而逐步且快速地得到隐藏的根本原因,实现根因分析的目的。
可选地,在得到根因分析结果后,还可以生成相应的报表或报告等,生成的报表或报告可以通过邮件的方式发送给相关人员,以便相关人员可以快速定位问题,进一步地,还可以针对性地对定位的问题进行解决,避免业务系统再次出现相同的问题。
采用本申请实施例提供的技术方案,在对目标指标进行根因分析时,由于可以将根因分析时的不同分析思路抽象为不同的分析策略,并基于分析策略进行根因分析,因此,针对待分析的目标指标,只需要添加或修改分析策略,就可以实现从多个不同的角度进行根因分析的目的,从而可以更为全面有效地进行根因分析;由于可以借助于数据仓库进行数据查询,数据仓库在进行数据查询时可以通过联机分析处理技术实现,因此,可以有效提高根因分析时的数据查询和处理效率,从而快速地进行根因分析;此外,由于可以借助于数据仓库进行数据的查询和处理,因此,可以不限制进行根因分析的领域,即可以对多种不同领域的问题进行根因分析。
为了便于理解本发明实施例提供的技术方案,可以以根因分析时所使用的分析策略的个数为多个,对应的查询步骤有多个为例进行说明,具体可以参见图3。图3为本发明的一个实施例基于数据仓库的根因分析方法的流程示意图,具体可以包括以下步骤:
步骤31,获取待分析的目标指标的特征信息、以及用于对目标指标进行根因分析的多个分析策略。
步骤32,针对每个分析策略,基于分析策略中的查询步骤和查询参数、目标指标的特征信息,生成对应的查询语句。
步骤33,基于生成的查询语句,向目标数据仓库发送相应的查询请求。
步骤34,接收目标数据仓库返回的查询结果。
步骤35,判断当前的查询步骤是否满足预设的终止查询条件。.
若满足,则执行步骤37,若不满足,则执行步骤36。
步骤36,基于目标指标的特征信息、下一个查询步骤以及查询参数,并结合当前的查询结果生成与下一个查询步骤对应的下一查询语句,并基于下一查询语句向目标数据仓库发送相应的查询请求。
执行完步骤36后,可以返回执行步骤34。
步骤37,得到与每个分析策略对应的查询结果。
基于上述步骤32至步骤37,可以得到与多个分析策略一一对应的多个查询结果。
步骤38,基于每个分析策略对应的查询结果,确定得到对应的根因分析结果。
步骤39,对每个查询结果各自对应的根因分析结果进行整合,确定得到目标指标的根因分析结果。
上述步骤31至步骤39的具体实现可以参见图1所示实施例中相应步骤的具体实现,这里不再重复说明。
采用本申请实施例提供的技术方案,在对目标指标进行根因分析时,由于可以将根因分析时的不同分析思路抽象为不同的分析策略,并基于分析策略进行根因分析,因此,针对待分析的目标指标,只需要添加或修改分析策略,就可以实现从多个不同的角度进行根因分析的目的,从而可以更为全面有效地进行根因分析;由于可以借助于数据仓库进行数据查询,数据仓库在进行数据查询时可以通过联机分析处理技术实现,因此,可以有效提高根因分析时的数据查询和处理效率,从而快速地进行根因分析;此外,由于可以借助于数据仓库进行数据的查询和处理,因此,可以不限制进行根因分析的领域,即可以对多种不同领域的问题进行根因分析。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成基于数据仓库的根因分析装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;
基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;
基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果。
上述如本申请图4所示实施例揭示的根因分析装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1至图3的方法,并实现基于数据仓库的根因分析装置在图1至图3所示实施例中的功能,本申请实施例在此不再赘述。
当然,除了软件实现方式之外,本申请的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图1至图3所示实施例的方法,并具体用于执行以下操作:
获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;
基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;
基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果。
本申请实施例提供的一种基于数据仓库的根因分析装置,用以解决目前在对业务系统中的异常数据进行根因分析时,无法进行快速有效的根因分析的问题。该装置的具体结构示意图如图5所示,包括:获取单元51、查询单元52以及确定单元53,其中:
获取单元51,用于获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;
查询单元52,用于基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;
确定单元53,用于基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果。
可选地,若所述至少一个分析策略的个数为两个或多个,则所述查询单元52,具体用于:
针对每个分析策略,基于所述分析策略和所述目标指标的特征信息,向所述目标数据仓库发送查询请求,所述查询请求用于请求所述目标数据仓库查询并返回与所述分析策略对应的查询结果。
可选地,所述目标指标的特征信息包括指定时间段、所述目标指标的指定维度、以及与所述目标指标相关的其他指标中的至少一种,所述分析策略中包括查询步骤以及与所述目标指标的特征信息对应的查询参数;
其中,所述查询单元52,具体用于:
基于所述目标指标的特征信息、所述查询步骤以及所述查询参数,生成对应的查询语句;
基于生成的查询语句,向所述目标数据仓库发送相应的查询请求并接收返回的查询结果。
可选地,若所述查询步骤包括两个或多个,则所述查询单元52,具体还用于:
基于所述目标指标的特征信息、第一个查询步骤以及所述查询参数,生成第一个查询步骤对应的第一查询语句;
基于第一个查询步骤对应的第一查询语句,向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的第一查询结果;
判断当前的查询步骤是否满足预设的终止查询条件;
若是,则结束查询;
若否,则基于所述目标指标的特征信息、下一个查询步骤以及所述查询参数,并结合当前的查询结果生成与下一个查询步骤对应的下一查询语句,并基于所述下一查询语句向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的下一查询结果;
返回执行判断当前的查询步骤是否满足预设的终止查询条件的步骤,直至结束查询,并将每个查询步骤对应的查询结果进行整合,作为所述分析策略对应的查询结果。
可选地,在所述至少一个分析策略的个数为两个或多个的情况下,所述确定单元53,具体用于:
分别获取与每个分析策略对应的查询结果;
针对每个查询结果,确定得到对应的根因分析结果;
对所述每个查询结果各自对应的根因分析结果进行整合,确定得到所述目标指标的根因分析结果。
可选地,所述获取单元51,具体用于:
从任务队列中获取待分析的目标任务,所述目标任务中包括与所述目标任务相关的分析参数,所述分析参数由用户通过网页应用进行配置,所述分析参数中包括所述目标指标的特征信息以及所述至少一个分析策略;
对所述目标任务中的所述分析参数进行解析,得到所述目标指标的特征信息以及所述至少一个分析策略。
本申请实施例提供的基于数据仓库的根因分析装置还可执行图1至图3的方法,并实现根因分析装置在图1至图3所示实施例的功能,本申请实施例在此不再赘述。
另外,本申请实施例提供的一种基于数据仓库的根因分析系统,用以解决目前在对业务系统中的异常数据进行根因分析时,无法进行快速有效的根因分析的问题。该系统的具体结构示意图如图6所示,包括根因分析服务端61和目标数据仓库62,其中:
所述根因分析服务端61,用于获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;基于所述目标指标的特征信息以及所述至少一个分析策略,向所述目标数据仓库62发送查询请求以获取查询结果;
所述目标数据仓库62,用于基于所述查询请求,通过联机分析处理进行数据查询;向所述根因分析服务端61返回查询结果;
所述根因分析服务端61,用于基于所述目标数据仓库62返回的查询结果,确定得到所述目标指标的根因分析结果。
本实施例中,根因分析服务端61可以实现图1至图3所示实施例中根因分析服务端所实现的功能,目标数据仓库62可以实现图1至图3所示实施例中目标数据仓库所实现的功能,这里都不再重复说明。
可选地,图6所示的根因分析系统还可以包括以下六个模块中的至少一种(这六个模块在图6中均未示出):
(1)网页应用,用户可以通过网页应用配置目标任务中的分析参数并将其提交给接口服务;
(2)网页服务,可以提供网页应用;
(3)接口服务,可以提供接口给外部系统,更新维护元数据,并将待分析的任务写入任务队列;
(4)任务队列,可以负责资源管理及任务调度,包含任务信息,可将任务分发给根因分析服务端;
(5)邮件服务,可以用于发送根因分析报告;
(6)元数据:储存任务信息,报告信息,日志信息,数据仓库内的数据信息等。
总之,以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (13)
1.一种基于数据仓库的根因分析方法,其特征在于,包括:
获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;
基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;
基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果;
其中,所述分析策略中包括查询步骤以及与所述目标指标的特征信息对应的查询参数;
若所述查询步骤包括两个或多个,所述基于所述分析策略和所述目标指标的特征信息,向所述目标数据仓库发送查询请求以获取查询结果,具体包括:
基于所述目标指标的特征信息、第一个查询步骤以及所述查询参数,生成第一个查询步骤对应的第一查询语句;
基于第一个查询步骤对应的第一查询语句,向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的第一查询结果;
判断当前的查询步骤是否满足预设的终止查询条件;
若是,则结束查询;
若否,则基于所述目标指标的特征信息、下一个查询步骤以及所述查询参数,并结合当前的查询结果生成与下一个查询步骤对应的下一查询语句,并基于所述下一查询语句向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的下一查询结果;
返回执行判断当前的查询步骤是否满足预设的终止查询条件的步骤,直至结束查询,并将每个查询步骤对应的查询结果进行整合,作为所述分析策略对应的查询结果。
2.根据权利要求1所述的方法,其特征在于,若所述至少一个分析策略的个数为两个或多个,则基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,具体包括:
针对每个分析策略,基于所述分析策略和所述目标指标的特征信息,向所述目标数据仓库发送查询请求,所述查询请求用于请求所述目标数据仓库查询并返回与所述分析策略对应的查询结果。
3.根据权利要求2所述的方法,其特征在于,所述目标指标的特征信息包括指定时间段、所述目标指标的指定维度、以及与所述目标指标相关的其他指标中的至少一种。
4.根据权利要求1所述的方法,其特征在于,在所述至少一个分析策略的个数为两个或多个的情况下,基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果,具体包括:
分别获取每个分析策略对应的查询结果;
针对每个查询结果,确定得到对应的根因分析结果;
对所述每个查询结果各自对应的根因分析结果进行整合,确定得到所述目标指标的根因分析结果。
5.根据权利要求1所述的方法,其特征在于,获取待分析的目标指标的特征信息以及用于对所述目标指标进行根因分析的至少一个分析策略,具体包括:
从任务队列中获取待分析的目标任务,所述目标任务中包括与所述目标任务相关的分析参数,所述分析参数由用户通过网页应用进行配置,所述分析参数中包括所述目标指标的特征信息以及所述至少一个分析策略;
对所述目标任务中的所述分析参数进行解析,得到所述目标指标的特征信息以及所述至少一个分析策略。
6.一种基于数据仓库的根因分析装置,其特征在于,包括:
获取单元,用于获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;
查询单元,用于基于所述目标指标的特征信息以及所述至少一个分析策略,向目标数据仓库发送查询请求以获取查询结果,所述查询请求用于请求所述目标数据仓库通过联机分析处理进行数据查询并返回查询结果;
确定单元,用于基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果;
其中,所述分析策略中包括查询步骤以及与所述目标指标的特征信息对应的查询参数;
若所述查询步骤包括两个或多个,所述查询单元,具体用于:
基于所述目标指标的特征信息、第一个查询步骤以及所述查询参数,生成第一个查询步骤对应的第一查询语句;
基于第一个查询步骤对应的第一查询语句,向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的第一查询结果;
判断当前的查询步骤是否满足预设的终止查询条件;
若是,则结束查询;
若否,则基于所述目标指标的特征信息、下一个查询步骤以及所述查询参数,并结合当前的查询结果生成与下一个查询步骤对应的下一查询语句,并基于所述下一查询语句向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的下一查询结果;
返回执行判断当前的查询步骤是否满足预设的终止查询条件的步骤,直至结束查询,并将每个查询步骤对应的查询结果进行整合,作为所述分析策略对应的查询结果。
7.根据权利要求6所述的装置,其特征在于,若所述至少一个分析策略的个数为两个或多个,则所述查询单元,具体用于:
针对每个分析策略,基于所述分析策略和所述目标指标的特征信息,向所述目标数据仓库发送查询请求,所述查询请求用于请求所述目标数据仓库查询并返回与所述分析策略对应的查询结果。
8.根据权利要求7所述的装置,其特征在于,所述目标指标的特征信息包括指定时间段、所述目标指标的指定维度、以及与所述目标指标相关的其他指标中的至少一种。
9.根据权利要求6所述的装置,其特征在于,在所述至少一个分析策略的个数为两个或多个的情况下,所述确定单元,具体用于:
分别获取与每个分析策略对应的查询结果;
针对每个查询结果,确定得到对应的根因分析结果;
对所述每个查询结果各自对应的根因分析结果进行整合,确定得到所述目标指标的根因分析结果。
10.根据权利要求6所述的装置,其特征在于,所述获取单元,具体用于:
从任务队列中获取待分析的目标任务,所述目标任务中包括与所述目标任务相关的分析参数,所述分析参数由用户通过网页应用进行配置,所述分析参数中包括所述目标指标的特征信息以及所述至少一个分析策略;
对所述目标任务中的所述分析参数进行解析,得到所述目标指标的特征信息以及所述至少一个分析策略。
11.一种基于数据仓库的根因分析系统,其特征在于,包括根因分析服务端和目标数据仓库,其中:
所述根因分析服务端,用于获取待分析目标任务的目标指标的特征信息、以及用于对所述目标指标进行根因分析的至少一个分析策略;基于所述目标指标的特征信息以及所述至少一个分析策略,向所述目标数据仓库发送查询请求以获取查询结果;
所述目标数据仓库,用于基于所述查询请求,通过联机分析处理进行数据查询;向所述根因分析服务端返回查询结果;
所述根因分析服务端,用于基于所述目标数据仓库返回的查询结果,确定得到所述目标指标的根因分析结果;
其中,所述分析策略中包括查询步骤以及与所述目标指标的特征信息对应的查询参数;
若所述查询步骤包括两个或多个,所述根因分析服务端,具体用于:
基于所述目标指标的特征信息、第一个查询步骤以及所述查询参数,生成第一个查询步骤对应的第一查询语句;
基于第一个查询步骤对应的第一查询语句,向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的第一查询结果;
判断当前的查询步骤是否满足预设的终止查询条件;
若是,则结束查询;
若否,则基于所述目标指标的特征信息、下一个查询步骤以及所述查询参数,并结合当前的查询结果生成与下一个查询步骤对应的下一查询语句,并基于所述下一查询语句向所述目标数据仓库发送相应的查询请求;
接收所述目标数据仓库返回的下一查询结果;
返回执行判断当前的查询步骤是否满足预设的终止查询条件的步骤,直至结束查询,并将每个查询步骤对应的查询结果进行整合,作为所述分析策略对应的查询结果。
12.一种电子设备,其特征在于,包括处理器以及与处理器连接的存储器,所述存储器存储有程序或者指令,所述程序或指令被所述处理器执行时实现如权利要求1至5任一项所述的方法。
13.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序或指令,所述程序或指令在被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110694569.2A CN113590579B (zh) | 2021-06-22 | 2021-06-22 | 一种基于数据仓库的根因分析方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110694569.2A CN113590579B (zh) | 2021-06-22 | 2021-06-22 | 一种基于数据仓库的根因分析方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113590579A CN113590579A (zh) | 2021-11-02 |
CN113590579B true CN113590579B (zh) | 2024-05-31 |
Family
ID=78244325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110694569.2A Active CN113590579B (zh) | 2021-06-22 | 2021-06-22 | 一种基于数据仓库的根因分析方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113590579B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407432A (zh) * | 2016-09-28 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种Oracle数据仓库的查询方法及装置 |
CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技(深圳)有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
CN110221936A (zh) * | 2019-06-12 | 2019-09-10 | 深圳前海微众银行股份有限公司 | 数据库告警处理方法、装置、设备及计算机可读存储介质 |
WO2020042504A1 (zh) * | 2018-08-27 | 2020-03-05 | 深圳壹账通智能科技有限公司 | 区块链信息处理中异常诊断方法、装置、设备及存储介质 |
CN110928903A (zh) * | 2018-08-31 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 数据提取方法及装置、设备和存储介质 |
CN111106953A (zh) * | 2019-12-16 | 2020-05-05 | 深圳前海微众银行股份有限公司 | 一种异常根因分析的方法及装置 |
CN111752988A (zh) * | 2019-03-29 | 2020-10-09 | 北京奇虎科技有限公司 | 一种自动数据分析方法及装置 |
CN111901171A (zh) * | 2020-07-29 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 异常检测和归因方法、装置、设备及计算机可读存储介质 |
WO2020259392A1 (zh) * | 2019-06-25 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种异常任务的根因任务确定方法及装置 |
CN112311600A (zh) * | 2020-10-29 | 2021-02-02 | 亚信科技(中国)有限公司 | 基于网络数据分析的策略建议生成方法、装置 |
CN112446511A (zh) * | 2020-11-20 | 2021-03-05 | 中国建设银行股份有限公司 | 一种故障处置方法、装置、介质及设备 |
CN112463834A (zh) * | 2020-12-02 | 2021-03-09 | 中国建设银行股份有限公司 | 流式处理中自动实现根因分析的方法、装置及电子设备 |
CN112765497A (zh) * | 2021-01-11 | 2021-05-07 | 深圳左邻永佳科技有限公司 | 业务数据分析结果查询展示方法、装置、设备和介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8019795B2 (en) * | 2007-12-05 | 2011-09-13 | Microsoft Corporation | Data warehouse test automation framework |
US11422881B2 (en) * | 2018-07-19 | 2022-08-23 | Oracle International Corporation | System and method for automatic root cause analysis and automatic generation of key metrics in a multidimensional database environment |
-
2021
- 2021-06-22 CN CN202110694569.2A patent/CN113590579B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407432A (zh) * | 2016-09-28 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种Oracle数据仓库的查询方法及装置 |
CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技(深圳)有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
WO2020042504A1 (zh) * | 2018-08-27 | 2020-03-05 | 深圳壹账通智能科技有限公司 | 区块链信息处理中异常诊断方法、装置、设备及存储介质 |
CN110928903A (zh) * | 2018-08-31 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 数据提取方法及装置、设备和存储介质 |
CN111752988A (zh) * | 2019-03-29 | 2020-10-09 | 北京奇虎科技有限公司 | 一种自动数据分析方法及装置 |
CN110221936A (zh) * | 2019-06-12 | 2019-09-10 | 深圳前海微众银行股份有限公司 | 数据库告警处理方法、装置、设备及计算机可读存储介质 |
WO2020259392A1 (zh) * | 2019-06-25 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种异常任务的根因任务确定方法及装置 |
CN111106953A (zh) * | 2019-12-16 | 2020-05-05 | 深圳前海微众银行股份有限公司 | 一种异常根因分析的方法及装置 |
CN111901171A (zh) * | 2020-07-29 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 异常检测和归因方法、装置、设备及计算机可读存储介质 |
CN112311600A (zh) * | 2020-10-29 | 2021-02-02 | 亚信科技(中国)有限公司 | 基于网络数据分析的策略建议生成方法、装置 |
CN112446511A (zh) * | 2020-11-20 | 2021-03-05 | 中国建设银行股份有限公司 | 一种故障处置方法、装置、介质及设备 |
CN112463834A (zh) * | 2020-12-02 | 2021-03-09 | 中国建设银行股份有限公司 | 流式处理中自动实现根因分析的方法、装置及电子设备 |
CN112765497A (zh) * | 2021-01-11 | 2021-05-07 | 深圳左邻永佳科技有限公司 | 业务数据分析结果查询展示方法、装置、设备和介质 |
Non-Patent Citations (2)
Title |
---|
基于人工智能方法的数据库智能诊断;金连源 等;《软件学报》;第32卷(第3期);845-858 * |
数据仓库中联机分析处理技术的研究;孙瑜;;《鸡西大学学报》(04);65-66 * |
Also Published As
Publication number | Publication date |
---|---|
CN113590579A (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10114682B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
CN110109953A (zh) | 一种数据查询方法、装置及设备 | |
CN106326309B (zh) | 一种数据查询方法和装置 | |
CN107038161B (zh) | 一种用于过滤数据的设备及方法 | |
US20150081914A1 (en) | Allocation of Resources Between Web Services in a Composite Service | |
US9251227B2 (en) | Intelligently provisioning cloud information services | |
JP2015508543A (ja) | 店舗訪問データを処理すること | |
CN108399175B (zh) | 一种数据存储、查询方法及其装置 | |
CN109901991B (zh) | 一种分析异常调用的方法、装置和电子设备 | |
CN111694639A (zh) | 进程容器地址的更新方法、装置和电子设备 | |
CN106648839A (zh) | 数据处理的方法和装置 | |
CN108920326B (zh) | 确定系统耗时异常的方法、装置及电子设备 | |
CN113590579B (zh) | 一种基于数据仓库的根因分析方法、装置及系统 | |
CN110879819A (zh) | 路由信息快速准确识别方法、装置、服务器及存储介质 | |
CN112907198B (zh) | 业务状态流转维护方法、装置及电子设备 | |
CN115248815A (zh) | 预测查询处理 | |
CN115794806A (zh) | 金融数据的网格化处理系统及方法、装置、计算设备 | |
CN113076197A (zh) | 负载均衡方法及装置、存储介质及电子设备 | |
CN113114612A (zh) | 分布式系统调用链的确定方法和装置 | |
US20200143001A1 (en) | Indexing structure with size bucket indexes | |
US20180060388A1 (en) | Pre-applying a reduced version of a search query to limit the search scope | |
CN116126546B (zh) | 一种性能调优的方法、装置、电子设备及介质 | |
CN110209645A (zh) | 任务处理方法、装置、电子设备及存储介质 | |
CN117056663B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN111831425B (zh) | 一种数据处理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |