CN109409411A - 基于运维管理的问题定位方法、装置及存储介质 - Google Patents
基于运维管理的问题定位方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109409411A CN109409411A CN201811135942.5A CN201811135942A CN109409411A CN 109409411 A CN109409411 A CN 109409411A CN 201811135942 A CN201811135942 A CN 201811135942A CN 109409411 A CN109409411 A CN 109409411A
- Authority
- CN
- China
- Prior art keywords
- application
- network system
- applications
- eigenvalue
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种基于运维管理的问题定位方法、装置及存储介质,其中,该方法包括:获取该运维管理对应网络系统中的所有应用的数据流,根据所有应用的数据流以及每个应用的应用资源指标生成该网络系统的贝叶斯网络结构,进而利用该贝叶斯网络结构定位该网络系统存在的问题。该技术方案中,由于生成的贝叶斯网络结构的精确度高,相应的利用该贝叶斯网络结构在运维管理对应网络系统中定位出的问题准确度高。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种基于运维管理的问题定位方法、装置及存储介质。
背景技术
贝叶斯网络是一种概率网络,其是基于概率推理的图形化网络,贝叶斯公式是该概率网络的基础。贝叶斯网络是基于概率推理的数学模型,基于概率推理的贝叶斯网络对于解决复杂设备不确定性和关联性引起的故障有比较重要的作用,尤其在运维领域,利用贝叶斯网络结构实现问题定位是一种广泛的应用。
现有技术中,应用于运维场景的贝叶斯网络结构可以利用评分搜索方法得到。该评分搜索方法通过搜索评分网络结构空间来寻找最优的网络结构,这种方法的计算复杂度低,但是得到的网络结构的精确度不高,致使应用于运维场景中实现问题定位时,会出现问题定位不准确的问题。
发明内容
本申请提供一种基于运维管理的问题定位方法、装置及存储介质,以解决现有技术中由于贝叶斯网络结构精确度低,导致运维场景中出现的问题定位不准确的问题。
本申请第一方面提供的一种基于运维管理的问题定位方法,包括:
获取所述运维管理对应网络系统中的所有应用的数据流;
根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构;
利用所述贝叶斯网络结构,定位所述网络系统存在的问题。
在第一方面的一种可能实现方式中,所述获取所述运维管理对应网络系统中的所有应用的数据流,包括:
监控所述网络系统中应用端口之间的数据调用信息,获取每个应用的端口调用数据;
根据每个应用的端口调用数据,获取每个应用的数据流。
在第一方面的另一种可能实现方式中,所述根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,包括:
根据所述网络系统中的所有应用的数据流,确定所述所有应用之间的网络连接关系;
根据所述所有应用之间的网络连接关系,获取所述网络系统的应用拓扑图;
针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,每个所述应用组包括:满足互信息和条件互信息的三个应用;
根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构。
在第一方面的上述可能实现方式中,所述针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,包括:
针对每个应用组,将所述应用组中的第一应用作为条件,获取所述应用组中第二应用和第三应用之间的第一特征值,所述第一特征值为所述第二应用和所述第三应用相对所述第一应用的条件互信息与所述第二应用和所述第三应用的互信息的比值;
判断所述第一特征值是否大于预设的特征值阈值;
若所述第一特征值大于所述特征值阈值,则控制所述第二应用和所述第三应用均指向所述第一应用,所述第一应用、所述第二应用和所述第三应用形成一个V结构。
在第一方面的再一种可能实现方式中,所述至少一个V结构包括:一个V结构和至少两个V结构,若所述至少一个V结构包括:至少两个V结构,则所述方法还包括:
若第一V结构的一条边和第二V结构的一条边存在方向冲突,则获取所述第一V结构对应的第一特征值以及所述第二V结构对应的第二特征值,所述第一V结构和所述第二V结构为所述至少两个V结构中的任意两个;
比较所述第一特征值和所述第二特征值的大小,保留较大特征值对应的V结构,所述较大特征值为所述第一特征值和所述第二特征值中特征值较大的一个。
在第一方面的上述可能实现方式中,所述根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,包括:
根据所述至少一个V结构将所述应用拓扑图中的无方向边删除,并根据每个所述应用的应用资源指标将应用之间的指向进行连通,得到所述网络系统的贝叶斯网络结构。
本申请第二方面提供一种基于运维管理的问题定位装置,包括:获取模块、处理模块和定位模块;
所述获取模块,用于获取所述运维管理对应网络系统中的所有应用的数据流;
所述处理模块,用于根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构;
所述定位模块,用于利用所述贝叶斯网络结构,定位所述网络系统存在的问题。
在第二方面的一种可能实现方式中,所述获取模块,用于获取所述运维管理对应网络系统中的所有应用的数据流,具体为:
所述获取模块,具体用于监控所述网络系统中应用端口之间的数据调用信息,获取每个应用的端口调用数据,根据每个应用的端口调用数据,获取每个应用的数据流。
在第二方面的另一种可能实现方式中,所述处理模块,用于根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,具体为:
所述处理模块,具体用于根据所述网络系统中的所有应用的数据流,确定所述所有应用之间的网络连接关系,根据所述所有应用之间的网络连接关系,获取所述网络系统的应用拓扑图,针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,每个所述应用组包括:满足互信息和条件互信息的三个应用,根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构。
在第二方面的上述可能实现方式中,所述处理模块,用于针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,具体为:
所述处理模块,具体用于针对每个应用组,将所述应用组中的第一应用作为条件,获取所述应用组中第二应用和第三应用之间的第一特征值,判断所述第一特征值是否大于预设的特征值阈值,若所述第一特征值大于所述特征值阈值,则控制所述第二应用和所述第三应用均指向所述第一应用,所述第一应用、所述第二应用和所述第三应用形成一个V结构,其中,所述第一特征值为所述第二应用和所述第三应用相对所述第一应用的条件互信息与所述第二应用和所述第三应用的互信息的比值。
在第二方面的再一种可能实现方式中,所述至少一个V结构包括:一个V结构和至少两个V结构,若所述至少一个V结构包括:至少两个V结构,则所述处理模块,还用于在第一V结构的一条边和第二V结构的一条边存在方向冲突时,获取所述第一V结构对应的第一特征值以及所述第二V结构对应的第二特征值,比较所述第一特征值和所述第二特征值的大小,保留较大特征值对应的V结构,所述第一V结构和所述第二V结构为所述至少两个V结构中的任意两个,所述较大特征值为所述第一特征值和所述第二特征值中特征值较大的一个。
在第二方面的上述可能实现方式中,所述处理模块,用于根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,具体为:
所述处理模块,具体用于根据所述至少一个V结构将所述应用拓扑图中的无方向边删除,并根据每个所述应用的应用资源指标将应用之间的指向进行连通,得到所述网络系统的贝叶斯网络结构。
本申请第三方面提供一种基于运维管理的问题定位装置,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。
本申请第四方面提供一种存储介质,所述存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。
本申请实施例提供的基于运维管理的问题定位方法、装置及存储介质,通过获取该运维管理对应网络系统中的所有应用的数据流,根据所有应用的数据流以及每个应用的应用资源指标生成该网络系统的贝叶斯网络结构,进而利用该贝叶斯网络结构定位该网络系统存在的问题。该技术方案中,由于生成的贝叶斯网络结构的精确度高,因而,利用该贝叶斯网络结构可以准确定位出运维管理对应网络系统中的问题。
附图说明
图1为本申请实施例提供的基于运维管理的问题定位方法的应用场景示意图;
图2为网络系统包括的应用的分布示意图;
图3为本申请实施例提供的基于运维管理的问题定位方法实施例一的流程图;
图4为本申请实施例提供的基于运维管理的问题定位方法实施例二的流程图;
图5为应用容器引擎和关系型数据库管理系统之间的关联示意图;
图6为本申请实施例提供的基于运维管理的问题定位方法实施例三的流程图;
图7为本申请实施例提供的基于运维管理的问题定位方法实施例四的流程图;
图8为网络系统中的多个应用形成的V结构的示意图;
图9为本申请实施例提供的基于运维管理的问题定位方法实施例五的流程图;
图10为图8所示的网络系统中删除应用拓扑图中的无方向边后的示意图;
图11为图8所示的网络系统中生成的完整贝叶斯网络结构示意图;
图12为本申请实施例提供的基于运维管理的问题定位装置实施例一的结构示意图;
图13为本申请实施例提供的基于运维管理的问题定位装置实施例二的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的基于运维管理的问题定位方法的应用场景示意图。作为一种示例,如图1所示,该应用场景可以包括:网络系统11,该网络系统11可以包括:至少一个服务器110以及设置在每个服务器110上的至少一个应用111(即应用程序)。在该网络系统中,当服务器的数量为至少两个且每两个服务器之间可以进行通信,即每个服务器不仅可以获取到本身承载的多个应用的相关数据,也可以获取其他服务器承载的多个应用的相关数据,因而,每个服务器在获取到该网络系统中所有应用的数据以及数据流后,根据应用之间的数据传输关系可以生成贝叶斯网络结构,利用该贝叶斯网络结构可以实现运维管理领域的问题定位。
作为另一种示例,如图1所示,该运维管理的应用场景还可以包括至少一个电子设备12,每个电子设备12均可以与网络系统11中的每个服务器110进行通信,因而,每个电子设备12也可以获取到每个服务器上承载的多个应用的相关数据和数据流,以及根据应用之间的数据传输关系可以生成贝叶斯网络结构,进而利用该贝叶斯网络结构可以实现运维管理领域的问题定位。即,该基于运维管理的问题定位方法不仅可以由上述服务器实现,也可以由上述电子设备实现,关于具体的执行主体可以根据实际情况确定,此处不再赘述。
示例性的,该运维管理的应用场景中的网络系统11可以以网络系统11包括10个应用进行说明。图2为网络系统包括的应用的分布示意图。在图2所示的示意图中,该网络系统包括的服务器未示出,该网络系统包括的10个应用如下:应用容器引擎(Docker)、关系型数据库管理系统(Postgres)、分布式内存对象缓存系统(memcached)、服务连接器(Tomcat)、搜索应用服务器(Solr)、分布式存储系统(hbase)、开源框架(Hadoop)、数据处理分发系统(nifi)、监控告警工具系统(prometheus)以及分布式应用程序协同服务(zookeeper)。值得说明的是,该网络系统还可以包括其他应用,本实施例不对网络系统包括的应用个数和具体应用进行限定。
下面通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图3为本申请实施例提供的基于运维管理的问题定位方法实施例一的流程图。该方法实施例的执行主体可以是上述图1所示实施例中的任意一个服务器或者任意一个电子设备。如图3所示,本申请实施例提供的基于运维管理的问题定位方法可以包括如下步骤:
步骤31:获取该运维管理对应网络系统中的所有应用的数据流。
在本实施例中,参照图2所示,该运维管理对应的网络系统可以包括多个应用,且某些应用之间可以通过端口调用进行数据传输,因而,通过分析应用端口之间的端口调用数据可以得到该网络系统中所有应用的数据流。
步骤32:根据所有应用的数据流以及每个应用的应用资源指标,生成该网络系统的贝叶斯网络结构。
鉴于贝叶斯网络是统计分析领域中一种有效的分析方法,其具有良好的可解释性,因而,在该运维管理领域,可以利用该贝叶斯网络结构辅助运维问题定位。
在本实施例中,根据所有应用的数据流,可以确定该网络系统中哪些应用之间具有数据传输关系。网络系统的主机中存储有每个应用的应用资源指标,该应用资源指标是该网络系统生成时主机给应用分配的,所以,每个应用的应用资源指标可以表示主机与应用之间的关联关系,因而,在获取到所有应用的数据流以及每个应用的应用资源指标后,据此可以生成该网络系统的贝叶斯网络结构。
步骤33:利用该贝叶斯网络结构,定位该网络系统存在的问题。
在本实施例中,由于贝叶斯网络结构可以表示网络系统中所有应用之间的关联关系,所以,在得到该网络系统的贝叶斯网络结构之后,通过分析网络系统中应用之间的数据流或者主机中每个应用的应用资源指标是否均处于正常状态,判定该网络系统中是否有应用出现问题,或者哪些应用之间的数据传输存在异常,进而定位出该运维管理对应的网络系统存在的问题。
本实施例提供的基于运维管理的问题定位方法,通过获取该运维管理对应网络系统中的所有应用的数据流,根据所有应用的数据流以及每个应用的应用资源指标生成该网络系统的贝叶斯网络结构,进而利用该贝叶斯网络结构定位该网络系统存在的问题。该技术方案中,由于生成的贝叶斯网络结构的精确度高,相应的提高了利用该贝叶斯网络结构在运维管理对应网络系统中的问题定位准确度。
在上述实施例的基础上,图4为本申请实施例提供的基于运维管理的问题定位方法实施例二的流程图。如图4所示,在本实施例中,上述步骤31(获取该运维管理对应网络系统中的所有应用的数据流)可以通过如下步骤实现:
步骤41:监控该网络系统中应用端口之间的数据调用信息,获取每个应用的端口调用数据。
在本实施例中,由于应用之间数据传输以端口之间的调用实现,因而,通过监控该网络系统中应用端口之间的数据调用信息,可以获取每个应用的端口调用数据。
例如,监控到的该网络系统中应用端口之间的数据调用信息如下:
主机IP地址:"ip":"192.168.8.100",进程号:"pid":"2253",父进程号:"ppid":"1",利用命令"cmd":"/usr/bin/docker-d"启动命令确定该进程属于应用容器引擎,相应的,该进程对应的数据连接列表如下:"10.0.67.14:40336->10.0.67.21:5432,10.0.67.14:40338->10.0.67.21:5432,10.0.67.14:40340->10.0.67.21:5432",也即,由于地址10.0.67.21属于关系型数据库关系系统,因而,在本实施例中,该应用容器引擎的三个不同地址均可以与关系型数据库管理系统进行数据流传输。
步骤42:根据每个应用的端口调用数据,获取每个应用的数据流。
在获取到所有应用的端口调用数据之后,分析每个应用的端口调用数据的流向(即端口接收数据或端口发送数据),确定出每个应用通过端口与其他哪些应用进行了通信,从而确定出每个应用的数据流。
例如,图5为应用容器引擎和关系型数据库管理系统之间的关联示意图。如图5所示,根据步骤41中监控到的该网络系统中应用端口之间的数据调用信息可知,该应用容器引擎的三个不同地址(10.0.67.14:40336,10.0.67.14:40338,10.0.67.14:40340)均可以与关系型数据库管理系统(10.0.67.21:5432)进行数据流传输,因而,可以将三条数据流合并成一条无向边。其中,该应用容器引擎可以是Docker,该关系型数据库管理系统可以是Postgres。
本申请实施例提供的基于运维管理的问题定位方法,为后续生成贝叶斯网络结构奠定了基础,进而为准确定位该运维管理中存在的问题提供了实现可能。
在上述实施例的基础上,图6为本申请实施例提供的基于运维管理的问题定位方法实施例三的流程图。如图6所示,上述步骤32(根据所有应用的数据流以及每个应用的应用资源指标,生成该网络系统的贝叶斯网络结构)可以通过如下步骤实现:
步骤61:根据该网络系统中的所有应用的数据流,确定所有应用之间的网络连接关系。
在本实施例中,应用之间具有数据流传输可以解释为应用之间具有连接关系,在该网络系统中,该连接关系称为网络连接关系。因而,根据该网络系统中的所有应用的数据流,可以确定出所有应用之间的网络连接关系。
步骤62:根据所有应用之间的网络连接关系,获取该网络系统的应用拓扑图。
本实施例中,为了形成贝叶斯网络结构,可以将服务器上的每个应用抽象成一个节点,应用之间的网络连接关系抽象成一条线,将网络系统中所有具有网络连接关系的应用进行连线,可以获取到该网络系统的应用拓扑图。
步骤63:针对所有应用形成的至少一个应用组,获取该应用拓扑图中具有因果关系的至少一个V结构。
其中,每个应用组包括:满足互信息和条件互信息的三个应用。
在本实施例的网络系统中,对于该网络系统中满足互信息和条件互信息的任意三个应用形成的应用组,假设这三个应用分别为第一应用、第二应用和第三应用,第一应用与第二应用和第三应用之间可以进行数据传输,而第二应用和第三应用之间不会进行数据传输,即第一应用与第二应用、第一应用与第三应用具有关联关系,第二应用和第三应用不具有关联关系。根据互信息和条件互信息的定义,在本实施例中,该互信息可以表示第二应用与第三应用间的相互依赖性,该条件互信息可以表示为在第一应用作为条件时,第二应用与第三应用间的相互依赖性。
相应的,对于所有应用形成的至少一个应用组,根据应用之间的数据传输方向,将数据发出方和数据接收方之间的数据传输关系称为因果关系,即数据发出方发出数据称为因,数据接收方接收数据称为果,所以,根据网络系统中的至少一个应用组,可以得到该应用拓扑图中具有因果关系的至少一个V结构。
步骤64:根据上述至少一个V结构以及每个应用的应用资源指标,生成该网络系统的贝叶斯网络结构。
在实施例中,V结构可以表示应用之间的相互依赖关系,即在获取到应用拓扑图中具有因果关系的至少一个V结构后,可以确定出应用之间的关联关系。再根据该网络系统主机中存储的每个应用的应用资源指标,可以确定出该主机与哪些应用具有关联关系,所以,根据应用之间的关联关系和主机与应用之间的关联关系可以生成该网络系统的贝叶斯网络结构。
本申请实施例提供的基于运维管理的问题定位方法,简化了贝叶斯网络结构生成的计算复杂度,提高了贝叶斯网络结构的精确度,相应的提高了运维管理中的问题定位准确度。
在上述实施例的基础上,图7为本申请实施例提供的基于运维管理的问题定位方法实施例四的流程图。如图7所示,在本实施例中,上述步骤63(针对所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构)可以通过如下步骤实现:
步骤71:针对每个应用组,将该应用组中的第一应用作为条件,获取该应用组中第二应用和第三应用之间的第一特征值。
其中,该第一特征值为第二应用和第三应用相对第一应用的条件互信息与第二应用和第三应用的互信息的比值。
在本实施例中,对于网络系统的每个应用组,假设,每个应用组中的三个应用分别为第一应用(用Xk表示)、第二应用(用Xm表示)和第三应用(用Xn表示)。
若第一应用Xk、第二应用Xm和第三应用Xn具有如下关系:第二应用Xm和第一应用Xk之间存在无向边,第三应用Xn和第一应用Xk之间也存在无向边,而第二应用Xm和第三应用Xn之间不存在无向边,此时,形成了Xm-Xk-Xn结构,即认为Xm、Xk、Xn可能形成一个V结构,并通过第一特征值来判断是否为V结构。本实施例中,两个应用之间存在无向边是指两个应用之间具有数据传输的可能,两个应用之间不存在无向边是指两个应用之间不具有数据传输的可能。
在本实施例中,第二应用Xm和第三应用Xn相对第一应用Xk的条件互信息可以用I(Xm;Xn|Xk)表示,第二应用Xm和第三应用Xn的互信息可以用I(Xm;Xn)表示,相应的,第一特征值可以用表示。
步骤72:判断该第一特征值是否大于预设的特征值阈值。
该网络系统中预设有形成V结构的特征值阈值,因而,当获取到应用组中的第二应用和第三应用之间的第一特征值后,将该第一特征值与预设的特征值阈值进行比较,判断第一特征值是否大于预设的特征值阈值,若是,认为该第一应用、第二应用和第三应用可以形成一个V结构,否则,认为该第一应用、第二应用和第三应用不能形成V结构。
其中,该特征值阈值可以是大于1的数值,也可以表示成1+δ的形式,其中,δ>0。
步骤73:若该第一特征值大于该特征值阈值,则控制第二应用和第三应用均指向第一应用,第一应用、第二应用和第三应用形成一个V结构。
当第一特征值大于特征值阈值,即且第一应用Xk、第二应用Xm具有因果关系Xm→Xk,即第一应用Xk可以接收第二应用Xm传输的数据,第二应用Xm和第三应用具有因果关系Xn→Xk,即第一应用Xk可以接收第三应用Xn传输的数据时,这样第二应用Xm和第三应用Xn的数据流均指向第一应用Xk,可以解释为第一应用Xk、第二应用Xm和第三应用Xn具有因果关系Xm→Xk和Xn→Xk(碰撞识别),这时可以认为第一应用Xk、第二应用Xm和第三应用Xn形成一个V结构(Xm→Xk←Xn)。
其中,第二应用Xm和第三应用Xn的互信息可以用如下公式表示:
第二应用Xm和第三应用Xn相对第一应用Xk的条件互信息可以用如下公式表示:
例如,图8为网络系统中的多个应用形成的V结构的示意图。如图8所示,服务连接器(Tomcat)、分布式存储系统(hbase)、开源框架(Hadoop)可以形成一个V结构,定义为第一V结构,在该第一V结构中,Tomcat和Hadoop均指向hbase。分布式存储系统(hbase)、开源框架(Hadoop)以及分布式应用程序协同服务(zookeeper)也可以形成一个V结构,定义为第二V结构,在该第二V结构中,hbase和zookeeper均指向Hadoop。服务连接器(Tomcat)、搜索应用服务器(Solr)、数据处理分发系统(nifi)也可以形成一个V结构,定义为第三V结构,在该第三V结构中,Tomcat和nifi均指向Solr。
本申请实施例提供的基于运维管理的问题定位方法,可以得到应用拓扑图中具有因果关系的至少一个V结构,为后续得到贝叶斯网络结构提供了实现可能。
在本实施例中,上述至少一个V结构可以包括:一个V结构和至少两个V结构。作为一种示例,图9为本申请实施例提供的基于运维管理的问题定位方法实施例五的流程图。如图9所示,若上述至少一个V结构包括:至少两个V结构,则该基于运维管理的问题定位方法还可以包括如下步骤:
步骤91:若第一V结构的一条边和第二V结构的一条边存在方向冲突,则获取该第一V结构对应的第一特征值以及该第二V结构对应的第二特征值。
其中,该第一V结构和该第二V结构为至少两个V结构中的任意两个。
在本申请实施例中,若第一应用Xk、第二应用Xm和第三应用Xn形成第一V结构(Xm→Xk←Xn),第一应用Xk、第三应用Xn和第四应用Xi形成第二V结构(Xk→Xn←Xi),这时,第一V结构(Xm→Xk←Xn)中的因果关系Xn→Xk和第二V结构(Xk→Xn←Xi)中的因果关系Xk→Xn存在方向冲突。
例如,参照上述图8所示,第一V结构的一条边与第二V结构的一条边存在方向冲突。
本实施例中,在两个V结构的边存在方向冲突时,可以通过获取第一V结构(Xm→Xk←Xn)对应的第一特征值和第二V结构(Xk→Xn←Xi)对应的第二特征值并据该第一特征值和第二特征值确定应该保留哪个V结构。
相应的,该步骤91可以位于上述步骤63之后,即在获取该应用拓扑图中具有因果关系的至少一个V结构之后,再判断两个V结构的边是否存在方向冲突问题。
步骤92:比较上述第一特征值和第二特征值的大小,保留较大特征值对应的V结构,该较大特征值为第一特征值和第二特征值中特征值较大的一个。
在本实施例中,为了保证贝叶斯网络结构的准确度,任意两个V结构的边不能存在方向冲突,且由于V结构对应的特征值可以表示该V结构的重要性,特征值越大,重要性越高,因而,可以根据V结构对应的特征值的大小,确定应该保留哪个V结构。故在本实施例中,可以判断第一特征值和第二特征值的大小关系,保留两者之中的较大值。
例如,对于图8所示的示意图,若第一V结构对应的第一特征值大于第二V结构对应的第二特征值,此时,保留第一V结构,删除第二V结构。若第一V结构对应的第一特征值小于第二V结构对应的第二特征值,则保留第二V结构,删除第一V结构。
相应的,在本实施例中,如图9所示,上述步骤64(根据上述至少一个V结构以及每个应用的应用资源指标,生成该网络系统的贝叶斯网络结构)可以通过如下步骤实现:
步骤93:根据上述至少一个V结构将该应用拓扑图中的无方向边删除,并根据每个应用的应用资源指标将应用之间的指向进行连通,得到该网络系统的贝叶斯网络结构。
例如,图10为图8所示的网络系统中删除应用拓扑图中的无方向边后的示意图。图11为图8所示的网络系统中生成的完整贝叶斯网络结构示意图。如图10所示的,首先可以将图8所示的网络系统中应用拓扑图中的无方向边删除,仅保留完整的V结构。在本实施例中,根据主机中存储的每个应用对应的应用资源指标可知,主机(10.0.67.14)与应用容器引擎、服务连接器具有关联关系,主机(10.0.67.21)与数据处理分发系统、关系型数据库管理系统、监控告警工具系统、分布式应用程序协同服务、开源框架、分布式内存对象缓存系统具有关联关系,因而,在将该应用拓扑图中的无方向边删除后,再将每个主机与有关联关系的应用进行连通,进而可以得到贝叶斯网络结构,参照图11所示。
在本申请实施例中,当第一V结构的一条边和第二V结构的一条边存在方向冲突时,获取该第一V结构对应的第一特征值以及该第二V结构对应的第二特征值,保留两个特征值中较大特征值对应的V结构,最后根据应用拓扑图中具有因果关系的至少一个V结构将该应用拓扑图中的无方向边删除,并结合根据每个应用的应用资源指标将应用之间的指向进行连通,得到该网络系统的贝叶斯网络结构,其简化了计算复杂度,降低了资源消耗,提高了贝叶斯网络结构的精确度。
值得说明的是,本申请实施例的基于运维管理的问题定位方法,网络系统中应用间的网络连接关系是生成贝叶斯网络结构的基础,与纯结构化的数据学习网络结构相比,更具有现实意义,并在生成过程中,将局部因果关系包含在最终的贝叶斯网络结构中,辅助推理过程,解决了实际应用环境中应用的资源指标之间贝叶斯网络生成的问题,从而提高了运维管理领域的问题定位准确度。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图12为本申请实施例提供的基于运维管理的问题定位装置实施例一的结构示意图。该基于运维管理的问题定位装置可以集成在电子设备中,也可以为一电子设备,可以集成在服务器中,也可以为一服务器。如图12所示,该装置可以包括:获取模块121、处理模块122和定位模块123。
其中,该获取模块121,用于获取所述运维管理对应网络系统中的所有应用的数据流。
该处理模块122,用于根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构。
该定位模块123,用于利用所述贝叶斯网络结构,定位所述网络系统存在的问题。
在本实施例的一种可能实现方式中,该获取模块121,用于获取所述运维管理对应网络系统中的所有应用的数据流,具体为:
该获取模块121,具体用于监控所述网络系统中应用端口之间的数据调用信息,获取每个应用的端口调用数据,根据每个应用的端口调用数据,获取每个应用的数据流。
在本实施例的另一种可能实现方式中,该处理模块122,用于根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,具体为:
该处理模块122,具体用于根据所述网络系统中的所有应用的数据流,确定所述所有应用之间的网络连接关系,根据所述所有应用之间的网络连接关系,获取所述网络系统的应用拓扑图,针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,每个所述应用组包括:满足互信息和条件互信息的三个应用,根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构。
进一步的,在该种可能实现方式中,该处理模块122,用于针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,具体为:
该处理模块122,具体用于针对每个应用组,将所述应用组中的第一应用作为条件,获取所述应用组中第二应用和第三应用之间的第一特征值,判断所述第一特征值是否大于预设的特征值阈值,若所述第一特征值大于所述特征值阈值,则控制所述第二应用和所述第三应用均指向所述第一应用,所述第一应用、所述第二应用和所述第三应用形成一个V结构,其中,所述第一特征值为所述第二应用和所述第三应用相对所述第一应用的条件互信息与所述第二应用和所述第三应用的互信息的比值。
在本实施例的再一种可能实现方式中,所述至少一个V结构包括:一个V结构和至少两个V结构,若所述至少一个V结构包括:至少两个V结构,则该处理模块122,还用于在第一V结构的一条边和第二V结构的一条边存在方向冲突时,获取所述第一V结构对应的第一特征值以及所述第二V结构对应的第二特征值,比较所述第一特征值和所述第二特征值的大小,保留较大特征值对应的V结构,所述第一V结构和所述第二V结构为所述至少两个V结构中的任意两个,所述较大特征值为所述第一特征值和所述第二特征值中特征值较大的一个。
在本实施例的上述可能实现方式中,该处理模块122,用于根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,具体为:
该处理模块122,具体用于根据所述至少一个V结构将所述应用拓扑图中的无方向边删除,并根据每个所述应用的应用资源指标将应用之间的指向进行连通,得到所述网络系统的贝叶斯网络结构。
本申请实施例提供的装置,可用于执行图3、图4、图6、图7和图9所示实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,确定模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图13为本申请实施例提供的基于运维管理的问题定位装置实施例二的结构示意图。如图13所示,该装置可以包括:处理器131和存储器132及存储在所述存储器132上并可在所述处理器131上运行的计算机程序,所述处理器131执行所述计算机程序时实现如上述图2、图3、图6和图8所示实施例的方法。
本申请实施例还提供一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如上述图3、图4、图6、图7和图9所示实施例的方法。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系;在公式中,字符“/”,表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中,a,b,c可以是单个,也可以是多个。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。
可以理解的是,在本申请的实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种基于运维管理的问题定位方法,其特征在于,包括:
获取所述运维管理对应网络系统中的所有应用的数据流;
根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构;
利用所述贝叶斯网络结构,定位所述网络系统存在的问题。
2.根据权利要求1所述的方法,其特征在于,所述获取所述运维管理对应网络系统中的所有应用的数据流,包括:
监控所述网络系统中应用端口之间的数据调用信息,获取每个应用的端口调用数据;
根据每个应用的端口调用数据,获取每个应用的数据流。
3.根据权利要求1所述的方法,其特征在于,所述根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,包括:
根据所述网络系统中的所有应用的数据流,确定所述所有应用之间的网络连接关系;
根据所述所有应用之间的网络连接关系,获取所述网络系统的应用拓扑图;
针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,每个所述应用组包括:满足互信息和条件互信息的三个应用;
根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构。
4.根据权利要求3所述的方法,其特征在于,所述针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,包括:
针对每个应用组,将所述应用组中的第一应用作为条件,获取所述应用组中第二应用和第三应用之间的第一特征值,所述第一特征值为所述第二应用和所述第三应用相对所述第一应用的条件互信息与所述第二应用和所述第三应用的互信息的比值;
判断所述第一特征值是否大于预设的特征值阈值;
若所述第一特征值大于所述特征值阈值,则控制所述第二应用和所述第三应用均指向所述第一应用,所述第一应用、所述第二应用和所述第三应用形成一个V结构。
5.根据权利要求3或4所述的方法,其特征在于,所述至少一个V结构包括:一个V结构和至少两个V结构,若所述至少一个V结构包括:至少两个V结构,则所述方法还包括:
若第一V结构的一条边和第二V结构的一条边存在方向冲突,则获取所述第一V结构对应的第一特征值以及所述第二V结构对应的第二特征值,所述第一V结构和所述第二V结构为所述至少两个V结构中的任意两个;
比较所述第一特征值和所述第二特征值的大小,保留较大特征值对应的V结构,所述较大特征值为所述第一特征值和所述第二特征值中特征值较大的一个。
6.根据权利要求5所述的方法,其特征在于,所述根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,包括:
根据所述至少一个V结构将所述应用拓扑图中的无方向边删除,并根据每个所述应用的应用资源指标将应用之间的指向进行连通,得到所述网络系统的贝叶斯网络结构。
7.一种基于运维管理的问题定位装置,其特征在于,包括:获取模块、处理模块和定位模块;
所述获取模块,用于获取所述运维管理对应网络系统中的所有应用的数据流;
所述处理模块,用于根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构;
所述定位模块,用于利用所述贝叶斯网络结构,定位所述网络系统存在的问题。
8.根据权利要求7所述的装置,其特征在于,所述处理模块,用于根据所述所有应用的数据流以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构,具体为:
所述处理模块,具体用于根据所述网络系统中的所有应用的数据流,确定所述所有应用之间的网络连接关系,根据所述所有应用之间的网络连接关系,获取所述网络系统的应用拓扑图,针对所述所有应用形成的至少一个应用组,获取所述应用拓扑图中具有因果关系的至少一个V结构,每个所述应用组包括:满足互信息和条件互信息的三个应用,根据所述至少一个V结构以及每个所述应用的应用资源指标,生成所述网络系统的贝叶斯网络结构。
9.一种基于运维管理的问题定位装置,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述权利要求1-6任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质中存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811135942.5A CN109409411B (zh) | 2018-09-28 | 2018-09-28 | 基于运维管理的问题定位方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811135942.5A CN109409411B (zh) | 2018-09-28 | 2018-09-28 | 基于运维管理的问题定位方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109409411A true CN109409411A (zh) | 2019-03-01 |
CN109409411B CN109409411B (zh) | 2020-11-03 |
Family
ID=65465382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811135942.5A Active CN109409411B (zh) | 2018-09-28 | 2018-09-28 | 基于运维管理的问题定位方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109409411B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114024835A (zh) * | 2021-11-02 | 2022-02-08 | 中邮科通信技术股份有限公司 | 一种异常定位方法和装置 |
CN114418101A (zh) * | 2022-01-11 | 2022-04-29 | 中国人民解放军国防科技大学 | 一种贝叶斯网络推理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973484A (zh) * | 2014-04-29 | 2014-08-06 | 上海上讯信息技术股份有限公司 | 一种基于网络拓扑结构的运维管理系统 |
US20160092808A1 (en) * | 2014-09-25 | 2016-03-31 | Yu Cheng | Predictive maintenance for critical components based on causality analysis |
CN106326585A (zh) * | 2016-08-29 | 2017-01-11 | 东软集团股份有限公司 | 基于贝叶斯网络推理的预测分析方法以及装置 |
CN108063676A (zh) * | 2016-11-08 | 2018-05-22 | 中国移动通信集团山西有限公司 | 通信网络故障预警方法及装置 |
CN108491422A (zh) * | 2018-02-07 | 2018-09-04 | 平安健康互联网股份有限公司 | 数据库自动化运维管理方法、服务器及存储介质 |
-
2018
- 2018-09-28 CN CN201811135942.5A patent/CN109409411B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973484A (zh) * | 2014-04-29 | 2014-08-06 | 上海上讯信息技术股份有限公司 | 一种基于网络拓扑结构的运维管理系统 |
US20160092808A1 (en) * | 2014-09-25 | 2016-03-31 | Yu Cheng | Predictive maintenance for critical components based on causality analysis |
CN106326585A (zh) * | 2016-08-29 | 2017-01-11 | 东软集团股份有限公司 | 基于贝叶斯网络推理的预测分析方法以及装置 |
CN108063676A (zh) * | 2016-11-08 | 2018-05-22 | 中国移动通信集团山西有限公司 | 通信网络故障预警方法及装置 |
CN108491422A (zh) * | 2018-02-07 | 2018-09-04 | 平安健康互联网股份有限公司 | 数据库自动化运维管理方法、服务器及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114024835A (zh) * | 2021-11-02 | 2022-02-08 | 中邮科通信技术股份有限公司 | 一种异常定位方法和装置 |
CN114418101A (zh) * | 2022-01-11 | 2022-04-29 | 中国人民解放军国防科技大学 | 一种贝叶斯网络推理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109409411B (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Habeeb et al. | Real-time big data processing for anomaly detection: A survey | |
Zhang et al. | Crowdlearn: A crowd-ai hybrid system for deep learning-based damage assessment applications | |
CN111858123B (zh) | 基于有向图网络的故障根因分析方法和装置 | |
Yang et al. | A time efficient approach for detecting errors in big sensor data on cloud | |
US20230376362A1 (en) | Systems and methods for synthetic data generation for time-series data using data segments | |
US11614989B2 (en) | Method and apparatus for intelligent operation management of infrastructure | |
US20210019674A1 (en) | Risk profiling and rating of extended relationships using ontological databases | |
US20150254158A1 (en) | Event correlation | |
US11250073B2 (en) | Method and apparatus for crowdsourced data gathering, extraction, and compensation | |
CN107610770A (zh) | 用于自动化诊断的问题生成系统和方法 | |
US20180276508A1 (en) | Automated visual information context and meaning comprehension system | |
US20210406288A1 (en) | Novelty detection system | |
Dogan et al. | Segmentation of indoor customer paths using intuitionistic fuzzy clustering: Process mining visualization | |
CN112583640A (zh) | 一种基于知识图谱的服务故障检测方法及装置 | |
CN109409411A (zh) | 基于运维管理的问题定位方法、装置及存储介质 | |
US7937347B2 (en) | Method and apparatus for component association inference, failure diagnosis and misconfiguration detection based on historical failure data | |
Agrawal et al. | Analyzing and predicting failure in hadoop clusters using distributed hidden markov model | |
CN107909496A (zh) | 社交网络中用户影响力分析方法、装置及电子设备 | |
CN114900435B (zh) | 一种连接关系预测方法及相关设备 | |
CN115514627A (zh) | 一种故障根因定位方法、装置、电子设备及可读存储介质 | |
US20220188689A1 (en) | Graph-to-signal domain based data interconnection classification system and method | |
US9158807B2 (en) | Fast distributed database frequency summarization | |
Costa et al. | A three level sensor ranking method based on active perception | |
Ramoliya et al. | Advanced techniques to predict and detect cloud system failure: A survey | |
Lakshman Narayana et al. | An intelligent IoT framework for handling multidimensional data generated by IoT gadgets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |