CN111126824B - 多指标关联模型训练方法及多指标异常分析方法 - Google Patents
多指标关联模型训练方法及多指标异常分析方法 Download PDFInfo
- Publication number
- CN111126824B CN111126824B CN201911317921.XA CN201911317921A CN111126824B CN 111126824 B CN111126824 B CN 111126824B CN 201911317921 A CN201911317921 A CN 201911317921A CN 111126824 B CN111126824 B CN 111126824B
- Authority
- CN
- China
- Prior art keywords
- index
- wireless network
- kpi
- association
- fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004458 analytical method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 title claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 72
- 230000005856 abnormality Effects 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims description 57
- 230000015654 memory Effects 0.000 claims description 21
- 238000010219 correlation analysis Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 208000018910 keratinopathic ichthyosis Diseases 0.000 claims 26
- 238000010586 diagram Methods 0.000 description 11
- 238000012098 association analyses Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000007621 cluster analysis Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- KJONHKAYOJNZEC-UHFFFAOYSA-N nitrazepam Chemical compound C12=CC([N+](=O)[O-])=CC=C2NC(=O)CN=C1C1=CC=CC=C1 KJONHKAYOJNZEC-UHFFFAOYSA-N 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000010220 Pearson correlation analysis Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明实施例提供了多指标关联模型训练方法及多指标异常分析方法。该方法包括：获取无线网络小区的历史关键绩效指标KPI和无线网络小区的故障信息；确定历史KPI中的异常历史KPI与故障信息的关联关系信息；根据关联关系信息，确定多指标关联模型，多指标关联模型能够提高网络指标异常与无线网络小区故障的关联的分析效率，快速确定无线网络小区故障的原因。
Description
技术领域
本发明涉及无线网络技术领域，尤其涉及一种多指标关联模型训练方法及多指标异常分析方法。
背景技术
目前，运营商的无线网络质量监控和分析主要依赖于对关键绩效指标(KeyPerformance Indicator，KPI)的阈值分析以及人工梳理大量数据的综合分析，无线网络故障大多是由网络指标异常引起，而网络指标的异常通常依靠人工经验统一设置阈值。但是，无线网络中包括大量的网络指标，仅仅依靠人工经验统一设置阈值来分析海量数据，确定无线网络故障，工作量大，效率低。
发明内容
本发明实施例提供了一种多指标关联模型训练方法及多指标异常分析方法，能够解决目前网络指标异常与无线网络小区故障的关联的分析效率低下。
第一方面，提供了一种多指标关联模型训练方法，该方法包括：
获取无线网络小区的历史关键绩效指标KPI和无线网络小区的故障信息；
确定历史KPI中的异常历史KPI与故障信息的关联关系信息；
根据关联关系信息，确定多指标关联模型。
在一种可能的实现方式中，故障信息包括故障时间；确定历史KPI中的异常历史KPI与故障信息的关联关系信息，包括：
对异常历史KPI进行聚类，得到指标聚类结果；
根据指标聚类结果，确定无线网络小区的指标模型；指标模型用于确定每个异常历史KPI在不同时刻的异常度；
根据故障时间，对故障信息和每个异常历史KPI在不同时刻的异常度进行皮尔森相关性分析，确定异常历史KPI与故障信息的关联关系信息。
第二方面，提供了一种多指标异常分析方法，该方法包括：
获取无线网络小区的多个实时KPI；
对每个实时KPI进行指标异常检测，得到异常实时KPI；
将异常实时KPI输入至多指标关联模型，确定异常实时KPI的关联检测结果；
根据关联检测结果，确定无线网络小区的故障事件；
其中，多指标关联模型为第一方面的方法确定的多指标关联模型。
在一种可能的实现方式中，该方法还包括：
当检测到具有故障事件的无线网络小区被投诉该无线网络小区网络故障时，删除被投诉网络故障的无线网络小区。
在一种可能的实现方式中，该方法还包括：
根据多个实时KPI的关联检测结果，调整多指标关联模型的参数。
第三方面，提供了一种多指标关联模型训练装置，该装置包括：
获取模块，用于获取无线网络小区的历史关键绩效指标KPI和无线网络小区的故障信息；
信息确定模块，用于确定历史KPI中的异常历史KPI与故障信息的关联关系信息；
模型确定模块，用于根据关联关系信息，确定多指标关联模型。
在一种可能的实现方式中，故障信息包括故障时间；信息确定模块，用于：
对异常历史KPI进行聚类，得到指标聚类结果；
根据指标聚类结果，确定无线网络小区的指标模型；指标模型用于确定每个异常历史KPI在不同时刻的异常度；
根据故障时间，对故障信息和每个异常历史KPI在不同时刻的异常度进行皮尔森相关性分析，确定异常历史KPI与故障信息的关联关系信息。
第四方面，提供了一种多指标异常分析装置，其特征在于，装置包括：
获取模块，用于获取无线网络小区的多个实时KPI；
检测模块，用于对每个实时KPI进行指标异常检测，得到异常实时KPI；
结果确定模块，用于将异常实时KPI输入至多指标关联模型，确定异常实时KPI的关联检测结果；
事件确定模块，用于根据关联检测结果，确定无线网络小区的故障事件；
其中，多指标关联模型为上述第一方面的方法确定的多指标关联模型。
在一种可能的实现方式中，该装置还包括删除模块，用于：
当检测到具有故障事件的无线网络小区被投诉该无线网络小区网络故障时，删除被投诉网络故障的无线网络小区。
在一种可能的实现方式中，该装置还包括调整模块，用于：
根据多个实时KPI的关联检测结果，调整多指标关联模型的参数。
第五方面，本发明实施例提供了一种设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面或者第一方面任一可能实现方式的方法，或者当计算机程序指令被处理器执行时实现第二方面或者第二方面任一可能实现方式的方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现第一方面或者第一方面任一可能实现方式的方法，或者当计算机程序指令被处理器执行时实现第二方面或者第二方面任一可能实现方式的方法。
基于提供的多指标关联模型训练方法及多指标异常分析方法，通过获取无线网络小区的历史关键绩效指标KPI和无线网络小区的故障信息；确定历史KPI中的异常历史KPI与故障信息的关联关系信息；根据关联关系信息，确定多指标关联模型，多指标关联模型能够提高网络指标异常与无线网络小区故障的关联的分析效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明一些实施例提供的一种多指标关联模型训练方法的流程示意图；
图2是根据本发明一些实施例提供的一种确定历史KPI中的异常历史KPI与故障信息的关联关系信息的方法流程示意图；
图3是本发明一些实施例提供的一种多指标异常分析方法的流程示意图；
图4是本发明一些实施例提供的一种无线网络小区故障信息查询界面的结构示意图；
图5是本发明一些实施例提供的一种无线网络小区故障信息展示界面的结构示意图；
图6是根据本发明一些实施例提供的一种多指标关联模型训练装置的结构示意图；
图7是根据本发明一些实施例提供的一种多指标异常分析装置的结构示意图；
图8是根据本发明一些实施例提供的一种多指标异常检测系统的结构示意图；
图9是根据本发明一些实施例提供的多指标关联模型对多个KPI进行关联分析的示意图；
图10是根据本发明一些实施例提供的一种进行无线网络小区隐性故障检测方法的流程示意图；
图11是根据本发明一些实施例提供的一种设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前，运营商的无线网络质量监控和分析主要依赖于对KPI的阈值分析以及人工梳理大量数据的综合分析，无线网络故障大多是由网络指标异常引起，而网络指标的异常通常依靠人工经验统一设置阈值。但是，无线网络中包括大量的网络指标，因此，仅仅依靠人工经验统一设置阈值来分析海量数据，工作量大。
因此，本发明实施例提供了一种多指标关联模型训练方法及多指标异常分析方法，可以提高网络指标异常与无线网络小区故障的关联的分析效率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种多指标关联模型训练方法进行详细介绍。
图1所示是本发明实施例提供了一种多指标关联模型训练方法。如图1所示，该方法可以包括：
S101：获取无线网络小区的历史KPI和无线网络小区的故障信息。
在本发明的一个实施例中，历史KPI为模型训练的数据源，可以包括网络优化平台、Measurement Report（MR，测量报告）平台和综合监控系统等对应的数据中的业务指标、性能指标和告警等无线网络运行数据，包括但不限于下述如表1中所列举的数据。
无线网络小区故障信息可以包括无线网络小区发生故障时的告警标题、告警实际发生时间、告警实际清除时间、告警统计起始时间、覆盖类型、退服等级等等。告警标题为演进型基站（eNodeB），那么无线网络小区出现故障的节点为演进型基站。网络的覆盖类型包括室内和室外。故障工单中若覆盖类型为室外，则基站故障导致室外网络不稳定，说明用户在室外进行通话时，通话质量很差。又比如，退服等级表示基站天线覆盖范围内信号会终端或者严重变弱。
为了确定影响无线网络小区故障时的KPI，需要发生故障的无线网络小区的历史KPI和无线网络小区的故障信息。
作为一个示例，获取到历史KPI后，为了能够获取的多指标关联模型进行KPI异常检测得到的结果更加精准，还需要对历史KPI进行空值插补和数据归一等数据处理，从而将历史KPI转化为标准化的训练数据。
S102：确定历史KPI中的异常历史KPI与故障信息的关联关系信息。
在本发明的一个实施例中，为了确定影响无线网络小区故障时的KPI，需要确定历史KPI中是否存在异常历史KPI。异常历史KPI是指与历史KPI的指标走势偏离程度严重的历史KPI。然后确定异常历史KPI与无线网络小区故障信息的关联关系。
作为一个示例，可以采用长短期记忆神经网络和孤立森林算法分析历史KPI，进而得到历史KPI的指标走势。根据历史KPI的指标走势，对每个历史KPI进行异常检测。例如，根据历史KPI的指标走势，检测每个历史KPI是否偏离历史KPI的指标走势。如果存在某个KPI与历史KPI的指标走势的偏离程度比较严重，那么该KPI异常。
在这里，每个历史KPI都对无线网络小区故障都有一定的影响，而无线网络小区的故障实际是多个KPI异常引起的。那么，为了能够更精准的确定每个异常历史KPI是否是影响无线网络小区故障的因素，需要对历史异常KPI进行多指标关联分析。
如图2所示，确定历史KPI中的异常历史KPI与故障信息的关联关系信息，包括：
S201：对异常历史KPI进行聚类，得到指标聚类结果。
在本发明的一个实施例中，基于对单个历史KPI的关联检测结果，得到多个异常历史KPI，对异常历史KPI进行聚类分析。在这里，小区级别的无线网络的用户量较小，那么小区级的历史KPI存在较大的变动，例如，周期性呈现较差。而且，为了保证聚类分析结果与无线网络小区的关联分析的匹配准确率更高，提升最终多个异常历史KPI关联后进行故障监测的准确率，在本发明实施例中，可以采用基于密度的噪声应用空间聚类（Density-BasedSpatial Clustering of Applications with Noise，DBSCAN）算法，可以根据小区的多个异常历史KPI密度形态进行精准的聚类分析，得到聚类分析结果。
作为一个示例，在对异常历史KPI进行聚类分析之前，可以确定多个异常历史KPI的时序特征，然后对具有时序特征的异常历史KPI进行聚类分析，得到聚类分析结果。那么在对多个异常历史KPI进行聚类分析的过程中，实际是从密度和距离两个参数上进行分析的。多个异常历史KPI的密度实际上是通过多个异常历史KPI的时序来确定的。
S202：根据指标聚类结果，确定无线网络小区的指标模型；指标模型用于确定每个异常历史KPI在不同时刻的异常度。
在本发明的一个实施例中，根据聚类分析结果，构建无线网络小区的指标模型。其中，指标模型是能够表示每个异常历史KPI在不同时刻的异常度。在每个时刻，异常历史KPI呈现为不同的特征。
S203：根据故障时间，对故障信息和每个异常历史KPI在不同时刻的异常度进行皮尔森相关性分析，确定异常历史KPI与故障信息的关联关系信息。
在本发明的一个实施例中，无线网络小区的故障信息中包括无线网络小区出现故障的故障时间。指标模型中每个异常历史KPI都具有时刻特征。基于故障信息的故障时间，对故障信息和每个异常历史KPI在不同时刻的异常度进行相关性分析。例如，可以采用皮尔森相关性算法对故障信息和每个异常历史KPI进行相关性分析。
在这里，在对故障信息和异常历史KPI进行相关性分析过程中，实际是基于时间特征进行分析的，而故障信息对应的故障时间和异常历史KPI对应的不同时刻之间实际是等距线性关系。那么采用皮尔森相关性分析算法进行数据的反复训练，能够得到无线网络小区的异常历史KPI与无线网络小区的故障信息之间的关联关系信息。
在确定历史KPI中的异常历史KPI与故障信息的关联关系信息之后，即执行S102之后，执行S103，如图1所示。
S103：根据关联关系信息，确定多指标关联模型。
在本发明的一个实施例中，关联关系信息是指无线网络小区内多个异常历史KPI的异常度和无线网络小区的故障之间的关联的权重关系，根据关联的权重关系能够确定多指标关联模型。例如，对故障信息和异常历史KPI进行皮尔森相关性分析后，确定无线网络小区故障跟KPI中的流量、高干扰次数、质差类告警异常时有关。而流量异常与无线网络小区故障的关联度为0.3，高干扰次数异常与无线网络小区故障的关联度为0.45，质差类告警异常的与无线网络小区故障的关联度为0.25。那么每个指标的关联度即为多指标关联模型的参数。
本发明实施例通过对异常历史KPI和无线网络小区的故障信息进行关联性分析，确定多指标关联模型。基于多指标关联模型对无线网络进行故障分析，提高了网络指标异常与无线网络小区故障的关联的分析效率，快速确定无线网络小区故障的原因。
图3是本发明实施例提供的一种多指标异常分析方法的流程示意图。
如图3所示，该方法包括：
S301：获取无线网络小区的多个实时KPI。
在本发明的一个实施例中，无线网络故障是与KPI异常有关的，并且根据异常的KPI，能够确定无线网络故障的故障点。在进行网络故障分析之前，需要先获取无线网络小区的实时KPI。
S302：对每个实时KPI进行指标异常检测，得到异常实时KPI。
在本发明的一个实施例中，对多个实时KPI中的每个KPI进行异常检测，也就是单指标异常检测，得到异常实时KPI。在这里，可以采用图1对应的实施例中采用采用长短期记忆神经网络和孤立森林算法分析历史KPI，得到的历史KPI的指标走势检测实时KPI异常。例如，根据历史KPI的指标走势，检测每个实时KPI是否偏离历史KPI的指标走势。如果存在某个实时KPI与历史KPI的指标走势的偏离程度比较严重，那么该实时KPI异常。
S303：将异常实时KPI输入至多指标关联模型，确定异常实时KPI的关联检测结果。
在本发明的一个实施例中，在无线网络小区故障的情况下，异常实时KPI实际至少包括一个。如果异常实时KPI只有一个，那么这一个异常实时KPI则为影响无线网络小区故障的唯一因素。如果异常实时KPI包括多个，则需要多指标关联模型对多个异常实时KPI进行关联分析，确定不同的KPI异常导致无线网络小区故障的权重关系，得到关联检测结果。
在这里，多指标关联模型是通过如图1对应的实施例得到的多指标关联模型。
S304：根据多个实时KPI的关联检测结果，确定无线网络小区的故障事件。
在本发明的一个实施例中，关联检测结果是指不同的异常实时KPI影响无线网络小区故障的权重关系。结合多个实时异常指标的关联检测结果，对整个无线网络小区进行判定，输出小区级的故障事件。
在确定无线网络小区故障时间的过程中，采用如图4所示的界面进行故障事件查询。在图4中，控件名称包括查询、查看和导出。每一个控件对应的功能描述图表2所示。
其中，点击查询控件，可以根据在界面输入的查询条件查询对应的隐形故障小区列表。如需要查询江苏省南京市玄武区是否存在故障的无线网络小区，查询的结果如图4所示，江苏省南京市玄武区故障的无线网络小区包括总统府售票处M五期LE-2和1912蓝枪鱼四期LD-23。并确定了问题发生的时间、小区故障的持续时间等。若未查询到响应的信息，则查询结果为空。
对应每一个故障的无线网络小区的名称，还能够查看该隐形故障小区的KPI异常详情。点击导出控件能够见隐性故障的无线网络小区的信息导出，包括故障网络无线小区的小区名称、故障开始时间以及故障的具体描述等。如图5所示，查看1912蓝枪鱼四期LD-23的KPI异常详情包括：时间为2019.01.05 20:45:21进行了单指标异常检测，其中，KPI：空口上行业务字节数的期望值为98，而实际值只有0，那么空口上行业务字节数异常。时间为2019.01.05 21:06:21，对采用无监督的形式进行了多指标异常检测，得到多个指标的实际值，实际值为（25803，332381，7379，099，9770，0.97，0.00062，1，0，95，12）。在这里需要采用多指标关联模型进行多指标异常关联分析。如图5所示，其中，从空口上行业务字节数的分析可以看到，存在两个异常事件。时间为201901.0121:25:21进行了单指标异常检测，其中，KPI：无线资源控制（Radio Resource Control，RRC）连接建立完成次数，期望值为2460，而实际值为0。时间为2019.01.05 21:13:21，采用无监督的形式进行了多指标异常检测，得到多个指标的实际值，实际值为（25803，332381，7379，099，9770，0.97，0.00062，1，0，95，12）。如图5所示，其中，从RRC连接建立完成次数的分析可以看到，存在一个异常事件。
查询得到的故障的无线网络小区隐性故障无线网络小区，也就是，如果检测到具有故障事件的无线网络小区已经被投诉该无线网络小区网络故障，则该无线网络小区会被过滤掉，不作为隐性故障无线网络小区显示在界面中。
本发明实施例为了能够保证多指标关联模型在进行异常KPI关联分析的准确性，还会基于每次得到的关联检测结果，调整多指标关联模型的参数。
本发明实施例通过多指标关联模型对多个异常KPI进行关联分析，确定故障网络小区的故障事件，提高了网络指标异常与无线网络小区故障的关联的分析效率，快速确定无线网络小区故障的原因。
图6是本发明实施例提供的一种多指标关联模型训练装置的结构示意图。
如图6所示，多指标关联模型训练装置包括：获取模块601、信息确定模块602和模型确定模块603。
获取模块601，用于获取无线网络小区的历史关键绩效指标KPI和无线网络小区的故障信息；
信息确定模块602，用于确定历史KPI中的异常历史KPI与故障信息的关联关系信息；
模型确定模块603，用于根据关联关系信息，确定多指标关联模型。
可选的，故障信息包括故障时间；信息确定模块602，用于：
对异常历史KPI进行聚类，得到指标聚类结果；
根据指标聚类结果，确定无线网络小区的指标模型；指标模型用于确定每个异常历史KPI在不同时刻的异常度；
根据故障时间，对故障信息和每个异常历史KPI在不同时刻的异常度进行皮尔森相关性分析，确定异常历史KPI与故障信息的关联关系信息。
本发明实施例提供的多指标关联模型训练装置可以执行图1和图2所示的方法中的各个步骤，并能够达到提高了网络指标异常与无线网络小区故障的关联的分析效率，快速确定无线网络小区故障的原因的技术效果，为简洁描述，再此不在详细赘述。
图7是本发明实施例提供的一种多指标异常分析装置的结构示意图。
如图7所示，多指标异常分析装置包括：
获取模块701，用于获取无线网络小区的多个实时KPI；
检测模块702，用于对每个实时KPI进行指标异常检测，得到异常实时KPI；
结果确定模块703，用于将异常实时KPI输入至多指标关联模型，确定异常实时KPI的关联检测结果；
事件确定模块704，用于根据关联检测结果，确定无线网络小区的故障事件；
其中，多指标关联模型为多指标关联模型训练方法确定的多指标关联模型。
可选的，该装置还包括删除模块，用于：
当检测到具有故障事件的无线网络小区被投诉该无线网络小区网络故障时，删除被投诉网络故障的无线网络小区。
可选的，该装置还包括调整模块，用于：
根据多个实时KPI的关联检测结果，调整多指标关联模型的参数。
本发明实施例提供的多指标关联模型训练装置可以执行图3所示的方法中的各个步骤，并能够达到提高了网络指标异常与无线网络小区故障的关联的分析效率，快速确定无线网络小区故障的原因的技术效果，为简洁描述，再此不在详细赘述。
图8是本发明实施例提供的一种多指标异常检测系统的结构示意图。
如图8所示，多指标异常检测系统包括：异常检测模块801、机器学习引擎802、数据读写模块803、数据源管理模块804、数据源存储模块805、标注模块806。
其中，数据源存储模块805，用于存储无线网络运行数据，包括，网络优化平台、MR平台和综合监控系统等对应的数据中的业务指标、性能指标和告警等无线网络运行数据。
数据读写模块803，用于进行数据采集、数据组合等。
数据源管理模块804，用于数据源管理，例如，数据源的新增、删除和修改。
机器学习引擎802，用于管理数据的训练任务。包括对训练数据的空值插补、归一化等预处理、对训练数据进行周期性检测和采用训练数据进行模型训练，得到多指标关联模型。机器学习引擎802中包括中算法库，如机器学习算法TensorFlow等。
标注模块806，用于标注异常KPI。
异常检测模块801，用于对小区内的单个性能指标，自动完成单指标异常检测。基于单指标异常检测的基础，在每个无线小区内包含多个性能指标的情况下，系统支持通过关联分析算法（皮尔森关联分析），学习多个单指标异常和历史故障工单发生的关联关系度，动态构建多指标关联模型，此模型可以持续更新。采用多指标关联模型，对于多个实时指标进行关联异常检测，对小区级的隐性故障进行自动发现，并触发告警进行提前应对处理。
多指标异常检测系统中的检测结果都通过前台页面显示。
如图9所示，根据历史故障工单，在多个历史故障时间点，分析每个时间点处，无线小区中多个KPI的异常情况，包括：小区指标1，流量、小区指标2，用户数、小区指标3，网络覆盖质量、小区指标N，干扰等KPI。根据每个KPI的异常在无线网络小区故障中的权重。通过长期的无线小区历史故障学习，和全面的无线网络小区KPI异常的关联学习，持续更新多指标关联模型。
图10是本发明实施例进行无线网络小区隐性故障检测方法的流程示意图。
基于上述多指标异常检测系统，多指标异常检测系统完成无线网络小区隐性故障检测的方法流程如图10所示。
S1010：KPI预处理；KPI预处理包括对KPI进行空值插补、数据归一化等数据处理。
S1020：指标异常检测；指标异常检测包括单指标异常检测和多指标异常检测。
S1021：单指标异常检测；采用长短期记忆神经网络（Long Short-Term Memory，LSTM）和孤立森林算法分析历史KPI，进而得到历史KPI的指标走势。根据历史KPI的指标走势，对每个历史KPI进行异常检测。
S1022：多指标异常检测；通过对异常多指标进行聚类，如DBScan或均值漂移（MeanShift）算法和皮尔森关联分析，分析无线网络小区故障工单与多个指标异常的关联关系，并基于该关联关系构建多指标关联模型。
S1030：结果汇聚；采用多指标关联模型对异常实时KPI进行关联分析，判断无线网络小区的故障事件。
S1040：异常过滤；机器学习分析的小区级故障，可能有些已经体现在已知的告警中。需要将已经被告警的无线网络小区过滤掉，也即，结合告警数据，过滤掉告警时刻检测到的显性故障，得到隐性故障网络小区。
本发明实施例提高了网络指标异常与无线网络小区故障的关联的分析效率。
图11示出了本发明实施例提供的设备的硬件结构示意图。
设备可以包括处理器1101以及存储有计算机程序指令的存储器1102。
具体地，上述处理器1101可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器1102可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1102可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1102可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1102可在数据处理装置的内部或外部。在特定实施例中，存储器1102是非易失性固态存储器。在特定实施例中，存储器1102包括只读存储器（ROM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。
处理器1101通过读取并执行存储器1102中存储的计算机程序指令，以实现上述实施例中的任意一种多指标关联模型训练方法和多指标异常分析方法。
在一个示例中，设备还可包括通信接口1103和总线1110。其中，如图11所示，处理器1101、存储器1102、通信接口1103通过总线1110连接并完成相互间的通信。
通信接口1103，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线1110包括硬件、软件或两者，将设备的部件彼此耦接在一起。举例来说而非限制，总线可包括增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1110可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
另外，结合上述实施例中的多指标关联模型训练方法和多指标异常分析方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种多指标关联模型训练方法和多指标异常分析方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种多指标关联模型训练方法，其特征在于，所述方法包括：
获取无线网络小区的历史关键绩效指标KPI和所述无线网络小区的故障信息；
确定历史KPI中的异常历史KPI与所述故障信息的关联关系信息；
根据所述关联关系信息，确定多指标关联模型；
所述故障信息包括故障时间；所述确定历史KPI中的异常历史KPI与所述故障信息的关联关系信息，包括：
对所述异常历史KPI进行聚类，得到指标聚类结果；
根据所述指标聚类结果，确定所述无线网络小区的指标模型；所述指标模型用于确定每个所述异常历史KPI在不同时刻的异常度；
根据所述故障时间，对所述故障信息和每个所述异常历史KPI在不同时刻的异常度进行皮尔森相关性分析，确定所述异常历史KPI与所述故障信息的关联关系信息。
2.一种多指标异常分析方法，其特征在于，所述方法包括：
获取无线网络小区的多个实时KPI；
对每个所述实时KPI进行指标异常检测，得到异常实时KPI；
将所述异常实时KPI输入至多指标关联模型，确定所述异常实时KPI的关联检测结果；
根据所述关联检测结果，确定所述无线网络小区的故障事件；
其中，所述多指标关联模型为权利要求1所述的方法确定的所述多指标关联模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当检测到具有故障事件的无线网络小区被投诉该无线网络小区网络故障时，删除所述被投诉网络故障的无线网络小区。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述关联检测结果，调整多指标关联模型的参数。
5.一种多指标关联模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取无线网络小区的历史关键绩效指标KPI和所述无线网络小区的故障信息；
信息确定模块，用于确定历史KPI中的异常历史KPI与所述故障信息的关联关系信息；
模型确定模块，用于根据所述关联关系信息，确定多指标关联模型；
所述故障信息包括故障时间；所述信息确定模块，用于：
对所述异常历史KPI进行聚类，得到指标聚类结果；
根据所述指标聚类结果，确定所述无线网络小区的指标模型；所述指标模型用于确定每个所述异常历史KPI在不同时刻的异常度；
根据所述故障时间，对所述故障信息和每个所述异常历史KPI在不同时刻的异常度进行皮尔森相关性分析，确定所述异常历史KPI与所述故障信息的关联关系信息。
6.一种多指标异常分析装置，其特征在于，所述装置包括：
获取模块，用于获取无线网络小区的多个实时KPI；
检测模块，用于对每个所述实时KPI进行指标异常检测，得到异常实时KPI；
结果确定模块，用于将所述异常实时KPI输入至多指标关联模型，确定所述异常实时KPI的关联检测结果；
事件确定模块，用于根据所述关联检测结果，确定所述无线网络小区的故障事件；
其中，所述多指标关联模型为权利要求1所述的方法确定的所述多指标关联模型。
7.一种设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1、权利要求2-4中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1、权利要求2-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911317921.XA CN111126824B (zh) | 2019-12-19 | 2019-12-19 | 多指标关联模型训练方法及多指标异常分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911317921.XA CN111126824B (zh) | 2019-12-19 | 2019-12-19 | 多指标关联模型训练方法及多指标异常分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126824A CN111126824A (zh) | 2020-05-08 |
| CN111126824B true CN111126824B (zh) | 2023-11-21 |
Family
ID=70500208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911317921.XA Active CN111126824B (zh) | 2019-12-19 | 2019-12-19 | 多指标关联模型训练方法及多指标异常分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126824B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111474442B (zh) * | 2020-03-30 | 2022-05-24 | 国网山东省电力公司德州供电公司 | 一种配电网单相接地故障定位方法及系统 |
| CN113872780A (zh) * | 2020-06-30 | 2021-12-31 | 大唐移动通信设备有限公司 | 一种故障根因分析方法、装置及存储介质 |
| CN114095387B (zh) * | 2020-07-29 | 2023-09-05 | 中国移动通信集团北京有限公司 | 信息确定方法、装置、设备及介质 |
| CN114095965A (zh) * | 2020-08-06 | 2022-02-25 | 中兴通讯股份有限公司 | 指标检测模型获取及故障定位方法、装置、设备及存储介质 |
| CN113297307B (zh) * | 2020-08-15 | 2024-03-05 | 阿里巴巴集团控股有限公司 | 数据库请求识别、异常检测方法、装置、设备及介质 |
| CN114158060B (zh) * | 2020-09-07 | 2024-03-19 | 中国移动通信集团北京有限公司 | 一种小区网络优化方法及装置 |
| CN112330156B (zh) * | 2020-11-06 | 2024-04-09 | 联通(浙江)产业互联网有限公司 | Kpi管理方法、装置、设备以及存储介质 |
| CN112187555B (zh) * | 2020-12-01 | 2021-03-19 | 北京蒙帕信创科技有限公司 | 一种基于机器学习的实时kpi数据异常检测方法及装置 |
| CN112636831B (zh) * | 2020-12-03 | 2022-02-22 | 哈尔滨工业大学（深圳） | 基于dco-ofdm可见光通信系统的时间同步方法、系统及存储介质 |
| CN112637880B (zh) * | 2020-12-23 | 2022-11-15 | 北京东土拓明科技有限公司 | 问题小区处理方法以及装置 |
| CN112764994B (zh) * | 2021-01-26 | 2022-08-30 | 广西大学 | 一种容器云存储系统的灰色故障检测方法 |
| CN115442833B (zh) * | 2021-06-03 | 2024-06-18 | 中国移动通信集团四川有限公司 | 一种投诉根因分析方法、装置及电子设备 |
| CN113408812A (zh) * | 2021-06-30 | 2021-09-17 | 北京红山信息科技研究院有限公司 | 一种网络优化方法、装置、计算机设备及存储介质 |
| CN114071526B (zh) * | 2021-11-16 | 2024-01-30 | 北京鼎兴达信息科技股份有限公司 | Gsm-r网络运行状态诊断方法 |
| CN114374597A (zh) * | 2021-12-27 | 2022-04-19 | 浪潮通信信息系统有限公司 | 一种网络事件的故障处理方法、装置、设备及产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103178615A (zh) * | 2013-02-05 | 2013-06-26 | 广东电网公司 | 电力设备故障监控方法及其系统 |
| CN103699118A (zh) * | 2013-12-18 | 2014-04-02 | 北京航天测控技术有限公司 | 一种航天器运行异常状态的分析方法及装置 |
| CN109996269A (zh) * | 2017-12-30 | 2019-07-09 | 中国移动通信集团湖北有限公司 | 一种无线通信网络异常原因确定方法、装置、设备及介质 |
-
2019
- 2019-12-19 CN CN201911317921.XA patent/CN111126824B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103178615A (zh) * | 2013-02-05 | 2013-06-26 | 广东电网公司 | 电力设备故障监控方法及其系统 |
| CN103699118A (zh) * | 2013-12-18 | 2014-04-02 | 北京航天测控技术有限公司 | 一种航天器运行异常状态的分析方法及装置 |
| CN109996269A (zh) * | 2017-12-30 | 2019-07-09 | 中国移动通信集团湖北有限公司 | 一种无线通信网络异常原因确定方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126824A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126824B (zh) | 多指标关联模型训练方法及多指标异常分析方法 | |
| CN111143102B (zh) | 异常数据检测方法、装置、存储介质及电子设备 | |
| CN111092852B (zh) | 基于大数据的网络安全监控方法、装置、设备及存储介质 | |
| US7936260B2 (en) | Identifying redundant alarms by determining coefficients of correlation between alarm categories | |
| CN112242971B (zh) | 一种流量异常检测方法、装置、网络设备及存储介质 | |
| US11038587B2 (en) | Method and apparatus for locating fault cause, and storage medium | |
| CN113918376A (zh) | 故障检测方法、装置、设备及计算机可读存储介质 | |
| CN114095965A (zh) | 指标检测模型获取及故障定位方法、装置、设备及存储介质 | |
| JP2015028700A (ja) | 障害検知装置、障害検知方法、障害検知プログラム及び記録媒体 | |
| CN114338372B (zh) | 网络信息安全监控方法及系统 | |
| CN112214577A (zh) | 目标用户的确定方法、装置、设备及计算机存储介质 | |
| CN111611097B (zh) | 故障检测方法、装置、设备及存储介质 | |
| WO2024093256A1 (zh) | 一种异常根因定位方法、装置、设备及介质 | |
| CN115561546A (zh) | 电力系统异常检测报警系统 | |
| CN108363024B (zh) | 一种充电桩故障点定位的方法和装置 | |
| CN112637888B (zh) | 覆盖空洞区域识别方法、装置、设备及可读存储介质 | |
| CN110532122B (zh) | 故障分析方法及系统、电子设备、存储介质 | |
| CN116074215B (zh) | 网络质量检测方法、装置、设备及存储介质 | |
| CN114268567A (zh) | 异常终端的识别方法、分析装置及设备、存储介质 | |
| CN116708488A (zh) | 水利物联网设备状态同步方法、装置、设备及存储介质 | |
| WO2016206241A1 (zh) | 数据分析方法及装置 | |
| CN115801538A (zh) | 场站服务器应用资产深度识别方法、系统及设备 | |
| KR102343139B1 (ko) | 어노멀리 검출방법 및 그 장치 | |
| CN114125913A (zh) | 分布式皮基站干扰定位方法及系统 | |
| CN112398706B (zh) | 数据评估标准确定方法、装置及存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |