CN110365503A - 一种指标确定方法及其相关设备 - Google Patents

一种指标确定方法及其相关设备 Download PDF

Info

Publication number
CN110365503A
CN110365503A CN201810260956.3A CN201810260956A CN110365503A CN 110365503 A CN110365503 A CN 110365503A CN 201810260956 A CN201810260956 A CN 201810260956A CN 110365503 A CN110365503 A CN 110365503A
Authority
CN
China
Prior art keywords
model
business
prediction model
sample data
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810260956.3A
Other languages
English (en)
Other versions
CN110365503B (zh
Inventor
宋伟
张震伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810260956.3A priority Critical patent/CN110365503B/zh
Priority to EP19775074.8A priority patent/EP3761562A4/en
Priority to PCT/CN2019/076124 priority patent/WO2019184640A1/zh
Publication of CN110365503A publication Critical patent/CN110365503A/zh
Priority to US17/032,779 priority patent/US20210027173A1/en
Application granted granted Critical
Publication of CN110365503B publication Critical patent/CN110365503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H04L43/024—Capturing of monitoring data by sampling by adaptive sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提出了一种指标确定方法及其相关设备，用于针对不同业务通过网络KPI参数预测其业务的KQI结果。本申请实施例方法包括：获取业务的待预测数据，其中，所述待预测数据包含所述业务所在网络的关键绩效指标KPI以及所述业务的类型标识，所述类型标识用于指示所述业务的类型；根据所述类型标识从预测模型集合中确定目标预测模型，其中，所述预测模型集合中包含至少一个预测模型，所述预测模型集合中的每个预测模型对应一种业务类型；根据所述目标预测模型和所述待预测数据中的所述KPI确定所述业务的关键质量指标KQI。

Description

一种指标确定方法及其相关设备
技术领域
本申请涉及数据分析领域，尤其涉及一种指标确定方法及其相关设备。
背景技术
网络关键性能指标(key performance indicator，KPI)是用于衡量网络性能的指标，包括速率、带宽、延迟、丢包率、吞吐率等。关键质量指标(key quality indicators，KQI)是针对不同业务提出的贴近用户感受的业务质量参数。
在常见的系统中，用户对于应用上所运行的业务的体验结果常常用KQI来表示。导致用户对业务体验结果不同的原因可能是应用本身设计的缺陷，也可能是该业务所连接的网络卡顿、不稳定等造成的，因此业务所连接网络的网络状况也成为评价用户体验的参数之一。现有的训练模型通过分析网络KPI数据来预测KQI。通过对KPI数据的大量采集，可以生成训练模型，一般数据量越大，训练模型结果会更加精确。
然而，现有通过机器学习的方法把网络KPI关联到业务KQI中的方案，单纯从网络KPI的角度考虑业务的KQI，训练模型预测得到的KQI的精确度是有限的。
发明内容
本申请实施例提出了一种指标确定方法及其相关设备，用于针对不同业务通过网络KPI参数预测该业务的KQI结果。
本申请的第一方面提出了一种指标确定方法，包括：
获取业务的待预测数据，该待预测数据中包含有该业务所在网络的KPI参数和业务的类型标识，该业务所在网络的KPI参数是指业务所连接的网络的KPI数据。
其中，网络的KPI数据包括以下参数中的至少一个：网络的时间、信号强度、丢包率、信道利用率、网络设备的媒体访问控制MAC地址、终端厂商、终端的MAC地址、时延、抖动、协商发送速率、发送速率、接收速率和协商接收速率。
业务的类型标识可以指示业务的类型，业务的类型可以为视频业务、语音业务或多媒体业务等，视频业务、语音业务或多媒体业务具有不同的标识。
随后，根据业务的类型标识从预测模型集合中确定目标预测模型，由于不同的业务类型对应的预测模型是不同的，因此预测模型集合中包括有至少一个预测模型，且，每个预测模型对应一种业务类型。
将待预测数据中的KPI带入目标预测模型得到业务的KQI结果。
本申请实施例具有以下优点：分析装置获取业务的待预测参数，该待预测参数中包含业务的业务类型标识，业务类型标识可以指示业务的目标业务类型，随后分析装置根据业务的目标业务类型确定目标预测模型，并通过该目标预测模型确定业务的关键质量指标KQI。本申请实施例中，通过网络KPI参数预测业务的KQI时，考虑了不同业务类型的业务其预测模型应该是不同的，从而使得通过网络KPI参数预测业务KQI的结果更加精确。
基于第一方面，在第一方面的第一种实现方式中，所述根据所述业务类型标识从预测模型集合中确定目标预测模型之前，所述方法还包括：
获取样本数据集合，所述样本数据集合包括至少一个样本数据，所述样本数据集合中的每个样本数据包括所述业务所在网络的KPI；
确定所述样本数据集合中每个样本数据对应的业务KQI；
根据所述业务的样本数据集合和所述样本数据集合中每个样本数据对应的业务KQI生成第一训练记录；
随后，基于第一训练记录，对模型进行训练生成目标预测模型，并将目标预测模型添加到预测模型集合中。
在本实施例中，对目标预测模型的训练过程进行了说明，增加了方案的可实施性。
基于第一方面的第一种实现方式，在第一方面的第二种实现方式中，所述根据所述第一训练记录生成所述目标预测模型包括：
根据第一训练记录分别确定出向量机SVM模型、随机森林模型和逻辑回归模型在目标预测模型中的权重系数；
在本实施例中，向量机SVM模型、随机森林模型和逻辑回归模型在目标预测模型中的权重系数是指向量机SVM模型、随机森林模型和逻辑回归模型基于待预测的KPI生成KQI值后，每个模型确定的KQI结果值在目标预测模型确定的KQI结果中的比例。
随后，根据所述向量机SVM模型、所述随机森林模型和所述逻辑回归模型在所述目标预测模型中的权重系数生成所述目标预测模型。
在本实施例中，对目标预测模型中向量机SVM模型、随机森林模型和逻辑回归模型的占比情况进行了说明，增加了方案的可实施性。
基于第一方面的第一种至第二种实现方式，在第一方面的第三种实现方式中，所述样本数据集合包括：第一样本数据、第二样本数据和第三样本数据，所述第一样本数据所对应的第一KQI小于所述第二样本数据所对应的第二KQI，所述第二样本数据所对应的第二KQI小于所述第三样本数据所对应的第三KQI，且，所述第一样本数据、所述第二样本数据和所述第三样本数据的数据量是相等的。
在本实施例中，对采样数据的一种采样方式进行了说明，增加了方案实施的合理性。
基于第一方面的第一种至第二种实现方式，在第一方面的第四种实现方式中，所述样本数据集合中包括第四样本数据，所述第四样本数据所对应的第四KQI小于预置的KQI门限。
在本实施例中，通过限定第四KQI小于预置的KQI门限，以达到对低KQI的样本数据的采集，低KQI即KQI结果为差。
在本实施例中，对采样数据的另一种采样方式进行了说明，增加了方案实施的灵活性。
基于第一方面的第二种实现方式，在第一方面的第五种实现方式中，所述SVM模型、所述随机森林模型和所述逻辑回归模型在所述目标预测模型中的权重系数分别为X、Y和Z，所述目标预测模型预测的结果值Q＝X*所述SVM模型预测的结果值+Y*所述随机森林模型预测的结果值+Z*所述逻辑回归模型预测的结果值的模型。
在本实施例中，对目标预测模型预测的结果值的算法进行了说明，增加了方案的完整性。
基于第一方面的第五种实现方式，在第一方面的第六种实现方式中，所述业务的类型为视频业务，所述目标预测模型预测的结果值Q＝x1*所述SVM模型预测的结果值+y1*所述随机森林模型预测的结果值+z1*所述逻辑回归模型预测的结果值，其中，x1>y1>z1。
在本实施例中，一种可能的情况为业务的类型为视频业务时，SVM模型预测的结果值占总的目标预测模型结果值比例最大。
在本实施例中，结合具体的应用场景对本实施例进行了说明，增加了方案的可实施性。
基于第一方面的第五种实现方式，在第一方面的第七种实现方式中，所述业务的类型为语音业务，所述目标预测模型预测的结果值Q＝x2*所述SVM模型预测的结果值+y2*所述随机森林模型预测的结果值+z2*所述逻辑回归模型预测的结果值，其中，y2>x2>z2。
在本实施例中，一种可能的情况为业务的类型为语音业务时，随机森林模型预测的结果值占总的目标预测模型结果值比例最大。
在本实施例中，结合另一种具体的应用场景对本实施例进行了说明，增加了方案实施的灵活性。
基于第一方面的第五种实现方式，在第一方面的第八种实现方式中，所述业务的类型为多媒体业务，所述目标预测模型预测的结果值Q＝x3*所述SVM模型预测的结果值+y3*所述随机森林模型预测的结果值+z3*所述逻辑回归模型预测的结果值，其中，z3>y3>x3。
在本实施例中，一种可能的情况为业务的类型为多媒体业务时，逻辑回归模型预测的结果值占总的目标预测模型结果值比例最大。
在本实施例中，结合另一种具体的应用场景对本实施例进行了说明，增加了方案实施的灵活性。
基于第一方面的第一种至第二种或第一方面的第五种至第八种实施方式中任一种实现方式所述的方法，在第一方面的第九种实现方式中，所述根据所述目标预测模型和所述待预测参数中的所述KPI确定所述业务的关键质量指标KQI之后，所述方法还包括：
将预测数据输入目标预测模型后生成KQI结果，记录待预测数据及其对应的KQI结果生成第二训练记录；
随后根据第二训练记录和待预测数据在实际情况下的KQI值调整目标预测模型参数。
在本实施例中，对目标预测模型的优化过程进行了说明，使得目标预测模型的预测结果更加精确。
本申请的第二方面提供了一种分析装置，包括：
获取单元，可以用于获取业务的待预测数据，所述待预测数据包含所述业务所在网络的关键绩效指标KPI以及所述业务的类型标识，所述类型标识用于指示所述业务的类型；
确定单元，可以用于根据所述类型标识从预测模型集合中确定目标预测模型，其中，所述预测模型集合中包含至少一个预测模型，所述预测模型集合中的每个预测模型对应一种业务类型；
所述确定单元，还可以用于根据所述目标预测模型和所述待预测数据中的所述KPI确定所述业务的关键质量指标KQI。
在本实施例中，网络KPI参数预测业务的KQI时，考虑了不同业务类型的业务其预测模型应该是不同的，从而使得通过网络KPI参数预测业务KQI的结果更加精确。
基于第二方面，在第二方面的第一种实现方式中，所述分析装置还包括生成单元。
所述获取单元，还用于获取所述业务的样本数据集合，所述样本数据集合包括至少一个样本数据，所述样本数据集合中的每个样本数据包括所述业务所在网络的KPI；
所述生成单元，用于确定所述样本数据集合中每个样本数据对应的业务KQI，根据所述业务的样本数据集合和所述样本数据集合中每个样本数据对应的业务KQI生成第一训练记录；根据所述第一训练记录生成所述目标预测模型；将所述目标预测模型添加到所述预测模型集合中。
在本实施例中，对目标预测模型的训练过程进行了说明，增加了方案的可实施性。
基于第二方面的第一种实现方式，在第二方面的第二种实现方式中，当根据所述第一训练记录生成所述目标预测模型时，所述生成单元用于：
根据所述第一训练记录分别确定向量机SVM模型、随机森林模型和逻辑回归模型在所述目标预测模型中的权重系数；
根据所述向量机SVM模型、所述随机森林模型和所述逻辑回归模型在所述目标预测模型中的权重系数生成所述目标预测模型。
在本实施例中，对目标预测模型的生成过程进行了说明，增加了方案实施的完整性。
基于第二方面的第一种至第二种实现方式，在第二方面的第三种实现方式中，所述分析装置还包括更新单元：
所述生成单元，还用于生成所述待预测参数中的所述KPI及所述待预测参数中的KPI所对应的关键质量指标KQI的第二训练记录；
所述更新单元，用于根据所述第二训练记录更新所述目标预测模型。
在本实施例中，对待预测数据反向作为样本数据更新模型的过程进行了说明，达到的优化目标预测模型的目的。
本申请的第三方面提供了一种分析装置，其特征在于，包括：存储器、和处理器；
其中，所述存储器用于存储程序和指令；
所述处理器用于调用所述存储器中的程序指令，执行如权利要求第一方面及其第一方面的第一种至第九种实现方式中任一种实现方式所述的方法。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本申请的第五方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
附图说明
图1a为本申请分析装置的一种结构示意图；
图1b为本申请分析装置的另一种结构示意图；
图1c为本申请分析装置的另一种结构示意图；
图1d为本申请分析装置的另一种结构示意图；
图1e为本申请分析装置的另一种结构示意图；
图2a为本申请指标确定方法的一个实施例示意图；
图2b为本申请指标确定方法的另一个实施例示意图；
图3为网络KPI与业务KQI关联关系的示意图；
图4为样本数据的一种采样方式示意图；
图5为本申请指标确定方法的另一个实施例示意图；
图6为本申请指标确定方法的另一个实施例示意图；
图7为本申请分析装置的另一种结构示意图；
图8为本申请分析装置的另一种结构示意图；
图9为本申请分析装置的另一种结构示意图。
具体实施方式
本申请提出了一种指标确定方法，用于根据网络的KPI预测业务的KQI。业务的KQI主要是指用户对业务的体验，用户体验越好，业务KQI值越高。影响用户体验的因素包含许多方面，用户的内在因素等属于不可控因素，本申请不做探究，影响业务用户体验的外在因素主要有用户设备的性能，除此之外，用户所使用网络的性能也是一个很重要的因素。本申请通过模型训练的方式，建立网络KPI参数与业务KQI的关系。本申请由分析装置进行指标确定和模型训练。
在本申请实施例中，分析装置是一台具有数据分析能力的装置，可以为服务器、也可以为终端，分析装置的组成结构有如下几种情况：
A、请参照图1a所示，分析装置包括处理器和储存器(storage)，处理器用于对其他设备输入的KPI数据进行分析处理后生成预测模型，储存器用于储存预测模型。
B：请参照图1b所示，分析装置包括网卡、处理器和储存器，网卡用于从网络侧采集KPI数据，处理器用于处理网卡采集的KPI数据并生成预测模型，储存器用于储存预测模型。
C：请参照图1c所示，无线访问接入点(access point，AP)用于无线网络的连接，并将网络KPI数据送入分析装置，以便分析装置进行与图1b所示类似的分析处理步骤。
D：请参照图1d所示，分析装置包括专有芯片、处理器和储存器，处理器用于对输入的数据进行分析处理并生成预测模型，专有芯片用于数据处理流程的加速，通过专有芯片，可以缩短生成预测模型的时间和通过预测模型产生预测结果的时间，储存器用于储存预测模型。在本实施例中，分析装置也可以包含网卡，则输入处理器的数据可以由分析装置自己获取，若分析装置不包含网卡，则输入处理器的数据由其他设备获取后发送给分析装置。
在图1a至图1d所述的分析装置中，储存器多为磁盘，除磁盘外储存器也可以为分析装置自身的内存，此处不做限定。
E:请参照图1e所示，分析装置与储存设备为不同的设备，分析装置包括处理器，处理器处理输入的数据并生成预测模型后，将预测模型存储于存储设备，此时该预测模型存储于独立的存储设备中，可以被非分析装置之外的其他设备使用。
分析装置对网络KPI数据进行分析处理预测业务KQI时，本申请还会考虑业务的类型，对于不同类型的业务，目标预测模型是不同的。请参照图2a，下面对本申请的一种指标确定方法进行说明。
201、获取业务的待预测数据。
业务的待预测参数包括业务所连接的网络的关键绩效指标KPI以及业务的类型标识，业务的类型标识可以指示业务的类型。
网络的KPI包括以下参数中的至少一个：时间、信号强度、丢包率、信道利用率、网络设备的媒体访问控制(media access control，MAC)地址、终端厂商、终端的MAC地址、时延、抖动、协商发送速率、发送速率、接收速率和协商接收速率。
业务的类型类型标识可以是代码(例如，001，011等)或者业务的名称(例如视频、网页、语音等)，具体此处不作限定。
202、根据类型标识从预测模型集合中确定目标预测模型。
如图3所示，网络KPI由时刻、时延、协商速率、接收的信号强度指示(receivedsignal strength indication，RSSI)、信道利用率构成。同一网络KPI对于不同业务(网页业务、通话业务)其用户体验不同。例如，图3中，时刻1对应的KPI数据，对用户的网页体验而言为优，但是对于用户的通话体验而言为差，因此分析装置在进行数据分析时，对于不同业务的类型，确定不同的目标预测模型。预测模型与业务类型之间是一一对应的关系。由于业务的类型可以为多种，因此分析装置形成的预测模型是一个集合，分析装置需要根据业务的类型标识从训练的预测模型集合中确定目标预测模型。
在本实施例中，业务的类型可以为多媒体业务、语音业务、视频业务，其中，多媒体业务又可以为网页浏览、游戏、直播等，语音业务可以为语音通话，视频业务可以为H.265视频、MP4视频和动态图像组专家(moving pictures experts group，MPEG2)视频。业务的类型还可能为更多其他的情况，具体此处不做限定。
预测模型的训练过程是分析装置获取样本数据后对样本数据进行分析运算的过程，请参照图2b，下面将进行介绍。
A：获取业务的样本数据集合，并确定所述样本数据集合中每个样本数据对应的业务KQI
样本数据集合包括至少一个网络KPI参数，例如图3中：时延为50ms、协商速率为0、RSSI为-66dbm、信道利用率为40这一系列网络参数即构成本申请实施例中的一个网络KPI。
每个网络KPI对应的用户体验不同，KQI值也是不同的，因此每个网络KPI对应唯一的KQI，其唯一对应关系有如下两种情况，具体为：
1、每个网络KPI与每个业务KQI结果一一对应，例如一个网络KPI所产生的业务KQI结果为优，另一个网络KPI所产生的业务KQI结果为差。
2、不同的网络KPI对应相同的KQI结果，例如一个网络KPI所产生的业务KQI结果为优，另一个网络KPI所产生的业务KQI结果也为优。
需要说明的是，在本实施例在机器学习的方法中，预测模型样本数据的采集需要注意：
1、采集的样本数据集合中包括第四样本数据。
在本实施例中，对于低KQI对应的网络KPI的总结归纳比较少，会导致预测不准确的情况大量出现，因此我们在采集数据时，需要注意用户体验较差的情况下，以确保所建立预测模型的完整性和可信度。例如在采集数据时，可以注入许多常见的故障模型，比如低信号、高干扰、大背景流等一系列网络状况。因此需要注意第四样本数据的采集，该第四样本数据所对应的第四KQI小于预置的KQI门限值(即分析装置认为的低KQI结果的临界值)。第四样本数据中包括一个或多个KPI数据，数据量越多，预测模型越精确。
2、采集的样本数据集合中包括第一样本数据、第二样本数据和第三样本数据。
在模型训练的过程中，除了在方案中注入很多故障模型外，即低KQI数据的采集，还需要注意数据采集的均衡性，因此在数据采集是要保持各种数据的占比差不多，因此获取的样本数据包括第一样本数据、第二样本数据和第三样本数据，第一样本数据所对应的第一KQI小于第二样本数据所对应的第二KQI，第二样本数据所对应的第二KQI小于第三样本数据所对应的第三KQI，第三KQI可以为低KQI。请参照图4，例如对网页浏览业务的预测模型生成过程中，分别取KQI结果为优、中、差的等量KPI数据，以保证优、中、差等三类数据的均衡性，从而使预测模型可预测范围更全面，结果也更加精确。
B：根据业务的样本数据集合和业务KQI集合生成第一训练记录。
记录业务的样本数据集合和每个业务样本数据对应的KQI，生成第一训练记录。
C：根据第一训练记录生成目标预测模型；
在本实施例中，目标预测模型为分析装置获取业务的样本数据后进行训练得到的模型，分析装置根据第一训练记录，建立起KPI参数与用户体验KQI参数之间的关联关系，即确定目标预测模型的算法公式。
D：将目标预测模型添加到预测模型集合中。
203、根据目标预测模型和待预测参数中的KPI确定业务的KQI。
分析装置根据所确定的目标预测模型进行业务KQI的预测。
在本实施例中，分析装置采用机器学习的方式，对网络KPI数据和业务KQI数据进行分析后生成预测模型，再使用此预测模型根据网络KPI数据预测业务KQI。
在本实施例中，通过网络KPI参数预测业务的KQI时，考虑了不同业务类型的业务其预测模型应该是不同的，从而使得通过网络KPI参数预测业务KQI的结果更加精确。
在本实施例中，目标预测模型是三个模型的整合，其中，这三个模型中每个模型预测的结果在目标预测模型的预测结果值中占有一定的权重系数，分别用X、Y、Z表示，目标预测模型的训练过程也是权重系数X、Y、Z的确定过程，同时，上述三个模型的算法也是在模型训练过程中确定，请参照图5，下面将进行介绍。
501、获取业务的样本数据集合，并确定所述样本数据集合中每个样本数据对应的业务KQI。
502、根据业务的样本数据集合和样本数据集合中每个样本数据对应的业务KQI生成第一训练记录。
在本实施例中，实施例步骤501和502与实施例步骤202中的步骤A和B类似，具体此处不再赘述。
503、根据第一训练记录分别确定向量机SVM模型、随机森林模型和逻辑回归模型在目标预测模型中的权重系数。
在本实施例中，目标预测模型的训练过程中，既需要确定向量机SVM模型、随机森林模型和逻辑回归模型在目标预测模型中的权重系数，也需要将第一训练记录分别带入这三类模型得到这三类型模型的算法公式。
向量机(support vector machine，SVM)模型的基本原理是：给定一个包含正例和反例的样本集合，SVM的目的是寻找一个超平面来对样本根据正例和反例进行分割。向量机模型的算法公式为：g(x)＝wTx+b，将第一训练记录送入SVM算法公式，训练得到w和b的值，使之成为常量，SVM算法公式就变成因变量g(x)与自变量x之间的函数公式，x用于指示KPI，g(x)用于指示KQI，因此SVM可以通过网络KPI预测应用的KQI。
随机森林模型的原理为：随机森林算法基于决策树，其中心思想是对KQI预测结果为优、中、差的样本数据分成三类，寻找每一类别数据的特征属性，并构建决策树。使用决策树进行KQI预测的过程包括：从根节点开始，测试待预测的KPI数据中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果，即KQI结果值。
逻辑回归的基本原理是：采集数量相同的正样本和负样本，把这些样本画出来，会有一条线区分这两类样本，拟合出的这条曲线就是回归曲线。模型训练的过程就是通过大量的数据找出这条线，并拟合出这条线的表达式。对于新的待预测的数据，就以这条线为区分来为该待预测的数据分类。本申请通过模拟回归曲线的方法，将KPI数据分为三类，对应的KQI结果分别为优、中、差。逻辑回归的算法公式为：其中，z＝w1*x1+w2*x2+w3*x3+…wn*xn，w是待定参数，而x是KPI数据的各维度特征值(例如三维平面，数据x就有三个特征值),y是求得的KQI结果，随后再将这些输出结果跟样本的实际结果值比较，并根据比较情况来调整拟合线(即回归曲线)的参数值，从而使拟合线的参数w逼近最优，使得逻辑回归模型更精确。
确定三类模型的算法公式时，也需要确定出三类模型的权重系数。
504、根据向量机SVM模型、随机森林模型和逻辑回归模型在目标预测模型中的权重系数生成目标预测模型。
本申请合并后目标预测模型的算法公式为：目标预测模型预测的结果值Q＝X*SVM模型预测的结果值+Y*随机森林模型预测的结果值+Z*逻辑回归模型预测的结果值。
下面结合具体的应用场景对模型的训练过程进行叙述。
1、分析装置生成视频业务的预测模型。
首先分析装置确定网络的KPI参数，并得到此KPI参数对于视频业务而言的KQI结果，重复执行此步骤获取大量的KPI参数和KQI结果，从而发现KPI参数与KQI结果之间的关联关系，确定预测模型算法公式，预测模型算法公式为目标预测模型预测的结果值Q＝X*SVM模型预测的结果值+Y*随机森林模型预测的结果值+Z*逻辑回归模型预测的结果值，通过带入大量不同的KPI数据及其对应的KQI预测结果值进入算法公式，得到参数X＝x1、Y＝y1、Z＝z1，使至成为固定值，从而在后续模型预测过程中。导入KPI数据就能得到KQI结果值Q。
一种可能的情况为，对于视频业务而言，SVM模型的预测结果占总预测结果值的比例x1大于随机森林模型的预测结果占用总预测结果值的比例y1，且y1大于逻辑回归模型的预测结果占用总预测结果值的比例z1。即对于视频业务而言，SVM模型预测占目标预测模型的权重系数最大。
2、分析装置生成语音业务的预测模型。
首先分析装置确定网络的KPI参数，并得到此KPI参数对于语音业务而言的KQI结果，重复执行此步骤获取大量的KPI参数和KQI结果，从而发现KPI参数与KQI结果之间的关联关系，确定预测模型算法公式，得到参数X＝x2、Y＝y2、Z＝z2,预测模型算法公式中参数的确定过程与视频业务类似，此处不再赘述。
一种可能的情况为，对于语音业务而言，随机森林模型的预测结果占用总预测结果值的比例y2大于SVM模型的预测结果占用总预测结果值的比例x2，且x2大于逻辑回归模型的预测结果占用总预测结果值的比例z2。即对于语音业务而言，随机森林模型预测占目标预测模型的权重系数最大。
3、分析装置生成多媒体业务的预测模型。
首先分析装置确定网络的KPI参数，并得到此KPI参数对于语音业务而言的KQI结果，重复执行此步骤获取大量的KPI参数和KQI结果，从而发现KPI参数与KQI结果之间的关联关系，确定预测模型算法公式，得到参数X＝x3、Y＝y3、Z＝z3,预测模型算法公式中参数的确定过程与视频业务类似，此处不再赘述。
一种可能的情况为，对于语音业务而言，逻辑回归模型的预测结果占用总预测结果值的比例z3大于随机森林模型的预测结果占用总预测结果值的比例y3，且y3大于SVM模型的预测结果占用总预测结果值的比例x3。即对于多媒体业务而言，逻辑回归模型预测占目标预测模型的权重系数最大。
505、将目标预测模型添加到预测模型集合中。
506、获取业务的待预测数据。
507、根据类型标识从预测模型集合中确定目标预测模型。
508、根据目标预测模型和待预测参数中的KPI确定业务的关键质量指标KQI。
在本实施例中，实施例步骤506至508与图2a所示实施例步骤201至203类似，具体此处不再赘述。
在本实施例中，目标预测模型的训练过程中，除了要确定SVM模型、随机森林模型和逻辑回归模型这三个模型的算法公式外，还需要确定，这三类模型占目标预测模型的权重系数，本实施例对目标预测模型的具体训练过程进行了说明，增加了方案的可实施性。
在本实施例中，目标预测模型生成后，可以获取待预测的KPI确定预测KQI结果，并记录待预测KPI与预测的KQI结果，再用此KPI与KQI结果更新目标预测模型，调整目标预测模型的参数，后续所有输入此目标预测模型的KPI参数及预测的结果值KQI都可以用来更新目标预测模型，如此反复训练，使得预测模型更加精确。请参照图6，下面将进行说明。
601、获取业务的样本数据集合，确定所述样本数据集合中每个样本数据对应的业务KQI。
602、根据业务的样本数据集合和样本数据集合中每个样本数据对应的业务KQI生成第一训练记录。
603、根据第一训练记录分别确定向量机SVM模型、随机森林模型和逻辑回归模型在目标预测模型中的权重系数。
604、根据向量机SVM模型、随机森林模型和逻辑回归模型在目标预测模型中的权重系数生成目标预测模型。
605、将目标预测模型添加到预测模型集合中。
606、获取业务的待预测数据。
607、根据类型标识从预测模型集合中确定目标预测模型。
608、根据目标预测模型和KPI确定业务的关键质量指标KQI。
609、生成待预测参数中的KPI及待预测参数中的KPI所对应的关键质量指标KQI的第二训练记录。
由于样本数据量不足或其他不可控因素等，训练得到的模型不一定是完全精确的，KPI数据送入预测模型后得到的KQI结果有很大的概率会与预测模型理论上的KQI结果存在偏差，以抛硬币为例，多次抛硬币后算出正面朝上的概率为百分至40，但是后续在多次抛硬币的过程中发现，正面朝上的概率并不一定是百分至40，因此可以将后续实际的实验结果结合预测模型的结果调整预测模型。本申请中预测模型理论上的得到的KQI结果可以为优，但待预测数据实际的KQI结果为中，因此分析装置需要记录待预测参数中的KPI数据及此KPI数据送入预测模型后生成的KQI结果生成第二训练记录，并把此训练记录放入存储空间，随后结合实际的KQI结果，调整参数。
610、根据第二训练记录更新目标预测模型。
当记录的第二训练记录达到一定数据后，将第二训练记录重新作为样本数据，送入已有的目标预测模型，结合待预测数据实际的KQI结果调整目标预测模型的算法参数，即更新目标预测模型的过程，使目标预测模型更精确。
例如在预测模型的过程中，KQI结果为差的样本数据量为50，KQI结果为优和中的样本数据量分别为200，而预测模型可能需要更多的低KQI值作为训练记录，后续在使用预测模型时，输入待预测数据得到预测结果，例如待预测数据的数据量为10000，其中低KQI的数据量为5000，待预测数据中低KQI值较多，因此分析装置可以将待预测数据作为样本重新训练预测模型，参照实际情况下待预测KPI对应的KQI结果，调整预测模型参数生成新的预测模型，即优化预测模型的过程。此时的样本数据除了待预测的10000个数据外还可以结合之前的450个样本数据一起进行模型训练。
在本实施例中，介绍了待预测数据反向作为样本数据更新目标预测模型的过程，增加了方案实施的灵活性。
图2a、图5和图6对本申请实施例的一种指标确定方法进行了叙述，请参照图7，下面将对本申请实施例的一种分析装置进行说明。
在本申请实施例中，分析装置包括：
获取单元701，用于获取业务的待预测数据，其中，所述待预测数据包含所述业务所在网络的关键绩效指标KPI以及所述业务的类型标识，所述类型标识用于指示所述业务的类型；
确定单元702，用于根据所述类型标识从预测模型集合中确定目标预测模型，其中，所述预测模型集合中包含至少一个预测模型，所述预测模型集合中的每个预测模型对应一种业务类型；
所述确定单元702，还用于根据所述目标预测模型和所述待预测数据中的所述KPI确定所述业务的关键质量指标KQI。
在本实施例中，通过网络KPI参数预测业务的KQI时，考虑了不同业务类型的业务其预测模型应该是不同的，从而使得通过网络KPI参数预测业务KQI的结果更加精确。
在本申请一个实施例中，如图8所示，该分析装置还包括生成单元703，下面将进行说明。
获取单元701，还用于获取所述业务的样本数据集合，所述样本数据集合包括至少一个样本数据，所述样本数据集合中个每个样本数据包括所述业务所在网络的KPI；
生成单元703，用于确定所述样本数据集合中每个样本数据对应的业务KQI，根据所述业务的样本数据集合和所述样本数据集合中每个样本数据对应的所述业务KQI生成第一训练记录；根据所述第一训练记录生成所述目标预测模型；将所述目标预测模型添加到所述预测模型集合中。
在一个实施方式中，当根据所述第一训练记录生成所述目标预测模型时，所述生成单元703用于：
根据所述第一训练记录分别确定向量机SVM模型、随机森林模型和逻辑回归模型在所述目标预测模型中的权重系数；
根据所述向量机SVM模型、所述随机森林模型和所述逻辑回归模型在所述目标预测模型中的权重系数生成所述目标预测模型。
在本实施例中，对目标预测模型的确定过程进行了说明，增加了方案的可实施性。
在本实施例中，待预测的数据也可以再作为样本数据输入目标预测模型，以达到调整参数，优化目标预测模型的目的，在此情况下，请参照图9，所述分析装置还包括更新单元704。
所述生成单元703，还用于生成所述待预测参数中的所述KPI及所述待预测参数中的KPI所对应的关键质量指标KQI的第二训练记录；
所述更新单元704，用于根据所述第二训练记录更新所述目标预测模型。
在本实施例中，分析装置可以基于第二训练记录结合待预测数据实际的KQI结果调整参数，以达到优化预测模型的目的。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，本地客户端，或者网络设备等)执行本申请图2a、图2b以及图5和图6各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种指标确定的方法，其特征在于，包括：
获取业务的待预测数据，所述待预测数据包含所述业务所在网络的关键绩效指标KPI以及所述业务的类型标识，所述类型标识用于指示所述业务的类型；
根据所述类型标识从预测模型集合中确定目标预测模型，其中，所述预测模型集合中包含至少一个预测模型，所述预测模型集合中的每个预测模型对应一种业务类型；
根据所述目标预测模型和所述待预测数据中的所述KPI确定所述业务的关键质量指标KQI。
2.根据权利要求1所述的方法，其特征在于，所述根据所述业务类型标识从预测模型集合中确定目标预测模型之前，所述方法还包括：
获取所述业务的样本数据集合，所述样本数据集合包括至少一个样本数据，所述样本数据集合中的每个样本数据包括所述业务所在网络的KPI；
确定所述样本数据集合中每个样本数据对应的业务KQI；
根据所述业务的样本数据集合和所述样本数据集合中每个样本数据对应的业务KQI生成第一训练记录；
根据所述第一训练记录生成所述目标预测模型；
将所述目标预测模型添加到所述预测模型集合中。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一训练记录生成所述目标预测模型包括：
根据所述第一训练记录分别确定向量机SVM模型、随机森林模型和逻辑回归模型在所述目标预测模型中的权重系数；
根据所述向量机SVM模型、所述随机森林模型和所述逻辑回归模型在所述目标预测模型中的权重系数生成所述目标预测模型。
4.根据权利要求2或3所述的方法，其特征在于，所述样本数据集合包括：第一样本数据、第二样本数据和第三样本数据，所述第一样本数据所对应的第一KQI小于所述第二样本数据所对应的第二KQI，所述第二样本数据所对应的第二KQI小于所述第三样本数据所对应的第三KQI，且，所述第一样本数据、所述第二样本数据和所述第三样本数据的数据量是相等的。
5.根据权利要求2或3所述的方法，其特征在于，所述样本数据集合中包括第四样本数据，所述第四样本数据所对应的第四KQI小于预置的KQI门限。
6.根据权利要求3所述的方法，其特征在于，所述SVM模型、所述随机森林模型和所述逻辑回归模型在所述目标预测模型中的权重系数分别为X、Y和Z，所述目标预测模型预测的结果值Q＝X*所述SVM模型预测的结果值+Y*所述随机森林模型预测的结果值+Z*所述逻辑回归模型预测的结果值的模型。
7.根据权利要求6所述的方法，其特征在于，所述业务的类型为视频业务，所述目标预测模型预测的结果值Q＝x1*所述SVM模型预测的结果值+y1*所述随机森林模型预测的结果值+z1*所述逻辑回归模型预测的结果值，其中，x1>y1>z1。
8.根据权利要求6所述的方法，其特征在于，所述业务的类型为语音业务，所述目标预测模型预测的结果值Q＝x2*所述SVM模型预测的结果值+y2*所述随机森林模型预测的结果值+z2*所述逻辑回归模型预测的结果值，其中，y2>x2>z2。
9.根据权利要求6所述的方法，其特征在于，所述业务的类型为多媒体业务，所述目标预测模型预测的结果值Q＝x3*所述SVM模型预测的结果值+y3*所述随机森林模型预测的结果值+z3*所述逻辑回归模型预测的结果值，其中，z3>y3>x3。
10.根据权利要求2或3或6至9中任一项所述的方法，其特征在于，所述根据所述目标预测模型和所述待预测参数中的所述KPI确定所述业务的关键质量指标KQI之后，所述方法还包括：
生成所述待预测参数中的所述KPI及所述待预测参数中的KPI所对应的关键质量指标KQI的第二训练记录；
根据所述第二训练记录更新所述目标预测模型。
11.一种分析装置，其特征在于，包括：
获取单元，用于获取业务的待预测数据，所述待预测数据包含所述业务所在网络的关键绩效指标KPI以及所述业务的类型标识，所述类型标识用于指示所述业务的类型；
确定单元，用于根据所述类型标识从预测模型集合中确定目标预测模型，其中，所述预测模型集合中包含至少一个预测模型，所述预测模型集合中的每个预测模型对应一种业务类型；
所述确定单元，还用于根据所述目标预测模型和所述待预测数据中的所述KPI确定所述业务的关键质量指标KQI。
12.根据权利要求11所述的分析装置，其特征在于，所述分析装置还包括生成单元，
所述获取单元，还用于获取所述业务的样本数据集合，所述样本数据集合包括至少一个样本数据，所述样本数据集合中的每个样本数据包括所述业务所在网络的KPI；
所述生成单元，用于确定所述样本数据集合中每个样本数据对应的业务KQI，根据所述业务的样本数据集合和所述样本数据集合中每个样本数据对应的业务KQI生成第一训练记录；根据所述第一训练记录生成所述目标预测模型；将所述目标预测模型添加到所述预测模型集合中。
13.根据权利要求12所述的分析装置，其特征在于，当根据所述第一训练记录生成所述目标预测模型时，所述生成单元用于：
根据所述第一训练记录分别确定向量机SVM模型、随机森林模型和逻辑回归模型在所述目标预测模型中的权重系数；
根据所述向量机SVM模型、所述随机森林模型和所述逻辑回归模型在所述目标预测模型中的权重系数生成所述目标预测模型。
14.根据权利要求12或13所述的分析装置，其特征在于，所述分析装置还包括更新单元：
所述生成单元，还用于生成所述待预测参数中的所述KPI及所述待预测参数中的KPI所对应的关键质量指标KQI的第二训练记录；
所述更新单元，用于根据所述第二训练记录更新所述目标预测模型。
15.一种计算设备，包括处理器和存储器，
所述存储器用于存储程序代码；
所述处理器执行所述存储器中的程序代码以实现如权利要求1-10任意一项所述的方法。
16.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至10中任意一项所述的方法。
17.一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如权利要求1至10中任意一项所述的方法。
CN201810260956.3A 2018-03-26 2018-03-26 一种指标确定方法及其相关设备 Active CN110365503B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810260956.3A CN110365503B (zh) 2018-03-26 2018-03-26 一种指标确定方法及其相关设备
EP19775074.8A EP3761562A4 (en) 2018-03-26 2019-02-26 INDICATOR DETERMINATION PROCEDURE AND ASSOCIATED DEVICE
PCT/CN2019/076124 WO2019184640A1 (zh) 2018-03-26 2019-02-26 一种指标确定方法及其相关设备
US17/032,779 US20210027173A1 (en) 2018-03-26 2020-09-25 Indicator determining method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810260956.3A CN110365503B (zh) 2018-03-26 2018-03-26 一种指标确定方法及其相关设备

Publications (2)

Publication Number Publication Date
CN110365503A true CN110365503A (zh) 2019-10-22
CN110365503B CN110365503B (zh) 2022-08-19

Family

ID=68060938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810260956.3A Active CN110365503B (zh) 2018-03-26 2018-03-26 一种指标确定方法及其相关设备

Country Status (4)

Country Link
US (1) US20210027173A1 (zh)
EP (1) EP3761562A4 (zh)
CN (1) CN110365503B (zh)
WO (1) WO2019184640A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079991A (zh) * 2019-11-29 2020-04-28 珠海随变科技有限公司 一种业务指标预测方法、装置、设备和存储介质
CN111340244A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 预测方法、训练方法、装置、服务器及介质
CN111339298A (zh) * 2020-02-25 2020-06-26 北京松果电子有限公司 一种分类预测方法、装置及存储介质
CN111786824A (zh) * 2020-06-23 2020-10-16 中国电力科学研究院有限公司 数据中心能效比优化方法、系统、设备及可读存储介质
CN113179171A (zh) * 2020-01-24 2021-07-27 华为技术有限公司 故障检测方法、装置及系统
US20210241141A1 (en) * 2018-05-10 2021-08-05 Equifax Inc. Training or using sets of explainable machine-learning modeling algorithms for predicting timing of events
CN113422690A (zh) * 2020-03-02 2021-09-21 烽火通信科技股份有限公司 一种业务质量劣化预测方法及系统
CN114386728A (zh) * 2020-10-19 2022-04-22 中国移动通信集团北京有限公司 Kqi感知受限条件确定方法、装置、设备及计算机存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965445B (zh) * 2020-07-02 2023-10-27 中国移动通信集团山东有限公司 一种质差根因的定位方法、装置、计算机设备和存储介质
CN115842812B (zh) * 2022-11-21 2024-04-12 浪潮通信信息系统有限公司 基于pca和集成自编码器的用户感知评估方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303250A (zh) * 2015-09-23 2016-02-03 国家电网公司 一种基于最优权系数的风电功率组合预测方法
CN106934514A (zh) * 2015-12-31 2017-07-07 华为技术有限公司 一种回归模型的生成方法以及装置
US20170364819A1 (en) * 2016-06-17 2017-12-21 Futurewei Technologies, Inc. Root cause analysis in a communication network via probabilistic network structure
CN107786997A (zh) * 2016-08-25 2018-03-09 刘俊声 一种将kpi映射到kqi的通用处理方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8209271B1 (en) * 2011-08-15 2012-06-26 Google Inc. Predictive model training on large datasets
JP6085885B2 (ja) * 2013-12-20 2017-03-01 日本電信電話株式会社 ユーザ行動最適化装置及び方法
US9087176B1 (en) * 2014-03-06 2015-07-21 Kla-Tencor Corporation Statistical overlay error prediction for feed forward and feedback correction of overlay errors, root cause analysis and process control
US20150294246A1 (en) * 2014-04-10 2015-10-15 International Business Machines Corporation Selecting optimal training data set for service contract prediction
US9992123B2 (en) * 2016-06-30 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for evaluating voice over Wi-Fi (VoWiFi) call quality
CN107645393A (zh) * 2016-07-20 2018-01-30 中兴通讯股份有限公司 确定黑盒系统输入输出关联度的方法、装置以及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303250A (zh) * 2015-09-23 2016-02-03 国家电网公司 一种基于最优权系数的风电功率组合预测方法
CN106934514A (zh) * 2015-12-31 2017-07-07 华为技术有限公司 一种回归模型的生成方法以及装置
US20170364819A1 (en) * 2016-06-17 2017-12-21 Futurewei Technologies, Inc. Root cause analysis in a communication network via probabilistic network structure
CN107786997A (zh) * 2016-08-25 2018-03-09 刘俊声 一种将kpi映射到kqi的通用处理方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210241141A1 (en) * 2018-05-10 2021-08-05 Equifax Inc. Training or using sets of explainable machine-learning modeling algorithms for predicting timing of events
CN111079991A (zh) * 2019-11-29 2020-04-28 珠海随变科技有限公司 一种业务指标预测方法、装置、设备和存储介质
CN113179171A (zh) * 2020-01-24 2021-07-27 华为技术有限公司 故障检测方法、装置及系统
CN111339298A (zh) * 2020-02-25 2020-06-26 北京松果电子有限公司 一种分类预测方法、装置及存储介质
CN111339298B (zh) * 2020-02-25 2024-04-09 北京小米松果电子有限公司 一种分类预测方法、装置及存储介质
CN113422690A (zh) * 2020-03-02 2021-09-21 烽火通信科技股份有限公司 一种业务质量劣化预测方法及系统
CN111340244A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 预测方法、训练方法、装置、服务器及介质
CN111786824A (zh) * 2020-06-23 2020-10-16 中国电力科学研究院有限公司 数据中心能效比优化方法、系统、设备及可读存储介质
CN114386728A (zh) * 2020-10-19 2022-04-22 中国移动通信集团北京有限公司 Kqi感知受限条件确定方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
WO2019184640A1 (zh) 2019-10-03
CN110365503B (zh) 2022-08-19
EP3761562A1 (en) 2021-01-06
EP3761562A4 (en) 2021-03-31
US20210027173A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN110365503A (zh) 一种指标确定方法及其相关设备
CN104778173B (zh) 目标用户确定方法、装置及设备
CN110610242A (zh) 一种联邦学习中参与者权重的设置方法及装置
WO2022001918A1 (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN108460427A (zh) 一种分类模型训练方法、装置以及分类方法及装置
CN111079780A (zh) 空间图卷积网络的训练方法、电子设备及存储介质
US20220180209A1 (en) Automatic machine learning system, method, and device
CN115577746A (zh) 一种基于元学习的网络入侵检测方法
CN109472030A (zh) 一种系统回复质量的评价方法及装置
CN111626767B (zh) 资源数据的发放方法、装置及设备
CN109241084A (zh) 数据的查询方法、终端设备及介质
WO2018192414A1 (zh) QoE的确定方法、装置、存储介质及处理器
CN107728772B (zh) 应用程序的处理方法、装置、存储介质及电子设备
CN113887748B (zh) 在线联邦学习任务分配方法、装置、联邦学习方法及系统
CN105138527B (zh) 一种数据分类回归方法及装置
CN113837492B (zh) 物品供应量的预测方法、设备、存储介质及程序产品
CN110969240A (zh) 一种深度卷积神经网络的剪枝方法、装置、设备及介质
CN112766402A (zh) 算法选择方法、装置和电子设备
Atan et al. Ai-empowered fast task execution decision for delay-sensitive iot applications in edge computing networks
CN110457387B (zh) 一种应用于网络中用户标签确定的方法及相关装置
WO2022252694A1 (zh) 神经网络优化方法及其装置
WO2019123478A1 (en) A system for extracting and analyzing data and a method thereof
CN112948763B (zh) 件量预测方法、装置、电子设备及存储介质
US20210168195A1 (en) Server and method for controlling server
CN114662705A (zh) 联邦学习方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant