CN105634787A - 网络关键指标的评估方法、预测方法及装置和系统 - Google Patents
网络关键指标的评估方法、预测方法及装置和系统 Download PDFInfo
- Publication number
- CN105634787A CN105634787A CN201410693151.XA CN201410693151A CN105634787A CN 105634787 A CN105634787 A CN 105634787A CN 201410693151 A CN201410693151 A CN 201410693151A CN 105634787 A CN105634787 A CN 105634787A
- Authority
- CN
- China
- Prior art keywords
- network
- characterization
- network characterization
- regression models
- key index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明提供一种网络关键指标的评估方法、预测方法及相应的装置和系统，该网络关键指标的评估方法包括：使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数；本发明提供的方法能够准确有效地确定多个网络特征中的每个网络特征对待评估网络的网络关键指标的重要性系数。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种网络关键指标的评估方法、网络关键指标的预测方法及装置和系统。
背景技术
目前对通讯运营商网络作网络优化方案设计，首先要对网络问题做根因分析(比如：网络流量抑制问题的根因分析)，以找到那些对网络关键指标(简称KPI)(比如网络流量或网络速率)造成抑制影响的网络特征，而现有的方法主要是依靠业务专家的经验来判断对网络关键指标造成抑制影响的网络特征；
以及，目前通讯运营商在作网络优化设计的决策时，需要预测网络经过优化设计会带来的网络关键指标增益，比如预测经过优化设计的网络将带来的网络流量，进而预测网络流量的增长量。而现有的对于网络关键指标的预测也主要是靠业务专家的经验分析，或者，基于单特征的建模分析，比如基于单个业务特征(如即时消息，视频等业务)分析单个业务的网络流量；或者基于同一个时间特征(即历史上不同时间点的网络流量)建模，以分析长期的历史流量变化规律，从而预测未来的网络流量；
在实现本发明过程中，发明人发现通讯运营商网络涉及的网络关键指标受很多特征影响，仅使用单个特征难以对网络关键指标进行有效的、较为准确的预测；此外，通讯运营商当下也迫切地希望能对网络问题的根因作量化分析，找出不同网络特征对网络关键指标的不同影响程度。
发明内容
一方面，本发明实施例提供一种网络关键指标的评估方法、装置和系统，以能够准确有效地确定多个网络特征中的每个网络特征对待评估网络的网络关键指标的重要性系数；
另一方面，本发明实施例提供一种网络关键指标的预测方法、装置和系统，以能够基于多个网络特征对网络关键指标进行有效的、较为准确的预测。
本发明实施例可以通过以下技术方案实现的：
第一方面，本发明实施例提供了一种网络关键指标的评估方法，包括：
使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数。
在第一方面的第一种可能的实现方式中，其中所述经过训练的多元回归模型能回归拟合第一网络特征数据集合中多个网络特征与网络关键指标之间的数据关系；
使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值。
结合第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述第二网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的实际值；
所述使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述非线性的多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值，包括：使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，得到与所述多条网络特征数据中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；
通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；
根据所述拟合度与所述业务要求阈值的比较结果判断所述经过训练的多元回归模型是否达到业务要求；
在所述经过训练的多元回归模型达到业务要求的情况下，确定所述经过训练的多元回归模型的回归预测验证通过。
结合第一方面第一种可能的实现方式以及第二种可能的实现方式中的任意一种可能的实现方式，在第三种可能的实现方式中，其中所述回归决策树通过如下方法构造：
利用第一网络特征数据集合中的多条网络特征数据计算所述多个网络特征的信息增益，其中所述多个网络特征中信息增益最大的网络特征对应于第一层的树节点；
在所述第一层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第二层的树节点；
在第N层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第N+1层的树节点，其中N为大于或等于1，且小于或等于最大深度的自然数；
直到所述回归决策树的叶子节点对应于所述多条网络特征数据中包括的所述网络关键指标的均值，或者直到所述回归决策树的每个叶子节点对应于网络关键指标的范围值。
结合第一方面第三种可能的实现方式，在第四种可能的实现方式中，其中所述回归决策树的非叶子节点的树节点对应于所述网络特征以及所述网络特征的值。
在第一方面的第五种可能的实现方式中，所述多元回归模型为线性的多元回归模型，所述基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，包括：
确定所述线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值；
或者，
所述多元回归模型为非线性的多元回归模型，所述基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，包括：
将所述非线性的多元回归模型转化为线性的多元回归模型；
确定所述转化的线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值。
结合第一方面，或者第一方面第一至第五种任意一种可能的实现方式，在第六种可能的实现方式中，所述方法还包括：将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；
其中，每类网络特征的重要性权值表示每类网络特征对所述第一网络的网络关键指标的重要性程度。
结合第一方面第六种可能的实现方式，在第七种可能的实现方式中，所述将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值，包括：
将所述多个网络特征按覆盖，干扰和容量进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
或者，
将所述多个网络特征按覆盖，干扰，容量和用户平均下载速率进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于用户平均下载速率类的网络特征的重要性权值进行线性加和处理，以得到用户平均下载速率类的网络特征的重要性权值；
或者，
将所述多个网络特征按业务，质量，容量和传输进行分类，
将属于业务类的网络特征的重要性权值进行线性加和处理，以得到业务类的网络特征的重要性权值；
将属于质量类的网络特征的重要性权值进行线性加和处理，以得到质量类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于传输类的网络特征的重要性权值进行线性加和处理，以得到传输类的网络特征的重要性权值。
结合第一方面，或者第一方面第一至第七种任意一种可能的实现方式，在第八种可能的实现方式中，所述网络关键指标包括网络流量或网络速率。
第二方面，本发明实施例提供了一种网络关键指标的预测方法，包括：
使用网络特征数据集合确定应用于第一网络或第二网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中所述第三网络特征数据集合中的每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；
根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
在第二方面的第一种可能的实现方式中，所述第三网络特征数据集合中的每条网络特征数据还包括与所述多个网络特征对应的子网络标识；
所述根据所述多元回归模型，对第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值，包括：
从所述第三网络特征数据集合包括的多条网络特征数据中，选择一组或多组、与所述子网络标识对应的所述多个网络特征的多个值；
根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值；
基于所述一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，计算出所述子网络标识表示的子网络的网络关键指标的预测值，其中所述第二网络包括所述子网络标识表示的子网络。
结合第二方面第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，包括：通过将所述选择的一组或多组、与所述子网络标识对应的所述多个网络特征的多个值分别代入所述多元回归模型的函数，以计算得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值。
结合第二方面第一种可能的实现方式以及第二种可能的实现方式中的任意一种可能的实现方式，在第三种可能的实现方式中，
如果所述网络关键指标为网络流量，所述计算出所述子网络标识表示的子网络的网络关键指标的预测值为：计算出所述子网络标识表示的子网络的网络流量预测值；
如果所述网络关键指标为网络速率，所述计算出所述子网络标识表示的子网络的网络关键指标的预测值为：计算出所述子网络标识表示的子网络的网络速率预测值。
结合第二方面第三种可能的实现方式，在第四种可能的实现方式中，所述第二网络为对第一网络经过网络优化设计后的网络，所述方法还包括：
基于所述子网络标识表示的子网络的网络流量预测值相对于所述子网络标识表示的子网络的网络流量原始值的增长量以及单位流量资费，计算出所述子网络标识表示的子网络经过网络优化设计后将带来的收益和/或计算出所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值。
结合第二方面，或者第二方面第一至第四种任意一种可能的实现方式，在第五种可能的实现方式中，所述方法还包括：基于所述多元回归模型，确定所述第三网络特征数据集合中的多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；
根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述子网络标识表示的子网络经过网络优化后将带来的收益，计算每个网络特征的投资收益比；
或者，根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值，计算每个网络特征的投资收益比。
结合第二方面，或者第二方面第一至第五种任意一种可能的实现方式，在第六种可能的实现方式中，所述非线性的多元回归模型为树模型，所述树模型包括单棵或多棵回归决策树，所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值或范围值，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的所述多个网络特征中的网络特征以及所述网络特征的值；
所述线性的多元回归模型表示所述网络关键指标与所述多个网络特征之间的多元线性回归函数关系，其中，所述线性的多元回归模型的多个参数分别表示所述多个网络特征对所述网络关键指标的重要性系数。
第三方面，本发明实施例提供了一种网络关键指标的评估装置，包括：
模型确定单元，用于使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
重要性系数确定单元，用于基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数。
在第三方面的第一种可能的实现方式中，所述网络特征数据集合包括第一网络特征数据集合和第二网络特征数据集合，所述模型确定单元包括：
模型训练单元，用于使用第一网络特征数据集合对多元回归模型进行训练，输出经过训练的所述多元回归模型，其中所述经过训练的多元回归模型能回归拟合第一网络特征数据集合中多个网络特征与网络关键指标之间的数据关系；
模型验证单元，用于使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值。
结合第三方面第一种可能的实现方式，在第二种可能的实现方式中，所述第二网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的实际值；
所述模型验证单元具体用于：
使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，得到与所述多条网络特征数据中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；
通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；
根据所述拟合度与所述业务要求阈值的比较结果判断所述经过训练的多元回归模型是否达到业务要求；
在所述经过训练的多元回归模型达到业务要求的情况下，确定所述经过训练的多元回归模型的回归预测验证通过。
结合第三方面第一种可能的实现方式以及第二种可能的实现方式中的任意一种可能的实现方式，在第三种可能的实现方式中，所述多元回归模型为非线性的多元回归模型，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，
所述模型训练单元具体用于：
使用第一网络特征数据集合迭代构造所述单棵回归决策树或多棵回归决策树，其中所述回归决策树通过如下方法构造：
利用第一网络特征数据集合中的多条网络特征数据计算所述多个网络特征的信息增益，其中所述多个网络特征中信息增益最大的网络特征对应于第一层的树节点；
在所述第一层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第二层的树节点；
在第N层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第N+1层的树节点，其中N为大于或等于1，且小于或等于最大深度的自然数；
直到所述回归决策树的叶子节点对应于所述多条网络特征数据中包括的所述网络关键指标的均值，或者直到所述回归决策树的每个叶子节点对应于网络关键指标的范围值。
结合第三方面第三种可能的实现方式，在第四种可能的实现方式中，其中所述回归决策树的非叶子节点的树节点对应于所述网络特征以及所述网络特征的值。
在第三方面的第五种可能的实现方式中，所述多元回归模型为线性的多元回归模型，所述重要性系数确定单元具体用于：确定所述线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值；
或者，所述多元回归模型为非线性的多元回归模型，所述重要性系数确定单元具体用于：将所述非线性的多元回归模型转化为线性的多元回归模型；确定所述转化的线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值。
结合第三方面，或者第三方面第一至第五种任意一种可能的实现方式，在第六种可能的实现方式中，还包括：
根因分析单元，用于将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；其中，每类网络特征的重要性权值表示每类网络特征对所述第一网络的网络关键指标的重要性程度。
第四方面，本发明实施例提供了一种网络关键指标的预测装置，包括：
模型确定单元，用于使用网络特征数据集合确定应用于第一网络或第二网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
接口单元，用于接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中所述第三网络特征数据集合中的每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；
模型预测单元，用于根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
在第四方面的第一种可能的实现方式中，所述第三网络特征数据集合中的每条网络特征数据还包括与所述多个网络特征对应的子网络标识；
所述模型预测单元具体用于：
从所述第三网络特征数据集合包括的多条网络特征数据中，选择一组或多组、与所述子网络标识对应的所述多个网络特征的多个值；
根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值；
基于所述一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，计算出所述子网络标识表示的子网络的网络关键指标的预测值，其中所述第二网络包括所述子网络标识表示的子网络。
结合第四方面第一种可能的实现方式，在第二种可能的实现方式中，在所述根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值的方面，所述模型预测单元具体用于：通过将所述选择的一组或多组、与所述子网络标识对应的所述多个网络特征的多个值分别代入所述多元回归模型的函数，以计算得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值。
结合第四方面第一种可能的实现方式以及第二种可能的实现方式中的任意一种可能的实现方式，在第三种可能的实现方式中，
如果所述网络关键指标为网络流量，所述模型预测单元计算出所述子网络标识表示的子网络的网络流量预测值；
如果所述网络关键指标为网络速率，所述模型预测单元计算出所述子网络标识表示的子网络的网络速率预测值。
结合第四方面第三种可能的实现方式，在第四种可能的实现方式中，所述第二网络为对第一网络经过网络优化设计后的网络，所述装置还包括：
收益分析单元，用于基于所述子网络标识表示的子网络的网络流量预测值相对于所述子网络标识表示的子网络的网络流量原始值的增长量以及单位流量资费，计算出所述子网络标识表示的子网络经过网络优化设计后将带来的收益和/或计算出所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值。
结合第四方面，或者第四方面第一至第四种任意一种可能的实现方式，在第五种可能的实现方式中，所述装置还包括：
重要性系数确定单元，用于基于所述多元回归模型，确定所述第三网络特征数据集合中的多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；
所述收益分析单元还用于根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述子网络标识表示的子网络经过网络优化后将带来的收益，计算每个网络特征的投资收益比；或者，还用于根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值，计算每个网络特征的投资收益比。
第五方面，本发明实施例提供了一种通信系统，包括：
数据采集设备，用于从第一网络中获取网络特征数据集合，所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括多个网络特征的多个值与网络关键指标的值；
管理服务器，用于使用网络特征数据集合确定应用于第一网络的多元回归模型，基于所述多元回归模型确定所述多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；其中所述多元回归模型能回归拟合网络特征数据集合中多个网络特征与网络关键指标之间的数据关系。
结合第五方面，在第一种可能的实现方式中，所述管理服务器还用于接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中所述第三网络特征数据集合中的每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
由上述技术方案可以看出，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络关键指标之间的数据关系，从而能根据基于多维特征的多元回归模型，有效的、较为准确的预测网络关键指标(例如网络流量或网络速率等KPI)，以及能根据基于多维网络特征的多元回归模型，确定多个网络特征中的每个网络特征对待评估网络的网络关键指标的重要性系数，进而能便于计算各个业务分类的重要性系数，进而可以为各种网络关键指标对应的网络问题进行较为精准的根因分析，为解决运营商网络的运维问题提供较为精确的依据。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例的一种通信系统的结构示意图；
图2为本发明实施例的一种网络的示意图；
图3a为本发明实施例提供的一种网络关键指标的评估方法的流程示意图；
图3b为本发明实施例提供的另一种网络关键指标的评估方法的流程示意图；
图3c为本发明实施例提供的再一种网络关键指标的评估方法的流程示意图；
图4a为本发明实施例提供的一种网络关键指标的预测方法的流程示意图；
图4b为本发明实施例提供的另一种网络关键指标的预测方法的流程示意图；
图4c为本发明实施例提供的再一种网络关键指标的预测方法的流程示意图；
图5为本发明实施例提供的一种应用于CDMA网络中的具体实现过程的流程示意图；
图6a为本发明实施例提供的一种网络优化设计方案的原理示意图；
图6b为本发明实施例提供的另一种网络优化设计方案的原理示意图；
图7为本发明实施例提供的一种应用于GSM网络中的具体实现过程的流程示意图；
图8a为本发明实施例提供的一颗树模型的示意图；
图8b为本发明实施例提供的另一颗树模型的示意图；
图8c为本发明实施例提供的另一颗树模型的示意图；
图9为本发明实施例提供的一种网络关键指标的评估装置的结构示意图；
图10为本发明实施例提供的一种网络关键指标的预测装置的结构示意图；
图11为本发明实施例提供的一种网络关键指标的评估装置的结构示意图；
图12为本发明实施例提供的一种网络关键指标的预测装置的结构示意图。
具体实施方式
本发明实施例基于机器学习的方法，使用多维的网络特征(下文统称为多个网络特征)进行多元回归模型的建模，并基于多元回归模型进行网络问题的根因分析，以期能够准确有效地分析多个网络特征对待评估网络(下文统称为第一网络)的网络关键指标的不同重要性系数(即不同影响程度)，以及使用多元回归模型进行网络关键指标的预测，例如使用多元回归模型对经过优化设计的网络进行网络关键指标的预测，以期能够基于多个网络特征对网络关键指标进行有效的、较为准确的预测，进而预测网络关键指标增益。
本发明实施例中的网络关键指标包括但不限于网络流量或网络速率。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参阅图1，为本发明实施例的一种通信系统的结构示意图，该通信系统布署于第一网络中，如图1所示，本发明实施例的通信系统包括：数据采集设备10和管理服务器20，其中：
数据采集设备10用于从第一网络中获取网络特征数据集合，所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括多个网络特征的多个值与网络关键指标的值；
管理服务器20用于使用网络特征数据集合确定应用于第一网络的多元回归模型，基于所述多元回归模型确定所述多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；其中所述多元回归模型能回归拟合网络特征数据集合中多个网络特征与网络关键指标之间的数据关系。
较优的，所述多元回归模型为非线性的多元回归模型，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的网络特征以及所述网络特征的值，所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值，或者所述回归决策树的叶子节点对应于所述网络特征数据集合中的网络关键指标的范围值；
进一步的，管理服务器20还用于将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性系数进行线性加和处理，得到每类网络特征的重要性系数；其中，每类网络特征的重要性系数表示每类网络特征对所述第一网络的网络关键指标的重要性程度。具体的，这里重要性系数例如可以是重要性权值，相应的，每类网络特征的重要性权值表示每类网络特征对所述第一网络的网络关键指标的重要性程度。
进一步的，管理服务器20还用于接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。需要说明的是，这里的第二网络为基于第一网络的网络，例如第二网络为对第一网络经过网络优化设计后的网络，或者，第二网络为与第一网络的网络类型相同且地理位置上相邻的网络；
应当理解的是，本发明实施例中提到的网络关键指标包括但不限于：网络流量或网络速率等；
以及，本发明实施例涉及的第一网络可以是网络全网，也可以是某个地区/地理位置的网络，或某个cell的网络，或多个cell的网络等。
本发明实施例可以应用于2G，3G，4G等各种网络，请参阅图2，为本发明实施例的一种网络的示意图。如图2所示，包括：用户终端51-55、基站61-63、基站控制器(图中未示意)、网关设备71-72、管理服务器81以及管理客户端设备82(可选的)，其中，图2中的网关设备71-72执行的功能对应于图1中的数据采集设备10，用于从图2所示的网络中采集网络特征数据集合；图2中的管理服务器81执行的功能对应于图1中的管理服务器20，网关设备71-72执行的其它功能，以及管理服务器81执行的其它功能参见如下的各种方法实施例的描述，这里不再赘述。
本申请的技术方案，可以应用于各种通信系统，例如，全球移动通信系统(GlobalSystemforMobileCommunications，GSM)、通用分组无线业务(GeneralPacketRadioService，GPRS)系统、码分多址(CodeDivisionMultipleAccess，CDMA)系统、CDMA2000系统、宽带码分多址(WidebandCodeDivisionMultipleAccess，WCDMA)系统、长期演进(LongTermEvolution，LTE)系统或全球微波接入互操作性(WorldInteroperabilityforMicrowaveAccess，WiMAX)系统等。
其中，所述基站可以是GSM系统、GPRS系统或CDMA系统中的基站(BaseTransceiverStation，BTS)，还可以是CDMA2000系统或WCDMA系统中的基站(NodeB)，还可以是LTE系统中的演进型基站(EvolvedNodeB，eNB)，还可以是WiMAX网络中的接入服务网络的基站(AccessServiceNetworkBaseStation，ASNBS)等。
其中，所述用户终端可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。用户终端可以经无线接入网(RadioAccessNetwork，RAN)与一个或多个核心网进行通信，用户终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(PersonalCommunicationService，PCS)电话、无绳电话、会话发起协议(SessionInitiationProtocol，SIP)话机、无线本地环路(WirelessLocalLoop，WLL)站、个人数字助理(PersonalDigitalAssistant，PDA)等设备。终端也可以称为系统、订户单元(SubscriberUnit)、订户站(SubscriberStation)、移动站(MobileStation)、远程站(RemoteStation)、接入点(AccessPoint)、远程终端(RemoteTerminal)、接入终端(AccessTerminal)、用户终端(UserTerminal)、用户代理(UserAgent)、用户设备(UserDevice)或用户装备(UserEquipment)。
可见，本发明实施例系统中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络关键指标之间的数据关系，从而能根据基于多维特征的多元回归模型，有效的、较为准确的预测网络关键指标(例如网络流量或网络速率等KPI)，以及能根据基于多维网络特征的多元回归模型，确定多个网络特征中的每个网络特征对待评估网络的网络关键指标的重要性系数，进而能便于计算各个业务分类的重要性系数，进而可以为各种网络关键指标对应的网络问题进行较为精准的根因分析，为解决运营商网络的运维问题提供较为精确的依据。
请参阅图3a，为本发明实施例提供一种网络关键指标的评估方法的流程示意图，该方法的执行主体可以是如图1或2所示的管理服务器，也可以是用于评估网络关键指标的计算机设备，本发明实施例不限于此，如图3a所示，该方法可以包括如下步骤：
步骤301，使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
本发明实施例的多元回归模型包括线性的多元回归模型或者非线性的多元回归模型，较优的，使用网络特征数据集合确定非线性的多元回归模型，其中所述非线性的多元回归模型能回归拟合网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；其中，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的网络特征以及所述网络特征的值，所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值，或者所述回归决策树的叶子节点对应于所述网络特征数据集合中的网络关键指标的范围值；
步骤302，基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数；
较优的，基于所述非线性的多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数；
其中，所述网络特征数据集合包括第一网络特征数据集合和第二网络特征数据集合，在一种实现方式下，如图3b所示，步骤301可以包括：
301a，使用第一网络特征数据集合对所述多元回归模型进行训练，输出经过训练的所述多元回归模型，其中所述经过训练的多元回归模型能回归拟合第一网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，以实现基于多个网络特征的多元回归模型的训练或建立；以及，
301b，使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值，以实现对基于多个网络特征的多元回归模型的预测效果进行验证。
应当理解的是，本发明实施例中的业务要求阈值可以是一个或多个值，也可以是一个范围，可以根据实际应用或经验值灵活设置。
其中，第二网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的实际值；
在一种实现方式下，S301b可以包括：
使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，得到与所述多条网络特征数据中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；
通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；
根据所述拟合度与所述业务期望阈值的比较结果判断所述经过训练的多元回归模型是否达到业务要求；
在所述经过训练的多元回归模型达到业务要求的情况下，确定所述经过训练的多元回归模型的回归预测验证通过。
需要说明的是，这里的多元回归模型对第二网络特征数据集合的拟合度用来评估回归预测效果，在不同的应用场景下，这里的多元回归模型对第二网络特征数据集合的拟合度可以用如下的一种或多种来表示，参见现有技术，这里不再赘述：
MAE(MeanAbsoluteError)：平均绝对误差
MSE(MeanSquaredError)：均方误差
RAE(RelativeAbsoluteError)：平均预测误差比例(预测误差绝对值除以实际值的平均)
R平方(coefficientofdetermination)：回归方程的确定性系数(该系数范围0～1，越大说明拟合效果越好)
较优的，非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，相应的，步骤301a(即构造回归决策树)，可以包括：
使用第一网络特征数据集合迭代构造所述单棵回归决策树或多棵回归决策树，其中所述回归决策树通过如下方法构造：
利用第一网络特征数据集合中的多条网络特征数据计算所述多个网络特征的信息增益，其中所述多个网络特征中信息增益最大的网络特征对应于第一层的树节点；这里的第一层的树节点即根节点；
在所述第一层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第二层的树节点；
在第N层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第N+1层的树节点，其中N为大于或等于1，且小于或等于最大深度max_depth的自然数；
直到所述回归决策树的叶子节点对应于所述多条网络特征数据中包括的所述网络关键指标的均值，或者直到所述回归决策树的每个叶子节点对应于网络关键指标的范围值。这里的范围值可以理解为网络关键指标的最小值与网络关键指标的最大值之间的范围。
应当理解的是：如果树模型是RF(RandomForest，随机森林)模型，使用第一网络特征数据集合中多条网络特征数据构建一棵回归决策树，使用第一网络特征数据集合中另外的多条网络特征数据构建另一棵回归决策树，以此类推，最后通过多棵回归决策树完成对第一网络特征数据集合的拟合，即完成多元回归模型的训练；
如果树模型是GBRT(GradientBoostingRegressionTree，梯度优化决策树)模型，每棵归决策树都是用第一网络特征数据集合中的所有条网络特征数据去构造，多棵回归决策树的构建原理与一棵回归决策树的原理类似，构建下一棵回归决策树为了学习或减少上一棵回归决策树的残差值，例如后一棵回归决策树可以通过梯度下降算法减小上一棵回归决策树的残差，以此类推，最后通过多棵回归决策树完成对第一网络特征数据集合的拟合，即完成多元回归模型的训练。
相应的，步骤302可以包括：按所述多棵回归决策树中所述多个网络特征中的每个网络特征的分裂次数进行加权占比计算，得到所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性权值，其中所述回归决策树的非叶子节点的树节点对应于所述网络特征以及所述网络特征的值。应当理解的是，对应于某网络特征的树节点越多，说明该网络特征分裂次数越多。
在另一种实现方式下，所述多元回归模型为非线性的多元回归模型(例如一元二次函数)，相应的，步骤302可以包括：
将所述非线性的多元回归模型转化为线性的多元回归模型；
确定所述转化的线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络流量的重要性权值；
在再一种实现方式下，所述多元回归模型为线性的多元回归模型，相应的，步骤302可以包括：确定所述线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值。
较优的，如图3c所示，本发明实施例的方法还可以包括：
步骤303，将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性系数进行线性加和处理，得到每类网络特征的重要性系数；其中，每类网络特征的重要性系数表示每类网络特征对所述第一网络的网络关键指标的重要性程度。
具体的，
将所述多个网络特征按覆盖，干扰和容量进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
或者，
将所述多个网络特征按覆盖，干扰，容量和用户平均下载速率进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于用户平均下载速率类的网络特征的重要性权值进行线性加和处理，以得到用户平均下载速率类的网络特征的重要性权值；
或者，
将所述多个网络特征按业务，质量，容量和传输进行分类，
将属于业务类的网络特征的重要性权值进行线性加和处理，以得到业务类的网络特征的重要性权值；
将属于质量类的网络特征的重要性权值进行线性加和处理，以得到质量类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于传输类的网络特征的重要性权值进行线性加和处理，以得到传输类的网络特征的重要性权值。
以及，本发明实施例中的网络关键指标包括网络流量或网络速率等。
可见，本发明实施例方法中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，以及根据基于多维网络特征的多元回归模型，可以计算多个网络特征的重要性权值，并计算各个业务分类指数的重要性占比，可以为各种网络KPI对应的复杂网络问题进行精准的根因分析，为解决运营商网络的运维问题提供精确依据。
请参阅图4a，为本发明实施例提供一种网络关键指标的预测方法的流程示意图，该方法的执行主体可以是如图1或2所示的管理服务器，也可以是用于预测网络关键指标的计算机设备，本发明不限于此，如图4a所示，该方法可以包括如下步骤：
步骤401，使用网络特征数据集合确定应用于第一网络或基于第一网络的第二网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
步骤402，接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；其中第三网络特征数据集合用于描述与待预测的第二网络的网络关键指标相关的多个网络特征的情况；
步骤403，根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值；
需要说明的是，这里的第二网络为基于第一网络的网络，例如第二网络为对第一网络经过网络优化设计后的网络，或者，第二网络为与第一网络的网络类型相同且地理位置上相邻的网络；
为了实现某子网络(例如某一个或多个小区，下文将小区简称为Cell)的网络关键指标的预测，较优的，所述第三网络特征数据集合中的每条网络特征数据还包括与所述多个网络特征对应的子网络标识(例如cell标识)；相应的，如图4b所示，步骤403可以包括：
步骤413，从所述第三网络特征数据集合包括的多条网络特征数据中，选择一组或多组、与所述子网络标识对应的所述多个网络特征的多个值；
步骤423，根据所述多元回归模型，对与选择的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值；
步骤433，基于所述一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，计算出所述子网络标识表示的子网络的网络关键指标的预测值，其中所述第二网络包括所述子网络标识表示的子网络。例如，如果子网络标识为一个或多个Cell标识，对应的子网络为包括一个或多个Cell的网络。
较优的，步骤423可以为：通过将所述选择的一组或多组、与所述子网络标识对应的所述多个网络特征的多个值分别代入所述多元回归模型的函数，以计算得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值。应当理解的是，无论是线性的多元回归模型还是非线性的多元回归模型，本质上都是函数，通过将多个网络特征的多个值代入函数，就能得到所述网络关键指标的预测值。
应当理解的是：如果所述网络关键指标为网络流量，所述计算出所述子网络标识表示的子网络的网络关键指标的预测值为：计算出所述子网络标识表示的子网络的网络流量预测值；如果所述网络关键指标为网络速率，所述计算出所述子网络标识表示的子网络的网络关键指标的预测值为：计算出所述子网络标识表示的子网络的网络速率预测值。
针对网络优化设计且网络关键指标为网络流量的应用场景下，所述第二网络为对第一网络经过网络优化设计后的网络，本发明实施例的方法还可以包括：
基于所述子网络标识表示的子网络的网络流量预测值相对于所述子网络标识表示的子网络的网络流量原始值的增长量以及单位流量资费，计算出所述子网络标识表示的子网络经过网络优化设计后将带来的收益和/或计算出所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值；从而可以实现运营商投资收益预测。这里的网络流量原始值是指所述网络标识表示的网络未做网络优化前的网络流量。
较优的，如图4c所示，本发明实施例方法还可以包括：
步骤404，基于所述多元回归模型，确定所述第三网络特征数据集合中的多条网络特征数据中的每条网络特征数据包括的多个网络特征中的每个网络特征对网络关键指标的重要性系数；
步骤405，根据所述每个网络特征对所述待评估的网络关键指标的重要性系数计算每个网络特征的投资收益比。具体的是，根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述子网络标识表示的子网络经过网络优化后将带来的收益，计算每个网络特征的投资收益比；或者，根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值，计算每个网络特征的投资收益比。
以及，本发明实施例中，所述多元回归模型包括非线性的多元回归模型或线性的多元回归模型，其中，所述非线性的多元回归模型为树模型，所述树模型包括单棵或多棵回归决策树，所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值或所述网络关键指标的范围值(所述回归决策树的叶子节点可以理解为所述网络关键指标的预测值)，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的所述多个网络特征中的网络特征以及所述网络特征的值；
所述线性的多元回归模型表示所述网络关键指标与所述多个网络特征之间的多元线性回归函数关系，其中，所述线性的多元回归模型的多个参数分别表示所述多个网络特征对所述网络关键指标的重要性系数。
可见，本发明实施例方法中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，可以根据基于多维特征的多元回归模型，可以准确预测网络流量或网络速率等KPI；
进一步，本发明实施例方法中，在网络优化设计的场景中，根据基于多维网络特征的多元回归模型可以做网络流量等KPI的准确预测。
进一步，本发明实施例方法中，根据基于多维网络特征的多元回归模型，计算得出各个网络特征的重要程度，由此可以准确计算各个特征在网络优化中的投资收益比，进而可以指导运营商的网络扩容，优化，新建站点的策略和步骤。
为便于理解，下面将结合具体的应用对本发明实施例的实现过程做详细的说明。
具体地，以本发明实施例应用于某地区的CDMA(Codedivisionmultipleaccess，码分多址)网络为例进行说明。当然，本发明实施例也可以应用于UMTS(UniversalMobileTelecommunicationSystem，通用移动通信系统)、LTE(LongTermEvolution，长期演进)、TD-SCDMA(TimeDivision-SynchronousCodeDivisionMultipleAccess，时分同步码分多址接入)、GPRS/EDGE(Generalpacketradioservice，通用分组无线服务/EnhanceddataratesforGSMevolution，GSM演进的增强型数据速率)、GSM(Globalsystemformobilecommunication，全球移动通信系统)等无线网络中。或者，本发明实施例也可以用于小区、NodeB(基站)、RNC(无线网络控制器)、网关等设备中。
如图5所示，本发明实施例的一种具体实现过程可以包括以下步骤，其中本发明实施例以待评估的网络关键指标(简称为网络KPI)为网络流量，以及以预测的网络关键指标增益为网络流量增长量为例对本发明实施例做详细介绍：
步骤501，数据采集；
本发明实施例中，面向运营商网络(本实施例中为CDMA网络)，可以按照预定的数据采集周期(如60分钟)，采集运营商网络中的网络特征数据，得到网络特征数据集合，网络特征数据集合中的每条网络特征数据可以包括10个维度的网络特征的值和网络流量的值，以及所述每条网络特征数据表示第一网络的一条原始流量记录，其中该10个网络特征是与网络流量相关的主要特征；
为了方便理解，这里以表(1)对一种网络特征数据集合中的多条网络特征数据进行示意；
表(1)
步骤502，从采集的网络特征数据集合过滤掉异常数据，得到经过过滤处理后的网络特征数据集合T；
应当理解的是，异常数据包括但不限于：数值为空的数据，或流量很小的数据(比如：流量小于1M的数据)；应当理解的是：本发明实施例的步骤502是可选的步骤；
其中，经过过滤处理后的网络特征数据集合T包括作为训练样本的第一网络特征数据集合T1和作为测试样本的第二网络特征数据集合T2；
较优的，还可以对多个网络特征的数据单位进行归一化等处理；
步骤503，使用第一网络特征数据集合T1进行多元回归模型的训练，输出经过训练的多元回归模型，其中经过训练的多元回归模型能回归拟合第一网络特征数据集合T1中多个网络特征与网络流量之间的数据关系；
为了方便描述，本实施例中以Y＝f(X1,X2,X3…Xn)表示经过训练的多元回归模型，其中，这里的Y表示网络流量(Y为因变量)，X1,X2,X3…Xn(即n个自变量)表示第一网络特征数据集合T1中包括的n个网络特征，其中n>＝2；应当理解的是：通过样本数据(即第一网络特征数据集合T1)的训练，使用多元回归模型进行n个自变量X1,X2,X3…Xn与因变量Y的关系拟合。
本实施例中以网络流量作为一种网络关键指标举例说明，对于网络流量，某地区的CDMA无线网络中可以选择如下10个网络特征进行分析，其中[]中为网络特征的数据单位；
等效用户数[个]，前向时隙占用率[％]，控制信道(CCH)时隙占用率[％]，反向ROT(RiseOverThermal,热噪声增加量)[db]，接入信道(ACH)时隙占用率[％]，载扇动态速率控制(DRC)申请速率[kbps]，RSSI(ReceivedSignalStrengthIndication,接收的信号强度指示)平均值[dBm]，激活用户数，载频最大用户数话务量，激活态占比；
或者，对于网络流量，某地区的CDMA无线网络中也可以选择如下11个网络特征进行分析：
等效用户数[个]，前向时隙占用率[％]，CCH信道时隙占用率[％]，反向ROT[db]，ACH时隙占用率[％]，载扇DRC申请速率[kbps]，RSSI平均值[dBm]，激活用户数，载频最大用户数话务量，激活态占比，前向平均速率[Kbps]；
步骤504，使用第二网络特征数据集合T2对前述经过训练的多元回归模型进行误差验证；
具体的，使用第二网络特征数据集合T2对前述经过训练的多元回归模型进行回归预测验证，得到与第二网络特征数据集合T2中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；
通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；
根据所述拟合度与业务期望阈值的比较结果判断前述经过训练的多元回归模型是否达到业务要求；
在前述经过训练的多元回归模型达到业务要求的情况下，执行步骤605；
在前述经过训练的多元回归模型未达到业务要求的情况下，更换另一组相关性更强的网络特征数据集合重新进行模型训练，或者调整模型参数重新进行模型训练，直到再次经过训练的多元回归模型达到业务要求，并执行步骤605。
应当理解的是，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度可以采用如下方法中的任一种或组合，参见现有技术，这里不再赘述：
计算平均绝对误差(MeanAbsoluteError，MAE)，
计算均方误差(MeanSquaredError，MSE)，
计算平均预测误差比例(RelativeAbsoluteError，RAE)，
计算R2(coefficientofdetermination)，即回归方程的确定性系数(该系数范围0～1，越大说明拟合效果越好)其中，本发明实施例的业务期望阈值可以根据不同的应用场景灵活设置，例如在一种实现方式下，业务期望阈值可以是R2＝0.9，或者0.9至0.98。
应当理解的是，本发明实施例中网络特征数据维度越多，拟合效果越好，预测越准确；训练数据量越大，拟合效果越好，预测越准确。
步骤505，基于前述经过训练且验证通过的多元回归模型，计算多个网络特征中的每个网络特征对网络流量的重要性权值；按业务规则将多个网络特征进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；其中，每类网络特征的重要性权值表示每类网络特征对该CDMA无线网络的网络流量的重要性程度；
以及，在一种实现方式下，步骤505b具体为：将所述多个网络特征按覆盖，干扰和容量进行分类，将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
以及，在另一种实现方式下，步骤505b具体为：将所述多个网络特征按覆盖，干扰，容量和用户平均下载速率进行分类，将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；将属于用户平均下载速率类的网络特征的重要性权值进行线性加和处理，以得到用户平均下载速率类的网络特征的重要性权值。
举例说明：将10个网络特征按覆盖，干扰和容量进行分类，即：
容量类：等效用户数[个]，前向时隙占用率[％]，CCH信道时隙占用率[％]，ACH时隙占用率[％]，载频最大用户数话务量，反向ROT[db]，激活用户数；
覆盖类：激活态占比，载扇DRC申请速率[kbps]；
干扰类：RSSI平均值[dBm]，反向ROT[db]；
或者，
将11个网络特征按覆盖，干扰，容量和用户平均下载速率进行分类，即：
容量类：CCH信道时隙占用率[％]，前向时隙占用率[％]，等效用户数[个]，ACH时隙占用率[％]，载频最大用户数话务量[erl]，反向ROT[db]，激活用户数，
覆盖类：载扇DRC申请速率[kbps]，激活态占比，
干扰类：RSSI平均值[dBm]，反向ROT[db]，
用户平均下载速率类：前向平均速率[Kbps]”，
例如：在步骤505中计算得出“等效用户数[个](容量)，前向时隙占用率[％](容量)，CCH信道时隙占用率[％](容量)，反向ROT[db](容量，干扰)，ACH时隙占用率[％](容量)，载扇DRC申请速率[kbps](覆盖)，RSSI平均值[dBm](干扰)，激活用户数，载频最大用户数话务量[erl](容量)，激活态占比(覆盖)”这10个网络特征分别对应的重要性权值依次是：
0.0300，0.3715，0.1854，0.0186，0.0197，0.1131，0.021，0.0781，0.0771，0.0855；
进而在步骤506中线性加和得出：覆盖：0.1986，容量:0.6930，干扰:0.0303，由此可以量化地分析抑制网络流量的根因占比：网络容量因素占69.3％，覆盖因素占19.86％，干扰因素占3.03％。
由上可见，本发明实施例在使用多元回归模型做回归拟合的同时，还可以得出每个网络特征对该CDMA网络的网络流量指标的重要性权值，进而可以按业务规则将多个网络特征的重要性权值进行分类，进而可以做根因分析。
在分析出该CDMA网络的流量抑制的根因是容量不足后，输出该CDMA网络的优化设计方案一，即：通过扩容来解决容量不足的问题，例如，如图6a所示，可以在每个扇区增加一个载频，扩容前：基站A(例如小区号3607)，有3个扇区(例如扇区号0，1，2)，每个扇区一个载频1FA(例如载频号6)；扩容后：基站A(例如小区号3607)的每个扇区再叠加一个载频，形成2个载频2FA(例如扇区号为0的扇区包括的载频号6的载频和载频号7的载频)；
或者，在分析出该CDMA网络的流量抑制问题的根因是容量不足后，输出该CDMA网络的优化设计方案二，即：通过新增基站来解决容量不足的问题。例如，如图6b所示，该地区原有2G网络，在原来2G网络的基础上，可以增加3G的基站，以增加网络带宽，解决网络流量抑制的问题。
步骤506，根据前述经过训练且通过验证的多元回归模型，对经过网络优化设计的CDMA网络的网络流量进行预测；
具体的，以该CDMA网络经过优化设计方案二的优化设计举例说明，加载第三网络特征数据集合T3，其中第三网络特征数据集合用于描述与经过网络优化设计的CDMA网络的网络流量相关的多个网络特征的情况，所述第三网络特征数据集合包括多条网络特征数据，其中每条网络特征数据均包括与经过网络优化设计的某地区的CDMA网络的网络流量相关的多个网络特征的多个值；
本实施例的第三网络特征数据集合T3中的10个网络特征包括：等效用户数[个]，前向时隙占用率[％]，CCH信道时隙占用率[％]，反向ROT[db]，ACH时隙占用率[％]，载扇DRC申请速率[kbps]，RSSI平均值(dBm)，激活用户数，载频最大用户数话务量[erl]，激活态占比；
为了方便理解，这里以表(2)对第三网络特征数据集合的多条网络特征数据进行示意，表(2)中载频号为7的网络特征数据为扩载频后的网络特征数据：
表(2)
根据多元回归模型，对第三网络特征数据集合T3中的网络特征数据包括的多个网络特征的多个值对应的网络流量的值进行预测，以得到经过网络优化设计的CDMA网络的网络流量的预测值。
具体的，第三网络特征数据集合中的每条网络特征数据还可以包括与所述多个网络特征对应的子网络标识以及时间周期，这里的子网络标识例如是小区标识(例如小区号)或者网络区域标识或位置标识，本实施例中，以子网络标识为小区号，并结合表(2)详细说明网络流量的预测过程：
将表(2)中小区号为3607的14条网络特征数据中的10个网络特征的10个值输入多元回归模型，得到14个网络流量的预测值，其中7个网络流量的预测值属于同一个小区下的同一个扇区(即扇区号均为0)下的载频号为6的载频在时间周期为60分钟的流量的预测值，另外7个网络流量的预测值属于同一个小区下的同一个扇区(即扇区号均为0)下的载频号为7的载频在时间周期为60分钟的流量的预测值；
求载频号为6的7个网络流量的预测值的均值，得到第一均值；
求载频号为7的7个网络流量的预测值的均值，得到第二均值，
如果0号扇区包括载频号为6的载频和载频号为7的载频，则求第一均值和第二均值的累加值，得到该0号扇区在时间周期为60分钟的网络流量的预测值；
如果该3607号小区包括三个扇区，例如0号，1号和2号扇区(表2中未示意)，则求该0号扇区在时间周期为60分钟的网络流量的预测值、该1号扇区在时间周期为60分钟的网络流量的预测值以及该2号扇区在时间周期为60分钟的网络流量的预测值的累加值，得到该3607号小区在时间周期为60分钟的网络流量的预测值。
至于该1号扇区的网络流量的预测值以及该2号扇区的网络流量的预测值的累加值的计算方法与该0号扇区的网络流量的预测值的计算方法同理，这里不再赘述。
应当理解的是：同理可以计算出该3607号小区在不同时间周期(例如时间周期为一天或一个月或半年或一年)内的网络流量的预测值，同理也可以计算出不同地理区域的网络中的一个或多个小区在不同的时间周期内的网络流量的预测值，本发明实施例在此不再赘述。
步骤507，计算网络优化投资收益；
具体的，基于小区号表示的小区的网络流量预测值相对于该小区号表示的小区的网络流量原始值的增长量以及单位流量资费，计算出该小区号表示的小区经过网络优化设计后将带来的收益和/或计算出该CDMA网络中的多个小区号表示的多个小区(下文描述为Cell)经过网络优化后将带来的收益累加值。
例如：网络优化前第n号Cell的网络流量原始值为Y,根据第n号Cell的网络特征数据预测出网络优化后的第n号Cell的网络流量预测值为Y’，用户每MB流量收费约为m元，第n号Cell网络优化带来收益为D＝(Y’-Y)*m,如果该CDMA网络中包括i个小区，则i个Cell的收益累加S＝∑i((Y’-Y)*m)，其中n为小于或等于i且大于0的自然数；
以及，基于所述多元回归模型，确定所述第三网络特征数据集合T3中的多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和小区号表示的小区经过网络优化后将带来的收益，计算每个网络特征的投资收益比(下文简称为ROI)；或者，根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和网络中的多个小区号表示的多个小区经过网络优化后将带来的收益累加值，计算每个网络特征的投资收益比。
例如：该CDMA网络中的第n号Cell的网络优化涉及N个网络特征，其中第p个网络特征对网络流量的重要性系数为Wp,第p个网络特征的优化成本为Vp元,第p个网络特征的投资效果为Wp*Vp，其中p为小于或等于N且大于0的自然数，第n号Cell的总投资效果约为C＝W1*V1+W2*V2+W3*V3(假设N＝3)；
则第n号Cell的投资收益比为ROI＝C/D＝(W1*V1+W2*V2+W3*V3)/(Y’-Y)*m,每个网络特征x的投资收益比为ROI(x)＝W*(V/(Y’-Y)*m)；
可见，本发明实施例方法中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，可以根据基于多维特征的多元回归模型，可以准确预测网络流量指标，以及根据基于多维网络特征的多元回归模型，可以计算多个网络特征的重要性权值，并计算各个业务分类指数的重要性占比，可以为各种网络KPI对应的复杂网络问题进行精准的根因分析，为解决运营商网络的运维问题提供精确依据。
进一步，本发明实施例方法中，在网络优化设计的场景中，根据基于多维网络特征的多元回归模型可以做网络流量指标的准确预测。
进一步，本发明实施例方法中，根据基于多维网络特征的多元回归模型，计算得出各个网络特征的重要程度，由此可以准确计算各个特征在网络优化中的投资收益比，进而可以指导运营商的网络扩容，优化，新建站点的策略和步骤。
进一步，本发明实施例方法中，直接通过原始的多个网络特征数据，使用机器学习方法自动化建模分析预测，大幅降低人工分析的工作量，并通过数据建模方法减少主观影响，大幅提升网络KPI分析预测的效率和准确性。
如图7所示，本发明实施例的另一种具体实现过程可以包括以下步骤，其中本发明实施例以待评估的网络关键指标为网络速率(比如，网络下行速率(DownlinkThroughputofUsersLLCPDU(kbit/s))为例对本发明实施例做介绍：
步骤701，数据采集；
本发明实施例中，面向运营商网络(本实施例中为GSM网络)，可以按照预定的数据采集周期(如60分钟)，采集运营商网络中的网络特征数据，得到网络特征数据集合，网络特征数据集合中的每条网络特征数据可以包括6个维度的网络特征的值和网络速率的值，以及所述每条网络特征数据表示第一网络的一条原始流量记录，其中该6个网络特征是与网络速率相关的主要特征；
举例说明，对于网络下行速率，每条网络特征可以包括如下6个网络特征：
EGPRS(EnhancedDataRateforGSMEvolution,增强型数据速率GSM演进技术)TBF(TemporaryBlockFlow，临时数据流)业务占比指数,
下行质量(DownlinkHQI)指数,
信道容量(ContentofChannel)指数,
BEP(BitErrorProbability，误码率)19～31Ratio指数,
Abis资源指数,其中，Abis是个专有名词,定义为基站子系统的两个功能实体基站控制器BSC和基站收发信台BTS之间的通信接口；
下行TBF多重度(DownlinkTBFmultiplexDegree)指数；
步骤702，从采集的网络特征数据集合过滤掉异常数据，得到经过过滤处理后的网络特征数据集合T；
其中，经过过滤处理后的网络特征数据集合T包括作为训练样本的第一网络特征数据集合T1和作为测试样本的第二网络特征数据集合T2；
步骤703，使用第一网络特征数据集合T1进行多元回归模型的训练，输出经过训练的多元回归模型，其中经过训练的多元回归模型能回归拟合第一网络特征数据集合T1中多个网络特征与网络速率之间的数据关系；
步骤704，使用第二网络特征数据集合T2对前述经过训练的多元回归模型进行误差验证；
步骤705，基于前述经过训练且验证通过的多元回归模型，计算多个网络特征中的每个网络特征对网络速率的重要性权值；按业务规则将多个网络特征进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；其中，每类网络特征的重要性权值表示每类网络特征对该GSM网络的网络速率指标的重要性程度；
举例说明：将6个网络特征按业务，质量，容量和传输进行分类，即：
业务指数：EGPRSTBF业务占比指数
质量指数:下行质量指数,BEP19～31Ratio指数
容量指数:信道容量指数,下行TBF多重度指数
传输指数：Abis资源指数
例如：在步骤705中计算得出“EGPRSTBF业务占比指数(业务),下行质量指数(质量),信道容量指数(容量),BEP19～31Ratio指数(质量),Abis资源指数(传输),下行TBF多重度指数(容量)”这6个网络特征分别对应的重要性权值依次是：
0.1954，0.2517，0.2463，0.072，0.1719，0.0626；
进而在步骤706中线性加和得出：业务指数：0.1954，质量指数:0.3237，容量指数:0.3089，传输指数:0.1719，由此可以量化地分析抑制网络速率的根因：业务指数占比19.54％，质量指数占比32.37％，容量指数占比30.89％，传输指数占比17.19％。
可见，本发明实施例方法中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，可以根据基于多维特征的多元回归模型，可以准确预测网络速率指标，以及根据基于多维网络特征的多元回归模型，可以计算多个网络特征的重要性权值，并计算各个业务分类指数的重要性占比，可以为各种网络KPI对应的复杂网络问题进行精准的根因分析，为解决运营商网络的运维问题提供精确依据。
为了更好地理解本发明实施例，以下结合具体的例子，对构造回归决策树的过程，作出进一步描述：
数据输入：作为训练数据的第一网络特征数据集合；
模型构建：迭代构建多层n棵回归决策树(例如max_depth:5)，在构建第n棵回归决策树时，应用梯度下降法减小前n-1棵回归决策树与真实值的残差；
输出模型：GBRT模型，即几百棵回归决策树，回归决策树的每个非叶子节点对应一个网络特征以及该网络特征的值，回归决策树的每个叶子节点对应网络流量的均值或网络流量的范围值(比如网络流量的最大值与网络流量的最小值之间的范围值)
验证模型：将作为测试数据的第二网络特征数据集合中与网络流量相关的多个网络特征的多个值，代入到GBRT模型中，根据每个网络特征的值在n棵回归决策树中找到一条路径，基于每个叶子节点的流量值得到对应网络流量的预测值。通过网络流量的预测值与网络流量的真实值的误差，计算MAE，MSE，RAE，R方等指标，进而验证模型的可用性。
下面以GBRT为例说明非线性回归的预测方法；
1.输入：
(1)如图8a所示模型由多棵树组成，树中每个非叶节点由特征ID和特征值组成，用于决定样本数据沿树行走方向；每个叶节点是预测值。
(2)待预测样本的特征向量：X＝[x1,x2…xn]
2.输出：预测结果Y
3.预测方法
(1)将样本X＝[x1,x2…xn]分别代入图8a中，根据树节点的特征和特征值，走到树的叶节点。
(2)行走方式：假设树节点的特征为第1号特征，特征值为v1，X向量中的x1如果大于v1，则行走至该树节点的左节点，否则行走至该树节点的右节点。图8b表示样本X的行走路线。
(3)将树中红色叶节点(样本X最终到达的节点)的预测值累加，得到最终的预测值Y。
使用表(4)所示的训练数据构造回归决策树的例子，如图8c所示：
表(4)
结合图8c所示的回归决策树对表(4)中的5个网络特征的重要性权值的计算过程举例说明：
按回归决策树中所述5个网络特征中的每个网络特征的分裂次数进行加权占比计算，得到所述5个网络特征中的每个网络特征对网络流量指标的重要性权值。应当理解的是：越接近根节点，计算权重越大，并且按该特征分裂次数加权累加。
在一种实现方式下，网络特征的重要性权值的计算方法：特征权重*分裂次数/总分支节点数，相应的，各网络特征的重要性权值计算如下：
信道实际占用率＝1*1/6＝0.167
激活用户数＝0.99*1/6＝0.165
MacIndex话务量＝0.99*1/6＝0.165
RSSI平均值绝对值＝＝0.99*1/6＝0.165
DRC申请速率＝0.98*1/6+0.98*1/6＝0.98*2/6＝0.327
应当理解的是，如上例子仅仅只是为了便于理解本发明实施例的方案，而不应当造成对本发明实施例的限制。
下面对本发明实施例提供的另一种线性的多元回归模型的建模方法作出进一步描述：
1.输入：
(1)线性模型:m＝[f1,f2…fn]，
(2)待预测样本的特征向量：X＝[x1,x2…xn]
2.输出：预测结果Y
3.预测方法：模型向量m点乘特征向量X，得到预测值Y；
例如模型：Y＝af1+bf2+…+zfn+d，其中Y是网络流量，f1，f2…fn是n个网络特征，a,b,…z,d是参数；其中参数a,b,…，z就是对应的f1，f2，…，fn的重要性权值，通过网络特征的分类，可以把容量，干扰，覆盖相关的网络特征的重要性权值线性加和，即可得到网络问题的根因占比数据。
然后，使用该线性的多元回归模型也可以做网络流量的预测，将网络优化后的网络特征数据值f1’,f2’,…，fn’，带入该线性的多元回归模型的函数，即可计算得到网络流量Y’。
应当理解的是，如上例子和原理仅仅只是为了便于理解本发明实施例的方案，而不应当造成对本发明实施例的限制。
参阅图9所示，本发明实施例提供一种网络关键指标的评估装置90，该装置包括模型确定单元901和重要性系数确定单元902，其中，
模型确定单元901用于使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
重要性系数确定单元902用于基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数。
较优的，模型确定单元901具体用于使用网络特征数据集合确定应用于第一网络的非线性的多元回归模型，其中所述非线性的多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；其中，所述多元回归模型为非线性的多元回归模型，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的网络特征以及所述网络特征的值，所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值，或者所述回归决策树的叶子节点对应于所述网络特征数据集合中的网络关键指标的范围值；
所述网络特征数据集合包括第一网络特征数据集合和第二网络特征数据集合，相应的，模型确定单元901具体包括：
模型训练单元，用于使用第一网络特征数据集合对多元回归模型进行训练，输出经过训练的所述多元回归模型，其中所述经过训练的多元回归模型能回归拟合第一网络特征数据集合中多个网络特征与网络关键指标之间的数据关系；
模型验证单元，用于使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值。
其中，所述第二网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的实际值；
在一种实现方式下，所述模型验证单元具体通过如下方法进行验证：使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，得到与所述多条网络特征数据中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；根据所述拟合度与所述业务要求阈值的比较结果判断所述经过训练的多元回归模型是否达到业务要求；在所述经过训练的多元回归模型达到业务要求的情况下，确定所述经过训练的多元回归模型的回归预测验证通过。
进一步的，所述多元回归模型为非线性的多元回归模型，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，相应的，模型训练单元具体用于：
使用第一网络特征数据集合迭代构造所述单棵回归决策树或多棵回归决策树，其中所述回归决策树通过如下方法构造：
利用第一网络特征数据集合中的多条网络特征数据计算所述多个网络特征的信息增益，其中所述多个网络特征中信息增益最大的网络特征对应于第一层的树节点；
在所述第一层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第二层的树节点；
在第N层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第N+1层的树节点，其中N为大于或等于1，且小于或等于最大深度max_depth的自然数；
直到所述回归决策树的叶子节点对应于所述多条网络特征数据中包括的所述网络关键指标的均值，或者直到所述回归决策树的每个叶子节点对应于网络关键指标的范围值。
相应的，重要性系数确定单元902具体用于：按所述多棵回归决策树中所述多个网络特征中的每个网络特征的分裂次数进行加权占比计算，得到所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性权值，其中所述回归决策树的非叶子节点的树节点对应于所述网络特征以及所述网络特征的值。
在另一种实现方式下，所述多元回归模型为线性的多元回归模型，重要性系数确定单元902具体用于：确定所述线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值；
或者，
在另一种实现方式下，所述多元回归模型为非线性的多元回归模型，重要性系数确定单元902具体用于：将所述非线性的多元回归模型转化为线性的多元回归模型；确定所述转化的线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值。
以及，较优的，本发明实施例的装置中，还包括：
根因分析单元903，用于将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；其中，每类网络特征的重要性权值表示每类网络特征对所述第一网络的网络关键指标的重要性程度。
具体的，根因分析单元903具体执行如下步骤：
将所述多个网络特征按覆盖，干扰和容量进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
或者，根因分析模块903具体执行如下步骤：
将所述多个网络特征按覆盖，干扰，容量和用户平均下载速率进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于用户平均下载速率类的网络特征的重要性权值进行线性加和处理，以得到用户平均下载速率类的网络特征的重要性权值；
或者，根因分析模块903具体执行如下步骤：
将所述多个网络特征按业务，质量，容量和传输进行分类，
将属于业务类的网络特征的重要性权值进行线性加和处理，以得到业务类的网络特征的重要性权值；
将属于质量类的网络特征的重要性权值进行线性加和处理，以得到质量类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于传输类的网络特征的重要性权值进行线性加和处理，以得到传输类的网络特征的重要性权值。
以及，本发明实施例的装置中，所述网络关键指标包括网络流量或网络速率。
可以理解的是，本实施例的网络关键指标的评估装置的各个单元的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
可见，本发明实施例的装置中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，以及根据基于多维网络特征的多元回归模型，可以计算多个网络特征的重要性权值，并计算各个业务分类指数的重要性占比，可以为各种网络KPI对应的复杂网络问题进行精准的根因分析，为解决运营商网络的运维问题提供精确依据。
参阅图10所示，本发明实施例提供一种网络关键指标的预测装置1000，该装置包括模型确定单元1001、接口单元1002和模型预测单元1003，其中，
模型确定单元1001用于使用网络特征数据集合确定应用于第一网络或基于第一网络的第二网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
接口单元1002用于接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；
模型预测单元1003用于根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
较优的，所述第三网络特征数据集合中的每条网络特征数据还包括与所述多个网络特征对应的子网络标识；相应的，模型预测单元1003具体用于：
从所述第三网络特征数据集合包括的多条网络特征数据中，选择一组或多组、与所述子网络标识对应的所述多个网络特征的多个值；
根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值；
基于所述一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，计算出所述子网络标识表示的子网络的网络关键指标的预测值，其中所述第二网络包括所述子网络标识表示的子网络。
在所述根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值的方面，模型预测单元1003具体用于：通过将所述选择的一组或多组、与所述子网络标识对应的所述多个网络特征的多个值分别代入所述多元回归模型的函数，以计算得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值。
应当理解的是：如果所述网络关键指标为网络流量，所述模型预测单元1003计算出所述子网络标识(预测范围标识)表示的网络(在预测时间周期内)的网络流量预测值；如果所述网络关键指标为网络速率，所述模型预测单元1003计算出所述子网络标识表示的网络的网络速率预测值。
在一种应用场景下，所述第二网络为对第一网络经过网络优化设计后的网络，本发明实施例的装置还包括：
收益分析单元1004用于基于所述子网络标识表示的子网络的网络流量预测值相对于所述子网络标识表示的子网络的网络流量原始值的增长量以及单位流量资费，计算出所述子网络标识表示的子网络经过网络优化设计后将带来的收益和/或计算出所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值。
较优的，本发明实施例的装置还可以包括：
重要性系数确定单元，用于基于所述多元回归模型，确定所述第三网络特征数据集合中的多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；
相应的，收益分析单元1004还用于根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述子网络标识表示的子网络经过网络优化后将带来的收益，计算每个网络特征的投资收益比；或者，根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值，计算每个网络特征的投资收益比
需要说明的是，所述多元回归模型包括非线性的多元回归模型和线性的多元回归模型中的一种或多种，其中，所述非线性的多元回归模型为树模型，所述树模型包括单棵或多棵回归决策树，所述回归决策树的叶子节点对应于所述网络关键指标的值，或者所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值或范围值，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的所述多个网络特征中的网络特征以及所述网络特征的值；
所述线性的多元回归模型表示所述网络关键指标与所述多个网络特征之间的多元线性回归函数关系，其中，所述线性的多元回归模型的多个参数分别表示所述多个网络特征对所述网络关键指标的重要性系数。
可以理解的是，本实施例的网络关键指标的预测装置可的各个单元的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
可见，本发明实施例方法中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，可以根据基于多维特征的多元回归模型，可以准确预测网络流量或网络速率等KPI；
进一步，本发明实施例方法中，在网络优化设计的场景中，根据基于多维网络特征的多元回归模型可以做网络流量等KPI的准确预测。
进一步，本发明实施例方法中，根据基于多维网络特征的多元回归模型，计算得出各个网络特征的重要程度，由此可以准确计算各个特征在网络优化中的投资收益比，进而可以指导运营商的网络扩容，优化，新建站点的策略和步骤。
参阅图11所示，本发明实施例提供的另一种网络关键指标的评估装置1100，该装置可以是计算机设备或者运营商网络中的管理服务器或者NodeB(基站)、RNC(无线网络控制器)、网关等设备，其中，该装置可包括输入/输出设备1101(可选的)、处理器1102和存储器1103。
存储器1103可以包括只读存储器和随机存取存储器，并向处理器1102提供指令和数据。存储器1103的一部分还可以包括非易失性随机存取存储器。
存储器1103存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集:
操作指令：包括各种操作指令，用于实现各种操作。
操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
在本发明实施例中，处理器1102通过调用存储器1103存储的操作指令(该操作指令可存储在操作系统中)，执行如下操作：
使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数。
本发明实施例中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，以及根据基于多维网络特征的多元回归模型，可以计算多个网络特征的重要性权值，并计算各个业务分类指数的重要性占比，可以为各种网络KPI对应的复杂网络问题进行精准的根因分析，为解决运营商网络的运维问题提供精确依据。
处理器1102控制该装置的操作，处理器1102还可以称为CPU(CentralProcessingUnit，中央处理单元)。存储器1103可以包括只读存储器和随机存取存储器，并向处理器1102提供指令和数据。存储器1103的一部分还可以包括非易失性随机存取存储器。具体的应用中，该装置的各个组件通过总线系统1105耦合在一起，其中总线系统1105除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统1105。
上述本发明实施例揭示的方法可以应用于处理器1102中，或者由处理器1102实现。处理器1102可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1102中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1102可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1103，处理器1102读取存储器1103中的信息，结合其硬件完成上述方法的步骤。
所述网络特征数据集合包括第一网络特征数据集合和第二网络特征数据集合，在使用网络特征数据集合确定多元回归模型，处理器1102具体使用第一网络特征数据集合对多元回归模型进行训练，输出经过训练的所述多元回归模型，其中所述经过训练的多元回归模型能回归拟合第一网络特征数据集合中多个网络特征与网络关键指标之间的数据关系；使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值。
可选地，所述第二网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的实际值；在使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值，处理器1102具体用于使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，得到与所述多条网络特征数据中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；
通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；
根据所述拟合度与所述业务要求阈值的比较结果判断所述经过训练的多元回归模型是否达到业务要求；
在所述经过训练的多元回归模型达到业务要求的情况下，确定所述经过训练的多元回归模型的回归预测验证通过。
较优地，所述多元回归模型为非线性的多元回归模型，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，在所述使用第一网络特征数据集合对所述多元回归模型进行训练，处理器1102具体用于使用第一网络特征数据集合迭代构造所述单棵回归决策树或多棵回归决策树，其中所述回归决策树通过如下方法构造：
利用第一网络特征数据集合中的多条网络特征数据计算所述多个网络特征的信息增益，其中所述多个网络特征中信息增益最大的网络特征对应于第一层的树节点；
在所述第一层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第二层的树节点；
在第N层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第N+1层的树节点，其中N为大于或等于1，且小于或等于最大深度max_depth的自然数；
直到所述回归决策树的叶子节点对应于所述多条网络特征数据中包括的所述网络关键指标的均值，或者直到所述回归决策树的每个叶子节点对应于网络关键指标的范围值。
相应的，在基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，处理器1102具体用于按所述多棵回归决策树中所述多个网络特征中的每个网络特征的分裂次数进行加权占比计算，得到所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性权值，其中所述回归决策树的非叶子节点的树节点对应于所述网络特征以及所述网络特征的值。
所述多元回归模型为线性的多元回归模型，在基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，处理器1102具体用于确定所述线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值；
或者，
所述多元回归模型为非线性的多元回归模型，在基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，处理器1102具体用于将所述非线性的多元回归模型转化为线性的多元回归模型；确定所述转化的线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值。
较优地，处理器1102还用于将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；其中，每类网络特征的重要性权值表示每类网络特征对所述第一网络的网络关键指标的重要性程度；
在不同应用场景下，处理器1102具体用于将所述多个网络特征按覆盖，干扰和容量进行分类，将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
或者，处理器1102具体用于将所述多个网络特征按覆盖，干扰，容量和用户平均下载速率进行分类，将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；将属于用户平均下载速率类的网络特征的重要性权值进行线性加和处理，以得到用户平均下载速率类的网络特征的重要性权值。
在上述各个实施例中，所述网络关键指标包括网络流量或网络速率中的至少一个。
需要说明的是，上述装置中包含的处理器所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。
可见，本发明实施例的装置中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，以及根据基于多维网络特征的多元回归模型，可以计算多个网络特征的重要性权值，并计算各个业务分类指数的重要性占比，可以为各种网络KPI对应的复杂网络问题进行精准的根因分析，为解决运营商网络的运维问题提供精确依据。
参阅图12所示，本发明实施例提供的另一种网络关键指标的预测装置1200，该装置可以是计算机设备或者运营商网络中的管理服务器或者NodeB(基站)、RNC(无线网络控制器)、网关等设备，其中，该装置可包括输入/输出设备1201(可选的)、处理器1202和存储器1203。
存储器1203可以包括只读存储器和随机存取存储器，并向处理器1202提供指令和数据。存储器1203的一部分还可以包括非易失性随机存取存储器。
存储器1203存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集:
操作指令：包括各种操作指令，用于实现各种操作。
操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
在本发明实施例中，处理器1202通过调用存储器1203存储的操作指令(该操作指令可存储在操作系统中)，执行如下操作：
使用网络特征数据集合确定应用于第一网络或基于第一网络的第二网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，其中每条网络特征数据表示一条网络记录，以及每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
载入第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；
根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
本发明实施例中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，可以根据基于多维特征的多元回归模型，可以准确预测网络流量或网络速率等KPI。
处理器1202控制该装置的操作，处理器1202还可以称为CPU(CentralProcessingUnit，中央处理单元)。存储器1203可以包括只读存储器和随机存取存储器，并向处理器1202提供指令和数据。存储器1203的一部分还可以包括非易失性随机存取存储器。具体的应用中，该装置的各个组件通过总线系统1205耦合在一起，其中总线系统1205除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统1205。
上述本发明实施例揭示的方法可以应用于处理器1202中，或者由处理器1202实现。处理器1202可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1202可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1203，处理器1202读取存储器1203中的信息，结合其硬件完成上述方法的步骤。
所述第三网络特征数据集合中的每条网络特征数据还包括与所述多个网络特征对应的子网络标识；在根据所述多元回归模型，对第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值，处理器1202具体从所述第三网络特征数据集合包括的多条网络特征数据中，选择一组或多组、与所述子网络标识对应的所述多个网络特征的多个值；根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值；基于所述一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，计算出所述子网络标识表示的子网络的网络关键指标的预测值，其中所述第二网络包括所述子网络标识表示的子网络。
具体地，在根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，处理器1202具体用于通过将所述选择的一组或多组、与所述子网络标识对应的所述多个网络特征的多个值分别代入所述多元回归模型的函数，以计算得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值。
应当理解的是，如果所述网络关键指标为网络流量，所述处理器1202计算出所述子网络标识表示的网络的网络流量预测值；如果所述网络关键指标为网络速率，所所述处理器1202计算出所述子网络标识表示的网络的网络速率预测值。
较优地，所述第二网络为对第一网络经过网络优化设计后的网络，处理器1202还用于基于所述子网络标识表示的子网络的网络流量预测值相对于所述子网络标识表示的子网络的网络流量原始值的增长量以及单位流量资费，计算出所述子网络标识表示的子网络经过网络优化设计后将带来的收益和/或计算出所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值；
较优地，处理器1202还用于基于所述多元回归模型，确定所述第三网络特征数据集合中的多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述子网络标识表示的子网络经过网络优化后将带来的收益，计算每个网络特征的投资收益比；
需要说明的是，所述多元回归模型包括非线性的多元回归模型和线性的多元回归模型中的一种或多种，其中，所述非线性的多元回归模型为树模型，所述树模型包括单棵或多棵回归决策树，所述回归决策树的叶子节点对应于所述网络关键指标的值，或者所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值或范围值，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的所述多个网络特征中的网络特征以及所述网络特征的值；所述线性的多元回归模型表示所述网络关键指标与所述多个网络特征之间的多元线性回归函数关系，其中，所述线性的多元回归模型的多个参数分别表示所述多个网络特征对所述网络关键指标的重要性系数。
在上述各个实施例中，所述网络关键指标包括网络流量或网络速率中的至少一个。
需要说明的是，上述装置中包含的处理器所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。
可见，本发明实施例的装置中，通过对基于多维网络特征的多元回归模型的建模，可以精准拟合网络特征数据集合中的多个网络特征与网络流量指标之间的数据关系，可以根据基于多维特征的多元回归模型，可以准确预测网络流量或网络速率等KPI；
进一步，本发明实施例方法中，在网络优化设计的场景中，根据基于多维网络特征的多元回归模型可以做网络流量等KPI的准确预测。
进一步，本发明实施例方法中，根据基于多维网络特征的多元回归模型，计算得出各个网络特征的重要程度，由此可以准确计算各个特征在网络优化中的投资收益比，进而可以指导运营商的网络扩容，优化，新建站点的策略和步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
应当理解的是，本发明实施例中引入第一网络特征数据集合，第二网络特征数据集合和第三网络特征数据集合的说法，是为了方便描述，便于区分；本发明实施例中引入第一网络和第二网络的说法，是为了方便描述，便于区分；
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件(例如计算机设备中的处理器)来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (31)
1.一种网络关键指标的评估方法，其特征在于，包括：
使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数。
2.根据权利要求1所述的方法，其特征在于，所述网络特征数据集合包括第一网络特征数据集合和第二网络特征数据集合，所述使用网络特征数据集合确定多元回归模型，包括：使用第一网络特征数据集合对多元回归模型进行训练，输出经过训练的所述多元回归模型，其中所述经过训练的多元回归模型能回归拟合第一网络特征数据集合中多个网络特征与网络关键指标之间的数据关系；
使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值。
3.根据权利要求2所述的方法，其特征在于，所述第二网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的实际值；
所述使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述非线性的多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值，包括：使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，得到与所述多条网络特征数据中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；
通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；
根据所述拟合度与所述业务要求阈值的比较结果判断所述经过训练的多元回归模型是否达到业务要求；
在所述经过训练的多元回归模型达到业务要求的情况下，确定所述经过训练的多元回归模型的回归预测验证通过。
4.根据权利要求2或3所述的方法，其特征在于，所述多元回归模型为非线性的多元回归模型，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，其中所述使用第一网络特征数据集合对所述多元回归模型进行训练，包括：使用第一网络特征数据集合迭代构造所述单棵回归决策树或多棵回归决策树，其中所述回归决策树通过如下方法构造：
利用第一网络特征数据集合中的多条网络特征数据计算所述多个网络特征的信息增益，其中所述多个网络特征中信息增益最大的网络特征对应于第一层的树节点；
在所述第一层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第二层的树节点；
在第N层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第N+1层的树节点，其中N为大于或等于1，且小于或等于最大深度的自然数；
直到所述回归决策树的叶子节点对应于所述多条网络特征数据中包括的所述网络关键指标的均值，或者直到所述回归决策树的每个叶子节点对应于网络关键指标的范围值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，包括：按所述多棵回归决策树中所述多个网络特征中的每个网络特征的分裂次数进行加权占比计算，得到所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性权值，其中所述回归决策树的非叶子节点的树节点对应于所述网络特征以及所述网络特征的值。
6.根据权利要求1所述的方法，其特征在于，所述多元回归模型为线性的多元回归模型，所述基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，包括：
确定所述线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值；
或者，
所述多元回归模型为非线性的多元回归模型，所述基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数，包括：
将所述非线性的多元回归模型转化为线性的多元回归模型；
确定所述转化的线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；
其中，每类网络特征的重要性权值表示每类网络特征对所述第一网络的网络关键指标的重要性程度。
8.根据权利要求7所述的方法，其特征在于，所述将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值，包括：
将所述多个网络特征按覆盖，干扰和容量进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
或者，
将所述多个网络特征按覆盖，干扰，容量和用户平均下载速率进行分类，
将属于覆盖类的网络特征的重要性权值进行线性加和处理，以得到覆盖类的网络特征的重要性权值；
将属于干扰类的网络特征的重要性权值进行线性加和处理，以得到干扰类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于用户平均下载速率类的网络特征的重要性权值进行线性加和处理，以得到用户平均下载速率类的网络特征的重要性权值；
或者，
将所述多个网络特征按业务，质量，容量和传输进行分类，
将属于业务类的网络特征的重要性权值进行线性加和处理，以得到业务类的网络特征的重要性权值；
将属于质量类的网络特征的重要性权值进行线性加和处理，以得到质量类的网络特征的重要性权值；
将属于容量类的网络特征的重要性权值进行线性加和处理，以得到容量类的网络特征的重要性权值；
将属于传输类的网络特征的重要性权值进行线性加和处理，以得到传输类的网络特征的重要性权值。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述网络关键指标包括网络流量或网络速率。
10.一种网络关键指标的预测方法，其特征在于，包括：
使用网络特征数据集合确定应用于第一网络或第二网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中所述第三网络特征数据集合中的每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；
根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
11.根据权利要求10所述的方法，其特征在于，所述第三网络特征数据集合中的每条网络特征数据还包括与所述多个网络特征对应的子网络标识；
所述根据所述多元回归模型，对第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值，包括：
从所述第三网络特征数据集合包括的多条网络特征数据中，选择一组或多组、与所述子网络标识对应的所述多个网络特征的多个值；
根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值；
基于所述一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，计算出所述子网络标识表示的子网络的网络关键指标的预测值，其中所述第二网络包括所述子网络标识表示的子网络。
12.根据权利要求11所述的方法，其特征在于，所述根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，包括：通过将所述选择的一组或多组、与所述子网络标识对应的所述多个网络特征的多个值分别代入所述多元回归模型的函数，以计算得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值。
13.根据权利要求11或12所述的方法，其特征在于，
如果所述网络关键指标为网络流量，所述计算出所述子网络标识表示的子网络的网络关键指标的预测值为：计算出所述子网络标识表示的子网络的网络流量预测值；
如果所述网络关键指标为网络速率，所述计算出所述子网络标识表示的子网络的网络关键指标的预测值为：计算出所述子网络标识表示的子网络的网络速率预测值。
14.根据权利要求13所述的方法，其特征在于，所述第二网络为对第一网络经过网络优化设计后的网络，所述方法还包括：
基于所述子网络标识表示的子网络的网络流量预测值相对于所述子网络标识表示的子网络的网络流量原始值的增长量以及单位流量资费，计算出所述子网络标识表示的子网络经过网络优化设计后将带来的收益和/或计算出所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值。
15.根据权利要求10至14任一项所述的方法，其特征在于，所述方法还包括：基于所述多元回归模型，确定所述第三网络特征数据集合中的多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；
根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述子网络标识表示的子网络经过网络优化后将带来的收益，计算每个网络特征的投资收益比；
或者，根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值，计算每个网络特征的投资收益比。
16.根据权利要求10至15任一项所述的方法，其特征在于，所述多元回归模型包括非线性的多元回归模型和线性的多元回归模型中的一种或多种，其中，所述非线性的多元回归模型为树模型，所述树模型包括单棵或多棵回归决策树，所述回归决策树的叶子节点对应于所述网络特征数据集合中的所述网络关键指标的均值或范围值，所述回归决策树的非叶子节点对应于所述网络特征数据集合中的所述多个网络特征中的网络特征以及所述网络特征的值；
所述线性的多元回归模型表示所述网络关键指标与所述多个网络特征之间的多元线性回归函数关系，其中，所述线性的多元回归模型的多个参数分别表示所述多个网络特征对所述网络关键指标的重要性系数。
17.一种网络关键指标的评估装置，其特征在于，包括：
模型确定单元，用于使用网络特征数据集合确定应用于第一网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
重要性系数确定单元，用于基于所述多元回归模型，确定所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性系数。
18.根据权利要求17所述的装置，其特征在于，所述网络特征数据集合包括第一网络特征数据集合和第二网络特征数据集合，所述模型确定单元包括：
模型训练单元，用于使用第一网络特征数据集合对多元回归模型进行训练，输出经过训练的所述多元回归模型，其中所述经过训练的多元回归模型能回归拟合第一网络特征数据集合中多个网络特征与网络关键指标之间的数据关系；
模型验证单元，用于使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，直到所述多元回归模型对所述第二网络特征数据集合的拟合度达到业务要求阈值。
19.根据权利要求18所述的装置，其特征在于，所述第二网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的实际值；
所述模型验证单元具体用于：
使用第二网络特征数据集合对所述经过训练的多元回归模型进行回归预测验证，得到与所述多条网络特征数据中的每条网络特征数据中的所述多个网络特征的多个值对应的所述网络关键指标的预测值；
通过所述网络关键指标的预测值与对应的所述网络关键指标的实际值的误差，计算所述经过训练的多元回归模型对第二网络特征数据集合的拟合度；
根据所述拟合度与所述业务要求阈值的比较结果判断所述经过训练的多元回归模型是否达到业务要求；
在所述经过训练的多元回归模型达到业务要求的情况下，确定所述经过训练的多元回归模型的回归预测验证通过。
20.根据权利要求18或19所述的装置，其特征在于，所述多元回归模型为非线性的多元回归模型，所述非线性的多元回归模型为树模型，所述树模型包括单棵回归决策树或多棵回归决策树，
所述模型训练单元具体用于：
使用第一网络特征数据集合迭代构造所述单棵回归决策树或多棵回归决策树，其中所述回归决策树通过如下方法构造：
利用第一网络特征数据集合中的多条网络特征数据计算所述多个网络特征的信息增益，其中所述多个网络特征中信息增益最大的网络特征对应于第一层的树节点；
在所述第一层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第二层的树节点；
在第N层的树节点的分支条件下，计算所述多个网络特征中当前余下的网络特征的信息增益，其中当前余下的网络特征中信息增益最大的网络特征为第N+1层的树节点，其中N为大于或等于1，且小于或等于最大深度的自然数；
直到所述回归决策树的叶子节点对应于所述多条网络特征数据中包括的所述网络关键指标的均值，或者直到所述回归决策树的每个叶子节点对应于网络关键指标的范围值。
21.根据权利要求20所述的装置，其特征在于，所述重要性系数确定单元具体用于按所述多棵回归决策树中所述多个网络特征中的每个网络特征的分裂次数进行加权占比计算，得到所述多个网络特征中的每个网络特征对所述第一网络的网络关键指标的重要性权值，其中所述回归决策树的非叶子节点的树节点对应于所述网络特征以及所述网络特征的值。
22.根据权利要求17所述的装置，其特征在于，所述多元回归模型为线性的多元回归模型，所述重要性系数确定单元具体用于：确定所述线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值；
或者，所述多元回归模型为非线性的多元回归模型，所述重要性系数确定单元具体用于：将所述非线性的多元回归模型转化为线性的多元回归模型；确定所述转化的线性的多元回归模型的多个模型参数表示所述多个网络特征对所述第一网络的网络关键指标的重要性权值。
23.根据权利要求17至22任一项所述的装置，其特征在于，还包括：
根因分析单元，用于将所述多个网络特征按业务规则进行分类，将属于同一类的网络特征的重要性权值进行线性加和处理，得到每类网络特征的重要性权值；其中，每类网络特征的重要性权值表示每类网络特征对所述第一网络的网络关键指标的重要性程度。
24.一种网络关键指标的预测装置，其特征在于，包括：
模型确定单元，用于使用网络特征数据集合确定应用于第一网络或第二网络的多元回归模型，其中所述多元回归模型能回归拟合所述网络特征数据集合中多个网络特征与网络关键指标之间的数据关系，其中所述网络特征数据集合是从第一网络中采集得到的，以及所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括所述多个网络特征的多个值与所述网络关键指标的值；
接口单元，用于接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中所述第三网络特征数据集合中的每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；
模型预测单元，用于根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
25.根据权利要求24所述的装置，其特征在于，所述第三网络特征数据集合中的每条网络特征数据还包括与所述多个网络特征对应的子网络标识；
所述模型预测单元具体用于：
从所述第三网络特征数据集合包括的多条网络特征数据中，选择一组或多组、与所述子网络标识对应的所述多个网络特征的多个值；
根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值；
基于所述一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值，计算出所述子网络标识表示的子网络的网络关键指标的预测值，其中所述第二网络包括所述子网络标识表示的子网络。
26.根据权利要求25所述的装置，其特征在于，在所述根据所述多元回归模型，对与所述选择的多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值的方面，所述模型预测单元具体用于：通过将所述选择的一组或多组、与所述子网络标识对应的所述多个网络特征的多个值分别代入所述多元回归模型的函数，以计算得到一个或多个、与所述多个网络特征的多个值对应的所述网络关键指标的预测值。
27.根据权利要求25或26所述的装置，其特征在于，
如果所述网络关键指标为网络流量，所述模型预测单元计算出所述子网络标识表示的子网络的网络流量预测值；
如果所述网络关键指标为网络速率，所述模型预测单元计算出所述子网络标识表示的子网络的网络速率预测值。
28.根据权利要求27所述的装置，其特征在于，所述第二网络为对第一网络经过网络优化设计后的网络，所述装置还包括：
收益分析单元，用于基于所述子网络标识表示的子网络的网络流量预测值相对于所述子网络标识表示的子网络的网络流量原始值的增长量以及单位流量资费，计算出所述子网络标识表示的子网络经过网络优化设计后将带来的收益和/或计算出所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值。
29.根据权利要求24至28任一项所述的装置，其特征在于，所述装置还包括：
重要性系数确定单元，用于基于所述多元回归模型，确定所述第三网络特征数据集合中的多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；
所述收益分析单元还用于根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述子网络标识表示的子网络经过网络优化后将带来的收益，计算每个网络特征的投资收益比；或者，还用于根据所述每个网络特征对所述网络关键指标的重要性系数、每个网络特征的优化成本和所述第二网络中的多个所述子网络标识表示的多个子网络经过优化后将带来的收益累加值，计算每个网络特征的投资收益比。
30.一种通信系统，其特征在于，包括：
数据采集设备，用于从第一网络中获取网络特征数据集合，所述网络特征数据集合包括多条网络特征数据，每条网络特征数据均包括多个网络特征的多个值与网络关键指标的值；
管理服务器，用于使用网络特征数据集合确定应用于第一网络的多元回归模型，基于所述多元回归模型确定所述多个网络特征中的每个网络特征对所述网络关键指标的重要性系数；其中所述多元回归模型能回归拟合网络特征数据集合中多个网络特征与网络关键指标之间的数据关系。
31.根据权利要求30所述的系统，其特征在于，所述管理服务器还用于接收第三网络特征数据集合，所述第三网络特征数据集合包括多条网络特征数据，其中所述第三网络特征数据集合中的每条网络特征数据均包括与第二网络的网络关键指标相关的多个网络特征的多个值；根据所述多元回归模型，对所述第三网络特征数据集合中的网络特征数据包括的所述多个网络特征的多个值对应的所述网络关键指标的值进行预测，以得到第二网络的网络关键指标的预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410693151.XA CN105634787B (zh) | 2014-11-26 | 2014-11-26 | 网络关键指标的评估方法、预测方法及装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410693151.XA CN105634787B (zh) | 2014-11-26 | 2014-11-26 | 网络关键指标的评估方法、预测方法及装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105634787A true CN105634787A (zh) | 2016-06-01 |
| CN105634787B CN105634787B (zh) | 2018-12-07 |
Family
ID=56049325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410693151.XA Active CN105634787B (zh) | 2014-11-26 | 2014-11-26 | 网络关键指标的评估方法、预测方法及装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105634787B (zh) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106154209A (zh) * | 2016-07-29 | 2016-11-23 | 国电南瑞科技股份有限公司 | 基于决策树算法的电能表故障预测方法 |
| CN106330558A (zh) * | 2016-08-31 | 2017-01-11 | 哈尔滨工业大学（威海） | 应用于软件定义网络的控制器负载预测系统及方法 |
| CN106886485A (zh) * | 2017-02-28 | 2017-06-23 | 深圳市华傲数据技术有限公司 | 系统容量分析预测方法及装置 |
| CN107171848A (zh) * | 2017-05-27 | 2017-09-15 | 华为技术有限公司 | 一种流量预测方法和装置 |
| CN107370764A (zh) * | 2017-09-05 | 2017-11-21 | 北京奇艺世纪科技有限公司 | 一种音视频通信系统及音视频通信方法 |
| CN107547154A (zh) * | 2016-06-23 | 2018-01-05 | 华为技术有限公司 | 一种建立视频流量预测模型的方法及装置 |
| WO2018040843A1 (en) * | 2016-08-30 | 2018-03-08 | Huawei Technologies Co., Ltd. | Using information of dependent variable to improve performance in learning relationship between dependent variable and independent variables |
| CN107798474A (zh) * | 2017-10-24 | 2018-03-13 | 贵州白山云科技有限公司 | 一种应急预案评测方法及装置 |
| CN108241643A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 关键词的指标数据分析方法及装置 |
| CN108260148A (zh) * | 2016-12-28 | 2018-07-06 | 华为技术服务有限公司 | 一种故障检测方法及装置 |
| CN108427658A (zh) * | 2018-03-12 | 2018-08-21 | 北京奇艺世纪科技有限公司 | 一种数据预测方法、装置及电子设备 |
| CN108665293A (zh) * | 2017-03-29 | 2018-10-16 | 华为技术有限公司 | 特征重要性获取方法及装置 |
| CN109362084A (zh) * | 2018-12-27 | 2019-02-19 | 中国移动通信集团江苏有限公司 | 通信业务质量优化的方法、装置、设备和介质 |
| WO2019037577A1 (en) * | 2017-08-23 | 2019-02-28 | Huawei Technologies Co., Ltd. | AUTOMATIC OPTIMIZATION OF PARAMETERS BY AUTOMATIC LEARNING |
| CN109495898A (zh) * | 2017-09-12 | 2019-03-19 | 中国移动通信集团设计院有限公司 | 一种无线网络覆盖的指标定量预测方法及设备 |
| WO2019062498A1 (zh) * | 2017-09-30 | 2019-04-04 | 华为技术有限公司 | 获取特征参数的方法和装置 |
| CN109586954A (zh) * | 2018-11-14 | 2019-04-05 | 网宿科技股份有限公司 | 一种网络流量预测方法、装置及电子设备 |
| CN109710410A (zh) * | 2018-12-24 | 2019-05-03 | 微梦创科网络科技（中国）有限公司 | 一种互联网信息资源分配方法及装置 |
| CN109792538A (zh) * | 2016-08-26 | 2019-05-21 | 高通股份有限公司 | 用于局部照明补偿和跨分量线性模型预测的参数推导程序的统一 |
| CN110326257A (zh) * | 2017-03-01 | 2019-10-11 | 瑞典爱立信有限公司 | 使用人工生命预报关键性能指示符的方法和设备 |
| CN110351098A (zh) * | 2018-04-08 | 2019-10-18 | 华为技术有限公司 | 资费预演方法以及相关设备 |
| CN110472192A (zh) * | 2019-07-23 | 2019-11-19 | 平安科技（深圳）有限公司 | 评价指标提取方法、装置、存储介质和服务器 |
| CN110505650A (zh) * | 2018-05-16 | 2019-11-26 | 中国移动通信集团广东有限公司 | 随机异构分层网容量智能评估方法及装置 |
| CN110574338A (zh) * | 2017-04-20 | 2019-12-13 | 思科技术公司 | 根本原因发现引擎 |
| CN110831155A (zh) * | 2018-08-07 | 2020-02-21 | 中国移动通信有限公司研究院 | 一种信息传输方法、设备及系统 |
| WO2020056633A1 (zh) * | 2018-09-19 | 2020-03-26 | 华为技术有限公司 | 一种预测网络速率的方法及预测装置 |
| CN110990778A (zh) * | 2018-10-03 | 2020-04-10 | 丰田自动车株式会社 | 多元回归分析装置和多元回归分析方法 |
| CN111339211A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团重庆有限公司 | 网络问题分析的方法、装置、设备及介质 |
| CN111372259A (zh) * | 2018-12-26 | 2020-07-03 | 华为技术有限公司 | 无线系统的性能评估方法和装置 |
| CN111835532A (zh) * | 2019-04-11 | 2020-10-27 | 华为技术有限公司 | 网络验证的方法和装置 |
| CN111988156A (zh) * | 2019-05-22 | 2020-11-24 | 华为技术服务有限公司 | 创建网络仿真平台的方法和网络仿真方法及相应装置 |
| CN112258027A (zh) * | 2020-10-21 | 2021-01-22 | 平安科技（深圳）有限公司 | Kpi优化方法、装置、设备及介质 |
| TWI721685B (zh) * | 2019-12-04 | 2021-03-11 | 中華電信股份有限公司 | 用於預測行動網路的客訴熱區的系統和方法 |
| CN112818028A (zh) * | 2021-01-12 | 2021-05-18 | 平安科技（深圳）有限公司 | 数据指标筛选方法、装置、计算机设备及存储介质 |
| CN113541993A (zh) * | 2020-04-21 | 2021-10-22 | 中国移动通信集团四川有限公司 | 网络评估方法及装置、网络指标处理方法、设备和介质 |
| CN113950086A (zh) * | 2020-07-16 | 2022-01-18 | 中国移动通信集团设计院有限公司 | 确定无线网络问题根因的方法、系统、设备及存储介质 |
| WO2022021420A1 (zh) * | 2020-07-31 | 2022-02-03 | 华为技术有限公司 | 一种根因定位方法及装置、电子设备 |
| CN114118633A (zh) * | 2022-01-26 | 2022-03-01 | 之江实验室 | 一种基于先行关系的指标自优化预测方法及装置 |
| WO2024067095A1 (zh) * | 2022-09-29 | 2024-04-04 | 中兴通讯股份有限公司 | 小区流量控制方法、基站及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7269599B2 (en) * | 2005-12-01 | 2007-09-11 | International Business Machines Corporation | Method and system for predicting user activity levels associated with an application |
| CN101052067A (zh) * | 2007-05-22 | 2007-10-10 | 杨苹 | 智能化话务预测方法 |
| CN102111284A (zh) * | 2009-12-28 | 2011-06-29 | 北京亿阳信通软件研究院有限公司 | 电信业务量预测方法和装置 |
| CN103178990A (zh) * | 2011-12-20 | 2013-06-26 | 中国移动通信集团青海有限公司 | 一种网络设备性能监控方法及网络管理系统 |
| CN103312531A (zh) * | 2012-03-15 | 2013-09-18 | 华为技术有限公司 | 一种获取qoe的方法、装置及保证qoe的方法、装置 |
-
2014
- 2014-11-26 CN CN201410693151.XA patent/CN105634787B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7269599B2 (en) * | 2005-12-01 | 2007-09-11 | International Business Machines Corporation | Method and system for predicting user activity levels associated with an application |
| CN101052067A (zh) * | 2007-05-22 | 2007-10-10 | 杨苹 | 智能化话务预测方法 |
| CN102111284A (zh) * | 2009-12-28 | 2011-06-29 | 北京亿阳信通软件研究院有限公司 | 电信业务量预测方法和装置 |
| CN103178990A (zh) * | 2011-12-20 | 2013-06-26 | 中国移动通信集团青海有限公司 | 一种网络设备性能监控方法及网络管理系统 |
| CN103312531A (zh) * | 2012-03-15 | 2013-09-18 | 华为技术有限公司 | 一种获取qoe的方法、装置及保证qoe的方法、装置 |
Cited By (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107547154B (zh) * | 2016-06-23 | 2020-06-09 | 华为技术有限公司 | 一种建立视频流量预测模型的方法及装置 |
| CN107547154A (zh) * | 2016-06-23 | 2018-01-05 | 华为技术有限公司 | 一种建立视频流量预测模型的方法及装置 |
| CN106154209A (zh) * | 2016-07-29 | 2016-11-23 | 国电南瑞科技股份有限公司 | 基于决策树算法的电能表故障预测方法 |
| CN109792538B (zh) * | 2016-08-26 | 2021-11-26 | 高通股份有限公司 | 用于对视频数据进行译码的方法和装置 |
| CN109792538A (zh) * | 2016-08-26 | 2019-05-21 | 高通股份有限公司 | 用于局部照明补偿和跨分量线性模型预测的参数推导程序的统一 |
| WO2018040843A1 (en) * | 2016-08-30 | 2018-03-08 | Huawei Technologies Co., Ltd. | Using information of dependent variable to improve performance in learning relationship between dependent variable and independent variables |
| CN106330558A (zh) * | 2016-08-31 | 2017-01-11 | 哈尔滨工业大学（威海） | 应用于软件定义网络的控制器负载预测系统及方法 |
| CN108241643B (zh) * | 2016-12-23 | 2021-12-24 | 北京国双科技有限公司 | 关键词的指标数据分析方法及装置 |
| CN108241643A (zh) * | 2016-12-23 | 2018-07-03 | 北京国双科技有限公司 | 关键词的指标数据分析方法及装置 |
| CN108260148A (zh) * | 2016-12-28 | 2018-07-06 | 华为技术服务有限公司 | 一种故障检测方法及装置 |
| CN108260148B (zh) * | 2016-12-28 | 2021-02-09 | 华为技术服务有限公司 | 一种故障检测方法及装置 |
| CN106886485A (zh) * | 2017-02-28 | 2017-06-23 | 深圳市华傲数据技术有限公司 | 系统容量分析预测方法及装置 |
| CN110326257A (zh) * | 2017-03-01 | 2019-10-11 | 瑞典爱立信有限公司 | 使用人工生命预报关键性能指示符的方法和设备 |
| CN110326257B (zh) * | 2017-03-01 | 2022-11-29 | 瑞典爱立信有限公司 | 使用人工生命预报关键性能指示符的方法和设备 |
| US11424999B2 (en) | 2017-03-01 | 2022-08-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for key performance indicator forecasting using artificial life |
| CN108665293A (zh) * | 2017-03-29 | 2018-10-16 | 华为技术有限公司 | 特征重要性获取方法及装置 |
| CN108665293B (zh) * | 2017-03-29 | 2021-08-31 | 华为技术有限公司 | 特征重要性获取方法及装置 |
| CN110574338B (zh) * | 2017-04-20 | 2022-06-24 | 思科技术公司 | 根本原因发现方法及系统 |
| US11954568B2 (en) | 2017-04-20 | 2024-04-09 | Cisco Technology, Inc. | Root cause discovery engine |
| CN110574338A (zh) * | 2017-04-20 | 2019-12-13 | 思科技术公司 | 根本原因发现引擎 |
| CN107171848B (zh) * | 2017-05-27 | 2020-07-07 | 华为技术有限公司 | 一种流量预测方法和装置 |
| CN107171848A (zh) * | 2017-05-27 | 2017-09-15 | 华为技术有限公司 | 一种流量预测方法和装置 |
| WO2019037577A1 (en) * | 2017-08-23 | 2019-02-28 | Huawei Technologies Co., Ltd. | AUTOMATIC OPTIMIZATION OF PARAMETERS BY AUTOMATIC LEARNING |
| US10785101B2 (en) | 2017-08-23 | 2020-09-22 | Futurewei Technologies, Inc. | Automatically optimize parameters via machine learning |
| CN107370764A (zh) * | 2017-09-05 | 2017-11-21 | 北京奇艺世纪科技有限公司 | 一种音视频通信系统及音视频通信方法 |
| CN109495898B (zh) * | 2017-09-12 | 2021-12-03 | 中国移动通信集团设计院有限公司 | 一种无线网络覆盖的指标定量预测方法及设备 |
| CN109495898A (zh) * | 2017-09-12 | 2019-03-19 | 中国移动通信集团设计院有限公司 | 一种无线网络覆盖的指标定量预测方法及设备 |
| US11012323B2 (en) | 2017-09-30 | 2021-05-18 | Huawei Technologies Co., Ltd. | Feature parameter obtaining method and apparatus |
| WO2019062498A1 (zh) * | 2017-09-30 | 2019-04-04 | 华为技术有限公司 | 获取特征参数的方法和装置 |
| CN107798474A (zh) * | 2017-10-24 | 2018-03-13 | 贵州白山云科技有限公司 | 一种应急预案评测方法及装置 |
| CN108427658A (zh) * | 2018-03-12 | 2018-08-21 | 北京奇艺世纪科技有限公司 | 一种数据预测方法、装置及电子设备 |
| CN110351098B (zh) * | 2018-04-08 | 2021-09-17 | 华为技术有限公司 | 资费预演方法以及相关设备 |
| CN110351098A (zh) * | 2018-04-08 | 2019-10-18 | 华为技术有限公司 | 资费预演方法以及相关设备 |
| CN110505650B (zh) * | 2018-05-16 | 2023-03-17 | 中国移动通信集团广东有限公司 | 随机异构分层网容量智能评估方法及装置 |
| CN110505650A (zh) * | 2018-05-16 | 2019-11-26 | 中国移动通信集团广东有限公司 | 随机异构分层网容量智能评估方法及装置 |
| CN110831155A (zh) * | 2018-08-07 | 2020-02-21 | 中国移动通信有限公司研究院 | 一种信息传输方法、设备及系统 |
| CN112771816A (zh) * | 2018-09-19 | 2021-05-07 | 华为技术有限公司 | 一种预测网络速率的方法及预测装置 |
| WO2020056633A1 (zh) * | 2018-09-19 | 2020-03-26 | 华为技术有限公司 | 一种预测网络速率的方法及预测装置 |
| CN110990778B (zh) * | 2018-10-03 | 2024-01-30 | 丰田自动车株式会社 | 多元回归分析装置和多元回归分析方法 |
| CN110990778A (zh) * | 2018-10-03 | 2020-04-10 | 丰田自动车株式会社 | 多元回归分析装置和多元回归分析方法 |
| US11252044B2 (en) | 2018-11-14 | 2022-02-15 | Wangsu Science & Technology Co., Ltd. | Network traffic prediction method, apparatus, and electronic device |
| CN109586954A (zh) * | 2018-11-14 | 2019-04-05 | 网宿科技股份有限公司 | 一种网络流量预测方法、装置及电子设备 |
| CN109586954B (zh) * | 2018-11-14 | 2020-09-18 | 网宿科技股份有限公司 | 一种网络流量预测方法、装置及电子设备 |
| WO2020098016A1 (zh) * | 2018-11-14 | 2020-05-22 | 网宿科技股份有限公司 | 一种网络流量预测方法、装置及电子设备 |
| CN111339211A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团重庆有限公司 | 网络问题分析的方法、装置、设备及介质 |
| CN111339211B (zh) * | 2018-12-19 | 2023-09-19 | 中国移动通信集团重庆有限公司 | 网络问题分析的方法、装置、设备及介质 |
| CN109710410B (zh) * | 2018-12-24 | 2021-08-13 | 微梦创科网络科技（中国）有限公司 | 一种互联网信息资源分配方法及装置 |
| CN109710410A (zh) * | 2018-12-24 | 2019-05-03 | 微梦创科网络科技（中国）有限公司 | 一种互联网信息资源分配方法及装置 |
| CN111372259A (zh) * | 2018-12-26 | 2020-07-03 | 华为技术有限公司 | 无线系统的性能评估方法和装置 |
| CN111372259B (zh) * | 2018-12-26 | 2022-04-22 | 华为技术有限公司 | 无线系统的性能评估方法和装置 |
| CN109362084B (zh) * | 2018-12-27 | 2021-11-09 | 中国移动通信集团江苏有限公司 | 通信业务质量优化的方法、装置、设备和介质 |
| CN109362084A (zh) * | 2018-12-27 | 2019-02-19 | 中国移动通信集团江苏有限公司 | 通信业务质量优化的方法、装置、设备和介质 |
| CN111835532A (zh) * | 2019-04-11 | 2020-10-27 | 华为技术有限公司 | 网络验证的方法和装置 |
| CN111835532B (zh) * | 2019-04-11 | 2022-04-05 | 华为技术有限公司 | 网络验证的方法和装置 |
| US11909744B2 (en) | 2019-04-11 | 2024-02-20 | Huawei Technologies Co., Ltd. | Network verification method and apparatus |
| WO2020233708A1 (zh) * | 2019-05-22 | 2020-11-26 | 华为技术有限公司 | 创建网络仿真平台的方法和网络仿真方法及相应装置 |
| CN111988156B (zh) * | 2019-05-22 | 2022-04-05 | 华为技术服务有限公司 | 创建网络仿真平台的方法和网络仿真方法及相应装置 |
| CN111988156A (zh) * | 2019-05-22 | 2020-11-24 | 华为技术服务有限公司 | 创建网络仿真平台的方法和网络仿真方法及相应装置 |
| US11856424B2 (en) | 2019-05-22 | 2023-12-26 | Huawei Technologies Co., Ltd. | Method for creating network simulation platform, network simulation method, and corresponding apparatuses |
| CN110472192A (zh) * | 2019-07-23 | 2019-11-19 | 平安科技（深圳）有限公司 | 评价指标提取方法、装置、存储介质和服务器 |
| CN110472192B (zh) * | 2019-07-23 | 2022-04-15 | 平安科技（深圳）有限公司 | 评价指标提取方法、装置、存储介质和服务器 |
| TWI721685B (zh) * | 2019-12-04 | 2021-03-11 | 中華電信股份有限公司 | 用於預測行動網路的客訴熱區的系統和方法 |
| CN113541993A (zh) * | 2020-04-21 | 2021-10-22 | 中国移动通信集团四川有限公司 | 网络评估方法及装置、网络指标处理方法、设备和介质 |
| CN113541993B (zh) * | 2020-04-21 | 2023-08-18 | 中国移动通信集团四川有限公司 | 网络评估方法及装置、网络指标处理方法、设备和介质 |
| CN113950086B (zh) * | 2020-07-16 | 2023-08-01 | 中国移动通信集团设计院有限公司 | 确定无线网络问题根因的方法、系统、设备及存储介质 |
| CN113950086A (zh) * | 2020-07-16 | 2022-01-18 | 中国移动通信集团设计院有限公司 | 确定无线网络问题根因的方法、系统、设备及存储介质 |
| WO2022021420A1 (zh) * | 2020-07-31 | 2022-02-03 | 华为技术有限公司 | 一种根因定位方法及装置、电子设备 |
| CN112258027A (zh) * | 2020-10-21 | 2021-01-22 | 平安科技（深圳）有限公司 | Kpi优化方法、装置、设备及介质 |
| CN112818028A (zh) * | 2021-01-12 | 2021-05-18 | 平安科技（深圳）有限公司 | 数据指标筛选方法、装置、计算机设备及存储介质 |
| CN112818028B (zh) * | 2021-01-12 | 2021-09-17 | 平安科技（深圳）有限公司 | 数据指标筛选方法、装置、计算机设备及存储介质 |
| CN114118633A (zh) * | 2022-01-26 | 2022-03-01 | 之江实验室 | 一种基于先行关系的指标自优化预测方法及装置 |
| WO2024067095A1 (zh) * | 2022-09-29 | 2024-04-04 | 中兴通讯股份有限公司 | 小区流量控制方法、基站及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105634787B (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105634787A (zh) | 网络关键指标的评估方法、预测方法及装置和系统 | |
| CN109195170B (zh) | 小区扩容方法、装置及存储介质 | |
| CN107171848B (zh) | 一种流量预测方法和装置 | |
| CN103987056A (zh) | 基于大数据统计模型的无线网络话务量预测方法 | |
| CN103118369B (zh) | 站址的选择方法和设备以及栅格选择方法和设备 | |
| CN107426759B (zh) | 新增基站数据业务量的预测方法和系统 | |
| CN105227369B (zh) | 基于众包模式的移动Apps对无线网路资源利用的分析方法 | |
| WO2014102318A1 (en) | Method and system for predicting the channel usage | |
| CN107147514B (zh) | 一种电力通信网络优化资源配置方法及系统 | |
| CN106934514A (zh) | 一种回归模型的生成方法以及装置 | |
| CN113382477B (zh) | 应用于无线网络用户间上行干扰建模的方法 | |
| CN114269007A (zh) | 基站节能策略确定方法、装置以及方法存储介质 | |
| CN110138475A (zh) | 一种基于lstm神经网络的自适应门限信道占用状态预测方法 | |
| Torres et al. | Data analytics for forecasting cell congestion on LTE networks | |
| CN103686818A (zh) | 一种仿真测试方法及设备 | |
| CN103797755B (zh) | 一种网络关键性绩效指标的评估方法及装置 | |
| CN105050132A (zh) | 小区极值吞吐量的估计方法 | |
| Hu et al. | A study of LTE network performance based on data analytics and statistical modeling | |
| CN114118748B (zh) | 一种服务质量预测方法、装置、电子设备及存储介质 | |
| CN116887315A (zh) | 面向5g的室内外干扰协同智能优化方法及装置 | |
| CN110009061A (zh) | 一种基于机器学习的ap自适应优化选择方法 | |
| Sone et al. | Forecasting wireless network traffic and channel utilization using real network/physical layer data | |
| CN114125865B (zh) | 一种5g基站的规划方法、装置、计算设备和存储介质 | |
| Kim et al. | Prediction of LTE spectrum saturation using quantiles of busy hour RB usage rates | |
| CN110233684B (zh) | 信噪比评估方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |