CN104394039B - 一种基于Sigmoid指数模型网络性能成熟度评价系统及其评价方法 - Google Patents

Abstract

本发明公开了一种基于Sigmoid指数模型的网络性能成熟度评价系统及其评价方法，通过采集网络一个以上KPI指数数值，并设定每个KPI指数的目标值和基准值及网络的成熟度指数；建立成网络熟度指数的Sigmoid指数模型，并将KPI指数测量值按照增量学习的方式训练，直到模型的训练误差和测试误差达到最小化，从而确定每个KPI指数达到成熟需要的时间；最后根据KPI阀值最高的KPI的成熟时间来确定网络成熟时间。本发明可以用来优化相关的生产链或供应链。当确定的网络成熟度状态低于可接受的水平，那么网络设备制造商在制造过程中可以采取相应的措施来加速整合网络的组件，或尽快解决相关的网络问题。通过这种方式，因为网络成熟度能够在网络投向市场之前决定，所以网络设备制造商可以采取先发制人的措施解决网络问题，从而使网络可以及时被投向市场。

Description

一种基于Sigmoid指数模型网络性能成熟度评价系统及其评 价方法

技术领域

本发明属于网络通信领域，特别涉及一种基于Sigmoid指数模型网络性能成熟度评价系统及其评价方法。

背景技术

近年来，随着移动网络的快速升级。移动终端（如智能手机）为了满足客户的需求，也已飞快的速度更新换代。同时无线网络运营商需要监控网络的生产发展的进度以确保无线网络能为用户提供良好的使用体验。具体来说，企业需要确定无线网络是否在技术上已经准备好进入消费市场。然而，企业无法量化即将投入市场的无线网络的成熟度。

因此，移动网络企业需要一个新的方法来评估无线网络性能成熟度。

发明内容

本发明的目的是提供一种可以预测无线网络性能成熟度的评价系统以及其评价方法。

为了实现上述目的，本发明采用以下技术方案：一种基于Sigmoid指数模型评价网络性能成熟度的方法，包括以下的步骤：

采集网络一个以上KPI指数数值；

设定每个KPI指数的目标值和基准值及网络的成熟度指数；

建立成网络熟度指数的Sigmoid指数模型，并将KPI指数测量值按照增量学习的方式训练，直到模型的训练误差和测试误差达到最小化，从而确定每个KPI指数达到成熟需要的时间；

根据KPI阀值最高的KPI的成熟时间来确定网络成熟时间。

所述KPI指数包括话务量、资源利用率、掉话率、数据流量。

所述成熟度指数由下式表示：

，

ReadinessIndex _KPI 表示成熟度指数；KPI_{Measured@Dayt}表示KPI指数的测量值；KPI_BM表示KPI指数的基准值；KPI_Acceptance表示KPI指数的目标值。

所述成熟度指数的Sigmoid指数模型为：

，

其中，A表示成熟度指数的最大值；B表示S形曲线的斜率；C表示S形曲线的拐点。

所述训练步骤包括：

（1）初始化指数模型，设定成熟度指数的最大值，并假设特定KPI指数的成熟时间；

（2）将设定值代入方程推导出B值，采集实时KPI指数并获得KPI测量值确定的成熟时间；

（3）根据增量学习，将前一天的KPI测量值确定的成熟时间作为先验知识，当天的KPI指数测量值作为新知识进行训练，若实时KPI测量值确定的成熟时间与前一天确定的成熟时间的训练误差和测试误差达到要求，则此时确定的成熟时间作为特定KPI的成熟时间；

（4）同时显示网络成熟度曲线。

所述网络成熟度曲线，若实时KPI测量值确定的成熟时间与前一天确定的成熟时间的差值为正，且位于拐点之前的平均值大于拐点之后的平均值，呈对数函数曲线；若实时KPI测量值确定的成熟时间与前一天确定的成熟时间的差值为负，且位于拐点之前的平均值大于拐点之后的平均值，呈二阶或三阶多项式函数曲线；若位于拐点之前的平均值为正，而拐点之后的平均值为负，呈线性回归函数曲线。

一种基于Sigmoid指数模型的网络性能成熟度评价系统，其特征在于包括：

网络数据源，记录网络设备运行状况，是用于获取实时KPI指数的来源；

ETL采集模块，用以抽取网络数据源的数据并对之转换，最后将转换过的数据加载到数据仓库；

数据仓库，用于储存ETL模块转换过的数据，并提供给分析引擎处理；

分析引擎，用于增量学习训练和挖掘数据仓库提供的数据；

图形用户界面，用于提供分析引擎的可视化分析结果。

所述分析引擎包括：

算法训练器，用于初始化Sigmoid曲线，并根据提供的数据训练Sigmoid指数模型；

算法测试器，用于计算网络KPI的测量值和拟合曲线的KPI值之间的差值；

增量学习器，用于根据所识别的拐点、网络成熟度指数和曲线的斜率，对曲线的形状进行自学习调整和说明。

所述数据仓库包括：

KPI数据库，用于存储ETL模块抽取的网络性能指标报告数据；

供应链数据库，用于存储ETL模块抽取的供应链数据；

市场预测数据库，用于存储ETL模块抽取的网络销售数据。

本发明具有以下有益效果：

1.网络成熟度模型可精确预测网络中各个技术指标的性能表现，为通信运营商有效评估网络质量提供一整套评价体系标准。

2.网络成熟度模型可认知并锁定网络系统中的痛点，即哪一个或哪几个性能指标为整体网络质量中的短板。

3.网络成熟度模型可以在时间维度上预测基于当前网络的性能，还需要多久网络的整体性能可以成熟和达标，即所有网络指标达到或超越门限值。

4.网络成熟度模型可帮助电信运营商监控新架设网络的质量和性能趋势，保障新网络的健康发展。

5.网络成熟度模型可以预测网络每个性能指标的成熟曲线，并汇总推测出网络整体的成熟曲线，帮助运营商精确的监控网络质量的成熟趋势。

附图说明

图1是本发明网络性能成熟度评价系统的整体框架。

图2是不同网络成熟度曲线。

具体实施例

本申请所公开的实施方案可以评估给定无线网络的成熟度，并预测部署无线网络推向市场的时间。这有助于无线网络运营商更好地监控新网络的发展。所公开的实施方案构建了一种新的模型来预测无线网络的成熟度，它可以被应用到其他领域，例如产品成熟度、软件成熟度、应用质量成熟度等。该实施方案提供了一个适当的广义模型来解决质量成熟度相关的问题。此外，该实施方案可以基于已部署网络的成熟度曲线，来对原有的网络设备制造商（NEM）进行分类。根据分类，属于相同分类的网络设备制造商，在发展无线网络时有相似的质量成熟度模式。这样的分类可以帮助无线网络供应商（或其他机构），基于网络性能更准确地预估给定网络设备制造商的网络成熟度和网络的速率（或等级）。通过这种方式，无线网络供应商可以在网络的发展过程中有针对性地管理网络设备制造商。此外，无线网络供应商可以利用所公开的实施方案为不同网络设备制造商预估新网络的成熟度。该实施方案可以提供一个中立、公平的模型来识别无线网络的成熟度。

在这个方案中，首先初始化了基于网络的一个或多个关键性能指标（KPI）的模型，代表了无线网络对于市场的成熟度。此模型可以被视一个S形曲线，S形曲线具有“S”形的数学函数，一个或多个KPI的值可以拟合到该曲线。拟合是将一系列数据点关联到一个曲线或数学函数的过程，从而可以计算出网络KPI真实值和拟合曲线KPI值之间的差值。我们可以基于所计算的差值来确定该曲线的拐点。该拐点代表曲线上斜率发生改变的点。该曲线的形状由所识别的拐点、成熟度指数和曲线的斜率确定，其中，网络成熟度指数基于至少一个KPI，该KPI在生产性能阈值中，相对于其他KPI是花费时间最多的。无线网络的成熟度是根据曲线形状确定的，它可以代表投向消费市场的成熟度状态。该公开的实施方案进一步提供了描述网络成熟度状态的报告。该报告包括一个图形表示的曲线、成熟度指数和多个KPI，它们可以用来确定网络成熟度状态。例如，该报告指出了在网络部署期间某个特定时间上，网络成熟度状态是高于、低于或等于其预定值（或可接受值）。该报告还包括制造商网络的性能分类，该分类可以由曲线的形状来确定。性能分类例子(例如，早起的鸟儿、猫头鹰等。这里起早的鸟表示网络成熟度表现较好的网络或者网络设备商，而猫头鹰表示网络成熟度比较低，很多指标到了生命周期结束时还未达标)会在下面进一步讨论。

本方法可以用来优化相关的生产链或供应链。例如，在网络部署期间某个特定的时间上，当确定的网络成熟度状态低于可接受的水平，那么网络设备制造商在制造过程中可以采取相应的措施来加速整合网络的组件，或尽快解决相关的网络问题。通过这种方式，因为网络成熟度能够在网络投向市场之前决定，所以网络设备制造商可以采取先发制人的措施解决网络问题，从而使网络可以及时被投向市场。

下面结合附图及具体实施例对本发明作进一步的说明。

图1是本发明网络性能成熟度评价系统的整体框架，该框架可以用来获得和存储无线网络的运行参数。其中包含网络数据源204、 “提取-转换-加载”（ETL）采集模块210、分析引擎31、图形用户接口模块（图形用户界面）214和数据仓库220。

在这个方案中，网络数据源204，记录网络设备运行状况，是用于获取实时KPI指数的来源。ETL模块可以用特定的数据格式接收数据（例如，.DRM文件格式）。ETL模块210使用特定的模式来提取一个.DRM文件的数据属性，然后格式化并转换该数据，最后加载或存储到数据仓库220中。数据仓库220也包括与ETL模块210接收到的数据相关的元数据。元数据可以指明数据的属性。在这种方式中，数据仓库220包括用于存储ETL模块抽取的网络性能指标报告数据的KPI数据库208；用于存储ETL模块抽取的供应链数据的供应链数据库502；用于存储ETL模块抽取的网络销售数据的市场预测数据库504。数据仓库220中的数据可以由分析引擎31读取，以评估使用下面讨论的示例性方法的移动终端的质量。在这个方案中，数据仓库220的数据将提供给分析引擎31。数据仓库220中的元数据可以定义数据属性以及它们的关系。元数据分为两种类型:性能数据属性和配置数据属性。性能数据的属性包括网络KPI名称、网络KPI单元、网络KPI阈值（最大值与限制值）、无线网络（RF）KPI名称、射频KPI单元、射频KPI阈值（最大值与限制值）等。配置数据的属性包括网络名称、网络设备制造商名称、网络类型、硬件配置参数、软件参数、销售数据、返回数据（设备故障代码）等。一旦元数据文件中的数据属性被定义，它们的关系也被定义了。

我们用一个示例性接口来定义元数据中数据属性之间的关系。该接口能够方便地使用基于Web的界面。例如，用户可以使用该接口的浏览项目来选择一个或多个性能数据参数（如KPI），然后用逻辑图来配置标准和专有数据格式间的映射。此外，该接口允许自定义转换数据类型，并实现源和目标格式之间映射的可视化。

在这个方案中，分析引擎31包括一个或多个处理器、存储器以及内存来处理一个或多个算法和统计模型来评估移动终端的质量。该分析引擎31可以训练和挖掘ETL模块210中的数据。例如，一个训练集可以是一组用于发现潜在预测关系的数据。它可用于人工智能、机器学习、遗传编程、智能系统和统计。训练集能够建立分析模型，而试验（或验证）集可用于验证已建立的分析模型。训练集中的数据点可以被排除在试验（验证）集外。通常在建立一个分析模型时，一个数据集在多次迭代中被分成训练集和验证集（或一个“测试组”）。例如，在这种方式下分析引擎31可确定评估网络质量的模型。在这个方案中，开放式接口（例如，应用程序接口（API））会为供应商提供 ETL模块210和分析引擎31之间的读/写数据以及分析引擎31和图形用户界面214之间的可视化分析结果。在这个方案中，无线网络供应商为第三方供应商提供分析引擎31的访问权。

在这个方案中，分析引擎31可以增量处理数据用于瞬时学习。增量式学习是一种机器学习范例，每当新的例子出现，一个学习过程就会发生，它能根据新的范例调整已学的内容。增量学习与传统机器学习的不同之处在于，增量学习在学习过程之前不用假设一个可用的充分训练集，而是随着时间推移来训练范例。基于这种模式，通过重新训练分析引擎31处理的数据，分析引擎使用的算法能够自动更新。在这个方案中，动态滑动窗口方法为分析引擎31提供ETL模块210中用于训练算法的数据。ETL模块210利用该动态滑动窗口能够增量提供，例如，从移动终端13a到分析引擎31的运行参数。分析引擎31可以从ETL模块210和数据仓库220中不断接收数据。该分析引擎31可以不断地为数学模型自动学习和更新算法（以及相关公式），使模型可以符合从ETL模块210中接收到的最新数据。

分析引擎31的一个或多个输出可通过图形用户界面214显示。例如，图形用户界面214可以在移动网络（例如，平板电脑、智能电话等）中呈现由分析引擎31提供的数据。在这个方案中，图形用户界面214可以用于展示分析引擎31的分析结果。例如，分析引擎31的结果能够可视化为图、动画、表格以及其他图形呈现方式。

本发明公开的实施方案可以进一步提供描述网络成熟度状态的报告。该报告包括曲线、成熟度指数和KPI的图形展示，用来确定无线网络的成熟度状态。例如，该报告指出了在网络部署周期中某个特定时间上，网络成熟度状态是高于、低于或等于成熟度状态的预定值（或可接受值）。该报告还包括制造商网络性能的分类，该分类可以由曲线的形状来确定。示例性的性能分类将会在下面进一步讨论。

在这个方案中，该报告可以用来修改相关的生产链或供应链。例如，在网络部署周期中某个特定时间上，当确定无线网络13a的成熟度状态低于可接受的水平，那么网络设备制造商在网络的制造过程中可以采取相应的措施来加速整合网络的组件，或尽快解决相关的网络问题。通过这种方式，因为网络成熟度可以在无线网络投向市场之前决定，所以网络设备制造商可以采取先发制人的措施来解决网络的问题，从而使无线网络可以及时被投向到市场。

在这个方案中，分析引擎能够利用确定的无线网络的成熟度，自动更改生产部件和供应链部件的操作。例如，当分析引擎31确认网络成熟度低于可接受的状态时，无线网络中的机械臂整合或者焊接组件将在分析引擎31的指导下，通过加速或提升操作率的方式来提高网络对市场的成熟度状态。

在这个方案中，分析引擎31将自动把成熟度报告传送给无线网络运营和管理中心。该报告可用于企业员工预测一个新的网络何时将会投入市场。例如，在这个方案中，分析引擎31会以预先确定的时间周期（比如，每小时、每天、每周、每月等）将新的成熟度报告传送给一个或多个计算器。

在这个实施方案中，图形用户界面214可以显示一个数据模型、算法和组件间的通信。该图形用户界面214包括一个仪表盘，它支持多种应用，同时为所有应用程序提供一个统一的外观。图形用户界面214可以显示不同格式的报告（例如，PDF、XLS等）。该图形用户界面214拥有开放的API，因此用户能够创建自定义报表。该图形用户界面214可以为隐藏在用户中的数据仓库220保持内部架构，它提供的图形用户界面功能包括图标、分组、图标扩展和管理菜单等。总体而言，图形用户界面214可以提供一致的外观和友好的用户导航。

在这个方案中，分析引擎31可以用作网络分析工具。例如，这样的网络分析工具可以是，一个KPI监控工具的扩展，以进一步评估预先投入的网络质量。车载诊断可以参考网络的自我诊断和报告能力。KPI工具可以让网络测试员或维护人员访问多种网络子系统的状态。KPI工具通过一个标准化的数字通信端口提供实时数据。分析引擎31可以应用统计建模算法来研究网络质量，评估网络成熟度状况，并预测网络的回报率等。更多的统计模型可以嵌入或存储在基于业务需求的分析引擎31中。分析引擎31允许网络质量团队从多个方面调查网络质量，包括网络质量、网络成熟度状况和网络的回报率等。

在评估无线网络成熟度状况时，分析引擎31能够通过一个S形模型来预测一个预启动网络投入市场的时间。在评估网络的回报率时，分析引擎31通过局部加权回归（LOESS）模型可以预测给定的预启动网络中潜在的网络回报率。分析引擎31也可以利用该模型预测后投入网络的回报率。

在这个方案中，ETL模块210和分析引擎31存在三个主要的数据源。这些数据源包括KPI数据库208、供应链数据库502以及市场预测数据504。KPI数据库208是获得性能数据的主要来源。对于分析引擎31，KPI数据库208有两种可用的数据格式。一种格式是.DRM格式，它可用来存储由KPI工具用户上传到KPI数据库中的原始日志文件。另一种格式是.CSV文件，它可以用来存储由KPI工具生成的报告。它可以被看作是通过KPI工具的“处理记录”。

在这个方案中，市场预测数据数据库504可以提供网络每月的销售数据。此数据集可以合并来自供应链数据库502的网络返回数据。负载性能数据的粒度可以是几秒钟、几分钟或者忙时时间间隔。返回数据和销售数据可以具有几个星期或几个月的粒度。

在这个方案中，在ETL模块210处理数据之后、传递给分期之前，ETL模块210会利用四分位距（IQR）算法来排除极端值。在描述性统计中，四分位距也称为中期蔓延或四分差，它是统计分布的量度，等于上下四分位数之间的差值。

在这个方案中，ETL模块210可以定义一个统一的目标文件。元数据中的每个数据属性都可以通过ETL模块210映射到目标文件中的给定的列。ETL模块210将生成的目标文件作为输出提供给分析引擎31用于进一步的数据挖掘和数据处理。分析引擎31能够利用该目标文件进行统计分析（例如，移动终端13a的统计分析）。在这个方案中，ETL模块210可能需要将目标文件分成几个文件，如性能文件、配置文件等。当文件大小超过指定阀值时，目标文件就会被分割。性能文件包括与移动终端13a的硬件（例如，内存设备）和软件（例如，执行应用程序）相关的性能数据。配置文件包括与移动终端13a的特定网络设置（例如，用户自定义设置）相关的数据。

在这个方案中，网络对市场的成熟度状况可以用基于网络的一个或多个关键性能指标（KPI）的模型来表示，该模型由算法训练器602初始化。该模型可以用曲线来表示，例如S形曲线或Sigmoid曲线。一旦代表网络对于市场的成熟度状况的模型被初始化，该算法训练器602将计算出S形函数的系数（例如，使用最小二乘法）。最小二乘法是一种当方程数多于未知数时，求此方程组的近似解的方法。“最小二乘”表示最小化每个方程组的每个方程结果的误差平方和的方法。

为了初始化代表网络成熟度状况的模型，算法训练器602假设无线网络成熟度状况在时间域中呈现S形或Sigmoid形。随着时间的推移，更多的测试数据变得可用。该模型的形状可通过算法训练器602从S型调整到其他形状。改变模型形状的阈值由几个条件触发，包括平均误码率，曲线是否向上或向下凹陷，以及曲线的斜率等。

图2展示了不同网络设备制造商的成熟度曲线802、804和806。图2的垂直轴表示DRI值。横轴是时间轴，它表示网络的制造周期天数。算法测试器604可以计算网络KPI的测量值和拟合曲线的KPI值之间的差值。曲线拟合是通过构建一个曲线或数学函数，连接一系列数据点的过程，该过程可能会受到某些限制。曲线拟合包含插入值或平滑处理，插入值需要精确的拟合数据，“平滑”处理指大致拟合数据。算法测试器604可以计算每个真值和拟合值（从S形曲线获得）之间的差值。该曲线的拐点可以通过算法测试器604计算出的差值来标识。拐点表示在该曲线上，斜率符号发生改变的点。作为一个说明性的例子，S-曲线的拐点可以被标识为移动终端在182天制造周期中的第91天的一点。图2展示了该示例性拐点810。

在这个方案中，如果真实值和拟合值的平均值Δ（或差）（真实值减去拟合值）为正，并且在t<=91天范围内的平均值Δ大于在92天<=t<=182天范围内的平均值Δ，那么该模型计算器602将把现有的sigmoid函数替换为一个对数函数来改变初始曲线的形状。否则，如果真实值和拟合值的平均值Δ（真实值减去拟合值）为负，并且在t<=91天范围内的平均值Δ大于在92天<=T<=192天范围内的平均值Δ，那么模型计算器602将把现有的sigmoid函数替换为一个二阶或者三阶多项式函数。此外，如果在t<=第91天范围内的平均值Δ为正，然而在92<=t<=192天范围内的平均值Δ为负，那么该算法训练器602认为该初始化的S形曲线的斜率小，并将初始的S曲线替换为一个线性回归函数。图2表示根据真实值和拟合值的平均值Δ（或差，真实值减去拟合值），展示了模型计算器602下不同的曲线的变化。通过计算，可以确定网络成熟度状况曲线“最好”或最佳的形状。

根据所识别的拐点、网络成熟度指数和曲线的斜率，该曲线的形状可以由增量学习器606说明。移动终端的网络成熟度指数（DRI）基于至少一个KPI，该KPI在生产性能阈值中，相对于其他KPI是花费时间最多的。

如果曲线是一个向下的凹形对数曲线，那么增量学习器606确定制造移动终端的网络设备制造商更偏向在生产问题（或设计、软件等）刚出现时就进行修复。在另一种情况下，无线网络供应商指出的修改和问题不会过于复杂并不会花费网络设备制造商很多时间进行修复。因此，网络设备制造商可以在制造移动终端13a过程的早期阶段修复这些问题。换句话说，网络设备制造商是一个“早起的鸟”或“百灵鸟”，并由增量学习器606归类（或聚集）到与其他网络设备制造商共享类似的特性。在“早起的鸟”组的网络设备制造商会尝试在制造过程的早期阶段，解决制造（或设计，软件等）的问题，而不是拖延到接近移动终端投入市场的发布日期。图2中曲线802展示了与网络设备制造商相关联的 “早起的鸟儿”或“百灵鸟”型的曲线。

如果曲线被描述为一个二阶或三阶多项式曲线，那么增量学习器606确定制造移动终端的网络设备制造商更偏向到临近截止日期或投向市场日期时（例如，市场发布的几天或者几小时之前）才修复生产问题（或设计、软件等）。换句话说，这时的网络设备制造商是一个“猫头鹰”，并且由增量学习器606分类（或聚集）到与其他网络设备制造商共享类似的特性。在这一组网络设备制造商（NEM）中，它们在传输移动终端的无线网络供应商所提出的原始时间表上有着显著的延迟。在另一种情况下，由无线网络提供者指出的修改和问题可能会很复杂并且会花费网络设备商很多时间来修复。因此，该问题直到制造移动终端13a的后期阶段才会由网络设备制造商来解决。图2中曲线804展示了与网络设备制造商相关联的“猫头鹰”型曲线。

如果曲线被描述为一个S型曲线甚至是线性曲线，那么曲线解释器606确定制造移动终端的网络设备制造商会采取一个平缓的模式，一步一步地进行检测工作。这样，进度既不会落后也不会提前时间表太多。换句话说，网络设备制造商是一个“正常的鸟”，并且被增量学习器606分类（或聚集）到与其他网络设备制造商共享类似的特性。在这一组中的网络设备制造商将紧跟无线网络供应商所提出的原始时间。图2中的曲线806展示了与网络设备制造商相关联的“正常的鸟”型曲线。

在这个方案中，算法训练器602可以利用一个或多个算法来确定网络成熟度状况。例如，该模型计算器602可以假定一个给定KPI网络的基准值是网络（例如，移动终端的）制造周期第0天（或第一天）的测量值。

因此，我们有：

对于特定的KPI，算法训练器602可以指定KPI的可接受值（也就是目标值），也就是通过这个KPI的阈值。无线网络供应商可以为网络设备制造商指定网络KPI的可接受值。

因此，可以认为:

下一步，算法训练器602会为一个网络的KPI定义一个成熟度指数。算法训练器602指出，给定的一天“t”的KPI的成熟度指数由KPI测量值之间的绝对差值和KPI可接受值与基准值之间绝对差值给出。KPI接受值是一个无线网络供应商可以接受的KPI值，该供应商的网络由网络设备制造商传递。对于特定的网络，KPI基准值是一个推荐值或者基准KPI。算法训练器602可以计算DRI：

ReadinessIndex _KPI 表示成熟度指数； KPI_{Measured@Dayt}表示KPI指数的测量值；KPI_BM表示KPI指数的基准值；KPI_Acceptance表示KPI指数的目标值。

在上面的计算网络成熟度指数的公式中，,表明在t天测得的KPI比KPI基准值更好。

在定义DRI之后，考虑一个标准的S型函数，它可表示为：

然而，无线网络成熟度模型（WNRM）的S形曲线可能不会精确对应到一个标准的S型曲线。考虑到这一点，一个DRI函数可以表示为：

其中，

A表示DRI的最大值。

B表示S形曲线的斜率。在一个圆形的函数中，B可以称为S形曲线的“相位”；

C表示S形曲线的拐点。

在该模型中，如果DRI的最大值已知是1，我们有。因此，我们得到 A=1。

假设网络是安全的，测试完成时间要182天（或6个月）。拐点可以被确定为第91天。

因此，拐点 = 第91天

因此，我们有:

转变这个公式，我们有:

假设,得到，因为我们不允许时间为负。因此，t = 0时，它可以解释为在第0天DRI也为0。

当模型被初始化时，算法训练器602假设：由网络设备制造商在第1天进行的测试工作完成了整体测试工作的1/182，这可以用DRI的1/182表示。

因此，假设，我们得到：

从而，

因此，该示例中，可以确定B=0.5776。

最后WNRM模型可以通过下面的函数组来表示。

在这个方案中，算法训练器602通过执行以下步骤来构造模型。

起初，该算法训练器602为第i个KPI计算其DRI值。

在一个非限制性实施方案中，对于特定KPI的DRI值可以由如下计算得到：

一旦模型计算器为特定KPI计算出DRI的值，该模型的计算器602可以为第i个KPI计算和推向市场的天数。

在一个非限制性实施方案中，第i个KPI的和推向市场的天数可以这样计算：

一旦算法训练器602计算出和推向市场的天数，模型计算器602可以为KPI从1到i选择推向市场时间的上限（Cannikin Law-Bucket 效应。）在试验过程，我们随机选取了一个网络的话务量、资源利用率、掉话率、数据流量作为测试KPI指数指标，其分别预测结果为160天、151天、170天、177天，因此我们可以建议说这个网络的成熟度为177天。

在一个非限制性的实施方案中，DRI值可以计算为：

所公开的实施方案利用新的数据分析算法来预测网络成熟度，为预启动网络预测投向市场时间并计算出它的成熟度曲线。例如，所公开的实施方案将一个网络成熟度模型初始化为一个中性曲线S形曲线。该曲线的形状可以被调整，以更好地适应现实世界或给定预启动网络的真实操作场景。成熟度曲线是一个动态学习的曲线，以反映给定网络在投向市场的成熟程度。所公开的实施方案可以遍历网络中测量的KPI，并通过KPI阈值找出消耗最多时间的KPI，从而确定该网络的成熟度。所公开的实施方案还采用Cannikin Law-Bucket效应，来找出通过KPI阀值消耗时间最多的KPI。Cannikin Law-Bucket效应是一个真实的场景：组成木桶的最短的木板决定了有多少水在桶里。类似地，成熟度最低的KPI代表了欲投入网络的整体成熟度。

公开的实施方案为给定网络确定了一个最佳（或最好）的曲线。该最佳曲线由DRI的最大值、S形曲线的斜率和S形曲线的拐点决定。根据上面的讨论，通过移动站的图形用户界面来评估网络成熟度的功能，可以由分组数据网络中用于数据通信的计算器组件来实现。虽然可以使用专用网络，但这样的网络也可以在一个或多个硬件平台上实现，来表示常用于运行“服务器”编程的一类数据处理网络，以便执行上面讨论的评估网络对市场的成熟度，尽管需要合适的用于数据通信的网络连接。

Claims (8)

1.一种基于Sigmoid指数模型评价网络性能成熟度的方法，其特征在于包括以下的步骤：

采集网络一个以上KPI指数数值；

设定每个KPI指数的目标值和基准值及网络的成熟度指数；

建立网络熟度指数的Sigmoid指数模型，并将KPI指数测量值按照增量学习的方式训练，直到模型的训练误差和测试误差达到设定的最小值，从而确定每个KPI指数达到成熟需要的时间；

根据KPI阀值最高的KPI的成熟时间来确定网络成熟时间。

2.根据权利要求1所述的基于Sigmoid指数模型评价网络性能成熟度的方法，其特征在于：所述KPI指数包括话务量、资源利用率、掉话率、数据流量。

3.根据权利要求1所述的基于Sigmoid指数模型评价网络性能成熟度的方法，其特征在于：所述成熟度指数由下式表示：

<mrow> <msub> <mi>ReadinessIndex</mi> <mrow> <mi>K</mi> <mi>P</mi> <mi>I</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>|</mo> <mfrac> <mrow> <msub> <mi>KPI</mi> <mrow> <mi>M</mi> <mi>e</mi> <mi>a</mi> <mi>s</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> <mi>d</mi> <mo>@</mo> <mi>D</mi> <mi>a</mi> <mi>y</mi> <mi>t</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>KPI</mi> <mrow> <mi>B</mi> <mi>M</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>KPI</mi> <mrow> <mi>A</mi> <mi>c</mi> <mi>c</mi> <mi>e</mi> <mi>p</mi> <mi>tan</mi> <mi>c</mi> <mi>e</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>KPI</mi> <mrow> <mi>B</mi> <mi>M</mi> </mrow> </msub> </mrow> </mfrac> <mo>|</mo> </mrow> </mtd> <mtd> <mrow> <mi>w</mi> <mi>h</mi> <mi>e</mi> <mi>n</mi> <mi> </mi> <msub> <mi>KPI</mi> <mrow> <mi>M</mi> <mi>e</mi> <mi>a</mi> <mi>s</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> <mi>d</mi> <mo>@</mo> <mi>D</mi> <mi>a</mi> <mi>y</mi> <mi>t</mi> </mrow> </msub> <mo>&amp;GreaterEqual;</mo> <msub> <mi>KPI</mi> <mrow> <mi>B</mi> <mi>M</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>w</mi> <mi>h</mi> <mi>e</mi> <mi>n</mi> <mi> </mi> <msub> <mi>KPI</mi> <mrow> <mi>M</mi> <mi>e</mi> <mi>a</mi> <mi>s</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> <mi>d</mi> <mo>@</mo> <mi>D</mi> <mi>a</mi> <mi>y</mi> <mi>t</mi> </mrow> </msub> <mo>&lt;</mo> <msub> <mi>KPI</mi> <mrow> <mi>B</mi> <mi>M</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

ReadinessIndex_KPI表示成熟度指数；KPI_{Measured@Dayt}表示KPI指数的测量值；KPI_BM表示KPI指数的基准值；KPI_Acceptance表示KPI指数的目标值。

4.根据权利要求3所述的基于Sigmoid指数模型评价网络性能成熟度的方法，其特征在于：所述成熟度指数的Sigmoid指数模型为：

<mrow> <msub> <mi>ReadinessIndex</mi> <mrow> <mi>K</mi> <mi>P</mi> <mi>I</mi> </mrow> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>A</mi> <mo>&amp;CenterDot;</mo> <mn>1</mn> </mrow> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mi>B</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mi>C</mi> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mfrac> <mo>=</mo> <mfrac> <mi>A</mi> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mi>B</mi> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mi>C</mi> <mo>)</mo> </mrow> </mrow> </msup> </mrow> </mfrac> <mo>,</mo> </mrow>

其中，A表示成熟度指数的最大值；B表示S形曲线的斜率；C表示S形曲线的拐点。

5.根据权利要求4所述的基于Sigmoid指数模型评价网络性能成熟度的方法，其特征在于：所述训练步骤包括：

(1)初始化指数模型，设定成熟度指数的最大值，并假设特定KPI指数的成熟时间；

(2)将设定值代入方程推导出B值，采集实时KPI指数并获得KPI测量值确定的成熟时间；

(3)根据增量学习，将前一天的KPI测量值确定的成熟时间作为先验知识，当天的KPI指数测量值作为新知识进行训练，若实时KPI测量值确定的成熟时间与前一天确定的成熟时间的训练误差和测试误差达到要求，则此时确定的成熟时间作为特定KPI的成熟时间；

(4)同时显示网络成熟度曲线。

6.根据权利要求5所述的基于Sigmoid指数模型评价网络性能成熟度的方法，其特征在于：所述网络成熟度曲线，若实时KPI测量值确定的成熟时间与前一天确定的成熟时间的差值为正，且位于拐点之前的平均值大于拐点之后的平均值，呈对数函数曲线；若实时KPI测量值确定的成熟时间与前一天确定的成熟时间的差值为负，且位于拐点之前的平均值大于拐点之后的平均值，呈二阶或三阶多项式函数曲线；若位于拐点之前的平均值为正，而拐点之后的平均值为负，呈线性回归函数曲线。

7.一种基于Sigmoid指数模型的网络性能成熟度评价系统，其特征在于包括：

网络数据源，记录网络设备运行状况，是用于获取实时KPI指数的来源；

ETL采集模块，用以抽取网络数据源的数据并对之转换，最后将转换过的数据加载到数据仓库；

数据仓库，用于储存ETL模块转换过的数据，并提供给分析引擎处理；

分析引擎，用于增量学习训练和挖掘数据仓库提供的数据；

图形用户界面，用于提供分析引擎的可视化分析结果；

所述分析引擎包括：

算法训练器，用于初始化Sigmoid曲线，并根据提供的数据训练Sigmoid指数模型；

算法测试器，用于计算网络KPI的测量值和拟合曲线的KPI值之间的差值；

增量学习器，用于根据所识别的拐点、网络成熟度指数和曲线的斜率，对曲线的形状进行自学习调整和说明。

8.根据权利要求7所述的基于Sigmoid指数模型的网络性能成熟度评价系统，其特征在于：所述数据仓库包括：

KPI数据库，用于存储ETL采集模块抽取的网络性能指标报告数据；

供应链数据库，用于存储ETL采集模块抽取的供应链数据；

市场预测数据库，用于存储ETL采集模块抽取的网络销售数据。