CN104618149A - 一种异构网络son智能运维管理方法 - Google Patents

Abstract

本发明公开了一种异构网络SON智能运维管理方法,其包括以下步骤：步骤S1，通过基站和网络监测节点收集异构网络运维数据；步骤S2，构建统一的运维监测模型，以对异构网络进行实时监测；步骤S3，将整个异构网络的优化目标分解为多个SON功能的决策行为，每一个SON功能的决策行为是一个单独的控制环SON_uc；根据运维监测模型的实时监测，调整和确定相应的无线网络参数，并触发和运行相应类型的特定SON_m功能；如果其SON_m是同一时间尺度下的多个SON_uc管理，则采用同一时间尺度下的多SON冲突避免优化处理机制；如果其SON_m是不同时间尺度下的SON_uc管理，则采用不同时间尺度下的SON用例协同管理机制。本发明能够降低运营成本、提高系统性能，确保网络运行高效、安全、稳定。

Description

一种异构网络SON智能运维管理方法

技术领域

本发明属于无线网络通信技术领域中的网络智能运维技术，尤其涉及一种异构网络SON智能运维管理方法。

背景技术

未来网络是一个多种接入技术和多层次部署的异构融合网络，网络的拓扑和架构都随网络中节点的变化而变化，使网络具有重构性，并且多种技术体制并存所引起的互操作、家庭网元Home NodeB的大量应用，易发生产生大量网络告警信息及网络故障，使得未来网络管理和运维变得越来越复杂。越来越高的运维支出使得运营商强烈希望用新技术来降低运营成本、提高系统性能，确保网络运行高效、安全、稳定。引入了自组织网络(self-organized network,SON)进行网络的自主优化管理。

然而，自组织优化研究中充满了挑战，由于SON机制对于无线网络的影响往往难以预测，不同SON用例之间的操作以及不同目标值的优化过程中，经常会出现调整参数的冲突、优化结果冲突以及优化操作冲突等问题，此外，优化不同的SON功能用例的执行时间不同，从而单个SON用例的独立操作难以对无线网络取得良好的优化效果。因此，在网络优化过程中，需要一种有效的SON用例协调管理机制，从全局优化网络。

在此背景下，网络需要对网络运维信息进行挖掘分析，从不同的时间尺度进行分析，在网络优化过程中，需要一种有效的SON用例协调管理机制，从全局优化网络。

发明内容

为了解决现有技术中存在的上述问题，本发明的目的是提供异构网络SON智能运维管理方法，其可以降低网络运营成本、提高系统性能，确保网络运行高效、安全、稳定。

为了实现上述目的，本发明采用的技术方案为：一种异构网络SON智能运维管理方法包括以下步骤：

步骤S1，通过基站和网络监测节点收集异构网络运维数据；

步骤S2，根据获得的异构网络运维数据，构建统一的运维监测模型，以对异构网络进行实时监测；

步骤S3，将整个异构网络的优化目标分解为多个SON功能的决策行为，每一个SON功能的决策行为是一个单独的控制环SON_uc；

根据运维监测模型的实时监测，调整和确定相应的无线网络参数，并触发和运行相应类型的特定SON_m功能；

如果其SON_m是同一时间尺度下的多个SON_uc管理，则采用同一时间尺度下的多SON冲突避免优化处理机制；

如果其SON_m是不同时间尺度下的SON_uc管理，则采用不同时间尺度下的SON用例协同管理机制。

优选的技术方案，所述步骤S1中的异构网络运维数据包括用户测量报告(user measurement report)、网络计数器数据(network counters)、 路测数据(drive tests、)用户终端数据和异构网络的关键性技术指标(key performance indicators，缩写为KPI指标；其包括掉话率和阻塞率等)。

进一步优选的技术方案，所述步骤S2中的运维监控模型是通过根据异构网络运维数据与异构网络无线资源管理参数的映射分析、逻辑回归分析方法和回归函数构建的。

更进一步优选的技术方案，所述运维监控模型的具体构建过程为：

采用逻辑回归分析方法，选取回归函数：f_log(z)＝1/(1+exp^-z)，z表示无线资源管理参数；

逻辑回归映射模型为：

$y_{m,i}=f_{\log \left({\mathrm{\η}}_{m,i}\right)}+{\mathrm{\ϵ}}_i$

η_m,i＝β_m,0+β_m,1x_i

其中，y_m,i为第m个运维数据KPI指标的第i次采样值，x_i为相应的无线网络参数，ε_i表示误差值，η_m,i＝β_m,0+β_m,1x_i为无线参数预测值，其中β_m,0和β_m,1为方程变量系数；

采用最大似然估计后，得到优化后的运维监控模型为：

$\hat{x}=\arg \underset{x}{\min }C\left(x\right)$

s.t.

${\hat{y}}_m\left(x\right)<{\mathrm{th}}_m,\&ForAll;m\&Element;A_c$

其中开销函数为w_m表示第m个运维KPI指标的权重，表示无线网络参数的最大似然估计值，表示第m运维数据KPI指标的最大似然估计值，th_m表示第m个运维数据KPI指标的门限值，A_c表示运维数据KPI指标的集合。

所述步骤S3中同一时间尺度下的多SON冲突避免优化处理机制为：

将每个SON作为一个单独的智能体，则将同一时间尺度下的SON管理转化为在相同环境下，对多个智能体的优化管理；

每个智能体单独优化的过程为一个马尔科夫过程，网络节点单独的控制环SON_uc；其中，网络节点采用Q学习算法对每个智能体进行优化求解。

所述同一时间尺度下的多SON冲突避免优化处理机制包括智能体单元，冲突检测单元和效用单元；且所述每个智能体单独优化的马尔科夫过程,包括{状态信息S，行为集合A，转移概率T，回报值R}；

所述的智能体单元包含所有的SON智能体，该单元的状态信息是所有SON智能体状态信息的集合，行为是所有SON智能体行为的行为集合，回报值定义为：

$R=\underset{i}{\mathrm{\&Sigma;}}{w}_i{r}_i,$

其中r_i第i个SON智能体的回报值，w_i为相应的权重；

冲突检测单元，通过检测多个SON调整的参数或是优化值，判定SON之间是否存在冲突，如果无冲突，则每个SON智能体单独进行优化，如果检测到冲突存在，则根据网络实际需求确定对应SON智能体优化目标的权重w_i；

效用单元，根据冲突检测结果，确定的SON智能体优化目标的权重w_i，计算回报值作为网络节点的整体回报值；

所述Q学习算法为根据网络节点的所有状态信息集合S来建立一个参数系统，其具体过程为：

首先建立和维护一个二维的Q值表，第一维用来表示所有可能的状 态，第二维表示网络节点智能体所可能采取的行动，而每一个Q值表的单元q(s,a)都对应着智能体在状态S下采取行动a的Q值；

用户选择行动的一般准则为:SON智能体单元基于在给定状态下的每个动作的Q值表，按照一定的概率进行动作选择，一个动作的Q值越大，则被选择的概率就越大；

网络节点智能体根据逻辑回归分析确定将要优化的无线网络参数，构建一个新状态S，在构建完状态S后，计算对应S的各个Q值；

SON智能体根据Q值以概率选择优化策略；然后网络节点智能体返回回报值；

用户终端根据回报值和现有的Q值按照以下公式，更新Q值表中的状态S和所选动作对应的值：

$Q_K(x,\mathrm{\&alpha;})=R(x,\mathrm{\&alpha;})+\mathrm{\&gamma;}\underset{Y}{\mathrm{\&Sigma;}}{p}_{\mathrm{XY}}\left[\mathrm{\&pi;}\left(x\right)\right]V^{*}\left(y\right)$

$V^{*}=\underset{b\&Element;A}{\max }{Q}^{*}(y,b),V_{k-1}\left(y_k\right)=\underset{b\&Element;A}{\max }\left\{Q_{k-1}(y,b)\right\}$

其中R(x,α)＝E{r|s,a}， $V^{*}=\underset{b\&Element;A}{\max }{Q}^{*}(y,b),V_{k-1}\left(y_k\right)=\underset{b\&Element;A}{\max }\left\{Q_{k-1}(y,b)\right\},$ π为所选的策略，α是学习因子。

所述不同时间尺度下的SON用例协同管理机制为：

将每个SON作为一个智能体,根据不同SON_m的运行时间，确定不同的SON时间尺度；

将每一种SON时间尺度作为网络优化的一层，根据不同的SON时间尺度，确定网络优化的层次；

最终，根据网络优化中的SON的时间尺度，把不同时间尺度的SON协同管理转化为多层次目标优化问题；然后，采用分层优化方法进行不同时间尺度下的SON网络优化。

仅考虑SON长时间尺度和SON短时间尺度两种时间尺度，也即仅考虑两层网络优化；

其中，SON短时间尺度记为SON1，将SON1作为快时间尺度的马尔科夫过程MDP1；SON长时间尺度记为SON2，将SON2作为慢时间尺度的马尔科夫过程MDP2；

所述慢时间尺度SON2{状态信息S，行为集合A，转移概率P^U，回报值R₁}在离散时间n∈{0,1,2,…}，以转移概率为P^U(s_n+1|s_n,a_n)转移，其中，a_n∈A,s_n∈S；

所述快时间尺度SON1{状态信息X，行为集合B，转移概率P^L，回报值R}在离散时间t∈{t₀,t₁,t₂,…},t_nT＝n，以转移概率为P^L(y|x,b,i,a)转移，其中回报值为R^L(x,b,i,a)；

所述慢时间尺度的策略集合d^u∈D^u,所述快时间尺度的策略集合d^l∈D^l，则不同时间尺度下的多SON的最优目标值为：

$J^{*}(x,s)=\underset{d^u\&Element;D^u}{\max }\underset{d^l\&Element;D^l}{\max }\underset{H\&RightArrow;\&infin;}{\mathrm{lin}}\frac{1}{H}{E}^{x,i}\left\{\underset{n=0}{\overset{H-1}{\mathrm{\&Sigma;}}}{R}^u(x_{t_{n}T},s_n,d^u(x_{t_{n}T},s_n),d^l)\right\}$

其中，J^*(x,s)为最优目标值，d^u∈D^u为慢时间尺度的策略集合，d^l∈D^l为快时间尺度的策略集合，H表示网络运维的时间周期， 表示多SON的回报收益值。表示在T时刻的慢时间尺度SON2的状态，s_n表示在时刻n的快时间尺度SON1的状态， 表示慢时间尺度SON2的策略，d^l表示快时间尺度SON1的策略。

采用以上技术方案，本发明的异构网络SON智能运维管理方法克服了在不同SON用例之间的操作和不同目标值的优化过程中，经常会出现调整参数的冲突、优化结果冲突以及优化操作冲突等问题。其通过对网络运维数据信息进行挖掘分析，从不同的时间尺度进行分析，利用协调机制，从全局优化网络；从而降低运营成本、提高系统性能，确保网络运行高效、安全、稳定。

附图说明

图1为基于多时间尺度的异构网络SON智能运维管理机制流程图；

图2为异构网络中的SON用例优化框图；

图3为异构网络KPI与无线参数的逻辑回归分析流程图；

图4为单个SON用例控制环的内部具体架构图；

图5为同一时间尺度下的SON用例间的协同管理流程图；

图6为智能体的Q学习优化流程图；

图7为多时间尺度下的SON用例之间的协同管理流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实例并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例一：

如图1基于多时间尺度的异构网络SON智能运维管理机制流程图所示，一种异构网络SON智能运维管理方法包括以下内容：

通过异构网络的基站及网络监测节点收集运维数据，包括：用户测量报告(usermeasurementreport)、网络计数器(network counters)数据、路测数据(drive tests)及网络的关键性技术指标(key performance indicators)。其中网络的关键性技术指标包括掉话率和阻塞率等。

请参阅图2的异构网络中的SON用例优化框图，根据获得的异构网络运维数据信息，进行异构网络的运维数据KPI指标与异构网络无线资源管理参数的映射分析，通过KPI与无线资源管理参数的映射模型，进行实时监测，构建统一运维监测模型。采用逻辑回归分析方法，采用逻辑回归分析方法，选取回归函数：f_log(z)＝1/(1+exp^-z)，z表示无线资源管理参数；

逻辑回归映射模型为：

$y_{m,i}=f_{\log \left({\mathrm{\&eta;}}_{m,i}\right)}+{\mathrm{\&epsiv;}}_i$

η_m,i＝β_m,0+β_m,1x_i

其中，y_m,i为第m个运维数据KPI指标的第i次采样值，x_i为相应的无线网络参数，ε_i表示误差值，η_m,i＝β_m,0+β_m,1x_i为无线参数预测值，其中β_m,0和β_m,1为方程变量系数；

采用最大似然估计后，得到优化后的运维监控模型为：

$\hat{x}=\arg \underset{x}{\min }C\left(x\right)$

s.t.

${\hat{y}}_m\left(x\right)<{\mathrm{th}}_m,\&ForAll;m\&Element;A_c$

其中开销函数为表示第m个运维KPI指标的权重，表示无线网络参数的最大似然估计值，表示第m运维数据KPI指标的最大似然估计值，th_m表示第m个运维数据KPI指标的门限值，A_c表示运维数据KPI指标的集合。

参考图3的异构网络KPI与无线参数的逻辑回归分析流程图和图4的单个SON用例控制环的内部具体架构图；

整体网络的网络优化目标可以分解为多个SON功能的决策行为，而每一个SON功能都可以看做一个单独的控制环SON_uc。整体网络优化目标通过执行特定的SON机制SON_m，从而优化特定的无线参数或者网络的关键性技术指标KPI维持在特定的目标值。这些优化过程是通过运行SON功能用例计算相关的无线参数得到的；根据运维监测模型，调整相应的无线参数，运行相应的SON_m功能，进行异构网络优化，并且确定触发的SON_m功能及其类型。

请参考图5的同一时间尺度下的SON用例间的协同管理流程图。

如果SON_m同一时间尺度下的多SON管理，转化为在相同的环境下，多智能体多个优化目标问题；每个智能体单独优化的过程可看作一个马尔科夫过程，网络节点单独的控制环SON_uc，网络节点采用Q学习方法，对多个智能体进行多目标优化求解；

4a)同一时间尺度下的多SON冲突避免优化机制包括智能体单元，冲突检测单元和效用单元；

4b)并把每个SON看作一个智能体，每个智能体单独优化的过程可看作一个马尔科夫过程，包括{状态信息S，行为集合A，转移概率T，回报值R}；4c)所述的智能体单元包含所有的SON智能体，该单元的状态信息是所有SON智能体状态信息的集合，行为是所有SON智能体行为的行为集合，回报值定义为：

$R=\underset{i}{\mathrm{\&Sigma;}}{w}_i{r}_i,$

其中r_i第i个SON智能体的回报值，w_i为相应的权重；

4d)冲突检测单元，通过检测多个SON调整的参数或是优化值，判定SON之间是否存在冲突，如果无冲突，则每个SON智能体单独进行优化，如果检测到冲突存在，则根据网络实际需求确定对应SON智能体优化目标的权重w_i；

4e)效用单元，根据冲突检测结果，确定的SON智能体优化目标的权重w_i，计算回报值作为网络节点的整体回报值；

4f)请参考图6的智能体的Q学习优化流程图

根据网络节点的所有状态信息集合S，选择Q学习方法来建立一个参数系统，首先建立和维护一个二维的Q值表，第一维用来表示所有可能的状态，第二维表示网络节点智能体所可能采取的行动。而每一个Q值表的单元q(s,a)都对应着智能体在状态s下采取行动a的Q值。用户选择行动的一般准则为：智能体基于在给定状态下的每个动作的Q值表，按照一定的概率进行动作选择，一个动作的Q值越大，则被选择的概率就越大。

4h)网络节点智能体首根据逻辑回归分析确定将要优化的无线参数，构建一个新状态S，在构建完状态S后，要计算对应S的各个Q值。

4i)智能体根据Q值以一定的概率

$p\left(a\right|s)=\frac{e^{Q(s,a)/T_S}}{\underset{a=A}{\mathrm{\&Sigma;}}{e}^{Q(s,a)/T_S}}$

选择优化策略，即动作a。然后网络节点智能体回报值(即网络效用)：

4j)根据回报值和已有的Q值，终端更新Q值表中状态S和所选动作对应的值：

$Q_K(x,\mathrm{\&alpha;})=R(x,\mathrm{\&alpha;})+\mathrm{\&gamma;}\underset{Y}{\mathrm{\&Sigma;}}{p}_{\mathrm{XY}}\left[\mathrm{\&pi;}\left(x\right)\right]V^{*}\left(y\right)$

$V^{*}=\underset{b\&Element;A}{\max }{Q}^{*}(y,b),V_{k-1}\left(y_k\right)=\underset{b\&Element;A}{\max }\left\{Q_{k-1}(y,b)\right\}$

其中R(x,α)＝E{r|s,a}， $V^{*}=\underset{b\&Element;A}{\max }{Q}^{*}(y,b),V_{k-1}\left(y_k\right)=\underset{b\&Element;A}{\max }\left\{Q_{k-1}(y,b)\right\},$ π为所选的策略，α是学习因子。

请参考图7的多时间尺度下的SON用例之间的协同管理流程图：如果检测为不同的时间尺度，每个SON看作一个智能体,根据不同的SON机制SON_m的运行时间，确定不同的SON时间尺度；暂时考虑两种时间尺度(长时间尺度和短时间尺度)，及两层优化问题；短时间尺度SON1看作快时间尺度的马尔科夫过程MDP1，长时间尺度SON2看作慢时间尺度的马尔科夫过程MDP2；慢时间尺度的SON2，{状态信息S，行为集合A，转移概率P^U，回报值R₁}在离散时间n∈{0,1,2,…}，以转移概率为P^U(s_n+1|s_n,a_n)，其中，a_n∈A,s_n∈S。快时间尺度的SON1，{状态信息X，行为集合B，转移概率P^L，回报值R}在离散时间t∈{t₀,t₁,t₂,…},t_nT＝n，以转移概率为P^L(y|x,b,i,a)转移，其中回报值R^L(x,b,i,a)。

定义慢时间尺度的策略集合d^u∈D^u，快时间尺度的策略集合d^l∈D^l，从而获得我们优化目标为：

$J^{*}(x,s)=\underset{d^u\&Element;D^u}{\max }\underset{d^l\&Element;D^l}{\max }\underset{H\&RightArrow;\&infin;}{\mathrm{lin}}\frac{1}{H}{E}^{xi}\left\{\underset{n=0}{\overset{H-1}{\mathrm{\&Sigma;}}}{R}^u(x_{t_{n}T},s_n,d^u(x_{t_{n}T},s_n),d^l)\right\},$

其中，J^*(x,s)为最优目标值，d^u∈D^u为慢时间尺度的策略集合，d^l∈D^l为快时间尺度的策略集合，H表示网络运维的时间周期， 表示多SON的回报收益值。表示在T时刻的慢时间尺度SON的状态，s_n表示在时刻n的快时间尺度SON的状态，表示慢时间尺度SON的策略，d^l表示快时间尺度SON的策略。求解获得 不同时间尺度下的多SON的最优目标值。

基于网络优化触发的SON_m功能类型，结合不同时间尺度下的多个SON的协同管理算法，进行网络的运维优化管理。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的思想和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改。

Claims (9)

1.一种异构网络SON智能运维管理方法,其特征在于，其包括以下步骤：

步骤S1，通过基站和网络监测节点收集异构网络运维数据；

步骤S2，根据获得的异构网络运维数据，构建统一的运维监测模型，以对异构网络进行实时监测；

步骤S3，将整个异构网络的优化目标分解为多个SON功能的决策行为，每一个SON功能的决策行为是一个单独的控制环SON_uc；

根据运维监测模型的实时监测，调整和确定相应的无线网络参数，并触发和运行相应类型的特定SON_m功能；

如果其SON_m是同一时间尺度下的多个SON_uc管理，则采用同一时间尺度下的多SON冲突避免优化处理机制；

如果其SON_m是不同时间尺度下的SON_uc管理，则采用不同时间尺度下的SON用例协同管理方法。

2.根据权利要求1所述的一种异构网络SON智能运维管理方法，其特征在于，所述步骤S1中的异构网络运维数据包括用户测量报告、网络计数器数据、路测数据、用户终端数据和异构网络的关键性技术指标。

3.根据权利要求1所述的一种异构网络SON智能运维管理方法，其特征在于，所述异构网络的关键性技术指标包括掉话率和阻塞率。

4.根据权利要求1所述的一种异构网络SON智能运维管理方法，其特征在于，所述步骤S2中的运维监控模型是通过根据异构网络运维数据与异构网络无线资源管理参数的映射分析、逻辑回归分析方法和回归函数构建的。

5.根据权利要求4所述的一种异构网络SON智能运维管理方法，其特征在于，所述运维监控模型的具体构建过程为：

采用逻辑回归分析方法，选取回归函数：f_log(z)＝1/(1+exp^-z)，z表示无线网络参数，f_log(z)为关键性技术指标的逻辑回归分析值；

逻辑回归映射模型为：

$y_{m,i}=f_{\log \left({\mathrm{\&eta;}}_{m,i}\right)}+{\mathrm{\&epsiv;}}_i$

η_m,i＝β_m,0+β_m,1x_i

其中，y_m,i为第m个运维数据KPI指标的第i次采样值，x_i为相应的无线网络参数，ε_i表示误差值，η_m,i＝β_m,0+β_m,1x_i为无线参数预测值，其中β_m,0和β_m,1为方程变量系数；

采用最大似然估计后，得到优化后的运维监控模型为：

$\hat{x}=\arg \underset{x}{\min }C\left(x\right)$

s.t.

${\hat{y}}_m\left(x\right)<{\mathrm{th}}_m,\&ForAll;m\&Element;A_c$

其中开销函数为w_m表示第m个运维KPI指标的权重，表示无线网络参数的最大似然估计值，表示第m运维数据KPI指标的最大似然估计值，th_m表示第m个运维数据KPI指标的门限值，A_c表示运维数据KPI指标的集合。

6.根据权利要求1所述的一种异构网络SON智能运维管理方法，其特征在于：所述步骤S3中同一时间尺度下的多SON冲突避免优化处理机制为：

将每个SON作为一个单独的智能体，则将同一时间尺度下的SON管理转化为在相同环境下，对多个智能体的优化管理；

每个智能体单独优化的过程为一个马尔科夫过程，网络节点单独的控制环SON_uc；其中，网络节点采用Q学习算法对每个智能体进行优化求解。

7.根据权利要求6所述的一种异构网络SON智能运维管理方法，其特征在于，所述同一时间尺度下的多SON冲突避免优化处理机制包括智能体单元，冲突检测单元和效用单元；且所述每个智能体单独优化的马尔科夫过程,包括{状态信息S，行为集合A，转移概率T，回报值R}；

所述的智能体单元包含所有的SON智能体，该单元的状态信息是所有SON智能体状态信息的集合，行为是所有SON智能体行为的行为集合，回报值定义为：

$R=\underset{i}{\mathrm{\&Sigma;}}{w}_i{r}_i,$

其中r_i第i个SON智能体的回报值，w_i为相应的权重；

冲突检测单元，通过检测多个SON调整的参数或是优化值，判定SON之间是否存在冲突，如果无冲突，则每个SON智能体单独进行优化，如果检测到冲突存在，则根据网络实际需求确定对应SON智能体优化目标的权重w_i；

效用单元，根据冲突检测结果，确定的SON智能体优化目标的权重w_i，计算回报值作为网络节点的整体回报值；

所述Q学习算法为根据网络节点的所有状态信息集合S来建立一个参数系统，其具体过程为：

首先建立和维护一个二维的Q值表，第一维用来表示所有可能的状态,第二维表示网络节点智能体所可能采取的行动，而每一个Q值表的单元q(s,a)都对应着智能体在状态s下采取行动a的Q值；

用户选择行动的准则为：SON智能体单元基于在给定状态下的每个动作的Q值表，按照概率进行动作选择，一个动作的Q值越大，则被选择的概率就越大；

网络节点智能体根据逻辑回归分析确定将要优化的无线网络参数，构建一个新状态S，在构建完状态S后，计算对应S的各个Q值；

SON智能体根据Q值以概率选择优化策略；然后网络节点智能体返回回报值；

用户终端根据回报值和现有的Q值按照以下公式，更新Q值表中的状态S和所选动作对应的值：

$Q_K(x,\mathrm{\&alpha;})=R(x,\mathrm{\&alpha;})+\mathrm{\&gamma;}\underset{Y}{\mathrm{\&Sigma;}}{p}_{\mathrm{XY}}\left[\mathrm{\&pi;}\left(x\right)\right]V^{*}\left(y\right)$

$V^{*}=\underset{b\&Element;A}{\max }{Q}^{*}(y,b),V_{k-1}\left(y_k\right)=\underset{b\&Element;A}{\max }\left\{Q_{k-1}(y,b)\right\}$

其中R(x,α)＝E{r|s,a}， $V^{*}=\underset{b\&Element;A}{\max }{Q}^{*}(y,b),V_{k-1}\left(y_k\right)=\underset{b\&Element;A}{\max }\left\{Q_{k-1}(y,b)\right\},$ π为所选的策略，α是学习因子。

8.根据权利要求1所述的一种异构网络SON智能运维管理方法，其特征在于，所述不同时间尺度下的SON用例协同管理机制为：

将每个SON作为一个智能体，根据不同SON_m的运行时间，确定不同的SON时间尺度；

将每一种SON时间尺度作为网络优化的一层，根据不同的SON时间尺度，确定网络优化的层次；

最终，根据网络优化中的SON的时间尺度，把不同时间尺度的SON协同管理转化为多层次目标优化问题；然后，采用分层优化方法进行不同时间尺度下的SON网络优化。

9.根据权利要求8所述的一种异构网络SON智能运维管理方法，其特征在于，仅考虑SON长时间尺度和SON短时间尺度两种时间尺度，也即仅考虑两层网络优化；

其中，SON短时间尺度记为SON1，将SON1作为快时间尺度的马尔科夫过程MDP1；SON长时间尺度记为SON2，将SON2作为慢时间尺度的马尔科夫过程MDP2；

所述慢时间尺度SON2{状态信息S，行为集合A，转移概率P^U，回报值R₁}在离散时间n∈{0,1,2,…}，以转移概率为P^U(s_n+1|s_n,a_n)转移，其中，a_n∈A,s_n∈S；

所述快时间尺度SON1{状态信息X，行为集合B，转移概率P^L，回报值R}在离散时间t∈{t₀,t₁,t₂,…},t_nT＝n，以转移概率为P^L(y|x,b,i,a)转移，其中回报值为R^L(x,b,i,a)；

所述慢时间尺度的策略集合d^u∈D^u，所述快时间尺度的策略集合d^l∈D^l，则不同时间尺度下的多SON的最优目标值为：

$J^{*}(x,s)=\underset{d^u\&Element;D^u}{\max }\underset{d^l\&Element;D^l}{\max }\underset{H\&RightArrow;\&infin;}{\lim }\frac{1}{H}{E}^{x,i}\left\{\underset{n=0}{\overset{H-1}{\mathrm{\&Sigma;}}}{R}^u(x_{t_{n}T},s_n,d^u(x_{t_{n}T},s_n),d^l)\right\}$

其中，d^u∈D^u为慢时间尺度的策略集合，d^l∈D^l为快时间尺度的策略集合，H表示网络运维的时间周期，表示多SON的回报收益值。表示在T时刻的慢时间尺度SON2的状态，s_n表示在时刻n的快时间尺度SON1的状态，表示慢时间尺度SON2的策略，d^l表示快时间尺度SON1的策略。