CN109451523A - 基于流量识别技术和q学习的快速切换方法 - Google Patents

Abstract

本发明提出一种基于流量识别技术和Q学习的快速切换方法，主要解决在异构超密集蜂窝网络中小区分簇的快速切换问题。该方法主要分为两个部分：信息采集和动态切换决策过程。信息采集阶段主要包括收集到的网络状态信息、用户数据信息等，然后采用DFI识别技术识别业务类型，以及采用基于HYM的切换方法找到满足切换条件的基站集合，之后将这些数据作为Q学习模型的输入进行Q学习，在动态切换决策中根据指定的策略来输出训练结果，找到最优的切换策略，与传统的切换策略相比，大大减少了信令成本开销，确保了无线网络资源的合理利用。

Description

基于流量识别技术和Q学习的快速切换方法

技术领域

本发明涉及无线通讯技术领域，尤其是一种基于流量识别技术和Q学习的快速切换方法。

背景技术

由于终端用户对带宽的需求越来越大，对体验质量的期望也越来越高，所以多层传统宏小区和小区密集部署，以增加网络覆盖和容量。为了满足不断增长的移动多媒体业务数据需求，运行商不断地增加基站的覆盖密度形成了超密集网络，以此来满足用户的业务需求。异构蜂窝网络是指在传统的宏蜂窝网络中部署一些低成本、体积小并且覆盖范围小的小型蜂窝节点，比如家庭基站(femtocell)、微微蜂窝(picocell)和中继。另外，由于小型蜂窝基站的覆盖范围变小，还带来了诸如终端频繁切换等问题。

目前最为普遍的切换算法通过比较信号强度指标进行切换判决。最常用的传统切换算法-基于滞后门限的切换，以信号强度(Received Signal Strength，RSS)、滞后余量(Hysteresis Margin，HYM)(滞后余量表示服务小区与邻近小区间的RSS差值)和驻留时间(Mean Residence Time，MRT)(驻留时间即为RSS差值所必须维持的时间)。移动终端在不断检测服务基站和相邻基站的RSS，决定哪一个是最佳的目标基站以及何时进行切换。但是，现有的切换方法具有以下缺陷：现有的基于滞后余量的切换算法主要是根据用户到基站之间的RRS值大小来判断是否进行切换，如用户到基站A的RSS值大于到基站B的RSS值，即HYM值大于0，且这个HYM值大于0的持续时间要达到MRT要求，则执行切换操作。但是这种切换算法存在很大的缺陷，并没有考虑到用户使用的不同业务类型对网络的需求也是不同的。

目前3GPP定义了四类业务等级，分别是会话类业务(conversational service)、流类业务(streaming service)、交互类业务(interactive service)：和后台类业务(background service)。1)会话类业务：这是一类典型的实时业务，要求端到端的时延和抖动小，此类业务有语音会话、多媒体会议和IP电话等；2)流类业务：业务数据具有单向性，也是实时业务，对延迟要求比较宽松，此类业务有视频点播、网络视频直播等；3)交互类业务：这类业务是请求-响应模式，对延迟几乎没有要求，此类业务以Web浏览为主要代表；4)后台类业务：这类业务通常对传输延迟没有要求，典型业务如FTP下载、E-mail等。由此可见，不同业务类型对网络资源的要求也是大不相同的。因此在执行切换之前，了解用户使用的业务类型可以大大减少了信令成本开销，提高切换成功概率。

流量识别技术是提升网络管理水平、改善服务质量的基础。深度流检测技术(DeepFlow Inspection，DFI)是一种基于流量行为的应用识别技术，即不同的应用类型体现在会话连接或数据流上的状态各有不同。例如，网上IP语音流量体现在流状态上的特征为：RTP流的包长相对固定，一般在130～220byte，较低的连接速率20～84kbit/s，同时会话持续时间也相对较长；而基于P2P下载的流量特征为：平均包长为450byte以上，连接速率为110kbit/s，下载时间长。DFI技术正是基于这一系列流量的行为特征，建立流量特征模型，通过分析会话连接流的包长、连接速率、传输字节量等信息来与流量模型对比，从而实现鉴别应用类型。

Q学习技术(Q-Leaming)是一种以Q值表为核心的强化学习方法，在Q-Learning中，每一个state可以采用不同的action，不同action对应着不同的奖励值。根据这个奖励值结果，来进行不断的系统训练。具体训练公式为：

Q(s，a)＝R(s，a)+γmax Q(s′，a′) (1)

Q_new(s，a)＝(1-α)Q(s，a)+αR(s，a)+γmax_a′Q(s′，a′) (2)

π(s)＝arg max Q(s，a) (3)

上述公式中，s代表状态，a代表动作，A是动作a的集合，R(s，a)代表所采取的动作a的奖励(分数)，α代表学习率，γ代表折扣因子，max_a′Q(s′，a′)代表下一个状态中奖励最高的动作的Q值，π(s)表示选择策略，整个过程中根据Eq.(2)来不断的更新Q值表，采用Eq.(3)的策略来进行选择。

本发明中采用了DFI流量识别技术，有助于了解网络流量特性和其相应的用户行为，识别网络分组的协议，区分入侵流量，优先分配带宽的业务及其他业务，以便于更好地管理网络。基于行为模式的识别技术是通过分析应用流量的特征，从流量行为模型特征库中查找匹配相应的规则，从而识别具体应用。例如，网上IP语音流量体现在流状态上的特征为：RTP流的包长相对固定，一般在130～220byte，连接速率较低，为20～84kbit/s，同时会话持续时间也相对较长。

发明内容

发明目的：本发明的目的在于利用流量识别技术和Q-Learning相结合的切换策略，解决小区切换间的效率问题。传统网络中的切换决策并不会考虑到用户的业务类型这个因素，仅仅是利用用户的信号强度及设定的切换门限阈值来判断是否进行切换。考虑到用户使用不同的业务对网络资源的不同要求，本发明使用流量识别技术将网络流量与产生它们的应用程序相对应，从而准确掌握网络中运行的程序，分析用户行为，从而可以对网络进行更加有效的监督管理；结合了Q-Learning，将传统切换算法的输入和输出作为训练集的样本的特征和标签对模型进行训练，从而减少了网络开销，确保资源的合理利用。

技术方案：为实现上述技术效果，本发明提出的技术方案为：

基于流量识别技术和Q学习的快速切换方法，包括步骤：

(1)样本采集：获取网络中已知业务类型的用户数据信息和相应的网络状态信息作为样本数据；用户数据信息包括：用户身份信息、用户会话产生的数据流信息、用户到各个基站的信号强度、用户切换到各基站的信令开销；网络状态信息包括基站位置、基站剩余可用带宽；

(2)用采集到的样本数据训练深度流检测模型，深度流检测模型用于根据输入的用户数据流信息识别用户的业务类型；

(3)采用基于HYM的切换方法，根据样本数据得到符合切换条件的基站的集合J；

(4)构建用户状态空间S和动作集合A；记用户状态空间中的某一用户状态为s，s中包括用户的业务类型、网络中各基站的剩余可用带宽、用户到各个基站的信号强度、用户切换到各基站的信令开销；动作集合A中的某一动作a_j表示用户切换到基站j，j∈J；

(5)构建激励函数：

其中，μ₁、μ₂、μ₃为权重系数，B_avj表示基站j的剩余可用带宽，B_av为网络中剩余可用带宽总量，HOR_j为用户切换到基站j的信令开销，HOR_tar为预设的切换信令开销阈值，RSIP_j为用户到基站j的信号强度，RSIP为预设的信号强度阈值；

(6)根据用户状态空间S、动作集合A和激励函数R进行Q学习直至收敛，得到用户业务的切换策略。

进一步的，所述业务类型包括会话类业务、流类业务、交互类业务和后台类业务。

进一步的，所述Q学习的具体步骤为：

1)初始化Q矩阵中的各个Q值为随机数，从动作空间随机选取动作a；

2)获取当前用户状态s，执行动作a，得到下一状态s′；

计算Q值：

Q(s，a)＝R(s，a)+γmax Q(s′，a′)

3)更新Q矩阵为：

Q_new(s，a)＝(1-α)Q(s，a)+αR(s，a)+γmax_a′Q(s′，a′)

s＝s′

4)判断Q矩阵是否收敛至预设精度值ε，若收敛，则结束Q学习，输出动作选择策略π(s)＝arg max Q(s，a)；否则，根据动作选择策略π(s)＝arg max Q(s，a)选择新的动作；返回步骤2)。

有益效果：与现有技术相比，本发明具有以下优势：

常见的工作中大多采用滞后余量HYM、驻留时间MRT来作为切换判决的主要参考因素，本专利采用剩余基站可用带宽、业务类型、切换信令开销这三个参数来作为主要判决因素，在机器学习模型训练过程中鉴于传统切换算法策略层已经考虑到了滞后余量HYM、驻留时间MRT等参数的影响，再结合DFI流量识别技术作为动态模型的输入，这样模型可以更加快速的收敛，迅速完成预测，直接给出最优结果。达到了大大减少了传统异构蜂窝网络信令繁重的效果，节约了网络资源和更有效的利用无线电资源，并且在这个过程中显著提高了切换成功概率，同时保持了较低的掉话率。

附图说明

图1为基于流量识别技术与Q学习的路由决策模型；

图2为基于HYM的切换方法流程图；

图3为深度流检测模型构建及检测流程图；

图4为Q学习流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

图1所示为本发明整体决策模型，主要包括两个阶段：

第一阶段——信息提取阶段，首先在网络中获取已知业务类型的用户数据信息和相应的网络状态信息作为样本数据；用户数据信息包括：用户身份信息、用户会话产生的数据流信息、用户到各个基站的信号强度、用户切换到各基站的信令开销；网络状态信息包括基站位置、基站剩余可用带宽。

然后对采集到的样本数据进行处理，此处的处理分为两部分，一部分是深度流检测(DFI)技术，另一部分是基于HYM的切换算法。

DFI识别，是分析数据流的特征统计，并根据数据流的特征判断出相应的业务类型。其中行为特征或行为属性，如数据包数目、数据包大小、流的持续时间及数据包到达的平均时间间隔等。采用了流量识别技术有助于我们更加了解网络流量特性和其相应的用户行为，识别网络分组的协议，区分入侵流量，优先分配带宽的业务及其他业务，通过机器学习的方法建立起属性模型，然后该模型对未知数据流做出相应的判别，得到用户使用的业务类型信息。对于多数网络而言，IP流根据不同协议主要可分为以下三种：TCP流、UDP流和ICMP流。由于应用层协议承载TCP、UDP协议，所以在这里我们以TCP、UDP流为例，DFI识别的流程如图3所示，首先分析数据流的特征统计，通过机器学习的方法建立起属性模型，然后该模型对未知数据流做出相应的判别，整个DFI识别过程主要分为如下几步：

S1：把已识别数据流作为样本，进行样本数据收集，提取已识别数据流统计特征。

S2：对样本数据进行训练，产生分类器。

S3：根据训练产生的分类器度实际数据流进行分类，实现对数据流的模糊识别，也就是得到用户业务类型，这里的业务类型主要包括：会话类业务、流类业务、交互类业务和后台类业务。

基于HYM的切换算法流程如图2所示，首先根据采集数据计算HYM_i，j，HYM_i，j表示用户使用业务类型i连到基站j的切换余量，判断是否满足HYM_i，j＞HYM_i，B，HYM_i，B表示业务类型i下的切换余量阈值，若不满足，则不考虑基站j，若满足HYM_i，j＞HYM_i，B，则进一步判断HYM_i，j的持续时间是否满足达到预设的要求，若没达到，则不考虑基站j，否则将基站j加入可执行切换的基站列表，构成基站集合。

第二阶段——动态决策的产生。通过Q学习的方法为用户找到最优的切换策略，Q学习的流程如图4所示，具体步骤为：

1)构建用户状态空间S和动作集合A；记用户状态空间中的某一用户状态为s，s中包括用户的业务类型、网络中各基站的剩余可用带宽、用户到各个基站的信号强度、用户切换到各基站的信令开销；动作集合A中的某一动作a_j表示用户切换到基站j，j∈J。

2)构建激励函数：

其中，μ₁、μ₂、μ₃为权重系数，B_avj表示基站j的剩余可用带宽，B_av为网络中剩余可用带宽总量，HOR_j为用户切换到基站j的信令开销，HOR_tar为预设的切换信令开销阈值，RSIP_j为用户到基站j的信号强度，RSIP为预设的信号强度阈值。

3)初始化Q矩阵中的各个Q值为随机数，从动作空间随机选取动作a；

4)根据当前用户状态s，执行动作a，得到下一状态s′；

计算Q值：

Q(s，a)＝R(s，a)+γmax Q(s′，a′)

5)更新Q矩阵为：

Q_new(s，a)＝(1-α)Q(s，a)+αR(s，a)+γmax_a′Q(s′，a′)

s＝s′

6)判断Q矩阵是否收敛至预设精度值ε，ε是一个很小的正数，若收敛，则结束Q学习，输出动作选择策略π(s)＝arg max Q(s，a)；否则，根据动作选择策略π(s)＝arg max Q(s，a)选择新的动作；返回步骤4)。

由于在训练过程中，机器学习模型已经具备了传统切换算法判决的能力，且结合了DFI流量识别技术，因此该过程所需的成本比起传统切换算法来说将大大减少。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.基于流量识别技术和Q学习的快速切换方法，其特征在于，包括步骤：

(1)样本采集：获取网络中已知业务类型的用户数据信息和相应的网络状态信息作为样本数据；用户数据信息包括：用户身份信息、用户会话产生的数据流信息、用户到各个基站的信号强度、用户切换到各基站的信令开销；网络状态信息包括基站位置、基站剩余可用带宽；

(2)用采集到的样本数据训练深度流检测模型，深度流检测模型用于根据输入的用户数据流信息识别用户的业务类型；

(3)采用基于HYM的切换方法，根据样本数据得到符合切换条件的基站的集合J；

(4)构建用户状态空间S和动作集合A；记用户状态空间中的某一用户状态为s，s中包括用户的业务类型、网络中各基站的剩余可用带宽、用户到各个基站的信号强度、用户切换到各基站的信令开销；动作集合A中的某一动作a_j表示用户切换到基站j，j∈J；

(5)构建激励函数：

其中，μ₁、μ₂、μ₃为权重系数，B_avj表示基站j的剩余可用带宽，B_av为网络中剩余可用带宽总量，HOR_j为用户切换到基站j的信令开销，HOR_tar为预设的切换信令开销阈值，RSIP_j为用户到基站j的信号强度，RSIP为预设的信号强度阈值；

(6)根据用户状态空间S、动作集合A和激励函数R进行Q学习直至收敛，得到用户业务的切换策略。

2.根据权利要求1所述的基于流量识别技术和Q学习的快速切换方法，其特征在于，所述业务类型包括会话类业务、流类业务、交互类业务和后台类业务。

3.根据权利要求2所述的基于流量识别技术和Q学习的快速切换方法，其特征在于，所述Q学习的具体步骤为：

1)初始化Q矩阵中的各个Q值为随机数，从动作空间随机选取动作a；

2)获取当前用户状态s，执行动作a，得到下一状态s′；

计算Q值：

Q(s，a)＝R(s，a)+γmaxQ(s′，a′)

3)更新Q矩阵为：

Q_new(s，a)＝(1-α)Q(s，a)+αR(s，a)+γmax_a′，Q(s′，a′)

S＝S′

4)判断Q矩阵是否收敛至预设精度值ε，若收敛，则结束Q学习，输出动作选择策略π(s)＝argmaxQ(s，a)；否则，根据动作选择策略π(s)＝argmaxQ(s，a)选择新的动作；返回步骤2)。