CN103068058A - 一种基于双层环路模型的无线资源调度方法 - Google Patents

Abstract

本发明属于无线网络主动认知领域，具体涉及一种基于双层环路模型的无线资源调度方法。目的是通过在网络中运行双层认知环路，主动实现更为高效的无线资源配置能力，提高无线网络的智能性，不断改善网络用户的用户体验。该方法包括：建立一个上层决策环路和多个下层执行环路，并使上层决策环路指导多个下层执行环路进行工作；在上层决策环路中，进行数据收集、将收集的数据进行判断和计划并进行决策，再通过学习将挖掘到的知识存入知识库，决策后将得到的优化策略存入策略库；在下层执行环路中，收集外部网络环境的实时状态，通过判断外部网络环境的实时状态得到运行情况，并从上层决策环路得到优化策略，再将优化策略中的配置参数输出给网络实体。

Description

一种基于双层环路模型的无线资源调度方法

技术领域

本发明属于无线网络主动认知领域，具体涉及一种基于双层环路模型的无线资源调度方法。

背景技术

当前，移动互联网正以前所未有的发展速度向前演进。一方面，移动互联网的分布与结构日益广泛和复杂，另一方面，其用户在现有网络环境、无线资源的前提下，对网络服务提出了更高的要求。这些要求包括：更快的服务反馈，更智能化、独立、甚至个性化的服务内容。高要求的出现给传统的无线资源调度带来了前所未有的挑战。

传统的无线资源调度方法主要以被动和人工形式为主，主要方法是：对运营网络进行参数采集、数据分析，找出影响网络运行质量的原因并通过对参数的调整和某些技术手段的采用而使网络达到最佳的运营状态。这种调度的触发往往是在对网络性能经常性的跟踪检查时发现统计指标达不到要求、网络质量明显下降或用户的反映强烈、用户群改变或发生突发事件并对网络质量造成很大影响时，明显滞后于用户体验的改变且无法完成个性化的服务。

在这样的移动互联网的变化发展趋势和现有的网络资源调度方法难以适应这种趋势的背景下，主动认知技术逐渐被用于移动互联网领域并广为研究。主动认知技术主要强调网络的学习能力、知识共享能力、智能决策能力，旨在提前预知用户通信体验的变化并采取合理的参数调整策略及资源调度策略以保障用户体验的稳定。现有的主动认知环路模型主要有两类：一类是Boyd（博伊德）提出的经典的观察-判断-决策-行动（observe-orient-decide-act(OODA)）环路模型及其扩展模型；另一类是Mitola提出的观察-判断-计划-决策-行动-学习（observe-orient-plan-decide-act-learn(OOPDAL)）环路模型。但是以上两类环路模型都局限在单一无线电实体。实际上，核心网和接入网对于不同网络资源具有不同的调度能力，而且网络位置的差异也造成了这两个层面的网络在主动认知功能上差异，所以不能简单的将二者一概而论，必须分开设计认知环路。

发明内容

本发明的目的是提供一种基于双层环路模型的无线资源调度方法，通过在网络中运行双层认知环路，主动实现更为高效的无线资源配置能力，提高无线网络的智能性，不断改善网络用户的用户体验。

本发明是这样实现的：

一种基于双层环路模型的无线资源调度方法，包括如下步骤：

步骤1：建立一个上层决策环路和多个下层执行环路，并使上层决策环路指导多个下层执行环路进行工作；

步骤2：在上层决策环路中，进行数据收集、将收集的数据进行判断和计划，并对计划出的方案进行决策，将收集到的数据存入数据库，并通过学习将挖掘到的知识存入知识库，计划以及决策时均使用知识库中的知识，决策后将得到的优化策略存入策略库；

步骤3：在下层执行环路中，收集外部网络环境的实时状态，通过判断外部网络环境的实时状态得到运行情况，并从上层决策环路得到优化策略，再将优化策略中的配置参数输出给网络实体。

如上所述的一种基于双层环路模型的无线资源调度方法，其中：所述调度方法以提高用户体验质量为运作目标进行决策。

如上所述的一种基于双层环路模型的无线资源调度方法，其中：在上层决策环路中，所述数据收集是指观察，此步骤是开放系统的信息输入环节，观察信息包括：网络管理者的意图、全网的实时资源状态、用户侧的信息反馈、执行环路上报的状态；

判断指对观察步骤接收到的信息作预处理，并基于预处理后的信息及数据库的支撑形成当前场景下的全局态势；

计划指以输入为指导，根据判断步骤的输出，在知识库的支持下，做出所有备选计划方案；

决策指在知识库的支持下，对所有备选计划方案进行优先级排序或选取其一，选择的计划方案就是优化策略。

如上所述的一种基于双层环路模型的无线资源调度方法，其中：所述上层决策环路进行如下步骤：

步骤（2.1）：观察步骤为观测到有用户请求视频点播服务时，记录视频类型、用户类型、背景流量，收集各个用户的用户体验质量值，并存储到数据库中；

步骤（2.2）：判断步骤为在数据库的帮助下，将收集到的参数进行转化形成网络态势：基站用户个数、用户类型、点播的视频内容、分配的视频速率，用户体验质量值；

步骤（2.3）：计划步骤将观察的信息与知识库中的知识进行匹配，得到备选的资源调度方案；

步骤（2.4）：决策步骤根据网络资源调度的优化目标，从备选策略中选择最优策略，并输出到策略库中。

步骤（2.5）：行动步骤将最优策略下发到基站侧执行。

如上所述的一种基于双层环路模型的无线资源调度方法，其中：所述下层执行环路进行如下步骤：

步骤（3.1）：收集外部网络环境的实时状态，包括频谱环境；

步骤（3.2）：根据当前的频谱环境，结合用户的应用请求，判断得出各用户资源运行情况；

步骤（3.3）：接收上层决策环路下发的策略，结合当前的频谱环境得出所有的备选波形方案，按照优化目标，确定最优的波形方案；

步骤（3.4）：按照所选择的波形方案进行通信，在通信过程中实时评估接收质量，若接收质量恶化，则选择优先级更低的波形方案，并实时向决策环上报用户体验质量值。

如上所述的一种基于双层环路模型的无线资源调度方法，其中：所述知识库中包括如下知识：

用户等级、背景流量、用户体验和视频速率的关联知识。

如上所述的一种基于双层环路模型的无线资源调度方法，其中：所述知识库中包括如下知识：

用户等级、背景流量、用户体验、视频内容和视频速率的关联知识。

本发明的有益效果是：

本发明提供的方法通过在网络中运行双层认知环路，主动实现更为高效的网络资源配置能力，提高无线网络的智能性，保障网络用户的用户体验。

本发明在移动互联网中，将控制与管理层面的传输控制、业务控制、网络管理等实体作为决策环路的承担者，将网络中的为用户提供服务的设备，包括路由器、基站、终端等，作为执行环路的承担者。其中决策环路是以用户体验为导向，综合全网态势信息，根据网络内部状态和外部环境制定符合网络全局利益的策略，执行环路根据决策环下发的策略执行优化控制，使内部状态或外部环境发生变化；优点是提出能够指导网络资源调度的架构，从网络认知行为出发，以全局优化的角度配置无线资源。

附图说明

图1是移动互联网场景下的双层认知环路部署图；

图2是双层认知环路的层次架构和关联结构图；

图3是双层认知环路主动认知方框图；

图4是本发明所述的资源调度系统实例场景示意图；

图5是本发明所述的资源调度系统中知识对调度效果影响的仿真图。

具体实施方式

下面结合附图和具体实施例对本发明提供的一种基于双层环路模型的无线资源调度方法做进一步的说明：

考虑到网络中往往具有不同地位和不同功能的网络实体，单环的认知方法不能准确地完成无线网络的认知功能，本发明提供的方法用以实现智能的管理以及网络主动认知。具体的是：将网络的认知过程划分为决策与执行两个层次，并以相应的决策环、执行环及两者之间的信息交互来完成认知行为过程；并将学习提取为一个相对独立的过程，使“智能”集中于网络中，而非一个无线电实体中。

该发明具有网络的普适性，为便于阐述，这里以典型的移动互联网为背景。在移动互联网中将控制与管理面的传输控制、业务控制、网络管理等实体作为决策环路的承担者，将网络中的为用户提供服务的设备，如路由器、基站、终端等，作为执行环路的承担者。这样以双层认知环路的形式完成移动互联网中的主动认知功能，并提供智能化的网络服务。具体而言，可以分为以下两层认知环路实现：

第一层：决策环路。传输控制、业务控制、网络管理的实体获取全网的信息，如用户偏好信息、全网状态等。以用户体验为导向，依据需求，综合获取的全网态势信息，根据网络内部状态和外部环境制定符合网络全局利益的策略。另外，通过对历史数据的积累和学习（learn），从数据中挖掘更为丰富的知识，不断提高决策的合理性，实现主动认知功能。

第二层：执行环路。根据决策环下发的策略，结合该环路中实体的外部环境信息，决策本实体的动作和参数，执行优化控制，使内部状态或外部环境发生变化，是一种反应式的自适应过程。

对比两层环路，可以发现决策环路旨在制定资源调度策略，不能具体到实现层面的所有参数的设计，而执行环路却可以结合环境态势定量调整通信参数，实现决策环路的资源调度策略。决策环路结合了人的思维，具有主动性，而执行环路更偏重于机器操作，被动完成。下面将决策环路与执行环路的特征比较列于表1：

表1：决策环路和执行环路特征对比表

表注：双层环路在功能和运行特点上具有明显的差别，这恰好也是两者能够分开工作、协作工作的基础和前提。

如图1中移动互联网所示，负责传输控制、业务控制、网络管理的实体完成决策环路工作，路由器、基站、终端完成执行环路工作，决策环路又指导多个执行环路的运行，两种认知环路协同工作。该双层认知环路依据上层应用需求构建决策层环路模型，制定的策略直接指导执行层环路的认知过程，整个环路通过学习功能实现对外部环境的主动认知。此管理控制架构为开放的系统（与外界有信息交换），输入为网管员的意图、网络状态；输出为对网络实体的操作命令。

如图2、3所示，一种基于双层环路模型的无线资源调度方法，具体包括如下步骤：

步骤1：建立一个上层决策环路和多个下层执行环路，并使上层决策环路指导多个下层执行环路进行工作。

步骤2：在上层决策环路中，进行数据收集、将收集的数据进行判断和计划，并对计划出的方案进行决策，将收集到的数据存入数据库，并通过学习将挖掘到的知识存入知识库，计划以及决策时均使用知识库中的知识，决策后将得到的优化策略存入策略库；

步骤3：在下层执行环路中，收集外部网络环境的实时状态，通过判断外部网络环境的实时状态得到运行情况，并从上层决策环路得到优化策略，再将优化策略中的配置参数输出给网络实体。

更进一步的，如图3所示，在上层决策环路中，数据收集是指观察（Observe）步骤。此步骤是开放系统的信息输入环节，观察信息包括：网络管理者的意图、全网的实时资源状态、用户侧的信息反馈等，收集执行环路（Execution Loop）上报的状态，主动收集所需信息存储到数据库中。

其中，判断（Orient）指对观察步骤接收到的信息作预处理，并基于预处理后的信息及数据库的支撑形成当前场景下的全局态势。

计划（Plan）指以输入（比如用户体验值需要高于额定值）为指导，根据综合态势利用判断步骤的输出，在知识库的支持下，做出所有备选计划方案。

决策（Decide）指在知识库的支持下，根据既定原则（比如优选延时最小的方案），对所有备选计划方案进行优先级排序或选取其一，选择的计划方案就是策略（Policy）。

学习（Learn）步骤是指贯穿整个决策环路过程的在线学习、离线自省，以离线方式从数据库中的大量历史数据中挖掘知识，存储到知识库。使用的方法包括数据挖掘、机器学习以及推理技术等人工智能方法。通过学习，一方面减少海量数据的维度；另一方面有助于提炼知识和理解数据。

此外，还包括行动（Act）步骤，即下发最终的策略集到策略库，进而传递给执行环路（Execution Loop）。

在下层执行环路中，包括观察、判断、决策和行动步骤，其中，

通过观察（Observe）步骤收集外部网络环境的实时状态；通过通过判断（Orient）步骤对外部环境状态分析推理，得出比较客观的运行情况；通过决策（Decide）步骤从策略库中取出上层决策环路下发的策略（Policy），结合优化目标，执行优化，确定本实体的动作和参数；

最后，通过行动（Act）步骤将优化的配置参数输出给网络实体，并向决策环上报状态（State）。

该调度方法以提高用户体验质量为方向进行决策，以移动互联网中的视频点播业务为例，具体说明该发明提供的一种基于双层环路模型的无线资源调度方法

如图4中，视频服务器位于网络远端，本地基站下有三个用户同时进行视频点播，该视频服务器中的视频内容有球赛，电视剧和综艺节目。用户等级分普通用户和VIP用户，基站和用户之间的波形可以通过改变帧长、带宽实现自适应调整。核心网的性能参数包括背景流量和数据速率。所有考虑到的参数列于表2。影响用户体验QoE的因素除了核心网和基站侧的参数外，还和视频内容密切相关（不同的视频内容要求的最低速率有所不同）。即使在相同速率下，不同视频所获取的用户体验是不同的。另外，在核心网中，EPC还可以额外为应用提供的两项功能：QoS调节和接入网信息；应用EPC enabler可以获得用户信息、位置信息、周围的环境信息等。系统整体的目的在于保障用户体验，提高网络资源（速率、带宽）的使用效率。

表2：示例中考虑到的信息（参数）

序号	类别	项目	Type	Unite	Value
						1	QoE	grade	int	none	1,2,3,4,5
2	视频	content	string	none	game,news
						3	核心网参数	backgroundFlow	float	%	min=0,max=100,step=5
4		dataRate	int	Kb/s	min=100,max=1000,step=20

5	基站侧参数	frameLength	int	byte	min=267,max=5340,step=267
						6		bandwidth	float	mhz	min=0.1,max=1,step=0.1
7	用户信息	priority	string	none	VIP，common

表注：除第5、6项储存在基站侧，其余信息都在核心网的数据库中储存。

然后介绍一下数据库的构建：在整个环路运行之前，需要建立数据库，同时，在运行之中需要不断的对数据库进行更新，并离线式进行数据挖掘。本例中，数据库需要记录的信息包括用户终端类型、用户等级、所点播视频的速率、视频内容、用户体验等。由于下层执行环路无需进行数据挖掘，所以这里详细介绍上层决策环路的数据库，举例如下表3。通过之前时间的离线数据挖掘得到这些用户体验与其他参数的关联知识，以如下形式表述为：“对于VIP用户（用户体验需要保证在4分以上），若点播球赛视频，此时背景流量在40%，那么视频速率应该不低于90kbps”，并存放到知识库中。

表3：数据库存储信息示例

用户等级	视频速率	背景流量	视频内容	用户体验
					普通	100kbps	50	球赛	3
VIP	100kbps	40	电视剧	5
					VIP	100kbps	40	球赛	4
普通	50kbps	30	球赛	3
					VIP	50kbps	40	球赛	3
VIP	50kbps	40	综艺节目	5

所述的决策环路（Decision Loop）运行在核心网，作用在于：1、为保障用户体验、提高网络资源使用效率，向接入网提供指导性策略；2、积累历史数据，挖掘经验知识。所述的执行环路（Execution Loop）运行在基站侧，作用在于：以决策环下达的策略为指导，根据当前状态，自适应地选择波形与参数。假设系统需要保证普通用户的用户体验不小于3，VIP用户的用户体验不小于4。整个环路运行过程如下：

第一层：决策环路（Decision Loop）。

第一步：观察（Observe）。观测到有用户请求视频点播服务时，记录视频类型（例如为球赛），用户类型（例如为VIP用户），背景流量（例如为30%），收集到执行环路上报的状态（各个用户的QoE值），并存储到数据库中。

第二步：判断（Orient）。在数据库的帮助下，将收集到的参数转化为信息，形成网络态势：基站用户个数、用户类型、点播的视频内容、分配的视频速率，用户体验质量值。例如：加上刚入网的用户3，该基站上共有用户3个，其中用户1、2分别为VIP用户和普通用户，点播的视频内容都是电视剧，分配的视频速率分别为100kbps和80kbps，用户体验分别为5分和4分。该基站总共270kbps的数据速率。

第三步：计划（Plan）。将获得的信息与知识库中的知识（在该背景流量下，用户1所需最低视频速率为90kbps，用户2所需最低视频速率为65kbps，用户3所需最低视频速率为100kbps）进行匹配，得到备选的资源调度方案：可以将三个用户的速率调整为（rate1，rate2，rate3），只需满足：rate1>=90kbps,rate2>=65kbps,rate3>=100kbps，如果以最小速率为5kbps,那么共有27种备选方案。

第四步：决策（Decide）。根据网络资源调度的优化目标（不在本专利范畴），从备选策略中选择最优策略：rate1=95kbps,rate2=70kbps,rate3=105kbps，并输出到策略库中。

第五步：行动（Act）。将上述策略下发到基站侧执行。

第二层：执行环路（Execution loop）。

第一步：观察（Observe）。探测当前的频谱环境：信道的信噪比、干扰模式等等；

第二步：判断（Orient）。根据当前的频谱环境，结合该局部网中的三个用户的应用请求，得出用户1和2有富余资源，而用户3现在无法得到服务保障。

第三步：决策（Decide）。接收下发的策略，结合当前的频谱环境得出所有的备选波形方案：为保证用户1的数据速率为95kbps，信号帧长可以为2000bit，带宽为0.4MHz；或者帧长为4000bit，带宽为0.5MHz等等共10种备选方案。同样，用户2、3的待选方案共15种和12种。按照优化目标，确定最优的波形方案：三个用户的帧长分别为2500bit、3500bit和1500bit；带宽分别为0.41MHz、0.3MHz和0.49MHz。

第四步：行动（Act）。按照所选择的波形及其参数进行通信，在通信过程中实时评估接收质量，若接收质量恶化，则选择优先级更低的波形方案，并实时向决策环上报QoE。

在上述过程中，持续进行学习过程（Learn），记录用户反馈的用户体验，并从中挖掘知识：为提高网络资源的使用效率，应如何在保障用户体验的前提下更好的调度网络资源。需要强调的是，知识库越完备、知识越精细，带来的资源调度越合理优化，这恰好也是本发明的优越之处。下面仿真验证知识对资源调度的有效性：以网络可容纳用户数为指标，分别使用三种不同的知识库指导资源调度。三种不同的知识样式（以产生式规则if…then的形式表征）如下：

A、知识库中仅有用户等级、背景流量、用户体验和视频速率的关联知识，例如if(user=VIP，QoE>=4,backgroundFlow=40)，then(dataRate=100kbps)。

B、知识库中有用户等级、背景流量、用户体验、视频内容和视频速率的关联知识，例如if(user=VIP，QoE>=4,backgroundFlow=40,content=game)，then(dataRate=100kbps)。

C、知识库中同样有用户等级、背景流量、用户体验、视频内容和视频速率的关联知识，但是这种知识是经过长期运行和更新之后获取的，具有更高的精准性，例如if(user=VIP，QoE>=4,backgroundFlow=40,content=game)，then(dataRate=90kbps)。

最终以网络容纳的用户数为考察指标，在保证用户的QoE基础上，500次仿真实验得到的结果如图5所示，可以看出不同的知识有不同的指导效果，第二种知识比第一种知识完备，第三种知识比第二种知识精准，得到的效果也是显而易见的，从而验证了知识对于资源调度的重要性。

Claims (7)

1.一种基于双层环路模型的无线资源调度方法，其特征在于：包括如下步骤：

步骤1：建立一个上层决策环路和多个下层执行环路，并使上层决策环路指导多个下层执行环路进行工作；

步骤2：在上层决策环路中，进行数据收集、将收集的数据进行判断和计划，并对计划出的方案进行决策，将收集到的数据存入数据库，并通过学习将挖掘到的知识存入知识库，计划以及决策时均使用知识库中的知识，决策后将得到的优化策略存入策略库；

步骤3：在下层执行环路中，收集外部网络环境的实时状态，通过判断外部网络环境的实时状态得到运行情况，并从上层决策环路得到优化策略，再将优化策略中的配置参数输出给网络实体。

2.如权利要求1所述的一种基于双层环路模型的无线资源调度方法，其特征在于：所述调度方法以提高用户体验质量为运作目标进行决策。

3.如权利要求1或2所述的一种基于双层环路模型的无线资源调度方法，其特征在于：在上层决策环路中，所述数据收集是指观察，此步骤是开放系统的信息输入环节，观察信息包括：网络管理者的意图、全网的实时资源状态、用户侧的信息反馈、执行环路上报的状态；

判断指对观察步骤接收到的信息作预处理，并基于预处理后的信息及数据库的支撑形成当前场景下的全局态势；

计划指以输入为指导，根据判断步骤的输出，在知识库的支持下，做出所有备选计划方案；

决策指在知识库的支持下，对所有备选计划方案进行优先级排序或选取其一，选择的计划方案就是优化策略。

4.如权利要求3所述的一种基于双层环路模型的无线资源调度方法，其特征在于：所述上层决策环路进行如下步骤：

步骤（2.1）：观察步骤为观测到有用户请求视频点播服务时，记录视频类型、用户类型、背景流量，收集各个用户的用户体验质量值，并存储到数据库中；

步骤（2.2）：判断步骤为在数据库的帮助下，将收集到的参数进行转化形成网络态势：基站用户个数、用户类型、点播的视频内容、分配的视频速率，用户体验质量值；

步骤（2.3）：计划步骤将观察的信息与知识库中的知识进行匹配，得到备选的资源调度方案；

步骤（2.4）：决策步骤根据网络资源调度的优化目标，从备选策略中选择最优策略，并输出到策略库中。

步骤（2.5）：行动步骤将最优策略下发到基站侧执行。

5.如权利要求4所述的一种基于双层环路模型的无线资源调度方法，其特征在于：所述下层执行环路进行如下步骤：

步骤（3.1）：收集外部网络环境的实时状态，包括频谱环境；

步骤（3.2）：根据当前的频谱环境，结合用户的应用请求，判断得出各用户资源运行情况；

步骤（3.3）：接收上层决策环路下发的策略，结合当前的频谱环境得出所有的备选波形方案，按照优化目标，确定最优的波形方案；

步骤（3.4）：按照所选择的波形方案进行通信，在通信过程中实时评估接收质量，若接收质量恶化，则选择优先级更低的波形方案，并实时向决策环上报用户体验质量值。

6.如权利要求5所述的一种基于双层环路模型的无线资源调度方法，其特征在于：所述知识库中包括如下知识：

用户等级、背景流量、用户体验和视频速率的关联知识。

7.如权利要求5所述的一种基于双层环路模型的无线资源调度方法，其特征在于：所述知识库中包括如下知识：

用户等级、背景流量、用户体验、视频内容和视频速率的关联知识。

Images