CN110166305B - 一种基于意图的应用QoE管理方法及系统 - Google Patents

Abstract

本发明提供了一种基于意图的应用QoE管理方法及系统，针对流媒体服务中常见的应用端到服务端类型，设计意图网络框架来替代传统的网络架构，使用意图的概念来对应用的QoE进行管理，其中，包含了QoE/QoS映射的强化学习模型，在该架构中，上层应用将所需的服务和QoE信息传递给意图北向接口Intent NBI，Intent NBI对来自应用的意图进行理解，分析得出应用的所需，为应用端到服务端配置初始的网络路由，为了持续保障应用的QoE，Intent NBI将依据应用反馈的QoE信息，使用强化学习模型来计算出当前应用所需的网络QoS，并为应用寻找并配置满足QoS需求的路径。

Description

一种基于意图的应用QoE管理方法及系统

技术领域

本发明属于计算机技术领域，尤其涉及一种基于意图的应用QoE管理方法及系统。

背景技术

在现有的应用QoE管理方法中，通常所针对的是AQoS，它们首先人为的对视频QoE进行二分类评价(接受或不接受)，以此来获取原始的AQoS到QoE的映射数据，然后通过使用数学分析来分析数据，获得满足视频QoE的最低指标AQoS的映射公式，网络运营商可以应用这些信息来整服务提供的策略，来完成应用QoE的管理。

另外相关研究中提出了Pyteas框架来对应用QoE进行管理，它使用机器学习中的探索和利用过程(Exploration and Exploitation，E2)来取代预测过程，对应用程序基于IP前缀、位置等信息进行分组，对每个组分别运行E2算法来进行实时的决策来对视频服务器的发送速率进行控制，以最大化会话的总QoE作为优化目标，来对QoE进行优化。

上面所述的管理方法或系统存在下面的问题：

(1)算法的准确性依赖获取到的AQoS到QoE的映射数据，但实际中，由于环境变化造成这些映射数据本身并不完全准确，导致所学习的AQoS/QoE模型会存在偏差；

(2)由于所学习的映射是AQoS到QoE的固定映射，当环境发生变化，实际映射关系发生变化时，模型无法进行应对；

(3)无法对网络的QoS参数(NQoS)进行控制，也没有对它进行测量，当网络资源不足，例如带宽不足时，只对服务器端的发送速率的控制无法保证应用QoE；

(4)不能降低网络资源消耗。

通常情况下QoS可以分为AQoS(Application-level Quality of Service)和NQoS(Network-level Quality of Service)，AQoS包含分辨率、帧速率、编码类型等参数，NQoS包含带宽、抖动、丢包率等参数，本发明所针对是NQoS，后续描述中的QoS即指代NQoS。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于意图的应用QoE管理方法及系统以解决上述的问题

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于意图的应用QoE管理方法，包括如下步骤：

S1、由应用端向意图北向接口发送报文信息；

S2、通过报文处理单元判断所述报文信息是否为意图请求，若是，则进入步骤S4，反之，则进入步骤S3；

S3、判断所述报文信息是否为应用QoE信息，若是，则进入步骤S5，反之，则所述报文信息为意图请求结束信息，进入步骤S8；

S4、通过意图冲突检测单元判断所述意图请求是否发生冲突，若是，则拒绝该报文的意图请求，进入步骤S8，反之，则将所述意图请求报文存储至意图请求管理单元，并进入步骤S6；

S5、判断当前应用QoE的需求是否获得满足，若是，则进入步骤S7，反之，则进入步骤S6；

S6、利用QoE/QoS映射算法计算所述意图请求所需的路径QoS，并在所需的路径QoS中判断是否能找到一条满足所述意图请求所需的路径QoS，若是，则通过配置下发单元将路径下发至SDN控制器，为所述意图请求配置该路径，并进入步骤S7，反之，则拒绝意图请求，并进入步骤S8；

S7、根据SDN控制器获取底层网络设备的状态信息，判断当前网络配置是否继续满足意图请求，若是，则维持当前网络配置，从而完成对应用QoE意图的管理，反之，则重新对意图的路径进行配置，并返回步骤S6；

S8、移除所述意图请求，并通过SDN控制器收回所述意图请求使用的网络资源，从而完成对应用QoE意图的管理。

进一步地，所述步骤S1中所述报文信息包括两部分，其中，

第一部分信息为应用端本身的信息；

第二部分信息为意图请求的QoE服务的类型以及内容。

再进一步地，所述步骤S4包括如下步骤：

S401、由报文处理单元对所述意图请求进行解析，提取所述意图请求的应用ID和请求ID，并将所述应用ID和请求ID组成元组；

S402、由意图冲突检测单元判断当前意图北向接口中是否已经存在相同的元组，若不存在，则意图北向接口接收所述意图请求，并将所述意图请求报文存储至意图请求管理单元，并进入步骤S6，反之，则意图北向接口拒绝所述意图请求，并进入步骤S8，从而完成对意图请求的冲突处理。

再进一步地，所述步骤S6包括如下步骤：

S601、由意图配置单元根据所述意图请求信息或应用QoE信息，利用QoE/QoS映射算法计算所述意图请求所需的路径QoS；

S602、从SDN控制器中获取网络拓扑信息，去除网络中不满足带宽需求的链路；

S603、由设备管理单元为应用端在底层网络中随机分配一个服务端，并判断是否能在应用端与服务端之间的找到所述意图请求所需的路径QoS，若能找到，则进入步骤S604，反之，则进入步骤S606；

S604、计算所找到路径中的前K条最短路径的QoS，并根据计算结果判断是否有满足意图请求所需的路径QoS，若有，则进入步骤S605，反之，则进入步骤S606；

S605、由意图配置单元选择一条满足意图请求所需的路径QoS，并通过配置下发单元将该路径下发至SDN控制器，由SDN控制器向底层网络设备发出网络配置的指令，并进入步骤S7，从而完成对所述意图请求所需的路径的配置；

S606、通过意图北向接口向应用端发送拒绝意图请求报文的信息，并进入步骤S8。

再进一步地，所述步骤S601包括如下步骤：

S6011、判断到达的报文信息是否为意图请求，若是，则使用历史数据初始化所述意图请求所需的路径QoS，从而实现根据所述意图请求计算所述意图请求所需的路径QoS，反之，则到达的报文信息为应用QoE信息，并进入步骤S6012；

S6012、将当前应用QoE的配置路径信息以及应用QoE信息存入至QoS/QoE映射历史数据中，并利用DDPG算法计算应用QoE所需的路径QoS，从而实现根据应用QoE信息计算所述意图请求所需的路径QoS。

再进一步地，所述步骤S6011中使用历史数据初始化所述意图请求所需的路径QoS，其包括如下步骤：

S60111、根据所述意图请求判断QoS/QoE历史映射数据是否为空，若是，则进入步骤S60112，反之，则进入步骤S60113；

S60112、根据判断结果取一最小的QoS的值作为所述意图请求所需的路径QoS；

S60113、根据判断结果取QoS/QoE历史映射数据中模长最小的QoS值作为所述意图请求所需的路径QoS，从而完成使用历史数据初始化所述意图请求所需的路径QoS，其中，所述模长最小的QoS值QoS_init的表达式如下：

其中，QoS_init表示QoS的初始值，C表示在QoE满足的情况下对应的QoS组成的集合，

表示QoS组成的集合中的最小值。

再进一步地，所述步骤S7包括如下步骤：

S701、由网络信息采集单元从SDN控制器中获取底层网络设备的状态信息；

S702、根据所述状态信息判断底层网络设备中是否存在链路故障，若存在，则重新对所述意图请求的路径进行配置，并返回步骤S6，反之，则进入步骤S703；

S703、判断当前网络配置的路径QoS是否满足意图请求，若满足，则维护当前网络配置，从而完成对应用QoE意图的管理，反之，则重新对意图请求的路径进行配置，并返回步骤S6。

基于上述方法，本发明还提供一种基于意图的应用QoE管理系统，包括应用端、与所述应用端连接的意图北向接口、与所述意图北向接口连接的SDN控制器，以及与所述SDN控制器连接的底层网络设备，其中，

所述意图北向接口包括与所述应用端连接的报文处理单元、分别与所述报文处理单元连接的意图冲突检测单元以及意图配置单元、与所述意图冲突检测单元连接的意图请求管理单元以及分别与所述意图配置单元连接的设备管理单元、配置下发单元、网络信息采集单元以及QoE/QoS映射算法单元，其中，所述配置下发单元与所述SDN控制器连接。

进一步地，所述应用端与所述意图北向接口通过HTTP及JSON的通信方式连接；

所述意图北向接口与所述SDN控制器通过SDN控制器的REST API接口进行通信；

所述SDN控制器与底层网络设备通过OpenFlow协议进行通信。

再进一步地，所述应用端用于向所述意图北向接口发送报文，以及用于接收所述意图北向接口反馈的报文信息；

所述报文处理单元用于对应用端发送的报文进行解析，并将解析结果反馈至应用端或传送至意图冲突检测单元以及意图配置单元；

所述意图冲突检测单元用于判断接收的新的意图请求是否与已存在的意图请求发生冲突；

所述意图请求管理单元用于存储所述意图北向接口所接收的所有的意图请求，以及所述意图请求的配置信息；

所述设备管理单元用于存储网络中的设备信息，为意图请求提供服务路径；

所述意图配置单元用于在应用端与底层网络设备之间找到一条满足QoS的路径；

所述网络信息采集单元用于从SDN控制器中获取底层网络设备的状态信息；

所述QoE/QoS映射算法单元用于将QoE映射到QoS；

所述配置下发单元用于将意图配置单元的网络配置信息下发至SDN控制器；

所述SDN控制器用于对网络进行控制，同时采集底层网络设备的网络信息；

所述底层网络设备由交换设备组成，通过SDN控制器对所述交换设备的流表进行配置，完成指定的交换操作。

本发明的有益效果：

(1)本发明针对流媒体服务中常见的应用端到服务端类型，设计了意图网络框架来对应用程序的QoE进行管理，能在网络环境发生变化的情况下(QoS变化、链路故障等)，来对应用的QoE进行管理，保障应用QoE处于满足状态；

(2)本发明用较低的网络资源来为应用提供可接受QoE，减少了网络资源的浪费，不同于大部分现有研究，使用历史数据驱动的方式来进行QoS到QoE的映射，本发明将应用的QoE需求进行意图化，使用强化学习的方式将QoE映射到QoS，QoE/QoS映射算法不仅能学习得到满足应用QoE的较低网络资源，而且也可以依据应用的QoE反馈信息来对QoS做出调整，提高学习精准度；

(3)本发明将应用在面对网络环境变化时复杂的操作逻辑移入到了本发明的意图网络框架中，不仅降低了应用的负担，而且也为应用的QoE提供了保障。

附图说明

图1为本发明的方法流程图。

图2为本发明的系统结构示意图。

图3为本实施例中应用端与意图北向接口交互过程示意图。

图4为本实施例中历史QoS/QoE信息的存储示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例

本发明针对流媒体服务中常见的应用端到服务端类型，设计意图网络框架来替代传统的网络架构，使用意图的概念来对应用的QoE进行管理，其中，包含了QoE/QoS映射的强化学习模型，在本发明中，上层应用将所需的服务和QoE信息传递给意图北向接口(Intent-Based North Bound Interface,Intent NBI)，Intent NBI对这个来自应用的“意图”进行“理解”，分析得出应用的所需，为应用端到服务端配置初始的网络路由。另一方面，为了持续保障应用的QoE，Intent NBI将依据应用反馈的QoE信息，使用强化学习模型来计算出当前应用所需的网络QoS，并为应用寻找并配置满足QoS需求的路径。为了依据应用所反馈的QoE信息来计算出应用所需的QoS，本发明使用了已有的DDPG强化学习模型，DDPG强化学习模型不仅能够学习到在QoE不满足时如何调整QoS，也能学习到满足QoE的较低的QoS值，使得意图网络能使用较低的网络资源来为应用提供可接受QoE。

如图1所示，本发明提供了一种基于意图的应用QoE管理方法，其实现方法如下：

S1、由应用端向意图北向接口发送报文信息；

S2、通过报文处理单元判断所述报文信息是否为意图请求，若是，则进入步骤S4，反之，则进入步骤S3；

S3、判断所述报文信息是否为应用QoE信息，若是，则进入步骤S5，反之，则所述报文信息为意图请求结束信息，进入步骤S8，在具体实施例中，意图网络所面向的使用者是应用程序，相比于人类用户的意图请求，应用程序所发出的意图请求冲突类型较少，主要在于同一应用程序使用已使用的意图请求ID再次发出意图请求，如果不对此冲突进行处理，在后续Intent NBI与应用程序交互的过程中则会产生混乱，注意到在意图语言的设计中，意图请求报文中只包含了IntentID，但是没有包含应用ID信息，本实施例中应用ID不需要报文来指定，可以直接通过HTTP报文中源IP和源端口信息就可以进行确定，所以，这里使用(IP，Port)元组来确定唯一的应用ID，这也就代表着，同一个应用程序使用不同端口发出的意图请求和不同应用程序发出的意图请求，对于本发明的Intent NBI而言是一样的，其中，意图冲突的检测与处理其实现方法如下：

S401、由报文处理单元对所述意图请求进行解析，提取所述意图请求的应用ID和请求ID，并将所述应用ID和请求ID组成元组；

S402、由意图冲突检测单元判断当前意图北向接口中是否已经存在相同的元组，若不存在，则意图北向接口接收所述意图请求，并将所述意图请求报文存储至意图请求管理单元，并进入步骤S6，反之，则意图北向接口拒绝所述意图请求，并进入步骤S8，从而完成对意图请求的冲突处理；

S5、判断当前应用QoE的需求是否获得满足，若是，则进入步骤S7，反之，则进入步骤S6；

S6、利用QoE/QoS映射算法计算所述意图请求所需的路径QoS，并在所需的路径QoS中判断是否能找到一条满足所述意图请求所需的路径QoS，若是，则通过配置下发单元将路径下发至SDN控制器，为所述意图请求配置该路径，并进入步骤S7，反之，则拒绝意图请求，并进入步骤S8，在具体实施例中，意图的配置主要在于找到满足QoS的路由，但是对于通常的QoS指标带宽、时延、抖动、丢包率等来说，它们计算难度上是不一样的，对于一条路径的可用带宽来说，它的计算就相对简单一点，它由路径上最低可用带宽的链路来决定，但是对于时延、抖动、丢包率来说，它们不能通过单纯的叠加或者通过最大最小值来决定，其实现方法如下：

S601、由意图配置单元根据所述意图请求信息或应用QoE信息，利用QoE/QoS映射算法计算所述意图请求所需的路径QoS，在本实施例中，意图的配置过程就是在应用端与服务端之间找到一条满足所需QoS的路径，并将这条路径分配给应用端，其实现方法如下：

S6011、判断到达的报文信息是否为意图请求，若是，则使用历史数据初始化所述意图请求所需的路径QoS，从而实现根据所述意图请求计算所述意图请求所需的路径QoS，反之，则到达的报文信息为应用QoE信息，并进入步骤S6012，其中，使用历史数据初始化所述意图请求所需的路径QoS的值，包括如下步骤：

S60111、根据所述意图请求判断QoS/QoE历史映射数据是否为空，若是，则进入步骤S60112，反之，则进入步骤S60113；

S60112、根据判断结果取一最小的QoS的值作为所述意图请求所需的路径QoS；

S60113、根据判断结果取QoS/QoE历史映射数据中模长最小的QoS值作为所述意图请求所需的路径QoS，从而完成使用历史数据初始化所述意图请求所需的路径QoS，其中，所述模长最小的QoS值QoS_init的表达式如下：

其中，QoS_init表示QoS的初始值，C表示在QoE满足的情况下对应的QoS组成的集合，

表示QoS组成的集合中的最小值；

S6012、将当前应用QoE的配置路径信息以及应用QoE信息存入至QoS/QoE映射历史数据中，并利用DDPG算法计算应用QoE所需的路径QoS，从而实现根据应用QoE信息计算所述意图请求所需的路径QoS；

S602、从SDN控制器中获取网络拓扑信息，去除网络中不满足带宽需求的链路，在具体实施例中，由于一条路径的可用带宽由组成它的链路中可用带宽最低的那条链路来决定，那么在寻找路径之前，去除网络拓扑中可用带宽低于带宽需求的链路，所找出的路径就都能满足带宽需求；

S603、由设备管理单元为应用端在底层网络中随机分配一个服务端，并判断是否能在应用端与服务端之间的找到所述意图请求所需的路径QoS，若能找到，则进入步骤S604，反之，则进入步骤S606，在具体实施例中，通过步骤S602的处理，这里找出的路径都能保证满足带宽需求，但是对于一条路径的时延、抖动、丢包率等QoS指标来说，它们无法使用与带宽相同的方式来保证，并且测量过程较为耗费资源，只能在应用端与服务端之间的部分路径中进行筛选，所以，这里选择在前K条最短路径中进行筛选；

S604、计算所找到路径中的前K条最短路径的QoS，并根据计算结果判断是否有满足意图请求所需的路径QoS，若有，则进入步骤S605，反之，则进入步骤S606，在具体实施例中，这一步对除带宽之外的其它QoS指标进行测量，不同于带宽的测量，这些QoS指标的测量需要通过控制器在实际的底层链路进行报文发送来获得；

S605、由意图配置单元选择一条满足意图请求所需的路径QoS，并通过配置下发单元将该路径下发至SDN控制器，由SDN控制器向底层网络设备发出网络配置的指令，并进入步骤S7，从而完成对所述意图请求所需的路径的配置，在具体实施例中，如果找到了满足QoS需求的路径，这里就进入了意图维护阶段，需要通知应用意图请求被接受，此外还需要附加一些相关的服务信息，比如服务端的位置等；

S7、根据SDN控制器获取底层网络设备的状态信息，判断当前网络配置是否继续满足意图请求，若是，则维持当前网络配置，从而完成对应用QoE意图的管理，反之，则重新对意图的路径进行配置，并返回步骤S6，在具体实施例中，意图维持的过程中，主要的两个部分就在于检测底层网络状态和重新测量路径的QoS，检测底层网络状态，主要用于检测底层网络是否发生链路故障，当发生链路故障并且位于为意图配置的路径之中时，就会导致路径不可用，此时就需要Intent NBI重新进行意图的配置过程，寻找新的路径，重新测量路径的QoS，旨在应对网络负载变化，当发现路径的QoS不再满足意图请求所需的QoS时，同样的需要重新对意图进行配置，当重新配置成功时，整个过程又回到检测底层网络状态的过程中，当重新配置失败时，说明当前网络资源已无法满足应用的意图请求，此时就会由意图维护阶段进入意图结束阶段，其实现方法如下：

S701、由网络信息采集单元从SDN控制器中获取底层网络设备的状态信息；

S702、根据所述状态信息判断底层网络设备中是否存在链路故障，若存在，则重新对所述意图请求的路径进行配置，并返回步骤S6，反之，则进入步骤S703；

S703、判断当前网络配置的路径QoS是否满足意图请求，若满足，则维护当前网络配置，从而完成对应用QoE意图的管理，反之，则重新对意图请求的路径进行配置，并返回步骤S6；

S8、移除所述意图请求，并通过SDN控制器收回所述意图请求使用的网络资源，从而完成对应用QoE意图的管理。

如图2所示，基于上述方法，本发明还公开了一种基于意图的应用QoE管理系统，包括应用端、与所述应用端连接的意图北向接口、与所述意图北向接口连接的SDN控制器，以及与所述SDN控制器连接的底层网络设备，其中，

所述意图北向接口包括与所述应用端连接的报文处理单元、分别与所述报文处理单元连接的意图冲突检测单元以及意图配置单元、与所述意图冲突检测单元连接的意图请求管理单元以及分别与所述意图配置单元连接的设备管理单元、配置下发单元、网络信息采集单元以及QoE/QoS映射算法单元，其中，所述配置下发单元与所述SDN控制器连接。

所述应用端与所述意图北向接口通过HTTP及JSON的通信方式连接；

所述意图北向接口与所述SDN控制器通过SDN控制器的REST API接口进行通信；

所述SDN控制器与底层网络设备通过OpenFlow协议进行通信。

所述应用端用于向所述意图北向接口发送报文，以及用于接收所述意图北向接口反馈的报文信息；

所述报文处理单元用于对应用端发送的报文进行解析，并将解析结果反馈至应用端或传送至意图冲突检测单元以及意图配置单元；

所述意图冲突检测单元用于判断接收的新的意图请求是否与已存在的意图请求发生冲突；

所述意图请求管理单元用于存储所述意图北向接口所接收的所有的意图请求，以及所述意图请求的配置信息；

所述设备管理单元用于存储网络中的设备信息，为意图请求提供服务路径；

所述意图配置单元用于在应用端与底层网络设备之间找到一条满足QoS的路径；

所述网络信息采集单元用于从SDN控制器中获取底层网络设备的状态信息；

所述QoE/QoS映射算法单元用于将QoE映射到QoS；

所述配置下发单元用于将意图配置单元的网络配置信息下发至SDN控制器；

所述SDN控制器用于对网络进行控制，同时采集底层网络设备的网络信息；

所述底层网络设备由交换设备组成，通过SDN控制器对所述交换设备的流表进行配置，完成指定的交换操作。

在具体实施例中，如图3所示，意图交互过程存在于应用端和Intent NBI之间，主要涉及到的是QoE意图，应用端向Intent NBI发送自己的QoE意图，Intent NBI的目标则是调整网络配置去满足应用端的QoE，这个过程需要两者之间不断的进行交互，首先，应用端向Intent NBI发送意图请求；其次，IntentNBI回复应用，告知意图请求是否被接收配置；然后，应用端定期向Intent NBI发送自己当前的QoE信息，Intent NBI也不断向应用端通报意图请求状态；最后，当服务完成时，应用端告知Intent NBI服务终止，整个的交互流程大致可以分为几个阶段：

(1)意图请求阶段：在这个阶段中，应用端向Intent NBI发出意图请求，这个请求中需包含两部分信息，第一部分信息关于应用端本身，第二部分信息包含所请求的QoE服务的类型及内容，对于第一部分信息，主要包含的是应用端类型、所在IP等身份信息，使Intent NBI得以唯一确定应用，对于第二部分信息则包含与所需服务相关的信息，例如视频服务中的分辨率、编码格式等，Intent NBI依据这些信息来制定针对意图请求的解决方案；

(2)意图维护阶段：当Intent NBI接收意图请求之后，就进入了意图维护的阶段，这个阶段旨在根据网络状态变化来变化网络配置，以满足意图请求，但在这里由于面向的是QoE意图，所以不仅需要网络状态信息，还需要应用端的QoE信息，当应用QoE不被满足时，Intent NBI则需要增加所投入的网络资源，当网络状态发生变化时，Intent NBI也可能需要进行网络配置的修改(例如发生链路故障时，就需要进行路径切换)，在这个阶段中，应用端定期向IntentNBI发生QoE信息，同样的，Intent NBI也定期的向应用端发送意图请求状态信息，告知应用端意图请求是否在正常接收状态，意图请求状态信息中还需要附带一些服务配置信息；

(3)请求结束阶段：在服务完成时，应用端向Intent NBI发送意图请求结束的信息，Intent NBI收到信息后，将移除此意图请求，同时收回使用的网络资源。当网络资源不足时，这个阶段也可能由Intent NBI发起；

另外，从图3中可以发现，应用端与Intent NBI交互的整个过程中，主要包含了4种报文，分别是意图请求报文、意图请求状态报文、应用QoE信息报文、意图请求结束报文，这几种报文的作用为：

意图请求报文：由应用端发出，它作用有以下几点：1)向Intent NBI发出意图申请；2)告知Intent NBI自己的应用类型，以及位置信息等身份信息；3)所请求服务的具体内容；

意图请求状态报文：由Intent NBI发出，主要用于告知应用端其意图请求是否被接收配置，当网络资源不足时，Intent NBI可能无法满足意图请求，这时意图请求就无法被满足，此外，其中还附带了部分服务配置信息，比如意图请求是一个视频的请求，报文中就需要附带为此意图请求提供服务的视频服务器的地址信息；

应用QoE信息报文：由应用端发出，它的作用在于向Intent NBI发送QoE信息，为了方便后面算法进行使用，这里使用两类别法来描述QoE；

意图请求结束报文：由应用端发出，当应用发现服务已经完成时，就可以结束意图请求，以便Intent NBI可以回收分配给它的网络资源；

在具体实施例中，在通常情况下，按照QoS所处的网络位置的不同，可以将它分为两个部分，一部分是与应用有关的QoS，叫做AQoS(Application-level Quality ofService)，它包含的是应用程序中可以采集到的服务质量信息，例如视频应用中的分辨率、帧速率、编码等信息。另一部分是与网络有关的QoS，叫做NQoS(Network-level Quality ofService)，它包含的是在网络中采集到的服务质量信息，例如带宽、抖动、丢包率等信息。在本发明中，QoS与QoE的映射是在Intent NBI中进行的，所以QoS指代的是NQoS。

在具体实施例中，强化学习有很多算法模型，本发明选择使用深强化学习算法模型DDPG(Deep Deterministic Policy Gradient)。DDPG将DQN(Deep Q-Networks)中连续动作空间的成功与确定性行为策略DPG(Deterministic Policy Gradient)相结合，使其成为一个解决连续动作空间的问题更为强大的算法。策略梯度(Policy Gradient)方法在选择动作时，给出的是一个动作的概率分布，实际动作需要在依据这个概率分布来进行选取，而DPG则是一种确定性行为策略，直接给出所选择的动作。

在具体实施例中，为了避免随机初始化或固定值初始化所带来的问题，这里使用历史的QoS/QoE的映射信息来对QoS进行初始化，如图4所示，DDPG算法的输入输出数据，通过在算法的运行过程中，将其中的QoS以及对应的QoE信息保存下来，就可以获得历史的QoS到QoE的映射数据(QoS,I_QoE)。这里使用历史数据中能够满足相应QoE的最小QoS值来进行初始化：

C＝{QoS|(QoS,I_QoE)∈history where I_QoE＝1} (1)

式(1)中，C表示在所有映射数据(QoS,I_QoE)历史数据中，I_QoE为1(也就是QoE满足)时的QoS所组成的集合。式(2)就表示从C中选出模长最小的QoS来作为初始化的QoS值，由于QoS是一个向量，所以这里通过使用模长来对它们的大小进行比较。

在具体实施例中，对QoS值的初始化，首先需要判断历史数据是否为空，当没有历史数据时，选择使用固定初始化的方法，使用一个较小的QoS值来进行初始化，当有历史数据时，则选用模长最小的QoS值来进行初始化。

在具体实施例中的QoE/QoS映射算法针对的是将QoE映射到QoS，使用了强化学习中的DDPG来进行算法建模，将QoE是否满足作为环境的奖赏，将QoS作为环境的状态，通过DDPG来对QoS进行调整，QoS的变化反映到算法中就是环境状态的变化。同时由于DDPG并不能确定初始值，这里结合了历史QoS/QoE映射数据来得到一个较好的初始QoS值，避免了随机初始化。

Claims (6)

1.一种基于意图的应用QoE管理方法，其特征在于，包括如下步骤：

S1、由应用端向意图北向接口发送报文信息；

S2、通过报文处理单元判断所述报文信息是否为意图请求，若是，则进入步骤S4，反之，则进入步骤S3；

S3、判断所述报文信息是否为应用QoE信息，若是，则进入步骤S5，反之，则所述报文信息为意图请求结束信息，进入步骤S8；

S4、通过意图冲突检测单元判断所述意图请求是否发生冲突，若是，则拒绝该报文的意图请求，进入步骤S8，反之，则将所述意图请求报文存储至意图请求管理单元，并进入步骤S6；

S5、判断当前应用QoE的需求是否获得满足，若是，则进入步骤S7，反之，则进入步骤S6；

S6、利用QoE/QoS映射算法计算所述意图请求所需的路径QoS，并在所需的路径QoS中判断是否能找到一条满足所述意图请求所需的路径QoS，若是，则通过配置下发单元将路径下发至SDN控制器，为所述意图请求配置该路径，并进入步骤S7，反之，则拒绝意图请求，并进入步骤S8；

所述步骤S6包括如下步骤：

S601、由意图配置单元根据所述意图请求信息或应用QoE信息，利用QoE/QoS映射算法计算所述意图请求所需的路径QoS；

所述步骤S601包括如下步骤：

S6011、判断到达的报文信息是否为意图请求，若是，则使用历史数据初始化所述意图请求所需的路径QoS，从而实现根据所述意图请求计算所述意图请求所需的路径QoS，反之，则到达的报文信息为应用QoE信息，并进入步骤S6012；

所述步骤S6011中使用历史数据初始化所述意图请求所需的路径QoS，其包括如下步骤：

S60111、根据所述意图请求判断QoS/QoE历史映射数据是否为空，若是，则进入步骤S60112，反之，则进入步骤S60113；

S60112、根据判断结果取一最小的QoS的值作为所述意图请求所需的路径QoS；

S60113、根据判断结果取QoS/QoE历史映射数据中模长最小的QoS值作为所述意图请求所需的路径QoS，从而完成使用历史数据初始化所述意图请求所需的路径QoS，其中，所述模长最小的QoS值QoS_init的表达式如下：

其中，QoS_init表示QoS的初始值，C表示在QoE满足的情况下对应的QoS组成的集合，

表示QoS组成的集合中的最小值；

S6012、将当前应用QoE的配置路径信息以及应用QoE信息存入至QoS/QoE映射历史数据中，并利用DDPG算法计算应用QoE所需的路径QoS，从而实现根据应用QoE信息计算所述意图请求所需的路径QoS；

S602、从SDN控制器中获取网络拓扑信息，去除网络中不满足带宽需求的链路；

S603、由设备管理单元为应用端在底层网络中随机分配一个服务端，并判断是否能在应用端与服务端之间的找到所述意图请求所需的路径QoS，若能找到，则进入步骤S604，反之，则进入步骤S606；

S604、计算所找到路径中的前K条最短路径的QoS，并根据计算结果判断是否有满足意图请求所需的路径QoS，若有，则进入步骤S605，反之，则进入步骤S606；

S605、由意图配置单元选择一条满足意图请求所需的路径QoS，并通过配置下发单元将该路径下发至SDN控制器，由SDN控制器向底层网络设备发出网络配置的指令，并进入步骤S7，从而完成对所述意图请求所需的路径的配置；

S606、通过意图北向接口向应用端发送拒绝意图请求报文的信息，并进入步骤S8；

S7、根据SDN控制器获取底层网络设备的状态信息，判断当前网络配置是否继续满足意图请求，若是，则维持当前网络配置，从而完成对应用QoE意图的管理，反之，则重新对意图的路径进行配置，并返回步骤S6；

S8、移除所述意图请求，并通过SDN控制器收回所述意图请求使用的网络资源，从而完成对应用QoE意图的管理。

2.根据权利要求1所述的基于意图的应用QoE管理方法，其特征在于，所述步骤S1中所述报文信息包括两部分，其中，

第一部分信息为应用端本身的信息；

第二部分信息为意图请求的QoE服务的类型以及内容。

3.根据权利要求1所述的基于意图的应用QoE管理方法，其特征在于，所述步骤S4包括如下步骤：

S401、由报文处理单元对所述意图请求进行解析，提取所述意图请求的应用ID和请求ID，并将所述应用ID和请求ID组成元组；

S402、由意图冲突检测单元判断当前意图北向接口中是否已经存在相同的元组，若不存在，则意图北向接口接收所述意图请求，并将所述意图请求报文存储至意图请求管理单元，并进入步骤S6，反之，则意图北向接口拒绝所述意图请求，并进入步骤S8，从而完成对意图请求的冲突处理。

4.根据权利要求1所述的基于意图的应用QoE管理方法，其特征在于，所述步骤S7包括如下步骤：

S701、由网络信息采集单元从SDN控制器中获取底层网络设备的状态信息；

S702、根据所述状态信息判断底层网络设备中是否存在链路故障，若存在，则重新对所述意图请求的路径进行配置，并返回步骤S6，反之，则进入步骤S703；

S703、判断当前网络配置的路径QoS是否满足意图请求，若满足，则维护当前网络配置，从而完成对应用QoE意图的管理，反之，则重新对意图请求的路径进行配置，并返回步骤S6。

5.一种基于意图的应用QoE管理系统，其特征在于，包括应用端、与所述应用端连接的意图北向接口、与所述意图北向接口连接的SDN控制器，以及与所述SDN控制器连接的底层网络设备，其中，

所述意图北向接口包括与所述应用端连接的报文处理单元、分别与所述报文处理单元连接的意图冲突检测单元以及意图配置单元、与所述意图冲突检测单元连接的意图请求管理单元以及分别与所述意图配置单元连接的设备管理单元、配置下发单元、网络信息采集单元以及QoE/QoS映射算法单元，其中，所述配置下发单元与所述SDN控制器连接；

所述应用端用于向所述意图北向接口发送报文，以及用于接收所述意图北向接口反馈的报文信息；

所述报文处理单元用于对应用端发送的报文进行解析，并将解析结果反馈至应用端或传送至意图冲突检测单元以及意图配置单元；

所述意图冲突检测单元用于判断接收的新的意图请求是否与已存在的意图请求发生冲突；

所述意图请求管理单元用于存储所述意图北向接口所接收的所有的意图请求，以及所述意图请求的配置信息；

所述设备管理单元用于存储网络中的设备信息，为意图请求提供服务路径；

所述意图配置单元用于在应用端与底层网络设备之间找到一条满足QoS的路径；

所述意图配置单元的工作方式包括如下步骤：

A1、由意图配置单元根据所述意图请求信息或应用QoE信息，利用QoE/QoS映射算法计算所述意图请求所需的路径QoS，包括如下步骤：

B1、判断到达的报文信息是否为意图请求，若是，则使用历史数据初始化所述意图请求所需的路径QoS，从而实现根据所述意图请求计算所述意图请求所需的路径QoS，反之，则到达的报文信息为应用QoE信息，并进入步骤B2，所述步骤B1包括如下步骤：

C1、根据所述意图请求判断QoS/QoE历史映射数据是否为空，若是，则进入步骤C2，反之，则进入步骤C3；

C2、根据判断结果取一最小的QoS的值作为所述意图请求所需的路径QoS；

C3、根据判断结果取QoS/QoE历史映射数据中模长最小的QoS值作为所述意图请求所需的路径QoS，从而完成使用历史数据初始化所述意图请求所需的路径QoS，其中，所述模长最小的QoS值QoS_init的表达式如下：

其中，QoS_init表示QoS的初始值，C表示在QoE满足的情况下对应的QoS组成的集合，

表示QoS组成的集合中的最小值；

B2、将当前应用QoE的配置路径信息以及应用QoE信息存入至QoS/QoE映射历史数据中，并利用DDPG算法计算应用QoE所需的路径QoS，从而实现根据应用QoE信息计算所述意图请求所需的路径QoS；

A2、从SDN控制器中获取网络拓扑信息，去除网络中不满足带宽需求的链路；

A3、由设备管理单元为应用端在底层网络中随机分配一个服务端，并判断是否能在应用端与服务端之间的找到所述意图请求所需的路径QoS，若能找到，则进入步骤A4，反之，则进入步骤A6；

A4、计算所找到路径中的前K条最短路径的QoS，并根据计算结果判断是否有满足意图请求所需的路径QoS，若有，则进入步骤A5，反之，则进入步骤A6；

A5、由意图配置单元选择一条满足意图请求所需的路径QoS，并通过配置下发单元将该路径下发至SDN控制器，由SDN控制器向底层网络设备发出网络配置的指令，并进入步骤A7，从而完成对所述意图请求所需的路径的配置；

A6、通过意图北向接口向应用端发送拒绝意图请求报文的信息，并进入步骤A8；

A7、根据SDN控制器获取底层网络设备的状态信息，判断当前网络配置是否继续满足意图请求，若是，则维持当前网络配置，从而完成对应用QoE意图的管理，反之，则重新对意图的路径进行配置；

A8、移除所述意图请求，并通过SDN控制器收回所述意图请求使用的网络资源，从而完成对应用QoE意图的管理；

所述网络信息采集单元用于从SDN控制器中获取底层网络设备的状态信息；

所述QoE/QoS映射算法单元用于将QoE映射到QoS；

所述配置下发单元用于将意图配置单元的网络配置信息下发至SDN控制器；

所述SDN控制器用于对网络进行控制，同时采集底层网络设备的网络信息；

所述底层网络设备由交换设备组成，通过SDN控制器对所述交换设备的流表进行配置，完成指定的交换操作。

6.根据权利要求5所述的基于意图的应用QoE管理系统，其特征在于，所述应用端与所述意图北向接口通过HTTP及JSON的通信方式连接；

所述意图北向接口与所述SDN控制器通过SDN控制器的REST API接口进行通信；

所述SDN控制器与底层网络设备通过OpenFlow协议进行通信。

Images