CN107508698A

CN107508698A - 雾计算中基于内容感知和带权图的软件定义服务重组方法

Info

Publication number: CN107508698A
Application number: CN201710597297.8A
Authority: CN
Inventors: 伍军; 何珊; 李高磊; 李建华; 郭龙华; 陈璐艺; 李高勇
Original assignee: Shanghai Crane Mdt Infotech Ltd; SHANGHAI PENGYUE JINGHONG INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd; Shanghai Jiaotong University
Current assignee: Shanghai Crane Mdt Infotech Ltd; SHANGHAI PENGYUE JINGHONG INFORMATION TECHNOLOGY DEVELOPMENT Co Ltd; Shanghai Jiaotong University
Priority date: 2017-07-20
Filing date: 2017-07-20
Publication date: 2017-12-22
Anticipated expiration: 2037-07-20
Also published as: CN107508698B

Abstract

本发明提供了一种雾计算中基于内容感知和带权图的软件定义服务重组方法，运行在一个层次化的雾节点架构中，雾节点由三个层次组成，分别为服务重构层、内容驱动的控制层、用户定义的重配置层，同时，雾节点中划分出三种对应存储空间，即服务资源库、基于内容的策略库、需求库，分别用以储存服务模块、内容‑操作映射表、雾用户的预处理需求。本发明提出的雾节点中的新型软件定义服务重组机制与传统雾节点中的服务提供机制相比，可很大程度上降低时间代价和计算代价，从而降低雾系统整体能耗。

Description

雾计算中基于内容感知和带权图的软件定义服务重组方法

技术领域

本发明涉及一种雾计算中基于内容感知和带权图的软件定义服务重组机制。

背景技术

作为远端云平台与大量底层设备的中间层，雾计算将内容处理、计算、存储等能力集中在了网络边缘具有一定智能的节点中。在该模式下，从底层大规模传感器网络中采集到的原始数据将不会直接上传至云端，而是先由本地雾节点根据用户需求执行相关预处理后，再交付给云及上层用户做进一步存储及处理。目前，雾计算已因其在低延时和可减轻云计算负担等方面的优势被认为是下一代无线传感网络(WSNs)的趋势。

随着雾计算的逐步应用和规模化部署，如何在每个雾节点中高效利用其有限的计算能力及相关资源，从而实现雾计算层面上的节能显得十分必要。在雾计算的应用及部署场景下，一方面，不同雾计算用户对雾节点中的数据预处理策略有着不同的需求，且每个用户的需求呈现出随时间变化的特性；另一方面，不同内容类型(如视频、音频等)数据的预处理需求也有较大区别。用户及数据内容这两个层面上存在的预处理需求的动态性及差异性，使得用户自定义策略及基于内容的预处理服务重组成为了雾节点资源高效利用的关键。然而，目前提出的雾节点架构具有相对固化及静态性的特点，并不能满足此需求。

在以往针对WSNs节能问题的研究中，大多数解决方案围绕云中资源调度机制，以实现该场景下的能量感知。对于优化的雾节点架构的研究也仅关注了雾节点网络中各个节点在网络层面的交互，并未涉及到单一雾节点中资源的高效重用及重组优化，无法降低整体雾计算系统的能耗。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种雾计算中基于内容感知和带权图的软件定义服务重组方法，通过将雾节点计算资源进行抽象、封装及模块化实现资源的循环利用及可重组，根据所感知的内容类型的不同运用不同的数据预处理策略，同时，为上层雾用户提供可编程接口以允许用户对雾节点中的底层数据预处理进行自定义控制。一方面，该机制在满足不同需求的同时，实现了雾节点资源的高效编排与使用；另一方面，处理策略的灵活性与动态性也得到了较大的提高。

本发明所采用的技术方案如下：

一种雾计算中基于内容感知和带权图的软件定义服务重组方法，运行在一个层次化的雾节点架构中，雾节点由三个层次组成，分别为服务重构层、内容驱动的控制层、用户定义的重配置层，同时，划分出三种对应存储空间，即服务资源库、基于内容的策略库、需求库，分别用以储存服务模块、内容-操作映射表、雾用户的预处理需求。

所述雾节点从数据包头中及载荷中收集并提取重要的数据属性，从而完成对内容的分类，并基于内容类型的不同继而利用内容标签技术对无线传感网络产生的大量原始数据进行标识，以便后续对不同标签的内容数据执行不同的预处理策略。

雾用户利用用户定义的重配置层向上提供的接口对具体的底层预处理策略进行控制，使服务编排过程中的服务模块调用与自身实际需求相符，同时，雾用户通过编程接口完成对服务模块的灵活管理，包括对服务模块的重写、更改、删除、增加，以提高服务动态重组的灵活性，保证通过模块化资源的编排即可满足多样的预处理需求，进而降低重新部署雾节点所产生的能耗。

选取模块进行实例化时，一个预处理策略由一个或多个操作按照一定的逻辑顺序组成，同一个操作又对应着一个或多个以不同计算代价及算法实现该操作的服务模块，每种内容类型的数据对应着不同的预处理策略，即对应着不同服务模块的组合，经过CBL技术标签化后的原始数据将在内容驱动的控制层中存储的策略库中查找与其对应的处理策略及完成该策略需调取的服务模块，然后按照策略库中预先定义好的预处理流程对所需服务模块以一定的逻辑顺序进行编排，并交由雾节点的服务重构层执行模块实例化、参数传递，最终获得输出，将处理后的数据或有价值的结果交付给上层雾用户。

对于不同内容类型的数据、不同上层雾用户及其时变的预处理需求，不需要为每个策略都部署配置一套单独的预处理程序，只需要基于内容感知的输出及用户实际业务需要，调用一个或多个服务模块，当需求变化时，对服务模块进行循环利用及动态重组，即可在灵活应对差异化的需求的同时，提高服务资源的利用效率，降低雾节点能耗。

服务重构层包括用于调用、实例化所需服务模块并控制其执行的服务重组单元、用于对从无线传感网络中采集到的原始数据进行特征提取和分类的内容感知单元、用于对各个服务模块进行登记、增删、更新的模块管理单元，同时，服务重构层中设置的服务资源库，包括用于进行原始数据暂时存储的数据缓存区，以及用于存放抽象化封装资源的服务模块池，从底层无线传感网络中收集到的大量原始数据在上传至雾节点后将被暂时放置在数据缓存区等待处理，进入预处理流程的数据包首先将被传送给内容感知单元，该单元从数据包头中及载荷中提取并分析关键属性，输出对内容的分类结果，然后基于不同的内容类型，利用内容标签技术对无线传感网络产生的原始数据予以标识，以便后续根据内容完成合理的服务重构。

当收到内容驱动的控制层下发的具体预处理策略及所需服务模块后，服务重构层将从服务模块池中选取相应模块，用预设或策略中指定的参数对其进行实例化，并按照给定的逻辑顺序对模块进行编排及重组，以使其完成特定的数据处理需求，当从底层网络收集到不同类型的数据包或上层雾用户对数据处理策略进行更新时，服务重构层可在现有服务模块及编排的基础上，对其进行替换或重组便可满足新的预处理需求。

内容驱动的控制层包括用于对用户需求进行分析的需求解析单元、以及用于进行数据预处理策略生成和优化的策略制定单元，同时，内容驱动的控制层中设置的基于内容的策略库，包括用于存储预设数据处理流程的服务逻辑顺序表，以及用于定义不同内容类型数据及其所需对应操作的内容-操作映射表。

用内容标签技术标识的数据包将被上传给策略制定单元，由该单元在内容-操作映射表中查找其所需的处理操作，同时，若上层雾用户有特殊的需求，这些需求也将下发至需求解析单元，用于控制特定操作的执行或模块的选取。

在策略生成的过程中，包括两个子步骤，分别是基于带权图的策略制定以及策略优化，其中：策略制定指服务重构层根据内容驱动的控制层下发的服务策略选取所需模块进行初始化和重新组合，以使其满足不同雾用户和内容处理的需求，得到所有可能在某类内容上执行的数据预处理策略；策略优化指根据能耗及用户下发的特定需求对数据预处理策略进行优化，选取相对合理的策略指导服务重构层的模块重组。

与现有技术相比，本发明具有如下的有益效果：

本发明解决雾计算场景下，在满足雾用户及不同数据内容的差异化处理需求的同时，实现单个雾节点中资源的高效利用。本发明通过将雾节点计算资源进行抽象与封装以允许服务重组，即当处理需求发生变化时，无需重新配置及部署全部数据处理流程，而只需对模块化的处理操作进行重新编排便可实现资源重用及策略更新。通过该软件定义的服务重组机制促进单个雾节点的节能优化，进一步的，降低整个雾系统的能耗。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明基础架构；

图2为本发明服务重构示意图；

图3为本发明服务策略制定及需求解析交互模型；

图4为不同服务提供机制下时延对比图；

图5为本发明机制下对不同设备服务提供的复杂性对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明所提供的雾计算中基于内容感知和带权图的软件定义服务重组机制，其基础架构如图1所示。

雾计算下软件定义的服务重组机制运行在一个层次化的雾节点架构中。雾节点通过将云节点边缘化在本地为上层雾用户提供对不同内容类型数据的计算、存储、预处理等服务功能。我们所提出的这一雾节点的服务编排机制与传统意义上的雾节点预处理服务的最大不同就在于将雾节点的计算服务资源进行模块化封装，从而实现了软件定义的服务重组及资源重用，进而提高资源利用率，达到降低雾系统的整体能耗的目的。

如图1所示，对应于这一服务重组机制雾节点由三个层次组成，分别为服务重构层、内容驱动的控制层、用户定义的重配置层。同时，雾节点中还需要划分出三种对应的存储空间，即服务资源库、基于内容的策略库和需求库，分别用以储存服务模块、内容-操作映射表及雾用户的预处理需求。

由于雾节点具有内容感知的特性，它可以从数据包头中及载荷中收集并提取重要的数据属性，从而完成对内容的分类，并基于内容类型的不同继而利用CBL(内容标签)技术对WSNs(无线传感网络)网络产生的大量原始数据进行标识，以便后续对不同标签的内容数据执行不同的预处理策略。雾用户利用用户定义的重配置层向上提供的接口对具体的底层预处理策略进行控制，使服务编排过程中的模块调用与自身实际需求相符，同时，雾用户通过编程接口完成对服务模块的灵活管理，包括对模块的重写、更改、删除、增加，以提高服务动态重组的灵活性，保证通过模块化资源的编排即可满足多样的预处理需求，进而降低重新部署雾节点所产生的能耗。

选取模块进行实例化时，一个预处理策略由一个或多个操作按照一定的逻辑顺序组成，同一个操作又对应着一个或多个以不同计算代价及算法实现该操作的服务模块。每种内容类型的数据对应着不同的预处理策略，即对应着不同服务模块的组合。经过CBL技术标签化后的原始数据将在内容驱动的控制层中存储的策略库中查找与其对应的处理策略及完成该策略需调取的模块，然后按照策略库中预先定义好的预处理流程对所需服务模块以一定的逻辑顺序进行编排，并交由雾节点的服务重构层执行模块实例化、参数传递，最终获得输出，将处理后的数据或有价值的结果交付给上层雾用户。

在本机制中，对于不同内容类型的数据、不同上层雾用户及其时变的预处理需求，不需要为每个策略都部署配置一套单独的预处理程序，只需要基于内容感知的输出及用户实际业务需要，调用一个或多个服务模块，当需求变化时，对它们进行循环利用及动态重组，即可在灵活应对差异化的需求的同时，提高服务资源的利用效率，降低雾节点能耗。

图2所示是本发明所提出的雾节点架构中服务重构机制的具体设计。该机制中的关键组件包括用于调用、实例化所需服务模块并控制其执行的服务重组单元，用于对从WSNs网络中采集到的原始数据进行特征提取和分类的内容感知单元，以及用于对各个服务模块进行登记、增删、更新的模块管理单元。同时，设置服务资源库，该资源库中包括用于进行原始数据暂时存储的数据缓存区，以及用于存放抽象化封装资源的服务模块池。

从底层WSNs网络中收集到的大量原始数据在上传至雾节点后将被暂时放置在数据缓存区等待处理。进入预处理流程的数据包首先将被传送给内容感知单元，该单元从数据包头中及载荷中提取并分析关键属性，输出对内容的分类结果，然后基于不同的内容类型，利用CBL技术对WSNs网络产生的原始数据予以标识，以便后续根据内容完成合理的服务重构。

另一方面，当收到内容驱动的控制层下发的具体预处理策略及所需服务模块后，服务重构单元将从服务模块池中选取相应模块，用预设或策略中指定的参数对其进行实例化，并按照给定的逻辑顺序对模块进行编排及重组，以使其完成特定的数据处理需求。

这里，组成某个处理策略的操作对应着一个或多个由不同算法实现的服务模块，从而选取不同的模块进行数据预处理会有不同的计算代价和能耗。服务模块及其对应的操作之间的关系定义为：

其中，DPOi表示第i种数据处理操作所包含的in种不同服务模块的集合。

每个服务模块及它们之间的交互关系可表示为：

其中，o表示该模块中封装的算法对数据包执行的具体操作；in表示该服务模块的一系列输入；out表示该服务模块的一系列输出；表示用以对该模块进行初始化的相关参数，这些参数由服务重构单元以数字或字符串格式指定，参数所涉及的意义包括但不限于数据压缩率、过滤条件、数据包大小阈值等，这些参数将随着网络当前状态及雾用户需求的变化动态调整。

当从底层网络收集到不同类型的数据包或上层雾用户对数据处理策略进行更新时，服务重构机制可在现有服务模块及编排的基础上，对其进行替换或重组便可满足新的预处理需求。

本发明的内容驱动的控制机制是实现雾节点中软件定义服务重组的核心，包括用于对用户需求进行分析的需求解析单元，以及用于进行数据预处理策略生成和优化的策略制定单元。同时，设置基于内容的策略库，该策略库中包括用于存储预设数据处理流程的服务逻辑顺序表，以及用于定义不同内容类型数据及其所需对应操作的内容-操作映射表。该机制与其他单元的交互模型如图3所示。

用CBL技术标识的数据包将被上传给策略制定单元，由该单元在内容-操作映射表中查找其所需的处理操作。同时，若上层雾用户有特殊的需求，这些需求也将下发至需求解析单元，用于控制特定操作的执行或模块的选取。在策略生成的过程中，有两个子步骤，分别是基于带权图的策略制定，以及策略优化。

1)策略制定

服务重构层根据内容驱动的控制层下发的服务策略选取所需模块进行初始化和重新组合，以使其满足不同雾用户和内容处理的需求。服务策略定义为：

DP＝{mod,para,ord}, (3)

其中，mod表示所需服务模块；para表示预处理过程中用到的初始参数；ord表示各个操作的执行顺序。

在策略制定的过程中，策略中涉及到的服务模块和它们之间的转化关系在策略制定单元中抽象为一个全局带权图其中为由S个几点组成的有限非空集合，每个节点表示预处理过程中数据的一种可能的中间状态；为的一个二元子集合，在带权图中对应一条边，表示某个特定的服务模块。一条连接ni和nj的边eij表明要使待处理数据从状态i转移至其临界状态j需调用边eij对应的模块所执行的操作。通常情况下，在两个有前后继关系的节点(状态)之间存在多条边(服务模块)，因为同一种操作可由多种算法实现的模块完成。

策略制定单元在收到经过分析和特征提取的原始数据Cg后，会根据其标签到内容-操作映射表中查找该类数据所需的所有操作，并结合数据包当前状态确定策略途中的起始点nl和终止点nk；接下来，为该内容类型对应的数据构造其所对应的预处理策略子图，即遵循着服务逻辑顺序表及应包含的处理操作生成子图E＝(V_s,E_s)，该子图中包含着所有可满足该内容Cg处理预处理需求的策略。

2)策略优化

在策略制定过程中生成的针对某类内容的原始数据Cg对应的策略子图E＝(V_s,E_s)后，就得到了所有可能在Cg上执行的数据预处理策略，每个策略包含着不同的服务模块，即对应着不同的计算代价和雾用户特殊的模块调度需求。接下来应根据能耗及用户下发的特定需求对这一初始策略集进行优化，选取相对合理的策略指导服务重构层的模块重组。

为降低整体能耗，在策略优化过程中引入邻接矩阵用以对策略集中的不同策略进行衡量和比较。设G为某个时间窗内输入至雾节点接受预处理的数据包总量，记其中的每个数据包为Cg，其中g＝1,2,…,G。记H为所需预处理操作的数目，K为以多种算法可实现某个具体操作的模块数目，则hk表示第h个操作所对应的第k个服务模块。这里显然存在关系H＝S–1，其中S表示数据处理过程中其可能处于的所有状态的数目。用E＝(eij)，来标记全局处理策略图对应的邻接矩阵，其中：

类似的，定义全局策略的子矩阵该矩阵由G×K个布尔值组成，其中：

矩阵用以标识全局策略图中的边{e_ij}是否被选入了子图，即第h个操作是否为特定内容类型的数据C_g所需要。

为了评估上一步生成的策略集中每个策略的资源消耗总量，定义权重矩阵矩阵中的而每个元素为第h个操作对应的第k个模块的计算代价。策略优化的目的是为了在满足用户需求的前提下，选择一个资源消耗相对最小的模块序列。这里引入参数Res来表示某个时间窗内对所有原始数据包的资源消耗总量，其中：

原则上，策略制定单元总是选择资源消耗总量最少的预处理策略来对模块进行重组，但是在某些情况下，雾用户可通过用户定义的重配置层提供的对外接口根据实际业务场景指定一些特殊的需求，如对某类内容的预处理必须调用某个或某几个特定的服务模块等。策略制定单元将此类用户定义事件设置为最高优先级，在保证用户需求的前提下，尽量优化资源使用。

如图4所示，该图所描述的是在对不同数目的服务模块进行重组时，基于本发明的雾节点服务机制与其他传统服务提供机制的时延代价。

如图5所示，该图所描述的是在对不同数目的服务模块进行重组时，基于本发明的雾节点服务机制下不同设备的计算代价。

实验表明，本发明提出的雾节点中的新型软件定义服务重组机制与传统雾节点中的服务提供机制相比，可很大程度上降低时间代价和计算代价，从而降低雾系统整体能耗。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，所述服务重组方法运行在一个层次化的雾节点架构中，雾节点由三个层次组成，分别为服务重构层、内容驱动的控制层、用户定义的重配置层，同时，雾节点中划分出三种对应存储空间，即服务资源库、基于内容的策略库、需求库，分别用以储存服务模块、内容-操作映射表、雾用户的预处理需求。

2.根据权利要求1所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，所述雾节点从数据包头中及载荷中收集并提取重要的数据属性，从而完成对内容的分类，并基于内容类型的不同继而利用内容标签技术对无线传感网络产生的大量原始数据进行标识，以便后续对不同标签的内容数据执行不同的预处理策略。

3.根据权利要求1所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，雾用户利用用户定义的重配置层向上提供的接口对具体的底层预处理策略进行控制，使服务编排过程中的服务模块调用与自身实际需求相符，同时，雾用户通过编程接口完成对服务模块的灵活管理，包括对服务模块的重写、更改、删除、增加，以提高服务动态重组的灵活性，保证通过模块化资源的编排即可满足多样的预处理需求，进而降低重新部署雾节点所产生的能耗。

4.根据权利要求1所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，选取模块进行实例化时，一个预处理策略由一个或多个操作按照一定的逻辑顺序组成，同一个操作又对应着一个或多个以不同计算代价及算法实现该操作的服务模块，每种内容类型的数据对应着不同的预处理策略，即对应着不同服务模块的组合，经过CBL技术标签化后的原始数据将在内容驱动的控制层中存储的策略库中查找与其对应的处理策略及完成该策略需调取的服务模块，然后按照策略库中预先定义好的预处理流程对所需服务模块以一定的逻辑顺序进行编排，并交由雾节点的服务重构层执行模块实例化、参数传递，最终获得输出，将处理后的数据或有价值的结果交付给上层雾用户。

5.根据权利要求1所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，对于不同内容类型的数据、不同上层雾用户及其时变的预处理需求，不需要为每个策略都部署配置一套单独的预处理程序，只需要基于内容感知的输出及用户实际业务需要，调用一个或多个服务模块，当需求变化时，对服务模块进行循环利用及动态重组，即可在灵活应对差异化的需求的同时，提高服务资源的利用效率，降低雾节点能耗。

6.根据权利要求1所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，服务重构层包括用于调用、实例化所需服务模块并控制其执行的服务重组单元、用于对从无线传感网络中采集到的原始数据进行特征提取和分类的内容感知单元、用于对各个服务模块进行登记、增删、更新的模块管理单元，同时，服务重构层中设置的服务资源库，包括用于进行原始数据暂时存储的数据缓存区，以及用于存放抽象化封装资源的服务模块池，从底层无线传感网络中收集到的大量原始数据在上传至雾节点后将被暂时放置在数据缓存区等待处理，进入预处理流程的数据包首先将被传送给内容感知单元，该单元从数据包头中及载荷中提取并分析关键属性，输出对内容的分类结果，然后基于不同的内容类型，利用内容标签技术对无线传感网络产生的原始数据予以标识，以便后续根据内容完成合理的服务重构。

7.根据权利要求6所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，当收到内容驱动的控制层下发的具体预处理策略及所需服务模块后，服务重构层将从服务模块池中选取相应模块，用预设或策略中指定的参数对其进行实例化，并按照给定的逻辑顺序对模块进行编排及重组，以使其完成特定的数据处理需求，当从底层网络收集到不同类型的数据包或上层雾用户对数据处理策略进行更新时，服务重构层可在现有服务模块及编排的基础上，对其进行替换或重组便可满足新的预处理需求。

8.根据权利要求1所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，内容驱动的控制层包括用于对用户需求进行分析的需求解析单元、以及用于进行数据预处理策略生成和优化的策略制定单元，同时，内容驱动的控制层中设置的基于内容的策略库，包括用于存储预设数据处理流程的服务逻辑顺序表，以及用于定义不同内容类型数据及其所需对应操作的内容-操作映射表。

9.根据权利要求8所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，用内容标签技术标识的数据包将被上传给策略制定单元，由该单元在内容-操作映射表中查找其所需的处理操作，同时，若上层雾用户有特殊的需求，这些需求也将下发至需求解析单元，用于控制特定操作的执行或模块的选取。

10.根据权利要求9所述的雾计算中基于内容感知和带权图的软件定义服务重组方法，其特征在于，在策略生成的过程中，包括两个子步骤，分别是基于带权图的策略制定以及策略优化，其中：策略制定指服务重构层根据内容驱动的控制层下发的服务策略选取所需模块进行初始化和重新组合，以使其满足不同雾用户和内容处理的需求，得到所有可能在某类内容上执行的数据预处理策略；策略优化指根据能耗及用户下发的特定需求对数据预处理策略进行优化，选取相对合理的策略指导服务重构层的模块重组。