CN113242294A - 一种面向群智感知数据的流计算处理方法 - Google Patents

Abstract

本发明公开了一种面向群智感知数据的流计算处理方法，首先，对群智感知数据进行前置选择，在终端设备层计算感知数据的特征，过滤掉不符合感知任务要求的数据并且对感知数据做出质量评估；接下来将Operator部署策略分为三种，①全部部署在边缘服务器上、②全部部署在云服务器上以及③部分部署在边缘服务器、部分部署在云服务器上；通过对Operator部署目标和约束条件进行数学建模，将Operator部署问题转换成一个数学问题——整数线性规划问题；最后对形式化定义的数学问题进行求解，实验结果得出流速、数据流图拓扑结构、Operator数目对于Operator部署策略的影响，并且总结得出实施三种Operator部署策略的使用场景。本发明实现了高效的流计算处理方法，有效地提高了感知数据处理的实时性。

Description

一种面向群智感知数据的流计算处理方法

技术领域

本发明属于数据处理技术领域，具体涉及一种流计算处理方法。

背景技术

数据的流计算处理是当前大数据技术中一个关键的环节。现有技术中，“HuihuiChen,Bin Guo,Zhiwen Yu,Liming Chen and Xiaojuan Ma,"A Generic Framework forConstraint-Driven Data Selection in Mobile Crowd Photographing,"in IEEEInternet of Things Journal,vol.4,no.1,pp.284-296,Feb.2017,doi:10.1109/JIOT.2017.2648860.”提出了一种视觉群智感知中约束驱动的数据选择方法，该方法实现了一种基于“塔形树”的照片信息的存储结构PTree，以及基于PTree的照片流数据聚类策略。“Yu Hua,Wenbo He,Xue Liu and Dan Feng,"SmartEye:Real-time and efficientcloud image sharing for disaster environments,"2015IEEE Conference onComputer Communications(INFOCOM),Hong Kong,China,2015,pp.1616-1624,doi:10.1109/INFOCOM.2015.7218541.”针对灾难场景下图片海量，资源受限的问题，提出了一种去冗余、实时传输图片的方法，实现灾害监测、场景识别和损失查询。“Greco L,Ritrovato P,Xhafa F.An edge-stream computing infrastructure for real-timeanalysis of wearable sensors data[J].Future Generation Computer Systems,2019,93:515-528.”提出了基于开源大数据流计算引擎的技术架构解决方案，从而对可穿戴设备感知数据流进行实时分析。“Sajjad H P,Danniswara K,Al-Shishtawy A,etal.Spanedge:Towards unifying stream processing over central and near-the-edgedata centers[C]//2016IEEE/ACM Symposium on Edge Computing(SEC).IEEE,2016:168-178.”首次提出了流处理可以部署在云服务器和边缘服务器两层，并且提出了全局任务和局部任务的分类法。但是文章中对流计算算子的部署问题没有分析，只是进行了宏观的分割没有定量分析，也就没有评价指标，并且没有考虑边缘节点的异构性。“Nardelli M,Cardellini V,Grassi V,et al.Efficient operator placement for distributed datastream processing applications[J].IEEE Transactions on Parallel andDistributed Systems,2019,30(8):1753-1767.”定义了最佳流处理应用部署模型，并且将模型集成到Storm流计算引擎上。但是文章中忽略了流计算算子(Operator)的依赖约束关系和边缘节点的可重用性。总的来说，相关技术中并没有形成针对群智感知数据的流计算处理方法。

发明内容

为了克服现有技术的不足，本发明提供了一种面向群智感知数据的流计算处理方法，首先，对群智感知数据进行前置选择，在终端设备层计算感知数据的特征，过滤掉不符合感知任务要求的数据并且对感知数据做出质量评估；接下来将Operator部署策略分为三种，①全部部署在边缘服务器上、②全部部署在云服务器上以及③部分部署在边缘服务器、部分部署在云服务器上；通过对Operator部署目标和约束条件进行数学建模，将Operator部署问题转换成一个数学问题——整数线性规划问题；最后对形式化定义的数学问题进行求解，实验结果得出流速、数据流图拓扑结构、Operator数目对于Operator部署策略的影响，并且总结得出实施三种Operator部署策略的使用场景。本发明实现了高效的流计算处理方法，有效地提高了感知数据处理的实时性。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：终端设备层对群智感知数据进行前置选择；

判断群智感知数据p_i是否满足感知任务条件，形式化表达为逻辑与的布尔表达式：

其中，p_i,k表示群智感知数据p_i的第k个特征，thr_k表示第k个特征的阈值，n表示特征数；

如果群智感知数据p_i有一个特征不满足感知任务的条件，即p_i,k>thr_k，则这个特征的真值为FALSE，从而B(p_i)的真值为FALSE，即群智感知数据p_i不满足感知任务的条件；丢弃群智感知数据p_i，不进行下一步的操作；

如果群智感知数据p_i的所有特征均满足感知任务条件，即p_i,k≤thr_k，则B(p_i)的真值为TRUE，即群智感知数据p_i满足感知任务的条件；进行下一步的操作；

对所有群智感知数据进行判断，完成前置选择；

步骤2：若B(p_i)真值为TRUE，计算群智感知数据的质量；

对群智感知数据p_i与其他群智感知数据p_j进行距离计算，获取群智感知数据的质量Q(p_i)：

其中，t_s、t_c分别表示第一个感知数据到达的时间与当前时间，w_k表示第k个特征的权重，p_j,k表示群智感知数据p_j的第k个特征，dist_k为距离计算函数；

步骤3：在边缘服务器层引入消息队列，消息队列位于数据源与Operator之间；

步骤4：进行流计算Operator部署，步骤如下：

步骤4-1：对流计算模型进行抽象，将数据流图抽象成有向无环图，顶点表示Operator或Source或Sink，边表示节点间的数据流向；

步骤4-2：将Operator部署策略分为三种：

策略①：全部部署在云服务器上；

策略②：全部部署在边缘服务器上；

策略③：一部分部署在云服务器上，另一部分部署在边缘服务器上；

步骤4-3：定义流计算Operator部署问题：

Operator部署目标是Sink节点的Makespan最小；

Operator部署约束条件有：Operator的先后依赖约束关系；各个计算节点的资源约束；Operator一定部署在具体的节点上；每个计算节点的资源差异；

步骤4-4：对流计算Operator部署问题进行形式化定义，表示成整数线性规划问题：

Minimize:

s.t.

其中，x_(n+1,t)表示sink节点是否在t时刻开始执行，T表示每个Operator执行时间的集合，v表示每个Operator，V表示Operator的集合，t₂表示Operator v开始执行的时刻，p_v表示Operator v需要的执行时间，

表示Oprator v是否在t₂时刻开始，u_(v,r)表示执行Operator v需要的资源，c_r表示可使用资源r的容量，r表示可使用资源，R表示可使用资源的集合，x_(s,t)表示后继Operator s是否在t时刻开始执行，x_(v,t)表示前驱Operator v是否在t时刻开始执行，s表示具有先后依赖关系的两个Operator中后继的Operator，S表示Operator v,s先后依赖关系的集合，其中(v,s)∈V×V；

如果顶点v在t时刻开始，那么x_(v,t)＝1；否则，x_(v,t)＝0；

步骤5：对步骤4-4的流计算Operator部署整数线性规划问题进行求解，完成Operator部署策略选择，即实现面向群智感知数据的流计算处理。

优选地，所述群智感知数据的特征由多个数据项组成；所述数据项对于时间特征为群智数据时间戳，对于分辨率为群智数据的分辨率，对于空间特征为GPS经度和GPS纬度坐标。

优选地，所述距离计算函数dist_k在计算时分为如下三种情况：

对于时间特征，是时间戳相减；

对于空间特征，是经纬度坐标之间的欧氏距离；

对于图像相似度，用尺度不变特征转换或颜色直方图进行计算。

优选地，所述群智感知数据p_i与其他群智感知数据数据p_j的距离计算在边缘服务器上完成。

本发明的有益效果如下：

本发明为面向群智感知数据处理的新兴技术，针对多源群智感知数据处理实时性的性能瓶颈做出了针对性的创新，根据具体业务的需求提出了基于端边云协同的三种Operator部署策略，实现了高效的流计算处理方法，有效提高感知数据处理的实时性。

附图说明

图1为本发明面向群智感知数据的流计算处理方法框架图。

图2为本发明群智感知数据的前置选择以及质量评估流程图。

图3为本发明中流计算抽象成的拓扑图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明主要解决的技术问题是当前群智感知数据处理实时性不高的问题，通过创新性得引入端边云协同的部署方法，能够针对具体的业务场景，实现适合的流计算Operator部署方法，并且使得处理过程的完工时间(Makespan)最小。

本发明采取的技术方案整体分为三个部分。首先，群智感知数据从用户端上传到云端需要经历前置选择，在终端设备层需要计算感知数据的特征，过滤掉不符合感知任务要求的数据并且对感知数据做出质量评估；接下来，由于终端设备层在架构、用途、资源等方面异构性太大，并且不能普遍支持Operator，所以Operator只能部署在边缘服务器或者云服务器上。本发明将Operator部署策略分为三种，分别是①全部部署在边缘服务器上、②全部部署在云服务器上以及③部分部署在边缘服务器、部分部署在云服务器上。通过对Operator部署目标和约束条件进行数学建模，将Operator部署问题转换成一个数学问题——整数线性规划问题；第三个部分，对形式化定义的数学问题进行求解，实验结果得出流速、数据流图拓扑结构、Operator数目对于Operator部署策略的影响，并且总结得出实施三种Operator部署策略的使用场景。

如图1所示，本发明提供了一种面向群智感知数据的流计算处理方法，包括如下步骤：

步骤1：如图2所示，终端设备层对群智感知数据进行前置选择；

判断群智感知数据p_i是否满足感知任务条件，形式化表达为逻辑与的布尔表达式：

其中，p_i,k表示群智感知数据p_i的第k个特征，thr_k表示第k个特征的阈值，n表示特征数；特征由多个数据项组成，对于时间特征为群智数据时间戳，对于分辨率为群智数据的分辨率，对于空间特征为GPS经度和GPS纬度坐标；

如果群智感知数据p_i有一个特征不满足感知任务的条件，即p_i,k>thr_k，则这个特征的真值为FALSE，从而B(p_i)的真值为FALSE，即群智感知数据p_i不满足感知任务的条件；丢弃群智感知数据p_i，不进行下一步的操作；

如果群智感知数据p_i的所有特征均满足感知任务条件，即p_i,k≤thr_k则B(p_i)的真值为TRUE，即群智感知数据p_i满足感知任务的条件；进行下一步的操作；

对所有群智感知数据进行判断，完成前置选择；

步骤2：若B(p_i)真值为TRUE，计算群智感知数据的质量，感知数据p_i与其他数据p_j的差异性越大，说明该感知数据的质量越高；

对感知数据p_i的第k个特征与其他感知数据p_j的第k个特征的期望进行距离计算，从而衡量p_i第k个特征的质量。p_i不止一个特征，因此需要根据具体的任务要求，对各个特征加权求和，从而得到感知数据的质量Q(p_i)。感知数据第k个特征距离计算函数dist_k根据具体的情况而定，比如对于时间特征，则是时间戳相减；对于空间特征，则是经纬度坐标之间的欧氏距离；对于图像相似度，则可以用尺度不变特征转换(SIFT)，颜色直方图等图像特征来计算。

群智感知数据的质量Q(p_i)表示如下：

步骤3：考虑到群智感知数据具有多源的特征，可能存在并发量过大、通信故障情况下感知数据丢失的问题。为此，在边缘服务器层拟引入消息队列，从逻辑上来说，消息队列位于数据源与Operator之间；引入消息队列之后，可以实现有效降峰，确保感知数据精确地传输了一次，并且为质量高的数据分配较高的优先级，即优先处理的机会；

步骤4：前3个步骤完成了群智感知数据前置选择、质量评估以及鲁棒性保证，接下来进行流计算Operator部署，步骤如下：

步骤4-1：对流计算模型进行抽象，将数据流图抽象成有向无环图，顶点表示Operator或Source或Sink，边表示节点间的数据流向；

步骤4-2：由于终端设备在架构、用途、资源等方面存在极大的异构性，所以不适合部署Operator。那么，Operator只能部署在云服务器上或者边缘服务器。

将Operator部署策略分为三种：

策略①：全部部署在云服务器上；

策略②：全部部署在边缘服务器上；

策略③：一部分部署在云服务器上，另一部分部署在边缘服务器上；

步骤4-3：定义流计算Operator部署问题：

Operator部署目标是Sink节点的Makespan最小；

Operator部署约束条件有：Operator的先后依赖约束关系；各个计算节点的资源约束；Operator一定部署在具体的节点上；每个计算节点的资源差异；

步骤4-4：对流计算Operator部署问题进行形式化定义，表示成整数线性规划问题：

Minimize:

s.t.

其中，x_(n+1,t)表示sink节点(即n+1节点)是否在t时刻开始执行，T表示每个Operator执行时间的集合，v表示Operator，V表示Operator的集合，t₂表示Operator v开始执行的时刻，p_v表示Operator v需要的执行时间，

表示Oprator v是否在t₂时刻开始执行，u_(v,r)表示执行Operator v对资源r的需求量，c_r表示可使用资源r的容量，r表示可使用资源，R表示可使用资源的集合，x_(s,t)表示后继Operator s是否在t时刻开始执行，x_(v,t)表示前驱Operator v是否在t时刻开始执行，s表示具有先后依赖关系的两个Operator中后继的Operator，S表示Operator v,s先后依赖关系的集合，其中(v,s)∈V×V,v是前驱Operator，s是后继Operator；

如果顶点v在t时刻开始，那么x_(v,t)＝1；否则，x_(v,t)＝0；

步骤5：对步骤4-4的流计算Operator部署整数线性规划问题利用Gurobi求解器提供的API编程进行求解，完成Operator部署策略选择。

总结Operator部署策略如下：针对延迟极度敏感型应用，或群智感知数据受到政策、安全等因素限制，并且边缘服务器资源完全满足需求的情况，采取策略①；针对部分Operator需要全局视野、边缘设备不能满足部分Operator的资源需求但又广域网(WAN)资源受限的情况，采取策略③；其他情况，采取策略②。

至此，即可实现面向群智感知数据的流计算处理方法。

Claims (4)

1.一种面向群智感知数据的流计算处理方法，其特征在于，包括以下步骤：

步骤1：终端设备层对群智感知数据进行前置选择；

判断群智感知数据p_i是否满足感知任务条件，形式化表达为逻辑与的布尔表达式：

其中，p_i,k表示群智感知数据p_i的第k个特征，thr_k表示第k个特征的阈值，n表示特征数；

如果群智感知数据p_i有一个特征不满足感知任务的条件，即p_i,k>thr_k，则这个特征的真值为FALSE，从而B(p_i)的真值为FALSE，即群智感知数据p_i不满足感知任务的条件；丢弃群智感知数据p_i，不进行下一步的操作；

如果群智感知数据p_i的所有特征均满足感知任务条件，即p_i,k≤thr_k，则B(p_i)的真值为TRUE，即群智感知数据p_i满足感知任务的条件；进行下一步的操作；

对所有群智感知数据进行判断，完成前置选择；

步骤2：若B(p_i)真值为TRUE，计算群智感知数据的质量；

对群智感知数据p_i与其他群智感知数据p_j进行距离计算，获取群智感知数据的质量Q(p_i)：

其中，t_s、t_c分别表示第一个感知数据到达的时间与当前时间，w_k表示第k个特征的权重，p_j,k表示群智感知数据p_j的第k个特征，dist_k为距离计算函数；

步骤3：在边缘服务器层引入消息队列，消息队列位于数据源与Operator之间；

步骤4：进行流计算Operator部署，步骤如下：

步骤4-1：对流计算模型进行抽象，将数据流图抽象成有向无环图，顶点表示Operator或Source或Sink，边表示节点间的数据流向；

步骤4-2：将Operator部署策略分为三种：

策略①：全部部署在云服务器上；

策略②：全部部署在边缘服务器上；

策略③：一部分部署在云服务器上，另一部分部署在边缘服务器上；

步骤4-3：定义流计算Operator部署问题：

Operator部署目标是Sink节点的Makespan最小；

Operator部署约束条件有：Operator的先后依赖约束关系；各个计算节点的资源约束；Operator一定部署在具体的节点上；每个计算节点的资源差异；

步骤4-4：对流计算Operator部署问题进行形式化定义，表示成整数线性规划问题：

Minimize:

s.t.

其中，x_(n+1,t)表示sink节点是否在t时刻开始执行，T表示每个Operator执行时间的集合，v表示每个Operator，V表示Operator的集合，t₂表示Operator v开始执行的时刻，p_v表示Operator v需要的执行时间，

表示Oprator v是否在t₂时刻开始，u_(v,r)表示执行Operator v需要的资源，c_r表示可使用资源r的容量，r表示可使用资源，R表示可使用资源的集合，x_(s,t)表示后继Operator s是否在t时刻开始执行，x_(v,t)表示前驱Operator v是否在t时刻开始执行，s表示具有先后依赖关系的两个Operator中后继的Operator，S表示Operator v,s先后依赖关系的集合，其中(v,s)∈V×V；

如果顶点v在t时刻开始，那么x_(v,t)＝1；否则，x_(v,t)＝0；

步骤5：对步骤4-4的流计算Operator部署整数线性规划问题进行求解，完成Operator部署策略选择，即实现面向群智感知数据的流计算处理。

2.根据权利要求1所述的一种面向群智感知数据的流计算处理方法，其特征在于，所述群智感知数据的特征由多个数据项组成；所述数据项对于时间特征为群智数据时间戳，对于分辨率为群智数据的分辨率，对于空间特征为GPS经度和GPS纬度坐标。

3.根据权利要求1所述的一种面向群智感知数据的流计算处理方法，其特征在于，所述距离计算函数dist_k在计算时分为如下三种情况：

对于时间特征，是时间戳相减；

对于空间特征，是经纬度坐标之间的欧氏距离；

对于图像相似度，用尺度不变特征转换或颜色直方图进行计算。

4.根据权利要求1所述的一种面向群智感知数据的流计算处理方法，其特征在于，所述群智感知数据p_i与其他群智感知数据数据p_j的距离计算在边缘服务器上完成。

Images