CN108934029A - 面向感知大数据重建的加速分布式优化算法 - Google Patents
面向感知大数据重建的加速分布式优化算法 Download PDFInfo
- Publication number
- CN108934029A CN108934029A CN201810736403.0A CN201810736403A CN108934029A CN 108934029 A CN108934029 A CN 108934029A CN 201810736403 A CN201810736403 A CN 201810736403A CN 108934029 A CN108934029 A CN 108934029A
- Authority
- CN
- China
- Prior art keywords
- indicate
- node
- link
- flow
- data flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种面向感知大数据重建的加速分布式优化算法,首先构建感知大数据的重构误差最小化模型;基于拉格朗日乘子构造原始优化问题和相应的对偶问题;利用双重分解法将原始优化问题进行分解;采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解;实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题;证明了所提出的加速分布式优化算法的可收敛性,并且该算法有着对网络规模的免疫性。
Description
技术领域
本发明属于无线通信网络技术领域,具体涉及一种面向感知大数据重建的加速分布式优化算法。
背景技术
在感知大数据时代,感知数据的数量通过无处不在的无线传感设备高速生长,并且超出了传统无线传感器网络的处理和管理能力。因此,我们称现在的传感器网络为无线感知大数据网络,它能有效地组织和管理感知大数据。
处理大量感知数据的主要挑战之一是数据量越来越大,导致存储设备无法跟上感知数据生产速度的增长。
目前,解决数据规模与存储容量之间增长速率不匹配问题有两种方法,这两种方法的共同目标是减少数据传输和存储容量。
一种方法是关键数据点检索方法,另一种是纯数据压缩方法;虽然前一种方法可以显著减少感知大数据的传输量,但恢复精度不如第二种方法;第二种方法的典型代表是基于压缩感知(Compressed Sensing,CS)的压缩方法,CS将计算负担转移到汇聚节点,并且可以有效地探索时空数据的相关性,在感知大数据网络中得以成功应用。
总体来说,解决数据规模和存储容量之间增长速率不匹配问题存在两个挑战,一个是无法达到高精度的数据质量标准;另一个是不能满足低延迟的要求。
面对上述两个挑战,即现有技术在提高恢复性能方面的问题以及在解决优化问题时无法满足低时延的问题,现有技术主要解决以上单一挑战。
根据具有不同数据恢复精度的压缩方案,现有技术可以分为以下三类:
第一类调查数据压缩方法以减轻存储负担,该方案通过设计不同的数据压缩方案,有效减少传输和接收数量,通过压缩数据来缓解增加感知大数据的增长的存储压力,但是恢复精度仍有待提高;
第二类是通过优化CS理论的内部参数来研究数据恢复精度的提高方法,该方案通过考虑测量矩阵和稀疏字典之间的相关性,提出优化测量矩阵,可以提高原始数据的重建质量;
第三类是通过引入网络资源优化来实现数据恢复精度的提高,目前,对于从网络资源角度提高恢复性能的研究还很少,虽然一些技术提出了网络效用最大化问题来提高压缩数控流的恢复性能,但它是解决无线干扰问题的有线网络场景;现有技术消除了上述的无线干扰问题,并从网络资源分配的角度构造重构误差优化模型,可以最大限度地减少原始数据的恢复错误;一般来说,某些特定的业务需要实时处理能力,如自然灾害检测、军事防御、火灾探测、交通监控等,然而,迭代确定最优解的收敛速度难以满足采用传统次梯度算法的实时或近实时的要求。
发明内容
本发明的目的在于提高感知大数据的重建精度,提出一种面向感知大数据重建的加速分布式优化算法,实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题。
本发明采用如下技术方案,一种面向感知大数据重建的加速分布式优化算法,具体步骤如下:
1)构建感知大数据的重构误差R(xl)最小化模型;
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题;
3)利用双重分解法将原始优化问题进行分解;
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解。
优选地,所述步骤1)中感知大数据的重构误差最小化模型具体为:
数据流l中感知大数据的重构误差函数R(xl)为,
R(xl)=C1(xl)-2α
其中常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
约束条件为:
其中,f表示传输速率,G表示群流;表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点;Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,表示节点j到其附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,表示从节点i输出的输出流量;E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,Cij表示链接(i,j)的相关容量能力;
第一个约束条件表示汇聚节点处接收到的数据流l的总流量等于所有感知节点的流量总和,其中在汇聚节点的流量为0,表示为符号D表示汇聚节点;
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量的值定义如下:
其中即表示数据流l从汇聚节点到其他节点的传输速率为0;V-D表示感知节点;
帧内编码可以激发同一链接中不同感知节点的相同流量,通过一起编码来共享链接量。
第三个约束条件表示互相干扰的链接不能同时发送数据流,即属于同一个集团的所有链接的占用率之和不超过1,每个感知节点不能同时发送和接收信息,但是所有感知节点可以同时发送信息或者同时接收信息;
链接(i,j)上所有数据流l∈G的传输速率总和不超过链接(i,j)的相关容量能力Cij,即:
第四个约束条件表示定义变量为非负变量。
优选地,所述步骤2)的具体步骤为:
21)基于重构误差R(xl)最小化模型,将第二和第三约束条件的不等式右边项左移再分别乘以两个乘子,即对两个约束条件进行了扩大或缩小,利用拉格朗日乘子和构造一个拉格朗日函数,表示如下:
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,为数据流l流经节点i的拥塞价格因子,为一组随机网络派系中的干扰价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,G表示群流,Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,V表示感知节点和汇聚节点,V-D表示感知节点,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,Cij表示链接(i,j)的相关容量能力,表示数据流l通过链接(i,j)的路由矩阵;表示从节点i输出的输出流量,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通;
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0 (6)
优选地,所述步骤3)具体为将原始优化问题分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
约束条件为:
其中,x表示流量,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
无线链接流量守恒及互干扰问题为:
约束条件为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵。
优选地,所述步骤4)构建加速优化算法进行求解具体为:
41)基于拥塞价格因子和流量xl(t)的值求解感知节点i∈{V-D}的优化问题,即求解拥塞控制问题,
其中,表示第t次迭代时数据流l流经节点i的拥塞价格因子,表示第t次迭代时数据流l流经汇聚节点的拥塞价格因子,xl(t)表示第t次迭代时的数据流l的总流量,表示经过节点i的数据流l的最优流量,argmin表示使目标函数取最小值时的变量值,x表示流量,λ为拉格朗日乘子,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
42)基于拥塞价格因子 和干扰价格因子的值求解每个链接(i,j),i∈{V-D}的优化问题,即求解无线链接流量守恒及互干扰问题:
其中,表示第t次迭代时数据流l流经节点j的拥塞价格因子,表示第t次迭代时随机网络派系中的干扰价格因子,表示数据流l通过链接(i,j)的最优传输速率,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,表示数据流l流经节点j的拥塞价格因子,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵;
43)每个链接(i,j),i∈{V-D}根据步骤42)得到的第t-1次迭代最优传输速率以及如下公式更新拥塞价格因子的值,
其中和是公式(11)中定义的变量,表示在第t-1次迭代时数据流l通过链接(i,j)的传输速率,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,表示第t次迭代时从节点i输出的输出流量,ρλ是对偶变量λ的步长,步长范围为0.01-0.1,当x是非负值时[.]+表示[x]+=x,否则[x]+=0;
44)感知节点i根据步骤42)在第t-1次迭代中更新的最优传输速率以及如下公式更新干扰价格因子的值,
其中和是公式(12)中定义的变量,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,ρε是对偶变量ε的步长,步长范围为0.01到0.1;
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
优选地,所述拥塞控制问题和无线链接流量守恒及互干扰问题的最优解求解方法具体为:
拥塞控制问题:基于拥塞控制问题L1(x,λ)的目标函数,感知节点i∈{V-D}的最优流量如公式(9)所示,根据拥塞价格因子 和流量xl(t)的值,感知节点i∈{V-D}在第t次迭代处更新其数据流l,并且求解优化问题(9)的过程为:
利用低通滤波方法解决优化问题(9),感知节点i∈{V-D}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量为的最优估计,γ1为步长,步长范围为0.01-0.1,常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,表示第t次迭代后经过节点i的数据流l的总流量;
按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
无线链接流量守恒及互干扰问题:基于无线链接流量守恒及互干扰问题L2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子 和干扰价格因子的值,每个链接(i,j)在第t次迭代处更新数据流l的传输速率,优化问题(10)的求解过程为:
求解函数L2(f,λ,ε)相对于变量的偏导数:
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,
链接(i,j)上的数据流l的传输速率更新为:
其中增广变量为的最优估计,γ2为步长,步长范围为0.01-0.1,表示在第t次迭代时数据流l通过链接(i,j)的传输速率。
发明所达到的有益效果:本发明是一种面向感知大数据重建的加速分布式优化算法,实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题;本发明可用于具有相似网络拓扑的不同尺寸的网络,相比于常规方法,本发明设计方法可以稳定收敛到最优值,并且可以显着提高常规优化算法的收敛速度,本发明可将传统优化求解算法的收敛速度从O(1/t)提升到O(1/t^2),O(n)表示时间复杂度,n=1/t到n=1/t^2表示整个求解算法耗时从1/t缩短到1/t^2,,而且可适用于不同规模大小的网络,不会牺牲加速收敛效果。
附图说明
图1为本发明实施例感知大数据重建优化模型的求解步骤流程图;
图2为具有12个节点的网络拓扑中步长为0.06时流率的演变图;
图3为具有12个节点的网络拓扑中步长为0.06时恢复误差的演变图;
图4为具有12个节点的网络拓扑中步长为0.04时流率演变图;
图5为具有12个节点的网络拓扑中步长为0.04时恢复误差的演变图;
图6为步长相同时20个节点和30个节点的网络规模下的流率演变图;
图7为步长相同时20个节点和30个节点的网络规模下的恢复误差演变图。
具体实施方式
下面根据附图并结合实施例对本发明的技术方案作进一步阐述。
首先,构建一个感知大数据网络,其中汇聚节点负责收集感知节点观察到的感知数据。整个网络有许多感知节点,每个感知节点通过CS理论同时实现对原始数据的压缩和采样。感知节点向汇聚节点(sink节点)发送采样数据,同时作为中继节点转发来自其他感知节点的数据。线性网络编码(Network Coding,NC)在感知节点转发其自身和传入数据之前执行。最后,汇聚节点通过一跳或多跳从所有感知节点接收编码数据。
同一个时隙内不同感知节点的观察数据被认为是同一个数据流,在模型中只执行内流NC,即只对相同流量的数据进行随机NC操作。
随后,假设来自感知节点的采样数据通过多个链接传播到相邻节点,并通过预定路由转发到汇聚节点。对于通信覆盖的重叠,存在不同环节的相互干扰,因此引入作为基本冲突集合的派系。派系是由相互干扰的链接组成的,派系中同一时隙只有一个链接可以传输数据,以避免相互干扰。集合EC由网络中的所有派系组成,即随机派系是EC的一个元素。
由于无线链接的不稳定性和不可靠性,假设感知节点以一定概率成功在链接上传输编码数据。传输速率在不同链接上是会变化的。
制定优化模型以最大限度地减少来自感知大数据网络的多组数据流G的重构误差。当CS的测量矩阵具有有限等距性质(Restricted Isometry Property,RIP)时,已知CS的恢复精度重构算法在现有的CS理论文献中与汇聚节点接收到的测量值和感知数据的稀疏水平相关联。从J.Haupt和R.Nowak,的文章中得到数据流l∈G中感知数据的平均重建误差上限为的常数倍,其中n表示汇聚节点接收到的测量值,N表示原始感知数据的长度,αl表示数据流中感知数据的稀疏水平。
图1为求解感知大数据重建优化模型的步骤流程图,根据网络模型,测试中提供了三种不同大小的相似网络拓扑,以测试加速优化算法的收敛和加速效果。这三种网络拓扑结构分别由12个,20个和30个节点组成。一种面向感知大数据重建的加速分布式优化算法,包括以下步骤:
1)构建感知大数据的重构误差最小化模型;
在感知大数据的时间维度上,假设来自群流G的不同数据流在一定的基础上都是可压缩的数据,而来自G的不同数据流具有相同的可压缩程度,数据流l中感知大数据的重构误差函数R(xl)为,
R(xl)=C1(xl)-2α
其中常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
约束条件为:
其中,f表示传输速率,G表示群流;表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点;Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,表示节点j到其附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,表示从节点i输出的输出流量;E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,Cij表示链接(i,j)的相关容量能力;统一不同优化问题的步长,不同链接的传输比例均设置为0.9,常数C1和α的值分别设为1和0.7;
第一个约束条件表示汇聚节点处接收到的数据流l的总流量等于所有感知节点的流量总和,其中在汇聚节点的流量为0,表示为符号D表示汇聚节点;
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量的值定义如下:
其中即表示数据流l从汇聚节点到其他节点的传输速率为0;V-D表示感知节点;
帧内编码可以激发同一链接中不同感知节点的相同流量,通过一起编码来共享链接量。
第三个约束条件表示互相干扰的链接不能同时发送数据流,即属于同一个集团的所有链接的占用率之和不超过1,每个感知节点不能同时发送和接收信息,但是所有感知节点可以同时发送信息或者同时接收信息;
链接(i,j)上所有数据流l∈G的传输速率总和不超过链接(i,j)的相关容量能力Cij,即:
第四个约束条件表示定义变量为非负变量。
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题;
21)将第二和第三约束条件的不等式右边项左移再分别乘以两个乘子,即对两个约束条件进行了扩大或缩小,利用拉格朗日乘子和构造一个拉格朗日函数,表示如下:
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,为数据流l流经节点i的拥塞价格因子,为一组随机网络派系中的干扰价格因子,它们的初始值都定义为1,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,G表示群流,Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,V表示感知节点和汇聚节点,V-D表示感知节点,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,对于不同节点,传输速率的初始值定义为0.2或0.4,Cij表示链接(i,j)的相关容量能力,Cij设置为1.5,表示数据流l通过链接(i,j)的路由矩阵;表示从节点i输出的输出流量,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通;
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0. (6)
3)利用双重分解法将原始优化问题进行分解;
根据拉格朗日函数的可分性和D(λ,ε)的陈述,D(λ,ε)可以分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
约束条件为:
其中,x表示流量,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
无线链接流量守恒及互干扰问题为:
约束条件为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵。
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解。
41)基于拥塞价格因子和流量xl(t)的值求解感知节点i∈{V-D}的优化问题,即求解拥塞控制问题,
其中,表示第t次迭代时数据流l流经节点i的拥塞价格因子,表示第t次迭代时数据流l流经汇聚节点的拥塞价格因子,xl(t)表示第t次迭代时的数据流l的总流量,表示经过节点i的数据流l的最优流量,argmin表示使目标函数取最小值时的变量值,x表示流量,λ为拉格朗日乘子,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
基于拥塞控制问题L1(x,λ)的目标函数,感知节点i∈{V-D}的最优流量如公式(9)所示,根据拥塞价格因子和流量xl(t)的值,感知节点i∈{V-D}在第t次迭代处更新其数据流l,并且求解优化问题(9)的过程为:
利用低通滤波方法解决优化问题(9),感知节点i∈{V-D}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量为的最优估计,γ1为步长,步长范围为0.01-0.1,常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,表示第t次迭代后经过节点i的数据流l的总流量;
最后将所有节点流量汇聚到汇聚节点,按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
42)基于拥塞价格因子和干扰价格因子的值求解每个链接(i,j),i∈{V-D}的优化问题,即求解无线链接流量守恒及互干扰问题:
其中,表示第t次迭代时数据流l流经节点j的拥塞价格因子,表示第t次迭代时随机网络派系中的干扰价格因子,表示数据流l通过链接(i,j)的最优传输速率,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,表示数据流l流经节点j的拥塞价格因子,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵;
基于无线链接流量守恒及互干扰问题L2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子和干扰价格因子的值,每个链接(i,j)在第t次迭代处更新数据流l的传输速率,优化问题(10)的求解过程为:
求解函数L2(f,λ,ε)相对于变量的偏导数:
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,链接(i,j)上的数据流l的传输速率更新为:
其中增广变量为的最优估计,γ2为步长,步长范围为0.01-0.1,表示在第t次迭代时数据流l通过链接(i,j)的传输速率。
43)每个链接(i,j),i∈{V-D}根据步骤42)得到的第t-1次迭代最优传输速率以及如下公式更新拥塞价格因子的值,
其中和是公式(11)中定义的变量,表示在第t-1次迭代时数据流l通过链接(i,j)的传输速率,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,表示第t次迭代时从节点i输出的输出流量,ρλ是对偶变量λ的步长,步长范围为0.01-0.1,当x是非负值时[.]+表示[x]+=x,否则[x]+=0;
44)感知节点i根据步骤42)在第t-1次迭代中更新的最优传输速率以及如下公式更新干扰价格因子的值,
其中和是公式(12)中定义的变量,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,ρε是对偶变量ε的步长,步长范围为0.01到0.1;
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
结合图2,3可以看出,在具有12个节点的网络拓扑结构中,步长为0.06时,常规方法和本发明方法流量的流速随迭代次数逐渐收敛,但显然本发明方法的迭代次数半于常规方法,能够显著提高一般优化算法的收敛速度。当流量接近最优值时,恢复误差(原问题的目标函数)也收敛到相应的最优值。这也意味着通过采用所提出的加速方法,重建误差可以被快速地最小化并且获得低延迟。
根据图4,5可知,在同等规模的拓扑结构中,将步长减为0.04时,虽然加速方法的收敛速度变慢但是与常规方法相比效果依然显著。同时观察到步长大小与收敛速度成正相关,所以使用时仍需自适应地选择步长,并通过实现最优解的收敛速度和精度之间的权衡来设置合适的大小。
由图6,7可以看出,常规方法和本发明设计方法在20、30个节点的拓扑网络结构中,步长相同时,不同网络规模的收敛值对于使用类似的网络拓扑是近似的,加速方法的性能效果对网络规模从20节点到30节点的变化不敏感。
Claims (6)
1.一种面向感知大数据重建的加速分布式优化算法,其特征在于,包括以下步骤:
1)构建感知大数据的重构误差R(xl)最小化模型;
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题;
3)利用双重分解法将原始优化问题进行分解;
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解。
2.根据权利要求1所述的面向感知大数据重建的加速分布式优化算法,其特征在于,所述步骤1)中感知大数据的重构误差最小化模型具体为:
数据流l中感知大数据的重构误差函数R(xl)为,
R(xl)=C1(xl)-2α
其中常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
约束条件为:
其中,f表示传输速率,G表示群流;表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点;Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,表示节点j到其附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,表示从节点i输出的输出流量;E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,Cij表示链接(i,j)的相关容量能力;
第一个约束条件表示汇聚节点处接收到的数据流l的总流量等于所有感知节点的流量总和,其中在汇聚节点的流量为0,表示为符号D表示汇聚节点;
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量的值定义如下:
其中即表示数据流l从汇聚节点到其他节点的传输速率为0;V-D表示感知节点;
第三个约束条件表示互相干扰的链接不能同时发送数据流,即属于同一个集团的所有链接的占用率之和不超过1,每个感知节点不能同时发送和接收信息;
链接(i,j)上所有数据流l∈G的传输速率总和不超过链接(i,j)的相关容量能力Cij,即:
第四个约束条件表示定义变量为非负变量。
3.根据权利要求1所述的面向感知大数据重建的加速分布式优化算法,其特征在于,所述步骤2)的具体步骤为:
21)基于重构误差R(xl)最小化模型,利用拉格朗日乘子和构造一个拉格朗日函数,表示如下:
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,为数据流l流经节点i的拥塞价格因子,为一组随机网络派系中的干扰价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,G表示群流,Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,V表示感知节点和汇聚节点,V-D表示感知节点,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,Cij表示链接(i,j)的相关容量能力,表示数据流l通过链接(i,j)的路由矩阵;表示从节点i输出的输出流量,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通;
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0 (6)
4.根据权利要求1所述的面向感知大数据重建的加速分布式优化算法,其特征在于,所述步骤3)具体为将原始优化问题分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
约束条件为:
其中,x表示流量,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
无线链接流量守恒及互干扰问题为:
约束条件为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵。
5.根据权利要求1所述的面向感知大数据重建的加速分布式优化算法,其特征在于,所述步骤4)构建加速优化算法进行求解具体为:
41)基于拥塞价格因子和流量xl(t)的值求解感知节点i∈{V-D}的优化问题,即求解拥塞控制问题,
其中,表示第t次迭代时数据流l流经节点i的拥塞价格因子,表示第t次迭代时数据流l流经汇聚节点的拥塞价格因子,xl(t)表示第t次迭代时的数据流l的总流量,表示经过节点i的数据流l的最优流量,argmin表示使目标函数取最小值时的变量值,x表示流量,λ为拉格朗日乘子,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
42)基于拥塞价格因子和干扰价格因子的值求解每个链接(i,j),i∈{V-D}的优化问题,即求解无线链接流量守恒及互干扰问题:
其中,表示第t次迭代时数据流l流经节点j的拥塞价格因子,表示第t次迭代时随机网络派系中的干扰价格因子,表示数据流l通过链接(i,j)的最优传输速率,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,表示数据流l流经节点j的拥塞价格因子,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵;
43)每个链接(i,j),i∈{V-D}根据步骤42)得到的第t-1次迭代最优传输速率以及如下公式更新拥塞价格因子的值,
其中和是公式(11)中定义的变量,表示在第t-1次迭代时数据流l通过链接(i,j)的传输速率,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,表示第t次迭代时从节点i输出的输出流量,ρλ是对偶变量λ的步长,步长范围为0.01-0.1,当x是非负值时[.]+表示[x]+=x,否则[x]+=0;
44)感知节点i根据步骤42)在第t-1次迭代中更新的最优传输速率以及如下公式更新干扰价格因子的值,
其中和是公式(12)中定义的变量,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,ρε是对偶变量ε的步长,步长范围为0.01到0.1;
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
6.根据权利要求5所述的面向感知大数据重建的加速分布式优化算法,其特征在于,所述拥塞控制问题和无线链接流量守恒及互干扰问题的最优解求解方法具体为:
拥塞控制问题:基于拥塞控制问题L1(x,λ)的目标函数,感知节点i∈{V-D}的最优流量如公式(9)所示,根据拥塞价格因子和流量xl(t)的值,感知节点i∈{V-D}在第t次迭代处更新其数据流l,并且求解优化问题(9)的过程为:
利用低通滤波方法解决优化问题(9),感知节点i∈{V-D}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量为的最优估计,γ1为步长,步长范围为0.01-0.1,常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,表示第t次迭代后经过节点i的数据流l的总流量;
按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
无线链接流量守恒及互干扰问题:基于无线链接流量守恒及互干扰问题L2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子和干扰价格因子的值,每个链接(i,j)在第t次迭代处更新数据流l的传输速率,优化问题(10)的求解过程为:
求解函数L2(f,λ,ε)相对于变量的偏导数:
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,
链接(i,j)上的数据流l的传输速率更新为:
其中增广变量为的最优估计,γ2为步长,步长范围为0.01-0.1,表示在第t次迭代时数据流l通过链接(i,j)的传输速率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810736403.0A CN108934029B (zh) | 2018-07-06 | 2018-07-06 | 面向感知大数据重建的加速分布式优化算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810736403.0A CN108934029B (zh) | 2018-07-06 | 2018-07-06 | 面向感知大数据重建的加速分布式优化算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108934029A true CN108934029A (zh) | 2018-12-04 |
CN108934029B CN108934029B (zh) | 2021-09-24 |
Family
ID=64447720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810736403.0A Active CN108934029B (zh) | 2018-07-06 | 2018-07-06 | 面向感知大数据重建的加速分布式优化算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108934029B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111614571A (zh) * | 2020-04-26 | 2020-09-01 | 北京邮电大学 | 一种分布式的关键型任务端到端时延优化方法及系统 |
CN113411821A (zh) * | 2021-06-18 | 2021-09-17 | 北京航空航天大学 | 一种复杂网络的体系重构能力测评方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090254572A1 (en) * | 2007-01-05 | 2009-10-08 | Redlich Ron M | Digital information infrastructure and method |
CN102843219A (zh) * | 2012-09-07 | 2012-12-26 | 西安交通大学 | 协作多点联合传输中鲁棒的和速率优化预编码方法 |
CN103684850A (zh) * | 2013-11-25 | 2014-03-26 | 浙江大学 | 基于服务邻域的Web Service服务质量预测方法 |
CN103716262A (zh) * | 2012-10-09 | 2014-04-09 | 王晓安 | 基于时域参数提取的信道估计方法 |
US20140265574A1 (en) * | 2013-03-15 | 2014-09-18 | Dominion Resources, Inc. | Management of energy demand and energy efficiency savings from voltage optimization on electric power systems using ami-based data analysis |
US20140343695A1 (en) * | 2013-05-17 | 2014-11-20 | Mitsubishi Electric Research Laboratories, Inc. | MPC Controller Using Parallel Quadratic Programming |
US20150110357A1 (en) * | 2013-10-17 | 2015-04-23 | Xerox Corporation | Detecting multi-object anomalies utilizing a low rank sparsity model |
US20150163087A1 (en) * | 2013-12-05 | 2015-06-11 | Riverbed Technology, Inc. | Transparently intercepting and optimizing resource requests |
CN105760959A (zh) * | 2016-02-24 | 2016-07-13 | 武汉大学 | 一种基于两阶段萤火虫编码的机组组合优化方法 |
CN106548016A (zh) * | 2016-10-24 | 2017-03-29 | 天津大学 | 基于张量时域相关性分解模型的时间序列分析方法 |
-
2018
- 2018-07-06 CN CN201810736403.0A patent/CN108934029B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090254572A1 (en) * | 2007-01-05 | 2009-10-08 | Redlich Ron M | Digital information infrastructure and method |
CN102843219A (zh) * | 2012-09-07 | 2012-12-26 | 西安交通大学 | 协作多点联合传输中鲁棒的和速率优化预编码方法 |
CN103716262A (zh) * | 2012-10-09 | 2014-04-09 | 王晓安 | 基于时域参数提取的信道估计方法 |
US20140265574A1 (en) * | 2013-03-15 | 2014-09-18 | Dominion Resources, Inc. | Management of energy demand and energy efficiency savings from voltage optimization on electric power systems using ami-based data analysis |
US20140343695A1 (en) * | 2013-05-17 | 2014-11-20 | Mitsubishi Electric Research Laboratories, Inc. | MPC Controller Using Parallel Quadratic Programming |
US20150110357A1 (en) * | 2013-10-17 | 2015-04-23 | Xerox Corporation | Detecting multi-object anomalies utilizing a low rank sparsity model |
CN103684850A (zh) * | 2013-11-25 | 2014-03-26 | 浙江大学 | 基于服务邻域的Web Service服务质量预测方法 |
US20150163087A1 (en) * | 2013-12-05 | 2015-06-11 | Riverbed Technology, Inc. | Transparently intercepting and optimizing resource requests |
CN105760959A (zh) * | 2016-02-24 | 2016-07-13 | 武汉大学 | 一种基于两阶段萤火虫编码的机组组合优化方法 |
CN106548016A (zh) * | 2016-10-24 | 2017-03-29 | 天津大学 | 基于张量时域相关性分解模型的时间序列分析方法 |
Non-Patent Citations (3)
Title |
---|
卓林超; 王堃: "大数据中面向乱序数据的改进型BP算法", 《系统工程理论与实践》 * |
孙知信;陈思光;陈松乐;赵学健: "大数据压缩编码与寻址关键技术及其应用", 《科技成果》 * |
蒋晨晨; 季一木; 孙雁飞; 王汝传: "基于Storm的面向大数据实时流查询系统设计研究", 《南京邮电大学学报(自然科学版)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111614571A (zh) * | 2020-04-26 | 2020-09-01 | 北京邮电大学 | 一种分布式的关键型任务端到端时延优化方法及系统 |
CN111614571B (zh) * | 2020-04-26 | 2022-03-04 | 北京邮电大学 | 一种分布式的关键型任务端到端时延优化方法及系统 |
CN113411821A (zh) * | 2021-06-18 | 2021-09-17 | 北京航空航天大学 | 一种复杂网络的体系重构能力测评方法及系统 |
CN113411821B (zh) * | 2021-06-18 | 2021-12-03 | 北京航空航天大学 | 一种复杂网络的体系重构能力测评方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108934029B (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | A green and reliable communication modeling for industrial internet of things | |
Giridhar et al. | Toward a theory of in-network computation in wireless sensor networks | |
CN105025498A (zh) | 基于网络编码与压缩感知的传感网络分簇式空时压缩方法 | |
Cheng et al. | Efficient data collection with sampling in WSNs: making use of matrix completion techniques | |
CN106304191A (zh) | 一种基于分簇结构无线传感器网络的数据接收方法及装置 | |
CN108934029A (zh) | 面向感知大数据重建的加速分布式优化算法 | |
CN103889020A (zh) | 一种基于动态路由的无线传感网络系统及其方法 | |
CN106604211B (zh) | 一种基于传感器网络的分层式自适应空时压缩方法 | |
CN102740394B (zh) | 中心计算的无线传感器网络2-不相交路径路由算法 | |
CN103346864B (zh) | 一种适合无线分布式感知系统的数据处理方法及系统 | |
De Souza et al. | An exploration of aggregation convergecast scheduling | |
CN103974268B (zh) | 精细粒度可调的低延时传感器网络数据传输方法 | |
CN102938685A (zh) | 一种基于变长编码的无线传感器网络数据压缩方法 | |
CN104539535A (zh) | 一种数据传输路径确定方法及装置 | |
Chen et al. | Fog computing based optimized compressive data collection for big sensory data | |
Liu et al. | Optimal topological design for distributed estimation over sensor networks | |
CN101835233A (zh) | 面向无线传感器网络的随机路由的选择方法 | |
CN105357115B (zh) | 一种基于异步背压式路由与调度的网络效用最大化方法 | |
CN102946443B (zh) | 一种实现大规模数据传输的多任务调度方法 | |
Han et al. | A data gathering algorithm based on compressive sensing in lossy wireless sensor networks | |
CN104168603B (zh) | 基于压缩感知技术的具有高能效的数据采集树的构造方法 | |
Tahmassebpour | Methods and algorithms of capacity calculation and increase throughput in wireless sensor networks base of ZigBee: A survey | |
CN108990128B (zh) | 移动网络中基于移动感知的路由设计方法 | |
CN104661236A (zh) | 一种无线多跳网络建模方法及仿真平台 | |
Asonye et al. | Realizing an IoT-Based Home Area Network Model Using ZigBee in the Global Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |