CN108934029B - 面向感知大数据重建的加速分布式优化算法 - Google Patents
面向感知大数据重建的加速分布式优化算法 Download PDFInfo
- Publication number
- CN108934029B CN108934029B CN201810736403.0A CN201810736403A CN108934029B CN 108934029 B CN108934029 B CN 108934029B CN 201810736403 A CN201810736403 A CN 201810736403A CN 108934029 B CN108934029 B CN 108934029B
- Authority
- CN
- China
- Prior art keywords
- node
- link
- representing
- flow
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 56
- 230000001133 acceleration Effects 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000009977 dual effect Effects 0.000 claims abstract description 27
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims description 92
- 230000006870 function Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000001953 sensory effect Effects 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000036039 immunity Effects 0.000 abstract 1
- 238000011084 recovery Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种面向感知大数据重建的加速分布式优化算法,首先构建感知大数据的重构误差最小化模型;基于拉格朗日乘子构造原始优化问题和相应的对偶问题;利用双重分解法将原始优化问题进行分解;采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解;实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题;证明了所提出的加速分布式优化算法的可收敛性,并且该算法有着对网络规模的免疫性。
Description
技术领域
本发明属于无线通信网络技术领域,具体涉及一种面向感知大数据重建的加速分布式优化算法。
背景技术
在感知大数据时代,感知数据的数量通过无处不在的无线传感设备高速生长,并且超出了传统无线传感器网络的处理和管理能力。因此,我们称现在的传感器网络为无线感知大数据网络,它能有效地组织和管理感知大数据。
处理大量感知数据的主要挑战之一是数据量越来越大,导致存储设备无法跟上感知数据生产速度的增长。
目前,解决数据规模与存储容量之间增长速率不匹配问题有两种方法,这两种方法的共同目标是减少数据传输和存储容量。
一种方法是关键数据点检索方法,另一种是纯数据压缩方法;虽然前一种方法可以显著减少感知大数据的传输量,但恢复精度不如第二种方法;第二种方法的典型代表是基于压缩感知(Compressed Sensing,CS)的压缩方法,CS将计算负担转移到汇聚节点,并且可以有效地探索时空数据的相关性,在感知大数据网络中得以成功应用。
总体来说,解决数据规模和存储容量之间增长速率不匹配问题存在两个挑战,一个是无法达到高精度的数据质量标准;另一个是不能满足低延迟的要求。
面对上述两个挑战,即现有技术在提高恢复性能方面的问题以及在解决优化问题时无法满足低时延的问题,现有技术主要解决以上单一挑战。
根据具有不同数据恢复精度的压缩方案,现有技术可以分为以下三类:
第一类调查数据压缩方法以减轻存储负担,该方案通过设计不同的数据压缩方案,有效减少传输和接收数量,通过压缩数据来缓解增加感知大数据的增长的存储压力,但是恢复精度仍有待提高;
第二类是通过优化CS理论的内部参数来研究数据恢复精度的提高方法,该方案通过考虑测量矩阵和稀疏字典之间的相关性,提出优化测量矩阵,可以提高原始数据的重建质量;
第三类是通过引入网络资源优化来实现数据恢复精度的提高,目前,对于从网络资源角度提高恢复性能的研究还很少,虽然一些技术提出了网络效用最大化问题来提高压缩数控流的恢复性能,但它是解决无线干扰问题的有线网络场景;现有技术消除了上述的无线干扰问题,并从网络资源分配的角度构造重构误差优化模型,可以最大限度地减少原始数据的恢复错误;一般来说,某些特定的业务需要实时处理能力,如自然灾害检测、军事防御、火灾探测、交通监控等,然而,迭代确定最优解的收敛速度难以满足采用传统次梯度算法的实时或近实时的要求。
发明内容
本发明的目的在于提高感知大数据的重建精度,提出一种面向感知大数据重建的加速分布式优化算法,实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题。
本发明采用如下技术方案,一种面向感知大数据重建的加速分布式优化算法,具体步骤如下:
1)构建感知大数据的重构误差R(xl)最小化模型;
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题;
3)利用双重分解法将原始优化问题进行分解;
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解。
优选地,所述步骤1)中感知大数据的重构误差最小化模型具体为:
数据流l中感知大数据的重构误差函数R(xl)为,
R(xl)=C1(xl)-2α
其中常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
其中,f表示传输速率,G表示群流;表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点;Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,表示节点j到其附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,表示从节点i输出的输出流量;E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,Cij表示链接(i,j)的相关容量能力;
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量的值定义如下:
帧内编码可以激发同一链接中不同感知节点的相同流量,通过一起编码来共享链接量。
链接(i,j)上所有数据流l∈G的传输速率总和不超过链接(i,j)的相关容量能力Cij,即:
优选地,所述步骤2)的具体步骤为:
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,为数据流l流经节点i的拥塞价格因子,为一组随机网络派系中的干扰价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,G表示群流,Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,V表示感知节点和汇聚节点,V-D表示感知节点,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,Cij表示链接(i,j)的相关容量能力,表示数据流l通过链接(i,j)的路由矩阵;表示从节点i输出的输出流量,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通;
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0 (6)
优选地,所述步骤3)具体为将原始优化问题分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
其中,x表示流量,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
无线链接流量守恒及互干扰问题为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵。
优选地,所述步骤4)构建加速优化算法进行求解具体为:
其中,表示第t次迭代时数据流l流经节点i的拥塞价格因子,表示第t次迭代时数据流l流经汇聚节点的拥塞价格因子,xl(t)表示第t次迭代时的数据流l的总流量,表示经过节点i的数据流l的最优流量,argmin表示使目标函数取最小值时的变量值,x表示流量,λ为拉格朗日乘子,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
其中,表示第t次迭代时数据流l流经节点j的拥塞价格因子,表示第t次迭代时随机网络派系中的干扰价格因子,表示数据流l通过链接(i,j)的最优传输速率,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,表示数据流l流经节点j的拥塞价格因子,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵;
其中和是公式(11)中定义的变量,表示在第t-1次迭代时数据流l通过链接(i,j)的传输速率,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,表示第t次迭代时从节点i输出的输出流量,ρλ是对偶变量λ的步长,步长范围为0.01-0.1,当x是非负值时[.]+表示[x]+=x,否则[x]+=0;
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
优选地,所述拥塞控制问题和无线链接流量守恒及互干扰问题的最优解求解方法具体为:
拥塞控制问题:基于拥塞控制问题L1(x,λ)的目标函数,感知节点i∈{V-D}的最优流量如公式(9)所示,根据拥塞价格因子 和流量xl(t)的值,感知节点i∈{V-D}在第t次迭代处更新其数据流l,并且求解优化问题(9)的过程为:
利用低通滤波方法解决优化问题(9),感知节点i∈{V-D}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量为的最优估计,γ1为步长,步长范围为0.01-0.1,常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,表示第t次迭代后经过节点i的数据流l的总流量;
按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
无线链接流量守恒及互干扰问题:基于无线链接流量守恒及互干扰问题L2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子 和干扰价格因子的值,每个链接(i,j)在第t次迭代处更新数据流l的传输速率,优化问题(10)的求解过程为:
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,
链接(i,j)上的数据流l的传输速率更新为:
发明所达到的有益效果:本发明是一种面向感知大数据重建的加速分布式优化算法,实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题;本发明可用于具有相似网络拓扑的不同尺寸的网络,相比于常规方法,本发明设计方法可以稳定收敛到最优值,并且可以显着提高常规优化算法的收敛速度,本发明可将传统优化求解算法的收敛速度从O(1/t)提升到O(1/t^2),O(n)表示时间复杂度,n=1/t到n=1/t^2表示整个求解算法耗时从1/t缩短到1/t^2,,而且可适用于不同规模大小的网络,不会牺牲加速收敛效果。
附图说明
图1为本发明实施例感知大数据重建优化模型的求解步骤流程图;
图2为具有12个节点的网络拓扑中步长为0.06时流率的演变图;
图3为具有12个节点的网络拓扑中步长为0.06时恢复误差的演变图;
图4为具有12个节点的网络拓扑中步长为0.04时流率演变图;
图5为具有12个节点的网络拓扑中步长为0.04时恢复误差的演变图;
图6为步长相同时20个节点和30个节点的网络规模下的流率演变图;
图7为步长相同时20个节点和30个节点的网络规模下的恢复误差演变图。
具体实施方式
下面根据附图并结合实施例对本发明的技术方案作进一步阐述。
首先,构建一个感知大数据网络,其中汇聚节点负责收集感知节点观察到的感知数据。整个网络有许多感知节点,每个感知节点通过CS理论同时实现对原始数据的压缩和采样。感知节点向汇聚节点(sink节点)发送采样数据,同时作为中继节点转发来自其他感知节点的数据。线性网络编码(Network Coding,NC)在感知节点转发其自身和传入数据之前执行。最后,汇聚节点通过一跳或多跳从所有感知节点接收编码数据。
同一个时隙内不同感知节点的观察数据被认为是同一个数据流,在模型中只执行内流NC,即只对相同流量的数据进行随机NC操作。
随后,假设来自感知节点的采样数据通过多个链接传播到相邻节点,并通过预定路由转发到汇聚节点。对于通信覆盖的重叠,存在不同环节的相互干扰,因此引入作为基本冲突集合的派系。派系是由相互干扰的链接组成的,派系中同一时隙只有一个链接可以传输数据,以避免相互干扰。集合EC由网络中的所有派系组成,即随机派系是EC的一个元素。
制定优化模型以最大限度地减少来自感知大数据网络的多组数据流G的重构误差。当CS的测量矩阵具有有限等距性质(Restricted Isometry Property,RIP)时,已知CS的恢复精度重构算法在现有的CS理论文献中与汇聚节点接收到的测量值和感知数据的稀疏水平相关联。从J.Haupt和R.Nowak,的文章中得到数据流l∈G中感知数据的平均重建误差上限为的常数倍,其中n表示汇聚节点接收到的测量值,N表示原始感知数据的长度,αl表示数据流中感知数据的稀疏水平。
图1为求解感知大数据重建优化模型的步骤流程图,根据网络模型,测试中提供了三种不同大小的相似网络拓扑,以测试加速优化算法的收敛和加速效果。这三种网络拓扑结构分别由12个,20个和30个节点组成。一种面向感知大数据重建的加速分布式优化算法,包括以下步骤:
1)构建感知大数据的重构误差最小化模型;
在感知大数据的时间维度上,假设来自群流G的不同数据流在一定的基础上都是可压缩的数据,而来自G的不同数据流具有相同的可压缩程度,数据流l中感知大数据的重构误差函数R(xl)为,
R(xl)=C1(xl)-2α
其中常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
其中,f表示传输速率,G表示群流;表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点;Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,表示节点j到其附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,表示从节点i输出的输出流量;E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,Cij表示链接(i,j)的相关容量能力;统一不同优化问题的步长,不同链接的传输比例均设置为0.9,常数C1和α的值分别设为1和0.7;
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量的值定义如下:
帧内编码可以激发同一链接中不同感知节点的相同流量,通过一起编码来共享链接量。
链接(i,j)上所有数据流l∈G的传输速率总和不超过链接(i,j)的相关容量能力Cij,即:
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题;
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,为数据流l流经节点i的拥塞价格因子,为一组随机网络派系中的干扰价格因子,它们的初始值都定义为1,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,G表示群流,Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,V表示感知节点和汇聚节点,V-D表示感知节点,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,对于不同节点,传输速率的初始值定义为0.2或0.4,Cij表示链接(i,j)的相关容量能力,Cij设置为1.5,表示数据流l通过链接(i,j)的路由矩阵;表示从节点i输出的输出流量,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通;
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0. (6)
3)利用双重分解法将原始优化问题进行分解;
根据拉格朗日函数的可分性和D(λ,ε)的陈述,D(λ,ε)可以分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
其中,x表示流量,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
无线链接流量守恒及互干扰问题为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵。
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解。
其中,表示第t次迭代时数据流l流经节点i的拥塞价格因子,表示第t次迭代时数据流l流经汇聚节点的拥塞价格因子,xl(t)表示第t次迭代时的数据流l的总流量,表示经过节点i的数据流l的最优流量,argmin表示使目标函数取最小值时的变量值,x表示流量,λ为拉格朗日乘子,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
基于拥塞控制问题L1(x,λ)的目标函数,感知节点i∈{V-D}的最优流量如公式(9)所示,根据拥塞价格因子和流量xl(t)的值,感知节点i∈{V-D}在第t次迭代处更新其数据流l,并且求解优化问题(9)的过程为:
利用低通滤波方法解决优化问题(9),感知节点i∈{V-D}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量为的最优估计,γ1为步长,步长范围为0.01-0.1,常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,表示第t次迭代后经过节点i的数据流l的总流量;
最后将所有节点流量汇聚到汇聚节点,按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
其中,表示第t次迭代时数据流l流经节点j的拥塞价格因子,表示第t次迭代时随机网络派系中的干扰价格因子,表示数据流l通过链接(i,j)的最优传输速率,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,表示数据流l流经节点j的拥塞价格因子,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵;
基于无线链接流量守恒及互干扰问题L2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子和干扰价格因子的值,每个链接(i,j)在第t次迭代处更新数据流l的传输速率,优化问题(10)的求解过程为:
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,链接(i,j)上的数据流l的传输速率更新为:
其中和是公式(11)中定义的变量,表示在第t-1次迭代时数据流l通过链接(i,j)的传输速率,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,表示第t次迭代时从节点i输出的输出流量,ρλ是对偶变量λ的步长,步长范围为0.01-0.1,当x是非负值时[.]+表示[x]+=x,否则[x]+=0;
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
结合图2,3可以看出,在具有12个节点的网络拓扑结构中,步长为0.06时,常规方法和本发明方法流量的流速随迭代次数逐渐收敛,但显然本发明方法的迭代次数半于常规方法,能够显著提高一般优化算法的收敛速度。当流量接近最优值时,恢复误差(原问题的目标函数)也收敛到相应的最优值。这也意味着通过采用所提出的加速方法,重建误差可以被快速地最小化并且获得低延迟。
根据图4,5可知,在同等规模的拓扑结构中,将步长减为0.04时,虽然加速方法的收敛速度变慢但是与常规方法相比效果依然显著。同时观察到步长大小与收敛速度成正相关,所以使用时仍需自适应地选择步长,并通过实现最优解的收敛速度和精度之间的权衡来设置合适的大小。
由图6,7可以看出,常规方法和本发明设计方法在20、30个节点的拓扑网络结构中,步长相同时,不同网络规模的收敛值对于使用类似的网络拓扑是近似的,加速方法的性能效果对网络规模从20节点到30节点的变化不敏感。
Claims (2)
1.一种面向感知大数据重建的加速分布式优化算法,其特征在于,包括以下步骤:
1)构建感知大数据的重构误差R(xl)最小化模型,其中,感知大数据的重构误差最小化模型具体为:
数据流l中感知大数据的重构误差函数R(xl)为,
R(xl)=C1(xl)-2α
其中常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
其中,f表示传输速率,G表示群流;表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点;Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,表示节点j到其附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,表示从节点i输出的输出流量;E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,Cij表示链接(i,j)的相关容量能力;
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量的值定义如下:
链接(i,j)上所有数据流l∈G的传输速率总和不超过链接(i,j)的相关容量能力Cij,即:
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题,具体为:
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,为数据流l流经节点i的拥塞价格因子,为一组随机网络派系中的干扰价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,G表示群流,Pij表示链接(i,j)的传输比例,Pji表示链接(j,i)的传输比例,E表示网络链接,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,V表示感知节点和汇聚节点,V-D表示感知节点,表示数据流l通过链接(i,j)的传输速率,表示数据流l通过链接(j,i)的传输速率,Cij表示链接(i,j)的相关容量能力,表示数据流l通过链接(i,j)的路由矩阵;表示从节点i输出的输出流量,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通;
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0 (6);
3)利用双重分解法将原始优化问题进行分解,具体为:
将原始优化问题分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
其中,x表示流量,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经节点j的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
无线链接流量守恒及互干扰问题为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵;
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解,具体为:
其中,表示第t次迭代时数据流l流经节点i的拥塞价格因子,表示第t次迭代时数据流l流经汇聚节点的拥塞价格因子,xl(t)表示第t次迭代时的数据流l的总流量,表示经过节点i的数据流l的最优流量,argmin表示使目标函数取最小值时的变量值,x表示流量,λ为拉格朗日乘子,R为重构误差函数,为数据流l流经节点i的拥塞价格因子,表示数据流l流经汇聚节点的拥塞价格因子,表示经过节点i的数据流l的总流量,V表示感知节点和汇聚节点,V-D表示感知节点;
其中,表示第t次迭代时数据流l流经节点j的拥塞价格因子,表示第t次迭代时随机网络派系中的干扰价格因子,表示数据流l通过链接(i,j)的最优传输速率,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,为一组随机网络派系中的干扰价格因子,Pij表示链接(i,j)的传输比例,EC表示一组网络派系,随机网络派系是网络派系EC的一个元素,表示数据流l通过链接(i,j)的传输速率,表示数据流l流经节点j的拥塞价格因子,Cij表示链接(i,j)的相关容量能力,表示节点j到节点j附近节点的接通情况,表示链接(i,j)接通,表示链接(i,j)没有接通,表示数据流l通过链接(i,j)的路由矩阵;
其中和是公式(11)中定义的变量,表示在第t-1次迭代时数据流l通过链接(i,j)的传输速率,的值是按照步骤42)在第t-1次迭代后得到的数据流l通过链接(i,j)的最优传输速率,表示第t次迭代时从节点i输出的输出流量,ρλ是对偶变量λ的步长,步长范围为0.01-0.1,当x是非负值时[.]+表示[x]+=x,否则[x]+=0;
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
2.根据权利要求1所述的面向感知大数据重建的加速分布式优化算法,其特征在于,所述拥塞控制问题和无线链接流量守恒及互干扰问题的最优解求解方法具体为:
拥塞控制问题:基于拥塞控制问题L1(x,λ)的目标函数,感知节点i∈{V-D}的最优流量如公式(9)所示,根据拥塞价格因子和流量的值,感知节点i∈{V-D}在第t次迭代处更新其数据流l,并且求解优化问题(9)的过程为:
利用低通滤波方法解决优化问题(9),感知节点i∈{V-D}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量为的最优估计,γ1为步长,步长范围为0.01-0.1,常数C1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,表示第t次迭代后经过节点i的数据流l的总流量;
按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
无线链接流量守恒及互干扰问题:基于无线链接流量守恒及互干扰问题L2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子和干扰价格因子的值,每个链接(i,j)在第t次迭代处更新数据流l的传输速率,优化问题(10)的求解过程为:
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,
链接(i,j)上的数据流l的传输速率更新为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810736403.0A CN108934029B (zh) | 2018-07-06 | 2018-07-06 | 面向感知大数据重建的加速分布式优化算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810736403.0A CN108934029B (zh) | 2018-07-06 | 2018-07-06 | 面向感知大数据重建的加速分布式优化算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108934029A CN108934029A (zh) | 2018-12-04 |
CN108934029B true CN108934029B (zh) | 2021-09-24 |
Family
ID=64447720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810736403.0A Active CN108934029B (zh) | 2018-07-06 | 2018-07-06 | 面向感知大数据重建的加速分布式优化算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108934029B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111614571B (zh) * | 2020-04-26 | 2022-03-04 | 北京邮电大学 | 一种分布式的关键型任务端到端时延优化方法及系统 |
CN113411821B (zh) * | 2021-06-18 | 2021-12-03 | 北京航空航天大学 | 一种复杂网络的体系重构能力测评方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102843219A (zh) * | 2012-09-07 | 2012-12-26 | 西安交通大学 | 协作多点联合传输中鲁棒的和速率优化预编码方法 |
CN103684850A (zh) * | 2013-11-25 | 2014-03-26 | 浙江大学 | 基于服务邻域的Web Service服务质量预测方法 |
CN103716262A (zh) * | 2012-10-09 | 2014-04-09 | 王晓安 | 基于时域参数提取的信道估计方法 |
CN105760959A (zh) * | 2016-02-24 | 2016-07-13 | 武汉大学 | 一种基于两阶段萤火虫编码的机组组合优化方法 |
CN106548016A (zh) * | 2016-10-24 | 2017-03-29 | 天津大学 | 基于张量时域相关性分解模型的时间序列分析方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8468244B2 (en) * | 2007-01-05 | 2013-06-18 | Digital Doors, Inc. | Digital information infrastructure and method for security designated data and with granular data stores |
US9553453B2 (en) * | 2013-03-15 | 2017-01-24 | Dominion Resources, Inc. | Management of energy demand and energy efficiency savings from voltage optimization on electric power systems using AMI-based data analysis |
US9618912B2 (en) * | 2013-05-17 | 2017-04-11 | Mitsubishi Electric Research Laboratories, Inc. | MPC controller using parallel quadratic programming |
US9317780B2 (en) * | 2013-10-17 | 2016-04-19 | Xerox Corporation | Detecting multi-object anomalies utilizing a low rank sparsity model |
US9825812B2 (en) * | 2013-12-05 | 2017-11-21 | Pulse Secure, Llc | Transparently intercepting and optimizing resource requests |
-
2018
- 2018-07-06 CN CN201810736403.0A patent/CN108934029B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102843219A (zh) * | 2012-09-07 | 2012-12-26 | 西安交通大学 | 协作多点联合传输中鲁棒的和速率优化预编码方法 |
CN103716262A (zh) * | 2012-10-09 | 2014-04-09 | 王晓安 | 基于时域参数提取的信道估计方法 |
CN103684850A (zh) * | 2013-11-25 | 2014-03-26 | 浙江大学 | 基于服务邻域的Web Service服务质量预测方法 |
CN105760959A (zh) * | 2016-02-24 | 2016-07-13 | 武汉大学 | 一种基于两阶段萤火虫编码的机组组合优化方法 |
CN106548016A (zh) * | 2016-10-24 | 2017-03-29 | 天津大学 | 基于张量时域相关性分解模型的时间序列分析方法 |
Non-Patent Citations (3)
Title |
---|
基于Storm的面向大数据实时流查询系统设计研究;蒋晨晨; 季一木; 孙雁飞; 王汝传;《南京邮电大学学报(自然科学版)》;20160629;全文 * |
大数据中面向乱序数据的改进型BP算法;卓林超; 王堃;《系统工程理论与实践》;20140625;全文 * |
大数据压缩编码与寻址关键技术及其应用;孙知信;陈思光;陈松乐;赵学健;《科技成果》;20141201;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108934029A (zh) | 2018-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cheng et al. | STCDG: An efficient data gathering algorithm based on matrix completion for wireless sensor networks | |
Nguyen et al. | Compressive sensing based random walk routing in wireless sensor networks | |
Pattem et al. | The impact of spatial correlation on routing with compression in wireless sensor networks | |
Hou et al. | Rate allocation and network lifetime problems for wireless sensor networks | |
Chen et al. | Compressive network coding for wireless sensor networks: Spatio-temporal coding and optimization design | |
CN108934029B (zh) | 面向感知大数据重建的加速分布式优化算法 | |
CN102202349B (zh) | 基于自适应最优消零的无线传感器网络数据压缩方法 | |
Wang et al. | A UAV-assisted topology-aware data aggregation protocol in WSN | |
CN105554888A (zh) | 基于链路多速率的多射频多信道无线Mesh网络信道分配算法 | |
CN107147433A (zh) | 基于半张量积压缩感知模型的确定性随机观测阵构造方法 | |
Zhang et al. | Compressive sensing and random walk based data collection in wireless sensor networks | |
Cai et al. | Optimal max-min fairness rate control in wireless networks: Perron-Frobenius characterization and algorithms | |
Tian et al. | Massive unsourced random access over Rician fading channels: Design, analysis, and optimization | |
CN108366394A (zh) | 基于时空压缩网络编码的高能效无线传感网数据传输方法 | |
Enam et al. | An adaptive data aggregation technique for dynamic cluster based wireless sensor networks | |
Wu et al. | Routing algorithm based on social relations in opportunistic networks | |
Roumy et al. | Optimal matching in wireless sensor networks | |
CN103368586A (zh) | 面向深空探测多媒体业务的独立窗不等保护喷泉编码方法 | |
CN101809873B (zh) | 用于多描述编码的方法和设备 | |
CN111182488A (zh) | 一种基于时间信道的溯源数据节能传输方法 | |
Han et al. | A data gathering algorithm based on compressive sensing in lossy wireless sensor networks | |
CN101808383A (zh) | 面向矩阵式无线传感器网络的随机路由的选择方法 | |
CN103686916A (zh) | 一种基于剩余能量和期望传输次数的工业无线传感网多路径数据传输方法 | |
Manuel et al. | Energy-efficient Data Aggregation in Low-power Wireless Networks with Sensors of Discrete Transmission Ranges: A Mathematical Framework for Network Design | |
Jonckheere et al. | Large deviations for the stationary measure of networks under proportional fair allocations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |