CN109995448A - 具有缺失值和稀疏异常值下的长期频谱预测方法 - Google Patents
具有缺失值和稀疏异常值下的长期频谱预测方法 Download PDFInfo
- Publication number
- CN109995448A CN109995448A CN201910148807.2A CN201910148807A CN109995448A CN 109995448 A CN109995448 A CN 109995448A CN 201910148807 A CN201910148807 A CN 201910148807A CN 109995448 A CN109995448 A CN 109995448A
- Authority
- CN
- China
- Prior art keywords
- tensor
- filled
- sparse
- matrix
- missing values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/373—Predicting channel quality or other radio frequency [RF] parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
Abstract
本发明提供了一种具有缺失值和稀疏异常值下的长期频谱预测方法,通过采集历史频谱数据构造三阶张量模型,将长期频谱预测问题转化为鲁棒性张量恢复问题,并提出新的鲁棒性张量恢复算法。本发明的优点在于:通过求解秩和稀疏最小化优化问题实现从观测数据中补全缺失值并分离异常值,通过预填充技术将长期频谱预测问题转化为鲁棒性张量恢复问题,有效避免了缺失值对频谱预测带来的影响;通过交替迭代的方式使新数据张量不断收敛于理想的没有缺失值和异常值的数据张量,而预填充基于新数据张量进行对应预测值的不断更新,因此由预填充得到的预测值也随之变得更加精确,有效削减异常值和缺失值对于预填充数据序列内部规律性的破坏。
Description
技术领域
本发明涉及无线电信号预测技术领域,尤其涉及一种具有缺失值和稀疏异常 值下的长期频谱预测方法。
背景技术
随着5G时代的到来,各领域的用频设备出现了爆炸式的增长,对频谱资源 的需求与日俱增。频谱资源的有限性与需求的急速增长之间的矛盾日益凸显,高 效智能的频谱管控显得尤为重要。传统无线业务独占频谱导致频谱资源利用率 低,新型的无线业务如5G、物联网更是加剧了频谱赤字。而基于频谱感知的动 态频谱接入技术能够在不干扰初级用户用频的情况下提升次级用户在相应频段 的动态接入机会,从而大大提升用频系统的吞吐量。然而,频谱感知需要大量的 信号检测和收集设备进行实时的频谱数据采集,从而为频谱数据分析和关键信息 提取提供数据基础,但这难免会引起大量的能量消耗。而且,频谱信息的采集受 限于设备自身的性能从而引起时延。相比之下,频谱预测能够利用历史频谱数据 来预测未来的频谱状态,有效减少了能量消耗和处理时延,从而提升频谱接入的吞吐量。作为频谱感知的互补技术,频谱预测技术已经受到了越来越多的关注和 研究。
传统的频谱预测多是基于时间序列预测技术,利用频谱数据的时域相关性进 行下个时间快拍的频谱状态预测。但这些预测方法均需要历史频谱数据的完整 性,且没有利用到频谱数据的频域相关性,只能实现较短时间内的单时间快拍预 测。后来,研究者对频谱数据的时域和频域相关性进行了探究,发现频谱数据在 时域和频域均有很强的相关性,并基于此构造出了频谱数据的二维时频矩阵模 型,得出了该矩阵具有近似低秩的性质。
通过结合传统的时间序列预测技术和矩阵填充理论,提出了时频联合频谱预 测方法并实现了不同频点下未来时间快拍频谱状态的同时预测。但这些方法均只 能实现短期的频谱预测。作为频谱预测技术未来的发展趋势,长期频谱预测仍处 于起步阶段。
对于一个频谱张量它的阶数是N,各个维度上的大小分别为 I1、I2、…、IN,如果张量的每一个维度代表一种信息,任何N维的数据都可以用 N阶张量来表示,为了实现有效的长期频谱预测,需要将具有缺失值和稀疏异常 值的历史频谱数据构建成时-频-天三阶张量模型,如图1所示,历史频谱数据构 成张量其中T为时间快拍总数,F为频点总数,D代表天数。将张 量放置于三维坐标系中,X轴代表时间,Y轴代表频率,Z轴代表天。对于大 规模频谱数据,其时域和频域均存在较强的相关性。而时-频-天频谱张量沿着Z 轴进行展开会得到时间跨度持续数天的时-频数据矩阵,因而张量的内部数据 间也存在较强的相关性,这使得时-频-天频谱张量具有近似低秩的性质。但在频 谱数据的收集过程中,难免存在数据采集失败,传输丢失以及恶意干扰等问题, 导致收集到的历史频谱数据中不仅存在缺失值,还可能存在稀疏的异常值。
对于频谱预测的现有方案中,只有LSP-TC算法实现了长期频谱预测。但该 算法结合了预填充技术和张量填充理论。而对于张量填充,其主要利用原始张量 的低秩性质实现从观测数据中补全缺失值。但是,当观测数据受到稀疏异常值的 污染时,张量的低秩结构就会被破坏,使得LSP-TC算法不再适用于该场景下的 长期频谱预测。
对于矩阵而言,我们可以通过研究奇异值分布来确定它的秩。但对于张量, 其秩的定义是基于CP(CANDECOMP/PARAFAC)分解,至今仍没有类似于矩阵 奇异值的定义,我们从张量沿各个模方向展开得到的矩阵的角度出发,通过研究 矩阵奇异值的分布状态间接的确定异常值对张量秩的影响。
对于张量如果它可以表示成N个非零向量 的外积,则被称为秩-1张量,即
若张量可以分解为R个秩-1张量,则其可以表示为:
其中,且由此,张量的秩可以定 义为:
沿着第n模方向,秩-R张量可以展开得到矩阵
其中,⊙代表Khatri-Rao积。
张量展开得到的矩阵的秩记作也称为张量的n-秩,若张 量满足则该张量也称为秩-(r1,r2,…,rN)张量,且N元数组 (r1,r2,…,rN)称为张量的多线性秩,根据上文可知即一个低 秩张量满足则张量的n模方向展开得到的矩阵也是低秩的,即相反,只要存在一个矩阵的秩比较大,则对应张量的秩也会很大,因此可以通过研究异常值对张量沿各个 模方向展开得到的矩阵秩的影响来确定异常值对张量低秩结构的影响。
在MATLAB中随机产生一个三阶张量用于秩分析,该张量是由 三个矩阵的外积产生,这三个矩阵中的所有 元素均服从均匀分布。由于矩阵U1、U2和U3的秩均不大于10,则张量的秩 也不大于10,满足低秩性质。
在张量中随机注入不同数目的异常值,这些异常值均匀分布在区间[0,10] 上,且异常值的数目占张量元素总数目的比例分别为5%,10%,15%和20%, 将没有异常值和注入不同比例异常值之后得到的张量分别沿各个模方向展开得 到相应的矩阵,并对这些矩阵分别进行奇异值分解,得到如图2、图3和图4所 示的奇异值分布图。
从图2可以看出,无论张量中注入多少比例的异常值,相应的矩阵均由起初 的秩为10变成秩为50,即满秩矩阵。图3和图4也是类似的结果,根据不等式可知,注入异常值之后,张量的秩由起初的不大于 10变成了50,由此可以得出:即使是稀疏的异常值,仍会对张量的低秩结构造 成严重的破坏。
因此对于采集到的具有稀疏异常值的频谱数据来说,现有的LSP-TC算法已 经不能满足长期频谱预测的需求。
发明内容
本发明所要解决的技术问题在于提供一种能够稳定高效的实现在具有缺失 值和稀疏异常值的情况下进行长期频谱预测的方法。
具有缺失值和稀疏异常值下的长期频谱预测方法,包括以下步骤:
步骤A:在具有缺失值和稀疏异常值的情况下,构建历史频谱数据的三阶观 测张量
步骤B:随机选取部分时间快拍t和频点f,构建由(t,f)组成用于预填充数 据的索引集合Φ,根据索引集合Φ对观测张量进行预填充得到预填充矩阵T', 构建得到适合长期频谱预测的预填充张量
步骤C:以预填充张量中所有具有数值的观测点对应的坐标索引建立采样 集合Ω,构造秩和稀疏最小化优化模型对预填充张量进行缺失值补全和异常 值分离;
步骤D:引入辅助张量 和构造迭代算法求解秩和稀疏最 小化优化模型,利用预填充张量设定k=0时的辅助张量初始值;
步骤E:根据迭代算法将辅助张量逐步进行更新得到并对更新得到的在索引集合Φ下进行预填充从而更新预填充预测值;
步骤F:利用迭代更新后的张量和预填充后的张量将更新 到 的更新步长为根据更新和k;
步骤G:判断迭代算法是否收敛,如果不收敛,重复步骤E~G,若收敛,则 输出的平均值。
优选地,步骤B所述的构建预填充张量的方法为:
将三阶观测张量置于三维坐标系中,X轴代表时间,Y轴代表频率,Z轴 代表天数,则观测张量能够表示为,其中T为时间快拍总数,F为频 点总数,D为天数;对于同一天所有频点和时间快拍上的频谱数据,构建二维时 -频矩阵其中d代表天数,且满足1≤d≤D,则观测张量能够表示 为:
对于固定的时间快拍t和频点f,选取每一天的频谱数据构建数据序列即
其中,tt,f,d,1≤d≤D表示第d天的频谱矩阵中时间快拍和频点分别为(t,f) 的点对应的频谱数值;则第D+1天的该点的预测值为:
其中,pred(·)为预测算子;对索引集合Φ中对应的数据序列预测其对应第 D+1天的频谱数据,其他未被选中的位置构建索引集合Φ的补集集合中 的点对应的第D+1天的频谱数据置零,由此构成预测矩阵T',引入观测张量在 索引集合Φ上的预填充算子prefΦ(·),令
对观测张量在索引集合Φ上执行预填充算子prefΦ(·),得到预填充矩阵 T',即
则预填充张量表示为:
优选地,步骤C所述的构造秩和稀疏最小化优化模型的方法为:
预填充张量为高维大规模数据,能够表示为引入理想状 态下的理想张量和异常值张量则:
预填充张量仅在采样集合Ω内的点上具有观测值,从而构造出秩和稀疏 最小化优化模型,通过求解以下优化模型能够从预填充张量中恢复理想张量
其中,||ε||0是异常值张量ε的L0范数,表示张量中非零元素的个数,且λ是 正数,异常值张量ε具有稀疏性;
函数rank(·)和范数||·||0均是非凸的,对于向量、矩阵和张量,范数||·||0能够用 凸包||·||1近似代替;对于矩阵而言,核范数||·||*是rank(·)的凸包,对于理想张量定义其核范数为:
其中,且代入公式(1)得到,
其中,矩阵由理想张量展开得到。
优选地,步骤E所述的求解秩和稀疏最小化优化模型的方法为:
公式(3)中矩阵之间具有较强的依赖性,不便于求解;引入辅助张量 和将公式(3)优化为,
公式(4)中的辅助张量相互独立,将公式(4)分解成N个相似的凸优化 问题,公式(4)的增广拉格朗日函数定义如下:
其中,μ=[μ1,μ2,…,μN]且为增广拉格朗日函数的正则化参 数,为拉格朗日乘数张量;增广拉格朗日函数中始终满足算符 表示张量和的内积,即
通过交替方向乘子法,交替更新和求解公式(5),得到
1)
2)
3)
4)
上述问题的求解基于下面两个优化问题的解,
其中对矩阵W进行奇异值分解得到W=USVT,Sε[x]是软阀值收缩算子, 定义为:
参考公式(6)和(7),得到变量和的闭式解,通过固定增广拉格 朗日函数的其余变量,寻找极值点得到张量的闭式解,各变量的闭式解如下:
其中, 代表张量沿第n模方向展开 得到的矩阵,代表将矩阵折叠成张量
优选地,步骤E中分别通过公式(9)和(10)将辅助张量更新到
所述的对辅助张量进行预填充的方法为:
即矩阵 N)中对应索引集合Φ位置上的元素被取代,而集合中对应的元素不变。
优选地,步骤F中分别通过公式(11)和公式(12)将辅助张量更 新到
优选地,ρ∈[1,1.2]。
优选地,步骤G所述的收敛的判断方法为:
引入收敛系数tol,当收敛系数tol满足以下关系时:
则认为迭代算法收敛,其中||.||F代表Frobenius范数,tol为经验值。
优选地,tol=10-3。
优选地,最终输出的理想张量的最优解为
本发明提供的具有缺失值和稀疏异常值下的长期频谱预测方法的优点在于: 通过求解秩和稀疏最小化优化问题实现从观测数据中补全缺失值并分离异常值, 通过预填充技术将具有缺失值和稀疏异常值的长期频谱预测问题转化为鲁棒性 张量恢复问题,有效避免了稀疏异常值对频谱预测带来的影响;通过交替迭代使 预填充得到的预测值不断的基于由鲁棒性张量恢复得到的新数据张量进行更新, 新数据张量不断收敛于理想的没有缺失值和异常值的数据张量,因此由预填充得 到的预测值也随着更新变的更加精确,有效削减异常值对用于预填充数据序列内 部规律性的破坏,也能削减缺失值带来的影响。
附图说明
图1是本发明的实施例所提供的长期频谱预测张量的构造流程图;
图2是本发明的背景技术中矩阵的奇异值分布图;
图3是本发明的背景技术中矩阵的奇异值分布图;
图4是本发明的背景技术中矩阵的奇异值分布图;
图5是本发明的实施例所提供的长期频谱预测方法的流程图;
图6是综合数据中无异常值情况下RLSP算法和LSP-TC算法的预测性能对 比图;
图7是综合数据中1%数目比例异常值下RLSP算法和LSP-TC算法的预测 性能对比图;
图8是综合数据中不同数目比例异常值下RLSP算法的预测误差对比图;
图9是收集到的第三天卫星频谱数据的色度图;
图10是卫星频谱数据中无异常值情况下RLSP算法和LSP-TC算法的预测 结果图;
图11是卫星频谱数据中5%数目比例异常值下RLSP算法和LSP-TC算法的 预测结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例, 并参照附图,对本发明作进一步的详细说明。
如图5所示,一种具有缺失值和稀疏异常之下的长期频谱预测方法,包括以 下步骤:
步骤A:在具有缺失值和稀疏异常值的情况下,构建历史频谱数据的三阶观 测张量
步骤B:随机选取部分时间快拍t和频点f,构建由(t,f)组成用于预填充数 据的索引集合Φ,根据索引集合Φ对观测张量进行预填充得到预填充矩阵T', 构建得到适合长期频谱预测的预填充张量
参考图1,将三阶观测张量置于三维坐标系中,X轴代表时间,Y轴代表 频率,Z轴代表天数,则观测张量能够表示为 ×D,其中T为时间快拍总 数,F为频点总数,D为天数;对于同一天所有频点和时间快拍上的频谱数据, 构建二维时-频矩阵,其中d代表天数,且满足1≤d≤D,则观测张量能够表示为:
对于固定的时间快拍t和频点f,选取每一天的频谱数据构建数据序列即
其中,tt,f,d,1≤d≤D表示第d天的频谱矩阵中时间快拍和频点分别为(t,f) 的点对应的频谱数值;则第D+1天的该点的预测值为:
其中,pred(·)为预测算子;对索引集合Φ中对应的数据序列预测其对应第 D+1天的频谱数据,其他未被选中的位置构建索引集合Φ的补集集合中 的点对应的第D+1天的频谱数据置零,由此构成预测矩阵T',引入观测张量在 索引集合Φ上的预填充算子prefΦ(·),令
对观测张量在索引集合Φ上执行预填充算子prefΦ(·),得到预填充矩阵 T',即
则预填充张量表示为:
步骤C:以预填充张量中所有具有数值的观测点对应的坐标索引建立采样 集合Ω,构造秩和稀疏最小化优化模型对预填充张量进行缺失值补全和异常 值分离;
预填充张量为高维大规模数据,能够表示为引入理想状 态下的理想张量和异常值张量则:
预填充张量仅在采样集合Ω内的点上具有观测值,根据上述分析构造秩 和稀疏最小化优化模型,通过求解优化模型实现从预填充张量中恢复理想张 量
其中,||ε||0是异常值张量ε的L0范数,表示张量中非零元素的个数,且λ是 正数,异常值张量ε具有稀疏性;
函数rank(·)和范数||·||0均是非凸的,对于向量、矩阵和张量,范数||·||0能够用 凸包||·||1近似代替;对于矩阵而言,核范数||·||*是rank(·)的凸包,对于理想张量定义其核范数为:
其中,且代入公式(1)得到,
其中,矩阵由理想张量展开得到。
步骤D:引入辅助张量 和构造迭代算法求解秩和稀疏最 小化优化模型,利用预填充张量设定k=0时的辅助张量初始值;
步骤(3)中各矩阵之间具有较强的依赖性,不便于求解;引入辅助张量 和将公式(3)优化为,
公式(4)中的辅助张量相互独立,将公式(4)分解成N个相似的凸优化 问题,公式(4)的增广拉格朗日函数定义如下:
其中,μ=[μ1,μ2,…,μN]且为增广拉格朗日函数的正则化参 数,为拉格朗日乘数张量;增广拉格朗日函数中始终满足算符 表示张量和的内积,即
通过交替方向乘子法,交替更新 和求解公式(5),得到
1)
2)
3)
4)
上述问题的求解基于下面两个优化问题的解,
其中对矩阵W进行奇异值分解得到W=USVT,Sε[x]是软阀值收缩算子, 定义为:
参考公式(6)和(7),得到变量和的闭式解,通过固定增广拉格 朗日函数的其余变量,寻找极值点得到张量的闭式解,各变量的闭式解如下:
其中, 代表张量沿第n模方向展开 得到的矩阵,代表将矩阵折叠成张量
步骤E:根据迭代算法中的公式(9)、(10)将辅助张量更新到
对辅助张量在索引集合Φ下进行预填充,
即 )中对应索引集合Φ位置上的元素被取代, 而集合中对应的元素不变。
步骤F:利用迭代更新后的张量和预填充后的辅助张量根据公式 (11)和(12)将更新到根据公式(12)可知为更新 拉格朗日乘数的步长;
根据更新和k;
通过更新参数μ加快迭代算法的收敛,ρ数值越大,收敛越快,优选实施例 中ρ∈[1,1.2]。
步骤G:判断迭代算法是否收敛,如果不收敛,重复步骤D~E,若收敛, 则输出结果。
判断迭代算法收敛的方法为:
引入收敛系数tol,当收敛系数tol满足以下关系时:
则认为迭代算法收敛,其中||.||F代表Frobenius范数,tol为经验值,优选实 施例中tol=10-3。
随着k的增加,序列会逐渐收敛到最优解而序列也会收敛到因此最终输出的理想张量的最优解即长期频谱预测张量为
仿真验证
将本实施例提供的长期频谱预测算法定义为RLSP(robust long-term spec-trum prediction)算法,为了验证RLSP算法的性能,分别利用低秩三阶张量数据 和实际采集到的卫星频谱数据验证预测性能;
在仿真过程中,为了能够具体的评估算法预测性能,我们需要对预测误差进 行量化。接下来我们统一用绝对值累和误差(absolute value accumulation error, AVAE)来进行预测误差的具体量化。对于长期频谱预测,第D+1的真是数据矩 阵记为XD+1,预测得到的数据矩阵记为XD+1,则第D+1的预测AVAE定义为:
其中,xt,f,D+1是第D+1天在时间快拍t和频点f处的预测值。
A.综合数据仿真
为了产生一个适于验证预测算法性能的三阶张量首先产生张量该张量是由矩阵 0和的外积得到的, 且矩阵中的各个元素是均布在区间[0,1.3]中的随机数,由此可以得到张量的秩 不大于10,为了产生张量进行以下操作:
其中由此得到张量在第三维度上具有较强的演变规 律,且张量的秩同样不大于10。矩阵用来作为量化预测误差的标准数据, 对于产生的综合数据,首先要确定预填充操作的索引集合Φ,并定义具体的预测 算子pred(·),具体的定义如下:
50≤|Φ|≤100
上述的定义说明选择用于预填充的数据序列个数介于50到100之间,且对 应位置的数据序列中的缺失值个数不大于10。
从图6可以得到,在没有异常值的情况下本实施例提供的RLSP算法的预测 性能也是明显优于LSP-TC算法的,随着缺失值的不断增多,RLSP算法的预测 误差并没有明显的上升趋势,预测精度受缺失值数目影响较小;而LSP-TC算法 的预测误差随着缺失值的增多出现了明显的上升趋势;在图7中,1%数目比例 的异常值被注入到数据张量中,此时LSP-TC算法的预测精度已经出现了严重 的下降,不能有效实现具有稀疏异常值下的预测频谱,而本实施例提供的RLSP 算法仍能保持较好的预测性能;图8展示了不同数目异常值下的RLSP算法预测 性能。可以看出,随着异常值数目的增多,RLSP算法的预测性能呈现出不断下 降的趋势。
B.卫星频谱数据仿真
选用的卫星频谱数据主要集中在5410MHz~5610MHz的频段内,卫星的采 样间隔是每20MHz的带宽内采样32次,一次性对200MHz的带宽完成所有采 样共需要8.6s。卫星每天在11:00到17:00的时间段内进行数据采样,可以将一 天的卫星频谱数据构建成一个2500×320大小的矩阵。从2017年1月1日到2017 年1月15日,共收集了15天的卫星频谱数据。将前14天的卫星频谱数据构建 成一个2500×320×14的数据张量,并以此为基础用RLSP算法进行第15天频谱 数据矩阵的预测。以第15天采集到的实际频谱数据作为基准,验证RLSP算法 的预测性能,并与LSP-TC算法进行对比。
由于卫星采样机制的影响,一些连续的时间段内所有频点上的数据发生了丢 失,图9显示了第三天收集得到的频谱数据矩阵的色度图,图中白色区域代表频 谱数据的缺失,参考色度条,从浅色到深色对应的频谱数值逐渐增大。
参考图10,通过卫星频谱数据验证RLSP算法的预测性能并与LSP-TC算法 做了对比,对于实际收集到的第15天的卫星频谱数据,在部分连续时间段内存 在着数据缺失;因此,针对频谱数据的预测值只在卫星数据存在的区域进行对比, 其余位置的数值均设置为0,在图10.(a)、图10.(b)和图10.(c)中,颜色的变化范 围保持一致,相同的颜色代表相同的频谱预测值,白色代表数据的缺失。
对比图10.(b)和图10.(c)可以得出,RLSP算法和LSP-TC算法在没有异常值 的情况下均能有效实现长期频谱预测,相比之下,RLSP算法的预测结果和实际 的卫星频谱数据更为近似,但是差别并不明显。为了进一步展示出二者之间的性 能差别,在图10.(d)和图10.(e)中展示了两种算法的预测误差值的对比结果,从 中可以得出,RLSP算法的预测性能明显优于LSP-TC算法。
图11是在卫星频谱数据中随机注入5%数目的异常值得到的预测结果图,这 些异常值均匀随机分布在区间[0,10]内。对比图10.(c)和图11.(c),RLSP算法的 预测结果在注入异常值后并没有明显的改变,能有效降低稀疏异常值对预测结果 的影响。在图10.(b)和图11.(b)中,在存在异常值的情况下,LSP-TC算法的预测 结果明显变差。由图11.(b)和图11.(c)可以得出,在存在异常值的情况下RLSP 算法的性能更加优于LSP-TC算法。这些结论能在图10.(d)、图10.(e)、图11.(d) 和图11.(e)中更为明显的得出。
根据对综合数据以及卫星频谱数据的实验结果可以得出,RLSP算法能够有 效实现具有缺失值和稀疏异常值下的长期频谱预测,且预测结果较好。相比于现 有的LSP-TC算法,由于提出的算法在算法结构上的优越性,即使在没有异常值 的情况下RLSP算法的预测性能也要优于LSP-TC算法。而在稀疏异常值存在的 情况下,LSP-TC算法的预测性能下降明显,甚至会失效,而RLSP算法仍能实 现有效的长期频谱预测。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一 步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限 制本发明,在不脱离本发明的精神和原则的前提下,本领域普通技术人员对本发 明所做的任何修改、等同替换、改进等,均应落入本发明权利要求书确定的保护 范围之内。
Claims (10)
1.具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:包括以下步骤:
步骤A:在具有缺失值和稀疏异常值的情况下,构建历史频谱数据的三阶观测张量
步骤B:随机选取部分时间快拍t和频点f,构建由(t,f)组成用于预填充数据的索引集合Φ,根据索引集合Φ对观测张量进行预填充得到预填充矩阵T',构建得到适合长期频谱预测的预填充张量
步骤C:以预填充张量中所有具有数值的观测点对应的坐标索引建立采样集合Ω,构造秩和稀疏最小化优化模型对预填充张量进行缺失值补全和异常值分离;
步骤D:引入辅助张量和构造迭代算法求解秩和稀疏最小化优化模型,利用预填充张量设定k=0时的辅助张量初始值;
步骤E:根据迭代算法将辅助张量逐步进行更新得到并对更新得到的在索引集合Φ下进行预填充从而更新预填充预测值;
步骤F:利用迭代更新后的张量和预填充后的张量将更新到的更新步长为根据k=k+1更新和k;
步骤G:判断迭代算法是否收敛,如果不收敛,重复步骤E~G,若收敛,则输出的平均值。
2.根据权利要求1所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:步骤B所述的构建预填充张量的方法为:
将三阶观测张量置于三维坐标系中,X轴代表时间,Y轴代表频率,Z轴代表天数,则观测张量能够表示为其中T为时间快拍总数,F为频点总数,D为天数;对于同一天所有频点和时间快拍上的频谱数据,构建二维时-频矩阵其中d代表天数,且满足1≤d≤D,则观测张量能够表示为:
对于固定的时间快拍t和频点f,选取每一天的频谱数据构建数据序列即
其中,tt,f,d,1≤d≤D表示第d天的频谱矩阵中时间快拍和频点分别为(t,f)的点对应的频谱数值;则第D+1天的该点的预测值为:
其中,pred(·)为预测算子;对索引集合Φ中对应的数据序列预测其对应第D+1天的频谱数据,其他未被选中的位置构建索引集合Φ的补集集合中的点对应的第D+1天的频谱数据置零,由此构成预测矩阵T',引入观测张量在索引集合Φ上的预填充算子prefΦ(·),令
对观测张量在索引集合Φ上执行预填充算子prefΦ(·),得到预填充矩阵T',即
则预填充张量表示为:
3.根据权利要求2所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:步骤C所述的构造秩和稀疏最小化优化模型的方法为:
预填充张量为高维大规模数据,能够表示为引入理想状态下的理想张量和异常值张量则:
预填充张量仅在采样集合Ω内的点上具有观测值,从而构造出秩和稀疏最小化优化模型,通过求解以下优化模型能够从预填充张量中恢复理想张量
其中,||ε||0是异常值张量ε的L0范数,表示张量中非零元素的个数,且λ是正数,异常值张量ε具有稀疏性;
函数rank(·)和范数||·||0均是非凸的,对于向量、矩阵和张量,范数||·||0能够用凸包||·||1近似代替;对于矩阵而言,核范数||·||*是rank(·)的凸包,对于理想张量X,定义其核范数为:
其中,且代入公式(1)得到,
其中,矩阵n=1,…,N由理想张量展开得到。
4.根据权利要求3所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:步骤E所述的求解秩和稀疏最小化优化模型的方法为:
公式(3)中矩阵之间具有较强的依赖性,不便于求解;引入辅助张量 和i=1,…,N,将公式(3)优化为,
公式(4)中的辅助张量相互独立,将公式(4)分解成N个相似的凸优化问题,公式(4)的增广拉格朗日函数定义如下:
其中,μ=[μ1,μ2,…,μN]且为增广拉格朗日函数的正则化参数,为拉格朗日乘数张量;增广拉格朗日函数中始终满足算符表示张量和的内积,即
通过交替方向乘子法,交替更新和求解公式(5),得到
1)
2)
3)
4)
上述问题的求解基于下面两个优化问题的解,
其中对矩阵W进行奇异值分解得到W=USVT,Sε[x]是软阀值收缩算子,定义为:
参考公式(6)和(7),得到变量和的闭式解,通过固定增广拉格朗日函数的其余变量,寻找极值点得到张量的闭式解,各变量的闭式解如下:
其中, 代表张量沿第n模方向展开得到的矩阵,代表将矩阵折叠成张量
5.根据权利要求4所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:步骤E中分别通过公式(9)和(10)将辅助张量更新到
所述的对辅助张量进行预填充的方法为:
即矩阵中对应索引集合Φ位置上的元素被取代,而集合中对应的元素不变。
6.根据权利要求5所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:步骤F中分别通过公式(11)和公式(12)将辅助张量 更新到
7.根据权利要求4所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:ρ∈[1,1.2]。
8.根据权利要求6所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:步骤G所述的收敛的判断方法为:
引入收敛系数tol,当收敛系数tol满足以下关系时:
则认为迭代算法收敛,其中||.||F代表Frobenius范数,tol为经验值。
9.根据权利要求8所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:tol=10-3。
10.根据权利要求8所述的一种具有缺失值和稀疏异常值下的长期频谱预测方法,其特征在于:最终输出的理想张量的最优解为
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910148807.2A CN109995448A (zh) | 2019-02-28 | 2019-02-28 | 具有缺失值和稀疏异常值下的长期频谱预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910148807.2A CN109995448A (zh) | 2019-02-28 | 2019-02-28 | 具有缺失值和稀疏异常值下的长期频谱预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109995448A true CN109995448A (zh) | 2019-07-09 |
Family
ID=67130065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910148807.2A Pending CN109995448A (zh) | 2019-02-28 | 2019-02-28 | 具有缺失值和稀疏异常值下的长期频谱预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109995448A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046027A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 时间序列数据的缺失值填充方法和装置 |
CN112272066A (zh) * | 2020-09-15 | 2021-01-26 | 中国民用航空飞行学院 | 一种用于机场终端区甚高频通信中的频谱数据清洗方法 |
CN113806967A (zh) * | 2021-10-18 | 2021-12-17 | 广东英达思迅智能制造有限公司 | 基于物联网的缺失设备数据仿真方法、系统及存储介质 |
CN114036984A (zh) * | 2021-11-08 | 2022-02-11 | 山东大学 | 一种基于tuckals3算法的高维频谱数据降噪方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0990998A (ja) * | 1995-09-26 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号変換復号化方法 |
CN104220979A (zh) * | 2009-05-27 | 2014-12-17 | 章寅 | 时空压缩感知方法及装置 |
CN106251398A (zh) * | 2016-08-05 | 2016-12-21 | 四川大学 | 一种图像重建方法和装置 |
CN108305297A (zh) * | 2017-12-22 | 2018-07-20 | 上海交通大学 | 一种基于多维张量字典学习算法的图像处理方法 |
CN109241491A (zh) * | 2018-07-28 | 2019-01-18 | 天津大学 | 基于联合低秩和稀疏表示的张量结构性缺失填充方法 |
CN109344207A (zh) * | 2018-08-07 | 2019-02-15 | 南京航空航天大学 | 基于北斗扫描的天地一体频谱大数据平台 |
-
2019
- 2019-02-28 CN CN201910148807.2A patent/CN109995448A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0990998A (ja) * | 1995-09-26 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | 音響信号変換復号化方法 |
CN104220979A (zh) * | 2009-05-27 | 2014-12-17 | 章寅 | 时空压缩感知方法及装置 |
CN106251398A (zh) * | 2016-08-05 | 2016-12-21 | 四川大学 | 一种图像重建方法和装置 |
CN108305297A (zh) * | 2017-12-22 | 2018-07-20 | 上海交通大学 | 一种基于多维张量字典学习算法的图像处理方法 |
CN109241491A (zh) * | 2018-07-28 | 2019-01-18 | 天津大学 | 基于联合低秩和稀疏表示的张量结构性缺失填充方法 |
CN109344207A (zh) * | 2018-08-07 | 2019-02-15 | 南京航空航天大学 | 基于北斗扫描的天地一体频谱大数据平台 |
Non-Patent Citations (2)
Title |
---|
CHAO GE 等: "Robust Long-Term Spectrum Prediction With Missing Values and Sparse Anomalies", 《IEEE ACCESS ( VOLUME: 7)》 * |
何振清: "稀疏重构与低秩逼近算法研究及应用", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046027A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 时间序列数据的缺失值填充方法和装置 |
CN112272066A (zh) * | 2020-09-15 | 2021-01-26 | 中国民用航空飞行学院 | 一种用于机场终端区甚高频通信中的频谱数据清洗方法 |
CN113806967A (zh) * | 2021-10-18 | 2021-12-17 | 广东英达思迅智能制造有限公司 | 基于物联网的缺失设备数据仿真方法、系统及存储介质 |
CN114036984A (zh) * | 2021-11-08 | 2022-02-11 | 山东大学 | 一种基于tuckals3算法的高维频谱数据降噪方法 |
CN114036984B (zh) * | 2021-11-08 | 2024-04-16 | 山东大学 | 一种基于tuckals3算法的高维频谱数据降噪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109995448A (zh) | 具有缺失值和稀疏异常值下的长期频谱预测方法 | |
CN107918103B (zh) | 一种基于灰色粒子滤波的锂离子电池剩余寿命预测方法 | |
CN112182424B (zh) | 一种基于异构信息和同构信息网络融合的社交推荐方法 | |
CN107133684B (zh) | 一种面向配电网无功优化的随机矩阵构建方法 | |
Castellana et al. | Hierarchical random energy model of a spin glass | |
CN110321934B (zh) | 一种检测用户用电异常数据的方法及系统 | |
CN103605734B (zh) | 基于特征向量的数据传输压缩方法及其系统 | |
CN104850629A (zh) | 一种基于改进k-means算法的海量智能用电数据分析方法 | |
CN109684314A (zh) | 一种基于空间结构的无线传感器网络缺失值估计方法 | |
CN114219147A (zh) | 一种基于联邦学习的配电站故障预测方法 | |
Chen et al. | Distributed learning with sparsified gradient differences | |
CN109450405A (zh) | 一种应用于ad采集中的复合式软件滤波方法及系统 | |
CN105069320A (zh) | 一种离散型空间故障树的因素联合重要度和因素重要度分析方法 | |
CN102904252B (zh) | 求解含分布式电源的配电网不确定性潮流的方法 | |
CN106295676A (zh) | 一种基于Hadoop的自适应RK‑means算法 | |
CN109542949A (zh) | 一种基于形式向量的决策信息系统知识获取方法 | |
Zambon et al. | Autoregressive models for sequences of graphs | |
Chang et al. | SPLWAH: A bitmap index compression scheme for searching in archival internet traffic | |
CN109687923A (zh) | 图像推理化的长期频谱预测方法 | |
CN115856633A (zh) | 基于图神经网络的锂离子电池容量估计方法 | |
CN115994605A (zh) | 综合气象因子数据的多数据融合光伏功率预测算法 | |
CN112579687B (zh) | 一种海洋环境监测数据压缩感知在线重构方法 | |
CN109146145A (zh) | 基于MapReduce的BP神经网络建筑能耗预测方法 | |
CN103618601A (zh) | 一种基于预选择大数分解的rsa密码破解系统及方法 | |
Malik et al. | Numerical solution to Troesch’s problem using hybrid heuristic computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Zheng Inventor after: Ge Chao Inventor after: Zhang Xiaofei Inventor after: Wu Qihui Inventor before: Wang Zheng Inventor before: Ge Chao Inventor before: Zhang Xiaofei Inventor before: Wu Qihui |
|
CB03 | Change of inventor or designer information | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190709 |
|
WD01 | Invention patent application deemed withdrawn after publication |