CN107306158B - 一种具备异常数据净化能力的在线频谱预测方法 - Google Patents

Abstract

本发明提出一种具备异常数据净化能力的在线频谱预测方法，用一个F行T列的X_T表示频谱数据矩阵，频谱数据矩阵中的每一个矩阵元素表示第f个频段在第t个时隙的频谱状态；频谱数据矩阵每一行元素表示在连续T个时隙内、第f个频段的频谱状态，矩阵每一列元素表示在第t个时隙内、全部F个频段的频谱状态分布；将前T‑1列的全部F个频段的频谱状态视作历史频谱数据，历史数据中包括正常频谱数据、异常频谱数据和缺失频谱数据，然后根据历史频谱数据预测出第T列的全部F个频段的频谱状态。本发明可以稳健、精确地捕获频谱状态的演化并预测未来频谱状态，同时具有实时处理数据的能力。

Description

一种具备异常数据净化能力的在线频谱预测方法

技术领域

本发明属于无线通信领域中的认知无线电技术，具体涉及一种具备异常数据净化能力的在线频谱预测方法。

背景技术

移动网和物联网的飞速发展正在侵占着有限的频谱资源，因此人们迫切需要新的频谱资源来满足这种需要。一般通过频谱数据分析，比如频谱感知和频谱预测，来捕获频谱演化过程中的相关信息。频谱感知主要是确定当前无线电频谱的状态；而频谱预测则通过探索频谱数据之间的相关性和规律性，基于历史数据，预测未来的无线电频谱状态。

高效频谱预测的挑战之一就是历史数据观察中数据异常、测量误差及数据丢失的出现。数据异常在实际频谱数据中是很常见的。例如，无线传输过程的开放性和不断智能化的频谱感知可能导致多种多样的数据伪造攻击。频谱测量的不完美性同样不可避免，特别是当低成本频谱传感器被用于收集数据时。数据丢失同样常见，原因有三：测量误差和传输丢包；测量设备能力的局限性；现有的频谱测量算法仅仅测量每一时隙中的部分频谱带。同时，很多网络操作需要完整的、干净的数据。因此，稳健、精确地捕获频谱状态的演化并预测未来频谱状态是极具挑战性的。

另一个挑战是频谱预测方法设计中的数据实时处理能力。过期的频谱预测是无用的。现有的研究大多数集中在批处理算法上，这极大地限制了储存、分析实时频谱数据的可扩展性，同时也限制了对非平稳频谱数据演化的追踪能力。将频谱状态数据看作一个矩阵，其行表示频域，列表示时域，那么随着行与列的增加，批处理算法的计算复杂度和时间消耗都在上升。另外，批处理算法假想历史数据是完整的，它捕获的是频谱演化的长期平稳数据，但它平均了相关的短期非平稳变化。

发明内容

本发明提出一种具备异常数据净化能力的在线频谱预测方法，可以稳健、精确地捕获频谱状态的演化并预测未来频谱状态，同时具有实时处理数据的能力。

为了解决上述技术问题，本发明提供一种具备异常数据净化能力的在线频谱预测方法，其特征在于，用式(1)所示矩阵表示频谱数据矩阵，

式(1)中，集合Ω_T为一个包含F×T个元素的集合，其元素为频谱数据矩阵中未缺失的数据，集合Ω_T之外的元素为频谱数据矩阵中缺失的数据；

为采样算子矩阵，其将频谱数据矩阵中缺失的数据置零；

式(1)中，矩阵X_T为具有F行T列的频谱数据矩阵，矩阵X_T的每一个元素x_f,t,f∈{1,...,F},t∈{1,...,T}表示第f个频段在第t个时隙的频谱状态，矩阵X_T的每一行元素x_f,.:＝[x_f,1,x_f,2,,...,x_f,T],f∈{1,...,F}表示在连续T个时隙内、第f个频段的频谱状态，矩阵X_T的每一列x_.,t:＝[x_1,t,x_2,t,...,x_F,t]',t∈{1,...,T}表示在第t个时隙内、全部F个频段的频谱状态分布；

式(1)中，矩阵Z_T大小为F×T，其第f行第t列元素对应信号分量z_f,t,f＝1,...,F,t＝1,...,T；矩阵A_T大小为F×T，其第f行第t列元素对应异常数据分量a_f,t,f＝1,...,F,t＝1,...,T；矩阵V_T大小为F×T，其第f行第t列元素对应噪声分量v_f,t,f＝1,...,F,t＝1,...,T；

将矩阵X_T的前T-1列的全部F个频段的频谱状态视作历史频谱数据，根据所述历史频谱数据预测第T个时隙全部F个频段的频谱数据。

进一步，根据所述历史频谱数据预测第T个时隙全部F个频段频谱数据的方法为：

步骤一、初始化：

将矩阵X_T第T列的F个频段频谱数据置为零，得到频谱数据矩阵

在第T个时隙的全部F个频段中随机选取其K个频段，将选取的K个频段在第T个时隙的初始值设为对应频段前T-1个时隙历史频谱数据的平均值，获得矩阵

输入参数r，β，其中r是信号分量Z_T的秩的上限；β为遗忘因子，且0≤β≤1；输入秩控制参数

且

输入稀疏控制参数

且

设置中间变量初始值：G_f[0]＝0_r×r，s_f＝0_r,f＝1,...,F，P[0]随机赋值；

步骤二、在线优化：

从时隙T＝1开始，每过一个时隙，T增加1，每当有时隙T改变时，执行以下过程：

2.1如式(2)所示计算中间变量矩阵D[T]：

其中，I_r是一个为常数的单位矩阵；O_T是一个对角矩阵，其对角元素的取值为：如果第T个时隙的第f个频段属于初始化时选取的K个频段之一，则该对角矩阵的第f个对角元素为1，否则置为0；P'[T-1]是P[T-1]的转置矩阵；T＝1时矩阵P[T-1]的值由初始化给出；T>1时矩阵P[T-1]的值由后续的计算给出；

2.2如式(3)所示计算中间变量矩阵F[T]：

其中，矩阵D'[T]是矩阵D[T]的转置矩阵；

2.3如式(4)所示计算异常数据分量a[T]：

其中，

是第T个时隙F个频段的频谱数据初始值，a是优化变量，

是稀疏相关控制参数；

2.4如式(5)所示计算中间变量q[T]：

其中，

是采样算子矩阵

的第T列元素；如果第T个时隙的第f个频段不在初始化时选取的K个频段范围内，则

将对应的元素置零，如果第T个时隙的第f个频率在初始化时选取的K个频率范围内，则对应的元素保持不变；

2.5针对各个频段f＝1,...,F，如式(6)、(7)以及(8)依次计算如下三个中间变量：

G_f[T]＝βG_f[T-1]+ω_f,Tq[T]q'[T] (6)

其中，p_f[T]是P[T]第f；，ω_f,T为一个符号函数，当第T个时隙的第f个频段的频谱值

不为0时，ω_f,T＝1，否则，ω_f,T＝0；

2.6如式(9)所示计算第T个时隙中所有F个频段的频谱状态

至此预测出第T个时隙所有F个频段的频谱状态。

本发明与现有技术相比，其显著优点在于：(1)本发明方法综合考虑了信号分量的低秩特性和异常数据分量的稀疏特性，考虑了历史频谱数据可能不完整或有缺失这一客观条件，通过数据净化克消除了频谱数据中存在偏差和异常情况的影响；(2)本发明方法通过在线优化克服了传统离线频谱预测方法时延大、预测不及时的局限性，能够在历史频谱数据量不断增大的情况下快速实时预测频谱状态。

附图说明

图1为本发明频谱预测的原理示意图。

图2为本发实验性能示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明具备异常数据净化能力的在线频谱预测方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

图1是本发明对频谱进行预测的原理示意图。本发明中用一个F行T列的频谱数据矩阵X_T∈R^F×T来表示，其行表示频域，列表示时域。频谱数据矩阵中的每一个矩阵元素x_f,t,f∈{1,...,F},t∈{1,...,T}表示第f个频段在第t个时隙的频谱状态。频谱数据矩阵每一行x_f,.:＝[x_f,1,x_f,2,,...,x_f,T],f∈{1,...,F}表示在连续T个时隙内、第f个频段的频谱状态，矩阵每一列x_.,t:＝[x_1,t,x_2,t,...,x_F,t]',t∈{1,...,T}表示在第t个时隙内、全部F个频段的频谱状态分布。本发明将前T-1列的全部F个频段的频谱状态视作历史频谱数据，历史数据中包括正常频谱数据、异常频谱数据和缺失频谱数据，然后根据历史频谱数据准确、高效地预测出第T列的全部F个频段的频谱状态，即根据历史频谱数据预测出第T个时隙全部F个频段的频谱数据。

频谱数据模型

考虑到测量频谱数据时，记录了各自独立的F个频段下的T个时隙的频谱数据。本发明首先建立第t个时隙测量到的第f个频段上的频谱数据x_f,t的一般化模型。该模型能够同时测量历史频谱数据、噪声信号、异常数据及数据丢失等因素。本发明用公式(1)所示的频谱数据模型表示频谱数据x_f,t，

x_f,t＝z_f,t+a_f,t+v_f,t,f＝1,...F,t＝1,...,T, (1)

公式(1)中，z_f,t表示信号分量，a_f,t表示异常数据分量，v_f,t表示噪声分量，信号分量z_f,t如式(2)所示，

z_f,t＝h_f,t·p_f,t (2)

其中，p_f,t表示信号强度值；h_f,t是一个符号函数，当前时隙的频率下存在信号时，h_f,t＝1，当不存在信号时，h_f,t＝0。

频谱数据矩阵

首先，为刻画N个频点的占用状态，引入大小为N×N的对角矩阵R_N×N，其每个对角元素取值为0或1，取值为0的对角元素对应的频点没有授权信号；反之，取值为1的对角元素对应的频点存在授权信号。

为刻画F个频点下的T个时隙的频谱数据，引入大小为F×T的矩阵X_T，其第f行第t列元素对应测量到的频谱数据x_f,t,f＝1,...,F,t＝1,...,T；进一步，引入大小为F×T的矩阵Z_T，其第f行第t列元素对应信号分量z_f,t,f＝1,...,F,t＝1,...,T；引入大小为F×T的矩阵V_T，其第f行第t列元素对应噪声分量v_f,t,f＝1,...,F,t＝1,...,T；引入大小为F×T的矩阵A_T，其第f行第t列元素对应异常数据分量a_f,t,f＝1,...,F,t＝1,...,T。在此基础上，可以将公式(1)所示的频谱数据模型用公式(3)所示的频谱数据矩阵表示，

X_T＝Z_T+A_T+V_T (3)

其中，Z_T对应信号分量，具有低秩特性；A_T对应异常数据分量，具有稀疏特性；V_T对应噪声分量，具有随机特性。V_T的引入使得Z_T+V_T,的结构近似于低秩，A_T的引入则破坏了其低秩特性。

同时，本发明引入一个包含F×T个元素的集合Ω_T对存在数据缺失的情况进行建模；进一步引入采样算子

该算子将不在集合Ω_T中的元素(即缺失数据)置零，在集合Ω_T中的元素(即未缺失数据)保持不变，则频谱数据矩阵可以如式(4)所示：

在线频谱预测方法

在前述建模的基础上，本发明根据前T-1个时隙的所有F个频段的历史频谱数据，预测第T个时隙所有F个频段的频谱状态，在此过程中尽可能地去除异常数据分量、随机噪声分量以及部分历史数据缺失的影响。具体地，通过以下步骤实现：

步骤一、初始化。

将前T-1个时隙所有F个频段的频谱状态作为历史频谱数据，由于待预测的第T个时隙F个频段的所有数据均未知，因此首先第T列的F个频段数据初始值置为零，得到频谱数据矩阵

然后，针对待预测的第T个时隙的全部F个频段，随机选取其中K个频段，将对应频段第T个时隙的初始值设为该频段前T-1个时隙历史频谱数据的平均值，得到

输入算法参数r，β，其中r是式(3)中信号部分的秩的上限。0≤β≤1是遗忘因子，当β<1时，历史数据是呈指数递减，因此近期的测量数据变得更重要。以及输入秩控制参数

和稀疏控制参数

预测方法所涉及的中间变量初始值设置如下：G_f[0]＝0_r×r，s_f＝0_r,f＝1,...,F，P[0]为随机值。

步骤二、在线优化。

为了得到的实时的、高效的预测解，本发明采用在线交替最小化方法。本步骤采用在线优化的方式进行，相比于离线优化，基于在线优化的频谱预测采取迭代优化的思路，即预测第T个时隙的F个频段的频谱状态时直接利用第T-1个时隙的预测结果进行迭代更新；离线优化则需利用前T-1个时隙的所有历史数据，计算的复杂度随历史数据的数量增加而增大。具体地，本发明中基于在线优化的频谱预测过程如下：

从时隙T＝1开始，每过一个时隙，T增加1，每当有时隙T改变时，执行以下过程：

1)先计算中间变量矩阵D[T]：

其中，

是一个低秩相关的控制参数，I_r是一个单位矩阵(常数)；O_T是一个对角矩阵(对角元素之外的元素均为0)，对角元素的取值为：如果第T个时隙的第f个频率属于初始化时选取的K个频率之一，则该对角矩阵的第f个对角元素是1，否则置为0。P'[T-1]是P[T-1]的转置矩阵；T＝1时矩阵P[T-1]的值由初始化给出；T>1时矩阵P[T-1]的值由后续的计算给出。

2)计算中间变量矩阵F[T]：

其中，D'[T]是D[T]的转置矩阵。

3)计算异常数据分量a[T]：

其中，

是第T个时隙的F个频段的频谱数据初始值，a是优化变量，

是一个稀疏相关的控制参数。

4)计算中间变量q[T]：

其中，

是采样算子

矩阵的第T列数据。如果第T个时隙的第f个频率不在初始化时选取的K个频率范围之内，则

将对应的元素(即缺失数据)置零；如果第T个时隙的第f个频率在初始化时选取的K个频率范围之内，则

将对应的元素(即不缺失数据)保持不变。

5)针对各个频段f＝1,...,F，依次计算如下三个中间变量：

G_f[T]＝βG_f[T-1]+ω_f,Tq[T]q'[T] (9)

至此，a[T]，q[T]和P[T]，分别通过公式(7)(8)和(11)得到。其中p_f[T]是P[T]第f列。其中，0≤β≤1是遗忘因子，ω_f,T是一个符号函数，当第T个时隙的第f个频率处的频谱值

不为0时，ω_f,T＝1，否则，ω_f,T＝0。

6)计算获得第T个时隙中所有F个频段的频谱状态

由此获得第T个时隙所有F个频段的频谱状态。

对本发明频谱预测方法的性能评估

本发明选择从预测错误的角度来衡量频谱预测的好坏，从现实的频谱矩阵中抽取数据，并将预测结果与真实数据相比较，给出预测性能评估指标：均方根误差RMSE(dB)，用以衡量预测错误。

将第T时隙的RMSE的预测定义为：

其中，z_T和

分别是真实数据和所预测的第T列时隙的数据。

是ω_T的补集，包含了丢失数据。而相应的采样算子

使得不包含在

集合里的元素置零,并且保持其他的元素不变。

本发明试验中，使用实际测量的数据作为真实数据或者原始频谱矩阵。然后以一个随机的丢失速率p_miss统一地、独立地从一个矩阵中抽取元素来产生不完整的历史数据。向原始数据的一部分入口中注入异常数据，使用的方法仍然是标准的异常注入方法。设定入口部分的异常注入为10％，并且使得数据异常规模为s＝10。对于本发明提出的在线频谱预测算法，矩阵的秩控制参数设定为

稀疏控制参数设定为

其中p_s是采样概率，σ是估计噪声标准方差，θ是一个尺度参数。在实验中设定θ＝10^-2。估计的频谱矩阵秩设定为r＝0.1F,遗忘因子设定为β＝0.9。预估频段个数设为K＝F*10％。

图2展示了本发明方法预测的性能结果，其中(a)展示的是电视频段频谱预测结果，(b)展示的是人工产生的高斯随机数据的预测结果，通过对比可以看出：1)本发明方法在数据缺失较少时预测的均方根误差(RMSE)性能更好，即图中10％的数据缺失下性能比50％数据缺失下性能更好；2)电视频段的预测均方根误差(RMSE)性能远好于高斯随机数据，这是因为电视频段的频谱数据变化规律性更强，更容易被准确预测。

Claims (1)

1.一种具备异常数据净化能力的在线频谱预测方法，其特征在于，用式(1)所示矩阵表示频谱数据矩阵，

式(1)中，集合Ω_T为一个包含F×T个元素的集合，其元素为频谱数据矩阵中未缺失的数据，集合Ω_T之外的元素为频谱数据矩阵中缺失的数据；

为采样算子矩阵，其将频谱数据矩阵中缺失的数据置零；

式(1)中，矩阵X_T为具有F行T列的频谱数据矩阵，矩阵X_T的每一个元素x_f,t,f∈{1,...,F},t∈{1,...,T}表示第f个频段在第t个时隙的频谱状态，矩阵X_T的每一行元素x_f,.:＝[x_f,1,x_f,2,,...,x_f,T],f∈{1,...,F}表示在连续T个时隙内、第f个频段的频谱状态，矩阵X_T的每一列x_.,t:＝[x_1,t,x_2,t,...,x_F,t]',t∈{1,...,T}表示在第t个时隙内、全部F个频段的频谱状态分布；

式(1)中，矩阵Z_T大小为F×T，其第f行第t列元素对应信号分量z_f,t,f＝1,...,F,t＝1,...,T；矩阵A_T大小为F×T，其第f行第t列元素对应异常数据分量a_f,t,f＝1,...,F,t＝1,...,T；矩阵V_T大小为F×T，其第f行第t列元素对应噪声分量v_f,t,f＝1,...,F,t＝1,...,T；

将矩阵X_T的前T-1列的全部F个频段的频谱状态视作历史频谱数据，根据所述历史频谱数据预测第T个时隙全部F个频段的频谱数据；

根据所述历史频谱数据预测第T个时隙全部F个频段频谱数据的方法为：

步骤一、初始化：

将矩阵X_T第T列的F个频段频谱数据置为零，得到频谱数据矩阵

在第T个时隙的全部F个频段中随机选取其K个频段，将选取的K个频段在第T个时隙的初始值设为对应频段前T-1个时隙历史频谱数据的平均值，获得矩阵

输入参数r，β，其中r是信号分量Z_T的秩的上限；β为遗忘因子，且0≤β≤1；输入秩控制参数

且

输入稀疏控制参数

且

设置中间变量初始值：G_f[0]＝0_r×r，s_f＝0_r,f＝1,...,F，P[0]随机赋值；

步骤二、在线优化：

从时隙T＝1开始，每过一个时隙，T增加1，每当有时隙T改变时，执行以下过程：

2.1如式(2)所示计算中间变量矩阵D[T]：

其中，I_r是一个为常数的单位矩阵；O_T是一个对角矩阵，其对角元素的取值为：如果第T个时隙的第f个频段属于初始化时选取的K个频段之一，则该对角矩阵的第f个对角元素为1，否则置为0；P'[T-1]是P[T-1]的转置矩阵；T＝1时矩阵P[T-1]的值由初始化给出；T＞1时矩阵P[T-1]的值由后续的计算给出；

2.2如式(3)所示计算中间变量矩阵F[T]：

其中，矩阵D'[T]是矩阵D[T]的转置矩阵；

2.3如式(4)所示计算异常数据分量a[T]：

其中，

是第T个时隙F个频段的频谱数据初始值，a是优化变量，

是稀疏相关控制参数；

2.4如式(5)所示计算中间变量q[T]：

其中，

是采样算子矩阵

的第T列元素；如果第T个时隙的第f个频段不在初始化时选取的K个频段范围内，则

将对应的元素置零，如果第T个时隙的第f个频率在初始化时选取的K个频率范围内，则对应的元素保持不变；

2.5针对各个频段f＝1,...,F，如式(6)、(7)以及(8)依次计算如下三个中间变量：

G_f[T]＝βG_f[T-1]+ω_f,Tq[T]q'[T] (6)

其中，p_f[T]是P[T]第f列，ω_f,T为一个符号函数，当第T个时隙的第f个频段的频谱值

不为0时，ω_f,T＝1，否则，ω_f,T＝0；

2.6如式(9)所示计算第T个时隙中所有F个频段的频谱状态

Images