CN107886113B - 一种基于卡方检验的电磁频谱噪声提取和滤波方法 - Google Patents

Abstract

本发明提供了一种基于卡方检验的电磁频谱噪声提取和滤波算法，本算法通过定量和定性的多标准来判定噪声分布参数，可以处理和区分这些奇异样本，且处理精度与正常样本一样。即在外端设备输入信号数据后，通过本算法实现了噪声提取和滤波，为后续分开输出存储噪声和信号数据提供了数据处理准备，为信号时域和频谱的监测及分析提供了技术支持。

Description

一种基于卡方检验的电磁频谱噪声提取和滤波方法

技术领域

本发明涉及涉及：复杂信号中的样本统计、参数估计、噪声提取和滤波等理论的算法，特别是涉及一种基于卡方检验的电磁频谱噪声提取和滤波算法。

背景技术

随着电子科技的快速发展，电磁频谱环境日趋复杂，对于一些民用电磁频谱的监测和管理要求也越来越高。在复杂的环境下，难以预料未来将接收到的信号的参数。在没有先验信息的情况下，信号和噪声都是具有随机不确定性的。而非民用系统的信号区分度要求更高、处理速度需求更快，更需要对这些信号进行一个快速检验和分离。

在无线电监测中即将接收到的信号的时域和频域特征是未知的，噪声参数也是未知的。对这类信号的处理存在的问题是：唯一的已知条件是白噪声在时域或者频域中的服从高斯分布，因此算法同时实现噪声提取和滤波非常困难。现有一些方法只能单一的提取均值且误差较大、计算复杂、不能得到具体的噪声随机分布的方差。一些滤波算法无法在滤波的同时提取噪声信息。奇异样本的存在会对定量算法的处理结果造成很大偏差，现有算法无法区分和处理奇异样本。因此实现算法的同时需要解决这些问题。而从参数估计出发，利用蒙特卡诺的思想得到噪声和信号的信息，这种思路本身也是新颖的。

发明内容

本发明为复杂信号的噪声提取提供了实现的理论和算法。相比于现有一些处理方法，本算法能同时得到随机噪声的均值和方差，信息量更全面、精度更高，为后续滤波的精度提供了参数条件。和其它算法相比，这种通过参数估计来提取噪声和滤波的方式，过程简单、适用性更广、便于移植和功能提取。由于通过统计的方法进行计算，数据量的增加对处理速度的影响相比而言更小，即使信号和噪声相差很小都能识别出来。普遍的随机理论和算法处理奇异性样本非常困难，奇异样本又是不可能避免的且会造成很大偏差。本算法通过定量和定性的多标准来判定噪声分布参数，可以处理和区分这些奇异样本，且处理精度与正常样本一样。即在外端设备输入信号数据后，通过本算法实现了噪声提取和滤波，为后续分开输出存储噪声和信号数据提供了数据处理准备，为信号时域和频谱的监测及分析提供了技术支持。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：一种基于卡方检验的电磁频谱噪声提取和滤波算法，包括如下步骤：

步骤1：分区及统计处理：截取某时刻每段信号数据，对数据的值从最小值到最大值的范围内(集合U)按一定宽度D进行分区并得到分区个数N：

U＝∪A_i (1)

对样本数据进行频数直方图统计，并转换为统计概率P_i，并求得概率累积值：

步骤2：统计特征量计算：以分区个数为循环变量，第i次循环时取 i个分区，对概率进行整理，并将其向右对称复制，得到数量为2i的一组数据，这组数据的统计概率如下：

根据新的循环过程中的统计概率，得到最大似然估计下的均值和方差为：

步骤3：参数的正定迭代：以最大似然估计下的参数为初值，为满足最小二乘法，可得：

为保证方差的非负性，需保证迭代的正定性，得正定的迭代公式如下：

其中

表示标准高斯分布的分布函数式，(7)式右边分子分母均是正定，保证了方差取值始终有意义，使得迭代收敛，所以迭代总会成功；

步骤4：分布检验和拟合度记录：以迭代结果的方差和均值作为高斯白噪声的分布函数的参数拟合结果，进行卡方检验，卡方分布的自变量为：

以自变量和其自由度作为卡方分布的参数，可求得卡方分布的值。其中卡方分布的值由编写的伽马函数和不完全伽马函数进行数值计算。由此得到的卡方分布计算值作为样本分布参数估计的显著性检验标准，即参数估计的拟合度F_i，记为第i步拟合度；

步骤5：重复更新选定值：重复第2步到第4步，得每组的拟合度。由第一到第四标准，记录各标准下的横坐标最大处的参数值；求出所有拟合度中最大值处的参数值；求出拟合度中处于最右边的一个极大值处的参数值；

步骤6：提取噪声及滤波：根据噪声的拟合的参数值，得到均值为噪声线，并得到高斯分布的占概率较大的部分，取μ±3σ的范围视为随机噪声的范围，对这个范围内的噪声进行滤波，得到信号，并通过接口函数输出信号与噪声的计算结果；

步骤7更新时间：下一时刻，重复第1到第6步，不断得到数据信息，为实时输出提供数据；

建立与无线电频谱扫描相接的动态库和调用方法：将某选中频谱段的每一次扫描的数据进行频谱分段，创建多线程分别对每段频谱进行噪声提取，同时调用动态库的算法。最终得到每个时刻每个频率分段的噪声的均值线、方差和滤掉噪声后平滑信号。

进一步的，所述第一到第四标准为0.05、0.01、0.002、0.0002。

进一步的，所述步骤5中，最终的符合高斯白噪声的参数值的判定规则包括如下方法：

若第一到第四标准的横坐标值与最右极值标准的接近，取最右极值处的参数值；

若第一到第四标准中有多个比较接近，且其中存在横坐标值远大于 (在一定程度上远离)最右极值标准的，取这些远大于最右极值的横坐标对应的参数值为最终结果；

若第一到第四标准大部分接近且这些部分的横坐标远小于最右极值标准的横坐标，则取最右极值。

区别与现有技术，本发明的有益效果是：

1.本算法实现了无线电信号的噪声提取和滤波：利用参数估计和分布拟合检验，将统计特性转换成了参数结果。通过频段扫描的数据最终噪声的均值线、方差和滤掉噪声后的平衡信号，为后续电磁空间频谱监测和分析提供了新的技术支持。

2.对奇异性样本依然可行：本算法利用定量和定性的多标准判定得到最终结果，不局限于以前常用的定量的显著性标准的概念，由奇异性样本仍然可以得到同样精度的参数；

3.计算量小，内存消耗较小，信号和噪声之间识别度大：本算法通过最大似然估计和最小二乘法估计的结合对参数进行迭代，减少迭代次数。移植性和通用性较好。将原始数据都转换为统计数据，因此数据数量的增加仅仅影响统计过程而对参数求解过程影响较小，可处理大量数据。在信号和噪声参数值相差较小的情况下依然可以准确的提取信号。

4.可实现无线电信号扫描数据的实时处理：将无线电信号的频谱扫描的数据结果进行分段，通过建立多线程调用动态库算法的方法同时对每段频谱进行噪声提取和滤波，大大减少了计算速度，使得频谱扫描的速度和噪声提取及滤波的计算速度相对同步。

附图说明

图1是本发明实施例基于卡方检验的电磁频谱噪声提取和滤波算法流程图。

图2是本发明实施例第一组信号的信号频谱扫描数据图

图3是本发明实施例第一组信号电平统计概率图。

图4是本发明实施例第一组信号噪声参数分段提取结果。

图5是本发明实施例第二组信号的信号频谱扫描数据图

图6是本发明实施例第二组信号电平统计概率图。

图7是本发明实施例第二组信号噪声参数分段提取结果。

图8是本发明实施例第三组信号的信号频谱扫描数据图

图9是本发明实施例第三组信号电平统计概率图。

图10是本发明实施例第三组信号噪声参数分段提取结果。

图11是本发明实施例第四组信号的信号频谱扫描数据图

图12是本发明实施例第四组信号电平统计概率图。

图13是本发明实施例第四组信号噪声参数分段提取结果。

图14是本发明实施例第五组信号的信号频谱扫描数据图

图15是本发明实施例第五组信号电平统计概率图。

图16是本发明实施例第五组信号噪声参数分段提取结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1是本发明实施例一种基于卡方检验的电磁频谱噪声提取和滤波算法，包括如下步骤：

步骤1：分区及统计处理：截取某时刻每段信号数据，对数据的值从最小值到最大值的范围内(集合U)按一定宽度D进行分区并得到分区个数N：

U＝∪A_i (1)

对样本数据进行频数直方图统计，并转换为统计概率P_i，并求得概率累积值：

步骤2：统计特征量计算：以分区个数为循环变量，第i次循环时取 i个分区，对概率进行整理，并将其向右对称复制，得到数量为2i的一组数据，这组数据的统计概率如下：

根据新的循环过程中的统计概率，得到最大似然估计下的均值和方差为：

步骤3：参数的正定迭代：以最大似然估计下的参数为初值，为满足最小二乘法，可得：

为保证方差的非负性，需保证迭代的正定性，得正定的迭代公式如下：

其中

表示标准高斯分布的分布函数式，(7)式右边分子分母均是正定，保证了方差取值始终有意义，使得迭代收敛，所以迭代总会成功；

步骤4：分布检验和拟合度记录：以迭代结果的方差和均值作为高斯白噪声的分布函数的参数拟合结果，进行卡方检验，卡方分布的自变量为：

以自变量和其自由度作为卡方分布的参数，可求得卡方分布的值。其中卡方分布的值由编写的伽马函数和不完全伽马函数进行数值计算。由此得到的卡方分布计算值作为样本分布参数估计的显著性检验标准，即参数估计的拟合度F_i，记为第i步拟合度；

步骤5：重复更新选定值：重复第2步到第4步，得每组的拟合度。由第一到第四标准，显著标准为：0.05、0.01、0.002、0.0002，记录各标准下的横坐标最大处的参数值，由于存在奇异性样本，单靠第一到第四显著性标准无法保证能确定所有情况下的源分布的参数，故引入最右极值标准，依次求出所有拟合度中最右边的一个极大值处的参数值；求出拟合度中处于最右边的一个极大值处的参数值，由理论推导和数据试验，可根据以下判定规则得到最终的符合高斯白噪声的参数值：

①若第一到第四标准的横坐标值与最右极值标准的接近，取最右极值处的参数值；

②若第一到第四标准中有多个比较接近，且其中存在横坐标值远大于(在一定程度上远离)最右极值标准的，取这些远大于最右极值的横坐标对应的参数值为最终结果；

③若第一到第四标准大部分接近且这些部分的横坐标远小于最右极值标准的横坐标，则取最右极值；

步骤6：提取噪声及滤波：根据噪声的拟合的参数值，得到均值为噪声线，并得到高斯分布的占概率较大的部分，取μ±3σ的范围视为随机噪声的范围，对这个范围内的噪声进行滤波，得到信号，并通过接口函数输出信号与噪声的计算结果；

步骤7更新时间：下一时刻，重复第1到第6步，不断得到数据信息，为实时输出提供数据；

建立与无线电频谱扫描相接的动态库和调用方法：将某选中频谱段的每一次扫描的数据进行频谱分段，创建多线程分别对每段频谱进行噪声提取，同时调用动态库的算法。最终得到每个时刻每个频率分段的噪声的均值线、方差和滤掉噪声后平滑信号。

具体而言，为了验证算法的可行性和正确性，将实际接收到的无线电信号的频谱扫描数据带入算法，通过本算法计算其信号中噪声的分布参数，与频谱扫描数据的统计概率结果进行对比。对0到1000MHz的无线电信号进行扫描，扫描间距为25KHz，每组扫描数据个数为40001个，按5000个点为一个分区，分为8个分区计算，取算法中计算直方图统计分区的宽度为1db，即A_i+1-A_i＝1db，如图2至图16所示为同一设备的五组无线电信号的频谱扫描图、信号电平统计概率图和通过本算法计算得到的噪声参数分段提取结果，其中图4、图7、图10、图13和图 16是通过本算法对图2、图5、图8、图11和图14对应频谱扫描数据的噪声提取计算结果，同时得出了频率分段噪声的均值和方差，验证了本算法的可行性。由计算结果可见该设备在这个时间段的扫描的信号的高斯噪声的均值在-5db到-7db左右，标准差在7db到8db左右。对比于图3、图6、图9、图12和图15的统计概率图中的极值，其结果与图 4、图7、图10、图13和图16中算法计算的噪声均值是一致的，验证了本算法的正确。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或简介运用在其他相关技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种基于卡方检验的电磁频谱噪声提取和滤波方法，包括如下步骤：

步骤1：分区及统计处理：截取某时刻每段信号数据，对数据的值从最小值到最大值的范围内即集合U，按一定宽度D进行分区并得到分区个数N：

U＝∪A_i (1)

对样本数据进行频数直方图统计，并转换为统计概率P_i，并求得概率累积值：

步骤2：统计特征量计算：以分区个数为循环变量，第i次循环时取i个分区，对概率进行整理，并将其向右对称复制，得到数量为2i的一组数据，这组数据的统计概率如下：

根据新的循环过程中的统计概率，得到最大似然估计下的均值和方差为：

步骤3：参数的正定迭代：以最大似然估计下的参数为初值，所述以最大似然估计下的参数即所述最大似然估计下的均值和方差，为满足最小二乘法，可得：

为保证方差的非负性，需保证迭代的正定性，得正定的迭代公式如下：

其中

表示标准高斯分布的分布函数式，(7)式右边分子分母均是正定，保证了方差取值始终有意义，使得迭代收敛，所以迭代总会成功；

步骤4：分布检验和拟合度记录：以迭代结果的方差和均值作为高斯白噪声的分布函数的参数拟合结果，即步骤3中迭代收敛下得到的参数σ²和

进行卡方检验，卡方分布的自变量为：

以自变量和其自由度作为卡方分布的参数，可求得卡方分布的值；其中卡方分布的值由编写的伽马函数和不完全伽马函数进行数值计算；由此得到的卡方分布计算值作为样本分布参数估计的显著性检验标准，即参数估计的拟合度F_i，记为第i步拟合度；

步骤5：重复更新选定值：重复步骤2到步骤4，得每组的拟合度；由第一到第四显著性检验标准，记录各标准下的横坐标最大处的参数值；求出所有拟合度中最大值处的参数值；求出拟合度中处于最右边的一个极大值处的参数值；

步骤6：提取噪声及滤波：根据噪声的拟合的参数值，得到均值为噪声线，并得到高斯分布的占概率较大的部分，取μ±3σ的范围视为随机噪声的范围，对这个范围内的噪声进行滤波，得到信号，并通过接口函数输出信号与噪声的计算结果；

步骤7：更新时间：下一时刻，重复步骤1到步骤6，不断得到数据信息，为实时输出提供数据；

建立与无线电频谱扫描相接的动态库和调用方法：将某选中频谱段的每一次扫描的数据进行频谱分段，创建多线程分别对每段频谱进行噪声提取，同时调用动态库的算法；最终得到每个时刻每个频率分段的噪声的均值线、方差和滤掉噪声后平滑信号。

2.根据权利要求1所述的方法，其特征在于：所述第一到第四显著性检验标准为0.05、0.01、0.002、0.0002。

3.根据权利要求1所述的方法，其特征在于：所述步骤5中，最终的符合高斯白噪声的参数值的判定规则包括如下方法：

若第一到第四显著性检验标准的横坐标值与最右极值标准的接近，取最右极值处的参数值；

若第一到第四显著性检验标准中有多个比较接近，且其中存在横坐标值远大于最右极值标准的，取这些远大于最右极值的横坐标对应的参数值为最终结果；

若第一到第四显著性检验标准大部分接近且这些部分的横坐标远小于最右极值标准的横坐标，则取最右极值。

Images