CN106776480A - 一种无线电干扰现场测量异常值的剔除方法 - Google Patents

Abstract

本发明涉及一种无线电干扰现场测量异常值的剔除方法，包括：(1)获取无线电数据的直方图及所述直方图的分布形态；(2)根据所述直方图的分布形态初步判断所述无线电数据是否属于正态分布，若是，则执行步骤(3)，若否，则执行步骤(5)；(3)采用单样本K-S检验方法判断所述无线电数据是否属于正态分布，若是，则执行步骤(4)，若否，则执行步骤(5)；(4)采用Robust-Z检验法剔除所述无线电数据的异常数据；(5)基于归一化处理的有界β(g,h)分布函数方法剔除所述无线电数据的异常数据；本发明提供的方法，利用纯粹统计学方法进行数据异常值的剔除，能够得到更为准确的由输电线路产生的无线电干扰数值。

Description

一种无线电干扰现场测量异常值的剔除方法

技术领域

本发明涉及高压输变电工程电磁环境领域，具体涉及一种无线电干扰现场测量异常值的剔除方法。

背景技术

随着输电系统电压等级的提高，电晕效应问题成为特高压输电关键技术问题之一。当导线表面的电场强度超过一定的临界值时，导线表面周围的空气分子将发生电离，形成正、负带电粒子，正、负离子碰撞和复合过程产生光子，称为电晕放电。电晕放电将产生可听噪声、无线电干扰和电晕损失等效应，对线路运行和周围环境造成影响。在超高压输电系统中，电晕效应问题还不是很突出，但在特高压输电系统中，输电线路电晕效应明显，由此带来的无线电干扰水平也随之增大，成为选择特高压输电导线的决定性因素。对特高压电晕放电的环境效应进行系统研究，可为特高压输电线路设计提供技术支撑，使特高压输电线路的建设和运行成本得到合理控制，同时满足环境保护的要求。

导线电晕现象与其表面电位梯度直接相关，受其周围天气条件、导线表面状况等外在因素影响较大。在大雨条件下，交流输电线路的电晕放电充分而均匀，无线电干扰测量结果相对稳定、重复性好。因此，在高压交流输电线路设计时，通常按照在大雨天气下获得的无线电干扰测量值，按照统计规律，并结合预测公式，得到其他天气下的无线电干扰水平预测值，进而评估输电线路设计是否合理。研究数据表明从大雨天气到好天气，交流输电线路无线电干扰的统计值变化范围很大。而在单一好天气下，输电线路电晕放电点的随时不规律变化，导致无线电干扰水平的分散性很大，只能采用长期测量后进行的统计分析的方法获得其规律特性。

在野外现场进行无线电干扰测量时发现存在一些难以分辨的数据异常值，这些异常值往往不是线路电晕产生的，可能是电台干扰、大气背景无线电异常变化等，这些异常数据目前无法在仪器测量时予以排除，只能事后进行处理。

目前，在野外现场测量时有两种做法，一是等待高压交流线路停电后，测量背景无线电干扰值，但此时的背景和线路带电时无线电干扰的背景既不处于同一时间又不在同一地点，此方法不准确；另外一种是在测量时在距离高压线路200米以上的位置布置同样测量装置测量背景信号，此方法的的缺点是虽然背景信号与被测点信号是在同一时刻获得，但是距离被测信号的位置有200米了，野外地形变化复杂，背景信号极有可能不一样。上述两类做法都是不太可靠的。

发明内容

针对现有技术的不足，本发明提供一种无线电干扰现场测量异常值的剔除方法，利用纯粹统计学方法进行数据异常值的剔除，能够得到更为准确的由输电线路产生的无线电干扰数值。

本发明的目的是采用下述技术方案实现的：

一种无线电干扰现场测量异常值的剔除方法，其改进之处在于，包括：

(1)获取无线电数据的直方图及所述直方图的分布形态；

(2)根据所述直方图的分布形态初步判断所述无线电数据是否属于正态分布，若是，则执行步骤(3)，若否，则执行步骤(5)；

(3)采用单样本K-S检验方法判断所述无线电数据是否属于正态分布，若是，则执行步骤(4)，若否，则执行步骤(5)；

(4)采用Robust-Z检验法剔除所述无线电数据的异常数据；

(5)基于归一化处理的有界β(g,h)分布函数方法剔除所述无线电数据的异常数据。

优选的，所述步骤(1)中，以所述无线电数据的均值和标准差为参数的正态分布曲线。

优选的，所述步骤(3)中，确定正态分布的理论累计概率值F(x)与所述无线电数据样本的累计概率值S(x)的差值序列中最大绝对值，公式为：

对D进行修正，确定验证统计量Z，公式为：

式(2)中，x_i为所述无线电数据样本的第i个样本，n为所述无线数据样本总量；

当数据样本量为100以上时，即所述统计量Z的极限分布服从Kolmogorov分布，则根据无线电干扰数据计算所述统计量Z的概率p，公式为：

式(3)中，α为显著性水平；

当α＜α₀时，则所述无线电数据不属于正态分布，当α≥α₀时，则所述无线电数据属于正态分布，α₀为给定显著性水平。

优选的，所述步骤(4)中，计算所述无线电数据Z值的公式为：

式(5)中，x_i为所述无线电数据样本的第i个样本，median(x₁,x₂,...,x_n)为所述无线电数据样本的中值，n为所述无线数据样本总量，IQR(x_i)为所述无线电数据样本的上四分位数Q3与下四分位数Q1之差；

当|Z|≤2时，则x_i为正常数据；

当2＜|Z|＜3时，则x_i为可疑数据；

当|Z|≥3时，则x_i为异常数据。

优选的，所述步骤(5)中，对所述无线电数据进行归一化处理，公式为：

u＝(x-a)/(b-a) (6)

式(6)中，u为所述无线电数据x的归一化标准值，a为所述无线电数据样本的最小值，b为无线电数据样本的最大值；

则所述无线电数据的归一化标准值u服从β分布的分布函数为：

式(8)中，B(g,h)＝Γ(g+h)/[Γ(g)Γ(h)]为β函数，Γ(·)为Γ函数，g和h均大于0，为分布参数；

采用最小二乘估计方法获取分布参数g和h的估计值和公式为：

式(8)中，为所述无线电数据的归一化标准值u的均值，σ为所述无线电数据的归一化标准值u的标准差；

根据估计值和确定所述无线电数据的分布范围最小估计值和最大估计值公式为：

式(9)中，为所述无线电数据样本的均值，s为所述无线电数据样本的标准差，k为分布系数，α为不对称系数；

其中，所述分布系数所述不对称系数

则将所述无线电数据中不在分布范围中的数据剔除。

与最接近的现有技术相比，本发明具有的有益效果：

本发明提供的一种无线电干扰现场测量异常值的剔除方法，首先对所测的数据样本进行直方图分析，初步判定数据样本分布形态，然后利用非参数方法中的单样本K-S检验对数据样本的正态性进行检验，如果所测量数据样本服从正态分布，则采用种基于传统Z检验法的改进方法稳健统计法——Robust Z检验对数据样本的异常值进行检验，若不服从正态分布，则采用基于有界β(g,h)分布结合最小二乘参数估计法进行异常值的剔除，采用的纯粹的数学方法，具有稳定和可靠特点。

附图说明

图1是本发明提供的一种无线电干扰现场测量异常值的剔除方法流程图；

图2是本发明实施例中实测数据直方图；

图3是本发明实施例中剔除异常数据后的实测数据直方图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供了一种无线电干扰现场测量异常值的剔除方法，如图1所示，包括：

(1)获取无线电数据的直方图及所述直方图的分布形态；

其中，所述直方图的分布形态包括：对称型、左偏态、右偏态和其它类型；

(2)根据所述直方图的分布形态初步判断所述无线电数据是否属于正态分布，若是，则执行步骤(3)，若否，则执行步骤(5)；

(3)采用单样本K-S检验方法判断所述无线电数据是否属于正态分布，若是，则执行步骤(4)，若否，则执行步骤(5)；

(4)采用Robust-Z检验法剔除所述无线电数据的异常数据；

(5)基于归一化处理的有界β(g,h)分布函数方法剔除所述无线电数据的异常数据。

具体的，所述步骤(1)中，以所述无线电数据的均值和标准差为参数的正态分布曲线。

例如：如图2所示，根据某高压交流输电线路3月份实测数据作出直方图。

所述步骤(3)中，确定正态分布的理论累计概率值F(x)与所述无线电数据样本的累计概率值S(x)的差值序列中最大绝对值，公式为：

对D进行修正，确定验证统计量Z，公式为：

式(2)中，x_i为所述无线电数据样本的第i个样本，n为所述无线数据样本总量；

当数据样本量为100以上时，即所述统计量Z的极限分布服从Kolmogorov分布，则根据无线电干扰数据计算所述统计量Z的概率p，公式为：

式(3)中，α为显著性水平，j为算子，无实际意义；

当α＜α₀时，则所述无线电数据不属于正态分布，当α≥α₀时，则所述无线电数据属于正态分布，α₀为给定显著性水平通常取0.05。

所述步骤(4)中，计算所述无线电数据Z值的公式为：

式(5)中，x_i为所述无线电数据样本的第i个样本，median(x₁,x₂,...,x_n)为所述无线电数据样本的中值，n为所述无线数据样本总量，IQR(x_i)为所述无线电数据样本的上四分位数Q3与下四分位数Q1之差；

当|Z|≤2时，则x_i为正常数据；

当2＜|Z|＜3时，则x_i为可疑数据；

当|Z|≥3时，则x_i为异常数据。

所述步骤(5)中，对所述无线电数据进行归一化处理，公式为：

u＝(x-a)/(b-a) (6)

式(6)中，u为所述无线电数据x的归一化标准值，a为所述无线电数据样本的最小值，b为无线电数据样本的最大值；

则所述无线电数据的归一化标准值u服从β分布的分布函数为：

式(8)中，B(g,h)＝Γ(g+h)/[Γ(g)Γ(h)]为β函数，Γ(·)为Γ函数，g和h均大于0，为分布参数；

采用最小二乘估计方法获取分布参数g和h的估计值和公式为：

式(8)中，为所述无线电数据的归一化标准值u的均值，σ为所述无线电数据的归一化标准值u的标准差；

根据估计值和确定所述无线电数据的分布范围最小估计值和最大估计值公式为：

式(9)中，为所述无线电数据样本的均值，s为所述无线电数据样本的标准差，k为分布系数，α为不对称系数；

其中，所述分布系数所述不对称系数

则将所述无线电数据中不在分布范围中的数据剔除。

例如：根据某高压交流输电线路3月份实测数据作出直方图如图2所示，根据某高压交流输电线路3月份实测数据计算所得分布范围则剔除异常值后的直方图如图3所示。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (5)

1.一种无线电干扰现场测量异常值的剔除方法，其特征在于，包括：

(1)获取无线电数据的直方图及所述直方图的分布形态；

(2)根据所述直方图的分布形态初步判断所述无线电数据是否属于正态分布，若是，则执行步骤(3)，若否，则执行步骤(5)；

(3)采用单样本K-S检验方法判断所述无线电数据是否属于正态分布，若是，则执行步骤(4)，若否，则执行步骤(5)；

(4)采用Robust-Z检验法剔除所述无线电数据的异常数据；

(5)基于归一化处理的有界β(g,h)分布函数方法剔除所述无线电数据的异常数据。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)中，以所述无线电数据的均值和标准差为参数的正态分布曲线。

3.如权利要求1所述的方法，其特征在于，所述步骤(3)中，确定正态分布的理论累计概率值F(x)与所述无线电数据样本的累计概率值S(x)的差值序列中最大绝对值，公式为：

$D=\underset{x}{max}\left(\right|S\left(x\right)-F\left(x\right)\left|\right)---\left(1\right)$

对D进行修正，确定验证统计量Z，公式为：

$Z=\underset{i}{max}\left(\right|S\left(x_{i-1}\right)-F\left(x_i\right)|,|S\left(x_i\right)-F\left(x_i\right)\left|\right)\×\sqrt{n}---\left(2\right)$

式(2)中，x_i为所述无线电数据样本的第i个样本，n为所述无线数据样本总量；

当数据样本量为100以上时，即所述统计量Z的极限分布服从Kolmogorov分布，则根据无线电干扰数据计算所述统计量Z的概率p，公式为：

$p=1-\mathrm{\&alpha;}=K\left(Z\right)=\left\{\begin{array}{cc}0& Z<0\\ \underset{j=-\mathrm{\&infin;}}{\overset{+\mathrm{\&infin;}}{\&Sigma;}}{\left(-1\right)}^j\exp \left(-2j^2{Z}^2\right)& Z\&GreaterEqual;0\end{array}\right.---\left(3\right)$

式(3)中，α为显著性水平；

当α＜α₀时，则所述无线电数据不属于正态分布，当α≥α₀时，则所述无线电数据属于正态分布，α₀为给定显著性水平。

4.如权利要求1所述的方法，其特征在于，所述步骤(4)中，计算所述无线电数据Z值的公式为：

$Z=\frac{x_i-median(x_1,x_2,...,x_n)}{IQR\left(x_i\right)\&times;0.7413}---\left(5\right)$

式(5)中，x_i为所述无线电数据样本的第i个样本，median(x₁,x₂,...,x_n)为所述无线电数据样本的中值，n为所述无线数据样本总量，IQR(x_i)为所述无线电数据样本的上四分位数Q3与下四分位数Q1之差；

当|Z|≤2时，则x_i为正常数据；

当2＜|Z|＜3时，则x_i为可疑数据；

当|Z|≥3时，则x_i为异常数据。

5.如权利要求1所述的方法，其特征在于，所述步骤(5)中，对所述无线电数据进行归一化处理，公式为：

u＝(x-a)/(b-a) (6)

式(6)中，u为所述无线电数据x的归一化标准值，a为所述无线电数据样本的最小值，b为无线电数据样本的最大值；

则所述无线电数据的归一化标准值u服从β分布的分布函数为：

$\mathrm{\&beta;}(g,h)=\frac{u^{g-1}{\left(1-u\right)}^{h-1}}{B(g,h)}---\left(7\right)$

式(8)中，B(g,h)＝Γ(g+h)/[Γ(g)Γ(h)]为β函数，Γ(·)为Γ函数，g和h均大于0，为分布参数；

采用最小二乘估计方法获取分布参数g和h的估计值和公式为：

$\left\{\begin{array}{c}\hat{g}=\stackrel{\&OverBar;}{u}\left(\frac{\stackrel{\&OverBar;}{u}\left(1-\stackrel{\&OverBar;}{u}\right)}{{\mathrm{\&sigma;}}_u^2}-1\right)\\ \hat{h}=\left(1-\stackrel{\&OverBar;}{u}\right)\left(\frac{\stackrel{\&OverBar;}{u}\left(1-\stackrel{\&OverBar;}{u}\right)}{{\mathrm{\&sigma;}}_u^2}-1\right)\end{array}\right.---\left(8\right)$

式(8)中，为所述无线电数据的归一化标准值u的均值，σ为所述无线电数据的归一化标准值u的标准差；

根据估计值和确定所述无线电数据的分布范围最小估计值和最大估计值公式为：

$\left\{\begin{array}{c}\&lsqb;\hat{a},\hat{b}\&rsqb;=\&lsqb;\stackrel{\&OverBar;}{x}-k_{L}s,\stackrel{\&OverBar;}{x}+k_{U}s\&rsqb;\\ k_L=(1+\mathrm{\&alpha;})k,k_U=(1-\mathrm{\&alpha;})k\end{array}\right.---\left(9\right)$

式(9)中，为所述无线电数据样本的均值，s为所述无线电数据样本的标准差，k为分布系数，α为不对称系数；

其中，所述分布系数 $k=(\hat{g}+\hat{h})/\left(2\sqrt{\hat{g}\hat{h}(\hat{g}+\hat{h}+1)}\right),$ 所述不对称系数 $\mathrm{\&alpha;}=(\hat{g}-\hat{h})/(\hat{g}+\hat{h});$ 则将所述无线电数据中不在分布范围中的数据剔除。