CN106908668B - 一种实测地面合成电场数据的处理方法及系统 - Google Patents

Abstract

本发明公开了一种实测地面合成电场数据的处理方法，包括：根据实测的地面合成电场数据的缺失值写入规则对缺失值进行判断并剔除；利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除；利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补，获取弥补后的地面合成电场数据；若弥补后的地面合成电场数据不符合预期，则调整分段方式，对异常值重新利用线性回归方法进行弥补；若弥补后的地面合成电场数据是符合预期，利用奇异值分解滤除弥补后的地面合成电场数据中的随机干扰值。本发明方案降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响，对地面合成电场的机理分析有重要的推动作用。

Description

一种实测地面合成电场数据的处理方法及系统

技术领域

本发明涉及高压直流输电技术领域，更具体地，涉及一种实测地面合成电场数据的处理方法及系统。

背景技术

随着我国经济持续快速发展，能源需求，特别是电力资源需求持续增长。然而我国电力资源总体上西多东少、北多南少，具有分布与需求不均衡的特点。因此为实现电力资源优化配置，我国将“西电东送、南北互供、全国联网”作为电网发展的战略目标。这意味着需要建设大规模、远距离、高效率的输电工程，高压直流输电技术成为实现这一目标的不二之选。

高压直流输电线路传输电能时，由于导线放电不可避免地会产生电晕电流、无线电干扰、可听噪声和合成电场等，造成电能损耗和其他环境问题。近年来我国直流输电线路建设快速发展，直流输电线路周围的电磁环境问题愈来愈引起人们的关注。地面合成电场数据是直流输电线路的主要电磁环境参数，预测直流线路下的地面合成场已成为线路导线选型的一项重要工作。

现有技术(CN:201110342945.8)是从直流输电线路直流地面合成电场产生机理出发，采用有限元法进行建模，预测直流输电线路地面合成电场数据。在建模过程中，利用子域提高了导线表面电场计算精度；利用数学方法，推算了有空间电荷情况下的电场，最终获得了更加精确的直流输电线路地面合成电场计算方法。

然而实测的地面合成电场数据中，可能由于设备临时的不正常工作或数据传输过程中的意外情况，导致采集到的地面合成电场数据中含有缺失值或异常值。同时，由于高压直流输电线路下的环境复杂的特点，也有可能导致采集到的数据包含部分随机干扰值的噪声，从而影响后续的对地面合成电场数据进行研究的工作。现有技术没有对地面合成电场数据的缺失值、异常值和随机干扰值的处理方法。

因此，需要一种技术，以解决对地面合成电场数据的缺失值、异常值和随机干扰值的处理问题。

发明内容

本发明提供了一种实测地面合成电场数据的处理方法及系统，以解决对实测地面合成电场数据进行处理的问题。

为了解决上述问题，本发明提供了一种实测地面合成电场数据的处理方法，所述方法包括：

根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除；

利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除；

利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补，获取所述弥补后的地面合成电场数据；

判断弥补后的地面合成电场数据是否符合预期，若不符合预期，则调整分段方式，对异常值重新利用线性回归方法进行弥补；

若所述弥补后的地面合成电场数据是符合预期，则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。

优选地，所述利用拉依达准则法对实测的地面合成电场数据的缺失值分段进行判断包括：

通过Bezier公式计算标准偏差：

公式(1)中，x₁,x₂,…,x_n是某个位置下地面合成电场数据的n次观测，

为这n次观测的均值，△x_i是第i次观测与均值

的偏差；

对△x_i进行判断，当△x_i大于3σ时，确认第i次观测的地面合成电场数据为异常值。

优选地，所述利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括：

获取经过缺失值和异常值判断后的地面合成电场数据为X⁽¹⁾，X⁽¹⁾列矩阵表示不同位置，行矩阵表示不同时间采样点的地面合成电场数据矩阵；

确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置；

利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型，确认所述线性回归预测模型的组合系数；

利用所述拟合位置的线性回归预测模型，对拟合位置的判断出来的缺失值和异常值进行弥补，确定对所述缺失值和异常值弥补后的地面合成电场数据X⁽²⁾。

优选地，所述线性回归预测模型的组合系数通过最小二乘方式求解，包括：

确认X⁽¹⁾中所有不含缺失值和异常值地面合成电场数据为X^*，

构造矩阵A及向量a，Q^*为矩阵X^*拟合位置地面合成电场数据外的其余列构成的矩阵，向量a为所述线性回归预测模型的组合系数，

根据线性方程Aa获取X⁽¹⁾中对应拟合位置的列矩阵，并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。

优选地，所述利用奇异值分解滤除所述拟合后的地面合成电场数据中的随机干扰值包括：

对于经过缺失值和异常值拟合后的地面合成电场数据X⁽²⁾，进行奇异值分解：

其中，U＝[u₁,u₂,…,u_r]，S＝diag(σ₁,σ₂,…,σ_r)，V＝[v₁,v₂,…,v_r]，U的列向量组是X⁽²⁾X^(2)T的标准正交特征向量，V的列向量组是X^(2)TX⁽²⁾的标准正交特征向量，r为矩阵X⁽²⁾的秩，σ₁,σ₂,…,σ_r分别为矩阵X⁽²⁾的r个奇异值；

利用表征有效信号的前m个奇异值重构矩阵，得到去掉随机干扰值后的地面合成电场数据X⁽³⁾，

基于本发明的另一方面，本发明提供一种实测地面合成电场数据的处理系统，所述系统包括：

第一判断单元，用于根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除；

第二判断单元，用于利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除；

第一处理单元，用于利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补，获取所述弥补后的地面合成电场数据；判断弥补后的地面合成电场数据是否符合预期，若不符合预期，则调整分段方式，对异常值重新利用线性回归方法进行弥补；

第二处理单元，用于若所述弥补后的地面合成电场数据是符合预期，则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。

优选地，所述第二判断单元还用于：

通过Bezier公式计算标准偏差：

公式(1)中，x₁,x₂,…,x_n是某个位置下地面合成电场数据的n次观测，

为这n次观测的均值，△x_i是第i次观测与均值

的偏差；

对△x_i进行判断，当△x_i大于3σ时，确认第i次观测的地面合成电场数据为异常值。

优选地，所述第一处理单元还用于：

获取经过缺失值和异常值判断后的地面合成电场数据为X⁽¹⁾，X⁽¹⁾列矩阵表示不同位置，行矩阵表示不同时间采样点的地面合成电场数据矩阵；

确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置；

利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型，确认所述线性回归预测模型的组合系数；

利用所述拟合位置的线性回归预测模型，对拟合位置的判断出来的缺失值和异常值进行弥补，确定对所述缺失值和异常值弥补后的地面合成电场数据X⁽²⁾。

优选地，所述线性回归预测模型的组合系数通过最小二乘方式求解，包括：

确认X⁽¹⁾中所有不含缺失值和异常值地面合成电场数据为X^*，

构造矩阵A及向量a，Q^*为矩阵X^*拟合位置地面合成电场数据外的其余列构成的矩阵，向量a为所述线性回归预测模型的组合系数，

根据线性方程Aa获取X⁽¹⁾中对应拟合位置的列矩阵，并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。

优选地，所述第二处理单元用于：

对于经过缺失值和异常值拟合后的地面合成电场数据X⁽²⁾，进行奇异值分解：

其中，U＝[u₁,u₂,…,u_r]，S＝diag(σ₁,σ₂,…,σ_r)，V＝[v₁,v₂,…,v_r]，U的列向量组是X⁽²⁾X^(2)T的标准正交特征向量，V的列向量组是X^(2)TX⁽²⁾的标准正交特征向量，r为矩阵X⁽²⁾的秩，σ₁,σ₂,…,σ_r分别为矩阵X⁽²⁾的r个奇异值；

利用表征有效信号的前m个奇异值重构矩阵，得到去掉随机干扰值后的地面合成电场数据X⁽³⁾，

本发明的有益效果：

本发明的技术方案首先对实测的地面合成电场数据进行缺失值的判断并剔除，然后通过拉依达准则法对实测的地面合成电场数据分段进行异常值的判别并剔除；接着利用线性回归方法对地面合成电场数据中判别出来的缺失值和异常值进行弥补；再判断处理结果是否符合预期；如果不符合预期，需要调整分段方式，对缺失值、异常值重新弥补；最后，利用奇异值分解来提取地面合成电场数据的主要特征，从而滤除数据中的随机干扰。本发明的技术方案可以实现对实测地面合成电场数据中缺失值和异常值的判断和弥补，实现地面合成电场数据中随机干扰值的滤除，从而降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响，对地面合成电场的机理分析有重要的推动作用。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明实施方式的一种实测地面合成电场数据的处理方法流程图；

图2为根据本发明实施方式的一种实测地面合成电场数据的处理系统结构图；

图3为无异常数据的地面合成电场数据X在12个不同位置的相关系数矩阵示意图；

图4为有异常数据的地面合成电场数据Xa在12个不同位置的相关系数矩阵示意图；

图5为异常值处理后的地面合成电场数据Xe在12个不同位置的相关系数矩阵示意图；

图6为滤除随机干扰后的地面合成电场数据Y在12个不同位置的相关系数矩阵示意图；

图7为本发明实施方式的预处理前、后地面合成电场数据X，Xa，Xe，Y的细节比较示意图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为根据本发明实施方式的一种实测地面合成电场数据的处理方法流程图。本发明的实施方式首先对实测的地面合成电场数据进行缺失值的判断并剔除，然后通过拉依达准则法对实测的地面合成电场数据分段进行异常值的判别并剔除；以及利用线性回归方法对地面合成电场数据中判别出来的缺失值和异常值进行弥补；再判断地面合成电场数据弥补结果是否符合预期；如果不符合预期，需要调整分段方式，对缺失值、异常值重新弥补；最后，利用奇异值分解来提取地面合成电场数据的主要特征，从而滤除地面合成电场数据中的随机干扰值。如图1所示，方法100从步骤101开始。

优选地，在步骤101：根据实测的地面合成电场数据的缺失值写入规则对缺失值进行判断并剔除。

通常情况下，在实际地面合成电场数据的采集过程中，往往由于各种原因，比如机器临时故障导致的采集地面合成电场数据的缺失。实际采集操作中，规定为某些特殊值例如9999，或特殊文本如ERR为缺失值。所以，可以根据缺失数据写入的规则来实现对缺失值的判断，并将判断出的缺失值进行剔除。

优选地，在步骤102：利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除。本发明实施方式中，首先根据先验知识将实测地面合成电场数据所对应的时间等分为多个时间段，然后对每个时间段上的地面合成电场数据分别进行异常值判断。当实测地面合成电场数据对应的时间较长时，分段数应较多，以保证每一小段时间内的地面合成电场数据值有比较平稳的变化；当实测地面合成电场数据对应的时间较短时，分段数应较少，以保证每一小段时间内的样本数满足拉依达准则法的条件，从而提高判别精度。优选地，利用拉依达准则法对实测的地面合成电场数据的缺失值分段进行判断包括：

通过Bezier公式计算标准偏差：

公式(1)中，x₁,x₂,…,x_n是某个位置下地面合成电场数据的n次观测，

为这n次观测的均值，△x_i是第i次观测与均值

的偏差；

对△x_i进行判断，当△x_i大于3σ时，确认第i次观测的地面合成电场数据为异常值。

本发明的实施方式中，拉依达准则又称3σ准则，它假设一组检测数据只含有随机误差，对这组数据进行计算处理得到其标准偏差，然后按一定概率确定一个区间，当误差超过这个区间，则认为不是随机误差，其对应的数据应予以剔除。其中，标准偏差一般为Bezier公式计算的标准差：

其中，x₁,x₂,…,x_n是某个位置下地面合成电场数据的n次观测，

为这n次观测的均值，△x_i是第i次观测与均值的偏差。根据正态分布理论，偏差△x_i<3σ的概率约为99.7％。因此，在有限次如n次的观测中，如果某次观测的偏差大于3σ，说明该次观测具有较大的可疑误差，被判断为异常值，应该予以剔除。

优选地，在步骤103：利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补，获取弥补后的地面合成电场数据。

利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括：获取经过缺失值和异常值判断后的地面合成电场数据为X⁽¹⁾，X⁽¹⁾列矩阵表示不同位置，行矩阵表示不同时间采样点的地面合成电场数据矩阵；确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置；利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立拟合位置的拟合地面合成电场数据的线性回归预测模型，确认线性回归预测模型的组合系数；利用拟合位置的线性回归预测模型，对拟合位置的判断出来的缺失值和异常值进行弥补，确定对缺失值和异常值弥补后的地面合成电场数据X⁽²⁾。

优选地，线性回归预测模型的组合系数通过最小二乘方式求解，包括：

确认X⁽¹⁾中所有不含缺失值和异常值地面合成电场数据为X^*，

构造矩阵A及向量a，Q^*为矩阵X^*拟合位置地面合成电场数据外的其余列构成的矩阵，向量a为线性回归预测模型的组合系数，

根据线性方程Aa获取X⁽¹⁾中对应拟合位置的列矩阵，并确认线性方程Aa的最小二乘问题的解为拟合位置的组合系数。

判断弥补后的地面合成电场数据是否符合预期，若不符合预期，则调整分段方式，对异常值重新利用线性回归方法进行弥补。其中调整分段方式包括，当拟合后的地面合成电场数据过于平滑时，应适当减小段数来增加每一小段的样本数，从而反映出地面合成电场数据值的变化；当拟合后的地面合成电场数据与相邻地面合成电场数据的差距过大时，应适当增加段数来减少每一小段的样本数，从而削弱较长时间间隔的不相关信息对其的干扰。

本发明的实施方式中，利用线性回归方法对地面合成电场数据中判断出来的缺失值和异常值进行弥补。

首先，将经过缺失值和异常值判断后的电场数据标记为X⁽¹⁾：

公式(2)中，变量x₁,x₂,…,x_p代表其中的p个不同测量位置随时间变化的电场值，N为采样点的样本个数，即x_ij(i＝1,2,…,N；j＝1,2,…,p)表示第i个采样时刻下第j个位置处的地面合成电场强度值。在X⁽¹⁾中，含有无效数据，即判别为缺失值或异常值的地面合成电场强度数据，需要在后续的处理中进行弥补。

优选地，由于实测的不同位置下地面合成电场强度值具有一定的关联性，且随时间的变化程度相近，所以可以通过对不含缺失值和异常值的那部分地面电场强度数据来拟合出一个不同位置下地面合成电场强度之间线性关系的预测模型。本发明的实施方式中以第1个位置下随时间变化的地面合成电场强度x₁的拟合为例，有如下的预测模型，其它位置下的拟合预测模型可简单类比：

x₁＝a₀+a₂x₂+a₃x₃+…+a_px_p

其中x₁是待拟合的对象，x₂,x₃,…,x_p是其余的不同位置下的地面合成电场强度，a₀,a₂,a₃,…,a_p是拟合出来的线性回归模型的组合系数，a₀为其中的常数项。根据上述x₁的预测模型，可对x₁中第i个采样时刻下的缺失值和异常值x_i1进行补充：

x_i1＝a₀+a₂x_i2+a₃x_i3+…+a_px_ip

同理，也类似地求解及弥补出x₂,x₃,…,x_p中某些采样时刻下的缺失值和异常值。

最终，通过对x₁,x₂,…,x_p经过缺失值和异常值处理后，得到新的地面合成电场数据X⁽²⁾：

其中变量x₁,x₂,…,x_p代表其中的p个不同测量位置，N为采样点的样本个数，即x_ij(i＝1,2,…,N；j＝1,2,…,p)表示第i个采样时刻下第j个位置处的地面合成电场强度值。与地面合成电场强度矩阵X⁽¹⁾相比，X⁽²⁾仅弥补了X⁽¹⁾中的缺失值和异常值。

优选地，本发明的实施方式中，在对x₁中判别出来的缺失值和异常值进行弥补的过程中，线性回归模型的系数a₀,a₂,a₃,…,a_p可以通过最小二乘方式求解。

标记X^*为X⁽¹⁾中所有不含缺失值或异常值的采样时刻下的电场数据：

其中X⁽¹⁾为N×p的矩阵，X^*为M×p的矩阵(M<N)，即X^*由去掉X⁽¹⁾中含缺失值或异常值的某些行得到。另外，

为矩阵X^*的第1列，Q^*为矩阵X^*的其余列构成的矩阵。所以，X^*中已对地面合成电场数据的缺失值和异常值进行了弥补，即X^*中所有数据均有意义。然后，构造矩阵A及向量a：

则线性方程组Aa＝x₁的最小二乘问题的解为：a＝(A^TA)^-1A^Tx₁。此时，求解出来的a即为x₁的预测模型的组合系数a₀,a₂,a₃,…,a_p，即对x₁中第i个采样时刻下的缺失值和异常值x_i1进行补充：

x_i1＝a₀+a₂x_i2+a₃x_i3+…+a_px_ip

同理，也类似地求解及弥补出x₂,x₃,…,x_p中某些采样时刻下的缺失值和异常值。按此方法，可完成对位置1至p个测量位置测量的地面合成电场数据的缺失值和异常值进行弥补。

优选地，在步骤103：若弥补后的地面合成电场数据是符合预期，利用奇异值分解滤除弥补后的地面合成电场数据中的随机干扰值。由于不同位置下的地面合成电场强度值具有一定的关联性，所以可以利用奇异值分解来提取地面合成电场数据的主要特征，实现降噪目的。对于经过缺失值和异常值拟合后的地面合成电场数据X⁽²⁾，进行奇异值分解：

其中，U＝[u₁,u₂,…,u_r]，S＝diag(σ₁,σ₂,…,σ_r)，V＝[v₁,v₂,…,v_r]，U的列向量组是X⁽²⁾X^(2)T的标准正交特征向量，V的列向量组是X^(2)TX⁽²⁾的标准正交特征向量，r为矩阵X⁽²⁾的秩，σ₁,σ₂,…,σ_r分别为矩阵X⁽²⁾的r个奇异值，且σ₁>σ₂>…>σ_r。

优选地，本发明的实施方式中，矩阵X⁽²⁾是由地面合成电场强度和随机噪声共同组成的，那么它的按递减顺序排列的奇异值σ₁,σ₂,…,σ_r可以清楚地反映实际信号即地面合成电场强度和噪声能量集中的情况：前m个较大的奇异值主要反映信号，其余的奇异值则主要反映噪声。因此，只用表征有效信号的前m个奇异值重构矩阵，则可以有效地去除随机干扰。

利用表征有效信号的前m个奇异值重构矩阵，得到去掉随机干扰值后的地面合成电场数据X⁽³⁾，

图3-图6为根据本发明实施方式的地面合成电场数据在预处理前、后地面合成电场数据X，Xa，Xe，Y的相关系数矩阵，色块的颜色越深，表示对应的两种粒径大小的颗粒物浓度的关联性越强。

通过对比本发明实施方式的四种地面合成电场数据X，Xa，Xe，Y的相关系数矩阵可以发现，异常值对地面合成电场数据不同位置下的相关系数矩阵具有较大影响。而经异常值处理后，Xe的相关系数矩阵和无异常值的电场数据X的相关系数矩阵类似。经过随机干扰的滤除后，不同位置下的电场强度之间的关联与不关联的程度更加明显，说明基于奇异值分解的随机干扰滤除方法有效地提取了地面合成电场数据的主要特征。

图7为本发明一种实施例的预处理前、后地面合成电场数据X，Xa，Xe，Y的细节比较。图7显示了12种不同位置下，在[270,300]区间的地面合成电场数据。

本发明的实施方式有效地实现了对实测地面合成电场数据的预处理。其中，对地面合成电场数据中的缺失值和异常值进行了判断，并对被判断为缺失值和异常值的数据进行了弥补，同时对地面合成电场数据中的随机干扰值进行了滤除，从而降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响。本发明的实施方式通过分段的拉依达准则法对异常值进行判别，有效地提高了判别精度。本发明的实施方式通过线性回归方法对缺失值和异常值进行弥补，有效地利用了地面合成电场数据内部的关联特性来得到合适的弥补数据。本发明的实施方式通过奇异值分解来提取地面合成电场数据的主要特征，在一定程度上滤除了地面合成电场数据中的随机干扰值。

综上，本发明实施方式提供的一种实测地面合成电场数据的预处理方法，是基于实测数据本身可能带有的缺失值、异常值以及某些随机干扰进行的有效的数据预处理方法。在预处理过程中，充分利用不同位置下的地面合成电场强度之间的关联特性来进行。最终有效地实现了复杂的实测地面合成电场数据的预处理。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

Claims (10)

1.一种实测地面合成电场数据的处理方法，所述方法包括：

根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除；

利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除；

利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补，获取所述弥补后的地面合成电场数据；

判断弥补后的地面合成电场数据是否符合预期，若不符合预期，则调整分段方式，对异常值重新利用线性回归方法进行弥补；

若所述弥补后的地面合成电场数据是符合预期，则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。

2.根据权利要求1所述的方法，所述利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断包括：

通过Bezier公式计算标准偏差：

公式(1)中，x₁,x₂,…,x_n是某个位置下地面合成电场数据的n次观测，

为这n次观测的均值，Δx_i是第i次观测与均值

的偏差；

对Δx_i进行判断，当Δx_i大于3σ时，确认第i次观测的地面合成电场数据为异常值。

3.根据权利要求1所述的方法，所述利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括：

获取经过缺失值和异常值判断后的地面合成电场数据为X⁽¹⁾，X⁽¹⁾列矩阵表示不同位置，行矩阵表示不同时间采样点的地面合成电场数据矩阵；

确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置；

利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型，确认所述线性回归预测模型的组合系数；

利用所述拟合位置的线性回归预测模型，对拟合位置的判断出来的缺失值和异常值进行弥补，确定对所述缺失值和异常值弥补后的地面合成电场数据X⁽²⁾。

4.根据权利要求3所述的方法，所述线性回归预测模型的组合系数通过最小二乘方式求解，包括：

确认X⁽¹⁾中所有不含缺失值和异常值地面合成电场数据为X^*，

构造矩阵A及向量a，Q^*为矩阵X^*拟合位置地面合成电场数据外的其余列构成的矩阵，向量a为所述线性回归预测模型的组合系数，

根据线性方程Aa获取X⁽¹⁾中对应拟合位置的列矩阵，并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。

5.根据权利要求1所述的方法，所述利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值包括：

对于经过缺失值和异常值弥补后的地面合成电场数据X⁽²⁾，进行奇异值分解：

其中，U＝[u₁,u₂,…,u_r]，S＝diag(σ₁,σ₂,…,σ_r)，V＝[v₁,v₂,…,v_r]，U的列向量组是X⁽²⁾X^(2)T的标准正交特征向量，V的列向量组是X^(2)TX⁽²⁾的标准正交特征向量，r为矩阵X⁽²⁾的秩，σ₁,σ₂,…,σ_r分别为矩阵X⁽²⁾的r个奇异值；

利用表征有效信号的前m个奇异值重构矩阵，得到去掉随机干扰值后的地面合成电场数据X⁽³⁾,

6.一种实测地面合成电场数据的处理系统，所述系统包括：

第一判断单元，用于根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除；

第二判断单元，用于利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除；

第一处理单元，用于利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补，获取所述弥补后的地面合成电场数据；判断弥补后的地面合成电场数据是否符合预期，若不符合预期，则调整分段方式，对异常值重新利用线性回归方法进行弥补；

第二处理单元，用于若所述弥补后的地面合成电场数据是符合预期，则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。

7.根据权利要求6所述的系统，所述第二判断单元还用于：

通过Bezier公式计算标准偏差：

公式(1)中，x₁,x₂,…,x_n是某个位置下地面合成电场数据的n次观测，

为这n次观测的均值，Δx_i是第i次观测与均值

的偏差；对Δx_i进行判断，当Δx_i大于3σ时，确认第i次观测的地面合成电场数据为异常值。

8.根据权利要求6所述的系统，所述第一处理单元还用于：

获取经过缺失值和异常值判断后的地面合成电场数据为X⁽¹⁾，X⁽¹⁾列矩阵表示不同位置，行矩阵表示不同时间采样点的地面合成电场数据矩阵；

确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置；

利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型，确认所述线性回归预测模型的组合系数；

利用所述拟合位置的线性回归预测模型，对拟合位置的判断出来的缺失值和异常值进行弥补，确定对所述缺失值和异常值弥补后的地面合成电场数据X⁽²⁾。

9.根据权利要求8所述的系统，所述线性回归预测模型的组合系数通过最小二乘方式求解，包括：

确认X⁽¹⁾中所有不含缺失值和异常值地面合成电场数据为X^*，

构造矩阵A及向量a，Q^*为矩阵X^*拟合位置地面合成电场数据外的其余列构成的矩阵，向量a为所述线性回归预测模型的组合系数，

根据线性方程Aa获取X⁽¹⁾中对应拟合位置的列矩阵，并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。

10.根据权利要求6所述的系统，所述第二处理单元用于：

对于经过缺失值和异常值弥补后的地面合成电场数据X⁽²⁾，进行奇异值分解：

其中，U＝[u₁,u₂,…,u_r]，S＝diag(σ₁,σ₂,…,σ_r)，V＝[v₁,v₂,…,v_r]，U的列向量组是X⁽²⁾X^(2)T的标准正交特征向量，V的列向量组是X^(2)TX⁽²⁾的标准正交特征向量，r为矩阵X⁽²⁾的秩，σ₁,σ₂,…,σ_r分别为矩阵X⁽²⁾的r个奇异值；

利用表征有效信号的前m个奇异值重构矩阵，得到去掉随机干扰值后的地面合成电场数据X⁽³⁾,

Images