CN106908668A - 一种实测地面合成电场数据的处理方法及系统 - Google Patents

一种实测地面合成电场数据的处理方法及系统 Download PDF

Info

Publication number
CN106908668A
CN106908668A CN201710048650.7A CN201710048650A CN106908668A CN 106908668 A CN106908668 A CN 106908668A CN 201710048650 A CN201710048650 A CN 201710048650A CN 106908668 A CN106908668 A CN 106908668A
Authority
CN
China
Prior art keywords
electric field
total electric
field data
ground
ground total
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710048650.7A
Other languages
English (en)
Other versions
CN106908668B (zh
Inventor
鞠勇
谢莉
王秋生
谷晓岚
袁海文
赵录兴
陆家榆
杨晓洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Beihang University
China Electric Power Research Institute Co Ltd CEPRI
State Grid Beijing Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Beihang University
China Electric Power Research Institute Co Ltd CEPRI
State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Beihang University, China Electric Power Research Institute Co Ltd CEPRI, State Grid Beijing Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710048650.7A priority Critical patent/CN106908668B/zh
Publication of CN106908668A publication Critical patent/CN106908668A/zh
Application granted granted Critical
Publication of CN106908668B publication Critical patent/CN106908668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R29/00Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
    • G01R29/12Measuring electrostatic fields or voltage-potential

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)

Abstract

本发明公开了一种实测地面合成电场数据的处理方法,包括:根据实测的地面合成电场数据的缺失值写入规则对缺失值进行判断并剔除;利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取弥补后的地面合成电场数据;若弥补后的地面合成电场数据不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;若弥补后的地面合成电场数据是符合预期,利用奇异值分解滤除弥补后的地面合成电场数据中的随机干扰值。本发明方案降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响,对地面合成电场的机理分析有重要的推动作用。

Description

一种实测地面合成电场数据的处理方法及系统
技术领域
本发明涉及高压直流输电技术领域,更具体地,涉及一种实测地面合成电场数据的处理方法及系统。
背景技术
随着我国经济持续快速发展,能源需求,特别是电力资源需求持续增长。然而我国电力资源总体上西多东少、北多南少,具有分布与需求不均衡的特点。因此为实现电力资源优化配置,我国将“西电东送、南北互供、全国联网”作为电网发展的战略目标。这意味着需要建设大规模、远距离、高效率的输电工程,高压直流输电技术成为实现这一目标的不二之选。
高压直流输电线路传输电能时,由于导线放电不可避免地会产生电晕电流、无线电干扰、可听噪声和合成电场等,造成电能损耗和其他环境问题。近年来我国直流输电线路建设快速发展,直流输电线路周围的电磁环境问题愈来愈引起人们的关注。地面合成电场数据是直流输电线路的主要电磁环境参数,预测直流线路下的地面合成场已成为线路导线选型的一项重要工作。
现有技术(CN:201110342945.8)是从直流输电线路直流地面合成电场产生机理出发,采用有限元法进行建模,预测直流输电线路地面合成电场数据。在建模过程中,利用子域提高了导线表面电场计算精度;利用数学方法,推算了有空间电荷情况下的电场,最终获得了更加精确的直流输电线路地面合成电场计算方法。
然而实测的地面合成电场数据中,可能由于设备临时的不正常工作或数据传输过程中的意外情况,导致采集到的地面合成电场数据中含有缺失值或异常值。同时,由于高压直流输电线路下的环境复杂的特点,也有可能导致采集到的数据包含部分随机干扰值的噪声,从而影响后续的对地面合成电场数据进行研究的工作。现有技术没有对地面合成电场数据的缺失值、异常值和随机干扰值的处理方法。
因此,需要一种技术,以解决对地面合成电场数据的缺失值、异常值和随机干扰值的处理问题。
发明内容
本发明提供了一种实测地面合成电场数据的处理方法及系统,以解决对实测地面合成电场数据进行处理的问题。
为了解决上述问题,本发明提供了一种实测地面合成电场数据的处理方法,所述方法包括:
根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;
判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
优选地,所述利用拉依达准则法对实测的地面合成电场数据的缺失值分段进行判断包括:
通过Bezier公式计算标准偏差:
公式(1)中,x1,x2,…,xn是某个位置下地面合成电场数据的n次观测,为这n次观测的均值,△xi是第i次观测与均值的偏差;
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
优选地,所述利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)
优选地,所述线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为所述线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
优选地,所述利用奇异值分解滤除所述拟合后的地面合成电场数据中的随机干扰值包括:
对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
其中,U=[u1,u2,…,ur],S=diag(σ12,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ12,…,σr分别为矩阵X(2)的r个奇异值;
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3)
基于本发明的另一方面,本发明提供一种实测地面合成电场数据的处理系统,所述系统包括:
第一判断单元,用于根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
第二判断单元,用于利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
第一处理单元,用于利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
第二处理单元,用于若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
优选地,所述第二判断单元还用于:
通过Bezier公式计算标准偏差:
公式(1)中,x1,x2,…,xn是某个位置下地面合成电场数据的n次观测,为这n次观测的均值,△xi是第i次观测与均值的偏差;
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
优选地,所述第一处理单元还用于:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)
优选地,所述线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为所述线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
优选地,所述第二处理单元用于:
对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
其中,U=[u1,u2,…,ur],S=diag(σ12,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ12,…,σr分别为矩阵X(2)的r个奇异值;
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3)
本发明的有益效果:
本发明的技术方案首先对实测的地面合成电场数据进行缺失值的判断并剔除,然后通过拉依达准则法对实测的地面合成电场数据分段进行异常值的判别并剔除;接着利用线性回归方法对地面合成电场数据中判别出来的缺失值和异常值进行弥补;再判断处理结果是否符合预期;如果不符合预期,需要调整分段方式,对缺失值、异常值重新弥补;最后,利用奇异值分解来提取地面合成电场数据的主要特征,从而滤除数据中的随机干扰。本发明的技术方案可以实现对实测地面合成电场数据中缺失值和异常值的判断和弥补,实现地面合成电场数据中随机干扰值的滤除,从而降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响,对地面合成电场的机理分析有重要的推动作用。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施方式的一种实测地面合成电场数据的处理方法流程图;
图2为根据本发明实施方式的一种实测地面合成电场数据的处理系统结构图;
图3为无异常数据的地面合成电场数据X在12个不同位置的相关系数矩阵示意图;
图4为有异常数据的地面合成电场数据Xa在12个不同位置的相关系数矩阵示意图;
图5为异常值处理后的地面合成电场数据Xe在12个不同位置的相关系数矩阵示意图;
图6为滤除随机干扰后的地面合成电场数据Y在12个不同位置的相关系数矩阵示意图;
图7为本发明实施方式的预处理前、后地面合成电场数据X,Xa,Xe,Y的细节比较示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的一种实测地面合成电场数据的处理方法流程图。本发明的实施方式首先对实测的地面合成电场数据进行缺失值的判断并剔除,然后通过拉依达准则法对实测的地面合成电场数据分段进行异常值的判别并剔除;以及利用线性回归方法对地面合成电场数据中判别出来的缺失值和异常值进行弥补;再判断地面合成电场数据弥补结果是否符合预期;如果不符合预期,需要调整分段方式,对缺失值、异常值重新弥补;最后,利用奇异值分解来提取地面合成电场数据的主要特征,从而滤除地面合成电场数据中的随机干扰值。如图1所示,方法100从步骤101开始。
优选地,在步骤101:根据实测的地面合成电场数据的缺失值写入规则对缺失值进行判断并剔除。
通常情况下,在实际地面合成电场数据的采集过程中,往往由于各种原因,比如机器临时故障导致的采集地面合成电场数据的缺失。实际采集操作中,规定为某些特殊值例如9999,或特殊文本如ERR为缺失值。所以,可以根据缺失数据写入的规则来实现对缺失值的判断,并将判断出的缺失值进行剔除。
优选地,在步骤102:利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除。本发明实施方式中,首先根据先验知识将实测地面合成电场数据所对应的时间等分为多个时间段,然后对每个时间段上的地面合成电场数据分别进行异常值判断。当实测地面合成电场数据对应的时间较长时,分段数应较多,以保证每一小段时间内的地面合成电场数据值有比较平稳的变化;当实测地面合成电场数据对应的时间较短时,分段数应较少,以保证每一小段时间内的样本数满足拉依达准则法的条件,从而提高判别精度。优选地,利用拉依达准则法对实测的地面合成电场数据的缺失值分段进行判断包括:
通过Bezier公式计算标准偏差:
公式(1)中,x1,x2,…,xn是某个位置下地面合成电场数据的n次观测,为这n次观测的均值,△xi是第i次观测与均值的偏差;
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
本发明的实施方式中,拉依达准则又称3σ准则,它假设一组检测数据只含有随机误差,对这组数据进行计算处理得到其标准偏差,然后按一定概率确定一个区间,当误差超过这个区间,则认为不是随机误差,其对应的数据应予以剔除。其中,标准偏差一般为Bezier公式计算的标准差:
其中,x1,x2,…,xn是某个位置下地面合成电场数据的n次观测,为这n次观测的均值,△xi是第i次观测与均值的偏差。根据正态分布理论,偏差△xi<3σ的概率约为99.7%。因此,在有限次如n次的观测中,如果某次观测的偏差大于3σ,说明该次观测具有较大的可疑误差,被判断为异常值,应该予以剔除。
优选地,在步骤103:利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取弥补后的地面合成电场数据。
利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括:获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立拟合位置的拟合地面合成电场数据的线性回归预测模型,确认线性回归预测模型的组合系数;利用拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对缺失值和异常值弥补后的地面合成电场数据X(2)
优选地,线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补。其中调整分段方式包括,当拟合后的地面合成电场数据过于平滑时,应适当减小段数来增加每一小段的样本数,从而反映出地面合成电场数据值的变化;当拟合后的地面合成电场数据与相邻地面合成电场数据的差距过大时,应适当增加段数来减少每一小段的样本数,从而削弱较长时间间隔的不相关信息对其的干扰。
本发明的实施方式中,利用线性回归方法对地面合成电场数据中判断出来的缺失值和异常值进行弥补。
首先,将经过缺失值和异常值判断后的电场数据标记为X(1)
公式(2)中,变量x1,x2,…,xp代表其中的p个不同测量位置随时间变化的电场值,N为采样点的样本个数,即xij(i=1,2,…,N;j=1,2,…,p)表示第i个采样时刻下第j个位置处的地面合成电场强度值。在X(1)中,含有无效数据,即判别为缺失值或异常值的地面合成电场强度数据,需要在后续的处理中进行弥补。
优选地,由于实测的不同位置下地面合成电场强度值具有一定的关联性,且随时间的变化程度相近,所以可以通过对不含缺失值和异常值的那部分地面电场强度数据来拟合出一个不同位置下地面合成电场强度之间线性关系的预测模型。本发明的实施方式中以第1个位置下随时间变化的地面合成电场强度x1的拟合为例,有如下的预测模型,其它位置下的拟合预测模型可简单类比:
x1=a0+a2x2+a3x3+…+apxp
其中x1是待拟合的对象,x2,x3,…,xp是其余的不同位置下的地面合成电场强度,a0,a2,a3,…,ap是拟合出来的线性回归模型的组合系数,a0为其中的常数项。根据上述x1的预测模型,可对x1中第i个采样时刻下的缺失值和异常值xi1进行补充:
xi1=a0+a2xi2+a3xi3+…+apxip
同理,也类似地求解及弥补出x2,x3,…,xp中某些采样时刻下的缺失值和异常值。
最终,通过对x1,x2,…,xp经过缺失值和异常值处理后,得到新的地面合成电场数据X(2)
其中变量x1,x2,…,xp代表其中的p个不同测量位置,N为采样点的样本个数,即xij(i=1,2,…,N;j=1,2,…,p)表示第i个采样时刻下第j个位置处的地面合成电场强度值。与地面合成电场强度矩阵X(1)相比,X(2)仅弥补了X(1)中的缺失值和异常值。
优选地,本发明的实施方式中,在对x1中判别出来的缺失值和异常值进行弥补的过程中,线性回归模型的系数a0,a2,a3,…,ap可以通过最小二乘方式求解。
标记X*为X(1)中所有不含缺失值或异常值的采样时刻下的电场数据:
其中X(1)为N×p的矩阵,X*为M×p的矩阵(M<N),即X*由去掉X(1)中含缺失值或异常值的某些行得到。另外,为矩阵X*的第1列,Q*为矩阵X*的其余列构成的矩阵。所以,X*中已对地面合成电场数据的缺失值和异常值进行了弥补,即X*中所有数据均有意义。然后,构造矩阵A及向量a:
则线性方程组Aa=x1的最小二乘问题的解为:a=(ATA)-1ATx1。此时,求解出来的a即为x1的预测模型的组合系数a0,a2,a3,…,ap,即对x1中第i个采样时刻下的缺失值和异常值xi1进行补充:
xi1=a0+a2xi2+a3xi3+…+apxip
同理,也类似地求解及弥补出x2,x3,…,xp中某些采样时刻下的缺失值和异常值。按此方法,可完成对位置1至p个测量位置测量的地面合成电场数据的缺失值和异常值进行弥补。
优选地,在步骤103:若弥补后的地面合成电场数据是符合预期,利用奇异值分解滤除弥补后的地面合成电场数据中的随机干扰值。由于不同位置下的地面合成电场强度值具有一定的关联性,所以可以利用奇异值分解来提取地面合成电场数据的主要特征,实现降噪目的。对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
其中,U=[u1,u2,…,ur],S=diag(σ12,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ12,…,σr分别为矩阵X(2)的r个奇异值,且σ12>…>σr
优选地,本发明的实施方式中,矩阵X(2)是由地面合成电场强度和随机噪声共同组成的,那么它的按递减顺序排列的奇异值σ12,…,σr可以清楚地反映实际信号即地面合成电场强度和噪声能量集中的情况:前m个较大的奇异值主要反映信号,其余的奇异值则主要反映噪声。因此,只用表征有效信号的前m个奇异值重构矩阵,则可以有效地去除随机干扰。
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3)
图3-图6为根据本发明实施方式的地面合成电场数据在预处理前、后地面合成电场数据X,Xa,Xe,Y的相关系数矩阵,色块的颜色越深,表示对应的两种粒径大小的颗粒物浓度的关联性越强。
通过对比本发明实施方式的四种地面合成电场数据X,Xa,Xe,Y的相关系数矩阵可以发现,异常值对地面合成电场数据不同位置下的相关系数矩阵具有较大影响。而经异常值处理后,Xe的相关系数矩阵和无异常值的电场数据X的相关系数矩阵类似。经过随机干扰的滤除后,不同位置下的电场强度之间的关联与不关联的程度更加明显,说明基于奇异值分解的随机干扰滤除方法有效地提取了地面合成电场数据的主要特征。
图7为本发明一种实施例的预处理前、后地面合成电场数据X,Xa,Xe,Y的细节比较。图7显示了12种不同位置下,在[270,300]区间的地面合成电场数据。
本发明的实施方式有效地实现了对实测地面合成电场数据的预处理。其中,对地面合成电场数据中的缺失值和异常值进行了判断,并对被判断为缺失值和异常值的数据进行了弥补,同时对地面合成电场数据中的随机干扰值进行了滤除,从而降低由于测量设备异常或外界环境干扰对地面合成电场数据的影响。本发明的实施方式通过分段的拉依达准则法对异常值进行判别,有效地提高了判别精度。本发明的实施方式通过线性回归方法对缺失值和异常值进行弥补,有效地利用了地面合成电场数据内部的关联特性来得到合适的弥补数据。本发明的实施方式通过奇异值分解来提取地面合成电场数据的主要特征,在一定程度上滤除了地面合成电场数据中的随机干扰值。
综上,本发明实施方式提供的一种实测地面合成电场数据的预处理方法,是基于实测数据本身可能带有的缺失值、异常值以及某些随机干扰进行的有效的数据预处理方法。在预处理过程中,充分利用不同位置下的地面合成电场强度之间的关联特性来进行。最终有效地实现了复杂的实测地面合成电场数据的预处理。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。

Claims (10)

1.一种实测地面合成电场数据的处理方法,所述方法包括:
根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;
判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
2.根据权利要求1所述的方法,所述利用拉依达准则法对实测的地面合成电场数据的缺失值分段进行判断包括:
通过Bezier公式计算标准偏差:
公式(1)中,x1,x2,…,xn是某个位置下地面合成电场数据的n次观测,为这n次观测的均值,△xi是第i次观测与均值的偏差;
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
3.根据权利要求1所述的方法,所述利用线性回归方法对实测的地面合成电场数据中被剔除的缺失值和异常值进行弥补包括:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)
4.根据权利要求3所述的方法,所述线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为所述线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
5.根据权利要求1所述的方法,所述利用奇异值分解滤除所述拟合后的地面合成电场数据中的随机干扰值包括:
对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
X ( 2 ) = USV T = &Sigma; i = 1 r &sigma; i &CenterDot; u i v i T
其中,U=[u1,u2,…,ur],S=diag(σ12,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ12,…,σr分别为矩阵X(2)的r个奇异值;
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3)
X ( 3 ) = &Sigma; i = 1 m &sigma; i &CenterDot; u i v i T .
6.一种实测地面合成电场数据的处理系统,所述系统包括:
第一判断单元,用于根据实测的地面合成电场数据的缺失值写入规则对所述缺失值进行判断并剔除;
第二判断单元,用于利用拉依达准则法对实测的地面合成电场数据的异常值分段进行判断并剔除;
第一处理单元,用于利用线性回归方法对地面合成电场数据中被剔除的缺失值和异常值进行弥补,获取所述弥补后的地面合成电场数据;判断弥补后的地面合成电场数据是否符合预期,若不符合预期,则调整分段方式,对异常值重新利用线性回归方法进行弥补;
第二处理单元,用于若所述弥补后的地面合成电场数据是符合预期,则利用奇异值分解滤除所述弥补后的地面合成电场数据中的随机干扰值。
7.根据权利要求6所述的系统,所述第二判断单元还用于:
通过Bezier公式计算标准偏差:
公式(1)中,x1,x2,…,xn是某个位置下地面合成电场数据的n次观测,为这n次观测的均值,△xi是第i次观测与均值的偏差;
对△xi进行判断,当△xi大于3σ时,确认第i次观测的地面合成电场数据为异常值。
8.根据权利要求6所述的系统,所述第一处理单元还用于:
获取经过缺失值和异常值判断后的地面合成电场数据为X(1),X(1)列矩阵表示不同位置,行矩阵表示不同时间采样点的地面合成电场数据矩阵;
确定包括缺失值和异常值的地面合成电场数据的位置为拟合位置;
利用拟合位置地面合成电场数据外的其余不同位置下的地面合成电场强度建立所述拟合位置的拟合地面合成电场数据的线性回归预测模型,确认所述线性回归预测模型的组合系数;
利用所述拟合位置的线性回归预测模型,对拟合位置的判断出来的缺失值和异常值进行弥补,确定对所述缺失值和异常值弥补后的地面合成电场数据X(2)
9.根据权利要求8所述的系统,所述线性回归预测模型的组合系数通过最小二乘方式求解,包括:
确认X(1)中所有不含缺失值和异常值地面合成电场数据为X*
构造矩阵A及向量a,Q*为矩阵X*拟合位置地面合成电场数据外的其余列构成的矩阵,向量a为所述线性回归预测模型的组合系数,
根据线性方程Aa获取X(1)中对应拟合位置的列矩阵,并确认所述线性方程Aa的最小二乘问题的解为拟合位置的组合系数。
10.根据权利要求6所述的系统,所述第二处理单元用于:
对于经过缺失值和异常值拟合后的地面合成电场数据X(2),进行奇异值分解:
X ( 2 ) = USV T = &Sigma; i = 1 r &sigma; i &CenterDot; u i v i T
其中,U=[u1,u2,…,ur],S=diag(σ12,…,σr),V=[v1,v2,…,vr],U的列向量组是X(2)X(2)T的标准正交特征向量,V的列向量组是X(2)TX(2)的标准正交特征向量,r为矩阵X(2)的秩,σ12,…,σr分别为矩阵X(2)的r个奇异值;
利用表征有效信号的前m个奇异值重构矩阵,得到去掉随机干扰值后的地面合成电场数据X(3)
X ( 3 ) = &Sigma; i = 1 m &sigma; i &CenterDot; u i v i T .
CN201710048650.7A 2017-01-20 2017-01-20 一种实测地面合成电场数据的处理方法及系统 Active CN106908668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710048650.7A CN106908668B (zh) 2017-01-20 2017-01-20 一种实测地面合成电场数据的处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710048650.7A CN106908668B (zh) 2017-01-20 2017-01-20 一种实测地面合成电场数据的处理方法及系统

Publications (2)

Publication Number Publication Date
CN106908668A true CN106908668A (zh) 2017-06-30
CN106908668B CN106908668B (zh) 2021-03-26

Family

ID=59206622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710048650.7A Active CN106908668B (zh) 2017-01-20 2017-01-20 一种实测地面合成电场数据的处理方法及系统

Country Status (1)

Country Link
CN (1) CN106908668B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109142895A (zh) * 2018-07-05 2019-01-04 清华大学 直流导线空间电位和合成电场分布的简便测量装置
CN109684308A (zh) * 2017-10-18 2019-04-26 南方电网科学研究院有限责任公司 一种基于模式搜索的电磁环境参数一致性清理方法及装置
CN110070132A (zh) * 2019-04-24 2019-07-30 华中科技大学无锡研究院 风电场scada系统缺失数据修复结果的修正补偿方法
CN110084158A (zh) * 2019-04-15 2019-08-02 杭州拓深科技有限公司 一种基于智能算法的用电设备识别方法
CN111521883A (zh) * 2020-03-24 2020-08-11 中国电力科学研究院有限公司 一种用于获取高压直流输电线路电场测量值的方法及系统
CN112067908A (zh) * 2020-08-20 2020-12-11 国网山东省电力公司电力科学研究院 变电站机器人测量工频电场时畸变电场的拟合方法及系统
CN115657448A (zh) * 2022-12-09 2023-01-31 电信科学技术第五研究所有限公司 用于时钟驯服的频率偏移量分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102446302A (zh) * 2011-12-31 2012-05-09 浙江大学 一种水质预测系统的数据预处理方法
CN102495949A (zh) * 2011-11-23 2012-06-13 西北工业大学 一种基于飞行数据的故障预报方法
CN102650527A (zh) * 2012-05-25 2012-08-29 北京航空航天大学 一种基于时间序列分析消噪的光纤陀螺温度补偿方法
CN104217002A (zh) * 2014-09-14 2014-12-17 北京航空航天大学 一种基于高质量数据获取的路况信息填补方法
CN104574202A (zh) * 2014-12-09 2015-04-29 国网青海省电力公司经济技术研究院 一种风电场出力特性分析方法
CN105225486A (zh) * 2015-10-09 2016-01-06 哈尔滨工业大学深圳研究生院 填补缺失浮动车数据的方法及系统
CN105404146A (zh) * 2015-11-10 2016-03-16 国家电网公司 一种电石炉炉况诊断方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495949A (zh) * 2011-11-23 2012-06-13 西北工业大学 一种基于飞行数据的故障预报方法
CN102446302A (zh) * 2011-12-31 2012-05-09 浙江大学 一种水质预测系统的数据预处理方法
CN102650527A (zh) * 2012-05-25 2012-08-29 北京航空航天大学 一种基于时间序列分析消噪的光纤陀螺温度补偿方法
CN104217002A (zh) * 2014-09-14 2014-12-17 北京航空航天大学 一种基于高质量数据获取的路况信息填补方法
CN104574202A (zh) * 2014-12-09 2015-04-29 国网青海省电力公司经济技术研究院 一种风电场出力特性分析方法
CN105225486A (zh) * 2015-10-09 2016-01-06 哈尔滨工业大学深圳研究生院 填补缺失浮动车数据的方法及系统
CN105404146A (zh) * 2015-11-10 2016-03-16 国家电网公司 一种电石炉炉况诊断方法和系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684308A (zh) * 2017-10-18 2019-04-26 南方电网科学研究院有限责任公司 一种基于模式搜索的电磁环境参数一致性清理方法及装置
CN109684308B (zh) * 2017-10-18 2020-11-17 南方电网科学研究院有限责任公司 一种基于模式搜索的电磁环境参数一致性清理方法及装置
CN109142895A (zh) * 2018-07-05 2019-01-04 清华大学 直流导线空间电位和合成电场分布的简便测量装置
CN110084158A (zh) * 2019-04-15 2019-08-02 杭州拓深科技有限公司 一种基于智能算法的用电设备识别方法
CN110070132A (zh) * 2019-04-24 2019-07-30 华中科技大学无锡研究院 风电场scada系统缺失数据修复结果的修正补偿方法
CN110070132B (zh) * 2019-04-24 2022-06-10 华中科技大学无锡研究院 风电场scada系统缺失数据修复结果的修正补偿方法
CN111521883A (zh) * 2020-03-24 2020-08-11 中国电力科学研究院有限公司 一种用于获取高压直流输电线路电场测量值的方法及系统
CN112067908A (zh) * 2020-08-20 2020-12-11 国网山东省电力公司电力科学研究院 变电站机器人测量工频电场时畸变电场的拟合方法及系统
CN112067908B (zh) * 2020-08-20 2023-06-16 国网山东省电力公司电力科学研究院 变电站机器人测量工频电场时畸变电场的拟合方法及系统
CN115657448A (zh) * 2022-12-09 2023-01-31 电信科学技术第五研究所有限公司 用于时钟驯服的频率偏移量分析方法

Also Published As

Publication number Publication date
CN106908668B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN106908668A (zh) 一种实测地面合成电场数据的处理方法及系统
CN110035090B (zh) 一种智能电网虚假数据注入攻击检测方法
CN105512448B (zh) 一种配电网健康指数的评估方法
CN103115789B (zh) 金属结构损伤剩余寿命的第二代小波支持向量机评估方法
CN110458230A (zh) 一种基于多判据融合的配变用采数据异常甄别方法
CN109635928A (zh) 一种基于深度学习模型融合的电压暂降原因识别方法
CN105932774A (zh) 基于ica算法的智能变电站设备状态预警方法
CN104966161B (zh) 一种基于高斯混合模型的电能质量录波数据计算分析方法
CN108199891B (zh) 一种基于人工神经网络多角度综合决策的cps网络攻击辨识方法
CN110458195A (zh) 一种基于多判据融合的异常数据甄别方法
CN104578053B (zh) 基于受扰电压轨迹簇特征的电力系统暂态稳定性预测方法
CN108710756A (zh) 基于谱聚类分析下多特征信息加权融合的故障诊断方法
CN108053110A (zh) 一种基于pmu数据的变压器状态在线诊断方法
CN112180204A (zh) 一种基于电气量信息的电网线路故障诊断方法
CN111563682A (zh) 一种配电自动化设备测试评价方法
CN109921415A (zh) 一种面向混合量测的电网恶性数据注入攻击在线防御方法
CN105574669A (zh) 时空联合数据聚类分析的输变电设备状态异常检测方法
CN110348683A (zh) 电能质量扰动事件主成因分析方法、装置设备及存储介质
CN109947815A (zh) 一种基于离群点算法的窃电辨识方法
Mbamaluikem et al. An artificial neural network-based intelligent fault classification system for the 33-kV Nigeria transmission line
Zhu et al. Faulty line identification method based on bayesian optimization for distribution network
CN110389268A (zh) 一种电力系统的在线监测系统
CN110261748A (zh) Gis设备绝缘性能识别方法及系统
CN106772354A (zh) 基于并行模糊高斯和粒子滤波的目标跟踪方法及装置
Kumar et al. Deep Learning based Fault Detection in Power Transmission Lines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant