CN102521080B - 一种电力用户用电信息采集系统的计算机数据修复方法 - Google Patents
一种电力用户用电信息采集系统的计算机数据修复方法 Download PDFInfo
- Publication number
- CN102521080B CN102521080B CN2011104023935A CN201110402393A CN102521080B CN 102521080 B CN102521080 B CN 102521080B CN 2011104023935 A CN2011104023935 A CN 2011104023935A CN 201110402393 A CN201110402393 A CN 201110402393A CN 102521080 B CN102521080 B CN 102521080B
- Authority
- CN
- China
- Prior art keywords
- data
- repaired
- model
- memory module
- power information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000011084 recovery Methods 0.000 title abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 230000008439 repair process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 5
- 230000003203 everyday effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003672 processing method Methods 0.000 abstract 1
- 238000000611 regression analysis Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Abstract
本发明涉及一种计算机数据处理方法，特别是一种电力用户用电信息采集系统的计算机数据修复方法，先利用滑动平均法判别出其中的异常数据，再基于回归分析和时间序列建立修复模型，并对模型进行DW方法验证和修正，再根据修复模型修复数据。其优点在于，能够得到修复效果好、质量高的缺失数据，为整个电力用电信息系统提供完整和准确的数据信息，保证了数据的正常使用。
Description
技术领域
本发明涉及一种计算机数据处理方法，特别是一种电力用户用电信息采集系统的计算机数据修复方法。
背景技术
在电力系统中，电力用户用电信息采集系统是用于电力用电负荷、电量等重要用电信息采集、分析及应用，为企业相关业务和信息系统提供基础数据支撑。但是由于采集终端、通信信道等原因，会导致部分数据不能被及时采集、正常采集或者正确采集，影响数据完整率和准确率，导致相关数据的统计分析不准确，直接或者间接影响了采集数据的正常使用。因此，在电力用户用电信息采集系统建设过程中，应该同步建立异常值（含缺失值）的修复技术，使之能监测并发现异常数据，并通过分析计算出异常数据的合理替代值，以有效地提高采集数据的质量，以提升电力用户用电信息采集系统的实用化水平。
然而现有技术中，电力用户用电信息采集系统中数据修复方法是通过对单天数据的走势进行修复，或者根据平均值对异常值进行修复，没有考虑数据的时间关联性和滞后性，修复精度不高，数据质量较差。
发明内容
本发明的目的在于根据现有技术的不足之处而提供一种基于数据的时间关联性和滞后性、修复精度高的电力用户用电信息采集系统的计算机数据修复方法。
本发明的目的是通过以下途径来实现的：
电力用户用电信息采集系统的计算机数据修复方法，包括如下步骤：
（1）提供数据预处理模块和与其连接的数据修复存储模块，数据预处理模块对电力用户用电信息采集系统中的待处理数据进行预处理，根据滑动平均法判别出其中的异常数据，并把其标示为待修复数据Yi，并存储到数据修复存储模块中；
（2）数据修复存储模块中存储有电力用户用电信息所采集的待修复数据集和历史数据，其中待修复数据集为数据集K，其包括待修复数据Yi，是对应于待修复数据所产生的当天的数据集，
（3）提供一种数据处理模块，其从数据修复存储模块中提取与数据集K相邻的前30天历史数据,该提取的历史数据中与待修复数据所对应时刻的数据无缺损，数据处理模块根据每一天的变化趋势，计算这30天历史数据分别与待修复数据的相关度ρ，ρ为一个数据集；
（4）数据处理模块对ρ进行排序，取ρ值最大所对应的那天作为一个变量X1；
（5）数据处理模块从数据修复存储模块中提取数据集K的一阶超前数据集X2作为模型的另一个变量，建立二元一阶滞后回归模型Y=β1+β2X1+β3X2+ε，ε为残差，β1、β2、β3为模型参数；
（6）采用OLS方法（即最小二乘法）计算模型的模型参数和残差序列值；
（7）对残差进行DW方法验证和修正，去除残差的自相关性，对步骤（6）中的参数进行修正，从而得到第一次修复模型Y'=β1,1+β2,1X1+β3,1X2+ε'，ε'为残差，β1,1、β2,1、β3,1为第一次修复后的模型参数；
（8）对残差ε'进行DW验证,重复步骤（6）、（7）,直到ε'n无自相关,从而得到最终模型为Y'n=β1,n+β2,nX1+β3,nX2+ε'n,ε'n为无自相关的残差，β1,n、β2,n、β3,n为最终模型参数；
（9）此时的待修复数据Yi的修复估计值为
（10）将上述计算的待修复数据的估计值存储到数据修复存储模块中，然后返回到电力用户用电信息采集系统中，完成对数据的修复。
本发明所提供的是一种电力系统中，数据采集过程中的数据修复方法，先利用滑动平均法判别出其中的异常数据，再基于回归分析和时间序列建立修复模型，并对模型进行DW方法验证和修正，再根据修复模型修复数据。
综上所述，本发明的目的是为了处理一种电力用户用电信息采集系统中的技术数据，提供的电力用户用电信息采集系统的数据修复方法，通过计算机执行了一系列的技术数据处理程序：先根据历史数据与当前数据的相关性,寻找最优的回归变量，再根据当前数据的滞后相关性,建立二元一阶滞后回归模型,最后对回归残差进行DW验证,从而修正相关的模型参数。完成对该技术数据的处理，根据上述方法能够获得符合自然规律的技术数据处理效果：即能够得到修复效果好、质量高的缺失数据，为整个电力用电信息系统提供完整和准确的数据信息，保证了数据的正常使用。
附图说明
图1所示为本发明所述电力用户用电信息采集系统的计算机数据修复方法的建立修复模型的流程图。
图2所示为本发明所述电力用户用电信息采集系统的计算机数据修复方法的流程图。
下面结合实施例对本发明做进一步描述。
具体实施例
最佳实施例：
本发明实施例所提供的一种电力用户用电信息采集系统的计算机数据修复方法，先利用滑动平均法判别出其中的异常数据，再基于回归分析和时间序列建立修复模型，并对模型进行DW方法验证和修正，再根据修复模型修复数据。
其中，建立修复模型的具体步骤如下（参见图1）：
（1）提供一种数据预处理模块，其对电力用户用电信息采集系统中的待处理数据进行预处理，根据滑动平均法判别出其中的异常数据，并把其看作待修复数据Yi；
（2）提供一种数据修复存储模块，其存储有待修复数据集和历史数据；对于待修复数据Yi,其存在于待修复数据集K,
（3）提供一种数据处理模块，其从数据修复存储模块中提取待修复数据集K及与之相邻的前30天历史数据,其中每一天的历史数据中与待修复的点所对应时刻的数据无缺损，根据每一天的变化趋势，计算每一天数据与待修复这天数据的相关度ρ，并组成一个数据集；
（4）对ρ进行排序，取ρ最大所对应的那天的数据集作为模型的一个变量X1；
（5）取Y的一阶超前数据集X2作为模型的另一个变量，建立二元一阶滞后回归模型Y=β1+β2X1+β3X2+ε，ε为残差；
（6）利用OLS方法计算模型的相关参数和残差序列值；
（7）对残差进行DW方法验证和修正，去除残差的自相关性，对步骤（6）中的参数进行修正，从而得到模型Y'=β1,1+β2,1X1+β3,1X2+ε'，ε'为残差；
（8）对残差集ε'进行DW验证,重复步骤（6）、（7）,直到ε'n无自相关,从而得到最终修复模型为Y'n=β1,n+β2,nX1+β3,nX2+ε'n,ε'n为无自相关的残差。
其中，数据修复的实施步骤如下（参见图2）：
（1）从电力用户用电信息采集系统中获取待处理的数据，及与其相邻的前30天的历史数据；
（2）利用滑动平均法识别出异常数据；
（3）根据历史数据建立修复模型Y=β1,n+β2,nX1+β3,nX2+εn，εn为无自相关的残差；
（4）此时的待修复数据Yi，其修复估计值为
（5）将上述计算的待修复数据的估计值存储到数据修复存储模块中，然后返回到电力用户用电信息采集系统中，完成对数据的修复。
本发明未述部分与现有技术相同。
Claims (1)
1.一种电力用户用电信息采集系统的计算机数据修复方法，其特征在于，
（1）提供数据预处理模块和与其连接的数据修复存储模块，数据预处理模块对电力用户用电信息采集系统中的待处理数据进行预处理，根据滑动平均法判别出其中的异常数据，并把其标示为待修复数据Yi，并存储到数据修复存储模块中；
（2）数据修复存储模块中存储有电力用户用电信息所采集的待修复数据集和历史数据，其中待修复数据集为数据集K，其包括待修复数据Yi，是对应于待修复数据所产生的当天的数据集，
（3）提供一种数据处理模块，其从数据修复存储模块中提取与数据集K相邻的前30天历史数据,该提取的历史数据中与待修复数据所对应时刻的数据无缺损，数据处理模块根据每一天的变化趋势，计算这30天历史数据分别与待修复数据的相关度ρ，ρ为一个数据集；
（4）数据处理模块对ρ进行排序，取ρ值最大所对应的那天作为一个变量X1；
（5）数据处理模块从数据修复存储模块中提取数据集K的一阶超前数据集X2作为模型的另一个变量，建立二元一阶滞后回归模型Y=β1+β2X1+β3X2+ε，ε为残差，β1、β2、β3为模型参数；
（6）采用OLS方法（即最小二乘法）计算模型的模型参数和残差序列值；
（7）对残差进行DW方法验证和修正，去除残差的自相关性，对步骤（6）中的模型参数进行修正，从而得到第一次修复模型Y'=β1,1+β2,1X1+β3,1X2+ε'，ε'为残差，β1,1、β2,1、β3,1为第一次修复后的模型参数；
（8）对残差ε'进行DW验证，重复步骤（6）、（7）,直到ε'n无自相关，从而得到最终模型为Y'n=β1,n+β2,nX1+β3,nX2+ε'n,ε'n为无自相关的残差，β1,n、β2,n、β3,n为最终模型参数；
（9）此时的待修复数据Yi的修复估计值为
（10）将上述计算的待修复数据的估计值存储到数据修复存储模块中，然后返回到电力用户用电信息采集系统中，完成对数据的修复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104023935A CN102521080B (zh) | 2011-12-07 | 2011-12-07 | 一种电力用户用电信息采集系统的计算机数据修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104023935A CN102521080B (zh) | 2011-12-07 | 2011-12-07 | 一种电力用户用电信息采集系统的计算机数据修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102521080A CN102521080A (zh) | 2012-06-27 |
| CN102521080B true CN102521080B (zh) | 2013-11-20 |
Family
ID=46292014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104023935A Active CN102521080B (zh) | 2011-12-07 | 2011-12-07 | 一种电力用户用电信息采集系统的计算机数据修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102521080B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103412941B (zh) * | 2013-08-22 | 2017-04-05 | 国家电网公司 | 一种数据校正方法及装置 |
| CN103631681B (zh) * | 2013-12-10 | 2016-04-20 | 国家电网公司 | 一种在线修复风电场异常数据的方法 |
| CN105468662B (zh) * | 2014-12-31 | 2020-02-18 | 深圳市中电电力技术股份有限公司 | 一种基于表码值的能耗数据处理方法和系统 |
| CN105699760B (zh) * | 2016-01-22 | 2018-09-18 | 国网冀北电力有限公司电力科学研究院 | 电能计量设备及用电信息采集设备的运行工况分析方法 |
| WO2019009305A1 (ja) * | 2017-07-04 | 2019-01-10 | 裕行 森田 | 電力情報管理装置及び電力情報管理システム |
| CN107818678B (zh) * | 2017-10-27 | 2019-10-11 | 武汉大学 | 用于用电信息采集系统的实时在线修正方法及装置 |
| CN108519989A (zh) * | 2018-02-27 | 2018-09-11 | 国网冀北电力有限公司电力科学研究院 | 一种日电量缺失数据的还原追溯方法及装置 |
| CN108761196B (zh) * | 2018-03-30 | 2020-01-21 | 国家电网公司 | 一种智能电表用户缺失电压数据修复方法 |
| CN112232447B (zh) * | 2020-12-14 | 2021-06-04 | 国网江西省电力有限公司电力科学研究院 | 一种电力设备状态监测数据的完整样本集的构建方法 |
| CN115377976B (zh) * | 2022-10-25 | 2023-02-17 | 四川中电启明星信息技术有限公司 | 一种基于皮尔逊相关系数的配网线变关系识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2771757B2 (ja) * | 1992-06-29 | 1998-07-02 | 三菱電機株式会社 | スペクトル拡散通信用受信装置のデータ復調回路 |
| EP1627298B1 (en) * | 2003-05-07 | 2019-02-13 | Saudi Arabian Oil Company | Compositional modeling and pyrolysis data analysis methods |
| US7835641B2 (en) * | 2007-08-31 | 2010-11-16 | Lantiq Deutschland Gmbh | Light emitter controlling |
| CN101141370A (zh) * | 2007-10-09 | 2008-03-12 | 南京财经大学 | 基于网格服务的电力企业实时数据处理方法 |
-
2011
- 2011-12-07 CN CN2011104023935A patent/CN102521080B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102521080A (zh) | 2012-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102521080B (zh) | 一种电力用户用电信息采集系统的计算机数据修复方法 | |
| WO2017054537A1 (zh) | 一种长时间尺度光伏出力时间序列建模方法及装置 | |
| CN106411257B (zh) | 一种光伏电站状态诊断方法及装置 | |
| CN102692615B (zh) | 自动采集电量数据系统 | |
| CN102945223A (zh) | 一种构建多个风电场出力联合概率分布函数的方法 | |
| CN111103565B (zh) | 一种基于智能电能表计量误差分析的数据变换方法及系统 | |
| Cheng et al. | Enhanced state estimation and bad data identification in active power distribution networks using photovoltaic power forecasting | |
| CN114819374A (zh) | 区域新能源超短期功率预测方法及系统 | |
| CN112418687B (zh) | 基于用电特征的用户用电异常识别方法、装置和存储介质 | |
| CN103853939A (zh) | 一种基于社会经济因素影响的电力系统月度负荷的组合预测方法 | |
| CN115081597A (zh) | 一种基于机器学习的以电核碳方法、系统、设备和介质 | |
| CN114629128A (zh) | 一种基于营配数据融合的用户低电压治理方法及系统 | |
| CN106056305A (zh) | 一种基于状态聚类的发电系统可靠性快速评估方法 | |
| CN104573366A (zh) | 一种基于电力负荷积分计算的电量数据核对方法 | |
| CN105528735B (zh) | 基于量测风速与空间相关性的异常数据点的校正方法 | |
| CN114676931B (zh) | 一种基于数据中台技术的电量预测系统 | |
| CN116307886A (zh) | 一种企业生产状态的实时监测方法及装置 | |
| CN103543332A (zh) | 一种电力谐波预测方法及装置 | |
| CN115908051A (zh) | 一种电力系统储能容量确定方法 | |
| CN115085369A (zh) | 一种光伏逆变器的智能光伏数据采集系统 | |
| CN104008310B (zh) | 一种电能质量稳态指标计算方法 | |
| JP2019208350A (ja) | 太陽光発電設備の診断装置 | |
| CN116933201A (zh) | 低压充电桩违约用电行为识别的方法和系统 | |
| CN117311295B (zh) | 基于无线网络设备的生产质量提升方法及系统 | |
| CN117251679A (zh) | 一种数据修复方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: FUJIAN ELECTRIC POWER CO., LTD. Effective date: 20121120 Owner name: STATE GRID CORPORATION OF CHINA Free format text: FORMER OWNER: FUJIAN ELECTRIC POWER CO., LTD. Effective date: 20121120 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 350003 FUZHOU, FUJIAN PROVINCE TO: 100031 XICHENG, BEIJING |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20121120 Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Applicant after: State Grid Corporation of China Applicant after: Fujian Electric Power Co., Ltd. Address before: 350003 Gulou District, Fujian, Fuzhou No. 54 Road, No. 257 Applicant before: Fujian Electric Power Co., Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Patentee after: State Grid Corporation of China Patentee after: State Grid Fujian Electric Power Co., Ltd. Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Patentee before: State Grid Corporation of China Patentee before: Fujian Electric Power Co., Ltd. |