CN114153831A - 电力微气象监测数据的标准化转换方法及系统 - Google Patents

电力微气象监测数据的标准化转换方法及系统 Download PDF

Info

Publication number
CN114153831A
CN114153831A CN202111471542.3A CN202111471542A CN114153831A CN 114153831 A CN114153831 A CN 114153831A CN 202111471542 A CN202111471542 A CN 202111471542A CN 114153831 A CN114153831 A CN 114153831A
Authority
CN
China
Prior art keywords
data
value
abnormal
station
meteorological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111471542.3A
Other languages
English (en)
Inventor
皮新宇
冯文卿
欧阳亿
何立夫
罗晶
曹启明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Disaster Prevention and Mitigation Center of State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Disaster Prevention and Mitigation Center of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Disaster Prevention and Mitigation Center of State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111471542.3A priority Critical patent/CN114153831A/zh
Publication of CN114153831A publication Critical patent/CN114153831A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明实施例提供一种电力微气象监测数据的标准化转换方法，包括：对气象数据进行非标准值检测；基于反距离权重IDW算法替换气象数据非标准值中的异常值；重新对气象数据进行非标准值检测，以判断是否存在能被替换的异常数据；如果存在能被替换的异常数据，则返回基于反距离权重IDW算法替换气象数据非标准值中的异常值的步骤；如果不存在能被替换的异常数据，则完成气象数据的标准化转换。通过上述技术方案，其通用性强，可靠性高、能大幅提升标准化数据占比，提高电力微气象监测数据库质量，对实现准确化、精细化、自动化的电力微气象灾害预测具有重要意义。

Description

电力微气象监测数据的标准化转换方法及系统
技术领域
本发明涉及一种电力微气象监测数据的标准化转换方法及系统。
背景技术
在全球气候变化的大背景下，全国各地极端天气自然灾害频发，对暴露在外部环境的输电网带来了严重威胁。电力微气象灾害预警可提前科学安排防灾措施和指导灾害应急处置，是降低灾害损失的有效手段。传统的电力微气象灾害预警大多利用气象部门发布的气象信息进行灾害预报，但该方法实时性、连续性和可靠性较低。为解决该问题，近年来电网部署了大量电力微气象在线监测装置，并发展了一系列基于电力微气象监测数据的电力气象灾害预警系统和方法，如开发了基于GIS的电力-气象纵向关联方法、基于ZigBee网络的输电线路微气象监测系统等，这使得准确化、精细化、自动化的电力微气象灾害预警成为可能。
从已有的电力微气象预警方法研究来看，目前采取的手段往往基于电力微气象监测装置数据的原始数据进行后续处理，或仅仅进行简单的异常值替换再处理，对原始数据中的非标准数据的标准化转换研究较少。但实际应用中相当一部分输电线路需要通过地形复杂、气象条件多变的环境，由于监测装置本身故障或环境条件恶劣引起的数据缺失、数据冗余、数据冲突、数据错误等噪音大量存在，这些非标准数据会直接造成后续处理结果不可靠，进而严重影响电力微气象预警方法的准确性和可靠性。因此，亟需一种具备强通用性、有效性的电力微气象监测数据标准化转换方法。
发明内容
本发明实施例的目的是针对目前电力微气象监测数据中非标准观测数据占比大，而标准化转换方法匮乏的问题，通过对电力微气象监测数据进行数据缺失值、站台参数、气象界限值、内部一致性和空间一致性检查，并利用反距离权重(inverse distanceweighted，IDW)算法对数据进行标准化转化，提出了一种电力微气象数据的标准化转换方法及系统。该方法通用性强，可靠性高、能大幅提升标准化数据占比，提高电力微气象监测数据库质量，对实现准确化、精细化、自动化的电力微气象灾害预测具有重要意义。
为了实现上述目的，本发明第一方面提供一种电力微气象监测数据的标准化转换方法，包括：
对气象数据进行非标准值检测；
基于反距离权重IDW算法替换气象数据非标准值中的异常值；
重新对气象数据进行非标准值检测，以判断是否存在能被替换的异常数据；
如果存在能被替换的异常数据，则返回基于反距离权重IDW算法替换气象数据非标准值中的异常值的步骤；
如果不存在能被替换的异常数据，则完成气象数据的标准化转换。
在本发明实施例中，所述对气象数据进行非标准值检测包括：
检测数据缺失值；
检测站台数据；
检测气候界限值；
检测内部一致性；
检测空间一致性。
在本发明实施例中，所述检测数据缺失值包括：
将气象数据与完整站台数据进行对比，以判断缺失站台位置；
用定义的标记字段对缺失数据进行填充。
在本发明实施例中，所述检测站台数据包括：
判断各站台的站台编号是否存在异常；
判断站台的实际经纬度与站台表中的经纬度是否存在差异；
判断同一时刻下不同位置的站台资料上传时间是否存在差异；
判断不同时刻下各站台自身地理信息是否保持一致。
在本发明实施例中，所述检测气候界限值包括：
根据常规气候要素允许范围对要素值进行判断；
将超出气候界限值或允许范围的数据标记为错误数据；
其中，所述常规气候要素允许范围包括以下中的至少一者：
气温的允许范围为-75℃至80℃；
相对湿度的允许范围为0至100％；
小时降雨量的允许范围为0至75mm；
风速的允许范围为0至75m/s；
风向的允许范围为0至360°。
在本发明实施例中，所述检测内部一致性包括：
对固定测站不同要素或项目之间是否符合物理联系进行检测；
若不符合，则物理联系中的至少一个要素或项目为错误值：
所述物理联系包括以下中的至少一项：
日最低气压≤当日各时气压≤日最高气压；
日最低气温≤当日各时气温≤日最高气温；
日地面最低温度≤当日各时地面温度≤日地面最高温度；
10分钟平均风速≤日最大风速；
总云量≥低云量；
极大风速≥最大风速。
在本发明实施例中，所述检测空间一致性包括：
判断被检站数据与选取的N个邻近站数据的平均值之差值是否超过规定的阈值；
利用Madsen-Allerupt方法对周围多个邻近站同一时刻的要素观测值进行由小到大排序，利用排序后的1/4、2/4、3/4分位值，计算统计量Tit:
Tit＝(xit-qt,2/4)/(qt,3/4-qt,1/4)
其中，xit为被检站t时刻的要素观测值，qt,1/4、qt,2/4、qt,3/4为邻近站t时刻该要素观测值进行由小到大排序后的1/4、2/4、3/4分位值，当|Tit|超过规定的阈值时，认为被检站t时刻该要素观测值异常；
由N个邻近站要素值形成数据序列，计算序列的最大值VALUEMAX和最小值VALUE_MIN，当被检站数据R不符合以下公式且N≥3时，认为被检数据异常：
al×VALUE_MAX≥R≥a2×VALUE_MIN(al>1,a2<1)
其中a1，a2是经验参数，针对被检数据不同量级，参数a1和a2的取值不同。
在本发明实施例中，所述基于反距离权重IDW算法替换气象数据非标准值中的异常值包括：
提供IDW算法公式：
Figure BDA0003392708140000041
其中，Z是插值点估计值，Zi是第i个样本点观测值，di是插值点与第i个样本点之间的欧氏距离，n是用于估算插值点值的样点数，p是幂指数；
选用异常数据站点方圆10km以内的合格数据站点为IDW算法的样本依据；
使用所述样本依据根据所述IDW算法公式进行异常值替换。
在本发明实施例中，所述重新对气象数据进行非标准值检测包括：
当方圆10km内合格数据的站点个数大于或等于2个时，判断所述异常数据站点的异常数据能被替换，返回所述基于反距离权重IDW算法替换气象数据非标准值中的异常值的步骤；
当方圆10km内合格数据的站点个数小于2个时，判断所述异常数据站点附近合格数据不够，异常数据不能被替换。
本发明第二方面提供一种电力微气象监测数据的标准化转换系统，被配置成执行上述的电力微气象监测数据的标准化转换方法。
通过上述技术方案，其通用性强，可靠性高、能大幅提升标准化数据占比，提高电力微气象监测数据库质量，对实现准确化、精细化、自动化的电力微气象灾害预测具有重要意义。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1示意性示出了根据本发明实施例的电力微气象监测数据的标准化转换方法的流程图；
图2示意性示出了气象数据非标准值检测的流程示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
在本发明实施例中，术语“站”、“站点”或“站台”可以指气象站。气象站根据用途、安装及精确度可分为：便携式气象站、高精度气象站、高速公路气象站、森林火险气象站及校园气象站、电力气象站、光伏气象站、景区气象站、社区气象站等。
图1示意性示出了根据本发明实施例的电力微气象监测数据的标准化转换方法的流程图。如图1所示，在本发明实施例中，提供了一种电力微气象监测数据的标准化转换方法，可以包括以下步骤。
在步骤S11中，对气象数据进行非标准值检测。
具体地，可以先获取电力微气象数据。气象数据的示例可以包括但不限于，电网冰情在线监测装置的最高温度、最低温度、相对湿度，风速等数据；电网特有微气象观测站的最高温度、最低温度、相对湿度，风速等数据。
具体地，参考图2，对气象数据进行非标准值检测可以包括：
步骤S111，数据缺失值检测：将气象数据与完整站台数据进行对比，判断缺失站台位置，并用定义的标记字段(例如，“NAN”)对缺失数据进行填充；
步骤S112，站台参数的检测：
1)判断各站台的站台编号是否存在异常；
2)判断各站台实际经纬度和站台表中的经纬度是否存在差异；
3)判断同一时刻下不同位置的站台资料上传时间是否存在差异；
4)判断不同时刻下各站台自身地理信息是否保持一致；
步骤S113，气候界限值检测：根据常规气候要素允许范围对要素值进行判断，超出气候界限值或允许范围的数据标记为错误数据。
常规气候要素允许范围如下表1所示：
表1
Figure BDA0003392708140000071
步骤S114，内部一致性检测：对固定测站不同要素或项目之间是否符合某种物理联系进行检测，若不符合时，则物理联系中各项中至少有一方为错误值，物理联系可以包括以下至少之一：
(1)日最低气压≤当日各时气压≤日最高气压；(2)日最低气温≤当日各时气温≤日最高气温；(3)日地面最低温度≤当日各时地面温度≤日地面最高温度；(4)10分钟平均风速≤日最大风速；(5)总云量≥低云量；(6)极大风速≥最大风速。
步骤S115，空间一致性检测：
1)判断被检站数据与选取的N个邻近站数据的平均值之差值是否超过规定的阈值；N例如可以为5个。
2)利用Madsen-Allerupt方法对周围若干邻近站同一时刻某要素观测值进行由小到大排序,利用排序后的1/4、2/4、3/4分位值，计算统计量Tit:
Tit＝(xit-qt,2/4)/(qt,3/4-qt,1/4)
式中，xit为被检站t时刻某要素观测值，qt,1/4、qt,2/4、qt,3/4、为邻近站t时刻该要素观测值进行由小到大排序后的1/4、2/4、3/4分位值。当|Tit|超过规定值时，认为被检站t时刻该要素观测值异常。
3)由N个邻近站要素值形成数据序列，计算序列的最大值(VALUEMAX)和最小值(VALUE_MIN)。当被检站数据R不符合下列原则且N≥3时,认为被检数据异常：
al×VALUE_MAX≥R≥a2×VALUE_MIN(al>1,a2<1)
其中a1，a2是经验参数，针对被检数据不同量级,参数a1和a2的取值不同。
在步骤S12中，基于反距离权重IDW算法替换气象数据非标准值中的异常值。
具体地，基于IDW算法进行异常值替换可以包括：
对异常值基于IDW算法进行空间插值替换，IDW算法公式通常被表示为：
Figure BDA0003392708140000081
其中，Z是插值点估计值，Zi是第i个样本点观测值，di是插值点与第i个样本点之间的欧氏距离，n是用于估算插值点值的样点数，p是幂指数。p值通常被默认为2，此时IDW被称为距离平方反比法。p值越大，IDW的插值结果越具有平滑效果。
选用异常数据站点方圆10km以内的合格数据站点为IDW算法的样本依据；
使用所述样本依据根据所述IDW算法公式进行异常值替换。
在步骤S13中，重新对气象数据进行非标准值检测，以判断是否存在能被替换的异常数据。
具体地，重新进行数据非标准值检测，判断是否存在还能替换的异常数据，若存在(步骤S14)，则返回步骤S12。在本实施例中，当方圆10km内合格数据的站点个数大于或等于2个时，判断该异常站点数据可被替换；当方圆10km内合格数据的站点个数小于2个时，判断该站点附近合格数据不够，异常站点数据无法被替换，则标准化转换完成(步骤S15)。
在本发明实施例中，当系统进行5轮替换后，剩余的非标准气象数据站点附近就没有符合的合格数据站点为样本依据。
以湖南省2017年7月16日气象站点最高温度数据为例，进行标准化转换替换。已知湖南省气象站点共3493个，对每个类型的数据进行5轮替换，并进行异常值检测得出标准化转换前后数据对比。其结果如下表2-7所示：
表2湖南省7月16日16时最高温度非标准数据标准化转换结果
Figure BDA0003392708140000091
表3湖南省7月16日16时最高温度非标准数据标准化转换结果
Figure BDA0003392708140000092
表4湖南省7月16日19时最低湿度非标准数据标准化转换结果
Figure BDA0003392708140000093
Figure BDA0003392708140000101
表5湖南省7月16日19时降雨量非标准数据标准化转换结果
Figure BDA0003392708140000102
表6湖南省7月16日19时平均风向非标准数据标准化转换结果
Figure BDA0003392708140000103
表7湖南省7月16日19时平均风速非标准数据标准化转换结果
Figure BDA0003392708140000104
本发明实施例提供一种电力微气象监测数据的标准化转换系统，被配置成执行上述实施例的电力微气象监测数据的标准化转换方法。
具体地，该系统可以包括处理器和存储器，存储器用于存储用于执行该方法的相关数据和指令，处理器可以被配置成调用该指令和数据以实现上述的方法。
更具体地，处理器可以被配置成：
对气象数据进行非标准值检测；
基于反距离权重IDW算法替换气象数据非标准值中的异常值；
重新对气象数据进行非标准值检测，以判断是否存在能被替换的异常数据；
如果存在能被替换的异常数据，则返回基于反距离权重IDW算法替换气象数据非标准值中的异常值的步骤；
如果不存在能被替换的异常数据，则完成气象数据的标准化转换。
在本发明实施例中，所述对气象数据进行非标准值检测包括：
检测数据缺失值；
检测站台数据；
检测气候界限值；
检测内部一致性；
检测空间一致性。
在本发明实施例中，所述检测数据缺失值包括：
将气象数据与完整站台数据进行对比，以判断缺失站台位置；
用定义的标记字段(如“NAN”)对缺失数据进行填充。
在本发明实施例中，所述检测站台数据包括：
判断各站台的站台编号是否存在异常；
判断站台的实际经纬度与站台表中的经纬度是否存在差异；
判断同一时刻下不同位置的站台资料上传时间是否存在差异；
判断不同时刻下各站台自身地理信息是否保持一致。
在本发明实施例中，所述检测气候界限值包括：
根据常规气候要素允许范围对要素值进行判断；
将超出气候界限值或允许范围的数据标记为错误数据；
其中，所述常规气候要素允许范围包括以下中的至少一者：
气温的允许范围为-75℃至80℃；
相对湿度的允许范围为0至100％；
小时降雨量的允许范围为0至75mm；
风速的允许范围为0至75m/s；
风向的允许范围为0至360°。
在本发明实施例中，所述检测内部一致性包括：
对固定测站不同要素或项目之间是否符合物理联系进行检测；
若不符合，则物理联系中的至少一个要素或项目为错误值：
所述物理联系包括以下中的至少一项：
日最低气压≤当日各时气压≤日最高气压；
日最低气温≤当日各时气温≤日最高气温；
日地面最低温度≤当日各时地面温度≤日地面最高温度；
10分钟平均风速≤日最大风速；
总云量≥低云量；
极大风速≥最大风速。
在本发明实施例中，所述检测空间一致性包括：
判断被检站数据与选取的N个邻近站数据的平均值之差值是否超过规定的阈值；
利用Madsen-Allerupt方法对周围多个邻近站同一时刻的要素观测值进行由小到大排序，利用排序后的1/4、2/4、3/4分位值，计算统计量Tit:
Tit＝(xit-qt,2/4)/(qt,3/4-qt,1/4)
其中，xit为被检站t时刻的要素观测值，qt,1/4、qt,2/4、qt,3/4为邻近站t时刻该要素观测值进行由小到大排序后的1/4、2/4、3/4分位值，当|Tit|超过规定的阈值时，认为被检站t时刻该要素观测值异常；
由N个邻近站要素值形成数据序列，计算序列的最大值VALUEMAX和最小值VALUE_MIN，当被检站数据R不符合以下公式且N≥3时，认为被检数据异常：
al×VALUE_MAX≥R≥a2×VALUE_MIN(al>1,a2<1)
其中a1，a2是经验参数，针对被检数据不同量级，参数a1，a2取值不同。
在本发明实施例中，所述基于反距离权重IDW算法替换气象数据非标准值中的异常值包括：
提供IDW算法公式：
Figure BDA0003392708140000131
其中，Z是插值点估计值，Zi是第i个样本点观测值，di是插值点与第i个样本点之间的欧氏距离，n是用于估算插值点值的样点数，p是幂指数；
选用异常数据站点方圆10km以内的合格数据站点为IDW算法的样本依据；
使用所述样本依据根据所述IDW算法公式进行异常值替换。
在本发明实施例中，所述重新对气象数据进行非标准值检测包括：
当方圆10km内合格数据的站点个数大于或等于2个时，判断所述异常数据站点的异常数据能被替换，返回所述基于反距离权重IDW算法替换气象数据非标准值中的异常值的步骤；
当方圆10km内合格数据的站点个数小于2个时，判断所述异常数据站点附近合格数据不够，异常数据不能被替换。
本发明实施例通用性强，可靠性高、能大幅提升标准化数据占比，提高电力微气象监测数据库质量，对实现准确化、精细化、自动化的电力微气象灾害预测具有重要意义。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种电力微气象监测数据的标准化转换方法，其特征在于，包括：
对气象数据进行非标准值检测；
基于反距离权重IDW算法替换气象数据非标准值中的异常值；
重新对气象数据进行非标准值检测，以判断是否存在能被替换的异常数据；
如果存在能被替换的异常数据，则返回基于反距离权重IDW算法替换气象数据非标准值中的异常值的步骤；
如果不存在能被替换的异常数据，则完成气象数据的标准化转换。
2.根据权利要求1所述的方法，其特征在于，所述对气象数据进行非标准值检测包括：
检测数据缺失值；
检测站台数据；
检测气候界限值；
检测内部一致性；
检测空间一致性。
3.根据权利要求2所述的方法，其特征在于，所述检测数据缺失值包括：
将气象数据与完整站台数据进行对比，以判断缺失站台位置；
用定义的标记字段对缺失数据进行填充。
4.根据权利要求2所述的方法，其特征在于，所述检测站台数据包括：
判断各站台的站台编号是否存在异常；
判断站台的实际经纬度与站台表中的经纬度是否存在差异；
判断同一时刻下不同位置的站台资料上传时间是否存在差异；
判断不同时刻下各站台自身地理信息是否保持一致。
5.根据权利要求2所述的方法，其特征在于，所述检测气候界限值包括：
根据常规气候要素允许范围对要素值进行判断；
将超出气候界限值或允许范围的数据标记为错误数据；
其中，所述常规气候要素允许范围包括以下中的至少一者：
气温的允许范围为-75℃至80℃；
相对湿度的允许范围为0至100％；
小时降雨量的允许范围为0至75mm；
风速的允许范围为0至75m/s；
风向的允许范围为0至360°。
6.根据权利要求2所述的方法，其特征在于，所述检测内部一致性包括：
对固定测站不同要素或项目之间是否符合物理联系进行检测；
若不符合，则物理联系中的至少一个要素或项目为错误值：
所述物理联系包括以下中的至少一项：
日最低气压≤当日各时气压≤日最高气压；
日最低气温≤当日各时气温≤日最高气温；
日地面最低温度≤当日各时地面温度≤日地面最高温度；
10分钟平均风速≤日最大风速；
总云量≥低云量；
极大风速≥最大风速。
7.根据权利要求2所述的方法，其特征在于，所述检测空间一致性包括：
判断被检站数据与选取的N个邻近站数据的平均值之差值是否超过规定的阈值；
利用Madsen-Allerupt方法对周围多个邻近站同一时刻的要素观测值进行由小到大排序，利用排序后的1/4、2/4、3/4分位值，计算统计量Tit:
Tit＝(xit-qt,2/4)/(qt,3/4-qt,1/4)
其中，xit为被检站t时刻的要素观测值，qt,1/4、qt,2/4、qt,3/4为邻近站t时刻该要素观测值进行由小到大排序后的1/4、2/4、3/4分位值，当|Tit|超过规定的阈值时，认为被检站t时刻该要素观测值异常；
由N个邻近站要素值形成数据序列，计算序列的最大值VALUEMAX和最小值VALUE_MIN，当被检站数据R不符合以下公式且N≥3时，认为被检数据异常：
al×VALUE_MAX≥R≥a2×VALUE_MIN(al>1,a2<1)
其中a1和a2是经验参数。
8.根据权利要求1所述的方法，其特征在于，所述基于反距离权重IDW算法替换气象数据非标准值中的异常值包括：
提供IDW算法公式：
Figure FDA0003392708130000031
其中，Z是插值点估计值，Zi是第i个样本点观测值，di是插值点与第i个样本点之间的欧氏距离，n是用于估算插值点值的样点数，p是幂指数；
选用异常数据站点方圆10km以内的合格数据站点为IDW算法的样本依据；
使用所述样本依据根据所述IDW算法公式进行异常值替换。
9.根据权利要求8所述的方法，其特征在于，所述重新对气象数据进行非标准值检测包括：
当方圆10km内合格数据的站点个数大于或等于2个时，判断所述异常数据站点的异常数据能被替换，返回所述基于反距离权重IDW算法替换气象数据非标准值中的异常值的步骤；
当方圆10km内合格数据的站点个数小于2个时，判断所述异常数据站点附近合格数据不够，异常数据不能被替换。
10.一种电力微气象监测数据的标准化转换系统，其特征在于，被配置成执行根据权利要求1至9中任意一项所述的电力微气象监测数据的标准化转换方法。
CN202111471542.3A 2021-12-06 2021-12-06 电力微气象监测数据的标准化转换方法及系统 Pending CN114153831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111471542.3A CN114153831A (zh) 2021-12-06 2021-12-06 电力微气象监测数据的标准化转换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111471542.3A CN114153831A (zh) 2021-12-06 2021-12-06 电力微气象监测数据的标准化转换方法及系统

Publications (1)

Publication Number Publication Date
CN114153831A true CN114153831A (zh) 2022-03-08

Family

ID=80452655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111471542.3A Pending CN114153831A (zh) 2021-12-06 2021-12-06 电力微气象监测数据的标准化转换方法及系统

Country Status (1)

Country Link
CN (1) CN114153831A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454981A (zh) * 2022-08-30 2022-12-09 山东师范大学 南极器测气象数据的数据清洗和标记方法、系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454981A (zh) * 2022-08-30 2022-12-09 山东师范大学 南极器测气象数据的数据清洗和标记方法、系统

Similar Documents

Publication Publication Date Title
CN110209560B (zh) 数据异常检测方法及检测装置
CN113554526A (zh) 电力设备的故障预警方法、装置、存储介质及处理器
CN114153831A (zh) 电力微气象监测数据的标准化转换方法及系统
CN115035475A (zh) 供水管线实时监控方法、装置、电子设备及介质
CN110878983A (zh) 空调故障的确定方法和装置
CN107677290B (zh) 惯性导航系统精度评定的测试方法及装置
CN117150808A (zh) 一种强对流天气下输电线路韧性评估方法、系统及设备
CN117093943A (zh) 一种用电量监测预警方法及装置
CN116481601A (zh) 稀释风流量计算方法、装置及电子设备
CN114842648B (zh) 一种基于交通流的隧道运行状态预警方法、设备及介质
CN114062656B (zh) 一种地质灾害预测方法和系统
CN115809728A (zh) 大气污染扩散条件预测方法、装置、计算机设备
CN113808015B (zh) 输电线路区域气象参数的空间插值方法、装置及设备
CN113468384B (zh) 网络情报源信息的处理方法、装置、存储介质及处理器
CN115660917A (zh) 一种平房仓粮温异常预警方法、设备及介质
CN112540235B (zh) 雷电预警阈值的修正方法与系统及预警评估方法与系统
CN109408604B (zh) 输电线路关联天气因素数据网格化处理方法、装置及系统
CN110544016A (zh) 评估气象因素对电力设备故障概率影响程度的方法和设备
CN114153833A (zh) 基于时间序列检测的电力微气象数据清洗方法及处理器
CN106022972B (zh) 一种基于状态矩阵对称性的配电网异常数据辨识方法
CN109376451A (zh) 一种基于拟合关联的自动化设备故障率计算方法
CN114118599A (zh) 用于确定电网风险的方法及处理器
CN115563439B (zh) 一种龙舟水强度指数的计算方法及存储介质
CN117687125A (zh) 构建覆冰格点数据集的方法、处理器、装置及存储介质
WO2022156743A1 (zh) 特征构建方法和装置、模型训练方法和装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination