CN105809321A - 地面气象观测站采集气温数据的质量控制方法 - Google Patents
地面气象观测站采集气温数据的质量控制方法 Download PDFInfo
- Publication number
- CN105809321A CN105809321A CN201610052621.3A CN201610052621A CN105809321A CN 105809321 A CN105809321 A CN 105809321A CN 201610052621 A CN201610052621 A CN 201610052621A CN 105809321 A CN105809321 A CN 105809321A
- Authority
- CN
- China
- Prior art keywords
- quality control
- sigma
- temperature data
- station
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
Abstract
本发明涉及地面气象观测站采集气温数据的质量控制方法,该方法对一定区域范围内地面气象观测站数据进行采集,然后对采集的数据做基本质量控制后,根据相关系数对邻近站观测数据加权处理并利用SVM构建质量控制回归模型,最后通过对比预测值与实际值的差异大小来实现对实际值的质量控制。有益效果:通过邻近站观测数据,利用改进的支持向量机技术构建基于邻近站观测数据的非线性气象数据质量控制模型,拓展了传统多站质量控制方法,能够提高地面气象观测站数据在长期气候研究和短时预报的可靠性。
Description
技术领域
本发明涉及地面气象观测站采集数据的质量控制领域,尤其涉及一种地面气象观测站采集气温数据的质量控制方法。
背景技术
地面自动气象观测站具有站点分布密集、观测频率高、时效性强以及在观测时间上的序列性和空间上的连续性等特点,一方面为气候、气象研究分析以及数值天气预报提供了基本的数据资料;另一方面,建立适当规模的自动气象观测网络对于中小尺度灾害性天气预报具有重要的意义。
地面气象观测数据传统质量控制一般分为两类,一是基于单站的质量控制法,主要包括界限值检查、气候极值检查、内部一致性检查、时变性检查、空间一致性检查、特殊天气事件检查等;二是基于多站的质量控制法,主要包括反距离加权法和空间回归法等。现有的气象观测站采用单站的质量控制法,经实践表明单站的质量控制方法效果较通过邻近站联网的多站质量控制方法效果存在明显的不足。
发明内容
本发明目的在于克服以上现有技术之不足,提出一种基于支持向量机的地面气象观测站采集气温数据的质量控制方法,解决了目前基于邻站地面气象数据质量控制方法结构单一、非线性、不稳定的问题,具体由以下技术方案实现:
所述地面气象观测站采集气温数据的质量控制方法,其特征在于包括如下步骤:
步骤1)采集与采样时间相对应的目标地面气象观测站的温度数据x0(t),t=1,2,3,…,T,其中t为采样时间,T为大于0的自然数;
步骤2)采集与采样时间相对应的邻近地面气象观测站的温度数据xi(t),i=1,2,3,…,n,其中,n为邻近站数目;
步骤3)对x0(t),xi(t)进行基本质量控制,得到基本控制后的数据 取采样时间为1至j对应的温度数据作为训练集U,取采样时间为j+1至T对应的温度数据作为测试集L,其中j为最接近的自然数;
步骤4)计算地面气象观测站温度数据与邻近地面气象观测站温度数据的相关系数Corri;
步骤5)根据相关系数Corri对邻近地面气象观测站温度数据赋权,得到赋权后的邻近地面气象观测站温度数据
步骤6)以作为训练样本集,建立与所述训练样本集对应的支持向量机回归预测模型,对测试集L中目标地面气象观测站温度数据进行预测;
步骤7.通过对比预测值与实际值的差异大小来实现对实际值的质量控制。
所述地面气象观测站采集气温数据的质量控制方法的进一步设计在于,步骤3)中所述基本质量控制包括界限值检查、气候极值检查、内部一致性检查、时变性检查、空间一致性检查、特殊天气事件检查。
所述地面气象观测站采集气温数据的质量控制方法的进一步设计在于,步骤4)中所述计算目标地面气象观测站温度数据与邻近地面气象观测站温度数据的相关系数Corri的计算公式如式(1):
其中l时间序列长度,t为采样时间点。
所述地面气象观测站采集气温数据的质量控制方法的进一步设计在于,步骤5)中所述邻近地面气象观测站温度数据的计算公式如式(2):
所述地面气象观测站采集气温数据的质量控制方法的进一步设计在于,vj的计算公式如式(3):
其中size(IMFj)分别表示j与IMFj的时间序列长度。
步骤7)中所述对比预测值与实际值的差异的公式如式(4):
|Z*(xi)-Z(xi)|≤fσ(4)
其中Z*(xi)为预测值,Z(xi)为原始值,σ为预测标准误差,f为质量控制参数,如果原始值满足公式(4)则判定原始值为正确值,如果原始值不满足公式(4)则标记原始值为存疑值以实现对原始观测值得质量控制。
本发明的优点如下:
本发明的地面气象观测站采集气温数据的质量控制方法,通过邻近站观测数据,利用改进的支持向量机技术构建基于邻近站观测数据的非线性气象数据质量控制模型,拓展了传统多站质量控制方法,能够提高地面气象观测站数据在长期气候研究和短时预报的可靠性。
附图说明
图1为本发明方法的流程图。
图2为本发明方法与传统质量控制方法MAE、RMSE效果对比图。
图3为本发明质量控制后的数据与传统反距离加权、空间回归方法质量控制后的散点对比图。
具体实施方式
下面对本发明方案进行详细说明。
本实施例的地面气象观测站采集气温数据的质量控制方法,如图1,以下将对南京编号为58238站点为目标站90KM范围内14个邻近站2008年8月份每隔1小时观测一次的温度数据进行实施例分析,进一步说明本发明:
步骤1.采集目标地面气象观测站温度数据x0(t),t=1,2,3,…,T,其中T为采样时间,且T为大于0的自然数,在本实施例中T=744;
步骤2.采集以目标站为圆心20KM范围内14个邻近地面气象观测站温度数据xi(t),i=1,2,3,…,n,其中t为采样时间,且t为大于0的自然数,n=14;
步骤3.对x0(t),xi(t)进行基本质量控制包括界限值检查、气候极值检查、内部一致性检查、时变性检查、空间一致性检查、特殊天气事件检查,得到基本控制后的数据取时间序列1至j=360的数据为训练集U,时间序列361至744的数据为测试集;
步骤4.计算训练集U中经基本质量控制后的目标地面气象观测站温度数据与邻近地面气象观测站温度数据的相关系数Corri,其中t=1,2,3,…,360,i=1,2,3,…,14,相关系数计算公式为可以得到
步骤5.根据相关系数Corri对邻近地面气象观测站温度数据赋权,得到赋权后的邻近地面气象观测站温度数据赋权公式为
步骤6.以以及作为训练样本集,建立与之对应的支持向量机回归预测模型,对测试集L中目标地面气象观测站温度数据进行预测;
步骤7.通过公式|Z*(xi)-Z(xi)|≤fσ对比预测值与实际值的差异大小来实现对实际值的质量控制,完成对南京编号为58238站点为目标站2008年8月份每隔1小时观测一次的温度数据质量控制,σ为预测标准误差,f为质量控制参数3。
为分析本发明的有益效果,此处用美国NOAA国家气候数据中心的同时段再分析气温数据作为分析数据,本发明方法(SVM)分别与反距离加权(IDW)、空间回归法(SRT)进行对比,
如图2,本方法得到的平局误差(MAE)、均方根误差(RMSE)明显优于传统的反距离加权法和空间回归法。
通过散点图可以看出本方法得到的回归信息更加符合原始序列,主要信息保持良好,参见图3。
本实施例通过邻近站观测数据,利用改进的支持向量机技术构建基于邻近站观测数据的非线性气象数据质量控制模型,拓展了传统多站质量控制方法,能够提高地面气象观测站数据在长期气候研究和短时预报的可靠性。通过图2、图的3对比分析验证了本发明方法质量控制效果明显以及上述的技术效果。
Claims (6)
1.一种地面气象观测站采集气温数据的质量控制方法,其特征在于包括如下步骤:
步骤1)采集与采样时间相对应的目标地面气象观测站的温度数据x0(t),t=1,2,3,…,T,其中t为采样时间,T为大于0的自然数;
步骤2)采集与采样时间相对应的邻近地面气象观测站的温度数据xi(t),i=1,2,3,…,n,其中,n为邻近站数目;
步骤3)对x0(t),xi(t)进行基本质量控制,得到基本控制后的数据 取采样时间为1至j对应的温度数据作为训练集U,取采样时间为j+1至T对应的温度数据作为测试集L,其中j为最接近的自然数;
步骤4)计算地面气象观测站温度数据与邻近地面气象观测站温度数据的相关系数Corri;
步骤5)根据相关系数Corri对邻近地面气象观测站温度数据赋权,得到赋权后的邻近地面气象观测站温度数据
步骤6)以作为训练样本集,建立与所述训练样本集对应的支持向量机回归预测模型,对测试集L中目标地面气象观测站温度数据进行预测;
步骤7)通过对比预测值与实际值的差异大小来实现对实际值的质量控制。
2.根据权利要求1所述的地面气象观测站采集气温数据的质量控制方法,其特征在于:步骤3)中所述基本质量控制包括界限值检查、气候极值检查、内部一致性检查、时变性检查、空间一致性检查、特殊天气事件检查。
3.根据权利要求1所述的地面气象观测站采集气温数据的质量控制方法,其特征在于:步骤4)中所述计算目标地面气象观测站温度数据与邻近地面气象观测站温度数据的相关系数Corri的计算公式如式(1):
其中l时间序列长度,t为采样时间点。
4.根据权利要求1所述的地面气象观测站采集气温数据的质量控制方法,其特征在于:步骤5)中所述邻近地面气象观测站温度数据的计算公式如式(2):
5.根据权利要求1所述的地面气象观测站采集气温数据的质量控制方法,其特征在于:vj的计算公式如式(3):
其中size(IMFj)分别表示与IMFj的时间序列长度。
6.根据权利要求1所述的地面气象观测站采集气温数据的质量控制方法,其特征在于:步骤7)中所述对比预测值与实际值的差异的公式如式(4):
|Z*(xi)-Z(xi)|≤fσ(4)
其中Z*(xi)为预测值,Z(xi)为原始值,σ为预测标准误差,f为质量控制参数。如果原始值满足公式(4)则判定原始值为正确值,如果原始值不满足公式(4)则标记原始值为存疑值以实现对原始观测值得质量控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610052621.3A CN105809321A (zh) | 2016-01-26 | 2016-01-26 | 地面气象观测站采集气温数据的质量控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610052621.3A CN105809321A (zh) | 2016-01-26 | 2016-01-26 | 地面气象观测站采集气温数据的质量控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105809321A true CN105809321A (zh) | 2016-07-27 |
Family
ID=56465709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610052621.3A Pending CN105809321A (zh) | 2016-01-26 | 2016-01-26 | 地面气象观测站采集气温数据的质量控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105809321A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503458A (zh) * | 2016-10-26 | 2017-03-15 | 南京信息工程大学 | 一种地面气温数据质量控制方法 |
CN106647823A (zh) * | 2017-01-13 | 2017-05-10 | 广西广拓新能源科技有限公司 | 一种光伏板保护控制系统及其驱动装置 |
CN106886856A (zh) * | 2017-02-22 | 2017-06-23 | 南京信息工程大学 | 一种基于PSR‑FastICA‑OS_ELM的自动气象站实时数据质量控制方法 |
CN106897957A (zh) * | 2017-02-22 | 2017-06-27 | 南京信息工程大学 | 一种基于pca和pso‑elm的自动气象站实时数据质量控制方法 |
CN108444075A (zh) * | 2018-03-08 | 2018-08-24 | 广东美的制冷设备有限公司 | 空气调节装置的控制方法、空气调节装置及移动终端 |
CN108537417A (zh) * | 2018-03-21 | 2018-09-14 | 南京信息工程大学 | 一种基于协同克里金法的地面气温质量控制方法 |
CN108614803A (zh) * | 2018-04-16 | 2018-10-02 | 深圳市赑玄阁科技有限公司 | 一种气象数据质量控制方法及系统 |
CN109034195A (zh) * | 2018-06-21 | 2018-12-18 | 南京信息工程大学 | 一种基于psr-pca-svr的自动气象站实时气温质量控制方法 |
CN110989046A (zh) * | 2019-12-25 | 2020-04-10 | 中国气象局气象探测中心 | 一种锚碇浮标站数据质量控制方法系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942251A (zh) * | 2014-03-13 | 2014-07-23 | 南京信息工程大学 | 基于多种质控方法的高空气象资料入库方法和入库系统 |
CN104764868A (zh) * | 2015-04-02 | 2015-07-08 | 中国科学院南京土壤研究所 | 一种基于地理加权回归的土壤有机碳预测方法 |
-
2016
- 2016-01-26 CN CN201610052621.3A patent/CN105809321A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942251A (zh) * | 2014-03-13 | 2014-07-23 | 南京信息工程大学 | 基于多种质控方法的高空气象资料入库方法和入库系统 |
CN104764868A (zh) * | 2015-04-02 | 2015-07-08 | 中国科学院南京土壤研究所 | 一种基于地理加权回归的土壤有机碳预测方法 |
Non-Patent Citations (2)
Title |
---|
周建华: "《南京信息工程大学-硕士学位论文》", 30 May 2015 * |
邱世崇 等: "基于时空特性分析和数据融合的交通流预测", 《武汉理工大学学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503458A (zh) * | 2016-10-26 | 2017-03-15 | 南京信息工程大学 | 一种地面气温数据质量控制方法 |
CN106647823A (zh) * | 2017-01-13 | 2017-05-10 | 广西广拓新能源科技有限公司 | 一种光伏板保护控制系统及其驱动装置 |
CN106886856A (zh) * | 2017-02-22 | 2017-06-23 | 南京信息工程大学 | 一种基于PSR‑FastICA‑OS_ELM的自动气象站实时数据质量控制方法 |
CN106897957A (zh) * | 2017-02-22 | 2017-06-27 | 南京信息工程大学 | 一种基于pca和pso‑elm的自动气象站实时数据质量控制方法 |
CN108444075A (zh) * | 2018-03-08 | 2018-08-24 | 广东美的制冷设备有限公司 | 空气调节装置的控制方法、空气调节装置及移动终端 |
CN108537417A (zh) * | 2018-03-21 | 2018-09-14 | 南京信息工程大学 | 一种基于协同克里金法的地面气温质量控制方法 |
CN108537417B (zh) * | 2018-03-21 | 2021-11-30 | 南京信息工程大学 | 一种基于协同克里金法的地面气温质量控制方法 |
CN108614803A (zh) * | 2018-04-16 | 2018-10-02 | 深圳市赑玄阁科技有限公司 | 一种气象数据质量控制方法及系统 |
CN109034195A (zh) * | 2018-06-21 | 2018-12-18 | 南京信息工程大学 | 一种基于psr-pca-svr的自动气象站实时气温质量控制方法 |
CN110989046A (zh) * | 2019-12-25 | 2020-04-10 | 中国气象局气象探测中心 | 一种锚碇浮标站数据质量控制方法系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105809321A (zh) | 地面气象观测站采集气温数据的质量控制方法 | |
Boé et al. | September sea-ice cover in the Arctic Ocean projected to vanish by 2100 | |
Kober et al. | Blending a probabilistic nowcasting method with a high‐resolution numerical weather prediction ensemble for convective precipitation forecasts | |
Huang et al. | An analytical comparison of four approaches to modelling the daily variability of solar irradiance using meteorological records | |
Timm et al. | Synoptic-statistical approach to regional downscaling of IPCC twenty-first-century climate projections: seasonal rainfall over the Hawaiian Islands | |
Zhang et al. | A climatology of extratropical cyclones over East Asia during 1958–2001 | |
Körner et al. | Introducing Gradient Boosting as a universal gap filling tool for meteorological time series | |
CN104932035A (zh) | 一种台风强度预报方法及系统 | |
CN108154271A (zh) | 一种基于空间相关性和曲面拟合的地面气温质量控制方法 | |
CN103838979A (zh) | 一种基于支持向量机算法的统计降尺度方法 | |
CN103942461A (zh) | 基于在线贯序极限学习机的水质参数预测方法 | |
Weekes et al. | Data efficient measure-correlate-predict approaches to wind resource assessment for small-scale wind energy | |
CN110888186A (zh) | 基于gbdt+lr模型的冰雹和短时强降水预报方法 | |
CN109325633A (zh) | 一种天气预报集合成员选取方法和系统 | |
CN106920013A (zh) | 一种地面气温观测资料的质量控制方法 | |
CN105678403A (zh) | 一种基于模型族分解与集成技术的区域饱和负荷预测方法 | |
Wu et al. | Effects of surface friction and turbulent mixing on long-term changes in the near-surface wind speed over the Eastern China Plain from 1981 to 2010 | |
Yamada et al. | Using a massive high‐resolution ensemble climate data set to examine dynamic and thermodynamic aspects of heavy precipitation change | |
CN103257000B (zh) | 一种桥梁结构日照作用分析的极值温度预测方法 | |
Cheng et al. | A synoptic weather-typing approach to project future daily rainfall and extremes at local scale in Ontario, Canada | |
Devak et al. | Downscaling of precipitation in Mahanadi basin, India | |
CN109685334A (zh) | 一种新的基于多尺度理论的水文模型模拟评估方法 | |
Jie et al. | Using a deterministic time-lagged ensemble forecast with a probabilistic threshold for improving 6–15 day summer precipitation prediction in China | |
Frogner et al. | Ensemble prediction with different spatial resolutions for the 2014 Sochi Winter Olympic Games: The effects of calibration and multimodel approaches | |
Cabral et al. | Space–time trends and dependence of precipitation extremes in North‐Western Germany |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160727 |