CN108549117A - 一种基于eemd-ces的地面气温观测资料质量控制方法 - Google Patents

一种基于eemd-ces的地面气温观测资料质量控制方法 Download PDF

Info

Publication number
CN108549117A
CN108549117A CN201810268592.3A CN201810268592A CN108549117A CN 108549117 A CN108549117 A CN 108549117A CN 201810268592 A CN201810268592 A CN 201810268592A CN 108549117 A CN108549117 A CN 108549117A
Authority
CN
China
Prior art keywords
mold component
quality control
eemd
ces
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810268592.3A
Other languages
English (en)
Inventor
叶小岭
陈洋
杨帅
阚亚进
成金杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201810268592.3A priority Critical patent/CN108549117A/zh
Publication of CN108549117A publication Critical patent/CN108549117A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Ecology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

本发明提供了一种基于EEMD‑CES的地面气温观测资料质量控制方法，并包括如下步骤：一、选取目标站地面气温观测资料一段时间序列，经过基本的质量控制后，随机添加高斯白噪声；二、利用经验模态分解方法进行分解，得到有限多个特征单一的本征模分量和一个残余分量；三、基于能量密度和相关系数准则计算每个本征模分量的能量密度及其与原始气温序列的相关性，挑选出能量密度高与相关性强的本征模分量；四、将挑选出的本征模分量与剩余分量叠加重构为新的气温观测序列，并将其作为三次指数平滑法的输入，采用重近轻远策略对各观测值赋予相应的权重，实现气温观测资料的质量控制；五、利用平均绝对误差、均方根误差和纳什系数来评价模型性能。

Description

一种基于EEMD-CES的地面气温观测资料质量控制方法
技术领域
本发明属于气温观测技术领域，具体地涉及一种基于EEMD-CES的地面气温观测资料质量控制方法。
背景技术
在全球信息化背景下，数值天气预报已成为影响经济发展和水平提升的一种必要天气预报手段；而社会对数值天气预报的要求也随着人们生活水平的提高而越来越高，相应的，对地面观测资料的质量要求随之提升。
地面气象观测资料的质量控制可以分成两种情况，一种是单站质量控制，即对单个目标站进行质量控制，可以有效解决部分地区台站密度低或新建台站等无法获取邻站内部有效参考资料的台站的质量控制。常见的单站质量控制方法有格式检查、极值检验、时间一致性检验。另一种为多站质量控制，常见的多站质量控制方法有空间回归检验法(Spatial Regression Test)、反距离加权法(Inverse Distance Weighting)。
发明内容
本发明的目的在于针对现有技术的缺陷或问题，提供一种基于EEMD-CES的地面气温观测资料质量控制方法。
本发明的技术方案如下：一种基于EEMD-CES的地面气温观测资料质量控制方法包括如下步骤：一、选取目标站地面气温观测资料一段时间序列，经过基本的质量控制后为X(t),t＝1,2…,T，将标准差为0.1的100组高斯白噪声随机添加到X(t)中，得到新的时间序列X1(t)，其中，T为时间；二、利用经验模态分解方法对X1(t)进行分解，得到有限多个特征单一的本征模分量ci(t)(i＝1,2……,n)和一个残余分量rn(t)；三、基于能量密度和相关系数准则计算每个本征模分量的能量密度及其与原始气温序列的相关性，挑选出能量密度高与相关性强的本征模分量；四、将挑选出的本征模分量与剩余分量叠加重构为新的气温观测序列X2(t)，并将其作为三次指数平滑法的输入，采用重近轻远策略对各观测值赋予相应的权重，实现气温观测资料的质量控制；五、在上述基础上，利用平均绝对误差均方根误差和纳什系数来评价模型性能，其中，Yobs为随机误差的观测值，Yest为EEMD-CES方法得到的估计值；六、对比植入随机误差的观测值Yobs与EEMD-CES方法得到的估计值Yest，若其差值满足|Yest-Yobs|≤f·σ则认为数据正确；若不满足，则将其标记为疑误数据，其中，σ为被检站气温序列标准误差；f为质量控制参数。
优选地，在步骤一中，基本质量控制方法包括格式检查、极值检查、范围检查、内部一致性检查、时间一致性检查。
优选地，在步骤三中，每个本征模分量的能量密度及其与原始气温序列的相关性分别按照公式和进行计算；其中，ci为第i个本征模分量，第i个本征模分量的均值，y为原始气温序列，为原始气温序列的均值，σi为第i个本征模分量的标准差，σ为原始气温序列的标准差，ρi为第i个本征模分量与原始气温序列的相关性。
优选地，在步骤四中，采用重近轻远策略为：对距离未来预测值较近的观测值赋予较大的权重，对距离较远的观测值赋予较小的权重。
本发明提供的技术方案具有如下有益效果：
从方法原理上看，CES仅仅根据未来预测值与过去观测值距离的远近程度对其赋予相应的权重进行回归预测，未对气温时间序列进行预处理，导致其质量控制精度不高；EMD-CES虽考虑到气温时间序列中存在高斯白噪声，但其分解存在模式混叠问题，噪声序列依然可能存留在目标序列中，筛选不净，因此质量控制精度欠佳；而EEMD-CES方法则有效的解决了模式混叠问题，通过添加白噪声序列再分解，改变了原始气温序列的极值特性，抑制了混叠现象的产生，而加入的白噪声则会通过本征模分量整体平均而相互抵消，因此具有较高的质量控制效果。
本发明提出了一种新的单站质量控制方法，模型操作简便，泛化能力强，能够有效提高数据质量，达到质量控制效果，为短期数值天气预报提供了更准确的观测资料。
附图说明
图1为本发明方法流程图；
图2为无锡站气温时间序列EEMD分解图；
图3为本发明方法与CES和EMD-CES方法的MAE、RMSE、NSC效果对比图；
图4为最佳f值下本发明方法与传统单站质量控制方法、CES及EMD-CES方法四种方法的检错效果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
除非上下文另有特定清楚的描述，本发明中的元件和组件，数量既可以单个的形式存在，也可以多个的形式存在，本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
如图1所示，所述基于EEMD-CES的地面气温观测资料质量控制方法中，首先采集被检站一段时间序列内的气温观测资料，并在其中添加高斯白噪声，得到新的时间序列；再利用EMD方法对新序列进行分解，得到有限多个特征单一的本征模分量和残余分量；然后基于能量密度和相关系数准则计算每个本征模分量的能量密度及其与原始气温序列的相关性，以此挑选出合适的本征模分量；将挑选出的本征模分量与剩余分量叠加重构为新的气温序列，并将其作为三次指数平滑法的输入，输出得到气温时间序列的估计值。最后对比原始值与估计值，进行条件修正，完成质量控制。
具体地，所述基于EEMD-CES的地面气温观测资料质量控制方法，包括以下步骤：
一、选取目标站地面气温观测资料一段时间序列，经过基本的质量控制后为X(t),t＝1,2…,T，将标准差为0.1的100组高斯白噪声随机添加到X(t)中，得到新的时间序列X1(t)，其中，T为时间。
以下将对南京站(编号为58238)、无锡站(编号为58354)、连云港(编号为58044)、徐州站(编号为58027)2008年6月份地面定时气温观测资料进行实施例分析。
采集目标站时间T内的地面气温观测资料，经过基本的质量控制后为X(t),t＝1,2…,T，将标准差为0.1的100组高斯白噪声随机添加到X(t)中，得到新的时间序列X1(t)，T＝720。
而且，在步骤一中，基本质量控制方法包括格式检查、极值检查、范围检查、内部一致性检查、时间一致性检查。
二、利用经验模态分解方法对X1(t)进行分解，得到有限多个特征单一的本征模分量ci(t)(i＝1,2……,n)和一个残余分量rn(t)，其中，i和n均为正整数。
具体地，利用经验模态分解方法(EMD)对X1(t)进行分解，得到有限多个特征单一的本征模分量ci(t)(i＝1,2……,n)和一个残余分量rn(t)(i为第几个本征模分量，n为分量个数)，以无锡站为例，分解结果如图2所示。
三、基于能量密度和相关系数准则计算每个本征模分量的能量密度及其与原始气温序列的相关性，挑选出能量密度高与相关性强的本征模分量。
具体地，在步骤三中，每个本征模分量的能量密度及其与原始气温序列的相关性分别按照公式和进行计算；
其中，ci为第i个本征模分量，第i个本征模分量的均值，y为原始气温序列，为原始气温序列的均值，σi为第i个本征模分量的标准差，σ为原始气温序列的标准差，ρi为第i个本征模分量与原始气温序列的相关性。
四、将挑选出的本征模分量与剩余分量叠加重构为新的气温观测序列X2(t)，并将其作为三次指数平滑法的输入，采用重近轻远策略对各观测值赋予相应的权重，实现气温观测资料的质量控制。
具体地，在步骤四中，采用重近轻远策略为：对距离未来预测值较近的观测值赋予较大的权重，对距离较远的观测值赋予较小的权重。
五、在上述基础上，利用平均绝对误差均方根误差和纳什系数来评价模型性能，，如图3所示；其中，Yobs为随机误差的观测值，Yest为EEMD-CES方法得到的估计值；
六、对比植入随机误差的观测值Yobs与EEMD-CES方法得到的估计值Yest，若其差值满足|Yest-Yobs|≤f·σ则认为数据正确；若不满足，则将其标记为疑误数据，使用估计值对其进行修正完成质量控制；其中，σ为被检站气温序列标准误差；f为质量控制参数。
七、为了分析本方法的检错效果，选择最佳质控参数f下各站的检错率分别与传统的单站质量控制方法、CES和EEMD方法进行对比，如图4所示。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于EEMD-CES的地面气温观测资料质量控制方法，其特征在于：包括如下步骤：
一、选取目标站地面气温观测资料一段时间序列，经过基本的质量控制后为X(t),t＝1,2…,T，将标准差为0.1的100组高斯白噪声随机添加到X(t)中，得到新的时间序列X1(t)，其中，T为时间；
二、利用经验模态分解方法对X1(t)进行分解，得到有限多个特征单一的本征模分量ci(t)(i＝1,2……,n)和一个残余分量rn(t)，其中，i和n均为正整数；
三、基于能量密度和相关系数准则计算每个本征模分量的能量密度及其与原始气温序列的相关性，挑选出能量密度高与相关性强的本征模分量；
四、将挑选出的本征模分量与剩余分量叠加重构为新的气温观测序列X2(t)，并将其作为三次指数平滑法的输入，采用重近轻远策略对各观测值赋予相应的权重，实现气温观测资料的质量控制；
五、在上述基础上，利用平均绝对误差均方根误差和纳什系数来评价模型性能，其中，Yobs为随机误差的观测值，Yest为EEMD-CES方法得到的估计值；
六、对比植入随机误差的观测值Yobs与EEMD-CES方法得到的估计值Yest，若其差值满足|Yest-Yobs|≤f·σ则认为数据正确；若不满足，则将其标记为疑误数据，其中，σ为被检站气温序列标准误差；f为质量控制参数。
2.根据权利要求1所述的一种基于EEMD-CES的地面气温观测资料质量控制方法，其特征在于，在步骤一中，基本质量控制方法包括格式检查、极值检查、范围检查、内部一致性检查、时间一致性检查。
3.根据权利要求1所述的一种基于EEMD-CES的地面气温观测资料质量控制方法，其特征在于，在步骤三中，每个本征模分量的能量密度及其与原始气温序列的相关性分别按照公式和进行计算；
其中，ci为第i个本征模分量，第i个本征模分量的均值，y为原始气温序列，为原始气温序列的均值，σi为第i个本征模分量的标准差，σ为原始气温序列的标准差，ρi为第i个本征模分量与原始气温序列的相关性。
4.根据权利要求1所述的一种基于EEMD-CES的地面气温观测资料质量控制方法，其特征在于，在步骤四中，采用重近轻远策略为：对距离未来预测值较近的观测值赋予较大的权重，对距离较远的观测值赋予较小的权重。
CN201810268592.3A 2018-03-29 2018-03-29 一种基于eemd-ces的地面气温观测资料质量控制方法 Pending CN108549117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810268592.3A CN108549117A (zh) 2018-03-29 2018-03-29 一种基于eemd-ces的地面气温观测资料质量控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810268592.3A CN108549117A (zh) 2018-03-29 2018-03-29 一种基于eemd-ces的地面气温观测资料质量控制方法

Publications (1)

Publication Number Publication Date
CN108549117A true CN108549117A (zh) 2018-09-18

Family

ID=63517256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810268592.3A Pending CN108549117A (zh) 2018-03-29 2018-03-29 一种基于eemd-ces的地面气温观测资料质量控制方法

Country Status (1)

Country Link
CN (1) CN108549117A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020409A (zh) * 2019-04-01 2019-07-16 南京信息工程大学 基于自适应核密度估计算法的地面气温观测资料分析方法
CN110261305A (zh) * 2019-06-18 2019-09-20 南京东南建筑机电抗震研究院有限公司 基于影响线的多跨等跨径连续梁桥损伤识别方法
CN110503162A (zh) * 2019-08-29 2019-11-26 广东工业大学 一种媒体信息流行度预测方法、装置和设备
CN110740063A (zh) * 2019-10-25 2020-01-31 电子科技大学 基于信号分解和周期特性的网络流量特征指标预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852871A (zh) * 2010-05-25 2010-10-06 南京信息工程大学 基于经验模态分解和数值集合预报的短期气候预测方法
CN103278867A (zh) * 2013-05-03 2013-09-04 南京信息工程大学 一种基于经验模态分解的自动气象站数据质量控制方法
CN104102845A (zh) * 2014-07-24 2014-10-15 北京坤成科技有限公司 尺度自适应的插值方法及尺度自适应的插值系统
CN106503458A (zh) * 2016-10-26 2017-03-15 南京信息工程大学 一种地面气温数据质量控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852871A (zh) * 2010-05-25 2010-10-06 南京信息工程大学 基于经验模态分解和数值集合预报的短期气候预测方法
CN103278867A (zh) * 2013-05-03 2013-09-04 南京信息工程大学 一种基于经验模态分解的自动气象站数据质量控制方法
CN104102845A (zh) * 2014-07-24 2014-10-15 北京坤成科技有限公司 尺度自适应的插值方法及尺度自适应的插值系统
CN106503458A (zh) * 2016-10-26 2017-03-15 南京信息工程大学 一种地面气温数据质量控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAZHI YANG，ET，AL: "Forecasting of global horizontal irradiance by exponential smoothing, using decompositions", 《ENERGY》 *
ZHAOHUA WU，ET AL.: "On the time-varying trend in global-mean surface temperature", 《CLIMATE DYNAMICS》 *
叶小岭等: "AI方法在地面气温观测资料质量控制中的应用", 《气候与环境研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020409A (zh) * 2019-04-01 2019-07-16 南京信息工程大学 基于自适应核密度估计算法的地面气温观测资料分析方法
CN110020409B (zh) * 2019-04-01 2023-06-27 南京信息工程大学 基于自适应核密度估计算法的地面气温观测资料分析方法
CN110261305A (zh) * 2019-06-18 2019-09-20 南京东南建筑机电抗震研究院有限公司 基于影响线的多跨等跨径连续梁桥损伤识别方法
CN110503162A (zh) * 2019-08-29 2019-11-26 广东工业大学 一种媒体信息流行度预测方法、装置和设备
CN110740063A (zh) * 2019-10-25 2020-01-31 电子科技大学 基于信号分解和周期特性的网络流量特征指标预测方法
CN110740063B (zh) * 2019-10-25 2021-07-06 电子科技大学 基于信号分解和周期特性的网络流量特征指标预测方法

Similar Documents

Publication Publication Date Title
CN108549117A (zh) 一种基于eemd-ces的地面气温观测资料质量控制方法
Cantor et al. Disentangling social networks from spatiotemporal dynamics: the temporal structure of a dolphin society
Morss et al. Idealized adaptive observation strategies for improving numerical weather prediction
Northrop A clustered spatial-temporal model of rainfall
Jung et al. Weighted error functions in artificial neural networks for improved wind energy potential estimation
CN109872060B (zh) 一种用于多卫星传感器联合观测方案选择的方法
Gregg et al. Skill assessment in ocean biological data assimilation
Körner et al. Introducing Gradient Boosting as a universal gap filling tool for meteorological time series
Tippett et al. Skill of multimodel ENSO probability forecasts
CN103366375B (zh) 基于动态有向图的图像集配准方法
Boghetti et al. Understanding the performance gap: A machine learning approach on residential buildings in Turin, Italy
Hao et al. Digital maps of atmospheric refractivity and atmospheric ducts based on a meteorological observation datasets
Choi et al. Allometric scaling and resource limitations model of tree heights: Part 2. Site based testing of the model
Wirtz et al. Long-term shifts in marine ecosystem functioning detected by inverse modeling of the Helgoland Roads time-series
Dmitriev et al. Russian Northwest: an integral assessment of the conditions of regional social, environmental and economic systems and quality of life
Koshiro et al. Evaluation of relationships between subtropical marine low stratiform cloudiness and estimated inversion strength in CMIP5 models using the satellite simulator package COSP
Lieske et al. The importance of agricultural landscapes as key nesting habitats for the American black duck in maritime Canada
Li et al. Optimization of the spatiotemporal parameters in a dynamical marine ecosystem model based on the adjoint assimilation
CN107832805A (zh) 一种基于概率位置模型消除空间位置误差对遥感软分类精度评价影响的技术
CN112014324A (zh) 一种基于多源监测数据的水体营养状态评价方法
Praggastis Maximal sections of sheaves of data over an abstract simplicial complex
CN110426755A (zh) 一种基于改进反距离加权的地面气温资料质量控制方法
Huang et al. Improving machine learning-based weather forecast post-processing with clustering and transfer learning
Assi et al. Prediction of global solar radiation in Abu Dhabi city–UAE
CN108537417A (zh) 一种基于协同克里金法的地面气温质量控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180918

RJ01 Rejection of invention patent application after publication