CN103278867B - 一种基于经验模态分解的自动气象站数据去噪方法 - Google Patents
一种基于经验模态分解的自动气象站数据去噪方法 Download PDFInfo
- Publication number
- CN103278867B CN103278867B CN201310159628.1A CN201310159628A CN103278867B CN 103278867 B CN103278867 B CN 103278867B CN 201310159628 A CN201310159628 A CN 201310159628A CN 103278867 B CN103278867 B CN 103278867B
- Authority
- CN
- China
- Prior art keywords
- imf
- data
- sigma
- eigenmode component
- mode decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于经验模态分解的自动气象站数据质量控制方法,将经验模态分解用于自动气象站数据质量控制,该方法首先对单站数据进行采集,然后对采集的数据做基本质量控制后,再进行EEMD(经验模态)分解得到本征模分量和趋势项,进一步对本征模分量和趋势项做加权处理,得到赋权本征模分量和赋权后的趋势项,最后对赋权后的本征模分量和赋权后的趋势项做数据重构,得到去噪后的数据,完成去噪过程,该方法在基本质量控制方法的基础上弥补了目前质量控制方法不能消除随机噪声、系统噪声、微气象噪声和粗大噪声的缺点,提高了自动气象站观测数据的质量。
Description
技术领域
本发明涉及自动气象站采集数据的质量控制领域,特别发明了一种对自动气象站采集的气温数据的去噪方法。
背景技术
目前国内的自动气象站具有站点分布密集、地形差异大、测站环境恶劣、数据采集和传输自动化程度高、资料实时性强、中小尺度天气现象明显等特点,其观测数据的质量问题比人工常规地面站观测资料显得更复杂和严重,因而必须对自动气象站的观测数据进行质量控制。我国现采集数据的质量控制在两个层面进行,一是在观测台站进行基本质量控制;第二是在数据处理中心进行,数据处理中心除采用综合时间一致性、内部一致性检查外,还应对仪器传感器失效、长期漂移进行评估。根据我国气象业务体制,除基层台站进行基本质量控制外,省级应对自动站实时数据进行全面系统质量控制。但是,自动气象站在进行数据采集过程中容易受到大量随机噪声、系统噪声、微气象噪声和粗大噪声的干扰;这些噪声是目前质量控制方法不能消除的,从而影响自动气象站观测数据的质量,不能很好的服务于中尺度、短时效的精细天气预报。
传统基于经验模态分解的去噪方法是将IMF分量的高频部分直接去掉再重构去噪,这种方法忽视了去掉高频部分存在的真实信息,在去掉噪声的同时也去掉了有用的信息;同时,IMF分量间的高频是相对的局部高频,在低频的分量中仍然存在相对的高频和噪声,这是传统基于模态分解去噪方法不足的地方。
发明内容
本发明所要解决的技术问题是:
提供一种基于经验模态分解的自动气象站数据去噪方法,解决了目前质量控制方法不能消除随机噪声、系统噪声、微气象噪声和粗大噪声的问题,提高了自动气象站观测数据的质量。
本发明为解决上述技术问题,采用如下技术方案:
一种基于经验模态分解的自动气象站数据质量控制方法,包括以下步骤:
步骤1.采集自动气象站温度观测数据x(t),其中t为采样时间,且t为大于0的自然数;
步骤2.对x(t)进行基本质量控制,得到基本控制后的数据
步骤3.根据公式对基本控制后的数据进行经验模态分解,得到本征模分量的趋势项r;其中k为大于1的自然数,i∈k;
步骤4.计算本征模分量IMFi的能量Ei,根据Ei绘制能量柱状图,并观察能量柱状图,得到本征模分量能量的阶跃点M,根据该阶跃点确定存在噪声的本征模分量IMFj;其中M为自然数,且1<M≤k;j为自然数,且1≤j≤M-1;
步骤5.对基本控制后的数据与本征模分量IMFj进行时间序列相关性分析得到相关系数vj,根据相关系数vj计算赋权本征模分量NEWIMFj和赋权后的趋势项NEWr;
步骤6.根据赋权本征模分量NEWIMFj和赋权后的趋势项NEWr进行数据重构得到去噪声后的数据,完成去噪处理。
步骤2中所述基本质量控制包括界限值检查、气候极值检查、内部一致性检查、时变一致性检查、空间一致性检查、特殊天气事件检查。
步骤4中所述计算本征模分量的能量Ei运用如下公式计算:
其中IMFi(t)为第i个本征模分量的时间序列,t为采样时间点。
步骤5中所述计算赋权本征模分量运用如下公式计算:
NEWIMFj=vj·IMFj;j=1,2…M-1
所述赋权后的趋势项运用如下公式计算:
vj运用如下公式计算:
其中size(IMFj)分别表示与IMFj的时间序列长度。
所述步骤6中数据重构运用如下公式计算:其中为去噪声后的数据。
与现有技术相比,本发明具有如下有益效果:
通过消除观测数据的随机噪声和高斯噪声来实现对自动气象站观测数据的去噪质量控制,弥补了传统质量控制方法的不足,能够提高自动气象站观测数据在长期气候研究和短时预报的可靠性。
附图说明
图1为本发明方法的流程图。
图2为本发明基本质量控制后的数据本征模分量及趋势项波形图。
图3为本发明基本质量控制后的数据本征模分量能量变化图。
图4为本发明赋权本征模分量及赋权后的趋势项波形图。
图5为本发明去噪前后数据的希尔伯特谱图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明:
为本发明方法的流程,如图1所示,对单站数据进行采集,然后对采集的数据做基本质量控制后,再进行EEMD(经验模态)分解得到本征模分量和趋势项,进一步对本征模分量和趋势项做加权处理,得到赋权本征模分量和赋权后的趋势项,最后对赋权后的本征模分量和赋权后的趋势项做数据重构,得到去噪后的数据,去噪过程完成。
以下将对南京编号为58238站点2007年1月份每隔10分钟观测一次的温度数据进行实施例分析,进一步说明本发明:
1、采集自动气象站温度观测数据x(t),t为采样时间,且t为大于0的自然数,本实施例选择t=1,2…4464。
2、对x(t)经过界限值检查、气候极值检查、内部一致性检查、内部一致性检查、时变检查、空间一致性检查等基本质量控制,得到基本控制后的数据
3、根据公式对基本控制后的数据进行经验模态分解,得到本征模分量IMFi与的趋势项r;其中k为大于1的自然数;
4、利用能量计算公式求取本征模分量的能量,绘制能量柱状图,并观察能量柱状图,得出Ei的能量阶跃点M,根据该分界点确定存在噪声的本征模分量IMFj;其中IMFi(t)为第i个本征模分量的时间序列,t为采样时间点,M为自然数,且1<M≤k;j为自然数,且1≤j≤M-1;本征模分量的能量阶跃点M,即本征模分量的能量变化突变的点。
5、对基本控制后的数据与本征模分量IMFj进行时间序列相关性分析得到相关系数vj,vj运用如下公式计算:
6、根据赋权本征模分量NEWIMFj和赋权后的趋势项NEWr进行数据重构得到去噪声后的数据,数据重构运用如下公式计算:
其中为去噪声后的数据,完成去噪质量控制。
本实施例将分解为5个本征模分量IMF1、IMF2、IMF3、IMF4、IMF5和1个趋势项r,其相对频率关系为:IMF1>IMF2>IMF3>IMF4>IMF5>r;如图2所示,横坐标是采样数据点间隔,纵坐标是本征模分量对应的数值,为方便阅读波形图,每个量依次累计减10处理。
利用公式计算五个本征模分量IMF1、IMF2、IMF3、IMF4、IMF5和1个趋势项r的能量,其中E1~E5分别为五个本征模分量IMF1、IMF2、IMF3、IMF4、IMF5的能量;Er为1个趋势项r的能量;根据E1~E5、Er绘制能量变化柱状图,如图3所示,根据柱状图显示,在E5处发生能量跳跃,因此得到能量阶跃点M=5,判定IMF1、IMF2、IMF3、IMF4为存在噪声的分量。
根据公式 分别计算与IMF1、IMF2、IMF3、IMF4的相关系数vj,(j=1,2,3,4),v1表示与IMF1的相关系数,v1=0.8057;v2表示与IMF2的相关系数,v2=0.1068;v3表示与IMF3的相关系数,v3=0.2049;v4表示与IMF4的相关系数,v4=0.2024。
利用相关系数v1~v4和本征模分量IMF1~IMF4根据公式NEWIMFj=vj·IMFj,j=1,2,3,4计算赋权本征模分量NEWIMF1~NEWIMF4;利用IMF5、趋势项r根据公式NEWr=IMF5+r计算赋权后的趋势项NEWr,如图4所示。
利用公式对NEWIMFj和NEWr进行数据重构,为南京编号为58238站点2007年1月份每隔10分钟观测的温度数据经过本系统去噪后的数据,整个去噪过程完成。
为分析本发明的有益效果,此处用美国NOAA国家气候数据中心的同时段再分析气温数据作为分析数据,本发明方法数据分别与小波去噪、传统EMD去噪进行信噪比和均方根误差进行对比,对比结果表格如下表所示:
本方法的信噪比明显高于小波去噪法、传统EMD去噪法;均方根远小于小波去噪法、传统EMD去噪法。
气温数据去噪前后的希尔伯特谱图如图5所示,去噪前图上噪点密集,去噪后波形平滑、干净,主要信息保持良好。
通过上表及图5对比分析,本发明方法去噪效果明显。
Claims (5)
1.一种基于经验模态分解的自动气象站数据去噪方法,其特征在于:包括以下步骤:
步骤1.采集自动气象站温度观测数据x(t),其中t为采样时间,且t为大于0的自然数;
步骤2.对x(t)进行基本质量控制,得到基本控制后的数据所述基本质量控制包括界限值检查、气候极值检查、内部一致性检查、时变一致性检查、空间一致性检查、特殊天气事件检查;
步骤3.根据公式对基本控制后的数据进行经验模态分解,得到本征模分量IMFi与的趋势项r;其中k为大于1的自然数,i∈k;
步骤4.计算本征模分量IMFi的能量Ei,根据Ei绘制能量柱状图,并观察能量柱状图,得到本征模分量能量的阶跃点M,根据该阶跃点确定存在噪声的本征模分量IMFj;其中M为自然数,且1<M≤k;j为自然数,且1≤j≤M-1;
步骤5.对基本控制后的数据与本征模分量IMFj进行时间序列相关性分析得到相关系数vj,根据相关系数vj计算赋权本征模分量NEWIMFj和赋权后的趋势项NEWr;
步骤6.根据赋权本征模分量NEWIMFj和赋权后的趋势项NEWr进行数据重构得到去噪声后的数据,完成去噪处理。
2.根据权利要求1所述的基于经验模态分解的自动气象站数据去噪方法,其特征在于:步骤4中所述计算本征模分量的能量Ei运用如下公式计算:
其中IMFi(t)为第i个本征模分量的时间序列,t为采样时间点。
3.根据权利要求1所述的基于经验模态分解的自动气象站数据去噪方法,其特征在于:步骤5中所述计算赋权本征模分量运用如下公式计算:
NEWIMFj=vj·IMFj;j=1,2…M-1
所述赋权后的趋势项运用如下公式计算:
4.根据权利要求3所述的基于经验模态分解的自动气象站数据去噪方法,其特征在于:vj运用如下公式计算:
其中size(IMFj)分别表示与IMFj的时间序列长度。
5.根据权利要求1所述的基于经验模态分解的自动气象站数据去噪方法,其特征在于:所述步骤6中数据重构运用如下公式计算:其中为去噪声后的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310159628.1A CN103278867B (zh) | 2013-05-03 | 2013-05-03 | 一种基于经验模态分解的自动气象站数据去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310159628.1A CN103278867B (zh) | 2013-05-03 | 2013-05-03 | 一种基于经验模态分解的自动气象站数据去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103278867A CN103278867A (zh) | 2013-09-04 |
CN103278867B true CN103278867B (zh) | 2015-02-04 |
Family
ID=49061438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310159628.1A Expired - Fee Related CN103278867B (zh) | 2013-05-03 | 2013-05-03 | 一种基于经验模态分解的自动气象站数据去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103278867B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105675049B (zh) * | 2015-12-30 | 2020-10-16 | 浙江海洋学院 | 一种海-岛环境健康监测方法 |
CN106096266B (zh) * | 2016-06-08 | 2018-08-21 | 南京信息工程大学 | 一种自动气象站质量控制方法 |
CN106503458B (zh) * | 2016-10-26 | 2019-04-16 | 南京信息工程大学 | 一种地面气温数据质量控制方法 |
CN106503459B (zh) * | 2016-10-26 | 2019-04-23 | 南京信息工程大学 | 一种改进随机森林气温数据质量控制方法 |
CN106886856B (zh) * | 2017-02-22 | 2020-07-28 | 南京信息工程大学 | 一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法 |
CN108549117A (zh) * | 2018-03-29 | 2018-09-18 | 南京信息工程大学 | 一种基于eemd-ces的地面气温观测资料质量控制方法 |
CN109660290A (zh) * | 2018-11-23 | 2019-04-19 | 南京信息工程大学 | 一种基于多卫星多频段的多架构应急保障系统 |
CN118068448A (zh) * | 2024-04-19 | 2024-05-24 | 南京大桥机器有限公司 | 一种气象无人机地面测控平台 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6751580B1 (en) * | 2000-05-05 | 2004-06-15 | The United States Of America As Represented By The Secretary Of The Navy | Tornado recognition system and associated methods |
CN101533106B (zh) * | 2009-03-23 | 2011-02-16 | 民航数据通信有限责任公司 | 提取气象数据的方法和装置 |
CN102207555A (zh) * | 2011-03-26 | 2011-10-05 | 朱君 | 气象区域自动站数据监控及质量控制系统 |
-
2013
- 2013-05-03 CN CN201310159628.1A patent/CN103278867B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103278867A (zh) | 2013-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103278867B (zh) | 一种基于经验模态分解的自动气象站数据去噪方法 | |
Wang et al. | Temperature reconstruction from tree-ring maximum density of Balfour spruce in eastern Tibet, China | |
He et al. | Modeling the spatiotemporal dynamics of electric power consumption in Mainland China using saturation-corrected DMSP/OLS nighttime stable light data | |
Tizpar et al. | Wind resource assessment and wind power potential of Mil-E Nader region in Sistan and Baluchestan Province, Iran–Part 1: Annual energy estimation | |
WO2018153143A1 (zh) | 一种利用遥感含水量测量滩涂高程的方法 | |
CN106908415B (zh) | 一种基于修正ndvi时间序列的大区域农作物全生育期墒情监测方法 | |
CN107316095A (zh) | 一种耦合多源数据的区域气象干旱等级预测方法 | |
Crétat et al. | The relationship between African easterly waves and daily rainfall over West Africa: Observations and regional climate simulations | |
CN107607692B (zh) | 基于土壤最大储水容量的土壤水分监测优化布点方法 | |
Zhou et al. | Evaluation of regional climate simulations over the CORDEX-EA-II domain using the COSMO-CLM model | |
CN110334404A (zh) | 一种流域尺度骤发干旱精准识别方法 | |
Hu et al. | Changes in multiple ecosystem services and their influencing factors in Nordic countries | |
CN105975791A (zh) | 一种基于双平滑法的稀疏区域降水估算融合方法 | |
CN106384015A (zh) | 一种基于能耗数据采集的分布式光伏系统能效预评估方法 | |
Ren et al. | Anatomy of synoptic eddy–NAO interaction through eddy structure decomposition | |
CN108876172B (zh) | 一种基于改进型modis植被供水指数的地表土壤含水量评估方法 | |
Zhao et al. | Precipitation changes near Three Gorges Dam, China. Part I: a spatiotemporal validation analysis | |
Zhang et al. | Phytoplankton size class in the East China Sea derived from MODIS satellite data | |
CN106897957A (zh) | 一种基于pca和pso‑elm的自动气象站实时数据质量控制方法 | |
CN110263876B (zh) | 一种雨声信号降噪处理方法和系统 | |
Gao et al. | Assessments of surface latent heat flux associated with the Madden–Julian oscillation in reanalyses | |
Yang et al. | Capturing the spatiotemporal variations in the gross primary productivity in coastal wetlands by integrating eddy covariance, Landsat, and MODIS satellite data: A case study in the Yangtze Estuary, China | |
Sun et al. | Reconstructing mean maximum temperatures of May–August from tree-ring maximum density in North Da Hinggan Mountains, China | |
CN113553782B (zh) | 一种用于预报风速的降尺度方法 | |
US20240094436A1 (en) | High-resolution standardized precipitation evapotranspiration index dataset development method based on random forest regression model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150204 Termination date: 20180503 |
|
CF01 | Termination of patent right due to non-payment of annual fee |