CN104280791A - 一种气象数据质量控制处理方法及系统 - Google Patents

一种气象数据质量控制处理方法及系统 Download PDF

Info

Publication number
CN104280791A
CN104280791A CN201410504083.8A CN201410504083A CN104280791A CN 104280791 A CN104280791 A CN 104280791A CN 201410504083 A CN201410504083 A CN 201410504083A CN 104280791 A CN104280791 A CN 104280791A
Authority
CN
China
Prior art keywords
data
value
weather data
measured value
described original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410504083.8A
Other languages
English (en)
Other versions
CN104280791B (zh
Inventor
王伟
邵飞
林嘉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiyun Technology Zhejiang Co ltd
Original Assignee
Ningbo Qi Yun Softcom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Qi Yun Softcom Ltd filed Critical Ningbo Qi Yun Softcom Ltd
Priority to CN201410504083.8A priority Critical patent/CN104280791B/zh
Publication of CN104280791A publication Critical patent/CN104280791A/zh
Application granted granted Critical
Publication of CN104280791B publication Critical patent/CN104280791B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology

Landscapes

  • Environmental & Geological Engineering (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明适用于数据处理领域,提供了一种气象数据质量控制处理方法及系统,所述方法包括如下步骤:接收原始气象数据;判断所述原始气象数据是否存在异常数据;当判定所述原始气象数据存在异常数据时,对所述异常数据进行校正处理;将校正了异常数据的气象数据输出。本发明实施例,通过对采集的气象数据进行填充、修正,提高气象数据的准确度,为气象预报工作带来方便。

Description

一种气象数据质量控制处理方法及系统
技术领域
本发明属于数据处理领域,尤其涉及一种气象数据质量控制处理方法及系统。
背景技术
由于目前国内的气象观察站具有站点分布密集、地形差异大、测站环境恶劣、数据采集和传输自动化程度高、资料实时性强、中小尺度天气现象明显等特点,而且观测的个体较多,如温度、湿度、不同的污染性气体的含量、污染型颗粒物的含量等,这些个体间的观测及数据的处理又存在一定的差异,所以其观测数据的质量问题比人工常规地面观测资料显得更为复杂和严重,再加上观测过程中断电、仪器的性能因素影响以及周边环境的突发情况会造成气象数据出现非正常值,现有技术中,并没有对这些出现问题的数据进行检测和处理,因此可能使这些未经处理的原始观测数据出现较大的偏差。
发明内容
本发明实施例提供一种气象气象数据质量控制处理方法,旨在解决采集的气象数据出现缺测、负值或异常情况,降低了气象数据准确度的问题。
本发明实施例是这样实现的,一种气象数据质量控制处理方法,所述方法包括如下步骤:
接收原始气象数据;
判断所述原始气象数据是否存在异常数据;
当判定所述原始气象数据存在异常数据时,对所述异常数据进行校正处理;
将校正了异常数据的气象数据输出。
本发明实施例还提供一种气象数据质量控制处理系统,所述系统包括:
数据接收单元,用于接收原始气象数据;
异常数据判断单元,用于判断所述原始气象数据是否存在异常数据;
异常数据处理单元,用于当判定所述原始气象数据存在异常数据时,对所述异常数据进行校正处理;
校正数据输出单元,用于将校正了异常数据的气象数据输出。
本发明实施例,通过对采集的气象数据进行填充、修正,提高气象数据的准确度,为气象预报工作带来方便。
附图说明
图1为本发明实施例提供的气象数据质量控制处理方法的实施环境图;
图2为本发明实施例提供的气象数据质量控制处理方法的流程图;
图3为本发明实施例提供的对异常数据的校正处理的流程图;
图4为本发明实施例提供的对缺测值处理的流程图;
图5为本发明实施例提供的对负值处理的流程图;
图6为本发明实施例提供的对异常值处理的流程图;
图7为本发明实施例提供的气象数据质量控制处理系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例通过对采集的气象数据进行填充、修正,提高气象数据的准确度。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的气象数据质量控制处理方法的实施环境,该实施环境包括:大气成分观测站110、中心站服务器120和气象局信息综合显示平台130。
大气成分观测站110采集大气成分观测原始气象数据,并存储。环境气象中心服务器120在每时间段内读取的大气成分观测站110采集的大气成分原始气象数据,进行筛选和修正后生成小时平均数据上传到气象局信息综合显示平台130上。
在本发明实施例中,筛选可以为对原始气象数据的进行判断是否为缺测值、负值和异常值并作出标识。
修正可以为对原始气象数据中缺测值、负值和异常值进行数据处理。
图2示出了本发明实施例提供的气象数据质量控制处理方法的实现流程,祥述如下:
在步骤S201中,接收原始气象数据;
以预设时间段为单位接收大气成分观测站传输的观测原始气象数据。
在本发明实施例中,预设时间段可以是每5分钟作为一次收集的时间段。
在本发明其他实施例中,预设时间段还可以是15分钟或者一个小时作为一次收集的时间段。
在步骤S202中,判断所述原始气象数据是否存在异常数据;
异常数据可以为缺测值、负值或异常值。其中缺测值是指在数据采集过程中,因发生异常,使某一预设时间段应采集的数据没有采集,导致该对应时间段的数据缺失。负值是指观测到的大气成分数据小于零的值。异常值指由于观测过程中仪器的性能因素影响以及周边环境的突发情况影响,造成观测数据出现异常情况,即连续观测的气象数据中不符合气象数据变化规律的数据,因此需要对原始观测数据做进一步的异常数据判定与修正。
在步骤S203中,当判定所述原始气象数据存在异常数据时,对所述异常数据进行校正处理并输出;
数据校正处理包括:填充缺测值、更新负值、修改异常值和线性偏移校准。
在步骤S204中,计算大气成分观测平均数并输出。
待所有原始气象数据校正处理完成后,读取一小时内已校正了异常数据的不包含异常数据标识的气象数据,然后计算其平均值输出。
图3示出了本发明实施例提供的对异常数据的校正处理流程,详述如下:
在步骤S301中,判断原始气象数据是否存在缺测值;
在步骤S302中,当判断缺测值存在时,统计缺测值个数,并根据统计的缺测值个数进行数据处理;
根据缺测值的个数可以进行数据填充处理,还可以进行数据异常标识处理。
在步骤S303中,当判断不存在缺测值或者对存在的缺测值进行处理后,进一步判断原始气象数据是否为负值;
通过缺测值的处理方法填充的数据,有可能存在为异常数据的情况,仍需要参与判断是否为负值或者异常值。
例如:缺测值处理方法为取缺测值前面和后面两个数据的平均值来填充缺测值。如果前后两个数据为负值或者异常值,则平均得到的数据仍可能出现负值或者异常值的情况,所以,不仅需要对非缺测值而且需要对已进行缺测值处理的数据,均进一步参与是否为负值的判断。
现由于观测仪器的噪音和灵敏度问题,易出现数据负值,但需要根据不同的大气要素针对所采集的数据负值范围做相应的处理,提高数据的精确度。
在步骤S304中,当判断数据为负值时,通过负值处理算法将出现的负值进行更新;
在设定范围内的负值,将负值更新为指定值,不在设定范围内的负值,作出数据异常标识。
在步骤S305中,当判断数据不为负值或对已判定的异常进行处理后,进一步判断原始气象数据是否为异常值;
异常值指由于观测过程中仪器的性能因素影响以及周边环境的突发情况影响,造成观测数据出现异常情况,即连续观测的气象数据中不符合气象数据变化规律的数据。
在步骤S306中,当判断数据为异常值时,通过异常值处理算法对异常值进行修改;
当判定为异常值时,通过异常值出现前后临近数据的平均值来替换出现的异常值。当判定为非异常值即有效值时,保留该有效数据不变。
在本发明实施例中,对异常数据的校正处理流程可以为:首先对原始气象数据判断是否存在缺测值,然后进一步判断是否为负值,最后对原始气象数据是够为异常值进行判断。
在本发明其他实施例中,对异常数据的校正处理流程还可以为:首先对原始气象数据判断是否存在缺测值,然后进一步判断是否为异常值,最后判断是否为负值;或者首先对原始气象数据判断是否为负值,然后进一步判断是否为异常值,最后判断是否存在缺测值等流程。
图4示出了本发明实施例提供的对缺测值的处理流程,详述如下:
在步骤S401中,统计缺测值的个数;
预设时间段内出现某一时刻数据缺失或某几个时刻数据缺失的情况,并统计在该时间段内对应时刻数据缺失的个数。
在本发明实施例中,预设时间段可以为每35分钟作为一次数据收集的时间段。将该时间段内收集的数据作为滑动窗数据块。
在本发明其他实施例中,预设时间段还可以为不超过一小时的时间作为一次数据收集的时间段。
在步骤S402中,当缺测值的个数<设定值时,通过平均值来填充缺测值;
当预测值前后的数据不为缺测值时,通过缺测值前后数据的平均值来填充该缺测值,来保证曲线的连续性。
当缺测值前面或者后面为缺测值时,通过预设时间段内的数据(即整个滑动窗数据块)平均值填充。
本发明实施例中,可以设置缺测值个数<3,当缺测值前后的数据不为缺测值时,将该缺测值的前一时刻对应的采集数据值与后一时刻对应的采集数据值,取两者的平均值作为缺测值的值进行填充。
当缺测值前面或后面的数据为缺测值时,通过预设时间段内数据(即整个滑动窗数据块)的平均值填充。
在步骤S403中,当缺测值个数>=设定值时,将缺测值作数据异常标识并保留。
在此情况下,缺测值不能作填充处理,保留缺测值的数据异常标识为了最终不参与小时平均值的计算。
图5示出了本发明实施例提供的对负值的处理流程,在原始大气成分观测数据中,针对反应性气体设定的负值范围,不同于针对颗粒物质量浓度设定的负值范围,但在不同设定范围内判定为负值的数据处理方式相同,具体流程详述如下:
在步骤S501中,设定原始大气成分观测数据的负值范围,并判断负值是否在该范围内;
原始大气成分观测的数据可以分为两类,其中一类气象数据针对反应性气体,如:O3、NO-NO2-NOx、CO、SO2等,另一类气象数据针对颗粒物质量浓度,如:PM2.5、PM10等。
在本发明实施例中,当反应性气体对应的数据大于-2且小于0时,判定为负值,当颗粒物质量浓度对应的数据大于-20且小于0时,判定为负值。
在本发明其他实施例中,当反应性气体对应的数据小于等于-2时,判定为负值,当颗粒物质量浓度对应的数据小于等于-20,均判定为负值。
在步骤S502中,当判定负值在设定范围内时,将负值更新为指定值;
在本发明实施例中,负值需要替换的确定值可以为0.5。
在步骤S503中,当判定负值不在设定范围内时,对负值作出数据异常标识。
图6示出了本发明实施例提供的对异常值的处理流程,详述如下:
在步骤S601中,读取滑动窗数据块的值;
滑动窗的大小可以为7,该滑动窗数据块的值对应7个5分钟数据的平均值。滑动窗中心位置的数据为当前观测的5分钟内数据,并设定当前观测的5分钟数据为第i个数据,然后读取当前观测数据及当前观测数据的前面3个5分钟数据和后面3个5分钟数据组成滑动窗数据块。若在滑动窗数据块中,第i个数据前面或者后面不足3个数据时,读取位置i的数据及前面或者后面的全部数据组成滑动窗数据块。
在步骤S602中,计算滑动窗数据块的平均值和标准差;
平均值1的计算公式为:平均值2的计算公式为: x i , &OverBar; = 1 2 m + 1 &Sigma; j = - m m x i + j ( j &NotEqual; 0 ) , 标准差的计算公式为: &sigma; i = 1 2 m &Sigma; j = - m m ( x i + j - x i &OverBar; ) 2 ( j &NotEqual; 0 ) .
其中,xi为当前检测数据,为整个滑动窗数据块的平均值,为替换负值的平均值,σi为第i个滑动窗数据块的标准差,m可以为3。
在步骤S603中,判断是否为异常值并进行数据处理;
根据当前观测值与滑动窗的平均值的差值,判断是否超过一定倍数的标准差,来确定当前观测值是否为异常。
时,即xi被判断为异常值,通过公式进行异常值的修改,即为通过一个滑动窗的平均值进行修改。
在本发明实施例中,n的取值可以为3。
本发明实施例,通过对采集的气象数据进行填充、修正,提高气象数据的准确度,为气象预报工作带来方便。
本领域普通技术人员可以理解:实现上述方法实施例的步骤或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤,而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图7示出了本发明实施例提供的气象数据质量控制处理系统的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
一种气象数据质量控制处理系统包括:数据接收单元10,异常数据判断单元20,异常数据处理单元30,校正数据输出单元40,数据平均单元50和数据输出单元60。
数据接收单元10接收大气成分观测站传输的观测原始气象数据传输至异常数据判断单元20。
以预设时间段为单位接收大气成分观测站传输的观测原始气象数据。
在本发明实施例中,预设时间段可以是每5分钟作为一次收集的时间段。
在本发明其他实施例中,预设时间段还可以是15分钟或者一个小时作为一次收集的时间段。
异常数据判断单元20判断所原始气象数据是否存在异常数据。
异常数据可以为缺测值、负值或异常值。其中缺测值是指在数据采集过程中,因发生异常,使某一预设时间段应采集的数据没有采集,导致该对应时间段的数据缺失。负值是指观测到的大气成分数据小于零的值。异常值指由于观测过程中仪器的性能因素影响以及周边环境的突发情况影响,造成观测数据出现异常情况,即连续观测的气象数据中不符合气象数据变化规律的数据,因此需要对原始观测数据做进一步的异常数据判定与修正。
异常数据判断单元20判断为异常数据时,由异常数据处理单元30进行数据校正处理。
数据校正处理包括:填充缺测值、更新负值、修改异常值。
其中,异常数据判断单元20包括:缺测值判断单元201,负值判断单元202,异常值判断单元203。
异常数据处理单元30包括:缺测值处理单元301,负值处理单元302和异常值处理单元303。
缺测值判断单元201判断原始气象数据是否存在缺测值,当存在缺测值时进入缺测值处理单元301。缺测值处理单元301针对缺测值的个数可以进行数据填充处理,还可以进行数据异常标识。
缺测值处理单元301包括:缺测值统计单元3011,缺测值填充单元3012和缺测值标识单元3013。
缺测值统计单元3011统计缺测值个数。预设时间段内出现某一时刻数据缺失或某几个时刻数据缺失的情况,并统计在该时间段内对应时刻数据缺失的个数。
在本发明实施例中,预设时间段可以为每35分钟作为一次数据收集的时间段。将该时间段内收集的数据作为滑动窗数据块。
在本发明其他实施例中,预设时间段还可以为不超过一小时的时间作为一次数据收集的时间段。
当缺测值个数<设定值时,通过缺测值填充单元3012将平均值来填充缺测值,来保证曲线的连续性。
当预测值前后不为缺测值时,通过缺测值前后数据的平均值来填充该缺测值,来保证曲线的连续性。
当缺测值前面或者后面为缺测值时,通过预设时间段内的数据(即整个滑动窗数据块)平均值填充。
本发明实施例中,可以设置缺测值个数<3,当缺测值前后的数据不为缺测值时,将该缺测值的前一时刻对应的采集数据值与后一时刻对应的采集数据值,取两者的平均值作为缺测值的值进行填充。
当缺测值前面或后面的数据为缺测值时,通过预设时间段内数据(即整个滑动窗数据块)的平均值填充。
当缺测值个数>=设定值时,通过缺测值标识单元3013将缺测值作数据异常标识并保留。在此情况下,缺测值不能作填充处理,保留缺测值的数据异常标识为了最终不参与小时平均值的计算。
当判断缺测值不存在时,由负值处理单元303对采集的原始气象数据进行检测和处理。其中负值处理单元302包括:负值更新单元3021和负值标识单元3022。
负值更新单元3021,判断负值是否在设定了原始大气成分观测数据的负值范围内,当判定为负值时,更新为指定值。
原始大气成分观测的数据可以分为两类,其中一类气象数据针对反应性气体,如:O3、NO-NO2-NOx、CO、SO2等,另一类气象数据针对颗粒物质量浓度,如:PM2.5、PM10等。
在本发明实施例中,当反应性气体对应的数据大于-2且小于0时,判定为负值,当颗粒物质量浓度对应的数据大于-20且小于0时,判定为负值。
在本发明其他实施例中,当反应性气体对应的数据小于等于-2时,判定为负值,当颗粒物质量浓度对应的数据小于等于-20,均判定为负值。
在本发明实施例中,负值需要替换的指定值可以为0.5。
当负值不在设定范围内时,负值标识单元3022对负值作数据异常标识。
当判断不为负值时,由异常值判断单元203对采集的原始气象数据进行检测和处理。异常值判断单元203包括:滑动窗存储单元2031,滑动窗运算单元2032,异常值判定单元2033。
滑动窗存储单元2031读取滑动窗数据块的值传输至滑动窗运算单元2032。
滑动窗的大小可以为7,该滑动窗数据块的值对应7个5分钟数据的平均值。滑动窗中心位置的数据为当前观测的5分钟内数据,并设定当前观测的5分钟数据为第i个数据,然后读取当前观测数据的前面3个5分钟数据和后面3个5分钟数据组成滑动窗数据块。若在滑动窗数据块中,第i个数据前面或者后面不足3个数据时,将位置i前面或者后面的数据全部读取。
滑动窗运算单元2032计算滑动窗数据块的平均值和标准差。平均值1的计算公式为:平均值2的计算公式为: x i , &OverBar; = 1 2 m + 1 &Sigma; j = - m m x i + j ( j &NotEqual; 0 ) , 标准差的计算公式为: &sigma; i = 1 2 m &Sigma; j = - m m ( x i + j - x i &OverBar; ) 2 ( j &NotEqual; 0 ) .
其中,xi为当前检测数据,为整个滑动窗数据块的平均值,为替换负值的平均值,σi为第i个滑动窗数据块的标准差,m可以为3。
异常值判定单元2033当时,判定为异常值。根据当前观测值与滑动窗的平均值的差值,判断是否超过一定倍数的标准差,来确定当前观测值是否为异常。其中,xi为当前检测数据,为替换负值的平均值,n可以为3。
异常值处理单元303通过公式进行异常值的修改,即为通过一个滑动窗的平均值进行修改。
在经过对异常数据的校正之后,由校正数据输出单元40将校正后的数据输出至数据平均单元50。
数据平均单元50包括:数据存储单元501和数据求值单元502。
数据存储单元501读取一小时内所述校正了异常数据的不包含异常标识的气象数据,通过数据求值单元502计算平均值。
数据输出单元60,将所述平均值输出显示。
本发明实施例,通过对采集的气象数据进行填充、修正,提高气象数据的准确度,为气象预报工作带来方便。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种气象数据质量控制处理方法,其特征在于,所述方法包括如下步骤:
接收原始气象数据;
判断所述原始气象数据是否存在异常数据;
当判定所述原始气象数据存在异常数据时,对所述异常数据进行校正处理;
将校正了异常数据的气象数据输出。
2.如权利要求1所述的气象数据质量控制处理方法,其特征在于,所述异常数据包括:缺测值、负值或异常值;
缺测值为数据采集过程中,对应时刻的数据缺失;
负值为所述原始气象数据中小于零的数据;
异常值为不符合气象数据变化规律的数据。
3.如权利要求2所述的气象数据质量控制处理方法,其特征在于,所述判断所述原始气象数据是否存在异常数据具体包括:
按照预设顺序依序判断所述原始气象数据是否为缺测值、负值和异常值,若所述原始气象数据为缺测值,或者负值,或者为异常值,则判定所述原始气象数据为异常数据,其中预设顺序可任意设置。
4.如权利要求3所述的气象数据质量控制处理方法,其特征在于,所述按照预设顺序依序判断所述原始气象数据是否为缺测值、负值和异常值具体包括:
判断预设时间段内的所述原始气象数据是否存在缺测值,若是,则判定所述原始气象数据为异常数据;
当判定预设时间段内的所述原始气象数据不存在缺测值或者对存在缺测值的所述原始气象数据进行处理后,进一步判断所述原始气象数据是否为负值,若是,在判定所述原始气象数据为异常数据;
当判定所述原始气象数据不为负值或者对判定为异常数据的所述原始气象数据进行处理后,进一步判断所述原始气象数据是否为异常值,若是,则判定所述原始气象数据为异常数据,否则,判定所述原始气象数据为非异常数据。
5.如权利要求4所述的气象数据质量控制处理方法,其特征在于,当判定预设时间段内的所述原始气象数据存在缺测值时,所述对所述异常数据进行校正处理具体包括:
统计预设时间段内的气象数据中存在缺测值的气象数据的个数,当存在缺测值的气象数据的个数小于设定值时,所述缺测值前后的两个数据不为缺测值时,通过所述缺测值前后数据的平均值来填充存在缺测值的气象数据,所述缺测值前面或后面为缺测值时,通过预设时间段内的全部数据的平均值来填充存在缺测值的气象数据;
当存在缺测值的气象数据的个数大于或者等于设定值时,对所述缺测值作数据异常标识。
6.如权利要求4所述的气象数据质量控制处理方法,其特征在于,当判定所述原始气象数据为负值时,所述对所述异常数据进行校正处理具体包括:
若为负值的所述原始气象数据的负值在预设的负值范围内,则将所述原始气象数据的负值更新为指定值;
若为负值的所述原始气象数据的负值不在预设的负值范围内,则对所述负值作出数据异常标识。
7.如权利要求4所述的气象数据质量控制处理方法,其特征在于,所述判断所述原始气象数据是否为异常值具体包括:
读取滑动窗数据块的值;
计算所述滑动窗数据块的平均值和标准差σi
根据所述平均值和标准差σi,当时,判定xi为异常值;
其中,滑动窗数据块由xi、前m个和后m个数据组成,平均值的计算公式为:标准差σi的计算公式为:xi为当前检测数据,为整个滑动窗数据块的平均值,m为自然数;n为正整数。
8.如权利要求7所述的气象数据质量控制处理方法,其特征在于,当判定所述原始气象数据为异常值时,所述对所述异常数据进行校正处理具体包括:
通过公式进行异常值的修改;
其中,xi为当前检测数据,平均值的计算公式为: 为整个滑动窗数据库不包含的平均值。
9.如权利要求1所述的气象数据质量控制处理方法,其特征在于,所述将校正了异常数据的气象数据输出的步骤之后,所述方法还包括以下步骤:
读取一小时内所述校正了异常数据的不包含异常标识的气象数据;
计算平均值输出。
10.一种气象数据质量控制处理系统,其特征在于,所述系统包括:
数据接收单元,用于接收原始气象数据;
异常数据判断单元,用于判断所述原始气象数据是否存在异常数据;
异常数据处理单元,用于当判定所述原始气象数据存在异常数据时,对所述异常数据进行校正处理;
校正数据输出单元,用于将校正了异常数据的气象数据输出。
11.如权利要求10所述的气象数据质量控制处理系统,其特征在于,所述异常数据包括:缺测值、负值或异常值;
缺测值为数据采集过程中,对应时刻的数据缺失;
负值为所述原始气象数据中小于零的数据;
异常值为不符合气象数据变化规律的数据。
12.如权利要求11所述的气象数据质量控制处理系统,其特征在于,所述异常数据判断单元包括:
缺测值判断单元,用于判断预设时间段内的所述原始气象数据是否存在缺测值,若是,则判定所述原始气象数据为异常数据;
负值判断单元,用于当判定预设时间段内的所述原始气象数据不存在缺测值或者对存在缺测值的所述原始气象数据进行处理后,进一步判断所述原始气象数据是否为负值,若是,在判定所述原始气象数据为异常数据;
异常值判断单元,用于当判定所述原始气象数据不为负值或者对判定为异常数据的所述原始气象数据进行处理后,进一步判断所述原始气象数据是否为异常值,若是,则判定所述原始气象数据为异常数据,否则,判定所述原始气象数据为非异常数据。
13.如权利要求12所述的气象数据质量控制处理系统,其特征在于,所述异常数据处理单元包括:
缺测值处理单元,用于当判定预设时间段内的所述原始气象数据存在缺测值时,对所述缺测值进行校正;
负值处理单元,用于当判定预设时间段内的所述原始气象数据存在负值时,对所述负值进行校正;
异常值处理单元,用于当判定所述原始气象数据为异常值时,对所述异常值进行校正。
14.如权利要求13所述的气象数据质量控制处理系统,其特征在于,当判定预设时间段内的所述原始气象数据存在缺测值时,所述缺测值处理单元包括:
缺测值统计单元,用于统计存在缺测值的气象数据的个数;
缺测值填充单元,用于当存在缺测值的气象数据的个数小于设定值时,取存在缺测值的气象数据的前后两个位置的气象数据的平均值来填充存在缺测值的气象数据;
缺测值标识单元,用于当存在缺测值的气象数据的个数大于或者等于设定值时,对所述缺测值作出数据异常标识。
15.如权利要求13所述的气象数据质量控制处理系统,其特征在于,当判定所述原始气象数据为负值时,所述负值处理单元包括:
负值更新单元,用于若为负值的所述原始气象数据的负值在预设的负值范围内,则将所述原始气象数据的负值更新为指定值;
负值标识单元,用于若为负值的所述原始气象数据的负值不在预设的负值范围内,则对所述负值作出数据异常标识。
16.如权利要求12所述的气象数据质量控制处理系统,其特征在于,所述异常值判断单元包括:
滑动窗存储单元,用于读取滑动窗数据块的值;
滑动窗运算单元,用于计算所述滑动窗数据块的平均值和标准差σi
异常值判定单元,用于根据所述平均值和标准差σi,当时,判定xi为异常值;
其中,滑动窗数据块由xi、前m个和后m个数据组成,平均值的计算公式为:标准差σi的计算公式为:xi为当前检测数据,为整个滑动窗数据块的平均值,m为自然数;n为正整数。
17.如权利要求16所述的气象数据质量控制处理系统,其特征在于,当判定所述原始气象数据为异常值时,所述异常值处理单元,用于通过公式进行异常值的修改;
其中,其中,xi为当前检测数据,平均值的计算公式为: 为整个滑动窗数据库不包含的平均值。
18.如权利要求10所述的气象数据质量控制处理系统,其特征在于,所述系统还包括:数据平均单元;
所述数据平均单元包括:数据存储单元和数据求值单元;
数据存储单元,用于读取一小时内所述校正了异常数据的不包含异常标识的气象数据;
数据求值单元,用于计算平均值输出。
CN201410504083.8A 2014-09-26 2014-09-26 一种气象数据质量控制处理方法及系统 Expired - Fee Related CN104280791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410504083.8A CN104280791B (zh) 2014-09-26 2014-09-26 一种气象数据质量控制处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410504083.8A CN104280791B (zh) 2014-09-26 2014-09-26 一种气象数据质量控制处理方法及系统

Publications (2)

Publication Number Publication Date
CN104280791A true CN104280791A (zh) 2015-01-14
CN104280791B CN104280791B (zh) 2017-03-22

Family

ID=52255851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410504083.8A Expired - Fee Related CN104280791B (zh) 2014-09-26 2014-09-26 一种气象数据质量控制处理方法及系统

Country Status (1)

Country Link
CN (1) CN104280791B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105119959A (zh) * 2015-07-13 2015-12-02 北京方大天云科技有限公司 一种气象报告系统
CN106155688A (zh) * 2016-07-05 2016-11-23 江苏奥雷光电有限公司 一种适用于光模块生产的具有下限值的线性偏移算法
CN106199768A (zh) * 2016-06-27 2016-12-07 武汉大学 一种分布式智能气象传感器监测系统及其控制方法
CN106446546A (zh) * 2016-09-23 2017-02-22 西安电子科技大学 基于卷积自动编解码算法的气象数据填补方法
CN107273234A (zh) * 2017-05-26 2017-10-20 中国航天系统科学与工程研究院 一种基于eemd的时间序列数据异常值检测和校正方法
CN108614803A (zh) * 2018-04-16 2018-10-02 深圳市赑玄阁科技有限公司 一种气象数据质量控制方法及系统
CN109100468A (zh) * 2018-06-26 2018-12-28 武汉邦拓信息科技有限公司 一种污染源环境自动监测平台的异常数据预警系统及方法
CN110456026A (zh) * 2019-08-13 2019-11-15 北京农业信息技术研究中心 一种土壤墒情监测方法及装置
CN110687619A (zh) * 2019-09-18 2020-01-14 北京农业信息技术研究中心 一种用于农田气象站的气象数据校验方法及系统
CN110908985A (zh) * 2019-11-01 2020-03-24 苏州热工研究院有限公司 一种气象环境自动监测站异常数据智能筛选方法和系统
CN111913948A (zh) * 2020-09-29 2020-11-10 江西省气象信息中心(江西省气象培训中心、江西省农村经济信息中心) 一种收集气象观测数据的处理方法、系统及计算机设备
CN112330197A (zh) * 2020-11-24 2021-02-05 西南技术物理研究所 一种气象水文数据质量控制与评价方法
CN113282576A (zh) * 2021-05-14 2021-08-20 中国气象科学研究院 一种气象数据质量控制方法
CN113866849A (zh) * 2021-09-06 2021-12-31 武汉理工大学 一种智能内河航运气象服务保障系统
CN114529162A (zh) * 2022-01-21 2022-05-24 中国科学院深圳先进技术研究院 一种面向城市决策和评估的多尺度信息目录构建系统
CN116884517A (zh) * 2023-09-06 2023-10-13 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN118018453A (zh) * 2024-04-09 2024-05-10 四川蜀道电气化建设有限公司 一种适用于复杂环境下的铁路通信保障方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568385A (en) * 1994-06-01 1996-10-22 Shelton; William A. Software system for collecting and displaying weather information
JPH09152491A (ja) * 1995-11-30 1997-06-10 Uezaa Niyuuzu:Kk 蜃気楼の発生予測方法並びに予測装置
CN102230976A (zh) * 2011-03-25 2011-11-02 首都师范大学 一种粮食生产风险数据采集方法
CN103439758A (zh) * 2013-02-08 2013-12-11 北京佳讯飞鸿电气股份有限公司 用于雨传感器的数据处理方法
CN103984043A (zh) * 2014-05-20 2014-08-13 宁波绮耘软件有限公司 一种大气成分观测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568385A (en) * 1994-06-01 1996-10-22 Shelton; William A. Software system for collecting and displaying weather information
US5568385B1 (en) * 1994-06-01 1999-07-20 Int Weather Network Software system for collecting and displaying weather information
JPH09152491A (ja) * 1995-11-30 1997-06-10 Uezaa Niyuuzu:Kk 蜃気楼の発生予測方法並びに予測装置
CN102230976A (zh) * 2011-03-25 2011-11-02 首都师范大学 一种粮食生产风险数据采集方法
CN103439758A (zh) * 2013-02-08 2013-12-11 北京佳讯飞鸿电气股份有限公司 用于雨传感器的数据处理方法
CN103984043A (zh) * 2014-05-20 2014-08-13 宁波绮耘软件有限公司 一种大气成分观测系统

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105119959A (zh) * 2015-07-13 2015-12-02 北京方大天云科技有限公司 一种气象报告系统
CN106199768A (zh) * 2016-06-27 2016-12-07 武汉大学 一种分布式智能气象传感器监测系统及其控制方法
CN106199768B (zh) * 2016-06-27 2019-03-19 武汉大学 一种分布式智能气象传感器监测系统及其控制方法
CN106155688A (zh) * 2016-07-05 2016-11-23 江苏奥雷光电有限公司 一种适用于光模块生产的具有下限值的线性偏移算法
CN106446546A (zh) * 2016-09-23 2017-02-22 西安电子科技大学 基于卷积自动编解码算法的气象数据填补方法
CN106446546B (zh) * 2016-09-23 2019-02-22 西安电子科技大学 基于卷积自动编解码算法的气象数据填补方法
CN107273234B (zh) * 2017-05-26 2020-02-14 中国航天系统科学与工程研究院 一种基于eemd的时间序列数据异常值检测和校正方法
CN107273234A (zh) * 2017-05-26 2017-10-20 中国航天系统科学与工程研究院 一种基于eemd的时间序列数据异常值检测和校正方法
CN108614803A (zh) * 2018-04-16 2018-10-02 深圳市赑玄阁科技有限公司 一种气象数据质量控制方法及系统
CN109100468A (zh) * 2018-06-26 2018-12-28 武汉邦拓信息科技有限公司 一种污染源环境自动监测平台的异常数据预警系统及方法
CN110456026A (zh) * 2019-08-13 2019-11-15 北京农业信息技术研究中心 一种土壤墒情监测方法及装置
CN110687619A (zh) * 2019-09-18 2020-01-14 北京农业信息技术研究中心 一种用于农田气象站的气象数据校验方法及系统
CN110908985A (zh) * 2019-11-01 2020-03-24 苏州热工研究院有限公司 一种气象环境自动监测站异常数据智能筛选方法和系统
CN111913948A (zh) * 2020-09-29 2020-11-10 江西省气象信息中心(江西省气象培训中心、江西省农村经济信息中心) 一种收集气象观测数据的处理方法、系统及计算机设备
CN112330197A (zh) * 2020-11-24 2021-02-05 西南技术物理研究所 一种气象水文数据质量控制与评价方法
CN112330197B (zh) * 2020-11-24 2023-06-23 西南技术物理研究所 一种气象水文数据质量控制与评价方法
CN113282576A (zh) * 2021-05-14 2021-08-20 中国气象科学研究院 一种气象数据质量控制方法
CN113282576B (zh) * 2021-05-14 2023-01-20 中国气象科学研究院 一种气象数据质量控制方法
CN113866849A (zh) * 2021-09-06 2021-12-31 武汉理工大学 一种智能内河航运气象服务保障系统
CN114529162A (zh) * 2022-01-21 2022-05-24 中国科学院深圳先进技术研究院 一种面向城市决策和评估的多尺度信息目录构建系统
CN116884517A (zh) * 2023-09-06 2023-10-13 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN116884517B (zh) * 2023-09-06 2023-12-22 合肥金星智控科技股份有限公司 在线检测设备及其显示方法、装置、介质
CN118018453A (zh) * 2024-04-09 2024-05-10 四川蜀道电气化建设有限公司 一种适用于复杂环境下的铁路通信保障方法及系统

Also Published As

Publication number Publication date
CN104280791B (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN104280791A (zh) 一种气象数据质量控制处理方法及系统
Chen et al. Comparison of five stochastic weather generators in simulating daily precipitation and temperature for the Loess Plateau of China.
Meng et al. Estimating CO2 (carbon dioxide) emissions at urban scales by DMSP/OLS (Defense Meteorological Satellite Program's Operational Linescan System) nighttime light imagery: Methodological challenges and a case study for China
Alfieri et al. Evaluation of ensemble streamflow predictions in Europe
Liu et al. Seasonal and regional biases in CMIP5 precipitation simulations
Lewis et al. Evaluation of historical diurnal temperature range trends in CMIP5 models
Thyer et al. Modeling long‐term persistence in hydroclimatic time series using a hidden state Markov Model
Addor et al. Propagation of biases in climate models from the synoptic to the regional scale: Implications for bias adjustment
Cecinati et al. Representing radar rainfall uncertainty with ensembles based on a time-variant geostatistical error modelling approach
CN106772080A (zh) 空间锂离子电池加速退化试验时间等效性建模方法
CN111210093A (zh) 基于大数据的日用水量预测方法
Naccarato et al. Improvements in the detection efficiency model for the Brazilian lightning detection network (BrasilDAT)
CN114254802B (zh) 气候变化驱动下植被覆盖时空变化的预测方法
Wilcox et al. Multiple perspectives on the attribution of the extreme European summer of 2012 to climate change
CN112001650A (zh) 煤矿区生态累积效应评价方法、装置、设备及存储介质
Casanueva et al. Evaluation and projection of daily temperature percentiles from statistical and dynamical downscaling methods
Storto Variational quality control of hydrographic profile data with non-Gaussian errors for global ocean variational data assimilation systems
CN108595814B (zh) 一种基于实测的多年降水数据模拟逐日降水量的方法
CN114881345A (zh) 气候变化下暴雨疾风复合灾害的社会经济暴露度预估方法
Foresti et al. On the spatial distribution of rainfall nowcasting errors due to orographic forcing
Zhu et al. Validation of rainfall erosivity estimators for mainland China
CN112016744B (zh) 一种基于土壤水分的森林火灾预测方法、装置及存储介质
CN111914424A (zh) 一种基于短期测风资料的设计风速取值方法及系统
Su-Ping et al. Quality control and analysis of global gauge-based daily precipitation dataset from 1980 to 2009
CN115455647A (zh) 一种基于随机过程的小卫星寿命评估方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 315042 Zhejiang province Ningbo City Jiangdong District Qixin Road No. 167 Jiangdong Technopreneurship center 6 floor

Applicant after: ZHEJIANG QIYUN SOFT Co.,Ltd.

Address before: 315042 Zhejiang province Ningbo City Jiangdong District Qixin Road No. 167 Jiangdong Technopreneurship center 6 floor

Applicant before: NINGBO QIYUN SOFTWARE CO.,LTD.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: NINGBO QIYUN SOFT CO., LTD. TO: ZHEJIANG QIYUN SOFTWARE CO., LTD.

CB02 Change of applicant information

Address after: The middle road of Zhenhai camel street in Zhenhai District 315000 in Zhejiang province Ningbo City No. 417 (the core area of the town)

Applicant after: NINGBO QIYUN SOFTWARE CO.,LTD.

Address before: The middle road of Zhenhai camel street in Zhenhai District 315000 in Zhejiang province Ningbo City No. 417 (the core area of the town)

Applicant before: NINGBO QIYUN SOFTWARE CO.,LTD.

Address after: The middle road of Zhenhai camel street in Zhenhai District 315000 in Zhejiang province Ningbo City No. 417 (the core area of the town)

Applicant after: NINGBO QIYUN SOFTWARE CO.,LTD.

Address before: 315042 Zhejiang province Ningbo City Jiangdong District Qixin Road No. 167 Jiangdong Technopreneurship center 6 floor

Applicant before: ZHEJIANG QIYUN SOFT Co.,Ltd.

COR Change of bibliographic data
CB02 Change of applicant information

Address after: The middle road of Zhenhai camel street in Zhenhai District 315000 in Zhejiang province Ningbo City No. 417 (the core area of the town)

Applicant after: NINGBO QIYUN SOFTWARE CO.,LTD.

Address before: The middle road of Zhenhai camel street in Zhenhai District 315000 in Zhejiang province Ningbo city Ningbo City, No. 417 (the core area of the town)

Applicant before: NINGBO QIYUN SOFTWARE CO.,LTD.

CB02 Change of applicant information
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 315000 Zhenhai District, Ningbo City, Zhejiang Province, 417 Zhenhai Avenue, Camel Street, Central Section (New Town Core Area)

Patentee after: Qiyun Technology (Zhejiang) Co.,Ltd.

Address before: 315000 Zhenhai District, Ningbo City, Zhejiang Province, 417 Zhenhai Avenue, Camel Street, Central Section (New Town Core Area)

Patentee before: NINGBO QIYUN SOFTWARE CO.,LTD.

CP01 Change in the name or title of a patent holder
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170322

CF01 Termination of patent right due to non-payment of annual fee