CN110083591A - 一种降水现象仪软件质量控制方法及系统 - Google Patents
一种降水现象仪软件质量控制方法及系统 Download PDFInfo
- Publication number
- CN110083591A CN110083591A CN201910344748.6A CN201910344748A CN110083591A CN 110083591 A CN110083591 A CN 110083591A CN 201910344748 A CN201910344748 A CN 201910344748A CN 110083591 A CN110083591 A CN 110083591A
- Authority
- CN
- China
- Prior art keywords
- data
- precipitation
- phenomenon
- quality control
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001556 precipitation Methods 0.000 claims abstract description 145
- 238000003908 quality control method Methods 0.000 claims abstract description 56
- 238000004891 communication Methods 0.000 claims abstract description 35
- 238000012937 correction Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 238000013523 data management Methods 0.000 claims abstract description 7
- 230000002093 peripheral effect Effects 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 206010021703 Indifference Diseases 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 claims description 3
- 230000007115 recruitment Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 22
- 238000007619 statistical method Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 31
- 230000000694 effects Effects 0.000 description 27
- 239000002245 particle Substances 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011981 development test Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种降水现象仪软件质量控制方法。所述方法包括如下步骤:根据9个省市20个可代表南北方降水情况的台站的观测资料建立判别模型;接收原始数据;数据判断;异常数据矫正;将矫正数据输出。本发明还公开了一种降水现象仪软件质量控制系统,所述系统包括:全局控制单元;外设通信单元;数据采集单元;数据管理单元;数据判断单元;模型库;统计分析评估单元;数据输出单元。利用本发明所述的方法和系统可以较客观地反馈各地降水类型,质控后的降水现象仪在一定程度上剔除了误报和错报,在识别准确率上有所提高,降低了人工干预或更正的工作量。
Description
技术领域
本发明属于气象探测及地面气象观测领域,具体涉及一种降水现象仪软件质量控制方法及系统。
背景技术
1)概况:
目前,全国大部分省(区、直辖市)正开展降水天气现象平行观测工作。平行观测一年后,以自动观测结果为正式观测记录。人工观测的天气现象,白天需连续观测,夜间应尽量判断记录。
平行观测期间,人工观测与自动观测的降水现象种类如下:
人工观测:毛毛雨、雨、阵雨、雪、阵雪、雨夹雪、阵性雨夹雪、冰雹等8种。
自动观测:毛毛雨、雨、雪、雨夹雪、冰雹等5种。
局限性:业务观测中对以上降水类型的相关定义主要参考人工观测的定义,对仪器观测(即:自动观测)判识标准未有明确定义,造成降水现象发生时仪器与人工判识有较大差异。
2)降水现象仪
目前台站主要通过降水现象仪对降水现象进行自动观测。该设备主要有4种类型,分别是由华云升达、北京华创维想、江苏无锡所和天津中环天仪四个厂家生产的降水现象仪。
自2017年起,我国已有2400多个台站陆续投入使用上述4钟类型的降水现象仪并实现降水类型自动化观测业务。在降水现象仪平行观测期间,中国气象局组织各省收集人工观测与仪器观测对比观测情况。
通过平行观测期间各台站总结的情况来看,降水现象仪的优点主要在于:降水现象仪是利用雨滴谱测量原理的光学观测设备开展降水现象观测和雨滴图谱观测,能够有效提高降水现象观测自动化程度,具有高时间分辨率的优势,每分钟获取数据,可全天不间断连续记录,弥补了人工观测主观性强、简单化、定性化,夜间不观测、观测频次少、易出现漏记等缺陷,减轻观测人员工作量。大多数情况下,降水现象仪能够正确识别雨现象,识别正确率较高,全面、连续地反映天气现象变化。通过连续的高频次的观测,获取更多有价值的气象信息。
而降水现象仪的局限性在于:(降水现象识别准确性低主要表现在仪器输出降水类型结果与人工观测结果存在差异,因硬件技术和降水类型判识标准不同造成全国各台站的降水现象识别效果良莠不齐)降水现象仪受采样区域局限性易出现漏报、受仪器精度和算法影响出现误报、无法记录两种同时出现的降水现象等缺陷,导致自动降水记录不连续,无法真实完整地反映整个降水过程。此降水现象仪在考核期间,尤其存在对雨夹雪、毛毛雨的识别准确率有待提高的问题,特别是对冰雹的观测,还需大量观测样本进行算法的改进,以提高仪器的识别准确率。
3)雨滴谱仪
针对上述情况,国内外学者组织各方开展雨滴谱仪观测性能的研究试验,从试验结果可知雨滴谱仪总体观测情况较好,但获取的基础谱数据不同区间的观测值仍存在偏高或偏低现象,且对比各地区基础谱数据的分布得到不同降水类型的不同拟合曲线。
发明内容
本发明旨在至少解决现有技术中存在的问题之一。
本发明是针对现有技术中降水现象仪可能存在的漏报现象,拟增加多要素综合质控方法,以修正采样样本;针对降水现象仪可能存在的误报现象,拟增加识别算法及判别模型,增加相关气象要素的综合判识,提高设备的识别准确性。
我国目前共部署了2400多台降水现象仪,因各地发生天气现象过程时气象要素存在差异性,为突出综合质控方法的代表性和个性化,首先,结合台站安装设备的型号和维护情况,选择了黑龙江、辽宁、北京、河北、山东、安徽、贵州、云南和海南九个省市的台站数据开展统计分析、算法建模和算法模型验证工作,主要涵盖我国广义上的南北方,以保证降水现象仪自动化改进综合质控方法具有代表性,分区域、分地域、分省市,使质控后的数据更能反映一个气候区域的特性。
降水现象仪自动化改进综合质控方法资料来源为九个省市20个台站的观测资料,采用的主要参与质控的气象要素为湿度、温度、能见度和风速。针对不同的天气现象,按照不同地理位置划分,算法采用了不同质控阈值,以满足台站个性化算法识别的需求,使质控后的数据准确性大幅度提升。
降水现象仪自动化改进综合质控方法结合台站人工记录、台站降水现象仪数据和其他气象要素,根据不同天气现象建立不同判别模型。本次建模工作涉及数据资料包括:台站工作人员天气现象记录文件即A文件;常规气象要素分钟文件即J文件;降水现象仪通信文件(包括降水类型READDATA文件和雨滴谱READMDATA文件);能见度分钟数据文件。
结合多个站台统计结果来看:
当台站发生毛毛雨天气现象时,各质控气象要素较无降水现象时相比表现为:湿度偏大、能见度偏低等特点;降水粒子特性较雨(阵雨)粒子相比表现为:雨滴粒子直径较小、雨滴粒子下落末速度较慢;
当台站发生雨(或阵雨)天气现象时,各质控气象要素较无降水现象时相比表现为:湿度偏大、能见度偏低等特点(与毛毛雨类似)。不同之处在于,雨(阵雨)具有较强的地域特性,需要根据具体台站的历史资料和气候特性对各质控要素选取不同阈值。从统计台站数据可知,当人工记录台站发生雨现象时,气温统计值均在-5℃、-2℃以上的统计值占总数的90%以上;湿度偏大,统计平均值为98%,所有统计值均超过80%;能见度多数集中在10km以下,约为统计值的75%,当能见度为20km时,约有90%的数据满足要求。此外,从仪器记录可知,当仪器记录到雨现象时,观测场内的能见度和相对湿度观测值均在10km以内和80%以上。
当台站发生雪或阵雪天气现象时,各质控气象要素较无降水现象时相比表现为:能见度和温度均偏低的特点。常规气象要素中温度和湿度变化更明显,降雪现象具有较强的地域特性,南北方在下雪时,常规气象要素表现出较大的差异性。当台站工作人员观测到降雪过程时,气温较低均在2℃以下;湿度跨度大于雨现象,在60%~98%之间,其中大于80%约占总样本数的75%以上;能见度变化情况与湿度类似,统计值较为分撒且跨度也大于雨现象,约有90%的样本在20km以内,仅有40%的样本在5km以内;降雪过程中,风速也有一定统计特性,风速集中在6m/s~1m/s之间,其中大于2m/s的统计样本占总数额的80%以上。此外,从仪器观测情况可知,当仪器输入雪类型时,空气的相对湿度集中在81%~88%之间,与统计结果类似。
雨夹雪产生的条件比较特殊,温度在接近零度附近会出现下降上升的反复过程。并且雨夹雪现象一般出现在降水中段,当台站发生雨夹雪现象时,湿度已经明显较大。雨夹雪现象同样具有地域特性,南北方在发生雨夹雪时其常规气象要素表现出较大的差异性。人工记录台站发生雨夹雪现象时,气温不同于雨和雪现象,主要集中在0℃附近,个别采样点的气温观测值在-2℃附近;湿度与雪现象分布类似,均在75%以上,大于80%的样本点约占总数的80%以上,而90%以上的样本点占总数的仅在总数40%;能见度不同于雨和雪类型的分布,总体较为集中,均在7km以下,5km以下的样本点约占总样本点数的60%以上;同雪类型分布情况,当发生雨夹雪现象时,风速多集中在7m/s~1m/s,大于2m/s的样本数占总样本数的90%以上。此外,当降水现象仪输出雨夹雪现象时,空气温度主要集中在1℃~5.3℃之间。
冰雹通常发生在降水开始前一段时间和降水过程中,特别是出现强对流天气、且风速有明显的变化的降水过程。我国大部分地区冰雹多发生在春夏之交和夏季(高原地区除外),且降水颗粒数量呈不稳定态势变化。当台站发生冰雹天气现象时,湿度、风速和能见度的相关性最大。我国冰雹现象较少发生,且每次过程都略有差异,且受局地环境影响较大。南北方观测到冰雹现象时,常规气象要素的变化和阈值略有差异。当人工记录为冰雹时,湿度、能见度和风速的统计特性最为明显。湿度较为集中,在90%~75%,80±5%样本数量最多,约占总数量的75%;能见度同雨夹雪现象类型,均在10km以下,能见度小于5km的样本数约为总样本数的80%;同理,本次统计样本中风速在9m/s~1m/s之间,其中大于2m/s的样本数约占总样本数的90%以上。
无降水现象的质量控制主要针对南方雾天和北方沙尘天气对降水现象仪产生影响造成的误报。当台站未发生降水现象时,利用风速、湿度和能见度进行质控可较好的剔除雾、沙尘等天气引起的降水现象仪的误报。统计样本数据可知,当湿度小于70%(占总统计样本数的70%)时,无降水现象发生的情况较多;风速小于3m/s(占总统计样本数的75%)时,无降水现象发生的情况较多;能见度大于10km占总统计样本数的75%以上)时,无降水现象发生的情况较多。
综上,本发明提供一种降水现象仪软件质量控制方法,所述方法包括如下步骤:
S1:建立判别模型:根据9个省市20个广义上可代表南北方降水情况的台站的观测资料,选择一段时间统计台站人工记录、台站降水现象仪数据和其他气象要素数据,建立判别模型,判别模型的质控阈值为:
其中:毛毛雨不区分南北方地域差异性;
其中:当温度、湿度和能见度均满足①,且风速>1m/s时为南方地区发生雨现象;当温度、湿度和能见度均满足②时为北方地区发生雨(阵雨)现象;当温度和能见度均满足①,且湿度满足③时为南方地区发生阵雨现象;
其中:当温度、湿度和能见度均满足①,且风速>2.5m/s时为南方地区发生雪(阵雪)现象;当温度、湿度和能见度均满足②时为北方地区发生雪(阵雪)现象;
其中:当温度、湿度和能见度均满足①,且风速>2.5m/s时为南方地区发生雨夹雪(阵型雨夹雪)现象;当温度、湿度和能见度均满足②时为北方地区发生雨夹雪(阵型雨夹雪)现象;
其中:当风速、湿度和能见度均满足①时为南方地区发生冰雹现象;当风速、湿度和能见度均满足②,且温度>7℃时为北方地区发生冰雹现象;
其中:当湿度和能见度均满足①,且风速<1m/s时为南方地区发生无降水现象;当湿度和能见度均满足②为北方地区发生无降水现象;
S2:接收原始数据:对台站降水现象仪自动检测采集的数据进行读取;
S3:数据判断:将台站自动检测采集的数据与人工观察数据进行对比,两者间存在差异即为异常数据;两者间无差异则直接数据输出;
S4:异常数据矫正:将异常数据带入判别模型进行分析得出矫正数据,并与人工观察数据进行对比,计算识别准确率和矫正提高率;
S5:将矫正数据输出。
进一步地说,步骤S1中所述9个省市分别为黑龙江、辽宁、北京、河北、山东、安徽、贵州、云南和海南;所述观测资料为台站工作人员天气现象记录文件、常规气象要素分钟文件、降水现象仪通信文件和能见度分钟数据文件,其中:降水现象仪通信文件包括降水类型READDATA文件和雨滴谱READMDATA文件。
进一步地说,步骤S4中所述识别准确率的计算公式为:
P=(仪器正确记录降水类型分钟数/人工正确记录降水类型分钟数)×100%
所述矫正提高率的计算公式为:
ΔP=P1-P0
其中:P1为矫正后的识别准确率,P0为矫正前的识别准确率。
另外,本发明还提供一种降水现象仪软件质量控制系统,所述系统应用上述降水现象仪软件质量控制方法,所述系统包括:
全局控制单元,负责各个单元组件的动态加载及组件之间的通信及数据交换,在系统初始化时加载必要的组件化运行时环境,并完成各个单元初始化;
外设通信单元,提供对于Modbus数据总线的支持,外设通信单元与特定站台气象传感器、通讯设备终端等的通信均遵循Modbus通讯协议,实现与外部设备通信的统一管理;
数据采集单元,通过传感器通信模块向各个气象传感器发送逻辑指令和接收来自传感器通信模块的传感器数据,所述的逻辑命令与实际传感器类型具有无关性;
数据管理单元,从数据采集单元获取数据,对文件系统或数据库进行观测数据存储和获取,为其它单元提供观测数据,实现了对于观测数据的统一管理;
数据判断单元,提取数据管理单元中的数据采集数据与文件系统或数据库中的人工记录数据进行对比,区分异常值与正常值,提取异常值储存,提取正常值输出;
模型库,存储判别模型;
统计分析评估单元,提取数据判断单元中的异常值带入模型库中分析矫正并进行矫正后的效果评估;
数据输出单元,包括数据可视化单元与数据导出单元,负责最终正常值数据输出。
与现有公开的技术方案相比,本发明具有的优势为:
利用本发明所述的方法和系统可以较客观地反馈各地降水类型,质控后的降水现象仪在一定程度上剔除了误报和错报,在识别准确率上有所提高,降低了人工干预或更正的工作量,具体为:
1.毛毛雨类型提升效果较好,质控后识别率在80%以上;
2.雨类型和雪类型提升效果相当,质控前后识别率均较好;
3.雨夹雪类型识别率较低,但提升效果最好,平均提升率为16%左右,提升空间较大;
4.冰雹类型提升效果一般,质控前后识别率均较好;
5.无降水现象可较好地验证模型的可靠性,数据量大,相对而言提升效果较好,可满足台站观测业务。
附图说明
图1为本发明的方法流程图;
图2为本发明的系统示意图;
图3为本发明的毛毛雨的质控算法流程图;
图4为本发明的雨(阵雨)的质控算法流程图;
图5为本发明的雪(阵雪)的质控算法流程图;
图6为本发明的雨夹雪的质控算法流程图;
图7为本发明的冰雹的质控算法流程图;
图8为本发明的无降水现象的质控算法流程图;
图9为本发明的一个实施例的降水类型识别准确率统计分布情况图;
图10为本发明的一个实施例的降水类型质控算法改进提升率统计分布情况图;
图11为本发明的一个实施例的地区降水类型识别准确率统计分布情况图;
其中,每个省份上半部分表示质控后识别准确率,每个省份下半部分表示质控前识别准确率;
图12为本发明的一个实施例的地区降水类型识别提升率统计分布情况图。
具体实施方式
下文将结合具体实施例详细描述本发明方法的具体实施方式及效果。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。
如图1所示,本发明提供一种降水现象仪软件质量控制方法,所述方法包括如下步骤:
S1:建立判别模型:根据9个省市20个广义上可代表南北方降水情况的台站的观测资料,选择一段时间统计台站人工记录、台站降水现象仪数据和其他气象要素数据,建立判别模型,判别模型的质控阈值为:
其中:
毛毛雨不区分南北方地域差异性,其质控算法流程图如图3所示;
其中:当温度、湿度和能见度均满足①,且风速>1m/s时为南方地区发生雨现象;当温度、湿度和能见度均满足②时为北方地区发生雨(阵雨)现象;当温度和能见度均满足①,且湿度满足③时为南方地区发生阵雨现象;其质控算法流程图如图4所示。
其中:当温度、湿度和能见度均满足①,且风速>2.5m/s时为南方地区发生雪(阵雪)现象;当温度、湿度和能见度均满足②时为北方地区发生雪(阵雪)现象;其质控算法流程图如图5所示。
其中:当温度、湿度和能见度均满足①,且风速>2.5m/s时为南方地区发生雨夹雪(阵型雨夹雪)现象;当温度、湿度和能见度均满足②时为北方地区发生雨夹雪(阵型雨夹雪)现象;其质控算法流程图如图6所示。
其中:当风速、湿度和能见度均满足①时为南方地区发生冰雹现象;当风速、湿度和能见度均满足②,且温度>7℃时为北方地区发生冰雹现象;其质控算法流程图如图7所示。
其中:当湿度和能见度均满足①,且风速<1m/s时为南方地区发生无降水现象;当湿度和能见度均满足②为北方地区发生无降水现象;其质控算法流程图如图8所示。
S2:接收原始数据:对台站降水现象仪自动检测采集的数据进行读取。
S3:数据判断:将台站自动检测采集的数据与人工观察数据进行对比,两者间存在差异即为异常数据;两者间无差异则直接数据输出。
S4:异常数据矫正:将异常数据带入判别模型进行分析得出矫正数据,并与人工观察数据进行对比,计算识别准确率和矫正提高率。
S5:将矫正数据输出。
进一步地说,步骤S1中所述9个省市分别为黑龙江、辽宁、北京、河北、山东、安徽、贵州、云南和海南;所述观测资料为台站工作人员天气现象记录文件、常规气象要素分钟文件、降水现象仪通信文件和能见度分钟数据文件,其中:降水现象仪通信文件包括降水类型READDATA文件和雨滴谱READMDATA文件。
进一步地说,步骤S4中所述识别准确率的计算公式为:
P=(仪器正确记录降水类型分钟数/人工正确记录降水类型分钟数)×100%
所述矫正提高率的计算公式为:
ΔP=P1-P0
其中:P1为矫正后的识别准确率,P0为矫正前的识别准确率。
另外,如图2所示,本发明还提供一种降水现象仪软件质量控制系统,所述系统应用上述降水现象仪软件质量控制方法,所述系统包括:
全局控制单元,负责各个单元组件的动态加载及组件之间的通信及数据交换,在系统初始化时加载必要的组件化运行时环境,并完成各个单元初始化。
外设通信单元,提供对于Modbus数据总线的支持,外设通信单元与特定站台气象传感器、通讯设备终端等的通信均遵循Modbus通讯协议,实现与外部设备通信的统一管理。
数据采集单元,通过传感器通信模块向各个气象传感器发送逻辑指令和接收来自传感器通信模块的传感器数据,所述的逻辑命令与实际传感器类型具有无关性。
数据管理单元,从数据采集单元获取数据,对文件系统或数据库进行观测数据存储和获取,为其它单元提供观测数据,实现了对于观测数据的统一管理。
数据判断单元,提取数据管理单元中的数据采集数据与文件系统或数据库中的人工记录数据进行对比,区分异常值与正常值,提取异常值储存,提取正常值输出。
模型库,存储判别模型。
统计分析评估单元,提取数据判断单元中的异常值带入模型库中分析矫正并进行矫正后的效果评估。
数据输出单元,包括数据可视化单元与数据导出单元,负责最终正常值数据输出。
以下结合具体实施例对本发明进行详细说明。
实施例1
随机抽选3~5个台站,分属辽宁、山东、安徽、云南和海南五个省份,分别对5种降水现象及非降水现象进行质控算法输入验证,并统计质控降水类型与人工记录结果一致率,随后与未质控仪器降水类型与人工降水类型结果一致率进行对比分析,检验算法改善效果。
考虑到目前台站设备的部署情况,对完成改进的部分主要依靠人工观测对比记录的方法进行验证。在人工观测验证中,使用历史数据分别从识别准确率、改进提高率两方面对分钟数据进行一一对比。其中,识别准确率定义为人工记录正确记录到降水类型分钟数与仪器记录到降水类型分钟数的一致情况,计算公式如下:
P=(仪器正确记录降水类型分钟数/人工正确记录降水类型分钟数)×100%
改进提高率定义为算法改进前后降水现象仪识别正确率的差值,计算公式如下:
ΔP=P1-P0
其中:P1为矫正后的识别准确率,P0为矫正前的识别准确率。
5个台站验证周期为1年,时间为2017年5月~2018年6月,将人工记录文件、常规六要素分钟数据文件、能见度分钟数据文件和降水现象仪降水类型分钟数据文件全部导入算法中开展验证。结果如图9~图10所示
如图9所示,从降水类型识别准确率可知,雨夹雪识别准确率最低,在使用算法质控前识别准确率不足50%,使用算法质控后识别准确率约为57%;此外,从降水相态来看,固态降水识别准确率普遍低于液态降水,且所有类型降水现象在使用算法后,其识别准确率均有所提高。毛毛雨和雨夹雪的质控后降水类型识别准确率提高较为明显。
如图10所示,从降水类型质控算法提升率情况可知,毛毛雨和雨夹雪类型的提升效果最为明显,在15%左右,其次为雨和冰雹,最差的为雪和无降水现象。从质控前各降水类型的识别效果可知,雪和雨夹雪识别效果最差而无降水的识别效果最好,故在算法提升上造成各降水类型存在明显差异,特别是无降水现象,可提升空间较小。此外,本次算法较好地提升了毛毛雨和雨夹雪现象,对雪现象需进行多样本化,进行进一步提升。
如图11~图12所示,从地域来看,在使用算法质控前分析省份识别准确率均超过60%,云南和安徽省识别效果最差,分布为72%和65%,海南省识别效果最好为89%;通过算法质控后,分析省份识别准确率均在75%以上,识别效果最优的省份依旧为海南省为92%。从地区降水类型识别提升效果来看,提升效果最好的为辽宁省和安徽省均在10%以上,其次为云南地区约为7%,提升效果最差的为海南省为3%。这和该省算法质控前的识别准确率和该省降水类型有关,海南省地处热带,终年已雨类型为主,而辽宁省和安徽省地处我国北端和中部,降水类型复杂多样,故识别准确率较海南差距较大。
具体的抽选台站降水现象与非降水现象质控效果对比,如表1所示。
表1抽选台站降水现象与非降水现象质控效果对比
由表1可知,台站1、2和4均观测到毛毛雨、雨、雨夹雪、冰雹和无降水现象,台站5观测到的降水类型最少,人工记录中仅有雨和阵雨现象,台站3未观测到雪和冰雹现象。从统计结果可以看出,质控后仪器输出降水类型的准确率大部分高于质控前,但各台站对不同降水类型识别准确率的提升效果有所不同,改进提高率最大为24%。从降水类型来看,毛毛雨和雨夹雪质控后识别准确率提升效果最为明显,但与人工观测一致率仍较低,这可能和人工记录的方法与仪器记录方法存在差异有关。此外,雨夹雪和毛毛雨天气现象形成条件较为复杂,统计样本较少,通过常规六要素对其进行质控的效果不是很明显;除台站4以外,仪器对雨和雪类型在质控前和质控后的识别准确率均较高,台站4识别准确率较低的原因主要与当地气候有关,当地发生雪的样本较少,且发生时多数识别为雨夹雪和雨。冰雹的统计样本最少,从仪器识别表现来看,仪器能够正确识别大部分冰雹过程,增加质控后识别准确率有所增加,但效果不明显,原因是每个冰雹过程的发生特性都略有差异。无降水现象虽提升,可效果并不明显,但总体识别效果最好,主要和样本统计量多少有关。
本文虽然已经给出了本发明的一些较优实施例,但是本领域的技术人员应当理解,在不脱离本发明精神的情况下,可以对本文的实施例进行改变。上述实施例只是示例性的,不应以本文的实施例作为本发明权利范围的限定。
Claims (4)
1.一种降水现象仪软件质量控制方法,其特征在于,包括如下步骤:
S1:建立判别模型:根据9个省市20个可代表南北方降水情况的台站的观测资料,选择一段时间统计台站人工记录、台站降水现象仪数据和其他气象要素数据,建立判别模型,判别模型的质控阈值为:
其中:毛毛雨不区分南北方地域差异性;
其中:当温度、湿度和能见度均满足①,且风速>1m/s时为南方地区发生雨现象;当温度、湿度和能见度均满足②时为北方地区发生雨(阵雨)现象;当温度和能见度均满足①,且湿度满足③时为南方地区发生阵雨现象;
其中:当温度、湿度和能见度均满足①,且风速>2.5m/s时为南方地区发生雪(阵雪)现象;当温度、湿度和能见度均满足②时为北方地区发生雪(阵雪)现象;
其中:当温度、湿度和能见度均满足①,且风速>2.5m/s时为南方地区发生雨夹雪(阵型雨夹雪)现象;当温度、湿度和能见度均满足②时为北方地区发生雨夹雪(阵型雨夹雪)现象;
其中:当风速、湿度和能见度均满足①时为南方地区发生冰雹现象;当风速、湿度和能见度均满足②,且温度>7℃时为北方地区发生冰雹现象;
其中:当湿度和能见度均满足①,且风速<1m/s时为南方地区发生无降水现象;当湿度和能见度均满足②为北方地区发生无降水现象;
S2:接收原始数据:对台站降水现象仪自动检测采集的数据进行读取;
S3:数据判断:将台站自动检测采集的数据与人工观察数据进行对比,两者间存在差异即为异常数据;两者间无差异则直接数据输出;
S4:异常数据矫正:将异常数据带入判别模型进行分析得出矫正数据,并与人工观察数据进行对比,计算识别准确率和矫正提高率;
S5:将矫正数据输出。
2.如权利要求1所述的一种降水现象仪软件质量控制方法,其特征在于,步骤S1中所述9个省市分别为黑龙江、辽宁、北京、河北、山东、安徽、贵州、云南和海南;所述观测资料为台站工作人员天气现象记录文件、常规气象要素分钟文件、降水现象仪通信文件和能见度分钟数据文件,其中:降水现象仪通信文件包括降水类型READDATA文件和雨滴谱READMDATA文件。
3.如权利要求1所述的一种降水现象仪软件质量控制方法,其特征在于,步骤S4中所述识别准确率的计算公式为:
P=(仪器正确记录降水类型分钟数/人工正确记录降水类型分钟数)×100%
所述矫正提高率的计算公式为:
ΔP=P1-P0
其中:P1为矫正后的识别准确率,P0为矫正前的识别准确率。
4.一种降水现象仪软件质量控制系统,其特征在于,应用权利要求1至3任一项所述的降水现象仪软件质量控制方法,所述降水现象仪软件质量控制系统包括:
全局控制单元,负责各个单元组件的动态加载及组件之间的通信及数据交换,在系统初始化时加载必要的组件化运行时环境,并完成各个单元初始化;
外设通信单元,提供对于Modbus数据总线的支持,外设通信单元与特定站台气象传感器、通讯设备终端等的通信均遵循Modbus通讯协议,实现与外部设备通信的统一管理;
数据采集单元,通过传感器通信模块向各个气象传感器发送逻辑指令和接收来自传感器通信模块的传感器数据,所述的逻辑命令与实际传感器类型具有无关性;
数据管理单元,从数据采集单元获取数据,对文件系统或数据库进行观测数据存储和获取,为其它单元提供观测数据,实现了对于观测数据的统一管理;
数据判断单元,提取数据管理单元中的数据采集数据与文件系统或数据库中的人工记录数据进行对比,区分异常值与正常值,提取异常值储存,提取正常值输出;
模型库,存储判别模型;
统计分析评估单元,提取数据判断单元中的异常值带入模型库中分析矫正并进行矫正后的效果评估;
数据输出单元,包括数据可视化单元与数据导出单元,负责最终正常值数据输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910344748.6A CN110083591A (zh) | 2019-04-26 | 2019-04-26 | 一种降水现象仪软件质量控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910344748.6A CN110083591A (zh) | 2019-04-26 | 2019-04-26 | 一种降水现象仪软件质量控制方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110083591A true CN110083591A (zh) | 2019-08-02 |
Family
ID=67416999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910344748.6A Pending CN110083591A (zh) | 2019-04-26 | 2019-04-26 | 一种降水现象仪软件质量控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110083591A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2726913A1 (en) * | 2011-06-30 | 2014-05-07 | Universita' degli Studi di Genova | Device for checking the calibration of catching instruments measuring rainfall intensity |
CN106650239A (zh) * | 2016-11-17 | 2017-05-10 | 清华大学 | 基于气候区的台站降水观测误差修订方法及系统 |
CN106950614A (zh) * | 2017-02-28 | 2017-07-14 | 中船重工鹏力(南京)大气海洋信息系统有限公司 | 一种区域自动气象站小时雨量数据质量控制方法 |
CN109283600A (zh) * | 2018-10-10 | 2019-01-29 | 中国气象局气象探测中心 | 一种能见度自动观测与人工观测数据比对评估方法及系统 |
-
2019
- 2019-04-26 CN CN201910344748.6A patent/CN110083591A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2726913A1 (en) * | 2011-06-30 | 2014-05-07 | Universita' degli Studi di Genova | Device for checking the calibration of catching instruments measuring rainfall intensity |
CN106650239A (zh) * | 2016-11-17 | 2017-05-10 | 清华大学 | 基于气候区的台站降水观测误差修订方法及系统 |
CN106950614A (zh) * | 2017-02-28 | 2017-07-14 | 中船重工鹏力(南京)大气海洋信息系统有限公司 | 一种区域自动气象站小时雨量数据质量控制方法 |
CN109283600A (zh) * | 2018-10-10 | 2019-01-29 | 中国气象局气象探测中心 | 一种能见度自动观测与人工观测数据比对评估方法及系统 |
Non-Patent Citations (2)
Title |
---|
任芝花等: "自动与人工观测霾日、雾日序列连续性分析", 《高原气象》 * |
杨宁等: "雨滴谱式降水现象仪降水类型判定算法优化探究", 《气象科技进展》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113033957B (zh) | 一种多模式降水预报及实时动态检验评估系统 | |
CN109740195B (zh) | 一种基于气象站观测数据的极值台风风速概率分布模型及设计台风风速的评估方法 | |
CN113032454A (zh) | 基于云计算的交互式用户用电异常监测预警管理云平台 | |
CN108008252B (zh) | 一种输电线路故障类型诊断方法和装置 | |
CN103631681A (zh) | 一种在线修复风电场异常数据的方法 | |
CN109255100A (zh) | 一种基于微波衰减特征响应指纹识别的城市降雨反演算法 | |
CN109407177B (zh) | 基于机器学习与常规气象观测的大雾识别系统和应用方法 | |
US20130148100A1 (en) | Method of Localizing Objects Temporarily Shadowing a PV System | |
CN113282576B (zh) | 一种气象数据质量控制方法 | |
CN112598539B (zh) | 一种风力发电机组风功率曲线优化计算及异常值检测方法 | |
CN117390378B (zh) | 一种双碳平台数据智能管理方法及系统 | |
CN118068448B (zh) | 一种气象无人机地面测控平台 | |
CN108711266A (zh) | 基于大气电场的雷电短临局地预警方法 | |
CN113176420A (zh) | 一种针对电网杆塔点的风速预报订正系统 | |
CN112418517A (zh) | 一种用于冻害短临预警的预测方法 | |
KR20170025709A (ko) | 황사와 연무 통합 예측 및 검증 방법 및 시스템 | |
Brechtel et al. | Air mass characteristics, aerosol particle number concentrations, and number size distributions at Macquarie Island during the First Aerosol Characterization Experiment (ACE 1) | |
CN113157684B (zh) | 一种水利海量数据的查错方法 | |
KR20160074325A (ko) | 기상변화에 따른 전력수요지수 예측 시스템 및 그 방법 | |
CN111753408B (zh) | 一种顾及天气的gnss大气加权平均温度计算方法 | |
CN110083591A (zh) | 一种降水现象仪软件质量控制方法及系统 | |
CN111815020A (zh) | 一种基于太阳辐射气候特征识别的南墙辐射预测方法 | |
CN116702588A (zh) | 一种基于多源数据的风电场关键气象因子预报方法及系统 | |
CN115421220A (zh) | 一种基于深度学习的多因子局部降水指示方法及系统 | |
CN115733258A (zh) | 一种基于物联网技术的全户内智能变电站系统的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |