CN109165693A - 一种适用于露、霜和结冰的天气现象的自动判识方法 - Google Patents

Abstract

本发明公开一种适用于露、霜和结冰的天气现象的自动判识方法，包括用于负责采集不同数据来源的气象资料的数据采集存储步骤，还包括特征分析步骤，对采集到的数据进行空间特征和时间特征的分析，形成最优特征子集；模型训练步骤，针对所述特征分析步骤中得到的最优特征子集运用多种分类方法进行模型训练，构建出露、霜和结冰的天气现象的多个判识分类器；算法融合步骤，针对所述模型训练步骤中得到的多个判识分类器进行封装，将每个判识分类器的判识结果进行融合，作为最终的判识结果。本发明结合多种分类算法，构建单站多个露、霜和结冰等天气现象判识模型，弥补了单一算法的不足，保证了判识模型在全国的普适性，同时提高了判识的准确性。

Description

一种适用于露、霜和结冰的天气现象的自动判识方法

技术领域

本发明涉及一种天气现象的自动判识方法，更具体的涉及一种适用于露、霜和结冰的天气现象的自动判识方法。

背景技术

露、霜和结冰是日常生活中比较常见的天气现象，对人们的生产、生活有较大的影响。如，露水是干旱半干旱地区的重要水资源和湿度来源，在植物生长、发育过程中扮演着极其重要的角色；秋季早霜和春季晚霜都会对植物(特别是农作物)产生冻害。早霜会对小麦产生危害，晚霜会对果树的嫩芽、幼叶、花和幼果等造成危害，严重时会造成果物大幅度减产，甚至绝收，经济损失巨大，属于主要低温冷冻害之一；冬季的雨雪天气，道路易出现积雪或结冰现象，会对人们的出行和生活造成极大不便。因此，气象部门对露、霜和结冰等天气现象的监测和预报非常重视，及时、全面、连续的监测资料有利于农业气象、道路交通的预报与服务，是开展有效的灾害预防、应急救援等活动的科学依据。

21世纪以来，随着科学技术手段的发展，越来越多的新技术和新方法应用到气象观测领域，使得我国气象观测自动化迅猛推进，气象自动观测站在地面气象观测业务上的普遍使用很大程度上提高了观测准确性和观测效率，节约了大量的人力、物力和财力。但部分天气现象(如露、霜和结冰)仍需人工观测，主观性强、观测频率低、测站分布稀疏、投入及维护成本高等弊端日渐凸显，严重影响观测自动化效益的发挥。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种及时、全面、连续并定量观测的露、霜和结冰的天气现象的自动判识方法。

技术方案：本发明所述一种适用于露、霜和结冰的天气现象的自动判识方法，包括用于负责采集不同数据来源的气象资料的数据采集存储步骤，还包括

特征分析步骤，对采集到的数据进行空间特征和时间特征的分析，并计算露、霜和结冰的天气现象与不同时次的气象要素的相关系数r，选取对露、霜和结冰形成影响较大的气象要素作为特征子集，并对最优特征子集进行降维，形成最优特征子集；

模型训练步骤，针对所述特征分析步骤中得到的最优特征子集运用多种分类方法进行模型训练，构建出露、霜和结冰的天气现象的多个判识分类器；

算法融合步骤，针对所述模型训练步骤中得到的多个判识分类器进行封装，向分类器中输入每日观测的最优特征子集中的气象要素，各分类器根据输入的气象要素对露、霜和结冰的天气现象进行判识，将每个判识分类器的判识结果进行融合，作为最终的判识结果。

本发明技术方案的进一步限定为，所述特征分析步骤中计算露、霜和结冰的天气现象与不同时次的气象要素的相关系数r的方法为：其中，X₁,X₂,…,X_n为气象要素观测序列，Y₁,Y₂,…,Y_n为天气现象观测序列(露、霜和结冰为定性观测，0表示天气现象未出现，1表示天气现象出现)。

进一步地，还包括对气象要素相关系数r进行显著性检验步骤，显著性当t大于等于0.05时，保留该气象要素；否则，剔除该气象要素。

进一步地，所述特征分析步骤中取对露、霜和结冰形成影响较大的气象要素作为特征子集的方法为：

(1)计算出各气象要素的信息增益其中P表示相应变量的概率分布，Y表示露、霜和结冰(0表示未出现，1表示出现)，X表示气象要素；

(2)将每个气象要素的信息增益由大到小排序，选取前10个气象要素作为特征子集{X₁,X₂,…,X₁₀}，其中X₁,X₂,…,X₁₀表示信息增益排名前10的气象要素。

进一步地，所述特征分析步骤中并对最优特征子集进行降维，形成最优特征子集的方法为：

(1)主成分采用公式进行降维，其中Z表示变换后的主成分因子，p＝10，a_ij(i＝1,2,…,p；j＝1,2,…,p)为线性转换系数，X₁,X₂,…,X₁₀表示信息增益排名前10的气象要素；

(2)主成分Z₁,…,Z_m的累计贡献率达到90％时，记{Z₁,…,Z_m}为最优特征子集，其中m<p，λ_i＝Var(Z_i)(i＝1,2,…,p)。

进一步地，所述模型训练步骤具体为：对特征数据集，以随机选取的方式选取80％作为训练数据集，20％作为检验数据集，分别采用贝叶斯判别分类训练法、二分类逻辑回归训练法和卷积神经网络图像识别训练法对数据集进行模型训练，经训练后得到的判识分类器采用检验数据集进行效果评估并与人工观测的露、霜和结冰等天气实况进行对比，模型判识结果与人工观测一致认为正确，保留判识准确率达到85％的判识分类器，对于判识准确率未达到85％的判识分类器，重新执行特征分析步骤中的特征子集选择步骤，直到模型判识准确率收敛为止。

进一步地，所述算法融合步骤中，将每个判识分类器的判识结果进行融合采用投票法或基于判识准确率的加权法。

有益效果：(1)本发明的方法结合多种分类算法，构建单站多个露、霜和结冰等天气现象判识模型，弥补了单一算法的不足，保证了判识模型在全国的普适性，同时提高了判识的准确性。

(2)本发明的方法充分利用了现有的观测仪器和数据，结合多种判识模型，建立基于气象大数据云平台的综合气象观测智能分析判识系统，实现对露、霜和结冰等天气现象自动分析判识，能有效补充并逐步取代相关实况天气现象的人工观测，与现有的电容传感器等判识技术相比，大大地节约了成本。同时，基于露、霜和结冰等天气现象判识方法的智能分析判识系统易于实施，便于在全国的推广应用。

(3)本发明的方法该判识方法能对露、霜和结冰等天气现象进行及时、全面、连续、定量的观测，能够取代现有的人工观测方式，实现露、霜和结冰等天气现象的自动化观测，进一步提高气象预报业务服务能力、有效推动了综合气象观测体系现代化。

附图说明

图1为本发明提供的一种适用于露、霜和结冰等天气现象自动判识方法的流程图；

图2为本发明数据处理流程图；

图3为本发明特征分析的示意图；

图4为本发明基于多种算法的判识模型训练示意图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例1：一种适用于露、霜和结冰的天气现象的自动判识方法，充分考虑了露、霜和结冰等天气现象的形成机理，应用地面气象观测数据，分析全国露、霜和结冰等天气现象的时空分布特征及变化趋势，研究温度、湿度和风速等气象要素对露、霜和结冰等天气现象的影响，选取对露、霜和结冰等天气现象影响程度较大的气象要素，运用多种分类方法构建一套具有较高判识准确率的露、霜和结冰等天气实况的判识模型，形成用以替代人工观测的露、霜和结冰等天气实况判别分析数据产品。

首先构建基于分布式基础构架的气象大数据存储系统，用于存储清洗后的样本数据、模型训练集和实况检验数据集等。同时，在存储系统中创建本系统所需的数据表以存储采集的地面气象站观测数据、雷达数据、卫星数据和图像文件等。本发明提供的一种露、霜和结冰等天气现象自动判识方法的流程图如图1所示，具体实施步骤如下：

1、数据采集存储步骤，用于负责采集不同数据来源的气象资料。

数据采集存储步骤负责采集不同数据来源的气象资料，主要有地面气象站观测资料、雷达资料、卫星资料和图像文件等。按照气象数据的格式规范要求，对不同类型的气象资料进行相应的文件识别、数据解码及格式检查等处理，经过综合处理及整合后写入分布式数据存储服务器或存储集群中。整个功能共有三个模块，具体如下：

多源数据采集模块：提供多源数据采集能力，支持对结构化、非结构化的气象资料的采集。结构化数据一般存于关系型数据库，非结构化数据包括各类气象自动站原始资料报文、雷达数据、卫星数据和图像文件等资料格式。提供通过关系型数据库(如Oracle、SQLSERVER和MYSQL等)、文件库(DBF、Excel、Txt和CVS等)等多种数据来源方式进行数据采集。

资料加工处理模块：对从不同来源采集来的气象资料文件或数据进行格式检查、数据解析等预处理过程，按照数据存储服务子系统的要求，以统一的数据表结构和规范化的标准存入分布式数据库或集群。

数据整合入库模块：经过资料加工处理后的数据，基于气象数据来源、数据服务要求的不同，提供不同的整合入库接口方式(主要入库方式有：HBase Client API、BulkLoad、Sqoop等)供系统调用，以实现数据整合入库的时效性要求，存入集中的分布式数据库或存储集群中，通过统一的数据服务接口供外部业务系统调用和分析处理。以地面资料为例，需实时获取且数据量较小的情况可采用HBase Client API采集入库，需批量导入大数据量的情况下可采用BulkLoad、Sqoop采集入库。其他类型的气象资料可根据资料类型、时效性要求等采用不同的接口进行整合入库。

2、数据处理步骤

如图2所示，对采集的历史气象数据进行质量控制，清洗历史数据中包含的无效值和缺测值，剔除不满足特定条件的数据，检验历史数据的均一性、连续性，对不连续、非均一的数据进行订正，减少异常数据对模型训练的干扰。得到模型训练所需的样本数据集。具体实施步骤如下：

(1)质量控制：综合考虑雨雪等天气对露、霜和结冰等天气现象的影响，对观测数据进行质量控制，剔除对建模有干扰的观测数据。

缺测、错误及异常数据处理：对缺测或错误数据具有识别能力，将标记为错误或者缺测的数据处理为空；基于距离、聚类和偏差检验等方法进行异常值检测，将不利于模型训练的异常值进行过滤处理。

数据筛选：根据选择的要素条件或天气特征对数据进行筛选，过滤出满足特定条件的数据。如某一(或某几个)要素大于(小于或等于)某一值以及具有某一天气特征等数据的筛选，具体如气温低于2℃、某日20时-07时无雨雪天气。

(2)均一性检验：均一性检验采用SNHT(standard normal homogeneity test，标准正态均一性检验)、Pettitt test(佩蒂特检验)和CUSUM(Cumulative Sum，累积和)等方法；

为排除外在条件(如观测业务调整)对观测序列的影响，采用SNHT(standardnormal homogeneity test，标准正态均一性检验)、Pettitt test(佩蒂特检验)和CUSUM(Cumulative Sum，累积和)等方法，对露、霜和结冰年日数序列进行检验，将观测序列波动较大，连续性较差的站点进行标记，并从样本数据集中剔除。

(3)数据订正：针对缺测、错误的数据采用均值替代，不连续、非均一的数据运用参考站数据替换；

缺失、错误数据订正：为保证数据的规整性，对少数缺测或错误数据，通过某种方式来填充缺失的数据点(比如选择数据集的平均值作为缺失点的值)；

不连续数据序列订正：选取与不连续站点距离较近，属于同一气候区，观测资料序列较长的站点，作为该站点的参考站，应用参考站点资料替代不连续站点资料。

(4)衍生数据：衍生数据的生成，包含变温、温差、归一化及标准化等。

对各气象要素间、要素与数间进行加减乘除四则运算，以及各要素之间的相关统计计算产生的数据。如温度的小时变化量，昼夜温差，数据的归一化、标准化等等。

3、特征分析步骤，对采集到的数据进行空间特征和时间特征的分析，并计算露、霜和结冰的天气现象与不同时次的气象要素的相关系数r，选取对露、霜和结冰形成影响较大的气象要素作为特征子集，并对最优特征子集进行降维，形成最优特征子集。

充分考虑露、霜和结冰等天气现象的形成机理，分析全国露、霜和结冰等天气现象的时空分布特征及变化趋势，研究温度、湿度和风速等气象要素对露、霜和结冰天气现象的影响，形成对露、霜和结冰等天气现象形成影响程度较大的天气特征集，选取出一个最好的特征子集。

3.1时空分布特征分析：

采用全国2400个国家级气象站建站以来的露、霜和结冰等天气现象观测资料，探究露、霜和结冰等天气现象时空分布及变化趋势特征；

空间特征是地理现象的最基本特征。露、霜和结冰等天气现象的空间特征表征了地理位置对要素形成的影响。通过历史观测资料计算出露、霜和结冰等天气现象的平均年日数，形成全国的露、霜和结冰等天气现象平均年日数空间分布，探寻地理位置对要素形成的影响。针对露、霜和结冰等天气现象呈现的区域特征，将分布在全国各地的2400个气象站点进行区划，形成气候特征不同的多个片区。就霜而言，根据全国各地霜期的长短，将全国划分为长江中下游以南、四川盆地、云贵高原、江淮流域、华北平原、黄土高原、青藏高原、塔里木盆地、准葛尔盆地、内蒙古中西部、内蒙古东部、大兴安岭、东北平原、小兴安岭和高山站共15个片区。

趋势分析可以收集到不同时间、同一地区的数据，以考察该趋势随时间变化的情况，也可收集到不同地区、同一时间的数据，以比较该趋势在不同地区的差异。采用露、霜和结冰等天气现象的年日数历史观测资料，分析同一地区各要素的时间趋势变化情况，探究造成趋势变化的原因，并就季节呈现的特征，对样本数据进一步进行时间划分。

3.2关联性分析：

利用片区气象站点的样本数据，露、霜和结冰的天气现象与不同时次的气象要素的相关系数r的关系为：其中，X₁,X₂,…,X_n为气象要素(如温度、湿度和风速等)观测序列，Y₁,Y₂,…,Y_n为天气现象观测序列(露、霜和结冰为定性观测，0表示天气现象未出现，1表示天气现象出现)。采用上述计算露、霜和结冰等天气现象与不同时次的温度、湿度和风速等气象要素的相关系数，探究各时次的温度、湿度和风速等气象要素对露、霜和结冰等天气现象形成的影响程度。

另外，对气象要素相关系数r进行显著性检验步骤，显著性当t大于等于0.05时，保留该气象要素；否则，剔除该气象要素。

3.3特征提取：

针对上一步中对露、霜和结冰等天气现象形成有显著性影响的气象要素，利用聚类、因子分析、卡方检验及互信息等方法，提取出对露、霜和结冰等天气现象形成影响程度较大的特征集。

特征提取是从样本数据中提取出可供模型训练用的特征，特征即是指那些可用于模型训练的变量。特征提取包含两个方面，即特征选择和特征降维。特征选择是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤；特征降维是指改变原有的特征空间，并将其映射到一个新的特征空间，在不丢失原有数据的基础上降低数据维度。特征选择主要采用相关系数、卡方检验和互信息等方法，如采用互信息法从气温、气压、湿度、降水及风速等气象要素中选取出对露、霜和结冰形成影响较大的气象要素，所述选取对露、霜和结冰形成影响较大的气象要素作为特征子集的方法为：

(1)计算出各气象要素的信息增益其中P表示相应变量的概率分布，Y表示露、霜和结冰(0表示未出现，1表示出现)，X表示气象要素(如温度、湿度和风速等)；

(2)将每个气象要素的信息增益由大到小排序，选取前10个气象要素作为特征子集{X₁,X₂,…,X₁₀}，其中X₁,X₂,…,X₁₀表示信息增益排名前10的气象要素。

针对上述特征子集，采用聚类、因子分析和主成分分析等方法进行特征降维，如采用主成分分析法对最优特征子集{X₁,X₂,…,X₁₀}进行降维，方法为：

(1)主成分采用公式进行降维，其中Z表示变换后的主成分因子，p＝10，a_ij(i＝1,2,…,p；j＝1,2,…,p)为线性转换系数，X₁,X₂,…,X₁₀表示信息增益排名前10的气象要素；

(2)主成分Z₁,…,Z_m的累计贡献率达到90％时，记{Z₁,…,Z_m}为最优特征子集，其中m<p，λ_i＝Var(Z_i)(i＝1,2,…,p)。

4.模型训练步骤，针对所述特征分析步骤中得到的最优特征子集运用多种分类方法进行模型训练，构建出露、霜和结冰的天气现象的多个判识分类器。

所述模型训练步骤的具体过程如图4所示，具体为：对特征数据集，以随机选取的方式选取80％作为训练数据集，20％作为检验数据集，分别采用贝叶斯判别分类训练法、二分类逻辑回归训练法和卷积神经网络图像识别训练法对数据集进行模型训练，经训练后得到的判识分类器采用检验数据集进行效果评估并与人工观测的露、霜和结冰等天气实况进行对比，模型判识结果与人工观测一致认为正确，保留判识准确率达到85％的判识分类器，对于判识准确率未达到85％的判识分类器，重新执行特征分析步骤中的特征子集选择步骤，直到模型判识准确率收敛为止。

其中贝叶斯判别分类训练法分为以下几步：

(1)计算训练数据集中露、霜、结冰发生的频率作为相应的先验概率p(y_i)(i＝0,1)；

(2)计算各类别下各特征变量的条件概率p(z_i/y_j)(i＝1,…,p；j＝0,1)；

(3)根据贝叶斯定理，对每个类别计算p(Z/y_i)p(y_i)，计算公式如下：

(4)根据p(Z/y_i)p(y_i)的最大项作为Z的分类。

二分类逻辑回归训练法，通过Sigmoid函数(S型生长曲线)将结果映射到0-1空间，设定阈值为0.5，其训练过程如下：

(1)利用训练样本采用随机梯度上升法求得如下公式的最佳回归系数：

x＝w₀+w₁z₁+w₂z₂+…+w_pz_p

(2)将上式的计算的值作为Sigmoid函数的输入值，公式如下：

(3)根据与阈值0.5的大小进行分类，大于0.5的数据被分为1类(即露、霜或结冰天气现象出现)，小于0.5的被归为0类(即露、霜或结冰天气现象不出现)。

卷积神经网络图像识别训练法采用卷积神经网络对高清的露、霜、结冰图像进行训练，训练过程如下：

(1)使用平滑，变换，滤波，分割等图像处理技术对图像进行初步处理，对网络进行权值的初始化；

(2)对每个样本(X,Y_p)，输入数据X经过卷积层、下采样层、全连接层的向前传播得到输出值O_p(即输入值与每层的权值矩阵相点乘，得到最后的输出结果)；

(3)计算网络的输出值O_p与目标值Y_p之间的误差。

(4)当误差大于期望值时，将误差传回网络中，依次求得全连接层，下采样层，卷积层的误差；当误差等于或小于期望值时，结束训练。

5.算法融合步骤：针对所述模型训练步骤中得到的多个判识分类器{D₁,D₂,D₃,…}进行封装，其中D₁,D₂,D₃分别指步骤4中贝叶斯判别法、逻辑回归和图像识别等方法训练得到的分类器，向分类器中输入每日观测的最优特征子集中的气象要素，各分类器根据输入的气象要素对露、霜和结冰的天气现象进行判识，将每个判识分类器的判识结果进行融合，作为最终的判识结果。

所述算法融合步骤中，将每个判识分类器的判识结果进行融合采用投票法或基于判识准确率的加权法。

(1)简单投票法。对多个分类器的判识结果采用少数服从多数的原则判定，如分类器D₁,D₃判识当日有露水，分类器D₂判识当日无露水出现，即三种分类方法中有2个判别有露水出现，1个判别无露水出现，则判定最终结果为当日有露水出现。

(2)基于准确率的加权法。以露为例，其计算步骤如下：

a.将有露水和无露水两个类的权重初始化为0；

b.计算分类器D₁,D₂,D₃的权重值，公式如下：

其中，error(D_i)表示分类器D_i的错误率(i＝1,2,3)，即准确率越高，权重越大。

c.根据输入的观测数据x，计算第i个分类器D_i对露水的判识结果Y＝D_i(x)(i＝1,2,3)；

d.将分类器D_i的权重值w_i加到类Y的权重，最终根据有露水类和无露水类中权重值最大的类作为最终判识结果。如有露水的权重值之和大于无露水的权重值之和，则最终判定为有露水现象。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (7)

1.一种适用于露、霜和结冰的天气现象的自动判识方法，包括用于负责采集不同数据来源的气象资料的数据采集存储步骤，其特征在于，还包括

特征分析步骤，对采集到的数据进行空间特征和时间特征的分析，并计算露、霜和结冰的天气现象与不同时次的气象要素的相关系数r，选取对露、霜和结冰形成影响较大的气象要素作为特征子集，并对最优特征子集进行降维，形成最优特征子集；

模型训练步骤，针对所述特征分析步骤中得到的最优特征子集运用多种分类方法进行模型训练，构建出露、霜和结冰的天气现象的多个判识分类器；

算法融合步骤，针对所述模型训练步骤中得到的多个判识分类器进行封装，向分类器中输入每日观测的最优特征子集中的气象要素，各分类器根据输入的气象要素对露、霜和结冰的天气现象进行判识，将每个判识分类器的判识结果进行融合，作为最终的判识结果。

2.根据权利要求1所述的一种适用于露、霜和结冰的天气现象的自动判识方法，其特征在于，所述特征分析步骤中计算露、霜和结冰的天气现象与不同时次的气象要素的相关系数r的方法为：其中X₁,X₂,…,X_n为气象要素观测序列，Y₁,Y₂,…,Y_n为天气现象观测序列(露、霜和结冰为定性观测，0表示天气现象未出现，1表示天气现象出现)。

3.根据权利要求2所述的一种适用于露、霜和结冰的天气现象的自动判识方法，其特征在于，还包括对气象要素相关系数r进行显著性检验步骤，显著性当t大于等于0.05时，保留该气象要素；否则，剔除该气象要素。

4.根据权利要求1所述的一种适用于露、霜和结冰的天气现象的自动判识方法，其特征在于，所述特征分析步骤中取对露、霜和结冰形成影响较大的气象要素作为特征子集的方法为：

(1)计算出各气象要素的信息增益其中P表示相应变量的概率分布，Y表示露、霜和结冰(0表示未出现，1表示出现)，X表示气象要素；

(2)将每个气象要素的信息增益由大到小排序，选取前10个气象要素作为特征子集{X₁,X₂,…,X₁₀}，其中X₁,X₂,…,X₁₀表示信息增益排名前10的气象要素。

5.根据权利要求4所述的一种适用于露、霜和结冰的天气现象的自动判识方法，其特征在于，所述特征分析步骤中并对最优特征子集进行降维，形成最优特征子集的方法为：

(1)主成分采用公式进行降维，其中Z表示变换后的主成分因子，p＝10，a_ij(i＝1,2,…,p；j＝1,2,…,p)为线性转换系数，X₁,X₂,…,X₁₀表示信息增益排名前10的气象要素；

(2)主成分Z₁,…,Z_m的累计贡献率达到90％时，记{Z₁,…,Z_m}为最优特征子集，其中m<p，λ_i＝Var(Z_i)(i＝1,2,…,p)。

6.根据权利要求1所述的一种适用于露、霜和结冰的天气现象的自动判识方法，其特征在于，所述模型训练步骤具体为：对特征数据集，以随机选取的方式选取80％作为训练数据集，20％作为检验数据集，分别采用贝叶斯判别分类训练法、二分类逻辑回归训练法和卷积神经网络图像识别训练法对数据集进行模型训练，经训练后得到的判识分类器采用检验数据集进行效果评估并与人工观测的露、霜和结冰等天气实况进行对比，模型判识结果与人工观测一致认为正确，保留判识准确率达到85％的判识分类器，对于判识准确率未达到85％的判识分类器，重新执行特征分析步骤中的特征子集选择步骤，直到模型判识准确率收敛为止。

7.根据权利要求1所述的一种适用于露、霜和结冰的天气现象的自动判识方法，其特征在于，所述算法融合步骤中，将每个判识分类器的判识结果进行融合采用投票法或基于判识准确率的加权法。