CN112070103B - 通过微波链路网格化自适应可变尺度反演大气能见度的方法 - Google Patents

Abstract

本发明公开了一种通过微波链路网格化自适应可变尺度反演大气能见度的方法,包括以下步骤：1）在监测区域根据区域大小合理划分大尺度网格，同时建立小尺度网格，每个大尺度网格划分3×3个小尺度网格嵌套，将微波链路和网格进行尺度匹配。2）对于大尺度网格使用随机森林算法判别大气能见度是否为500米进行分类训练，确定大气能见度小于500米的区域网格边界3）在边界内用程序实现小尺度网格自动转换，将获得的大气能见度多源数据融合以及反演计算获得小尺度网格能见度。本发明能够实现网格化自适应可变尺度反演大气能见度，解决了大气能见度反演空间分布不均匀的问题，为系统化监测反演大气能见度提供思路，提供高时空分辨率大气能见度反演方法。

Description

通过微波链路网格化自适应可变尺度反演大气能见度的方法

技术领域

本发明涉及通过微波链路网格化自适应可变尺度反演大气能见度的方法，属于气象监测领域。

背景技术

随着我国经济社会的快速发展，交通运输网络达到前所未有的发达水平，而低能见度对交通运输的造成十分恶劣的影响，大气能见度的反演是认识复杂条件下大气变化特征规律的关键和主要依据，也是能够促进交通安全决策的重要保证。

目前广泛反演测量大气能见度的方法有目测法和仪器测量法，目测法往往带有很大的主观性，有测量者心理因素等众多干扰因素，测量比较粗略，测量结果往往误差大；仪器测量法虽然精度高，但受环境影响很大，需要人员定期维护校正，且分布不均匀，空间分辨率低。且目前广泛存在的反演大气能见度的方法均存在空间分布不均匀，而且时间上白天反演能见度研究发展较完善，在夜晚大气能见度的监测就存在局限性无法形成区域性反演大气能见度的完整体系。而在目前国家交通网络愈发达及完善的情况下，网格化系统化反演大气能见度是十分重要以及必要的。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种通过微波链路网格化自适应可变尺度反演大气能见度的方法，能够实现利用微波链路反演大气能见度变化，使大气能见度变化的分布可视化，以可变尺度的网格呈现，从而实现对大气能见度的反演。

技术方案：为解决上述技术问题，本发明的一种通过微波链路网格化自适应可变尺度反演大气能见度的方法，包括如下的步骤：

(1)，在监测区域根据区域大小合理划分网格，同时建立大尺度网格和小尺度网格，两套网格互相嵌套，每个大尺度网格有3×3个小尺度网格嵌套，将微波链路和网格进行尺度匹配，分别对大尺度网格和小尺度网格进行编码；

(2)，对于大尺度网格使用随机森林算法判别大气能见度是否为500米进行分类训练，选择了与大气能见度最相关且数据易获得的四个特征，有：处理后的距离大尺度网格边最近的微波链路的微波信号衰减数据、站点空气质量数(AQI)、站点记录风速、相对湿度四个特征组成样本的特征向量，对输入输出数据集做数据预处理输入随机森林算法模型进行训练学习；

(3)，确定大气能见度小于500米的区域网格边界，在边界内实现小尺度自动转换，利用数据融合以及反演计算获得小尺度网格能见度，并以监测区域内小尺度网格计算得到的大气能见度数据绘图。

作为优选，所述步骤(2)中，随机森林算法模型进行训练学习具体包含以下步骤：

(21)构建训练样本集{Y_n},{X_n},其中n为已有样本数，X_n＝[X_n ¹,X_n ²,X_n ³,X_n ⁴],X_n为第n个样本为选取的四个特征数据构成的向量，大气能见度标签的标签数据集Y_n＝{y₁，y₂,y₃,y₄……，y_n},X_n为输入样本,Y_n为输出样本将数据集X和标签集Y输入随机森林模型进行训练学习；

(22)获取训练集：从样本集X中的行、特征列两个维度上进行有放回的随机采样，得到训练数据集Xi，i＝1,2,…,n；

(23)对训练集进行学习，学习目标是使得损失函数最小：

其中ω_m为第m棵决策树的权重，G_m(x)为第m棵决策树的分类结果，M为决策树数据集样本个数；

(24)特征选取：根据样本数和特征数，用建立决策树的方法获取最佳分割特征，其中树桩点使用Gini指数进行特征选取，其中Gini指数公式如下：

其中K表示类别数，p_k表示样本点属于第k类的概率，基尼指数Gini(X,A)表示经特征A＝a分割后集合X的不确定性，基尼指数数值越大，样本集合的不确定性也就越大，其中概率p_K用极大似然估计计算：

其中|X|是样本的总数，|Ck|是X中属于第k类的样本子集，

在特征集中选取基尼指数Gini(X,A)最小的特征A生成树桩点，若基尼指数Gini(X,A)足够小，则生成决策树G_m(x)，否则重复特征选取步骤；

(25)对训练集进行学习：根据所生成的树桩点构建决策树G_m(x)并对样本集进行分类，计算该树分类误差e_m，根据分类误差e_m计算该树的权值ω_m；

(26)进一步更新树集f(x)：

f_m+1(x)＝f_m(x)+ω_mG_m(x)

得到新的树集f_m+1(x)后，对数据集X进行分类，计算损失函数值，如损失函数值并未达到指标值,返回随机采样步骤重新学习，直至损失函数最优。

作为优选，所述步骤(21)中，X_n为输入样本,Y_n为输出样本,划分样本集进行训练，80％为训练集，20％为测试集。

作为优选，所述步骤(3)中微波衰减数据反演能见度的包含以下步骤：

(1)，对于微波链路衰减值进行反距离加权插值，每个小网格需要计算其中心点到以所在大网格为中心的3×3网格内所有的微波链路计算距离，以距离为权重计算每个小尺度网格微波衰减数值，则获得的网格中心点值为网格赋值；

(2)，利用MATLAB软件调用最小二乘支持向量机建立反演模型，选取与大气能见度最相关且数据易获得的四个参数作为输入，有：处理后的微波信号衰减数据、站点空气质量数(AQI)、站点记录风速、相对湿度，将其输入看成一个时间序列，反演输入模型可以看做一个非线性函数，以大气能见度作为输出；

(3)，对数据进行预处理,对个别丢失数据进行插补，去除明显离群点的干扰数据；

(4)，采用RBF函数作为该反演模型的核函数，其中参数包括惩罚因子C和核函数宽度σ，C和σ的大小对模型有着至关重要的影响，C用来调节模型复杂度和经验误差之间的平衡，σ影响特征空间中样本数据分布的复杂程度；

(5)，采用网格搜索法和交叉验证法对(C，σ)参数组合性能进行评价从而选取出最优参数组合。

作为优选，所述步骤(5)包含以下步骤：

(1)，初始化(C，σ),选择范围、子集个数、寻优终止条件以及网格搜索步长；

(2)，在所有(C，σ)组合内对样本进行学习,采用交叉验证均方差MSE表示:

其中y_i ^obs是第i个样本的大气能见度实测值，y_i ^pre是第i个样本的大气能见度预测值，n为样本个数；

(3)，对MSE值比较,选取最小的参数组合作为最优参数，对于相同的MSE值选取C小的组合为最优；

(4)，依据步骤不断缩小搜索范围以及搜索步长,重复步骤(2)和(3),直至搜索步长达到设定值,最后的参数组合便是最优结果。

在本发明中，首先在大尺度网格使用随机森林算法判别能见度是否小于500米，随机森林算法有原理简单易于调试、准确度高、不需要担心过学习、训练速度快等优点，在对大尺度信息检索时有迅速、准确判别的优点；而在切换小尺度网格后，使用支持向量机(SVM)反演大气能见度，支持向量机反演时具有反演精确度更高、具有更好的鲁棒性等特点，在对小尺度网格反演时在大尺度网格基础上进一步提升时空反演精确度。

有益效果：本发明的通过微波链路网格化自适应可变尺度反演大气能见度，具有以下优点：

1.本发明可以为分析大气雾、霾等大颗粒物体的运移以及发展提供了有价值的参考资料。

2.本发明反演大气能见度，有助于有关部门更好地监测分析大气能见度，从而为减少大气能见度降低对于交通的有害影响提供资料。

3.本发明提出可变网格化系统反演大气能见度的方法，网格化反演大大提升对于大气能见度反演的精度，而可变网格化则在此基础上实现进一步提升反演空间分辨率，并且较少数据冗余，实现对于大气能见度监测智能化、自动化、精确化。

4.本发明创新式地分别对大小尺度网格使用了随机森林、支持向量机两种不同算法，使用随机森林算法实现对大尺度网格数据较多的基础上迅速识别能见度精确反演范围，并进一步利用支持向量机算法实现更小尺度的精确化反演，提供了一种实现监测智能化的新思路。

附图说明

图1为本发明的方法流程图。

图2为大尺度小尺度网格嵌套示意图。

图3为反演大气能见度分布示意图

具体实施方式

下面结合附图对本发明作更进一步的说明。

在5万平方米的区域内，以至少每个大尺度网格存在一个微波链路收发端为原则布设大尺度网格，大尺度网格的大小取决于有一个含有微波链路个数最少的那个网格，如图2所示，在每个大尺度内嵌套3*3的小尺度网格，用随机森林算法对获得的数据进行快速判别，确定如图3大气能见度小于500米的边界ABCDEF，切换小尺度网格，利用获得的特征数据对每个小尺度网格的大气能见度进行反演，绘制大气能见度小于500米边界内的能见度分布图。

如图1至图3所示，本发明的通过微波链路网格化自适应可变尺度反演大气能见度，包括以下步骤：

在监测区域根据区域大小合理划分网格，同时建立大尺度网格和小尺度网格，两套网格互相嵌套，每个大尺度网格有3×3个小尺度网格嵌套，如图2所示，以每个大尺度网格内至少存在一个微波链路为原则进行匹配，将微波链路和网格进行尺度匹配，将监测区域网格化，分别对大尺度网格和小尺度网格进行编码。其中建立大尺度网格的原则是每个网格都有实体布设的微波链路存在。

对于所建立的大尺度网格使用随机森林算法判别大气能见度是否为500米进行分类训练，选择了与大气能见度最相关且数据易获得的四个特征，有：处理后的距离大尺度网格边最近的微波链路的微波信号衰减数据、站点空气质量数(AQI)、站点记录风速、相对湿度四个特征组成样本的特征向量。

具体包括：

(1)数据预处理：微波特征衰减数据从已有或者设置的收发电平获得，而站点空气质量数(AQI)、站点记录风速、相对湿度选择距离该微波链路收发端最近站点数据，对4个特征数据进行对个别丢失数据进行插补，去除明显超过响应阈值的干扰数据等初步处理，其中微波衰减数据处理进一步包括，获得区域微波链路信号接收端的微波衰减信号强度数据，通过测量微波链路接收端的接收电平,修正由于非雾霾因素造成的微波传输衰减完成对初步处理后的数据进行杂波信号的分离、识别与去除。

(2)构建训练样本集{Y_n},{X_n},其中n为已有样本数，X_n＝[X_n ¹,X_n ²,X_n ³,X_n ⁴],X_n为第n个样本为选取的四个特征数据构成的向量，大气能见度标签的标签数据集Y_n＝{y₁，y₂,y₃,y₄……，y_n},X_n为输入样本,Y_n为输出样本，将数据集X和标签集Y输入随机森林模型进行训练学习。

(3)获取训练集：从样本集X中的行、特征列两个维度上进行有放回的随机采样(booststrap)，得到训练数据集Xi，i＝1,2,…,n。

(4)对训练集进行学习，学习目标是使得损失函数最小：

其中ω_m为第m棵决策树的权重，G_m(x)为第m棵决策树的分类结果，M为决策树数据集样本个数；

(5)特征选取：根据样本数和特征数，用建立决策树的方法获取最佳分割特征，其中树桩点使用Gini指数进行特征选取。其中Gini指数公式如下：

其中K表示类别数，p_k表示样本点属于第k类的概率。基尼指数Gini(X,A)表示经特征A＝a分割后集合X的不确定性。基尼指数数值越大，样本集合的不确定性也就越大。其中概率p_K用极大似然估计计算：

其中|X|是样本的总数，|Ck|是X中属于第k类的样本子集。

在特征集中选取基尼指数Gini(X,A)最小的特征A生成树桩点，若基尼指数Gini(X,A)足够小，则生成决策树G_m(x)，否则重复特征选取步骤。

(6)对训练集进行学习：根据所生成的树桩点构建决策树G_m(x)并对样本集进行分类，计算该树分类误差e_m，根据分类误差e_m计算该树的权值ω_m。

(7)进一步更新树集f(x)：

f_m+1(x)＝f_m(x)+ω_mG_m(x)

得到新的树集f_m+1(x)后，对数据集X进行分类，计算损失函数值，如损失函数值并未达到指标值,返回随机采样步骤重新学习，直至损失函数最优。

为此需构建训练样本集{Y_n},{X_n},其中n为已有样本数，X_n＝[X_n ¹,X_n ²,X_n ³,X_n ⁴],X_n为第n个样本为选取的四个特征数据构成的向量，大气能见度标签的标签数据集Y_n＝{y₁，y₂,y₃,y₄……},X_n为输入样本,Y_n为输出样本,划分样本集进行训练，一般而言，80％为训练集，20％为测试集，后根据上述用到的网格搜索法以及交叉验证法去寻找最优的(C，σ)参数组合,并代入支持向量机进行训练。形成映射关系：

Y_n＝F(X_n),n＝1,2,3...

使得的输入输出逼近式,从而建立大气能见度预测反演模型。

确定大气能见度小于500米的区域网格边界，在边界内用程序实现小尺度自动转换以及利用数据融合以及反演计算获得小尺度网格能见度，每隔一定的时间作图以大气能见度描述大气演变情况，因支持向量机(SVM)考虑结构风险的最小原理，具有精度高，运算快等优点，故选取其反演大气能见度。

小尺度网格能见度反演采用数据融合方法给每个网格赋值，数据包括目测法、仪器测量法以及微波衰减反演大气能见度的数据。大气能见度赋值优先顺序是，仪器测量值>目测法值>微波衰减反演计算值。即在已有站点数据的基础上，若检测到在小尺度网格内存在反演能见度仪器以及目测法同时存在，则优先采用仪器测量值给网格赋值，其次使用目测法，假如网格没有以上两种方法，则采用微波衰减值反演能见度，以此给每个小尺度网格赋值，绘制监测到的能见度小于500米范围内大气能见度分布图。

微波衰减数据反演能见度的具体步骤有：

(1)对于微波链路衰减值进行反距离加权插值，每个小网格需要计算其中心点到以所在大网格为中心的3×3网格内所有的微波链路计算距离，以距离为权重计算每个小尺度网格微波衰减数值，则获得的网格中心点值为网格赋值；

(2)利用MATLAB软件调用最小二乘支持向量机建立反演模型，选取与大气能见度最相关且数据易获得的四个参数，有：处理后的微波信号衰减数据、站点空气质量数(AQI)、站点记录风速、相对湿度，将其输入看成一个时间序列，反演输入模型可以看做一个非线性函数，以大气能见度作为输出；

(3)对数据进行预处理,对个别丢失数据进行插补，去除明显离群点的干扰数据；

(4)采用RBF函数作为该反演模型的核函数。其中参数包括惩罚因子C和核函数宽度σ。C和σ的大小对模型有着至关重要的影响。C用来调节模型复杂度和经验误差之间的平衡。σ影响特征空间中样本数据分布的复杂程度。本发明采用网格搜索法和交叉验证法对(C，σ)参数组合性能进行评价从而选取出最优参数组合。

网格搜索法是将C和σ分别取M、N个值,对M×N个(C，σ)的组合,分别训练不同的模型,估计其学习精度,在这些组合中得到学习精度最高的一个组合作为最优参数。交叉验证是一种用于消除样本随机性产生的训练偏差的统计学方法。它将训练数据分为个K子集,以其中任意一个子集作为测试集,将其他的K-1个子集作为训练集从而得到决策函数。通过不重复循环直至每个子集都作为测试集被预测一次,最后取整体均方误差的平均值作为最终预测误差,从而规避了过拟合问题。因此,本申请在网格搜索法中应用交叉验证对选取的参数组合性能进行评价从而选取出最优参数组合,综合仿真速度和预测模型的准确率,选取一作为子集数。

具体包括：步骤一，初始化(C，σ),选择范围、子集个数、寻优终止条件以及网格搜索步长。

步骤二，在所有(C，σ)组合内对样本进行学习,采用交叉验证均方差MSE表示:

其中y_i ^obs是第i个样本的大气能见度实测值，y_i ^pre是第i个样本的大气能见度预测值。

步骤三，对MSE值比较,选取最小的参数组合作为最优参数。对于相同的MSE值选取C小的组合为最优。

步骤四，依据步骤不断缩小搜索范围以及搜索步长,重复步骤,直至或者搜索步长达到设定值,最后的参数组合便是最优结果。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种通过微波链路网格化自适应可变尺度反演大气能见度的方法，其特征在于，包括如下的步骤：

(1)，在监测区域根据区域大小合理划分网格，同时建立大尺度网格和小尺度网格，两套网格互相嵌套，每个大尺度网格有3×3个小尺度网格嵌套，将微波链路和网格进行尺度匹配，分别对大尺度网格和小尺度网格进行编码；

(2)，对于大尺度网格使用随机森林算法判别大气能见度是否为500米进行分类训练，选择了与大气能见度最相关且数据易获得的四个特征，有：处理后的距离大尺度网格边最近的微波链路的微波信号衰减数据、站点空气质量数、站点记录风速、相对湿度四个特征组成样本的特征向量，对输入输出数据集做数据预处理输入随机森林算法模型进行训练学习；

(3)，确定大气能见度小于500米的区域网格边界，在边界内实现小尺度自动转换，利用数据融合以及反演计算获得小尺度网格能见度，并以监测区域内小尺度网格计算得到的大气能见度数据绘图；

所述步骤(3)中微波衰减数据反演能见度包含以下步骤：

(31)，对于微波链路衰减值进行反距离加权插值，每个小网格需要计算其中心点到以所在大网格为中心的3×3网格内所有的微波链路计算距离，以距离为权重计算每个小尺度网格微波衰减数值，则获得的网格中心点值为网格赋值；

(32)，利用MATLAB软件调用最小二乘支持向量机建立反演模型，选取与大气能见度最相关且数据易获得的四个参数作为输入，有：处理后的微波信号衰减数据、站点空气质量数、站点记录风速、相对湿度，以大气能见度作为输出；

(33)，对数据进行预处理,对个别丢失数据进行插补，去除明显离群点的干扰数据；

(34)，采用RBF函数作为该反演模型的核函数，其中参数包括惩罚因子C和核函数宽度σ，C和σ的大小对模型有着至关重要的影响，C用来调节模型复杂度和经验误差之间的平衡，σ影响特征空间中样本数据分布的复杂程度；

(35)，采用网格搜索法和交叉验证法对(C，σ)参数组合性能进行评价从而选取出最优参数组合。

2.根据权利要求1所述的通过微波链路网格化自适应可变尺度反演大气能见度的方法，其特征在于，所述步骤(2)中，随机森林算法模型进行训练学习具体包含以下步骤：

(21)构建训练样本集{Y_n},{X_n},其中n为已有样本数，X_n＝[X_n ¹,X_n ²,X_n ³,X_n ⁴],X_n为第n个样本选取的四个特征数据构成的向量，大气能见度标签的标签数据集Y_n＝{y₁，y₂,y₃,y₄……，y_n},X_n为输入样本,Y_n为输出样本，其中样本标签分为能见度500米以下和以上两类，将数据集X和标签集Y输入随机森林模型进行训练学习；

(22)获取训练集：从样本集X中的行、特征列两个维度上进行有放回的随机采样，得到训练数据集Xi，i＝1,2,…,n；

(23)对训练集进行学习，学习目标是使得损失函数最小：

其中ω_m为第m棵决策树的权重，G_m(x)为第m棵决策树的分类结果，M为决策树的样本个数；

(24)特征选取：根据样本数和特征数，用建立决策树的方法获取最佳分割特征，其中树桩点使用Gini指数进行特征选取，其中Gini指数公式如下：

其中K表示类别数，p_k表示样本点属于第k类的概率；基尼指数Gini(X,A)表示经特征A＝a分割后集合X的不确定性；基尼指数数值越大，样本集合的不确定性也就越大，其中概率p_K用极大似然估计计算：

其中|X|是样本的总数，|Ck|是X中属于第k类的样本子集；

在特征集中选取基尼指数Gini(X,A)最小的特征A生成树桩点，若基尼系数Gini(X,A)足够小，则生成决策树G_m(x)，否则重复特征选取步骤；

(25)对训练集进行学习：根据所生成的树桩点构建决策树G_m(x)并对样本集进行分类，计算该树分类误差e_m，根据分类误差e_m计算该树的权值ω_m；

(26)进一步更新树集f(x)：

f_m+1(x)＝f_m(x)+ω_mG_m(x)

得到新的树集f_m+1(x)后，对数据集X进行分类，计算损失函数值，如损失函数值并未达到指标值,返回随机采样步骤重新学习，直至损失函数最优。

3.根据权利要求2所述的通过微波链路网格化自适应可变尺度反演大气能见度的方法，其特征在于，所述步骤(21)中，X_n为输入样本,Y_n为输出样本,划分样本集进行训练，80％为训练集，20％为测试集。

4.根据权利要求1所述的通过微波链路网格化自适应可变尺度反演大气能见度的方法，其特征在于，所述步骤(35)包含以下步骤：

(a)，初始化(C，σ),选择范围、子集个数、寻优终止条件以及网格搜索步长；

(b)，在所有(C，σ)组合内对样本进行学习,采用交叉验证均方差MSE表示:

其中y_i ^obs是第i个样本的大气能见度实测值，y_i ^pre是第i个样本的大气能见度预测值，n为样本个数；

(c)，对MSE值比较,选取最小的参数组合作为最优参数，对于相同的MSE值选取C小的组合为最优；

(d)，依据步骤不断缩小搜索范围以及搜索步长,重复步骤(b)和(c),直至搜索步长达到设定值，最后的参数组合便是最优结果。

Images