CN109782373B - 一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法 - Google Patents
一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法 Download PDFInfo
- Publication number
- CN109782373B CN109782373B CN201811535825.8A CN201811535825A CN109782373B CN 109782373 B CN109782373 B CN 109782373B CN 201811535825 A CN201811535825 A CN 201811535825A CN 109782373 B CN109782373 B CN 109782373B
- Authority
- CN
- China
- Prior art keywords
- sandstorm
- algorithm
- data
- prediction
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000004576 sand Substances 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000007635 classification algorithm Methods 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 50
- 238000012360 testing method Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 238000001556 precipitation Methods 0.000 claims description 12
- 230000008020 evaporation Effects 0.000 claims description 11
- 238000001704 evaporation Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 13
- 238000013277 forecasting method Methods 0.000 abstract description 3
- 230000002354 daily effect Effects 0.000 description 6
- 238000007418 data mining Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于改进的Naive Bayesian‑CNN多目标分类算法的沙尘暴预测方法，以“中国强沙尘暴序列及其支撑数据集”，“中国强沙尘暴序列及其支撑数据集”和“中国陆地区域云图(IR1)”为研究对象。本发明首先考虑沙尘暴发生的地面因素，运用朴素贝叶斯算法，对气象台站收集的气象数据进行分析，建立沙尘暴预测模型；其次，考虑到大气运动也对沙尘暴发生产生影响，运用卷积神经网络算法，对红外卫星云图进行分析，建立沙尘暴预测模型；最后，运用多目标算法，对两个沙尘暴预测模型输出概率进行归一化，提出可扩展性强的一种基于改进的Naive Bayesian‑CNN多目标分类算法的沙尘暴预测方法。本发明提供的算法及沙尘暴预测方法，全面考虑地面及大气运动对沙尘暴发生的影响，符合沙尘暴发生特点。
Description
技术领域
本发明属于人工智能以及极端天气预测技术领域，涉及沙尘暴的预测预报，特别涉及一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法。
背景技术
在地球上的干旱地带，尤其是沙漠及其毗邻地区，常发生沙尘天气，严重的就是沙尘暴。这种自然现象自古而然，是特定的自然地理环境和气候条件使然。全世界只有欧洲未报导过发生沙尘暴，亚洲、非洲、美洲和澳大利亚都有沙尘暴，这和气候的长期且较有规律的和短期且比较无规律的变化有关。全球大面积干旱、沙漠化、洪水及冰冻等自然灾害对人类的威胁有频发和逐渐加重的趋势。根据联合国环境计划署公布，全球有35％的土地和20％的人口受到干旱、沙漠化的威胁。由此可见，沙尘暴已经对成为影响人类生存和发展的重要自然灾害。
内蒙古中西部地区分布着6大沙漠和沙地，大部分地区地表干旱，降水少，冬春季多大风，是我国沙尘暴的主要源地之一。分析和研究该地区的沙尘暴对我国沙尘暴的研究和预测具有一定意义。因此，深入了解沙尘暴的发生规律和特点，分析研究各种天气气候因素对沙尘暴的影响以及沙尘暴的预测方法，较准确的预测沙尘暴，对防灾减灾，人民生活有着重要作用。
随着沙尘暴的危害日益为广大民众、科研人员乃至政府决策机构所认识和重视，国内外针对中国北方沙尘暴的气候特征已做了不少研究，特别是近10年来我国科研人员对沙尘暴的地理分布和时间(尤其是年际和年代际)变化趋势进行了大量分析研究，由于所使用的资料、方法不尽相同，各人所得的结论也存在很大差异。
卷积神经网络和朴素贝叶斯算法是非常重要的数据挖掘算法，将其应用于气象领域的数据分析和处理，探索各种气象要素间的内在联系，寻找各种潜在规律去揭示未知的气象理论，不但对气象科学研究很重要，而且在丰富天气预报方法、提高天气预报水平等方面产生积极重要的作用。目前,基于数据挖掘方法的气象预报技术是一个非常炙手可热的研究领域，具有较大的研究空间，尽管使用数据挖掘方法挖掘气象资料进行气象预报的文献不是很多，但国内外已经开始了这方面的研究工作，并且已经积累了不少的优秀成果，在气象预报的诸多方面已经取得了突破性的进展，但是由于很多理论和方法还是不够成熟，还有待探究出更多的更有效的气象数据挖掘方法来提高预报能力。
发明内容
为了克服上述基于统计的现有沙尘暴预测模型仅考虑沙尘暴发生时单一因素的缺点，本发明的目的在于提供一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，针对沙尘暴预测问题，在满足沙尘暴预测准确率约束的条件下，不断优化模型，从而解决从空间三维视角解决预测沙尘暴问题，达到能够有效预测沙尘暴发生强度及发生位置的目标。
为了实现上述目的，本发明采用的技术方案是：一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，首先，考虑到大气运动因素对沙尘暴产生的影响，建立基于卷积神经网络算法的沙尘暴预测模型，考虑到地面气象因素对沙尘暴产生的影响，建立基于朴素贝叶斯算法的沙尘暴预测模型，然后，运用多目标算法，对两个模型进行归一化，得到基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测模型，最后，利用归一化得到的模型，求解在考虑地面气象因素和大气运动因素情况下的沙尘暴发生概率。
所述基于卷积神经网络算法建立沙尘暴预测模型的建立流程如下：
步骤1：对红外卫星云图进行标记，并制作数据源；
步骤2：设置卷积神经网络拓扑结构及超参数；
步骤3：用训练集训练神经网络，建立预测模型；
步骤4：用测试集测试预测模型，分析预测模型预测准确率。
所述步骤1中，卫星云图源自中国陆地区域云图(IR1)，先将卫星云图格式转化为PNG，然后从中国强沙尘暴序列及其支撑数据集中找出站点数据，基于单站强沙尘暴标准，对查找出的站点数据进行分析，以每三十分钟为间隔，利用Hash函数对各个站点沙尘暴发生时间序列进行离散，分析各个时间点上沙尘暴等级，统计并分析所有站点在各个时间点上发生沙尘暴的最大强度，以时间为基准标记该时刻卫星拍摄的卫星云图，制作lmdb数据源，其中所述站点数据包括区站号、经度、纬度、年份、月份、日期、沙尘暴天气现象代码、沙尘暴开始时间、沙尘暴结束时间、能见度、十分钟平均最大风速、风向、极大风速。
所述步骤4中，测试流程为：
步骤4.1：输入带标签的测试集数据；
步骤4.2：输出预测值；
步骤4.3：比较预测值和实际值，统计预测准确率；
步骤4.4：根据经验值设置预测准确值所处区间的合理范围；
步骤4.5：分析实验结果。
所述基于朴素贝叶斯算法建立沙尘暴预测模型的建立流程如下：
步骤1：确定所有待分类数据的特征属性；
步骤2：生成分类器，计算每个特征属性在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录，计算公式如下：
步骤3：使用分类器对待分类项进行分类，求得P(x|yi)P(yi)的最大值的yi作为x所属的类别。
其中x＝{a1,a2...,am}为一个待分类项，而每个am为x的一个特征属性，具体包括气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素。类别集合C＝{y1,y2...,yn}，而每个yn为C的一个特征属性，具体包括沙尘暴等级5、4、3、2、1。
所述待分类数据包括气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素。
运用多目标算法，对两个模型进行归一化，计算公式如下：
P＝αP(X)+(1-α)P(Y)(0<α<1)
其中P(X)为测试数据输入到基于卷积神经网络建立预测模型，计算得出的沙尘暴发生概率；P(Y)为测试数据输入基于朴素贝叶斯算法建立预测模型，计算得出的沙尘暴发生概率；α为权重因子，α可以根据模型预测准确率确定，如果该模型预测准确率高，那么对应概率所赋予的权重就大，反之，则低。
与现有的沙尘暴预测算法相比，本发明首先在基于“卷积神经网络算法”沙尘暴预测模型中，考虑到大气运动对沙尘暴产生的影响，对大气运动和沙尘暴发生强度之间进行详细的刻画；其次，在基于“朴素贝叶斯算法”沙尘暴预测模型中，考虑到地面气象因素，如：温度、气压等对沙尘暴产生的影响，对地面因素和沙尘暴发生强度之间进行详细的刻画；最后，运用多目标算法，把基于“卷积神经网络算法”的沙尘暴预测模型和基于“朴素贝叶斯算法”的沙尘暴预测模型进行归一化，提出了可扩展性强的沙尘暴预测算法，从而可以从空间三维角度研究沙尘暴发生规律。
附图说明
图1是改进的Naive Bayesian-CNN多目标分类算法流程图。
图2是基于卷积神经网络算法的沙尘暴预测模型建立方法流程图。
图3是基于朴素贝叶斯算法的沙尘暴预测模型建立方法流程图。
图4是基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测模型训练过程。
图5是基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测模型建立过程。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
问题描述：在考虑地面气象因素和大气运动因素情况下，预测沙尘暴发生强度。
时间复杂度约束：模型训练时间<＝Tmax。
空间复杂度约束：模型训练所需存储空间<＝Smax。
决策变量：在不同沙尘暴等级下，模型预测沙尘暴准确率。
其中Tmax是模型训练时间上界，Smax是服务器规定的最大存储空间限制。
参考图1，本发明首先考虑到大气运动因素对沙尘暴产生的影响，建立基于卷积神经网络算法的沙尘暴预测模型，考虑到地面气象因素对沙尘暴产生的影响，建立基于朴素贝叶斯算法的沙尘暴预测模型，然后，运用多目标算法，对两个模型进行归一化，得到基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测模型，最后，利用归一化得到的模型，求解在考虑地面气象因素和大气运动因素情况下的沙尘暴发生概率。
具体地：
1、基于卷积神经网络算法的沙尘暴预测模型，建立流程如图2，包括：
步骤1：对红外卫星云图进行标记，并制作数据源；
步骤2：设置卷积神经网络拓扑结构及超参数；
步骤3：用训练集训练神经网络，建立预测模型；
步骤4：用测试集测试预测模型，分析预测模型预测准确率。
该预测模型使用的数据来源于《中国陆地区域云图(IR1)》与《中国强沙尘暴序列及其支撑数据集》。
《中国陆地区域云图(IR1)》：属于FY2C卫星VISSR仪器。数据起始时间：2005-05-3000:00:00；数据终止时间：2009-09-19 00:00:00。该数据集来源于：国家气象科学数据共享服务平台。
《中国强沙尘暴序列及其支撑数据集》中记录了1954年1月1日至2007年12月31日全国范围内沙尘暴气象观测记录。包括区站号、经度(XXX度XX分)、纬度(XX度XX分)、年份、月份、日期、沙尘暴天气现象代码、沙尘暴开始时间(XX时XX分)、沙尘暴结束时间(XX时XX分)、能见度(1979年及以前为0-9级，1980年及以后为0.1km)、十分钟平均最大风速(0.1m/s)、风向(16方位制)、极大风速(0.1m/s)。
该预测模型用到《中国强沙尘暴序列及其支撑数据集》和《中国陆地区域云图(IR1)》中部分时间段数据，即2005-2007三年数据。
A.卫星云图标记方法
《中国陆地区域云图(IR1)》数据集是卫星云图。卫星云图格式是“AWX”文件。利用气象制图软件“MeteoInfo”实现卫星云图格式转化，然后，基于“单站强沙尘暴标准”，利用Python语言对已经转换格式的卫星云图进行批量标记，并制作成lmdb数据源，之后，使用深度学习框架对云图进行处理，建立沙尘暴预测模型，以下是卫星云图标记过程。
利用气象制图软件“MeteoInfo”，在该环境下使用“Jython”编写文件格式转换程序，把格式为“AWX”卫星云图，批量转化为格式为“PNG”。
从《中国强沙尘暴序列及其支撑数据集》数据集中，查找出站点数据。
基于“单站强沙尘暴标准”，对查找出站点数据进行分析，分析各个站点沙尘暴等级。本发明把沙尘暴分为五级：5代表沙尘暴等级为“强”；4代表沙尘暴等级为“中等”；3代表沙尘暴等级为“一般”；2代表沙尘暴等级为“弱”；1代表沙尘暴等级为“无”。单站强沙尘暴标准如下：
| 沙尘暴强度 | 能见度 |
| 强 | 0级、1级或V≤200 |
| 中等 | 2级或200＜V≤500 |
| 一般 | 3级或500＜V≤1000 |
备注：
a.在气象观测中，1980年起能见度用长度单位m标识，此前用0-9级标识。
b.当极大风速缺测时，看十分钟平均最大风速；当两者都缺测时，只看能见度。
c.优先考虑能见度条件，当风速条件不满足时，该条记录也视为参考记录，并参与统计。
利用Hash函数进行离散，以每三十分钟为间隔，对各个站点沙尘暴发生时间，进行离散，分析各个时间点上沙尘暴等级。
统计并分析所有站点，在以每三十分钟为间隔的各个时间点上发生沙尘暴最大强度，然后，以该时刻为基准，标记该时刻卫星拍摄的卫星云图。
在卫星云图标记后，可以制作lmdb数据源。
B卫星云图不平衡处理方法
本发明基于“单站强沙尘暴标准”把沙尘暴发生等级分为五个等级：1、2、3、4、5等级。本发明采用欠采样方法把标记为1的卫星云图，约减到4000张。同时，采用透视变换把标记为2、3、4、5等级的卫星云图图像分别增强到大约4000张。在建立预测模型时，每个等级的沙尘暴等级训练集和测试集卫星云图数据量比例划分为3:1。
C卫星云图标记流程
Caffe对于训练数据格式，支持：lmdb、h5py……，其中lmdb数据格式常用于单标签数据，像分类等，经常使用lmdb的数据格式。对于回归等问题，或者多标签数据，一般使用h5py数据的格式。当然好像还有其它格式的数据可用，本发明使用的是lmdb数据格式。
生成lmdb数据格式数据源，主要分为两步：
步骤1：生成标签文件列表，即生成.txt文件
步骤2：将txt文件列表中的红外卫星云图与train红外卫星云图、val图像库的红外卫星云图相连接，生成lmdb格式文件。
2.基于朴素贝叶斯算法的沙尘暴预测模型，建立流程如图3，包括：
步骤1：确定所有待分类数据的特征属性：本站气压-平均本站气压、气温-平均气温、相对湿度-平均相对湿度、降水-20-20时累计降水量、蒸发-小型蒸发量、风向风速-平均风速、日照时数-日照时数、0cm地温-平均地表气温，其中，符号-的前面表示数据集名称，后面表示数据集中的一个有代表性的属性。
步骤2：生成分类器，计算每个特征属性在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录，计算公式如下：
步骤3：使用分类器对待分类项进行分类，求得P(x|yi)P(yi)的最大值的yi作为x所属的类别。
其中x＝{a1,a2...,am}为一个待分类项，而每个a为x的一个特征属性，具体包括气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素。类别集合C＝{y1,y2...,yn}，而每个y1为C的一个特征属性，具体包括沙尘暴等级5、4、3、2、1。
该预测模型的测试流程为：输入带标签的测试集数据；输出预测值；比较预测值和实际值，统计预测准确率；根据经验值设置预测准确值所处区间的合理范围；分析实验结果。
该预测模型使用的数据来源于《中国强沙尘暴序列及其支撑数据集》与《中国地面气候资料日值数据集》。
《中国强沙尘暴序列及其支撑数据集》：在1954-2007年中国基本站、基准站气象站地面月报信息化文件基础上，统计处理了沙尘暴的出现时间、结束时间，及相关的大风、能见度等资料，并研制出中国强沙尘暴标准，继而以天气过程为单元给出了1954-2007年中国强沙尘暴的序列。该数据集来源于：国家气象科学数据共享服务平台。
《中国地面气候资料日值数据集》：中国地面气候资料日值数据集(V3.0)"包含了中国824个基准、基本气象站1951年1月以来本站气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素的日值数据。数据量为7.63GB。该数据集来源于：全国地面月报信息化文件。
基于朴素贝叶斯算法所建立的沙尘暴预测模型，用到《中国强沙尘暴序列及其支撑数据集》和“中国陆地区域云图(IR1)”中部分时间段数据，即2005-2007三年数据。中国陆地区域云图为红外卫星云图。
A数据预处理方法
在利用朴素贝叶斯算法建立预测模型时，特征属性之间是相互独立的。为此，从《中国强沙尘暴序列及其支撑数据集》选择“平均本站气压”、“平均气温”、“平均相对湿度”、“20-20累计降水量”、“小型蒸发量”、“平均风速”、“日照时数”、“平均气温”作为影响因子。在《中国强沙尘暴序列及其支撑数据集》中其他属性，不用考虑。
由于沙尘暴发生是不常见发生的自然灾害，根据沙尘暴发生等级选择聚类中心，使用K-均值进行聚类，该方法相对准确，对缺失的值进行处理，尽量降低缺失的值对实验最终结果的影响。具体填充步骤如下：
步骤1：把降水量中标记为“32700”替换为0.1，同时把空值标记为“32766”的数据替换为nan，该版本数据为A；
步骤2：把A版本数据复制一份成B版本。在B版本中，利用每一个属性均值填空空值；
步骤3：在B版本中，利用K-均值聚类算法对数据进行聚类，分成10类，并计算每个属性平均值；
步骤4：在B版本中，根据空值所处的属性及类别，然后利用B版本中对应属性均值，填充A版本中对应属性缺少值。
B地面数据不平衡处理方法
地面数据集不平衡，会使基于朴素贝叶斯算法内蒙古地区沙尘暴预测模型，对于数据量多的部分，在测试时过拟合，而对于数据量少的部分，在测试时，欠拟合。针对沙尘暴地面数据集特点，本发明使用smote算法，解决数据不平衡问题。
本发明基于“单站强沙尘暴标准”把沙尘暴发生等级分为五个等级：1、2、3、4、5等级。本发明采用欠采样方法把沙尘暴等级为1的数据记录，约减到大约4000条。同时，采用过采样方法smote把沙尘暴等级为2、3、4、5等级的数据分别增强到大约4000条。在建立沙尘暴预测模型时，每个等级的沙尘暴等级训练集和测试集数据量比例划分为3:1。
3.基于改进的Naive Bayesian-CNN多目标分类算法沙尘暴模型
基于卷积神经网络算法和朴素贝叶斯算法建立的沙尘暴预测模型，它们考虑的因素是单一的。为了从空间视角来研究沙尘暴发生规律，预测沙尘暴发生强度。本发明假设基于卷积神经网络算法的沙尘暴预测模型与基于朴素贝叶斯算法的沙尘暴预测模型独立，然后应用多目标算法，对两个模型进行归一化，求解在考虑地面及大气因素情况下沙尘暴发生概率。本发明改进的Naive Bayesian-CNN多目标分类算法不仅可以应用于沙尘暴预测，同时也可以应用于其他领域，处理图像及文本数据，对其进行分类。
在利用测试数据测试基于“改进的Naive Bayesian-CNN多目标分类算法”预测模型中“基于朴素贝叶斯算法沙尘暴预测模型”时，选择“中国地面气候资料日值数据集”和“中国强沙尘暴序列及其支撑数据集”中2005-2007年的数据，特征属性选择为“平均本站气压”、“平均气温”、“平均相对湿度”、“20-20累计降水量”、“小型蒸发量”、“平均风速”、“日照时数”、“平均气温”，然后，对两个合并后的数据进行聚类，得到聚类类别，最后对每一类以时间年、月、日为维度分组求平均；测试“基于卷积神经网络算法沙尘暴预测模型”时，选择在2005-2007年每天中02:00、08:00、14:00、20:00时间点标记的卫星云图。把三个数据集以时间维度进行合并规约，每一列属性依次为，文件路径、文件名称、年、月、日、时、分、沙尘暴等级、聚类类别、本站气压-平均本站气压、气温-平均气温、相对湿度-平均相对湿度、降水-20-20时累计降水量、蒸发-小型蒸发量、风向风速-平均风速、日照时数-日照时数、0cm地温-平均地表气温。其中，符号-的前面表示数据集名称，后面表示数据集中的一个有代表性的属性。
基于改进的Naive Bayesian-CNN多目标分类算法预测模型训练过程如图4，建立过程如图5，具体过程描述如下：
步骤1：以训练集为研究对象，利用“改进的Naive Bayesian-CNN多目标分类算法”建立预测模型。
步骤2：以测试集为研究对象，测试“基于卷积神经网络算法沙尘暴预测模型”，计算预测概率为P(X)，分析预测准确率，可以用标记的卫星云图作为测试集。
步骤3：以测试集为研究对象，为了找到每天中内蒙古地区最有可能发生沙尘暴区域，本发明对测试数据进行聚类处理。本发明把内蒙古地区每天沙尘暴分为五类，聚类初始中心点对应不同沙尘暴等级情况下对应气象特征数据。由于沙尘暴发生时，气压和风速都升高，因此每一类中气压和风速总和最高的区域，最有可能发生沙尘暴。把该数据输入到“基于朴素贝叶斯算法沙尘暴预测模型，计算预测概率为P(Y)；
步骤4：分析“基于卷积神经网络算法沙尘暴预测模型”和“基于朴素贝叶斯算法沙尘暴预测模型”的预测准确率，计算α值，α可以根据模型预测准确率确定，如果该模型预测准确率高，那么对应概率所赋予的权重就大，反之，则低。以测试集为研究对象，测试“基于改进的Naive Bayesian-CNN多目标分类算法沙尘暴预测模型”，根据预测结果，优化预测模型。
Claims (7)
1.一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，其特征在于，首先，考虑到大气运动因素对沙尘暴产生的影响，建立基于卷积神经网络算法的沙尘暴预测模型，考虑到地面气象因素对沙尘暴产生的影响，建立基于朴素贝叶斯算法的沙尘暴预测模型，然后，运用多目标算法，对两个模型进行归一化，得到基于改进的NaiveBayesian-CNN多目标分类算法的沙尘暴预测模型，最后，利用归一化得到的模型，求解在考虑地面气象因素和大气运动因素情况下的沙尘暴发生概率。
2.根据权利要求1所述基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，其特征在于，所述基于卷积神经网络算法建立沙尘暴预测模型的建立流程如下：
步骤1：对红外卫星云图进行标记，并制作数据源；
步骤2：设置卷积神经网络拓扑结构及超参数；
步骤3：用训练集训练神经网络，建立预测模型；
步骤4：用测试集测试预测模型，分析预测模型预测准确率。
3.根据权利要求2所述基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，其特征在于，所述步骤1中，卫星云图源自中国陆地区域云图(IR1)，先将卫星云图格式转化为PNG，然后从中国强沙尘暴序列及其支撑数据集中找出站点数据，基于单站强沙尘暴标准，对查找出的站点数据进行分析，以三十分钟为间隔，利用Hash函数对各个站点沙尘暴发生时间序列进行离散，分析各个时间点上沙尘暴等级，统计并分析所有站点在各个时间点上发生沙尘暴的最大强度，以时间为基准标记该时刻卫星拍摄的卫星云图，制作lmdb数据源，其中所述站点数据包括区站号、经度、纬度、年份、月份、日期、沙尘暴天气现象代码、沙尘暴开始时间、沙尘暴结束时间、能见度、十分钟平均最大风速、风向、极大风速。
4.根据权利要求2所述基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，其特征在于，所述步骤4中，测试流程为：
步骤4.1：输入带标签的测试集数据；
步骤4.2：输出预测值；
步骤4.3：比较预测值和实际值，统计预测准确率；
步骤4.4：根据经验值设置预测准确值所处区间合理范围；
步骤4.5：分析实验结果。
5.根据权利要求1所述基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，其特征在于，所述基于朴素贝叶斯算法建立沙尘暴预测模型的建立流程如下：
步骤1：确定所有待分类数据的特征属性：本站气压-平均本站气压、气温-平均气温、相对湿度-平均相对湿度、降水-20-20时累计降水量、蒸发-小型蒸发量、风向风速-平均风速、日照时数-日照时数、0cm地温-平均地表气温，其中，符号-的前面表示数据集名称，后面表示数据集中的一个有代表性的属性；
步骤2：生成分类器，计算每个特征属性在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录，计算公式如下：
步骤3：使用分类器对待分类项进行分类，求得P(x|yi)P(yi)的最大值的yi作为x所属的类别，其中x＝{a1,a2...,am}为一个待分类项，而每个am为x的一个特征属性，具体包括气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素，类别集合C＝{y1,y2...,yn}，而每个yn为C的一个特征属性，即沙尘暴等级5、4、3、2、1。
6.根据权利要求5所述基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，其特征在于，所述待分类数据包括气压、气温、降水量、蒸发量、相对湿度、风向风速、日照时数和0cm地温要素。
7.根据权利要求1所述基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法，其特征在于，运用多目标算法，对两个模型进行归一化，计算公式如下：
P＝αP(X)+(1-α)P(Y)(0<α<1)
其中P(X)为测试数据输入到基于卷积神经网络建立预测模型，计算得出的沙尘暴发生概率；P(Y)为测试数据输入基于朴素贝叶斯算法建立预测模型，计算得出的沙尘暴发生概率；α为权重因子，α根据模型预测准确率确定，如果该模型预测准确率高，那么对应概率所赋予的权重就大，反之，则低。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535825.8A CN109782373B (zh) | 2018-12-14 | 2018-12-14 | 一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811535825.8A CN109782373B (zh) | 2018-12-14 | 2018-12-14 | 一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109782373A CN109782373A (zh) | 2019-05-21 |
| CN109782373B true CN109782373B (zh) | 2020-04-21 |
Family
ID=66497015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811535825.8A Expired - Fee Related CN109782373B (zh) | 2018-12-14 | 2018-12-14 | 一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109782373B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210682A (zh) * | 2019-06-12 | 2019-09-06 | 云南电网有限责任公司大理供电局 | 基于负载数据图像化卷积神经网络的配变重过载预警方法 |
| CN110989041B (zh) * | 2019-12-10 | 2021-02-09 | 中国科学院遥感与数字地球研究所 | 一种灰霾和沙尘天气的预报方法及预报系统 |
| CN111127515B (zh) * | 2019-12-17 | 2024-03-22 | 中国科学院西北生态环境资源研究院 | 沙尘移动路径的预测方法、系统及电子设备 |
| CN111337898B (zh) * | 2020-02-19 | 2022-10-14 | 北京百度网讯科技有限公司 | 激光点云的处理方法、装置、设备及存储介质 |
| CN111596383A (zh) * | 2020-03-17 | 2020-08-28 | 杨文娟 | 基于大数据服务的黄沙预警平台 |
| CN111860531B (zh) * | 2020-07-28 | 2024-09-17 | 西安建筑科技大学 | 一种基于图像处理的扬尘污染识别方法 |
| CN112782976B (zh) * | 2020-12-14 | 2023-03-07 | 中国大唐集团科学技术研究院有限公司火力发电技术研究院 | 一种基于cnn算法的智能燃烧优化的闭环控制方法 |
| CN114049545B (zh) * | 2021-11-05 | 2022-06-07 | 中山大学 | 一种基于点云体素的台风定强方法、系统、设备及介质 |
| CN114220024B (zh) * | 2021-12-22 | 2023-07-18 | 内蒙古自治区气象信息中心(内蒙古自治区农牧业经济信息中心)(内蒙古自治区气象档案馆) | 基于深度学习的静止卫星沙尘暴识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006220445A (ja) * | 2005-02-08 | 2006-08-24 | Toshiba Corp | 砂嵐予測システムとその砂嵐警報発令方法 |
| CN101893726A (zh) * | 2010-07-23 | 2010-11-24 | 北京师范大学 | 一种风沙灾害模拟装置及模拟方法 |
| CN104730598B (zh) * | 2015-04-07 | 2017-06-27 | 北京市环境保护监测中心 | 一种沙尘暴监测方法及装置 |
| CN106951702A (zh) * | 2017-03-15 | 2017-07-14 | 内蒙古工业大学 | 一种基于数据挖掘的沙尘暴数据分析方法 |
| CN108270970B (zh) * | 2018-01-24 | 2020-08-25 | 北京图森智途科技有限公司 | 一种图像采集控制方法及装置、图像采集系统 |
-
2018
- 2018-12-14 CN CN201811535825.8A patent/CN109782373B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN109782373A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109782373B (zh) | 一种基于改进的Naive Bayesian-CNN多目标分类算法的沙尘暴预测方法 | |
| CN111932036B (zh) | 基于位置大数据的精细时空尺度动态人口预测方法及系统 | |
| Chen et al. | Estimating PM2. 5 with high-resolution 1-km AOD data and an improved machine learning model over Shenzhen, China | |
| Pijanowski et al. | Modelling urbanization patterns in two diverse regions of the world | |
| Prein et al. | US extreme precipitation weather types increased in frequency during the 20th century | |
| CN112949953B (zh) | 基于pp理论和af模型的暴雨预报方法 | |
| Sobash et al. | Seasonal variations in severe weather forecast skill in an experimental convection-allowing model | |
| Michaelides et al. | Monitoring and forecasting air pollution levels by exploiting satellite, ground‐based, and synoptic data, elaborated with regression models | |
| He et al. | Comparative performance of the LUR, ANN, and BME techniques in the multiscale spatiotemporal mapping of PM 2.5 concentrations in North China | |
| CN113836808A (zh) | 一种基于重污染特征约束的pm2.5深度学习预测方法 | |
| CN115690576B (zh) | 基于夜光影像多特征的贫困率估算方法及系统 | |
| Zhang et al. | Eigenvector spatial filtering regression modeling of ground PM2. 5 concentrations using remotely sensed data | |
| CN117390555A (zh) | 一种实现泥石流灾害风险多维分类预测方法 | |
| Feser et al. | North Atlantic winter storm activity in modern reanalyses and pressure-based observations | |
| CN115129802A (zh) | 一种基于多源数据和集成学习的人口空间化方法 | |
| Zuo et al. | Comparison of six machine learning methods for estimating PM2. 5 concentration using the Himawari-8 aerosol optical depth | |
| Tang et al. | Estimating high-spatial-resolution daily PM2. 5 mass concentration from satellite top-of-atmosphere reflectance based on an improved random forest model | |
| CN113191670B (zh) | 一种精细化雷电灾害风险评价与区划方法 | |
| CN114882373A (zh) | 基于深度神经网络的多特征融合沙尘暴预测方法 | |
| Guan et al. | A similarity distance-based space-time random forest model for estimating PM2. 5 concentrations over China | |
| CN117689066A (zh) | 一种林火驱动因素识别及预测方法、系统、设备以及介质 | |
| Zhou et al. | A station-data-based model residual machine learning method for fine-grained meteorological grid prediction | |
| CN116451088A (zh) | 基于多要素特征相似性和地理区划聚类的优选代站方法 | |
| Liu et al. | The June 2012 North American Derecho: A testbed for evaluating regional and global climate modeling systems at cloud-resolving scales | |
| Mediavilla et al. | Wind and wave height climate from two decades of altimeter records on the Chilean Coast (15–56.5 S) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200421 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |