CN116612595A - 一种基于联邦学习的森林火灾预测方法及系统 - Google Patents
一种基于联邦学习的森林火灾预测方法及系统 Download PDFInfo
- Publication number
- CN116612595A CN116612595A CN202310115277.8A CN202310115277A CN116612595A CN 116612595 A CN116612595 A CN 116612595A CN 202310115277 A CN202310115277 A CN 202310115277A CN 116612595 A CN116612595 A CN 116612595A
- Authority
- CN
- China
- Prior art keywords
- data
- federal learning
- fire
- information feature
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 18
- 238000013075 data extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 10
- 238000001556 precipitation Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 9
- 239000010410 layer Substances 0.000 description 18
- 238000011160 research Methods 0.000 description 15
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- AANMVENRNJYEMK-UHFFFAOYSA-N 4-propan-2-ylcyclohex-2-en-1-one Chemical compound CC(C)C1CCC(=O)C=C1 AANMVENRNJYEMK-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于联邦学习的森林火灾预测方法，基于目标区域的网格划分，针对目标区域中的各网格区域，以气象信息特征与地理信息特征为分析因素，结合历史是否发生火情标签，应用隐私保护机器学习框架CrypTen下深度神经网络模型所构建的联邦学习训练系统，通过纵向联邦学习使得两个联邦学习客户端在无法获取到对方隐私数据的前提下，共同训练深度神经网络，获得用来预测森林火灾的火情预测模型，在保障森林火灾预测准确度的前提下，实现了多个模型协同训练，并且从实际意义角度来说，设计方案能够有效的保护数据隐私，并在保障隐私数据安全的前提下，协同完成模型的训练过程，实现了一种在对数据隐私要求较高背景下的森林火灾预测技术。
Description
技术领域
本发明涉及一种基于联邦学习的森林火灾预测方法及系统，属于森林火灾预测技术领域。
背景技术
森林火灾是我国乃至全球范围内十分常见的一种自然灾害，与此同时森林火灾也严重影响了区域的生态系统平衡，往往会对当地人民的生命财产和经济造成巨大的损失。近年来，随着人类城市化，工业化的推进，全球气候变暖等环境问题已经成为了人类发展所必须要面对的问题，与此同时，随着气候的改变，全球极端天气的增多，从而导致了森林火灾发生的严重程度和频次都明显增加。因此，为了更好的保护人民生命财产安全，推进人与自然和谐共生，也为了能够更加合理迅速地提出森林火灾的疏散决策，当前迫切需要更加精准的森林火灾预测技术和风险预警技术。
现有的森林火灾预测技术主要可以分为基于机器学习模型和基于大数据统计的经验模型。一种较为常见的做法是，通过大数据技术和统计学分析某一地区过往一段时间内森林火灾发生的频次和严重程度并由此来预测未来时间的森林火灾发生频次和严重程序。此外，随着人工智能的发展，现有的森林火灾预测技术往往是利用机器学习模型对某一地区采集到的各种信息进行学习并预测未来时间段发生火灾的可能性。
上述两大类技术方案都存在明显的不足，首先是第一种技术方案，利用大数据技术和统计学来分析过往的森林火灾信息，存在经验模型鲁棒性不强，且预测精度低等缺点。其次是第二种技术方案，利用机器学习模型对相关的数据进行学习，从中发现隐藏的数学规律并进行森林火灾的预测，然而该方案也存在不足，该方案需要将所有的数据放置在一台服务器上由此完成模型的训练过程，当模型所需要的数据来源于两个系统中，当数据被汇聚到一台服务器中就有可能存在数据泄漏的安全问题。同时，当存在多个森林火灾预测系统时，多个系统彼此之间是相对独立的，无法进行安全的数据共享，多个森林火灾预测系统之间也无法协同进行模型的训练，导致单个森林火灾预测系统的准确度往往不够高。
发明内容
本发明所要解决的技术问题是提供一种基于联邦学习的森林火灾预测方法，基于气象信息特征与地理信息特征进行分析，结合联邦学习设计，在保障森林火灾预测准确度的前提下，实现了多个模型协同训练。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于联邦学习的森林火灾预测方法，用于实现对目标区域网格化下各网格区域的火情预测，其特征在于，按如下步骤A至步骤F，获得火情预测模型；按如下步骤i，实现目标区域各网格区域对应目标时刻的火情预测；
步骤A.获得目标区域中各网格区域分别对应预设历史时间段内预设类型各历史时刻下的气象信息特征向量、地理信息特征向量、以及是否发生火情标签，然后进入步骤B；
步骤B.分别针对目标区域中的各网格区域，由网格区域对应历史时刻下是否发生火情标签，结合该网格区域对应自该历史时刻向历史时间方向间隔预设时长的预设数量a个历史时刻下的气象信息特征向量、地理信息特征向量，构成单个数据原始样本；进而获得各个数据原始样本，然后进入步骤C；
步骤C.由机器学习库PyTorch构建深度神经网络模型，并应用隐私保护机器学习框架CrypTen将该深度神经网络模型转换为CrypTen加密框架下的待训练网络模型，由此构建联邦学习训练系统，然后进入步骤D；
步骤D.构建相互通信连接的两个联邦学习客户端，并将各数据原始样本中的各气象信息特征向量发送至其中一联邦学习客户端，将各数据原始样本中的各地理信息特征向量发送至另一联邦学习客户端，以及各数据原始样本中是否发生火情标签发送至任意一联邦学习客户端，然后进入步骤E；
步骤E.在联邦学习训练系统中，基于各联邦学习客户端分别对其上数据加密共享至另一联邦学习客户端的操作，根据数据原始样本的结构，两联邦学习客户端分别获得包含明文数据与密文数据的各个数据样本，然后进入步骤F；
步骤F.以数据样本中网格区域对应各历史时刻下的气象信息特征向量、地理信息特征向量作为训练样本输入，该数据样本中该网格区域对应是否发生火情作为训练样本输出，由两联邦学习客户端通过纵向联邦学习方式，基于分别所获各数据样本，结合预设评价指标，共同在所构建的联邦学习训练系统下、借助CrypTen加密框架进行待训练网络模型的训练，获得火情预测模型；
步骤i.分别针对目标区域中的各网格区域，采集网格区域对应自目标时刻向历史时间方向间隔预设时长的预设数量a个历史时刻下的气象信息特征向量、地理信息特征向量，然后应用火情预测模型，获得该网格区域对应目标时刻是否发生火情标签，即该网格区域对应目标时刻的火情预测结果，进而获得目标区域中各网格区域分别对应目标时刻的火情预测结果。
作为本发明的一种优选技术方案：所述步骤E中，各联邦学习客户端分别对其上数据应用安全的多方计算MPC进行加密、并共享至另一联邦学习客户端。
作为本发明的一种优选技术方案：所述步骤E中，两联邦学习客户端之间基于RENDEZVOUS通信机制实现数据共享。
作为本发明的一种优选技术方案：所述步骤F通过纵向联邦学习方式进行训练，在待训练网络模型训练结束后，基于约登指数，取最大约登指数时的阈值作为最佳阈值，用于针对待训练网络模型中所获发生火情的概率进行划分，确定是否发生火情标签。
作为本发明的一种优选技术方案：所述PyTorch构建的深度神经网络为多层感知机模型MLP，自输入端至输出端依次包括输入层、隐藏层、输出层，并且其中所涉及的激活函数为ReLu激活函数。
作为本发明的一种优选技术方案：所述步骤A包括如下步骤A1至步骤A3；
步骤A1.获得目标区域对应预设历史时间段内预设类型各历史时刻下指定各气象信息特征数据组成的气象信息特征向量、以及指定各地理信息特征数据组成的地理信息特征向量，然后进入步骤A2；
步骤A2.基于目标区域的网格化，将预设历史时间段内预设类型各历史时刻下的气象信息特征向量填充至目标区域的各个网格区域，获得各网格区域分别对应预设历史时间段内预设类型各历史时刻下的气象信息特征向量；
同时将预设历史时间段内预设类型各历史时刻下的地理信息特征向量填充至目标区域的各个网格区域，获得各网格区域分别对应预设历史时间段内预设类型各历史时刻下的地理信息特征向量；
其中，若存在空白信息特征数据的网格区域，则应用相邻相接各网格区域的同类型信息特征数据的均值作为该网格区域对应的该信息特征数据；然后进入步骤A3；
步骤A3.获得目标区域中各网格区域分别对应预设历史时间段内预设类型各历史时刻下是否发生火情标签。
作为本发明的一种优选技术方案：所述指定各气象信息特征包括日均气压特征、日均气温特征、日均相对湿度特征、日降水量特征、日均风速特征、最大风速风向特征、日照时间特征、0厘米地表温度特征；所述指定各地理信息特征包括坡度特征、坡向特征、增强型植被指数EVI特征、到河道距离特征、到公路距离特征。
作为本发明的一种优选技术方案：所述步骤F中的预设评价指标包括损失值评价指标、AUC评价指标、准确度评价指标、以及召回率评价指标，用于评价联邦学习训练系统下深度神经网络模型训练过程中的效果。
本发明所要解决的技术问题是提供一种基于联邦学习的森林火灾预测方法的系统，模块化设计，高效实现所设计森林火灾预测方法应用，提高森林火灾预测的应用效率。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于联邦学习的森林火灾预测方法的系统，包括数据提取与处理模块、纵向联邦学习模块、森林火灾预测模型模块、森林火灾预测结果处理模块；
其中，数据提取与处理模块用于执行步骤A至步骤B；
纵向联邦学习模块用于协调两联邦学习客户端之间的通信和数据共享，以及协调两联邦学习客户端在CrypTen加密框架下进行基于联邦学习的深度神经网络的训练；
森林火灾预测模型模块根据来自数据提取与处理模块的数据，在纵向联邦学习模块的协调下，实现两联邦学习客户端在CrypTen加密框架下进行基于联邦学习的深度神经网络的训练，以及提供至少一种用于测试评价基于联邦学习的深度神经网络表现的验证方法；
森林火灾预测结果处理模块用于应用训练所获火情预测模型，实现目标区域各网格区域对应目标时刻的火情预测。
本发明所述一种基于联邦学习的森林火灾预测方法及系统，采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明所设计基于联邦学习的森林火灾预测方法，基于目标区域的网格划分，针对目标区域中的各网格区域，以气象信息特征与地理信息特征为分析因素，结合历史是否发生火情标签，应用隐私保护机器学习框架CrypTen下深度神经网络模型所构建的联邦学习训练系统，通过纵向联邦学习使得两个联邦学习客户端在无法获取到对方隐私数据的前提下，共同训练深度神经网络，获得用来预测森林火灾的火情预测模型，在保障森林火灾预测准确度的前提下，实现了多个模型协同训练。并且从实际意义角度来说，设计方案能够有效的保护数据隐私，并在保障隐私数据安全的前提下，协同完成模型的训练过程，实现了一种在对数据隐私要求较高背景下的森林火灾预测技术。
附图说明
图1是本发明设计中CrypTen框架生成加密模型工作流程图；
图2是本发明设计中多层感知机模型MLP的结构示意图；
图3是本发明设计中基于联邦学习的森林火灾预测方法框架图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明所设计一种基于联邦学习的森林火灾预测方法，用于实现对目标区域网格化下各网格区域的火情预测，关于本发明中基于联邦学习的森林火灾预测方法框架图如图3所示，实际应用当中，首先按如下步骤A至步骤F，获得火情预测模型。
步骤A.获得目标区域中各网格区域分别对应预设历史时间段内预设类型各历史时刻下的气象信息特征向量、地理信息特征向量、以及是否发生火情标签，然后进入步骤B。
实际应用当中，上述步骤A具体设计执行如下步骤A1至步骤A3。
步骤A1.获得目标区域对应预设历史时间段内预设类型各历史时刻下指定各气象信息特征数据组成的气象信息特征向量、以及指定各地理信息特征数据组成的地理信息特征向量，然后进入步骤A2。
步骤A2.基于目标区域的网格化，将预设历史时间段内预设类型各历史时刻下的气象信息特征向量填充至目标区域的各个网格区域，获得各网格区域分别对应预设历史时间段内预设类型各历史时刻下的气象信息特征向量。
同时将预设历史时间段内预设类型各历史时刻下的地理信息特征向量填充至目标区域的各个网格区域，获得各网格区域分别对应预设历史时间段内预设类型各历史时刻下的地理信息特征向量。
其中，若存在空白信息特征数据的网格区域，则应用相邻相接各网格区域的同类型信息特征数据的均值作为该网格区域对应的该信息特征数据；然后进入步骤A3。
这里在具体实际应用中，设计利用ArcGIS来进行地理信息数据的处理，利用自定义的Python程序来提取目标区域的气象数据，并对空白数据做出一定的处理，其中，指定各气象信息特征包括日均气压特征、日均气温特征、日均相对湿度特征、日降水量特征、日均风速特征、最大风速风向特征、日照时间特征、0厘米地表温度特征；所述指定各地理信息特征包括坡度特征、坡向特征、增强型植被指数EVI特征、到河道距离特征、到公路距离特征。
具体设计实施中，地理信息特征的处理过程主要借助ArcGIS软件，具体的处理流程为：首先利用创建渔网工具将研究区域(本发明所研究的区域是广西省百色市田林县)划分为1KM*1KM的栅格；然后利用坡度和坡向工具从研究区域的数字高程地图中提取坡度和坡向两个地理信息数据，增强型植被指数从MODIS开放提供的NDVI&EVI数据中提取所研究区域的EVI数据，到河道的距离和到公路的距离则利用欧式距离(Euclidean Distance)工具来计算研究区域中各位置到河道和公路的距离。最后利用区域分析工具将上述的坡度,坡向,增强型植被指数(EVI)，到河道的距离，到公路的距离分别填充到划分的每一个栅格区域中，并导出为Excel数据。
气象信息特征的处理主要是通过自定义的Python程序来提取研究区域的气象信息，具体的，借助数据处理工具Pandas提取出研究区域的日均气压、日均气温、日均相对湿度、日降水量、日均风速、最大风速风向、日照时间和0厘米的地表温度，然后利用Sklearn工具对某些空白的记录按照前后记录的均值来填补。
步骤A3.获得目标区域中各网格区域分别对应预设历史时间段内预设类型各历史时刻下是否发生火情标签。
实际应用中，在处理完地理信息数据和气象信息数据后，首先我们求得上述两种数据的笛卡尔积，即得到研究区域中每一个栅格区域其每一天的地理信息数据和气象信息数据。然后根据历史火点的地理位置和发生时间，向上述求得笛卡尔积数据中插入森林火灾标签值，最终得到的数据格式如下表1所示。即一条数据中包含有五个部分，分别是研究区域中每一个栅格点的唯一编号，日期(精确到天)，然后分别是每一个栅格点的地理信息数据和各日期下的气象信息数据，最后是表示该栅格点在该日期下是否发生火灾的标签值。
表1
| 栅格编号FID | 日期Date | 地理信息数据 | 气象信息数据 | 森林火灾标签 |
步骤B.分别针对目标区域中的各网格区域，由网格区域对应历史时刻下是否发生火情标签，结合该网格区域对应自该历史时刻向历史时间方向间隔预设时长的预设数量a个历史时刻下的气象信息特征向量、地理信息特征向量，构成单个数据原始样本；进而获得各个数据原始样本，然后进入步骤C。
实际应用中，即考虑到森林火灾的实际情况，同时受到LSTM模型的启发，假设在第N天时某一地区发生了森林火灾，那么第N天前的一段时间非常有可能对第N天造成影响，因此即按上述步骤B中设计，对数据进行了转换和聚合，利用过往30天的记录来预测下一天的森林火灾风险分数，我们设计的数据序列如下表2所示，每一个序列包含有31天的原始数据记录，然后用一个序列中最后一天的森林火灾标签作为该序列的整体标签，即用前30天的数据来预测第31天的森林火灾标签。
表2
步骤C.由机器学习库PyTorch构建深度神经网络模型，并应用隐私保护机器学习框架CrypTen将该深度神经网络模型转换为CrypTen加密框架下的待训练网络模型，由此构建联邦学习训练系统，然后进入步骤D。
开源的安全和隐私保护框架CrypTen实现了纵向联邦学习，CrypTen是由Facebook设计实现的一个基于Pytorch的隐私保护框架，与Pytorch中的Tensor相类似的。CrypTen在其基础上设计了一个加密版本的Tensor，称为CrypTensor。在实际操作中，可以像操作Tensor一样操作CrypTensor并训练我们的模型，CrypTen框架下生成加密模型的工作流程如图1所示。
实际应用当中，所述PyTorch构建的深度神经网络为多层感知机模型MLP，自输入端至输出端依次包括输入层、隐藏层、输出层，网络的结构如图2所示。为了缓解MLP模型常常面临的过拟合问题，我们选用了ReLu激活函数，其能够降低各参数之间的相互依存关系，同时也为整个反向传播的计算过程降低了计算量。
MLP模型是一种前向结构的人工神经网络ANN，其中最简单的ANN是单层感知机，单层感知机的输入层和输出层是直接相连的，仅能够处理线性问题，不能处理非线性的问题。而MLP模型克服了单层感知机不能对线形不可分数据进行处理的弱点。常常使用BP反向传播算法的监督学习方法来训练MLP模型。MLP模型可以使用任何形式的激活函数，在本系统中我们所使用的是计算速度快的ReLu激活函数。激活函数的作用是将非线性引入神经元的输出，ReLu激活函数可以用如下公式来表达：
ReLU(x)＝(x)+＝max(0,x)
若W1表示输入层相对于隐藏层的权重，b1表示偏置，f则表示系统中的ReLu激活函数，那么隐藏层中的输出可以表示为：
outh＝f(W1*X)+b1
若用W2表示隐藏层相对于输出层的权重，b2表示偏置，H表示隐藏层中各节点输出的向量，则该多层感知机模型的输出为：
out＝W2*H+b2
实际应用中，这里通过包括损失值评价指标、AUC评价指标、准确度评价指标、以及召回率评价指标的预设评价指标包，用于评价联邦学习训练系统下深度神经网络模型训练过程中的效果；并且模型的原始输出结果是发生森林火灾的概率值，因此需要设定一个阈值来对模型的原始输出结果进行“二值化”处理；这里基于约登指数，取最大约登指数时的阈值作为最佳阈值，用于针对待训练网络模型中所获发生火情的概率进行划分，确定是否发生火情标签。
步骤D.构建相互通信连接的两个联邦学习客户端，并将各数据原始样本中的各气象信息特征向量发送至其中一联邦学习客户端，将各数据原始样本中的各地理信息特征向量发送至另一联邦学习客户端，以及各数据原始样本中是否发生火情标签发送至任意一联邦学习客户端，然后进入步骤E。
实际应用中，两个联邦学习客户端是平等的关系，设计为每一个联邦学习客户端赋值了一个rank号，用来标示不同的联邦学习客户端，同时也便于在共享密文数据时能够辨别对方。
对于上述具体设计指定各气象信息特征、以及指定各地理信息特征共计13个信息特征，实际应用中，将8个气象信息特征和5个地理信息特征分别发放到两个联邦学习客户端上，并将火灾标签值也提前发送到其中一个联邦学习客户端上。这样每一个联邦学习客户端都没有全部的数据集，而是只有整体数据集的部分特征。然后两个联邦学习客户端利用RENDEZVOUS通信机制来交换信息，每个联邦学习客户端利用Pandas工具加载本地的数据，并利用Sklearn工具对数据进行标准化处理。
步骤E.在联邦学习训练系统中，基于各联邦学习客户端分别对其上数据应用安全的多方计算MPC加密、并基于RENDEZVOUS通信机制共享至另一联邦学习客户端的操作，根据数据原始样本的结构，两联邦学习客户端分别获得包含明文数据与密文数据的各个数据样本，然后进入步骤F。
安全的多方计算(MPC)允许各方对数据执行计算，同时保持数据的私密性。具体来说是指在没有可信任的第三方时(例如在物联网领域中常见的云服务器)，多个参与方共同计算一个约定的函数(或者共同训练一个ML模型)，并且能够使得每一个参与方无法得到其它方的数据。我们假设pn表示共同训练模型的参与方，其中n≥2，f抽象代表为要训练的模型的函数式，yn代表各参与方的输出结果。则可以写为如下公式：
f(p1,p2,p3,…,pn)＝(y1,y2,y3,…,yn)
其中，每一个参与方只能够看到自己的输入和输出，无法推算出其它参与方的数据。
此外，为了便于更加方便的进行安全计算，Crypten实现了算术秘密共享(Arithmetic secret sharing)算法和二进制秘密(Binary secret sharing)共享算法。
首先是算术秘密共享，假设所有参与方用集合P表示，则每个参与方为p∈P，现在需要共享一个标量值x，其中x∈Z/QZ，Z/QZ表示具有Q个元素的环。假设我们需要共享x的时候，则共享x可以表示为[x]＝{[x]p}，其中的[x]p表示x是由参与方p共享的。利用各方共享的总和能够重新构建出原始值，原始值可以表示为：
当要分享一个值x时，各个参与方利用总和为0的|P|个随机数产生一个伪随机的零份额。拥有值x的参与方将x添加到他们的份额中并丢弃x。在求解时，为了从浮点数xR中获得x，通过让xR乘一个较大的缩放因子并取其最近的整数值，当精度为LBits时，B＝2L，x的求解公式则可以写成：
二进制秘密共享其实是算术秘密共享的特例，在二进制领域Z/2Z内运行，即算术秘密共享中的Q＝2。
步骤F.以数据样本中网格区域对应各历史时刻下的气象信息特征向量、地理信息特征向量作为训练样本输入，该数据样本中该网格区域对应是否发生火情作为训练样本输出，由两联邦学习客户端通过纵向联邦学习方式，基于分别所获各数据样本，结合预设评价指标，共同在所构建的联邦学习训练系统下、借助CrypTen加密框架进行待训练网络模型的训练，获得火情预测模型。
基于上述步骤A至步骤F执行所获得火情预测模型，进一步在实际应用当中，按如下步骤i执行，实现目标区域各网格区域对应目标时刻的火情预测。
步骤i.分别针对目标区域中的各网格区域，采集网格区域对应自目标时刻向历史时间方向间隔预设时长的预设数量a个历史时刻下的气象信息特征向量、地理信息特征向量，然后应用火情预测模型，获得该网格区域对应目标时刻是否发生火情标签，即该网格区域对应目标时刻的火情预测结果，进而获得目标区域中各网格区域分别对应目标时刻的火情预测结果。
关于上述设计，进一步设计实现了基于联邦学习的森林火灾预测方法的系统，实际设计中，具体包括数据提取与处理模块、纵向联邦学习模块、森林火灾预测模型模块、森林火灾预测结果处理模块。
其中，数据提取与处理模块用于执行步骤A至步骤B，其中，指定各气象信息特征包括日均气压特征、日均气温特征、日均相对湿度特征、日降水量特征、日均风速特征、最大风速风向特征、日照时间特征、0厘米地表温度特征；所述指定各地理信息特征包括坡度特征、坡向特征、增强型植被指数EVI特征、到河道距离特征、到公路距离特征。
设计执行中，数据提取与处理模块能够对数据的分布进行均衡化处理，因为在数据样本中，发生火灾的样本和不发生火灾的样本数据差距巨大，因此，借助数据提取与处理模块，使得两种样本数量更加平衡；此外，数据提取与处理模块设计对数据做聚合处理，即设计利用过去30天的信息来预测下一天的森林火灾发生概率，因此对于每一个网格区域来说需要将每30天聚合为一条数据序列的形式，将第31天是否发生火灾作为该序列的标签值，若发生火灾标签为1，若不发生火灾标签为0；即对应步骤B中对应历史时刻下是否发生火情标签、以及自该历史时刻向历史时间方向间隔预设时长的预设数量a个历史时刻下的气象信息特征向量、地理信息特征向量，
实际应用实施例中，设定的研究区域是广西省百色市田林县，选用了该研究区域2016年的气象信息数据和地理信息数据。需要说明的是，之所以选定一个特定的县区作为研究区域，是为了更加方便的处理数据来验证我们的技术，且广西省百色市田林县地理信息较为复杂，根据官方数据其县境范围内都是山地，无一处平原，有海拔2026.5米的“桂西屋脊”岑王老山，也有海拔200米的河谷低地，垂直高度差异明显，复杂的地理信息使得我们的模型能够学习到更多的特征，使得我们的模型具有更佳的实际应用价值。与此同时广西省为森林火灾的高发地区，十分适合作为研究区域，即由数据提取与处理模块按设计步骤A至步骤B的方法针对该实施例研究区网格化下各网格区域进行处理。
纵向联邦学习模块用于协调两联邦学习客户端之间的通信和数据共享，且在训练的过程中数据不会泄漏，即两个联邦学习客户端无法直接拿到对方的明文数据，纵向联邦学习模块同时协调两联邦学习客户端在CrypTen加密框架下进行基于联邦学习的深度神经网络的训练，此外，该纵向联邦学习模块为每一个联邦学习客户端端赋值了一个rank号，用来标示不同的联邦学习客户端，同时也便于后续的数据安全共享。
森林火灾预测模型模块根据来自数据提取与处理模块的数据，在纵向联邦学习模块的协调下，实现两联邦学习客户端在CrypTen加密框架下进行基于联邦学习的深度神经网络的训练，以及提供至少一种用于测试评价基于联邦学习的深度神经网络表现的验证方法，此外，森林火灾预测模型模块还包括了我们自定义的深度神经网络模型(MLP模型)。
森林火灾预测结果处理模块用于应用训练所获火情预测模型，实现目标区域各网格区域对应目标时刻的火情预测，还可以进一步设计实现绘制风险等级图片。具体来说，将森林火灾预测模型模块训练好的模型设置为测试模式，然后求得研究区域中每一个网格区域每一天的森林火灾发生的概率值，最后对每一个网格区域全年火灾发生的概率值取平均，从而能够直观得看到研究区域中各区域的森林火灾风险等级。
上述技术方案所设计基于联邦学习的森林火灾预测方法，基于目标区域的网格划分，针对目标区域中的各网格区域，以气象信息特征与地理信息特征为分析因素，结合历史是否发生火情标签，应用隐私保护机器学习框架CrypTen下深度神经网络模型所构建的联邦学习训练系统，通过纵向联邦学习使得两个联邦学习客户端在无法获取到对方隐私数据的前提下，共同训练深度神经网络，获得用来预测森林火灾的火情预测模型，在保障森林火灾预测准确度的前提下，实现了多个模型协同训练，并且从实际意义角度来说，设计方案能够有效的保护数据隐私，并在保障隐私数据安全的前提下，协同完成模型的训练过程，实现了一种在对数据隐私要求较高背景下的森林火灾预测技术。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (9)
1.一种基于联邦学习的森林火灾预测方法，用于实现对目标区域网格化下各网格区域的火情预测，其特征在于，按如下步骤A至步骤F，获得火情预测模型；按如下步骤i，实现目标区域各网格区域对应目标时刻的火情预测；
步骤A. 获得目标区域中各网格区域分别对应预设历史时间段内预设类型各历史时刻下的气象信息特征向量、地理信息特征向量、以及是否发生火情标签，然后进入步骤B；
步骤B. 分别针对目标区域中的各网格区域，由网格区域对应历史时刻下是否发生火情标签，结合该网格区域对应自该历史时刻向历史时间方向间隔预设时长的预设数量a个历史时刻下的气象信息特征向量、地理信息特征向量，构成单个数据原始样本；进而获得各个数据原始样本，然后进入步骤C；
步骤C. 由机器学习库PyTorch构建深度神经网络模型，并应用隐私保护机器学习框架CrypTen将该深度神经网络模型转换为CrypTen加密框架下的待训练网络模型，由此构建联邦学习训练系统，然后进入步骤D；
步骤D. 构建相互通信连接的两个联邦学习客户端，并将各数据原始样本中的各气象信息特征向量发送至其中一联邦学习客户端，将各数据原始样本中的各地理信息特征向量发送至另一联邦学习客户端，以及各数据原始样本中是否发生火情标签发送至任意一联邦学习客户端，然后进入步骤E；
步骤E. 在联邦学习训练系统中，基于各联邦学习客户端分别对其上数据加密共享至另一联邦学习客户端的操作，根据数据原始样本的结构，两联邦学习客户端分别获得包含明文数据与密文数据的各个数据样本，然后进入步骤F；
步骤F. 以数据样本中网格区域对应各历史时刻下的气象信息特征向量、地理信息特征向量作为训练样本输入，该数据样本中该网格区域对应是否发生火情作为训练样本输出，由两联邦学习客户端通过纵向联邦学习方式，基于分别所获各数据样本，结合预设评价指标，共同在所构建的联邦学习训练系统下、借助CrypTen加密框架进行待训练网络模型的训练，获得火情预测模型；
步骤i. 分别针对目标区域中的各网格区域，采集网格区域对应自目标时刻向历史时间方向间隔预设时长的预设数量a个历史时刻下的气象信息特征向量、地理信息特征向量，然后应用火情预测模型，获得该网格区域对应目标时刻是否发生火情标签，即该网格区域对应目标时刻的火情预测结果，进而获得目标区域中各网格区域分别对应目标时刻的火情预测结果。
2.根据权利要求1所述一种基于联邦学习的森林火灾预测方法，其特征在于：所述步骤E中，各联邦学习客户端分别对其上数据应用安全的多方计算MPC进行加密、并共享至另一联邦学习客户端。
3.根据权利要求1或2所述一种基于联邦学习的森林火灾预测方法，其特征在于：所述步骤E中，两联邦学习客户端之间基于RENDEZVOUS通信机制实现数据共享。
4.根据权利要求1所述一种基于联邦学习的森林火灾预测方法，其特征在于：所述步骤F通过纵向联邦学习方式进行训练，在待训练网络模型训练结束后，基于约登指数，取最大约登指数时的阈值作为最佳阈值，用于针对待训练网络模型中所获发生火情的概率进行划分，确定是否发生火情标签。
5.根据权利要求1所述一种基于联邦学习的森林火灾预测方法，其特征在于：所述PyTorch构建的深度神经网络为多层感知机模型MLP，自输入端至输出端依次包括输入层、隐藏层、输出层，并且其中所涉及的激活函数为ReLu激活函数。
6.根据权利要求1所述一种基于联邦学习的森林火灾预测方法，其特征在于：所述步骤A包括如下步骤A1至步骤A3；
步骤A1.获得目标区域对应预设历史时间段内预设类型各历史时刻下指定各气象信息特征数据组成的气象信息特征向量、以及指定各地理信息特征数据组成的地理信息特征向量，然后进入步骤A2；
步骤A2. 基于目标区域的网格化，将预设历史时间段内预设类型各历史时刻下的气象信息特征向量填充至目标区域的各个网格区域，获得各网格区域分别对应预设历史时间段内预设类型各历史时刻下的气象信息特征向量；
同时将预设历史时间段内预设类型各历史时刻下的地理信息特征向量填充至目标区域的各个网格区域，获得各网格区域分别对应预设历史时间段内预设类型各历史时刻下的地理信息特征向量；
其中，若存在空白信息特征数据的网格区域，则应用相邻相接各网格区域的同类型信息特征数据的均值作为该网格区域对应的该信息特征数据；然后进入步骤A3；
步骤A3. 获得目标区域中各网格区域分别对应预设历史时间段内预设类型各历史时刻下是否发生火情标签。
7.根据权利要求6所述一种基于联邦学习的森林火灾预测方法，其特征在于：所述指定各气象信息特征包括日均气压特征、日均气温特征、日均相对湿度特征、日降水量特征、日均风速特征、最大风速风向特征、日照时间特征、0厘米地表温度特征；所述指定各地理信息特征包括坡度特征、坡向特征、增强型植被指数EVI特征、到河道距离特征、到公路距离特征。
8.根据权利要求1所述一种基于联邦学习的森林火灾预测方法，其特征在于：所述步骤F中的预设评价指标包括损失值评价指标、AUC评价指标、准确度评价指标、以及召回率评价指标，用于评价联邦学习训练系统下深度神经网络模型训练过程中的效果。
9.一种实现权利要求1至8中任意一项所述一种基于联邦学习的森林火灾预测方法的系统，其特征在于：包括数据提取与处理模块、纵向联邦学习模块、森林火灾预测模型模块、森林火灾预测结果处理模块；
其中，数据提取与处理模块用于执行步骤A至步骤B；
纵向联邦学习模块用于协调两联邦学习客户端之间的通信和数据共享，以及协调两联邦学习客户端在CrypTen加密框架下进行基于联邦学习的深度神经网络的训练；
森林火灾预测模型模块根据来自数据提取与处理模块的数据，在纵向联邦学习模块的协调下，实现两联邦学习客户端在CrypTen加密框架下进行基于联邦学习的深度神经网络的训练，以及提供至少一种用于测试评价基于联邦学习的深度神经网络表现的验证方法；
森林火灾预测结果处理模块用于应用训练所获火情预测模型，实现目标区域各网格区域对应目标时刻的火情预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310115277.8A CN116612595A (zh) | 2023-02-15 | 2023-02-15 | 一种基于联邦学习的森林火灾预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310115277.8A CN116612595A (zh) | 2023-02-15 | 2023-02-15 | 一种基于联邦学习的森林火灾预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116612595A true CN116612595A (zh) | 2023-08-18 |
Family
ID=87678826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310115277.8A Pending CN116612595A (zh) | 2023-02-15 | 2023-02-15 | 一种基于联邦学习的森林火灾预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612595A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237804A (zh) * | 2023-09-15 | 2023-12-15 | 江苏三棱智慧物联发展股份有限公司 | 基于联邦学习的烟火识别系统及方法 |
| CN117575320A (zh) * | 2023-11-29 | 2024-02-20 | 中国科学院空天信息创新研究院 | 一种基于图卷积神经网络的森林火灾风险预测方法 |
| CN117933085A (zh) * | 2024-01-30 | 2024-04-26 | 北京中卓时代消防装备科技有限公司 | 一种基于大数据的火灾蔓延模拟模型训练方法及系统 |
-
2023
- 2023-02-15 CN CN202310115277.8A patent/CN116612595A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237804A (zh) * | 2023-09-15 | 2023-12-15 | 江苏三棱智慧物联发展股份有限公司 | 基于联邦学习的烟火识别系统及方法 |
| CN117237804B (zh) * | 2023-09-15 | 2024-02-13 | 江苏三棱智慧物联发展股份有限公司 | 基于联邦学习的烟火识别系统及方法 |
| CN117575320A (zh) * | 2023-11-29 | 2024-02-20 | 中国科学院空天信息创新研究院 | 一种基于图卷积神经网络的森林火灾风险预测方法 |
| CN117575320B (zh) * | 2023-11-29 | 2024-04-30 | 中国科学院空天信息创新研究院 | 一种基于图卷积神经网络的森林火灾风险预测方法 |
| CN117933085A (zh) * | 2024-01-30 | 2024-04-26 | 北京中卓时代消防装备科技有限公司 | 一种基于大数据的火灾蔓延模拟模型训练方法及系统 |
| CN117933085B (zh) * | 2024-01-30 | 2024-06-11 | 北京中卓时代消防装备科技有限公司 | 一种基于大数据的火灾蔓延模拟模型训练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116612595A (zh) | 一种基于联邦学习的森林火灾预测方法及系统 | |
| Bedi et al. | Empirical mode decomposition based deep learning for electricity demand forecasting | |
| Qiang et al. | Modeling land use and land cover changes in a vulnerable coastal region using artificial neural networks and cellular automata | |
| CN114220271B (zh) | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 | |
| WO2023029461A1 (zh) | 海量高维ais轨迹数据聚类方法 | |
| CN106780089B (zh) | 基于神经网络元胞自动机模型的永久性基本农田划定方法 | |
| CN107529651A (zh) | 一种基于深度学习的城市交通客流预测方法和设备 | |
| Li et al. | Application of the artificial neural network and support vector machines in forest fire prediction in the guangxi autonomous region, China | |
| Pham et al. | Hybrid model to improve the river streamflow forecasting utilizing multi-layer perceptron-based intelligent water drop optimization algorithm | |
| CN111079977A (zh) | 基于svd算法的异构联邦学习矿井电磁辐射趋势跟踪方法 | |
| CN113657607B (zh) | 一种面向联邦学习的连续学习方法 | |
| Biard et al. | Automated detection of weather fronts using a deep learning neural network | |
| CN114493052A (zh) | 多模型融合自适应新能源功率预测方法和系统 | |
| Saini et al. | Land use land cover change detection using remote sensing and GIS in Srinagar, India | |
| CN111242134A (zh) | 一种基于特征自适应学习的遥感影像地物分割方法 | |
| CN117171686A (zh) | 一种基于联邦学习的智能电网异常数据的检测方法及系统 | |
| Wang et al. | Filling gaps in significant wave height time series records using bidirectional gated recurrent unit and cressman analysis | |
| Seo et al. | Automatically inferring data quality for spatiotemporal forecasting | |
| Swaminathan et al. | A computational framework for modelling and analyzing ice storms | |
| Tian et al. | Estimation model of global ionospheric irregularities: an artificial intelligence approach | |
| CN111325384B (zh) | 一种结合统计特征和卷积神经网络模型的ndvi预测方法 | |
| Hou | Research on Management Efficiency and Dynamic Relationship in Intelligent Management of Tourism Engineering Based on Industry 4.0 | |
| Kong et al. | Deep Data Imputation for UAV Low-Altitude Sensing Considering Spatial-Temporal Interaction | |
| Tandon et al. | Comparison of different Machine Learning methods on Precipitation dataset for Uttarakhand | |
| Xiao | Estimating fire duration using regression methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |