CN117031582A - 递归时空学习及模拟监测融合的臭氧小时浓度预报方法 - Google Patents

递归时空学习及模拟监测融合的臭氧小时浓度预报方法 Download PDF

Info

Publication number
CN117031582A
CN117031582A CN202310768020.2A CN202310768020A CN117031582A CN 117031582 A CN117031582 A CN 117031582A CN 202310768020 A CN202310768020 A CN 202310768020A CN 117031582 A CN117031582 A CN 117031582A
Authority
CN
China
Prior art keywords
ozone
concentration
time
recursive
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310768020.2A
Other languages
English (en)
Inventor
朱云
张冰瑶
朱振华
游志强
黎杰
龙世程
李金盈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayun Chuangxin Guangdong Ecological Environment Technology Co ltd
South China University of Technology SCUT
Original Assignee
Huayun Chuangxin Guangdong Ecological Environment Technology Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayun Chuangxin Guangdong Ecological Environment Technology Co ltd, South China University of Technology SCUT filed Critical Huayun Chuangxin Guangdong Ecological Environment Technology Co ltd
Priority to CN202310768020.2A priority Critical patent/CN117031582A/zh
Publication of CN117031582A publication Critical patent/CN117031582A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
    • G01N33/0036—Specially adapted to detect a particular component
    • G01N33/0039—Specially adapted to detect a particular component for O3
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method, e.g. intermittent, or the display, e.g. digital
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method, e.g. intermittent, or the display, e.g. digital
    • G01N33/0067—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method, e.g. intermittent, or the display, e.g. digital by measuring the rate of variation of the concentration
    • G01N33/0068—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Abstract

本发明公开的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，包括以下步骤：S11、选择对臭氧预报重要度较高的气象因子，作为气象输入特征；S12、根据气象输入特征、臭氧模拟值和臭氧监测值，建立递归时空模型所需的数据集；S13、搭建递归时空模型，基于数据集进行递归时空模型的训练，同步捕捉抓取模式时空特征，预报站点臭氧小时浓度；S14、基于递归时空模型预报结果，通过Downscaler数据融合技术将其与模式结果耦合，实现区域水平的臭氧小时浓度预报。本发明使用Downscaler数据融合方法，融合递归时空模型结果与模式区域预报值，实现了区域范围的臭氧小时浓度精确预报，弥补了现有技术的缺陷。

Description

递归时空学习及模拟监测融合的臭氧小时浓度预报方法
技术领域
本发明属于臭氧浓度预报技术领域，更具体地，涉及一种递归时空学习及模拟监测融合的臭氧小时浓度预报方法。
背景技术
臭氧不仅是温室气体，还能够参与大气光化学反应引发光化学烟雾，对生态环境和人体健康造成不利影响。臭氧污染是由大气中的氮氧化物(NOX)和挥发性有机物(VOCs)等污染物在光照条件下发生光化学反应产生，当中涉及数以千计的大气化学反应，包含大量的非线性化学过程。此外，臭氧的生成和反应速率除与气象条件有关，还受到区域传输的臭氧及前体物浓度的影响，以上因素使臭氧污染的预测和防治面临较大的难度与挑战。
为实现对臭氧污染的科学防控，需要准确预测臭氧浓度。臭氧具有明显的日变化规律：通常清晨浓度较低，随着太阳照射往往在午后达到高值，之后随日照减弱浓度逐渐下降。现有预测主要为对臭氧日最大8小时均值和月度趋势的整体预测，均值掩盖了臭氧峰值浓度，无法体现臭氧的日变化规律。
传统的臭氧浓度预报方法包括统计预测和数值模式预测。统计预测通过拟合统计模型进行预测，其成本低、原理简单、易操作，然而忽略了排放源和大气物理化学机制等因素，对臭氧等非线性污染物的预测效果较差。数值模式预测通过模拟大气反应预测污染物浓度，相比统计预测具有更高的可解释性；但由于气象模拟、反应机理和排放清单具有较大的不确定性，预测结果仍然存在一定偏差。
近年来，通过数学建模对模式结果进行二次修正的方法也逐渐被应用于空气质量预报，该方法能够校正模式结果偏差，预测结果相对具有更高精度。然而传统偏差校正算法(如循环神经网络RNN和卷积神经网络CNN)只能单独考虑模式中的空间或时间关系，不能同时捕捉污染物的区域运输和时空累积特征，预报准确度仍然不能满足实际需求。此外，偏差修正方法只能对站点浓度进行预测，无法预测区域范围的浓度水平，不能服务于非站点区域的污染防控和空气质量保障。
现有的主流预测方法主要为对臭氧日均值和月度趋势的整体预测，如文质彬等通过拟合臭氧潜势指数预测臭氧日均值(利用臭氧潜势指数预报臭氧浓度的方法及装置，CN113514606A)；刘旗龙等通过订正预报模式，预测臭氧月均浓度(一种环境空气臭氧预报方法，CN 112965145 A)，目前鲜有方法能够精确预测臭氧小时浓度。
发明内容
为了至少解决现有技术中存在的技术问题之一，本发明提供递归时空学习及模拟监测融合的臭氧小时浓度预报方法，本发明集成了卷积循环网络和递归结构(卷积循环网络可以同时提取时间和空间特征，递归拓展了模型所处理的数据序列长度)，搭建了递归时空学习模型，有效提升了模式时空特征利用率和预测准确度；在此基础上进一步使用Downscaler方法，融合递归时空模型结果与模式区域预报值，实现了区域范围的臭氧小时浓度精确预报，弥补了现有技术的缺陷。
为了实现本发明目的，本发明提供的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，包括以下步骤：
S11、选择对臭氧预报重要度较高的特征因子，作为气象输入特征；
S12、根据气象输入特征、臭氧模拟值和臭氧监测值，建立递归时空模型所需的数据集；
S13、搭建递归时空模型，基于数据集进行递归时空模型的训练，同步捕捉抓取模式时空特征，预报站点臭氧小时浓度；
S14、基于递归时空模型预报结果，通过Downscaler数据融合技术将其与模式结果耦合，实现区域水平的臭氧小时浓度预报。
进一步地，S11步骤所述的选择对臭氧预报重要度较高的气象特征因子，具体过程为：
将WRF模式结果中的气象因子和监测臭氧浓度数据构建随机森林；
设特征变量在分裂前后的均方根误差分别为RA1和RA2，则杂质减少量为ΔRA＝RA1-RA2，计算特征变量均方根误差的平均减少量作为重要性分数
S113、根据特征的重要性分数进行排序，并根据排序选择灵敏因子。
进一步地，S12步骤所述的建立递归时空模型所需的数据集，具体过程为：
S121、获取预测时段的数值模式结果，包含气象特征因子和模式模拟值；
S122、获取臭氧监测数据并对监测数据进行预处理，优选地，为了保证数据的有效性和输入连续性，进行填补缺失值的预处理；
S123、整合S121和S122步骤的数值模式结果和臭氧监测数据，根据预设比例构建数据集。
进一步地，S13步骤所述的搭建递归时空模型，具体步骤为：
S131、以卷积结构连接输入到状态、状态到状态之间的转换，形成卷积时空层，公式如下所示；
it＝σ(Wi*xt+Ui*ht-1+Ki⊙ct-1+bi)
ft＝σ(Wf*xt+Uf*ht-1+Kf⊙ct-1+bf)
ot＝σ(Wo*xt+Uo*ht-1+Ko⊙ct-1+bo)
ct＝ft⊙ct-1+it⊙tanh(Wc*xt+Uc*ht-1+bc)
ht＝ot⊙tanh(ct)
式中，输入门it决定当前时刻信息输入信息的筛取，遗忘门ft决定上一时刻输入信息ct-1的筛取，输出门ot决定当前时刻输出信息ct的筛取，Wi、Ui、Ki、bi、Wf、Uf、bf、Wc、Uc、bc均为通过训练学习得到的参数；*为卷积运算；ht，ct为t时刻的隐状态和记忆单元；ht-1，ct-1为上一时刻的隐状态和记忆单元；/>是通过非线性函数得到的候选状态；xt为t时刻的训练集输入；xt，ht，ct，it，ft，ot均为三维张量，隐藏层h_t是保存和传输时间信息的基本参数；σ(·)为sigma函数；⊙是哈达玛积。
S132、将卷积时空层叠加，形成编码-预报结构，建立端到端的递归时空模型；递归时空模型的递归部分包括编码器和解码器，编码器和解码器能够拓展臭氧预报时间序列——编码器用于提取低层次、细粒度的特征图，解码器用于提取高层次、粗粒度的特征图。
进一步地，所述编码器和解码器的过程如下；
式中，x[t：t+23]，l，w，h是t到t+23时刻的气象以及臭氧模拟数据；yt-1，w，h是t-1时的监测臭氧浓度；是编码器的预报臭氧浓度；/>是解码器的预报臭氧浓度；γ是编码器的过程输出数据；w，h是网格域的宽和高；c是/>的通道数；l是气象因子和污染物浓度的特征总数；E(·)and D(·)分别表示编码器和解码器过程，解码器通过跳跃连接过程D(·)整合编码器的输出信息/>
进一步地，S13步骤所述的递归时空模型的训练，具体过程为：
采用平滑损失函数评估预报值和监测值之间的相对损失
式中，表示站点的臭氧预报浓度，Y表示站点的监测臭氧，N表示训练样本的数量；T表示预报时间；S表示预报站点的数量；i，j表示预报站点的行数和列数；n∈[1，N]，t∈[1，T]；β表示权重系数，yn，t，i，j是监测臭氧浓度，/>是递归时空模型预报臭氧浓度；
训练模型确定最佳权重，得到训练后的用于预测的递归时空模型。
进一步地，确定最佳权重时，将多个训练数据的梯度进行累积，达到指定累积次数后，使用累积梯度统一更新模型参数，当验证数据集的评估在预设次数的迭代中没有改善时，停止模型训练，一旦训练过程完成，保存模型参数以进行应用预报。
进一步地，利用自动机器学习工具的贝叶斯优化算法来确定最优超参数。
进一步地，S14步骤所述的基于递归时空模型预报结果，通过Downscaler数据融合技术将其与模式结果耦合，具体过程为；
S141、首先将网格中含有监测值的网格选取出来，建立坐标轴，其中，x轴为数值模式网格浓度平均值，y轴为CMAQ网格内所对应监测站点的监测值；
S142、Downscaler数据融合方法根据监测值浓度与数值模式模拟浓度之间的关系，并结合输入数据计算出空间区域中新位置处的预测浓度，过程关系式如下：
Y(s，t)＝～β0(s，t)+～β1(s，t)*～x(s，t)+ε(s，t)
其中，Y(s，t)是s位置t时间的臭氧预测“监测”浓度；～x(s，t)是s位置t时间污染物的数值模式模拟浓度值；～β0(s，t)是截距，～β0(s，t)＝β0+β0(s，t)，β0表示数值模式模型的加法总偏差，β0(s，t)是对加法偏差的局部调整；～β1(s，t)是斜率，～β1(s，t)＝β1+β1(s，t)，β1表示数值模式模型的乘法总偏差，β1(s，t)是对乘法偏差的局部调整，β0(s，t)和β1(s，t)均表示空间变换系数；ε(s，t)表示误差。
与现有技术相比，本发明至少能够实现以下有益效果：
本发明集成了卷积循环网络和递归结构，实现了区域范围的臭氧小时浓度预测，能反映预测日的臭氧峰值浓度水平和高值持续时长，能够把握预测日的臭氧变化趋势，有助于环境管理部门科学建立臭氧污染精细化防控体系，为污染天的臭氧峰值浓度削减做出贡献，便于严控臭氧污染，进一步提升环境质量，为环境保护做出贡献；此外，本发明能够预测区域范围的浓度水平，能够为广大区域的污染防控和空气质量提供保障。
附图说明
图1为本发明实施例提供的递归时空学习及模拟监测融合的臭氧小时浓度预报方法流程图。
图2为本发明实施例提供的预报区域地图示意图。
图3为本发明实施例中计算得出的气象因子重要性排序示意图。
图4为递归时空模型、模式模拟值、卷积神经网络和长短期记忆网络预测的臭氧小时浓度的性能比较示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明的发明目的作进一步详细地描述，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
请参阅图1，本发明提供的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，包括以下步骤：
步骤1：划定研究区域、时段，准备基础数据，建立数据集。
在本发明的其中一些实施例中，采用递归时空学习及模拟监测融合进行预报区域(如(某省的B、C、E三市)未来三天臭氧小时浓度预报。模式模拟结果包括气象模式和空气质量模式两部分，使用3.9.1版本的中尺度气象模式WRF进行气象模拟，采用5.3版本的空气质量模式CMAQ进行臭氧浓度模拟预报，得到待预报区域某年(如2023年)的气象模拟和臭氧预报数据；从省、市级大气监测网站获取污染物的小时监测数据；从气象站获取小时气象监测数据。此处的具体版本只是一个具体的示例，不构成对保护范围的限制。
步骤2：特征因子提取
数值模式输出结果存在若干气象因子，为剔除对预报影响较小的因子、提高模型预报准确性和效率，利用随机森林平均杂质减少量的评价方法，择取重要度较高的气象因子。
在本发明的其中一些实施例中，WRF气象模式输出结果中存在17个对臭氧影响各异的气象因子，遴选出对臭氧预报影响重要度较高的气象因子作为输入特征，可以减少输入数据噪声，剔除对预报影响较小的因子，提高模型预报准确性和效率。
其中，选择灵敏因子的步骤包括：将WRF模式结果中的气象因子和监测臭氧浓度数据构建随机森林，对每个特征计算重要性分数然后根据特征的重要性分数对特征进行排序，并选择重要性分数排名靠前的特征。在本发明的其中一些实施例中，结果如图3所示，选择重要度排名前六的气象因子作为输入特征，包括温度、湿度、风速、边界层高度、到达地面的短波辐射、对流速度尺度。
设特征变量在分裂前后的均方根误差分别为RA1和RA2，则杂质减少量为ΔRA＝RA1-RA2，计算特征变量均方根误差的平均减少量作为衡量特征变量重要性的指标，即重要性分数 的值越大，代表特征变量的重要性越高：
步骤3：构建研究区域的递归时空学习模型。
构建递归时空学习模型，对研究区域的未来预设时间(如72小时)的臭氧浓度值进行预报。模型的输入x(t：t+23)以及初始场y(t-1)的维数分别是24*I*w*h和1*w*h的矩阵，其中I是择取出的灵敏因子以及模拟臭氧污染物浓度的数量总和。输出y_(t：t+23)是一个维数为24*1*w*h的矩阵，其中x代表数值模式模拟值，t代表预报时刻，y代递归时空模型的模拟输出值。
在训练阶段，使用WRF-CMAQ模拟的未来24个时间步长数据x_(t：t+23)，作为预报臭氧浓度y_(t：t+23)的输入，同时加入浓度初始场y_(t-1)作为网络初始化参数进行训练。
在预报阶段，对未来首日臭氧浓度进行预报，过程与训练阶段一致。预报次日臭氧浓度时，输入″数据″为WRF-CMAQ次日模拟值，初始浓度场为预报首日最后一个小时臭氧浓度值。依次类推，预报第三日臭氧浓度时，输入为WRF-CMAQ当日模拟值，初始浓度场为模型提供的次日最后一个小时臭氧浓度。
搭建递归时空模型：递归时空模型中，递归部分包括编码器和解码器，编码器和解码器是通过卷积时空层叠加形成，具体步骤为：
S131、为了更好地模拟时空关系，扩展传统的全连接层记忆网络模型，以卷积结构连接输入到状态、状态到状态之间的转换，形成卷积时空层，公式如下所示；
it＝σ(Wi*xt+Ui*ht-1+Ki⊙ct-1+bi)
ft＝σ(Wf*xt+Uf*ht-1+Kf⊙ct-1+bf)
ot＝σ(Wo*xt+Uo*ht-1+Ko⊙ct-1+bo)
ct＝ft⊙ct-1+it⊙tanh(Wc*xt+Uc*ht-1+bc)
ht＝ot⊙tanh(ct)
式中，输入门it决定当前时刻信息输入信息的筛取，遗忘门ft决定上一时刻输入信息ct-1的筛取，输出门ot决定当前时刻输出信息ct的筛取，Wi、Ui、Ki、bi、Wf、Uf、bf、Wc、Uc、bc均为可通过训练学习得到的参数；*为卷积运算；ht，ct为t时刻的隐状态和记忆单元；ht-1，ct-1为上一时刻的隐状态和记忆单元；/>是通过非线性函数得到的候选状态；xt为t时刻的训练集输入；xt，ht，ct，it，ft，ot均为三维张量，隐藏层h_t是保存和传输时间信息的基本参数；σ(·)为sigma函数；⊙是哈达玛积(Hadamard product)。
S132、将卷积时空层叠加，形成编码-预报结构(Encoder-Decoder structure)，建立端到端的递归时空模型；递归时空模型包括编码器(Encoder)和解码器(Decoder)，编码器擅长提取低层次、细粒度的特征图，解码器擅长提取高层次、粗粒度的特征图，使模型可以识别气象和污染物的局部及区域影响，具体编码器和解码器过程如下；
式中x[t：t+23]，l，w，h是t到t+23时刻的气象以及臭氧模拟数据；yt-1，w，h是t-1时的监测臭氧浓度；是编码器的预报臭氧浓度；/>是解码器的预报臭氧浓度；γ是编码器的过程输出数据；w，h是网格域的宽和高；c是/>的通道数；l是气象因子和污染物浓度的特征总数；E(·)and D(·)分别表示编码器和解码器过程，解码器通过跳跃连接过程D(·)整合编码器的输出信息/>
在Python 3.8环境中使用Pytorch平台训练递归时空模型，以确定最佳参数。采用平滑L1损失函数计算递归时空模型预报臭氧和监测臭氧Y之间的相对损失/>使用不同的权重输入到模型中，对臭氧峰值时刻给予更大的权重来平衡全局和峰值准确度，选择在验证集达到最佳性能的权重。
式中，N表示训练样本的数量；T表示预报时间；S表示监测站的数量；i，j表示监测站的行数和列数；n∈[1，N]，t∈[1，T]。yn，t，i，j是监测臭氧浓度，是递归时空模型预报臭氧浓度；β表示权重系数，它通过对峰值时刻给予更大的权重来平衡全局准确度和峰值准确度。在本发明的其中一些实施例中，对臭氧浓度超过70μg/m3(12：00-19：00)的时间段进行权重分配。通过使用不同的权重输入到递归时空模型中，确定最佳权重值，最后选择在验证集上达到最佳峰值性能的权重。
在本发明的其中一些实施例中，选择已被证明对不同类型深度网络有效的Adam作为自适应随机梯度下降(SGD)算法，权重正则化为0.0001。一旦训练过程完成，将保存模型参数(包括权重和偏差)以进行应用预报。由于超参数调整的复杂性很高，利用自动机器学习工具Neural Network Intelligence(NNI)的贝叶斯优化算法来确定最优超参数。贝叶斯优化算法是一种基于贝叶斯理论的优化方法，该方法通过建立一个包含先验分布和后验分布的模型来选择下一个超参数的值，从而最小化目标函数。在NNI中，贝叶斯优化算法用于搜索最优超参数组合，以最小化模型的验证误差。直到达到最大迭代次数或目标函数收敛。贝叶斯优化算法可以自动地在搜索空间内寻找递归时空模型的最优超参数组合，从而提高模型的性能和泛化能力，在本发明的其中一些实施例中，得到的主要超参数见表1。
表1递归时空模型的主要超参数
训练过程从三个方面确保模型的鲁棒性：
(1)模型结构：受计算机视觉任务的启发，采用层归一化、L2正则化来提高泛化和鲁棒性；
(2)提前停止：当训练时，将数据分为训练和验证数据集，当验证数据集中的评估在预设次数(如10次)的迭代中没有改善时，停止模型训练；
(3)梯度累积：这是一个通过时间换空间的优化措施，将多个Batch训练数据的梯度进行累积，在达到指定累积次数后，使用累积梯度统一更新一次模型参数，以达到一个较大Batch Size的模型训练效果。
步骤4：基于Downscaler修正CMAQ臭氧区域模拟。
递归时空模型是基于数值模式的偏差修正方法，偏差修正法只能对站点浓度进行预测，无法预测区域范围的浓度水平，不能服务于非站点区域的污染防控和空气质量保障。因此为实现区域范围的臭氧浓度精准预测，基于递归时空模型的站点预报结果，利用Downscaler技术进一步修正CMAQ臭氧区域模拟值，得到更高准确度的区域臭氧预报浓度。
准备输入数据，包括递归时空模型预报的多站点臭氧浓度数据、CMAQ预报的区域臭氧浓度数据，以及预报区域的地理位置图(shp格式)。
选取模式结果中含有监测值的网格，建立坐标轴(x轴为网格模式浓度平均值，y轴为网格内对应站点的监测值，它们之间存在一定的回归函数关系)；
Downscaler数据融合方法根据监测值浓度与数值模式模拟浓度之间的关系，基于输入数据和该种关系计算出空间区域中新位置处的预测浓度，可应用于每个时间步长的臭氧污染物的预测值分析，过程关系式如下：
Y(s，t)＝～β0(s，t)+～β1(s，t)*～x(s，t)+ε(s，t)
其中Y(s，t)是s位置t时间的臭氧预测“监测”浓度，即Downscaler方法得到的臭氧区域预报结果；～x(s，t)是s位置t时间污染物的数值模式模拟浓度值；～β0(s，t)是截距，～β0(s，t)＝β0+β0(s，t)，β0表示数值模式模型的加法总偏差(在本发明的其中一些实施例中，数值模式模型为WRF-CMAQ模型)，β0(s，t)是对加法偏差的局部调整；～β1(s，t)是斜率，～β1(s，t)＝β1+β1(s，t)，β1表示数值模式模型的乘法总偏差，β1(s，t)是对乘法偏差的局部调整，β0(s，t)和β1(s，t)均表示空间变换系数；ε(s，t)表示误差。
步骤5：模型性能评价。
选择预报区域连续三天出现大面积臭氧污染的时段作为测试样本，将Downscaler数据融合方法应用到测试样本，并用留一法定量评估融合后的区域预报性能。首先，去掉50个站点中的任意一个站点，然后用剩余的49个站点的递归时空模型预报值与所有CMAQ网格预报数据一起执行数据融合过程，执行完毕后得到被去掉站点所在位置的融合后模型网格值；上述流程在每个站点均循环执行一次(即去掉一次)，得到相应站点位置的融合后模型网格值，最后将监测值与融合后模型网格值进行验证，得到50个站点性能评价指标的平均值。如表2所示，CMAQ模式与递归时空模型进行数据融合后，区域预报准确度出现了较大幅度的提升：CMAQ模式的三天平均R为0.617，MAE为39.683μg/m3，RMSE为45.368μg/m3，NME为21.689％，而融合后的R为0.663，MAE为25.215μg/m3，RMSE为30.138μg/m3，NME为13.769％，相比CMAQ模拟值R提高了7.762％，MAE提高了33.554％，RMSE提高了31.219％，NME提高了33.554％。
表2CMAQ预报臭氧和CMAQ经RSDL数据融合后预报臭氧的性能对比
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，包括以下步骤：
S11、选择对臭氧预报重要度较高的气象因子，作为气象输入特征；
S12、根据气象输入特征、臭氧模拟值和臭氧监测值，建立递归时空模型所需的数据集；
S13、搭建递归时空模型，基于数据集进行递归时空模型的训练，同步捕捉抓取模式时空特征，预报站点臭氧小时浓度；
S14、基于递归时空模型预报结果，通过Downscaler数据融合技术将其与模式结果耦合，实现区域水平的臭氧小时浓度预报。
2.根据权利要求1所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，S11步骤所述的选择对臭氧预报重要度较高的气象特征因子，具体过程为：
将气象因子和监测臭氧浓度数据构建随机森林；
设特征变量在分裂前后的均方根误差分别为RA1和RA2，则杂质减少量为ΔRA＝RA1-RA2，计算特征变量均方根误差的平均减少量作为重要性分数
根据特征的重要性分数进行排序，并根据排序选择特征因子。
3.根据权利要求1所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，S12步骤所述的建立递归时空模型所需的数据集，具体过程为：
S121、获取预测时段的数值模式结果，包含气象输入特征和模式模拟值；
S122、获取臭氧监测数据并对监测数据进行预处理；
S123、整合S121和S122步骤的数值模式结果和臭氧监测数据，根据预设比例构建数据集。
4.根据权利要求1所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，所述预处理包括填补缺失值。
5.根据权利要求1所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，S13步骤所述的搭建递归时空模型，具体步骤为：
以卷积结构连接输入到状态、状态到状态之间的转换，形成卷积时空层，公式表示为；
it＝σ(Wi*xt+Ui*ht-1+Ki⊙ct-1+bi)
ft＝σ(Wf*xt+Uf*ht-1+Kf⊙ct-1+bf)
ot＝σ(Wo*xt+Uo*ht-1+Ko⊙ct-1+bo)
ct＝ft⊙ct-1+it⊙tanh(Wc*xt+Uc*ht-1+bc)
ht＝ot⊙tanh(ct)
式中，输入门it决定当前时刻信息输入信息的筛取，遗忘门ft决定上一时刻输入信息ct-1的筛取，输出门ot决定当前时刻输出信息ct的筛取，Wi、Ui、Ki、bi、Wf、Uf、bf、Wc、Uc、bc均为通过训练学习得到的参数；*为卷积运算；ht，ct为t时刻的隐状态和记忆单元；ht-1,ct-1为上一时刻的隐状态和记忆单元；/>是通过非线性函数得到的候选状态；xt为t时刻的训练集输入；xt，ht，ct，it，ft，ot均为三维张量，隐藏层h_t是保存和传输时间信息的基本参数；σ(·)为sigma函数；⊙是哈达玛积：
将卷积时空层叠加，形成编码-预报结构，建立端到端的递归时空模型；递归时空模型的递归部分包括编码器和解码器，编码器和解码器能够拓展臭氧预报时间序列——编码器用于提取低层次、细粒度的特征图，解码器用于提取高层次、粗粒度的特征图。
6.根据权利要求5所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，所述编码器和解码器的过程如下；
式中，x[t:t+23],l,w,h是t到t+23时刻的气象以及臭氧模拟数据；yt-1,w,h是t-1时的监测臭氧浓度；是编码器的预报臭氧浓度；/>是解码器的预报臭氧浓度；γ是编码器的过程输出数据；w,h是网格域的宽和高；c是/>的通道数；l是气象因子和污染物浓度的特征总数；E(·)andD(·)分别表示编码器和解码器过程，解码器通过跳跃连接过程D(·)整合编码器的输出信息/>
7.根据权利要求1所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，S13步骤所述的递归时空模型的训练，具体过程为：
采用平滑损失函数评估预报值和监测值之间的相对损失
式中，表示站点的臭氧预报浓度，Y表示站点的监测臭氧，N表示训练样本的数量；T表示预报时间；S表示预报站点的数量；i,j表示预报站点的行数和列数；n∈[1,N],t∈[1,T]；β表示权重系数，yn,t,i,j是监测臭氧浓度，/>是递归时空模型预报臭氧浓度；
训练模型确定最佳权重，得到训练后的用于预测的递归时空模型。
8.根据权利要求7所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，确定最佳权重时，将多个训练数据的梯度进行累积，达到指定累积次数后，使用累积梯度统一更新模型参数，当验证数据集的评估在预设次数的迭代中没有改善时，停止模型训练，一旦训练过程完成，保存模型参数以进行应用预报。
9.根据权利要求8所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，利用自动机器学习工具的贝叶斯优化算法来确定最优超参数。
10.根据权利要求1-9任一所述的递归时空学习及模拟监测融合的臭氧小时浓度预报方法，其特征在于，S14步骤所述的基于Downscaler技术，耦合递归时空模型与模式的预报结果，具体过程为；
S141、将网格中含有监测值的网格选取出来，建立坐标轴，其中，x轴为数值模式网格浓度平均值，y轴为CMAQ网格内所对应监测站点的监测值；
S142、Downscaler数据融合方法根据监测值浓度与数值模式模拟浓度之间的关系，并结合输入数据计算出空间区域中新位置处的预测浓度，过程关系式如下：
Y(s,t)＝～β0(s,t)+～β1(s,t)*～x(s,t)+ε(s,t)
其中，Y(s,t)是s位置t时间的臭氧预测“监测”浓度；～x(s,t)是s位置t时间污染物的数值模式模拟浓度值；～β0(s,t)是截距，～β0(s,t)＝β0+β0(s,t)，β0表示数值模式模型的加法总偏差，β0(s,t)是对加法偏差的局部调整；～β1(s,t)是斜率，～β1(s,t)＝β1+β1(s,t)，β1表示数值模式模型的乘法总偏差，β1(s,t)是对乘法偏差的局部调整，β0(s,t)和β1(s,t)均表示空间变换系数；ε(s,t)表示误差。
CN202310768020.2A 2023-06-27 2023-06-27 递归时空学习及模拟监测融合的臭氧小时浓度预报方法 Pending CN117031582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310768020.2A CN117031582A (zh) 2023-06-27 2023-06-27 递归时空学习及模拟监测融合的臭氧小时浓度预报方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310768020.2A CN117031582A (zh) 2023-06-27 2023-06-27 递归时空学习及模拟监测融合的臭氧小时浓度预报方法

Publications (1)

Publication Number Publication Date
CN117031582A true CN117031582A (zh) 2023-11-10

Family

ID=88632482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310768020.2A Pending CN117031582A (zh) 2023-06-27 2023-06-27 递归时空学习及模拟监测融合的臭氧小时浓度预报方法

Country Status (1)

Country Link
CN (1) CN117031582A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117332906A (zh) * 2023-12-01 2024-01-02 山东大学 基于机器学习的三维时空网格空气质量预测方法及系统
CN117827863A (zh) * 2024-03-04 2024-04-05 中国气象科学研究院 基于cldas数据库的大气环境监测分析方法及系统
CN117827863B (zh) * 2024-03-04 2024-05-10 中国气象科学研究院 基于cldas数据库的大气环境监测分析方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108836A (zh) * 2017-12-15 2018-06-01 清华大学 一种基于时空深度学习的臭氧浓度分布预测方法和系统
CN111310386A (zh) * 2020-02-13 2020-06-19 北京中科锐景科技有限公司 一种近地面臭氧浓度估算方法
CN112965145A (zh) * 2020-12-16 2021-06-15 陕西省环境监测中心站 一种环境空气臭氧预报方法
CN114897250A (zh) * 2022-05-22 2022-08-12 浙江农林大学 融合空间和统计特征的cnn-gru臭氧浓度预测模型建立方法、预测方法及模型
CN114898820A (zh) * 2022-04-12 2022-08-12 江苏蓝创智能科技股份有限公司 基于多模式空气质量模型用于臭氧与颗粒物预测预警的方法
CN115169646A (zh) * 2022-06-13 2022-10-11 中南大学 利用葵花八号卫星数据的小时级地表臭氧浓度遥感方法
WO2023056682A1 (zh) * 2021-10-09 2023-04-13 中国人民解放军国防科技大学 基于人工智能的臭氧层预报算法
CN116013426A (zh) * 2022-10-18 2023-04-25 北京首创大气环境科技股份有限公司 一种高时空分辨率的站点臭氧浓度预测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108836A (zh) * 2017-12-15 2018-06-01 清华大学 一种基于时空深度学习的臭氧浓度分布预测方法和系统
CN111310386A (zh) * 2020-02-13 2020-06-19 北京中科锐景科技有限公司 一种近地面臭氧浓度估算方法
CN112965145A (zh) * 2020-12-16 2021-06-15 陕西省环境监测中心站 一种环境空气臭氧预报方法
WO2023056682A1 (zh) * 2021-10-09 2023-04-13 中国人民解放军国防科技大学 基于人工智能的臭氧层预报算法
CN114898820A (zh) * 2022-04-12 2022-08-12 江苏蓝创智能科技股份有限公司 基于多模式空气质量模型用于臭氧与颗粒物预测预警的方法
CN114897250A (zh) * 2022-05-22 2022-08-12 浙江农林大学 融合空间和统计特征的cnn-gru臭氧浓度预测模型建立方法、预测方法及模型
CN115169646A (zh) * 2022-06-13 2022-10-11 中南大学 利用葵花八号卫星数据的小时级地表臭氧浓度遥感方法
CN116013426A (zh) * 2022-10-18 2023-04-25 北京首创大气环境科技股份有限公司 一种高时空分辨率的站点臭氧浓度预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
危浩: "空气质量模拟与监测数据融合方法优化及应用", 中国优秀硕士学位论文全文数据库（电子期刊） 工程科技Ⅰ辑, 15 June 2018 (2018-06-15), pages 027 - 267 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117332906A (zh) * 2023-12-01 2024-01-02 山东大学 基于机器学习的三维时空网格空气质量预测方法及系统
CN117332906B (zh) * 2023-12-01 2024-03-15 山东大学 基于机器学习的三维时空网格空气质量预测方法及系统
CN117827863A (zh) * 2024-03-04 2024-04-05 中国气象科学研究院 基于cldas数据库的大气环境监测分析方法及系统
CN117827863B (zh) * 2024-03-04 2024-05-10 中国气象科学研究院 基于cldas数据库的大气环境监测分析方法及系统

Similar Documents

Publication Publication Date Title
CN113919448B (zh) 一种任意时空位置二氧化碳浓度预测影响因素分析方法
Chiteka et al. Prediction of global horizontal solar irradiance in Zimbabwe using artificial neural networks
CN108388956B (zh) 考虑辐射衰减的光伏功率预测方法
Chang-Hoi et al. Development of a PM2. 5 prediction model using a recurrent neural network algorithm for the Seoul metropolitan area, Republic of Korea
Bocco et al. Comparison of regression and neural networks models to estimate solar radiation
CN105974495B (zh) 利用分类拟合法预判目标区域未来平均云量的方法
CN108399470B (zh) 一种基于多示例遗传神经网络的室内pm2.5预测方法
CN117031582A (zh) 递归时空学习及模拟监测融合的臭氧小时浓度预报方法
CN114578457B (zh) 一种基于进化集成学习的大气污染物浓度时空预测方法
Delussu et al. Experiments and comparison of digital twinning of photovoltaic panels by machine learning models and a cyber-physical model in modelica
Sun et al. Spatial-temporal prediction of air quality based on recurrent neural networks
CN116013426A (zh) 一种高时空分辨率的站点臭氧浓度预测方法
CN114862032B (zh) 一种基于XGBoost-LSTM的电网负荷预测方法及装置
CN113108918A (zh) 一种极轨气象卫星热红外遥感数据反演气温方法
Raoult et al. Evaluating and optimizing surface soil moisture drydowns in the ORCHIDEE land surface model at in situ locations
CN116663719A (zh) 一种洪水风险预测方法、系统及电子设备
CN113011455B (zh) 一种空气质量预测svm模型构建方法
CN114723188A (zh) 水质预测方法、装置、计算机设备和存储介质
CN117272851B (zh) 一种盐碱地光伏板下植物接收光量的建模预测方法
CN113591957A (zh) 基于lstm和马尔科夫链的风电出力短期滚动预测与校正方法
CN111967652B (zh) 一种双层协同实时校正光伏预测方法
CN114116840A (zh) 一种人工增雨效果的评估方法
CN116449460B (zh) 基于卷积UNet和迁移学习的区域月降水预测方法及系统
Dai et al. Large-scale spatiotemporal deep learning predicting urban residential indoor PM2. 5 concentration
Shi Global pattern and mechanism of terrestrial evapotranspiration change indicated by weather stations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination