CN111612254A - 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法 - Google Patents

基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法 Download PDF

Info

Publication number
CN111612254A
CN111612254A CN202010443547.4A CN202010443547A CN111612254A CN 111612254 A CN111612254 A CN 111612254A CN 202010443547 A CN202010443547 A CN 202010443547A CN 111612254 A CN111612254 A CN 111612254A
Authority
CN
China
Prior art keywords
attention
lstm
model
short term
term memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010443547.4A
Other languages
English (en)
Other versions
CN111612254B (zh
Inventor
张玉钧
谢皓
何莹
尤坤
李潇毅
范博强
余冬琪
李梦琪
雷博恩
刘建国
刘文清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202010443547.4A priority Critical patent/CN111612254B/zh
Publication of CN111612254A publication Critical patent/CN111612254A/zh
Application granted granted Critical
Publication of CN111612254B publication Critical patent/CN111612254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)

Abstract

本发明公开了一种改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法，包括：1、利用PEMS和OBD检测设备共同采集机动车尾气排放数据；2、对尾气排放数据集进行缺失数据补偿和归一化预处理；3、建立改进Attention‑Bi‑LSTM注意力双向长短期记忆网络模型；4、采用预实验确定模型的超参数；5、采用自适应学习率算法优化模型参数，完成预测模型训练。本发明能充分考虑影响道路机动车尾气排放的各特征因素，提高尾气排放预测精度并具有较大的适用范围，从而能有效缩短PEMS尾气排放测试时间，降低人力、资源和时间成本的消耗。

Description

基于改进注意力双向长短期记忆网络的道路机动车尾气排放 预测方法
技术领域
本发明涉及道路机动车尾气排放预测算法技术领域，尤其是一种基于改进双向长短期记忆网络的实际道路污染物排放预测方法。
背景技术
近年来全国机动车保有量迅猛增长，致使道路机动车尾气排放成为污染城市环境的主要因素之一，采取行之有效的道路机动车尾气排放监控手段，对于改善城市空气质量具有重要的意义。目前，针对道路机动车尾气排放监控的常用方法，主要有：底盘测功法、隧道测试法、激光遥测法、烟羽追逐测量法、车载便携式排放(Portable EmissionMeasurement System,PEMS)测量法。底盘测功法的实验结果无法反映机动车的实际道路排放情况，隧道测试法受制于特殊的地理环境条件，激光遥测法易受到外界环境干扰，测量准确率不高，烟羽追逐测量法需要实验车辆搭载测试设备跟踪追逐待测车辆，测量方式虽易于执法，但准确度不及车载尾气检测设备测量法。PEMS作为机动车尾气道路检测中，最精确的测量方式，已被我国环境保护部和国家质检总局写入国家第六阶段机动车污染物排放标准中，作为新型车辆上路前的必检环节之一。
然而，在PEMS的实际使用过程中，存在以下几点问题：
(1)道路机动车尾气排放测试开始前，PEMS中火焰离子化检测(Flame IonizationDetector,FID)模块的加热管线和燃料经济性计量(Fuel Economy Metric,FEM)模块的光学检测气室分别需要预热半小时和一小时左右。
(2)PEMS仪器预热完成后，需进行待测气体的标零、标定工作，该工作不仅需要混合气、NO2和N2三类标准样气瓶和FID点燃助剂H2气瓶，而且需要受过培训的专业技术人员进行操作，致使检测前提条件较为苛刻，需耗费一定的人力、资源和时间成本。
(3)PEMS实际道路污染物排放测试过程中，FEM、NOx和FID模块时常会出现设备故障、与上位机通信中断等情况，需要相关专业技术人员全程陪同跟车，造成人力资源和时间的浪费以及一定的安全隐患。
(4)PEMS在两小时左右的连续监测后，随着测量时间的推移，尾气排放测试数据的基线漂移现象愈发明显，降低了检测精度。
发明内容
本发明为克服现有技术的不足之处，提供一种基于改进的深度学习网络的道路机动车尾气排放预测方法，以期能充分考虑影响道路机动车尾气排放的各特征因素，提高尾气排放预测精度并具有较大的适用范围，从而能有效缩短PEMS尾气排放测试时间，降低人力、资源和时间成本的消耗，且能解决实际PEMS测试过程中，因检测设备长时间工作和故障等原因，造成的尾气排放监测数据漂移和缺失问题，起到关键尾气排放数据段修复的作用。
为实现上述目的，本发明采用下述技术方案：
本发明一种基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法的特点包括：
步骤1、利用PEMS检测设备和OBD车载诊断系统共同采集道路机动车在p天的尾气排放数据，且每天采集q个工况的数据，每个工况采集时间为T，从而得到包含m个特征的n＝p×q×T条尾气排放数据集，记为Dorigin＝(dij)n×m，其中，dij表示第i个采集时间下的第j个特征值；1≤i≤n；1≤j≤m；
步骤2、对尾气排放数据集Dorigin＝(dij)n×m进行缺失数据补偿和归一化的预处理，从而得到尾气排放特征矩阵，记为Dscaled＝(d′ij)n×m；其中，d′ij表示预处理后的第i个采集时间下的第j个特征值；将所述归一化后的数据集特征矩阵Dscaled划分为训练集Dtrain和验证集Dverify，其中，训练集Dtrain的特征维数为m-1，验证集Dverify的特征维数为1，且验证集Dverify为模型预测尾气排放数据的真实值；
步骤3、建立由输入层、隐藏层、Attention层、全连接层和输出层所组成的改进Attention-Bi-LSTM注意力双向长短期记忆网络模型，并初始化模型自身参数，定义时间步长为λ和预测时刻为t；
令所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的输入层的数据结构为Dtrain＝{d(t-λ)j,...,dtj,...,d(t+λ)j},j＝1,2,...,m-1；dtj表示预测时刻t下的第j个特征值；
令所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的隐藏层包括前向LSTM网络和后向LSTM网络；
所述前向LSTM网络的输入为dt-λ,...,dt...,dt+λ；dt表示预测时刻t下的m-1个特征值；
所述前向LSTM网络的前向状态输出为
Figure BDA0002504811030000021
Figure BDA0002504811030000022
表示预测时刻t下的前向LSTM网络的隐藏层状态输出；
所述后向LSTM网络的输入为dt+λ,...,dt...,dt-λ；
所述后向LSTM网络的后向状态输出为
Figure BDA0002504811030000031
Figure BDA0002504811030000032
表示预测时刻t下的后向LSTM网络的隐藏层状态输出；
令所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的隐藏层的输出由前向状态输出为
Figure BDA0002504811030000033
和后向状态输出为
Figure BDA0002504811030000034
构成，并记为
Figure BDA0002504811030000035
ht表示预测时刻t下的隐藏层的状态输出；
利用式(1)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的Attention层中的匹配打分函数F(hi,Hk)：
F(hi,Hk)＝VTtanh(W1hi+W2Hk) (1)
式(1)中，hi表示第i个隐藏层的隐藏状态输出，Hk表示第k个输出层的隐藏状态输出；tanh()表示双曲正切函数，矩阵V、W1、W2为Attention注意力模型参数，并通过网络训练得到，且维数分别为d3×1、d3×d1和d3×d2，其中，d1、d2、d3分别为hi、Hk、V的维数，VT表示参数V的转置；
利用式(2)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的全连接层中第i个隐藏层和第k个输出层之间的权重向量aik：
Figure BDA0002504811030000036
式(2)中，softmax()表示逻辑回归函数；
利用式(3)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的全连接层中的第k个输出矢量ck为：
Figure BDA0002504811030000037
利用式(4)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的输出层在预测时刻t下的状态输出Ht：
Ht＝Bi-LSTM(Ht-1,yt-1,Ht+1,yt+1,ct) (4)
式(4)中，Bi-LSTM()表示双向LSTM网络；
步骤4、基于所述训练集Dtrain采用预实验确定模型的超参数，包括：隐藏层单元数、时间步长、训练批次、训练迭代次数、训练周期和学习速率；
在一定范围内按照单一变量原则调节超参数，并以所述验证集Dverify为参考指标，当MAE平均绝对误差从下降转为增长时，确定最佳超参数；
步骤5、将所述训练集Dtrain输入设置好超参数的Attention-Bi-LSTM注意力双向长短期记忆网络模型中进行训练，在训练过程中采用自适应学习率算法Adam作为梯度下降算法优化模型的自身参数，得到道路机动车尾气排放预测模型，以实现对未来尾气排放数据的预测。
与现有技术相比，本发明的有益效果为：
1、本发明使用改进的Attention-Bi-LSTM注意力双向长短期记忆网络预测模型，能预测未来较长时间段的机动车尾气排放数据，缩短了PEMS车载实验测试时间，减少了时间、资源和人力成本的浪费，并降低了长时间车载PEMS道路测试，可能对专业技术人员造成的安全隐患。
2、本发明使用前后时间关联的尾气排放数据特征因素，输入训练完成的Attention-Bi-LSTM注意力双向长短期记忆网络模型，修复了PEMS机动车尾气排放监测过程中，因PEMS设备故障、上位机通信中断等原因，造成的关键尾气排放数据段缺失。
3、本发明在神经网络中引入Attention机制，通过对预测节点前后时序数据赋予相关性权重，将该机制用于PEMS的监测，解决了长时间尾气监测造成的基线漂移问题，从而提高了PEMS的检测精度。
4、本发明使用Bi-LSTM双向网络，可对预测节点的前后时序进行关联，提高了预测的准确性。
5、本发明使用自适应学习率算法Adam，避免了因随机梯度下降而使模型陷入局部最优的风险，提高了预测模型的泛化能力。
附图说明
图1为本发明PEMS道路机动车尾气排放预测方法的流程示意图；
图2为本发明Attention-Bi-LSTM网络示意图；
图3为本发明Bi-LSTM结构示意图；
图4为LSTM单元结构示意图；
图5为模型训练损失函数示意图；
图6为WLTC工况下PEMS尾气排放检测实验图；
图7为WLTC工况下CO预测与实际排放的对比图；
图8为WLTC工况下NO预测与实际排放的对比图；
图9为WLTC工况下NO2预测与实际排放的对比图；
图10为WLTC工况下THC预测与实际排放的对比图。
具体实施方式
本实施例中，如图1所示，一种基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法是按如下步骤进行：
步骤1、利用PEMS检测设备和OBD车载诊断系统共同采集道路机动车在p天的尾气排放数据，且每天采集q个工况的数据，每个工况采集时间为T，从而得到包含m个特征的n＝p×q×T条尾气排放数据集，尾气排放数据集包含PEMS和OBD两项，PEMS数据包含实时CO2、CO、NO、NO2、THC、O2浓度，环境湿度、温度，采样质量流量，采样体积流速、采样管温度等，OBD数据包含车辆瞬时速度、发动机瞬时功率、发动机转速、发动机负荷等，共计m项测试数据，即m个特征，记为Dorigin＝(dij)n×m，其中，dij表示第i个采集时间下的第j个特征值；1≤i≤n；1≤j≤m；
步骤2、对尾气排放数据集Dorigin＝(dij)n×m进行缺失数据补偿和归一化的预处理，数据补偿采用缺失数据前M个和后M个数据取平均值的方法，M通常的取值为10～20，即缺失值填补为前后共2M个有效数据的平均值，修复完成后的数据集特征矩阵记为Dfit，将修复完成后的数据集Dfit进行归一化处理，计算各时间节点特征dij的归一化值dij′，如式(1)所示：
Figure BDA0002504811030000051
式(1)中，d(max)j和d(min)j分别是归一化前数据集中同一特征数据的最大值和最小值，从而得到尾气排放特征矩阵，记为Dscaled＝(dij′)n×m；其中，dij′表示预处理后的第i个采集时间下的第j个特征值；将归一化后的数据集特征矩阵Dscaled划分为训练集Dtrain和验证集Dverify，其中，训练集Dtrain的特征维数为m-1，验证集Dverify的特征维数为1，且验证集为模型预测尾气排放数据的真实值；
步骤3、如图2所示，建立由输入层、隐藏层、Attention层、全连接层和输出层所组成的Attention-Bi-LSTM网络模型，并初始化模型自身参数，定义时间步长为λ和预测时刻为t；
令Attention-Bi-LSTM注意力双向长短期记忆网络模型的输入层的数据结构为Dtrain＝{d(t-λ)j,...,dtj,...,d(t+λ)j},j＝1,2,...,m-1；dtj表示预测时刻t下的第j个特征值；
令Attention-Bi-LSTM注意力双向长短期记忆网络模型的隐藏层包括前向LSTM网络和后向LSTM网络，如图3所示；
前向LSTM网络的输入为dt-λ,...,dt...,dt+λ；dt表示预测时刻t下的m-1个特征值；
前向LSTM网络的前向状态输出为
Figure BDA0002504811030000061
Figure BDA0002504811030000062
表示预测时刻t下的前向LSTM网络的隐藏层状态输出；
后向LSTM网络的输入为dt+λ,...,dt...,dt-λ；
后向LSTM网络的后向状态输出为
Figure BDA0002504811030000063
Figure BDA0002504811030000064
表示预测时刻t下的后向LSTM网络的隐藏层状态输出；
令Attention-Bi-LSTM注意力双向长短期记忆网络模型的隐藏层的输出由前向状态输出为
Figure BDA0002504811030000065
和后向状态输出为
Figure BDA0002504811030000066
构成，并记为
Figure BDA0002504811030000067
ht表示预测时刻t下的隐藏层的状态输出；
利用式(2)得到Attention-Bi-LSTM注意力双向长短期记忆网络模型的Attention层中的匹配打分函数F(hi,Hk)：
F(hi,Hk)＝VTtanh(W1hi+W2Hk) (2)
式(2)中，hi表示第i个隐藏层的隐藏状态输出，Hk表示第k个输出层的隐藏状态输出；tanh()表示双曲正切函数，V、W1、W2为Attention模型参数矩阵，需通过网络训练得到，维数分别为d3×1、d3×d1和d3×d2，d1、d2、d3分别为hi、Hk、V的维数，属于超参数，VT表示V的转置；
利用式(3)得到Attention-Bi-LSTM注意力双向长短期记忆网络模型的全连接层中第i个隐藏层和第k个输出层之间的权重向量aik：
Figure BDA0002504811030000068
式(3)中，softmax()表示逻辑回归函数；
利用式(4)得到Attention-Bi-LSTM注意力双向长短期记忆网络模型的全连接层中的第k个输出矢量ck为：
Figure BDA0002504811030000071
利用式(5)得到Attention-Bi-LSTM注意力双向长短期记忆网络模型的输出层在预测时刻t下的状态输出Ht：
Ht＝Bi-LSTM(Ht-1,yt-1,Ht+1,yt+1,ct) (5)
式(5)中，Bi-LSTM()表示的双向LSTM网络；
具体地，如图4所示，LSTM(Long Short-term Memory)引入记忆神经元，该神经元包含输入门、遗忘门和输出门三种判定条件，解决了循环卷积神经网络(RNN)因时间序列过长造成反向传播过程中出现梯度消失问题。输入门(input gate)表示允许信息加入到记忆单位中的比例；遗忘门(forget gate)表示保留当前状态节点中存储的历史信息的比例；输出门(output gate)表示将当前状态节点的信息作为输出的比例，输入门、遗忘门和输出门表达式分别如下：
输入门：
it＝σ(Wi·[ht-1,xt]+bi) (6)
Figure BDA0002504811030000072
Figure BDA0002504811030000073
遗忘门：
ft＝σ(Wf·[ht-1,xt]+bf) (9)
输出门：
ot＝σ(Wo·[ht-1,xt]+bo) (10)
ht＝ot*tanh(ct) (11)
这里，Wi、Wf、Wc和Wo分别表示输入门、遗忘门、输出门和单元激活向量的权重矩阵，bi、bf、bc和bo分别表示输入门、遗忘门、输出门和单元激活向量的偏置。
σ表示Sigmoid激活函数：
Figure BDA0002504811030000081
tanh激励函数：
Figure BDA0002504811030000082
步骤4、采用预实验确定模型的超参数，包括：隐藏层单元数、时间步长、训练批次、训练迭代次数、训练周期和学习速率；以训练集
Figure BDA0002504811030000083
作为输入数据，使用各超参数分别为网络隐藏层单元数h,时间步长λ,训练批次batch,训练迭代次数iteration,训练周期epoch的Attention-Bi-LSTM注意力双向长短期记忆网络进行训练，在一定范围内调节h,λ,batch,iteration和epoch的值，对模型进行训练，利用式(14)计算输出结果与验证集
Figure BDA0002504811030000084
的平均绝对误差MAE：
Figure BDA0002504811030000085
式(14)中f(xi)和yi分别为模型的预测值和真实值。
具体地，h参数从10增加，步长5；λ参数从1增加，步长为1；batch参数从24增加，步长24；iteration参数从100增加，步长50；epoch参数从10增加，步长10；
在一定范围内调节超参数，超参数调节遵循单一变量原则，即调节某一参数时，其余超参数维持不变，并以验证集Dverify为参考指标，当MAE平均绝对误差从下降转为增长时，确定最佳超参数hbest,λbest,batch(best),iteration(best)和epoch(best)。
步骤5、如图5所示，将尾气排放特征矩阵输入设置好超参数的Attention-Bi-LSTM注意力双向长短期记忆网络模型中进行训练，在训练过程中采用自适应学习率算法Adam作为梯度下降算法优化模型的自身参数，得到道路机动车尾气排放预测模型，以实现对未来尾气排放数据的预测，模型训练过程中的损失函数如图6所示。Adam即adaptive moments通过计算梯度的一阶矩估计和二阶矩估计，为不同的参数设计独立的自适应性学习率，避免了因随机梯度下降而使模型收敛到局部最优的风险。
步骤5.1、利用式(15)计算t时刻的梯度：
Figure BDA0002504811030000091
式(15)中f(θ)为随机目标函数；
步骤5.2、利用式(16)更新有偏一阶矩估计：
st＝p1·st-1+(1-p1)·gt (16)
步骤5.3、利用式(17)更新有偏二阶矩估计：
Figure BDA0002504811030000092
步骤5.4、利用式(18)修正一阶矩的偏差：
Figure BDA0002504811030000093
步骤5.5、利用式(19)修正二阶矩的偏差：
Figure BDA0002504811030000094
步骤5.6、利用式(20)更新参数：
Figure BDA0002504811030000095
具体地，完成的Attention-Bi-LSTM注意力双向长短期记忆网络模型训练后，输入机动车未来u天的排放测试集数据
Figure BDA0002504811030000098
通过模型进行机动车尾气排放趋势预测，输出预测结果并进行逆归一化处理，公式如下：
y＝yscaled×(xmax-xmin)+xmin (21)
式(21)中，y表示逆归一化后的模型预测结果，yscaled表示归一化后的模型预测结果，xmax和xmin分别是归一化前训练集中所预测的特征数据的最大值和最小值。
完成归一化处理，最终输出模型的预测结果。将预测结果与验证集进行定量比较，验证模型预测的准确性。预测评价指标采用均方根误差(Root Mean Square Error,RMSE)，公式如下：
Figure BDA0002504811030000096
式(22)中，yi为模型第i个时间节点的尾气排放预测值，
Figure BDA0002504811030000097
为验证集中的第i个时间节点的尾气排放真实值，n为预测序列的长度。RMSE的范围为[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。
表1尾气排放预测误差RMSE表
Figure BDA0002504811030000101
图7、图8、图9、图10和表1的实验结果表明，本发明可有效预测机动车尾气排放中的四种关键性指标气体：CO、NO、NO2、THC，预测趋势与实际排放结果基本吻合，RMSE总体上小于50ppm，有效修复了PEMS道路机动车尾气排放检测中的长时间序列数据段缺失，且降低了PEMS车载实验的测试时间，从而降低了时间、资源和人力成本，及长时间车载道路测试对专业技术人员可能产生的安全隐患。

Claims (1)

1.一种基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法，其特征包括：
步骤1、利用PEMS检测设备和OBD车载诊断系统共同采集道路机动车在p天的尾气排放数据，且每天采集q个工况的数据，每个工况采集时间为T，从而得到包含m个特征的n＝p×q×T条尾气排放数据集，记为Dorigin＝(dij)n×m，其中，dij表示第i个采集时间下的第j个特征值；1≤i≤n；1≤j≤m；
步骤2、对尾气排放数据集Dorigin＝(dij)n×m进行缺失数据补偿和归一化的预处理，从而得到尾气排放特征矩阵，记为Dscaled＝(d′ij)n×m；其中，d′ij表示预处理后的第i个采集时间下的第j个特征值；将所述归一化后的数据集特征矩阵Dscaled划分为训练集Dtrain和验证集Dverify，其中，训练集Dtrain的特征维数为m-1，验证集Dverify的特征维数为1，且验证集Dverify为模型预测尾气排放数据的真实值；
步骤3、建立由输入层、隐藏层、Attention层、全连接层和输出层所组成的改进Attention-Bi-LSTM注意力双向长短期记忆网络模型，并初始化模型自身参数，定义时间步长为λ和预测时刻为t；
令所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的输入层的数据结构为Dtrain＝{d(t-λ)j,...,dtj,…,d(t+λ)j},j＝1,2,…,m-1；dtj表示预测时刻t下的第j个特征值；
令所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的隐藏层包括前向LSTM网络和后向LSTM网络；
所述前向LSTM网络的输入为dt-λ,…,dt…,dt+λ；dt表示预测时刻t下的m-1个特征值；
所述前向LSTM网络的前向状态输出为
Figure FDA0002504811020000011
Figure FDA0002504811020000012
表示预测时刻t下的前向LSTM网络的隐藏层状态输出；
所述后向LSTM网络的输入为dt+λ,…,dt...,dt-λ；
所述后向LSTM网络的后向状态输出为
Figure FDA0002504811020000013
Figure FDA0002504811020000014
表示预测时刻t下的后向LSTM网络的隐藏层状态输出；
令所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的隐藏层的输出由前向状态输出为
Figure FDA0002504811020000015
和后向状态输出为
Figure FDA0002504811020000016
构成，并记为
Figure FDA0002504811020000021
ht表示预测时刻t下的隐藏层的状态输出；
利用式(1)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的Attention层中的匹配打分函数F(hi,Hk)：
F(hi,Hk)＝VTtanh(W1hi+W2Hk) (1)
式(1)中，hi表示第i个隐藏层的隐藏状态输出，Hk表示第k个输出层的隐藏状态输出；tanh()表示双曲正切函数，矩阵V、W1、W2为Attention注意力模型参数，并通过网络训练得到，且维数分别为d3×1、d3×d1和d3×d2，其中，d1、d2、d3分别为hi、Hk、V的维数，VT表示参数V的转置；
利用式(2)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的全连接层中第i个隐藏层和第k个输出层之间的权重向量aik：
Figure FDA0002504811020000022
式(2)中，softmax()表示逻辑回归函数；
利用式(3)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的全连接层中的第k个输出矢量ck为：
Figure FDA0002504811020000023
利用式(4)得到所述Attention-Bi-LSTM注意力双向长短期记忆网络模型的输出层在预测时刻t下的状态输出Ht：
Ht＝Bi-LSTM(Ht-1,yt-1,Ht+1,yt+1,ct) (4)
式(4)中，Bi-LSTM()表示双向LSTM网络；
步骤4、基于所述训练集Dtrain采用预实验确定模型的超参数，包括：隐藏层单元数、时间步长、训练批次、训练迭代次数、训练周期和学习速率；
在一定范围内按照单一变量原则调节超参数，并以所述验证集Dverify为参考指标，当MAE平均绝对误差从下降转为增长时，确定最佳超参数；
步骤5、将所述训练集Dtrain输入设置好超参数的Attention-Bi-LSTM注意力双向长短期记忆网络模型中进行训练，在训练过程中采用自适应学习率算法Adam作为梯度下降算法优化模型的自身参数，得到道路机动车尾气排放预测模型，以实现对未来尾气排放数据的预测。
CN202010443547.4A 2020-05-22 2020-05-22 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法 Active CN111612254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010443547.4A CN111612254B (zh) 2020-05-22 2020-05-22 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443547.4A CN111612254B (zh) 2020-05-22 2020-05-22 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法

Publications (2)

Publication Number Publication Date
CN111612254A true CN111612254A (zh) 2020-09-01
CN111612254B CN111612254B (zh) 2022-12-23

Family

ID=72203830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443547.4A Active CN111612254B (zh) 2020-05-22 2020-05-22 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法

Country Status (1)

Country Link
CN (1) CN111612254B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966226A (zh) * 2020-09-03 2020-11-20 福州大学 一种基于补偿型长短期记忆网络的触感通信容错方法及系统
CN112101660A (zh) * 2020-09-15 2020-12-18 重庆交通大学 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法
CN112213109A (zh) * 2020-09-16 2021-01-12 哈尔滨东安汽车发动机制造有限公司 一种发动机可变气门正时系统初始相位试验方法
CN112927507A (zh) * 2021-02-04 2021-06-08 南京航空航天大学 一种基于LSTM-Attention的交通流量预测方法
CN112949930A (zh) * 2021-03-17 2021-06-11 中国科学院合肥物质科学研究院 基于pa-lstm网络的道路机动车尾气高排放预警方法
CN113128776A (zh) * 2021-04-26 2021-07-16 中国科学技术大学先进技术研究院 数据自迁移的多车型柴油车排放预测方法及系统
CN113158537A (zh) * 2021-01-18 2021-07-23 中国航发湖南动力机械研究所 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN113362598A (zh) * 2021-06-04 2021-09-07 重庆高速公路路网管理有限公司 一种高速公路服务区车流量预测方法
CN113657651A (zh) * 2021-07-27 2021-11-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于深度迁移学习的柴油车排放预测方法、介质及设备
CN113674525A (zh) * 2021-07-30 2021-11-19 长安大学 基于稀疏数据的信号交叉口车辆排队长度预测方法
CN114298389A (zh) * 2021-12-22 2022-04-08 中科三清科技有限公司 一种臭氧浓度预报方法及装置
CN115297496A (zh) * 2022-09-28 2022-11-04 南昌航空大学 结合Bi-LSTM和时间模式注意力的链路质量预测方法
CN116953653A (zh) * 2023-09-19 2023-10-27 成都远望科技有限责任公司 一种基于多波段天气雷达组网回波外推方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214566A (zh) * 2018-08-30 2019-01-15 华北水利水电大学 基于长短期记忆网络的风电功率短期预测方法
CN109919221A (zh) * 2019-03-04 2019-06-21 山西大学 基于双向双注意力机制图像描述方法
CN110334843A (zh) * 2019-04-22 2019-10-15 山东大学 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
CN110446112A (zh) * 2019-07-01 2019-11-12 南京邮电大学 基于双向LSTM-Attention的IPTV用户体验预测方法
US20200037974A1 (en) * 2018-08-02 2020-02-06 Zhejiang University Deep-learning based separation method of a mixture of dual-tracer single-acquisition pet signals with equal half-lives
CN111047012A (zh) * 2019-12-06 2020-04-21 重庆大学 基于深度双向长短期记忆网络的空气质量预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200037974A1 (en) * 2018-08-02 2020-02-06 Zhejiang University Deep-learning based separation method of a mixture of dual-tracer single-acquisition pet signals with equal half-lives
CN109214566A (zh) * 2018-08-30 2019-01-15 华北水利水电大学 基于长短期记忆网络的风电功率短期预测方法
CN109919221A (zh) * 2019-03-04 2019-06-21 山西大学 基于双向双注意力机制图像描述方法
CN110334843A (zh) * 2019-04-22 2019-10-15 山东大学 一种时变注意力改进Bi-LSTM的住院就医行为预测方法及装置
CN110446112A (zh) * 2019-07-01 2019-11-12 南京邮电大学 基于双向LSTM-Attention的IPTV用户体验预测方法
CN111047012A (zh) * 2019-12-06 2020-04-21 重庆大学 基于深度双向长短期记忆网络的空气质量预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MAHEEP SINGH ET AL.: "Transfer Learning Using Bi-Lstm With Attention Mechanism On Stack Exchange Data", 《2019 INTERNATIONAL CONFERENCE ON MACHINE LEARNING, BIG DATA, CLOUD AND PARALLEL COMPUTING (COMITCON)》 *
徐国庆等: "基于Attenton-LSTM神经网络的船舶航行预测", 《舰船科学技术》 *
翟社平 等: "基于注意力机制 Bi-LSTM 算法的双语文本情感分析", 《计算机应用与软件》 *
蔡英凤等: "基于注意力机制的车辆行为预测", 《江苏大学学报(自然科学版)》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966226B (zh) * 2020-09-03 2022-05-10 福州大学 一种基于补偿型长短期记忆网络的触感通信容错方法及系统
CN111966226A (zh) * 2020-09-03 2020-11-20 福州大学 一种基于补偿型长短期记忆网络的触感通信容错方法及系统
CN112101660A (zh) * 2020-09-15 2020-12-18 重庆交通大学 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法
CN112101660B (zh) * 2020-09-15 2022-06-28 重庆交通大学 基于阶段性注意力机制的降雨型滑坡位移预测模型及方法
CN112213109A (zh) * 2020-09-16 2021-01-12 哈尔滨东安汽车发动机制造有限公司 一种发动机可变气门正时系统初始相位试验方法
CN113158537A (zh) * 2021-01-18 2021-07-23 中国航发湖南动力机械研究所 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN113158537B (zh) * 2021-01-18 2023-03-24 中国航发湖南动力机械研究所 基于lstm结合注意力机制的航空发动机气路故障诊断方法
CN112927507A (zh) * 2021-02-04 2021-06-08 南京航空航天大学 一种基于LSTM-Attention的交通流量预测方法
CN112949930A (zh) * 2021-03-17 2021-06-11 中国科学院合肥物质科学研究院 基于pa-lstm网络的道路机动车尾气高排放预警方法
CN112949930B (zh) * 2021-03-17 2023-04-18 中国科学院合肥物质科学研究院 基于pa-lstm网络的道路机动车尾气高排放预警方法
CN113128776A (zh) * 2021-04-26 2021-07-16 中国科学技术大学先进技术研究院 数据自迁移的多车型柴油车排放预测方法及系统
CN113128776B (zh) * 2021-04-26 2023-07-07 中国科学技术大学先进技术研究院 数据自迁移的多车型柴油车排放预测方法及系统
CN113362598A (zh) * 2021-06-04 2021-09-07 重庆高速公路路网管理有限公司 一种高速公路服务区车流量预测方法
CN113657651A (zh) * 2021-07-27 2021-11-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于深度迁移学习的柴油车排放预测方法、介质及设备
CN113674525A (zh) * 2021-07-30 2021-11-19 长安大学 基于稀疏数据的信号交叉口车辆排队长度预测方法
CN114298389A (zh) * 2021-12-22 2022-04-08 中科三清科技有限公司 一种臭氧浓度预报方法及装置
CN115297496A (zh) * 2022-09-28 2022-11-04 南昌航空大学 结合Bi-LSTM和时间模式注意力的链路质量预测方法
CN115297496B (zh) * 2022-09-28 2022-12-20 南昌航空大学 结合Bi-LSTM和时间模式注意力的链路质量预测方法
CN116953653A (zh) * 2023-09-19 2023-10-27 成都远望科技有限责任公司 一种基于多波段天气雷达组网回波外推方法
CN116953653B (zh) * 2023-09-19 2023-12-26 成都远望科技有限责任公司 一种基于多波段天气雷达组网回波外推方法

Also Published As

Publication number Publication date
CN111612254B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN111612254B (zh) 基于改进注意力双向长短期记忆网络的道路机动车尾气排放预测方法
CN112949930B (zh) 基于pa-lstm网络的道路机动车尾气高排放预警方法
CN107577910B (zh) 一种基于深层次神经网络的车辆尾气浓度反演方法
CN103091112B (zh) 基于模糊推理和自学习的汽车排放故障检诊方法及装置
Fu et al. Application of artificial neural network to forecast engine performance and emissions of a spark ignition engine
Ortenzi et al. A new method to calculate instantaneous vehicle emissions using OBD data
Duer et al. Training of an artificial neural network in the diagnostic system of a technical object
CN113554153A (zh) 氮氧化物排放量预测方法、装置、计算机设备及介质
Wang et al. Performance evaluation of aerospace relay based on evidential reasoning rule with distributed referential points
KR102118088B1 (ko) 인공지능 기술을 이용한 배기가스 배출량 예측방법
Ma et al. Connected vehicle based distributed meta-learning for online adaptive engine/powertrain fuel consumption modeling
Huang et al. Correlation analysis and prediction of PEM fuel cell voltage during start-stop operation based on real-world driving data
Liao et al. A comparative investigation of advanced machine learning methods for predicting transient emission characteristic of diesel engine
Howlader et al. Data-driven approach for instantaneous vehicle emission predicting using integrated deep neural network
Martínez-Morales et al. Modeling engine fuel consumption and NOx with RBF neural network and MOPSO algorithm
Chernyaev et al. The mechanism of continuous monitoring of compliance with environmental requirements imposed on vehicles in operation
Li et al. Remote sensing and artificial neural network estimation of on-road vehicle emissions
US11840974B2 (en) Intelligent mass air flow (MAF) prediction system with neural network
Sundaram et al. Modeling of transient gasoline engine emissions using data-driven modeling techniques
Shin et al. Application of physical model test-based long short-term memory algorithm as a virtual sensor for nitrogen oxide prediction in diesel engines
CN114282680A (zh) 一种基于机器学习算法的车辆尾气排放预测方法及系统
CN114674573B (zh) 一种适用于任意测试边界的实际道路排放rde评估方法
Xu et al. An adaptive variable selection algorithm for gated recurrent unit based on sensitivity analysis and nonnegative garrote
Kazan et al. Assessment of On-Road High NOx Emitters by Using Machine Learning Algorithms for Heavy-Duty Vehicles
CN116070791A (zh) 一种基于LSTM算法的柴油车NOx排放预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant