CN114580709A - 基于Transformer的多模态自相关补偿的时序预测方法 - Google Patents

基于Transformer的多模态自相关补偿的时序预测方法 Download PDF

Info

Publication number
CN114580709A
CN114580709A CN202210108867.3A CN202210108867A CN114580709A CN 114580709 A CN114580709 A CN 114580709A CN 202210108867 A CN202210108867 A CN 202210108867A CN 114580709 A CN114580709 A CN 114580709A
Authority
CN
China
Prior art keywords
data
time sequence
modal
prediction model
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210108867.3A
Other languages
English (en)
Other versions
CN114580709B (zh
Inventor
李光夏
蒋云展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210108867.3A priority Critical patent/CN114580709B/zh
Publication of CN114580709A publication Critical patent/CN114580709A/zh
Application granted granted Critical
Publication of CN114580709B publication Critical patent/CN114580709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于Transformer的多模态自相关补偿的时序预测方法，包括：获取当前环境中气体的多模态数据；将多模态数据输入至预先训练好的时序预测模型，以使时序预测模型中的特征提取模块对多模态数据中不同模态类型的数据分别进行特征提取；将特征提取后的数据输入至时序预测模型中的数据处理模块，以使数据处理模块对特征提取后的数据进行归一化处理和时序化处理，得到待预测数据；利用Transformer预测模型根据待预测进行预测，得到当前时刻之后预设时间段内的气体浓度。本发明使得时序预测模型在预测时综合考虑多种模态因素，通过引入自相关补偿机制使得时序预测模型可以自适应的消除多模态融合数据中的自相关误差，提高了预测的精度。

Description

基于Transformer的多模态自相关补偿的时序预测方法
技术领域
本发明属于计算机技术领域，具体涉及一种基于Transformer的多模态自相关补偿的时序预测方法。
背景技术
随着硬件设备性能的不断增强，传感器的种类也在不断增多，对多模态数据的处理方法也相应的开始出现。现有的多模态处理算法可以依据融合发生的时间分为前期融合、后期融合两种方式。
前期融合的通常做法是将输入的多模态数据进行不同的特征提取，再利用拼接网络将特征提取后的数据拼接到同一特征空间中。在这之后，特征融合完毕的数据被输入到预测网络中进行后续的时序预测，通过预测模型的训练来同步更新预测模型和特征融合模型。这种方式将联合训练的方式将多模态数据映射到统一特征空间上，使得模型可以同时训练所有数据。但是，这种方法很难将多模态数据特征间的时间对齐，完全依赖融合网络之后的训练网络的自适应调整，随着模态数量的增加，这种融合方式很难获得模态间的交叉相关性。
后期融合又被称为决策层融合或者模型融合，即根据数据模态的不同，使用不同的模型对不同模态预测得出结果后再对这些模型的输出结果进行融合。一般来说，后期融合的方式通常采用任务识别网络，使其根据输入的不同模态占比调整后期结果输出是各个预测网络的权重占比。后期融合的方式解决了不同模态间的时间同步问题，但是其忽视了多个模态间低水平的相互作用，且融合难度大，参数调整费力。
以上特征融合方式已经应用在特征融合的时序融合领域，但是Transformer预测模型注意力机制导致其无法区别不同模态间的时序关系。因此，这些融合网络无法应用在Transformer预测模型中。同时，多种模态的融合将模型间的相关关系引入到整个预测系统中，这会导致前期系统的微小误差会在模型中累积导致最后的预测偏差。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于Transformer的多模态自相关补偿的时序预测方法。本发明要解决的技术问题通过以下技术方案实现：
本发明实施例提供一种基于Transformer的多模态自相关补偿的时序预测方法，包括：
获取当前环境中气体的多模态数据；
将所述多模态数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的特征提取模块对所述多模态数据中不同模态类型的数据分别进行特征提取，得到第一类数据；
将所述第一类数据输入至所述时序预测模型中的数据处理模块，以使所述数据模块对所述第一类数据进行归一化处理和时序化处理，得到第二类数据；
利用Transformer预测模型根据所述第二类数据进行预测，得到当前时刻之后预设时间段内的气体浓度。
在本发明的一个实施例中，所述将所述多模态数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的特征提取模块对所述多模态数据中不同模态类型的数据分别进行特征提取，得到第一类数据的步骤，包括：
将所述多模态数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的特征提取模块在将所述多模态数据根据模态类型划分为视频数据、音频数据、时序数据之后，利用卷积神经网络将所述视频数据的每一帧图像数据转换为一维数据、利用循环神经网络提取所述音频数据的音频特征、利用因果卷积网络提取所述时序数据的周期特征，并使所述特征提取模块利用全连接层将所述一维数据、所述音频特征和所述周期特征映射至特征空间，得到第一类数据。
在本发明的一个实施例中，所述数据处理模块包括归一化网络；
所述归一化网络按照如下公式对所述第一类数据归一化处理；
Figure BDA0003494360620000031
其中，
Figure BDA0003494360620000032
xi为第i个第一类数据，m为第一类数据的维度大小，∈为预设的偏移项，γ和β为归一化网络对归一化后的数据进行拉伸和平移的预设参数。
在本发明的一个实施例中，所述数据处理模块还包括三角定位网络；
所述三角定位网络按照如下公式，确定归一化的第一类数据的时序位置信息：
Figure BDA0003494360620000033
Figure BDA0003494360620000034
其中，pos表示待编码的时序位置信息在归一化的第一类数据的相对位置，i表示归一化的第一类数据的维度，dmodel表示第二类数据的维度。
在本发明的一个实施例中，所述Transformer预测模型包括：编码器Encoder模型和编码器Decoder模型；
所述利用Transformer预测模型根据所述第二类数据进行预测的步骤，包括：
将所述第二类数据输入Transformer预测模型，使Encoder模型按照预设时间段从所述第二类数据中获得多个局部数据后，确定各个局部数据相对于所述第二类数据的自相关程度的概率分布，并使Decoder模型根据所述自相关程度的概率分布，确定当前时刻之后预设时间段内的气体浓度。
在本发明的一个实施例中，所述时序预测模型采用如下步骤训练得到：
获取训练样本，所述训练样本包括不同时刻下大气环境中的第一气体浓度数据；
将所述训练样本输入待训练时序预测模型，以使所述待训练时序预测模型的特征提取模块在将所述第一气体浓度数据划分为视频数据、音频数据、时序数据之后，利用待训练卷积神经网络将所述视频数据的每一帧图像数据转换为一维数据、利用待训练循环神经网络提取所述音频数据的音频特征、利用待训练因果卷积网络提取所述时序数据的周期特征，并使所述特征提取模块利用全连接层将所述一维数据、所述音频特征和所述周期特征映射至特征空间，得到特征数据；
将所述特征数据输入至所述待训练时序预测模型中的数据处理模块，以使所述数据模块对所述特征数据进行归一化处理和时序化处理，得到预处理后的数据；
将预处理后的数据输入至待训练的Transformer自注意力模型，利用自注意力机制预测所述训练样本在当前时候后预设时间段内的第一气体浓度；
根据所述第一气体浓度、所述第一气体浓度对应的实际气体浓度以及预设损失函数，计算损失值；
判断所述损失值是否达到预设值；若否，则调整所述待训练卷积神经网络、所述待训练循环神经网络、所述因果卷积网络、所述Encoder模型和所述Decoder模型的参数，并返回所述将所述训练样本输入待训练时序预测模型的步骤；若是，则对当前待训练神经网络中的Transformer预测模型进行参数补偿，得到训练完成的时序预测模型。
在本发明的一个实施例中，按照如下公式对当前待训练神经网络中的Transformer预测模型进行参数补偿：
Figure BDA0003494360620000051
et＝Xt-f(Xt-1,…,Xt-w；θ′)
Figure BDA0003494360620000052
其中，Xt为第一气体浓度数据的时刻t，T为第一气体浓度数据的时序长度，et为第一气体浓度数据间的自相关误差，θ为当前待训练神经网络中Transformer预测模型的模型参数，
Figure BDA0003494360620000053
为补偿参数。
在本发明的一个实施例中，所述预设损失函数为：
Figure BDA0003494360620000054
其中，p(xi)表示预测得到的i位置的第一气体浓度，q(xi)表示i位置的实际气体浓度。
与现有技术相比，本发明的有益效果在于：
本发明提供一种基于Transformer的多模态自相关补偿的时序预测方法，将多模态技术引入Transformer时序预测模型中、并将三角定位网络引入到多模态融合方法中，解决了原有的多模态融合技术在Transformer预测模型中不同模态的时序对齐问题，并且多模态的引入使得Transformer时序预测模型在预测时能够考虑多种模态间的内在联系，从而提高Transformer时序预测模型的预测精度。
另外，本发明还引入了自相关误差的概念，根据Transformer预测模型参数网络和数据同步训练一个自相关误差补偿网络，在模型训练时通过引入自相关误差，解决了多模态数据融合导致的模态间相关性关系导致的模型预测精度下降的问题。
附图说明
图1为本发明实施例提供的基于Transformer的多模态自相关补偿的时序预测方法的一种流程图；
图2为本发明实施例提供的基于Transformer的多模态自相关补偿的时序预测方法的一种示意图；
图3为本发明数据来源示意图基于Transformer的多模态自相关补偿的时序预测方法的零另一种示意图；
图4为本发明实施例提供的基于Transformer的多模态自相关补偿的时序预测方法中参数补偿网络的一种流程图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
图1为本发明实施例提供的基于Transformer的多模态自相关补偿的时序预测方法的一种流程图。本发明实施例提供一种基于Transformer的多模态自相关补偿的时序预测方法，包括：
S1、获取当前环境中气体的多模态数据；
S2、将多模态数据输入至预先训练好的时序预测模型，以使时序预测模型中的特征提取模块对多模态数据中不同模态类型的数据分别进行特征提取，得到第一类数据；
S3、将第一类数据输入至时序预测模型中的数据处理模块，以使数据模块对第一类数据进行归一化处理和时序化处理，得到第二类数据；
S4、利用Transformer预测模型根据第二类数据进行预测，得到当前时刻之后预设时间段内的气体浓度。
可选地，上述步骤S2中，将多模态数据输入至预先训练好的时序预测模型，以使时序预测模型中的特征提取模块对多模态数据中不同模态类型的数据分别进行特征提取，得到第一类数据的步骤，包括：
将多模态数据输入至预先训练好的时序预测模型，以使时序预测模型中的特征提取模块在将多模态数据根据模态类型划分为视频数据、音频数据、时序数据之后，利用卷积神经网络将视频数据的每一帧图像数据转换为一维数据、利用循环神经网络提取所述音频数据的音频特征、利用因果卷积网络提取时序数据的周期特征，并使所述特征提取模块利用全连接层将一维数据、音频特征和周期特征映射至特征空间，得到第一类数据。
图2为本发明实施例提供的基于Transformer的多模态自相关补偿的时序预测方法的一种示意图。示例性地，如图2所示，本实施例中气体的多模态数据可以包括大气环境的监测数据、大气成分的红外光谱图像和当前环境中的音频。将多模态数据输入至预先训练好的时序预测模型后，时序预测模型中的特征提取模块将多模态数据根据模态类型划分为视频数据、音频数据和时序数据。
具体而言，对于视频数据，特征提取模块采用卷积神经网络，如Res50网络进行特征提取；首先将输入的视频数据中的图像帧提取为720*720的图片文件，然后将图片文件转换为32*32的图片大小，再通过一个统一的特征融合网络将图片由32*32二维空间映射到32*1的一维向量空间中，得到一维数据。对于音频数据，特征提取模块中的循环卷积神经网络首先将音频数据切分为2048*1的音频段，之后使用TCN模型来提取音频段中的特征信息，并将音频信息压缩至32*1，得到音频特征。对于时序数据，特征提取模块利用因果卷积网络对输入的时序数据进行特征提取，在保留时序数据周期特征的同时将时序数据压缩至32*1。进一步地，将一维数据、音频特征和周期特征映射至特征空间，得到第一类数据。
需要说明的是，本实施例中的视频数据、音频数据和时序数据可以由用户自行输入，亦可通过摄像头、传感器、麦克风等设备获取，本发明对此不作限定。
可选地，上述步骤S3中，数据处理模块可以包括归一化网络；
归一化网络按照如下公式对第一类数据归一化处理；
Figure BDA0003494360620000081
其中，
Figure BDA0003494360620000082
xi为第i个第一类数据，m为第一类数据的维度大小，∈为预设的偏移项，γ和β为归一化网络对归一化后的数据进行拉伸和平移的预设参数。
应当理解，完成多模态数据的特征提取之后，对第一类数据进行向量的模的归一化处理，也就是说，将第一类数据的数值限定在0到1之间。
本实施例中，归一化网络可采用BatchNorm的方式实现。具体地，首先按照公式
Figure BDA0003494360620000091
计算出批量数据的均值，再利用
Figure BDA0003494360620000092
Figure BDA0003494360620000093
计算出方差，最后使用
Figure BDA0003494360620000094
对原始数据xi进行归一化处理，并根据公式
Figure BDA0003494360620000095
对归一化的第一类数据进行平移和拉伸变化后输出。在本实施中，m可以设定为128。
可选地，上述数据处理模块还包括三角定位网络；
三角定位网络按照如下公式，确定归一化的第一类数据的时序位置信息：
Figure BDA0003494360620000097
Figure BDA0003494360620000098
其中，pos表示待编码的时序位置信息在归一化的第一类数据的相对位置，i表示归一化的第一类数据的维度，dmodel表示第二类数据的维度。
具体而言，将归一化的第一类数据输入三角定位网络后，三角时序定位网络可以按照如下公式确定归一化的第一类数据的时序位置信息：
Figure BDA0003494360620000096
Figure BDA0003494360620000099
可选地，以dmodel＝128为例，此时i＝0,1,…,63。借助上述正余弦公式，可以为归一化的第一类数据中每个dmodel生成相应的位置向量。
进一步地，对于任意位置的PEpos+k，可以使用OEpos表示两者间的相对位置信息：
cos(pos+k)＝cos(pos)cos(k)-sin(pos)sin(k)
sin(pos+k)＝sin(pos)cos(k)+cos(pos)sin(k)
将经过归一化处理和时序化处理的第二类数据输入到Transformer预测模型中。可选地，上述Transformer预测模型包括：编码器Encoder模型和编码器Decoder模型；
利用Transformer预测模型根据第二类数据进行预测的步骤，包括：
将第二类数据输入Transformer预测模型，使Encoder模型按照预设时间段从第二类数据中获得多个局部数据后，确定各个局部数据相对于第二类数据的自相关程度的概率分布，并使Decoder模型根据自相关程度的概率分布，确定当前时刻之后预设时间段内的气体浓度。
本实施例中，时序预测模型可以采用如下步骤训练得到：
获取训练样本，训练样本包括不同时刻下大气环境中的第一气体浓度数据；
将训练样本输入待训练时序预测模型，以使待训练时序预测模型的特征提取模块在将第一气体浓度数据划分为视频数据、音频数据、时序数据之后，利用待训练卷积神经网络将视频数据的每一帧图像数据转换为一维数据、利用待训练循环神经网络提取音频数据的音频特征、利用待训练因果卷积网络提取时序数据的周期特征，并使特征提取模块利用全连接层将一维数据、音频特征和周期特征映射至特征空间，得到特征数据；
将特征数据输入至待训练时序预测模型中的数据处理模块，以使数据模块对特征数据进行归一化处理和时序化处理，得到预处理后的数据；
将预处理后的数据输入至待训练的Transformer自注意力模型，利用自注意力机制预测训练样本在当前时候后预设时间段内的第一气体浓度；
根据第一气体浓度、第一气体浓度对应的实际气体浓度以及预设损失函数，计算损失值；
判断损失值是否达到预设值；若否，则调整待训练卷积神经网络、待训练循环神经网络、因果卷积网络、Encoder模型和Decoder模型的参数，并返回将训练样本输入待训练时序预测模型的步骤；若是，则对当前待训练神经网络中的Transformer预测模型进行参数补偿，得到训练完成的时序预测模型。
可选地，预设损失函数为：
Figure BDA0003494360620000111
其中，p(xi)表示预测得到的i位置的第一气体浓度，q(xi)表示i位置的实际气体浓度。
可以理解的是，借由上述训练过程中的归一化处理，对于每个隐层神经元，归一化网络把向非线性函数映射后逐渐向取值区间极限饱和区靠拢的输入分布拉回到比较标准的正态分布，避免出现梯度消失的问题，使得损失函数向最优值靠近的梯度保持在较大的水平，有利于加快模型的收敛速度。
图4为本发明实施例提供的基于Transformer的多模态自相关补偿的时序预测方法中参数补偿网络的一种流程图。在本实施例中，若传感器在极端环境下长时间工作，则采集到的多模态数据会产生误差问题，而由于模态间相互融合，在数据前序位置产生的细微误差会在模型中不断累积。请参见图4，进行自相关误差的补偿时，首先初始化模型参数θ和误差补偿参数ρ，之后对模型进行训练和权重更新，在通常的模型参数更新之外，通过补偿参数ρ的加入并与模型参数θ同步训练使得模型可以观察到更前时刻的数据对预测结果产生的影响，使得模型可以用纠正累积误差带来的精度下降问题。
可选地，按照如下公式对当前待训练神经网络中的Transformer预测模型进行参数补偿：
Figure BDA0003494360620000121
et＝Xt-f(Xt-1,…,Xt-w；θ′)
Figure BDA0003494360620000122
其中，Xt为第一气体浓度数据的时刻t，T为第一气体浓度数据的时序长度，et为第一气体浓度数据间的自相关误差，θ为当前待训练神经网络中Transformer预测模型的模型参数，
Figure BDA0003494360620000123
为补偿参数。
通过上述各实施例可知，本发明的有益效果在于：
本发明提供一种基于Transformer的多模态自相关补偿的时序预测方法，将多模态技术引入Transformer时序预测模型中、并将三角定位网络引入到多模态融合方法中，解决了原有的多模态融合技术在Transformer预测模型中不同模态的时序对齐问题，并且多模态的引入使得Transformer时序预测模型在预测时能够考虑多种模态间的内在联系，从而提高Transformer时序预测模型的预测精度。
另外，本发明还引入了自相关误差的概念，根据Transformer预测模型参数网络和数据同步训练一个自相关误差补偿网络，在模型训练时通过引入自相关误差，解决了多模态数据融合导致的模态间相关性关系导致的模型预测精度下降的问题。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，包括：
获取当前环境中气体的多模态数据；
将所述多模态数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的特征提取模块对所述多模态数据中不同模态类型的数据分别进行特征提取，得到第一类数据；
将所述第一类数据输入至所述时序预测模型中的数据处理模块，以使所述数据模块对所述第一类数据进行归一化处理和时序化处理，得到第二类数据；
利用Transformer预测模型根据所述第二类数据进行预测，得到当前时刻之后预设时间段内的气体浓度。
2.根据权利要求1所述的基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，所述将所述多模态数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的特征提取模块对所述多模态数据中不同模态类型的数据分别进行特征提取，得到第一类数据的步骤，包括：
将所述多模态数据输入至预先训练好的时序预测模型，以使所述时序预测模型中的特征提取模块在将所述多模态数据根据模态类型划分为视频数据、音频数据、时序数据之后，利用卷积神经网络将所述视频数据的每一帧图像数据转换为一维数据、利用循环神经网络提取所述音频数据的音频特征、利用因果卷积网络提取所述时序数据的周期特征，并使所述特征提取模块利用全连接层将所述一维数据、所述音频特征和所述周期特征映射至特征空间，得到第一类数据。
3.根据权利要求1所述的基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，所述数据处理模块包括归一化网络；
所述归一化网络按照如下公式对所述第一类数据归一化处理；
Figure FDA0003494360610000021
其中，
Figure FDA0003494360610000022
xi为第i个第一类数据，m为第一类数据的维度大小，∈为预设的偏移项，γ和β为归一化网络对归一化后的数据进行拉伸和平移的预设参数。
4.根据权利要求3所述的基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，所述数据处理模块还包括三角定位网络；
所述三角定位网络按照如下公式，确定归一化的第一类数据的时序位置信息：
Figure FDA0003494360610000023
Figure FDA0003494360610000024
其中，pos表示待编码的时序位置信息在归一化的第一类数据的相对位置，i表示归一化的第一类数据的维度，dmodel表示第二类数据的维度。
5.根据权利要求1所述的基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，所述Transformer预测模型包括：编码器Encoder模型和编码器Decoder模型；
所述利用Transformer预测模型根据所述第二类数据进行预测的步骤，包括：
将所述第二类数据输入Transformer预测模型，使Encoder模型按照预设时间段从所述第二类数据中获得多个局部数据后，确定各个局部数据相对于所述第二类数据的自相关程度的概率分布，并使Decoder模型根据所述自相关程度的概率分布，确定当前时刻之后预设时间段内的气体浓度。
6.根据权利要求5所述的基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，所述时序预测模型采用如下步骤训练得到：
获取训练样本，所述训练样本包括不同时刻下大气环境中的第一气体浓度数据；
将所述训练样本输入待训练时序预测模型，以使所述待训练时序预测模型的特征提取模块在将所述第一气体浓度数据划分为视频数据、音频数据、时序数据之后，利用待训练卷积神经网络将所述视频数据的每一帧图像数据转换为一维数据、利用待训练循环神经网络提取所述音频数据的音频特征、利用待训练因果卷积网络提取所述时序数据的周期特征，并使所述特征提取模块利用全连接层将所述一维数据、所述音频特征和所述周期特征映射至特征空间，得到特征数据；
将所述特征数据输入至所述待训练时序预测模型中的数据处理模块，以使所述数据模块对所述特征数据进行归一化处理和时序化处理，得到预处理后的数据；
将预处理后的数据输入至待训练的Transformer自注意力模型，利用自注意力机制预测所述训练样本在当前时候后预设时间段内的第一气体浓度；
根据所述第一气体浓度、所述第一气体浓度对应的实际气体浓度以及预设损失函数，计算损失值；
判断所述损失值是否达到预设值；若否，则调整所述待训练卷积神经网络、所述待训练循环神经网络、所述因果卷积网络、所述Encoder模型和所述Decoder模型的参数，并返回所述将所述训练样本输入待训练时序预测模型的步骤；若是，则对当前待训练神经网络中的Transformer预测模型进行参数补偿，得到训练完成的时序预测模型。
7.根据权利要求6所述的基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，按照如下公式对当前待训练神经网络中的Transformer预测模型进行参数补偿：
Figure FDA0003494360610000041
et＝Xt-f(Xt-1,…,Xt-w；θ′)
Figure FDA0003494360610000042
其中，Xt为第一气体浓度数据的时刻t，T为第一气体浓度数据的时序长度，et为第一气体浓度数据间的自相关误差，θ为当前待训练神经网络中Transformer预测模型的模型参数，
Figure FDA0003494360610000043
为补偿参数。
8.根据权利要求7所述的基于Transformer的多模态自相关补偿的时序预测方法，其特征在于，所述预设损失函数为：
Figure FDA0003494360610000044
其中，p(xi)表示预测得到的i位置的第一气体浓度，q(xi)表示i位置的实际气体浓度。
CN202210108867.3A 2022-01-28 2022-01-28 基于Transformer的多模态自相关补偿的时序预测方法 Active CN114580709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210108867.3A CN114580709B (zh) 2022-01-28 2022-01-28 基于Transformer的多模态自相关补偿的时序预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210108867.3A CN114580709B (zh) 2022-01-28 2022-01-28 基于Transformer的多模态自相关补偿的时序预测方法

Publications (2)

Publication Number Publication Date
CN114580709A true CN114580709A (zh) 2022-06-03
CN114580709B CN114580709B (zh) 2024-04-16

Family

ID=81772317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210108867.3A Active CN114580709B (zh) 2022-01-28 2022-01-28 基于Transformer的多模态自相关补偿的时序预测方法

Country Status (1)

Country Link
CN (1) CN114580709B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116184843A (zh) * 2023-05-05 2023-05-30 北京科技大学 基于多模态时序信息的浮选控制参数预测方法和系统
CN117435997A (zh) * 2023-12-20 2024-01-23 杭州市特种设备检测研究院(杭州市特种设备应急处置中心) 一种基于Transformer和时序压缩机制的电梯预警及按需维保方法
CN118586563A (zh) * 2024-08-07 2024-09-03 中国石油大学(华东) 多模态与时空驱动的储罐bog产生量预测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160021A (zh) * 2021-03-18 2021-07-23 天津中科物联科技有限公司 一种基于多源异构数据联邦学习的安全生产预警系统
CN113521470A (zh) * 2021-07-27 2021-10-22 上海理工大学 一种多模态气管插管导引方法
US20210350050A1 (en) * 2020-05-06 2021-11-11 Wuhan University Method and system for predicting gas content in transformer oil based on joint model
CN113780420A (zh) * 2021-09-10 2021-12-10 湖南大学 基于gru-gcn的变压器油中溶解气体浓度预测方法
KR20220011046A (ko) * 2020-07-20 2022-01-27 주식회사 원프레딕트 오일 여과 여부를 고려한 변압기 상태 예측 진단 방법 및 이러한 방법을 수행하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210350050A1 (en) * 2020-05-06 2021-11-11 Wuhan University Method and system for predicting gas content in transformer oil based on joint model
KR20220011046A (ko) * 2020-07-20 2022-01-27 주식회사 원프레딕트 오일 여과 여부를 고려한 변압기 상태 예측 진단 방법 및 이러한 방법을 수행하는 장치
CN113160021A (zh) * 2021-03-18 2021-07-23 天津中科物联科技有限公司 一种基于多源异构数据联邦学习的安全生产预警系统
CN113521470A (zh) * 2021-07-27 2021-10-22 上海理工大学 一种多模态气管插管导引方法
CN113780420A (zh) * 2021-09-10 2021-12-10 湖南大学 基于gru-gcn的变压器油中溶解气体浓度预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUYE HU 等: "A Prediction Model for Time Series of Dissolved Gas Content in Transformer Oil Based on LSTM", 《JOURNAL OF PHYSICS:CONFERENCE SERIES》, 31 December 2020 (2020-12-31), pages 1 - 9 *
GUANGXIA LI 等: "Detecting Cyberattacks in Industrial Control Systems Using Online Learning Algorithms", 《NEUROCOMPUTING》, vol. 364, 29 October 2019 (2019-10-29), pages 1 - 20 *
崔宇;侯慧娟;胥明凯;李善武;盛戈皞;江秀臣;: "基于双重注意力机制的变压器油中溶解气体预测模型", 中国电机工程学报, no. 01, 5 January 2020 (2020-01-05), pages 338 - 347 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116184843A (zh) * 2023-05-05 2023-05-30 北京科技大学 基于多模态时序信息的浮选控制参数预测方法和系统
CN116184843B (zh) * 2023-05-05 2023-07-18 北京科技大学 基于多模态时序信息的浮选控制参数预测方法和系统
CN117435997A (zh) * 2023-12-20 2024-01-23 杭州市特种设备检测研究院(杭州市特种设备应急处置中心) 一种基于Transformer和时序压缩机制的电梯预警及按需维保方法
CN117435997B (zh) * 2023-12-20 2024-03-01 杭州市特种设备检测研究院(杭州市特种设备应急处置中心) 一种基于Transformer和时序压缩机制的电梯预警及按需维保方法
CN118586563A (zh) * 2024-08-07 2024-09-03 中国石油大学(华东) 多模态与时空驱动的储罐bog产生量预测方法及系统

Also Published As

Publication number Publication date
CN114580709B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN114580709A (zh) 基于Transformer的多模态自相关补偿的时序预测方法
WO2020087974A1 (zh) 生成模型的方法和装置
US8145656B2 (en) Matching of modified visual and audio media
CN109635676B (zh) 一种从视频中定位音源的方法
EP2657884B1 (en) Identifying multimedia objects based on multimedia fingerprint
US20170316548A1 (en) Super-Resolution Method and System, Server, User Device and Method Therefor
KR102322773B1 (ko) 전극편의 버를 검출하기 위한 방법 및 장치
US20090141969A1 (en) Transfer Learning Methods and systems for Feed-Forward Visual Recognition Systems
CN109817233B (zh) 基于层次注意力网络模型的语音流隐写分析方法及系统
AU2005330569A8 (en) Method, system, and program product for measuring audio video synchronization independent of speaker characteristics
CN108241855B (zh) 图像生成方法和装置
CN116933051A (zh) 一种用于模态缺失场景的多模态情感识别方法及系统
CN116563748A (zh) 一种高层施工建筑物高度测量方法及系统
CN111083469A (zh) 一种视频质量确定方法、装置、电子设备及可读存储介质
CN117421694A (zh) 基于交叉注意力的目标识别方法、装置和系统
CN117176998A (zh) 基于通道注意力的双流网络跨模态嘴型同步方法和系统
WO2021095213A1 (ja) 学習方法、学習プログラム、および学習装置
CN109858328B (zh) 一种基于视频的人脸识别的方法及装置
CN115914742A (zh) 一种视频字幕的人物识别方法、装置、设备及存储介质
CN114648712B (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
US10387803B2 (en) Sensor system for transcoding data
CN117251599B (zh) 一种视频语料智能测试优化方法、装置和存储介质
CN114067254B (zh) 一种列车车门的安全状态检测方法、系统和相关装置
Zhao et al. Audio-visual multimodal speech recognition method fusing audio and video data
CN118520368A (zh) 一种远程医疗的声音图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant