CN116702090A - 一种多模态数据融合与不确定估计的水位预测方法及系统 - Google Patents

一种多模态数据融合与不确定估计的水位预测方法及系统 Download PDF

Info

Publication number
CN116702090A
CN116702090A CN202310727527.3A CN202310727527A CN116702090A CN 116702090 A CN116702090 A CN 116702090A CN 202310727527 A CN202310727527 A CN 202310727527A CN 116702090 A CN116702090 A CN 116702090A
Authority
CN
China
Prior art keywords
data
water level
prediction
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310727527.3A
Other languages
English (en)
Inventor
伍璇
陈奇
张子健
陈明健
陈扬伟
裘英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310727527.3A priority Critical patent/CN116702090A/zh
Publication of CN116702090A publication Critical patent/CN116702090A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种多模态数据融合与不确定估计的水位预测方法及系统，利用与水库水位预测相关的多种时空数据，生成多个并行CNN分支进行特征融合并降维，经过处理作为Bi‑LSTM模型的输入向量对水位进行预测，引入蒙特卡罗技术，对预测结果进行不确定性和置信度评估。本发明采用多模态数据融合技术，针对不同类型时空数据搭建不同CNN分支并行运行，通过PCA降维，搭建Bi‑LSTM网络进行预测，引入蒙特卡罗技术对模型进行预测和不确定性及置信度评估，有效降低模型预测误差，提高预测可靠性。本发明具有较高实用性，可广泛应用于水利、气象等领域，为水资源管理和灾害预警等应用场景提供更加严谨有效的预测和决策。

Description

一种多模态数据融合与不确定估计的水位预测方法及系统
技术领域
本发明属于数据科学和人工智能技术领域，尤其涉及一种多模态数据融合与不确定估计的水位预测方法及系统。
背景技术
对水库水位进行预测对当代水资源调度、洪水调节、生态保护等具有重要的作用，准确的水库水位预测是水文工程当中对水库管理的关键环节，可以帮助水利局制定合理的调度方案、预防水灾、降低经济损失以及保护水库生态系统等。然而，由于水库水位受气象、水文、地质等多种因素的影响，水位变化的过程时空复杂，具有不确定性和随机性，因此对水位的预测提出了很高的要求。
传统的水位预测方法主要基于统计模型,但是传统的预测方法没能较好地捕获水库水位数据的时序关系以及水库水位相关的影响因素与水库水位的时空关系，并且缺失多模态数据的综合分析，因此会导致预测精度低、预警提前时间短等问题。随着神经网络模型的不断发展，通过神经网络建模和多模态数据融合等方式对水库水位进行预测可以提高水位预测的准确性和泛化能力，克服传统方法的不足之处，具有广泛的应用前景。
然而，在水库水位预测当中，如何很好地将多模态数据进行融合和处理是一个较大的难题，除此之外，在神经网络中，由于模型的复杂性和参数量的庞大，过拟合现象较为严重，导致模型的泛化能力不足，因此神经网络模型的不确定性和置信度评估也是一个重要的问题，对于水位预测这样的关键应用场景来说，模型对预测结果的置信度评估和不确定性估计显得尤为重要。因此，新的神经网络模型和方法需要考虑如何降低过拟合的风险，同时增强模型的不确定性估计和置信度评估能力。
发明内容
为了解决以上技术问题，本发明提供了一种多模态数据融合与不确定估计的水位预测方法及系统。
本发明所解决的技术问题可以采用以下技术方案实现：一种多模态数据融合与不确定估计的水位预测方法，该方法包括以下步骤：
(1)获取水库基本属性、气象数据、历史水位、历史降雨量多个维度的数据，并对每个维度数据进行预处理；
(2)将预处理后的数据采用卷积神经网络CNN进行特征提取和多模态数据融合，具体为：将步骤(1)所述的多维度数据作为不同的影响因素，使用多个并行的卷积分支对不同影响因素进行处理，并将所有卷积分支的特征向量列表进行合并融合；
(3)将经过CNN进行多模态数据融合后的特征向量通过PCA降维后输入Bi-LSTM模型中进行训练，以学习数据的时序特征；其中Bi-LSTM模型的输入向量为经过多模态数据融合和降维后的特征向量，输出向量为水库水位的未来预测值；
(4)将训练好的Bi-LSTM模型引入蒙特卡罗Dropout技术进行水库水位预测，在每一层或者末层引入Dropout层，对模型进行多次随机丢弃不同神经元操作，采样多个预测结果，并对水库水位预测结果进行不确定性评估和置信度打分，以此更加准确地识别和评估水库水位预测的不确定性，为水资源管理和灾害预警提供预测和决策。
进一步地，步骤(1)包括：
(1.1)获取所述水库的基本属性，包括水库入水量、出水量、阀门开度、气象数据、历史水位、降雨量多个维度的数据；
(1.2)对所述多个维度的输入数据进行预处理，以去除异常值和噪声，并提取有效特征；
(1.3)对数据进行预处理时首先需要对数据的采集误差进行处理，减少水库水位预测相关的数据采集和处理时，由于传感器精度或者数据传输引起的误差，通过基于阈值的去噪方法对数据进行去噪处理；
(1.4)判断各个维度的数据是否存在数据缺失，若存在数据缺失则进行步骤(1.5)，否则进行步骤(1.6)；
(1.5)采用线性插值法对各个维度的缺失值数据分别进行处理；
(1.6)对各个维度的数据分别采用Min-max方法进行归一化处理。
进一步地，步骤(2)包括：
(2.1)在建立卷积神经网络CNN模型中，首先需要对所获取的预处理后的多维度的数据进行分类并将其进行格式化，转换为多个二维输入特征图片，具体地，将每个类别的影响因素数据创建一个卷积分支，使用多个并行的卷积分支来对不同的影响因素进行处理，并将其训练为基于数据的特征提取器，从而允许神经网络自动学习不同来源数据直接的关联性；
(2.2)对每个卷积分支，使用卷积层和池化层提取数据在空间中的特征；对于每个卷积分支，输入特征图片在经过一系列卷积层和池化层之后，输出特征向量列表；
(2.3)将所有并行的卷积分支的特征向量列表融合在一起，获得多模态数据融合后的特征向量。
进一步地，步骤(3)中，对输入特征进行PCA降维具体操作流程如下：
(3.1)对数据进行标准化处理；即将每个特征的数据都减去均值，再除以标准差，使得所有特征数据均值为0，方差为1；
(3.2)计算协方差矩阵，即将标准化后的特征之间的关系量化，获得协方差矩阵；
(3.3)对协方差矩阵进行特征分解，得到特征值和特征向量；
(3.4)对特征向量按照对应的特征值大小降序排列，选择前k个特征向量作为转换矩阵；其中，k值根据具体的数据和业务场景来决定；
(3.5)对原始的数据进行降维操作，即将原始数据乘以转换矩阵，得到降维后的数据集。
进一步地，步骤(4)中，对预测结果进行不确定性评估和置信度打分，通过多次预测，得到多个预测结果和置信度分数，并计算多个预测结果的平均值或者中位数。
另一方面，本发明提供了一种多模态数据融合与不确定估计的水位预测系统，该系统包括：
数据获取单元，用于对水库基本属性、气象数据、历史水位、降雨量等多个维度的数据进行获取；
分析单元，连接所述数据获取单元，用于对所获取的多个维度的数据分析以获取各个维度的特征并将其归类为不同的影响因素；
计算处理单元，分别连接所述数据获取单元和分析单元，对各个维度的数据进行预处理；
CNN模型建立单元，连接所述计算处理单元，包括对预处理后的分类的多维度数据进行格式化，转换为多个二维输入特征图片，并将不同类别的影响因素数据创建各自的卷积分支，使用多个并行卷积分支来对不同影响因素进行处理和融合，获取多模态数据融合后的特征向量；
PCA降维单元，连接所述CNN模型建立单元，将CNN处理得到的多模态数据融合后的特征向量进行降维处理；
Bi-LSTM模型训练单元，连接所述PCA降维单元和CNN模型建立单元，将经过PCA降维处理后特征向量作为输入向量，对Bi-LSTM模型进行训练；
Bi-LSTM模型预测单元，连接所述Bi-LSTM模型训练单元，对训练好的Bi-LSTM模型用于水库水位的预测当中，并在预测过程中引入蒙特卡罗Dropout技术，用于对预测结果进行不确定性评估和置信度打分。并通过计算多个预测结果的平均值或者中位数来获取最终预测结果。
本发明技术方案的优点或有益效果在于：
1.采用了一种基于多模态数据融合的并行CNN分支结合方法。一方面能够融合多种与水库水位预测相关的影响因素，从而更全面地描述水位预测的复杂性；另一方面，由于每个CNN分支对应着不同的输入数据类型，因此可以进一步提取不同类型数据之间的作用关系和时空特征，更精确地反映水位变化规律，可以大幅提升水位预测的准确性和泛化能力。
2.使用蒙特卡罗Dropout技术进行不确定性评估和置信度打分。该技术可以对神经网络模型的不确定性进行评估，包括输入数据的差异性、模型参数和结构的不确定性等，得到可靠的预测置信度评估，相较于传统的预测方法来说，更加准确识别和评估不确定性，预测效果更好。
3.融合了传统模型的思想。该专利基于传统的物理模型，借鉴了传统物理模型中的特征变量，并将其应用到深度学习的神经网络模型中，可以充分融合经验与理论，提高预测的准确性和可靠性。
综上所述，本专利的创新点在于提出了一种融合多模态数据的并行CNN分支结合方法和蒙特卡罗Dropout技术的新型水位预测模型，克服了传统单一数据源预测模型和不确定性评估方法的不足之处，并在保留传统物理模型优势的同时，提高了模型预测的准确性和可靠性
附图说明
图1为本发明较佳实施例中，引入了蒙特卡罗Dropout技术的CNN-PCA-Bi-LSTM模型实现水库水位预测的方法的流程示意图；
图2为本发明较佳实施例中，步骤(1)具体实施例的流程示意图；
图3为本发明较佳实施例中，步骤(2)具体实施例的流程示意图；
图4为本发明较佳实施例中，基于多模态数据融合与不确定估计的时空关系建模的水库水位预测的系统的结构框图。
具体实施方式
下面参照附图并结合实施例对本发明做出进一步详细描述，但本发明不限于所给出的例子。在下面的描述中阐述了很多具体细节以方便理解本发明，但是本发明也可采用其他不同于此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制，基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的较佳的实施例中，基于上述中现有的技术问题，提供一种多模态数据融合与不确定估计的水位预测方法，属于人工智能技术领域，流程示意图如图1所示，包括：
(1)获取水库基本属性(包括水库入水量、出水量、阀门开度等)、气象数据、历史水位、降雨量等多个维度的数据，并对每个维度数据进行预处理；
具体的，本发明实施例适用范围包括但不限于山区水库、平原水库、高山水库、跨流水库等，水库需具备实时监测相关气象、水文和水位等数据的能力，则可应用该发明进行水位预测和预警，除此之外，应用该发明的水库需要提前对其水库的特征参数进行研究分析，以便后续采用合适的方法进行刻画和输入模型之中。
作为优选的实施方式，其中，如图2所示，步骤(1)包括：
(1.1)获取所述水库的基本属性(包括水库入水量、出水量、阀门开度等)、气象数据、历史水位、降雨量多个维度的数据；
(1.2)对所述多个维度的输入数据进行预处理，以去除异常值和噪声，并提取有效特征，以提高模型的准确信和可靠性。包括对采集误差的处理，数据缺失值的处理以及数据的归一化处理。
(1.3)对数据进行预处理时首先需要对数据的采集误差进行处理，因为对水库水位预测相关的数据采集和处理时，难免会存在由于传感器精度或者数据传输等多方面引起的误差，为了减少误差对模型的影响，需要通过基于阈值的去噪方法对数据进行去噪处理。
(1.4)判断各个维度的数据是否存在数据缺失，若存在数据缺失则进行步骤(1.5)，否则进行步骤(1.6)。
(1.5)采用线性插值法对各个维度的缺失值数据分别进行处理。
(1.6)对各个维度的数据分别采用Min-max方法进行归一化处理。
作为优选的实施方式，其中步骤(1)中对数据的预处理包括对采集误差的处理，数据缺失值的处理以及数据的归一化处理。
具体的，对采集误差的处理包括系统误差和随机误差，其中系统误差在水位测量中，可以采用标准浮子法或者液位计校正法等方式进行校准。而随机误差可以采用基于阈值的去噪方法进行处理。采用基于阈值的去噪方法，公式如下：
其中,xt表示原始数据，yt为经过基于阈值的去噪方法去噪后的数据,ε是所设定的阈值，若是相邻的数据之前的差值超过了所设定的阈值，则认为该数据为噪声，赋值为0。
具体的，对数据缺失值的处理是由于经过采集误差处理后会出现部分数据被视作噪声为0的情况，并且在水库建模过程中，也会出现数据缺失情况，对于这些数据缺失值的处理，可采用线性插值法来处理，已知t时刻和t+mΔt时刻的数据，t+nΔt的数据为t时刻与t+mΔt时刻中间时间中丢失的数据，则t+nΔt的数据利用线性插值法计算为：
具体的，对数据归一化处理以统一不同数据的单位量纲，使数据标准化，以便于后续计算。本发明实例中采用Min-max方法对数据进行归一化处理，具体公式如下：
其中xg为归一化后的数据；x为样本集中的原始数据；xmin和xmax分别为样本集中的最大值与最小值。
对预处理后的数据进行多模态数据融合，具体过程如下：
(2)将预处理后的数据采用卷积神经网络CNN进行特征提取和多模态数据融合，具体为将步骤(1)所述的多维度数据作为不同的影响因素，使用多个并行的卷积分支对上述不同影响因素进行处理并将所有卷积分支的特征向量列表进行合并融合；
作为优选的实施方式，其中如图3所示，步骤(2)具体包括：
(2.1)在建立卷积神经网络模型中，首先需要对所获取的预处理后的多维度的数据进行分类并将其进行格式化，转换为多个二维输入特征图片，以便模型对其进行处理。具体地，如果我们需要处理N个不同类别的影响因素的数据，我们将为每个类别的影响因素数据创建一个卷积分支，使用多个并行的卷积分支来对不同的影响因素进行处理，并将其训练为基于数据的特征提取器，从而允许神经网络自动学习不同来源数据直接的关联性。
(2.2)对每个卷积分支，我们可以使用一些卷积层和池化层，以提取数据在空间中的特征。对于每个卷积分支，输入特征图片在经过一系列卷积层和池化层之后，都会输出特征向量列表。
(2.3)将所有并行的卷积分支的特征向量列表融合在一起，获得多模态数据融合后的特征向量。
优选的，所述步骤(2.1)中需要对输入数据进行格式化，将输入数据转换为多个二维输入特征图片，分别输入至不同的卷积分支进行处理，并且将每个分支训练为基于数据的特征提取器，从而允许神经网络自动学习不同来源数据直接的关联性。
优选的，所述(2.2)中，对于每个卷积分支，输入特征图片在经过一系列卷积层和池化层之后，都会输出特征向量列表。其中时间分布卷积层，对每种类型数据进行特征提取，其中历史水位和水库的基本属性，比如出水流量等，是一维数据，使用一维的时间分布卷积，而气象数据和降雨量由于涉及到到气象站，属于二维数据，使用二维的时间分布卷积。全局均值池化层会对时间分布卷积层输出的特征图进行全局均值池化，将特征图的高度和宽度上所有的值求平均，得到每个卷积核在所有时间步的输出特征。全局均值池化层是一种用于减小特征图大小并保留有用信息的池化操作，经过这一步可以减少特征图的维度，减少计算量，并保留有用信息，为后续操作提供更好的特征。
优选的，所述(2.3)中，对于历史水位和出水流量这类一维数据经过CNN分支后的特征图，需要将其按通道连接起来，对于雨量和气象数据则需要对其进行reshape操作，最后，需要将历史水位，出水流量和雨量观测值等数据的全局特征图拼接为一个向量，并将各数据的特征张量和全局特征向量进行按时间步的拼接，得到经过并行的CNN分支进行多模态数据融合后的特征向量。
针对经过CNN进行多模态数据融合后的特征向量，进一步的优化过程如下：
(3)将经过CNN进行多模态数据融合后的特征向量通过PCA降维后输入Bi-LSTM模型中进行训练，以学习数据的时序特征。其中Bi-LSTM模型的输入向量为上述经过多模态数据融合和降维后的特征向量，输出向量为水库水位的未来预测值；
作为优选的实施方式，步骤(3)具体包括：
(3.1)通过CNN获得的多模态数据融合后的特征向量可能存在特征数较多的情况，这样的高维特征若是作为Bi-LSTM的输入张量可能会导致模型过拟合，引起性能下降，因此需要对Bi-LSTM的输入数据进行PCA降维，
(3.2)将经过PCA降维后的特征向量作为Bi-LSTM的输入向量，对Bi-LSTM模型进行训练。
优选的，所述步骤(3.1)中，对输入特征进行PCA降维具体操作流程如下：
(3.1.1)对数据进行标准化处理。即将每个特征的数据都减去均值，再除以标准差，使得所有特征数据均值为0，方差为1。
(3.1.2)计算协方差矩阵，即将标准化后的特征之间的关系量化，获得协方差矩阵。
(3.1.3)对协方差矩阵进行特征分解，得到特征值和特征向量。
(3.1.4)对特征向量按照对应的特征值大小降序排列，选择前k个特征向量作为转换矩阵。其中，k值根据具体的数据和业务场景来决定。
(3.1.5)对原始的数据进行降维操作，即将原始数据乘以转换矩阵，得到降维后的数据集。
是否要选择PCA进行降维，以及降维所选择的k值需要根据具体的数据和应用场景来决定，在此不赘述。
(4)将训练好的Bi-LSTM模型引入蒙特卡罗Dropout技术进行水库水位预测，在每一层或者末层引入Dropout层，其中在每一层或者末层引入Dropout层的效果会根据不同的数据而不一样，具体要根据实验数据和结果来判断如何引入Droput层，根据所引入的Dropout层，对模型进行多次随机丢弃不同神经元操作，采样多个预测结果，并对水库水位预测结果进行不确定性评估和置信度打分，以此更加准确地识别和评估水库水位预测的不确定性，为水资源管理和灾害预警等应用场景提供更加严谨有效的预测和决策。
作为优选的实施方式，步骤(4)具体包括：
(4.1)在对水库水位进行预测时，启用蒙特卡罗Dropout技术，具体地，可以在每一层或者末层引入Dropout层，对模型进行多次随机丢弃不同神经元操作，采样多个预测结果。
(4.2)对预测结果进行不确定性评估和置信度打分。通过多次预测，得到多个预测结果和置信度分数，并计算多个预测结果的平均值或者中位数。
具体的，蒙特卡罗Dropout技术是在模型训练过程中随机丢失一部分神经元，来获得多组不同的预测结果，然后对这些结果进行平均或者加权平均，在对同一个输入样本进行多次预测，获得多个预测结果，可以计算每个预测结果的标准差或者置信度，以反映预测输出的不确定性大小，通过蒙特卡罗Dropout技术，可以有针对性地评估模型再预测水位时的不确定性并给出相应的预测置信度，同时也能缓解过拟合问题，提高模型泛化能力。
本发明还提供了一种多模态数据融合与不确定估计的水位预测的系统，应用于如上述的多模态数据融合与不确定估计的水位预测方法，如图4所示，包括：
数据获取单元1，用于对水库基本属性、气象数据、历史水位、降雨量等多个维度的数据进行获取；
分析单元2，连接所述数据获取单元1，用于对所获取的多个维度的数据分析以获取各个维度的特征并将其归类为不同的影响因素；
计算处理单元3，分别连接所述数据获取单元1和分析单元2，对各个维度的数据进行预处理；
CNN模型建立单元4，连接所述计算处理单元3，包括对预处理后的分类的多维度数据进行格式化，转换为多个二维输入特征图片，并将不同类别的影响因素数据创建各自的卷积分支，使用多个并行卷积分支来对不同影响因素进行处理和融合，获取多模态数据融合后的特征向量；
PCA降维单元5，连接所述CNN模型建立单元4，将CNN处理得到的多模态数据融合后的特征向量进行降维处理；
Bi-LSTM模型训练单元6，连接所述PCA降维单元5和CNN模型建立单元4，将经过PCA降维处理后特征向量作为输入向量，对Bi-LSTM模型进行训练；
Bi-LSTM模型预测单元7，连接所述Bi-LSTM模型训练单元6，对训练好的Bi-LSTM模型用于水库水位的预测当中，并在预测过程中引入蒙特卡罗Dropout技术，用于对预测结果进行不确定性评估和置信度打分。并通过计算多个预测结果的平均值或者中位数来获取最终预测结果。
应该理解的是，本发明是按照本发明的实施例的方法及系统的流程图和方框图来描述的，因此虽然本发明中实施例的流程图各个步骤按照箭头指示顺序依次执行，但是并不代表各实施例这些步骤必须按照箭头指示依次执行，这些步骤也可以按照其他顺序执行，各实施例中的各步骤也可以包含多个子步骤执行，这些子步骤也不一定是依次执行的，而是可以与其他步骤或者其子步骤轮流或者交替执行。
本领域内技术人员应该明白，本发明的实施例可提供为方法、系统，实现上述实施例方法中的全部或者部分流程是可以通过计算机程序来完成。因此本发明可以采用完全硬件实施，也可以采用完全软件实施，或者软硬件结合实施，这些计算机程序指令可以装载到计算机设备上也可存储到能引导计算机设备以特定方式工作的计算机可读存储器中，本发明所涉及的可以运行计算机程序的存储介质包含但不限于磁盘存储器、只读存储器(ROM)、随机存取存储器(RAM)等。
采用上述技术方案具有如下优点或有益效果：采用了一种基于多模态数据融合的并行CNN分支结合方法。一方面能够融合多种与水库水位预测相关的影响因素，从而更全面地描述水位预测的复杂性；另一方面，由于每个CNN分支对应着不同的输入数据类型，因此可以进一步提取不同类型数据之间的作用关系和时空特征，更精确地反映水位变化规律，可以大幅提升水位预测的准确性和泛化能力。使用蒙特卡罗Dropout技术进行不确定性评估和置信度打分。该技术可以对神经网络模型的不确定性进行评估，包括输入数据的差异性、模型参数和结构的不确定性等，得到可靠的预测置信度评估，相较于传统的预测方法来说，更加准确识别和评估不确定性，预测效果更好。融合了传统模型的思想。该专利基于传统的物理模型，借鉴了传统物理模型中的特征变量，并将其应用到深度学习的神经网络模型中，可以充分融合经验与理论，提高预测的准确性和可靠性。综上所述，本发明提出了一种融合多模态数据的并行CNN分支结合方法和蒙特卡罗Dropout技术的新型水位预测模型，克服了传统单一数据源预测模型和不确定性评估方法的不足之处，并在保留传统物理模型优势的同时，提高了模型预测的准确性和可靠性。
以上所述仅为本发明的较佳实例，并非对本发明的实施方式及保护范围的限制，对本领域的技术人员应该理解：凡是运用了本发明的说明书以及图示内容，对本发明的具体实施步骤进行了修改或者同等替换的，均是在本发明的保护范围内。

Claims (6)

1.一种多模态数据融合与不确定估计的水位预测方法，其特征在于，该方法包括以下步骤：
（1）获取水库基本属性、气象数据、历史水位、历史降雨量多个维度的数据，并对每个维度数据进行预处理；
（2）将预处理后的数据采用卷积神经网络CNN进行特征提取和多模态数据融合，具体为：将步骤（1）所述的多维度数据作为不同的影响因素，使用多个并行的卷积分支对不同影响因素进行处理，并将所有卷积分支的特征向量列表进行合并融合；
（3）将经过CNN进行多模态数据融合后的特征向量通过PCA降维后输入Bi-LSTM模型中进行训练，以学习数据的时序特征；其中Bi-LSTM模型的输入向量为经过多模态数据融合和降维后的特征向量，输出向量为水库水位的未来预测值；
（4）将训练好的Bi-LSTM模型引入蒙特卡罗Dropout技术进行水库水位预测，在每一层或者末层引入Dropout层，对模型进行多次随机丢弃不同神经元操作，采样多个预测结果，并对水库水位预测结果进行不确定性评估和置信度打分，以此更加准确地识别和评估水库水位预测的不确定性，为水资源管理和灾害预警提供预测和决策。
2.根据权利要求1所述的一种多模态数据融合与不确定估计的水位预测方法，其特征在于，步骤（1）包括：
（1.1）获取所述水库的基本属性，包括水库入水量、出水量、阀门开度、气象数据、历史水位、降雨量多个维度的数据；
（1.2）对所述多个维度的输入数据进行预处理，以去除异常值和噪声，并提取有效特征；
（1.3）对数据进行预处理时首先需要对数据的采集误差进行处理，减少水库水位预测相关的数据采集和处理时，由于传感器精度或者数据传输引起的误差，通过基于阈值的去噪方法对数据进行去噪处理；
（1.4）判断各个维度的数据是否存在数据缺失，若存在数据缺失则进行步骤（1.5），否则进行步骤（1.6）；
（1.5）采用线性插值法对各个维度的缺失值数据分别进行处理；
（1.6）对各个维度的数据分别采用Min-max方法进行归一化处理。
3.根据权利要求1所述的一种多模态数据融合与不确定估计的水位预测方法，其特征在于，步骤（2）包括：
（2.1）在建立卷积神经网络CNN模型中，首先需要对所获取的预处理后的多维度的数据进行分类并将其进行格式化，转换为多个二维输入特征图片，具体地，将每个类别的影响因素数据创建一个卷积分支，使用多个并行的卷积分支来对不同的影响因素进行处理，并将其训练为基于数据的特征提取器，从而允许神经网络自动学习不同来源数据直接的关联性；
（2.2）对每个卷积分支，使用卷积层和池化层提取数据在空间中的特征；对于每个卷积分支，输入特征图片在经过一系列卷积层和池化层之后，输出特征向量列表；
（2.3）将所有并行的卷积分支的特征向量列表融合在一起，获得多模态数据融合后的特征向量。
4.根据权利要求3所述的一种多模态数据融合与不确定估计的水位预测方法，其特征在于，步骤（3）中，对输入特征进行PCA降维具体操作流程如下：
（3.1）对数据进行标准化处理；即将每个特征的数据都减去均值，再除以标准差，使得所有特征数据均值为0，方差为1；
（3.2）计算协方差矩阵，即将标准化后的特征之间的关系量化，获得协方差矩阵；
（3.3）对协方差矩阵进行特征分解，得到特征值和特征向量；
（3.4）对特征向量按照对应的特征值大小降序排列，选择前k个特征向量作为转换矩阵；其中，k值根据具体的数据和业务场景来决定；
（3.5）对原始的数据进行降维操作，即将原始数据乘以转换矩阵，得到降维后的数据集。
5.根据权利要求3所述的一种多模态数据融合与不确定估计的水位预测方法，其特征在于，步骤（4）中，对预测结果进行不确定性评估和置信度打分，通过多次预测，得到多个预测结果和置信度分数，并计算多个预测结果的平均值或者中位数。
6.一种实现权利要求1-5任一项所述多模态数据融合与不确定估计的水位预测方法的多模态数据融合与不确定估计的水位预测系统，其特征在于，该系统包括：
数据获取单元，用于对水库基本属性、气象数据、历史水位、降雨量等多个维度的数据进行获取；
分析单元，连接所述数据获取单元，用于对所获取的多个维度的数据分析以获取各个维度的特征并将其归类为不同的影响因素；
计算处理单元，分别连接所述数据获取单元和分析单元，对各个维度的数据进行预处理；
CNN模型建立单元，连接所述计算处理单元，包括对预处理后的分类的多维度数据进行格式化，转换为多个二维输入特征图片，并将不同类别的影响因素数据创建各自的卷积分支，使用多个并行卷积分支来对不同影响因素进行处理和融合，获取多模态数据融合后的特征向量；
PCA降维单元，连接所述CNN模型建立单元，将CNN处理得到的多模态数据融合后的特征向量进行降维处理；
Bi-LSTM模型训练单元，连接所述PCA降维单元和CNN模型建立单元，将经过PCA降维处理后特征向量作为输入向量，对Bi-LSTM模型进行训练；
Bi-LSTM模型预测单元，连接所述Bi-LSTM模型训练单元，对训练好的Bi-LSTM模型用于水库水位的预测当中，并在预测过程中引入蒙特卡罗Dropout技术，用于对预测结果进行不确定性评估和置信度打分；并通过计算多个预测结果的平均值或者中位数来获取最终预测结果。
CN202310727527.3A 2023-06-19 2023-06-19 一种多模态数据融合与不确定估计的水位预测方法及系统 Pending CN116702090A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310727527.3A CN116702090A (zh) 2023-06-19 2023-06-19 一种多模态数据融合与不确定估计的水位预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310727527.3A CN116702090A (zh) 2023-06-19 2023-06-19 一种多模态数据融合与不确定估计的水位预测方法及系统

Publications (1)

Publication Number Publication Date
CN116702090A true CN116702090A (zh) 2023-09-05

Family

ID=87835509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310727527.3A Pending CN116702090A (zh) 2023-06-19 2023-06-19 一种多模态数据融合与不确定估计的水位预测方法及系统

Country Status (1)

Country Link
CN (1) CN116702090A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237780A (zh) * 2023-11-15 2023-12-15 人工智能与数字经济广东省实验室(深圳) 多维数据特征图构建方法、系统、智能终端和介质
CN117892073A (zh) * 2024-03-14 2024-04-16 四川星海数创科技有限公司 灌区用水计量系统及用水计量方法
CN118468122A (zh) * 2024-07-10 2024-08-09 山东神力索具有限公司 基于大数据分析与优化的索具模具寿命分析方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237780A (zh) * 2023-11-15 2023-12-15 人工智能与数字经济广东省实验室(深圳) 多维数据特征图构建方法、系统、智能终端和介质
CN117237780B (zh) * 2023-11-15 2024-03-15 人工智能与数字经济广东省实验室(深圳) 多维数据特征图构建方法、系统、智能终端和介质
CN117892073A (zh) * 2024-03-14 2024-04-16 四川星海数创科技有限公司 灌区用水计量系统及用水计量方法
CN117892073B (zh) * 2024-03-14 2024-05-24 四川星海数创科技有限公司 灌区用水计量系统及用水计量方法
CN118468122A (zh) * 2024-07-10 2024-08-09 山东神力索具有限公司 基于大数据分析与优化的索具模具寿命分析方法及装置

Similar Documents

Publication Publication Date Title
CN116702090A (zh) 一种多模态数据融合与不确定估计的水位预测方法及系统
Wang et al. An improved ARIMA model for precipitation simulations
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN115131618B (zh) 基于因果推理的半监督图像分类方法
CN110956309A (zh) 基于crf和lstm的流程活动预测方法
CN112560948B (zh) 数据偏差下的眼底图分类方法及成像方法
CN117155706B (zh) 网络异常行为检测方法及其系统
CN114048468A (zh) 入侵检测的方法、入侵检测模型训练的方法、装置及介质
CN116956197B (zh) 基于深度学习的能源设施故障预测方法、装置及电子设备
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN116738192A (zh) 一种基于数字孪生的安全数据评估方法及系统
CN114926767A (zh) 融合隐空间自回归的预测重构视频异常检测方法
CN118446118A (zh) 基于神经网络的高速公路机电系统故障预测方法、装置、电子设备及存储介质
CN117667495A (zh) 一种基于关联规则与深度学习集成模型的应用系统故障预测方法
CN117909881A (zh) 多源数据融合的抽油机的故障诊断方法及装置
CN115048873B (zh) 一种用于飞机发动机的剩余使用寿命预测系统
CN114067360A (zh) 一种行人属性检测方法及装置
CN112561153A (zh) 一种基于模型集成的景区人群聚集预测方法
CN118098443B (zh) 一种红外气体传感器在线升级系统及方法
Andriotis et al. Probabilistic structural performance assessment in hidden damage spaces
EP4372593A1 (en) Method and system for anonymizsing data
CN118297414A (zh) 矿山水害预报的电子设备及计算机程序产品
CN117877232A (zh) 一种基于gis的地质灾害预警方法及系统
Kim et al. Why is Uncertainty Needed for Traffic Flow Prediction
CN116910110A (zh) 访问量预测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination