CN115563579A - 一种电容式传感器测量含沙量的数据融合方法 - Google Patents

一种电容式传感器测量含沙量的数据融合方法 Download PDF

Info

Publication number
CN115563579A
CN115563579A CN202211225016.3A CN202211225016A CN115563579A CN 115563579 A CN115563579 A CN 115563579A CN 202211225016 A CN202211225016 A CN 202211225016A CN 115563579 A CN115563579 A CN 115563579A
Authority
CN
China
Prior art keywords
time
output
value
gate
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211225016.3A
Other languages
English (en)
Inventor
车国霖
邓罗晟
王剑平
金建辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202211225016.3A priority Critical patent/CN115563579A/zh
Publication of CN115563579A publication Critical patent/CN115563579A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/02—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance
    • G01N27/22—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating capacitance
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03H—IMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H21/00—Adaptive networks
    • H03H21/0012—Digital adaptive filters
    • H03H21/0025—Particular filtering methods
    • H03H21/0029—Particular filtering methods based on statistics
    • H03H21/003—KALMAN filters

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electrochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)

Abstract

本发明涉及一种电容式传感器测量含沙量的数据融合方法，属于河流含沙量测量技术领域。本发明包括步骤：使用多传感器同步采集电容、水温、电导率等数据信息；对各项数据进行异常值识别，对异常值进行剔除后采用插值法进行补充；采用Sage‑Husa自适应卡尔曼滤波对各项数据进行最优估计；将电容、水温、电导率等环境信息与含沙量信息进行数据融合处理。本发明消除了温度等环境因素对含沙量测量的影响，提高了电容传感器测量含沙量结果的准确性。

Description

一种电容式传感器测量含沙量的数据融合方法
技术领域
本发明涉及一种电容式传感器测量含沙量的数据融合方法，尤其涉及一种基于Sage-Husa自适应卡尔曼滤波-LSTM的电容式传感器测量含沙量的数据融合方法，属于河流含沙量测量技术领域。
背景技术
径流泥沙是衡量土壤侵蚀的重要参数之一，可为土壤侵蚀动力过程的模拟与研究、土壤侵蚀预报模型的建立等提供基础资料，为水土流失的监测、防治等提供科学依据。目前常见的河流含沙量测量方法可分为直接测量方法和间接测量方法。直接测量方法包括：烘干称重法和置换法。间接测量方法包括：光学法、声学法、振动法、电容法、同位素法等。以上几种含沙量测量方法存在着各种不足：
1)烘干称重法测量周期长，过程繁琐；
2)光学法受介质颜色和粒径影响大，测量范围窄，成本高；
3)声学法成本价格昂贵，测量范围小；
4)振动法受水速影响较大，在水速低于0.5m/s时会堵振动管；
5)同位素法由于放射源辐射问题无法推广使用。
而电容法构造简单，造价成本低，使用安全且响应速度快，但电容测量值容易受环境影响。因此如何减小环境因素对电容法测量值的干扰是研究电容法测沙的关键性问题。
发明内容
本发明提供了一种电容式传感器测量含沙量的数据融合方法，以用于消除温度等环境因素对电容式传感器测量值的影响，通过LSTM神经网络对电容值、温度和电导率等环境信息与含沙量信息进行数据融合，达到消除环境因素对含沙量测量影响的效果，提高了电容传感器测量含沙量结果的准确性。
本发明的技术方案是：一种电容式传感器测量含沙量的数据融合方法，所述方法的具体步骤如下：
步骤1：多传感器的测量数据信号采集，通过电容传感器、温度传感器、电导率测试仪以F的采样频率分别采集在第t时刻的电容值Ct、水温Tt、电导率σt，用烘干称重法测定测量点的含沙量信息作为实际含沙量CSt，其中t∈{1，2，…，N}，形成第一数据集；具体的，其中电容传感器采集测量点水体的电容值信息，温度传感器采集被测水体的当前水温信息，电导率测试仪采集测量点水体的电导率信息，用烘干称重法测定测量点的含沙量信息作为实际含沙量的评价标准。
步骤2，采用拉依达准则识别并剔除第一数据集中的异常值，再利用分段线性插值法计算出估算值作为对异常值的补充，以保证数据的完整性，形成第二数据集；
所述步骤2包括如下步骤：
步骤2.1：将第一数据集中的电容值Ct、水温Tt和电导率σt分别采用拉依达准则进行异常值识别，异常值判断方法如下：当
Figure BDA0003879469820000021
时，xt为正常值，对正常值予以保留，当
Figure BDA0003879469820000022
时，xt为异常值，对异常值进行剔除，其中xt为第t时刻样本值，
Figure BDA0003879469820000023
为当前样本的算术平均值，σ为标准差，σ的计算公式为：
Figure BDA0003879469820000024
式中，σ是标准差，n是采样次数；
步骤2.2：对异常值进行剔除，并采用线性插值法对缺失数据进行补充，异常值分为单点异常值和区域异常值，对于第m时刻的单点异常值xm，采用线性插值法计算新的估算值
Figure BDA0003879469820000025
其中
Figure BDA0003879469820000026
为单点异常值xm的估算值，xm-1为单点异常值xm前一时刻的正常值，xm+1为单点异常值xm后一时刻的正常值，对于第p时刻的区域异常值xp∈(xt,xt+1,xt+2,…,xt+n)，即从第t时刻到第t+n时刻内的所有样本值均为异常值，采用线性插值法计算新的估计值
Figure BDA0003879469820000027
对于区域异常值，异常值区域为[t,t+n]，p∈[t,t+n]，其中
Figure BDA0003879469820000028
为区域异常值xp的估算值，xt-1为该异常区域的首个异常值xt前一时刻的正常值，xt+n+1为该异常区域的末位异常值xt+n后一时刻的正常值。
步骤3，对经过异常值处理后的数据进行去噪：对已剔除粗大误差的第二数据集采用Sage-Husa自适应卡尔曼滤波进行最优估计，形成第三数据集；
所述步骤3包括如下步骤：
步骤3.1：采用Sage-Husa自适应卡尔曼滤波分别对第二数据集中的电容值Ct、水温Tt和电导率σt分别采用卡尔曼滤波进行最优估计，减小噪声干扰，计算第k时刻的先验估计
Figure BDA0003879469820000029
式中
Figure BDA00038794698200000210
为第k时刻的先验估计，A为状态方程的状态矩阵，
Figure BDA0003879469820000031
为第k-1时刻的后验估计，
Figure BDA0003879469820000032
为第k-1时刻的系统噪声；
步骤3.2：计算预测协方差矩阵
Figure BDA0003879469820000033
式中P(k/k-1)为第k时刻的预测协方差矩阵，A为状态方程的状态矩阵，AT为A的转置矩阵，P(k-1/k-1)为第k-1时刻的误差协方差矩阵，
Figure BDA0003879469820000034
为第k-1时刻系统噪声的协方差矩阵；
步骤3.3：计算新息序列：
Figure BDA0003879469820000035
式中ε(k)为第k时刻的残差，Y(k)为第k时刻的观测值，H为观测矩阵，
Figure BDA0003879469820000036
为第k时刻的先验估计，
Figure BDA0003879469820000037
为第k-1时刻的观测噪声；
步骤3.4：计算权值：
Figure BDA0003879469820000038
式中dk为第k时刻的权值，b为遗忘因子；取值范围为0<b<1，通常取值为0.9～0.99；
步骤3.5：计算卡尔曼增益
Figure BDA0003879469820000039
式中K(k)为第k时刻的卡尔曼增益，P(k/k-1)为第k时刻预测协方差矩阵，H为观测矩阵，HT为H的转置矩阵，
Figure BDA00038794698200000310
为观测噪声的协方差矩阵；
步骤3.6：计算更新状态估计
Figure BDA00038794698200000311
式中
Figure BDA00038794698200000312
为第k时刻的后验估计，
Figure BDA00038794698200000313
为第k时刻的先验估计，K(k)为第k时刻的卡尔曼增益，ε(k)为第k时刻的残差；
步骤3.7：计算更新误差协方差矩阵P(k/k)＝[I-K(k)H]P(k/k-1)，式中P(k/k)为第k时刻误差协方差矩阵，I为单位矩阵，K(k)为第k时刻的卡尔曼增益，H为观测矩阵，P(k/k-1)为第k时刻预测协方差矩阵；
步骤3.8：利用时变噪声估计器更新系统噪声和系统噪声的协方差矩阵：
Figure BDA00038794698200000314
式中
Figure BDA00038794698200000315
为第k时刻的系统噪声，dk为第k时刻的权值，
Figure BDA00038794698200000316
为第k-1时刻的系统噪声，
Figure BDA00038794698200000317
为第k时刻的后验估计，A为状态方程的状态矩阵，
Figure BDA00038794698200000318
为第k-1时刻的后验估计；
Figure BDA0003879469820000041
式中
Figure BDA0003879469820000042
为第k时刻的系统噪声的协方差矩阵，dk为第k时刻的权值，
Figure BDA0003879469820000043
为第k-1时刻的系统噪声的协方差矩阵，K(k)为第k时刻的卡尔曼增益，ε(k)为第k时刻的残差，ε(k)T为ε(k)的转置矩阵，K(k)T为K(k)的转置矩阵，P(k/k)为第k时刻误差协方差矩阵，A为状态方程的状态矩阵，P(k-1/k-1)为第k-1时刻的误差协方差矩阵，AT为A的转置矩阵；
步骤3.9：利用时变噪声估计器更新观测噪声和观测噪声的协方差矩阵：
Figure BDA0003879469820000044
式中
Figure BDA0003879469820000045
为第k时刻的观测噪声，dk为第k时刻的权值，
Figure BDA0003879469820000046
为第k-1时刻的观测噪声，Y(k)为第k时刻的观测值，H为观测矩阵，
Figure BDA0003879469820000047
为第k时刻的先验估计；
Figure BDA0003879469820000048
式中
Figure BDA0003879469820000049
为第k时刻观测噪声的协方差矩阵，dk为第k时刻的权值，
Figure BDA00038794698200000410
为第k-1时刻观测噪声的协方差矩阵，ε(k)为第k时刻的残差，ε(k)T为ε(k)的转置矩阵，H为观测矩阵，HT为H的转置矩阵，P(k/k-1)为第k时刻预测协方差矩阵。
步骤4、构建LSTM神经网络，将第三数据集中的电容值、水温和电导率信息作为LSTM神经网络的输入，含沙量作为LSTM神经网络的输出，对环境信息和含沙量信息进行数据融合。
所述步骤4包括如下步骤：
步骤4.1：构建LSTM神经网络模型，将第三数据集中的电容值Ct、水温Tt、电导率σt和含沙量CSt进行归一化处理，前90％数据作为训练样本，送入LSTM神经网络进行训练，直至训练样本误差满足要求；
步骤4.2：将电容值Ct、水温Tt和电导率σt作为三维输入，含沙量CSt作为一维输出；
步骤4.3：t-1层的输出ht-1与t层的序列数据xt通过一个具有可训练参数的“遗忘门层”和Sigmoid激活函数，得到遗忘门输出ft＝σ(Wf·[ht-1，xt]+bf)，其中ft为t层遗忘门的输出，ft表示上一层细胞状态被遗忘的程度，ht-1为t-1层的输出，xt为t层的序列输入，Wf为具有可训练参数的遗忘门权重，由ht-1的遗忘门权重和xt的遗忘门权重组成，σ为Sigmoid激活函数，bf为遗忘门的偏置；
步骤4.4：t-1层的输入ht-1与t层的序列数据xt通过一个具有可训练参数的“输入门层”与Sigmoid激活函数，得到输入门的输出it＝σ(Wi·[ht-1,xt]+bi)，其中it为t层输入门的输出，it表示本层中间输出信息被保留的程度，ht-1为t-1层的输出，xt为t层的序列输入，Wi为具有可训练参数的输入门权重，由ht-1的输入门权重和xt的输入门权重组成，σ为Sigmoid激活函数，bi为输入门的偏置；
步骤4.5：t-1层的输入ht-1与t层的序列数据xt通过一个具有可训练参数的“中间输出门层”与Tanh激活函数，得到本层神经元的中间输出
Figure BDA0003879469820000051
Figure BDA0003879469820000052
其中
Figure BDA0003879469820000053
为t层神经元的中间输出信息，ht-1为t-1层的输出，xt为t层的序列输入，WC为具有可训练参数的中间输出权重，由ht-1的中间输出权重和xt的中间输出权重组成，Tanh为Tanh激活函数，bC为中间输出的偏置；
步骤4.6：将上一层细胞状态Ct-1乘以上一层细胞状态被遗忘的程度ft，再加本层神经元的中间输出
Figure BDA0003879469820000054
乘以本层中间输出信息被保留的程度it可以得到新的细胞状态
Figure BDA0003879469820000055
其中Ct为t层的记忆细胞，ft为t层遗忘门输出，Ct-1为t-1层的记忆细胞，it为t层输入门输出，
Figure BDA0003879469820000056
为t层神经元的中间输出信息；
步骤4.7：t-1层的输入ht-1与t层的序列数据xt通过一个具有可训练参数的“输出门层”与Sigmoid激活函数，得到输出门的门限输出ot＝σ(Wo·[ht-1,xt]+bo)，其中ot为t层输出门的门限输出，ot决定本层神经元状态哪部分需要被输出，ht-1为t-1层的输出，xt为t层的序列输入，Wo为具有可训练参数的输出门门限权重，由ht-1的输出门门限权重和xt的输出门门限权重组成，σ为Sigmoid激活函数，bo为输出门门限的偏置；
步骤4.8：将本层的神经元状态Ct经过Tanh激活函数并乘以Sigmoid门限的输出ot，得到输出门的输出ht＝ot*Tanh(Ct)，其中ht为t层输出门的输出，ht将作为t+1层神经元的输入，ot为t层输出门的门限输出，Ct为t层的记忆细胞，Tanh为Tanh激活函数；
步骤4.9：后10％数据作为测试样本，送入LSTM神经网络进行测试。
上述公式中的Sigmoid激活函数的表达式为：
Figure BDA0003879469820000057
取值范围为(0，1)，Tanh激活函数的表达式为：
Figure BDA0003879469820000058
取值范围为(-1，1)，Wf、bf、Wi、bi、WC、bC、Wo、bo均为可调参数，LSTM神经网络通过大量训练样本不断地调节可调参数使得训练结果拟合度最优，训练误差最小。
本发明的有益效果是：
1、本发明采用拉依达准则对电容值数据、水温数据和电导率数据异常值识别，并采用线性插值法对异常值进行估算，用新的估算值修正异常值，提高了数据的稳定行和可靠性。
2、本发明采用Sage-Husa自适应卡尔曼滤波对电容值数据、水温数据和电导率数据进行最优估计，降低了由于传感器自身的测量误差带来的噪声干扰，提高了数据的准确性。
3、本发明通过LSTM神经网络对温度等环境信息和含沙量信息进行数据融合处理，消除了环境因素对含沙量测量的干扰，提高了电容传感器测量含沙量结果的准确性。相比于其他含沙量测量方法，电容法构造简单，造价成本低，使用安全且响应速度快，能实现对泥沙含量的实时测量。
附图说明
图1为本发明实施例中的电容式传感器测量含沙量系统的结构框图；
图2为本发明实施例中的异常值识别和线性插值法修正异常值的流程图；
图3为本发明实施例中的Sage-Husa自适应卡尔曼滤波的递推公式示意图；
图4为本发明实施例中的LSTM的结构示意图；
图5为本发明实施例中的LSTM的遗忘门示意图；
图6为本发明实施例中的LSTM的输入门示意图；
图7为本发明实施例中的LSTM的输出门示意图；
图8为本发明的流程图。
具体实施方式
实施例1：如图1-图8所示，一种电容式传感器测量含沙量的数据融合方法，包括如下步骤：
步骤1：通过电容传感器、温度传感器、电导率测试仪以F的采样频率分别采集在第t时刻的电容值Ct、水温Tt和电导率σt，其中t∈{1，2，…，N}，用烘干称重法测定测量点的含沙量信息作为实际含沙量CSt，形成第一数据集[C1，T1，σ1，CSt]；
步骤2：采用拉依达准则来识别并剔除第一数据集中的异常值，再利用插值法计算出估算值作为对异常值的补充，以保证数据的完整性，形成第二数据集[C2，T2，σ2，CSt]；
步骤3：对已剔除粗大误差的第二数据集通过Sage-Husa自适应卡尔曼滤波进行最优估计，形成第三数据集[C3，T3，σ3，CSt]；
步骤4：构建LSTM神经网络，将第三数据集中的电容值信息C3、水温T3和电导率σ3归一化后作为LSTM神经网络的输入X，含沙量CSt作为LSTM神经网络的输出Y，对含沙量信息和环境信息进行数据融合。
步骤2通过数据预处理算法对原始数据进行异常值识别和修正处理，异常值识别和线性插值法修正异常值的流程图如图2所示：
所述步骤2包括如下步骤：
步骤2.1：将第一数据集中的电容值Ct、水温Tt和电导率σt分别采用拉依达准则进行异常值识别，异常值判断方法如下：当
Figure BDA0003879469820000071
时，xt为正常值，对正常值予以保留，当
Figure BDA0003879469820000072
时，xt为异常值，对异常值进行剔除，其中xt为第t时刻样本值，
Figure BDA0003879469820000073
为当前样本的算术平均值，σ为标准差，σ的计算公式为：
Figure BDA0003879469820000074
式中，σ是标准差，n是采样次数；
步骤2.2：对异常值进行剔除，并采用线性插值法对缺失数据进行补充，异常值分为单点异常值和区域异常值，对于第m时刻的单点异常值xm，采用线性插值法计算新的估算值
Figure BDA0003879469820000075
其中
Figure BDA0003879469820000076
为单点异常值xm的估算值，xm-1为单点异常值xm前一时刻的正常值，xm+1为单点异常值xm后一时刻的正常值，对于第p时刻的区域异常值xp∈(xt,xt+1,xt+2,…,xt+n)，即从第t时刻到第t+n时刻内的所有样本值均为异常值，采用线性插值法计算新的估计值
Figure BDA0003879469820000077
对于区域异常值，异常值区域为[t,t+n]，p∈[t,t+n]，其中
Figure BDA0003879469820000078
为区域异常值xp的估算值，xt-1为该异常区域的首个异常值xt前一时刻的正常值，xt+n+1为该异常区域的末位异常值xt+n后一时刻的正常值。
步骤3、对第二数据集中的数据进行Sage-Husa自适应卡尔曼滤波以达到去噪目的，Sage-Husa自适应卡尔曼滤波的递推公式示意图如图3所示：
步骤3.1：计算第k时刻的先验估计
Figure BDA0003879469820000079
式中
Figure BDA0003879469820000081
为第k时刻的先验估计，A为状态方程的状态矩阵，
Figure BDA0003879469820000082
为第k-1时刻的后验估计，
Figure BDA0003879469820000083
为第k-1时刻的系统噪声；
步骤3.2：计算预测协方差矩阵
Figure BDA0003879469820000084
式中P(k/k-1)为第k时刻的预测协方差矩阵，A为状态方程的状态矩阵，AT为A的转置矩阵，P(k-1/k-1)为第k-1时刻的误差协方差矩阵，
Figure BDA0003879469820000085
为第k-1时刻系统噪声的协方差矩阵；
步骤3.3：计算新息序列：
Figure BDA0003879469820000086
式中ε(k)为第k时刻的残差，Y(k)为第k时刻的观测值，H为观测矩阵，
Figure BDA0003879469820000087
为第k时刻的先验估计，
Figure BDA0003879469820000088
为第k-1时刻的观测噪声；
步骤3.4：计算权值：
Figure BDA0003879469820000089
式中dk为第k时刻的权值，b为遗忘因子；取值范围为0<b<1，通常取值为0.9～0.99；
步骤3.5：计算卡尔曼增益
Figure BDA00038794698200000810
式中K(k)为第k时刻的卡尔曼增益，P(k/k-1)为第k时刻预测协方差矩阵，H为观测矩阵，HT为H的转置矩阵，
Figure BDA00038794698200000811
为观测噪声的协方差矩阵；
步骤3.6：计算更新状态估计
Figure BDA00038794698200000812
式中
Figure BDA00038794698200000813
为第k时刻的后验估计，
Figure BDA00038794698200000814
为第k时刻的先验估计，K(k)为第k时刻的卡尔曼增益，ε(k)为第k时刻的残差；
步骤3.7：计算更新误差协方差矩阵P(k/k)＝[I-K(k)H]P(k/k-1)，式中P(k/k)为第k时刻误差协方差矩阵，I为单位矩阵，K(k)为第k时刻的卡尔曼增益，H为观测矩阵，P(k/k-1)为第k时刻预测协方差矩阵；
步骤3.8：利用时变噪声估计器更新系统噪声和系统噪声的协方差矩阵：
Figure BDA00038794698200000815
式中
Figure BDA00038794698200000816
为第k时刻的系统噪声，dk为第k时刻的权值，
Figure BDA00038794698200000817
为第k-1时刻的系统噪声，
Figure BDA00038794698200000818
为第k时刻的后验估计，A为状态方程的状态矩阵，
Figure BDA00038794698200000819
为第k-1时刻的后验估计；
Figure BDA0003879469820000091
式中
Figure BDA0003879469820000092
为第k时刻的系统噪声的协方差矩阵，dk为第k时刻的权值，
Figure BDA0003879469820000093
为第k-1时刻的系统噪声的协方差矩阵，K(k)为第k时刻的卡尔曼增益，ε(k)为第k时刻的残差，ε(k)T为ε(k)的转置矩阵，K(k)T为K(k)的转置矩阵，P(k/k)为第k时刻误差协方差矩阵，A为状态方程的状态矩阵，P(k-1/k-1)为第k-1时刻的误差协方差矩阵，AT为A的转置矩阵；
步骤3.9：利用时变噪声估计器更新观测噪声和观测噪声的协方差矩阵：
Figure BDA0003879469820000094
式中
Figure BDA0003879469820000095
为第k时刻的观测噪声，dk为第k时刻的权值，
Figure BDA0003879469820000096
为第k-1时刻的观测噪声，Y(k)为第k时刻的观测值，H为观测矩阵，
Figure BDA0003879469820000097
为第k时刻的先验估计；
Figure BDA0003879469820000098
式中
Figure BDA0003879469820000099
为第k时刻观测噪声的协方差矩阵，dk为第k时刻的权值，
Figure BDA00038794698200000910
为第k-1时刻观测噪声的协方差矩阵，ε(k)为第k时刻的残差，ε(k)T为ε(k)的转置矩阵，H为观测矩阵，HT为H的转置矩阵，P(k/k-1)为第k时刻预测协方差矩阵。
步骤4、构建LSTM神经网络，将第三数据集中的电容值、水温和电导率信息作为LSTM神经网络的输入，含沙量作为LSTM神经网络的输出，对环境信息和含沙量信息进行数据融合。构建LSTM神经网络，并训练保存模型，LSTM的结构示意图如图4所示：
步骤4.1：构建LSTM神经网络模型，将第三数据集中的电容值Ct、水温Tt、电导率σt和含沙量CSt进行归一化处理，前90％数据作为训练样本，送入LSTM神经网络进行训练，直至训练样本误差满足要求；
步骤4.2：将电容值Ct、水温Tt和电导率σt作为三维输入，含沙量CSt作为一维输出；
LSTM的遗忘门示意图如图5所示：
步骤4.3：t-1层的输出ht-1与t层的序列数据xt通过一个具有可训练参数的“遗忘门层”和Sigmoid激活函数，得到遗忘门输出ft＝σ(Wf·[ht-1，xt]+bf)，其中ft为t层遗忘门的输出，ft表示上一层细胞状态被遗忘的程度，ht-1为t-1层的输出，xt为t层的序列输入，Wf为具有可训练参数的遗忘门权重，由ht-1的遗忘门权重和xt的遗忘门权重组成，σ为Sigmoid激活函数，bf为遗忘门的偏置；
LSTM的输入门示意图如图6所示：
步骤4.4：t-1层的输入ht-1与t层的序列数据xt通过一个具有可训练参数的“输入门层”与Sigmoid激活函数，得到输入门的输出it＝σ(Wi·[ht-1,xt]+bi)，其中it为t层输入门的输出，it表示本层中间输出信息被保留的程度，ht-1为t-1层的输出，xt为t层的序列输入，Wi为具有可训练参数的输入门权重，由ht-1的输入门权重和xt的输入门权重组成，σ为Sigmoid激活函数，bi为输入门的偏置；
步骤4.5：t-1层的输入ht-1与t层的序列数据xt通过一个具有可训练参数的“中间输出门层”与Tanh激活函数，得到本层神经元的中间输出
Figure BDA0003879469820000101
Figure BDA0003879469820000102
其中
Figure BDA0003879469820000103
为t层神经元的中间输出信息，ht-1为t-1层的输出，xt为t层的序列输入，WC为具有可训练参数的中间输出权重，由ht-1的中间输出权重和xt的中间输出权重组成，Tanh为Tanh激活函数，bC为中间输出的偏置；
步骤4.6：将上一层细胞状态Ct-1乘以上一层细胞状态被遗忘的程度ft，再加本层神经元的中间输出
Figure BDA0003879469820000104
乘以本层中间输出信息被保留的程度it可以得到新的细胞状态
Figure BDA0003879469820000105
其中Ct为t层的记忆细胞，ft为t层遗忘门输出，Ct-1为t-1层的记忆细胞，it为t层输入门输出，
Figure BDA0003879469820000106
为t层神经元的中间输出信息；
LSTM的输出门示意图如图7所示：
步骤4.7：t-1层的输入ht-1与t层的序列数据xt通过一个具有可训练参数的“输出门层”与Sigmoid激活函数，得到输出门的门限输出ot＝σ(Wo·[ht-1,xt]+bo)，其中ot为t层输出门的门限输出，ot决定本层神经元状态哪部分需要被输出，ht-1为t-1层的输出，xt为t层的序列输入，Wo为具有可训练参数的输出门门限权重，由ht-1的输出门门限权重和xt的输出门门限权重组成，σ为Sigmoid激活函数，bo为输出门门限的偏置；
步骤4.8：将本层的神经元状态Ct经过Tanh激活函数并乘以Sigmoid门限的输出ot，得到输出门的输出ht＝ot*Tanh(Ct)，其中ht为t层输出门的输出，ht将作为t+1层神经元的输入，ot为t层输出门的门限输出，Ct为t层的记忆细胞，Tanh为Tanh激活函数；
步骤4.9：后10％数据作为测试样本，送入LSTM神经网络进行测试。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种电容式传感器测量含沙量的数据融合方法，其特征在于：所述电容式传感器测量含沙量的数据融合方法的具体步骤如下：
步骤1：通过电容传感器、温度传感器、电导率测试仪以F的采样频率分别采集在第t时刻的电容值Ct、水温Tt、电导率σt，用烘干称重法测定测量点的含沙量信息作为实际含沙量CSt，其中t∈{1，2，…，N}，形成第一数据集；
步骤2：采用拉依达准则识别并剔除第一数据集中的异常值，再利用分段线性插值法计算出估算值作为对异常值的补充，以保证数据的完整性，形成第二数据集；
步骤3：对已剔除粗大误差的第二数据集采用Sage-Husa自适应卡尔曼滤波进行最优估计，形成第三数据集；
步骤4：构建LSTM神经网络，将第三数据集中的电容值、水温和电导率信息作为LSTM神经网络的输入，含沙量作为LSTM神经网络的输出，对环境信息和含沙量信息进行数据融合。
2.根据权利要求1所述的电容式传感器测量含沙量的数据融合方法，其特征在于：所述步骤2包括如下步骤：
步骤2.1：将第一数据集中的电容值Ct、水温Tt和电导率σt分别采用拉依达准则进行异常值识别，异常值判断方法如下：当
Figure FDA0003879469810000011
时，xt为正常值，对正常值予以保留，当
Figure FDA0003879469810000012
时，xt为异常值，对异常值进行剔除，其中xt为第t时刻样本值，
Figure FDA0003879469810000013
为当前样本的算术平均值，σ为标准差，σ的计算公式为：
Figure FDA0003879469810000014
式中，σ是标准差，n是采样次数；
步骤2.2：对异常值进行剔除，并采用线性插值法对缺失数据进行补充，异常值分为单点异常值和区域异常值，对于第m时刻的单点异常值xm，采用线性插值法计算新的估算值
Figure FDA0003879469810000015
其中
Figure FDA0003879469810000016
为单点异常值xm的估算值，xm-1为单点异常值xm前一时刻的正常值，xm+1为单点异常值xm后一时刻的正常值，对于第p时刻的区域异常值xp∈(xt，xt+1，xt+2，…，xt+n)，即从第t时刻到第t+n时刻内的所有样本值均为异常值，采用线性插值法计算新的估计值
Figure FDA0003879469810000017
p∈[t，t+n]，其中
Figure FDA0003879469810000018
为区域异常值xp的估算值，xt-1为该异常区域的首个异常值xt前一时刻的正常值，xt+n+1为该异常区域的末位异常值xt+n后一时刻的正常值。
3.根据权利要求1所述的电容式传感器测量含沙量的数据融合方法，其特征在于：所述步骤3包括如下步骤：
步骤3.1：将第二数据集中的电容值Ct、水温Tt和电导率σt分别采用卡尔曼滤波进行最优估计，计算第k时刻的先验估计
Figure FDA0003879469810000021
式中
Figure FDA0003879469810000022
为第k时刻的先验估计，A为状态方程的状态矩阵，
Figure FDA0003879469810000023
为第k-1时刻的后验估计，
Figure FDA0003879469810000024
为第k-1时刻的系统噪声；
步骤3.2：计算预测协方差矩阵
Figure FDA0003879469810000025
式中p(k/k-1)为第k时刻的预测协方差矩阵，A为状态方程的状态矩阵，AT为A的转置矩阵，P(k-1/k-1)为第k-1时刻的误差协方差矩阵，
Figure FDA0003879469810000026
为第k-1时刻系统噪声的协方差矩阵；
步骤3.3：计算新息序列
Figure FDA0003879469810000027
式中ε(k)为第k时刻的残差，Y(k)为第k时刻的观测值，H为观测矩阵，
Figure FDA0003879469810000028
为第k时刻的先验估计，
Figure FDA0003879469810000029
为第k-1时刻的观测噪声；
步骤3.4：计算权值
Figure FDA00038794698100000210
式中dk为第k时刻的权值，b为遗忘因子；
步骤3.5：计算卡尔曼增益
Figure FDA00038794698100000211
式中K(k)为第k时刻的卡尔曼增益，P(k/k-1)为第k时刻预测协方差矩阵，H为观测矩阵，HT为H的转置矩阵，
Figure FDA00038794698100000212
为观测噪声的协方差矩阵；
步骤3.6：计算更新状态
Figure FDA00038794698100000213
式中
Figure FDA00038794698100000214
为第k时刻的后验估计，
Figure FDA00038794698100000215
为第k时刻的先验估计，K(k)为第k时刻的卡尔曼增益，ε(k)为第k时刻的残差；
步骤3.7：计算更新误差协方差矩阵P(k/k)＝[I-K(k)H]P(k/k-1)，式中P(k/k)为第k时刻误差协方差矩阵，I为单位矩阵，K(k)为第k时刻的卡尔曼增益，H为观测矩阵，P(k/k-1)为第k时刻预测协方差矩阵；
步骤3.8：利用时变噪声估计器更新系统噪声和系统噪声的协方差矩阵：
Figure FDA0003879469810000031
式中
Figure FDA0003879469810000032
为第k时刻的系统噪声，dk为第k时刻的权值，
Figure FDA0003879469810000033
为第k-1时刻的系统噪声，
Figure FDA0003879469810000034
为第k时刻的后验估计，A为状态方程的状态矩阵，
Figure FDA0003879469810000035
为第k-1时刻的后验估计；
Figure FDA0003879469810000036
式中，
Figure FDA0003879469810000037
为第k时刻的系统噪声的协方差矩阵，dk为第k时刻的权值，
Figure FDA0003879469810000038
为第k-1时刻的系统噪声的协方差矩阵，K(k)为第k时刻的卡尔曼增益，ε(k)为第k时刻的残差，ε(k)T为ε(k)的转置矩阵，K(k)T为K(k)的转置矩阵，P(k/k)为第k时刻误差协方差矩阵，A为状态方程的状态矩阵，P(k-1/k-1)为第k-1时刻的误差协方差矩阵，AT为A的转置矩阵；
步骤3.9：利用时变噪声估计器更新观测噪声和观测噪声的协方差矩阵：
Figure FDA0003879469810000039
式中
Figure FDA00038794698100000310
为第k时刻的观测噪声，dk为第k时刻的权值，
Figure FDA00038794698100000311
为第k-1时刻的观测噪声，Y(k)为第k时刻的观测值，H为观测矩阵，
Figure FDA00038794698100000312
为第k时刻的先验估计；
Figure FDA00038794698100000313
式中
Figure FDA00038794698100000314
为第k时刻观测噪声的协方差矩阵，dk为第k时刻的权值，
Figure FDA00038794698100000315
为第k-1时刻观测噪声的协方差矩阵，ε(k)为第k时刻的残差，ε(k)T为ε(k)的转置矩阵，H为观测矩阵，HT为H的转置矩阵，P(k/k-1)为第k时刻预测协方差矩阵。
4.根据权利要求1所述的电容式传感器测量含沙量的数据融合方法，其特征在于：所述步骤4包括如下步骤：
步骤4.1：构建LSTM神经网络模型，将第三数据集中的电容值Ct、水温Tt、电导率σt、含沙量CSt进行归一化处理，前90％数据作为训练样本，送入LSTM神经网络进行训练，直至训练样本误差满足要求；
步骤4.2：将电容值Ct、水温Tt、电导率σt作为三维输入，含沙量CSt作为一维输出；
步骤4.3：计算遗忘门输出ft＝σ(Wf·[ht-1，xt]+bf)，其中ft为t层遗忘门的输出，ht-1为t-1层的输出，xt为t层的序列输入，Wf为具有可训练参数的遗忘门权重，由ht-1的遗忘门权重和xt的遗忘门权重组成，σ为Sigmoid激活函数，bf为遗忘门的偏置；
步骤4.4：计算输入门输出it＝σ(Wi·[ht-1，xt]+bi)，其中it为t层输入门的输出，ht-1为t-1层的输出，xt为t层的序列输入，Wi为具有可训练参数的输入门权重，由ht-1的输入门权重和xt的输入门权重组成，σ为Sigmoid激活函数，bi为输入门的偏置；
步骤4.5：计算本层神经元的中间输出信息
Figure FDA0003879469810000041
其中
Figure FDA0003879469810000042
为t层神经元的中间输出信息，ht-1为t-1层的输出，xt为t层的序列输入，WC为具有可训练参数的中间输出权重，由ht-1的中间输出权重和xt的中间输出权重组成，Tanh为Tanh激活函数，bC为中间输出的偏置；
步骤4.6：计算本层更新后的记忆细胞
Figure FDA0003879469810000043
其中Ct为t层的记忆细胞，ft为t层遗忘门输出，Ct-1为t-1层的记忆细胞，it为t层输入门输出，
Figure FDA0003879469810000044
为t层神经元的中间输出信息；
步骤4.7：计算输出门的门限输出ot＝σ(Wo·[ht-1，xt]+bo)，其中ot为t层输出门的门限输出，ht-1为t-1层的输出，xt为t层的序列输入，Wo为具有可训练参数的输出门门限权重，由ht-1的输出门门限权重和xt的输出门门限权重组成，σ为Sigmoid激活函数，bo为输出门门限的偏置；
步骤4.8：计算输出门输出ht＝ot*Tanh(Ct)，其中ht为t层输出门的输出，ot为t层输出门的门限输出，Ct为t层的记忆细胞，Tanh为Tanh激活函数；
步骤4.9：后10％数据作为测试样本，送入LSTM神经网络进行测试。
CN202211225016.3A 2022-10-09 2022-10-09 一种电容式传感器测量含沙量的数据融合方法 Pending CN115563579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211225016.3A CN115563579A (zh) 2022-10-09 2022-10-09 一种电容式传感器测量含沙量的数据融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211225016.3A CN115563579A (zh) 2022-10-09 2022-10-09 一种电容式传感器测量含沙量的数据融合方法

Publications (1)

Publication Number Publication Date
CN115563579A true CN115563579A (zh) 2023-01-03

Family

ID=84744205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211225016.3A Pending CN115563579A (zh) 2022-10-09 2022-10-09 一种电容式传感器测量含沙量的数据融合方法

Country Status (1)

Country Link
CN (1) CN115563579A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788961A (zh) * 2024-02-27 2024-03-29 武汉大学 基于视频图像的河道渠系悬移质含沙量监测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788961A (zh) * 2024-02-27 2024-03-29 武汉大学 基于视频图像的河道渠系悬移质含沙量监测方法及系统
CN117788961B (zh) * 2024-02-27 2024-05-10 武汉大学 基于视频图像的河道渠系悬移质含沙量监测方法及系统

Similar Documents

Publication Publication Date Title
CN111967688B (zh) 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN111982302B (zh) 一种带噪声滤波和环境温度补偿的测温方法
CN108710974B (zh) 一种基于深度置信网络的水体氨氮预测方法及装置
CN110794093B (zh) 一种蒸发过程出料苛性碱浓度测量装置精度补偿方法
CN111695473B (zh) 基于长短时记忆网络模型的热带气旋强度客观监测方法
CN113505534B (zh) 一种考虑需求响应的负荷预测方法
CN112862178A (zh) 一种基于深度学习的海洋站水位时空预测方法及装置
CN113486303A (zh) 一种基于修饰模型集成的长时间序列预测方法
CN115563579A (zh) 一种电容式传感器测量含沙量的数据融合方法
CN111814878A (zh) 基于ssda-helm-softmax的农业投入品实时分类预测方法
Zhu et al. A coupled model for dam foundation seepage behavior monitoring and forecasting based on variational mode decomposition and improved temporal convolutional network
CN112001115A (zh) 一种半监督动态软测量网络的软测量建模方法
CN115049026A (zh) 基于gsnnr的空间非平稳性关系的回归分析方法
CN116975645A (zh) 一种基于vae-mrcnn的工业过程软测量建模方法
Liu et al. Soil water content forecasting by ANN and SVM hybrid architecture
CN113151842B (zh) 风光互补电解水制氢的转化效率的确定方法和确定装置
CN112215495B (zh) 一种基于长短时记忆神经网络的污染源贡献度计算方法
CN114239796A (zh) 一种基于扩展卡尔曼滤波的电力系统状态估计方法
CN106528679A (zh) 基于多线性自回归模型的时间序列分析方法
CN117520784A (zh) 基于卷积注意力长短期神经网络的地下水位多步预测方法
Springer et al. Robust parameter estimation of chaotic systems
CN111863153A (zh) 一种基于数据挖掘的废水中悬浮固体总量的预测方法
CN112149355A (zh) 基于半监督动态反馈堆栈降噪自编码器模型的软测量方法
CN116384538A (zh) 一种流域径流预报方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination