CN116561563B - 一种基于残差预测模型的边坡位移预测方法及相关装置 - Google Patents

一种基于残差预测模型的边坡位移预测方法及相关装置 Download PDF

Info

Publication number
CN116561563B
CN116561563B CN202310845882.0A CN202310845882A CN116561563B CN 116561563 B CN116561563 B CN 116561563B CN 202310845882 A CN202310845882 A CN 202310845882A CN 116561563 B CN116561563 B CN 116561563B
Authority
CN
China
Prior art keywords
residual
slope
data
prediction result
slope displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310845882.0A
Other languages
English (en)
Other versions
CN116561563A (zh
Inventor
许文波
孙立成
贾海涛
张民
任金胜
李建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310845882.0A priority Critical patent/CN116561563B/zh
Publication of CN116561563A publication Critical patent/CN116561563A/zh
Application granted granted Critical
Publication of CN116561563B publication Critical patent/CN116561563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • G06F2218/06Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/23Dune restoration or creation; Cliff stabilisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本申请公开了一种基于残差预测模型的边坡位移预测方法及相关装置,用于提高基于支持向量机SVM的边坡位移预测模型的预测精度。本申请方法包括:获取第一边坡监测数据;使用第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型;根据残差预测模型输出的残差预测结果对第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;使用残差预测结果、第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器;根据残差修正判别器输出的目标残差数据对第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。

Description

一种基于残差预测模型的边坡位移预测方法及相关装置
技术领域
本申请涉及边坡位移预测领域,尤其涉及一种基于残差预测模型的边坡位移预测方法及相关装置。
背景技术
滑坡是一种斜坡上的土体或者岩体发生整体或者分散地顺坡向下滑动现象的自然灾害,造成滑坡的因素众多,其中开挖是边坡破坏的重要因素。开挖过程中的边坡卸荷会引起边坡应力场的快速调整和岩土材料的逐渐变形,从而导致原始裂缝的不断扩张和新裂缝的逐渐生成。同时,降雨、地下水位等外界环境因素的影响,加剧了裂缝的扩张,并降低了土壤和软岩等岩土材料的抗剪强度,使边坡更容易发生破坏。
传统的边坡风险预警方法主要包括物理模型法和数值模拟法,但通常受到边坡复杂地质特性的限制。随着监测技术与设备的发展,基于机器学习和深度学习的数据驱动模型被广泛用于边坡风险预警,如灰色系统模型,回归模型,混沌模型等,以预测边坡位移,捕捉边坡位移的非线性动力学行为。目前的边坡监测技术通常采用支持向量机(SupportVector Machine, SVM)构建边坡位移预测模型,使用SVM构建的边坡位移预测模型不仅可以应对非线性预测问题,而且对样本数据要求低。但是,基于SVM的边坡位移预测模型无法做到将影响边坡位移的所有因素考虑进去,通常只考虑主要影响因素而忽略次要影响因素。在无法考虑的次要影响因素的长期作用下,基于SVM的边坡位移预测模型所输出的预测值与真实值之间的误差会形成一定趋势,从而降低基于SVM的边坡位移预测模型的预测精度。
发明内容
本申请提供了一种基于残差预测模型的边坡位移预测方法及相关装置,能够提高基于SVM的边坡位移预测模型的预测精度。
本申请第一方面提供了一种基于残差预测模型的边坡位移预测方法,包括:
获取第一边坡监测数据;
使用所述第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,所述第一残差数据为所述边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
根据所述残差预测模型输出的残差预测结果对所述第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
使用所述残差预测结果、所述第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,所述第二残差数据为所述第二边坡位移预测结果与真实值作差得到的误差数据,所述残差修正判别器用于根据所述第一残差数据和所述第二残差数据的绝对值大小比较结果为所述残差预测结果赋予0值或1值并确定赋值后的所述残差预测结果为目标残差数据;
根据所述残差修正判别器输出的目标残差数据对所述第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。
可选的,在所述获取第一边坡监测数据之后,所述使用所述第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练之前,所述边坡位移方法还包括:
对所述第一边坡监测数据进行预处理,得到第二边坡监测数据;
所述使用所述第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练包括:
使用所述第二边坡监测数据对基于SVM的第一模型进行边坡位移预测训练。
可选的,所述对所述第一边坡监测数据进行预处理,得到第二边坡监测数据包括:
根据3σ准则删除所述第一边坡监测数据中的异常值;
采用最小二乘SVM填补所述第一边坡监测数据中的缺失值;
采用小波变换对删除和填补后的所述第一边坡监测数据进行降噪处理;
对降噪处理后的所述第一边坡监测数据进行数据标准化,得到第二边坡监测数据。
可选的,所述根据所述残差修正判别器输出的目标残差数据对所述第一边坡位移预测结果进行修正,得到目标边坡位移预测结果包括:
若所述残差修正判别器输出的目标残差数据为赋值为0值的所述残差预测结果,则确定所述第一边坡位移预测结果为目标边坡位移预测结果;
若所述残差修正判别器输出的目标残差数据为赋值为1值的所述残差预测结果,则确定所述第二边坡位移预测结果为目标边坡位移预测结果。
可选的,所述第一边坡监测数据为边坡深部位移监测数据。
本申请第二方面提供了一种基于残差预测模型的边坡位移预测装置,包括:
获取单元,用于获取第一边坡监测数据;
边坡位移预测训练单元,用于使用所述第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
残差预测训练单元,用于使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,所述第一残差数据为所述边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
第一修正单元,用于根据所述残差预测模型输出的残差预测结果对所述第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
残差判别训练单元,用于使用所述残差预测结果、所述第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,所述第二残差数据为所述第二边坡位移预测结果与真实值作差得到的误差数据,所述残差修正判别器用于根据所述第一残差数据和所述第二残差数据的绝对值大小比较结果为所述残差预测结果赋予0值或1值并确定赋值后的所述残差预测结果为目标残差数据;
第二修正单元,用于根据所述残差修正判别器输出的目标残差数据对所述第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。
可选的,所述边坡位移装置还包括:
预处理单元,用于对所述第一边坡监测数据进行预处理,得到第二边坡监测数据;
所述边坡位移预测训练单元具体用于:
使用所述第二边坡监测数据对基于SVM的第一模型进行预测训练。
可选的,预处理单元具体用于:
根据3σ准则删除所述第一边坡监测数据中的异常值;
采用SVM填补所述第一边坡监测数据中的缺失值;
采用小波变换对删除和填补后的所述第一边坡监测数据进行降噪处理;
对降噪处理后的所述第一边坡监测数据进行数据标准化,得到第二边坡监测数据。
可选的,所述第二修正单元具体用于:
若所述残差修正判别器输出的目标残差数据为赋值为0值的所述残差预测结果,则确定所述第一边坡位移预测结果为目标边坡位移预测结果;
若所述残差修正判别器输出的目标残差数据为赋值为1值的所述残差预测结果,则确定所述第二边坡位移预测结果为目标边坡位移预测结果。
可选的,所述获取单元具体用于:获取第一边坡监测数据,所述第一边坡监测数据为边坡深部位移监测数据。
本申请第三方面提供了一种基于残差预测模型的边坡位移预测系统,包括:
中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行第一方面以及第一方面的可选方式中的任意一种所述的方式。
本申请第四方面提供了一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行第一方面以及第一方面的可选方式中的任意一种所述的方式。
从以上技术方案可以看出,本申请具有以下效果:
获取第一边坡监测数据;使用第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,该第一残差数据为边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;根据残差预测模型输出的残差预测结果对第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;使用残差预测结果、第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,该第二残差数据为第二边坡位移预测结果与真实值作差得到的误差数据,该残差修正判别器用于根据第一残差数据和第二残差数据的绝对值大小比较结果为残差预测结果赋予0值或1值并确定赋值后的残差预测结果为目标残差数据;根据残差修正判别器输出的目标残差数据对第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。这样,可以由使用边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据训练完成的残差预测模型进行残差预测,并根据残差预测结果对第一边坡位移预测结果进行第一次修正。然后由使用残差预测结果、第一残差数据和第二残差数据训练完成的残差修正判别器进行修正判断。若第一残差数据大于第二残差数据,则表示第一次修正为有效修正,确定第一次修正后的第二边坡位移预测结果为目标边坡位移预测结果,反之,则表示第一次修正为无效修正,确定第一次修正前的第一边坡位移预测结果为目标边坡位移预测结果。通过这样,可以减缓在无法考虑的次要影响因素的作用下而形成的误差趋势,从而可以提高基于SVM的边坡位移预测模型的预测精度。
附图说明
图1为本申请中一种基于残差预测模型的边坡位移预测方法的一个实施例示意图;
图2为一种基于残差预测模型的边坡位移预测方法;
图3为本申请中的另一个实施例示意图;
图4为本申请中一种基于残差预测模型的边坡位移预测装置的一个实施例示意图;
图5为本申请中一种基于残差预测模型的边坡位移预测装置的另一个实施例示意图;
图6为本申请中一种基于残差预测模型的边坡位移预测系统的一个实施例示意图。
实施方式
本申请提供了一种基于残差预测模型的边坡位移预测方法及相关装置,用于提高基于SVM的边坡位移预测模型的预测精度。
本申请描述的基于残差预测模型的边坡位移预测方法应用于边坡位移监测系统中,对所监测边坡可能发生水平或竖向位移的情况提取作出预警,为边坡的防护布局提供支持。
本申请描述的基于残差预测模型的边坡位移预测方法应用于系统上执行实现,请参阅图1所示,本申请中基于残差预测模型的边坡位移预测方法的一个实施例包括:
101、系统获取第一边坡监测数据;
本实施例中,边坡监测设备对待监测边坡区域进行第一边坡监测数据的采集,并通过通讯设备上传至系统,由系统获取该第一边坡监测数据。该第一边坡监测数据可以为由深部位移设备采集到的边坡深部位移监测数据,具体后续实施例再进行描述。
102、系统使用第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
本实施例中,使用SVM算法建立第一模型,将系统获取到的第一边坡监测数据作为该第一模型的训练数据集对该第一模型进行边坡位移预测训练,当该第一模型收敛时,得到可用于边坡位移预测的边坡位移预测模型。用于建立第一模型的SVM算法为:
其中,为根据凸优化理论构造的Lagrange函数;/>为训练样本数量;/>为Lagrange乘子。大括号中的内容为求解最优解需满足的Karush-Kuhn-Tucker(KKT)条件;为输入向量/>的权重向量;/>为偏置项。
为最优分类超平面;为相应的分类决策函数;/>为松弛因子,要求
SVM算法中用于分类的核函数可以选择线性核函数、多项式核函数、径向基核函数或者Sigmoid 核函数,其分别对应为:
其中,表示低维特征向量,/>、/>表示超参数,多项式核函数是泛化能力较高,学习能力较差的全局核函数;而径向基核函数则相反,其为局部核函数,具有良好的学习能力,但泛化能力较差。本实施例中可以选择实际使用较广泛的径向基核函数,具体此处不做限定。
103、系统使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,该第一残差数据为边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
本实施例中,使用SVM算法建立第二模型,将边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的第一残差数据作为该第二模型的训练数据集对该第二模型进行残差预测训练,当该第二模型收敛时,得到可用于残差预测的残差预测模型。该第一残差数据在第二模型的训练过程中划分为训练集和测试集,训练集和测试集的比例为8:2,其中训练集和测试集中的第一残差数据都采用时序残差数据集。在训练集的构造过程中,将时序残差数据上一时刻或连续的上一时刻的数据作为x,将下一时刻的数据作为y,例如:第一残差数据的时序残差数据集为
其中,/>为边坡位移真实值,/>为第一边坡位移预测结果,/>为/>连续时刻的对应残差数据。然后间隔n时刻选取标签值,标签集为/>,其中/>,/>。最后将时序残差数据集和标签集组合为训练集:/>,其中/>,/>
104、系统根据残差预测模型输出的残差预测结果对第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
本实施例中,残差预测模型输出的残差预测结果为第一边坡位移预测结果对应的残差数据预测,系统将得到的残差数据预测与第一边坡位移预测结果进行求和,得到修正后的第二边坡位移预测结果。例如:第一边坡位移预测结果为边坡位移预测模型输出的是A时刻的边坡位移预测数据a,则残差预测模型的输出为A时刻的边坡位移预测数据a的残差数据预测c,第二边坡位移预测结果为A时刻的边坡位移数据a+c。
105、系统使用残差预测结果、第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,该第二残差数据为第二边坡位移预测结果与真实值作差得到的误差数据,该残差修正判别器用于根据第一残差数据和第二残差数据的绝对值大小比较结果为残差预测结果赋予0值或1值并确定赋值后的残差预测结果为目标残差数据;
本实施例中,将第一残差数据和第二残差数据的绝对值进行大小比较,若第一残差数据的绝对值大于第二残差数据的绝对值,则为残差预测结果的标签赋予1值,此时表示使用残差预测结果对第一边坡位移预测结果的修正为有效修正,残差修正判别器确定残差预测结果为目标残差数据;若第一残差数据的绝对值小于第二残差数据的绝对值,则为残差预测结果的标签赋予0值,此时表示使用残差预测结果对第一边坡位移预测结果的修正为无效修正,即不再需要使用残差预测结果对第一边坡位移预测结果进行修正,残差修正判别器确定残差预测结果为0值。
106、系统根据残差修正判别器输出的目标残差数据对第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。
训练完成的残差修正判别器用于判断是否需要使用残差预测结果对第一边坡位移预测结果进行修正,若是,则将残差预测结果与第一边坡位移预测结果进行求和,得到第二边坡位移预测结果,并确定第二边坡位移预测结果为目标边坡位移预测结果;若否,则确定第一边坡位移预测结果为目标位移预测结果。
本实施例中,可以由使用边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据训练完成的残差预测模型进行残差预测,并根据残差预测结果对第一边坡位移预测结果进行第一次修正。然后由使用残差预测结果、第一残差数据和第二残差数据训练完成的残差修正判别器进行修正判断。若第一残差数据大于第二残差数据,则表示第一次修正为有效修正,确定第一次修正后的第二边坡位移预测结果为目标边坡位移预测结果,反之,则表示第一次修正为无效修正,确定第一次修正前的第一边坡位移预测结果为目标边坡位移预测结果。通过这样,可以减缓在无法考虑的次要影响因素的作用下而形成的误差趋势,从而可以提高基于SVM的边坡位移预测模型的预测精度。
请参阅图2和图3所示,本申请中基于残差预测模型的边坡位移预测方法的另一个实施例包括:
201、系统获取第一边坡监测数据,该第一边坡监测数据为边坡深部位移监测数据;
可选的,第一边坡监测数据可以为由深部位移设备采集到的深部位移监测数据,例如:可以采用钻孔测斜仪设备,其主要利用伺服加速度原理,对待监测边坡区域的岩土体深部的变位情况进行监测。深部位移监测操作简单,测量精度高,可以直接获取边坡与坡体的内部滑动面准确位置、位移大小以及滑动速率等参数。
202、系统根据3σ准则删除第一边坡监测数据中的异常值;
203、系统采用最小二乘SVM填补第一边坡监测数据中的缺失值;
204、系统采用小波变换对删除和填补后的第一边坡监测数据进行降噪处理;
205、系统对降噪处理后的第一边坡监测数据进行数据标准化,得到第二边坡监测数据;
可选的,本实施例中,边坡监测设备由于其设备特性以及其放置于野外,容易受到周围地质环境的某些影响或者由于仪器突然出现故障等原因,造成第一边坡监测数据存在某些异常值以及缺失值,使得用于训练边坡位移预测模型的训练样本不准确,进而降低了边坡位移预测模型的精度。因此,可以在进行边坡位移预测训练前,对获取到的第一边坡监测数据进行预处理,以提高第一边坡监测数据的真实性和准确性,进而提高边坡位移预测模型的精度。
首先,可以采用3σ准则对获取到的第一边坡监测数据进行异常值删除。3σ准则用于对正态或近似正态分布且测量次数充分大的样本数据进行处理。对于一组监测数据,假设其只包含随机误差,对其进行计算和处理,得到标准差,并根据一定概率确定区间。当该组监测数据中的监测值的残余误差的绝对值超过间隔误差时,将监测值确定为无效值并予以剔除。例如:把±3σ的误差作为极限误差,有效值分布在(μ-3σ,μ+3σ)范围内的概率为0.9974,超过该范围的可能性小于0.3%。
然后,可以采用最小二乘SVM对缺失数据进行填补。首先在原始数据集中选取不含有缺失值数据的片段,在其片段上人为地制造缺失数据。然后在所取的片段/>中取一段子集,该子集为不含缺失值的数据,将其作为训练样本h_train,再取一段具有缺失值数据的子集作为测试集样本;
h_test。将h_train送入LSSVM中进行训练,使用h_test进行模型的评估。具体流程为:步骤1:在中采用随机函数人为产生缺失值,缺失值数据具有完全随机缺失和随机缺失两种特征,/>为数据片段;步骤2:将处理好的/>划分为 h_train和h_test。取不含缺失值的子集为训练样本h_train,含缺失值的子集为测试样本h_test;步骤3:设置参数和/>参数;步骤4:将h_train样本输入至LSSVM模型进行训练;步骤5:判断均方误差值(Mean Square Error,MSE)是否趋于平稳且最小,若是,则输出LSSVM模型,若否,则调整和/>参数;步骤6:进行评价指标,计算均方根误差(Root Mean Squared Error,RMSE)和平均绝对误差值(Mean Absolute Error,MAE),其公式为:
其中,和/>分别代表第/>个样本真实值和填补值;/>代表样本数量。步骤7:使用训练完成的LSSVM模型进行缺失值填补。
之后,可以采用小波变换,通过小波分解剔除噪声信息。首先对带噪信号进行特征提取,得到特征信号;再对特征提取后的带噪信号进行低通滤波;最后将低通滤波后的带噪信号与特征信号组合,得到重建信号。
最后,可以采用极值标准化法对降噪处理后的第一边坡监测数据进行数据标准化,其公式为:
其中,和/>分别代表降噪处理后的第一边坡监测数据的最大值和最小值。
206、系统使用第二边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
207、系统使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,该第一残差数据为边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
208、系统根据残差预测模型输出的残差预测结果对第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
209、系统使用残差预测结果、第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,该第二残差数据为第二边坡位移预测结果与真实值作差得到的误差数据,该残差修正判别器用于根据第一残差数据和第二残差数据的绝对值大小比较结果为残差预测结果赋予0值或1值并确定赋值后的残差预测结果为目标残差数据;
图2和图3所示实施例中的步骤206至209与前述图1所示实施例中的步骤102至104类似,此处不再进行赘述。
210、若残差修正判别器输出的目标残差数据为赋值为0值的残差预测结果,则系统确定第一边坡位移预测结果为目标边坡位移预测结果;
211、若残差修正判别器输出的目标残差数据为赋值为1值的残差预测结果,则系统确定第二边坡位移预测结果为目标边坡位移预测结果。
可选的,本实施例中,当第一残差数据的绝对值大于第二残差数据时,残差判别器为残差预测结果赋予1值,此时残差判别器输出的目标残差数据为残差预测结果,将第一边坡位移预测结果与该残差预测结果进行求和后得到的第二边坡位移预测结果即为目标边坡位移预测结果;当第一残差数据的绝对值小于第二残差数据时,残差判别器为残差预测结果赋予0值,此时残差判别器输出的目标残差数据为0值,将第一边坡位移预测结果与0值进行求和后仍得到的第一边坡位移预测结果即为目标边坡位移预测结果。通过这样,可以减少使用残差预测模型对第一边坡位移预测结果修正后的残差比修正前的残差跟大的情况,进一步减缓了边坡位移预测模型输出的第一边坡位移预测结果所产生的误差趋势。
本实施例中,通过将第一边坡监测数据限定为边坡深部位移数据可以以更简单的操作获取到精度更高的数据;通过对第一边坡监测数据进行预处理可以提高第一边坡监测数据的真实性和准确性,进而提高边坡位移预测模型的精度;通过根据残差修正判别器不同的输出确定不同的目标边坡位移预测结果可以减少使用残差预测模型对第一边坡位移预测结果修正后的残差比修正前的残差跟大的情况,进一步减缓了边坡位移预测模型输出的第一边坡位移预测结果所产生的误差趋势。
请参阅图4所示,本申请中基于残差预测模型的边坡位移预测装置的一个实施例包括:
获取单元301,用于获取第一边坡监测数据;
边坡位移预测训练单元302,用于使用第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
残差预测训练单元303,用于使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,该第一残差数据为边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
第一修正单元304,用于根据残差预测模型输出的残差预测结果对第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
残差判别训练单元305,用于使用残差预测结果、第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,第二残差数据为第二边坡位移预测结果与真实值作差得到的误差数据,该残差修正判别器用于根据第一残差数据和第二残差数据的绝对值大小比较结果为残差预测结果赋予0值或1值并确定赋值后的残差预测结果为目标残差数据;
第二修正单元306,用于根据残差修正判别器输出的目标残差数据对第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。
本实施例中,获取单元301获取第一边坡监测数据;边坡位移预测训练单元302使用第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;残差预测训练单元303使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,该第一残差数据为边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;第一修正单元304根据残差预测模型输出的残差预测结果对第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;残差判别训练单元305使用残差预测结果、第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,第二残差数据为第二边坡位移预测结果与真实值作差得到的误差数据,该残差修正判别器用于根据第一残差数据和第二残差数据的绝对值大小比较结果为残差预测结果赋予0值或1值并确定赋值后的残差预测结果为目标残差数据;第二修正单元306根据残差修正判别器输出的目标残差数据对第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。通过这样,可以减缓在无法考虑的次要影响因素的作用下而形成的误差趋势,从而可以提高基于SVM的边坡位移预测模型的预测精度。
请参阅图5所示,本申请中基于残差预测模型的边坡位移预测装置的另一个实施例包括:
获取单元301,具体用于获取第一边坡监测数据,该第一边坡监测数据为边坡深部位移监测数据;
预处理单元402,用于对第一边坡监测数据进行预处理,得到第二边坡监测数据;具体用于根据3σ准则删除第一边坡监测数据中的异常值;采用SVM填补第一边坡监测数据中的缺失值;采用小波变换对删除和填补后的第一边坡监测数据进行降噪处理;对降噪处理后的第一边坡监测数据进行数据标准化,得到第二边坡监测数据;
边坡位移预测训练单元302,用于使用第二边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
残差预测训练单元303,用于使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,该第一残差数据为边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
第一修正单元304,用于根据残差预测模型输出的残差预测结果对第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
残差判别训练单元305,用于使用残差预测结果、第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,第二残差数据为第二边坡位移预测结果与真实值作差得到的误差数据,该残差修正判别器用于根据第一残差数据和第二残差数据的绝对值大小比较结果为残差预测结果赋予0值或1值并确定赋值后的残差预测结果为目标残差数据;
第二修正单元306,具体用于若残差修正判别器输出的目标残差数据为赋值为0值的残差预测结果,则确定第一边坡位移预测结果为目标边坡位移预测结果;若残差修正判别器输出的目标残差数据为赋值为1值的残差预测结果,则确定第二边坡位移预测结果为目标边坡位移预测结果。
本实施例中,各单元的功能与前述图2和图3所示实施例中的步骤201至211的功能类似,此处不再进行赘述。
请参阅图6所示,本申请中基于残差预测模型的边坡位移预测系统的一个实施例包括:
中央处理器502,存储器501,输入输出接口503,有线或无线网络接口504以及电源505;
存储器501为短暂存储存储器或持久存储存储器;
中央处理器502配置为与存储器501通信,并执行存储器501中的指令操作以执行前述图1至图2所示实施例中的步骤。
本申请提供了一种计算机可读存储介质,包括指令,当该指令在计算机上运行时,使得计算机执行前述图1至图2所示实施例中的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种基于残差预测模型的边坡位移预测方法,其特征在于,包括:
获取第一边坡监测数据;
使用所述第一边坡监测数据对基于支持向量机SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,所述第一残差数据为所述边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
根据所述残差预测模型输出的残差预测结果对所述第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
使用所述残差预测结果、所述第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,所述第二残差数据为所述第二边坡位移预测结果与真实值作差得到的误差数据,所述残差修正判别器用于根据所述第一残差数据和所述第二残差数据的绝对值大小比较结果为所述残差预测结果赋予0值或1值并确定赋值后的所述残差预测结果为目标残差数据;
根据所述残差修正判别器输出的目标残差数据对所述第一边坡位移预测结果进行修正,得到目标边坡位移预测结果;修正方法为:
若所述残差修正判别器输出的目标残差数据为赋值为0值的所述残差预测结果,则确定所述第一边坡位移预测结果为目标边坡位移预测结果;
若所述残差修正判别器输出的目标残差数据为赋值为1值的所述残差预测结果,则确定所述第二边坡位移预测结果为目标边坡位移预测结果。
2.根据权利要求1中所述基于残差预测模型的边坡位移预测方法,其特征在于,在所述获取第一边坡监测数据之后,所述使用所述第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练之前,所述边坡位移预测方法还包括:
对所述第一边坡监测数据进行预处理,得到第二边坡监测数据;
所述使用所述第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练包括:
使用所述第二边坡监测数据对基于SVM的第一模型进行边坡位移预测训练。
3.根据权利要求2中所述基于残差预测模型的边坡位移预测方法,其特征在于,所述对所述第一边坡监测数据进行预处理,得到第二边坡监测数据包括:
根据3σ准则删除所述第一边坡监测数据中的异常值;
采用SVM填补所述第一边坡监测数据中的缺失值;
采用小波变换对删除和填补后的所述第一边坡监测数据进行降噪处理;
对降噪处理后的所述第一边坡监测数据进行数据标准化,得到第二边坡监测数据。
4.根据权利要求1至3中任一项所述基于残差预测模型的边坡位移方法,其特征在于,所述第一边坡监测数据为边坡深部位移监测数据。
5.一种采用如权利要求1所述的基于残差预测模型的边坡位移预测方法的装置,其特征在于,包括:
获取单元,用于获取第一边坡监测数据;
边坡位移预测训练单元,用于使用所述第一边坡监测数据对基于SVM的第一模型进行边坡位移预测训练,得到边坡位移预测模型;
残差预测训练单元,用于使用第一残差数据对基于SVM的第二模型进行残差预测训练,得到残差预测模型,所述第一残差数据为所述边坡位移预测模型输出的第一边坡位移预测结果与真实值作差得到的误差数据;
第一修正单元,用于根据所述残差预测模型输出的残差预测结果对所述第一边坡位移预测结果进行修正,得到第二边坡位移预测结果;
残差判别训练单元,用于使用所述残差预测结果、所述第一残差数据和第二残差数据对基于随机森林的判别器进行残差判别训练,得到残差修正判别器,所述第二残差数据为所述第二边坡位移预测结果与真实值作差得到的误差数据,所述残差修正判别器用于根据所述第一残差数据和所述第二残差数据的绝对值大小比较结果为所述残差预测结果赋予0值或1值并确定赋值后的所述残差预测结果为目标残差数据;
第二修正单元,用于根据所述残差修正判别器输出的目标残差数据对所述第一边坡位移预测结果进行修正,得到目标边坡位移预测结果。
6.根据权利要求5中所述基于残差预测模型的边坡位移预测装置,其特征在于,所述边坡位移装置还包括:
预处理单元,用于对所述第一边坡监测数据进行预处理,得到第二边坡监测数据;
所述边坡位移预测训练单元具体用于:
使用所述第二边坡监测数据对基于SVM的第一模型进行预测训练。
7.根据权利要求6中所述基于残差预测模型的边坡位移预测装置,其特征在于,预处理单元具体用于:
根据3σ准则删除所述第一边坡监测数据中的异常值;
采用最小二乘SVM填补所述第一边坡监测数据中的缺失值;
采用小波变换对删除和填补后的所述第一边坡监测数据进行降噪处理;
对降噪处理后的所述第一边坡监测数据进行数据标准化,得到第二边坡监测数据。
8.一种采用如权利要求1至3中任意一项所述的基于残差预测模型的边坡位移预测方法的系统,其特征在于,包括:
中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行权利要求1至3中任意一项所述的方法。
9.一种存储如权利要求1至3中任意一项所述的基于残差预测模型的边坡位移预测方法的计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至3中任意一项所述的方法。
CN202310845882.0A 2023-07-11 2023-07-11 一种基于残差预测模型的边坡位移预测方法及相关装置 Active CN116561563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310845882.0A CN116561563B (zh) 2023-07-11 2023-07-11 一种基于残差预测模型的边坡位移预测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310845882.0A CN116561563B (zh) 2023-07-11 2023-07-11 一种基于残差预测模型的边坡位移预测方法及相关装置

Publications (2)

Publication Number Publication Date
CN116561563A CN116561563A (zh) 2023-08-08
CN116561563B true CN116561563B (zh) 2023-09-29

Family

ID=87488362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310845882.0A Active CN116561563B (zh) 2023-07-11 2023-07-11 一种基于残差预测模型的边坡位移预测方法及相关装置

Country Status (1)

Country Link
CN (1) CN116561563B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117972365B (zh) * 2024-04-01 2024-07-09 四川省公路规划勘察设计研究院有限公司 一种隧底群桩压力承载监测系统和监测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205460854U (zh) * 2016-01-15 2016-08-17 殷志栋 高尔夫球起杆矫正器
WO2018018660A1 (zh) * 2016-07-29 2018-02-01 深圳朝伟达科技有限公司 岩质边坡估计交互式稳定性显示系统
CN108228988A (zh) * 2017-12-25 2018-06-29 重庆大学 一种基于大数据驱动的边坡位移预测及滑动判别方法
CN111275255A (zh) * 2020-01-17 2020-06-12 南昌大学 一种混凝土坝变形监测预报模型的构建方法
CN113283161A (zh) * 2021-04-28 2021-08-20 江西核工业测绘院集团有限公司 一种改进bp神经网络的滑坡形变位移预测方法
CN113570826A (zh) * 2021-07-15 2021-10-29 长视科技股份有限公司 一种河道滑坡形变识别实现灾害预警的方法与系统
CN113723541A (zh) * 2021-09-02 2021-11-30 国网福建省电力有限公司电力科学研究院 一种基于混合智能算法的边坡位移预测方法
CN114066036A (zh) * 2021-11-10 2022-02-18 华东交通大学 一种基于自修正融合模型的成本预测方法以及装置
CN114548482A (zh) * 2021-12-24 2022-05-27 中铁西北科学研究院有限公司 一种基于蠕变型滑坡动能变化率临滑预警方法
CN114897277A (zh) * 2022-07-14 2022-08-12 四川轻化工大学 一种基于lstm的突发型滑坡位移预测方法
CN115809598A (zh) * 2022-11-29 2023-03-17 中国科学院武汉岩土力学研究所 一种基于安全系数的边坡变形预测与控制值修正方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443002A (zh) * 2019-08-16 2019-11-12 中国水利水电科学研究院 一种高边坡形变预测方法及系统
KR20220127004A (ko) * 2021-03-10 2022-09-19 삼성전자주식회사 확률론적 콘투어 예측 시스템 및 확률론적 콘투어 예측 시스템의 제공 방법 및 확률론적 콘투어 예측 시스템을 이용한 EUV(Extreme Ultra violet) 마스크의 제공 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205460854U (zh) * 2016-01-15 2016-08-17 殷志栋 高尔夫球起杆矫正器
WO2018018660A1 (zh) * 2016-07-29 2018-02-01 深圳朝伟达科技有限公司 岩质边坡估计交互式稳定性显示系统
CN108228988A (zh) * 2017-12-25 2018-06-29 重庆大学 一种基于大数据驱动的边坡位移预测及滑动判别方法
CN111275255A (zh) * 2020-01-17 2020-06-12 南昌大学 一种混凝土坝变形监测预报模型的构建方法
CN113283161A (zh) * 2021-04-28 2021-08-20 江西核工业测绘院集团有限公司 一种改进bp神经网络的滑坡形变位移预测方法
CN113570826A (zh) * 2021-07-15 2021-10-29 长视科技股份有限公司 一种河道滑坡形变识别实现灾害预警的方法与系统
WO2023284344A1 (zh) * 2021-07-15 2023-01-19 长视科技股份有限公司 一种河道滑坡形变识别实现灾害预警的方法与系统
CN113723541A (zh) * 2021-09-02 2021-11-30 国网福建省电力有限公司电力科学研究院 一种基于混合智能算法的边坡位移预测方法
CN114066036A (zh) * 2021-11-10 2022-02-18 华东交通大学 一种基于自修正融合模型的成本预测方法以及装置
CN114548482A (zh) * 2021-12-24 2022-05-27 中铁西北科学研究院有限公司 一种基于蠕变型滑坡动能变化率临滑预警方法
CN114897277A (zh) * 2022-07-14 2022-08-12 四川轻化工大学 一种基于lstm的突发型滑坡位移预测方法
CN115809598A (zh) * 2022-11-29 2023-03-17 中国科学院武汉岩土力学研究所 一种基于安全系数的边坡变形预测与控制值修正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Research on Change Detection Method of High-Resolution Remote Sensing Images Based on Subpixel Convolution";Xin Luo等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ( Volume: 14)》;第14卷;第1447-1457页 *

Also Published As

Publication number Publication date
CN116561563A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
US11334407B2 (en) Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
CN108959794B (zh) 一种基于深度学习的结构频响动力学模型修正方法
CN110570433B (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
CN116561563B (zh) 一种基于残差预测模型的边坡位移预测方法及相关装置
CN104869126B (zh) 一种网络入侵异常检测方法
CN111144548A (zh) 抽油机井工况的识别方法及装置
CN113597620A (zh) 使用神经网络的压缩感测
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN118051878B (zh) 基于多模态融合改进深度学习的极端降水次季节预报方法
CN116821697A (zh) 一种基于小样本学习的机械设备故障诊断方法
CN114595635A (zh) 火电机组主汽温度数据的特征选择方法、系统及设备
Li et al. Structural health monitoring data anomaly detection by transformer enhanced densely connected neural networks
CN117350897A (zh) 一种考虑空气湿度的转换功率预测的方法和系统
Fakhri et al. Road crack detection using gaussian/prewitt filter
CN108182492B (zh) 一种资料同化方法及装置
CN112346126B (zh) 低级序断层的识别方法、装置、设备及可读存储介质
CN116934603A (zh) 测井曲线缺失段补全方法、装置、存储介质及电子设备
CN114218574A (zh) 一种数据检测方法、装置、电子设备以及存储介质
CN108763728B (zh) 用并联型深度神经网络分层特征提取的机械故障诊断方法
CN113051809A (zh) 一种基于改进受限玻尔兹曼机的虚拟健康因子构建方法
CN112232270A (zh) 一种基于模型量化的mdssd人脸检测方法
CN116610484B (zh) 一种模型训练方法、故障预测方法、系统、设备以及介质
CN118568667B (zh) 基于多模型融合的隧道围岩识别方法、系统、设备及介质
KR102697103B1 (ko) 해양 영역 탐지가 가능한 육지 마스킹 방법 및 시스템
CN115546780B (zh) 车牌识别方法、模型及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant