CN114970239A - 一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质 - Google Patents

一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质 Download PDF

Info

Publication number
CN114970239A
CN114970239A CN202210469070.6A CN202210469070A CN114970239A CN 114970239 A CN114970239 A CN 114970239A CN 202210469070 A CN202210469070 A CN 202210469070A CN 114970239 A CN114970239 A CN 114970239A
Authority
CN
China
Prior art keywords
measuring point
data measuring
state
arrangement
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210469070.6A
Other languages
English (en)
Other versions
CN114970239B (zh
Inventor
黄永
郏凯亮
李惠
张浩宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210469070.6A priority Critical patent/CN114970239B/zh
Publication of CN114970239A publication Critical patent/CN114970239A/zh
Application granted granted Critical
Publication of CN114970239B publication Critical patent/CN114970239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质。涉及结构健康监测和随机振动领域。首先，根据工程结构设计信息并依据动力学和随机振动理论建立多类型测点布置的目标函数，随后利用基于深度强化学习及启发式思想的多类型监测数据测点布置优化算法对结构监测数据测点布置进行优化得到最终布置方案。本发明结合了深度强化学习和启发式思想，用于离散的测点优化布置问题，能够较好避免陷入局部最优问题，获得良好的优化效果，可以为多类型监测数据的测点优化布置提供有效的决策支持。此外，该优化算法亦可用于其他类似组合优化问题。

Description

一种基于贝叶斯系统识别和启发式深度强化学习的多类型监 测数据测点布置方法、设备及介质
技术领域
本发明涉及结构健康监测与结构测试技术领域，特别是涉及一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质。
背景技术
先进的结构健康监测系统可以保证关键土木结构在其长期服役过程中的功能和安全。结构健康监测系统的性能在很大程度上取决于数据监测测点的布置。虽然具有多种数据类型的监测网络设计过程复杂，但与单一数据类型监测相比，它可以提供更全面的结构信息。然而，测量信息通常由位于特定位置的较少数据测点获得。监测测点的最佳布置是指使用少量测点来获得更有用和有效的信息。它在结构健康监测系统中起着重要作用，因为系统的性能取决于布置的监测点获得的信息质量。此外，合理的数据测点优化方案不仅可以获得足够的信息，而且可以节约成本。因此，获得最佳数据测点是健康监测系统必须解决的问题。基于这种现状，需要发展一种有效的多类型监测数据的测点优化布置方法。
针对数据测点优化布置问题，传统的优化算法主要有：非线性规划优化算法、随机类方法、高斯-牛顿法、梯度下降法等。然而这类方法的输出结果不能用{0，1}向量表示数据测点的位置，而是介于0和1之间的小数，不能够为测点设置提供精准的方案。近些年随着计算机科学与技术的发展，许多智能算法被用于数据测点布置的优化，其主要有：遗传算法、粒子群算法、以及蚁群等各类仿生算法。但是该类算法存在过早收敛以及陷入局部最优的问题，且该类算法一般用于单一类型监测测点的优化布置。
发明内容
本发明的目的是为了解决现有技术中多类型监测数据的测点布置的问题。在实际工程结构中以更准确识别结构参数为目的布置多种类型的数据测点的问题中本发明结合启发式思想和深度强化学习算法实现多种类型数据测点的优化布置，为多种类型的数据测点优化布置提供决策支持。因此，本发明提出一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质。
本发明是通过以下技术方案实现的，本发明提出一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法，所述方法包括：
步骤一、基于工程结构的相关物理参数θS信息，建立结构的动力学模型，对动力学模型施加谱密度为Sf的动态激励，获得结构响应数据
Figure BDA0003625791720000021
根据结构响应数据计算结构响应的谱密度矩阵均值；
步骤二、基于贝叶斯系统识别理论及信息熵理论，利用结构参数信息熵最小化准则建立数据测点优化布置的目标函数f(Δ)，其中Δ是0和1组成的数据测点布置向量；
步骤三、结合多类型数据测点以及拟定布置数据测点情况建立基于深度强化学习优化模型，设计奖励函数，构建动作空间以及状态空间；
步骤四、利用步骤三建立的模型基于启发式思想引入最优状态库
Figure BDA0003625791720000022
对多类型数据测点布置进行优化，得到最优布置向量S*。
进一步地，所述步骤一具体为：
步骤1.1、根据结构动力学理论利用设计结构参数θS，建立结构有限元模型A，所述结构参数θS包括结构的刚度信息、质量信息以及阻尼系数α与β；
步骤1.2、在步骤1.1建立的结构动力学模型上施加零均值高斯白噪声功率谱密度为 Sf的随机振动激励，采样获得结构多种状态数据
Figure BDA0003625791720000023
采样总时长以及采样频率分别为T和Δt，测量噪声均方根等于无噪声的10％；
步骤1.3、计算结构状态数据的谱密度：
Figure BDA0003625791720000024
其中ωi＝kΔω，Δω＝2π/(NΔt)，k＝0,1,2,...,INT(N/2)，N＝TΔt，INT(N/2)是(N/2) 的整数部分；j是虚数单位，其值等于
Figure BDA0003625791720000025
步骤1.4、重复Nt次步骤1.1～1.3，获得Nt个独立的数据Sy,N(ωi)并求其均值
Figure BDA0003625791720000031
进一步地，所述步骤二具体为：
步骤2.1、删除
Figure BDA0003625791720000032
中Δ为1的行和列得到与数据测点布置相关的谱密度矩阵
Figure BDA0003625791720000033
其中数据测点布置向量Δ中0表示不布置数据测点，1表示布置数据测点；
步骤2.2、构建似然函数：
Figure BDA0003625791720000034
其中κ2是不随不确定参数变化的常数，符号E[·]、|·|和tr(·)分别是数学期望、行列式以及矩阵的迹；取Nt足够大，利用
Figure BDA0003625791720000035
近似
Figure BDA0003625791720000036
步骤2.3、计算鲁棒信息熵：
Figure BDA0003625791720000037
其中：H(θT|Δ，D)是-ln p(D|θT,Δ，A)关于需要识别的参数向量θT的Hessian矩阵，利用中心差分法计算；Nθ是不确定参数的个数；
步骤2.4、构建多类型数据测点优化布置的目标函数：
Figure BDA0003625791720000038
其中Δall表示元素全为1的数据测点布置向量。
进一步地，所述步骤三具体为：
步骤3.1、基于深度强化学习理论，建立结合DDQN(Double DQN)和Dueling DQN 算法的深度强化学习模型，网络参数规模为NC-512-1024-1和NC-512-1024-NA，其中NC -512是共享参数，两个神经网络输出值的和作为输出；其中模型包含的两个神经网络分别为Eval_net和Target_net；
步骤3.2、构建状态空间，将数据测点布置向量Δ作为深度强化学习的状态st，所有可能的数据测点布置情况组成了状态空间；
步骤3.3、构建动作空间，以改变一个数据测点位置作为动作at，所有的动作组成动作空间；
步骤3.4、设计奖励函数：
Figure BDA0003625791720000041
其中，rt是步数t奖励值，st是当前数据测点布置状态，st+1是采取在st上的动作后的布置状态。
进一步地，所述步骤四具体为：
步骤4.1、初始化神经网络参数；
步骤4.2、最小目标函数记录值f(s*)赋值为1×109，随机初始化最优状态s*；
步骤4.3、按照数据测点个数的约束，随机初始化状态st；
步骤4.4、将st输入Eval_net得到各个动作的价值qeval,根据qeval以及贪婪度系数ξ选择动作at并执行该动作获得新状态st+1以及奖励值rt，组成记忆元组(st,at,rt,st+1)并记录；
步骤4.5、更新最优状态库
Figure BDA0003625791720000042
并更新记录的最优状态；
步骤4.6、重复步骤4.4～4.5，每w次抽取m个元组(st,at,rt,st+1)训练Eval_net；Eval_net，网络误差计算公式：
Figure BDA0003625791720000043
其中qeval和qtarget分别是Eval_net和Target_net的输出；每q次Target_net复制Eval_net 参数；每Tmax次在最优状态库
Figure BDA0003625791720000051
随机抽取一个状态作为当前状态st；
步骤4.7、动作执行次数等于设定总步数Nmax时，算法停止，最优布置方案S*＝s*，最优布置方案的目标函数值为f(s*)。
进一步地，所述步骤4.5具体为：
步骤4.5.1、若
Figure BDA0003625791720000052
尚未存满，则存入st+1，并记录f(st+1)于
Figure BDA0003625791720000053
若
Figure BDA0003625791720000054
已存满且
Figure BDA0003625791720000055
则将st+1、f(st+1)替换存储在
Figure BDA0003625791720000056
和
Figure BDA0003625791720000057
中的
Figure BDA0003625791720000058
和
Figure BDA0003625791720000059
Figure BDA00036257917200000510
为
Figure BDA00036257917200000511
对应的状态；
步骤4.5.2、若f(st+1)<f(s*)，则执行f(s*)＝f(st+1)、s*＝st+1。
本发明还提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法的步骤。
本发明还提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法的步骤。
本发明的有益效果为：
1、多类型测量数据监测系统与单一数据相比，它可以提供更全面的结构信息，基于深度强化学习的启发式多类型数据测点优化布置方法可以实现统一多类型数据测点进行优化布置；
2、本发明在深度强化学习算法的基础上融入启发式思想，较大程度提升了算法性能，一定程度避免了局部最优以及过早收敛的问题；
3、优化得到的数据测点布置方案由{0，1}向量表示数据测点的位置，为多类型数据测点布置提供明确的决策支持；
4、基于深度强化学习的启发式多类型数据测点优化布置方法不仅适用于解决多类型数据测点优化布置，也可以用于其他复杂离散优化问题。
附图说明
图1为本发明中基于深度强化学习的启发式多类型数据测点优化布置方法流程图；
图2为深度强化学习神经网络模型示意图；
图3为基于启发式思想在强化学习算法中加入的最优状态库存取方法示意图；
图4为29个自由度的桁架模型示意图；
图5为本发明中基于深度强化学习的启发式多类型数据测点优化布置方法对目标函数的优化效果图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明以信息熵和随机振动理论在频域上建立统一多类型数据测点建立多类型数据测点优化的目标函数，利用基于深度强化学习融入启发式思想的算法实现对多类型数据测点进行优化布置。在实际工程中本发明以获得尽可能多的结构参数信息为优化目标对多类型数据测点进行优化布置，且数据测点优化布置提供明确的决策支持。
结合图1，本发明提出一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法，具体包括以下步骤：
步骤一、基于工程结构的相关设计参数θS信息，建立结构的有限元模型，对动力学模型施加谱密度为Sf的激励，获得结构响应数据
Figure BDA0003625791720000061
根据结构响应数据计算结构响应的谱密度矩阵均值；
步骤二、基于贝叶斯理论、信息熵以及随机振动理论，利用信息熵最小化(结构参数不确定度最小化)建立数据测点优化布置的目标函数f(Δ)，其中Δ是0和1组成的数据测点布置向量；
步骤三、结合多类型数据测点以及拟定布置数据测点情况建立基于深度强化学习优化模型，设计奖励函数，构建动作空间以及状态空间等；
步骤四、利用步骤三建立的模型基于启发式思想引入最优状态库
Figure BDA0003625791720000071
对多类型数据测点布置进行优化，得到最优布置向量S*。
所述步骤一具体为：
步骤1.1、根据动力学理论利用设计结构参数θS，建立结构动力学模型A，所述结构参数θS包括结构的刚度信息、质量信息以及阻尼系数α与β；
步骤1.2、在步骤1.1建立的动力学模型施加零均值高斯白噪声功率谱密度为Sf的随机振动激励，采样获得结构多种状态数据
Figure BDA0003625791720000072
采样总时长以及采样频率分别为T和Δt，测量噪声均方根等于无噪声的10％；
步骤1.3、计算结构状态数据的谱密度：
Figure BDA0003625791720000073
ωi＝kΔω，其中Δω＝2π/(NΔt)，k＝0,1,2,...,INT(N/2)，INT(N/2)是(N/2)的整数部分；j是虚数单位，其值等于
Figure BDA0003625791720000074
步骤1.4、重复Nt次步骤1.1～1.3，获得Nt个独立的数据Sy,N(ωi)并求其均值
Figure BDA0003625791720000075
所述步骤二具体为：
步骤2.1、Δ中0表示不布置数据测点，1表示布置数据测点；删除
Figure BDA0003625791720000076
中Δ为零的行和列得到与数据测点布置相关的谱密度矩阵
Figure BDA0003625791720000077
步骤2.2、构建似然函数：
Figure BDA0003625791720000078
其中，κ2是不随不确定参数变化的常数，符号E[·]、|·|和tr(·)分别是数学期望、行列式以及矩阵的迹；取Nt足够大，利用
Figure BDA0003625791720000081
近似
Figure BDA0003625791720000082
步骤2.3、计算鲁棒信息熵：
Figure BDA0003625791720000083
其中：H(θT|Δ，D)是-ln p(D|θT,Δ，A)关于需要识别的参数向量θT的Hessian矩阵，利用中心差分法计算；Nθ是不确定参数的个数；
步骤2.4、构建多类型数据测点优化布置的目标函数：
Figure BDA0003625791720000084
其中Δall表示元素全为1的数据测点布置向量。
所述步骤三具体为：
步骤3.1、基于深度强化学习理论，建立结合DDQN(Double DQN)和Dueling DQN 算法的深度强化学习模型，网络参数规模为NC-512-1024-1和NC-512-1024-NA，如图2，其中NC-512是共享参数，两个神经网络输出值的和作为输出；模型包含两个上所述神经网络Eval_net和Target_net；
步骤3.2、构建状态空间，将数据测点布置向量Δ作为深度强化学习的状态st，所有可能的数据测点布置情况组成了状态空间；
步骤3.3、构建动作空间，以改变一个数据测点位置作为动作at，所有的动作组成动作空间；
步骤3.4、设计奖励函数：
Figure BDA0003625791720000085
其中，rt是步数t奖励值，st是当前数据测点布置状态，st+1是采取在st上的动作后的布置状态。
所述步骤四具体为：
步骤4.1、初始化神经网络参数；
步骤4.2、最小目标函数记录值f(s*)赋值为1×109，随机初始化最优状态s*；
步骤4.3、按照数据测点个数的约束，随机初始化状态st；
步骤4.4、将st输入Eval_net得到各个动作的价值qeval,根据qeval以及贪婪度系数ξ选择动作at并执行该动作获得新状态st+1以及奖励值rt，组成记忆元组(st,at,rt,st+1)并记录；
步骤4.5、更新最优状态库
Figure BDA0003625791720000091
并更新记录的最优状态；
步骤4.6、重复步骤4.4～4.5，每w次抽取m个元组(st,at,rt,st+1)训练Eval_net；Eval_net，网络误差计算公式：
Figure BDA0003625791720000092
其中，qeval和qtarget分别是Eval_net和Target_net的输出；每q次Target_net复制Eval_net 参数；每Tmax次在最优状态库
Figure BDA0003625791720000093
随机抽取一个状态作为当前状态st；
步骤4.7、动作执行次数等于设定总步数Nmax时，算法停止，最优布置方案S*＝s*，最优布置方案的目标函数值为f(s*)。
所述步骤4.5具体为：
步骤4.5.1、结合图3，若
Figure BDA0003625791720000094
尚未存满，则存入st+1，并记录f(st+1)于
Figure BDA0003625791720000095
若
Figure BDA0003625791720000096
已存满且
Figure BDA0003625791720000097
则将st+1、f(st+1)替换存储在
Figure BDA0003625791720000098
和
Figure BDA0003625791720000099
中的
Figure BDA00036257917200000910
和
Figure BDA00036257917200000911
Figure BDA00036257917200000912
为
Figure BDA00036257917200000913
对应的状态；
步骤4.5.2、若f(st+1)<f(s*)，则执行f(s*)＝f(st+1)、s*＝st+1。
本发明还提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法的步骤。
本发明还提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法的步骤。
实施例
结合图4，对29个自由度的桁架桥进行多类型数据测点的优化布置，桁架高为8m，上下弦杆的长度均为6m；上弦杆、腹杆和下弦杆的采用三种界面不同的构件，面积分别为0.012m2、0.006m2和0.015m2；结构的质量密度ρ和弹性模量E分别为7860Kg/m3和 206GPa；布置数据测点类型为速度、加速度、位移以及应变，拟四种数据类型测点个数均为4个。
利用本发明中基于深度强化学习的启发式多类型数据测点优化布置算法对多类型数据测点布置进行优化。调整结构刚度质量比，使得结构的基频为0.5Hz；桁架使用的前两种模态阻尼比均为2％。
所述步骤一具体为：调整结构刚度质量比，使得结构的基频为0.5Hz；桁架使用的前两种模态阻尼比均为2％。建立结构动力学模型，结构杆件刚度参数化如下： ki＝θs1,i＝1,2,...,8、ki＝θs2,i＝9,10,...,23和ki＝θs3,i＝24,25,...,29，杆件编号见图4，建立识别六个参数的目标函数，分别为三个刚度参数、两个瑞利阻尼系数以及荷载谱密度；结构采样频率Δt＝0.005s，总采样时间为10s，利用采集的数据计算所有测点响应的谱密度矩阵；
所述步骤二具体为：参数个数Nθ＝6，测点布置向量Δ的长度为116，元素1～29、30～58、 59～87和88～116分别位移、速度、加速度以及应变的布置位置；根据测点布置向量Δ为零元素的位置删除谱密度矩阵中对应的行和列计算似然函数，进一步计算初目标函数f(Δ)。
所述步骤三具体为：建立深度强化学习模型，状态st为数据测点布置情况，状态空间由所有的布置组成；动作为改变四种数据测点类型中一个数据测点的位置，所有的动作构成动作空间。
所述步骤四具体为：
利用基于深度强化学习融入启发式思想的算法优化多类型数据测点布置，贪婪度系数ξ＝0.95，总探索步数Nmax＝20000，训练步数间隔w＝4，替换参数间隔q＝2000；优化过程见图5，目标函数值随着算法探索步数的增加其趋势逐渐降低，即在探索历程中数据测点布置逐渐被优化；经过Nmax步探索后，所得数据测点布置编号分别为：
位移测点：1，2，3，6；
速度测点：6，10，16，23；
加速度测点：2，14，19，27；
应变计：8，19，25，29；
前三种测点布置在结点，编号为自由度编号，应变计布置在杆件中心。
以上对本发明所提出的一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法，其特征在于，所述方法包括：
步骤一、基于工程结构的相关物理参数θS信息，建立结构的动力学模型，对动力学模型施加谱密度为Sf的动态激励，获得结构响应数据
Figure FDA0003625791710000011
根据结构响应数据计算结构响应的谱密度矩阵均值；
步骤二、基于贝叶斯系统识别理论及信息熵理论，利用结构参数信息熵最小化准则建立数据测点优化布置的目标函数f(Δ)，其中Δ是0和1组成的数据测点布置向量；
步骤三、结合多类型数据测点以及拟定布置数据测点情况建立基于深度强化学习优化模型，设计奖励函数，构建动作空间以及状态空间；
步骤四、利用步骤三建立的模型基于启发式思想引入最优状态库
Figure FDA0003625791710000017
对多类型数据测点布置进行优化，得到最优布置向量S*。
2.根据权利要求1所述的方法，其特征在于，所述步骤一具体为：
步骤1.1、根据结构动力学理论利用设计结构参数θS，建立结构有限元模型A，所述结构参数θS包括结构的刚度信息、质量信息以及阻尼系数α与β；
步骤1.2、在步骤1.1建立的结构动力学模型上施加零均值高斯白噪声功率谱密度为Sf的随机振动激励，采样获得结构多种状态数据
Figure FDA0003625791710000012
采样总时长以及采样频率分别为T和Δt，测量噪声均方根等于无噪声的10％；
步骤1.3、计算结构状态数据的谱密度：
Figure FDA0003625791710000013
其中ωi＝kΔω，Δω＝2π/(NΔt)，k＝0,1,2,...,INT(N/2)，N＝TΔt，INT(N/2)是(N/2)的整数部分；j是虚数单位，其值等于
Figure FDA0003625791710000014
步骤1.4、重复Nt次步骤1.1～1.3，获得Nt个独立的数据Sy,N(ωi)并求其均值
Figure FDA0003625791710000015
3.根据权利要求2所述的方法，其特征在于，所述步骤二具体为：
步骤2.1、删除
Figure FDA0003625791710000016
中Δ为1的行和列得到与数据测点布置相关的谱密度矩阵
Figure FDA0003625791710000021
其中数据测点布置向量Δ中0表示不布置数据测点，1表示布置数据测点；
步骤2.2、构建似然函数：
Figure FDA0003625791710000022
其中κ2是不随不确定参数变化的常数，符号E[·]、|·|和tr(·)分别是数学期望、行列式以及矩阵的迹；取Nt足够大，利用
Figure FDA0003625791710000023
近似
Figure FDA0003625791710000024
步骤2.3、计算鲁棒信息熵：
Figure FDA0003625791710000025
其中：H(θT|Δ，D)是-lnp(D|θT,Δ，A)关于需要识别的参数向量θT的Hessian矩阵，利用中心差分法计算；Nθ是不确定参数的个数；
步骤2.4、构建多类型数据测点优化布置的目标函数：
Figure FDA0003625791710000026
其中Δall表示元素全为1的数据测点布置向量。
4.根据权利要求3所述的方法，其特征在于，所述步骤三具体为：
步骤3.1、基于深度强化学习理论，建立结合DDQN和Dueling DQN算法的深度强化学习模型，网络参数规模为NC-512-1024-1和NC-512-1024-NA，其中NC-512是共享参数，两个神经网络输出值的和作为输出；其中模型包含的两个神经网络分别为Eval_net和Target_net；
步骤3.2、构建状态空间，将数据测点布置向量Δ作为深度强化学习的状态st，所有可能的数据测点布置情况组成了状态空间；
步骤3.3、构建动作空间，以改变一个数据测点位置作为动作at，所有的动作组成动作空间；
步骤3.4、设计奖励函数：
Figure FDA0003625791710000027
其中，rt是步数t奖励值，st是当前数据测点布置状态，st+1是采取在st上的动作后的布置状态。
5.根据权利要求4所述的方法，其特征在于，所述步骤四具体为：
步骤4.1、初始化神经网络参数；
步骤4.2、最小目标函数记录值f(s*)赋值为1×109，随机初始化最优状态s*；
步骤4.3、按照数据测点个数的约束，随机初始化状态st；
步骤4.4、将st输入Eval_net得到各个动作的价值qeval,根据qeval以及贪婪度系数ξ选择动作at并执行该动作获得新状态st+1以及奖励值rt，组成记忆元组(st,at,rt,st+1)并记录；
步骤4.5、更新最优状态库
Figure FDA0003625791710000031
并更新记录的最优状态；
步骤4.6、重复步骤4.4～4.5，每w次抽取m个元组(st,at,rt,st+1)训练Eval_net；Eval_net，网络误差计算公式：
Figure FDA0003625791710000032
其中qeval和qtarget分别是Eval_net和Target_net的输出；每q次Target_net复制Eval_net参数；每Tmax次在最优状态库
Figure FDA0003625791710000033
随机抽取一个状态作为当前状态st；
步骤4.7、动作执行次数等于设定总步数Nmax时，算法停止，最优布置方案S*＝s*，最优布置方案的目标函数值为f(s*)。
6.根据权利要求5所述的方法，其特征在于，所述步骤4.5具体为：
步骤4.5.1、若
Figure FDA0003625791710000034
尚未存满，则存入st+1，并记录f(st+1)等于
Figure FDA0003625791710000035
若
Figure FDA0003625791710000036
已存满且
Figure FDA0003625791710000037
则将st+1、f(st+1)替换存储在
Figure FDA0003625791710000038
和
Figure FDA0003625791710000039
中的
Figure FDA00036257917100000310
和
Figure FDA00036257917100000311
Figure FDA00036257917100000312
为
Figure FDA00036257917100000313
对应的状态；
步骤4.5.2、若f(st+1)<f(s*)，则执行f(s*)＝f(st+1)、s*＝st+1。
7.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一项所述方法的步骤。
8.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-6任一项所述方法的步骤。
CN202210469070.6A 2022-04-29 2022-04-29 一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质 Active CN114970239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210469070.6A CN114970239B (zh) 2022-04-29 2022-04-29 一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210469070.6A CN114970239B (zh) 2022-04-29 2022-04-29 一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质

Publications (2)

Publication Number Publication Date
CN114970239A true CN114970239A (zh) 2022-08-30
CN114970239B CN114970239B (zh) 2023-06-30

Family

ID=82980214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210469070.6A Active CN114970239B (zh) 2022-04-29 2022-04-29 一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质

Country Status (1)

Country Link
CN (1) CN114970239B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167660A1 (en) * 2018-10-01 2020-05-28 Zasti Inc. Automated heuristic deep learning-based modelling
CN111368970A (zh) * 2020-02-17 2020-07-03 哈尔滨工业大学 一种基于深度强化学习的传感器优化布置方法
US20200234197A1 (en) * 2019-01-23 2020-07-23 International Business Machines Corporation Determinantal reinforced learning in artificial intelligence
CN112528564A (zh) * 2020-12-08 2021-03-19 中国矿业大学 一种基于稀疏贝叶斯学习的桥梁结构损伤识别方法
CN112698572A (zh) * 2020-12-22 2021-04-23 西安交通大学 一种基于强化学习的结构振动控制方法、介质及设备
CN113158500A (zh) * 2020-08-28 2021-07-23 盐城工学院 用于减小结构振型矩阵识别的不确定性的传感器布置方法
CN113191055A (zh) * 2021-05-06 2021-07-30 河海大学 一种基于深度强化网络的大坝材料性能参数反演方法
US20210287124A1 (en) * 2020-03-10 2021-09-16 1Qb Information Technologies Inc. Method and system for estimating physical quantities of a plurality of models using a sampling device
CN114089627A (zh) * 2021-10-08 2022-02-25 北京师范大学 基于双深度q网络学习的非完全信息博弈策略优化方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167660A1 (en) * 2018-10-01 2020-05-28 Zasti Inc. Automated heuristic deep learning-based modelling
US20200234197A1 (en) * 2019-01-23 2020-07-23 International Business Machines Corporation Determinantal reinforced learning in artificial intelligence
CN111368970A (zh) * 2020-02-17 2020-07-03 哈尔滨工业大学 一种基于深度强化学习的传感器优化布置方法
US20210287124A1 (en) * 2020-03-10 2021-09-16 1Qb Information Technologies Inc. Method and system for estimating physical quantities of a plurality of models using a sampling device
CN113158500A (zh) * 2020-08-28 2021-07-23 盐城工学院 用于减小结构振型矩阵识别的不确定性的传感器布置方法
CN112528564A (zh) * 2020-12-08 2021-03-19 中国矿业大学 一种基于稀疏贝叶斯学习的桥梁结构损伤识别方法
CN112698572A (zh) * 2020-12-22 2021-04-23 西安交通大学 一种基于强化学习的结构振动控制方法、介质及设备
CN113191055A (zh) * 2021-05-06 2021-07-30 河海大学 一种基于深度强化网络的大坝材料性能参数反演方法
CN114089627A (zh) * 2021-10-08 2022-02-25 北京师范大学 基于双深度q网络学习的非完全信息博弈策略优化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KE GAO,ET AL.: "Detection of multi-type data anomaly for structural health monitoring using pattern recognition neural network", 《RESEARCHGATE》 *
吕奇峰;张卫红;张桥;朱继宏;: "随机振动响应下的组件结构布局优化设计", 航空学报, no. 09 *
孙少武: "基于深度学习的液压泵健康状态监测方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
孟元旭: "基于深度强化学习的结构健康监测传感器优化布置研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
张加培 等: "基于信息熵与谱有限元法的传感器优化布置", 《振动与冲击》 *

Also Published As

Publication number Publication date
CN114970239B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
Johari et al. Modelling the mechanical behaviour of unsaturated soils using a genetic algorithm-based neural network
CN115270635B (zh) 贝叶斯-神经网络高层建筑地震需求与易损性预测方法
CN113255206B (zh) 一种基于深度强化学习的水文预报模型参数率定方法
CN110969290A (zh) 一种基于深度学习的径流概率预测方法及系统
CN113378939B (zh) 基于物理驱动神经网络的结构数字孪生建模与参数识别法
CN114330067A (zh) 一种软基水闸有限元模型修正方法
CN111859733A (zh) 一种基于蚁群算法的汽车排气系统可靠性优化方法
CN111311001B (zh) 基于DBSCAN算法和特征选择的Bi-LSTM网络短期负荷预测方法
CN115455793A (zh) 基于多尺度模型修正的高层结构复杂构件受力分析方法
CN111368970A (zh) 一种基于深度强化学习的传感器优化布置方法
CN116757341B (zh) 基于神经网络的混凝土预应力空心桩干燥时间预测方法
CN116774086B (zh) 一种基于多传感器数据融合的锂电池健康状态估计方法
CN117113852A (zh) 基于电气、化学、结构、振动参量的gis寿命预测方法
CN114970239A (zh) 一种基于贝叶斯系统识别和启发式深度强化学习的多类型监测数据测点布置方法、设备及介质
CN108108837A (zh) 一种地区新能源电源结构优化预测方法和系统
CN117252085A (zh) 基于神经网络与粒子群的斜拉桥索力容差优化方法及系统
CN116741315A (zh) 一种针对地聚物混凝土强度进行预测方法
CN113610665B (zh) 一种基于多延迟输出回声状态网的风力发电功率预测方法
CN115577856A (zh) 一种变电工程造价预测与结余控制方法及系统
CN116306832A (zh) 一种用于多维序列数据的多模生成对抗神经网络建模方法及装置
CN116011071A (zh) 基于主动学习的空中造楼机结构可靠性分析方法及系统
Talaslioglu A new genetic algorithm methodology for design optimization of truss structures: bipopulation-based genetic algorithm with enhanced interval search
CN115796327A (zh) 一种基于vmd和iwoa-f-gru模型的风电功率区间预测方法
CN112581311B (zh) 一种多风电场聚合后出力长期波动特性预测方法及系统
CN115629576A (zh) 非侵入式柔性负荷聚合特性辨识与优化方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant