CN114485417B - 一种结构振动位移识别方法及系统 - Google Patents

Abstract

本发明提出了一种基于深度循环神经网络光流估计模型的结构振动位移识别方法及系统，所述方法包括基于土木工程结构振动数据集的深度循环神经网络光流估计模型学习、结构振动位移识别过程、结合降噪自编码器对识别结果的校正以及结构振动位移识别全过程系统化的封装。该方法能够有效解决传统位移传感器在应用背景下的稀疏布置、质量负载、人为参与以及成本昂贵等实际问题。相比于其他应用深度神经网络的结构振动位移识别方法，通过共享权重和GRU迭代更新器的网络架构设计，本发明能实现更有效率且更精准的识别效果，且具有模型参数轻量，泛化能力强的优势。系统化的流程封装也使得本发明在土木工程结构振动领域的实际应用场景下更加便捷。

Description

一种结构振动位移识别方法及系统

技术领域

本发明属于结构健康监测与振动测试技术领域，特别是涉及一种基于深度循环神经网络光流估计模型的结构振动位移识别方法及系统。

背景技术

随着时代的发展，现如今为公共社会服务的众多基础设施，在服役期内容易发生各种病害，对结构的安全使用有不利影响。结构健康监测能够监测、分析和识别目标结构在使用期间的荷载状况及结构响应，以此实现对其安全状态和结构性能的评估。因此结构健康监测便成为了保障重大工程安全的重要途经，具有重大的社会和经济效益。

结构振动位移信息易于采集且是评估结构性能和基础设施健康状况的一个重要指标。例如桥梁的负载能力，桥梁变形，荷载分布，荷载输入信息，模态频率和振型都可以从结构振动位移中提取。传统的接触式传感器例如线性可变差压传感器，需要一个固定的参考点用于安装且需要直接与结构接触，通过结构振动带动传感器发生振动从而测量出结构振动位移。对于无法找到固定安装点的场地条件，接触式传感器就难以发挥其作用。而且接触式传感器安装在结构上会造成一定的质量负载，如果目标结构对于荷载比较敏感，则传感器安装本身就会影响结构的振动位移测量。一般的建筑物及基础设施结构体积较大且具有复杂的构造情况，传统的接触式传感器由于成本限制只能以较稀疏的离散点方式布置在目标结构的少量位置上。这种稀疏布置方式决定了我们只能主要依靠结构自振频率等整体振动特征和空间较低分辨率的结构测试振型来识别损伤并评定结构的安全状态。然而大量研究表明，自振频率等全局振动特征对于结构局部损伤并不敏感，很难发现结构的早期损伤；当发现损伤时，损伤往往已经发展到非常严重的程度，甚至危及到结构的安全使用。对于扫描激光振动计等非接触式结构振动位移测试手段，虽然其也能从结构振动中提取高分辨率的位移信息且没有场地限制和质量负载的影响，但是对于大型结构的连续测量需要大量的时间成本且价格较高。

相比于传统的结构位移识别方法，基于计算机视觉的结构振动位移测量方法具有安装便捷，不需与结构直接接触且通过低成本设备(消费级相机)便能够实现高分辨率的结构振动位移信息提取等优点。现有的计算机视觉方法有些需要安装人工标志物，模型参数调整和大量的人为参与以达到较为精准的识别结果。基于计算机视觉分析方法处理视频摄像机拍摄的视频，全场稠密光流估计模型算法可以计算图像中的每一个像素相关性，通过比较相邻帧之间像素点的移动从而输出整个结构体系的位移信息。经典全场光流估计算法均由变分法推导得出，基于图像中的梯度变化，并通过滤波器使图像运动光滑。但是其容易受亮度改变的影响，而且容易在运动边界上给出不准确的光流估计，并且运算速度过慢，难以满足土木工程领域实时监测的需求。相比之下，基于深度神经网络的计算机视觉位移测量方法可通过应用一个训练好的深度神经网络模型来计算全场光流信息，对目标区域进行图像坐标到实际场地坐标的转换即可得到结构振动的位移信息。该方法不需要人工标志物，与使用经典光流估计模型方法相比，包含更少的人为参与，而且运算速度快且识别精度高，能够实现实时监测的应用。

目前，基于深度循环神经网络光流估计模型的结构振动位移识别方法在结构健康监测中的研究及应用尚不存在，其利用消费级摄像机作为非接触式传感设备，具有灵活轻便且成本较低的优势，通过其拍摄的视频并结合基于深度循环神经网络光流估计模型的结构振动位移测量方法，可以实现非接触、低成本和提供空间高分辨率响应的结构振动位移测量。满足在较低成本下发展较高空间分辨率的结构传感和监测手段的需求。

发明内容

本发明为了解决现有技术中的问题，提出一种基于深度循环神经网络光流估计模型的结构振动位移识别方法及系统。

本发明是通过以下技术方案实现的，本发明提出一种基于深度循环神经网络光流估计模型的结构振动位移识别方法，具体包括以下步骤：

步骤一、构建包含土木工程结构振动信息的数据集，用于训练基于深度循环神经网络的光流估计模型；

步骤二、基于相机标定理论获得输入视频数据的单应性矩阵H和尺度因子SF，完成目标区域的标注，应用已训练的光流估计模型对输入视频数据进行光流识别，并通过平均核M(m,n)赋予目标区域内所有点位移相同的权重以此输出结构的振动位移；

步骤三、结合模型的位移识别值以及结构振动位移的真值构建降噪自编码器，用于模型位移识别值的校正；

步骤四、完成上述流程系统化的程序封装，编写用户交互界面以及步骤提示，用于土木工程领域实际场景下的应用。

进一步地，所述步骤一具体为：

步骤1.1、对于光流估计模型的训练，选取开源光流数据集Flying Chairs、FlyingThings，为了提高模型对小位移的识别精度，引入小位移数据集Chairs SDHom，最后结合土木工程结构振动数据集提高其泛化能力；为保证模型的学习效果，基于从数据简单到复杂的训练原则，采取先用Flying Chairs数据集，后用Flying Things数据集的训练顺序，得到的初步模型接着在小位移数据集Chairs SDHom和Flying Things的混合数据集中进行调优，最后再引入土木工程结构振动数据集增强模型在实际应用场景下的泛化能力；

步骤1.2、采用监督训练的方式，从训练集中得到具有真实光流值的图像序列，运用所述图像序列结合模型识别的预测光流，引入L₁距离来计算预测光流和真实光流之间的差值，并且因为每次迭代都能产生一个预测光流{f₁,…,f_N}，越是后输出的预测光流便赋予越大的权重，最后合并一起组成模型最终的用于训练和学习的损失函数：

其中f_gt表示真实光流，f_i表示迭代光流，γ＝0.8，

表示损失函数。

进一步地，所述步骤二具体为：

步骤2.1、输入的结构振动视频被分解成图像序列{I₁,I₂,…,I_N}，基于累计误差最小准则选取固定输入第一张图片不变的方式，按照I_N和I₁组成图像对{I₁,I_N}传入模型进行结构振动的光流信息识别；

步骤2.2、对于单应性矩阵H的建立，由于单应性矩阵H具有8个自由度，所以至少需要4对关联点才能计算单应性矩阵，为了使得计算更准确，选取的关联点对数远大于4对：

其中h₁--h₉为单应性矩阵元素；x，y，X，Y为关联点坐标值；

步骤2.3、结合像素空间和物理空间的尺度关系，获得将光流信息转换成结构振动位移的尺度因子：

其中|P_SQ_S|和|P_IQ_I|分别是真实世界坐标系中结构的某部分的长度和该部分在图像中所占的像素长度；

步骤2.4、光流估计模型能够识别出输入图像序列的全场光流信息；实际应用场景中，为得到目标区域的振动位移信息，利用平均核M(m,n)赋予区域内所有点相同的权重，结合单应性矩阵H和尺度因子SF将区域内的光流信息转换成结构的振动位移：

其中m和n分别代表平均核行和列向量的编号，h和w是平均核的高度和宽度。

进一步地，由于图像畸变的处理和尺度因子的选定会给识别结果带来误差，所以在步骤三中需要完成以下操作：

步骤3.1、利用步骤二的结构振动位移识别值构建位移校正模型的训练数据集，其中每一个数据包含长度相同的结构振动位移识别值和真值，并按照9:1的比例划分训练集和测试集；

步骤3.2、基于降噪自编码器构建位移校正模型，其输入和输出的维度为训练数据集中位移的长度，其隐含层的维度远小于输入、输出层的维度；

步骤3.3、将步骤3.1构建的训练数据集中的识别值输入位移校正模型，基于位移校正模型输出值与真值的均方根误差构建目标函数，并基于梯度下降方法更新位移校正模型的参数，直至在测试集上位移校正模型的输出值与真值的均方根误差下降至稳定；

步骤3.4、将步骤3.3训练完毕的位移校正模型中的参数固定，用于对后续测试数据中的结构振动位移识别值的误差进行校正。

进一步地，所述步骤四具体为：

步骤4.1、在输入图像序列的目标区域附近确定两点坐标，记录下两点坐标以形成一个方形区域作为本次识别的目标区域；

步骤4.2、首先调出无图像畸变的图像作为对照，定义一系列点，然后调出输入图像序列的需要矫正的图像，按相同顺序点击之前定义的一系列点，记录下这一系列关联点对的坐标，以计算单应性矩阵H；

步骤4.3、输入进模型的图像对，I₁和I₂，首先将通过特征编码器g_θ获取图像特征，再对两输入图像特征间所有特征向量对进行点积来计算相关性，从而构建四维相关性模块C，利用相关性模块建立查询操作L_C，从相关性金字塔中索引出特征映射，用于后续光流计算的迭代步骤，迭代器从输入的初始光流f₀＝0开始迭代计算，估计出一系列光流值{f₁,…,f_N}，利用前一次迭代输出的光流以及查询搜索到的相关性信息和一个隐藏层作为输入，迭代器可输出一个更新光流Δf和一个更新的隐藏层，因此每一次迭代更新计算都会生成一个Δf作用于现阶段预测的光流：f_k+1＝Δf+f_k；f_k为上一次迭代预测光流，f_k+1为现阶段预测光流；

步骤4.4、通过单应性矩阵H可将畸变图像识别出的光流值矫正，再将矫正后的光流乘以尺度因子SF便得到了结构的振动位移；

步骤4.5、利用构建的降噪自编码器处理模型的位移识别值，通过矫正方式最终输出结构的振动位移。

本发明还提出一种基于深度循环神经网络光流估计模型的结构振动位移识别系统，具体包括：

模型训练模块：构建包含土木工程结构振动信息的数据集，用于训练基于深度循环神经网络的光流估计模型；

振动位移输出模块：基于相机标定理论获得输入视频数据的单应性矩阵H和尺度因子SF，完成目标区域的标注，应用已训练的光流估计模型对输入视频数据进行光流识别，并通过平均核M(m,n)赋予目标区域内所有点位移相同的权重以此输出结构的振动位移；

位移识别值校正模块：结合模型的位移识别值以及结构振动位移的真值构建降噪自编码器，用于模型位移识别值的校正；

封装模块：完成上述流程系统化的程序封装，编写用户交互界面以及步骤提示，用于土木工程领域实际场景下的应用。

进一步地，所述模型训练模块具体为：

数据集构建模块：对于光流估计模型的训练，选取开源光流数据集FlyingChairs、Flying Things，为了提高模型对小位移的识别精度，引入小位移数据集ChairsSDHom，最后结合土木工程结构振动数据集提高其泛化能力；为保证模型的学习效果，基于从数据简单到复杂的训练原则，采取先用Flying Chairs数据集，后用Flying Things数据集的训练顺序，得到的初步模型接着在小位移数据集Chairs SDHom和Flying Things的混合数据集中进行调优，最后再引入土木工程结构振动数据集增强模型在实际应用场景下的泛化能力；

监督训练模块：采用监督训练的方式，从训练集中得到具有真实光流值的图像序列，运用所述图像序列结合模型识别的预测光流，引入L₁距离来计算预测光流和真实光流之间的差值，并且因为每次迭代都能产生一个预测光流{f₁,…,f_N}，越是后输出的预测光流便赋予越大的权重，最后合并一起组成模型最终的用于训练和学习的损失函数：

其中f_gt表示真实光流，f_i表示迭代光流，γ＝0.8，

表示损失函数。

进一步地，所述振动位移输出模块具体为：

信息识别模块：输入的结构振动视频被分解成图像序列{I₁,I₂,…,I_N}，基于累计误差最小准则选取固定输入第一张图片不变的方式，按照I_N和I₁组成图像对{I₁,I_N}传入模型进行结构振动的光流信息识别；

单应性矩阵建立模块：对于单应性矩阵H的建立，由于单应性矩阵H具有8个自由度，所以至少需要4对关联点才能计算单应性矩阵，为了使得计算更准确，选取的关联点对数远大于4对：

其中h₁--h₉为单应性矩阵元素；x，y，X，Y为关联点坐标值；

信息转换模块：结合像素空间和物理空间的尺度关系，获得将光流信息转换成结构振动位移的尺度因子：

其中|P_SQ_S|和|P_IQ_I|分别是真实世界坐标系中结构的某部分的长度和该部分在图像中所占的像素长度；

目标区域的振动位移信息获得模块：光流估计模型能够识别出输入图像序列的全场光流信息；实际应用场景中，为得到目标区域的振动位移信息，利用平均核M(m,n)赋予区域内所有点相同的权重，结合单应性矩阵H和尺度因子SF将区域内的光流信息转换成结构的振动位移：

其中m和n分别代表平均核行和列向量的编号，h和w是平均核的高度和宽度。

进一步地，由于图像畸变的处理和尺度因子的选定会给识别结果带来误差，所以在位移识别值校正模块中需要完成以下操作：

步骤3.1、利用步骤二的结构振动位移识别值构建位移校正模型的训练数据集，其中每一个数据包含长度相同的结构振动位移识别值和真值，并按照9:1的比例划分训练集和测试集；

步骤3.2、基于降噪自编码器构建位移校正模型，其输入和输出的维度为训练数据集中位移的长度，其隐含层的维度远小于输入、输出层的维度；

步骤3.3、将步骤3.1构建的训练数据集中的识别值输入位移校正模型，基于位移校正模型输出值与真值的均方根误差构建目标函数，并基于梯度下降方法更新位移校正模型的参数，直至在测试集上位移校正模型的输出值与真值的均方根误差下降至稳定；

步骤3.4、将步骤3.3训练完毕的位移校正模型中的参数固定，用于对后续测试数据中的结构振动位移识别值的误差进行校正。

进一步地，所述封装模块具体为：

区域选点用户交互模块：在输入图像序列的目标区域附近确定两点坐标，记录下两点坐标以形成一个方形区域作为本次识别的目标区域；

图像畸变处理用户交互模块：首先调出无图像畸变的图像作为对照，定义一系列点，然后调出输入图像序列的需要矫正的图像，按相同顺序点击之前定义的一系列点，记录下这一系列关联点对的坐标，以计算单应性矩阵H；

光流识别模块：输入进模型的图像对，I₁和I₂，首先将通过特征编码器g_θ获取图像特征，再对两输入图像特征间所有特征向量对进行点积来计算相关性，从而构建四维相关性模块C，利用相关性模块建立查询操作L_C，从相关性金字塔中索引出特征映射，用于后续光流计算的迭代步骤，迭代器从输入的初始光流f₀＝0开始迭代计算，估计出一系列光流值{f₁,…,f_N}，利用前一次迭代输出的光流以及查询搜索到的相关性信息和一个隐藏层作为输入，迭代器可输出一个更新光流Δf和一个更新的隐藏层，因此每一次迭代更新计算都会生成一个Δf作用于现阶段预测的光流：f_k+1＝Δf+f_k；f_k为上一次迭代预测光流，f_k+1为现阶段预测光流；

位移转换模块：通过单应性矩阵H可将畸变图像识别出的光流值矫正，再将矫正后的光流乘以尺度因子SF便得到了结构的振动位移；

位移矫正模块：利用构建的降噪自编码器处理模型的位移识别值，通过矫正方式最终输出结构的振动位移。

本发明的有益效果为：

1.本发明所述的基于深度循环神经网络光流估计模型的结构振动位移识别方法相比于传统接触式位移传感器，能有效地解决人工参与，质量负载，稀疏布置等问题，并且具有应用成本低的优势。

2.本发明实现了位移识别全流程的系统化构建，包括识别区域选取，图像畸变处理，光流识别，位移转换等过程一体化的处理。

3.本发明所述的方法能实现位移全过程的稳定匹配效果，相比于其他基于深度神经网络的结构振动位移识别方法具有高的识别精度。

4.本发明所述方法所需的网络参数少，并且模型泛化能力强，更有利于土木工程振动位移识别领域的应用。

附图说明

图1为本发明的方法对应结构振动位移识别的流程图；

图2为本发明采用的循环神经网络光流估计模型架构图；

图3为本发明实施例中四层框架楼模型的示意图；

图4为本发明实施例中四层框架楼振动的光流效果图；

图5为本发明针对四层框架楼模型振动的位移识别结果图；其中(a)为第1层楼，(b)为第2层楼，(c)为第3层楼，(d)为第4层楼。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是为了解决传统接触式位移传感器方法稀疏布置、质量负载、场地限制以及成本昂贵等问题，而提出的一种基于深度循环神经网络光流估计模型的结构振动位移识别方法。首先基于土木工程结构振动数据集和开源光流数据集训练深度循环神经网络光流估计模型。基于相机标定理论，将获得输入进模型的土木工程结构振动视频数据所对应的单应性矩阵H和尺度因子SF。再应用已训练完成的光流识别模型对输入的结构振动视频进行光流识别。最后构建降噪自编码器，并结合模型的位移识别值和真值完成自编码器的训练。训练完毕的降噪自编码器即可作为位移校正模型，用于对后续测试数据中的结构振动位移识别值的误差进行校正。基于以上要求，本发明通过对结构进行全场光流识别，可以获得高分辨率的振动位移信息。

结合图1-2，本发明提出一种基于深度循环神经网络光流估计模型的结构振动位移识别方法，具体包括以下步骤：

步骤一、构建包含土木工程结构振动信息的数据集，用于训练基于深度循环神经网络的光流估计模型。

步骤二、基于相机标定理论获得输入视频数据的单应性矩阵H和尺度因子SF。完成目标区域的标注，应用已训练的光流识别模型对输入视频数据进行光流识别，并通过平均核M(m,n)赋予目标区域内所有点位移相同的权重以此输出结构的振动位移。

步骤三、结合模型的位移识别值以及结构振动位移的真值(接触式位移传感器识别值)构建降噪自编码器，用于模型位移识别值的校正。

步骤四、完成上述流程系统化的程序封装，编写用户交互界面以及步骤提示，用于土木工程领域实际场景下的应用。

所述步骤一具体为：

步骤1.1、对于光流估计模型的训练，选取开源光流数据集Flying Chairs、FlyingThings，为了提高模型对小位移的识别精度，引入小位移数据集Chairs SDHom，最后结合土木工程结构振动数据集提高其泛化能力。为保证模型的学习效果，基于从数据简单到复杂的训练原则，采取先用Flying Chairs数据集，后用Flying Things数据集的训练顺序。得到的初步模型接着在小位移数据集Chairs SDHom和Flying Things的混合数据集中进行调优，最后再引入土木工程结构振动数据集增强模型在实际应用场景下的泛化能力。

步骤1.2、采用监督训练的方式，从训练集中可以得到具有真实光流值的图像序列，运用这些数据结合模型识别的预测光流，引入L₁距离来计算预测光流和真实光流之间的差值。并且因为每次迭代都能产生一个预测光流{f₁,…,f_N}，越是后输出的预测光流便赋予越大的权重，最后合并一起组成模型最终的用于训练和学习的损失函数：

其中f_gt表示真实光流，f_i表示迭代光流，γ＝0.8。

所述步骤二具体为：

步骤2.1、输入的结构振动视频被分解成图像序列{I₁,I₂,…,I_N}，基于累计误差最小准则选取固定输入第一张图片不变的方式，按照I_N和I₁组成图像对{I₁,I_N}传入模型进行结构振动的光流信息识别。

步骤2.2、对于单应性矩阵H的建立，由于单应性矩阵H具有8个自由度，所以至少需要4对关联点才能计算单应矩阵。为了使得计算更准确，选取的关联点对数远大于4对。

其中h₁--h₉为单应性矩阵元素；x，y，X，Y为关联点坐标值；

步骤2.3、结合像素空间和物理空间的尺度关系，获得将光流信息转换成结构振动位移的尺度因子。

其中|P_SQ_S|和|P_IQ_I|分别是真实世界坐标系中结构的某部分的长度和该部分在图像中所占的像素长度；

步骤2.4、光流识别模型能够识别出输入图像序列的全场光流信息。实际应用场景中，为得到目标区域的振动位移信息，利用平均核M(m,n)赋予区域内所有点相同的权重。结合单应性矩阵H和尺度因子SF将区域内的光流信息转换成结构的振动位移。

其中m和n分别代表平均核行和列向量的编号，h和w是它的高度和宽度。

由于图像畸变的处理和尺度因子的选定可能给识别结果带来误差，所以在步骤三中需要完成以下操作：

步骤3.1、利用步骤二的结构振动位移识别值构建校正模型的训练数据集，其中每一个数据包含长度相同的结构振动位移识别值和真值，并按照9:1的比例划分训练集和测试集。

步骤3.2、基于降噪自编码器构建位移校正模型，其输入和输出的维度为训练数据集中位移的长度，其隐含层的维度远小于输入、输出层的维度。

步骤3.3、将步骤3.1构建的训练数据集中的识别值输入位移校正模型，基于模型输出值与真值的均方根误差构建目标函数，并基于梯度下降方法更新位移校正模型的参数，直至在测试集上校正模型的输出值与真值的均方根误差下降至稳定。

步骤3.4、将步骤3.3训练完毕的位移校正模型中的参数固定，用于对后续测试数据中的结构振动位移识别值的误差进行校正。

所述步骤四具体为：

步骤4.1、在输入图像序列的目标区域附近通过鼠标点击可确定两点坐标，记录下两点坐标以形成一个方形区域作为本次识别的目标区域。

步骤4.2、系统会首先调出无图像畸变的图像作为对照，用户通过鼠标点击定义一系列点，然后系统会调出输入图像序列的需要矫正的图像，用户需按相同顺序点击之前定义的一系列点，记录下这一系列关联点对的坐标，以计算单应性矩阵H。

步骤4.3、输入进模型的图像对，I₁和I₂，首先将通过特征编码器g_θ获取图像特征。再对两输入图像特征间所有特征向量对进行点积来计算相关性，从而构建四维相关性模块C。利用相关性模块建立查询操作L_C，从相关性金字塔中索引出特征映射，用于后续光流计算的迭代步骤。迭代器从输入的初始光流f₀＝0开始迭代计算，估计出一系列光流值{f₁,…,f_N}。利用前一次迭代输出的光流以及查询搜索到的相关性信息和一个隐藏层作为输入，迭代器可输出一个更新光流Δf和一个更新的隐藏层。因此每一次迭代更新计算都会生成一个Δf作用于现阶段预测的光流：f_k+1＝Δf+f_k。f_k为上一次迭代预测光流，f_k+1为现阶段预测光流。

步骤4.4、通过单应性矩阵H可将畸变图像识别出的光流值矫正，再将矫正后的光流乘以尺度因子SF便得到了结构的振动位移。

步骤4.5、利用构建的降噪自编码器处理模型的位移识别值，通过矫正模块最终输出结构的振动位移。

本发明还提出一种基于深度循环神经网络光流估计模型的结构振动位移识别系统，具体包括：

模型训练模块：构建包含土木工程结构振动信息的数据集，用于训练基于深度循环神经网络的光流估计模型；

振动位移输出模块：基于相机标定理论获得输入视频数据的单应性矩阵H和尺度因子SF，完成目标区域的标注，应用已训练的光流估计模型对输入视频数据进行光流识别，并通过平均核M(m,n)赋予目标区域内所有点位移相同的权重以此输出结构的振动位移；

位移识别值校正模块：结合模型的位移识别值以及结构振动位移的真值构建降噪自编码器，用于模型位移识别值的校正；

封装模块：完成上述流程系统化的程序封装，编写用户交互界面以及步骤提示，用于土木工程领域实际场景下的应用。

所述模型训练模块具体为：

数据集构建模块：对于光流估计模型的训练，选取开源光流数据集FlyingChairs、Flying Things，为了提高模型对小位移的识别精度，引入小位移数据集ChairsSDHom，最后结合土木工程结构振动数据集提高其泛化能力；为保证模型的学习效果，基于从数据简单到复杂的训练原则，采取先用Flying Chairs数据集，后用Flying Things数据集的训练顺序，得到的初步模型接着在小位移数据集Chairs SDHom和Flying Things的混合数据集中进行调优，最后再引入土木工程结构振动数据集增强模型在实际应用场景下的泛化能力；

监督训练模块：采用监督训练的方式，从训练集中得到具有真实光流值的图像序列，运用所述图像序列结合模型识别的预测光流，引入L₁距离来计算预测光流和真实光流之间的差值，并且因为每次迭代都能产生一个预测光流{f₁,…,f_N}，越是后输出的预测光流便赋予越大的权重，最后合并一起组成模型最终的用于训练和学习的损失函数：

其中f_gt表示真实光流，f_i表示迭代光流，γ＝0.8，

表示损失函数。

所述振动位移输出模块具体为：

信息识别模块：输入的结构振动视频被分解成图像序列{I₁,I₂,…,I_N}，基于累计误差最小准则选取固定输入第一张图片不变的方式，按照I_N和I₁组成图像对{I₁,I_N}传入模型进行结构振动的光流信息识别；

单应性矩阵建立模块：对于单应性矩阵H的建立，由于单应性矩阵H具有8个自由度，所以至少需要4对关联点才能计算单应性矩阵，为了使得计算更准确，选取的关联点对数远大于4对：

其中h₁--h₉为单应性矩阵元素；x，y，X，Y为关联点坐标值；

信息转换模块：结合像素空间和物理空间的尺度关系，获得将光流信息转换成结构振动位移的尺度因子：

其中|P_SQ_S|和|P_IQ_I|分别是真实世界坐标系中结构的某部分的长度和该部分在图像中所占的像素长度；

目标区域的振动位移信息获得模块：光流估计模型能够识别出输入图像序列的全场光流信息；实际应用场景中，为得到目标区域的振动位移信息，利用平均核M(m,n)赋予区域内所有点相同的权重，结合单应性矩阵H和尺度因子SF将区域内的光流信息转换成结构的振动位移：

其中m和n分别代表平均核行和列向量的编号，h和w是平均核的高度和宽度。

由于图像畸变的处理和尺度因子的选定会给识别结果带来误差，所以在位移识别值校正模块中需要完成以下操作：

步骤3.1、利用步骤二的结构振动位移识别值构建位移校正模型的训练数据集，其中每一个数据包含长度相同的结构振动位移识别值和真值，并按照9:1的比例划分训练集和测试集；

步骤3.2、基于降噪自编码器构建位移校正模型，其输入和输出的维度为训练数据集中位移的长度，其隐含层的维度远小于输入、输出层的维度；

步骤3.3、将步骤3.1构建的训练数据集中的识别值输入位移校正模型，基于位移校正模型输出值与真值的均方根误差构建目标函数，并基于梯度下降方法更新位移校正模型的参数，直至在测试集上位移校正模型的输出值与真值的均方根误差下降至稳定；

步骤3.4、将步骤3.3训练完毕的位移校正模型中的参数固定，用于对后续测试数据中的结构振动位移识别值的误差进行校正。

所述封装模块具体为：

区域选点用户交互模块：在输入图像序列的目标区域附近确定两点坐标，记录下两点坐标以形成一个方形区域作为本次识别的目标区域；

图像畸变处理用户交互模块：首先调出无图像畸变的图像作为对照，定义一系列点，然后调出输入图像序列的需要矫正的图像，按相同顺序点击之前定义的一系列点，记录下这一系列关联点对的坐标，以计算单应性矩阵H；

光流识别模块：输入进模型的图像对，I₁和I₂，首先将通过特征编码器g_θ获取图像特征，再对两输入图像特征间所有特征向量对进行点积来计算相关性，从而构建四维相关性模块C，利用相关性模块建立查询操作L_C，从相关性金字塔中索引出特征映射，用于后续光流计算的迭代步骤，迭代器从输入的初始光流f₀＝0开始迭代计算，估计出一系列光流值{f₁,…,f_N}，利用前一次迭代输出的光流以及查询搜索到的相关性信息和一个隐藏层作为输入，迭代器可输出一个更新光流Δf和一个更新的隐藏层，因此每一次迭代更新计算都会生成一个Δf作用于现阶段预测的光流：f_k+1＝Δf+f_k；f_k为上一次迭代预测光流，f_k+1为现阶段预测光流；

位移转换模块：通过单应性矩阵H可将畸变图像识别出的光流值矫正，再将矫正后的光流乘以尺度因子SF便得到了结构的振动位移；

位移矫正模块：利用构建的降噪自编码器处理模型的位移识别值，通过矫正方式最终输出结构的振动位移。

实施例

如图3，针对四层框架楼模型，利用本发明基于深度循环神经网络光流估计模型的结构振动位移识别方法对框架楼层的振动位移进行识别。

首先视频的拍摄帧率为60Hz，布置在框架楼模型上的接触式位移传感器的采样频率为256Hz。视频被分解成的图像大小为640像素×512像素。

下面利用本发明中基于深度循环神经网络光流估计模型的结构振动位移识别方法进行结构振动位移识别：

所述步骤一具体为：结合开源光流数据集Flying Chairs、Flying Things和包含土木工程结构振动信息的数据集训练基于深度循环神经网络的光流估计模型。

所述步骤二具体为：通过在正拍无畸变图片与畸变图片之间选取8对关联匹配点，用来计算单应性矩阵H。利用像素空间和物理空间的尺度关系，获得将光流信息转换成结构振动位移的尺度因子SF。实施例中一层框架对应572个像素，实际模型一层的长度为3000mm，所以计算出的尺度因子一个像素对应5.24mm。通过逐帧分解将输入视频分解为图像序列{I₁,I₂,…,I_N}后，基于累计误差最小准则选定固定输入第一张图片不变的方式，按照I_N和I₁组成图像对{I₁,I_N}传入模型进行结构振动的光流信息识别。应用步骤一已训练好的光流估计模型对输入视频数据进行光流识别。如图4所示即为实施例中框架一层的光流识别图，其中不同颜色代表不同运动的方向，颜色的深浅代表不同运动的大小。识别出的光流信息是一个二维数据，分别代表横向和纵向的像素运动大小。利用平均核M(m,n)赋予区域内所有点相同的权重并结合单应性矩阵H和尺度因子SF即可将区域内的光流信息转换成结构的振动位移。

所述步骤三具体为：基于降噪自编码器构建位移校正模型。利用模型识别的结构振动位移值和结构振动位移真值构建校正模型的训练数据集。单个结构振动视频时长67s，采样频率60Hz，即可分解成4020帧图像序列。对结构振动位移识别值和真值同时按照9:1的比例，每段取402帧图像，共10段，前9段作为训练集，剩下1段作为测试集。同样的方式可处理多个结构振动视频，以此构建了校正模型的训练数据集。将构建的训练数据集中的识别值输入位移校正模型，基于模型输出值与真值的均方根误差构建目标函数，并基于梯度下降方法更新位移校正模型的参数，直至在测试集上校正模型的输出值与真值的均方根误差下降至稳定。训练完成后，将位移校正模型中的参数固定，用于对后续测试数据中的结构振动位移识别值的误差进行校正。本实施例中的四层框架楼模型校正后的位移识别值，如图5所示，与接触式位移传感器识别值保持高度吻合。

所述步骤四具体为：基于土木工程振动领域实际应用场景的需求，编写目标区域选点和图像畸变处理的用户交互界面，并将位移识别全流程封装成一体化的程序，搭建的用户交互界面使得在实际应用场景下更加便捷。本实施中，输入四层框架楼模型振动视频后，程序会自动弹出视频帧流的第一帧图像，通过在四层框架楼模型的每层通过鼠标点击可确定两点坐标，区域选点模块会记录下该两点坐标以形成一个方形区域作为本次识别的目标区域，也即完成了每层框架楼的目标区域选点。然后系统会调出无图像畸变的四层框架楼模型图像作为对照，通过鼠标定义一系列有顺序的点，按照相同的顺序在有图像畸变的四层框架楼模型图像中定义一系列点，与对照点组成一系列关联点对，以此能够计算出单应性矩阵H。最后是光流识别模块、位移转换模块和位移校正模块的嵌入，整体实现了结构振动位移识别全流程的一体化。

本发明实现了一种基于深度循环神经网络光流估计模型的结构振动位移识别方法。该方法在模型训练中引入小位移数据集和包含土木工程振动信息的数据集，不仅缓解了光流法对小位移不敏感的问题，还增强了方法在实际应用的泛化能力。通过模型识别值和结构振动真值训练出的降噪自编码器，能够有效地降低本方法的识别误差，以此实现模型位移识别值的校正。相比于接触式位移传感器，本方法能够有效解决传统位移传感器在应用背景下的稀疏布置、质量负载、人为参与以及成本昂贵等实际问题。相比于其他应用深度神经网络的结构振动位移识别方法，通过共享权重和GRU迭代更新器的网络架构设计，本方法能实现更有效率且更精准的识别效果，且具有模型参数轻量，泛化能力强的优势。最后系统化的程序封装以及用户交互界面的搭建使得本方法在土木工程振动领域的实际应用场景下更加便捷。

以上对本发明所提出的一种基于深度循环神经网络光流估计模型的结构振动位移识别方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度循环神经网络光流估计模型的结构振动位移识别方法，其特征在于：具体包括以下步骤：

步骤一、构建包含土木工程结构振动信息的数据集，用于训练基于深度循环神经网络的光流估计模型；

步骤二、基于相机标定理论获得输入视频数据的单应性矩阵H和尺度因子SF，完成目标区域的标注，应用已训练的光流估计模型对输入视频数据进行光流识别，并通过平均核M(m,n)赋予目标区域内所有点位移相同的权重以此输出结构的振动位移；其中m和n分别代表平均核行和列向量的编号；

步骤三、结合模型的位移识别值以及结构振动位移的真值构建降噪自编码器，用于模型位移识别值的校正；

步骤四、完成上述流程系统化的程序封装，编写用户交互界面以及步骤提示，用于土木工程领域实际场景下的应用。

2.根据权利要求1所述的方法，其特征在于：所述步骤一具体为：

步骤1.1、对于光流估计模型的训练，选取开源光流数据集Flying Chairs、FlyingThings，为了提高模型对小位移的识别精度，引入小位移数据集Chairs SDHom，最后结合土木工程结构振动数据集提高其泛化能力；为保证模型的学习效果，基于从数据简单到复杂的训练原则，采取先用Flying Chairs数据集，后用Flying Things数据集的训练顺序，得到的初步模型接着在小位移数据集Chairs SDHom和Flying Things的混合数据集中进行调优，最后再引入土木工程结构振动数据集增强模型在实际应用场景下的泛化能力；

步骤1.2、采用监督训练的方式，从训练集中得到具有真实光流值的图像序列，运用所述图像序列结合模型识别的预测光流，引入L₁距离来计算预测光流和真实光流之间的差值，并且因为每次迭代都能产生一个预测光流{f₁,…,f_N}，越是后输出的预测光流便赋予越大的权重，最后合并一起组成模型最终的用于训练和学习的损失函数：

其中f_gt表示真实光流，f_i表示迭代光流，γ＝0.8，

表示损失函数。

3.根据权利要求2所述的方法，其特征在于：所述步骤二具体为：

步骤2.1、输入的结构振动视频被分解成图像序列{I₁,I₂,…,I_N}，基于累计误差最小准则选取固定输入第一张图片不变的方式，按照I_N和I₁组成图像对{I₁,I_N}传入模型进行结构振动的光流信息识别；

步骤2.2、对于单应性矩阵H的建立，由于单应性矩阵H具有8个自由度，所以至少需要4对关联点才能计算单应性矩阵，为了使得计算更准确，选取的关联点对数远大于4对：

其中h₁--h₉为单应性矩阵元素；x，y，X，Y为关联点坐标值；

步骤2.3、结合像素空间和物理空间的尺度关系，获得将光流信息转换成结构振动位移的尺度因子：

其中|P_SQ_S|和|P_IQ_I|分别是真实世界坐标系中结构的某部分的长度和该部分在图像中所占的像素长度；

步骤2.4、光流估计模型能够识别出输入图像序列的全场光流信息；实际应用场景中，为得到目标区域的振动位移信息，利用平均核M(m,n)赋予区域内所有点相同的权重，结合单应性矩阵H和尺度因子SF将区域内的光流信息转换成结构的振动位移；其中平均核的计算公式为：

其中m和n分别代表平均核行和列向量的编号，h和w是平均核的高度和宽度。

4.根据权利要求3所述的方法，其特征在于：由于图像畸变的处理和尺度因子的选定会给识别结果带来误差，所以在步骤三中需要完成以下操作：

步骤3.1、利用步骤二的结构振动位移识别值构建位移校正模型的训练数据集，其中每一个数据包含长度相同的结构振动位移识别值和真值，并按照9:1的比例划分训练集和测试集；

步骤3.2、基于降噪自编码器构建位移校正模型，其输入和输出的维度为训练数据集中位移的长度，其隐含层的维度远小于输入、输出层的维度；

步骤3.3、将步骤3.1构建的训练数据集中的识别值输入位移校正模型，基于位移校正模型输出值与真值的均方根误差构建目标函数，并基于梯度下降方法更新位移校正模型的参数，直至在测试集上位移校正模型的输出值与真值的均方根误差下降至稳定；

步骤3.4、将步骤3.3训练完毕的位移校正模型中的参数固定，用于对后续测试数据中的结构振动位移识别值的误差进行校正。

5.根据权利要求1所述的方法，其特征在于：所述步骤四具体为：

步骤4.1、在输入图像序列的目标区域附近确定两点坐标，记录下两点坐标以形成一个方形区域作为本次识别的目标区域；

步骤4.2、首先调出无图像畸变的图像作为对照，定义一系列点，然后调出输入图像序列的需要矫正的图像，按相同顺序点击之前定义的一系列点，记录下这一系列关联点对的坐标，以计算单应性矩阵H；

步骤4.3、输入进模型的图像对，I₁和I₂，首先将通过特征编码器g_θ获取图像特征，再对两输入图像特征间所有特征向量对进行点积来计算相关性，从而构建四维相关性模块C，利用相关性模块建立查询操作L_C，从相关性金字塔中索引出特征映射，用于后续光流计算的迭代步骤，迭代器从输入的初始光流f₀＝0开始迭代计算，估计出一系列光流值{f₁,…,f_N}，利用前一次迭代输出的光流以及查询搜索到的相关性信息和一个隐藏层作为输入，迭代器可输出一个更新光流Δf和一个更新的隐藏层，因此每一次迭代更新计算都会生成一个Δf作用于现阶段预测的光流：f_k+1＝Δf+f_k；f_k为上一次迭代预测光流，f_k+1为现阶段预测光流；

步骤4.4、通过单应性矩阵H可将畸变图像识别出的光流值矫正，再将矫正后的光流乘以尺度因子SF便得到了结构的振动位移；

步骤4.5、利用构建的降噪自编码器处理模型的位移识别值，通过矫正方式最终输出结构的振动位移。

6.一种基于深度循环神经网络光流估计模型的结构振动位移识别系统，其特征在于：具体包括：

模型训练模块：构建包含土木工程结构振动信息的数据集，用于训练基于深度循环神经网络的光流估计模型；

振动位移输出模块：基于相机标定理论获得输入视频数据的单应性矩阵H和尺度因子SF，完成目标区域的标注，应用已训练的光流估计模型对输入视频数据进行光流识别，并通过平均核M(m,n)赋予目标区域内所有点位移相同的权重以此输出结构的振动位移；其中m和n分别代表平均核行和列向量的编号；

位移识别值校正模块：结合模型的位移识别值以及结构振动位移的真值构建降噪自编码器，用于模型位移识别值的校正；

封装模块：完成上述流程系统化的程序封装，编写用户交互界面以及步骤提示，用于土木工程领域实际场景下的应用。

7.根据权利要求6所述的系统，其特征在于：所述模型训练模块具体为：

数据集构建模块：对于光流估计模型的训练，选取开源光流数据集Flying Chairs、Flying Things，为了提高模型对小位移的识别精度，引入小位移数据集Chairs SDHom，最后结合土木工程结构振动数据集提高其泛化能力；为保证模型的学习效果，基于从数据简单到复杂的训练原则，采取先用Flying Chairs数据集，后用Flying Things数据集的训练顺序，得到的初步模型接着在小位移数据集Chairs SDHom和Flying Things的混合数据集中进行调优，最后再引入土木工程结构振动数据集增强模型在实际应用场景下的泛化能力；

监督训练模块：采用监督训练的方式，从训练集中得到具有真实光流值的图像序列，运用所述图像序列结合模型识别的预测光流，引入L₁距离来计算预测光流和真实光流之间的差值，并且因为每次迭代都能产生一个预测光流{f₁,…,f_N}，越是后输出的预测光流便赋予越大的权重，最后合并一起组成模型最终的用于训练和学习的损失函数：

其中f_gt表示真实光流，f_i表示迭代光流，γ＝0.8，

表示损失函数。

8.根据权利要求7所述的系统，其特征在于：所述振动位移输出模块具体为：

信息识别模块：输入的结构振动视频被分解成图像序列{I₁,I₂,…,I_N}，基于累计误差最小准则选取固定输入第一张图片不变的方式，按照I_N和I₁组成图像对{I_1,I_N}传入模型进行结构振动的光流信息识别；

单应性矩阵建立模块：对于单应性矩阵H的建立，由于单应性矩阵H具有8个自由度，所以至少需要4对关联点才能计算单应性矩阵，为了使得计算更准确，选取的关联点对数远大于4对：

其中h₁--h₉为单应性矩阵元素；x，y，X，Y为关联点坐标值；

信息转换模块：结合像素空间和物理空间的尺度关系，获得将光流信息转换成结构振动位移的尺度因子：

其中|P_SQ_S|和|P_IQ_I|分别是真实世界坐标系中结构的某部分的长度和该部分在图像中所占的像素长度；

目标区域的振动位移信息获得模块：光流估计模型能够识别出输入图像序列的全场光流信息；实际应用场景中，为得到目标区域的振动位移信息，利用平均核M(m,n)赋予区域内所有点相同的权重，结合单应性矩阵H和尺度因子SF将区域内的光流信息转换成结构的振动位移；其中平均核的计算公式为：

其中m和n分别代表平均核行和列向量的编号，h和w是平均核的高度和宽度。

9.根据权利要求8所述的系统，其特征在于：由于图像畸变的处理和尺度因子的选定会给识别结果带来误差，所以在位移识别值校正模块中需要完成以下操作：

步骤3.1、利用步骤二的结构振动位移识别值构建位移校正模型的训练数据集，其中每一个数据包含长度相同的结构振动位移识别值和真值，并按照9:1的比例划分训练集和测试集；

步骤3.2、基于降噪自编码器构建位移校正模型，其输入和输出的维度为训练数据集中位移的长度，其隐含层的维度远小于输入、输出层的维度；

步骤3.3、将步骤3.1构建的训练数据集中的识别值输入位移校正模型，基于位移校正模型输出值与真值的均方根误差构建目标函数，并基于梯度下降方法更新位移校正模型的参数，直至在测试集上位移校正模型的输出值与真值的均方根误差下降至稳定；

步骤3.4、将步骤3.3训练完毕的位移校正模型中的参数固定，用于对后续测试数据中的结构振动位移识别值的误差进行校正。

10.根据权利要求6所述的系统，其特征在于：所述封装模块具体为：

区域选点用户交互模块：在输入图像序列的目标区域附近确定两点坐标，记录下两点坐标以形成一个方形区域作为本次识别的目标区域；

图像畸变处理用户交互模块：首先调出无图像畸变的图像作为对照，定义一系列点，然后调出输入图像序列的需要矫正的图像，按相同顺序点击之前定义的一系列点，记录下这一系列关联点对的坐标，以计算单应性矩阵H；

光流识别模块：输入进模型的图像对，I₁和I₂，首先将通过特征编码器g_θ获取图像特征，再对两输入图像特征间所有特征向量对进行点积来计算相关性，从而构建四维相关性模块C，利用相关性模块建立查询操作L_C，从相关性金字塔中索引出特征映射，用于后续光流计算的迭代步骤，迭代器从输入的初始光流f₀＝0开始迭代计算，估计出一系列光流值{f₁,…,f_N}，利用前一次迭代输出的光流以及查询搜索到的相关性信息和一个隐藏层作为输入，迭代器可输出一个更新光流Δf和一个更新的隐藏层，因此每一次迭代更新计算都会生成一个Δf作用于现阶段预测的光流：f_k+1＝Δf+f_k；f_k为上一次迭代预测光流，f_k+1为现阶段预测光流；

位移转换模块：通过单应性矩阵H可将畸变图像识别出的光流值矫正，再将矫正后的光流乘以尺度因子SF便得到了结构的振动位移；

位移矫正模块：利用构建的降噪自编码器处理模型的位移识别值，通过矫正方式最终输出结构的振动位移。

Images