CN115638731B - 一种基于超分辨率的振动台试验计算机视觉位移测量方法 - Google Patents

Abstract

本发明公开了一种基于超分辨率的振动台试验计算机视觉位移测量方法，主要内容如下：在获取振动台试验视频后，追踪并截取视频中的人工靶标图片序列；通过与视频中人工靶标同类型的其他人工靶标图片构建数据库训练超分辨率重建模型，对截取的人工靶标进行超分辨率重建；采用多区域追踪方法获得人工靶标几何中心精确位移，并计算比例因子将像素位移换算至实际位移；进行试验模型结构模态参数识别。本方法通过预训练的超分辨率重建模型，将低清的靶标图像重建为高清图像，结合传统相关性模板匹配位移追踪方法，实现稳定的亚像素位移追踪效果，提高了位移测量方法的精度，并可以实现准确的结构模态参数识别功能。

Description

一种基于超分辨率的振动台试验计算机视觉位移测量方法

技术领域

本发明属于结构工程试验位移测量技术领域，尤其涉及一种基于超分辨率的振动台试验计算机视觉位移测量方法。

背景技术

振动台试验是常用的结构抗震试验方法之一，是模拟地震作用下结构非线性动力反应的重要手段。结构位移是评估振动台试验试件损伤状态的重要指标。附图1是传统振动台试验计算机视觉位移测量方法的流程图，其采用计算机视觉进行振动台试验的位移测量，具体步骤如下：在试验模型表面黏贴人工靶标，并利用相机记录结构试验视频；通过相关性模板匹配方法追踪人工靶标在视频中的位置变化；通过选取视频中已知工程长度的标志物，计算获得比例因子(单位像素对应的工程长度)，计算获取靶标与结构的真实位移响应。

其中，相关性模板匹配方法指通过逐像素移动模板，比较模板与图像的皮尔逊相关性系数，从而获取模板与图像的最佳匹配位置，即为被追踪的靶标的位置。

现有的传统振动台试验计算机视觉位移测量方法存在以下缺点：

(1)现行方法的精度与视频的分辨率高度相关，单像素对应的工程长度即为位移分辨精度，在远距离和大型的试验测量中，对相机要求较高，且难以实现较高的精度；

(2)现行方法采用单区域追踪获得的位移追踪结果稳定性较差，误差离散性较大；

(3)现行方法的精度较低，难以满足白噪声工况和小震工况下位移的准确量测，采用该位移量测数据进行模态参数识别时误差也较大。

专利申请文献“基于深度超分辨率网络的结构位移测量方法及装置(CN114549613 A)”通过待测结构的低清晰度和高清晰度图片构建数据集训练深度超分辨率网络，对待测结构位移前后的感兴趣区域图像进行超分辨率重建并进行位移测量，实现更高精度的结构位移测量。该技术存在以下缺陷：

(1)该技术需采用待测结构的低清晰度和高清晰度图片构建训练数据集，在破坏性地震和破坏性振动台试验中，若现场观测条件可以获取结构高清晰度图片，则可直接使用传统计算机视觉技术获得较好的位移测量结果，若现场观测条件难以获取结构的高清晰度图片，则在结构破坏后也不能再获取结构的高清晰度图片。且该技术针对不同的结构需要重新训练不同的超分辨率重建模型。因此该技术仅适用于结构在位移前后无明显损伤的位移测量，且对于多个结构需要训练多个模型，在实践层面具有局限性；

(2)该技术采用待测结构低清晰度和高清晰度图片构建训练数据集训练深度超分辨率网络，训练完成的超分辨率模型仅对可选定的一栋待测结构的感兴趣区域进行超分辨率重建，而难以用于其他结构，技术的泛化能力较差；

(3)该技术对感兴趣区域进行超分辨率重建并直接追踪感兴趣区域位移，获得的位移追踪结果稳定性较差，误差离散性较大；

(4)该技术没有实现结构的模态参数识别，在功能性方面略有欠缺。

发明内容

鉴于此，为解决前述现有的振动台试验计算机视觉位移测量方法存在的诸多缺点，本发明提出一种基于超分辨率的振动台试验计算机视觉位移测量方法，所述方法利用具有类似表观特征人工靶标图片数据集构建靶标超分辨率重建网络，可以将低清晰度的靶标图片重建生成高清晰度的靶标图片，从而提高相关性模板匹配追踪靶标位移的精度；所述方法利用多区域追踪获得重建后的靶标几何中心的准确位置，从而增强位移追踪结果的稳定性、降低误差的离散性，可以实现1像素内微小位移的稳定测量；且所述方法通过提高位移追踪的精度可以实现结构模态参数的准确识别。

本方法的技术方案如下：一种基于超分辨率的振动台试验计算机视觉位移测量方法，主要步骤如下：

1)将振动台试验视频作为输入，应用python cv2工具包获得对应的图片序列；

2)将图片序列作为输入，采用相关性模板匹配方法，获得人工靶标在图片中的像素位移，并截取人工靶标所在区域的图片序列；

3)拍摄与视频中人工靶标同类型的其他人工靶标图片构建数据库，训练超分辨率重建模型；

所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，通过与视频中人工靶标同类型的其他人工靶标的低清晰度和高清晰度图片组训练完成；

所述的同类型的其他人工靶标为与试验中使用的人工靶标具有类似表观特征的其他人工靶标，根据试验中人工靶标的表观特征构建；

4)采用超分辨率重建模型对步骤2)中截取的人工靶标所在区域的图片序列进行超分辨率重建，获取高分辨率的人工靶标所在区域的图片序列；

5)对步骤4)获得的高分辨率人工靶标所在区域的图片序列，通过多区域追踪获得人工靶标的感兴趣区域位置，并通过几何运算获得人工靶标几何中心在截取区域图片中的准确位置；

所述的感兴趣区域指人为选择的人工靶标内部具有明显表观特征的区域；

所述的多区域追踪通过相关性模板匹配方法，捕捉人工靶标内部感兴趣区域的位置；结合人工靶标内部多个感兴趣区域的位置信息，通过几何运算获得人工靶标的几何中心在截取区域图片中的位置；其中，假设每个图片的相关性模板匹配误差分别独立服从相同的概率分布模型，选择N个感兴趣区域进行追踪，并利用N个感兴趣区域的位置信息计算得到人工靶标几何中心的准确位置，靶标几何中心位置误差的标准差降低为直接追踪靶标几何中心位置的1/N；

6)将步骤2)获得的人工靶标在图片中的像素位移与步骤5)获得的人工靶标几何中心在截取区域的准确位置相加获得人工靶标几何中心的精确位移；

7)选择图片中已知工程长度的物体作为标志物，计算获得单像素对应的工程长度换算比例，即比例因子；将上述步骤6)获得的人工靶标几何中心的精确位移，乘以比例因子，得到人工靶标的实际位移，比例因子的计算方式如下：

式中，α为比例因子，D为标志物的工程长度，d为标志物在图片中的像素长度；

8)采用上述步骤1)-7)追踪获得的振动台台面和试验模型不同位置靶标位移，作为振动台试验模型的位移反应，计算得到试验模型的层间位移反应时程；

9)在振动台试验的白噪声激励工况中，将追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，进行试验模型的模态参数识别，获取试验模型的动力特性，所述试验模型的动力特性包括振型、固有频率和阻尼比。

优选地，步骤2)中所述的截取人工靶标所在区域的图片序列，指通过相关性模板匹配追踪得到人工靶标所在位置后，在图片中切割以人工靶标外边框向外扩展5像素的方形区域。

优选地，其特征在于，

步骤3)中所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，该模型以低清晰度图片作为输入，经图片超分辨率重建形成高分辨率图片，以高清晰度图片作为输出，主要包括图片输入模块、反馈模块和图片输出模块；所述图片输入模块，负责压缩输入图片特征，通过两次图片卷积对输入的低清晰度图片进行压缩，输出至所述反馈模块；所述反馈模块，负责图片的优化处理，通过前一次重建结果优化后一次重建结果，反复迭代，直至达到设定的阈值；所述图片输出模块，负责图片特征的解码，通过接收反馈模块的图片优化结果，在其基础上进行图片上采样，从而获得高清晰度的图片。

优选地，步骤3)所述的训练超分辨率重建模型，以不同背景、拍摄距离和光照条件下的与视频中人工靶标同类型的其他人工靶标图片作为基础数据，具体步骤如下：

1.1)根据视频中人工靶标的表观特征，采用作图软件绘制生成多种具有类似表观特征的人工靶标图片，并黏贴在不同类型的背景墙面，在不同拍摄距离和光照条件下拍摄黏贴的人工靶标图片，形成人工靶标数据库；

1.2)通过数据扩增、图片双三次插值放缩和图片噪音蒙版，由人工靶标数据库生成具有统一图片尺寸的训练样本组，用于超分辨率重建模型训练；所述数据扩增包括图片旋转、翻转、亮度以及色彩调整；所述图片噪音蒙版包括给放缩后的图片附加高斯噪音、附加高斯模糊；所述训练样本组是指图片放缩前的高清晰度图片与经双三次插值放缩并加图片噪音蒙版后的低清晰度图片组成的照片组；

1.3)将上述训练样本组输入超分辨率模型进行训练，其训练过程为通过迭代优化求解最小平均损失函数L，即：

式中，T为迭代次数，W为权重系数，I_HR为样本组中的高清晰度图片，Ix_R为通过样本组中低清晰度图片超分辨率重建生成的高清晰度图片。

优选地，步骤9)所述的试验模型的模态参数识别以追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，使用带输入的自回归ARX模型进行试验模型的模态参数识别，其中ARX模型的表示形式如下：

式中，y(t)和u(t)分别为输出向量和输入向量，a_k和b_k分别为待识别的参数，其阶数分别为N_a和N_b，t为时间，dt为采样间隔，d为地震动从输入到体系输出的延时；

使用ARX模型进行模态参数识别，通过加窗平均后的输入振动和输出振动，采用最小二乘拟合估计方法计算ARX模型参数，利用模型参数求解模型传递函数，最后得到试验模型的动力特性，包括试验模型的振型、固有频率和阻尼比。

一种基于超分辨率的振动台试验计算机视觉位移测量系统，包括：

1)图片序列获取模块：将振动台试验视频作为输入，应用python cv2工具包获得对应的图片序列；

2)人工靶标位移计算模块：将图片序列作为输入，采用相关性模板匹配方法，获得人工靶标在图片中的像素位移，并截取人工靶标所在区域的图片序列；

3)超分辨率模型训练模块：拍摄与视频中人工靶标同类型的其他人工靶标图片构建数据库，训练超分辨率重建模型；

所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，通过与视频中人工靶标同类型的其他人工靶标的低清晰度和高清晰度图片组训练完成；

所述的同类型的其他人工靶标为与试验中使用的人工靶标具有类似表观特征的其他人工靶标，根据试验中人工靶标的表观特征构建；

4)图片超重建模块：采用超分辨率重建模型对步骤2)中截取的人工靶标所在区域的图片序列进行超分辨率重建，获取高分辨率的人工靶标所在区域的图片序列；

5)人工靶标几何中心位置计算模块：对步骤4)获得的高分辨率人工靶标所在区域的图片序列，通过多区域追踪获得人工靶标的感兴趣区域位置，并通过几何运算获得人工靶标几何中心在截取区域图片中的准确位置；

所述的感兴趣区域指人为选择的人工靶标内部具有明显表观特征的区域；

所述的多区域追踪通过相关性模板匹配方法，捕捉人工靶标内部感兴趣区域的位置；结合人工靶标内部多个感兴趣区域的位置信息，通过几何运算获得人工靶标的几何中心在截取区域图片中的位置；其中，假设每个图片的相关性模板匹配误差分别独立服从相同的概率分布模型，选择N个感兴趣区域进行追踪，并利用N个感兴趣区域的位置信息计算得到人工靶标几何中心的准确位置，靶标几何中心位置误差的标准差降低为直接追踪靶标几何中心位置的1/N；

6)人工靶标几何中心位移计算模块：将步骤2)获得的人工靶标在图片中的像素位移与步骤5)获得的人工靶标几何中心在截取区域的准确位置相加获得人工靶标几何中心的精确位移；

7)人工靶标实际位移计算模块：选择图片中已知工程长度的物体作为标志物，计算获得单像素对应的工程长度换算比例，即比例因子；将上述步骤6)获得的人工靶标几何中心的精确位移，乘以比例因子，得到人工靶标的实际位移，比例因子的计算方式如下：

式中，α为比例因子，D为标志物的工程长度，d为标志物在图片中的像素长度；

8)试验模型层间位移计算模块：采用上述步骤1)-7)追踪获得的振动台台面和试验模型不同位置靶标位移，作为振动台试验模型的位移反应，计算得到试验模型的层间位移反应时程；

9)模态参数识别模块：在振动台试验的白噪声激励工况中，将追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，进行试验模型的模态参数识别，获取试验模型的动力特性，所述试验模型的动力特性包括振型、固有频率和阻尼比。

一种基于超分辨率的振动台试验计算机视觉位移测量系统终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上加载并运行的至少一条指令或至少一段计算机程序，其特征在于，所述处理器加载并运行至少一条指令或至少一段计算机程序以实现所述一种基于超分辨率的振动台试验计算机视觉位移测量方法的步骤。

一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的一种基于超分辨率的振动台试验计算机视觉位移测量方法的步骤。

本发明采用以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明提出的基于超分辨率的振动台试验计算机视觉位移测量方法，利用超分辨率模型，能够将原本低清晰度的人工靶标图片，重建为高清晰度的靶标图片，从而获得更好的位移追踪精度；与现有方法相比，本方法可以在测量设备、试验室仪器布设位置等外部设备条件固定的情况下，重建获得高清晰度的人工靶标照片，使得振动台试验位移追踪结果更准确、精度更高。

(2)本发明提出的基于超分辨率的振动台试验计算机视觉位移测量方法，根据试验视频中的人工靶标构建具有类似表观特征的人工靶标数据集，训练循环神经网络超分辨率重建模型；与现有方法相比，本方法训练的超分辨率重建模型可用于同类型人工靶标的不同结构，且不需要拍摄待测结构的高清图片，可适用于不同损伤情况振动台试验的位移测量，泛化能力强，实用性强。

(3)本发明基于超分辨率重建生成的的高清晰度靶标图片，通过多区域追踪获得靶标内部具有明显表观特征的多区域位置，经几何运算获得靶标中心的准确位置；与现有方法相比，本方法通过多区域追踪减小了位移追踪误差，增强了位移追踪结果的稳定性。

(4)通过结合超分辨率重建和多区域追踪方法获取高精度的振动台试验位移测量结果，能准确获得待测试验模型的层间位移反应并得到准确的试验模型结构模态参数，有利于提高计算机视觉测量技术在振动台试验中的实用性。

附图说明

图1是传统振动台试验计算机视觉位移测量方法的流程图；

图2是本发明一种基于超分辨率的振动台试验计算机视觉位移测量方法流程图；

图3是靶标几何中心的精确位置的计算方式；

图4是采用超分辨率方法追踪获得的振动台试验位移进行结构模态参数识别的流程图；

图5是实施例的结构示意图以及结构表面靶标的布设情况；

图6是应用本方法追踪三层框架结构在振动台地震激励下的层间位移结果；

图7是应用本方法追踪三层框架结构在振动台白噪声激励下的层间位移结果；

图8是多区域追踪与单区域追踪方法位移测量结果的信噪比；

图9是基于超分辨率的方法追踪获得的靶标位移响应用于试验模型结构模态参数识别的结果。

具体实施方式

下面将结合附图和实施例对本发明做进一步的详细说明。

如附图2所示，本发明提出的一种基于超分辨率的振动台试验计算机视觉位移测量方法，主要步骤如下：

1)将振动台试验视频作为输入，应用python cv2工具包获得对应的图片序列；

2)将图片序列作为输入，采用相关性模板匹配方法，获得人工靶标在图片中的像素位移，并截取人工靶标所在区域的图片序列；

3)拍摄与视频中人工靶标同类型的其他人工靶标图片构建数据库，训练超分辨率重建模型；

所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，通过与视频中人工靶标同类型的其他人工靶标的低清晰度和高清晰度图片组训练完成；

所述的同类型的其他人工靶标为与试验中使用的人工靶标具有类似表观特征的其他人工靶标，根据试验中人工靶标的表观特征构建；

4)采用超分辨率重建模型对步骤2)中截取的人工靶标所在区域的图片序列进行超分辨率重建，获取高分辨率的人工靶标所在区域的图片序列；

5)对步骤4)获得的高分辨率人工靶标所在区域的图片序列，通过多区域追踪获得人工靶标的感兴趣区域位置，并通过几何运算获得人工靶标几何中心在截取区域图片中的准确位置，见附图3；

所述的感兴趣区域指人为选择的人工靶标内部具有明显表观特征的区域；

所述的多区域追踪通过相关性模板匹配方法，捕捉人工靶标内部感兴趣区域的位置；结合人工靶标内部多个感兴趣区域的位置信息，通过几何运算获得人工靶标的几何中心在截取区域图片中的位置；其中，假设每个图片的相关性模板匹配误差分别独立服从相同的概率分布模型，选择N个感兴趣区域进行追踪，并利用N个感兴趣区域的位置信息计算得到人工靶标几何中心的准确位置，靶标几何中心位置误差的标准差降低为直接追踪靶标几何中心位置的1/N；

6)将步骤2)获得的人工靶标在图片中的像素位移与步骤5)获得的人工靶标几何中心在截取区域的准确位置相加获得人工靶标几何中心的精确位移；

7)选择图片中已知工程长度的物体作为标志物，计算获得单像素对应的工程长度换算比例，即比例因子；将上述步骤6)获得的人工靶标几何中心的精确位移，乘以比例因子，得到人工靶标的实际位移，比例因子的计算方式如下：

式中，为比例因子，为标志物的工程长度，为标志物在图片中的像素长度；

8)采用上述步骤1)-7)追踪获得的振动台台面和试验模型不同位置靶标位移，作为振动台试验模型的位移反应，计算得到试验模型的层间位移反应时程；

9)在振动台试验的白噪声激励工况中，将追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，进行试验模型的模态参数识别，获取试验模型的动力特性，所述试验模型的动力特性包括振型、固有频率和阻尼比。

步骤2)中所述的截取人工靶标所在区域的图片序列，指通过模板匹配追踪得到人工靶标所在位置后，在图片中切割以人工靶标外边框向外扩展5像素的方形区域；

步骤3)中所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，该模型以低清晰度图片作为输入，经图片超分辨率重建形成高分辨率图片，以高清晰度图片作为输出，主要包括图片输入模块、反馈模块和图片输出模块；所述图片输入模块，负责压缩输入图片特征，通过两次图片卷积对输入的低清晰度图片进行压缩，输出至所述反馈模块；所述反馈模块，负责图片的优化处理，通过前一次重建结果优化后一次重建结果，反复迭代，直至达到设定的阈值；所述图片输出模块，负责图片特征的解码，通过接收反馈模块的图片优化结果，在其基础上进行图片上采样，从而获得高清晰度的图片。

步骤3)所述的训练超分辨率重建模型，以不同背景、拍摄距离和光照条件下的与视频中人工靶标同类型的其他人工靶标图片作为基础数据，具体步骤如下：

1.1)根据视频中人工靶标的表观特征，采用作图软件绘制生成多种具有类似表观特征的人工靶标图片，并黏贴在不同类型的背景墙面，在不同拍摄距离和光照条件下拍摄黏贴的人工靶标图片，形成人工靶标数据库；

1.2)通过数据扩增、图片双三次插值放缩和图片噪音蒙版，由人工靶标数据库生成具有统一图片尺寸的训练样本组，用于超分辨率重建模型训练；所述数据扩增包括图片旋转、翻转、亮度以及色彩调整；所述图片噪音蒙版包括给放缩后的图片附加高斯噪音、附加高斯模糊；所述训练样本组是指图片放缩前的高清晰度图片与经双三次插值放缩并加图片噪音蒙版后的低清晰度图片组成的照片组；

1.3)将上述训练样本组输入超分辨率模型进行训练，其训练过程为通过迭代优化求解最小平均损失函数L，即：

式中，T为迭代次数，W为权重系数，I_HR为样本组中的高清晰度图片，I_SR为通过样本组中低清晰度图片超分辨率重建生成的高清晰度图片。

如附图4所示，步骤9)所述的试验模型的模态参数识别以追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，使用带输入的自回归(ARX)模型进行试验模型的模态参数识别，其中ARX模型的表示形式如下：

式中，y(t)和u(t)分别为输出向量和输入向量，a_k和b_k分别为待识别的参数，其阶数分别为N_a和N_b，t为时间，dt为采样间隔，d为地震动从输入到体系输出的延时；

所述使用ARX模型进行模态参数识别，通过加窗平均后的输入振动和输出振动，采用最小二乘拟合估计方法计算ARX模型参数，利用模型参数求解模型传递函数，最后得到试验模型的动力特性，包括试验模型的振型、固有频率和阻尼比。

为了证明本发明提供的一种基于超分辨率的振动台试验计算机视觉位移测量方法的有效性，下面通过具体实施例进行详细说明。

参见附图5，本实施例是一个大尺寸三层钢筋混凝土结构振动台试验，通过提出的基于超分辨率的振动台试验计算机视觉位移测量方法进行试件的位移测量。试件层高为2.3m，结构平面尺寸为4.7m×3m，长边方向结构为框架剪力墙，短边方向为框架，在框架面贴设人工靶标，用于测量振动台台面位置靶标和结构各楼层靶标的位移响应。

本实施例共测量两种不同振动下的结构位移响应，分别为地震波振动和峰值加速度为0.05g的白噪声振动。试验中，由于拍摄试验视频的相机位置和视角固定，视频的比例因子固定为4.5mm/pixel。应用基于超分辨率的计算机视觉位移测量方法测量试验模型的位移，地震激励下的试验模型结构层间位移时程记录见附图6，白噪声激励下的试验模型结构层间位移时程记录见附图7。

在地震激励下，传统计算机视觉位移测量方法测量结果有明显的阶梯状，而本发明提出的方法测得的位移曲线更为平滑准确。相比于传统的计算机视觉位移测量方法，本发明提出的方法将结构地震位移响应量测的信噪比(SNR)提高了68％，将结构位移响应量测的均方根误差(RMSE)降低了63％。在白噪声激励下，结构的位移响应基本不超过4.5mm，而传统计算机视觉测量方法的测量分辨率为4.5mm/pixel，因此传统方法基本丧失了位移追踪能力，本发明提出的方法可以很好捕捉结构的微小位移，使位移追踪结果的SNR提高了12.74dB，RMSE降低了84％。

本实施例比较了在超分辨率重建的基础上，分别采用多区域追踪与单区域追踪方法进行试验模型结构的位移测量，在4次不同白噪声激励下的位移追踪结果的SNR见附图8。相比于传统的单区域追踪方法，采用多区域追踪可以使位移追踪结果的SNR提升15％。在获得上述三层钢筋混凝土结构振动台试验的位移后，将追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，进行结构的模态参数识别。试验模型结构的结构模态参数识别结果见附图9，其中基于精密加速度传感器测量加速度的结构模态参数识别结果被认为是真实值。结构模态参数识别结果与真实值吻合度较高，固有频率误差不超过2％，而传统的计算机视觉测量方法测得的试验模型位移结果由于精度有限一般无法获得试验模型结构的模态参数。

采用本发明提出的基于超分辨率的振动台试验计算机视觉位移测量方法，可以在地震激励和白噪声激励下准确测量试验模型结构的位移响应，采用的多区域追踪可以获得更精确的位移追踪效果。基于测量的精确位移结果，可以实现结构的模态参数识别。因此，本发明提出的基于超分辨率的振动台试验计算机视觉位移测量方法相比于传统计算机视觉位移测量方法在精度、准确性、功能性方面都有明显的提高。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于超分辨率的振动台试验计算机视觉位移测量方法，其特征在于，主要步骤如下：

1)将振动台试验视频作为输入，应用python cv2工具包获得对应的图片序列；

2)将图片序列作为输入，采用相关性模板匹配方法，获得人工靶标在图片中的像素位移，并截取人工靶标所在区域的图片序列；

3)拍摄与视频中人工靶标同类型的其他人工靶标图片构建数据库，训练超分辨率重建模型；

所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，通过与视频中人工靶标同类型的其他人工靶标的低清晰度和高清晰度图片组训练完成；

所述的同类型的其他人工靶标为与试验中使用的人工靶标具有类似表观特征的其他人工靶标，根据试验中人工靶标的表观特征构建；

4)采用超分辨率重建模型对步骤2)中截取的人工靶标所在区域的图片序列进行超分辨率重建，获取高分辨率的人工靶标所在区域的图片序列；

5)对步骤4)获得的高分辨率人工靶标所在区域的图片序列，通过多区域追踪获得人工靶标的感兴趣区域位置，并通过几何运算获得人工靶标几何中心在截取区域图片中的准确位置；

所述的感兴趣区域指人为选择的人工靶标内部具有明显表观特征的区域；

所述的多区域追踪通过相关性模板匹配方法，捕捉人工靶标内部感兴趣区域的位置；结合人工靶标内部多个感兴趣区域的位置信息，通过几何运算获得人工靶标的几何中心在截取区域图片中的位置；其中，假设每个图片的相关性模板匹配误差分别独立服从相同的概率分布模型，选择N个感兴趣区域进行追踪，并利用N个感兴趣区域的位置信息计算得到人工靶标几何中心的准确位置，靶标几何中心位置误差的标准差降低为直接追踪靶标几何中心位置的1/N；

6)将步骤2)获得的人工靶标在图片中的像素位移与步骤5)获得的人工靶标几何中心在截取区域的准确位置相加获得人工靶标几何中心的精确位移；

7)选择图片中已知工程长度的物体作为标志物，计算获得单像素对应的工程长度换算比例，即比例因子；将上述步骤6)获得的人工靶标几何中心的精确位移，乘以比例因子，得到人工靶标的实际位移，比例因子的计算方式如下：

式中，α为比例因子，D为标志物的工程长度，d为标志物在图片中的像素长度；

8)采用上述步骤1)-7)追踪获得的振动台台面和试验模型不同位置靶标位移，作为振动台试验模型的位移反应，计算得到试验模型的层间位移反应时程；

9)在振动台试验的白噪声激励工况中，将追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，进行试验模型的模态参数识别，获取试验模型的动力特性，所述试验模型的动力特性包括振型、固有频率和阻尼比。

2.根据权利要求1所述的一种基于超分辨率的振动台试验计算机视觉位移测量方法，其特征在于，

步骤2)中所述的截取人工靶标所在区域的图片序列，指通过相关性模板匹配追踪得到人工靶标所在位置后，在图片中切割以人工靶标外边框向外扩展5像素的方形区域。

3.根据权利要求1-2任一项所述的一种基于超分辨率的振动台试验计算机视觉位移测量方法，其特征在于，

步骤3)中所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，该模型以低清晰度图片作为输入，经图片超分辨率重建形成高分辨率图片，以高清晰度图片作为输出，主要包括图片输入模块、反馈模块和图片输出模块；所述图片输入模块，负责压缩输入图片特征，通过两次图片卷积对输入的低清晰度图片进行压缩，输出至所述反馈模块；所述反馈模块，负责图片的优化处理，通过前一次重建结果优化后一次重建结果，反复迭代，直至达到设定的阈值；所述图片输出模块，负责图片特征的解码，通过接收反馈模块的图片优化结果，在其基础上进行图片上采样，从而获得高清晰度的图片。

4.根据权利要求3所述的一种基于超分辨率的振动台试验计算机视觉位移测量方法，其特征在于，

步骤3)所述的训练超分辨率重建模型，以不同背景、拍摄距离和光照条件下的与视频中人工靶标同类型的其他人工靶标图片作为基础数据，具体步骤如下：

1.1)根据视频中人工靶标的表观特征，采用作图软件绘制生成多种具有类似表观特征的人工靶标图片，并黏贴在不同类型的背景墙面，在不同拍摄距离和光照条件下拍摄黏贴的人工靶标图片，形成人工靶标数据库；

1.2)通过数据扩增、图片双三次插值放缩和图片噪音蒙版，由人工靶标数据库生成具有统一图片尺寸的训练样本组，用于超分辨率重建模型训练；所述数据扩增包括图片旋转、翻转、亮度以及色彩调整；所述图片噪音蒙版包括给放缩后的图片附加高斯噪音、附加高斯模糊；所述训练样本组是指图片放缩前的高清晰度图片与经双三次插值放缩并加图片噪音蒙版后的低清晰度图片组成的照片组；

1.3)将上述训练样本组输入超分辨率模型进行训练，其训练过程为通过迭代优化求解最小平均损失函数L，即：

式中，T为迭代次数，W为权重系数，I_HR为样本组中的高清晰度图片，I_SR为通过样本组中低清晰度图片超分辨率重建生成的高清晰度图片。

5.根据权利要求4所述的一种基于超分辨率的振动台试验计算机视觉位移测量方法，其特征在于，

步骤9)所述的试验模型的模态参数识别以追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，使用带输入的自回归ARX模型进行试验模型的模态参数识别，其中ARX模型的表示形式如下：

式中，y(t)和u(t)分别为输出向量和输入向量，a_k和b_k分别为待识别的参数，其阶数分别为N_a和N_b，t为时间，dt为采样间隔，d为地震动从输入到体系输出的延时；

使用ARX模型进行模态参数识别，通过加窗平均后的输入振动和输出振动，采用最小二乘拟合估计方法计算ARX模型参数，利用模型参数求解模型传递函数，最后得到试验模型的动力特性，包括试验模型的振型、固有频率和阻尼比。

6.一种基于超分辨率的振动台试验计算机视觉位移测量系统，其特征在于，包括：

1)图片序列获取模块：将振动台试验视频作为输入，应用python cv2工具包获得对应的图片序列；

2)人工靶标位移计算模块：将图片序列作为输入，采用相关性模板匹配方法，获得人工靶标在图片中的像素位移，并截取人工靶标所在区域的图片序列；

3)超分辨率模型训练模块：拍摄与视频中人工靶标同类型的其他人工靶标图片构建数据库，训练超分辨率重建模型；

所述的超分辨率重建模型为深度学习模型，采用循环神经网络架构，通过与视频中人工靶标同类型的其他人工靶标的低清晰度和高清晰度图片组训练完成；

所述的同类型的其他人工靶标为与试验中使用的人工靶标具有类似表观特征的其他人工靶标，根据试验中人工靶标的表观特征构建；4)图片超重建模块：采用超分辨率重建模型对步骤2)中截取的人工靶标所在区域的图片序列进行超分辨率重建，获取高分辨率的人工靶标所在区域的图片序列；

5)人工靶标几何中心位置计算模块：对步骤4)获得的高分辨率人工靶标所在区域的图片序列，通过多区域追踪获得人工靶标的感兴趣区域位置，并通过几何运算获得人工靶标几何中心在截取区域图片中的准确位置；

所述的感兴趣区域指人为选择的人工靶标内部具有明显表观特征的区域；

所述的多区域追踪通过相关性模板匹配方法，捕捉人工靶标内部感兴趣区域的位置；结合人工靶标内部多个感兴趣区域的位置信息，通过几何运算获得人工靶标的几何中心在截取区域图片中的位置；其中，假设每个图片的相关性模板匹配误差分别独立服从相同的概率分布模型，选择N个感兴趣区域进行追踪，并利用N个感兴趣区域的位置信息计算得到人工靶标几何中心的准确位置，靶标几何中心位置误差的标准差降低为直接追踪靶标几何中心位置的1/N；

6)人工靶标几何中心位移计算模块：将步骤2)获得的人工靶标在图片中的像素位移与步骤4)获得的人工靶标几何中心在截取区域的准确位置相加获得人工靶标几何中心的精确位移；

7)人工靶标实际位移计算模块：选择图片中已知工程长度的物体作为标志物，计算获得单像素对应的工程长度换算比例，即比例因子；将上述步骤6)获得的人工靶标几何中心的精确位移，乘以比例因子，得到人工靶标的实际位移，比例因子的计算方式如下：

式中，α为比例因子，D为标志物的工程长度，d为标志物在图片中的像素长度；

8)试验模型层间位移计算模块：采用上述步骤1)-7)追踪获得的振动台台面和试验模型不同位置靶标位移，作为振动台试验模型的位移反应，计算得到试验模型的层间位移反应时程；

9)模态参数识别模块：在振动台试验的白噪声激励工况中，将追踪获得的振动台台面位置靶标位移作为输入振动，振动台试验模型不同位置靶标位移作为输出振动，进行试验模型的模态参数识别，获取试验模型的动力特性，所述试验模型的动力特性包括振型、固有频率和阻尼比。

7.一种基于超分辨率的振动台试验计算机视觉位移测量系统终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上加载并运行的至少一条指令或至少一段计算机程序，其特征在于，所述处理器加载并运行至少一条指令或至少一段计算机程序以实现如权利要求1至5任一项所述一种基于超分辨率的振动台试验计算机视觉位移测量方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的一种基于超分辨率的振动台试验计算机视觉位移测量方法的步骤。