CN117745637A

CN117745637A - 基于计算机视觉的结构振动位移监测方法、系统及存储介质

Info

Publication number: CN117745637A
Application number: CN202311441435.5A
Authority: CN
Inventors: 张凤亮; 朱怀晴; 李勇; 李长浩
Original assignee: Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology; Shenzhen University
Current assignee: Harbin Institute Of Technology shenzhen Shenzhen Institute Of Science And Technology Innovation Harbin Institute Of Technology; Shenzhen University
Priority date: 2023-11-01
Filing date: 2023-11-01
Publication date: 2024-03-22

Abstract

本发明提供了一种基于计算机视觉的结构振动位移监测方法、系统及存储介质，该方法包括：步骤1：结构振动视频预处理；采用视频基本信息自动获取算法自动获取视频数据的基本信息，采用视频帧图像灰度化及局部直方图均衡化处理方法简化图像计算复杂度、增强图像特征；步骤2：基于改进FAST角点检测的结构位移监测；引入基于最大类间方差的自动阈值计算方法，形成改进的FAST角点检测算法，将改进的FAST角点检测算法得到的图像特征与金字塔Lucas‑Kanade光流法相结合，建立全过程自动化的图像特征检测和运动追踪方案。本发明的有益效果是：本发明的方法优化了整体监测流程，实现了非接触、操作简单、自动化程度高的特点。

Description

基于计算机视觉的结构振动位移监测方法、系统及存储介质

技术领域

本发明涉及结构健康监测领域，尤其涉及一种基于计算机视觉的结构振动位移监测方法、系统及存储介质。

背景技术

建筑物和构筑物都有一定的设计使用年限，随着时间推移，建筑物很可能存在潜在的安全问题。另一方面，结构在正常使用期间，无时无刻不受到外界因素的影响。结构会不可避免地产生损伤累积和抗力衰减，使得结构的安全性存在极大的隐患。这些现象都表明结构的健康监测刻不容缓。该工作对于评估结构安全、预防工程事故、保护人民群众生命财产安全都有着至关重要的作用。其中，结构的振动监测是健康监测的一个重要分支，也是健康监测后续损伤分析、评估工作的基础。

目前结构振动监测方法大体上可以分为两类：接触式测振和非接触式测振。传统的接触式测振方式主要是在现场安装传感器，通过采集传感器数据获得结构响应。现在工作中常用的传感器类型包括加速度传感器、速度传感器、倾角传感器等等(如背景图1所示)，能够分别对建筑结构的不同响应进行数据采集和传输。

随着近年来科技技术的飞速发展，应用计算机视觉的结构位移监测方法不断取得突破，并得到了广泛的应用。基于计算机视觉进行结构位移监测相关研究中主要分为两类：有人工标靶和无人工标靶。人工标靶一般为特定的几何图案。在进行监测工作前，需先把标靶附于待测结构点位上，其后用相机对标靶进行跟踪测量。使用标靶可以显著降低运动跟踪难度，并一般具有较高的精度，所以国内外学者对基于计算机视觉的有人工标靶结构位移监测做了大量研究。另一方面，无人工标靶的结构振动监测技术在近年而逐渐成为研究的重点和热点。无人工标靶的结构振动监测技术不需要使用额外的标靶设计，通过对建筑结构上的固有特征进行识别和追踪，包括颜色变化、纹理特征等等，实现建筑结构的振动监测工作。国内外学者针对建筑结构特征的提取和追踪，展开了广泛的研究，获得了较为丰富的成果。

现有的结构振动监测方法主要可以分为接触式方法和非接触式方法。接触式方法起步较早，发展体系较为成熟，但其工艺、操作等较为繁杂，有时相关工作还会影响建筑结构正常生活使用。另外，部分传感器系统较为庞大，其设备成本和人工成本消耗较大，且设备需要定期更换，给监测工作带来极大的不便。

针对上述问题，基于计算机视觉的非接触式监测方法得到了广泛研究和应用。基于计算机视觉的有人工标靶结构振动监测方法，通过图案检测和匹配，实现结构振动响应追踪，但使用人工标靶进行结构位移监测工作，通常是对特定的标靶图案开发对应的匹配方法，因此适用性不高。同时该方法仍面临许多现场工作问题，如标靶损坏、标靶脱落等问题。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于计算机视觉的结构振动位移监测方法。

本发明提供了一种基于计算机视觉的结构振动位移监测方法，包括以下步骤：

步骤1：结构振动视频预处理；采用视频基本信息自动获取算法自动获取视频数据的基本信息，采用视频帧图像灰度化及局部直方图均衡化处理方法简化图像计算复杂度、增强图像特征；

步骤2：基于改进FAST角点检测的结构位移监测；引入基于最大类间方差的自动阈值计算方法，形成改进的FAST角点检测算法，将改进的FAST角点检测算法得到的图像特征与金字塔Lucas-Kanade光流法相结合，建立全过程自动化的图像特征检测和运动追踪方案。

作为本发明的进一步改进，所述步骤1中，所述基本信息包括分辨率、帧率、采样时长，所述步骤1中，采用视频基本信息自动获取算法自动获取视频数据的基本信息，其步骤具体如下：

步骤10：通过可视化交互命令打开计算机文件管理系统；

步骤11：截取获得图像任意帧，并通过OpenCV(Open Source Computer VisionLibraty,计算机视觉开源库)中视频帧获取集成命令，分别获取对应帧的宽度和高度，进而得到图像分辨率；

步骤12：同上，通过视频帧率获取和视频帧数获取集成命令，获得视频采集帧率及视频流包含帧图像总数，进而得到视频总时长；

步骤13：将所得信息保存至视频文件同级目录下文档中。

本发明还公开了一种基于计算机视觉的结构振动位移监测系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的结构振动位移监测方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的结构振动位移监测方法的步骤。

本发明的有益效果是：1.本发明的结构振动位移监测方法使用相机以及成像系统作为数据采集系统，以数字图像作为处理对象提取结构振动信息，进而根据成像原理，输出结构在三维空间内的实际振动信息；2.本发明的结构振动位移监测方法开发了可视化操作、多目标选取等功能，进一步优化了整体监测流程，实现了非接触、操作简单、自动化程度高的特点；3.本发明的结构振动位移监测方法克服传统技术存在的弊病，提高生产生活效率。

附图说明

图1是本发明背景图；(1a、1b现有接触式监测使用工具示意图；)

图2是本发明视频组成结构示意图；

图3是本发明桁架结构模型简化示意图；

图4是本发明IC-SHM(2021)结构振动视频数据图；

图5是本发明灰度值局部均衡化对比图(5a灰度化图像，5b局部均衡化图像)；

图6是本发明灰度直方图对比图(6a灰度化图像灰度直方图、6b局部均衡化灰度直方图)；

图7是本发明结点位置定位图；

图8是本发明角点特征检测对比图(8a原图像，8b灰度图像角点，8c均衡化灰度图像角点)；

图9是本发明结构振动视频预处理方案技术路线图；

图10是本发明FAST角点检测示意图；

图11是本发明改进FAST角点检测效果对比图(11a待检测图像，11b默认阈值检测效果，11c自动阈值检测效果)；

图12是本发明金字塔示意图；

图13是本发明Damage1视频第一帧截取(预处理后)；

图14是本发明多目标选择示意图；

图15是本发明感兴趣区域示意图；

图16是本发明感兴趣区域特征点检测示意图；

图17是本发明基于改进FAST角点检测的结构位移监测方法技术路线图；

图18是本发明桁架结构上弦结点编号示意图；

图19是本发明undamaged结点7位移时程曲线图。

具体实施方式

本发明共包括两部分内容，分别为结构振动视频预处理以及基于改进FAST角点检测的结构位移监测方法。前者在监测工作开始前，获取基本信息并增强结构固有特征，提高整体计算速度；后者能够完成结构特征提取和特征运动跟踪的工作，进而实现计算机视觉下的结构振动位移监测。

1结构振动视频预处理

视频在采集过程中，其采样的尺寸、频率和时长是需要预先设置的条件，这对后续过程中图像特征的定位、数据处理分析范围等起到关键作用。但在实际应用中，往往无法提前预设或获知相关数据，因此通过视频数据获得其基本信息是数据预处理中的必要过程。另外，视频数据采集过程中，还会受到阴影遮挡、设备采样过曝等因素干扰，这会带来图像特征不明显甚至丢失等问题，影响后续运动跟踪效果，这也是数据预处理过程的重要内容。

针对上述问题，本发明建立了视频基本信息自动获取算法，该算法对于任意编码格式的视频数据，能够自动获取其基本信息包括分辨率、帧率、采样时长；另外，建立了视频帧图像灰度化及局部直方图均衡化处理，简化图像计算复杂度，同时增强了图像特征，方便了后续计算。

如图1所示，本发明公开了一种基于计算机视觉的结构振动位移监测方法，包括以下步骤：

1.1视频基本概念

视频泛指通过电信号方式捕捉静态图像，并以时间为顺序进行处理、存储以及传递的一系列技术。所以，视频就是由一系列静态图像构成的。当连续的图像每秒变化超过24帧(fps)时，人眼无法辨别单幅的静态图像，看上去是平滑连续的视觉效果。目前，市场中常见的视频格式包括mp4、avi、mov等。

1.2视频数据基本信息自动获取方案

视频数据的基本信息主要包括分辨率、帧率以及视频时长。分辨率指图像的精密度，代表一幅图像中像素的个数，通常情况下习惯用“水平像素数×垂直像素数”来表征。在二维图像中，图像坐标系以图像左上角为原点，向右为x轴正方向，向下为y轴正方向。因此，获得图像分辨率并结合图像坐标系，可以快速定位图像中任意物体的位置，为后续的特征追踪和计算提供参考。

图像帧率是指采集过程中每秒钟传输的图像数量，即视频采样频率。根据Nyquist-Shannon采样定理，如果采样频率高于信号带宽的两倍，那么，原来的连续信号可以从采样样本中完全重建出来。因此视频帧率决定了能够数据分析和处理的范围。另外，视频的总时长决定了数据处理在时间维度上的范围。通常在视频数据处理过程中，不需要对全部的时间进行关注，只需关注某一段时间，因此，获取视频数据时长能够对时域中的视频数据进行分割和定位。

本发明基于OpenCV视觉开源库及相关工具，建立结构振动视频数据基本信息自动获取方法,具体步骤如下：

步骤10：通过可视化交互命令打开计算机文件管理系统；

步骤11：截取获得图像任意帧(这里设定为视频的首帧)，并通过OpenCV(OpenSource Computer Vision Libraty,计算机视觉开源库)中视频帧获取集成命令，分别获取对应帧的宽度和高度，进而得到图像分辨率；

步骤12：通过CAP_PROP_FPS及CAP_PROP_FRAME_COUNT获得视频采集帧率及视频流包含帧图像总数，进而得到视频总时长；

步骤13：将所得信息保存至视频文件同级目录下文档中。

算例验证

本发明使用的验证算例来源于第2届国际结构健康监测竞赛(The 2ndInternational Competition on Structural Health Monitoring，下文简称IC-SHM(2021))提供的第3个项目。该项目提供基于有限元分析结果的真实照片合成桁架模型的振动视频。Yasutaka Narazaki等基于密集三维位移估计算法，使用有限元模型合成桁架结构振动视频，旨在开发能够适用于多场景的土木结构健康监测模型。振动的桁架结构所有关节结点处，均受到受到三维带限白噪声激励作用。合成桁架结构模型示意图如图3所示。

在IC-SHM(2021)竞赛第三个项目中，主办方基于上述真实照片合成桁架模型，通过降低其中某一构件刚度的方式，提供了多种工况下的构件损伤视频数据，以及一种未损伤工况下的结构振动视频，如图4所示。每个视频数据的前10s结构振动位移参考数据均在竞赛结束后公开，以方便研究人员基于该数据开发独立的土木结构健康监测方法，并验证其可行性。

选取其中Damage1视频数据作为算例验证本节所建立的视频基本信息获取方法。视频输入计算得到视频数据基本信息，可得视频数据的分辨率为1920×1080(pixel)，视频帧率(采样频率)为120fps，视频总时长为240s，如表1所示。通过与计算机系统直接查看视频属性对比可得，计算结果与计算机查询得到视频信息保持一致，表明本节提出自动计算视频基本信息方法有较好的运行效果。

表1视频基本信息对照表

1.2图像灰度化集局部直方图均衡化

1.2.1图像灰度化意义

随着相机等图像采集设备的不断发展，采集设备采样得到的数字图像、视频数据一般是彩色的。彩色图像中每个像素的颜色由R，G，B三个分量决定，每个分量有255个值可取，因此单个像素的共有1600万种颜色变化范围。

结构健康监测工作中，一般通过对图像中的特征进行运动追踪，实现对结构的振动监测。如果目标特征需要基于彩色图像计算得到，如此庞大的计算量会严重影响计算效率和速度。因此，将各种格式的彩色图像转变为灰色图像，是一种降低数字图像计算量的重要方法。灰度图像可以理解为一种R、G、B三个分量相同的特殊彩色图像，因此其只有一个通道分量，大大降低了计算难度，提高了计算速度。同时，灰度图像在描述中和彩色图像一样，仍然反映了整幅图像的整体和局部的色彩和亮度等级的分布和特征，能够保证图像特征的表现。

1.2.2图像灰度化基本方法

在RGB彩色空间中，实现图像灰度化的方法有很多种，基本可以分为四大类：最大值灰度化、平均值灰度化、Gamma矫正灰度化、加权平均灰度化。

最大值灰度化是将R、G、B三通道中的最大值作为原像素的像素值；不同于最大值灰度化方法，平均值灰度化使用三个通道内的像素值，将R、G、B三通道像素值取平均作为原像素的像素值。该方法在灰度化的同时会损失一部分图像细节；Gamma矫正灰度化不再是三通道像素值的简单相加，而是通过人眼对不同亮度的敏感程度不同，确定各通道内每一个分量的具体计算方式。人眼对暗部的敏感程度要高于亮部，根据这种感知的不同，进而将RGB值换算成物理光功率，并计算得到灰度化后的像素值。

加权平均灰度化是一种符合人眼感官特征的灰度化方法。人类眼睛对蓝色的敏感度最低，敏感度最高的是绿色。YUV颜色空间中，Y表示的是亮度。根据RGB空间和YUV空间的关系可以建立Y与R、G、B三个颜色分量的对应，以这个亮度值建立图像的灰度值，计算原理如式(1)所示。

gray＝0.299R+0.587G+0.144B (1)

在结构健康监测工作中，基于计算机视觉原理进行结构运动跟踪，则需要对图像中的特征进行检测识别。考虑到最大程度上保持图像特征、原彩色图像的亮度和颜色分布，本发明采用的是加权平均值灰度化，并建立了灰度化算法。

1.2.3局部直方图均衡化原理

图像特征是本发明所提出结构振动监测的追踪目标。采样过程由于一些不可抗力的因素，如光线、阴影等，往往会导致图像特征被掩盖，其成像往往为灰度分布较为集中，图像的对比度较差。对于建筑结构，由于其体型复杂等因素，往往会遇到上述问题。需要在振动监测工作开始前，消除由于阴影遮盖等因素带来的影响。

灰度直方图均衡化方法是图像处理领域，利用图像直方图增强图像对比度的方法。通过这种方法，亮度能够更好的在图像中均匀分布，在增强图像对比度的同时，能够较好的抑制噪声。该方法主要思想是将一幅图像中的直方图分布，通过其累积分布函数变成近似均匀分布，从而增强图像的对比度。累积分布函数在直方图均衡化过程中的映射原理如式(2)所示。

其中，s_k代表当前灰度级经过累积分布函数映射后的值，n是图像中像素的总和，n_j是当前灰度级的像素个数，L是图像中灰度级的总数。使用累积分布函数映射图像素值有两方面特点：

(1)没有打乱原有图像的像素值的大小分布顺序，映射完成后图像中的两岸关系没有发生改变；

(2)映射后像素值的值域还是保留在0～255之间。

由于采样时的情况是非常复杂的，采样画面的内容不仅包括需要监测的目标，还包括其他物体。因此对采样画面进行全局图像灰度直方图均衡化得到的效果往往不能够满足要求，反而会丢失更多细节。针对上述问题，引入局部直方图均衡化。

局部直方图均衡化的基本思想是将整幅图像划分为许多子块，针对其中每一个子块进行均衡化处理。该方法能够最大限度地增强图像的细节，且不会因额外的引入造成噪声的增加。

1.2.4灰度化及局部直方图均衡化方案

本发明基于图像灰度化原理及局部直方图均衡化原理，在视频数据预处理阶段，建立图像灰度化及局部直方图均衡化方案，旨在降低计算量的同时强化图像特征，消除由于光照、阴影遮挡等因素带来的影响。图像灰度化及局部直方图均衡化方案的具体步骤如下：

步骤S1：读取视频帧图像；由于本发明建立的方法是对视频数据进行处理，因此图像灰度化及局部直方图均衡化并不是对单一的静态图像，而是对视频流上的所有视频帧图像。考虑到处理过程的便捷性，因此对视频数据中的帧图像进行灰度化及局部直方图均衡化时，是逐帧进行的，而不是预先进行所有的处理再进行后续工作。

步骤S2：图像灰度化；图像灰度化采用的计算方法是加权灰度化法。以图像坐标系为参考系，首先读取坐标(0,0)处的像素，并记录各通道值。基于加权灰度化计算原理，计算得到灰度化后的灰度值，并赋值给当前像素。依次读取所有的像素，并灰度化，最后将灰度化后的像素重组，得到灰度化图像。

步骤S3：网格化划分当前图像；为了避免当图像过大时，全局灰度直方图均衡化会导致细节丢失，因此需要对图像进行网格划分，并对每一个网格子块分别进行直方图均衡化。本发明采用的网格划分尺度为20×20(单位为像素)。

步骤S4：局部灰度直方图均衡化；同样以图像坐标系为参考系，首先对图像左上角网格子块进行直方图统计，并基于直方图均衡化原理计算得到新的灰度化图像。依次对所有网格子块进行上述操作，最后将得到的各子块组成新的灰度化图像。

1.2.5算例验证

同样以IC-SHM(2021)中的视频数据为算例，验证本发明建立的图像灰度化及局部直方图均衡化方案。以Damage1视频数据为例，提取该视频数据的第一帧图像。基于上述加权灰度化原理，计算灰度值并得到灰度图像。。

灰度化后的图像局部，由于光照、采样设备等因素，会丧失部分图像特征。以20×20的像素块大小对灰度图像进行划分，进而对每一个子块进行灰度直方图局部均衡化。如图5所示，均衡化之后的灰度图像在对比度等图像细节上更加明显。

图像灰度直方图均衡化在统计意义上，是在保留图像原有特征的基础上，对图像的灰度值分布进行更均匀化的分布，从而实现图像对比度增强。如图6所示，可以发现均衡化后的灰度图像，图像灰度分布更加均匀，代表了图像细节表达更加细致。这一过程相当于在原灰度直方图的基础上，进行了一次线性拉伸和插值。

为进一步验证局部均衡化在图像特征增强部分带来的有利影响，选取桁架结构成像中左上角的结点作为研究目标，其位置如图7所示。使用Shi-Tomas角点检测法对该结点进行角点检测。其得到的角点是图像特征的一种，表明其所在位置的灰度变化较大。

OpenCV视觉开源库中的封装函数cv2.goodFeatureToTrack()提供了方便快捷的Shi-Tomas角点检测器。其中包含三个影响检测效果的参数：角点最大返回数目；质量系数；角之间最小欧氏距离。本次检测中，设置其角点最大返回数目为100，质量系数为0.7，角之间最小欧氏距离为10像素。检测效果如图8所示。

通过上述检测结果可以发现，均衡化后的灰度图得到的特征点数，要高于普通灰度化图像，这表明灰度图像局部均衡化会在一定程度上增强图像的特征和局部细节，为后续得图像特征检测和追踪提供了更丰富的计算信息。

1.3本章小结

为了更快速、更准确的得到得到结构响应数据，本发明建立视频数据预处理方法，包括视频数据基本信息自动获取，以及图像灰度化及局部直方图均衡化方法。视频基本信息自动获取方法对于图像特征的定位、数据处理分析范围有重要作用；图像灰度化及局部直方图均衡化方法在降低图像计算复杂程度的同时，增强了图像局部细节和特征，进而使得后续图像特征检测和跟踪更加快速。结构振动视频预处理方案的技术路线如图10所示。

2基于改进FAST角点检测的结构位移监测方法

结构振动监测的目标是测定结构振动数据，并评估结构振动特性以及其对结构本身带来的影响。在结构的振动视频数据中，如果发生振动，相应的构件和部位的坐标会发生改变，只要得到图像坐标随时间变化的数值，即可获得结构的振动位移数据。在计算机视觉领域，目标跟踪能够利用视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标的运动或位置进行预测。该方法对于实现结构振动监测有重要意义。

实现目标跟踪，首先应将图像信息抽象成计算机能够识别的数据。图像特征是指计算机视觉下具有特点的位置，包括颜色变化、形状变化、灰度改变区域、物体拐角以及线条的交点等，是目标跟踪的主要对象之一。以图像特征为目标进行运动跟踪，能够较大程度的降低过程计算量、提高计算速度。同时，图像特征不随位置变化、环境变化等因素带来的影响。因此，实现优质的图像特征检测是重要的研究内容。

本发明提出了一种改进的FAST角点检测方法，基于最大类间方差原理，实现自动阈值计算，并将其应用至FAST角点检测方法，克服了其需要手动设置和调整阈值的弊端。进而将该方法得到的图像特征与金字塔Lucas-Kanade光流法(以下简称LK光流法)相结合，建立全过程自动化的图像特征检测和运动追踪方案。最后将该方法应用至结构振动视频数据实例中，验证了其可行性和准确性。

2.1改进的FAST角点检测方法

2.1.1FAST角点检测原理

FAST(Features from Accelerated Segment Test)是一种能够快速计算和提取图像特征的角点检测方法。该算法的主要思想可以概括为：若一个像素周围有一定数量的像素与该点的像素值不同，则认为该像素点区别于周围像素，可视作特征点。FAST角点检测算法由于计算速度快、精度高等特点，被广泛应用于图像特征检测中。

FAST角点检测方法的计算方式有较多种类型，最常用的是像素点附近的圆形窗口上的16个像素点。如图10所示，考虑图像中一个像素P是否为待测角点，其像素值记为I_p。以该像素点为中心画一个半径为3像素的离散化圆，这个圆的边界上有16个像素，顺时针对这16个像素进行编号。

将中心点p的像素值记为I_p，与圆环上的16个像素点的像素值，如果其中有n个连续点的像素值都比中心点P的像素值大，或者都小时，那么此时的中心点P就是一个角点。可以发现，该方法是通过衡量两个像素值差异大小，来实现角点特征的确定。因此在实际比较的过程中，通常通过设置一个阈值t，作为衡量像素值强弱区别的标准。此时，像素值之间的差异程度超过阈值t时(不论是低于还是高于)，都会被定义为角点。其计算原理如式(3)所示。

由上述计算原理可知，每次对一个像素点进行评价时，需要检测16个像素点，这对检测速度有一定程度的降低，为了获得更快的检测速度，FAST角点检测方法采取了额外的加速方法：首先对候选点P周围的每个90度像素点，即1，5，9和13四个位置的像素，进行测试。一般先测试1和9，满足阈值要求的话再测试5和13。如果P是一个角点，四个像素点中至少有3个应该必须都大于I_p+t或者小于I_p-t，如果不满足上述条件肯定不是角点。

FAST角点检测方法遇到的另一个问题是，检测过程往往会导致很多特征点连接在一起，甚至出现特征重叠的情况。此时的检测效果很难分辨出单一的特征位置，也难以将其应用至其他的场景中。因此FAST角点检测方法引入了非极大值抑制。一般是通过对角点P建立一个3×3、5×5或其他尺寸的窗口，如果窗口内出现其他的角点Q，则比较两个角点的强度，保留强度大的那个角点。此时一个角点的强度可以表征为：当该点能够被检测为角点时，相应的阈值t能够取到的最大值来。

FAST角点检测方法严格意义上只涉及特征的检测，不包含图像特征的描述。因此其在运行速度和精度上有一定的优势。该方法作为图像特征检测中的经典方法，经常应用于实时视频的处理。但通过起计算原理可以发现，该方法严重受到设定阈值t的影响。例如，如果阈值设定过小，无法筛选其中的噪声和弱特征，导致后续跟踪出现误差。如果阈值过大，则无法得到足够的特征信息支撑后续计算。相应的，非极大值抑制的效果，也会受到阈值的影响。

在实际使用过程，FAST角点检测方法需要通过不断调整阈值，剔除响应弱、重叠出现的角点，保留响应强的角点特征，达到较为良好的检测效果。但在这个过程中，不断的尝试和调整的过程会影响检测过程效率和自动化程度。

2.1.2基于最大类间方差的自动阈值

针对FAST角点检测效果受阈值设定影响的弊端，本发明引入基于最大类间方差原理的自动阈值计算方法。该方法的主要思想是利用图像全局信息，将所有的灰度值进行统计和分类，得到高灰度值、低灰度值以及临界值三个指标，并根据三个指标之间的差异确定FAST角点检测的自适应阈值。

最大类间方差法最开始是用于图像二值化分割中。根据统计学知识可知，方差用来表征数据离散程度，方差越大表明数据的离散程度越大。对于数字图像来说，如果一类像素的灰度值，与另一类像素灰度值之间的方差越大，则可以很好的区分出两类像素，也即图像中的前景和背景。

对于一幅灰度图像，假定存在一个灰度阈值k，把所有的像素分为两类：C1类(灰度值大于k)和C2类(灰度值小于k)，C1类和C2类占像素总数的比例分别为p₁和p₂，两类像素的灰度值均值分别为m₁和m₂，设图像全局均值为m_g。两类像素之间的数量关系如式(4)、(5)所示。

p₁×m₁+p₂×m₂＝m_g (4)

p₁+p₂＝1 (5)

类间方差被定义为两类数据各自的均值，距离总均值的加权方差。根据类间方差的概念，可计算得到此时两类像素的类间方差，如式(6)所示。

σ²＝p₁(m₁-m_g)²+p₂(m₂-m_g)² (6)

将式(4)、(5)代入式(6)，可得:

σ²＝p₁p₂(m₁-m₂)² (7)

灰度值的取值范围为0～255，其中能够使得当前图像的类间方差最大的阈值k，被认为是一个良好的图像分割阈值，能够最大程度上将当前图像的前景和背景区分出来。使用最大类间方差原理进行图像分割，能够最大程度上区分出图像的前景和背景，得到了广泛的应用。

基于最大类间方差对于图像像素进行划分的原理，本发明提出一种新的FAST角点检测自动阈值计算方法。当找到类间最大方差时，整个图像可以划分为三个指标：C1类像素灰度均值m₁、C2类像素灰度均值m₂以及分割阈值k，分别代表一幅图像的前景、背景和分割界限。通过FAST角点检测原理可以发现，一个良好的图像特征检测阈值应该具有以下两个特点：

(1)角点像素值应区别于周围像素值，强于或弱于均满足条件。

(2)阈值应该能够最大程度上筛选掉弱特征，保留强特征。

另外，最大类间方差原理使用了所有的像素信息，更具有普遍性。因此，本发明基于上述原理、特点和图像整体性质，引入FAST角点检测过程的自动阈值：当前景和背景像素值类间方差达到最大时，将前景像素灰度均值m₁和背景像素灰度均值m₂，分别与阈值k做差，其中绝对值较大的差值作为FAST角点检测中的自动阈值k_auto，计算公式如下：

k_auto＝max(|m₁-k|,|m₂-k|) (8)

2.1.3改进FAST角点检测算法

基于最大类间方差原理及FAST角点检测原理，本发明建立了基于最大类间方差的自动阈值计算方法，并形成了改进的FAST角点检测算法。改进的FAST角点检测算法主要包括三个步骤：

(1)统计步骤：为快速访问各像素值的分布情况，建立哈希表，以像素值作为哈希表索引值，对应像素块个数为对应数值。此时只需统计像素分布并键入上述哈希表，即可在计算局部均值、整体均值以及类间方差时快速查找，极大提高计算速度。

(2)循环步骤：上述原理表明，需要在0～255范围内找出能够使得前景和背景分化最大的临界值k。因此在这里取统计像素值的最大和最小值，作为取值范围的上限和下限，在该区间内不断循环得到像素分割阈值k。

(3)输出步骤：将循环步骤计算得到的像素分割阈值k与基于该值分割得到的两类像素均值做差得到特征检测时的自适应阈值，并输出结果至FAST角点检测算法中。

该算法使用图像的全局信息进行分割并得到自动阈值，克服了传统FAST角点检测方法中需要不断调整阈值，以达到良好的检测效果的弊端。并且改进后的FAST角点检测算法能够在一定程度保留强特征，剔除弱特征。

2.1.4算例验证

以图11为例，待检测图像分别使用FAST角点检测的默认阈值和上述的自动阈值。在OpenCV视觉开源库中，对FAST角点检测默认阈值设置为10。由检测结果可以发现，使用默认阈值时，往往会导致检测结果出现“堆点”的情况，即特征重叠出现的现象，往往需要通过重复设置阈值、重复检测得到较为理想的图像特征。使用自动阈值计算方法，在一定程度上自动剔除了弱特征，保留了强特征，同时提高了检测程序的自动化程度。

2.2基于金字塔光流法的位移监测方法

2.2.1光流基本概念

光流是空间运动物体在观测成像平面上的像素运动的瞬时速度。一般而言，场景中目标本身的移动、相机的运动或者两者的相对运动都会产生光流。在视频流或图像序列中，利用像素在时域中的变化以及相邻帧的相关性可以得到光流并计算得到相邻帧之间物体的运动信息。如图所示，三维空间的物体运动在二维成像平面投影，得到一个描述位置变化的二维矢量，在运动间隔无限小的情况下，即可得到一个描述该点瞬时速度的二维矢量，即光流矢量。

2.2.2Lucas-Kanade光流法原理

光流法利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流法的基本假设条件如下：

(1)亮度恒定不变。该假设是指观测同一目标，其在不同帧之间运动时，亮度不会发生改变。该假定是光流法的基本条件，任何光流法的衍生方法都必须满足，用于得到计算过程的基本方程。

(2)时间连续或运动是小运动。该假设条件是指时间的变化不会引起目标位置的剧烈变化，也即相邻帧之间位移比较小。

假设数字图像中存在一个观测像素块，其在第一帧(或图像序列)中的光强度是I(x,y,t)。相对于当前帧图像，在图像坐标系中，下一帧图像中该像素块移动了(dx,dy)距离，用了dt时间。同一像素块根据上述第一个假设条件，其在运动前后的光强度是没有发生改变的，即：

I(x,y,t)＝I(x+dx,y+dy,t+dt) (9)

将等式右侧进行泰勒展开，并忽略高阶无穷小量，只保留泰勒展开中的一阶项，则可以得到：

设u、v分别表示当前位置光流沿像素坐标系X和Y轴的速度矢量，即同时，令分别表示图像中像素点的像素值沿X、Y、T方向的变化，因此式(10)可以写为式(11)的形式。

I_xu+I_yv+I_t＝0 (11)

式中，I_x、I_y、I_t可以通过图像数据求得，(u,v)是所求的光流矢量。约束方程只有一个，而方程的未知量有两个，因此需要引入其余的约束条件。不同的约束条件形成了不同的光流场计算方法。

基于梯度的方法又称微分法，该方法利用时变图像灰度的时空微分来计算像素的速度矢量。相较于其他的光流计算方法，包括匹配的方法、能量法、相位法，该方法由于计算简单，且结果精度较高，得到了广泛的应用和研究。在广泛的研究中，又分为稀疏光流以及密集光流计算方法。其中，Lucas-Kanade(LK)光流法是稀疏光流的典型代表。

LK光流法在原有光流法的两个基本假设的基础上，增加了一个“空间一致”的假设。该假设规定，所有的相邻像素有相似的行动，即在目标像素周围m×m的区域内，每个像素具有相同的光流矢量。此时，在窗口内共有N＝m²个像素块具有相同的运动，这样可以得到：

假设：

则式(12)可表示为：

AU＝b (13)

式(12)是一个超定线性方程，没有精确解，可以用最小二乘法求取该方程的解析解。因此可以求得该像素点的运动为:

U＝(A^TA)^-1A^Tb (14)

通过LK光流法中的“空间一致”假设，可以求解得到像素点的光流。上述的计算过程将窗口内所有像素块的权重视作均匀的，即平均分配。实际在LK光流法的计算过程中，使用了一个窗口权重函数W²(x)使得越靠近中心的邻域加权越大，用来突出中心点的坐标。令W＝diag(W₁,W₂,...,W_N)，即：

其中，W_i(i＝1,2,...,N)表示每一个像素块的权重的平方根。由此可得加入窗口权重后，像素点的运动为：

U＝(A^TW²A)^-1A^TW²b (16)

上述的三条假设分别为：亮度恒定不变、小运动假设以及空间一致假设，并基于此类假设能够求解得到像素光流。但这些假设在实际使用过程中很难满足。尤其是对于小运动假设，如果像素运动较快，相邻帧之间不再是小运动，求解过程的泰勒展开便不满足条件，也无法进行后续的求解推导。

2.2.3金字塔LK光流法

针对大运动问题，金字塔LK光流法被提出。该方法的主要思想为：如果将整张图片进行缩小，降低其分辨率。对于运动较快的像素点，当分辨率降到一定程度时，运动变得足够小，即可满足泰勒展开的条件，进而可以求解得到像素光流。

如图12所示，金字塔的建立过程如下：首先以原始图像作为金字塔的底部，也即分辨率最高的图像；然后对原始图像进行高斯卷积和向下采样，删除所有的偶数行和列，得到第1层图像；再对第1层图像进行相同的操作得到第2层图像，以此类推。在实际的运动跟踪中，首先对顶层计算光流，接着基于上一层的计算结果得到下层的像素位移的初始估计值。基于这个估计值，继续计算光流，并将其传递至下层，依次传递直到第0层。金字塔的层数需要根据原始图像中实际的光流运动来确定。

金字塔结构的明显优势在于，对于一个比较大的像素位移，可以将其分解为多个比较小的像素位移进行计算。每增加一层金字塔结构，该层能够处理的像素位移是下层的2倍，整个金字塔结构对于运动的处理能力即是金字塔结构中所有层的累加值。图12是一个高度为3，层数为4的金字塔结构，其能够处理的最大像素运动是标准LK算法可处理运动的15倍。

金字塔LK光流法在不增加集成窗口的情况下，能够有效增加能够处理分析的光流运动的幅度，赋予LK光流法处理大幅度像素运动的能力。另外，引入金字塔LK光流法，能够在保证算法对噪声的抵抗性的同时，增强其跟踪的精度。

2.3结构位移监测方法流程

基于上述自动阈值计算原理、图像特征检测原理和光流法追踪原理，本发明建立了基于改进FAST角点检测方法的结构位移监测方法，并实现了自动算法的建立，针对操作过程的便捷性和方便性，实现了部分功能的优化。该方法的具体步骤如下：

步骤21：读取结构振动视频数据的并截取开始时刻的视频帧；

步骤22：选取图像中的感兴趣区域；

步骤23：感兴趣区域特征检测；

步骤24：金字塔LK光流法运动追踪；

步骤25：感兴趣区域位移时程结果输出。为进一步说明该算法的流程。结合IC-SHM(2021)第三个项目中的Damage1数据，进行详细的方法流程展开。需要注意的是，这里的视频数据已经经过前述视频预处理。

首先，读取结构振动视频数据的并截取开始时刻的视频帧。其中需要先确定目标振动的起始时间和持续时间。一般选择具有代表性的起始时刻和持续时间，如振动开始的时间、大幅振动开始时间等。在OpenCV视觉开源库中，VideoCapture模块内封装的get和set函数可以实现对视频数据的实现任意时刻读取。前者是通过帧序列的排列定位视频，后者通过直接设置时刻来实现。由于在视频数据预处理部分，已经获得视频的帧率和持续时长，同时为了方便后续处理，本发明的结构振动监测方法中选择get函数实现。

在Damage1数据中，IC-SHM(2021)项目提供了该视频数据的前10s，1200帧的结构位移数据。因此这里同样选择前10s的视频数据作为研究对象。预处理完成后的Damage1视频数据的第一帧图像如图14所示。

其次，在获取视频起始帧后，要选择感兴趣区域进行后续运动跟踪和计算。由于采样环境的复杂性，数字图像中的信息往往并不完全是需要的信息，因此感兴趣区域的选择是必须的。

现有研究对于结构振动的监测，一种方式是通过对单一像素点追踪实现；另一种方式通过对单一的区域进行截取和追踪。现有的方式往往只能对一个目标点或单一的目标物进行检测，涉及多目标检测时需要不断重复地去读取和运算，过程复杂。

本发明开发了一种多目标选择算法，能够实现可视化选择多个追踪目标，选择完成后无需人工干预，程序自动读取每一个追踪目标，并完成预设的结构振动监测任务。

该算法具体步骤如下：

步骤A1：定义一个目标类；该类以单个目标的坐标信息、图像信息为主要存储内容，多个追踪目标以各自的这些信息构成多个类。

步骤A2：对多个目标的对应信息进行依次存储；

步骤A3：实现信息输出接口，在目标运动追踪和计算时，只需要不断读取各存储单位，并输出其中的图像信息和坐标信息即可。

由于特征点的分布的不确定性，对于结构振动视频，选择的感兴趣区域一般应为结构振动具有代表性的部位，如建筑物的构件结点等等。以Damage1视频数据为例，该桁架结构的主要关注区域一般为其上弦或下弦每个结点。

如图14所示，为增加操作的便捷性，在选择感兴趣区域时，该算法加入了可视化鼠标交互命令，能够实现鼠标框选，并完成多目标选区。可视化鼠标框选目标功能的具体步骤如下：

步骤Y1：鼠标框选命令；该部分可以实现鼠标在待处理的数字图像中，按住鼠标左键拖动画矩形区域；当鼠标左键松开，表示进行框选结束。

步骤Y2：矩形选区确定命令；鼠标框选目标功能的目的是实现多目标选择，因此在框选结束后，应该将框选区域的图像信息、坐标信息存储下来。在该功能中，白色框选区域表示正在选择中的区域(如图14最右侧框选区域所示)，双击回车键表示选中该区域并存储相关图像信息及坐标信息，选定的区域边框会变成黑色(如图14左侧两框选区所示)。如结束目标选择，双击Esc键即可退出。

多目标选取结束后，算法程序会保存目标的图像信息和坐标信息，进行运动追踪时会提取存储的目标。上文选择的三个结点图像信息如图15。

基于改进FAST角点检测方法的结构位移监测方法的下一步，是对选取的目标区域进行特征检测。改进的FAST角点检测方法原理已经在上文中详细叙述。以Damage1视频数据在上文中截取的三个桁架结构结点为例，三个目标区域对应的检测结果如图16所示。

然后，基于上述得到图像特征点，使用金字塔LK光流法进行运动追踪。需要注意的是，用于追踪的特征点，应该是目标结构上的特征点，这样得到的结果才是结构振动的数据。另外，FAST角点检测得到的特征点类型为KeyPoint类(基于特征信息和描述子信息的特征类型)，不能直接用于光流法追踪。因此需要先将KeyPoint类型特征点转换成可追踪的特征类型(比如Pint2f类)。针对本算例的实际情况，运算过程设置的金字塔层数为2，高度为3。针对不同的追踪目标应该根据实际情况设置。

经过光流法运动追踪，可以得到特征点在各视频帧中坐标位置，对应坐标相减即可得到区域中各特征点的位移时程数据。此时获得的位移时程数据，其对应的单位为像素(pixel)，需要将其转化成单位为米(m)的数据。

在实际使用过程中，如果已知建筑结构中一些实际构件的物理尺寸，则根据构件实际尺寸，以及该构件在采样画面中的像素尺寸，即可得到三维空间到二维图像的转换比例(转换比例＝实际尺寸/像素尺寸)；如果实际物理尺寸未知，可以直接使用像素位移时程数据进行后续处理，因为其和实际位移时程数据之间仅有缩放比例的差异。在后续的模态识别过程中，结构响应数据的幅值大小，对最终得到的识别结果无影响。

IC-SHM(2021)项目数据中，对桁架结构该项目给出了各构件的实际尺寸，此时可得像素(pixel)到实际尺寸米(m)的转换比例。通过上述结构位移监测过程，得到像素位移时程数据，将像素位移时程数据乘以其对应的转换比例，即可得到最终的位移时程数据。得到的各个目标运动的位移时程数据，在计算程序中以数组的形式进行保存，并输出至文档中。

通过结合IC-SHM(2021)提供的结构振动视频数据，在本节中对基于改进FAST角点检测的结构位移监测方法的算法流程，进行了详细的分解和阐述。该方法的技术路线如图17所示。

2.4算例验证

IC-SHM(2021)竞赛主办方公布了所有视频数据中，桁架结构上下弦共16个结点，前10s、1200帧的位移时程数据参考值。使用本发明提出的结构振动监测方法，对IC-SHM(2021)视频数据进行特征检测及运动跟踪，并将其前10s、1200帧的监测结果与真实数据进行对比，验证本发明提出方法的可行性和准确性。

本算例验证中，仅对桁架结构的上弦8个结点进行位移监测，并与对应的结构位移时程数据参考值进行对比。桁架结构上弦8个结点编号如图18所示。

为进一步验证数据的准确性，将本发明将所提出方法得到的结构振动数据与结构振动真实值进行相关性分析，使用相关系数η表征相关性，η的取值范围为[-1,1]，绝对值越接近1表示相关性越强，计算原理如式(17)所示。

监测过程中，本发明提出方法计算过程建立在图像坐标系下，因此测量出的振动数据向下为正，向上为负。竞赛项目提供的振动数据真实值以第一帧为基准，向上为正，向下为负。正负方向与监测数据恰好相反。因此在进行相关性分析时，得到相关系数通常为负值。

使用本发明提出的基于改进FAST角点检测的结构位移监测方法，对undamaged视频数据上弦8个结点进行特征检测及运动追踪，得到其对应在前10s、1200帧的振动数据，并将其绘制为位移时程曲线；同样的，将项目数据提供的桁架结构上弦8个结点位移时程数据参考值，绘制成为位移时程曲线。对比对应结点的位移时程曲线，可以验证本发明提出的结构位移监测方法的可行性，以及监测结果的确定性。为方便表示，这里仅取桁架结构上弦7号结点的位移时程曲线作为参照(编号如图19所示)，如图19所示。

结点位移时程曲线对比可以发现，使用本发明提出的结构位移监测方法，监测得到的桁架结构结点位移时程曲线，与项目提供的桁架结构结点位移参考值时程曲线，在趋势、幅值等方面基本保持一致。

另外，对undamaged的8个结点均进行上述相关性分析，结果如表2所示。可以发现，8个结点中最小的相关系数的绝对值为0.8808，表明本发明提出方法监测得到结构振动数据与结构振动真实值相关性强。

表2undamaged结点位移时程相关系数

通过算例验证可以发现，本发明提出的结构位移监测方法，在实际的结构振动监测案例中，能够监测得到可信度较高的位移时程数据，具有较强的可行性。

2.5本章小结

本章通过深入研究最大类间方差原理、FAST角点检测原理及金字塔LK光流法原理，建立了基于改进FAST角点检测的结构位移监测方法。对于其整体方法流程，主要对以下方面进行了改进：

(1)针对FAST角点检测中受阈值影响弊端，结合最大类间方差原理，开发新的自动阈值计算方法，并形成改进的FAST角点检测方法。

(2)开发多目标选择算法，实现多目标特征检测及运动追踪自动化流程。针对现有研究中，单目标追踪的弊端，开发多目标选择算法，并实现可视化操作，进一步优化了结构位移监测方法流程。

(3)实现改进FAST角点检测方法与金字塔LK光流法对接，形成自动化结构振动监测流程。

最后将本章节提出的结构振动监测方法应用至实际算例中发现，该方法能够适用于多种工况下，并能得到较为精确、可信的结果。

3结论

在结构健康监测工作中，振动监测是其中重要的组成部分。传统的振动监测方法在现场布置传感器，采集传感器数据实现结构振动监测。但这种方式涉及大量的现场外业工作，包括系统布置、数据采集等等，成本较高。针对传统方法的弊端，本发明基于计算机视觉原理、图像特征以及光流法运动追踪，建立了结构位移监测方法。同时，为了保证结构位移监测的准确性和可行性，本发明建立了结构振动视频数据预处理方案。并将两部分算法方案结合，形成完整的基于计算机视觉的结构位移监测及自动系统识别方法。

结构振动视频数据预处理方面。本发明建立了结构视频数据预处理方法，包括视频数据基本信息自动获取，以及图像灰度化及局部直方图均衡化方法。该方法能够自动快速的获取视频数据基本信息，为后续的数据分析处理提供了基础框架；图像灰度化及局部直方图均衡化，在降低图像运算复杂度的同时，增强了图像特征，为后续位移监测提供了更多信息。

基于改进FAST角点检测的结构振动位移监测方法方面。本发明建立了基于改进FAST角点检测的结构位移监测方法。针对FAST角点检测中受阈值影响弊端，结合最大类间方差原理，开发新的自动阈值计算方法，并形成改进的FAST角点检测方法；开发多目标选择算法，实现多目标特征检测及运动追踪自动化流程；实现改进FAST角点检测方法与金字塔LK光流法对接，形成自动化结构振动监测流程。最后将本发明提出的结构振动监测方法应用至实际算例中发现，该方法能得到较为精确、可信的结果。

本发明为了克服传统技术存在的弊病，提高生产生活效率，开发以计算机视觉为基础的结构振动监测方法。

本发明能够应用至建筑结构的振动监测中，提取结构振动响应，为后续的结构模态识别，以及结构损伤识别、损伤定位等工作提供数据支撑。

本发明的益效果是：1.本发明的结构振动位移监测方法使用相机以及成像系统作为数据采集系统，以数字图像作为处理对象提取结构振动信息，进而根据成像原理，输出结构在三维空间内的实际振动信息；2.本发明的结构振动位移监测方法开发了可视化操作、多目标选取等功能，进一步优化了整体监测流程，实现了非接触、操作简单、自动化程度高的特点；3.本发明的结构振动位移监测方法克服传统技术存在的弊病，提高生产生活效率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于计算机视觉的结构振动位移监测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的结构振动位移监测方法，其特征在于，所述步骤1中，所述基本信息包括分辨率、帧率、采样时长，所述步骤1中，采用视频基本信息自动获取算法自动获取视频数据的基本信息，其步骤具体如下：

步骤10：通过可视化交互命令打开计算机文件管理系统；

步骤11：截取获得图像任意帧，并通过OpenCV中视频帧获取集成命令，分别获取对应帧的宽度和高度，进而得到图像分辨率；

步骤12：通过视频帧率获取和视频帧数获取集成命令，获得视频采集帧率及视频流包含帧图像总数，进而得到视频总时长；

步骤13：将所得信息保存至视频文件同级目录下文档中。

3.根据权利要求1所述的结构振动位移监测方法，其特征在于，所述步骤1中，采用视频帧图像灰度化及局部直方图均衡化处理方法的步骤具体如下：

步骤S1：读取视频帧图像；

步骤S2：图像灰度化；采用加权灰度化法,以图像坐标系为参考系，首先读取坐标(0,0)处的像素，并记录各通道值，基于加权灰度化计算原理，计算得到灰度化后的灰度值，并赋值给当前像素，依次读取所有的像素，并灰度化，最后将灰度化后的像素重组，得到灰度化图像。

步骤S3：网格化划分当前图像；

步骤S4：局部灰度直方图均衡化；以图像坐标系为参考系，首先对图像左上角网格子块进行直方图统计，并基于直方图均衡化原理计算得到新的灰度化图像，依次对所有网格子块进行上述操作，最后将得到的各子块组成新的灰度化图像。

4.根据权利要求1所述的结构振动位移监测方法，其特征在于，所述步骤2中，改进的FAST角点检测算法包括依次执行如下步骤：

统计步骤：为快速访问各像素值的分布情况，建立哈希表，以像素值作为哈希表索引值，对应像素块个数为对应数值；

循环步骤：取统计像素值的最大和最小值，作为取值范围的上限和下限，在该区间内不断循环得到像素分割阈值k；

输出步骤：将循环步骤计算得到的像素分割阈值k与基于该值分割得到的两类像素均值做差得到特征检测时的自适应阈值，并输出结果至FAST角点检测算法中。

5.根据权利要求1所述的结构振动位移监测方法，其特征在于，所述步骤2中，基于改进FAST角点检测的结构位移监测具体步骤如下：

步骤21：读取结构振动的视频数据并截取开始时刻的视频帧；

步骤22：选取图像中的感兴趣区域；

步骤23：对选择的感兴趣区域进行特征检测；

步骤24：金字塔LK光流法运动追踪，得到位移时程数据；

步骤25：将得到的感兴趣区域位移时程结果输出。

6.根据权利要求5所述的结构振动位移监测方法，其特征在于，

在所述步骤21中，选择具有代表性的起始时刻和持续时间，包括振动开始的时间、大幅振动开始时间，选择get函数用于实现对视频数据的任意时刻的读取；

在所述步骤22中，建立多目标选择算法，实现可视化选择多个追踪目标，选择完成后无需人工干预，程序自动读取每一个追踪目标，并完成预设的结构振动监测任务；

在所述步骤24中，要先将得到的特征点，从基于特征信息和描述子信息的特征类型转换成可追踪的特征类型，然后再用于金字塔LK光流法运动追踪,经过光流法运动追踪后，得到特征点在各视频帧中坐标位置，对应坐标相减即可得到区域中各特征点的位移时程数据。

7.根据权利要求6所述的结构振动位移监测方法，其特征在于，在所述步骤22中，所述多目标选择算法具体步骤如下：

步骤A1：定义一个目标类，该类以单个目标的坐标信息、图像信息为主要存储内容，多个追踪目标以各自的这些信息构成多个类；

步骤A2：对多个目标的对应信息进行依次存储；

8.根据权利要求6所述的结构振动位移监测方法，其特征在于，在所述步骤S22中，为增加操作的便捷性，在选择感兴趣区域时，多目标选择算法加入了可视化鼠标交互命令实现鼠标框选，并完成多目标选区，具体步骤如下：

步骤Y1：鼠标框选命令；按住鼠标左键拖动画矩形区域，当鼠标左键松开，表示进行框选结束；

步骤Y2：矩形选区确定命令；白色框选区域表示正在选择中的区域，双击回车键表示选中该区域并存储相关图像信息及坐标信息，选定的区域边框会变成黑色，结束目标选择，双击Esc键退出。

9.一种基于计算机视觉的结构振动位移监测系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1－8中任一项所述的结构振动位移监测方法的步骤。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－8中任一项所述的结构振动位移监测方法的步骤。