CN113421224A - 一种基于视觉的缆索结构健康监测方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉的缆索结构健康监测方法及系统，属于视觉图像信号处理技术领域。本发明包括获取缆索结构视频图像；构建复可控金字塔，并利用所述复可控金字塔对视频进行空间分解，获得不同尺度及不同方向的幅度谱和相位谱，提取缆索特定方向的振动信号；对所提取振动信号进行主模态分解得到各阶模态，利用各阶模态的参数，计算缆索张力，并筛选出感兴趣的视频微小变化信号；对所述微小变化信号进行放大，将放大后的信号进行金字塔重建，并与输入序列叠加，得到放大后的视频并输出。利用本发明，降低了对缆索结构进行健康监测时的成本，同时能够对振动状态进行可视化，提高了健康状态监测的准确性和便捷性，减少了技术人员的工作负担。

Description

一种基于视觉的缆索结构健康监测方法及系统

技术领域

本发明属于视觉图像信号处理技术领域，具体涉及一种基于视觉的缆索结构健康监测方法及系统。

背景技术

缆索是缆索支撑结构的关键组成部分，如缆索支撑建筑物和体育场、斜拉桥和悬索桥、高压电缆等，均受动态载荷影响(如车辆载荷和风速)。在日常的消耗过程中，缆索由于承受动态负载，如桥梁上的循环交通荷载、风荷载以及其他操作负载和环境影响等，会很容易产生健康状态疲劳和腐蚀损坏。通过估算缆索张力，可以监控缆索的健康状态。目前，估计测量缆索张力有三种主要技术：通过液压千斤顶和负荷单元等装置进行直接测量，基于磁导率测量的磁性方法和接触式传感器定量法。而目前通常是使用传感器来测量，此方法需要安装传感器以及设计数据采集系统，相对昂贵和耗时。

传统的传感器包括接触式传感器和非接触式传感器，接触式传感器如加速度计和压变传感器，需要附着在结构上来实现振动测量，对轻型结构进行检测时，传感器自身质量负荷将导致检测不准确。安装接触式传感器和数据采集系统非常繁琐耗时，因此不适用与含有大量缆索的结构。非接触式的视觉传感器，主要包括多普勒激光测振仪和光纤光栅传感器法。多普勒激光测振仪为光学测振法，需要额外的光源补偿，要求测试环境保持无尘、无空气扰动，测量范围较小，需要复杂的干涉光路及辅助装置，计算复杂度和成本较高，光纤光栅传感器法需要对传感器进行封装后才可使用，同时对解调设备有较严苛的要求。因此，可以看出，目前通过估算缆索的张力，对缆索结构的健康状态进行监测的成本是非常高的。

发明内容

技术问题：本发明提供一种基于视觉的缆索结构健康监测方法及系统，通过非接触式的检测方法，基于主模态分析技术以及基于相位的视觉振动检测技术，实现对缆索结构张力的非接触式检测，从而有效的降低缆索结构健康监测的成本。

技术方案：一方面，本发明提供一种基于视觉的缆索结构健康监测方法，包括：

获取缆索结构视频图像；

构建复可控金字塔，并利用所述复可控金字塔对视频进行空间分解，获得不同尺度及不同方向的幅度谱和相位谱，提取缆索特定方向的振动信号；

对所提取振动信号进行主模态分解得到各阶模态，利用各阶模态的参数，计算缆索张力，并筛选出感兴趣的视频微小变化信号；

对所述微小变化信号进行放大，将放大后的信号进行金字塔重建，并与输入序列叠加，得到放大后的视频并输出。

进一步地，所述的构建复可控金字塔模型的方法包括：

构建复可控金字塔模型的基函数，将基函数建模为高斯窗口乘以复正弦函数，有：

其中，σ表示高斯窗口的标准差，ω表示复正弦函数的频率，且σ与ω的比值为定值，j表示复数单位，x表示坐标；

对基函数进行相位处理，乘以一个复指数e^-jβ，即对高斯窗下的复正弦基进行调整，得到复可控金字塔基函数模型：

其中，β表示位置变化造成的相位偏移。

进一步地，所述利用复可控金字塔对视频进行空间分解，得到不同尺度及不同方向的幅度谱和相位谱的方法包括：

视频数据输入：输入视频为I(x,y,t)，其中，x,y表示视频每一帧图像像素的坐标，t表示时间，建立视频信号为：I(x,y,t)＝I₀(x,y,t)+δ(x,y,t)+n(x,y,t)，

其中，I₀(x,y,t)表示视频帧的均值,δ(x,y,t)表示视频中的微小变化信号,n(x,y,t)表示视频图像的噪声；

去掉视频信号中第一项均值帧，得到的是含有视频微小变化与噪声的数据：

I(x,y,t)＝δ(x,y,t)+n(x,y,t)；

进行颜色空间转换：将每一帧图像的色彩空间由RGB转换为YIQ，使图像的亮度信息和色度信息分开，提取出Y通道的视频序列用于后续分析；

对亮度信息进行空间分解：将视频序列输入所述复可控金字塔，通过将视频在复可控金字塔基上投影，对输入视频进行不同尺度和不同方向的分解后，得到视频图像的局部幅度谱与相位谱，表示为：

其中，a表示尺度，θ表示角度，x表示坐标，A_a,θ(x,t)表示幅度谱，

表示相位谱。

进一步地，所述提取振动信号的方法为：

将待测振动信号V(x,t)、V(x,t+δ(x,t))写成复正弦波的和的形式如下：

其中，A_ω表示幅度，ω表示频率，δ(x,t)表示幅度较小的位移函数，即所要提取的振动信号；

通过直流滤波器对相位ω(x+δ(x,t))进行滤波，滤除直流分量ωx，将每帧图像与参考帧的局部相位相减，得到每帧图像的相位差信号，通过相位的变化

来代表运动：

根据用户指定的振动方向θ_i提取相应的空间频带，根据得到的局部相位谱计算当前帧与参考帧之间的相位差，并进行相位解缠绕处理，计算公式为：

通过计算，提取得到振动信号δ(x,t)。

进一步地，所述对所提取振动信号进行主模态分解的方法包括：

将振动信号δ(x,t)表示为：

其中，q(t)为模态坐标；q_i(t)为分离的模态运动，Γ(t)为振动模式形状矩阵，其内部列τ(x)为高分辨率N下的内部模式形状向量，n表示模态的阶数；

对运动矩阵ξ进行奇异值分解：

ξ为N行T列的矩阵，且N>T；Λ为N行T列对角矩阵，包含T个非递减对角元素，λ₁,...,λ_i为其特征值，其中i从1到m，m表示矩阵阶数，U为N行N列的左奇异矩阵，V为T行T列的右奇异矩阵，σ_i为Λ的对角处元素，u_i为U中的左奇异向量，v_i为V右奇异向量，*代表转置；

将运动矩阵ξ中结构的主振动模式投射到矩阵η上，得到：

其中，η为r行T列的矩阵，U_r＝[u₁,...,u_r]为U中的第r列(r<<N)，η_i为ξ中第i模态的主成分；

利用盲源分离将η_i(x,t)分解为单个模态分量q_i(t)＝W(x)η_i(x,t)，W(x)为分解矩阵，该模式的形状为τ(x)≈U_rγ_i，γ_i为行向量。

进一步地，所述利用各阶模态的参数，计算缆索张力的方法为：

利用张力公式，根据任一模态的频率计算出缆索张力T₀；

其中，ω_i为第i阶模态的频率，μ表示每单位长度的质量密度，L表示缆索的长度；不同模态的频率成正比关系，关系公式为：

其中，ω_k为第k阶模态的频率，利用关系公式求得任一阶模态的频率，将任一阶模态的频率带入张力公式，计算得到缆索的张力。

进一步地，所述对所述微小变化信号进行放大的方法为：

人工设定放大因子，将微小信号乘以放大因子，对微小信号线性放大。

进一步地，将放大后的信号进行金字塔重建的方法包括：

将时间位移图像表示为空间尺度

上子带滤波响应的组合：

在空间振动模式为其第i模态形状时，经过放大和金字塔重构后，重建只包含第i模态运动或者全局运动的新视频，实现振动可视化，其中，第i模态运动的新视频为：

其中，α表示放大因子；全局运动的新视频为：

另一方面，本发明提供一种缆索结构张力检测系统，采用所述的基于视觉的缆索结构健康监测方法对缆索结构进行健康监测。

有益效果：本发明利用主模态分解技术以及相位的视觉检测方法，通过放大缆索结构的微弱振动信号，从而准确的计算出缆索的张力，并且，通过对放大后的信号进行金字塔重构，使得缆索的振动情况可视化。利用本发明，仅需要利用摄像机以及计算机等设备，就可完成对缆索结构张力的检测，因此有效地降低了对缆索结构健康检测的成本，同时，通过非接触式视频放大，提高了技术人员对缆索结构健康检测的准确性和便捷性，降低了技术人员的工作量。

附图说明

图1为本发明的基于视觉的缆索结构健康监测方法的一个实施例的流程图；

图2为本发明的实施例中运算过程的流程图。

图3为本发明的实施例中进行主模态分解的流程示意图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。图1示出了本发明的基于视觉的缆索结构健康监测方法的一个实施例的流程图，结合图1所示，该方法包括以下步骤：

S100：获取缆索结构视频图像。在本发明的实施例中，可以利用现有的拍摄设备进行缆索结构的视频拍摄，在进行拍摄时，要保证目标物在画面中的清晰度。

S200：构建复可控金字塔，并利用所述复可控金字塔对视频进行空间分解，获得不同尺度及不同方向的幅度谱和相位谱，提取缆索特定方向的振动信号。

在本发明的实施例中，构建复可控金字塔的方法为：

步骤S101：构建复可控金字塔模型的基函数，将基函数建模为高斯窗口乘以复正弦函数，有：

其中，σ表示高斯窗口的标准差，ω表示复正弦函数的频率，且σ与ω的比值为定值，j表示复数单位，e表示自然指数。

步骤S102：对基函数进行相位处理，乘以一个复指数e^-jβ，即对高斯窗下的复正弦基进行调整，得到复可控金字塔基函数模型：

其中，β表示位置变化造成的相位偏移。

通过构建复可控金字塔，保证局部的微小相位处理等效于局部的运动处理，利用所构建的复可控金字塔可以得到高通残差与低通残差以及中间的不同尺度与不同方向的分解得到的相位。在将视频序列投影到复可控金字塔基上时，可实现对局部相位差的处理等效局部运动的处理。

当构建完复可控金字塔模型后，即可将视频序列输入到复可控金字塔模型中进行分解，得到视频图像局部幅度谱与局部相位谱。具体的，在本发明的一个实施例中，结合图2，可按照如下的步骤进行。

步骤S201：输入数据。在进行视频输入时，需要建立视频信号。在本发明的实施例中，设输入视频为I(x,y,t)，其中，x,y表示视频每一帧图像像素的坐标，t表示时间；那么建立的视频信号为：

I(x,y,t)＝I₀(x,y,t)+δ(x,y,t)+n(x,y,t) (3)

在公式(3)中，I₀(x,y,t)表示视频帧的均值,δ(x,y,t)表示视频中的微小变化信号,n(x,y,t)表示视频图像的噪声，在本发明的实施例中，n(x,y,t)实际上指的是高斯白噪声。

在公式(3)中，等号右侧的三项通常是互不相关的，那么去掉第一项均值帧后，就可以得到含有视频微小变化与噪声的数据：

I(x,y,t)＝δ(x,y,t)+n(x,y,t) (4)

将视频按照帧来进行处理，从第一帧到最后一帧(i＝1,2,3…S)，使得每一帧图像都进行空间分解。

步骤S202：对视频进行颜色空间转换。通过将每一帧的色彩空间由RGB转换为YIQ，使图像的亮度信息和色度信息分开，提取出Y(亮度)通道的视频序列用于后续分析。

步骤S203：对亮度信息进行空间分解。将视频序列输入所构建的复可控金字塔，通过将视频在复可控金字塔基上投影，得到视频图像的局部幅度谱与相位谱。假设输入的信号同全局傅里叶基表示的情况，当利用复可控金字塔时，可得到不同尺度、不同方向以及不同位置处的表示，体现在局部幅度谱与相位谱中，如公式(5)

式(5)中，a表示尺度，θ表示角度，x表示坐标，A_a,θ(x,t)表示幅度谱，

表示相位谱。

当利用复可控金字塔得到视频图像局部幅度谱和局部相位谱后，可以提取振动信号。在本发明的实施例中，提取振动信号的方法为：

将待测振动信号V(x,t)、V(x,t+δ(x,t))写成复正弦波的和的形式如下：

在公式(6)、(7)中，A_ω表示幅度，ω表示频率，δ(x,t)表示幅度较小的位移函数，即所要提取的振动信号。

通过直流滤波器对相位ω(x+δ(x,t))进行滤波，滤除直流分量ωx，将每帧图像与参考帧(即视频图像的第一帧)的局部相位相减，得到每帧图像的相位差信号，通过相位的变化

来代表运动：

为了计算

可以通过计算相位差来得到。当图像序列中存在一个小的运动时，频域会产生一定的相位差。由于电缆存在多个振动方向，提取指定方向的振动信号能够获取某一因素对目标部件的影响情况。一层子带属于一个尺度的其中一个方向，根据用户指定的振动方向θ_i提取相应的空间频带，根据得到的局部相位谱计算当前帧与参考帧之间的相位差，并进行相位解缠绕处理，如公式(9)所示：

根据公式(8)和(9)，即可提取得到振动信号，即振动产生的微小位移δ(x,t)。提取振动信号的过程是一种基于相位的视觉振动检测技术。

步骤S300：对所提取振动信号进行主模态分解得到各阶模态，利用各阶模态的参数，计算缆索张力，并筛选出感兴趣的视频微小变化信号。

当提取到振动信号后，利用主模态分析法对信号进行处理，以获得较为干净的视频微小信号。主模态分析方法能够将所提取的振动信号δ(x,t)分解成各模态信号的组合，然后就可以选择出感兴趣的微小变化信号。图3示出了主模态分解的流程示意图，结合图3，具体操作过程中，将δ(x,t)表示为：

公式(10)中，q(t)为模态坐标；q_i(t)为分离的模态运动，Γ(t)为振动模式形状矩阵，其内部列τ(x)为高分辨率N下的内部模式形状向量，n表示模态的阶数。

由于像素尺寸N远大于数字模态维数T，处于高空间维，低模态维。因此必须对公式(12)进行降维。具体的，在发明的实施例中，利用奇异值分解进行降维。具体的步骤为：

步骤S301：对运动矩阵ξ进行奇异值分解，公式如下：

ξ为N行T列的矩阵，且N>T；Λ为N行T列对角矩阵，包含T个非递减对角元素，λ₁,...,λ_i为其特征值，其中i从1到m，m表示矩阵阶数，U为N行N列的左奇异矩阵，V为T行T列的右奇异矩阵，σ_i为Λ的对角处元素，u_i为U中的左奇异向量，v_i为V右奇异向量，*代表转置。

步骤S302：将运动矩阵ξ中结构的主振动模式投射到矩阵η上，得到：

式(12)中，η为r行T列的矩阵，U_r＝[u₁,...,u_r]为U中的第r列(r<<N)，η_i为ξ中第i模态的主成分。

步骤S303：利用盲源分离将η_i(x,t)分解为单个模态分量q_i(t)＝W(x)η_i(x,t)，W(x)为分解矩阵，该模式的形状为τ(x)≈U_rγ_i，其中γ_i为一行矩阵，并无具体的含义，说明的是，η_i与η_i(x,t)是相同的。

从单个模态分量q_i(t)中，可以得到该模态分量的频率ω_i。

从而可以利用张力公式，根据任一模态的频率计算出缆索张力T₀，计算公式如(14)：

其中，ω_i为第i阶模态的频率，μ表示每单位长度的质量密度，L表示缆索的长度。

不同模态的频率成正比关系，关系公式为：

其中，ω_k为第k阶模态的频率，因此，通过公式(14)，可以直接求得任一阶模态的频率，可以利用将任一阶模态的频率带入张力公式(13)，计算得到缆索的张力。

基于上面的实施例的叙述，可以看出，利用本发明实施例中的方法，无需在缆索上安装传感器，只需要采集缆索的视频数据，然后基于主模态分析及视觉张力检测的方式，就可以计算出缆索的张力，从而有效地降低了缆索结构张力检测的成本。此外，还可以利用本发明的方法，对缆索进行长时间的健康状况检测，而无需工作人员监控，从而降低了工作人员的工作量。

但是，仅仅计算出缆索结构的张力，对于技术人员监测缆索结构的健康状况还是不够的，因此在本发明的技术方案中，对缆索结构进行了可视化处理。因为对于大部分缆索结构，比如悬索桥，通过拍摄的视频，但从肉眼上是很难看出缆索的振动的，因此，在本发明的实施例中，实现了缆索结构振动的可视化，具体见步骤S400。

步骤S400：对所述微小变化信号进行放大，将放大后的信号进行金字塔重建，并与输入序列叠加，得到放大后的视频并输出。

在本发明的实施例中，可以通过人工设定放大因子，对微笑信号进行线性放大。将放大后信号利用所构建的复可控金字塔进行金字塔重建，具体重建方法为：

将时间位移图像表示为空间尺度

上子带滤波响应的组合，如公式(15)：

在空间振动模式为其第i模态形状时，经过放大和金字塔重构后，重建只包含第i模态运动或者全局运动的新视频，实现振动可视化，其中，第i模态运动为：

其中，α表示放大因子；全局运动的新视频为：

将上述重建后的视频与输入序列叠加后，即可输出放大后的视频。根据放大后的视频，技术人员可以直观的观测到缆索的振动，从而为缆索结构的健康监测提供了便利。

本发明的实施例中，还提供一种缆索结构张力检测系统，在该系统中，配置有本发明的实施例中所给出的基于视觉的缆索结构健康监测方法的相应计算程序。对于该系统的硬件，可以配置为摄像机加计算机，利用摄像机对缆索结构进行视频采集，然后传输到计算机中进行相应的计算，并将缆索振动视频以及相关数据在显示器中显示出来，使得技术人员可以实时监控缆索的振动情况，提高了技术人员对缆索健康情况监控的准确率和便捷性。

可以看出，相对于现有技术，采用本发明所提供的技术方案，极大地降低了缆索结构健康状态监控的成本，同时，还能够对缆索结构进行可视化，降低技术人员的工作量。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (9)

1.一种基于视觉的缆索结构健康监测方法，其特征在于，包括：

获取缆索结构视频图像；

构建复可控金字塔，并利用所述复可控金字塔对视频进行空间分解，获得不同尺度及不同方向的幅度谱和相位谱，提取缆索特定方向的振动信号；

对所提取振动信号进行主模态分解得到各阶模态，利用各阶模态的参数，计算缆索张力，并筛选出感兴趣的视频微小变化信号；

对所述微小变化信号进行放大，将放大后的信号进行金字塔重建，并与输入序列叠加，得到放大后的视频并输出。

2.根据权利要求1所述的方法，其特征在于，所述的构建复可控金字塔模型的方法包括：

构建复可控金字塔模型的基函数，将基函数建模为高斯窗口乘以复正弦函数，有：

其中，σ表示高斯窗口的标准差，ω表示复正弦函数的频率，且σ与ω的比值为定值，j表示复数单位，x表示坐标；

对基函数进行相位处理，乘以一个复指数e^-jβ，即对高斯窗下的复正弦基进行调整，得到复可控金字塔基函数模型：

其中，β表示位置变化造成的相位偏移。

3.根据权利要求2所述的方法，其特征在于，所述利用复可控金字塔对视频进行空间分解，得到不同尺度及不同方向的幅度谱和相位谱的方法包括：

视频数据输入：输入视频为I(x,y,t)，其中，x,y表示视频每一帧图像像素的坐标，t表示时间，建立视频信号为：I(x,y,t)＝I₀(x,y,t)+δ(x,y,t)+n(x,y,t)

其中，I₀(x,y,t)表示视频帧的均值,δ(x,y,t)表示视频中的微小变化信号,n(x,y,t)表示视频图像的噪声；

去掉视频信号中第一项均值帧，得到的是含有视频微小变化与噪声的数据：

I(x,y,t)＝δ(x,y,t)+n(x,y,t)；

进行颜色空间转换：将每一帧图像的色彩空间由RGB转换为YIQ，使图像的亮度信息和色度信息分开，提取出Y通道的视频序列用于后续分析；

对亮度信息进行空间分解：将视频序列输入所述复可控金字塔，通过将视频在复可控金字塔基上投影，对输入视频进行不同尺度和不同方向的分解后，得到视频图像的局部幅度谱与相位谱，表示为：

其中，a表示尺度，θ表示角度，x表示坐标，A_a,θ(x,t)表示幅度谱，

表示相位谱。

4.根据权利要求3所述的方法，其特征在于，所述提取振动信号的方法为：

将待测振动信号V(x,t)、V(x,t+δ(x,t))写成复正弦波的和的形式如下：

其中，A_ω表示幅度，ω表示频率，δ(x,t)表示幅度较小的位移函数，即所要提取的振动信号；

通过直流滤波器对相位ω(x+δ(x,t))进行滤波，滤除直流分量ωx，将每帧图像与参考帧的局部相位相减，得到每帧图像的相位差信号，通过相位的变化

来代表运动：

根据用户指定的振动方向θ_i提取相应的空间频带，根据得到的局部相位谱计算当前帧与参考帧之间的相位差，并进行相位解缠绕处理，计算公式为：

通过计算，提取得到振动信号δ(x,t)。

5.根据权利要求4所述的方法，其特征在于，所述对所提取振动信号进行主模态分解的方法包括：

将振动信号δ(x,t)表示为：

其中，q(t)为模态坐标；q_i(t)为分离的模态运动，Γ(t)为振动模式形状矩阵，其内部列τ(x)为高分辨率N下的内部模式形状向量，n表示模态的阶数；

对运动矩阵ξ进行奇异值分解：

ξ为N行T列的矩阵，且N>T；Λ为N行T列对角矩阵，包含T个非递减对角元素，λ₁,...,λ_i为其特征值，其中i从1到m，m表示矩阵阶数，U为N行N列的左奇异矩阵，V为T行T列的右奇异矩阵，σ_i为Λ的对角处元素，u_i为U中的左奇异向量，v_i为V右奇异向量，*代表转置；

将运动矩阵ξ中结构的主振动模式投射到矩阵η上，得到：

其中，η为r行T列的矩阵，U_r＝[u₁,...,u_r]为U中的第r列(r<<N)，η_i为ξ中第i模态的主成分；

利用盲源分离将η_i(x,t)分解为单个模态分量q_i(t)＝W(x)η_i(x,t)，W(x)为分解矩阵，该模式的形状为τ(x)≈U_rγ_i，γ_i为行向量。

6.根据权利要求5所述的方法，其特征在于，所述利用各阶模态的参数，计算缆索张力的方法为：

利用张力公式，根据任一模态的频率计算出缆索张力T₀，张力公式如下：

其中，ω_i为第i阶模态的频率，μ表示每单位长度的质量密度，L表示缆索的长度；

不同模态的频率成正比关系，关系公式为：

其中，ω_k为第k阶模态的频率，利用关系公式求得任一阶模态的频率，将任一阶模态的频率带入张力公式，计算得到缆索的张力。

7.根据权利要求1-6所述的方法，其特征在于，所述对所述微小变化信号进行放大的方法为：

人工设定放大因子，将微小信号乘以放大因子，对微小信号线性放大。

8.根据权利要求7所述的方法，其特征在于，将放大后的信号进行金字塔重建的方法包括：

将时间位移图像表示为空间尺度

上子带滤波响应的组合：

在空间振动模式为其第i模态形状时，经过放大和金字塔重构后，重建只包含第i模态运动或者全局运动的新视频，实现振动可视化，其中，第i模态运动的新视频为：

其中，α表示放大因子；全局运动的新视频为：

9.一种基于视觉的缆索结构健康监测系统，其特征在于，采用权利要求1-8任一项所述的基于视觉的缆索结构健康监测方法对缆索结构进行健康监测。

Images