CN115797335B - 用于桥梁振动测量的欧拉运动放大效果评估及优化方法 - Google Patents

Abstract

本发明涉及一种用于桥梁振动测量的欧拉运动放大效果评估及优化方法，提供了一个度量图像匹配效果，用于衡量使用模板匹配法对经过欧拉运动放大算法以及边缘检测处理之后的图像序列进行基于边缘特征匹配的结构振动测量效果的指标以及一套计算视频序列度量指标的计算流程，此外，还提供了一个用于欧拉运动放大结合模板匹配法的振动测量效果自动优化方法。结合所提出的度量指标、计算流程以及优化方法，本发明可以实现对振动视频的结构振动时程信号测量结果的自动优化以及提高实际工程应用中结构时程信号测量精度的功能。使用本发明的方法所测量得到的结构振动时程信号是在同等外部条件，同等环境工况下测量效果最好的测量数据。

Description

用于桥梁振动测量的欧拉运动放大效果评估及优化方法

技术领域

本发明涉及基于视觉传感技术的结构健康监测技术领域，尤其涉及一种用于桥梁振动测量的欧拉运动放大效果评估及优化方法。

背景技术

结构时程信号可以直观地揭示结构的振动特性并且蕴含了结构的安全状态信息。因此，研究用于准确获取结构振动时程信号的振动测量技术对于监测以及维护结构安全性能，保障人民的生命财产具有十分重要的意义。

目前，结构振动测量技术主要可以分为接触式测量技术和非接触式测量技术。接触式测量技术，时至今日依然作为应用最为广泛的一种监测手段，具有测量精度高，稳定性好等优点。然而，接触式传感器的质量和刚度会改变结构的局部特性，这会对监测得到的位移数据的准确性产生影响，而且，在监测大型结构的时候，往往需要安装密集的传感器阵列，监测成本高，同时也增大了对传感器进行维护检查工作的困难。因此，近年来，非接触式测量技术的发展为桥梁结构的振动监测提供了新的前景。作为非接触式测量技术的一种，基于视觉传感器技术的测量方法具有测量成本低、监测范围广等优点，近年来受到人们的广泛推广和使用。其中，模板匹配法，作为视觉传感测量方法中的一种，将边缘检测后的前后两帧图像进行边缘特征匹配从而计算结构的振动时程信号。然而，该技术，只能提取到整数级像素的位移，此外，该技术在实际结构的应用中，往往由于结构的振动幅度比较小，导致采用基于视觉传感器技术所测量得到的桥梁位移不够精确。

为了解决实际结构振动幅度微小而导致的识别结果不准确的问题，人们往往把基于视觉传感器的振动测量技术和运动放大算法结合使用。基于相位的运动放大算法，作为欧拉运动放大算法中的一种，可以将常规仪器设备和人眼无法识别的微小运动信号放大到可以进行观察和分析的幅度，从而可以进一步挖掘和分析动态图像序列中的隐藏信息。基于相位的运动放大算法由于对视频中的噪声进行了平移，在放大运动信号的同时不会放大噪声，可以对视频在避免失真的情况下实施放大，使图像具有更高的信噪比。其原理是把振动视频看作是时间和空间的联合函数，使用复数域金字塔将视频时序信号分解为局部空间组的幅值和相位，然后把感兴趣区域的相位信号提取出来并进行滤波、放大，最后把像素随时间的变化近似成像素在空间上的变化，进而实现对微小运动的放大。

然而，目前，基于相位的运动放大在使用的时候需要确定众多调优参数，而且参数的调整与选择决定最后的算法放大效果。例如，需要确定时间域滤波的起始频率f₁、终止频率f₂以及滤波器模板种类；还需要确定空间域重构的放大因子α和尺度因子β，此外基于相位的运动放大在与模板匹配法结合使用时，还需要确定进行边缘检测的上下限阈值T1和T2等。综上，众多的可调参数导致结合欧拉运动放大算法的模板匹配法在实际中难以达到合适的使用效果。为此，为了达到最优的放大效果以及获得精确的结构振动时程信号，人们往往需要通过试错法进行参数逐项调整以及根据最后的计算结果进行参数调整效果判断，然而，在结合模板匹配法之后，由于模板匹配法计算量大计算时间久，导致难以对结合模板匹配法的欧拉运动放大算法的参数调整效果进行判断，进而影响整个方法流程的使用效果。

鉴于此，设计一套一种用于桥梁结构的欧拉运动放大振动测量自动优化方法，实现对所使用的欧拉运动放大算法以及模板匹配法的参数进行自动化寻优，并实现结构振动测量效果的快速优化，对于推进结合欧拉运动放大的模板匹配法在实际工程中进行结构振动测量的应用，改进工程应用效果，具有十分重要的意义。

发明内容

本发明针对现有技术中存在的技术问题，提供一种用于桥梁振动测量的欧拉运动放大效果评估及优化方法，解决欧拉运动放大算法在结合模板匹配法使用的时候难以确定合适的参数，进而导致难以实现振动测量结果精确以及实时获取的问题。

根据本发明的第一方面，提供了一种用于桥梁振动测量的欧拉运动放大效果评估方法，包括：

步骤1，对待测桥梁结构的图像序列分别进行欧拉运动放大处理以及边缘检测处理；

步骤2，等间距选取设定张数的图像，并对各张图像的放大前图像矩阵以及放大后的图像矩阵分别进行二值化处理后得到矩阵B和矩阵C；

步骤3，计算矩阵B和矩阵的余弦相似度矩阵，选取所述余弦相似度矩阵的每行中的最大值组成序列Ki，并得到对应的最大值位置序列di；

步骤4，基于序列Ki、序列di以及欧拉运动放大算法的参数计算得到每张图像的衡量结构振动测量效果的的指标DI，计算每张图像的指标DI的和作为最终计算得到的振动测量效果的评估指标。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述指标DI的计算公式为：

；

其中，n为向量个数；为欧拉运动放大算法的放大因子，A为放大因子标准化系数；m是经过边缘检测之后图像边缘的像素高度，D为描述相邻行向量最大匹配特征值的向量位置的连续性指标；和分别为欧拉运动放大算法中的滤波频率下限和上限；为矩阵B的第i行向量；为矩阵C的第i行向量。

可选的，所述描述相邻行向量最大匹配特征值的向量位置的连续性指标D的计算公式为：

;

其中，；

。

可选的，所述步骤1中进行欧拉运动放大处理的过程包括：

步骤101，对所述图像序列中每张图像进行空间域分解，包括：对图像进行次下采样，得到+1阶图像金字塔；对+1阶图像金字塔，从顶层开始，依次选取相邻的两阶金字塔图像，对所选两阶金字塔图像中的上层图像矩阵进行上采样然后与下层图像矩阵进行矩阵相减，得到拉普拉斯图像金字塔；

步骤102，进行时间域滤波，包括：依次对每张所述图像金字塔中的每个像素点在时域上使用理想带通滤波器基于频带进行滤波；

步骤103，对视频进行放大和重构，包括：对滤波后的所述图像金字塔，从底层图像开始，对所述图像金字塔逐级进行倍放大以及上采样处理后，叠加至上一层图像金字塔，直至底层金字塔图像。

根据本发明的第二方面，提供一种用于桥梁结构的欧拉运动放大振动测量自动优化系统，所述自动优化方法基于本发明实施例所述的评估方法，所述自动优化方法包括：

步骤1'，初始化生成矩阵A，所述矩阵A包括：6列数值分别表示欧拉运动放大算法和边缘检测算法的参数、、T1、T2、和，1列数值表示滤波器模板序号，1列数值表示基于同一行的欧拉运动放大算法的参数计算得到的所述指标DI；

步骤2'，在所述矩阵A中以相同的所述滤波器模板序号为一群数据，在各群数据中选择所述指标DI最大时对应的一行向量作为该群的最优参数Gi_best(j)；i表示滤波器模板的序号，i=1，2，…，nT；j表示矩阵A中的6个参数和滤波器模板的序号，j=1，2，…，7;

步骤3'，基于设置的自反省参数c对所述矩阵A的参数进行更新，基于所述步骤2'中得到的每个种群的最优参数对应的滤波器模板序号对所述矩阵A中各行的滤波器模板序号进行更新，生成更新后的矩阵A'；

步骤4'，比较所述矩阵A和所述矩阵A'中各行的DI指标，选取所述DI指标大时的对应的各行数据组成矩阵A’’，在所述矩阵A’’的各群数据中选择所述指标DI最大时对应的一行向量作为该群的最优参数Gi_best(j)'，并在该最优参数列中选取全局最优参数Gbest；

步骤5'，基于最优参数列对所述矩阵A’’进行随机更新后得到矩阵A’’’，判断是否满足迭代循环的终止条件，是则输出当前DI指标值最大时对应的一行参数向量，否则执行步骤6'；

步骤6'，在迭代次数为设定的重组周期T的整数数倍时随机打乱所述矩阵A’’’，重新执行步骤2'-步骤4'。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述步骤1'之前还包括：

步骤0'，设置优化参数限制条件，包括：参数、、T1、T2、和的最大值和最小值大小；设置算法迭代参数，包括：参数子集个数n、参数重组周期T以及自反省参数c；设置迭代循环的终止条件，包括：设置最大迭代次数genmax；

所述步骤1'-步骤4'进行参数更新的过程中，必须满足所述优化参数限制条件。

可选的，所述步骤3'中对所述矩阵A的6列参数进行更新的公式为：

=c*+r*(Gi_best(j)-)；

其中，i=1，2，…，n；j=1，2，…，6，和分别表示矩阵A和矩阵A'中第i行第j列的参数的值，r表示0至1范围内的随机数；

对所述矩阵A的滤波器模板序号进行更新的公式为:

= Gi_best(7)。

可选的，所述步骤5'中基于最优参数列对所述A’’进行随机更新后得到矩阵A’’’；

其中，对所述矩阵A’’的6列参数进行更新的公式为：

；

和分别表示矩阵A’’和矩阵A’’’中第i行第j列的参数的值；i=1，2，…，n；j=1，2，…，6，r1,r2,r3∈rand(0,1)；

对所述矩阵A’’的滤波器模板的序号进行更新的公式为：

= G_best(7)。

可选的，所述步骤6'之后还包括：

步骤7'，根据所输出的参数向量对图像序列分别进行欧拉运动放大处理以及Canny边缘检测处理，基于视频序列经过处理后得到的边缘图像序列进行结构特征部位像素振动计算，并把计算得到的像素振动时程信号通过比例因子转化得到结构振动时程信号，实现结构振动测量。

可选的，所述步骤7'中使用结合自适应边框裁剪算法的模板匹配法对边缘图像序列进行像素振动计算，包括：

步骤701'，结构特征区域初步框选，包括：使用全为1的卷积核对结构进行卷积计算，选出卷积计算数值最小的点为结构特征部位中心点，并以该点为中心根据卷积核的尺寸大小对结构进行初步裁剪，分别计算裁剪前图像的尺寸与裁剪后图像的尺寸分别在图像高度以及宽度上的差值，分别计算得到和；和分别为结构特征区域初步框选步骤中计算得到的前后两帧图像的像素特征区域在图像高度上以及图像宽度上的相对变化；

步骤702'，自适应边框裁剪，包括高度裁剪和宽度裁剪；

所述高度裁剪的过程包括：使用全为1的卷积核进行卷积计算，并且该卷积核的尺寸小于所述步骤701'中的卷积核尺寸，计算公式为：

d为边框裁剪变化区域在高度上的范围；h为卷积核模板的高度尺寸；：全为1的卷积模板；为裁剪后图像矩阵的第i行至第i+h行；：全为1的卷积核与裁剪后的图像矩阵的第i行至第i+h行向量卷积计算得到的数值；为卷积数值结果在图像高度方向的变化梯度；为自适应边框裁剪步骤中计算得到的前后两帧图像的像素特征区域在图像高度上的相对变化；

所述宽度裁剪的过程包括：使用全为1的卷积核进行卷积计算，并且该卷积核的尺寸小于所述步骤701'中的卷积核尺寸，计算公式为：

L为边框裁剪变化区域在宽度上的范围；l为卷积核模板的宽度尺寸；：裁剪后图像矩阵的第i列至第i+h列；：全为1的卷积核与裁剪后的图像矩阵的第i列至第i+h列向量卷积计算得到的数值；：卷积数值结果在图像高度方向的变化梯度；为自适应边框裁剪步骤中计算得到的前后两帧图像的像素特征区域在图像宽度上的相对变化；

步骤703'，模板匹配计算，包括：沿时间序列方向，依次选取相邻的两帧自适应边框裁剪处理后的图像进行补零匹配计算，计算得到和；和分别为模板匹配计算步骤中计算得到的前后两帧图像的像素特征区域在图像高度上以及图像宽度上的相对变化；

步骤704'，计算像素振动总变化和为：

；

。

本发明实施例提供的一种用于桥梁振动测量的欧拉运动放大效果评估及自动优化方法，有益效果包括：

（1）提出了一个用于结合欧拉运动放大算法的模板匹配法的指标。所提出的指标的数值大小可以近似逼近以及评估模板匹配法图像特征匹配效果的好坏，使用该指标可以直接对经过欧拉运动放大算法以及边缘检测算法处理过后的图像进行结构振动测量效果评估，从而在基于视觉的结构振动测量技术中避免进行繁琐的、需要进行多次遍历卷积运算的，计算量巨大的模板匹配法特征匹配计算。

（2）基于所提出的评价指标，提出了一套用于评估视频序列经过欧拉运动放大算法以及边缘检测算法处理后的图像模板匹配以及振动测量效果的方法流程。

（3）提出了一套优化算法。在对视频序列使用结合欧拉运动放大算法的模板匹配法进行振动测量时，所提出的优化算法可以实现对振动测量计算流程中的多个可调参数实现自动优化并实现振动测量效果的自动优化。其中，振动测量计算中，本发明使用结合自适应边框裁剪算法的模板匹配法，把像素振动变化拆分为三部分，对图像依次进行拆分裁剪计算，可以实现背景噪声过滤以及减少计算量等优势功能。

附图说明

图1是本发明实施例提供的连续性指标D的计算流程图；

图2是本发明实施例提供的一种用于桥梁振动测量的欧拉运动放大效果评估方法的流程图；

图3是本发明实施例提供的经过边缘检测之后图像边缘的像素高度m的示意图；

图4是本发明实施例提供的一种用于结合欧拉运动放大算法的模板匹配法的振动测量效果的自动优化方法的流程图；

图5是本发明实施例提供的初始化生成矩阵A的示意图；

图6是本发明实施例提供的矩阵A选取小组最优参数列的示意图；

图7是本发明实施例提供的更新矩阵A得到矩阵A'的流程图；

图8是本发明实施例提供的构建矩阵A'’流程示意图；

图9是本发明实施例提供的矩阵A'’选取小组最优参数列以及全局最优参数列的示意图；

图10是本发明实施例提供的更新矩阵A'’得到矩阵A’’’的示意图；

图11是本发明实施例提供的使用传统的模板匹配法计算得到的结构振动时程信号与百分表位移计的测量结果对比图；

图12是本发明实施例提供的使用本发明所提出的方法优化得到的计算结果与百分表位移计的测量结果对比图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

由于欧拉运动放大算法在结合模板匹配法使用之后，计算量大计算时间久，可调参数众多，因此，欧拉运动放大算法在结合模板匹配法使用的时候难以确定合适的参数，进而导致难以实现振动测量结果精确以及实时获取。

图1为本发明提供的一种用于桥梁振动测量的欧拉运动放大效果评估方法的流程图，如图1所示，该评估方法包括：

步骤1，对待测桥梁结构的图像序列分别进行欧拉运动放大处理以及边缘检测处理。

步骤2，等间距选取设定张数的图像，并对各张图像的放大前图像矩阵以及放大后的图像矩阵分别进行二值化处理后得到矩阵B和矩阵C。

步骤3，计算矩阵B和矩阵的余弦相似度矩阵，选取余弦相似度矩阵的每行中的最大值组成序列Ki，并得到对应的最大值位置序列di。

步骤4，基于序列Ki、序列di以及欧拉运动放大算法的参数计算得到每张图像的衡量结构振动测量效果的的指标DI，计算每张图像的指标DI的和作为最终计算得到的振动测量效果的评估指标。

具体实施中，每张图像的指标DI的和为DI_total，DI_total=，输出DI_total作为最终计算得到的指标。

本发明提供的一种用于桥梁振动测量的欧拉运动放大效果评估方法，提出了一个指标，用于衡量使用模板匹配法对经过欧拉运动放大算法以及边缘检测处理之后的图像序列进行基于边缘特征匹配的结构振动测量效果的。

实施例1

本发明提供的实施例1为本发明提供的一种用于桥梁振动测量的欧拉运动放大效果评估方法的实施例，结合图1可知，该评估方法的实施例包括：

步骤1，对待测桥梁结构的图像序列分别进行欧拉运动放大处理以及边缘检测处理。

具体实施中，根据参数向量对图像序列分别进行欧拉运动放大处理以及Canny边缘检测处理。以参数向量中的1至4列参数数值依次作为欧拉运动放大处理的参数：放大因子、尺度因子、滤波频率下限、滤波频率上限，并选择每一行的第7列的整数类型数值作为滤波器模板序号，对视频序列进行欧拉运动放大处理。以参数向量中的5至6列参数数值分别作为Canny边缘检测算法处理的检测下限阈值T1以及检测上限阈值T2，对视频序列进行边缘检测处理。

经过边缘检测之后图像边缘的像素高度m的示意图如图2所示。描述相邻行向量最大匹配特征值的向量位置的连续性指标D的计算流程图如图3所示。

在一种可能的实施例方式中，步骤1中进行欧拉运动放大处理的过程包括：

步骤101，对图像序列中每张图像进行空间域分解，包括：对图像进行次下采样，得到+1阶图像金字塔；对+1阶图像金字塔，从顶层开始，依次选取相邻的两阶金字塔图像，对所选两阶金字塔图像中的上层图像矩阵进行上采样然后与下层图像矩阵进行矩阵相减，得到拉普拉斯图像金字塔。

步骤102，进行时间域滤波，包括：依次对每张图像金字塔中的每个像素点在时域上使用理想带通滤波器基于频带进行滤波。

步骤103，对视频进行放大和重构，包括：对滤波后的图像金字塔，从底层图像开始，对图像金字塔逐级进行倍放大以及上采样处理后，叠加至上一层图像金字塔，直至底层金字塔图像，完成视频序列的欧拉运动放大处理以及视频序列重构操作。

步骤2，等间距选取设定张数的图像，并对各张图像的放大前图像矩阵以及放大后的图像矩阵分别进行二值化处理后得到矩阵B和矩阵C。

可以理解的是，矩阵B和矩阵C可以表示如下：

。

为放大前进行二值化处理后的图像矩阵B的第i行向量；为放大并且经过二值化处理之后的图像矩阵C的第i行向量。

本发明提供的一种实施例中，选取的图像的设定张数的值可以为；t为视频时长，fps为视频帧率，B为计算比例系数，一般B可取10。

步骤3，计算矩阵B和矩阵的余弦相似度矩阵，选取余弦相似度矩阵的每行中的最大值组成序列Ki，并得到对应的最大值位置序列di。

可以理解的是，计算矩阵B和矩阵的余弦相似度矩阵的公式可以为：

。

取Ki=，di=。

步骤4，基于序列Ki、序列di以及欧拉运动放大算法的参数计算得到每张图像的衡量结构振动测量效果的指标DI，计算每张图像的指标DI的和作为最终计算得到的振动测量效果的评估指标。

在一种可能的实施例方式中，指标DI的计算公式为：

。

其中，为向量个数；为欧拉运动放大算法的放大因子，A为放大因子标准化系数，一般可取A=10；m是经过边缘检测之后图像边缘的像素高度，D为描述相邻行向量最大匹配特征值的向量位置的连续性指标；和分别为欧拉运动放大算法中的滤波频率下限和上限，；为矩阵B的第i行向量；为矩阵C的第i行向量。

该评估指标DI的数值大小可以用于近似逼近以及评估模板匹配法图像特征匹配效果的好坏，使用该指标可以直接对经过欧拉运动放大算法以及边缘检测算法处理过后的图像进行结构振动测量效果评估，从而在基于视觉的结构振动测量技术中避免进行繁琐的、需要进行多次遍历卷积运算的，计算量巨大的模板匹配法特征匹配计算。

在一种可能的实施例方式中，描述相邻行向量最大匹配特征值的向量位置的连续性指标D的计算公式为：

。

其中，。

。

在计算项中，用于在DI指标中加入描述匹配点位置连续性的信息，即放大后图像的形状连续性信息。

在计算中，进行二值化处理是因为经过放大处理后，像素的数值会发生不同程度的变化因此数值没有意义，而有用的信息只是形状和边缘信息。此外，通过计算每一个行向量所对应的余弦相似度并进行求和及归一化（除以向量个数），可以在DI指标中增加度量放大前图像与放大后图像的横向边缘形状相似度的信息。因为模板匹配法的原理是根据前后图像的边缘轮廓相似度来匹配图像位置，因此使用在DI指标中使用指标可以一定程度上度量模板匹配法的使用效果，通过计算矩阵B和矩阵C之间的余弦相似度矩阵来替代重复遍历卷积计算的模板匹配法，进而实现向量之间的特征匹配，从而减少计算量。最后，使用行向量来计算DI指标中的而不是列向量，原因在于该方案流程主要用于桥梁结构振动测量，而桥梁结构的振动形式一般为竖向振动，图像振动会导致图像矩阵的行向量产生明显的变化，因此使用行向量比使用列向量更能度量运动放大处理后使用模板匹配法的匹配效果。

在计算中，越大，振动放大的效果越明显，进行振动测量的结果也会越精确，因此放于分子上，让越大的工况指标得分越高。但是运动放大在放大结构微小振动的同时也会给结构图像带来噪声干扰，通过其他指标来优化运动放大所带来的噪声对模板匹配法的使用效果影响，而在优化指标DI中加入项来标准化放大因子对指标DI的影响。

在计算中，用于在DI指标中加入度量优化出来的窄带主频段的精确程度的信息。因为结构振动的主频段比较窄，可以约束指标优化出结构的主要振动频率。

在计算项中，用于在DI指标中加入度量放大处理对边缘的污染程度的信息。运动放大结合边缘检测，运动放大处理会噪声边缘模糊或者边缘噪声点增多，通过计算指标项来约束运动放大对边缘所带来的模糊及噪声影响。

综上，对运动放大结合边缘检测的图像计算得到的DI指标越大，对该图像使用模板匹配法进行振动测量的效果越好，从而可以避免直接进行繁琐的模板匹配法等图像特征匹配算法的计算，通过比较所提出的衡量指标的数值大小来近似逼近模板匹配法图像特征匹配效果的好坏，从而实现计算量的极大优化。

基于本发明所提出的DI指标，所提出的用于视频序列振动测量效果评估的计算流程，可以对经过欧拉运动放大算法以及边缘检测算法处理过后的图像视频振动测量效果进行评估，计算流程图如图1所示。

所提出的一套用于结合欧拉运动放大算法的模板匹配法的振动测量效果自动优化算法，在对视频序列使用结合欧拉运动放大算法的模板匹配法进行振动测量时，可以实现对振动测量计算流程中的多个可调参数实现快速优化并实现振动测量效果的自动寻优。算法流程图如图4所示。

实施例2

本发明提供的实施例2为本发明提供的一种用于桥梁振动测量的欧拉运动放大效果优化方法的实施例，该自动优化方法的实施例包括：一个图像特征匹配效果评估指标、一套用于视频序列振动测量效果评估的计算流程以及一套用于结合欧拉运动放大算法的模板匹配法的振动测量效果自动寻优算法。图4是本发明实施例提供的一种用于结合欧拉运动放大算法的模板匹配法的振动测量效果的自动优化方法的流程图，结合图4可知，该自动优化方法的实施例包括：

步骤0'，设置优化参数限制条件，包括：参数、、T1、T2、和的最大值和最小值大小；设置算法迭代参数，包括：参数子集个数n、参数重组周期T以及自反省参数c；设置迭代循环的终止条件，包括：设置最大迭代次数genmax。

步骤1'-步骤4'进行参数更新的过程中，必须满足优化参数限制条件。

具体的，优化参数限制条件包括：

Cmin=[,T1min,T2min]。

Cmax=[,T1max,T2max]。

f_lim=[n1,n2,n3…nT]。

步骤1'，初始化生成矩阵A，矩阵A包括：6列数值分别表示欧拉运动放大算法和边缘检测算法的参数、、T1、T2、和，1列数值表示滤波器模板序号，1列数值表示基于同一行的欧拉运动放大算法的参数计算得到的指标DI。

可以理解的是，矩阵A的大小为(nTxn)x8；nT表示滤波器模板的个数。

本发明提供的矩阵A的一种实施例中，如图5所示为本发明实施例提供的初始化生成矩阵A的示意图，矩阵A的1至6列为数值分别位于Cmin以及Cmax数值范围内的、、T1、T2、、参数随机生成数组；第7列为滤波器模板序号，前1至n行的数值为1，代表第一个滤波器模板；前n+1至2n行数值为2，代表第二个滤波器模板；依次类推；前(n-1) nT+1至nTn行数值为n，代表第nT个滤波器模板。第8列为待求得指标向量，初始化生成时全为0。其中，矩阵的前n行表示第一群参数，记为G1，第n+1至2n行表示第二群参数，记为G2；依次类推；第(n-1) nT+1至 n行表示第n群参数，记为Gn。

步骤2'，在矩阵A中以相同的滤波器模板序号为一群数据，在各群数据中选择指标DI最大时对应的一行向量作为该群的最优参数Gi_best(j)；i表示滤波器模板的序号，i=1，2，…，nT；j表示矩阵A中的6个参数和滤波器模板的序号，j=1，2，…，7。

具体实施中，遍历矩阵A的每一行，以每一行的1至7列为参数样本，计算第8列的DI值，然后根据第8列DI值的数值大小，每n行选取一个小组最优参数列G1_best(j)，G2_best(j)，…，GnT_best(j)。如图6所示为本发明实施例提供的A矩阵选取小组最优参数列的示意图。

步骤3'，基于设置的自反省参数c对矩阵A的参数进行更新，基于步骤2'中得到的最优参数对应的滤波器模板序号对矩阵A中各行的滤波器模板序号进行更新，生成更新后的矩阵A'。

如图7所示为本发明实施例提供的更新矩阵A得到矩阵A'的流程图，结合图7可知，在一种可能的实施例方式中，步骤3'中对矩阵A的前6列参数进行更新的公式为：

。

其中，i=1，2，…，nTxn；j=1，2，…，6，和分别表示矩阵A和矩阵A'中第i行第j列的参数的值，r表示0至1范围内的随机数。其中更新后的参数满足Cmin、Cmax以及f_lim的条件范围。

更新矩阵的第7列的公式为：

= Gi_best(7)。

并计算更新参数后的矩阵A'第8列的DI指标。

步骤4'，比较矩阵A和矩阵A'中各行的DI指标，选取DI指标大时的对应的各行数据组成矩阵A’’，在矩阵A’’的各群数据中选择指标DI最大时对应的一行向量作为该群的最优参数Gi_best(j)'，并在该最优参数列中选取全局最优参数Gbest。如图8所示为本发明实施例提供的构建矩阵A’’流程示意图。

步骤5'，基于最优参数列对矩阵A’’进行随机更新后得到矩阵A’’’，判断是否满足迭代循环的终止条件，是则输出当前DI指标值最大时对应的一行参数向量，否则执行步骤6'。

步骤6'，在迭代次数为设定的重组周期T的整数数倍时随机打乱矩阵A’’’，重新执行步骤2'-步骤4'。如图9所示为本发明实施例提供的矩阵A’’选取小组最优参数列以及全局最优参数列的示意图。

具体实施中，判断是否满足终止条件；如果满足终止条件，则停止循环并输出DI指标值最大的一行参数向量；如果不满足终止条件则继续迭代循环步骤2'-步骤4'直至满足终止条件，并且每T次迭代对矩阵向量的序列进行重组。

在一种可能的实施例方式中，步骤5'中基于最优参数列对A’’进行随机更新后得到矩阵A’’’。如图10所示为本发明实施例提供的更新矩阵A’’得到矩阵A’’’的示意图。

从所有参数子集中随机选择一个Gr’best，从所有参数行中随机选择一行。

其中，对矩阵A’’的前6列参数进行更新的公式为：

。

和分别表示矩阵A’’和矩阵A’’’中第i行第j列的参数的值；i=1，2，…，nTxn；j=1，2，…，6，r1,r2,r3∈rand(0,1)。

对矩阵A’’的滤波器模板的序号进行更新的方法为：

基于步骤4'中得到的最优参数对应的滤波器模板序号对矩阵A’’中各行的滤波器模板序号进行更新。具体公式为：

= G_best(7)。

其中更新后的参数满足Cmin和Cmax条件范围。并计算更新参数后的矩阵A’’’第8列DI指标。

在一种可能的实施例方式中，步骤6'之后还包括：

步骤7'，根据所输出的参数向量对图像序列分别进行欧拉运动放大处理以及Canny边缘检测处理，基于视频序列经过处理后得到的边缘图像序列进行结构特征部位像素振动计算，并把计算得到的像素振动时程信号通过比例因子转化得到结构振动时程信号，最终实现结构振动测量。

具体实施中，以输出参数向量的1至4列参数数值依次作为欧拉运动放大处理的参数：放大因子、尺度因子、滤波频率下限、滤波频率上限，并选择每一行的第7列的整数类型数值作为滤波器模板序号，对视频序列进行欧拉运动放大处理。以输出参数向量中的5至6列参数数值分别作为Canny边缘检测算法处理的检测下限阈值T1以及检测上限阈值T2，对视频序列进行边缘检测处理。

在一种可能的实施例方式中，步骤7'中使用结合自适应边框裁剪算法的模板匹配法对边缘图像序列进行像素振动计算，包括：

步骤701'，结构特征区域初步框选，包括：使用全为1的卷积核（高度及宽度尺寸均比结构特征部位的尺寸大）对结构进行卷积计算，选出卷积计算数值最小的点为结构特征部位中心点，并以该点为中心根据卷积核的尺寸大小对结构进行初步裁剪，分别计算裁剪前图像的尺寸与裁剪后图像的尺寸分别在图像高度以及宽度上的差值，分别计算得到和；和分别为结构特征区域初步框选步骤中计算得到的前后两帧图像的像素特征区域在图像高度上以及图像宽度上的相对变化。

步骤702'，自适应边框裁剪，包括高度裁剪和宽度裁剪。

高度裁剪的过程包括：使用全为1的卷积核进行卷积计算，其中，卷积核宽度尺寸与步骤701'裁剪后的图像的宽度尺寸相等，卷积核的高度尺寸比上步骤裁剪后的图像的高度尺寸小，并通过判断卷积后数值梯度变化大小来选取裁剪位置，计算公式为：

d为边框裁剪变化区域在高度上的范围；h为卷积核模板的高度尺寸；：全为1的卷积模板；为裁剪后图像矩阵的第i行至第i+h行；：全为1的卷积核与裁剪后的图像矩阵的第i行至第i+h行向量卷积计算得到的数值；为卷积数值结果在图像高度方向的变化梯度；为自适应边框裁剪步骤中计算得到的前后两帧图像的像素特征区域在图像高度上的相对变化。

所述宽度裁剪的过程包括：使用全为1的卷积核进行卷积计算，并且该卷积核的尺寸小于所述步骤701'中的卷积核尺寸，计算公式为：

L为边框裁剪变化区域在宽度上的范围；l为卷积核模板的宽度尺寸；：裁剪后图像矩阵的第i列至第i+h列；：全为1的卷积核与裁剪后的图像矩阵的第i列至第i+h列向量卷积计算得到的数值；：卷积数值结果在图像高度方向的变化梯度；为自适应边框裁剪步骤中计算得到的前后两帧图像的像素特征区域在图像宽度上的相对变化。

步骤703'，模板匹配计算，包括：沿时间序列方向，依次选取相邻的两帧自适应边框裁剪处理后的图像进行补零匹配计算，计算得到和；和分别为模板匹配计算步骤中计算得到的前后两帧图像的像素特征区域在图像高度上以及图像宽度上的相对变化；

步骤704'，计算像素振动总变化和为：

。

。

可以理解的是，本发明提供的一种用于桥梁振动测量的欧拉运动放大效果优化方法与前述各实施例提供的用于桥梁结构的欧拉运动放大振动测量效果评估方法相对应，用于桥梁振动测量的欧拉运动放大效果优化方法的相关技术特征可参考用于桥梁振动测量的欧拉运动放大效果评估方法的相关技术特征，在此不再赘述。

实施例3

本发明提供的实施例3为本发明提供的一种用于桥梁振动测量的欧拉运动放大效果优化方法的具体应用实施例，以将结合本发明所提出的算法的模型匹配法与没有结合本发明所提出方法的传统模板匹配法进行对比。

对一个两端铰接，跨度0.393714=5.6m，截面高度0.4m，横向宽度0.3937m的桁架桥，通过振动台施加振动激励，然后使用工业相机拍摄其半跨度的桥梁结构振动视频，视频帧率为120fps，图像为19201080的尺寸大小；使用百分表位移计来测量待分析结点的位移时程信号作为参考结果。最后，选取结构特征部位为桁架结点，通过分析结点部位的图像振动变化来识别结构的振动时程信号。使用传统的模板匹配法对振动视频进行分析得到的位移时程信号结果如图11所示，在CPU为i5-7200U，GPU为GeForce 930MX的电脑上的运算的时间为13969.7s=3.88h，使用本发明所提出的方法优化得到的计算结果与百分表位移计的测量结果对比如图12所示，在CPU为i5-7200U，GPU为GeForce 930MX的电脑上的运算的时间为5612.5s=1.56h，对比图11和图12可见，经过本发明方法优化得到的振动测量结果与百分表位移计的测量结果十分接近。

值得注意的是，上述本发明方法的运行时间是经过本发明算法优化之后得到的最后结果的计算时间（经过了多次振动测量计算），而传统模板匹配法的运行时间是进行一次振动测量计算的时间，此处，计算时间以及计算量的减少得益于本发明使用结合自适应边框裁剪算法的模板匹配法对边缘图像序列进行像素振动计算中把图像特征部分像素振动计算拆分为三部分以及三步骤。

本发明实施例提供的一种用于桥梁振动测量的欧拉运动放大效果评估及优化方法，有益效果包括：

（1）提出了一个用于结合欧拉运动放大算法的模板匹配法的指标。所提出的指标的数值大小可以近似逼近以及评估模板匹配法图像特征匹配效果的好坏，使用该指标可以直接对经过欧拉运动放大算法以及边缘检测算法处理过后的图像进行结构振动测量效果评估，从而在基于视觉的结构振动测量技术中避免进行繁琐的、需要进行多次遍历卷积运算的，计算量巨大的模板匹配法特征匹配计算。

（2）基于所提出的评价指标，提出了一套用于评估视频序列经过欧拉运动放大算法以及边缘检测算法处理后的图像模板匹配以及振动测量效果的方法流程。

（3）提出了一套优化算法。在对视频序列使用结合欧拉运动放大算法的模板匹配法进行振动测量时，所提出的优化算法可以实现对振动测量计算流程中的多个可调参数实现自动优化并实现振动测量效果的自动优化。其中，振动测量计算中，本发明使用结合自适应边框裁剪算法的模板匹配法，把像素振动变化拆分为三部分，对图像依次进行拆分裁剪计算，可以实现背景噪声过滤以及减少计算量等优势功能。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (7)

1.一种用于桥梁振动测量的欧拉运动放大效果评估方法，其特征在于，所述评估方法包括：

步骤1，对待测桥梁结构的图像序列分别进行欧拉运动放大处理以及边缘检测处理；

步骤2，等间距选取设定张数的图像，并对各张图像的放大前图像矩阵以及放大后的图像矩阵分别进行二值化处理后得到矩阵B和矩阵C；

步骤3，计算矩阵B和矩阵的余弦相似度矩阵，选取所述余弦相似度矩阵的每行中的最大值组成序列Ki，并得到对应的最大值位置序列di；

步骤4，基于序列Ki、序列di以及欧拉运动放大算法的参数计算得到每张图像的衡量结构振动测量效果的指标DI，计算每张图像的指标DI的和作为最终计算得到的振动测量效果的评估指标；

所述指标DI的计算公式为：

；

其中，n为向量个数；为欧拉运动放大算法的放大因子，A为放大因子标准化系数；m是经过边缘检测之后图像边缘的像素高度，D为描述相邻行向量最大匹配特征值的向量位置的连续性指标；和分别为欧拉运动放大算法中的滤波频率下限和上限；为矩阵B的第i行向量；为矩阵C的第i行向量；

所述描述相邻行向量最大匹配特征值的向量位置的连续性指标D的计算公式为：

;

其中，；

。

2.根据权利要求1所述的评估方法，其特征在于，所述步骤1中进行欧拉运动放大处理的过程包括：

步骤101，对所述图像序列中每张图像进行空间域分解，包括：对图像进行次下采样，得到+1阶图像金字塔；对+1阶图像金字塔，从顶层开始，依次选取相邻的两阶金字塔图像，对所选两阶金字塔图像中的上层图像矩阵进行上采样然后与下层图像矩阵进行矩阵相减，得到拉普拉斯图像金字塔；

步骤102，进行时间域滤波，包括：依次对每张所述图像金字塔中的每个像素点在时域上使用理想带通滤波器基于频带进行滤波；

步骤103，对视频进行放大和重构，包括：对滤波后的所述图像金字塔，从底层图像开始，对所述图像金字塔逐级进行倍放大以及上采样处理后，叠加至上一层图像金字塔，直至底层金字塔图像。

3.一种用于桥梁振动测量的欧拉运动放大效果优化方法，所述自动优化方法基于权利要求1-2任一项所述的评估方法，其特征在于，所述优化方法包括：

步骤1'，初始化生成矩阵A，所述矩阵A包括：6列数值分别表示欧拉运动放大算法和边缘检测算法的参数、、T1、T2、 ，1列数值表示滤波器模板序号，1列数值表示基于同一行的欧拉运动放大算法的参数计算得到的所述指标DI；T1和T2分别表示边缘检测的上下限阈值；

步骤2'，在所述矩阵A中以相同的所述滤波器模板序号为一群数据，在各群数据中选择所述指标DI最大时对应的一行向量作为该群的最优参数Gi_best(j)；i表示滤波器模板的序号，i=1，2，…，nT；j表示矩阵A中的6个参数和滤波器模板的序号，j=1，2，…，7;

步骤3'，基于设置的自反省参数c对所述矩阵A的参数进行更新，基于所述步骤2'中得到的每个种群的最优参数对应的滤波器模板序号对所述矩阵A中各行的滤波器模板序号进行更新，生成更新后的矩阵A'；

步骤4'，比较所述矩阵A和所述矩阵A'中各行的DI指标，选取所述DI指标大时的对应的各行数据组成矩阵A’’，在所述矩阵A’’的各群数据中选择所述指标DI最大时对应的一行向量作为该群的最优参数Gi_best(j)'，并在该最优参数列中选取全局最优参数Gbest；

步骤5'，基于最优参数列对所述矩阵A’’进行随机更新后得到矩阵A’’’，判断是否满足迭代循环的终止条件，是则输出当前DI指标值最大时对应的一行参数向量，否则执行步骤6'；

步骤6'，在迭代次数为设定的重组周期T的整数数倍时随机打乱所述矩阵A’’’，重新执行步骤2'-步骤4'；

所述步骤3'中对所述矩阵A的6列参数进行更新的公式为：

=c*+r*(Gi_best(j)-)；

其中，i=1，2，…，n；j=1，2，…，6，和分别表示矩阵A和矩阵A'中第i行第j列的参数的值，r表示0至1范围内的随机数；

对所述矩阵A的滤波器模板序号进行更新的公式为:

= Gibest(7)。

4.根据权利要求3所述的优化方法，其特征在于，所述步骤1'之前还包括：

步骤0'，设置优化参数限制条件，包括：参数、、T1、T2、 的最大值和最小值大小；设置算法迭代参数，包括：参数子集个数n、参数重组周期T以及自反省参数c；设置迭代循环的终止条件，包括：设置最大迭代次数genmax；

所述步骤1'-步骤4'进行参数更新的过程中，必须满足所述优化参数限制条件。

5.根据权利要求3所述的优化方法，其特征在于，所述步骤5'中基于最优参数列对所述A’’进行随机更新后得到矩阵A’’’；

其中，对所述矩阵A’’的6列参数进行更新的公式为：

；

和分别表示矩阵A’’和矩阵A’’’中第i行第j列的参数的值；i=1，2，…，n；j=1，2，…，6；r1、r2、r3∈rand(0,1)；

对所述矩阵A’’的滤波器模板的序号进行更新的公式为：

= G_best(7)。

6.根据权利要求3所述的优化方法，其特征在于，所述步骤6'之后还包括：

步骤7'，根据所输出的参数向量对图像序列分别进行欧拉运动放大处理以及Canny边缘检测处理，基于视频序列经过处理后得到的边缘图像序列进行结构特征部位像素振动计算，并把计算得到的像素振动时程信号通过比例因子转化得到结构振动时程信号，实现结构振动测量。

7.根据权利要求6所述的优化方法，其特征在于，所述步骤7'中使用结合自适应边框裁剪算法的模板匹配法对边缘图像序列进行像素振动计算，包括：

步骤701'，结构特征区域初步框选，包括：使用全为1的卷积核对结构进行卷积计算，选出卷积计算数值最小的点为结构特征部位中心点，并以该点为中心根据卷积核的尺寸大小对结构进行初步裁剪，分别计算裁剪前图像的尺寸与裁剪后图像的尺寸分别在图像高度以及宽度上的差值，分别计算得到和；和分别为结构特征区域初步框选步骤中计算得到的前后两帧图像的像素特征区域在图像高度上以及图像宽度上的相对变化；

步骤702'，自适应边框裁剪，包括高度裁剪和宽度裁剪；

所述高度裁剪的过程包括：使用全为1的卷积核进行卷积计算，并且该卷积核的尺寸小于所述步骤701'中的卷积核尺寸，计算公式为：

d为边框裁剪变化区域在高度上的范围；h为卷积核模板的高度尺寸；：全为1的卷积模板；为裁剪后图像矩阵的第i行至第i+h行；：全为1的卷积核与裁剪后的图像矩阵的第i行至第i+h行向量卷积计算得到的数值；为卷积数值结果在图像高度方向的变化梯度；为自适应边框裁剪步骤中计算得到的前后两帧图像的像素特征区域在图像高度上的相对变化；

所述宽度裁剪的过程包括：使用全为1的卷积核进行卷积计算，并且该卷积核的尺寸小于所述步骤701'中的卷积核尺寸，计算公式为：

L为边框裁剪变化区域在宽度上的范围；l为卷积核模板的宽度尺寸；：裁剪后图像矩阵的第i列至第i+h列；：全为1的卷积核与裁剪后的图像矩阵的第i列至第i+h列向量卷积计算得到的数值；：卷积数值结果在图像高度方向的变化梯度；为自适应边框裁剪步骤中计算得到的前后两帧图像的像素特征区域在图像宽度上的相对变化；

步骤703'，模板匹配计算，包括：沿时间序列方向，依次选取相邻的两帧自适应边框裁剪处理后的图像进行补零匹配计算，计算得到和；和分别为模板匹配计算步骤中计算得到的前后两帧图像的像素特征区域在图像高度上以及图像宽度上的相对变化；

步骤704'，计算像素振动总变化和为：

；

。

Images