CN114821415B - 基于机器学习的视频微振动放大校准和实时提取方法 - Google Patents

基于机器学习的视频微振动放大校准和实时提取方法 Download PDF

Info

Publication number
CN114821415B
CN114821415B CN202210436023.1A CN202210436023A CN114821415B CN 114821415 B CN114821415 B CN 114821415B CN 202210436023 A CN202210436023 A CN 202210436023A CN 114821415 B CN114821415 B CN 114821415B
Authority
CN
China
Prior art keywords
vibration
video
time
course data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210436023.1A
Other languages
English (en)
Other versions
CN114821415A (zh
Inventor
张龑
刘毅
李松辉
谷昀
刘勋楠
雒翔宇
韩莎莎
薛圆月
胡俊华
袁宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute of Water Resources and Hydropower Research
Original Assignee
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute of Water Resources and Hydropower Research filed Critical China Institute of Water Resources and Hydropower Research
Priority to CN202210436023.1A priority Critical patent/CN114821415B/zh
Publication of CN114821415A publication Critical patent/CN114821415A/zh
Application granted granted Critical
Publication of CN114821415B publication Critical patent/CN114821415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于机器学习的视频微振动放大校准和实时提取方法，其包括以下步骤：获取微振动信息；选取敏感点并布置振动传感器；同时获取振动传感器的时程数据和敏感点的视频时程数据；对视频时程数据进行校准并获取校准后的相位信息放大参数；通过校准后的相位信息放大参数对被监测结构的视频时程数据中未设置振动传感器的测点的相位信息进行放大；通过完成基于机器学习的视频微振动放大校准的视频时程数据对卷积神经网络进行训练，得到训练后的卷积神经网络；采用训练后的卷积神经网络对目标对象的视频时程数据进行振动信息实时提取。本发明通过训练后的卷积神经网络可以直接对视频的振动信息进行实时提取，便于水工结构运行状态监测。

Description

基于机器学习的视频微振动放大校准和实时提取方法
技术领域
本发明涉及振动传感领域，具体涉及一种基于机器学习的视频微振动放大校准和实时提取方法。
背景技术
传统的振动传感技术(如激光、线性可变差动变压器)在过去二十年中已广泛应用于我国结构健康监测领域。虽然这些技术能够高精度地测量振动位移、加速度以及速度时程，但仍存在一些明显的缺陷，比如需要点对点接触传感，就限制了其在实际问题中的适用性。在基于动力特性的水工结构安全监测领域，以往需要布置振动传感器在水工结构上(如泄洪孔、闸门、消力池底板、导墙)，然而在部分结构上布置传感器时不但需要停止泄洪，而且测点位置多在人工作业危险区域。由于低价格、灵活性、高空间分辨率和非接触式等优点，通过摄像机进行结构健康监测在过去几年逐渐开始应用，但是一般采用的是目标跟踪方法、模板匹配等，这些方法要求在被监测结构布置参考标记或者示踪参考物，根据参考点或者参考物的运动轨迹提取结构运行信息。首先，这种方法并未完全脱离点对点的监测，只是将传感器换成了参考点和摄像机，其次，参考点的布置多在能够反映结构振动特性或者容易出现问题的地点，需要大量工程经验。此外，结构振动多是微幅振动，当运动非常小时，许多方法都难以提取结构运行信息。
且在本领域大多数现有的研究中，采用神经网络进行微振动提取时，神经网络是用人工合成的数据集训练的。然而，由于无法在这些训练数据中精确地生成两帧之间亚像素级的细微振动，使得训练神经网络的高端点误差(如多个像素)限制了精确时程提取的应用。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于机器学习的视频微振动放大校准和实时提取方法可以无接触的实时提取目标对象的微振动。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于机器学习的视频微振动放大校准和实时提取方法，其包括以下步骤：
S1、获取被监测结构的视频时程数据，对视频时程数据中的相位信息进行放大，得到微振动信息；
S2、基于微振动信息，选取振动位移标准差最大的N个位置、反应结构振型的测点和异常测点作为敏感点，并在敏感点处布置振动传感器；
S3、同时获取振动传感器的时程数据和振动传感器所在敏感点的视频时程数据；将振动传感器所在敏感点的视频时程数据作为初始参数；
S4、以初始参数为输入、振动传感器的时程数据为目标，对初始参数进行校准，根据校准前后的初始参数获取校准后的相位信息放大参数；
S5、通过校准后的相位信息放大参数对被监测结构的视频时程数据中未设置振动传感器的测点的相位信息进行放大，完成基于机器学习的视频微振动放大校准；
S6、通过完成基于机器学习的视频微振动放大校准的视频时程数据对卷积神经网络进行训练，得到训练后的卷积神经网络；
S7、采用训练后的卷积神经网络对目标对象的视频时程数据进行振动信息实时提取。
进一步地，步骤S1的具体方法包括以下子步骤：
S1-1、架设视频拍摄设备和灯光设备，对被监测结构进行视频拍摄，得到视频时程数据；
S1-2、确定视频的放大倍数和需要放大的视频频带；
S1-3、对需要放大的视频频带的每一帧进行复可控金字塔分解，得到局部相位信息；
S1-4、将时域相邻视频帧的局部相位信息发送到设定频域的时域带通滤波器，得到滤波后的相位数据；
S1-5、根据采集到的视频质量、振幅和相位，通过振幅加权空间平滑滤波器增加滤波后的相位数据的信噪比值，得到预处理后的相位数据；
S1-6、采用交叉小波变换对预处理后的相位数据进行降噪，得到降噪后的相位数据；
S1-7、根据降噪后的相位数据获取时域相邻视频帧的相位差，并根据放大倍数对相位信息进行放大；
S1-8、基于放大后的相位差对相邻视频帧的相位进行修正，基于修正相位后的视频帧数据，通过复可控金字塔重构进行视频合成，得到放大后的视频时程数据；
S1-9、获取放大后的视频时程数据的振动信息，得到微振动信息。
进一步地，步骤S1-7中根据放大倍数对相位信息进行放大的具体方法包括正向放大和反向放大；
正向放大：当相位差大于设定阈值时，将该相位差乘以放大倍数；
反向放大：当相位差小于设定阈值时，将该相位差信号除以放大倍数。
进一步地，步骤S2的具体方法包括以下子步骤：
S2-1、基于微振动信息，获取每个点位的振动位移标准差，选择振动位移标准差最大的N个位置；
S2-2、获取每个点位的前四阶振型，将出现振型波动的测点作为反应结构振型的测点；
S2-3、将自振频率大于或小于其平均自振频率10％的点位作为异常测点；
S2-4、将振动位移标准差最大的N个位置、反应结构振型的测点和异常测点作为敏感点，并在敏感点处布置振动传感器。
进一步地，步骤S4的具体方法包括以下子步骤：
S4-1、分别对振动传感器的时程数据和振动传感器所在敏感点的视频时程数据进行能量分解，对应得到振动传感器的时程数据的振动频率分量和视频时程数据的振动频率分量；
S4-2、对视频时程数据的振动频率分量和振动传感器的时程数据的振动频率分量分别进行线性振动频率分量与非线性振动频率分量划分；
S4-3、对视频时程数据的线性振动频率分量进行幅值拟合，使拟合后的视频时程数据的振动频率分量的振动能量与振动传感器的时程数据的线性振动频率分量的振动能量相同；
S4-4、分别对拟合后的视频时程数据的线性振动频率分量进行逆Fourier变换，对应得到能量线性校准后的视频信号振动时程数据；
S4-5、分别对视频时程数据的非线性振动频率分量、振动传感器的时程数据的非线性振动频率分量进行相加重构，并对应获取相加重构后视频时程数据的非线性振动频率分量对应的振动标准差，相加重构后振动传感器的时程数据的线性振动频率分量的振动标准差；
S4-6、将视频时程数据的非线性振动频率分量的时程数据和相加重构后视频时程数据的非线性振动频率分量对应的振动标准差分别作为待校准对象；将振动传感器的时程数据的非线性振动频率分量的时程数据和相加重构后振动传感器的时程数据的线性振动频率分量的振动标准差作为校准终点，采用BP神经网络获取对应的能量校准公式；采用能量校准公式对视频时程数据的非线性振动频率分量进行校准，得到能量非线性校准后的视频信号振动时程数据；
S4-7、将能量线性校准后的视频信号振动时程数据和能量非线性校准后的视频信号振动时程数据进行重构，得到校准后的初始参数；
S4-8、基于校准前的初始参数和校准后的初始参数，通过反分析方法校准相位信息放大过程中参数，得到校准后的相位信息放大参数。
进一步地，步骤S4-2的具体方法为：
设定出现频率峰值的数量阈值，若时程数据的振动频率分量中频率峰值的数量超过该设定的数量阈值，则将该时程数据的振动频率分量划分为非线性振动频率分量；否则划分为线性振动频率分量。
进一步地，步骤S6的具体方法为：
构建卷积神经网络，将完成基于机器学习的视频微振动放大校准的视频时程数据的振动数据作为真实标签，将完成基于机器学习的视频微振动放大校准的视频时程数据对应的原始视频时程数据作为卷积神经网络的输入，对卷积神经网络进行训练，得到训练后的卷积神经网络。
进一步地，步骤S7的具体方法为：
选取目标对象的一帧图像作为参考帧，通过卷积神经网络获取目标对象的视频帧与参考帧之间的运动场，将运动场的运动幅值添加水平和垂直方向上的全场位移，进而得到目标对象的微振动数据。
本发明的有益效果为：
1、本发明通过视频非接触方式和布置接触式振动传感器相结的方式构建水工结构运行状态数据集，通过构建的数据集对卷积神经网络进行训练，通过训练后的卷积神经网络可以直接对视频的振动信息进行实时提取，实现快速高效微振动获取，便于水工结构运行状态监测。
2、本发明的训练数据由真实数据校准而来，本发明通过提取的局部精确振幅和局部相位来提取可靠的全域时程，作为基于真实视频的训练数据生成的一种方法，可以精确地生成两帧之间亚像素级的细微振动，进而使得本方法的精度更高。
附图说明
图1为本方法的流程示意图；
图2为实施例中某拱坝平面示意图；
图3为一阶振型波动俯视图；
图4为二阶振型波动俯视图；
图5为三阶振型波动俯视图；
图6为四阶振型波动俯视图；
图7为一阶振型波动剖面图；
图8为对时程数据进行分解后的振动模拟示意图；
图9为BP神经网络的非线性能量校准示意图；
图10为卷积神经网络的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于机器学习的视频微振动放大校准和实时提取方法包括以下步骤：
S1、获取被监测结构的视频时程数据，对视频时程数据中的相位信息进行放大，得到微振动信息；
S2、基于微振动信息，选取振动位移标准差最大的N个位置、反应结构振型的测点和异常测点作为敏感点，并在敏感点处布置振动传感器；
S3、同时获取振动传感器的时程数据和振动传感器所在敏感点的视频时程数据；将振动传感器所在敏感点的视频时程数据作为初始参数；
S4、以初始参数为输入、振动传感器的时程数据为目标，对初始参数进行校准，根据校准前后的初始参数获取校准后的相位信息放大参数；
S5、通过校准后的相位信息放大参数对被监测结构的视频时程数据中未设置振动传感器的测点的相位信息进行放大，完成基于机器学习的视频微振动放大校准；
S6、通过完成基于机器学习的视频微振动放大校准的视频时程数据对卷积神经网络进行训练，得到训练后的卷积神经网络；
S7、采用训练后的卷积神经网络对目标对象的视频时程数据进行振动信息实时提取。
步骤S1的具体方法包括以下子步骤：
S1-1、架设视频拍摄设备和灯光设备，对被监测结构进行视频拍摄，得到视频时程数据；
S1-2、确定视频的放大倍数和需要放大的视频频带；
S1-3、对需要放大的视频频带的每一帧进行复可控金字塔分解，得到局部相位信息；
S1-4、将时域相邻视频帧的局部相位信息发送到设定频域的时域带通滤波器，得到滤波后的相位数据；
S1-5、根据采集到的视频质量、振幅和相位，通过振幅加权空间平滑滤波器增加滤波后的相位数据的信噪比值，得到预处理后的相位数据；
S1-6、采用交叉小波变换对预处理后的相位数据进行降噪，得到降噪后的相位数据；
S1-7、根据降噪后的相位数据获取时域相邻视频帧的相位差，并根据放大倍数对相位信息进行放大；
S1-8、基于放大后的相位差对相邻视频帧的相位进行修正，基于修正相位后的视频帧数据，通过复可控金字塔重构进行视频合成，得到放大后的视频时程数据；
S1-9、获取放大后的视频时程数据的振动信息，得到微振动信息。
骤S1-7中根据放大倍数对相位信息进行放大的具体方法包括正向放大和反向放大；
正向放大：当相位差大于设定阈值时，将该相位差乘以放大倍数；
反向放大：当相位差小于设定阈值时，将该相位差信号除以放大倍数。
步骤S2的具体方法包括以下子步骤：
S2-1、基于微振动信息，获取每个点位的振动位移标准差，选择振动位移标准差最大的N个位置；
S2-2、获取每个点位的前四阶振型，将出现振型波动的测点作为反应结构振型的测点；
S2-3、将自振频率大于或小于其平均自振频率10％的点位作为异常测点；
S2-4、将振动位移标准差最大的N个位置、反应结构振型的测点和异常测点作为敏感点，并在敏感点处布置振动传感器。N的取值可以为2或3。
步骤S4的具体方法包括以下子步骤：
S4-1、分别对振动传感器的时程数据和振动传感器所在敏感点的视频时程数据进行能量分解，对应得到振动传感器的时程数据的振动频率分量和视频时程数据的振动频率分量；
S4-2、对视频时程数据的振动频率分量和振动传感器的时程数据的振动频率分量分别进行线性振动频率分量与非线性振动频率分量划分；
S4-3、对视频时程数据的线性振动频率分量进行幅值拟合，使拟合后的视频时程数据的振动频率分量的振动能量与振动传感器的时程数据的线性振动频率分量的振动能量相同；
S4-4、分别对拟合后的视频时程数据的线性振动频率分量进行逆Fourier变换，对应得到能量线性校准后的视频信号振动时程数据；
S4-5、分别对视频时程数据的非线性振动频率分量、振动传感器的时程数据的非线性振动频率分量进行相加重构，并对应获取相加重构后视频时程数据的非线性振动频率分量对应的振动标准差，相加重构后振动传感器的时程数据的线性振动频率分量的振动标准差；
S4-6、将视频时程数据的非线性振动频率分量的时程数据和相加重构后视频时程数据的非线性振动频率分量对应的振动标准差分别作为待校准对象；将振动传感器的时程数据的非线性振动频率分量的时程数据和相加重构后振动传感器的时程数据的线性振动频率分量的振动标准差作为校准终点，采用BP神经网络获取对应的能量校准公式；采用能量校准公式对视频时程数据的非线性振动频率分量进行校准，得到能量非线性校准后的视频信号振动时程数据；
S4-7、将能量线性校准后的视频信号振动时程数据和能量非线性校准后的视频信号振动时程数据进行重构，得到校准后的初始参数；
S4-8、基于校准前的初始参数和校准后的初始参数，通过反分析方法校准相位信息放大过程中参数，得到校准后的相位信息放大参数。
步骤S4-2的具体方法为：设定出现频率峰值的数量阈值，若时程数据的振动频率分量中频率峰值的数量超过该设定的数量阈值，则将该时程数据的振动频率分量划分为非线性振动频率分量；否则划分为线性振动频率分量。
步骤S6的具体方法为：构建卷积神经网络，将完成基于机器学习的视频微振动放大校准的视频时程数据的振动数据作为真实标签，将完成基于机器学习的视频微振动放大校准的视频时程数据对应的原始视频时程数据作为卷积神经网络的输入，对卷积神经网络进行训练，得到训练后的卷积神经网络。
步骤S7的具体方法为：选取目标对象的一帧图像作为参考帧，通过卷积神经网络获取目标对象的视频帧与参考帧之间的运动场，将运动场的运动幅值添加水平和垂直方向上的全场位移，进而得到目标对象的微振动数据。
在本发明的一个实施例中，以图2所示的某拱坝为监测对象，利用视频监测时程数据计算出的结构前四阶阵型分别如图3、图4、图5、图6和图7所示，根据振型结果，选择B1～B11测点布置振动传感器。
在布置振动传感器过程中，可以通过模糊数学信息融合决策方法，建立振动传感器测点采集数据、视频提取的振动数据与结构动力的模糊数学信息融合决策模型，在训练过程中逐渐减少不同位置的振动传感器和视频数据，通过训练模型，自适应寻求传感器和视频设备最优布置方式。进行决策是根据模糊数学理论，根据已知的结构振型和结构损伤位置的实测数据，考虑不同传感器测点指标对最终判定结果的贡献，向更具影响的评价指标赋予更高的权重，采用隶属度法减小非重要指标对结果的影响。该方式可以减少并优化数据。
在具体实施过程中，基于相位的视频放大算法是通过处理相位来放大像素点的位移，这就要依赖于复可控金字塔算法。该算法首先将图像序列进行复可控金字塔分解，得到不同尺度、不同方向以及不同位置的子带信号，然后利用带通滤波提取感兴趣频段的相位差信号，再将提取的相位差信号进行放大处理并进行复可控金字塔重构，并与原始输入视频叠加，最终输出运动放大后的视频，实现对视频中微小运动的可视化。
复可控金字塔分解过程中，将输入视频的每一帧进行复可控金字塔分解，得到视频图像局部幅度谱与局部相位谱。其主要目的是保证局部的微小相位处理等效于局部的运动处理。除了复可控金字塔分解的高通残差与低通残差，中间的不同尺度与不同方向的分解得到的相位是核心处理的对象。高通残差与低通残差则在最终金字塔重建视频合成输出时被利用。
根据得到的局部相位谱计算相位差，并进行相位解缠绕处理，然后时域带通滤波，提取感兴趣频段内的相位差信号。通过复可控金字塔分解得到的子带序列中包含不同频率的相位差信号，其中感兴趣的运动往往在某个频段内，通过人工设置频带范围，可以利用典型的带通滤波器便可提取感兴趣的相位差，例如，线性相位FIR(Finite impulseresponse)带通滤波器以及IIR(Infinite impulse response)带通滤波器。
对于放大后的相位差数据，可以再次减弱或消除环境噪声等干扰因素的变化，确保其不随结构微振放大。
理想状态下的水流激励结构(水工结构)振动信号(时程数据)是连续和平稳的，可以通过Fourier变换表示为不同频率的谐波(正弦波或余弦波)函数的叠加，这部分振动能量也可以理解为是振动能量传递中的线性部分。小波/EEMD变换和其变换思路相似，都是用一族函数来表示一个信号或函数。因此，可以利用这一特点，选取合适的小波基函数，通过小波基函数的伸缩和平移对信号进行多尺度细化，或直接使用EEMD对信号进行分解，对分解后的线性能量部分进行校准。
如图8所示，图中imf1～imf4是时程数据中的噪声和其余受影响因素产生的高频能量，imf5～imf7是经分解后的几个结构主要振动频率。对视频时程数据和振动传感器时程数据使用相同小波基或EEMD分解，以振动传感器时程数据分解后得到的结构主要振动频率分量imf5～imf7为目标，对视频时程数据对应的相同imf分量进行幅值拟合，使得两者各频率分量的振动能量相同，再通过逆Fourier变换，将视频时程数据对应的imf频谱分量分别转换为振动时程数据。
噪声和其余受影响因素产生的高频能量虽然对于结构模态参数的分析来说理应剔除，然而这部分能量对结构振幅是有影响的。因此，本方法接下来需要对这部分振动能量进行校准。这部分能量已经不能通过振动传递的理论进行解释，但是可以根据振幅变化规律，构建机器学习模型进行训练校准。还是以图8的模拟信号为例，将视频时程数据对应的imf1～imf4分量的时程数据以及将imf1～imf4重构后的振动标准差作为输入，将相应的传感器振动时程分量和重构后振动标准差作为输出，建立如图9所示的BP神经网络训练模型，进行非线性振动能量校准。
最后，将经过校准的视频时程数据对应的imf1～imf4分量时程数据与逆Fourier变换后的imf5～imf7时程数据分量进行重构，即可得到校准后的视频微振动放大信号。
在本发明的一个实施例中，卷积神经网络的结构如图10所示，该卷积神经网络将真实标签(或参考帧)和原始视频数据(或目标对象的视频帧)分别作为输入，在分别经历4次正卷积和3次反卷积获取帧的运动场，然后将运动场拼接形成运动幅值，得到全域运动场(full motion field)。获取当前视频帧的位移(texture mask)，将其转换为水平方向位移(horizontal)和竖直方向位移(vertical)，将水平方向位移和竖直方向位移添加在全域运动场中，得到目标对象的微振动数据。图10中Conv表示正卷积，Deconv表示反卷积。
综上所述，本发明通过视频非接触方式和布置接触式振动传感器相结的方式构建水工结构运行状态数据集，通过构建的数据集对卷积神经网络进行训练，通过训练后的卷积神经网络可以直接对视频的振动信息进行实时提取，实现快速高效微振动获取，便于水工结构运行状态监测。

Claims (6)

1.一种基于机器学习的视频微振动放大校准和实时提取方法，其特征在于，包括以下步骤：
S1、获取被监测结构的视频时程数据，对视频时程数据中的相位信息进行放大，得到微振动信息；
S2、基于微振动信息，选取振动位移标准差最大的N个位置、反应结构振型的测点和异常测点作为敏感点，并在敏感点处布置振动传感器；
S3、同时获取振动传感器的时程数据和振动传感器所在敏感点的视频时程数据；将振动传感器所在敏感点的视频时程数据作为初始参数；
S4、以初始参数为输入、振动传感器的时程数据为目标，对初始参数进行校准，根据校准前后的初始参数获取校准后的相位信息放大参数；
S5、通过校准后的相位信息放大参数对被监测结构的视频时程数据中未设置振动传感器的测点的相位信息进行放大，完成基于机器学习的视频微振动放大校准；
S6、通过完成基于机器学习的视频微振动放大校准的视频时程数据对卷积神经网络进行训练，得到训练后的卷积神经网络；
S7、采用训练后的卷积神经网络对目标对象的视频时程数据进行振动信息实时提取；
步骤S4的具体方法包括以下子步骤：
S4-1、分别对振动传感器的时程数据和振动传感器所在敏感点的视频时程数据进行能量分解，对应得到振动传感器的时程数据的振动频率分量和视频时程数据的振动频率分量；
S4-2、对视频时程数据的振动频率分量和振动传感器的时程数据的振动频率分量分别进行线性振动频率分量与非线性振动频率分量划分；
S4-3、对视频时程数据的线性振动频率分量进行幅值拟合，使拟合后的视频时程数据的振动频率分量的振动能量与振动传感器的时程数据的线性振动频率分量的振动能量相同；
S4-4、分别对拟合后的视频时程数据的线性振动频率分量进行逆Fourier变换，对应得到能量线性校准后的视频信号振动时程数据；
S4-5、分别对视频时程数据的非线性振动频率分量、振动传感器的时程数据的非线性振动频率分量进行相加重构，并对应获取相加重构后视频时程数据的非线性振动频率分量对应的振动标准差，相加重构后振动传感器的时程数据的线性振动频率分量的振动标准差；
S4-6、将视频时程数据的非线性振动频率分量的时程数据和相加重构后视频时程数据的非线性振动频率分量对应的振动标准差分别作为待校准对象；将振动传感器的时程数据的非线性振动频率分量的时程数据和相加重构后振动传感器的时程数据的线性振动频率分量的振动标准差作为校准终点，采用BP神经网络获取对应的能量校准公式；采用能量校准公式对视频时程数据的非线性振动频率分量进行校准，得到能量非线性校准后的视频信号振动时程数据；
S4-7、将能量线性校准后的视频信号振动时程数据和能量非线性校准后的视频信号振动时程数据进行重构，得到校准后的初始参数；
S4-8、基于校准前的初始参数和校准后的初始参数，通过反分析方法校准相位信息放大过程中参数，得到校准后的相位信息放大参数；
步骤S7的具体方法为：
选取目标对象的一帧图像作为参考帧，通过卷积神经网络获取目标对象的视频帧与参考帧之间的运动场，将运动场的运动幅值添加水平和垂直方向上的全场位移，进而得到目标对象的微振动数据。
2.根据权利要求1所述的基于机器学习的视频微振动放大校准和实时提取方法，其特征在于，步骤S1的具体方法包括以下子步骤：
S1-1、架设视频拍摄设备和灯光设备，对被监测结构进行视频拍摄，得到视频时程数据；
S1-2、确定视频的放大倍数和需要放大的视频频带；
S1-3、对需要放大的视频频带的每一帧进行复可控金字塔分解，得到局部相位信息；
S1-4、将时域相邻视频帧的局部相位信息发送到设定频域的时域带通滤波器，得到滤波后的相位数据；
S1-5、根据采集到的视频质量、振幅和相位，通过振幅加权空间平滑滤波器增加滤波后的相位数据的信噪比值，得到预处理后的相位数据；
S1-6、采用交叉小波变换对预处理后的相位数据进行降噪，得到降噪后的相位数据；
S1-7、根据降噪后的相位数据获取时域相邻视频帧的相位差，并根据放大倍数对相位信息进行放大；
S1-8、基于放大后的相位差对相邻视频帧的相位进行修正，基于修正相位后的视频帧数据，通过复可控金字塔重构进行视频合成，得到放大后的视频时程数据；
S1-9、获取放大后的视频时程数据的振动信息，得到微振动信息。
3.根据权利要求1所述的基于机器学习的视频微振动放大校准和实时提取方法，步骤S1-7中根据放大倍数对相位信息进行放大的具体方法包括正向放大和反向放大；
正向放大：当相位差大于设定阈值时，将该相位差乘以放大倍数；
反向放大：当相位差小于设定阈值时，将该相位差信号除以放大倍数。
4.根据权利要求1所述的基于机器学习的视频微振动放大校准和实时提取方法，其特征在于，步骤S2的具体方法包括以下子步骤：
S2-1、基于微振动信息，获取每个点位的振动位移标准差，选择振动位移标准差最大的N个位置；
S2-2、获取每个点位的前四阶振型，将出现振型波动的测点作为反应结构振型的测点；
S2-3、将自振频率大于或小于其平均自振频率10%的点位作为异常测点；
S2-4、将振动位移标准差最大的N个位置、反应结构振型的测点和异常测点作为敏感点，并在敏感点处布置振动传感器。
5.根据权利要求1所述的基于机器学习的视频微振动放大校准和实时提取方法，其特征在于，步骤S4-2的具体方法为：
设定出现频率峰值的数量阈值，若时程数据的振动频率分量中频率峰值的数量超过该设定的数量阈值，则将该时程数据的振动频率分量划分为非线性振动频率分量；否则划分为线性振动频率分量。
6.根据权利要求1所述的基于机器学习的视频微振动放大校准和实时提取方法，其特征在于，步骤S6的具体方法为：
构建卷积神经网络，将完成基于机器学习的视频微振动放大校准的视频时程数据的振动数据作为真实标签，将完成基于机器学习的视频微振动放大校准的视频时程数据对应的原始视频时程数据作为卷积神经网络的输入，对卷积神经网络进行训练，得到训练后的卷积神经网络。
CN202210436023.1A 2022-04-24 2022-04-24 基于机器学习的视频微振动放大校准和实时提取方法 Active CN114821415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210436023.1A CN114821415B (zh) 2022-04-24 2022-04-24 基于机器学习的视频微振动放大校准和实时提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210436023.1A CN114821415B (zh) 2022-04-24 2022-04-24 基于机器学习的视频微振动放大校准和实时提取方法

Publications (2)

Publication Number Publication Date
CN114821415A CN114821415A (zh) 2022-07-29
CN114821415B true CN114821415B (zh) 2022-11-29

Family

ID=82508028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210436023.1A Active CN114821415B (zh) 2022-04-24 2022-04-24 基于机器学习的视频微振动放大校准和实时提取方法

Country Status (1)

Country Link
CN (1) CN114821415B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751073A (zh) * 2019-10-12 2020-02-04 武汉理工大学 基于分布式光纤传感和深度学习的管道早期损伤模式识别方法
WO2020156348A1 (zh) * 2019-01-31 2020-08-06 青岛理工大学 基于总体经验模态分解与卷积神经网络的结构损伤识别法
CN112254801A (zh) * 2020-12-21 2021-01-22 浙江中自庆安新能源技术有限公司 一种微小振动视觉测量方法及系统
WO2021068939A1 (zh) * 2019-10-12 2021-04-15 中科新松有限公司 一种基于多分量信号分解的机械臂关节振动识别方法
CN113447111A (zh) * 2021-06-16 2021-09-28 合肥工业大学 基于形态分量分析的视觉振动放大方法、检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019209006A1 (ko) * 2018-04-24 2019-10-31 주식회사 지디에프랩 스트리밍 파일의 해상도 개선 방법
CN110108348B (zh) * 2019-05-15 2021-04-23 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统
CN110440902B (zh) * 2019-08-29 2021-05-14 合肥工业大学 一种非接触式微小振动视觉测量方法
CN111277833B (zh) * 2020-01-20 2022-04-15 合肥工业大学 一种基于多通带滤波器的多目标微小振动视频放大方法
CN111640069B (zh) * 2020-04-17 2022-11-11 上海交通大学 基于光感知网络和相位补偿的压缩成像方法、系统和装置
CN113421224A (zh) * 2021-05-27 2021-09-21 合肥工业大学 一种基于视觉的缆索结构健康监测方法及系统
CN114187330A (zh) * 2021-11-19 2022-03-15 中山大学 一种基于光流法的结构微幅振动工作模态分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020156348A1 (zh) * 2019-01-31 2020-08-06 青岛理工大学 基于总体经验模态分解与卷积神经网络的结构损伤识别法
CN110751073A (zh) * 2019-10-12 2020-02-04 武汉理工大学 基于分布式光纤传感和深度学习的管道早期损伤模式识别方法
WO2021068939A1 (zh) * 2019-10-12 2021-04-15 中科新松有限公司 一种基于多分量信号分解的机械臂关节振动识别方法
CN112254801A (zh) * 2020-12-21 2021-01-22 浙江中自庆安新能源技术有限公司 一种微小振动视觉测量方法及系统
CN113447111A (zh) * 2021-06-16 2021-09-28 合肥工业大学 基于形态分量分析的视觉振动放大方法、检测方法及系统

Also Published As

Publication number Publication date
CN114821415A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN112254801B (zh) 一种微小振动视觉测量方法及系统
CN105424359A (zh) 一种基于稀疏分解的齿轮和轴承混合故障特征提取方法
CN104077746B (zh) 灰度图像处理方法及其装置
CN115797335B (zh) 用于桥梁振动测量的欧拉运动放大效果评估及优化方法
CN101833035A (zh) 线性调频信号参数估计方法及其实施装置
CN104931040B (zh) 基于机器学习的北斗ⅱ代导航系统电力铁塔变形监测设备安装和调试方法
CN112987099B (zh) 基于多震源卷积神经网络的低频地震数据重构方法
CN104050147A (zh) 将时域信号转换成频域信号的方法与系统
CN106969755A (zh) 一种基于水压力反演海浪波高与周期的方法
CN102914276A (zh) 三维光学测量中基于三灰阶空间脉冲宽度调制的正弦光栅构造方法
CN114812491B (zh) 基于长时间序列分析的输电线路地表形变预警方法及装置
CN112362343A (zh) 基于调频字典的齿轮箱变转速下分布型故障特征提取方法
CN115063466A (zh) 一种基于结构光与深度学习的单帧三维测量方法
CN114821415B (zh) 基于机器学习的视频微振动放大校准和实时提取方法
CN109946076B (zh) 一种加权多尺度字典学习框架的行星轮轴承故障辨识方法
CN116295790B (zh) 基于桥梁拉索特征区域帧间相位差的频率检测方法及系统
CN116363121A (zh) 一种基于计算机视觉的拉索索力检测方法、系统及装置
CN115752250A (zh) 一种融合计算机视觉及加速度的桥梁高精度位移监测方法
CN104077772A (zh) 基于模糊图像相关和分形小波插值的mems面内微运动测量方法
Guo et al. Deep learning-based adaptive mode decomposition and instantaneous frequency estimation for vibration signal
Price A comparison of Operating Deflection Shape and Motion Amplification Video Techniques for Vibration Analysis
CN107218918B (zh) 一种单摄像头测距方法
CN111198060A (zh) 一种基于局部特征尺度分解的斜拉索时变索力识别方法
CN117036454B (zh) 一种基于稠密匹配算法的构件表面位移场检测方法
CN110907993A (zh) 一种最小二乘偏移成像方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant