CN111275744A - 基于深度学习及图像处理的非接触振动频率测量方法 - Google Patents

Abstract

本发明涉及一种基于深度学习及图像处理的非接触振动频率测量方法，包括以下步骤：1）选取被测物的待测区域并提取其图像序列；2）将图像序列的第一帧输入深度卷积神经网络，将图像中的所有像素分为零值像素和非零像素；3）选择所有非零像素为有效像素，并将其坐标存储成列表，用于振动信号提取；4）对于图像序列中的每个图像，采用光流法先将其转为亮度信号，再提取每个有效像素的速度信号时程；5）对所有有效像素的速度信号时程进行平均及归一化处理；6）通过傅里叶变换进行功率谱密度估计，得到功率谱密度，并通过峰值拾取法获得频率组成，得到非接触振动频率测量结果。该方法有利于提高非接触振动频率测量的效率和精确度。

Description

基于深度学习及图像处理的非接触振动频率测量方法

技术领域

本发明属于振动频率测量技术领域，具体涉及一种基于深度学习及图像处理的非接触振动频率测量方法。

背景技术

振动频率测量是许多工程实践的重要环节。振动频率测量广泛应用在机械工程及土木工程领域。有如，大型土木结构的健康监测系统，无损检测系统，机械设备运维监测等。如今振动测量方法多要将传感器附于被测量的目标物体上，接触式测量发展至今已有广泛的应用且有着较高的精度，如加速传感器，速度传感器，应变计等。但使用传统接触式器安装过程复杂，需要供电线、信号线的安装及部署，在一些不易接触到的被测物处将很难进行安装和测量。此外接触式传感器会对那些质量很小或很薄的被测物引入额外质量，引入测量误差甚至无法进行测量。因此非接触式的光流法自诞生起就受到了充分的关注，并且持续不断地有新的应用及改进的方法出现。该方法可以分析出图像序列中特定位置像素的亮度变化。该方法被广泛的应用在运动跟踪、运动预测、运动识别、图像压缩等场景。近年，光流法在视觉测量方面也有所应用，但就算使用了基于经典光流法改进后的更加先进光流法，有效像素的选择对测量结果仍旧有很大的影响，因此有效像素的选择对于基于光流法的视觉测量应用于实际生产起着十分关键的作用。

近年，随着图像处理单元及计算机技术的发展，深度学习方法使得在机器视觉领域的许多问题取得了革命性的进展。大量研究力量投入到深度学习领域并取得了很多成果来提升、完善深度学习方法的性能。如，自归一网络、线性整流单元、批量归一化等。深度学习方法已经在机器视觉的诸多任务中取得了显著的成果，如视觉识别、图像超分辨率、损伤检测等。

发明内容

本发明的目的在于提供一种基于深度学习及图像处理的非接触振动频率测量方法，该方法有利于提高非接触振动频率测量的效率和精确度。

为实现上述目的，本发明采用的技术方案是：一种基于深度学习及图像处理的非接触振动频率测量方法，包括以下步骤：

1)获取被测物的图像序列，在此基础上，选取被测物的待测区域，然后提取待测区域的图像序列；

2)将所述图像序列的第一帧图像输入训练好的深度卷积神经网络，将图像中的所有像素分为零值像素和非零像素；

3)选择所有非零像素对应的位置为有效像素，并将有效像素的坐标存储成列表，用于振动信号提取；

4)对于图像序列中的每个图像，采用光流法先将其转为亮度信号，再提取每个有效像素的速度信号时程，即每个有效像素的振动信号；

5)对所有有效像素的速度信号时程进行平均及归一化处理；

6)通过傅里叶变换对步骤5)处理后的信号进行功率谱密度估计，得到功率谱密度，并通过峰值拾取法获得频率组成，得到非接触振动频率测量结果。

进一步地，所述深度卷积神经网络的输入层输入所述图像序列的第一帧图像，输出层输出零值像素和非零像素两个类别，隐含层由四层二维卷积层和两个全连接层组成，每一个二维卷积层均包含一个线性整流函数以作为激活函数，激活函数之后跟着一个局部响应标准化层以及一个最大池化层，全连接层将前一层的所有输入进行连接；将隐含层的输出激活输入柔性最大激活函数，从而在输出层得到每一分类对应标记的概率分布；然后通过最小化带有附加正则项的柔性最大激活函数损失方程来优化整个网络的可训练参数，通过反复迭代训练，完成对深度卷积神经网络的训练；所述带有附加正则项的柔性最大激活函数损失方程为：

其中，L_PS表示正值共享损失，l是输入的分类标签，Γ(l＝j)表示第j个非零分类的指示函数，W为用于控制正值共享损失函数的正值共享行为的权重参数，以通过调整W，使上述方程的表现更趋近于柔性最大激活函数损失方程或二分类器；柔性最大激活函数损失方程的表达式为：

L_SM＝-∑Γ(l＝j)logσ(ο_j)

其中，L_SM表示SoftMax损失，σ(o_j)是第j个非零分类标记的概率分布，K是所有非0分类标签总数。

进一步地，采用光流法提取图像中有效像素的振动信号的方法为：

在带有亮度信息的单通道图像中，将像素的亮度值存储为一个带有x和y坐标的二维量，即表示为B(x，y)，且在图像序列中每一帧的亮度信号又是一个关于时间t的信号，因此，将每一帧图像中像素的亮度信号表示为B(x，y，t)；

对于无限小的时间变化Δt，对应的亮度变化也趋近于0，即：

应用链公式得到：

令

u和v分别表示像素在x和y方向上的速度流，代入可得：

B_xu+B_yv+B_t＝0

其中B_x、B_y、B_t分别表示亮度值对于x、y、t的偏微分；

通过平滑性假设引入一个附加约束，所述平滑性假设是指亮度值于整张图像是平滑变化的，即图像中像素点的u和v相对于周边像素的对应值不会发生突变，采用

来度量u和v偏离平滑假设的程度，采用E_b表示亮度约束误差的总合：

E_b＝B_xu+B_yv+B_t

同时考虑上述两个约束的情况下，将两假设的总偏离度表示为：

其中，E为所要最小化的总偏离度，α为权重系数，当α较大时，u和v的全局平滑性有着更高的权重，反之相反；从上述公式推出以下迭代方程：

式中，

分别表示第n+1次迭代后像素(x，y)在x、y方向上的速度流；从而通过迭代求得每个有效像素的u和v的值。

相较于现有技术，本发明具有以下有益效果：克服传统接触式振动测量方法的不足，提供一种基于深度学习及图像处理的非接触振动频率测量方法，该方法直接使用原始图像，而不需要进行图像或信号的预处理，更重要的是，该方法结合了深度卷积神经网络和光流法，采用深度卷积神经网络从待测图像中提取有效像素，然后采用光流法从有效像素中提取振动信号，实现了全流程自动化，不需要人工调整参数，从而自动、高效地实现了无目标非接触振动频率测量，并提高了测量精确度。该方法可广泛应用于大型土木结构监测、目标跟踪、运动预测、精密加工、航空航天工程等领域，具有很强的实用性和广阔的应用前景。

附图说明

图1是本发明的方法实现流程图。

图2是本发明实施例中现场实验布局图。

图3是本发明实施例中现场实验的相机视场图。

图4是本发明实施例中桥索及桥梁控制点的有效像素提取过程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供了一种基于深度学习及图像处理的非接触振动频率测量方法，采用深度卷积神经网络从待测图像中提取有效像素，然后采用光流法从有效像素中提取振动信号，从而实现非接触振动频率测量。如图1所示，该方法具体包括以下步骤：

1)获取被测物的图像序列，在此基础上，选取被测物的待测区域，然后提取待测区域的图像序列。

2)将所述图像序列的第一帧图像输入训练好的深度卷积神经网络，将图像中的所有像素分为零值像素和非零像素，深度卷积神经网络的输出以位图形式存储。

其中，所述深度卷积神经网络的输入层输入所述图像序列的第一帧图像，输出层输出零值像素和非零像素两个类别，隐含层由四层二维卷积层和两个全连接层组成。为了实现将物体边缘与背景区分开来的目的，每一个二维卷积层均包含一个线性整流函数以作为激活函数，激活函数之后跟着一个局部响应标准化层以及一个最大池化层，全连接层将前一层的所有输入进行连接。全连接层对于整个神经网络起到一个高层的理解作用，它能够将全图的信息在空间域上相互连接实现信息的关联作用。全连接层在神经网络中通常会包含大量的可训练参数，因为它必须收集和连接最多的神经元的信息。由于有着大量的参数，很容易发生过拟合问题。丢失层作为一种正则化方法被采用，它是通过随机地将若干神经元置为0值得以实现正则化。对于该网络结构，其实可以添加更多的二维卷积层，但在实际实验当中，四层就足够实现预期的效果。将隐含层的输出激活输入柔性最大激活函数，从而在输出层得到每一分类对应标记的概率分布。然后通过最小化带有附加正则项的柔性最大激活函数损失方程来优化整个网络的可训练参数，通过反复迭代训练，完成对深度卷积神经网络的训练。所述带有附加正则项的柔性最大激活函数损失方程为：

其中，L_PS表示正值共享损失，l是输入的分类标签，Γ(l＝j)表示第i个非零分类的指示函数。W为用于控制正值共享损失函数的正值共享行为的权重参数，以通过调整W，使上述方程的表现更趋近于柔性最大激活函数损失方程或二分类器。当W较小时，正值共享损失函数的表现更趋近于柔性最大激活函数损失方程，当W较大时，正值共享损失函数表现出类似二分类器的效果，更多的关注结果是否为有效像素。在这种情况下，更多的正值标签分类结果将被归为同一类而不是所有的输出分类标签被分为各自不同的类别。该网络结构通过伯克利分割数据和基准测试数据集进行训练，并通过误差后传播优化卷积神经网络中的参数。柔性最大激活函数损失方程的表达式为：

L_SM＝-∑Γ(l＝j)logσ(o_j)

其中，L_SM表示SoftMax损失，σ(o_j)是第j个非零分类标记的概率分布，K是所有非0分类标签总数。

3)选择所有非零像素对应的位置为有效像素，并将有效像素的x及y坐标存储成列表，用于振动信号提取。

4)获取到由深度卷积神经网络选择的有效像素之后，提取每个有效像素的振动信号。对于图像序列中的每个图像，采用光流法先将其转为亮度信号，再提取每个有效像素的速度信号时程，即每个有效像素的振动信号。

其中，采用光流法提取图像中有效像素的振动信号的具体方法为：

在带有亮度信息的单通道图像中，将像素的亮度值存储为一个带有x和y坐标的二维量，即表示为B(x，y)，且在图像序列中每一帧的亮度信号又是一个关于时间t的信号，因此，将每一帧图像中像素的亮度信号表示为B(x，y，t)。

对于无限小的时间变化Δt，对应的亮度变化也趋近于0，即：

应用链公式得到：

令

u和v分别表示像素在x和y方向上的速度流，代入可得：

B_xu+B_yv+B_t＝0

其中B_x、B_y、B_t分别表示亮度值对于x、y、t的偏微分。

此时获得了一个约束条件，但需要求解u和v两个未知数，因而u和v无法被确定。因此，通过平滑性假设引入一个附加约束，所述平滑性假设是指亮度值于整张图像是平滑变化的，即图像中像素点的u和v相对于周边像素的对应值不会发生突变，采用

来度量u和v偏离平滑假设的程度，采用E_b表示亮度约束误差的总合：

E_b＝B_xu+B_yv+B_t

同时考虑上述两个约束的情况下，将两假设的总偏离度表示为：

其中，E为所要最小化的总偏离度，α为权重系数，当α较大时，u和v的全局平滑性有着更高的权重，反之相反。

优化求解u和v的过程也是寻找合适的u和v使E最小的过程。从上述公式推出以下迭代方程：

式中，

分别表示第n+1次迭代后像素(x，y)在x、y方向上的速度流。从而通过迭代求得每个有效像素的u和v的值。

5)为了充分使用到所有有效像素的信息并且获得更加稳定的结果，在提取了每个有效像素的速度信号时程之后，对所有有效像素的速度信号时程进行平均及归一化处理。

6)通过傅里叶变换对经过平均及归一化处理后的信号进行功率谱密度估计，得到功率谱密度，并通过峰值拾取法获得频率组成，得到非接触振动频率测量结果。

本发明在厦门五缘大桥进行现场实验。调整相机到一个能够避免角度误差及镜头畸变的位置，并将东华测试公司的DH5906工业级振动传感器置于被测物上，用于采集高保真的振动信号进行验证对比。厦门五缘大桥由三跨钢箱梁组成，分别为58米，208米和58米，是一个钢构提篮拱桥。由于五缘大桥处于高盐度海洋环境，钢结构件处于高浓度的盐雾当中，当地交通部门及公路养护部门对该结构高度关注并密切监控其静力及动力学特性。其中振动物性对于土木结构来说尤为重要，比如当地交通部门可以通过桥索的频率组成来估计索力。此外，桥梁几个关键控制点的振动频率对全桥健康监测也尤为重要，这些信息可以用于估计桥梁的振型及刚度分布。

现场实验室中，五缘大桥由随机通过的汽车、行人以及其它自然激励所激励。振动传感器附于工程编号为J2的桥梁吊索上及一个近于桥梁跨中的结构控制点上。相机和传感器的采样率都设置为100Hz。图2所示为现场实验布局图，图3所示为现场实验的相机视场。工程编号为J2的五缘大桥桥索及桥梁控制点的待测区域分辨率分别设置为72×86像素及152×415像素。

桥索及桥梁控制点的待测区域分别如图4(a)、图4(b)所示。本发明将网络第一个全连接层上随机选择的特征可视化，桥索及桥梁控制点在神经网络中随机选取并可视化的特征分别如图4(c)、图4(d)所示。从可视化的特征图中可以看出，位于清晰边缘的高反差像素，这些高反差像素位置也是正适合于振动信号提取的像素。现场实验中网络最终输出选择的用于振动提取的桥索及桥梁控制点的有效像素分别如图4(e)、图4(f)所示。在现场实验中，由于随机通过的行人及遮挡物通过和其它一些无法控制的干扰因素，相机的采样过程和接触式振动传感器的采样不是完全同时进行的。本发明方法和接触式振动传感器现场实验的结果汇总于表1，其中在桥索的测量结果中本发明方法较接触式传感器的结果有着较其它实验略大的相对误差，这是由于为了避免行人及测量对图像视场的干扰，用于测量的待测区域设置在J2桥索相对较高的位置，而接触式振动传感器因为可达高度的限制安装在J2桥索相对较低的位置。

表1现场实验结果汇总

本发明方法在有着非接触、易部署使用的优势的前提下，可以输出较为准确的振动频率测量结果，与接触式振动传感器相比，误差在可接受的范围。在条件对图像测量较为不利的工程实际场景的现场环境下，虽然有着变化的自然光照和不稳定的背景，但最终频率测量结果的相对误差还是落在一个可以接受的范围。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于深度学习及图像处理的非接触振动频率测量方法，其特征在于，包括以下步骤：

1)获取被测物的图像序列，在此基础上，选取被测物的待测区域，然后提取待测区域的图像序列；

2)将所述图像序列的第一帧图像输入训练好的深度卷积神经网络，将图像中的所有像素分为零值像素和非零像素；

3)选择所有非零像素对应的位置为有效像素，并将有效像素的坐标存储成列表，用于振动信号提取；

4)对于图像序列中的每个图像，采用光流法先将其转为亮度信号，再提取每个有效像素的速度信号时程，即每个有效像素的振动信号；

5)对所有有效像素的速度信号时程进行平均及归一化处理；

6)通过傅里叶变换对步骤5)处理后的信号进行功率谱密度估计，得到功率谱密度，并通过峰值拾取法获得频率组成，得到非接触振动频率测量结果。

2.根据权利要求1所述的基于深度学习及图像处理的非接触振动频率测量方法，其特征在于，所述深度卷积神经网络的输入层输入所述图像序列的第一帧图像，输出层输出零值像素和非零像素两个类别，隐含层由四层二维卷积层和两个全连接层组成，每一个二维卷积层均包含一个线性整流函数以作为激活函数，激活函数之后跟着一个局部响应标准化层以及一个最大池化层，全连接层将前一层的所有输入进行连接；将隐含层的输出激活输入柔性最大激活函数，从而在输出层得到每一分类对应标记的概率分布；然后通过最小化带有附加正则项的柔性最大激活函数损失方程来优化整个网络的可训练参数，通过反复迭代训练，完成对深度卷积神经网络的训练；所述带有附加正则项的柔性最大激活函数损失方程为：

其中，L_PS表示正值共享损失，l是输入的分类标签，Γ(l＝j)表示第j个非零分类的指示函数，W为用于控制正值共享损失函数的正值共享行为的权重参数，以通过调整W，使上述方程的表现更趋近于柔性最大激活函数损失方程或二分类器；柔性最大激活函数损失方程的表达式为：

L_SM＝-∑Γ(l＝j)logσ(ο_j)

其中，L_SM表示SoftMax损失，σ(o_j)是第j个非零分类标记的概率分布，K是所有非0分类标签总数。

3.根据权利要求2所述的基于深度学习及图像处理的非接触振动频率测量方法，其特征在于，采用光流法提取图像中有效像素的振动信号的方法为：

在带有亮度信息的单通道图像中，将像素的亮度值存储为一个带有x和y坐标的二维量，即表示为B(x,y)，且在图像序列中每一帧的亮度信号又是一个关于时间t的信号，因此，将每一帧图像中像素的亮度信号表示为B(x,y,t)；

对于无限小的时间变化Δt，对应的亮度变化也趋近于0，即：

应用链公式得到：

令

u和v分别表示像素在x和y方向上的速度流，代入可得：

B_xu+B_yv+B_t＝0

其中B_x、B_y、B_t分别表示亮度值对于x、y、t的偏微分；

通过平滑性假设引入一个附加约束，所述平滑性假设是指亮度值于整张图像是平滑变化的，即图像中像素点的u和v相对于周边像素的对应值不会发生突变，采用

来度量u和v偏离平滑假设的程度，采用E_b表示亮度约束误差的总合：

E_b＝B_xu+B_yv+B_t

同时考虑上述两个约束的情况下，将两假设的总偏离度表示为：

其中，E为所要最小化的总偏离度，α为权重系数，当α较大时，u和v的全局平滑性有着更高的权重，反之相反；从上述公式推出以下迭代方程：

式中，

分别表示第n+1次迭代后像素(x,y)在x、y方向上的速度流；从而通过迭代求得每个有效像素的u和v的值。

Images