CN114299421A - 检测螺栓松动的方法、卷积神经网络、训练方法及系统 - Google Patents

Abstract

本申请公开一种检测螺栓松动方法、卷积神经网络、训练方法及系统，其中，训练方法，包括：获取测试结构在不同螺栓松动状态测试下的振动图像序列；提取振动图像序列中目标区域内预设数量像素点的振动位移信号；将提取的每个像素点的振动位移信号转换为时频图像；构建训练样本；以训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。本申请中一个视频样本能够提供成千上万个振动位移信号用于卷积神经网络的训练，充足的训练数据能大大提高卷积神经网络的预测准确率，从而解决了卷积神经网络训练中工程实测数据短缺的问题。

Description

检测螺栓松动的方法、卷积神经网络、训练方法及系统

技术领域

本申请属于螺栓故障检测技术领域，尤其涉及一种检测螺栓松动方法、卷积神经网络、训练方法及系统。

背景技术

机械结构上螺栓在使用期间如果发生连接松动、腐蚀、蠕变等损伤，可能会引发灾难事故，以及不可估量的经济损失和人员伤亡，因此，结构健康监测(SHM)，即通过工程结构中记录的测量数据识别特征的损伤检测策略和过程变得越来越重要。

其中，损伤的出现会影响机械结构的固有属性，如质量、阻尼比和刚度等，而机械结构的振动响应能够反映这些损伤特性，而且这些振动响应会随着损伤的不同而变化，因此，现有技术中，常通过分析振动特征的变化识别结构的损伤。

近年来，卷积神经网络被广泛应用于对振动特征的提取和分类，以识别结构的损伤。但是，利用卷积神经网络进行损伤检测非常依赖于高质量的学习数据，也就是说，能否得到具有很高的准确率的卷积神经网络，获取充足的训练数据是至关重要的。然而，现有的获取结构振动特征的方法主要是通过加速度计、应变计、激光多普勒测振仪等获得，这些方法在实际工程场景中却难以获得充足的包含不同损伤状况下的振动特征数据集。

发明内容

为解决现有技术中难以获得充足的包含不同损伤状况下的振动特征数据集，本申请提供一种检测螺栓松动方法、卷积神经网络、训练方法及系统。

第一方面，本申请提供一种检测螺栓松动的卷积神经网络的训练方法，包括：

获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

将提取的每个像素点的振动位移信号转换为时频图像；

构建训练样本，所述训练样本包括对所述测试结构测试的所有螺栓松动状态类别，以及，与各螺栓松动状态类别对应的时频图像；

以所述训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

在一种可实现方式中，提取所述振动图像序列中第一像素点的振动位移信号的方法，包括：

提取每帧振动图像中第一像素点的灰度信息，所述第一像素点为所述振动图像中目标区域内任意一个像素点；

对提取的每个所述第一像素点的灰度信息滤波处理；

根据所述滤波后的灰度信息，分别计算每帧振动图像中第一像素点的相位；

分别计算第一像素点在各自振动图像与在第一帧振动图像上的相位差；

根据所述第一像素点在各帧振动图像中的相位差，生成所述第一像素点的振动位移信号。

在一种可实现方式中，所述将每个像素点的振动位移信号转换为时频图像，包括：

通过连续小波变换，绘制与每个像素点的振动位移信号对应的时频图像。

在一种可实现方式中，如果所述目标区域包括一个子区域，则以所述训练样本中一张时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

在一种可实现方式中，如果所述目标区域包括多个子区域，则分别从各子区域选取一张时频图像，得到时频图像序列；

以所述时频图像序列作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

在一种可实现方式中，以所述训练样本中时频图像作为输入，以松动状态类别作为输出，将待训练的卷积神经网络训练至收敛，包括：

将所述训练样本中时频图像输入至所述待训练的卷积神经网络；

经过所述待训练的卷积神经网络处理后，输出预测螺栓松动状态类别；

根据所述预测螺栓松动状态类别和所述训练样本中的螺栓松动状态类别，计算损失值；

判断所述损失值是否收敛，如果是，则训练结束；或，如果否，继续训练直至所述损失值收敛。

在一种可实现方式中，所述待训练的卷积神经网络包括输入层、多组交替堆叠设置的卷积层和池化层、全连接层、分类器以及输出层；

通过所述输入层输入训练样本中时频图像；

通过所述多组交替堆叠设置的卷积层和池化层，对输入所述待训练的卷积神经网络的时频图像卷积计算和降采样处理，输出第一特征图；

通过所述全连接层，对所述第一特征图全连接处理，输出第二特征图；

通过所述分类器，对所述第二特征图分类；

通过所述输出层，输出预测螺栓松动状态类别。

第二方面，本申请提供一种检测螺栓松动状态的卷积神经网络的训练系统，包括：

第一获取模块，用于获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

第一提取模块，用于提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

第一转换模块，用于将提取的每个像素点的振动位移信号转换为时频图像；

训练样本构建模块，用于构建训练样本，所述训练样本包括对所述测试结构测试的所有螺栓松动状态类别，以及，与各螺栓松动状态类别对应的时频图像；

训练模块，用于以所述训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

第三方面，本申请提供一种检测螺栓松动状态的卷积神经网络，包括：输入层、多组交替堆叠设置的卷积层和池化层、全连接层、分类器以及输出层；

其中，所述输入层，用于输入训练样本中时频图像；

所述多组交替堆叠设置的卷积层和池化层，用于对输入所述待训练的卷积神经网络的时频图像卷积计算和降采样处理，输出第一特征图；

所述全连接层，用于对所述第一特征图全连接处理，输出第二特征图；

所述分类器，用于对所述第二特征图分类；

所述输出层，用于输出预测螺栓松动状态类别。

第四方面，本申请提供一种检测螺栓松动状态的方法，包括：

获取目标结构的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

将提取的每个像素点的振动位移信号转换为时频图像；

将所述时频图像逐个输入卷积神经网络，其中，所述卷积神经网络为利用第一方面所述的检测螺栓松动的卷积神经网络的训练方法训练后的卷积神经网络；

输出与各时频图像对应的预测螺栓松动状态类别；

确定所述目标结构的螺栓松动状态类别，其中，所述目标结构的螺栓松动状态类别为所有输出的预测螺栓松动状态类别中占比数量最多的螺栓松动状态类别。

第五方面，本申请提供一种检测螺栓松动状态的系统，包括：

第二获取模块，用于获取目标结构的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

第二提取模块，用于提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

第二转换模块，用于将提取的每个像素点的振动位移信号转换为时频图像；

卷积神经网络计算模块，用于将所述时频图像逐个输入卷积神经网络，输出与各时频图像对应的预测螺栓松动状态类别，其中，所述卷积神经网络为利用第一方面所述的检测螺栓松动的卷积神经网络的训练方法训练后的卷积神经网络；

确定模块，用于确定所述目标结构的螺栓松动状态类别，其中，所述目标结构的螺栓松动状态类别为所有输出的预测螺栓松动状态类别中占比数量最多的螺栓松动状态类别。

综上，本申请提供的一种检测螺栓松动方法、卷积神经网络、训练方法及系统，只使用每种螺栓松动状态下的一个实测视频样本，即可得到准确率可靠的卷积神经网络。其中，一个视频样本能够提供成千上万个振动位移信号用于卷积神经网络的训练，充足的训练数据能大大提高卷积神经网络的预测准确率，从而解决了卷积神经网络训练中工程实测数据短缺的问题。通过实验还可以看出，本申请提供的训练方法不仅可以检测螺栓松动损伤的存在，还可以识别不同程度的螺栓松动。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种检测螺栓松动的卷积神经网络的训练方法的工作流程图；

图2A为本申请实施例提供的一种两层钢结构的结构示意图；

图2B为本申请实施例提供的一种螺栓连接的两层钢结构的结构示意图；

图2C为本申请实施例提供的一种螺栓松动的结构示意图；

图3A为本申请实施例提供的一种提取振动图像序列中第一像素点的振动位移信号的方法的工作流程图；

图3B为本申请实施例提供在某一帧振动图像中提取像素点的振动位移信号的示意图；

图3C为本申请实施例提供的区域A中同一像素点在五种螺栓松动状态类别下的振动位移信号，以及区域B中同一像素点在五种螺栓松动状态类别下的振动位移信号的示意图；

图4为与图3C中各振动位移信号对应的时频图像；

图5A为本申请实施例提供的一种待训练的卷积神经网络的结构示意图；

图5B为本申请实施例中试验1中视频样本的预测分类的混淆矩阵；

图5C为本申请实施例中试验2中视频样本的预测分类的混淆矩阵；

图5D为本申请实施例中试验3中视频样本的预测分类的混淆矩阵；

图6为本申请实施例提供的一种检测螺栓松动状态的方法的工作流程图；

图7为本申请实施例提供的一种检测螺栓松动状态的卷积神经网络的训练系统的结构框图；

图8为本申请实施例提供的一种检测螺栓松动状态的系统的结构框图。

附图标记说明

10-两层钢结构的底部，20-第一层板，30-第二层板，40-立臂，50-角块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请提供一种检测螺栓松动的卷积神经网络的训练方法，包括如下步骤：

步骤100、获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像。

首先需要说明的是，本申请中所述的不同螺栓松动状态可以是测试结构中不同位置的螺栓松动和/或相同位置螺栓的不同程度松动，具体可以根据实际应用场景自行设定，本申请对此不进行限定。

其次需要说明的是，本申请中的测试结构是指包括螺栓连接的结构，例如可以是用螺栓连接的一层钢结构，又例如可以是用螺栓连接的多层钢结构。

本申请可以通过相机分别拍摄到测试结构在不同螺栓松动状态测试中的视频样本，其中，每个视频样本相当于由多帧按时间序列排序的振动图像形成的振动图像序列。

下面以测试结构为两层钢结构为例进行示例性说明。

图2A示出了一种两层钢结构的结构示意图，图2A中螺孔位置用于安装螺栓，图2B示出了图2A安装螺栓后的结构示意图，如图2A和图2B所示，两层钢结构的底部10通过M10的螺栓与振动台固定连接在一起，上方的两层板(第一层板20和第二层板30)通过四周的四根立臂40和角块50用M6的螺栓连接在一起。每个角块50的连接处都有4个M6的螺栓，其中两个螺栓的轴向是水平方向的，另外两个螺栓的轴向是竖直方向的。

如表1所示，测试中一共设置了五种螺栓松动状态类别。其中，如图2B所示，位置1在第一层板20上，位置2在第二层板30上。如图2C所示，通过人为地将将位置1和位置2的轴向为水平方向的两颗螺栓同时松动到不同的程度来引入螺栓松动损伤，因为已有的研究表明，垂直于螺栓轴向方向上的振动更容易引起螺栓的松动。振动台产生的是竖直方向上的振动，因此轴向为水平方向的螺栓更容易产生松动故障，所以我们人为地将这种故障引入。设置的这五种螺栓松动状态类别可以分别评估不同位置的螺栓松动和相同位置螺栓的不同程度松动。

表1螺栓松动状态类别设置

试验中，振动台产生振动，激励与其固连的两层钢结构随之产生振动。其中，振动台的激励不局限于某种特定的信号，因为本申请关注的是两层钢结构在不同螺栓松动状态下被激励后产生振动信号的差别，所以只需要保证激励信号的一致性即可。在一种可实现方式中，本试验采用对数扫频信号，频率从2Hz到100Hz，单程扫描周期为30s。本申请可以采用Basler acA720-520um相机来拍摄两层钢结构的振动视频，每秒拍摄500帧图像，每一个拍摄的振动视频包括频率从2Hz到100Hz的正扫和反扫两个扫描周期，共计60s。

需要说明的是，为了将检测螺栓松动的卷积神经网络训练至收敛，试验中每种螺栓松动状态下只采集一个视频样本即可，本申请实施例中为了进一步验证本申请所提出的训练方法的有效性和准确率，在试验中每种螺栓松动状态下采集了32个视频样本，其中，每种螺栓松动状态下采集的1个视频样本用于训练检测螺栓松动的卷积神经网络，其余31个视频样本用于测试训练后的卷积神经网络是否准确，这样，此次试验中，总共有32×5＝160个视频样本。即本申请实施例提供的训练方法中，在后续步骤200至步骤500可以仅对每种螺栓松动状态下的1个视频样本进行处理。。

步骤200、提取振动图像序列中目标区域内预设数量像素点的振动位移信号。

本申请对目标区域的数量及位置不进行限定，其中，目标区域的数量可以是一个或多个，目标区域的位置可以是包括测试结构上任意区域，例如，目标区域为图2B中的第一层板20的边缘区域和第二层板30的边缘区域。

本申请对确定目标区域的方式也不进行限定，例如可以人为的框选出目标区域或者通过预设程序框选出目标区域，然后，基于框选的目标区域的振动图像序列进行振动位移信号提取。

本申请可以提取出目标区域内每个像素点的振动位移信号，也可以提取出目标区域内部分像素点的振动位移信号，本申请对此不进行限定。如果提取出目标区域内部分像素点的振动位移信号，则可以随机提取出目标区域内预设数量像素点的振动位移信号。

本申请可以采用相同的方法提取目标区域内任一像素点的振动位移信号。在一种可实现方式中，提取振动图像序列中目标区域内任意一个像素点的振动位移信号的方法，如图3A所示，包括以下步骤：

为便于描述，本申请以振动图像序列中目标区域内第一像素点为例进行说明，其中，第一像素点可以是振动图像中目标区域内任意一个像素点。

步骤210、提取每帧振动图像中第一像素点的灰度信息。

步骤220、对提取的每个所述第一像素点的灰度信息滤波处理。

步骤230、根据所述滤波后的灰度信息，分别计算每帧振动图像中第一像素点的相位。

步骤240、分别计算第一像素点在各自振动图像与在第一帧振动图像上的相位差。

步骤250、根据所述第一像素点在各帧振动图像中的相位差，生成所述第一像素点的振动位移信号。

振动图像序列是由多帧连续振动图像组成的，由于振动图像每一个像素点的灰度值会在连续的振动图像序列中不断变化，所以可以在每个像素点位置都得到一个相位变化的时间序列信号，即振动位移信号。

继续以测试结构为两层钢结构为例进行示例性说明。

本申请可以从测试结构的边缘附近的像素点准确地识别出测试结构的振动位移信号，具体的，从第一层板20和第二层版30上的所有像素点都可以清楚地提取出振动位移信号。

图3B示出了在某一帧振动图像中提取像素点的振动位移信号的示意图，如图3B所示，目标区域包括两个子区域，即第一层板20上的区域A和第二层板30上的区域B，图3B中还展示了从区域A提取的一个像素点的振动位移信号，以及，从区域B提取的一个像素点的振动位移信号。

图3C展示了区域A中同一像素点在表1中五种螺栓松动状态类别下的振动位移信号，以及区域B中同一像素点在表1中五种螺栓松动状态类别下的振动位移信号的示意图。其中，图3C中图(a)表示在螺栓松动状态类别为“0”时，区域A内一个像素点的振动位移信号，图3C中图(b)表示在螺栓松动状态类别为“0”时，区域B内一个像素点的振动位移信号，图3C中图(c)表示在螺栓松动状态类别为“1”时，区域A内一个像素点的振动位移信号，图3C中图(d)表示在螺栓松动状态类别为“1”时，区域B内一个像素点的振动位移信号，图3C中图(e)表示在螺栓松动状态类别为“2”时，区域A内一个像素点的振动位移信号，图3C中图(f)表示在螺栓松动状态类别为“2”时，区域B内一个像素点的振动位移信号，图3C中图(g)表示在螺栓松动状态类别为“3”时，区域A内一个像素点的振动位移信号，图3C中图(h)表示在螺栓松动状态类别为“3”时，区域B内一个像素点的振动位移信号，图3C中图(i)表示在螺栓松动状态类别为“4”时，区域A内一个像素点的振动位移信号，图3C中图(j)表示在螺栓松动状态类别为“4”时，区域B内一个像素点的振动位移信号。由图3C可以看出，在相同螺栓松动状态类别下，不同区域的振动位移信号不同，在不同螺栓松动状态类别下，相同区域的振动位移信号也不相同。

在试验中每种螺栓松动状态下采集了32个视频样本，一共获得了160个视频样本，因此可以从每个视频样本中的每个子区域随机提取200个像素点的振动位移信号，这样，对于每种螺栓松动状态而言，包括200(振动位移信号数)×32(视频样本数)×2(子区域数)＝12800振动位移信号。

综上，本申请将振动图像序列上的每个像素点都可以看做一个单独的位移传感器，本申请将其称为“像素传感器”，这样，振动图像序列上所有的像素点都可以被视为传感器来获取振动信号。因此，从单个视频样本中就可以得到非常多的信号，从而可以为检测螺栓松动的卷积神经网络的训练提供足够多的训练数据。

步骤300、将提取的每个像素点的振动位移信号转换为时频图像。

为了更有利于卷积神经网络的特征提取和学习，本申请将提取的每个像素点的振动位移信号转换为时频图像，然后以时频图像作为输入训练卷积神经网络。

本申请对振动位移信号转换为时频图像的方法不进行限定，在一种可实现方式中，可以通过连续小波变换，绘制与每个像素点的振动位移信号对应的时频图像，其中，可以选择具有较好的近似对称性、紧支撑性和光滑性的Daubechies(db)小波作为连续小波变换的小波基。绘制得到的时频图像中包含了信号在时域和频域的联合分布信息，这更有利于卷积神经网络的特征提取和学习。

图4示出了与图3C中各振动位移信号对应的时频图像，由图4可以看出，随着螺栓松动状态的变化，时频图像也随之变化。

对应于测试结构为两层钢结构的示例中，对于每种螺栓松动状态而言，包括12800张时频图像。

步骤400、构建训练样本，所述训练样本包括对测试结构测试的所有螺栓松动状态类别，以及，与各螺栓松动状态类别对应的时频图像。

上述步骤中得到了每种螺栓松动状态下的32个视频样本，但是从每个视频样本中又可以提取出足够多的振动位移信号，因此，本申请中每种螺栓松动状态对应使用1个视频样本，就能够为卷积神经网络的训练提供足够的训练数据。

这样，对于每种螺栓松动状态，可以中从32个视频样本中随机选择一个视频样本作为训练样本的数据来源，其余的31个视频样本作为测试样本的数据来源。构建的训练样本中包括五种螺栓松动状态类别，以及分别与五种螺栓松动状态类别对应的时频图像。

步骤500、以训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

以训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛，具体可以包括以下步骤：

步骤510、将训练样本中时频图像输入至所述待训练的卷积神经网络。

此处需要说明的是，由于目标区域可以包括一个或多个子区域，因此，训练样本中的时频图像可能是从一个视频样本中的一个子区域提取的，也可能是从一个视频样本中的多个子区域提取的。对应的，如果训练样本中的时频图像是从一个子区域提取的，也就是说目标区域包括一个子区域，则在训练时，每次将训练样本中的一张时频图像作为输入，输入至待训练的卷积神经网络；如果训练样本中的时频图像是从多个子区域提取的，也就是说目标区域包括多个子区域，则在训练时，可以每次先分别从各子区域选取一张时频图像，得到时频图像序列，然后，将时频图像序列作为输入，输入至所述待训练的卷积神经网络。

步骤520、经过所述待训练的卷积神经网络处理后，输出预测螺栓松动状态类别。

本申请对待训练的卷积神经网络的结构不进行限定，只要能够根据输入的时频图像学习螺栓不同松动状态下的特征，并能够对测试结构的螺栓松动状态进行分类即可。

图5A示出了一种待训练的卷积神经网络的结构，如图5A所示，待训练的卷积神经网络包括输入层、多组交替堆叠设置的卷积层和池化层、全连接层、分类器和输出层。

其中，所述输入层，用于输入训练样本中时频图像；所述多组交替堆叠设置的卷积层和池化层，用于对输入所述待训练的卷积神经网络的时频图像卷积计算和降采样处理，输出第一特征图；所述全连接层，用于对所述第一特征图全连接处理，输出第二特征图；所述分类器，用于对所述第二特征图分类；所述输出层，用于输出预测螺栓松动状态类别。

这样，在训练时，先将训练样本中时频图像输入至输入层，其中，时频图像包括R、G、B三个色彩通道；然后，通过多组交替堆叠设置的卷积层和池化层(例如图5A中示出的包括卷积层1、池化层1、卷积层2、池化层2……)，对输入所述待训练的卷积神经网络的时频图像卷积计算和降采样处理，输出第一特征图，其中，卷积层通过卷积计算进行特征提取和学习，这样，每个卷积层会生成经过卷积后的特征图，池化层会对这些特征图进行降维以控制数据量。接着输出的第一特征图，经过全连接层进行全连接处理后，输出第二特征图，其中，全连接处理可以将数据平坦化。最后，通过分类器对第二特征图进行螺栓松动状态分类，并由输出层输出预测的螺栓松动状态类别。

上述提供的待训练的卷积神经网络的结构简单紧凑，隐含层只有几个卷积层、池化层和全连接层，因此其计算效率较高，本申请提供的训练方法不需要过于复杂和深层次的卷积神经网络结构。

步骤530、根据所述预测松动状态类别和所述训练样本中的松动状态类别，计算损失值。

步骤540、判断所述损失值是否收敛，如果是，则训练结束；或，如果否，继续训练直至所述损失值收敛。

对待训练卷积神经网络训练的过程是不断优化待训练卷积神经网络中网络参数的过程，也就是说，每执行一次步骤510至步骤530，都会得到一次待训练卷积神经网络的网络参数。如果损失值没有收敛，则更新待训练卷积神经网络的网络参数，然后使用更新网络参数后的待训练卷积神经网络继续训练，这样不断的更新待训练卷积神经网络的网络参数，直至损失值收敛，训练结束，得到的训练后的卷积神经网络。

需要说明的是，训练后的卷积神经网络的结构与得训练卷积神经网络的结构相同，不同之处在于训练后的卷积神经网络的网络参数取值与得训练卷积神经网络的网络参数取值不同，即训练后的卷积神经网络也包括输入层、多组交替堆叠设置的卷积层和池化层、全连接层、分类器和输出层。

下面继续以测试结构为两层钢结构为例，分别以单个时频图像和多个时频图像结合成的时频图像序列为输入，对待训练的卷积神经网络的训练方法进行说明。

首先，设置3组对照试验，如表2所示，在试验1中，只有区域A中像素点的振动位移信号被用来训练待训练的卷积神经网络，此种情况下，待训练的卷积神经网络为二维卷积神经网络，二维卷积神经网络的输入样本数据是由区域A中提取出的像素点振动位移信号生成的单张时频图像；试验2与试验1类似，只不过由区域A改为区域B；在试验3中，区域A和区域B中像素点的振动位移信号一起被用来训练待训练的卷积神经网络，此种情况下，待训练的卷积神经网络为三维卷积神经网络，三维卷积神经网络的输入样本数据是由区域A中提取出的像素点振动位移信号的时频图像与区域B提取出的像素点振动位移信号的时频图像结合起来生成的两帧时频图像序列。

表2三个试验中区域的选择

其中，表3和表4分别列出了二维卷积神经网络和三维卷积神经网络的基本结构和网络参数。在卷积神经网络的训练过程中采用Adam优化器，学习率设置为0.001。在输入到待训练卷积神经网络之前，每一张时频图像都被缩放为150×150像素的尺寸，所有像素点的灰度值都标准化为[0,1]。

表3试验1和试验2中二维卷积神经网络的结构和网络参数

表4试验3中三维卷积神经网络的结构和网络参数

下面进一步通过测试样本，验证训练后的卷积神经网络的有效性和准确率。

对于每种螺栓松动状态，有31个视频样本可以作为测试样本，这样，将每个视频样本对应的时频图像输入到训练后的卷积神经网络，都对应输出一个螺栓松动类别。而最终依据“选举法”确定视频样本对应的螺栓松动类别，即每个视频样本提取出的200个时频图像中分类得到类别最多的那一类就视为此视频样本的真实分类。例如，从某个视频样本中提取出的200个时频图像样本中有150个被预测为螺栓松动类别0，而其余的50个被预测为其他类别，则就将该视频样本分为螺栓松动类别0。

本申请利用31个视频样本，分别对表2中三个试验对应训练后的卷积神经网络的准确率进行了验证，验证结果如表5所示。其中，图5B至图5D分别展示了三次试验中视频样本预测分类的混淆矩阵。

表5三次试验中视频样本的预测准确率

由表5和图5B至图5D可知，试验3的预测准确率明显高于试验1和2，因此，采用多个区域位置像素点的振动位移信号更有利于提高卷积神经网络的性能。

如表6所示，本申请还与现有技术中的四种卷积神经网络的训练方法进行了对比。

表6检测螺栓松动的神经网络的训练方法比较

由表6的对比可知，现有技术训练神经网络时，不仅需要使用足够多的传感器，还需要采集每种螺栓松动状态下的足够多的训练样本数量。而本申请提供的训练方法，仅需一个相机(即表6中展示的传感器)，以及每种螺栓松动状态的一个视频样本即可训练出准确率为100的卷积神经网络。

综上，本申请提供的检测螺栓松动的卷积神经网络的训练方法，只使用每种螺栓松动状态下的一个实测视频样本，即可得到准确率可靠的卷积神经网络。其中，一个视频样本能够提供成千上万个振动位移信号用于卷积神经网络的训练，充足的训练数据能大大提高卷积神经网络的预测准确率，从而解决了卷积神经网络训练中工程实测数据短缺的问题。通过实验还可以看出，本申请提供的训练方法不仅可以检测螺栓松动损伤的存在，还可以识别不同程度的螺栓松动。

如图6所示，本申请还提供一种检测螺栓松动状态的方法，该方法利用上述实施例提供的训练方法训练后的卷积神经网络进行螺栓松动状态检测，具体包括以下步骤：

步骤10、获取目标结构的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像。

步骤10可以参见上述步骤100的描述，此处不再赘述。其中，不同之处在于，步骤10中被检测的对象为目标结构，该目标结构上具有螺栓连接结构、且不清楚该目标结构上螺栓松动状态。

步骤20、提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号。

步骤30、将提取的每个像素点的振动位移信号转换为时频图像。

上述步骤20和步骤30可以参见上述步骤200和步骤300的描述，此处不再赘述。其中，需要说明的是，检测螺栓松动状态方法中所确定的目标区域和预设数量像素点可以与卷积神经网络的训练方法中所采用的目标区域和预设数量像素点相同或不同，本申请对此不进行限定。

步骤40、将所述时频图像逐个输入卷积神经网络，输出与各时频图像对应的预测螺栓松动状态类别。

步骤40中使用的卷积神经网络是利用上述实施例中提供的检测螺栓松动的卷积神经网络的训练方法训练后的卷积神经网络，也就是，训练至收敛的卷积神经网络。

上述实施例中已经通过测试数据验证了本申请训练后的卷积神经网络的准确率高，因此，通过训练后的卷积神经网络可以输出可靠的分类结果。

步骤50、确定所述目标结构的螺栓松动状态类别，其中，所述目标结构的螺栓松动状态类别为所有输出的预测螺栓松动状态类别中数量占比最多的螺栓松动状态类别。

首先需要说明的是，经过步骤40后，可以得到与每个输入的时频图像对应的预测螺栓松动状态类别，也就是说，基于目标区域内预设数量像素点的振动位移信号，能够得到很多个预测螺栓松动状态类别，而目标结构的螺栓松动状态应该是确定的一种，因此，本申请通过一种“选举法”确定目标结构的螺栓松动状态类别。

具体的，可以分别统计步骤40输出的每种预测螺栓松动状态类别的数量；然后，以类别的数量最多的那一类作为目标结构的螺栓松动状态类别。举例说明，步骤40输出的预测螺栓松动状态类别总数量200个，预测螺栓松动状态类别的种类包括5种，分别是类别“0”、类别“1”、类别“2”、类别“3”、类别“4”，其中，输出的类别“0”的数量为180个，其他类别的总数量为20个，则确定该目标结构的螺栓松动状态类别为“0”。

综上，本申请实施例提供的一种检测螺栓松动状态的方法，具有以下优点：

(1)空间分辨率高，每一个像素点都可以作为一个传感器，因此可以同时获取大量的信号数据；(2)不改变结构的动力学特性，因为该方法不需要与被测对象接触；(3)该方法布设简单，成本较低，所需要的设备成本不高，而且不需要额外的标记点；(4)该方法受环境温度等条件的影响较小；(5)可以实现远距离测量；(6)与加速度信号相比，位移响应信号可以直接反映出结构的整体刚度，对结构评价有很大的帮助。

如图7所示，本申请还提供一种检测螺栓松动状态的卷积神经网络的训练系统，包括：

第一获取模块110，用于获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

第一提取模块120，用于提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

第一转换模块130，用于将提取的每个像素点的振动位移信号转换为时频图像；

训练样本构建模块140，用于构建训练样本，所述训练样本包括对所述测试结构测试的所有螺栓松动状态类别，以及，与各螺栓松动状态类别对应的时频图像；

训练模块150，用于以所述训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

如图8所示，本申请还提供一种检测螺栓松动状态的系统，包括：

第二获取模块210，用于获取目标结构的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

第二提取模块220，用于提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

第二转换模块230，用于将提取的每个像素点的振动位移信号转换为时频图像；

卷积神经网络计算模块240，用于将所述时频图像逐个输入卷积神经网络，输出与各时频图像对应的预测螺栓松动状态类别，其中，所述卷积神经网络为利用权利要求1所述的检测螺栓松动的卷积神经网络的训练方法训练后的卷积神经网络；

确定模块250，用于确定所述目标结构的螺栓松动状态类别，其中，所述目标结构的螺栓松动状态类别为所有输出的预测螺栓松动状态类别中占比数量最多的螺栓松动状态类别。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

具体实现中，本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质可存储有程序，该程序执行时可包括本申请提供的检测螺栓松动的卷积神经网络的训练方法和/或检测螺栓松动状态的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(randomaccess memory，RAM)等。

本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (11)

1.一种检测螺栓松动的卷积神经网络的训练方法，其特征在于，包括：

获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

将提取的每个像素点的振动位移信号转换为时频图像；

构建训练样本，所述训练样本包括对所述测试结构测试的所有螺栓松动状态类别，以及，与各螺栓松动状态类别对应的时频图像；

以所述训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

2.根据权利要求1所述的训练方法，其特征在于，提取所述振动图像序列中第一像素点的振动位移信号的方法，包括：

提取每帧振动图像中第一像素点的灰度信息，所述第一像素点为所述振动图像中目标区域内任意一个像素点；

对提取的每个所述第一像素点的灰度信息滤波处理；

根据所述滤波后的灰度信息，分别计算每帧振动图像中第一像素点的相位；

分别计算第一像素点在各自振动图像与在第一帧振动图像上的相位差；

根据所述第一像素点在各帧振动图像中的相位差，生成所述第一像素点的振动位移信号。

3.根据权利要求1所述的训练方法，其特征在于，所述将提取的每个像素点的振动位移信号转换为时频图像，包括：

通过连续小波变换，绘制与每个像素点的振动位移信号对应的时频图像。

4.根据权利要求1所述的训练方法，其特征在于，如果所述目标区域包括一个子区域，则以所述训练样本中一张时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

5.根据权利要求1所述的训练方法，其特征在于，如果所述目标区域包括多个子区域，则分别从各子区域选取一张时频图像，得到时频图像序列；

以所述时频图像序列作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

6.根据权利要求1所述的训练方法，其特征在于，以所述训练样本中时频图像作为输入，以松动状态类别作为输出，将待训练的卷积神经网络训练至收敛，包括：

将所述训练样本中时频图像输入至所述待训练的卷积神经网络；

经过所述待训练的卷积神经网络处理后，输出预测螺栓松动状态类别；

根据所述预测螺栓松动状态类别和所述训练样本中的螺栓松动状态类别，计算损失值；

判断所述损失值是否收敛，如果是，则训练结束；或，如果否，继续训练直至所述损失值收敛。

7.根据权利要求1所述的训练方法，其特征在于，所述待训练的卷积神经网络包括输入层、多组交替堆叠设置的卷积层和池化层、全连接层、分类器以及输出层；

通过所述输入层输入训练样本中时频图像；

通过所述多组交替堆叠设置的卷积层和池化层，对输入所述待训练的卷积神经网络的时频图像卷积计算和降采样处理，输出第一特征图；

通过所述全连接层，对所述第一特征图全连接处理，输出第二特征图；

通过所述分类器，对所述第二特征图分类；

通过所述输出层，输出预测螺栓松动状态类别。

8.一种检测螺栓松动状态的卷积神经网络的训练系统，其特征在于，包括：

第一获取模块，用于获取测试结构在不同螺栓松动状态测试下的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

第一提取模块，用于提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

第一转换模块，用于将提取的每个像素点的振动位移信号转换为时频图像；

训练样本构建模块，用于构建训练样本，所述训练样本包括对所述测试结构测试的所有螺栓松动状态类别，以及，与各螺栓松动状态类别对应的时频图像；

训练模块，用于以所述训练样本中时频图像作为输入，以预测螺栓松动状态类别作为输出，将待训练的卷积神经网络训练至收敛。

9.一种检测螺栓松动状态的卷积神经网络，其特征在于，包括：输入层、多组交替堆叠设置的卷积层和池化层、全连接层、分类器以及输出层；

其中，所述输入层，用于输入训练样本中时频图像；

所述多组交替堆叠设置的卷积层和池化层，用于对输入待训练的卷积神经网络的时频图像卷积计算和降采样处理，输出第一特征图；

所述全连接层，用于对所述第一特征图全连接处理，输出第二特征图；

所述分类器，用于对所述第二特征图分类；

所述输出层，用于输出预测螺栓松动状态类别。

10.一种检测螺栓松动状态的方法，其特征在于，包括：

获取目标结构的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

将提取的每个像素点的振动位移信号转换为时频图像；

将所述时频图像逐个输入卷积神经网络，其中，所述卷积神经网络为利用权利要求1所述的检测螺栓松动的卷积神经网络的训练方法训练后的卷积神经网络；

输出与各时频图像对应的预测螺栓松动状态类别；

确定所述目标结构的螺栓松动状态类别，其中，所述目标结构的螺栓松动状态类别为所有输出的预测螺栓松动状态类别中占比数量最多的螺栓松动状态类别。

11.一种检测螺栓松动状态的系统，其特征在于，包括：

第二获取模块，用于获取目标结构的振动图像序列，所述振动图像序列包括的多帧按时间序列排序的振动图像；

第二提取模块，用于提取所述振动图像序列中目标区域内预设数量像素点的振动位移信号；

第二转换模块，用于将提取的每个像素点的振动位移信号转换为时频图像；

卷积神经网络计算模块，用于将所述时频图像逐个输入卷积神经网络，输出与各时频图像对应的预测螺栓松动状态类别，其中，所述卷积神经网络为利用权利要求1所述的检测螺栓松动的卷积神经网络的训练方法训练后的卷积神经网络；

确定模块，用于确定所述目标结构的螺栓松动状态类别，其中，所述目标结构的螺栓松动状态类别为所有输出的预测螺栓松动状态类别中占比数量最多的螺栓松动状态类别。

Images