CN110726505B - 基于长短时记忆网络的输电杆塔螺栓紧固检测方法及系统 - Google Patents

Abstract

本发明实施例公开了一种基于长短时记忆网络的输电杆塔螺栓紧固检测方法及系统，方法包括：获取原始声波数据；对原始声波数据进行预处理，以得到处理数据；将处理数据划分为训练样本和测试样本；提取训练样本的共振峰和13阶MFCC特征，并构建特征向量；根据特征向量训练长短时记忆网络分类模型；将测试样本输入长短时记忆网络分类模型进行预测，以得到预测结果，并输出预测结果。实施本发明实施例，构建了一套铁塔声波数据采集的作业方法，并利用机器学习技术实现对螺栓紧固状态的检测，解决了传统上对高压输电线螺栓紧固检测时所需要的大量人力和时间问题。

Description

基于长短时记忆网络的输电杆塔螺栓紧固检测方法及系统

技术领域

本发明涉及音频处理技术领域，具体涉及一种基于长短时记忆网络的输电杆塔螺栓紧固检测方法及系统。

背景技术

在输电系统的构建中需要用到大量的螺栓用以进行不同组件间的连接与固定。在此类场景中，不同组件的可靠连接与固定显得尤为重要，对于安装使用的螺栓进行定期检查时排除安全隐患的必要措施。传统的排查方法需要人工实施，通过高空作业或采集图像肉眼判别的方法往往存在一定的危险。利用视觉的方法往往需要借助无人机巡检，拍摄现场画面，并利用图像处理和目标检测的相关技术对螺栓的紧固进行判断，但此类方法存在两大问题：一是由于训练样本不足，难以利用机器学习的方法进行学习；二是由于紧固螺栓和松动螺栓在形态差异上区分不明显，利用传统图像处理技术判断螺栓紧固状态存在一定困难。同时利用机器视觉检测螺栓的方法在面对高压输电线周围环境的图像时，因为存在着复杂的环境，并不能产生令人满意的结果。因此，利用螺栓不同状态敲击时产生的声波信息进行螺栓紧固检测成为一种新的思路。

发明内容

本发明实施例的目的在于提供一种基于长短时记忆网络的输电杆塔螺栓紧固检测方法及系统，以解决传统上对高压输电线螺栓紧固检测时所需要的大量人力和时间问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于长短时记忆网络的输电杆塔螺栓紧固检测方法，包括：

获取原始声波数据，所述原始声波数据由光纤传感器分析仪在输电铁塔塔基处采集所得；

对所述原始声波数据进行预处理，以得到处理数据；

将所述处理数据划分为训练样本和测试样本；

提取所述训练样本的共振峰和13阶MFCC特征，并基于所述共振峰和13阶MFCC特征构建特征向量；

根据所述特征向量训练长短时记忆网络分类模型；

将所述测试样本输入所述长短时记忆网络分类模型进行预测，以得到预测结果，并输出所述预测结果。

作为本申请一种具体的实施方式，对所述原始声波数据进行预处理具体包括：

对所述原始声波数据进行滤除处理、端点检测处理、声波分帧处理及预加重处理。

作为本申请一种具体的实施方式，提取所述训练样本的共振峰和13阶MFCC特征，并基于所述共振峰和13阶MFCC特征构建特征向量，具体包括：

计算每一个训练样本的13阶MFCC特征；

计算每一个训练样本的频谱数据的共振峰变化范围差值，作为声波数据特征；

将所述13阶MFCC特征和声波数据特征进行合并，以作为声波样本的特征向量。

作为本申请的一种具体实施方式，根据所述特征向量训练长短时记忆网络分类模型具体包括：

初始化LSTM网络结构：设置LSTM隐藏单元的数量numHiddemUnits＝40，类别数量numClass＝2，特征维数D＝14，最大迭代轮数maxEpoch＝40，批大小miniBatchSize＝512，以及选择使用随机梯度下降(SGD)作为优化算法，选择交叉熵损失作为损失函数；

将所述训练样本中提取的特征向量和训练样本对应的分类真值作为LSTM网络的输入，开始训练LSTM模型，其中训练过程为迭代过程，每一次迭代通过前向传播计算交叉熵损失，最小化目标函数，并反向传播更新模型参数，最后得到训练好的模型。

作为本申请的一种具体实施方式，将所述测试样本输入所述长短时记忆网络分类模型进行预测具体包括：

对所述测试样本进行特征提取，以得到预测特征向量；

将所述预测特征向量输入所述长短时记忆网络分类模型进行预测，以得到预测结果。

进一步地，将所述处理数据划分为训练样本和测试样本之后，所述检测方法还包括：

记录用于训练的声波数据所对应的螺栓紧固状态。

第二方面，本发明实施例提供了一种基于长短时记忆网络的输电杆塔螺栓紧固检测系统，包括光纤传感器分析仪和计算机。其中，所述光纤传感器分析仪分别与被测铁塔和计算机进行通信；所述光纤传感器分析仪用于采集所述被测铁塔塔基处的原始声波数据，并将所述声波数据发送至所述计算机；

所述计算机包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如前所述的检测方法。

进一步地，所述光纤传感器分析仪采集所述被测铁塔塔基处的原始声波数据，具体包括：

设备连接：将所述光纤传感器分析仪和被测铁塔通过光纤连接；

数据采集：将所述光纤传感器分析仪的采集片粘贴于所述被测铁塔塔基内侧的钢壁上，通过回弹仪敲击塔基以采集所述原始声波数据，并记录铁塔螺栓的紧固状态。

实施本发明实施例，构建了一套铁塔声波数据采集的作业方法，并利用机器学习技术实现对螺栓紧固状态的检测，解决了传统上对高压输电线螺栓紧固检测时所需要的大量人力和时间问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的基于长短时记忆网络的输电杆塔螺栓紧固检测方法的示意流程图；

图2是设备连接方式说明图；

图3是数据采集方法示意图；

图4是MFCC特征提取流程图；

图5是LSTM分类网络结构图；

图6是本发明实施例提供的基于长短时记忆网络的输电杆塔螺栓紧固检测系统的结构示意图；

图7是图6中计算机的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为更好地理解本发明实施例，对下述描述中所涉及的专业名词解释如下：

梅尔频率倒谱系数(Mel Frequency Cepstral Coefficients，MFCC)

长短时记忆网络(Long Short-Term Memory，LSTM)

本发明实施例的工作原理如下：

基于现状，利用螺栓不同状态敲击时产生的声波信息进行螺栓紧固检测成为一种新的思路。

通过抽取声波特征可以很好的区分不同类型的声波信息，从而通过机器学习的方法对声波特征训练分类，判断螺栓紧固状态。声波的共振峰时携带声音辨识属性的元素，有经验可知，对于紧固的螺栓，其共振峰的变化范围较小；而对于松动的螺栓，其共振峰的变化范围较大，因此利用共振峰变化范围差值，可作为判别不同螺栓状态的重要特征；另外一种特征为梅尔频率倒谱系数(Mel Frequency Cepstral Coefficients，MFCC)，通过提取的13阶MFCC特征，可以有效地运用于语音识别，有利于识别声波的语义内容，舍弃掉其它不相关的信息。

根据以上所述，本发明提出了一种基于长短时记忆网络的输电杆塔螺栓紧固检测方法。本发明构建了一套铁塔声波数据采集的方法和流程，并通过通过提取采集声波数据的共振峰和MFCC特征构建特征向量，并训练用于分类的长短时记忆网络(Long Short-TermMemory，LSTM)模型，从而实现对未知声波的螺栓紧固状态进行预测。

请参考图1，本发明实施例所提供的基于长短时记忆网络的输电杆塔螺栓紧固检测方法，主要包括数据采集、声波预处理、模型训练和样本预测四个部分。需要说明的是，本实施例检测方法的执行主体是计算机。该检测方法的主要步骤如下：

S101，获取原始声波数据，该原始声波数据有光纤传感器分析仪在输电铁塔塔基处采集所得。

具体地，利用高速高精度光纤传感器分析仪在输电铁塔塔基采集原始声波数据。首先进行设备连接，如图2所示，将高速高精度光纤传感分析仪和被测铁塔通过光纤连接，再通过网线连接到计算机；然后，进行数据采集。采集声波数据时，如图3所示，将高精度光纤传感分析仪采集片粘贴在1#脚内侧钢壁上，用回弹仪在铁塔塔基出进行敲击，收录不同铁塔螺栓状态的声波数据，并记录基本信息，作为采集的原始声波数据。记录样表如表1所示。

表1声波数据采集记录例表

S102，对原始数据进行预处理，以得到处理数据。

具体地，对输入的原始声波信号进行预处理；预处理方式包括对声波信号进行端点检测、分帧、预加重等。目的是滤除掉声波数据中不重要的信息以及背景噪声，使得螺栓的不同状态更易于利用模型进行学习分辨。

S103，将所述处理数据划分为训练样本和测试样本。

具体地，将预处理后的声波数据划分为训练样本集合

和测试样本集合

选取训练样本数N＝10，用于训练LSTM模型。其中，训练样本还有其对应的二分类真值向量，对应其状态为紧固(0)或松动(1)。

S104，提取所述训练样本的共振峰和13阶MFCC特征，并基于所述共振峰和13阶MFCC特征构建特征向量。

对于训练样本，对声波数据进行特征提取，提取其共振峰和梅尔频率倒谱系数(MFCC)，构建特征向量。1)针对每一个训练样本提取其MFCC特征，参阅图4。先对声波进行预加重、分帧和加窗；再对每一个短时分析窗，通过FFT得到对应的频谱；然后将上面的频谱通过Mel滤波器组得到Mel频谱；最后在Mel频谱上进行倒谱分析，获得13维的MFCC特征向量

其中i表示第i个训练样本。2)针对每一个训练样本提取其共振峰范围差值作为一个特征。在本实施例中，从采集的样本统计得到，共振峰对于紧固的螺栓敲击声音产生的频谱值约为1548-1552，对于松动的螺栓敲击声音产生的频谱值约为1520-1570。因此，根据声波的频谱图，计算得共振峰范围差值为

3)每一个训练样本的最终抽取的特征向量

其中

和

的计算都可由MatLab或Python的语音工具箱完成。

S105，根据所述特征向量训练长短时记忆网络分类模型。

LSTM网络可以处理输入样本为序列的数据，并且样本序列的长度是可变的，相比于一般的循环网络模型，LSTM解决了训练过程中梯度消失和梯度爆炸的问题。对于非序列数据的输入，LSTM也可以作为分类器，其效果通常优于传统分类器如KNN、SVM等。参阅图5，先将特征向量f_i作为LSTM的输入，经过LSTM单元(LSTM Cell)输出最后结果，然后经过一个全连接层和Softmax层，最后输出长度为2(类别数)的向量。

本发明中使用的基本的LSTM网络结构定义如下：在一个LSTM单元中，LSTM接受当前的特征向量f_i作为输入，并输出隐藏状态(hidden state)

和单元状态(cellstate)

作为下一阶段的输入，其中d为输出向量维数。LSTM网络包含三个门：输入门(input gate)gⁱ，遗忘门(forget gate)g^f和输出门(output gate)g^o，还有一个控制门g^g，Wⁱ,W^f,W^o,W^g分别为对应的权重矩阵。记H_i由当前阶段输入特征向量f_i和上一阶段输出隐藏状态h_i拼接而成，那么输出的隐藏状态h_i+1和单元状态c_i+1可以通过公式(1)更新：

g^o＝σ(W^o*H_i),

g^g＝tanh(W^c*H_i),

c_i+1＝g^f⊙c_i+gⁱ⊙g^g,

h_i+1＝g^o⊙tanh(c_i)

式中σ表示sigmoid函数，⊙表示对应元素相乘。为了用更简单的形式表示上述公式，记W为四个权重矩阵的组合，用LSTM(·)的形式将公式(8)简写为公式(9)的形式：

(h_i+1,c_i+1)＝LSTM(H_i,c_i,W) (2)

在本实施例中，在初始化LSTM网络结构时，设置LSTM隐藏单元的数量numHiddemUnits＝40，类别数量numClass＝2，特征维数D＝14，最大迭代轮数maxEpoch＝40，批大小miniBatchSize＝512，以及选择使用随机梯度下降(SGD)作为优化算法，选择交叉熵损失作为损失函数。训练过程为迭代过程；每一次迭代通过前向传播计算交叉熵损失，最小化目标函数，并反向传播更新模型参数，最终得到LSTM分类模型。

S106，将所述测试样本输入所述长短时记忆网络分类模型进行预测，以得到预测结果，并输出所述预测结果。

具体地，先对所述测试样本进行如前所述的特征提取，以得到预测特征向量；再将所述预测特征向量输入所述长短时记忆网络分类模型进行预测，以得到预测结果，并输出该预测结果。

本实施例中的检测方法，利用机器学习技术实现对螺栓紧固状态的检测，解决了传统上对高压输电线螺栓紧固检测时所需要的大量人力和时间问题。

基于相同发明构思，本发明实施例提供了一种基于长短时记忆网络的输电杆塔螺栓紧固检测系统。如图6所示，该检测系统包括光纤传感器分析仪100和计算机200。

其中，所述光纤传感器分析仪100分别与被测铁塔和计算机200进行通信；所述光纤传感器分析仪100用于采集所述被测铁塔塔基处的原始声波数据，并将所述声波数据发送至所述计算机200。

进一步地，如图7所示，计算机200可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于长短时记忆网络的输电杆塔螺栓紧固检测方法的实施例中所描述的实现方式，在此不再赘述。

需要说明的是，关于该检测系统的更为具体的工作流程，请参考前述方法实施例部分，在此不再赘述。

综上，本发明实施例构建了一套铁塔声波数据采集的作业方法，并利用机器学习技术实现对螺栓紧固状态的检测，解决了传统上对高压输电线螺栓紧固检测时所需要的大量人力和时间问题。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于长短时记忆网络的输电杆塔螺栓紧固检测方法，其特征在于，包括：

获取原始声波数据，所述原始声波数据由光纤传感器分析仪在输电铁塔塔基处采集所得；

对所述原始声波数据进行滤除处理、端点检测处理、声波分帧处理及预加重处理，以得到处理数据；

将所述处理数据划分为训练样本和测试样本；

提取所述训练样本的共振峰和13阶MFCC特征，并基于所述共振峰和13阶MFCC特征构建特征向量；

根据所述特征向量训练长短时记忆网络分类模型；

将所述测试样本输入所述长短时记忆网络分类模型进行预测，以得到预测结果，并输出所述预测结果。

2.如权利要求1所述的检测方法，其特征在于，提取所述训练样本的共振峰和13阶MFCC特征，并基于所述共振峰和13阶MFCC特征构建特征向量，具体包括：

计算每一个训练样本的13阶MFCC特征；

计算每一个训练样本的频谱数据的共振峰变化范围差值，作为声波数据特征；

将所述13阶MFCC特征和声波数据特征进行合并，以作为声波样本的特征向量。

3.如权利要求2所述的检测方法，其特征在于，根据所述特征向量训练长短时记忆网络分类模型具体包括：

初始化LSTM网络结构：设置LSTM隐藏单元的数量numHiddemUnits＝40，类别数量numClass＝2，特征维数D＝14，最大迭代轮数maxEpoch＝40，批大小miniBatchSize＝512，以及选择使用随机梯度下降作为优化算法，选择交叉熵损失作为损失函数；

将所述训练样本中提取的特征向量和训练样本对应的分类真值作为LSTM网络的输入，开始训练LSTM模型，其中训练过程为迭代过程，每一次迭代通过前向传播计算交叉熵损失，最小化目标函数，并反向传播更新模型参数。

4.如权利要求1所述的检测方法，其特征在于，将所述测试样本输入所述长短时记忆网络分类模型进行预测具体包括：

对所述测试样本进行特征提取，以得到预测特征向量；

将所述预测特征向量输入所述长短时记忆网络分类模型进行预测，以得到预测结果。

5.如权利要求1-4任一项所述的检测方法，其特征在于，将所述处理数据划分为训练样本和测试样本之后，所述检测方法还包括：

记录用于训练的声波数据所对应的螺栓紧固状态。

6.一种基于长短时记忆网络的输电杆塔螺栓紧固检测系统，包括光纤传感器分析仪和计算机，其特征在于，所述光纤传感器分析仪分别与被测铁塔和计算机进行通信；所述光纤传感器分析仪用于采集所述被测铁塔塔基处的原始声波数据，并将所述声波数据发送至所述计算机；

所述计算机包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求5所述的方法。

7.如权利要求6所述的检测系统，其特征在于，所述光纤传感器分析仪采集所述被测铁塔塔基处的原始声波数据，具体包括：

设备连接：将所述光纤传感器分析仪和被测铁塔通过光纤连接；

数据采集：将所述光纤传感器分析仪的采集片粘贴于所述被测铁塔塔基内侧的钢壁上，通过回弹仪敲击塔基以采集所述原始声波数据，并记录铁塔螺栓的紧固状态。

Images