CN111710329A - 基于深度学习的船舶发动机声纹故障判别方法及系统 - Google Patents

Abstract

本发明属于船舶发动机检修技术领域，具体公开了一种基于深度学习的船舶发动机声纹故障判别方法及系统，该方法通过采集发动机声纹相关信号，并对该声纹信号进行处理，从而实现故障判定。该系统包括信号采集单元、云服务器和信号处理单元，云服务器的输入端与信号采集单元的输出端连接，信号处理单元的输入端与信号采集单元的输出端连接。采用本技术方案，在不拆检发动机的情况下，能够快速准确地诊断发动机故障。

Description

基于深度学习的船舶发动机声纹故障判别方法及系统

技术领域

本发明属于船舶发动机检修技术领域，涉及一种基于深度学习的船舶发动机声纹故障判别方法及系统。

背景技术

发动机在船舶的发展过程中起着关键性作用，发动机既是船舶的“心脏”又是推动船舶快速发展的源动力。没有好的发动机，就不可能有先进的船舶，人类航海领域中的每一次重大的革命性进展，无不与发动机技术的突破和进步密切相关。船舶发动机状态监测与故障诊断技术的研究已经有很多年的历史，它对监视、评定发动机的工作状态、变化趋势以及寿命消耗和残余寿命，保证发动机安全、可靠运行有着重要的作用。正因如此，船舶发动机故障诊断技术已愈来愈受到世界各发动机制造厂家的重视，而将其作为提高发动机运行可靠性、降低直接使用成本的重要手段。

伴随当代科技的迅猛进步，发动机构造趋于繁杂化，功能也变得极为强大，对工作人员的要求也更为苛刻，作业强度越大，负担就会变得越无法承受，致使产生故障的几率大幅上升，其产生的模式五花八门，严重时会导致停航停工，损失会极为惨重，造成巨大的经济损失，甚至危及人身安全。目前采用的定时维修制度，容易造成材料消耗和维修费用及停产时间的浪费，而且频繁的拆检会破坏各零件之间的摩擦状态，并可能由于装配不当而引起新的故障。

发明内容

本发明的目的在于提供一种基于深度学习的船舶发动机声纹故障判别方法及系统，实现在不拆检发动机的情况下，快速准确地诊断发动机故障。

为了达到上述目的，本发明的基础方案为：一种基于深度学习的船舶发动机声纹故障判别方法，包括如下步骤：

S1、通过发动机声纹监控装置获取船舶航行时的发动机音频信息，并将发动机音频信息传输至云服务器，所述的发动机音频信息包括发动机以各种转速运转时的工作音频；

收集航行过程中影响发动机运行音频信息的外部变量和内部变量，并传输至云服务器，所述外部变量包括船舶载重、船舶上下水、流域汛期和航段水域等级，所述内部变量包括发动机转速；

S2、同时间区间点，选取外部变量数据，内部变量数据和音频数据，对云服务器内的发动机音频在时域和频域上提取相关的声纹特征，所述声纹特征包括短时过零率、色度频率、频谱均方根误差、频谱质心、频谱带宽、频谱滚降点和梅尔倒谱系数之一或它们的任意组合；

S3、云服务器对提取的声纹特征进行数据转换，同时选取该时间段的发动机转速信息，与声纹特征信息、外部变量数据、内部变量数据进行匹配，将匹配好的数据信息通过规约整理成深度学习神经网络输入层的数据格式，搭建神经网络框架并训练网络；

S4、对神经网络框架进行性能评价，并确定最优参数；

S5、云服务器根据参数调优后的神经网络模型对船舶方发送的数据进行预测，根据预测结果反馈船舶发动机是否存在异常。

本基础方案的工作原理和有益效果在于：考虑到流域的不同外部情况对船舶内燃发动机同等转速会产生不同的阻力影响，从而导致发动机在工作时，音频特征会有所差异，所以需要采集外部变量进行分析。且在同等外部条件下，发动机在不同转速区间的声纹特征是不同的，则需要采集内部变量对发动机的声纹特征进行分析。根据发动机正常工作时的音频信息特征与故障时的音频信息特征间的区别，采集发动机工作时的音频信息与发动机正常状态的音频信息进行比对，利用神经网络框架解决故障分析。

进一步，所述步骤S1还包括：

收集发动机工作时与音频信息对应的相关附属参数并传输至云服务器，相关附属参数包括发动机油温、油压、水温，齿轮机油压和油温。

相关附属参数会受发动机工作状态影响而产生变化，采集更多的相关附属参数信息，更利于了解发动机所处的工作状态，增强检测的准确性。

进一步，所述步骤S1还包括：

云服务器对接收的相关附属参数进行分段提取，并与发动机正常运行时的参数标准对比，当相关附属参数超过参数标准时，直接对船舶工作人员发出警报。

直接利用相关附属参数进行故障检测，相关附属参数的数据种类较多，比较的信息较全面，保证检测准确性，同时检测程序也较简单，利于操作。

进一步，步骤S1还包括：

将发动机音频信息输入音频信号转换单元，对发动机音频信息的模拟信号进行周期性采样，使模拟信号转换为数字信号，并将同发动机音频信息采样时的本地时间戳一同记录，形成带有时间序列性质的发动机音频数据。

步骤S1先对发动机音频进行转换处理，利于后续步骤直接取用。

进一步，所述步骤S3还包括：

对带有时间序列性质的发动机音频数据的数据时间戳进行提取，按时间戳信息收集发动机的相关附属参数、外部变量和内部变量，形成完整的带有时间序列性质的发动机外部变量、内部变量、发动机音频及相关附属参数数据发送到云平台服务。

进一步，所述步骤S4还包括：

通过云服务器上的python脚本对声纹信息按时间段进行声纹特征提取，同时选取该时间段的发动机转速信息，与声纹特征信息、外部变量数据、内部变量数据基于时间戳进行匹配，将匹配好的数据信息通过规约整理成深度学习神经网络输入层的数据格式。

进一步，所述步骤S4确定最优参数时还包括：

选用激活函数

数据进入输入层，通过全连接层进行计算汇总到下一层(L层)神经元的各个神经节点中，通过激活函数进行判断，以确定该层(L层)节点中的各个神经节点输入数据，其中x为L层的前一层经过全连接预算后的输入数据，α为惩罚函数。

该激活函数的右侧线性部分使得该激活函数能够缓解梯度消失，常数部分可以保证最大化的减少梯度爆炸发生的可能性。左侧具有软饱和性，能够让该激活函数对输入变化或噪声更鲁棒。该激活函数的输出均值不会大于10，所以收敛速度更快。

本发明还提供一种基于深度学习的船舶发动机声纹故障判别系统，包括信号采集单元、云服务器和信号处理单元；

所述信号采集单元，用于采集发动机的音频信息和与音频信息对应的的相关附属参数；

所述云服务器的输入端与信号采集单元的输出端连接，用于接收发动机的音频数据及附属参数并对二者进行分段提取；

所述信号处理单元的输入端与信号采集单元的输出端连接，用于接收发动机音频数据并提取音频数据的相关特征搭建神经网络框架，对神经网络框架进行性能评价，并确定最优参数。

利用信号采集单元采集所需要的信息，再将采集到的信息传输至对应的云服务器或信号处理单元，云服务器和信号处理单元根据自身设置的程序结构对接收的信息进行处理，以处理后的信息进行发动机故障判断。

附图说明

图1是本发明基于深度学习的船舶发动机声纹故障判别系统的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示：本发明公开了一种基于深度学习的船舶发动机声纹故障判别方法，包括如下步骤：

S1、数据获取：通过发动机声纹监控装置获取船舶航行时的发动机音频信息，及发动机工作时与音频信息对应的相关附属参数，并将发动机音频信息和相关附属参数均传输至云服务器。发动机音频信息主要包括发动机以各种转速运转时的工作音频，相关附属参数主要包括发动机油温、油压、水温，齿轮机油压和油温。

由于船舶在航行时，内燃发动机受到的外部阻力如船舶负载，水流阻力等因素影响较大，且这种阻力对于船舶内燃发动机的影响很难直接进项量化计算，在根据声音特征判别内燃发动机运转是否发生异常时，本发明不仅考虑发动机运转时的声音特征，还考虑了发动机在不同转速和外部影响因素的共同作用下的声音特征。

例如：当船舶空载下水低转速运行时候的声音听特征与船舶高速运转且满载上水的时候的内燃发动机声音特征并不相同，在发动机低于运转空载下水捕捉到的声音特征异常，到了船舶高转速运行且满载上水的时候出现就不能算是异常。

收集航行过程中影响发动机运行音频信息的外部变量和内部变量，并传输至云服务器，外部变量包括船舶载重、船舶上下水、流域汛期和航段水域等级等，内部变量包括发动机转速。船舶的载重影响到了船舶发动机的航行吃水，而吃水直接影响了航行阻力，此阻力直接影响转换为发动机需要克服阻力。在具体计算时进行如下界定：

船舶载重以吨为单位，船舶分为空载，负载率和满载，其中空载为0，满载为1，负载率＝负载(吨)/满载(吨)。而船舶的上下水指船舶的航行方向，上水为1，下水为0，上下水对船舶的航行所受阻力的大小影响很大，即对发动机的运行有很大影响。汛期分为枯水期，中水期，涨水期，不同汛期代表船舶航行的过程中浮力和阻力都有不同，且设置涨水为0，中水为1，枯水为2。

对发动机转速进行分段处理，小于200转为一档类别为0，200转到500转之间每50转为一档，分别为1，2，3，4，5，6；500转以上为一档计为7。

S2、数据提取：云服务器对接收的相关附属参数进行分段提取，时间间隔为十秒，并与发动机正常运行时的参数标准对比，当相关附属参数超过参数标准时，直接对船舶工作人员发出警报，这时可不进行后续发动机声纹故障判别。

S3、音频信号转换：将发动机音频信息输入音频信号转换单元，对发动机音频信息的模拟信号进行周期性采样，采样频率为22050，使模拟信号转换为数字信号，并将同发动机音频信息采样时的本地时间戳一同记录，形成带有时间序列性质的发动机音频数据。

S4、相关附属参数转换：对带有时间序列性质的发动机音频数据的数据时间戳进行提取，按时间戳信息收集发动机的相关附属参数，形成完整的带有时间序列性质的发动机音频及相关附属参数数据发送到云平台服务。

S5、特征提取：同时间区间点，选取外部变量数据，内部变量数据和音频数据，通过云服务器上的python脚本对发动机音频在时域和频域上提取相关的声纹特征，声纹特征包括短时过零率、色度频率、频谱均方根误差、频谱质心、频谱带宽、频谱滚降点和梅尔倒谱系数之一或它们的任意组合。

S3、搭建神经网络框架：云服务器对提取的声纹特征进行数据转换，选取该时间段的发动机转速信息，与声纹特征信息、外部变量数据、内部变量数据基于时间戳进行匹配，将匹配好的数据信息通过规约整理成深度学习神经网络输入层的数据格式，具体数据格式可采用本领域中通用的神经网络输入层的数据格式，然后搭建神经网络框架并训练网络。

S6、选择最优参数：通过对外部因素和船舶发动机自身转速数据的处理，将其处理成类别数据。但是由于声音的特征数据大多为频域数据，与外部数据和船舶转速的数据量级差异比较大。外部数据对深度神经网络拟合时，本发明为降低这种量化差异的影响，使模型快速收敛，在深度学习对激活函数进行改进，改进后的激活函数如下：

在深度学习时，数据进入输入层，通过全连接层进行计算汇总到下一层(L层)神经元的各个神经节点中，通过激活函数进行判断，以确定该层(L层)节点中的各个神经节点输入数据，其中x为L层的前一层经过全连接预算后的输入数据，α为惩罚函数。

其中当输入数值在0到10时，采用线性函数f(x)＝x作为激活函数。而当x小于0的时候采用α(e^x-1)作为激活函数，当X大于10的时候，考虑到可能此神经元受到了船舶外部影响因素较大，而不采用f(x)＝x,直接采用10作为激活函数，因为有效避免了防止因数据输入量化差异而产生的梯度爆炸，从而导致模型无法收敛的问题。

该激活函数左侧具有软饱和性，右侧在一定范围内有饱和性，当大于一定数值是取为常数10。右侧线性部分使得该激活函数能够缓解梯度消失，常数部分可以保证最大化的减少梯度爆炸发生的可能性。而左侧软饱能够让该激活函数对输入变化或噪声更鲁棒。该激活函数的输出均值不会大于10，所以收敛速度更快。

S7、调用模型预测：将经过参数调优的最终模型，保存为model文件，云服务器根据参数调优后的神经网络模型对船舶方发送的数据进行预测，根据预测结果反馈船舶发动机是否存在异常。

本实施方案还提供一种基于深度学习的船舶发动机声纹故障判别系统，包括信号采集单元、云服务器和信号处理单元。

信号采集单元发动机声纹监控装置，用于采集发动机的音频信息和与音频信息对应的相关附属参数。

云服务器的输入端与信号采集单元的输出端连接，用于接收发动机的音频数据及附属参数并对二者进行分段提取。

信号处理单元的输入端与信号采集单元的输出端连接，用于接收发动机音频数据并提取音频数据的相关特征搭建神经网络框架，对神经网络框架进行性能评价，并确定最优参数。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于深度学习的船舶发动机声纹故障判别方法，其特征在于，包括如下步骤：

S1、通过发动机声纹监控装置获取船舶航行时的发动机音频信息，并将发动机音频信息传输至云服务器，所述的发动机音频信息包括发动机以各种转速运转时的工作音频；

收集航行过程中影响发动机运行音频信息的外部变量和内部变量，并传输至云服务器，所述外部变量包括船舶载重、船舶上下水、流域汛期和航段水域等级，所述内部变量包括发动机转速；

S2、同时间区间点，选取外部变量数据，内部变量数据和音频数据，对云服务器内的发动机音频在时域和频域上提取相关的声纹特征，所述声纹特征包括短时过零率、色度频率、频谱均方根误差、频谱质心、频谱带宽、频谱滚降点和梅尔倒谱系数之一或它们的任意组合；

S3、云服务器对提取的声纹特征进行数据转换，同时选取该时间段的发动机转速信息，与声纹特征信息、外部变量数据、内部变量数据进行匹配，将匹配好的数据信息通过规约整理成深度学习神经网络输入层的数据格式，搭建神经网络框架并训练网络；

S4、对神经网络框架进行性能评价，并确定最优参数；

S5、云服务器根据参数调优后的神经网络模型对船舶方发送的数据进行预测，根据预测结果反馈船舶发动机是否存在异常。

2.如权利要求1所述的基于深度学习的船舶发动机声纹故障判别方法，其特征在于，所述步骤S1还包括：

收集发动机工作时与音频信息对应的相关附属参数并传输至云服务器，相关附属参数包括发动机油温、油压、水温，齿轮机油压和油温。

3.如权利要求2所述的基于深度学习的船舶发动机声纹故障判别方法，其特征在于，所述步骤S1还包括：

云服务器对接收的相关附属参数进行分段提取，并与发动机正常运行时的参数标准对比，当相关附属参数超过参数标准时，直接对船舶工作人员发出警报。

4.如权利要求1或2所述的基于深度学习的船舶发动机声纹故障判别方法，其特征在于，步骤S1还包括：

将发动机音频信息输入音频信号转换单元，对发动机音频信息的模拟信号进行周期性采样，使模拟信号转换为数字信号，并将同发动机音频信息采样时的本地时间戳一同记录，形成带有时间序列性质的发动机音频数据。

5.如权利要求4所述的基于深度学习的船舶发动机声纹故障判别方法，其特征在于，所述步骤S3还包括：

对带有时间序列性质的发动机音频数据的数据时间戳进行提取，按时间戳信息收集发动机的相关附属参数、外部变量和内部变量，形成完整的带有时间序列性质的发动机外部变量、内部变量、发动机音频及相关附属参数数据并发送到云平台服务。

6.如权利要求4所述的基于深度学习的船舶发动机声纹故障判别方法，其特征在于，所述步骤S4还包括：

通过云服务器上的python脚本对声纹信息按时间段进行声纹特征提取，同时选取该时间段的发动机转速信息，与声纹特征信息、外部变量数据、内部变量数据基于时间戳进行匹配，将匹配好的数据信息通过规约整理成深度学习神经网络输入层的数据格式。

7.如权利要求6所述的基于深度学习的船舶发动机声纹故障判别方法，其特征在于，所述步骤S4确定最优参数时还包括：

选用激活函数

数据进入输入层，通过全连接层进行计算汇总到下一层(L层)神经元的各个神经节点中，通过激活函数进行判断，以确定该层(L层)节点中的各个神经节点输入数据，其中x为L层的前一层经过全连接预算后的输入数据，α为惩罚函数。

8.一种基于深度学习的船舶发动机声纹故障判别系统，其特征在于，包括信号采集单元、云服务器和信号处理单元；

所述信号采集单元，用于采集发动机的音频信息和与音频信息对应的的相关附属参数；

所述云服务器的输入端与信号采集单元的输出端连接，用于接收发动机的音频数据及附属参数并对二者进行分段提取；

所述信号处理单元的输入端与信号采集单元的输出端连接，用于接收发动机音频数据并提取音频数据的相关特征搭建神经网络框架，对神经网络框架进行性能评价，并确定最优参数。

Images