CN110082135A - 设备故障识别方法、装置和终端设备 - Google Patents
设备故障识别方法、装置和终端设备 Download PDFInfo
- Publication number
- CN110082135A CN110082135A CN201910193243.4A CN201910193243A CN110082135A CN 110082135 A CN110082135 A CN 110082135A CN 201910193243 A CN201910193243 A CN 201910193243A CN 110082135 A CN110082135 A CN 110082135A
- Authority
- CN
- China
- Prior art keywords
- fault
- obtains
- recognition result
- sound information
- operational sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
- G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及信息处理技术领域，提供了一种设备故障识别方法、装置和终端设备。上述方法包括：采集目标设备工作时的工作声音信息，并将工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；述第一识别结果包括第一故障位置和第一故障类型；采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。上述方法结合声音和图像对设备故障进行识别，能够提高故障识别准确度。
Description
技术领域
本发明属于信息处理技术领域，尤其涉及设备故障识别方法、装置和终端设备。
背景技术
设备故障都是各个生产厂家技术人员收集数据形成的故障类型分类。传统的设备故障数据均为公开图像数据库和公开视频数据库，从上述公开数据库中提取数据并进行人工标记，而这些公开数据库多为基于人类视角采取的，因此采集的数据在角度和内容具有较大的局限性，导致故障识别准确度较低。
发明内容
有鉴于此，本发明实施例提供了设备故障识别方法、装置和终端设备，以解决现有技术中故障识别准确度较低的问题。
本发明实施例第一方面提供了一种设备故障识别方法，包括：
采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；所述第一识别结果包括第一故障位置和第一故障类型；
采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；
匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。
可选的，所述采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果，包括：
通过传感器采集目标设备工作时的工作声音信息，并将采集到的工作声音信息进行预处理，获取有效的工作声音信息；
对所截取的工作声音信息进行分析得出灰度图，并对灰度图的属性特征进行提取；
将提取出的属性特征输入第一神经网络模型进行识别，得出第一故障位置和第一故障类型。
可选的，所述将采集到的工作声音信息进行预处理，获取有效的工作声音信息，包括：
采集所述目标设备未工作时的环境声音信息；
从所述工作声音信息中去除所述环境声音信息，得到有效的工作声音信息。
可选的，所述将提取出的属性特征输入第一神经网络模型进行识别，得出第一故障位置和第一故障类型，包括：
将提取出的属性特征分为两部分；
将第一部分属性特征输入第一神经网络模型，得出第一待定故障位置和第一待定故障类型；
将第二部分属性特征输入第一神经网络模型，得出第二待定故障位置和第二待定故障类型；
检测第一待定故障位置和第二待定故障位置是否相同，以及第一待定故障类型和第二待定故障类型是否相同；
若第一待定故障位置和第二待定故障位置相同且第一待定故障类型和第二待定故障类型相同，则将第一待定故障位置和第二待定故障位置作为所述第一故障位置，将第一待定故障类型和第二待定故障类型作为所述第一故障类型。
可选的，所述采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果，包括：
采集目标设备工作时的工作声音信息；
对所述工作声音信息进行时频二维处理，获取工作声音信息对应的时频二维信号；
将所述时频二维信号输入第一神经网络模型进行识别，得出第一识别结果。
可选的，所述对所述工作声音信息进行时频二维处理，获取工作声音信息对应的时频二维信号，包括：
对所述工作声音信息进行分帧加窗处理，获得多个短时声音数据；
对每个所述短时声音数据进行离散傅里叶变换，获得对应的短时幅度谱数据；
计算每个短时幅度谱数据的频谱密度函数，将获得的所述频谱密度函数作为所述工作声音信息对应的时频二维信号。
可选的，所述采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果，包括：
对采集到的图像信息进行预滤波处理，得到处理后的图像信息；
计算处理后的图像信息的像素灰度梯度，并根据所述像素灰度梯度构造灰度梯度序列；
计算所述灰度梯度序列的局部极值点，将局部极值点的坐标位置作为边缘特征位置；
根据边缘特征位置对处理后的图像信息进行特征提取；
将提取出的特征输入第二神经网络模型进行识别，得出第二识别结果。
本发明实施例的第二方面提供了一种设备故障识别装置，包括：
第一识别模块，用于采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；所述第一识别结果包括第一故障位置和第一故障类型；
第二识别模块，用于采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；
故障确定模块，用于匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的设备故障识别方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如第一方面所述的设备故障识别方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例，采集目标设备工作时的工作声音信息，并将工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；述第一识别结果包括第一故障位置和第一故障类型；采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。本发明实施例结合声音和图像对设备故障进行识别，能够提高故障识别准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的设备故障识别方法的流程示意图；
图2是图1中步骤101的一种流程示意图；
图3是图2中步骤203的流程示意图；
图4是图1中步骤101的又一种流程示意图；
图5是图4中步骤402的流程示意图；
图6是图1中步骤102的流程示意图；
图7是本发明实施例提供的设备故障识别装置的结构示意图；
图8是本发明实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的设备故障识别方法的流程示意图，参见图1，对上述设备故障识别方法详述如下：
步骤101，采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；所述第一识别结果包括第一故障位置和第一故障类型。
其中，可以通过声音传感器采集目标设备工作时的工作声音信息；第一神经网络模型可以为本领域技术人员所熟知的神经网络模型，能够根据工作声音信息对目标设备进行故障识别即可，对此不予限定。
参见图2，一个实施例中，步骤101可以通过以下过程实现：
步骤201，通过传感器采集目标设备工作时的工作声音信息，并将采集到的工作声音信息进行预处理，获取有效的工作声音信息。
其中，作为一种可实施方式，步骤201中所述的将采集到的工作声音信息进行预处理，获取有效的工作声音信息，可以包括：
采集所述目标设备未工作时的环境声音信息；
从所述工作声音信息中去除所述环境声音信息，得到有效的工作声音信息。
可以理解的，目标设备通常是放置在具有一定噪音影响的环境中的，因此可以对采集到的工作声音信息进行预处理，去除周围环境的噪声，从而提高对目标设备故障的识别精度。
本实施例中，可以通过声音传感器采集目标设备未工作时的环境声音信息。而且为了提高准确度，还可以多次采集目标设备未工作时的环境声音信息，并根据多次采集的环境声音信息确定最终应用的环境声音信息。
步骤202，对所截取的工作声音信息进行分析得出灰度图，并对灰度图的属性特征进行提取。
一个实施例中，步骤202可以通过以下过程实现：
对所截取的工作声音信息进行时频分析，并通过小波基函数绘制出时频图像矩阵；
将时频图像矩阵转化为灰度图像，得到灰度图像的共生矩阵；
根据灰度图像的共生矩阵计算灰度图像的对比度、同质性、相关性和能量四个属性特征；其中，对比度表征返回整幅图像中像素与相邻像素之间的亮度反差，同质性表征返回度量GLCM中各元素的分布到对角线紧密程度，相关性表征返回整幅图像中像素与相邻像素相关的度量值，能量表征返回glcm中元素的平方和。
本实施例中，可以选用wavename＝'cmor1-1'为小波基函数分析绘制出时频图像矩阵。
步骤203，将提取出的属性特征输入第一神经网络模型进行识别，得出第一故障位置和第一故障类型。
参见图3，一个实施例中，步骤203可以通过以下过程实现：
步骤301，将提取出的属性特征分为两部分。
本步骤中，可以按照属性特征分布的区域将属性特征分为两部分，分别为第一部分属性特征和第二部分属性特征；第一部分属性特征的区域分布和第二部分属性特征的区域分布基本相同，以保证故障识别的精度。然后通过第一部分属性特征和第二部分属性特征进行两次故障识别，综合得出第一识别结果，具体过程参考步骤302至305。
步骤302，将第一部分属性特征输入第一神经网络模型，得出第一待定故障位置和第一待定故障类型。
步骤303，将第二部分属性特征输入第一神经网络模型，得出第二待定故障位置和第二待定故障类型。
步骤304，检测第一待定故障位置和第二待定故障位置是否相同，以及第一待定故障类型和第二待定故障类型是否相同。
步骤305，若第一待定故障位置和第二待定故障位置相同且第一待定故障类型和第二待定故障类型相同，则将第一待定故障位置和第二待定故障位置作为所述第一故障位置，将第一待定故障类型和第二待定故障类型作为所述第一故障类型。
本实施例中，对比第一待定故障位置和第二待定故障位置，以及第一待定故障类型和第二待定故障类型，综合了两次识别结果，因此能够提高通过第一神经网络模型故障识别的准确度。
参见图4，一个实施例中，步骤101可以通过以下过程实现：
步骤401，采集目标设备工作时的工作声音信息。
本步骤中，可以通过声音传感器采集目标设备工作时的工作声音信息。
步骤402，对所述工作声音信息进行时频二维处理，获取工作声音信息对应的时频二维信号。
参见图5，一个实施例中，步骤402可以通过以下过程实现：
步骤501，对所述工作声音信息进行分帧加窗处理，获得多个短时声音数据。
本步骤中，所述分帧加窗处理的窗函数可以采用汉明窗，帧叠设置为窗长的0.01～0.5倍，可将短时声音数据表示为xn(m)，n为帧序号，m为对应帧的时间序号。
步骤502，对每个所述短时声音数据进行离散傅里叶变换，获得对应的短时幅度谱数据。
本步骤中，短时幅度谱数据可以为：
其中，x(n,w)为短时幅度谱数据，n为帧序号，m为对应帧的时间序号，w为频率，N为序列长度。
步骤503，计算每个短时幅度谱数据的频谱密度函数，将获得的所述频谱密度函数作为所述工作声音信息对应的时频二维信号。
本步骤中，频谱密度函数可以为：
p(n,w)＝|X(n,w)|2＝X(n,w)×(conj(X(n,w)))
其中，p(n,w)横轴表示时域，纵轴表示频域，某点的值表示该时频点的声音能量大小，类似于CNN进行图像处理过程中，横轴表示图片X方向，纵轴表示图片Y方向，某点的值表示该X、Y值处图片的灰度值。
步骤403，将所述时频二维信号输入第一神经网络模型进行识别，得出第一识别结果。
本步骤中，第一神经网络模型可以为混合神经网络模型，例如该混合神经网络模型可以包括AlexNet、LSTM。可以通过AlexNet对故障位置进行识别，通过LSTM对故障类型进行识别；或者，通过AlexNet对故障类型进行识别，通过LSTM对故障位置进行识别。
步骤102，采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型。
参见图6，一个实施例中，步骤102可以通过以下过程实现：
步骤601，对采集到的图像信息进行预滤波处理，得到处理后的图像信息。
本步骤中，可以对采集到的图像信息进行去噪和/或增强等滤波处理，得到处理后的图像信息。
步骤602，计算处理后的图像信息的像素灰度梯度，并根据所述像素灰度梯度构造灰度梯度序列。
本步骤中，所述的灰度梯度序列为：
其中，1≤m≤row-1,1≤n≤col-1，是图像A中沿水平方向第m行的灰度梯度序列，是图像A中沿竖直方向第n列的灰度梯度序列；row是图像A的行数，即图像A在竖直方向上的像素个数；col是图像A的列数，即图像A在水平方向上的像素个数；是图像A的灰度梯度，可表示为：
其中，是图像A中沿水平方向相邻像素点间的灰度差，是图像A中沿竖直方向相邻像素点间的灰度差，具体可表示为：
步骤603，计算所述灰度梯度序列的局部极值点，将局部极值点的坐标位置作为边缘特征位置。
本步骤中，计算灰度梯度序列的局部极值点，具体可以为：根据提取特征需求，设定灰度梯度序列中相邻点间的幅度变化值，将幅度变化值作为局部极值点选取的阈值。
步骤604，根据边缘特征位置对处理后的图像信息进行特征提取，并将提取出的特征输入第二神经网络模型进行识别，得出第二识别结果。
步骤601至604提供了一种实现步骤102的过程。
步骤103，匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。
其中，将第一识别结果和第二识别结果进行匹配，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则说明两次故障时别的结果相同，从而判定目标设备确实发生故障，且确定故障位置和故障类型。通过结合声音信息和图像信息对目标设备进行故障识别，能够大大提高对目标设备故障识别的精度。
上述设备故障识别方法，采集目标设备工作时的工作声音信息，并将工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；述第一识别结果包括第一故障位置和第一故障类型；采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。本发明实施例结合声音信息和图像信息对目标设备进行故障识别，能够大大提高对目标设备故障识别的精度和准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应与上文实施例所述的设备故障识别方法，本发明实施例还提供一种设备故障识别装置。参见图7，该设备故障识别装置可以包括第一识别模块701、第二识别模块702和故障确定模块703。
第一识别模块701，用于采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；所述第一识别结果包括第一故障位置和第一故障类型。
第二识别模块702，用于采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型。
故障确定模块703，用于匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。
可选的，所述采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果，包括：
通过传感器采集目标设备工作时的工作声音信息，并将采集到的工作声音信息进行预处理，获取有效的工作声音信息；
对所截取的工作声音信息进行分析得出灰度图，并对灰度图的属性特征进行提取；
将提取出的属性特征输入第一神经网络模型进行识别，得出第一故障位置和第一故障类型。
可选的，所述将采集到的工作声音信息进行预处理，获取有效的工作声音信息，包括：
采集所述目标设备未工作时的环境声音信息；
从所述工作声音信息中去除所述环境声音信息，得到有效的工作声音信息。
可选的，所述将提取出的属性特征输入第一神经网络模型进行识别，得出第一故障位置和第一故障类型，包括：
将提取出的属性特征分为两部分；
将第一部分属性特征输入第一神经网络模型，得出第一待定故障位置和第一待定故障类型；
将第二部分属性特征输入第一神经网络模型，得出第二待定故障位置和第二待定故障类型；
检测第一待定故障位置和第二待定故障位置是否相同，以及第一待定故障类型和第二待定故障类型是否相同；
若第一待定故障位置和第二待定故障位置相同且第一待定故障类型和第二待定故障类型相同，则将第一待定故障位置和第二待定故障位置作为所述第一故障位置，将第一待定故障类型和第二待定故障类型作为所述第一故障类型。
可选的，所述采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果，包括：
采集目标设备工作时的工作声音信息；
对所述工作声音信息进行时频二维处理，获取工作声音信息对应的时频二维信号；
将所述时频二维信号输入第一神经网络模型进行识别，得出第一识别结果。
可选的，所述对所述工作声音信息进行时频二维处理，获取工作声音信息对应的时频二维信号，包括：
对所述工作声音信息进行分帧加窗处理，获得多个短时声音数据；
对每个所述短时声音数据进行离散傅里叶变换，获得对应的短时幅度谱数据；
计算每个短时幅度谱数据的频谱密度函数，将获得的所述频谱密度函数作为所述工作声音信息对应的时频二维信号。
可选的，所述采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果，包括：
对采集到的图像信息进行预滤波处理，得到处理后的图像信息；
计算处理后的图像信息的像素灰度梯度，并根据所述像素灰度梯度构造灰度梯度序列；
计算所述灰度梯度序列的局部极值点，将局部极值点的坐标位置作为边缘特征位置；
根据边缘特征位置对处理后的图像信息进行特征提取，并将提取出的特征输入第二神经网络模型进行识别，得出第二识别结果。
图8是本发明一实施例提供的终端设备的示意图。如图8所示，该实施例的终端设备80包括：处理器800、存储器801以及存储在所述存储器801中并可在所述处理器800上运行的计算机程序802，例如设备故障识别程序。所述处理器800执行所述计算机程序802时实现上述各个设备故障识别方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器800执行所述计算机程序402时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至703的功能。
示例性的，所述计算机程序802可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器801中，并由所述处理器800执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序802在所述终端设备80中的执行过程。例如，所述计算机程序802可以被分割成第一识别模块、第二识别模块和故障确定模块，各模块具体功能如下：
第一识别模块，用于采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；所述第一识别结果包括第一故障位置和第一故障类型；
第二识别模块，用于采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；
故障确定模块，用于匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。
所述终端设备80可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器800、存储器801。本领域技术人员可以理解，图8仅仅是终端设备80的示例，并不构成对终端设备80的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器800可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器801可以是所述终端设备80的内部存储单元，例如终端设备80的硬盘或内存。所述存储器801也可以是所述终端设备80的外部存储设备，例如所述终端设备80上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器801还可以既包括所述终端设备80的内部存储单元也包括外部存储设备。所述存储器801用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器801还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种设备故障识别方法，其特征在于，包括：
采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；所述第一识别结果包括第一故障位置和第一故障类型；
采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；
匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。
2.如权利要求1所述的设备故障识别方法，其特征在于，所述采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果，包括：
通过传感器采集目标设备工作时的工作声音信息，并将采集到的工作声音信息进行预处理，获取有效的工作声音信息；
对所截取的工作声音信息进行分析得出灰度图，并对灰度图的属性特征进行提取；
将提取出的属性特征输入第一神经网络模型进行识别，得出第一故障位置和第一故障类型。
3.如权利要求2所述的设备故障识别方法，其特征在于，所述将采集到的工作声音信息进行预处理，获取有效的工作声音信息，包括：
采集所述目标设备未工作时的环境声音信息；
从所述工作声音信息中去除所述环境声音信息，得到有效的工作声音信息。
4.如权利要求2所述的设备故障识别方法，其特征在于，所述将提取出的属性特征输入第一神经网络模型进行识别，得出第一故障位置和第一故障类型，包括：
将提取出的属性特征分为两部分；
将第一部分属性特征输入第一神经网络模型，得出第一待定故障位置和第一待定故障类型；
将第二部分属性特征输入第一神经网络模型，得出第二待定故障位置和第二待定故障类型；
检测第一待定故障位置和第二待定故障位置是否相同，以及第一待定故障类型和第二待定故障类型是否相同；
若第一待定故障位置和第二待定故障位置相同且第一待定故障类型和第二待定故障类型相同，则将第一待定故障位置和第二待定故障位置作为所述第一故障位置，将第一待定故障类型和第二待定故障类型作为所述第一故障类型。
5.如权利要求1所述的设备故障识别方法，其特征在于，所述采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果，包括：
采集目标设备工作时的工作声音信息；
对所述工作声音信息进行时频二维处理，获取工作声音信息对应的时频二维信号；
将所述时频二维信号输入第一神经网络模型进行识别，得出第一识别结果。
6.如权利要求5所述的设备故障识别方法，其特征在于，所述对所述工作声音信息进行时频二维处理，获取工作声音信息对应的时频二维信号，包括：
对所述工作声音信息进行分帧加窗处理，获得多个短时声音数据；
对每个所述短时声音数据进行离散傅里叶变换，获得对应的短时幅度谱数据；
计算每个短时幅度谱数据的频谱密度函数，将获得的所述频谱密度函数作为所述工作声音信息对应的时频二维信号。
7.如权利要求1所述的设备故障识别方法，其特征在于，所述采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果，包括：
对采集到的图像信息进行预滤波处理，得到处理后的图像信息；
计算处理后的图像信息的像素灰度梯度，并根据所述像素灰度梯度构造灰度梯度序列；
计算所述灰度梯度序列的局部极值点，将局部极值点的坐标位置作为边缘特征位置；
根据边缘特征位置对处理后的图像信息进行特征提取，并将提取出的特征输入第二神经网络模型进行识别，得出第二识别结果。
8.一种设备故障识别装置，其特征在于，包括：
第一识别模块，用于采集目标设备工作时的工作声音信息，并将所述工作声音信息输入第一神经网络模型进行识别，得出第一识别结果；所述第一识别结果包括第一故障位置和第一故障类型；
第二识别模块，用于采集目标设备工作时的图像信息，并将所述图像信息输入第二神经网络模型进行识别，得出第二识别结果；所述第二识别结果包括第二故障位置和第二故障类型；
故障确定模块，用于匹配第一识别结果和第二识别结果，若第一故障位置和第二故障位置相同，且第一故障类型与第二故障类型相同，则生成设备故障信息，所述设备故障信息包括故障位置和故障类型。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述设备故障识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1至7任一项所述设备故障识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193243.4A CN110082135A (zh) | 2019-03-14 | 2019-03-14 | 设备故障识别方法、装置和终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910193243.4A CN110082135A (zh) | 2019-03-14 | 2019-03-14 | 设备故障识别方法、装置和终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110082135A true CN110082135A (zh) | 2019-08-02 |
Family
ID=67412532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910193243.4A Pending CN110082135A (zh) | 2019-03-14 | 2019-03-14 | 设备故障识别方法、装置和终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110082135A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473568A (zh) * | 2019-08-08 | 2019-11-19 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
| CN110514957A (zh) * | 2019-08-19 | 2019-11-29 | 深圳供电局有限公司 | 变电站自动巡检方法和平台 |
| CN110940539A (zh) * | 2019-12-03 | 2020-03-31 | 桂林理工大学 | 一种基于人工经验及声音识别的机器设备故障诊断方法 |
| CN111157855A (zh) * | 2019-12-31 | 2020-05-15 | 山东信通电子股份有限公司 | 一种判断输电线路故障的方法及服务器 |
| CN112484980A (zh) * | 2020-11-25 | 2021-03-12 | 安徽锦希自动化科技有限公司 | 基于声音与图像分析的机械故障检测系统及方法 |
| CN112598027A (zh) * | 2020-12-09 | 2021-04-02 | 深圳市优必选科技股份有限公司 | 一种设备的异常识别方法、装置、终端设备及存储介质 |
| CN113033889A (zh) * | 2021-03-19 | 2021-06-25 | 国网河北省电力有限公司邢台供电分公司 | 高压输电线路故障预测方法、装置及终端设备 |
| CN113624493A (zh) * | 2021-08-04 | 2021-11-09 | 蝴蝶供应链有限公司 | 一种液压系统异常监测方法、设备、系统及存储介质 |
| CN114219051A (zh) * | 2022-02-23 | 2022-03-22 | 成都明途科技有限公司 | 图像分类方法、分类模型的训练方法、装置及电子设备 |
| CN114459759A (zh) * | 2022-01-25 | 2022-05-10 | 蒙会民 | 一种轴承故障检测方法及装置 |
-
2019
- 2019-03-14 CN CN201910193243.4A patent/CN110082135A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473568A (zh) * | 2019-08-08 | 2019-11-19 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
| CN110473568B (zh) * | 2019-08-08 | 2022-01-07 | Oppo广东移动通信有限公司 | 场景识别方法、装置、存储介质及电子设备 |
| CN110514957A (zh) * | 2019-08-19 | 2019-11-29 | 深圳供电局有限公司 | 变电站自动巡检方法和平台 |
| CN110940539A (zh) * | 2019-12-03 | 2020-03-31 | 桂林理工大学 | 一种基于人工经验及声音识别的机器设备故障诊断方法 |
| CN110940539B (zh) * | 2019-12-03 | 2024-04-05 | 桂林理工大学 | 一种基于人工经验及声音识别的机器设备故障诊断方法 |
| CN111157855A (zh) * | 2019-12-31 | 2020-05-15 | 山东信通电子股份有限公司 | 一种判断输电线路故障的方法及服务器 |
| CN112484980B (zh) * | 2020-11-25 | 2022-12-16 | 安徽锦希自动化科技有限公司 | 基于声音与图像分析的机械故障检测系统及方法 |
| CN112484980A (zh) * | 2020-11-25 | 2021-03-12 | 安徽锦希自动化科技有限公司 | 基于声音与图像分析的机械故障检测系统及方法 |
| CN112598027A (zh) * | 2020-12-09 | 2021-04-02 | 深圳市优必选科技股份有限公司 | 一种设备的异常识别方法、装置、终端设备及存储介质 |
| CN113033889A (zh) * | 2021-03-19 | 2021-06-25 | 国网河北省电力有限公司邢台供电分公司 | 高压输电线路故障预测方法、装置及终端设备 |
| CN113624493A (zh) * | 2021-08-04 | 2021-11-09 | 蝴蝶供应链有限公司 | 一种液压系统异常监测方法、设备、系统及存储介质 |
| CN114459759A (zh) * | 2022-01-25 | 2022-05-10 | 蒙会民 | 一种轴承故障检测方法及装置 |
| CN114219051B (zh) * | 2022-02-23 | 2022-05-06 | 成都明途科技有限公司 | 图像分类方法、分类模型的训练方法、装置及电子设备 |
| CN114219051A (zh) * | 2022-02-23 | 2022-03-22 | 成都明途科技有限公司 | 图像分类方法、分类模型的训练方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110082135A (zh) | 设备故障识别方法、装置和终端设备 | |
| CN114913565B (zh) | 人脸图像检测方法、模型训练方法、装置及存储介质 | |
| CN109522874B (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
| CN105917353B (zh) | 用于生物认证的特征提取及匹配以及模板更新 | |
| CN111241989B (zh) | 图像识别方法及装置、电子设备 | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| WO2022105125A1 (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN107133608A (zh) | 基于活体检测和人脸验证的身份认证系统 | |
| CN110147786A (zh) | 用于检测图像中的文本区域的方法、装置、设备以及介质 | |
| CN105046651B (zh) | 一种图像的超分辨率重构方法和装置 | |
| CN109145766A (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| CN114067321B (zh) | 一种文本检测模型训练方法、装置、设备及存储介质 | |
| CN103279936A (zh) | 基于画像的人脸伪照片自动合成及修正方法 | |
| CN104038792B (zh) | 用于iptv监管的视频内容分析方法及设备 | |
| CN111680544B (zh) | 人脸识别方法、装置、系统、设备及介质 | |
| CN110321908A (zh) | 图像识别方法、终端设备及计算机可读存储介质 | |
| CN109711441A (zh) | 图像分类方法、装置、存储介质及电子设备 | |
| Azaza et al. | Context proposals for saliency detection | |
| CN115018999A (zh) | 一种多机器人协作的稠密点云地图构建方法及装置 | |
| CN106940904A (zh) | 基于人脸识别和语音识别的考勤系统 | |
| CN114360182B (zh) | 一种智能告警方法、装置、设备及存储介质 | |
| CN109801428A (zh) | 纸币边缘直线的检测方法、检测装置及终端 | |
| CN113903071A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
| CN112749691A (zh) | 图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190802 |