CN112051078A - 目标设备的故障检测方法及装置、存储介质、电子装置 - Google Patents

目标设备的故障检测方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN112051078A
CN112051078A CN202010761767.1A CN202010761767A CN112051078A CN 112051078 A CN112051078 A CN 112051078A CN 202010761767 A CN202010761767 A CN 202010761767A CN 112051078 A CN112051078 A CN 112051078A
Authority
CN
China
Prior art keywords
fault
audio signal
target device
model
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010761767.1A
Other languages
English (en)
Inventor
赵培
孙树兵
苏腾荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haier Uplus Intelligent Technology Beijing Co Ltd
Original Assignee
Haier Uplus Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haier Uplus Intelligent Technology Beijing Co Ltd filed Critical Haier Uplus Intelligent Technology Beijing Co Ltd
Priority to CN202010761767.1A priority Critical patent/CN112051078A/zh
Publication of CN112051078A publication Critical patent/CN112051078A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00—Control of operations performed in washing machines or washer-dryers 
    • D06F33/30—Control of washing machines characterised by the purpose or target of the control 
    • D06F33/47—Responding to irregular working conditions, e.g. malfunctioning of pumps 
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/14—Arrangements for detecting or measuring specific parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Textile Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Control Of Washing Machine And Dryer (AREA)

Abstract

本发明提供了一种目标设备的故障检测方法及装置，其中，该方法包括：获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。

Description

目标设备的故障检测方法及装置、存储介质、电子装置
技术领域
本发明涉及但不限于家电领域，具体而言，涉及一种目标设备的故障检测方法及装置、存储介质、电子装置。
背景技术
在相关技术中，洗衣机是利用电能产生机械作用来洗涤衣物的清洁电器，在人们的日常家居生活中，起着非常重要的作用，有很高的使用频率。
在使用过程中，随着机器的损耗或使用不当，会出现一些常见问题。通常消费者会通过客服咨询，上门维修，或购买新机等方式来解决。从金钱成本和时间成本来说，客户都要付出比较大的负担。同时也增加了洗衣机商品的客服和维护成本。即相关技术中的检测维修方案的缺点包括：人工成本高，周期长，缺少便捷性。
针对相关技术中，目标设备(例如，洗衣机)的故障检测方案耗费大量人力物力资源的问题，目前还没有有效的解决方案。
发明内容
本发明实施例提供了一种目标设备的故障检测方法及装置，以至少解决相关技术中的目标设备(例如，洗衣机)的故障检测方案耗费大量人力物力资源问题。
根据本发明的一个实施例，提供了一种目标设备的故障检测方法，包括：获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
在本发明一可选实施例中，将所述第一音频信号输入所述第一工作状态对应的多个声音模型中，包括：将所述第一音频信号输入所述第一工作状态对应的背景模型，所述背景模型对应所述目标设备的正常工作状态；以及将所述第一音频信号输入所述第一工作状态对应的故障模型，每个故障模型对应一种故障类型。
在本发明一可选实施例中，根据与所述第一音频信号相似度值最大的目标声音模型，确定所述目标设备的故障类型之后，所述方法还包括：获取与所述目标设备的故障类型对应的故障码，以及与所述故障码对应的处理方案；按照预设提示事件提示所述处理方案。
在本发明一可选实施例中，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，包括：提取所述第一音频信号的第一音频特征；分别确定所述第一音频特征与所述多个声音模型的多个相似度。
在本发明一可选实施例中，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度之前，所述方法还包括：通过以下方式训练所述声音模型：获取所述目标设备在多个第二工作状态下的多个第二故障类型，以及所述第二故障类型对应的音频数据；根据所述音频数据以及所述多个第二故障类型对所述声音模型进行训练。
在本发明一可选实施例中，根据所述音频数据以及所述多个第二故障类型对所述声音模型进行训练，包括：从所述音频数据中提取语音特征参数MFCC；根据所述语音特征参数MFCC和所述多个第二故障类型对所述声音模型进行训练。
在本发明一可选实施例中，所述声音模型包括：高斯混合模型GMM模型。
根据本发明的另一个实施例，还提供了一种目标设备的故障检测装置，包括：获取模块，用于获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；处理模块，用于将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；确定模块，用于根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型，即可以通过确定目标设备在第一运行状态下的第一音频信号与多个声音模型的相似度，根据与所述第一音频信号相似度值最大的目标声音模型来确定目标设备是否发生故障，和/或目标设备发生的故障类型，采用上述方案，解决了相关技术中的目标设备(例如，洗衣机)的故障检测方案耗费大量人力物力资源问题，准确便捷地通过多个声音模型完成对当前故障声音的检测，避免维修人员频繁上门服务耗费的人力物力资源。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种目标设备的故障检测方法的终端的硬件结构框图；
图2是根据本发明实施例的目标设备的故障检测方法的流程图；
图3是根据本发明另一个实施例的故障检测的示意图(一)；
图4是根据本发明另一个实施例的故障检测的示意图(二)；
图5是根据本发明另一个实施例的知识库内容示意图；
图6是根据本发明另一个实施例的故障诊断和排除的流程示意图；
图7是根据本发明另一个实施例的滚筒洗衣机甩干时声音大的故障排除流程示意图；
图8为根据本发明实施例的目标设备的故障检测装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本发明实施例所提供的方法实施例可以在终端、计算机终端或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的一种目标设备的故障检测方法的终端的硬件结构框图，如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输装置106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的目标设备的故障检测方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标设备的故障检测方法，图2是根据本发明实施例的目标设备的故障检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；
需要说明的是，上述目标设备可以是洗衣机，也可以是其他家用设备，在目标设备为洗衣机时，洗衣机的工作状态可以包括：进水状态，甩干，洗涤，脱水，干燥，脱水结束等，本发明实施例对此不进行限定。
上述获取洗衣机的第一音频信号的装置可以是独立的装置，例如音箱，也可以集成在洗衣机上的组件，本发明实施例对此同样不进行限定。
步骤S204，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；
需要说明的是，每个工作状态可以对应多个声音模型，例如，洗衣机正常甩干时的声音模型，洗衣机甩干时由于机器摆放不平稳对应的声音模型，通过设置不同的声音模型，避免对不同工作状态时的声音进行误判，例如，洗衣时机器声音过大是异常的，但是甩干时机器声音大可能是正常的，不能一概而论。
步骤S206，根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
通过本发明，获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型，即可以通过确定目标设备在第一运行状态下的第一音频信号与多个声音模型的相似度，根据与所述第一音频信号相似度值最大的目标声音模型来确定目标设备是否发生故障，和/或目标设备发生的故障类型，采用上述方案，解决了相关技术中的目标设备(例如，洗衣机)的故障检测方案耗费大量人力物力资源问题，准确便捷地通过多个声音模型完成对当前故障声音的检测，避免维修人员频繁上门服务耗费的人力物力资源。
可选地，在目标设备为洗衣机的情况下，上述故障类型可以是由于洗衣机摆放不平稳导致，洗衣机中衣服放置不均匀，发动机故障等问题导致的故障类型，本发明实施例对故障类型不进行限定，故障类型的获取也可以是通过大数据平台的方式获取的。
为了使得故障分析的结果更准确，在上述声音模型中不仅包括故障类型对应的故障模型，还包括了正常工作状态对应的背景模型，因为洗衣机在正常运行时也是有声音的，因此，可以将第一音频信号输入所述第一工作状态对应的背景模型，所述背景模型对应所述目标设备的正常工作状态；以及将所述第一音频信号输入所述第一工作状态对应的故障模型，每个故障模型对应一种故障类型，背景模型即使用洗衣机正常工作时发出的声音训练出来的模型，采用该方案，可以检测出洗衣机的功能正常或者功能异常。
在确定了洗衣机发生了故障，以及洗衣机的故障类型之后，所述方法还包括：获取与所述目标设备的故障类型对应的故障码，以及与所述故障码对应的处理方案；按照预设提示事件提示所述处理方案，此外，在获取了故障类型对应的故障码后，在预设的知识库中查询是否存在所述故障码；在存在所述故障码的情况下，在所述知识库中获取与所述故障码对应的处理方案，进一步地，在所述处理方案为多个的情况下，为所述多个处理方案设置优先级；按照优先级的顺序在终端上显示所述处理方案，其中，所述终端与所述目标设备存在绑定关系，采用该方案，预先为故障类型设置故障码，在识别出洗衣机故障时，直接对应至故障码并上报，便于信息传输。
需要说明的是，声音模型本身处理的是第一音频信号对应的音频特征，根据音频特征分别确定所述第一音频特征与所述多个声音模型的多个相似度。
在本发明一可选实施例中，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度之前，所述方法还包括：通过以下方式训练所述声音模型：获取所述目标设备在多个第二工作状态下的多个第二故障类型，以及所述第二故障类型对应的音频数据；根据所述音频数据以及所述多个第二故障类型对所述声音模型进行训练，具体地，可以从所述音频数据中提取语音特征参数-梅尔倒谱系数MFCC(Mel-scale Frequency Cepstral Coefficients，简称为MFCC)；根据所述语音特征参数MFCC和所述多个第二故障类型对所述声音模型进行训练，声音模型包括：高斯混合模型GMM模型。
为了更好的理解上述目标设备的故障检测方法，以下结合可选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本发明可选实施例提出了基于音频信号的知识库检索在洗衣机故障自动检测及排除中的应用方案，能将洗衣机在运行时的声音信号(相当于上述实施例的第一音频信号)输入到声音模型中进行检测，得到故障类型，在获取到故障类型对应的故障码后，通过故障码在知识库范围内进行诊断和排除，给出洗衣机故障前的预警和诊断结果，从而降低客服和上门维修的成本，洗衣机的使用者可以先自行对洗衣机的故障进行排查。
图3是根据本发明另一个实施例的故障检测的示意图(一)，图4是根据本发明另一个实施例的故障检测的示意图(二)，如图3所示，故障检测过程包括了训练过程，如图4所示，故障检测过程包括了检测及排除两部分。
其中，附图3中的训练部分主要指训练声音模型的过程，包括声音信号采集，信号标注，故障模型训练，最终得到声音故障模型；附图4中的检测及排除过程可以包括：采集现场故障声音信号，使用声音故障模型进行故障辨识，在知识库中查询该故障，反馈出检测结果和处理方法，最终排除故障。
本发明另一个实施例的技术方案中包括：信号特征、信号建模、提取音频特征、模型训练、模型测试、知识库建立、用户交互、检测及故障排除等步骤，具体地：
步骤1，信号特征与信号建模的处理过程中包括了信号处理过程，信号处理步骤又通过以下步骤实现：
步骤1-1，采集音频信号的训练数据后，去除音频信号的首尾静音。
步骤1-2，对去处首尾静音后的音频信号前加25帧静音，后加5帧静音，模拟更加真实的洗衣机的实际运行情况。
步骤1-3，再加不同SNR环境噪声到步骤1-2处理后的语音信号中。
步骤2，提取音频特征，提取特征包括以下步骤：
步骤2-1，对加完环境噪声的语音信号进行预加重处理、分帧、加窗，快速傅里叶变换，进而确定Mel滤波器组；
步骤2-2，计算每个滤波器组输出的对数能量；
步骤2-3，经离散余弦变换(DCT)对上述对数能量进行处理得到MFCC特征。
步骤3，模型训练，模型训练包括以下步骤：
步骤3-1，训练背景模型：在各类故障声音和正常运作声音库上建立GMM模型，俗称UBM模型。
步骤3-2，训练故障声模型：在单一的故障声音库上建立GMM模型。
步骤4，模型测试，模型测试包括以下步骤：
步骤4-1，送入待检测语音，计算在UBM模型和各类故障模型上的得分，待检测语音和多个声音模型中最相似的声音模型的故障声差值的得分最大，计算公式如下：
Figure BDA0002613284180000101
C代表故障类型。
步骤5，知识库的建立。
可选地，该知识库采用图数据库Neo4j的体现形式，采用图数据库Neo4j的技术方案可以达到如下技术效果：1)闪电般的读/写速度，无与伦比的高性能表现；2)非结构化数据存储方式，在数据库设计上具有很大的灵活性；3)很容易使用，可以用嵌入式、服务器模式、分布式模式等方式来使用数据库；4)使用简单框图就可以设计数据模型，方便建模；5)图数据的结构特点可以提供更多更优秀的算法设计；6)完全支持ACID(原子性，一致性，隔离性，持久性的英文简称)完整的事务管理特性；7)提供分布式高可用模式，可以支持大规模的数据增长；8)图的数据结构直观而形象地表现了现实世界的应用场景。
图5是根据本发明另一个实施例的知识库内容示意图，如图5所示，知识库内容包含洗衣机类型、部件、运行状态、故障现象、原因以及处理方法。洗衣机类型包括手持洗衣机，双桶洗衣机，迷你洗衣机，干衣机，波轮洗衣机。滚筒洗衣机的工作状态包括：进水时噪音大，洗衣结束时噪音大，甩干时噪音大，甩干时声音大，工作时噪音大，脱水时噪音大，脱水时杂音大，洗涤时噪音大，干燥时水流或尖，脱水结束时液体流等。
步骤6，用户交互、故障检测与排除。
在一个可选实施例中，可以采用智能音箱作为媒介交互，当洗衣机发生故障时，用户可以通过以下俩条路径自行进行诊断和排除。第一种，采用智能音箱作为“听诊器”进行音频信号采集，通过声音故障模型辨识是故障信号还是正常信号，同时结合被检测源当前运行状态进行故障的定位，查询相关知识库，通过交互并逐步排除故障。第二种，设备运行过程发生故障，会上报相关故障码，通过故障码我们可以直查询知识库定位故障，通过交互并逐步排除故障。
图6是根据本发明另一个实施例的故障诊断和排除的流程示意图，如图6所示，包括以下步骤：
步骤S602，启动唤醒；
步骤S604，用户是否交互，如果否，转至步骤S606，如果是，转至步骤S608；
步骤S606，提示用户交互，转至步骤S608；
步骤S608，解析用户问题；
步骤S610，是否为故障排除过程，如果是，转至步骤S612，如果否，转至步骤S614；
步骤S612，机器自动查询故障码、观察现象；
步骤S614，查询故障码、查询运行状态，采集现场声信号，转至步骤S616；
步骤S616，进行故障辨识；
步骤S618，依据查询的故障码，或者依据故障辨识结果，得出检测结果，包括是否故障，以及故障类型，如果不是故障，转至步骤S620，如果是故障，转至步骤S622；
步骤S620，判断为机器正常现象，转至步骤S622；
步骤S622，查询知识库，并进行播报，当机器为正常现象转至步骤S626；当存在故障转至步骤S628。
步骤S624，判断故障码是否解除，如果解除，转至步骤S626，如果否，转至步骤S622；
步骤S626，故障自检结束，待达到预设条件时，转至步骤S602；
步骤S628，进行故障排除，完成处理，结果返回至S608。
图7是根据本发明另一个实施例的滚筒洗衣机甩干时声音大的故障排除流程示意图，如图7所示，包括以下步骤：
步骤S702，获取用户反馈；
步骤S704，滚筒洗衣机甩干声音大；
步骤S706，查询运行状态，获取现场声音信号；
步骤S708，进行故障辨识；
步骤S710，检测是否故障，如果否，转至步骤S712，如果是，转至步骤S714；
步骤S712，判断为正常现象，并反馈给用户
步骤S714，得出以下结论之一：是否有异物掉入洗衣机，衣服是否缠绕打结，洗衣机是否放置平稳等；反馈上述结论至用户。
采用上述方案，针对当前洗衣机发生故障后，通常消费者会通过客服咨询，上门维修，或购买新机等方式来解决。从消费者方面考虑，会付出费用成本和时间成本以及使用的不便，从供应商方面考虑会增加客服和维修人员的不必要的维护成本。本发明针对该市场需求，提出基于音频信号的知识库检索在洗衣机故障自动检测及排除中的应用，能通过洗衣机故障运行的声音信号建模和检测，从知识库范围内进行诊断和排除，给出洗衣机故障前的预警和诊断结果，从而降低客服和上门维修的成本，减少企业的负担。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标设备的故障检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本发明的一个实施例，提供了一种目标设备的故障检测装置，包括：
图8为根据本发明实施例的目标设备的故障检测装置的结构框图，如图8所示，包括：
获取模块80，用于获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；
处理模块82，用于将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；
确定模块84，用于根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
通过本发明，获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型，即可以通过确定目标设备在第一运行状态下的第一音频信号与多个声音模型的相似度，根据与所述第一音频信号相似度值最大的目标声音模型来确定目标设备是否发生故障，和/或目标设备发生的故障类型，采用上述方案，解决了相关技术中的目标设备(例如，洗衣机)的故障检测方案耗费大量人力物力资源问题，准确便捷地通过多个声音模型完成对当前故障声音的检测，避免维修人员频繁上门服务耗费的人力物力资源。
需要说明的是，每个工作状态可以对应多个声音模型，例如，洗衣机正常甩干时的声音模型，洗衣机甩干时由于机器摆放不平稳对应的声音模型，通过设置不同的声音模型，避免对不同工作状态时的声音进行误判，例如，洗衣时机器声音过大是异常的，但是甩干时机器声音大可能是正常的，不能一概而论，上述目标设备可以是洗衣机，也可以是其他家用设备，在目标设备为洗衣机时，洗衣机的工作状态可以包括：进水状态，甩干，洗涤，脱水，干燥，脱水结束等，本发明实施例对此不进行限定。
可选地，在目标设备为洗衣机的情况下，上述故障类型可以是由于洗衣机摆放不平稳导致，洗衣机中衣服放置不均匀，发动机故障等问题导致的故障类型，本发明实施例对故障类型不进行限定，故障类型的获取也可以是通过大数据平台的方式获取的。
为了使得故障分析的结果更准确，在上述声音模型中不仅包括故障类型对应的故障模型，还包括了正常工作状态对应的背景模型，因为洗衣机在正常运行时也是有声音的，因此，上述处理模块82，还用于将第一音频信号输入所述第一工作状态对应的背景模型，所述背景模型对应所述目标设备的正常工作状态；以及将所述第一音频信号输入所述第一工作状态对应的故障模型，每个故障模型对应一种故障类型，背景模型即使用洗衣机正常工作时发出的声音训练出来的模型，采用该方案，可以检测出洗衣机的功能正常或者功能异常。
在确定了洗衣机发生了故障，以及洗衣机的故障类型之后，确定模块84，还用于获取与所述目标设备的故障类型对应的故障码，以及与所述故障码对应的处理方案；按照预设提示事件提示所述处理方案，此外，在获取了故障类型对应的故障码后，在预设的知识库中查询是否存在所述故障码；在存在所述故障码的情况下，在所述知识库中获取与所述故障码对应的处理方案，进一步地，在所述处理方案为多个的情况下，为所述多个处理方案设置优先级；按照优先级的顺序在终端上显示所述处理方案，其中，所述终端与所述目标设备存在绑定关系，采用该方案，预先为故障类型设置故障码，在识别出洗衣机故障时，直接对应至故障码并上报，便于信息传输。
需要说明的是，声音模型本身处理的是第一音频信号对应的音频特征，根据音频特征分别确定所述第一音频特征与所述多个声音模型的多个相似度。
在本发明一可选实施例中，上述装置，还包括训练模块，用于通过以下方式训练所述声音模型：获取所述目标设备在多个第二工作状态下的多个第二故障类型，以及所述第二故障类型对应的音频数据；根据所述音频数据以及所述多个第二故障类型对所述声音模型进行训练，具体地，可以从所述音频数据中提取语音特征参数-梅尔倒谱系数MFCC(Mel-scale Frequency Cepstral Coefficients，简称为MFCC)；根据所述语音特征参数MFCC和所述多个第二故障类型对所述声音模型进行训练，声音模型包括：高斯混合模型GMM模型。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；
S2，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；
S3，根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输装置以及输入输出设备，其中，该传输装置和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；
S2，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；
S3，根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标设备的故障检测方法，其特征在于，包括：
获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；
将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；
根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
2.根据权利要求1所述的方法，其特征在于，将所述第一音频信号输入所述第一工作状态对应的多个声音模型中，包括：
将所述第一音频信号输入所述第一工作状态对应的背景模型，所述背景模型对应所述目标设备的正常工作状态；以及
将所述第一音频信号输入所述第一工作状态对应的故障模型，每个故障模型对应一种故障类型。
3.根据权利要求1所述的方法，其特征在于，根据与所述第一音频信号相似度值最大的目标声音模型，确定所述目标设备的故障类型之后，所述方法还包括：
获取与所述目标设备的故障类型对应的故障码，以及与所述故障码对应的处理方案；
按照预设提示事件提示所述处理方案。
4.根据权利要求1所述的方法，其特征在于，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，包括：
提取所述第一音频信号的第一音频特征；
分别确定所述第一音频特征与所述多个声音模型的多个相似度。
5.根据权利要求1所述的方法，其特征在于，将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度之前，所述方法还包括：
通过以下方式训练所述声音模型：
获取所述目标设备在多个第二工作状态下的多个第二故障类型，以及所述第二故障类型对应的音频数据；
根据所述音频数据以及所述多个第二故障类型对所述声音模型进行训练。
6.根据权利要求5所述的方法，其特征在于，根据所述音频数据以及所述多个第二故障类型对所述声音模型进行训练，包括：
从所述音频数据中提取语音特征参数MFCC；
根据所述语音特征参数MFCC和所述多个第二故障类型对所述声音模型进行训练。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述声音模型包括：高斯混合模型GMM模型。
8.一种目标设备的故障检测装置，其特征在于，包括：
获取模块，用于获取目标设备当前所处的第一工作状态，以及所述目标设备在所述第一工作状态下运行时所产生的第一音频信号，其中，所述目标设备包括：洗衣机；
处理模块，用于将所述第一音频信号分别输入所述第一工作状态对应的多个声音模型中，以得出所述第一音频信号与多个所述声音模型的多个相似度，其中，每个声音模型为使用多组数据通过机器学习训练出的，所述多组数据中的每组数据均包括：音频信号和音频信号对应的故障，以及故障类型；
确定模块，用于根据与所述第一音频信号相似度值最大的目标声音模型，确定以下至少之一：所述目标设备是否发生故障，所述目标设备的故障类型。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN202010761767.1A 2020-07-31 2020-07-31 目标设备的故障检测方法及装置、存储介质、电子装置 Pending CN112051078A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010761767.1A CN112051078A (zh) 2020-07-31 2020-07-31 目标设备的故障检测方法及装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010761767.1A CN112051078A (zh) 2020-07-31 2020-07-31 目标设备的故障检测方法及装置、存储介质、电子装置

Publications (1)

Publication Number Publication Date
CN112051078A true CN112051078A (zh) 2020-12-08

Family

ID=73601366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010761767.1A Pending CN112051078A (zh) 2020-07-31 2020-07-31 目标设备的故障检测方法及装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN112051078A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660142A (zh) * 2021-08-19 2021-11-16 京东科技信息技术有限公司 一种故障监控方法、装置及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056223A (zh) * 2016-05-27 2016-10-26 大连楼兰科技股份有限公司 用于车辆远程诊断与备件检索的平台
WO2018136915A1 (en) * 2017-01-23 2018-07-26 Nrg Systems, Inc. System and methods of novelty detection using non-parametric machine learning
CN108469109A (zh) * 2018-03-01 2018-08-31 广东美的制冷设备有限公司 设备异常的检测方法、装置、系统、空调器及存储介质
CN109579220A (zh) * 2018-10-15 2019-04-05 平安科技（深圳）有限公司 空调系统故障检测方法、装置、电子设备
CN110425710A (zh) * 2019-08-30 2019-11-08 盈盛智创科技(广州)有限公司 一种空调的故障检测方法、装置、设备及存储介质
CN111174370A (zh) * 2018-11-09 2020-05-19 珠海格力电器股份有限公司 故障检测方法及装置、存储介质、电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056223A (zh) * 2016-05-27 2016-10-26 大连楼兰科技股份有限公司 用于车辆远程诊断与备件检索的平台
WO2018136915A1 (en) * 2017-01-23 2018-07-26 Nrg Systems, Inc. System and methods of novelty detection using non-parametric machine learning
CN108469109A (zh) * 2018-03-01 2018-08-31 广东美的制冷设备有限公司 设备异常的检测方法、装置、系统、空调器及存储介质
CN109579220A (zh) * 2018-10-15 2019-04-05 平安科技（深圳）有限公司 空调系统故障检测方法、装置、电子设备
CN111174370A (zh) * 2018-11-09 2020-05-19 珠海格力电器股份有限公司 故障检测方法及装置、存储介质、电子装置
CN110425710A (zh) * 2019-08-30 2019-11-08 盈盛智创科技(广州)有限公司 一种空调的故障检测方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660142A (zh) * 2021-08-19 2021-11-16 京东科技信息技术有限公司 一种故障监控方法、装置及相关设备

Similar Documents

Publication Publication Date Title
US11627188B2 (en) Electrical meter for determining device state changes using smart plugs
CN110633222B (zh) 一种回归测试用例的确定方法及装置
CN110277089B (zh) 离线语音识别模型的更新方法、家用电器和服务器
CN105424395A (zh) 设备故障的确定方法和装置
CN109063433B (zh) 虚假用户的识别方法、装置及可读存储介质
CN108937866B (zh) 睡眠状态的监测方法及装置
CN110751960B (zh) 噪声数据的确定方法及装置
CN112033066A (zh) 故障检测方法及装置、存储介质、电子装置
CN111862951A (zh) 语音端点检测方法及装置、存储介质、电子设备
CN112051078A (zh) 目标设备的故障检测方法及装置、存储介质、电子装置
CN112036444A (zh) 家居设备的故障检测方法及系统
CN110826583A (zh) 故障的确定方法、装置、存储介质及电子装置
CN106887228A (zh) 机器人的语音控制方法、装置及机器人
CN116907029A (zh) 检测室外机内风扇异常的方法、控制装置以及空调室外机
CN116206625A (zh) 基于频谱与时间信息结合的自监督异常声音检测方法
CN112309430A (zh) 家电设备及其自检方法和装置
CN115935267A (zh) 负荷数据的辨识方法、装置以及存储介质
CN113593603A (zh) 音频类别的确定方法、装置、存储介质及电子装置
CN104424096A (zh) 一种对基于安卓平台的设备的自动化测试系统及方法
CN111580839B (zh) 电器设备的升级方法及装置
CN106980575A (zh) 一种事件处理方法及装置
CN109949831B (zh) 智能设备中语音识别的方法、装置及计算机可读存储介质
CN111128194A (zh) 一种提高在线语音识别效果的系统及方法
CN115171657A (zh) 语音设备的测试方法和装置、存储介质
CN106777010B (zh) 日志的提供方法、装置以及日志的获取方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201208