CN117373487B - 基于音频的设备故障检测方法、装置及相关设备 - Google Patents

基于音频的设备故障检测方法、装置及相关设备 Download PDF

Info

Publication number
CN117373487B
CN117373487B CN202311671046.1A CN202311671046A CN117373487B CN 117373487 B CN117373487 B CN 117373487B CN 202311671046 A CN202311671046 A CN 202311671046A CN 117373487 B CN117373487 B CN 117373487B
Authority
CN
China
Prior art keywords
audio
audio data
initial
reaction kettle
operation parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311671046.1A
Other languages
English (en)
Other versions
CN117373487A (zh
Inventor
彭先涛
王鹏
邱奕博
李大可
张军卫
程章忠
盛建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hengyi Petrochemical Co ltd
Original Assignee
Zhejiang Hengyi Petrochemical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hengyi Petrochemical Co ltd filed Critical Zhejiang Hengyi Petrochemical Co ltd
Priority to CN202311671046.1A priority Critical patent/CN117373487B/zh
Publication of CN117373487A publication Critical patent/CN117373487A/zh
Application granted granted Critical
Publication of CN117373487B publication Critical patent/CN117373487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H11/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties
    • G01H11/06—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by detecting changes in electric or magnetic properties by electric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本公开提供了基于音频的设备故障检测方法、装置及相关设备。涉及数据处理领域，尤其涉及深度学习、语音技术等技术领域。该方法包括：获取由无人机针对目标设备采集的初始音频数据；对初始音频数据进行预处理，得到待检测音频数据；对待检测音频数据进行特征提取，得到待检测音频数据的音频特征；基于音频特征构建信息图；基于信息图和图神经网络模型，得到针对目标设备的故障检测结果。基于本公开实施例提供的方式，可以借助音频数据的音频特征反映设备的实时情况，因此，可实现自动化对设备进行故障检测，以节约人力资源。

Description

基于音频的设备故障检测方法、装置及相关设备
技术领域
本公开涉及数据处理领域，尤其涉及深度学习、语音技术等技术领域。
背景技术
在纺丝工艺的工业场景中，由于纺丝工艺流程长且复杂，涉及的工艺设备的数量较为庞大，在工艺设备工作过程中，设备可能会出现异常。使用人工排查的方式较为耗费人力，因此，如何自动化的对设备进行故障检测是现在面临的一个问题。
发明内容
本公开提供了一种基于音频的设备故障检测方法、装置及相关设备，以解决或缓解相关技术中的一项或更多项技术问题。
第一方面，本公开提供了一种基于音频的设备故障检测方法，包括：
获取由无人机针对目标设备采集的初始音频数据；
对初始音频数据进行预处理，得到待检测音频数据；
对待检测音频数据进行特征提取，得到待检测音频数据的音频特征；
基于音频特征构建信息图；
基于信息图和图神经网络模型，得到针对目标设备的故障检测结果。
第二方面，本公开提供了一种基于音频的设备故障检测装置，包括：
第一采集模块，用于获取由无人机针对目标设备采集的初始音频数据；
预处理模块，用于对初始音频数据进行预处理，得到待检测音频数据；
特征提取模块，用于对待检测音频数据进行特征提取，得到待检测音频数据的音频特征；
构建模块，用于基于音频特征构建信息图；
检测模块，用于基于信息图和图神经网络模型，得到针对目标设备的故障检测结果。
第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
基于本公开实施例提供的方式，可以借助音频数据的音频特征反映设备的实时情况，因此，可实现自动化对设备进行故障检测，以节约人力资源。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开提供的一些实施方式，而不应将其视为是对本公开范围的限制。
图1是根据本公开一实施例中基于音频的设备故障检测方法的流程示意图；
图2是根据本公开一实施例中获取第一音频数据的示意图；
图3是根据本公开一实施例中信息图的示意图；
图4是根据本公开一实施例中信息图的另一示意图；
图5是根据本公开一实施例中基于音频的设备故障检测方法的整体示意图；
图6是根据本公开一实施例中基于音频的设备故障检测装置的结构示意图；
图7是用来实现本公开实施例的基于音频的设备故障检测方法的电子设备的框图。
具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应所述理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在纺丝工艺的工业场景中，由于纺丝工艺流程长且复杂，涉及的工艺设备的数量较为庞大，在工艺设备工作过程中，设备可能会出现异常。为了保证纺丝工艺流程的正常工作，因此，本公开实施例中使用无人机对工艺设备的音频数据进行实时监控，以保证纺丝工艺流程的正常工作。本公开实施例中提出了一种基于音频的设备故障检测方法，如图1所示，可实施为：
S101，获取由无人机针对目标设备采集的初始音频数据。
由于工艺设备中的管道存在流动的液体，可以使用无人机的麦克风设备对目标设备的检测点进行采集，一个目标设备可以存在多个检测点，对每个检测点可以进行多次采样，以得到初始音频数据。
S102，对初始音频数据进行预处理，得到待检测音频数据。
S103，对待检测音频数据进行特征提取，得到待检测音频数据的音频特征。
S104，基于音频特征构建信息图。
S105，基于信息图和图神经网络模型，得到针对目标设备的故障检测结果。
目标设备的故障检测结果可以包括正常状态以及异常状态。其中，异常状态可以包括一级异常，二级异常，…，S级异常。具体包括的异常状态等级可以基于实际情况确定，本公开实施例对此不进行限定。
基于异常状态的不同等级，可以对每个等级的异常状态设定不同的处理方式，举例来说，一级异常即为音频数据超出正常范围的范围较小，即为轻微异常，可以等设备空闲的情况下，对设备进行检查；S级异常即为音频数据超出正常范围的范围最多，即为最严重的异常情况，需要及时通知工作人员暂停该设备的工作，需要对该设备及时处理。
本公开实施例中，使用无人机对设备的音频数据进行监测，以得到初始音频数据；对初始音频数据进行预处理，得到待检测音频数据；对待检测音频数据进行特征提取，得到待检测音频数据的音频特征；基于音频特征构建的信息图和图神经网络模型，得到针对目标设备的故障检测结果。可以借助音频数据的音频特征反映设备的实时情况，因此，可实现自动化对设备进行故障检测，以节约人力资源。
在一些实施例中，基于以下方法对反应釜采集初始音频数据：控制无人机执行作业计划，以得到初始音频数据；该作业计划中包括巡检时间、反应釜的位置信息，以及采集的初始音频数据的要求。
举例来说，无人机对反应釜001（代表某工厂A车间第一酯化反应釜），在11月19日15时45分06秒进行第一次采样，即得到第一音频序列，在11月19日15时45分08秒进行第二次采样，即得到第二音频序列，在11月19日16时35分05秒进行第m次采样，即得到第m音频序列。即得到的初始音频数据可表示为{001；第一音频序列：{1119154506}：；第二音频序列：{1119154508}：/>；…；第m音频序列：{1119163505}：/>}。其中，/>表示第1个音频序列的数据时刻/>时的采样数据，/>表示第1个音频序列的数据时刻/>时的采样数据，以此类推。表示第2个音频序列的数据时刻/>时的采样数据，/>表示第2个音频序列的数据时刻时的采样数据，以此类推。
本公开实施例中，在使用无人机采集音频数据过程中，将巡检时间、反应釜的位置信息同时进行采集，为便于确定是哪个设备出现故障提供基础。
在一些实施例中，对初始音频数据进行预处理，得到待检测音频数据，可实施为：
步骤A1，基于噪声抑制和静音检测方法处理初始音频数据，得到第一音频数据。
在一种实施例中，可以对初始音频数据采用噪声抑制算法，举例来说，可以为均值滤波、中值滤波等方式，降低初始音频数据中的噪声。进而对初始音频数据基于静音检测方法分析音频数据，识别静音段。常用的静音检测方法有基于能量、基于谱熵等。对识别出的静音段进行过滤。将处理后的音频数据进行融合，得到第一音频数据。
在另一种实施例中，还可以使用隐马尔科夫模型（Hidden Markov Model，HMM）实现对初始音频数据进行降噪处理，得到第一音频数据。HMM是一种可以用于语音信号处理的方法，可以通过对语音信号进行建模，将语音信号从高维空间映射到低维空间。进而实现对音频信号进行降维，同时保留声音信号的语音特征。
实施时，由于初始音频数据是对检测点进行多次采样得到的，也可以为对多个检测点进行采样得到的，因此该初始音频数据为多组音频序列组成（每个音频序列可理解为一段连续的音频片段），如图2所示，第一音频序列可表示为，第二音频序列可表示为/>，第m音频序列可表示为/>。将多组音频序列输入HMM模型，以使HMM模型对其进行处理，对音频数据中每个数据时刻的频率特征进行降噪降维处理，得到每个数据时刻的正态分布；从每个数据时刻的正态分布筛选出有效的音频范围，组成音频序列，进而得到第一音频数据。
除了前述HMM模型外，还可以使用主成分分析（Principal Component Analysis，PCA）、独立成分分析（Independent Component Correlation Algorithm，ICA）、线性判别分析（Linear Discriminant Analysis，LDA）对初始音频数据进行去噪处理，以得到第一音频数据。
其中， PCA是一种常用的数据降维方法，可以找出数据中的主要成分，将数据由高维空间映射到低维空间，同时保持数据中的大部分方差信息。对于声音数据，可以使用PCA对音频信号的时域和频域数据进行降维。
其中，ICA是一种可以用于信号处理和图像处理的方法，可以找出信号中的独立成分，将信号由高维空间映射到低维空间。对于声音数据，可以使用ICA对音频信号进行降维，同时保留声音信号的主要特征。
其中，LDA是一种可以将高维数据投影到低维空间上的方法，通过寻找最优投影方向，将数据由原始空间映射到低维空间，同时保持数据中的类间散度。对于声音数据，可以使用LDA对音频信号进行降维，同时保留声音信号的类别信息。
本公开实施例中对于初始音频数据进行去噪处理的方式可根据实际使用需求灵活选择。
步骤A2，对第一音频数据进行分帧，得到第二音频数据。
实施时，为了便于后期处理，可以将第一音频数据分成短时帧，通常采用长度为10-30毫秒的窗口进行分帧，相邻帧之间可以有重叠。因此得到的第二音频数据包括多帧的音频数据。
步骤A3，采用窗函数处理第二音频数据，得到第三音频数据。
对每帧音频数据分别使用窗函数进行处理，以得到第三音频数据。举例来说，可以使用汉明窗、海宁窗等窗函数进行处理，以减小帧两端的振幅跳动。
步骤A4，对第三音频数据转换到频域，得到待检测音频数据。
可以使用快速傅里叶变换将第三音频数据转换到频域，得到待检测音频数据。
在将第三音频数据转换到频域的基础上，可以根据实际情况，对频域信号进行滤波、谱减、均衡化等处理，以增强相关特征或抑制噪声，进而得到待检测音频数据。
本公开实施例中，对无人机采集到的数据进行预处理，以实现对初始音频数据进行去噪以及去除静音音频的目的，增强音频数据中有效数据部分，为后续对设备进行故障检测提供了有效的音频数据。
在一些实施例中，音频特征至少包括以下一种：频率特征、时长特征、强度特征等。
实施时，由于待检测音频数据为频谱数据，因此可以直接对待检测音频数据的进行特征提取，得到待检测音频数据的频率特征。其中频率特征可以为频谱峰值、频谱重心、频率熵、梅尔频谱系数（Mel-frequency cepstral coefficients，MFCC）、梅尔倒谱（Mel-frequency cepstral coefficients，MFC）等信息。
可以基于频率特征的预设频段的时长，确定时长特征。举例来说，同一音频片段中包括预设频段为a~b，确定频段a~b在该音频片段中各自持续的时长，提取该时长的特征，作为时长特征。
基于频率特征的中预设频段的强度，确定强度特征。接续前面的例子，继续预设频段为a~b，基于频谱图确定频段a~b的振幅，以此得到强度特征。
前述音频特征可以采用前述特征中的任一种特征，也可以采用多组特征组合的方式，本公开实施例对此不进行限定。
本公开实施例中，采集设备中的音频数据，并对其进行特征提取，该频率特征、时长特征、强度特征均可代表音频数据的情况，因此采集这三种特征以实现对设备的故障情况进行准确识别的目的。
在一些实施例中，由于初始音频数据包括多段音频片段，在得到音频数据的音频特征的基础上，可以基于音频特征构建信息图，可实施为：
步骤B1，基于音频特征中每段音频片段的音频子特征，确定音频片段之间的相似度。
步骤B2，将相似度满足预设阈值的音频片段作为具有关联关系的节点，构建信息图。
举例来说，初始音频数据包括音频片段1，音频片段2，…，音频片段k，提取每个音频片段中的音频子特征。在音频子特征为频率特征、时长特征、强度特征中的其中一种的情况下，基于每个音频片段中的音频子特征直接计算相似度即可。计算相似度的方式可以为计算其余弦相似度。在得到音频片段之间的相似度的基础上，将满足预设阈值的音频片段进行关联，以得到信息图，信息图如图3所示，在预设阈值为60%的情况下，音频片段1和音频片段3之间的相似度为72%，则将音频片段1和音频片段3进行关联，音频片段1和音频片段2之间的相似度为32%，则将音频片段1和音频片段2不进行关联；音频片段3和音频片段k之间的相似度为87%，则将音频片段3和音频片段k进行关联。
在音频子特征为频率特征、时长特征、强度特征中的至少两种的情况下，可以对其进行加权求和，以得到每个音频片段的综合音频特征，进而在对其计算相似度。也可以将音频子特征视为包括多个元素的向量，采用余弦相似度确定不同音频之间的相似度。
本公开实施例中，使用计算相似度的方式构建信息图，以明确初始音频数据中每个音频片段的关联关系，为后续对其进行故障检测奠定有力的基础。
在一些实施例中，基于信息图和图神经网络模型，得到针对目标设备的故障检测结果，可实施为：
步骤C1，基于信息图构建邻接矩阵。
由于前述信息图是基于音频片段之间的相似度构建的邻接矩阵，因此，可以基于信息图中音频片段之间的相似度构建邻接矩阵（O），其邻接矩阵可以如表达式（1）所示：
其中，aa表示音频片段1和音频片段1之间的相似度，ab表示音频片段1和音频片段2之间的相似度，以此类推。
由于信息图中存在大量的相似度为0的节点对，为了便于后续图神经网络模型进行处理，可以将这些零元素去掉，可以将该邻接矩阵转为稀疏的邻接矩阵。
步骤C2，将邻接矩阵输入图神经网络模型，得到针对目标设备的故障检测结果。
其中，图神经网络可以为图卷积网络 (Graph Convolutional Networks, GCN)、图注意力网络（Graph Attention Networks，GAT）等。图神经网络通常由多个图卷积层组成，每个卷积层都可以对图数据进行特征提取和降维操作。
在一些实施例中，以图神经网络为GCN例，通过预训练得到图神经网络的方式，可实施为：
步骤D1，使用训练集对GCN模型进行训练，以优化GCN模型的参数和结构。
通常，训练集是由已知标签的音频片段组成的。其中已知标签包括正常状态下的音频片段以及异常状态下的音频片段。
实施时，针对纺丝工艺场景中设备较多，流程复杂的情况，可以针对多个相同设备聚集的环境，灵活采集训练样本。例如，在有多个反应釜聚集的情况下，可先启动一个反应釜设备，采集一个反应釜设备启动情况下的样本，然后启动第2个反应釜设备，采集两个反应釜设备同时启动情况下的训练样本，然后启动第3个反应釜设备，采集3个反应釜设备同时启动情况下的训练样本。以此类推，在具有n个设备的情况下，依序启动1-n个设备，每增加一个设备采集一批训练样本。
当然，针对不同的天气情况，也可以增加采集的样本量。例如可以采集雨天或刮风等恶劣天气下的音频数据作为训练集中的样本数据，以应对雨天或刮风等恶劣环境。
在训练过程中，可以使用反向传播算法来更新模型的参数，以最小化预测误差。
其中，使用反向传播算法来更新模型的参数可实施为：初始化GCN模型的参数；将训练集输入GCN模型，计算GCN模型每一层的输出。计算损失函数（如均方误差）及其梯度（偏导数）。从输出层开始，根据链式法则计算各层权重和偏置的梯度。可以使用梯度下降方法，根据学习率乘梯度的方式对GCN模型的参数进行更新。
步骤D2，在GCN模型满足收敛条件的情况下，即得到图神经网络。
本公开实施例中，通过图神经网络模型，可以更好地提取信息图中的特征信息，从而提高对目标设备的故障检测任务的性能。
在一些实施例中，在纺丝工艺流程中，聚酯反应釜是重要的环节。聚酯反应釜按四釜工艺分为：预缩聚反应釜、第一酯化反应釜、第二酯化反应釜、终缩聚反应釜，按照五釜工艺分为：第一预缩聚反应釜、第二预缩聚反应釜、第一酯化反应釜、第二酯化反应釜、终缩聚反应釜。反应釜通常较大，运行起来周围噪声也多，为了能够检测反应釜的故障情况，在故障检测结果表示反应釜出现故障的情况下，即故障检测结果为异常状态的情况下，可实施为：
步骤E1，基于初始音频数据的采集时间，获取以采集时间为基准的预设时间范围内的反应釜的运行参数，运行参数包括以下中的至少一种：电压、电流、转速和粘度。
举例来说，采集时间为T的情况下，则采集T时刻前s/2个时间段以及后s/2个时间段的反应釜的运行参数，即采集到s个运行参数。在采集的反应釜的运行参数可以为{电压A，电压B，…，电压t ，…，电压s}，{电流A，电流B，…，电流t ，…，电流s }。
步骤E2，基于运行参数确定反应釜的故障情况。
获取反应釜的正常工作下的数据范围，举例来说，在采集的反应釜的电压运行参数在正常的电压数据范围的边界浮动的情况下，则可以确定该反应釜中和电压相关的设备存在异常；在采集的反应釜的电流运行参数在正常的电流数据范围的边界浮动的情况下，则可以确定该反应釜中和电流相关的设备存在异常。
步骤E3，基于运行参数确定反应釜出现异常的情况下，发出紧急告警信息。
本公开实施例中，在反应釜的运行参数处于正常工作状态下的边界的情况下，基于音频数据异常的基础上，对反应釜的运行参数进行采集，在反应釜的运行参数与正常工作下的参数进行对比，以进一步确定反应釜的故障情况。
在另一种实施例中，在目标设备为纺丝工艺所需的反应釜的情况下，还可以采集反应釜的设备参数与音频数据的音频特征，构建信息图，可实施为：
步骤F1，基于初始音频数据的采集时间，获取以采集时间为基准的预设时间范围内的反应釜的运行参数，运行参数包括以下中的至少一种：电压、电流、转速和粘度；
步骤F2，基于音频特征和运行参数，构建信息图。
将音频特征以及运行参数作为音频片段的属性信息，将音频片段作为节点，基于每个音频片段的音频特征和运行参数之间的相似度构建边，得到的信息图如图4所示，在预设阈值为60%的情况下，音频片段1和音频片段3之间的相似度为42%，则将音频片段1和音频片段3不进行关联；音频片段1和音频片段k之间的相似度为67%，则将音频片段1和音频片段k进行关联；音频片段2和音频片段k之间的相似度为72%，则将音频片段2和音频片段k进行关联；音频片段3和音频片段k之间的相似度为87%，则将音频片段3和音频片段k进行关联。
在一些实施例中，为了便于确定是反应釜设备的具体的异常位置，获取预先建立的用于故障分析的故障分析图谱，可实施为：
步骤G1，将针对反应釜的历史故障记录输入大模型，以抽取历史异常的检测点位置的实体。
历史故障记录可以包括故障原因、故障类型、产生故障时的音频特征、以及故障的解决方式。
步骤G2，基于历史异常的检测点位置的实体，得到多个历史异常的检测点位置对应的三元组，该三元组包括故障原因、音频特征，并将故障类型作为二者之间的边的类型，三元组还包括故障原因、故障解决方式以及二者之间的边的类型为故障维修。
步骤G3，基于多个三元组，构建故障分析图谱。
由于每个历史异常的检测点位置之间也具备关联关系，具体的，服务器基于步骤G2中提取的历史异常的检测点位置的实体以及各个历史异常的检测点位置的实体之间的实体关系，将其表示为符合RDF(Resource Description Framework，资源描述框架图)表示规范的形式，即三元组(subject-predicate-object)的形式。其中，三元组由实体-关系-实体三部分构成。
本公开实施例中，基于故障分析图谱中不同历史异常的检测点位置的实体之间的关联度，调用大语言模型对不同历史异常的检测点位置的实体进行推理，利用大语言模型的推理特性挖掘出潜在的实体关系，以获取更多的三元组，进而可以完善故障分析图谱，以便于提高故障分析的准确性。
本公开实施例中，通过自然语言处理技术，大语言模型进行历史异常的检测点位置的实体识别、实体关系抽取以及知识表示，提供了更加精准和准确的语义理解，进而提高了故障分析图谱生成的效果。此外，大模型也可以在知识推理方面发挥作用，对已有的知识进行推理，发现其中的潜在关系和规律，进一步扩展故障分析图谱。
需要说明的是，在故障分析图谱没有更新的情况下，无需每次在对音频片段进行判定的时候都对故障分析图谱进行特征提取，而是将图谱特征保存下来以供后续分析使用。此外，为了能够适用更加完善的故障分析图谱，可以将近期的故障信息储存在key-value（键值对）表中，然后定期对故障分析图谱进行更新，同时将key-value表中存储的故障信息清除，以节约计算资源。当然，也可以在key-value表中存储的故障信息满足预设条数的情况下，将其更新到故障分析图谱中。
如图5所示，将故障分析图谱输入第一图神经网络进行特征提取，获取图谱特征，将该故障分析图谱作为参考，以便于在检测到异常的情况下，快速确定解决该异常的方式。
使用第二图神经网络对信息图进行特征提取，获取音频特征。
基于运行参数的采集时间，构建运行参数时序图，使用第三图神经网络对运行参数图进行特征提取，获取参数特征。
将图谱特征、参数特征以及音频特征输入知识特征提取网络，获取知识特征；以及，将参数特征以及音频特征输入时序特征提取网络，获取时序特征。
其中，将图谱特征、参数特征以及音频特征输入知识特征提取网络，获取知识特征，具体可实施为如图5所示：将图谱特征输入至少一层第一卷积层以及第一池化层，得到第一特征；以及，将音频特征中输入至少一层第二卷积层以及第二池化层，得到第二特征；以及，将参数特征中输入至少一层第三卷积层以及第三池化层，得到第三特征。采用第一交叉注意力机制网络处理第二特征和第三特征，得到第一中间特征；采用第三交叉注意力机制网络处理第一中间特征和第一特征，得到知识特征。
其中，将参数特征以及音频特征输入时序特征提取网络，获取时序特征，具体可实施为如图5所示：将音频特征中输入至少一层第四卷积层以及第四池化层，得到第四特征；以及，将参数特征中输入至少一层第五卷积层以及第五池化层，得到第五特征，采用第二交叉注意力机制网络处理第四特征和第五特征，得到第二中间特征；基于第四交叉注意力机制网络处理第二中间特征和第一中间特征，得到时序特征。
对知识特征和时序特征进行融合处理，得到融合特征；将融合特征转为稀疏的邻接矩阵的形式，输入图神经网络模型，得到目标设备的故障检测结果。同时如果该故障检测结果在故障分析图谱中出现过的情况下，即可获取该异常对应的解决方式。
在另一种实施例中，在得到基于音频特征的相似度构建的信息图的基础上，将其转换为第一邻接矩阵；基于初始音频数据的采集时间，获取以采集时间为基准的预设时间范围内的反应釜的运行参数，运行参数包括以下中的至少一种：电压、电流、转速和粘度。基于反应釜的运行参数构建第二邻接矩阵。基于运行参数之间的相似度，构建第二邻接矩阵。
对第一邻接矩阵和第二邻接矩阵进行融合，得到信息图。融合的方式可以是乘积，也可以是拼接，还可以是算矩阵加和。由于信息图中可能存在大量的相似度为0的节点对，为了便于后续图神经网络模型进行处理，可以将这些零元素去掉,可以将该目标邻接矩阵转为稀疏的邻接矩阵。将稀疏的邻接矩阵输入图神经网络模型，以得到针对目标设备的故障检测结果。
本公开实施例中，考虑了反应釜的运行参数，以便于准确的确定目标设备的检测结果。
基于相同的技术构思，本公开实施例还提供了一种基于音频的设备故障检测装置600，如图6所示，包括：
第一采集模块601，用于获取由无人机针对目标设备采集的初始音频数据；
预处理模块602，用于对初始音频数据进行预处理，得到待检测音频数据；
特征提取模块603，用于对待检测音频数据进行特征提取，得到待检测音频数据的音频特征；
构建模块604，用于基于音频特征构建信息图；
检测模块605，用于基于信息图和图神经网络模型，得到针对目标设备的故障检测结果。
在一些实施例中，预处理模块602，用于：
基于噪声抑制和静音检测方法处理初始音频数据，得到第一音频数据；
对第一音频数据进行分帧，得到第二音频数据；
采用窗函数处理第二音频数据，得到第三音频数据；
对第三音频数据转换到频域，得到待检测音频数据。
在一些实施例中，检测模块605，用于：
基于信息图构建邻接矩阵；
将邻接矩阵输入图神经网络模型，得到针对目标设备的故障检测结果。
在一些实施例中，初始音频数据包括多段音频片段，构建模块604，用于：
基于音频特征中每段音频片段的音频子特征，确定音频片段之间的相似度；
将相似度满足预设阈值的音频片段作为具有关联关系的节点，构建信息图。
在一些实施例中，音频特征至少包括以下一种：频率特征、时长特征、强度特征。
在一些实施例中，目标设备为纺丝工艺所需的反应釜，构建模块604，用于：
基于初始音频数据的采集时间，获取以采集时间为基准的预设时间范围内的反应釜的运行参数，运行参数包括以下中的至少一种：电压、电流、转速和粘度；
基于音频特征和运行参数，构建信息图。
在一些实施例中，目标设备为纺丝工艺所需的反应釜，还包括异常处理模块，用于：
在故障检测结果表示反应釜出现故障的情况下，基于初始音频数据的采集时间，获取以采集时间为基准的预设时间范围内的反应釜的运行参数，运行参数包括以下中的至少一种：电压、电流、转速和粘度；
基于运行参数确定反应釜的故障情况；
基于运行参数确定反应釜出现异常的情况下，发出紧急告警信息。
在一些实施例中，还包括第二采集模块，用于：
控制无人机执行作业计划，以得到初始音频数据；
作业计划中包括巡检时间、反应釜的位置信息，以及采集的初始音频数据的要求。
本公开实施例的装置的各模块、子模块\单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
图7为根据本公开一实施例的电子设备的结构框图。如图7所示，该电子设备包括：存储器710和处理器720，存储器710内存储有可在处理器720上运行的计算机程序。存储器710和处理器720的数量可以为一个或多个。存储器710可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括：通信接口730，用于与外界设备进行通信，进行数据交互传输。
如果存储器710、处理器720和通信接口730独立实现，则存储器710、处理器720和通信接口730可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器710、处理器720及通信接口730集成在一块芯片上，则存储器710、处理器720及通信接口730可以通过内部接口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory ，DRAM) 、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (14)

1.一种基于音频的设备故障检测方法，包括：
获取由无人机针对目标设备采集的初始音频数据；
对所述初始音频数据进行预处理，得到待检测音频数据；
对所述待检测音频数据进行特征提取，得到所述待检测音频数据的音频特征；
基于所述音频特征构建信息图；
基于所述信息图和图神经网络模型，得到针对所述目标设备的故障检测结果；
其中，所述初始音频数据包括多段音频片段；所述目标设备为纺丝工艺所需的反应釜的情况下，基于以下方式中的任一种构建所述信息图：
方式一：基于所述初始音频数据的采集时间，获取以所述采集时间为基准的预设时间范围内的所述反应釜的运行参数，所述运行参数包括以下中的至少一种：电压、电流、转速和粘度；
针对各音频片段，将所述音频片段的音频子特征以及所述音频片段的运行参数作为所述音频片段的属性信息，将所述音频片段作为节点，基于各音频片段的所述属性信息确定音频片段之间的相似度，基于音频片段之间的相似度构建边，以得到所述信息图；
方式二：基于所述音频特征中每段音频片段的音频子特征，确定音频片段之间的相似度；
将所述相似度满足预设阈值的音频片段作为具有关联关系的节点，构建所述音频片段的初始信息图；
将所述音频片段的初始信息图转换为第一邻接矩阵；
基于所述初始音频数据的采集时间，获取以采集时间为基准的预设时间范围内的所述反应釜的运行参数，所述运行参数包括以下中的至少一种：电压、电流、转速和粘度；
基于音频片段之间的反应釜的运行参数之间的相似度，构建第二邻接矩阵；
对所述第一邻接矩阵和所述第二邻接矩阵进行融合，得到所述信息图；其中，融合的方式包括以下方式中的任一种：乘积方式，拼接方式，矩阵加和方式。
2.根据权利要求1所述的方法，其中，所述对所述初始音频数据进行预处理，得到待检测音频数据，包括：
基于噪声抑制和静音检测方法处理所述初始音频数据，得到第一音频数据；
对所述第一音频数据进行分帧，得到第二音频数据；
采用窗函数处理所述第二音频数据，得到第三音频数据；
对所述第三音频数据转换到频域，得到所述待检测音频数据。
3.根据权利要求1所述的方法，其中，所述基于所述信息图和图神经网络模型，得到针对所述目标设备的故障检测结果，包括：
基于所述信息图构建邻接矩阵；
将所述邻接矩阵输入所述图神经网络模型，得到针对所述目标设备的故障检测结果。
4.根据权利要求1-3中任一项所述的方法，其中，所述音频特征至少包括以下一种：频率特征、时长特征、强度特征。
5.根据权利要求1所述的方法，还包括：
在所述故障检测结果表示所述反应釜出现故障的情况下，基于所述初始音频数据的采集时间，获取以所述采集时间为基准的预设时间范围内的所述反应釜的运行参数，所述运行参数包括以下中的至少一种：电压、电流、转速和粘度；
基于所述运行参数确定所述反应釜的故障情况；
基于所述运行参数确定所述反应釜出现异常的情况下，发出紧急告警信息。
6.根据权利要求1所述的方法，还包括基于以下方法对所述反应釜采集所述初始音频数据：
控制所述无人机执行作业计划，以得到所述初始音频数据；
所述作业计划中包括巡检时间、所述反应釜的位置信息，以及采集的初始音频数据的要求。
7.一种基于音频的设备故障检测装置，包括：
第一采集模块，用于获取由无人机针对目标设备采集的初始音频数据；
预处理模块，用于对所述初始音频数据进行预处理，得到待检测音频数据；
特征提取模块，用于对所述待检测音频数据进行特征提取，得到所述待检测音频数据的音频特征；
构建模块，用于基于所述音频特征构建信息图；
检测模块，用于基于所述信息图和图神经网络模型，得到针对所述目标设备的故障检测结果；
其中，所述目标设备为纺丝工艺所需的反应釜的情况下，所述构建模块，用于：
方式一：基于所述初始音频数据的采集时间，获取以所述采集时间为基准的预设时间范围内的所述反应釜的运行参数，所述运行参数包括以下中的至少一种：电压、电流、转速和粘度；
针对各音频片段，将所述音频片段的音频子特征以及所述音频片段的运行参数作为所述音频片段的属性信息，将所述音频片段作为节点，基于各音频片段的所述属性信息确定音频片段之间的相似度，基于音频片段之间的相似度构建边，以得到所述信息图；
方式二：基于所述音频特征中每段音频片段的音频子特征，确定音频片段之间的相似度；
将所述相似度满足预设阈值的音频片段作为具有关联关系的节点，构建所述音频片段的初始信息图；
将所述音频片段的初始信息图转换为第一邻接矩阵；
基于所述初始音频数据的采集时间，获取以采集时间为基准的预设时间范围内的所述反应釜的运行参数，所述运行参数包括以下中的至少一种：电压、电流、转速和粘度；
基于音频片段之间的反应釜的运行参数之间的相似度，构建第二邻接矩阵；
对所述第一邻接矩阵和所述第二邻接矩阵进行融合，得到所述信息图；其中，融合的方式包括以下方式中的任一种：乘积方式，拼接方式，矩阵加和方式。
8.根据权利要求7所述的装置，其中，所述预处理模块，用于：
基于噪声抑制和静音检测方法处理所述初始音频数据，得到第一音频数据；
对所述第一音频数据进行分帧，得到第二音频数据；
采用窗函数处理所述第二音频数据，得到第三音频数据；
对所述第三音频数据转换到频域，得到所述待检测音频数据。
9.根据权利要求7所述的装置，其中，所述检测模块，用于：
基于所述信息图构建邻接矩阵；
将所述邻接矩阵输入所述图神经网络模型，得到针对所述目标设备的故障检测结果。
10.根据权利要求7-9中任一项所述的装置，其中，所述音频特征至少包括以下一种：频率特征、时长特征、强度特征。
11.根据权利要求7所述的装置，所述目标设备为纺丝工艺所需的反应釜，还包括异常处理模块，用于：
在所述故障检测结果表示所述反应釜出现故障的情况下，基于所述初始音频数据的采集时间，获取以所述采集时间为基准的预设时间范围内的所述反应釜的运行参数，所述运行参数包括以下中的至少一种：电压、电流、转速和粘度；
基于所述运行参数确定所述反应釜的故障情况；
基于所述运行参数确定所述反应釜出现异常的情况下，发出紧急告警信息。
12.根据权利要求7所述的装置，还包括第二采集模块，用于：
控制所述无人机执行作业计划，以得到所述初始音频数据；
所述作业计划中包括巡检时间、所述反应釜的位置信息，以及采集的初始音频数据的要求。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
CN202311671046.1A 2023-12-04 2023-12-04 基于音频的设备故障检测方法、装置及相关设备 Active CN117373487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311671046.1A CN117373487B (zh) 2023-12-04 2023-12-04 基于音频的设备故障检测方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311671046.1A CN117373487B (zh) 2023-12-04 2023-12-04 基于音频的设备故障检测方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN117373487A CN117373487A (zh) 2024-01-09
CN117373487B true CN117373487B (zh) 2024-02-09

Family

ID=89406304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311671046.1A Active CN117373487B (zh) 2023-12-04 2023-12-04 基于音频的设备故障检测方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN117373487B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745275B (zh) * 2024-02-19 2024-06-07 中铁四局集团有限公司 基于物联网大数据的一体化工作平台
CN117783886B (zh) * 2024-02-23 2024-05-31 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) 动力电池异常状态识别方法、装置、电子设备及存储介质
CN117950906B (zh) * 2024-03-27 2024-06-04 西南石油大学 一种基于表格图神经网络的服务器故障原因推断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802540A (zh) * 2018-07-19 2018-11-13 山东大学 适用于配电网同步相量实时状态监测的可视化方法
CN113283704A (zh) * 2021-04-23 2021-08-20 内蒙古电力（集团）有限责任公司乌兰察布电业局 基于知识图谱的电网故障智能处置系统及方法
CN113409818A (zh) * 2021-08-18 2021-09-17 宁波帅特龙集团有限公司 一种基于声音传感器的生产设备预测性维修方法与系统
CN114372409A (zh) * 2021-12-17 2022-04-19 西安铂力特增材技术股份有限公司 3d打印设备故障的检测方法、装置、设备及存储介质
CN117071096A (zh) * 2023-08-17 2023-11-17 浙江恒逸石化有限公司 基于知识图谱的丝锭质量控制方法、装置和设备
CN117074809A (zh) * 2023-06-17 2023-11-17 广西电网有限责任公司 一种基于知识图谱的计量设备状态追踪与异常监控模型

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699708B2 (en) * 2018-04-24 2020-06-30 Accenture Global Solutions Limited Robotic agent conversation escalation
KR20200119949A (ko) * 2019-04-10 2020-10-21 현대자동차주식회사 레졸버 신호를 이용한 모터 구동 시스템의 고장진단 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108802540A (zh) * 2018-07-19 2018-11-13 山东大学 适用于配电网同步相量实时状态监测的可视化方法
CN113283704A (zh) * 2021-04-23 2021-08-20 内蒙古电力（集团）有限责任公司乌兰察布电业局 基于知识图谱的电网故障智能处置系统及方法
CN113409818A (zh) * 2021-08-18 2021-09-17 宁波帅特龙集团有限公司 一种基于声音传感器的生产设备预测性维修方法与系统
CN114372409A (zh) * 2021-12-17 2022-04-19 西安铂力特增材技术股份有限公司 3d打印设备故障的检测方法、装置、设备及存储介质
CN117074809A (zh) * 2023-06-17 2023-11-17 广西电网有限责任公司 一种基于知识图谱的计量设备状态追踪与异常监控模型
CN117071096A (zh) * 2023-08-17 2023-11-17 浙江恒逸石化有限公司 基于知识图谱的丝锭质量控制方法、装置和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Application of Hybrid Wavelet-SVM Algorithm to Detect Broken Rotor Bars in Induction Motors;Shermineh Ghasemi et al.;《2021 IEEE 30th International Symposium on Industrial Electronics (ISIE)》;20211231;全文 *
MCKD和RSSD在滚动轴承早期故障诊断中的应用;杨斌;张家玮;樊改荣;王建国;张超;;噪声与振动控制;20180418(02);全文 *

Also Published As

Publication number Publication date
CN117373487A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN117373487B (zh) 基于音频的设备故障检测方法、装置及相关设备
CN109065027B (zh) 语音区分模型训练方法、装置、计算机设备及存储介质
CN106683687B (zh) 异常声音的分类方法和装置
CN110444202B (zh) 复合语音识别方法、装置、设备及计算机可读存储介质
CN111048071A (zh) 语音数据处理方法、装置、计算机设备和存储介质
CN114152825A (zh) 变压器的故障诊断方法、装置和变压器的故障诊断系统
CN110909826A (zh) 一种能源设备的诊断监测方法、装置及电子设备
Silva et al. Exploring convolutional neural networks for voice activity detection
CN111081223A (zh) 一种语音识别方法、装置、设备和存储介质
Wiśniewski et al. Automatic detection of disorders in a continuous speech with the hidden Markov models approach
CN116012681A (zh) 基于声振信号融合的管道机器人电机故障诊断方法及系统
CN115273904A (zh) 一种基于多特征融合的愤怒情绪识别方法及装置
CN115600136A (zh) 一种基于多传感器的高压套管故障诊断方法、系统及介质
CN114974229A (zh) 基于电力现场作业音频数据提取异常行为的方法和系统
JP2019185580A (ja) 異常検出装置および方法
CN112128950B (zh) 一种基于多种模型对比的机房温湿度预测方法及系统
KR102374817B1 (ko) 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템
CN112052712A (zh) 一种电力设备状态监测与故障识别方法及系统
Solimine et al. An unsupervised data-driven approach for wind turbine blade damage detection under passive acoustics-based excitation
Du et al. RUL prediction based on GAM–CNN for rotating machinery
CN116840743A (zh) 电力变压器故障处理方法、装置、电子设备及存储介质
Jorge et al. Human-system interface based on speech recognition: application to a virtual nuclear power plant control desk
CN116364108A (zh) 变压器声纹检测方法及装置、电子设备、存储介质
CN112908344B (zh) 一种鸟鸣声智能识别方法、装置、设备和介质
US11947627B2 (en) Context aware anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant