CN111742274A - 用于空间系统的智能音频分析装置（iaaa）和方法 - Google Patents
用于空间系统的智能音频分析装置（iaaa）和方法 Download PDFInfo
- Publication number
- CN111742274A CN111742274A CN201980015680.5A CN201980015680A CN111742274A CN 111742274 A CN111742274 A CN 111742274A CN 201980015680 A CN201980015680 A CN 201980015680A CN 111742274 A CN111742274 A CN 111742274A
- Authority
- CN
- China
- Prior art keywords
- neural network
- detect
- input
- anomalies
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000010348 incorporation Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
- G05B23/0229—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions knowledge based, e.g. expert systems; genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
用于空间系统的智能音频分析装置（IAAA）。IAAA包括处理器、计算机可读介质以及通信模块。指令包括音频数据处理算法，该算法被配置为使用至少一个神经网络标识和预测与空间系统相关联的即将发生的异常。
Description
相关申请的交叉引用
本申请要求Das等人于2018年2月28日提交的题为“INTELLIGENT AUDIO ANALYTICAPPARATUS （IAAA） AND METHOD FOR SPACE SYSTEM”的美国临时申请序列号62/636,498的优先权，该美国临时申请的公开内容通过引用以其整体并入本文。
技术领域
本公开总体上涉及音频系统，并且更特别地，涉及用于空间系统的智能音频分析装置（IAAA）和方法。
背景技术
除非本文中另外指示，否则本部分中描述的材料对于本申请中的权利要求而言不是现有技术，并且不通过包括在本部分中而被承认是现有技术。
发明内容
下文阐述了本文公开的某些实施例的概述。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面不旨在限制本公开的范围。实际上，本公开可以涵盖下面可能没有阐述的各种方面。
本公开的实施例涉及用于空间系统的智能音频分析装置（IAAA）和方法。IAAA包括处理器、计算机可读介质和通信模块。存储在计算机可读介质上的指令包括音频数据处理算法，该算法被配置为使用至少一个神经网络来标识和预测与空间系统相关联的即将发生的异常。
附图说明
当参考随附附图阅读某些示例性实施例的以下详细描述时，将变得更好地理解本公开的这些和其它特征、方面和优点，在随附附图中，贯穿于附图，相同的符号表示相同的技术，其中：
图1是根据本公开所述实施例的空间系统的简化框图；
图2是根据本公开所述实施例的智能音频分析装置（IAAA）的简化框图；
图3是根据本公开所述实施例的智能处理器模块的简化框图；
图4是根据本公开所述实施例的简化自动编码器网络架构；
图5是根据本公开所述实施例的接收音频状态向量的深度循环神经网络（DRNN）的示图；
图6是根据本公开所述实施例的用于连续监控机器操作状态的深度卷积神经网络（CNN）的示图。
具体实施方式
出于促进对本公开原理的理解的目的，现在将参考在附图中图示并在以下书面说明书中描述的实施例。应当理解，并不由此旨在对本公开的范围进行限制。应当进一步理解，本公开包括对所图示实施例的任何更改和修改，并且包括如本公开所属领域普通技术人员通常会想到的本公开的原理的进一步应用。
图1是根据本公开所述实施例的空间系统100的简化框图。系统100包括航天飞机102和耦合到航天飞机102下侧的助推器104。IAAA 106、108包括音频数据处理算法，该算法被配置为标识和预测与空间系统100相关联的即将到来的异常。IAAA 106、108可以位于航天飞机102、助推器104或其组合的各处。由IAAA 106、108执行的功能允许对错误的机器操作和恶化的机器健康或状况这二者进行分类，从而促进预防或校正措施，由此降低维护成本并限制系统的停机时间。IAAA 106、108分析音频/振动数据中的时间动态，并利用最先进的机器学习算法来用于进行时间序列异常检测和预测。一旦检测到信息，就将检测到的信息通信地传输到包括通知和云网络系统110的站。
图2是根据本公开所述实施例的IAAA 106或108的简化框图。IAAA 106、108通信地耦合到音频输入阵列112。在一个实施例中，音频输入阵列112可以包括多个麦克风、多个接收器或任何合适的声学换能器。在另一个实施例中，音频输入阵列112可以包括其它非音频输入，诸如振动传感器、加速度计、运动传感器或任何合适的感测单元。为了收集用于机器学习算法的训练数据，音频输入阵列112被安装在被测系统100（DUT）上或其附近。音频输入阵列112检测信号，并且然后检测到的信号被预处理，以移除任何竞争的环境或周围噪声，等等。在一个实施例中，预处理功能可以由音频输入阵列112执行。在一些实施例中，预处理功能可以由部署在音频输入阵列112中以形成音频输入阵列112的一部分或者位于音频输入阵列112之外并且通信地耦合到音频输入阵列112的预处理器来执行。如果预处理器位于音频输入阵列112之外，则预处理器可以由IAAA 106、108携带以形成IAAA 106、108的一部分。可替代地，预处理器可以是独立的计算机模块。音频输入阵列112不仅能够捕捉音频信号，音频输入阵列112还能够使用音频输入或者其它非声学换能器来捕捉振动信号。一旦捕捉到音频和/或振动信号，IAAA 106、108就估计系统100的操作状态以确定系统100是正常的还是异常的。监控/跟踪系统100的操作状态的能力揭示了系统100如何对不同类型的大气和压力等的引入做出反应。在IAAA 106、108内，提供了处理器114、存储器118和通信模块116。取决于应用的要求，在IAAA 106、108中可以包括诸如用户界面的其它计算机模块或任何合适的模块。音频分析算法被安装在处理器114中以用于执行。下面将提供音频分析算法的进一步详细描述。处理器114从存储器118接收用于基于音频的系统状态估计的分类参数，以及经由音频输入阵列112从系统100接收实时音频和/或振动流，并输出推断的系统状态，诸如对系统操作状态的具体影响。然后，估计的系统状态或异常被传递到通信模块116，其转而被传输到外部设备以用于进一步的统计分析。
一旦跟踪到系统100的负载分布/特性的影响，外部设备——诸如通信地耦合到IAAA 106、108的通知和云计算网络系统110——就可以通过利用基于音频分析的系统状态监控算法聚合来自包括每个实例和/或位置的各种位置的结果来进一步执行负载分布对系统100的影响的大规模时空分析。在一些实施例中，通知和云计算网络系统110包括作为部署在通知和云计算网络系统110中的两个分离模块的云计算模块和通知工具。在替代实施例中，云计算模块可以位于通知和云计算网络系统110外部的云网络中。在又一实施例中，云计算模块也是云网络。诸如程序或应用程序的可视化工具可以被安装在具有显示器的计算机上，所述显示器用于向用户显示正在进行的配电处理的状态或系统100的状态。通信地耦合到云计算模块的计算机机器可以是台式计算机、便携式计算机、膝上型计算机、平板电脑、可穿戴设备或任何合适的计算机机器。在IAAA 106、108检测到系统100中的异常机器状态的情况下，使用诸如工具、程序或应用程序的通知系统来通知诸如设施经理的适当人员。通知系统可以在任何合适的计算机机器上运行。取决于应用的要求，通知可以采取文本消息、电子邮件、语音邮件、可听声音、显示器、指示器的形式或任何合适的通知形式。在一些实施例中，通知系统、可视化工具和云计算模块中的任何一个都可以在单个计算机机器、多个机器、网络、服务器或其组合上运行。在一些实施例中，通知系统、可视化工具和云计算模块可以安装在同一站点、不同站点或多个站点中。
图3是根据本公开所述实施例的智能处理器模块114的简化框图。在一个实施例中，智能处理器模块114被部署在图2的IAAA 106、108中。在一些实施例中，智能处理器模块114可以是分离且独立的模块，并且通信地耦合到音频输入阵列112和IAAA 106、108。音频分析算法由音频信号处理来安装和驱动，以用于实现音频特征表示和机器学习能力。前述音频分析能力背后的信号处理和机器学习算法在很大程度上与特定的感测模态无关，并且因此，可以取决于系统100的应用场景适用于任何可用的时间序列信号，例如陀螺仪、磁力计、电流、阻抗和电容。事实上，将算法扩展为并入多模态感觉融合将使得更深的、也许是隐藏的依赖性和相关性被利用，并且因此改进对异常的预测和检测。如图中所描绘的，处理器114包括几个计算机可执行的程序或功能，诸如场景语法、模式分类学习器、监视信号和音频特征表示。处理器114还可以包括深度学习、音频特征学习和识别特征或程序。取决于应用的要求，其它计算机可执行程序或指令可以安装在处理器114中并由处理器114运行。
图4是根据本公开所述实施例的简化自动编码器网络架构。对于异常检测，可以使用自动编码器（AE）及其几个衍生物，诸如去噪AE、深度AE等等。AE依赖于信号子空间的低维潜在表示，当信号子空间被重构并与误差阈值耦合时，可以在正常数据和异常数据之间进行区分，即异常往往具有更大的重构误差。AE的上述衍生物通过增加鲁棒性和利用数据中可能存在的更深层的结构来改进标准AE的性能。如图中所描绘的，第一层L1对应于输入信号（例如，来自配电机器的音频/振动信号的FFT），并且第三层L3是该信号的重构版本。第二层L2是低维的潜在表示。编码器可以利用机器数据来训练，其中异常操作被假定为随着时间的经过而稀疏。对于那些离群信号，第三层L3处的重构误差将会很大。该误差大小可以用作对于异常检测的提示。
图5是根据本公开所述实施例的接收音频状态向量的深度循环神经网络（DRNN）的示图。与仅利用当前数据和已知分类器/异常之间的帧差或瞬时差的AE不同。进一步地，AE不保留可以用于预测导致异常的底层结构的任何时间信息。为了充分利用时间知识以作为预防性维护进行协助，深度循环神经网络（DRNN）是基于深度学习来预测何时将出现可能的异常的方法之一。
与基于帧的方法相比，DRNN能够对音频模式的时间动态进行建模，在基于帧的方法中，每个帧与一个标签相关联（例如，正常相对于不正常），而不计及时间上下文/变化。然而，在机器操作时间序列数据上训练DRNN涉及预先将收集的音频模式注释成不同的操作模式。利用这些经注释的数据，DRNN可以学习与正常配电操作相关联的突出音频模式，以及通过标识故障模式（例如，特定的变压器单元失效）来检测何时偏离到异常。由IAAA 106、108执行的DRNN不仅示出对与人类语音相关联的音频信号进行建模的非凡能力，IAAA 106、108还能够执行监控和异常检测/预测。
图6是根据本公开所述实施例的用于连续监控机器操作状态的深度卷积神经网络（CNN）的示图。用于连续监控机器操作状态的深度CNN可以安装在IAAA 106、108上以执行异常检测。深度CNN进一步促进云网络中的统计分析，以用于数据挖掘并且优化机器操作。基于CNN的分析适用于与系统100相关联的音频/振动。在一些实施例中，CNN可以用在有监督学习框架中。例如，首先，可以为不同的机器状态收集带有时间戳的数据，并且对应的时间音频-振动分段可以被转换成声谱图用于进一步分析。声谱图从此被作为自然的2D图像对待，并通过VGG网络（为图像识别设计的非常深的CNN）馈送，以识别特定的机器状态。由IAAA106、108执行的图中提供了深度CNN架构的概述。
上面描述的实施例已经通过示例的方式示出，并且应当理解，这些实施例可以是易于进行各种修改和具有替代形式的。应当进一步理解，权利要求不旨在限于所公开的特定形式，而是相反，覆盖落入本公开的精神和范围内的所有修改、等同物和替代。
本公开范围内的实施例还可以包括用于携带或具有存储在其上的计算机可执行指令或数据结构的非暂时性计算机可读存储介质或机器可读介质。这样的非暂时性计算机可读存储介质或机器可读介质可以是能够由通用或专用计算机访问的任何可用介质。作为示例而非限制，这样的非暂时性计算机可读存储介质或机器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储装置，或者可以用于以计算机可执行指令或数据结构的形式携带或存储期望的程序代码部件的任何其它介质。上述的组合也应该被包括在非暂时性计算机可读存储介质或机器可读介质的范围内。
实施例也可以在分布式计算环境中实践，其中任务由通过通信网络（通过硬连线链接、无线链接或其组合）链接的本地和远程处理设备来执行。
计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某一功能或一组功能的指令和数据。计算机可执行指令还包括由独立或网络环境中的计算机执行的程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和数据结构等。计算机可执行指令、相关联的数据结构和程序模块表示用于执行本文所公开方法的步骤的程序代码部件的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现这样的步骤中描述的功能的对应动作的示例。
尽管已经参考各种实施例描述了该专利，但是应当理解，这些实施例是说明性的，并且本公开的范围不限于这些实施例。许多变化、修改、添加和改进都是可能的。更一般地，已经在上下文或特定实施例中描述了根据本专利的实施例。在本公开的各种实施例中，功能可以以不同的方式在框中分离或组合，或者利用不同的术语来描述。这些和其它变化、修改、添加和改进可以落在如所附权利要求中限定的本公开的范围内。
Claims (14)
1.一种空间系统设备监控系统，包括：
感测组件，被配置用于合并在至少一个空间系统装备中、所述至少一个空间系统装备上或所述至少一个空间系统装备附近，所述感测组件被配置为输出指示来自所述至少一个空间系统装备的声音和/或振动的传感器信号；
智能音频分析（IAA）设备，被配置为从所述感测组件接收传感器信号，处理传感器信号以检测来自所述至少一个空间系统装备的操作的异常，并且向输出设备输出检测信息以警告操作者检测到任何异常，
其中包括存储在非暂时性计算机可读存储介质上的编程指令和被配置为执行编程指令的处理器，
其中所述编程指令包括由处理器执行的分析算法，所述分析算法使得处理器连续处理传感器信号以检测异常，
其中所述分析算法包括至少一个神经网络，并且
其中对所述至少一个神经网络的输入基于由IAA设备接收的传感器信号。
2.根据权利要求1所述的系统，其中所述传感器信号在作为输入被提供给所述神经网络之前被预处理。
3.根据权利要求2所述的系统，其中所述至少一个神经网络包括自动编码器神经网络，所述自动编码器网络被配置为接收所述传感器信号作为输入，并基于所述输入来输出重构的传感器信号，
其中生成指示所述自动编码器神经网络的输入和输出之间的差的误差信号，并且
其中所述处理器被配置为基于所述误差信号的大小来检测异常。
4.根据权利要求3所述的系统，其中所述处理器被配置为将所述误差信号的大小与误差阈值进行比较，并且当所述误差信号的大小超过所述误差阈值时检测异常。
5.根据权利要求2所述的系统，其中所述至少一个神经网络包括深度循环神经网络（DRNN），所述DRNN被配置为接收所述传感器信号作为输入，并检测所述传感器信号中指示异常的音频和/或振动模式。
6.根据权利要求2所述的系统，其中所述至少一个神经网络包括深度卷积神经网络（CNN），所述CNN被配置为接收所述传感器信号作为输入，并检测所述传感器信号中指示异常的音频和/或振动模式。
7.根据权利要求6所述的系统，其中所述传感器信号在预处理期间被转换成声谱图，所述声谱图被作为输入提供给所述深度CNN，并且
其中所述深度CNN被配置为处理所述声谱图以标识所述异常。
8.一种用于监控配电装备的方法，包括：
生成指示源自空间系统装备的声音和/或振动的传感器信号，所述传感器信号由位于空间系统装备上、所述空间系统装备中或所述空间系统装备附近的传感器组件来进行检测；
使用智能音频分析（IAA）设备的处理器来处理传感器信号，以检测来自所述至少一个空间系统装备的操作的异常，所述处理器被配置为根据分析算法来处理传感器信号以检测异常，所述分析算法包括至少一个神经网络，所述至少一个神经网络被配置为检测传感器信号中指示异常的错误和/或模式；以及
当检测到异常时，向输出设备输出检测信息。
9.根据权利要求8所述的方法，其中所述传感器信号在被作为输入提供给所述神经网络之前被预处理。
10.根据权利要求9所述的方法，其中所述至少一个神经网络包括自动编码器神经网络，所述自动编码器网络被配置为接收所述传感器信号作为输入，并基于所述输入来输出重构的传感器信号，
其中生成指示自动编码器神经网络的输入和输出之间的差的误差信号，以及
其中所述处理器被配置为基于所述误差信号的大小来检测异常。
11.根据权利要求10所述的方法，其中所述处理器被配置为将所述误差信号的大小与误差阈值进行比较，并且当所述误差信号的大小超过所述误差阈值时检测异常。
12.根据权利要求9所述的方法，其中所述至少一个神经网络包括深度循环神经网络（DRNN），所述DRNN被配置为接收所述传感器信号作为输入，并检测所述传感器信号中指示异常的音频和/或振动模式。
13.根据权利要求9所述的方法，其中所述至少一个神经网络包括深度卷积神经网络（CNN），所述CNN被配置为接收所述传感器信号作为输入，并检测所述传感器信号中指示异常的音频和/或振动模式。
14.根据权利要求13所述的方法，其中所述传感器信号在预处理期间被转换成声谱图，所述声谱图被作为输入提供给所述深度CNN，并且
其中所述深度CNN被配置为处理所述声谱图以标识所述异常。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862636498P | 2018-02-28 | 2018-02-28 | |
| US62/636498 | 2018-02-28 | ||
| PCT/EP2019/054660 WO2019166397A1 (en) | 2018-02-28 | 2019-02-26 | Intelligent audio analytic apparatus (iaaa) and method for space system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111742274A true CN111742274A (zh) | 2020-10-02 |
| CN111742274B CN111742274B (zh) | 2024-04-30 |
Family
ID=65576364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980015680.5A Active CN111742274B (zh) | 2018-02-28 | 2019-02-26 | 用于空间系统的智能音频分析装置（iaaa）和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11947863B2 (zh) |
| EP (1) | EP3759558B1 (zh) |
| CN (1) | CN111742274B (zh) |
| WO (1) | WO2019166397A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220246165A1 (en) * | 2019-06-19 | 2022-08-04 | Nippon Telegraph And Telephone Corporation | Abnormality estimation device, abnormality estimation method, and program |
| CN110635833B (zh) * | 2019-09-25 | 2020-12-15 | 北京邮电大学 | 一种基于深度学习的功率分配方法及分配装置 |
| CN111306008B (zh) * | 2019-12-31 | 2022-03-11 | 远景智能国际私人投资有限公司 | 风机叶片的检测方法、装置、设备及存储介质 |
| US11727109B2 (en) | 2020-01-24 | 2023-08-15 | International Business Machines Corporation | Identifying adversarial attacks with advanced subset scanning |
| RU2759036C1 (ru) * | 2020-08-26 | 2021-11-09 | Акционерное общество Научно-производственное предприятие "Салют" | Способ контроля и диагностики артиллерийских комплексов и система для его реализации |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060122810A1 (en) * | 2004-12-06 | 2006-06-08 | Clarke Burton R | Cross correlation diagnostics tool for vibration analysis |
| CN101753992A (zh) * | 2008-12-17 | 2010-06-23 | 深圳市先进智能技术研究所 | 一种多模态智能监控系统和方法 |
| US20130030765A1 (en) * | 2011-07-27 | 2013-01-31 | Danni David | System and method for use in monitoring machines |
| US8484022B1 (en) * | 2012-07-27 | 2013-07-09 | Google Inc. | Adaptive auto-encoders |
| CN105372087A (zh) * | 2015-11-30 | 2016-03-02 | 南通大学 | 基于多传感器信号分析的故障诊断方法 |
| CN107066759A (zh) * | 2017-05-12 | 2017-08-18 | 华北电力大学（保定） | 一种汽轮机转子振动故障诊断方法及装置 |
| CN107458383A (zh) * | 2016-06-03 | 2017-12-12 | 法拉第未来公司 | 使用音频信号的车辆故障自动检测 |
| CN107643712A (zh) * | 2017-09-25 | 2018-01-30 | 中国航空工业集团公司西安飞机设计研究所 | 一种多传感器智能监测装置 |
| US20200371491A1 (en) * | 2017-10-26 | 2020-11-26 | Gb Gas Holdings Limited | Determining Operating State from Complex Sensor Data |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8655571B2 (en) | 2011-06-23 | 2014-02-18 | United Technologies Corporation | MFCC and CELP to detect turbine engine faults |
| EP3571809B1 (en) * | 2017-01-17 | 2020-07-29 | Telefonaktiebolaget LM Ericsson (PUBL) | Method and apparatus for analysing performance of a telecommunications network |
| JP7017861B2 (ja) * | 2017-03-23 | 2022-02-09 | 株式会社日立製作所 | 異常検知システムおよび異常検知方法 |
| KR102440695B1 (ko) * | 2017-08-11 | 2022-09-05 | 삼성전자주식회사 | 웨이퍼 맵 분석 장치, 이를 이용한 웨이퍼 맵 분석 방법 및 반도체 장치 제조 방법 |
| JP6853148B2 (ja) * | 2017-09-07 | 2021-03-31 | 日本電信電話株式会社 | 検知装置、検知方法及び検知プログラム |
| WO2019083565A1 (en) * | 2017-10-23 | 2019-05-02 | Johnson Controls Technology Company | BUILDING MANAGEMENT SYSTEM WITH AUTOMATED VIBRATION DATA ANALYSIS |
-
2019
- 2019-02-26 US US16/976,540 patent/US11947863B2/en active Active
- 2019-02-26 EP EP19707779.5A patent/EP3759558B1/en active Active
- 2019-02-26 CN CN201980015680.5A patent/CN111742274B/zh active Active
- 2019-02-26 WO PCT/EP2019/054660 patent/WO2019166397A1/en unknown
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060122810A1 (en) * | 2004-12-06 | 2006-06-08 | Clarke Burton R | Cross correlation diagnostics tool for vibration analysis |
| CN101753992A (zh) * | 2008-12-17 | 2010-06-23 | 深圳市先进智能技术研究所 | 一种多模态智能监控系统和方法 |
| US20130030765A1 (en) * | 2011-07-27 | 2013-01-31 | Danni David | System and method for use in monitoring machines |
| US8484022B1 (en) * | 2012-07-27 | 2013-07-09 | Google Inc. | Adaptive auto-encoders |
| CN105372087A (zh) * | 2015-11-30 | 2016-03-02 | 南通大学 | 基于多传感器信号分析的故障诊断方法 |
| CN107458383A (zh) * | 2016-06-03 | 2017-12-12 | 法拉第未来公司 | 使用音频信号的车辆故障自动检测 |
| CN107066759A (zh) * | 2017-05-12 | 2017-08-18 | 华北电力大学（保定） | 一种汽轮机转子振动故障诊断方法及装置 |
| CN107643712A (zh) * | 2017-09-25 | 2018-01-30 | 中国航空工业集团公司西安飞机设计研究所 | 一种多传感器智能监测装置 |
| US20200371491A1 (en) * | 2017-10-26 | 2020-11-26 | Gb Gas Holdings Limited | Determining Operating State from Complex Sensor Data |
Non-Patent Citations (2)
| Title |
|---|
| "航空电子设备故障预测特征参数提取方法研究", vol. 35, no. 35, pages 364 - 371 * |
| 李新和: "机械设备维修工程学", 机械工业出版社, pages: 74 - 76 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11947863B2 (en) | 2024-04-02 |
| CN111742274B (zh) | 2024-04-30 |
| US20200409653A1 (en) | 2020-12-31 |
| EP3759558B1 (en) | 2023-10-11 |
| EP3759558A1 (en) | 2021-01-06 |
| WO2019166397A1 (en) | 2019-09-06 |
| RU2020130971A (ru) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111742274B (zh) | 用于空间系统的智能音频分析装置（iaaa）和方法 | |
| EP3759789B1 (en) | System and method for audio and vibration based power distribution equipment condition monitoring | |
| WO2020009210A1 (ja) | 異常予測システム及び異常予測方法 | |
| JP2020527816A (ja) | 機械操作の音声ベースの監視のためのデバイスおよびその操作方法 | |
| CN110100216A (zh) | 移动并且自主的音频感测和分析系统以及方法 | |
| CN110678821B (zh) | 处理装置、处理方法和程序 | |
| KR102289212B1 (ko) | 인공지능 기반 고장 진단 장치 및 방법 | |
| Pan et al. | Cognitive acoustic analytics service for Internet of Things | |
| JP2021179740A (ja) | 監視装置、監視方法、プログラムおよびモデル訓練装置 | |
| CN111310778A (zh) | 检测装置、检测方法以及记录检测程序的记录介质 | |
| CN117940996A (zh) | 用于检测异常声音的方法和系统 | |
| JP7188463B2 (ja) | 解析装置、解析方法、およびプログラム | |
| CN112927129A (zh) | 判定装置及方法、训练装置及方法、以及记录介质 | |
| RU2793797C2 (ru) | Интеллектуальное аудиоаналитическое устройство и способ для космического аппарата | |
| CN114626400A (zh) | 设备故障诊断装置、设备故障诊断方法、智能工厂系统和应用代理 | |
| CN114556369A (zh) | 使用声分离神经网络的制造自动化 | |
| KR20210013292A (ko) | 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법 | |
| US20230084342A1 (en) | Monitoring apparatus, method, and program | |
| CN116862853A (zh) | 损伤检测方法、装置、电子设备及可读存储介质 | |
| KR102500140B1 (ko) | 초음파 대역의 음향 신호를 이용한 설비 고장 예측 시스템 및 그 방법 | |
| CN114001939B (zh) | 一种线路连接装置监测方法、装置、设备及存储介质 | |
| US20230222322A1 (en) | Vibration data analysis with functional neural network for predictive maintenance | |
| JP7202248B2 (ja) | プラント状態監視システムおよびプラント状態監視方法 | |
| EP4276741A1 (en) | Analysis device, analysis system, analysis program, and analysis method | |
| Zaman et al. | Real-time Diagnosis Of Physical Failures Using Causation-based AI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |