CN110100216A - 移动并且自主的音频感测和分析系统以及方法 - Google Patents
移动并且自主的音频感测和分析系统以及方法 Download PDFInfo
- Publication number
- CN110100216A CN110100216A CN201780080546.4A CN201780080546A CN110100216A CN 110100216 A CN110100216 A CN 110100216A CN 201780080546 A CN201780080546 A CN 201780080546A CN 110100216 A CN110100216 A CN 110100216A
- Authority
- CN
- China
- Prior art keywords
- audio
- processor
- machine
- analysis system
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title abstract description 16
- 238000012800 visualization Methods 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 29
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000004888 barrier function Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 230000033001 locomotion Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/008—Visual indication of individual signal levels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4454—Signal recognition, e.g. specific values or portions, signal events, signatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/46—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by spectral analysis, e.g. Fourier analysis or wavelet analysis
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0216—Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/23—Pc programming
- G05B2219/23181—Use of sound, acoustic, voice
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36487—Record position, motion and sound
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37592—Detect machine, workpiece noise by operator with headphone, directional
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Manufacturing & Machinery (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明涉及移动的、自主的音频感测和分析系统和方法，其用于监视包括制造的、商业的和住宅的环境的一个或多个环境中的操作状态。该自主音频感测和分析系统包括：多个机器，其配置用于监听和收集信息；至少一个自主音频感测和分析系统，其配置用于捕获所监听和收集的信息；以及可视化系统，其通信地耦合到机器或所述自主音频感测和分析系统中的至少一个或多个，其中，通信地耦合到多于一个机器的自主音频感测和分析系统存储、分类、估计和输出所述信息到所述可视化系统，以便执行分析操作或故障通知中的至少一个。
Description
技术领域
本发明基本上涉及自主系统，并且更具体地涉及移动的、自主的音频感测和分析系统以及方法，其用于监视一个或多个环境中的操作状态，所述一个或多个环境包括制造的、商业的和住宅的环境。
背景技术
除非本文另有说明，否则本节中描述的材料不是本申请的权利要求的现有技术并且不因包括在本节中而承认是现有技术。
发明内容
下面阐述本文公开的一些实施例的概述。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面不旨在限制本发明的范围。实际上，本发明可以包括下面可能没有阐述的多个方面。
本发明的实施例涉及移动的、自主的音频感测和分析系统以及方法，其用于监视一个或多个环境中的操作状态，一个或多个环境包括制造的、商业的和住宅的环境。本发明提供了一种移动的、自主的音频感测和分析系统，其用于监视一个或多个环境中的多个机器的操作状态，所述一个或多个环境包括制造的、商业的和住宅的环境。该移动的、自主的音频感测和分析系统不仅实时地监视环境中的每个机器的操作状态，该系统还预测和识别对有效维护有用的即将发生的故障。此外，该系统减少了停机时间和用于智能制造的数据驱动的过程管理。
在本发明的一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该系统包括至少一个移动自主系统，其具有处理器、存储器、至少一个惯性传感器和通信接口，所述至少一个移动自主系统被构造和配置用于通信地耦合到环境中的各种机器或设备。
在本发明的另一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该系统包括至少一个音频分析系统，所述至少一个音频分析系统具有麦克风、处理器、存储器和通信接口，所述至少一个音频分析系统被构造和配置用于通信地耦合到移动自主系统，输入如由音频分析模块捕获的机器状态被存储、分类、估计和输出到可视化模块或通知系统中的至少一个。
在本发明的又一实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该系统包括通信地耦合到音频分析系统或移动自主系统中的至少一个的通知系统和可视化系统中的至少一个；接收经处理的机器状态并且向授权用户广播该情况、事件和具有环境的机器状态。
附图说明
当参考附图阅读以下对一些示例性实施例的详细描述时，将更好地理解本发明的以上和其他特征、方面和优点，在这些附图中，相同的符号在所有图式中表示相同的特征，其中：
图1是根据本发明的一个实施例的、具有通信地耦合到可视化系统的多个机器的制造平面布置图的或机房的框图；
图2是根据本发明的一个示例的移动自主系统的框图；以及
图3是根据本发明的一个示例的、通信地耦合到图2的移动自主系统的音频分析系统的框图。
具体实施方式
下面将描述一个或多个具体实施例。为了提供这些实施例的简明描述，在说明书中没有描述实际实现的所有特征。应当理解，在任何这种实际实施方式的开发中，如在任何工程或设计项目中，必须做出许多实施方式特定的决定以实现开发者的特定目标，例如符合系统相关和商业相关的约束，这些约束可能根据不同的实施方式而变化。此外，应当理解，这种开发努力可能是复杂且耗时的，但是对于受益于本发明的普通技术人员来说，这不过是设计、制造和生产的常规任务。
呈现以下描述以使本领域技术人员能够实现和使用所描述的实施例，并且在特定应用及其要求的情况下提供以下描述。对所描述的实施例的各种修改对于本领域技术人员来说将是显而易见的，并且在不背离所描述的实施例的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，所描述的实施例不限于所示的实施例，而是符合与本文公开的原理和特征一致的最宽范围。
本发明提供了一种移动的、自主的音频感测和分析系统，所述音频感测和分析系统用于监视处于一个或多个环境中的多个机器的操作状态，所述一个或多个环境包括制造的、商业的和住宅的环境。该移动的、自主的音频感测和分析系统不仅实时地监视环境中的每个机器的操作状态，该系统还预测和识别对有效维护有用的、即将发生的故障。此外，该系统减少了停机时间和用于智能制造的数据驱动过程管理。
在本发明的一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且该系统包括至少一个移动自主系统，所述至少一个移动自主系统包括处理器、存储器、至少一个惯性传感器和通信接口，所述至少一个移动自主系统被构造和配置用于通信地耦合到环境中的各种机器或设备。
在本发明的另一个实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该移动的、自主的音频感测和分析系统包括至少一个音频分析系统，所述至少一个音频分析系统具有处理器、存储器和通信接口，所述至少一个音频分析系统被构造和配置用于通信地耦合到所述移动自主系统，输入如由音频分析模块捕获的机器状态被存储、分类、估计和输出到可视化模块或通知系统中的至少一个。
在本发明的又一实施例中，提供了一种移动的、自主的音频感测和分析系统，并且，该移动的、自主的音频感测和分析系统包括通信地耦合到所述音频分析系统或所述移动自主系统的通知系统和可视化系统中的至少一个；接收经处理的机器状态并且向授权用户广播情况、事件和具有环境的机器状态。
现在参考图1示出根据本发明的一个实施例的、具有通信地耦合到可视化系统102的多个机器M1-M8的制造平面布置图的或机房100的框图。尽管示出八个机器M1-M8，但是可以在平面布置图中提供任意数目的机器和/或设备，并且这些机器和/或设备可以直接或间接地连接到可视化系统102。替代地，在同一平面布置图中不必需的任何机器或设备可以通过直接的或间接的连接远程连接到可视化系统。示出移动的、自主的音频感测和分析系统、即两个系统S1和S2，它们通信地耦合到可视化系统102。系统S1和S2在平面布置图内或在机器M1-M8随机或系统性地定位于其中的环境中到处运动，以监听和收集包括事件、机器状态的情况、操作状态、机器/设备的位置、环境等的信息。在一些实施例中，系统S1、S2捕获所监听和收集的信息，然后存储、分类、估计该信息并且将其输出到可视化系统102，以便进行进一步分析或故障通知。尽管示出一个可视化系统102和两个音频感测和分析系统S1、S2，但是可以向环境添加或移除任何数目的系统102、S1、S2。在一个实施例中，系统S1、S2在环境周围运动、可以随机地或系统性地覆盖相同或不同的路线/路径。每个音频感测和分析系统S1、S2包括移动自主系统204和耦合到移动自主系统204的音频分析系统206。系统S1、S2能够执行一个或多个任务，以便除了诸如先前描述的位置估计、引导/路径规划、障碍物避开、运动控制和先前描述的类似的其他任务之外，还促进分布式音频感测和分析。
图2示出根据本发明的一个示例的、耦合到音频分析系统206的移动自主系统204的框图。被构造和配置用于通信地耦合到环境中的各个机器或设备的移动自主系统204包括处理器208、存储器210、至少一个惯性传感器212和通信接口214。包括可执行的运动/路径规划算法的处理器208接收诸如移动自主系统204的自身位置、其他移动传感器的位置和环境地图之类的信息，控制诸如驱动马达之类的驱动系统以使系统S1或S2在环境中四处运动，而不与诸如机器、设备、其他移动传感器平台或任何建筑结构之类的障碍物碰撞。运动控制信号/命令由处理器208传输，即传输到用于产生期望运动和/或轨迹的机械系统或马达中的至少一个。处理器208可以是任何类型的，包括但不限于微处理器、微控制器、数字信号处理器或其任何组合。处理器208可以包括一个级别或多个级别的缓存，例如一个级别的缓存存储器、一个或多个处理器核和寄存器。根据期望的配置，处理器可以是任何类型的，包括但不限于微处理器(μΡ)、微控制器(μC)、数字信号处理器(DSP)或其任何组合。处理器可以包括一个或多个级别的缓存，诸如一个级别的缓存存储器、一个或多个处理器核和寄存器。示例性的处理器核可以(每个都)包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或其任意组合。示例性的存储器控制器也可与处理器一起使用，或者在一些实施方式中，存储器控制器可以是处理器的内部部分。
存储器或计算机可读介质210保存或存储环境地图，即固定障碍物(例如机器)的位置和要运动通过的路径的位置。存储器或计算机可读介质210可以是任何类型，包括但不限于易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或其任何组合。存储器可以包括操作系统、通信应用和程序数据。通信接口214从一个或多个移动传感器接收位置广播并且经由链路L2将所接收的位置广播传输到处理器208。通信接口214还可选地发送自身位置以便其他的移动传感器经由链路L1接收。在一些实施例中，通信接口214可以发送自身位置到音频分析系统206，从而机器状态可以与相应的位置融合用于可视化系统102(如图1所示)。通信接口214允许软件和数据以信号的形式在计算机系统和其他外部电子装置之间传送，所述信号可以是例如电子信号、电磁信号、光学信号或能够由通信接口接收的其他信号。通信接口可以是例如调制解调器、网络接口、通信端口、PCM-CIA插槽和卡等。具有可执行的计算机源代码或程序的一个或多个惯性传感器212计算环境中的移动自主系统的位置。在某个实施例中，惯性传感器212可以使用其他信息，诸如由感测模块或适当的传感器单独提供的基于视觉测距、超声或射频的室内定位，或者与由惯性传感器收集的信息组合，以估计环境中的移动自主系统的位置状态。
如图2所示，通信接口214接收一个或多个环境中的任意数目的移动传感器的位置信息，并且，所接收的信息和一个或多个环境的地图存储在系统204内的存储器中、或服务器上、或诸如云网络之类的网络上等等。然后，所接收的信息被传输或传送到处理器208。处理器208接收诸如移动自主系统204的自身位置、其他移动传感器的位置和环境地图之类的信息，控制诸如驱动马达之类的驱动系统以使系统S1或S2在环境中四处运动，而不与诸如机器、设备、其他移动传感器平台或任何建筑结构之类的障碍物碰撞。运动控制信号/命令由处理器208传输，即传输到用于产生期望的运动和/或轨迹的机械系统或马达中的至少一个。
图3示出根据本发明的一个示例的耦合到移动自主系统204、通知系统216和可视化系统或工具202的音频分析系统206的框图。类似于移动自主系统204，音频分析系统206也被构造和配置用于通信地耦合到环境中的各种机器或设备。音频分析系统206包括处理器218、存储器220和通信接口222。音频分析系统206还包括通信地耦合到处理器218的至少一个声换能器，例如麦克风224。处理器218(包括可执行的音频分析算法在内)从存储器220接收信息诸如用于基于音频的机器状态估计的分类参数并且在将所接收的信息在处理了推断的机器状态/异常之后输出到通信接口222之前，还经由麦克风224从机器M1-M8实时接收诸如音频流的信息。一旦接收到所估计的机器状态/异常，通信接口222将所估计的机器状态/异常传输到可视化系统202或通知系统216中的至少一个。尽管音频分析系统206和移动自主系统204被示为两个独立的系统并且每个系统包括类似的处理器208、218、存储器210、220、通信接口214、222和其他适当的计算机实施的模块以单独地和独立地执行任务，但是音频分析系统206和移动自主系统204可以集成在主系统S1或S2中，因此，处理器、存储器、通信接口和其他适当的计算机实施的模块可以在单个系统S1或S2中执行所描述的所有任务。
处理器218可以是任何类型的，包括但不限于微处理器、微控制器、数字信号处理器或其任何组合。处理器218可以包括一个级别或多个级别的缓存，例如一个级别的缓存存储器、一个或多个处理器核和寄存器。根据所期望的配置，处理器可以是任何类型的，包括但不限于微处理器(μΡ)、微控制器(μC)、数字信号处理器(DSP)或其任何组合。处理器可以包括一个级别或多个级别的缓存，例如一个级别的缓存存储器、一个或多个处理器核和寄存器。示例性的处理器核可以(每个)包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或其任意组合。示例性的存储器控制器也可以与处理器一起使用，或者在一些实施方式中，存储器控制器可以是处理器的内部部分。
类似于移动自主系统214的存储器210，音频分析系统206的存储器或计算机可读介质220也保存或存储环境地图，即固定障碍物(例如机器)的位置和要运动通过的路径的位置。存储器或计算机可读介质220可以是任何类型，包括但不限于易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或其任何组合。存储器可以包括操作系统、通信应用和程序数据。通信接口222接收来自一个或多个移动传感器的位置广播，将自身位置信息与来自处理器218的、所估计的机器状态相融合，并且将自身位置信息连同所估计的机器状态发送到可视化系统202、通知系统216或其组合中的至少一个。通信接口222还可以将具有所估计的机器状态的自身位置信息传输到诸如云网络的网络、服务器或其组合，以存储在远程位置中并且在必要时用于统计分析。通信接口222允许软件和数据以信号的形式在计算机系统和其他外部电子装置之间传送，所述信号可以是例如电子信号、电磁信号、光学信号或能够由通信接口接收的其他信号。通信接口222可以是例如调制解调器、网络接口、通信端口、PCM-CIA插槽和卡等。
一个或多个麦克风224配置用于从附近的一个或多个机器M1-M8收集或获取音频信号。其他的感测装置或模块——例如加速度计、振动传感器可以被结合在音频分析系统206中，或者被耦合到麦克风224，以检测来自环境中的机器M1-M8的任何适当的信号。尽管通知系统216和可视化系统202被描述为用于执行独立的任务的两个独立的系统，但是系统216、202可以被集成到单个装置中以执行多任务。通知系统216配置用于在音频分析算法检测到异常机器状态的情况下通知适当的人员。可视化系统202从通信接口222接收机器状态估计数据并且为工厂或设施管理者呈现可视化，以估计等事件的状态诸如正在进行的制造过程的状态、基础设施的状态。
音频分析算法由音频信号处理(用于音频特征表示)以及机器学习能力驱动。音频模式对关于对象、材料的功能交互的有用信息，即任何物理过程进行编码；当异常发生时，同样的事情也适用，所述异常导致“不同的”物理过程，所述物理过程将具有其自己的签名音频模式。音频分析系统206应用关于厂区或机房上的机器健康监控方面的若干异常检测算法。这些包括在制造过程期间通过安装在或集成到移动自主系统204中的音频传感器收集音频数据(例如，当制造过程进行得很好时和当所模拟的异常发生时)。在一个实施例中，存储在系统206、204之一中的无监督异常检测算法或程序被用于评价是否可以用“离群”音频签名来识别异常机器操作。该算法可以不涉及预先将所收集的音频数据明确地标注为正常操作和各种错误模式。在另一个实施例中，有监督的机器学习算法或程序，例如一类支持向量机(SVM)、高斯混合模型(GMM)可以用于识别机器操作中的异常。在又一实施例中，基于深度学习的异常检测算法或程序旨在改善SVM和GMM的性能。音频分析系统206可以替代地使用深度循环神经网络(DRNN)，该深度循环神经网络配置用于对类似于音频信号的时间信号模式进行建模。DRNN还对连续的音频模式建模，而不将它们切断成片段，以执行用于异常检测的音频特征计算。然而，将机器操作音频流馈送到DRNN涉及预先将所收集的音频模式标注为不同的操作模式。借助所标注的这些数据，DRNN学习与正常机器操作相关联的显著音频模式，并且通过识别故障模式(例如，部分偏离直线或类似情况)来检测正常制造过程何时偏离成异常。DRNN还能够对与人类语音相关联的音频信号进行建模，适用于智能机器/制造过程状态监控和异常检测。
由安装到机器M1-M8或安装在环境内的一个或多个传感器收集的、被标注(有故障的相对于正常)的机器操作数据用于训练存储在系统204、206的至少一个中的、有监督的机器学习算法。传感器在机器的正常操作期间以及在人工诱导的故障期间捕获多模态传感数据(包括音频/振动)，将捕获的数据传输到系统204、206中的至少一个。在一个实施例中，所捕获的这些数据被适当地以时间戳和标签(异常/正常)标注并且被馈送到机器学习流水线。从移动音频传感器收集的音频模式通过谱减法来预处理，以从移动自主自身去除噪声(例如，来自马达/运动的噪声)。谱减法包括收集纯粹由于MP运动而产生的音频并且产生相应的谱图。该谱图(作为背景模型工作)从由来自厂区的音频流生成的音频谱图中被减去。这些类型的噪声去除与计算机视觉和图像处理中的背景减除类似地工作。在另一实施例中，可以利用基于去噪自动编码器的噪声消除方法。对于去噪自动编码器，使用从音频传感器独立收集的来自机器的数据，而不是在传感器被放置在移动自主系统的顶部时收集的数据。然后，训练自动编码器以消除来自移动自主系统运动的噪声干扰。在又一实施例中，融合日期可以由一个或多个移动音频传感器收集或检测。在一个示例中，采用了融合/集成(ensemble)学习方法，融合/集成学习方法用于融合来自多个移动音频传感器的数据/机器状态估计。该方法确保了将来自每个传感器的信息最佳地用于即将到来的推理任务，即机器情况/状态和检测异常。为了进一步确保传感器融合算法随时间的稳定性能，可以使用关于在每个时间步作出的推断的一个或多个动态贝叶斯网络。
上述实施例已经通过示例的方式示出，并且应当理解，这些实施例可以容许各种修改和替换形式。还应当理解，权利要求不是要限制于所公开的特定形式，而是覆盖落入本发明的精神和范围内的所有修改、等同物和替换。
尽管已经参考各种实施例描述了本专利，但是应当理解，这些实施例是说明性的，并且本发明的范围不限于这些实施例。许多变化、修改、添加和改进是可能的。更一般地，根据本专利的实施例已经在上下文中或特定实施例中描述。在本发明的各种实施例中，功能可以以不同的块来分离或组合，或者用不同的术语来描述。这些和其他变化、修改、添加和改进可落入如所附权利要求书中所限定的本发明范围内。
Claims (10)
1.一种系统，其包括：
多个机器，其配置用于监听和收集信息；
至少一个自主音频感测和分析系统，其配置用于捕获所监听和收集的信息；
可视化系统，其通信地耦合到机器中的至少一个或多个或所述自主音频感测和分析系统；
其中，通信地耦合到多于一个机器的自主音频感测和分析系统存储、分类、估计和输出所述信息到所述可视化系统，以便执行分析操作或故障通知中的至少一个。
2.根据权利要求1所述的系统，其中，所述自主音频感测和分析系统在环境中到处运动。
3.根据权利要求2所述的系统，其中，所述自主音频感测和分析系统包括：
移动自主装置和通信地耦合到所述移动自主装置的音频分析装置中的一个或多个。
4.根据权利要求3所述的系统，其中，所述移动自主装置包括：
处理器；
存储器，其配置用于存储所述环境的地图和在所述环境中找到的任何周界；
传感器；
通信接口，其通信地耦合到所述处理器，所述通信接口配置用于执行以下之中的至少一个：接收由所述传感器广播的位置、将所接收的位置广播传输到所述处理器或传输自身位置；
其中，所述处理器接收以下之中的至少一个：接收由所述传感器广播的位置、将所接收的位置广播传输到所述处理器或从所述通信接口传输自身位置，并且控制驱动系统以使所述自主音频感测和分析系统在所述环境中到处运动而不与障碍物碰撞。
5.根据权利要求4所述的系统，其中，所述周界包括固定障碍物、可变障碍物、路径或路线中的至少一个。
6.根据权利要求4所述的系统，其中，所述传感器选自以下包括惯性传感器、移动传感器和位置传感器的组。
7.根据权利要求3所述的系统，其中，所述音频分析装置包括：
存储器，其配置用于存储用于基于音频的机器状态估计的分类参数；
处理器，其配置用于从所述存储器接收用于基于音频的机器状态估计的分类参数中的至少一个以及实时地从所述机器中的一个或多个接收音频流；
以及通信接口，其配置用于将所估计的机器状态传输到可视化系统。
8.根据权利要求7所述的系统，其中，所述通信接口还将所估计的机器状态传输到通知系统。
9.根据权利要求8的系统，其还包括通信地耦合到所述处理器的声换能器，所述处理器经由所述声换能器从所述机器中的一个或多个实时接收音频流。
10.根据权利要求8所述的系统，其中，所述通知系统配置用于在检测到异常机器状态之后通知人员或装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662413163P | 2016-10-26 | 2016-10-26 | |
| US62/413,163 | 2016-10-26 | ||
| PCT/US2017/058452 WO2018081368A1 (en) | 2016-10-26 | 2017-10-26 | Mobile and autonomous audio sensing and analytics system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110100216A true CN110100216A (zh) | 2019-08-06 |
Family
ID=62024020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780080546.4A Pending CN110100216A (zh) | 2016-10-26 | 2017-10-26 | 移动并且自主的音频感测和分析系统以及方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10715941B2 (zh) |
| CN (1) | CN110100216A (zh) |
| DE (1) | DE112017005413T5 (zh) |
| WO (1) | WO2018081368A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019166396A1 (en) * | 2018-02-28 | 2019-09-06 | Robert Bosch Gmbh | System and method for audio and vibration based power distribution equipment condition monitoring |
| JP7331369B2 (ja) * | 2019-01-30 | 2023-08-23 | 日本電信電話株式会社 | 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム |
| US10783902B1 (en) * | 2019-04-18 | 2020-09-22 | Hitachi, Ltd. | Adaptive acoustic sensing method and system |
| US20220148411A1 (en) * | 2020-11-06 | 2022-05-12 | Ford Global Technologies, Llc | Collective anomaly detection systems and methods |
| US11848027B2 (en) * | 2021-05-03 | 2023-12-19 | Sap Se | Federated learning with sound to detect anomalies in the industrial equipment |
| CN114898215A (zh) * | 2022-06-09 | 2022-08-12 | 西南交通大学 | 一种声屏障自动布置方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203658843U (zh) * | 2014-01-21 | 2014-06-18 | 北京博创尚和科技有限公司 | 自主移动机器人 |
| US20140277843A1 (en) * | 2013-03-15 | 2014-09-18 | Qnx Software Systems Limited | Stateful integration of a vehicle information system user interface with mobile device operations |
| CN104122891A (zh) * | 2013-04-24 | 2014-10-29 | 山东轻工业学院 | 一种城市地下轨道检测的智能机器人巡检系统 |
| US20160231746A1 (en) * | 2015-02-06 | 2016-08-11 | Delphi Technologies, Inc. | System And Method To Operate An Automated Vehicle |
| US20160282872A1 (en) * | 2015-03-25 | 2016-09-29 | Yokogawa Electric Corporation | System and method of monitoring an industrial plant |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633821B2 (en) | 2001-01-08 | 2003-10-14 | Xerox Corporation | System for sensing factory workspace |
| US20070142940A1 (en) * | 2005-12-21 | 2007-06-21 | Ferguson Alan L | Processes for monitoring user-selected parameters |
| CN102270271B (zh) * | 2011-05-03 | 2014-03-19 | 北京中瑞泰科技有限公司 | 基于相似度曲线的设备故障早期预警及优化的方法和系统 |
| US9157829B2 (en) * | 2011-12-30 | 2015-10-13 | Spirax-Sarco Limited | Apparatus and method for monitoring a steam plant |
| KR101914079B1 (ko) | 2012-04-04 | 2019-01-14 | 삼성전자주식회사 | 고장 진단 시스템에서의 고장 진단 방법 및 장치 |
| US9329597B2 (en) * | 2014-01-17 | 2016-05-03 | Knightscope, Inc. | Autonomous data machines and systems |
| US9484022B2 (en) * | 2014-05-23 | 2016-11-01 | Google Inc. | Training multiple neural networks with different accuracy |
| JP6459014B2 (ja) * | 2015-03-31 | 2019-01-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | ジオフェンシング装置 |
-
2017
- 2017-10-26 CN CN201780080546.4A patent/CN110100216A/zh active Pending
- 2017-10-26 WO PCT/US2017/058452 patent/WO2018081368A1/en active Application Filing
- 2017-10-26 DE DE112017005413.3T patent/DE112017005413T5/de active Pending
- 2017-10-26 US US16/344,050 patent/US10715941B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140277843A1 (en) * | 2013-03-15 | 2014-09-18 | Qnx Software Systems Limited | Stateful integration of a vehicle information system user interface with mobile device operations |
| CN104122891A (zh) * | 2013-04-24 | 2014-10-29 | 山东轻工业学院 | 一种城市地下轨道检测的智能机器人巡检系统 |
| CN203658843U (zh) * | 2014-01-21 | 2014-06-18 | 北京博创尚和科技有限公司 | 自主移动机器人 |
| US20160231746A1 (en) * | 2015-02-06 | 2016-08-11 | Delphi Technologies, Inc. | System And Method To Operate An Automated Vehicle |
| US20160282872A1 (en) * | 2015-03-25 | 2016-09-29 | Yokogawa Electric Corporation | System and method of monitoring an industrial plant |
Non-Patent Citations (1)
| Title |
|---|
| 李波, 武汉大学出版社 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US10715941B2 (en) | 2020-07-14 |
| DE112017005413T5 (de) | 2019-07-18 |
| WO2018081368A1 (en) | 2018-05-03 |
| US20190261109A1 (en) | 2019-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110100216A (zh) | 移动并且自主的音频感测和分析系统以及方法 | |
| US10552762B2 (en) | Machine learning of physical conditions based on abstract relations and sparse labels | |
| CN103676830B (zh) | 用于诊断基于电子的产品的装置和方法 | |
| US20190057548A1 (en) | Self-learning augmented reality for industrial operations | |
| EP3085937A2 (en) | System and method for detecting vehicle system faults | |
| CN107526329A (zh) | 基于人工智能设计的机器人管理系统 | |
| CN107835964A (zh) | 控制情境化以及关于控制的推理 | |
| CN108957236A (zh) | 一种基于互联网大数据的机械故障监控系统 | |
| CN108363394A (zh) | 一种安防机器人智能巡检系统及其巡检方法 | |
| EP3759558B1 (en) | Intelligent audio analytic apparatus (iaaa) and method for space system | |
| EP3759789B1 (en) | System and method for audio and vibration based power distribution equipment condition monitoring | |
| US20200284938A1 (en) | Remote vibration detection of submerged equipment using magnetic field sensing | |
| Windau et al. | Inertial machine monitoring system for automated failure detection | |
| KR102185737B1 (ko) | 도로 상태 예측 시스템 및 예측 방법 | |
| Pookkuttath et al. | An optical flow-based method for condition-based maintenance and operational safety in autonomous cleaning robots | |
| KR20210050711A (ko) | 영상 기반 산업 현장 안전 상태 예측 장치 및 방법 | |
| Khanna et al. | Hybrid Adaptive Fault Detection and Diagnosis System for Cleaning Robots | |
| EP3748450A1 (en) | Data driven machine learning for modeling aircraft sensors | |
| Ma et al. | An Internet of Things-based lift predictive maintenance system | |
| Sesana et al. | Resilient Manufacturing Systems enabled by AI support to AR equipped operator | |
| Akhavian | Data-driven simulation modeling of construction and infrastructure operations using process knowledge discovery | |
| KR102407707B1 (ko) | 회전체 이상 진단 시스템 | |
| McBain et al. | Software architecture for condition monitoring of mobile underground mining machinery: A framework extensible to intelligent signal processing and analysis | |
| Islam et al. | Carts: Constraint-based analytics from real-time system monitoring | |
| Fort et al. | Hand-arm vibration monitoring via embedded machine learning on low power wearable devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |