CN113447287B - 异常检测装置和方法 - Google Patents

异常检测装置和方法 Download PDF

Info

Publication number
CN113447287B
CN113447287B CN202110285095.6A CN202110285095A CN113447287B CN 113447287 B CN113447287 B CN 113447287B CN 202110285095 A CN202110285095 A CN 202110285095A CN 113447287 B CN113447287 B CN 113447287B
Authority
CN
China
Prior art keywords
time series
signal
feature
abnormality
intermediate feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110285095.6A
Other languages
English (en)
Other versions
CN113447287A (zh
Inventor
川口洋平
末房佳小里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN113447287A publication Critical patent/CN113447287A/zh
Application granted granted Critical
Publication of CN113447287B publication Critical patent/CN113447287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • G01M99/005Testing of complete machines, e.g. washing-machines or mobile phones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D3/00Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
    • G01D3/08Indicating or recording apparatus with provision for the special purposes referred to in the subgroups with provision for safeguarding the apparatus, e.g. against abnormal operation, against breakdown
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/08Registering or indicating the production of the machine either with or without registering working or idle time
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2223/00Indexing scheme associated with group G05B23/00
    • G05B2223/06Remote monitoring
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods

Abstract

本发明的目的在于,能够基于源自对象物的振动的信号来检测对象物的异常。异常检测装置(1)是检测对象物(3)的异常的装置,对在与对象物的距离不同的多个位置处获取的源自振动的第一信号中的规定区域的第二信号进行规定处理,来检测对象物的异常。

Description

异常检测装置和方法
技术领域
本发明涉及异常检测装置和方法。
背景技术
通常,设备的异常或故障预兆等状态大多作为设备发出的声音而出现,因此,基于设备的运转声检测异常声是重要的。但是,在正常的运转声的特征量伴随复杂的时间变化的情况下,错误地检测异常声的可能性变高。因此,即使在正常的运转声的特征量伴随复杂的时间变化的情况下,也要求高精度的异常声检测,而不会错误诊断。
在专利文献1中公开有一种技术,“具有运算装置,其执行基于作为监视对象的规定装置的运转数据,学习用于预测该装置的动作的预测模型的处理;基于所述预测模型的预测结果和从所述装置获得的各运转数据的偏离程度的各异常分数进行调整,以使关于正常时的运转数据而获得的异常分数成为规定范围的处理;基于所述调整的异常分数来检测异常或异常的预兆的处理;将所述异常分数或所述检测的结果中的至少一者的信息显示于输出装置的处理”。
现有技术文献
专利文献
专利文献1:日本特开2018-160093号公报
发明内容
发明所要解决的问题
在专利文献1中,根据从过去到当前的运转数据的时间序列,预测未来的运转数据的时间序列,并基于观测值和预测值的累积误差来计算异常度分数。但是,在专利文献1中,如果能够输入对运转声计算出的特征量的时间序列,则也能够检测设备的异常声。但是,该记载没有描述为能够将专利文献1应用于设备的异常的运转声(异常声)的检测,而仅是假设。
但是,即使上述的假设万一成立,在电磁阀、滑动装置、工业用机器人等正常的运转声(正常声音)的特征量的时间变化突然发生的情况下,难以预测未来的声音,因此,异常度分数的大小不与机械的正常/异常对应。因此,异常声检测的精度降低。
本发明是鉴于所述问题而开发的,其目的在于,提供一种异常检测装置和方法,能够基于源自对象物的振动的信号,检测对象物的异常。
用于解决问题的技术方案
为了解决所述问题,本发明的一个观点的异常检测装置检测对象物的异常,对在与对象物的距离不同的多个位置处获取的源自振动的第一信号中的规定区域的第二信号进行规定处理,来检测对象物的异常。
发明效果
根据本发明,能够基于源自对象物的振动的第一信号中的规定区域的第二信号来检测对象物的异常。
附图说明
图1是表示本实施例的整体概要的说明图。
图2是异响检测装置的硬件和软件结构图。
图3是学习正常模型时的处理框图。
图4是异常检测时(异响检测时)的处理框图。
图5是第二实施例的学习正常模型时的处理框图。
图6是异常检测时的处理框图。
图7是第三实施例的学习正常模型时的处理框图。
图8是异常检测时的处理框图。
具体实施方式
以下,基于附图对本发明的实施方式进行说明。本实施方式的异响检测装置能够基于源自对象物发出的振动的信号,来判断对象物中是否产生异常。源自振动的信号包含振动的信号和声音的信号。通过将本实施例中使用的传感器终端从麦克风替换为加速度传感器或位移传感器,本实施例能够根据振动的信号检测异常。
对象物例如为电磁阀、滑动装置、机器人等的正常声音可能突然变化的工厂设备或家用电器等。但是,对象物不限定于机械或电器。为产生可能突然变化的振动或声音的物体,如果为基于该振动或声音可检测异常的物体,则能够应用本实施例。作为这种物体,例如有人类、车、门等。例如,本实施例通过学习人类的生活声音(说话声、脚步声、呼吸声等)、车的声音、枪声、爆炸声等周围环境的声音,也能够检测安全上的异常情况的产生。
如图1所示,在本实施例中,使用源自对象物3的振动的第一信号D1中的时间轴上的中间部分的信号D2来检测对象物3的异常。在本实施例中,由于不使用中间部分的前后(时间轴上的前后)的信号D3,因此能够提高异常检测的精度。
如果举出本实施例的异响检测装置1的一个例,包括:计算输入信号的特征量时间序列D1的特征量时间序列计算部108;中间特征量时间序列排除部109,其计算从特征量时间序列D1除去了中间时刻的多个帧D2(以下称为中间特征量时间序列D2)的特征量时间序列D3(以下称为排除后特征量时间序列D3);中间特征量时间序列预测部201,其以排除后特征量时间序列D3为输入,学习预测中间特征量时间序列D2的映射,并输出中间特征量时间序列的预测值D4(以下称为预测中间特征量时间序列D4);异常检测部401,其基于中间特征量时间序列D2和预测中间特征量时间序列D4之间的误差进行异常检测。
根据本实施例,排除后特征量时间序列D3由特征量时间序列D1中的前方的时刻和后方的时刻的特征量构成,因此,即使正常声音的特征量的时间变化突然发生,也能够预测中间特征量时间序列D4。
因此,本实施例的异响检测装置1能够基于中间特征量时间序列D2与预测中间特征量时间序列D4之间的误差来检测异常。本实施例的异响检测装置1只要仅预测中间特征量时间序列D4即可,因此,与相对于相同输入的自动编码器相比,能够相对地减少参数。因此,本实施例的异响检测装置1在学习时容易追寻最佳的参数。另外,本实施例的异响检测装置1的输入和输出不同,因此,作为学习的结果,能够避免成为恒等映射。
上述的专利文献1中还公开了一种方法,该方法是基于输入了从过去到现在的运转数据的时间序列的自动编码器恢复与输入相同的时间序列时的恢复误差,来计算异常度分数的方法。但是,在自动编码器中,如果瓶颈层过小,则难以恢复,因此,异常度分数的大小不与机械的正常/异常对应。
相反,如果瓶颈层过大,则参数多,因此,在学习时难以寻求到最佳参数。另外,自动编码器将学习用数据的正常样品的向量作为输入,并以输出与该输入向量相同的向量的方式进行学习,因此,作为学习的结果,自动编码器成为恒等映射,不局限于正常样品,即使为异常样品,也有可能能够零误差地完全恢复。该情况下,由于异常度分数的大小不与机械的正常/异常对应,因此不能检测异常。这样,难以调谐瓶颈层。除此以外,在正常声音的特征量的时间变化突然发生的情况下,与未来的预测的情况同样,时间序列的最前方和最后方难以恢复,因此,异常度分数的大小不与机械的正常/异常对应。因此,异常声检测的精度降低。
与此相对,如上述,本实施例的异响检测装置1与自动编码器相比,能够相对地减少参数,在学习时容易追寻最佳参数。另外,本实施例的异响检测装置1作为学习的结果,能够避免成为恒等映射,从而可靠性提高。
实施例1
使用图1~图4,对第一实施例进行说明。图1是表示本实施例的整体概要的说明图。图2所示的异常检测装置1具有在对象物不同的位置处检测对象物3产生的声音并进行记录的传感器终端2和异响检测装置1。异响检测装置1具有对通过传感器终端2在不同的位置处录音的声音数据(声音信号)进行处理的信号处理部108、109、201、401。信号处理部的详细进行后述。
本实施例的对象物3是,正常声音不为一定,且正常声音突然或迅速变化的物体。这样的对象物3例如有反复开阀和闭阀的电磁阀、空气阀、液压阀等控制阀、或以决定好的动作驱动手臂等的机器人、反复加减速的滑动装置等。
传感器终端2例如构成为可移动式的录音终端。传感器终端2的结构例后述。用户通过握住传感器终端2进行移动,在距对象物3的距离不同的位置处对对象物3的声音进行录音。被录音的数据从传感器终端2发送到异响检测装置1。也可以将传感器终端2和异响检测装置1一体化。例如,也可以将具有录音功能的异响检测装置1构成为可移动式的装置。该情况下,不需要传感器终端2。
特征量时间序列计算部108根据通过传感器终端2检测到的距对象物3的距离不同的多个声音数据来计算特征量时间序列D1。中间特征量时间序列排除部109通过从特征量时间序列D1中将规定区域的中间特征量时间序列D2排除,计算排除后特征量时间序列D3。
在此,如图1所示,从对象物3的声音生成的特征量时间序列D1是横轴为时间,纵轴为频率的被输入的声音的频谱图,由多个帧F构成。
中间特征量时间序列预测部201基于排除后特征量时间序列D3,预测除去了的中间特征量时间序列,并输出作为该预测结果的中间特征量时间序列D4。异常检测部401通过比较从原来的特征量时间序列D1中除去了的中间特征量时间序列D2和根据排除后特征量时间序列D3预测的中间特征量时间序列D4,判断在对象物3的声音中是否有异常,即在对象物3中是否产生异常,并输出该判断结果。
使用图2对异响检测装置1的结构例进行说明。异响检测装置1例如包括:运算部11、主存储装置12、辅助存储装置13、输入部14、输出部15、通信部16。
运算部11包含一个或多个微处理器,通过将存储于辅助存储装置13的规定的计算机程序在主存储装置12中读出并执行,来实现图1中所述的特征量时间序列计算部108、中间特征量时间序列排除部109、中间特征量时间序列预测部201、异常检测部401的功能。对通过运算部11实现的图2所示的功能108、109、201、401以外的功能进行后述。
输入部14例如能够包括键盘、触摸面板、指示装置等,接受来自使用异响检测装置1的用户的输入。输出部15例如能够包括可视数据终端、扬声器、打印机等,对用户提供信息。
通信部16经由通讯网络CN与传感器终端2进行通信。通信部16还能够与未图示的其它计算机进行通信。
存储介质MM例如为闪存存储器或硬盘等存储介质,向异响检测装置1传送计算机程序或数据并进行存储,或从异响检测装置1读出计算机程序或数据并进行存储。存储介质MM可以与异响检测装置1直接连接,也可以经由通信网络CN与异响检测装置1连接。
对传感器终端2的结构进行说明。传感器终端2例如包括传感器部21、控制部22、存储部23、通信部24。
传感器部21为检测对象物3的声音的麦克风。因此,以下,有时将传感器部21称为麦克风21。通过传感器部21检测到的声音的数据存储于存储部23。控制传感器终端2的控制部22将存储于存储部23的声音数据对异响检测装置1发送。
此外,通过将传感器部21从麦克风变更成加速度传感器等,传感器终端2能够检测对象物3的振动。而且,异响检测装置1能够基于对象物3的振动检测异常。该情况下,异响检测装置1还能够称为异常检测装置1。
图3是异响检测装置1的学习正常模型时的处理框图。图中,将数据库简记为DB。输入声获取部101将从麦克风21输入的模拟输入信号通过A/D(模拟/数字)转换器转换成数字输入信号,并存储于训练用数字输入信号数据库112。
帧分割部102对从训练用数字输入信号数据库112取出的数字输入信号在每个规定的时间点数(以下称为帧尺寸)分割数字输入信号,并输出帧信号。帧之间也可以重叠。
窗函数乘法部103通过将输入的帧信号乘以窗函数,输出窗函数乘法运算信号。窗函数例如使用汉宁窗。
频率区域信息计算部104通过对输入的窗函数乘法后信号实施短时傅立叶变换,来输出频率区域信号。如果帧尺寸为N,则频率区域信号为一个复数与(N/2+1)=M个频点分别对应的M个复数的组。频率区域信息计算部104也可以使用constant Q変換(CQT)等频率变换方法代替短时傅立叶变换。
功率谱图计算部105基于输入的频率区域信号输出其功率谱图。滤波器组乘法部106通过将输入的功率谱图乘以梅尔滤波器组,输出梅尔功率谱图。滤波器组乘法部106也可以使用1/3倍率带通滤波器等的滤波器组代替梅尔滤波器组。
瞬时特征量计算部107通过对输入的梅尔功率谱图施加对数,输出对数梅尔功率谱图。此外,也可以计算梅尔频率倒谱系数(MFCC),代替对数梅尔功率谱图。该情况下,代替滤波器组乘法部106和瞬时特征量计算部107,计算功率谱图的对数值,将滤波器组相乘,实施离散余弦变换,输出MFCC。
特征量时间序列计算部108使相邻的L帧与输入的对数梅尔功率谱图或MFCC连结,来输出特征量时间序列D1。也可以代替对数梅尔功率谱图或MFCC,输入它们的时间差或时间微分的时间序列(delta-delta),使相邻的L帧连结来输出特征量时间序列D1。
另外,也可以输入时间差的时间序列(delta-delta)或时间差的时间序列的微分或时间微分,使相邻的L帧连结来输出特征量时间序列D1。进而,选择这些中任意的组,并在特征量轴方向上连结,与之相对,也可以使相邻的L帧连结来输出特征量时间序列D1。
中间特征量时间序列排除部109通过从特征量时间序列D1中除去输入的特征量时间序列D1的作为中间时刻的多个帧(处于规定区域的多个帧)的中间特征量时间序列D2,输出排除后特征量时间序列D3。
在此,作为中间特征量时间序列D2,可以在特征量时间序列D1中严格地选择中央的K个相邻帧,或者也可以选择从中央向前后偏移的K个相邻帧。也可以将K帧作为一个群集,使2个以上的C个群集排除。该情况下,L帧中的CK帧排除,且(L-CK)帧保留为输入特征量。
总之,在本实施例中,通过将前后的帧残留为输入特征量D3,即使正常声音的特征量的时间变化突然发生,也能够预测中间特征量时间序列(D4)。在K=1的情况下也能够检测异常。但是,在K=1的情况下,无论对象物3的正常或异常,都能够仅通过前后帧的信息高精度地插补中间特征量时间序列的可能性高。
与此相对,如果将K设定为2以上,与K=1的情况相比,难以仅根据前后帧中预测中间特征量时间序列。因此,中间特征量时间序列的预测值(D4)强烈依赖于学习的正常状态的特征量的分布。
因此,如果假设对象物3为正常,则中间特征量时间序列的预测值(D4)和真值(D2)两者符合学习的正常状态的特征量的分布,因此,预测值(D4)与真值(D2)之间的误差变小。
与此相对,如果假设对象物3为异常,则中间特征量时间序列的预测值(D4)符合学习的正常状态的特征量的分布。但是,由于中间特征量时间序列的真值(D2)不符合正常状态的特征量的分布,因此,预测值(D4)与真值(D2)之间的误差变大。因此,与K=1的情况相比,K为2以上时的异常检测的精度高。因此,期望K设定为2以上。
排除后特征量时间序列-中间特征量时间序列映射学习部110将排除后特征量时间序列D3和中间特征量时间序列D2的一对的集合作为训练数据,输入排除后特征量时间序列D3来学习预测中间特征量时间序列D2的映射,并将该映射(以下称为排除后特征量时间序列-中间特征量时间序列映射)保存到排除后特征量时间序列-中间特征量时间序列映射数据库111。
排除后特征量时间序列-中间特征量时间序列映射例如也可以使用线性回归、核岭回归、LASSO回归、PLS回归、支持向量回归、神经网络、变分神经网络、高斯过程、深层高斯过程、LSTM、Bidirectional LSTM、GRU等。
例如,在使用神经网络的情况下,通过SGD、Momentum SGD、AdaGrad、RMSprop、AdaDelta、Adam等最优算法,使内部参数最优,以使输入排除后特征量时间序列时预测的中间特征量时间序列D4与观测到的中间特征量时间序列D2之间的差(预测误差向量)的当量变小。预测误差向量的当量也可以为L1当量、L2当量、L1/2当量等适当的当量。
图4是推论异常检测时的处理框图。从输入声获取部101到中间特征量时间序列排除部109的处理在图3中已述,因此省略说明。
排除后特征量时间序列-中间特征量时间序列预测部201基于从排除后特征量时间序列-中间特征量时间序列映射数据库111读出的排除后特征量时间序列-中间特征量时间序列映射和从中间特征量时间序列排除部109输入的排除后特征量时间序列D3,预测从原来的特征量时间序列D1丢弃的中间特征量时间序列D2,并输出该预测的中间特征量时间序列D4。
异常检测部202基于预测误差,检测在对象物3中是否发生异常(对象物3的运转声是否正常)。
异常检测部202计算从中间特征量时间序列排除部109输入的观测到的中间特征量时间序列D2和排除后特征量时间序列-中间特征量时间序列预测部201预测出的中间特征量时间序列D4的差(将该差称为预测误差向量。)作为预测误差。如果预测误差向量的当量比某个正的阈值大,则异常检测部202判断为对象物3异常,如果小,则异常检测部202判断为对象物3正常。
也可以用零、适当的常数、或随机数填充排除的维度,而不是通过排除减少排除后特征量时间序列D3的维度。在使用随机数且通过学习进行小批量学习的情况下,针对每个小批量生成不同的随机数。
在特征量时间序列D1的时间轴方向上的变化几乎一定的情况下,能够简单预测中间特征量时间序列。在特征量时间序列D1的时间没有变化的情况下,不局限于正常声音的采样,即使为异常声的采样,也能够零误差地完全恢复中间特征量时间序列。该情况下,由于异常度分数的大小与对象物3的正常状态/异常状态不对应,因此,不能检测异常。
也考虑以不易预测中间特征量时间序列(D4)的方式将排除帧数K设定为大的值。通过增大排除帧数K,也能够在某种程度上进行处理,但如果稳定性强,则不能得到充分的效果。
在本实施例中,对于特征量时间序列D1,不仅进行时间轴方向的排除,而且对特定的特征量维度也进行排除,由此能够解决该问题。排除的特征量维度为在特征量轴方向上彼此从属性高的特征量维度的集合。由此,因为仅独立性高的维度保留,所以仅使用该维度的特征量不易预测排除值。
因此,预测值(D4)强烈依赖于学习的正常状态的特征量的分布。如果假设对象物3为正常,则中间特征量时间序列的预测值(D4)和真值(D2)两者符合学习的正常状态的特征量的分布,因此,预测值(D4)与真值(D2)之间的误差变小。与之相对,如果假设对象物3为异常,则中间特征量时间序列的预测值(D4)符合学习的正常状态的特征量的分布,但因为中间特征量时间序列的真值(D2)不符合正常状态的特征量的分布,所以预测值(D4)与真值(D2)之间的误差变大。故而异常检测正常工作。
异常检测装置1例如计算训练用数字输入信号数据库112的全训练采样(声音数据)中的各特征量维度i和j的相互信息量MI(i,j),并计算将该值设为i行j列的相邻矩阵A={MI(i,j)}_i,j。另外,异常检测装置1计算将A的第i行的要素的总和设为i行i列的对角矩阵D。
然后,计算图拉普拉斯L=D-A。计算随机游走标准化图拉普拉斯L-=D^{-1}L。然后,将随机游走标准化图拉普拉斯L-进行本征值分解。将通过本征值分解获得的固有向量按照本征值的大小升序地排列。判断与规定的V个最小本征值对应的V个固有向量的各维度的要素的绝对值是否为规定的阈值以上。仅选择要素的绝对值为阈值以上的维度作为排除对象维度。选择为排除对象的维度成为彼此从属性高的特征量维度的集合。
在使用对数梅尔功率谱图和MFCC的情况下,也可以利用相邻维度之间的从属性高,基于事先规定的K_min和K_max,使特征量维度i为K_min以上,且K_max以下的所有维度一并排除。
实施例2
使用图5和图6对第二实施例进行说明。在包含本实施例的以下的各实施例中,以与第一实施例的不同为中心进行描述。在本实施例中,对预测误差向量的分布为各向同性高斯分布以外的情况进行说明。
基于第一实施例中的预测误差的异常检测部202以预测误差向量的当量为基准判断正常或异常。但是,实际上,在预测误差的分散由于特征量的维度而不同的情况、预测误差在不同的特征量的维度之间具有相关关系的情况、或预测误差向量符合更复杂的分布的情况等下,预测误差向量的分布大多不是各向同性高斯分布。该情况下,异常检测的精度可能降低。因此,在本实施例中,公开了即使在预测误差向量的分布不是各向同性高斯分布的情况下,也能够进行高精度的异常检测的方法。
图5是学习正常模型时的处理框图。从输入声获取部101到中间特征量时间序列排除部109的处理如图3所述,因此省略说明。因为排除后特征量时间序列-中间特征量时间序列预测部201如图4所述,因此省略说明。
预测误差分布学习部301对于训练用数字输入信号数据库112的各训练采样的数据,根据通过从帧分割部102到排除后特征量时间序列-中间特征量时间序列预测部201的一系列的处理而计算出的、观测到的中间特征量时间序列D3和预测出的中间特征量时间序列D4的组,来计算作为这些差的预测误差向量。
然后,基于所有训练采样中的预测误差向量,推算它们遵循的分布的参数,并将其存储于预测误差布数据库302。作为该分布,例如能够使用多元高斯分布。通过使用多元高斯分布,即使在预测误差的分散由于特征量的维度而不同的情况、预测误差在不同的特征量的维度之间具有相互关系的情况下,也能够将预测误差向量标准化,因此异常检测的精度不会降低。
多元高斯分布的参数通过一个平均向量和一个共分散矩阵来定义。因此,分布的推算通过根据所有训练采样中的预测误差向量计算这些标本统计量来执行。
即使预测误差向量的分布为更复杂的多峰性的分布,例如通过使用混合高斯分布,也能够抑制异常检测的精度降低。混合高斯分布的参数为各高斯分布模型的混合率、各高斯分布模型的平均向量、各高斯分布模型的共分散矩阵。混合高斯分布的这些参数能够根据所有训练采样中的预测误差向量通过expectation-maximization(EM)算法等已知的方法来推算。
图6是推论异常检测时的处理框图。基于预测误差向量似然的异常检测部401根据观测到的中间特征量时间序列D3和预测出的中间特征量时间序列D4的组计算作为这些差的预测误差向量。异常检测装置1通过使用从预测误差分布数据库302取出的预测误差向量的分布的参数,计算预测误差向量产生的似然。如果该似然比某个阈值小,则异常检测装置1判断为状态异常,如果大,则异常检测装置1判断为状态正常。
这样构成的本实施例也起到与第一实施例同样的作用效果。进而,在本实施例中,即使预测误差向量的分布为各向同性高斯分布以外的情况下,也能够对应,对用户而言的便利性提高。
实施例3
使用图7和图8对第三实施例进行说明。在第一实施例中,对1个频道数的情况进行了说明。但是,例如,由于电气故障或风噪声等,有时仅一部分的频道不能工作。与之相对,在频道数为2个以上的情况下,通过利用多个频道所具有的冗余度以及声音的到来方向的信息,能够对每个频道的晃动进行可靠的异常检测。
图7是学习正常模型时的处理框图。多个频道输入声获取部501、多个频道帧分割部502、多个频道窗函数乘法部503、多个频道频率区域信息计算部504分别扩展为能够将图3中所述的输入声获取部101、帧分割部102、窗函数乘法部103、频率区域信息计算部104与多个频道对应。
多个频道功率谱图计算部505基于由多个频道频率区域信号计算部504计算出的多个频道频率区域信号,计算各时刻的声音的到来方向频谱。而且,多个频道功率谱图计算部505输出将计算出的到来方向频谱与时间序列连结的到来方向频谱图。到来方向频谱的计算例如能够使用Steered Response Power with the PHAse Transform(SRP-PHAT)和Multiple Signal Classification(MUSIC)等方法。
带方向的瞬时特征量计算部507基于通过从多个频道输入声获取部501到多个频道滤波器组乘法部506的一系列的处理计算出的多个频道梅尔功率谱图和通过到来方向特征计算部508计算出的到来方向频谱图,计算带方向的瞬时特征量时间序列。
带方向的瞬时特征量计算部507将所有频道的梅尔功率谱图在特征量轴方向上连结,进而到来方向频谱图也在特征量轴方向上连结。而且,带方向的瞬时特征量计算部507输出连结的特征量时间序列作为带方向的瞬时特征量时间序列。在此之后通过与第二实施例同样的处理进行学习。
图8是推论异常检测时的处理框图。与图7的学习时的处理同样,计算带方向的瞬时特征量时间序列,除利用带计算出的方向的瞬时特征量时间序列的点以外,与图7同样。
这样构成的本实施例也起到与第一实施例同样的作用效果。进而,在本实施例中,能够与分别检测声音的多个频道对应,因此,即使在多个频道中的一部分的频道产生问题的情况下,也能够利用从其它频道输入的声音,从而可靠性提高。进而,在本实施例中,使用多个频道,因此能够计算声音到来的方向,即使在从多个频道输入的声音产生变动的情况下,也能够检测异常。
此外,本发明不限定于上述的实施例,包含各种变形例。例如,上述的实施例是为了容易说明本发明而详细说明的内容,未必限定于具有说明的全部结构的内容。另外,能够将某个实施例的结构的一部分替换成其它实施例的结构,另外,也能够在某个实施例的结构中添加其它实施例的结构。另外,关于各实施例的结构的一部分,能够进行其它结构的追加、删除、替换。
本发明例如还能够应用于安全领域等。能够学习家庭、办公室、各种设施的通常状态的声音作为正常声音,且能够检测正常声音以外的突然的音(例如枪声、人或物体倒下的声音、尖叫、警报等)作为异常声音。
进而,本发明还能够从振动中检测是否异常来代替声音。如上述,只要使用振动传感器(加速度传感器等)作为传感器部21即可。
进而,也可以代替从特征量时间序列D1中排除中间特征量时间序列D3,而对关于特征量时间序列D1中的规定的中间区域的运算结果进行加权的结构。
上述各结构、功能、处理部、处理单元等也可以通过例如以集成电路设计它们的一部分或全部等,由硬件来实现。另外,上述各结构、功能等也可以通过处理器解释并执行实现各个功能的程序,由软件来实现。实现各功能的程序、目录、文件等信息能够放置于内存、硬盘、SSD(Solid State Drive)等记录装置、或IC卡、SD卡、DVD等记录介质。
控制线和信息线表示在说明上认为是必要的线,产品上未必限于表示所有的控制线和信息线。实际上,也可以认为几乎所有的结构相互连接。
本发明的各结构要素能够任意取舍选择,具备取舍选择的结构的发明也包含于本发明。进而,除要求的权利范围明示的组合以外,要求的权利范围中记载的结构也能够组合。
附图标记说明
1:异常检测装置、2:传感器终端、3:对象物、101:输入声获取部、102:帧分割部、103:窗函数乘法部、104:频率区域信息计算部、105:功率谱图计算部、106:滤波器组乘法部、107:瞬时特征量计算部、108:特征量时间序列计算部、109:中间特征量时间序列排除部、110:排除后特征量时间序列-中间特征量时间序列映射预测部、201:排除后特征量时间序列-中间特征量时间序列预测部、202:基于预测误差的异常检测部、301:预测误差分布学习部、401:基于预测误差向量似然的异常检测部。

Claims (3)

1.一种检测对象物的异常的异常检测装置,其特征在于,包括:
特征量时间序列计算部,其将移动一个信号获取装置而在与所述对象物的距离不同的多个位置处获取的源自振动的信号的特征量时间序列作为第一信号进行计算;
中间特征量时间序列排除部,其计算从所述计算出的第一信号除去了作为存在于规定区域的中间特征量时间序列的第二信号而获得的作为排除后特征量时间序列的第三信号;
中间特征量时间序列映射预测部,其将所述第三信号作为输入,学习用于预测所述第二信号的映射,并输出作为预测出的中间特征量时间序列的第四信号;和
异常检测部,其基于所述第二信号与所述第四信号之间的误差来检测所述对象物的异常,
其中,所述规定区域是所述第一信号的整体时间长度中的以中央为中心的在前后延伸规定比例的区域、或所述对象物的引起所述源自振动的信号的特征量突然变化的状态变化时的包含状态要变化之前的信号和状态刚变化之后的信号中的任一者的区域。
2.根据权利要求1所述的异常检测装置,其特征在于:
所述对象物产生随着状态的变化而经时变化的声音信号或振动信号作为源自所述振动的信号。
3.一种利用计算机检测对象物的异常的异常检测方法,其特征在于:
获取移动一个信号获取装置而在与所述对象物的距离不同的多个位置处获取的源自振动的输入信号,
计算所述获取到的输入信号的特征量时间序列,
计算从所述计算出的特征量时间序列除去了存在于规定区域的中间特征量时间序列的排除后特征量时间序列,
将所述排除后特征量时间序列作为输入,学习用于预测所述中间特征量时间序列的映射,
输出所述预测出的中间特征量时间序列,
基于所述中间特征量时间序列与所述预测的中间特征量时间序列的误差来检测所述对象物的异常,
其中,所述规定区域是所述计算出的特征量时间序列的整体时间长度中的以中央为中心的在前后延伸规定比例的区域、或所述对象物的引起所述源自振动的信号的特征量突然变化的状态变化时的包含状态要变化之前的信号和状态刚变化之后的信号中的任一者的区域。
CN202110285095.6A 2020-03-25 2021-03-17 异常检测装置和方法 Active CN113447287B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-054833 2020-03-25
JP2020054833A JP7092818B2 (ja) 2020-03-25 2020-03-25 異常検知装置

Publications (2)

Publication Number Publication Date
CN113447287A CN113447287A (zh) 2021-09-28
CN113447287B true CN113447287B (zh) 2024-03-15

Family

ID=77809067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285095.6A Active CN113447287B (zh) 2020-03-25 2021-03-17 异常检测装置和方法

Country Status (3)

Country Link
US (1) US20210302197A1 (zh)
JP (1) JP7092818B2 (zh)
CN (1) CN113447287B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115783643B (zh) * 2023-02-01 2023-04-07 潍坊百特磁电科技有限公司 一种除铁器传送带滚筒故障识别方法及系统
JP7387118B1 (ja) 2023-03-03 2023-11-28 石川県 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008006569A1 (de) * 2008-01-29 2009-07-30 Robert Bosch Gmbh Vorrichtung und Verfahren zum Erkennen einer Leckage eines Zylinders eines Verbrennungsmotors
JP2012251851A (ja) * 2011-06-02 2012-12-20 Mitsubishi Electric Corp 異常音診断装置
JP2014059910A (ja) * 2009-08-28 2014-04-03 Hitachi Ltd 設備状態監視方法
CN108628281A (zh) * 2017-03-23 2018-10-09 株式会社日立制作所 异常检测系统及异常检测方法
JP2019096289A (ja) * 2017-11-17 2019-06-20 富士電機株式会社 異常検出装置、異常検出方法、異常検出プログラム及び異常検出システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2994261B1 (fr) * 2012-07-31 2014-07-18 Eurocopter France Procede de detection de defauts d'un roulement par analyse vibratoire

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008006569A1 (de) * 2008-01-29 2009-07-30 Robert Bosch Gmbh Vorrichtung und Verfahren zum Erkennen einer Leckage eines Zylinders eines Verbrennungsmotors
JP2014059910A (ja) * 2009-08-28 2014-04-03 Hitachi Ltd 設備状態監視方法
JP2012251851A (ja) * 2011-06-02 2012-12-20 Mitsubishi Electric Corp 異常音診断装置
CN108628281A (zh) * 2017-03-23 2018-10-09 株式会社日立制作所 异常检测系统及异常检测方法
JP2019096289A (ja) * 2017-11-17 2019-06-20 富士電機株式会社 異常検出装置、異常検出方法、異常検出プログラム及び異常検出システム

Also Published As

Publication number Publication date
US20210302197A1 (en) 2021-09-30
CN113447287A (zh) 2021-09-28
JP7092818B2 (ja) 2022-06-28
JP2021156631A (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
Wei et al. A novel intelligent method for bearing fault diagnosis based on affinity propagation clustering and adaptive feature selection
Marchi et al. Deep recurrent neural network-based autoencoders for acoustic novelty detection
US11120127B2 (en) Reconstruction-based anomaly detection
CN113447287B (zh) 异常检测装置和方法
US10930301B1 (en) Sequence models for audio scene recognition
JP6235938B2 (ja) 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム
US20200251127A1 (en) Abnormal sound detection device and abnormal sound detection method
US20120185418A1 (en) System and method for detecting abnormal audio events
KR20190139126A (ko) 소리 정보를 이용한 전력용 변압기의 이상 상황 탐지
CN113438114B (zh) 互联网系统的运行状态监控方法、装置、设备及存储介质
Ganesan et al. Fault detection in satellite power system using convolutional neural network
CN111160106A (zh) 一种基于gpu的光纤振动信号特征提取及分类的方法及系统
US11776532B2 (en) Audio processing apparatus and method for audio scene classification
Cao et al. A novel distance estimation algorithm for periodic surface vibrations based on frequency band energy percentage feature
US20220269988A1 (en) Abnormality degree calculation system and abnormality degree calculation method
CN113077812A (zh) 语音信号生成模型训练方法、回声消除方法和装置及设备
CN116720073A (zh) 一种基于分类器的异常检测提取方法与系统
US11710500B2 (en) Abnormality degree calculation system and method
CN115310477A (zh) 基于分形特征和捕食者算法的泵机设备故障声音检测方法及其系统
Adhin et al. Acoustic Side Channel Attack for Device Identification using Deep Learning Models
Chen et al. Online unsupervised optimization framework for machine performance assessment based on distance metric learning
CN112578794B (zh) 基于机器学习的agv故障检测方法、存储介质及系统
Yasmin et al. Speech and non-speech audio files discrimination extracting textural and acoustic features
Akpudo et al. A Cost-Efficient MFCC-Based Fault Detection and Isolation Technology for Electromagnetic Pumps. Electronics 2021, 10, 439
Ferraro et al. Unsupervised Anomaly Detection in Predictive Maintenance using Sound Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant