JP2019036112A - Abnormal sound detector, abnormality detector, and program - Google Patents

Abnormal sound detector, abnormality detector, and program Download PDF

Info

Publication number
JP2019036112A
JP2019036112A JP2017156759A JP2017156759A JP2019036112A JP 2019036112 A JP2019036112 A JP 2019036112A JP 2017156759 A JP2017156759 A JP 2017156759A JP 2017156759 A JP2017156759 A JP 2017156759A JP 2019036112 A JP2019036112 A JP 2019036112A
Authority
JP
Japan
Prior art keywords
regression
input data
abnormality
abnormality detection
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017156759A
Other languages
Japanese (ja)
Other versions
JP6943067B2 (en
Inventor
祐太 河内
Yuta Kawachi
祐太 河内
悠馬 小泉
Yuma Koizumi
悠馬 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017156759A priority Critical patent/JP6943067B2/en
Publication of JP2019036112A publication Critical patent/JP2019036112A/en
Application granted granted Critical
Publication of JP6943067B2 publication Critical patent/JP6943067B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an abnormality detection technology capable of suppressing a false detection using an abnormality detection model generated assuming a uniform distribution or a generalized normal distribution as a probability distribution of regression errors.SOLUTION: An abnormality detector is comprised of: a regression error calculation unit for calculating a regression error t- f(x) of input data x which is obtained from a pair (x, t) of correct data t for the input data x and the input data x while using a regression model f(.); and an abnormality detection unit that generates an abnormality detection result for the input data x from the regression error t- f(x) while using an abnormality detection model; wherein: the abnormality detection model is to output either a first value or a second value as an abnormality degree from the regression error of the input data; and the abnormality detection unit generates an abnormality detection result for indicating that the input data is normal when the abnormality degree is the first value, and generates an abnormality detection result for indicating that the input data is abnormal when the abnormality degree is the second value.SELECTED DRAWING: Figure 3

Description

本発明は、機械の動作音から故障を検知する等、入力から異常な状態を検知する異常検知技術に関する。   The present invention relates to an abnormality detection technique for detecting an abnormal state from an input, such as detecting a failure from an operation sound of a machine.

例えば、機械の故障を故障前に発見することや、故障後に素早く発見することは、業務の継続性の観点で重要である。これを省力化するための方法として、センサを用いて取得したデータから、電気回路やプログラムにより、正常状態からの乖離である「異常」を発見する異常検知という技術分野が存在する。特に、マイクロフォン等のように、音を電気信号に変換するセンサを用いるものを異常音検知と呼ぶ。   For example, it is important from the viewpoint of business continuity to find a machine failure before the failure or to quickly find a failure after the failure. As a method for saving labor, there is a technical field called anomaly detection in which “abnormality”, which is a deviation from a normal state, is detected from data acquired using a sensor by an electric circuit or a program. In particular, an apparatus that uses a sensor that converts sound into an electrical signal, such as a microphone, is called abnormal sound detection.

回帰モデルを用いて異常を検知する方法が従来から存在する。以下、その概要を説明する。まず、故障が発生しておらず、通常の状態であると考えられる機械の動作音の音データから回帰モデルを生成する。次に、異常・正常が分からない動作音の音データに対して、上記回帰モデルによる出力値(出力ベクトル)を計算し、出力値と実際の値(正解値)の差分(出力ベクトルと正解ベクトルの差分)である回帰誤差を算出する。事前に決定してある、回帰誤差が従う確率分布での尤度をもとに「異常度」を計算する。最後に、異常度に基づいて閾値により異常か否かの判定を行う。   Conventionally, there is a method for detecting an abnormality using a regression model. The outline will be described below. First, a regression model is generated from sound data of machine operating sounds that are considered to be in a normal state with no failure. Next, the output value (output vector) by the above regression model is calculated for the sound data of the operation sound whose abnormality / normality is not known, and the difference between the output value and the actual value (correct value) (output vector and correct vector) The regression error is calculated. The “abnormality” is calculated on the basis of the likelihood in the probability distribution followed by the regression error determined in advance. Finally, it is determined whether or not there is an abnormality based on the threshold based on the degree of abnormality.

このような方法として、回帰誤差が従う確率分布としてガウス分布を仮定、回帰モデルとして線形回帰を用いて、回帰モデルパラメータ推定に最小2乗法を用いるもの(非特許文献1)、回帰モデルとして、線形回帰の代わりにニューラルネットワークを用いるもの(非特許文献2)などがある。   As such a method, a Gaussian distribution is assumed as a probability distribution followed by a regression error, linear regression is used as a regression model, and a least square method is used for regression model parameter estimation (Non-patent Document 1), and a linear model is used as a regression model. Some use a neural network instead of regression (Non-Patent Document 2).

井手剛,“入門 機械学習による異常検知−Rによる実践ガイド”,コロナ社,pp.161,2015.Takeshi Ide, “Introductory Anomaly Detection by Machine Learning-Practical Guide by R”, Corona, pp.161, 2015. Pankaj Malhotra, Lovekesh Vig, Gautam Shroff, Puneet Agarwal, “Long Short Term Memory Networks for Anomaly Detection in Time Series”, ESANN 2015 proceedings, pp.89-94, 2015.Pankaj Malhotra, Lovekesh Vig, Gautam Shroff, Puneet Agarwal, “Long Short Term Memory Networks for Anomaly Detection in Time Series”, ESANN 2015 proceedings, pp.89-94, 2015.

正常と区分される音であっても、モータの回転や停止に対応する音のように急激に変化をするものや、機械の動作シーケンスに対応する音のように複雑な時間方向の規則性を持つものが存在する。つまり、正常音といっても単調な音であるとは限らない。従来の方法は、正常音が単調な音であり、異常音が急激に変化する音であるような場合には的確に異常を検知することができたが、例えば矩形波のように正常音が急激に変化する場合や、規則性の欠落といった、予測が困難で正常音の回帰誤差が大きくなりやすい場合に対してはうまく異常を検知することができず、これらの音に対しては、正常であるにもかかわらず異常度が瞬時的に高くなる現象が発生していた。   Even if the sound is classified as normal, it has a complicated regularity in the time direction, such as a sound that changes abruptly, such as a sound corresponding to the rotation or stoppage of a motor, or a sound corresponding to a machine operation sequence. There is something to have. That is, even if it is a normal sound, it is not necessarily a monotonous sound. In the conventional method, when the normal sound is a monotonous sound and the abnormal sound is a sound that changes suddenly, the abnormality can be accurately detected. Abnormalities cannot be detected well when there is a sudden change or when there is a difficulty in predicting, such as lack of regularity, and the normal sound's regression error tends to be large. Despite this, there was a phenomenon that the degree of abnormality increased instantaneously.

従来の線形回帰やニューラルネットワークによる方法では、最小2乗法や、平均2乗誤差により学習が行われる。これは、回帰モデルの出力ベクトルと正解ベクトルの回帰誤差がガウス分布に従うという仮定を置くことと等価である。ガウス分布の確率密度関数は絶対値が非常に大きな正負の値に対しても正の値を持つ、すなわち確率としてあり得ることを仮定しており、そのような仮定の下で学習を行うと、学習データには正常データしか含まれていないにもかかわらず、ごく一部の予測困難なパターンに対しては、予測を外してもよいように、つまり尤度を低くするように学習する。通常、異常度は尤度が低くなるほど高くなるように設計されるため、前述の異常度が瞬時的に上昇する現象が発生し、閾値によって異常度を区切ることで異常判定を行う異常検知においては誤検知の原因となってしまう。   In the conventional linear regression or neural network method, learning is performed by the least square method or the mean square error. This is equivalent to assuming that the regression error between the output vector of the regression model and the correct vector follows a Gaussian distribution. The probability density function of the Gaussian distribution assumes that the absolute value has a positive value even for very large positive and negative values, that is, it can be a probability, and when learning under such assumption, Although only normal data is included in the learning data, only a part of the patterns that are difficult to predict are learned so that the prediction may be omitted, that is, the likelihood is lowered. Usually, the degree of abnormality is designed to increase as the likelihood decreases, so the phenomenon that the degree of abnormality described above instantaneously increases occurs, and in abnormality detection that performs abnormality determination by dividing the degree of abnormality by a threshold value It will cause false detection.

この誤検知の問題は、音データに限るものではなく、回帰モデルから生成される回帰誤差の確率分布としてガウス分布を仮定する場合一般に起こり得るものである。   This problem of false detection is not limited to sound data, and can generally occur when a Gaussian distribution is assumed as a probability distribution of a regression error generated from a regression model.

そこで本発明では、回帰誤差の確率分布として一様分布または一般化正規分布を仮定して生成した異常検知モデルを用いることにより、誤検知を抑制することができる異常検知技術を提供することを目的とする。   Therefore, the present invention aims to provide an anomaly detection technique that can suppress false detection by using an anomaly detection model that is generated assuming a uniform distribution or a generalized normal distribution as a probability distribution of regression errors. And

本発明の一態様は、θ^を、N個(Nは1以上の整数)の、正常な入力データxnと前記入力データxnに対する正解データtnの組(xn,tn) (1≦n≦N)を用いて学習される回帰モデルパラメータ、fθ^(・)を前記回帰モデルパラメータθ^により定義される回帰モデルとし、前記回帰モデルfθ^(・)を用いて、入力データxと前記入力データxに対する正解データtの組(x, t)から前記入力データxの回帰誤差t- fθ^(x)を算出する回帰誤差算出部と、異常検知モデルを用いて、前記回帰誤差t- fθ^(x)から前記入力データxに対する異常検出結果を生成する異常検出部とを含む異常音検知装置であって、前記異常検知モデルは、入力データの回帰誤差から、第1の値、第2の値のいずれかを異常度として出力するものであり、前記異常検出部は、異常度が第1の値である場合、入力データが正常であることを示す異常検出結果を生成し、異常度が第2の値である場合、入力データが異常であることを示す異常検出結果を生成する。 In one embodiment of the present invention, θ ^ is a set (x n , t n ) (x) of N (N is an integer of 1 or more) normal input data x n and correct data t n for the input data x n . 1 ≦ n ≦ N) is used as a regression model parameter, f θ ^ (・) is a regression model defined by the regression model parameter θ ^, and using the regression model f θ ^ (・), Using a regression error calculation unit that calculates a regression error t- f θ ^ (x) of the input data x from a set (x, t) of the input data x and the correct answer data t with respect to the input data x, and an abnormality detection model An abnormal sound detection device including an abnormality detection unit that generates an abnormality detection result for the input data x from the regression error t-f θ ^ (x), wherein the abnormality detection model is based on a regression error of the input data. The first value or the second value is output as the degree of abnormality, and the abnormality detection unit has the degree of abnormality as the first value. If, it generates an abnormality detection result indicating that the input data is normal, if the error probability is the second value, to generate the abnormality detection result indicating that the input data is abnormal.

本発明の一態様は、θ^を、N個(Nは1以上の整数)の、正常な入力データxnと前記入力データxnに対する正解データtnの組(xn,tn) (1≦n≦N)を用いて学習される回帰モデルパラメータ、fθ^(・)を前記回帰モデルパラメータθ^により定義される回帰モデルとし、前記回帰モデルfθ^(・)を用いて、入力データxと前記入力データxに対する正解データtの組(x, t)から前記入力データxの回帰誤差t- fθ^(x)を算出する回帰誤差算出部と、異常検知モデルを用いて、前記回帰誤差t- fθ^(x)から前記入力データxに対する異常検出結果を生成する異常検出部とを含む異常音検知装置であって、pを3以上の整数、θを前記回帰モデルパラメータθ^を学習する過程で生成される回帰モデルパラメータとし、N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失は、p乗和誤差を用いて定義したものであり、前記異常検知モデルは、入力データの回帰誤差から、p乗に対応した負の対数尤度を異常度として出力するものであり、前記異常検出部は、閾値を用いて、前記異常度から前記異常検出結果を生成する。 In one embodiment of the present invention, θ ^ is a set (x n , t n ) (x) of N (N is an integer of 1 or more) normal input data x n and correct data t n for the input data x n . 1 ≦ n ≦ N) is used as a regression model parameter, f θ ^ (・) is a regression model defined by the regression model parameter θ ^, and using the regression model f θ ^ (・), Using a regression error calculation unit that calculates a regression error t- f θ ^ (x) of the input data x from a set (x, t) of the input data x and the correct answer data t with respect to the input data x, and an abnormality detection model An abnormal sound detection device including an abnormality detection unit that generates an abnormality detection result for the input data x from the regression error t-f θ ^ (x), wherein p is an integer of 3 or more and θ is the regression model a regression model parameters generated in the process of learning the parameters theta ^, n pieces of the regression error t n - f θ (x n ) loss for (1 ≦ n ≦ n) is, p Nowaayama The abnormality detection model outputs a negative logarithmic likelihood corresponding to the p-th power as an abnormality degree from the regression error of the input data, and the abnormality detection unit sets a threshold value. And using the degree of abnormality to generate the abnormality detection result.

本発明の一態様は、θ^を、N個(Nは1以上の整数)の、正常な入力データxnと前記入力データxnに対する正解データtnの組(xn,tn) (1≦n≦N)を用いて学習される回帰モデルパラメータ、fθ^(・)を前記回帰モデルパラメータθ^により定義される回帰モデルとし、前記回帰モデルfθ^(・)を用いて、入力データxと前記入力データxに対する正解データtの組(x, t)から前記入力データxの回帰誤差t- fθ^(x)を算出する回帰誤差算出部と、異常検知モデルを用いて、前記回帰誤差t- fθ^(x)から前記入力データxに対する異常検出結果を生成する異常検出部とを含む異常検知装置であって、前記異常検知モデルは、入力データの回帰誤差から、第1の値、第2の値のいずれかを異常度として出力するものであり、前記異常検出部は、異常度が第1の値である場合、入力データが正常であることを示す異常検出結果を生成し、異常度が第2の値である場合、入力データが異常であることを示す異常検出結果を生成する。 In one embodiment of the present invention, θ ^ is a set (x n , t n ) (x) of N (N is an integer of 1 or more) normal input data x n and correct data t n for the input data x n . 1 ≦ n ≦ N) is used as a regression model parameter, f θ ^ (・) is a regression model defined by the regression model parameter θ ^, and using the regression model f θ ^ (・), Using a regression error calculation unit that calculates a regression error t- f θ ^ (x) of the input data x from a set (x, t) of the input data x and the correct answer data t with respect to the input data x, and an abnormality detection model An anomaly detection unit including an anomaly detection unit that generates an anomaly detection result for the input data x from the regression error t-f θ ^ (x), wherein the anomaly detection model is based on the regression error of the input data, Either the first value or the second value is output as the degree of abnormality, and the abnormality detection unit is configured to output the abnormality value when the degree of abnormality is the first value. Generates an abnormality detection result indicating that the input data is normal, if the error probability is the second value, to generate the abnormality detection result indicating that the input data is abnormal.

本発明によれば、回帰誤差の確率分布として一様分布または一般化正規分布を仮定して生成した異常検知モデルを用いることにより、誤検知を抑制することが可能となる。   According to the present invention, it is possible to suppress erroneous detection by using an abnormality detection model generated assuming a uniform distribution or a generalized normal distribution as a probability distribution of regression errors.

異常検知モデル生成装置100の構成の一例を示すブロック図。FIG. 3 is a block diagram showing an example of the configuration of the abnormality detection model generation apparatus 100. 異常検知モデル生成装置100の動作の一例を示すフローチャート。5 is a flowchart showing an example of the operation of the abnormality detection model generation device 100. 異常音検知装置200の構成の一例を示すブロック図。The block diagram which shows an example of a structure of the abnormal sound detection apparatus 200. FIG. 異常音検知装置200の動作の一例を示すフローチャート。The flowchart which shows an example of operation | movement of the abnormal sound detection apparatus 200. 異常検知モデル生成装置300の構成の一例を示すブロック図。The block diagram which shows an example of a structure of the abnormality detection model production | generation apparatus 300. FIG. 異常検知モデル生成装置300の動作の一例を示すフローチャート。The flowchart which shows an example of operation | movement of the abnormality detection model production | generation apparatus 300. FIG. 異常検知装置400の構成の一例を示すブロック図。The block diagram which shows an example of a structure of the abnormality detection apparatus 400. FIG. 異常検知装置400の動作の一例を示すフローチャート。7 is a flowchart showing an example of the operation of the abnormality detection apparatus 400.

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail. In addition, the same number is attached | subjected to the structure part which has the same function, and duplication description is abbreviate | omitted.

<技術的背景>
回帰モデルを用いた異常検知では、回帰誤差が従う確率分布としてガウス分布を仮定し、最小2乗法による回帰モデル学習がよく用いられる。しかし、ここでは、ガウス分布に対して、ある値を境として中心から遠くの、つまり絶対値の大きな値に対する確率密度値が小さい分布を仮定する。このような分布として、例えば、一様分布や、その近似である一般化正規分布がある。一様分布を仮定した場合、最大絶対値法による回帰モデルの学習を行う。また、一般化正規分布を仮定した場合、最小4乗法や最小8乗法など2乗よりも累乗数が大きな方法により回帰モデルの学習を行う。さらに、それに対応した通常情報量形式で表される、入力データの異常さを数値で表現する「異常度」の式を導き、当該式による異常度を用いることにより、上述の誤検知の問題を解決する。
<Technical background>
In anomaly detection using a regression model, a Gaussian distribution is assumed as a probability distribution followed by a regression error, and regression model learning by the least square method is often used. However, here, for the Gaussian distribution, a distribution that is far from the center with a certain value as a boundary, that is, a probability density value with a small absolute value is small is assumed. Examples of such distribution include a uniform distribution and a generalized normal distribution that is an approximation thereof. If a uniform distribution is assumed, the regression model is learned by the maximum absolute value method. When a generalized normal distribution is assumed, the regression model is learned by a method having a power that is larger than the square, such as a least-fourth method or a least-octet method. Furthermore, by deriving an expression of “abnormality” that expresses the anomaly of the input data as a numerical value, which is expressed in a normal information amount format corresponding thereto, and using the abnormality degree according to the expression, the above-described problem of false detection can be solved. Solve.

一様分布は、確率変数の区間の上限と下限をパラメータとして持つ、連続型の確率分布である。一次元であれば、上限値と下限値を示す2つのパラメータを持ち、多次元の場合は、次元ごとに上限値、下限値を示すパラメータを持つ。一様分布は、ガウス分布と異なり、上限値と下限値で特定される区間の外側については、実現値は発生しえない、つまり、確率はゼロとなる。   The uniform distribution is a continuous probability distribution having the upper and lower limits of a random variable section as parameters. If it is one-dimensional, it has two parameters indicating an upper limit value and a lower limit value. If it is multidimensional, it has parameters indicating an upper limit value and a lower limit value for each dimension. Unlike the Gaussian distribution, the uniform distribution cannot be realized outside the interval specified by the upper limit value and the lower limit value, that is, the probability is zero.

通常、回帰問題においては、外れ値を許容するような分布を仮定する方がよい場合が多いが、一様分布を仮定すると、学習データはすべて正常データであるとして取り扱うことができ、なおかつ回帰誤差そのものを下げる必要性が薄い異常検知分野においては、通常と逆の発想をする(一様分布を仮定する)ことは妥当であるともいえる。回帰誤差が従う分布として一様分布を仮定することで、回帰モデル学習の際に、回帰誤差が存在する範囲が所定の有界な領域を超えた場合には非常に大きなペナルティーがかかり、当該領域に収まる場合にはすべて同じペナルティーになる。したがって、学習データ全体での回帰誤差は大きくなってしまうが、予測がしにくい正常パターンであっても、極端に予測を外して尤度が低下し、異常度が上がることが発生しないようになる。   In general, in regression problems, it is often better to assume a distribution that allows outliers. However, assuming a uniform distribution, all of the training data can be treated as normal data, and the regression error In the field of anomaly detection where there is little need to lower it, it can be said that it is appropriate to have the opposite idea (assuming a uniform distribution). Assuming a uniform distribution as the distribution that the regression error follows, when learning the regression model, if the range where the regression error exists exceeds a predetermined bounded area, a very large penalty will be incurred. If it falls within, it will be the same penalty. Therefore, although the regression error in the entire learning data becomes large, even if it is a normal pattern that is difficult to predict, the prediction will be drastically lost and the likelihood will not decrease and the abnormality will not increase. .

以下、回帰誤差が一様分布に従うと仮定した場合における、異常検知モデル生成手続きについて説明する。ここで、異常検知モデルとは、入力データに対する異常度を出力するモデルである。この生成手続きは、大きく、回帰モデルの学習、異常検知モデルの生成の2つの手続きから構成される。   Hereinafter, an abnormality detection model generation procedure when it is assumed that the regression error follows a uniform distribution will be described. Here, the abnormality detection model is a model that outputs an abnormality degree with respect to input data. This generation procedure is roughly composed of two procedures: learning of a regression model and generation of an abnormality detection model.

(1:回帰モデルの学習)
ガウス分布を回帰誤差の分布とすることは、ノルムとしてl-2ノルムを、距離としてEuclidean距離を採用することである。それに対し、一様分布を回帰誤差の分布とすることは、l-∞ノルム(一様ノルム)を、距離としてChebyshev距離(チェス盤距離)を採用することである。l-∞ノルムを最小化する最適化手法は知られており、例えば、参考非特許文献1、参考非特許文献2に記載されている。
(参考非特許文献1: Yongduek Seo, Richard Hartley, “A fast method to minimize L error norm for geometric vision problems”, IEEE 11th International Conference on Computer Vision (ICCV) 2007, Nov. 2007.)
(参考非特許文献2: Christian Clason, “L fitting for inverse problems with uniform noise”, Inverse Problems, Vol.28, No.10, pp.1-23, 2012.)
線形回帰やニューラルネットワークを用いて表現した回帰モデルを、l-∞ノルムによる回帰誤差が小さくなるように、これらの最適化手法を用いて学習することができる。
(1: Learning of regression model)
Making the Gaussian distribution a regression error distribution means adopting the l-2 norm as the norm and the Euclidean distance as the distance. On the other hand, to make the uniform distribution a regression error distribution is to adopt l-∞ norm (uniform norm) and Chebyshev distance (chessboard distance) as the distance. Optimization methods for minimizing the l-∞ norm are known, and are described in, for example, Reference Non-Patent Document 1 and Reference Non-Patent Document 2.
(Reference Non-Patent Document 1: Yongduek Seo, Richard Hartley, "A fast method to minimize L ∞ error norm for geometric vision problems", IEEE 11th International Conference on Computer Vision (ICCV) 2007, Nov. 2007.)
(Reference Non-Patent Document 2: Christian Clason, “L fitting for inverse problems with uniform noise”, Inverse Problems, Vol.28, No.10, pp.1-23, 2012.)
Regression models expressed using linear regression or neural networks can be learned using these optimization methods so that the regression error due to the l-∞ norm is reduced.

(2:異常検知モデルの生成)
回帰誤差の尤度に基づいて異常度を定義することを考える。各次元が独立であるとすれば、一様分布では尤度がゼロとならない範囲は、1次元では区間、2次元では長方形、3次元では直方体、一般に超直方体として表現される。また、次元間の独立性が必要ない場合には、円(2次元の場合)や球(3次元の場合)を尤度がゼロとならない範囲とすることもできる。2次元であれば、回帰誤差の分布を示す確率密度関数は円柱状の形状で表現されることになる。
(2: Generation of anomaly detection model)
Consider defining the degree of abnormality based on the likelihood of regression error. If each dimension is independent, the range in which the likelihood is not zero in the uniform distribution is expressed as a section in one dimension, a rectangle in two dimensions, a rectangular parallelepiped in three dimensions, and generally a super rectangular parallelepiped. Further, when independence between dimensions is not required, a circle (in the case of two dimensions) or a sphere (in the case of three dimensions) can be set as a range in which the likelihood is not zero. If it is two-dimensional, the probability density function indicating the distribution of the regression error is represented by a cylindrical shape.

線形回帰やニューラルネットワークによる回帰モデルパラメータをθとする。一般にθは複数のパラメータから構成されるものとなり、ニューラルネットワークの場合は重みやバイアスを表現するパラメータとなる。また、回帰モデルは入力データから出力データを出力する関数とみることができるため、回帰モデルパラメータがθである回帰モデルをfθ(・)と表すことにする。また、入力データをxn、入力データxnに対する正解データをtnとする。例えば、入力データxnは、音波形のサンプル点、パワースペクトル、フィルタバンク出力である。入力データ、出力データは一般にベクトルとして表現されることが多く、この場合、入力データ、出力データのことをそれぞれ入力ベクトル、出力ベクトルともいう。回帰モデルによる出力データはfθ(xn)と表すことができる。N個の(xn,tn) (1≦n≦N)に対する回帰誤差の集合は{tn-fθ(xn)|n∈{1, …, N}}となる。入力データとして音から生成されるベクトルを用いる場合には、回帰モデルとして自己回帰モデルを用いてもよく、例えば、tn=xn+1としてもよい。一般に、tnをx1,…, xNから生成されるベクトルとすることもできる。 Let θ be a regression model parameter by linear regression or a neural network. In general, θ is composed of a plurality of parameters, and in the case of a neural network, it is a parameter expressing a weight or a bias. In addition, since the regression model can be regarded as a function that outputs output data from input data, a regression model whose regression model parameter is θ is represented as f θ (·). Also, x n is input data, and t n is correct data for the input data x n . For example, the input data x n is a sound wave sample point, a power spectrum, and a filter bank output. In general, input data and output data are often expressed as vectors. In this case, the input data and output data are also referred to as an input vector and an output vector, respectively. The output data from the regression model can be expressed as f θ (x n ). The set of regression errors for N (x n , t n ) (1 ≦ n ≦ N) is {t n −f θ (x n ) | n∈ {1,..., N}}. When a vector generated from sound is used as input data, an autoregressive model may be used as the regression model, for example, t n = x n + 1 . In general, t n can be a vector generated from x 1 ,..., X N.

学習データである正常な入力データxnと入力データxnに対する正解データtnの組(xn,tn)から回帰誤差の集合{tn-fθ(xn)|n∈{1, …, N}}を生成し、その値がゼロとならない範囲が超直方体となる一様分布についてパラメータを最尤推定で求める。ある1つの次元についてパラメータで定義される範囲を超える回帰誤差tn-fθ(xn)が存在する場合、尤度はゼロである。また、一様分布の確率密度関数の超直方体上での積分値は1である。ここで、ある超直方体にすべての回帰誤差tn-fθ(xn) (n∈{1,…,N})が含まれるとして、少しでも超直方体の範囲を広げれば、1をより大きい超直方体の体積で除すことになり、尤度は下がる。したがって、回帰誤差の集合{tn-fθ(xn)|n∈{1, …, N}}を含む最小の超直方体Tを表現する範囲を表す2d個の値が、この場合における一様分布パラメータの最尤推定解となる。なお、最尤推定解にこだわらないのであれば、この最小の超直方体を含む有界な領域Bをその値がゼロとならない範囲とすることができる。 The set of correct data t n is the learning data and the normal input data x n for the input data x n (x n, t n) the set of regression errors from {t n -f θ (x n ) | n∈ {1, ..., N}}, and the parameters are obtained by maximum likelihood estimation for a uniform distribution in which the range where the value does not become zero is a super rectangular parallelepiped. If there is a regression error t n −f θ (x n ) that exceeds the range defined by the parameters for one dimension, the likelihood is zero. Further, the integral value of the probability density function of uniform distribution on the super rectangular parallelepiped is 1. Here, assuming that a hypercube contains all the regression errors t n -f θ (x n ) (n∈ {1,…, N}), if the range of the hypercube is expanded even a little, 1 is larger Divided by the volume of the super rectangular parallelepiped, the likelihood decreases. Therefore, 2d values representing the range representing the minimum hypercube T including the set of regression errors {t n −f θ (x n ) | n∈ {1,…, N}} are one in this case. This is the maximum likelihood estimation solution for the uniform distribution parameter. If the maximum likelihood estimation solution is not taken into account, the bounded region B including the smallest super rectangular parallelepiped can be set as a range in which the value does not become zero.

異常度は、尤度に基づき、例えば負の対数尤度(情報量)として定義することができる。正常、異常が未知の1つの入力ベクトルと正解ベクトルの組に対応する回帰誤差に対する尤度は、回帰誤差が超直方体Tに含まれる場合は定数となり、そうでない場合は0となるため、この尤度に対応して、定数、無限大を回帰誤差の異常度とすることができる。したがって、回帰誤差の分布としてガウス分布を仮定する場合、異常度の算出に閾値を用いることが多いが、一様分布を仮定する場合は、異常度が2値となることから、閾値を用いる必要はなく、回帰誤差が超直方体の中に含まれる場合は異常度が定数であることから正常、超直方体に含まれていない場合は異常度が無限大であることから異常として取り扱うことができる。   The degree of abnormality can be defined as negative log likelihood (amount of information) based on the likelihood, for example. The likelihood for a regression error corresponding to a pair of correct and correct input vectors and correct vectors is constant if the regression error is included in the super-rectangular T, and 0 otherwise. Corresponding to the degree, constant and infinity can be used as the abnormal degree of the regression error. Therefore, when a Gaussian distribution is assumed as a distribution of regression errors, a threshold value is often used for calculating the degree of abnormality. However, when a uniform distribution is assumed, the degree of abnormality is binary, so it is necessary to use a threshold value. However, if the regression error is included in the super rectangular parallelepiped, the degree of abnormality is constant, so that it is normal, and if it is not included in the super rectangular parallelepiped, the degree of abnormality is infinite, so it can be handled as abnormal.

<第一実施形態>
ここでは、学習データや異常検知の対象となるデータとして音から生成されるベクトルを用いた自己回帰モデルによる異常検知モデル生成装置、異常音検知装置について説明する。
<First embodiment>
Here, an abnormality detection model generation apparatus and an abnormal sound detection apparatus based on an autoregressive model using vectors generated from sound as learning data and abnormality detection data will be described.

(異常検知モデル生成装置100)
以下、図1〜図2を参照して異常検知モデル生成装置100を説明する。図1は、異常検知モデル生成装置100の構成を示すブロック図である。図2は、異常検知モデル生成装置100の動作を示すフローチャートである。図1に示すように異常検知モデル生成装置100は、音データ生成部110と、回帰モデルパラメータ学習部120と、異常検知モデル生成部130と、記録部190を含む。記録部190は、異常検知モデル生成装置100の処理に必要な情報を適宜記録する構成部である。
(Abnormality detection model generation device 100)
Hereinafter, the abnormality detection model generation device 100 will be described with reference to FIGS. FIG. 1 is a block diagram illustrating a configuration of the abnormality detection model generation device 100. FIG. 2 is a flowchart showing the operation of the abnormality detection model generation device 100. As shown in FIG. 1, the abnormality detection model generation device 100 includes a sound data generation unit 110, a regression model parameter learning unit 120, an abnormality detection model generation unit 130, and a recording unit 190. The recording unit 190 is a component that appropriately records information necessary for processing of the abnormality detection model generation device 100.

異常検知モデル生成装置100は、学習音の音波形を入力とする。学習音は、例えば、正常に動作する機械の動作音である。   The abnormality detection model generation apparatus 100 receives the sound waveform of the learning sound as an input. The learning sound is, for example, an operating sound of a machine that operates normally.

図2に従い異常検知モデル生成装置100の動作について説明する。音データ生成部110は、学習音の音波形から学習音の音データxn (1≦n≦N)を生成する(S110)。具体的には、以下のように学習音の音データxn (1≦n≦N)を生成する。学習音の音波形を適当なサンプリング周波数でAD(アナログデジタル)変換し、量子化した波形データを生成する。このように量子化した波形データをそのまま1次元の値が時系列に並んだデータを学習音の音データxn (1≦n≦N)としてもよいし、複数サンプルの連結、離散フーリエ変換、フィルタバンク処理等を用いて多次元に拡張する特徴抽出処理をしたものを学習音の音データxn (1≦n≦N)としてもよいし、データの平均、分散を計算して値の取り幅を正規化する等の前処理をしたものを学習音の音データxn (1≦n≦N)としてもよい。一般に学習音の音データxnはベクトルとして表現される。 The operation of the abnormality detection model generation device 100 will be described with reference to FIG. The sound data generation unit 110 generates the sound data x n (1 ≦ n ≦ N) of the learning sound from the sound waveform of the learning sound (S110). Specifically, the sound data x n (1 ≦ n ≦ N) of the learning sound is generated as follows. The sound waveform of the learning sound is AD (analog-digital) converted at an appropriate sampling frequency to generate quantized waveform data. The waveform data quantized in this way may be used as the sound data x n (1 ≦ n ≦ N) of the learning sound, and the data in which one-dimensional values are arranged in time series as it is, concatenation of multiple samples, discrete Fourier transform, The sound extraction data x n (1 ≤ n ≤ N) that has been subjected to feature extraction processing that uses filter bank processing etc. to expand in multiple dimensions may be used. The sound data x n (1 ≦ n ≦ N) of the learning sound may be preprocessed such as normalizing the width. In general, the sound data xn of the learning sound is expressed as a vector.

回帰モデルパラメータ学習部120は、学習音の音データxn (1≦n≦N)を用いて、回帰モデルパラメータθ^を学習する(S120)。例えば、音データxnの正解データtnをxn+1とする自己回帰モデルを用いて回帰モデルパラメータθ^を学習することができる。 The regression model parameter learning unit 120 learns the regression model parameter θ ^ using the sound data x n (1 ≦ n ≦ N) of the learning sound (S120). For example, the correct answer data t n of the sound data x n can be learned regression model parameter theta ^ using an autoregressive model to x n + 1.

回帰モデルの学習には、線形回帰や、リカレントニューラルネットワークやLSTMネットワーク(Long Short Term Memory Networks)等のニューラルネットワークを用いることができる。線形回帰を用いる場合、線形計画法等の数値解法を用いて、一様ノルムを最小化する回帰モデルパラメータθを求めることができる。ニューラルネットワークを用いる場合、回帰誤差集合{tn-fθ(xn)|n∈{1, …, N}}に対しスカラー値を返す損失関数をErr[{tn-fθ(xn)|n∈{1, …, N}}]として、d=1(ただし、dは正解データtnのベクトル次元)の場合、次式で表される最大絶対値誤差を用いる。 For learning the regression model, linear regression, or a neural network such as a recurrent neural network or an LSTM network (Long Short Term Memory Networks) can be used. When linear regression is used, a regression model parameter θ that minimizes the uniform norm can be obtained using a numerical solution such as linear programming. When using a neural network, a loss function that returns a scalar value for the regression error set {t n -f θ (x n ) | n∈ {1,…, N}} is expressed as Err [{t n -f θ (x n ) | n∈ {1,..., N}}], and d = 1 (where d is the vector dimension of correct data t n ), the maximum absolute value error expressed by the following equation is used.

Figure 2019036112
Figure 2019036112

これは、回帰モデル学習で広く使われている、次式の2乗和誤差関数の代わりに用いたものである。 This is used in place of the square sum error function of the following equation, which is widely used in regression model learning.

Figure 2019036112
Figure 2019036112

最大絶対値誤差を関数としてみると、微分不可能点が含まれるため、誤差逆伝搬法等の学習アルゴリズムを用いる際には、劣勾配を用いるとよい。しかし、この方法での学習は安定しないこともあるため、適当な滑らかな関数(例えば、Ck級の関数)で最大絶対値誤差を近似してもよい。 When the maximum absolute value error is viewed as a function, non-differentiable points are included. Therefore, when using a learning algorithm such as the error back propagation method, it is preferable to use a subgradient. However, since the learning in this way may not be stable, suitable smooth function (e.g., C k-class functions) may be approximated maximum absolute error in.

なお、学習の終了は、所定の繰り返し回数が実行されたことをもって判定する。   The end of learning is determined when a predetermined number of repetitions has been executed.

また、多次元(つまり、d>1)の場合、各次元ごとに求めた式(1)の値の最大値が最大絶対値誤差となる。   In the case of multi-dimensions (that is, d> 1), the maximum value of the value of Equation (1) obtained for each dimension is the maximum absolute value error.

また、pを3以上の整数として、次式のp乗和誤差を最大絶対値誤差の代わりに用いてもよい。つまり、最大絶対値誤差をp乗和誤差で近似する。   Alternatively, p may be an integer of 3 or more, and the p-th power sum error of the following equation may be used instead of the maximum absolute value error. That is, the maximum absolute value error is approximated by a p-th power sum error.

Figure 2019036112
Figure 2019036112

さらに、p1, ..., pmをそれぞれ3以上の整数として、p1乗和誤差、…、pm乗和誤差を線形結合したものを代わりに用いてもよい。 Further, p 1, ..., a p m as an integer of 3 or more, respectively, p 1 sum error, ..., may be used instead that the p m square sum error is a linear combination.

また、適当なpの値から学習を開始して、pを段階的に上げてもよい。つまり、p1, ..., pmをそれぞれp1< ...<pmを満たす3以上の整数として、p1乗和誤差、…、pm乗和誤差と適当な繰り返し回数後、切り替えていってもよい。 Further, learning may be started from an appropriate value of p, and p may be increased stepwise. In other words, p 1 , ..., p m is an integer of 3 or more that satisfies p 1 <... <p m respectively, and after p 1 sum-of-power errors, ..., p m-th power sum errors and an appropriate number of iterations, It may be switched.

なお、べき乗根、学習データの組の数Nでの平均などのように、誤差に対して単調にしか変化しない項については、最終的に最適化問題に帰着するためその計算を省略してもよい。   For terms that change only monotonically with respect to the error, such as the power root and the average at the number N of training data sets, the calculation can be omitted because it ultimately results in an optimization problem. Good.

多次元(つまり、d>1)の場合、各次元の独立を仮定して単に次元ごとの誤差の総和をp乗和誤差としてもよい。また、例えば、次元ごとの誤差を次元ごとに定まった定数で除算するなど、次元ごとの重要度を考慮して次元ごとの誤差に重みをつけてもよい。   In the case of multi-dimensions (that is, d> 1), the sum of errors for each dimension may be simply set as the p-th power sum error assuming that each dimension is independent. Also, for example, the error for each dimension may be weighted in consideration of the importance for each dimension, such as dividing the error for each dimension by a constant determined for each dimension.

以上説明した回帰モデルパラメータθの学習は、以下の最適化問題として定式化できる。   The learning of the regression model parameter θ described above can be formulated as the following optimization problem.

Figure 2019036112
Figure 2019036112

なお、損失関数Err[{tn-fθ(xn)|n∈{1, …, N}}]の値のことをN個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失という。 Note that the value of the loss function Err [{t n −f θ (x n ) | n∈ {1,…, N}}] is expressed as N regression errors t n −f θ (x n ) (1 ≦ This is a loss for n ≦ N).

異常検知モデル生成部130は、S120で学習した回帰モデルパラメータθ^を用いて異常検知モデルを生成する(S130)。ここで、異常検知モデルは、入力音の音データの異常度を示す第1の値、第2の値のいずれかを出力するものである。具体的には、以下のように異常検知モデルを生成する。まず、異常検知モデル生成部130は、回帰モデルパラメータθ^を用いて、(xn,tn) (1≦n≦N)から回帰誤差tn- fθ^(xn)を計算し、回帰誤差集合{tn-fθ^(xn)|n∈{1, …, N}}を生成する。tn= xn+1の場合、tn- fθ^(xn)=xn+1- fθ^(xn)となる。 The abnormality detection model generation unit 130 generates an abnormality detection model using the regression model parameter θ ^ learned in S120 (S130). Here, the abnormality detection model outputs either the first value or the second value indicating the degree of abnormality of the sound data of the input sound. Specifically, the abnormality detection model is generated as follows. First, the abnormality detection model generation unit 130 calculates a regression error t n −f θ ^ (x n ) from (x n , t n ) (1 ≦ n ≦ N) using the regression model parameter θ ^, Generate a regression error set {t n -f θ ^ (x n ) | n∈ {1, ..., N}}. In the case of t n = x n + 1 , t n −f θ ^ (x n ) = x n + 1 −f θ ^ (x n ).

次に、異常検知モデル生成部130は、回帰誤差集合{tn-fθ^(xn)|n∈{1, …, N}}を含むd次元実数ベクトル空間の有界な領域Bを生成する。例えば、領域Bを、<技術的背景>で説明した通り、一様分布の最尤推定解である、回帰誤差集合{tn-fθ^(xn)|n∈{1, …, N}}を含む最小の超直方体とすることができる。この超直方体は2d個のパラメータ値を用いてその範囲を表すことができる。この場合、例えば、次元ごとに回帰誤差集合{tn-fθ^(xn)|n∈{1, …, N}}の要素の最大値・最小値を求めることにより、超直方体Bを求めてもよいし、座標軸の回転などを考慮してさらに小さくなるよう、超直方体Bを求めてもよいし、回帰誤差集合{tn-fθ^(xn)|n∈{1, …, N}}の要素であるベクトルを平均し、その座標を超直方体の中心とみなし、d個の幅のみを求めることにより、超直方体Bを求めてもよいし、平均、超直方体中心など、中心を規定するパラメータを0ベクトルとし、d個の幅のみを求めることにより、超直方体Bを求めてもよい。また、領域Bを、超直方体の代わりに、超球や高次元の楕円体として、回帰誤差集合を含む最小の超球(高次元の楕円体)としてもよい。さらには、実際の異常音検知が行われる業務の要請に応じて人手で領域Bを調整してもよい。また、<技術的背景>でも説明したように、回帰誤差集合を含む最小の領域よりも大きな領域を領域Bとしてもよい。 Next, the anomaly detection model generation unit 130 generates a bounded region B of the d-dimensional real vector space including the regression error set {t n −f θ ^ (x n ) | n∈ {1,..., N}}. Generate. For example, the regression error set {t n −f θ ^ (x n ) | n∈ {1,…, N, which is a maximum likelihood estimation solution with uniform distribution, as described in <Technical Background>. }} Can be the smallest super rectangular parallelepiped. This super rectangular parallelepiped can represent the range using 2d parameter values. In this case, for example, by obtaining the maximum and minimum values of the elements of the regression error set {t n -f θ ^ (x n ) | n∈ {1,…, N}} for each dimension, It may be obtained, or the hypercube B may be obtained so as to be further reduced in consideration of the rotation of the coordinate axes, or the regression error set {t n -f θ ^ (x n ) | n∈ {1,… , N}} are averaged, and the coordinates are regarded as the center of the super rectangular parallelepiped, and the super rectangular parallelepiped B can be obtained by calculating only the width of d, the average, the super rectangular parallelepiped center, etc. The super rectangular parallelepiped B may be obtained by setting the parameter defining the center to 0 vector and obtaining only d widths. In addition, the region B may be a minimum sphere (high-dimensional ellipsoid) including a regression error set as a hypersphere or a high-dimensional ellipsoid instead of the super-cuboid. Further, the region B may be manually adjusted according to a request for a task in which actual abnormal sound detection is performed. Further, as described in <Technical Background>, a region larger than the minimum region including the regression error set may be set as the region B.

S120において、p乗和誤差による近似を用いた場合は、p乗に対応した一般化正規分布の広がりを規定する、パラメータ(例えば、標準偏差)を最尤推定により算出し、領域Bを求めてもよい。p乗に対応した一般化正規分布には、各次元独立な直方体のような定義域を持つもの、各次元の独立性がない球対称のようは定義域を持つものがあるが、いずれを用いて、領域Bを求めてもよい。   In S120, when approximation by p-th power sum error is used, a parameter (for example, standard deviation) that defines the spread of the generalized normal distribution corresponding to the p-th power is calculated by maximum likelihood estimation, and region B is obtained. Also good. The generalized normal distribution corresponding to the p-th power has a domain such as a rectangular parallelepiped independent of each dimension, and a domain such as a spherical symmetry without independence of each dimension. Thus, the area B may be obtained.

最後に、異常検知モデル生成部130は、以下の異常検知モデルを生成する。   Finally, the abnormality detection model generation unit 130 generates the following abnormality detection model.

[異常検知モデル]
入力音の音データymと入力音の音データymに対する正解データsmの組(ym, sm)とし、異常検知モデルは、入力音の音データymの回帰誤差sm - fθ^( ym)に対して、sm-fθ^(ym)∈Bが成立する場合は第1の値を、それ以外の場合は第2の値を異常度として出力する。ただし、第1の値と第2の値は、異なる値であれば任意の値とすることができる。
[Anomaly detection model]
A set of correct data s m for sound data y m of the sound data y m and the input sound of the input sound (y m, s m), the abnormality detection model is the regression error s m of the sound data y m of the input sound - f respect θ ^ (y m), the first value if s m -f θ ^ (y m ) ∈B is established, otherwise outputting a second value as a degree of abnormality. However, the first value and the second value can be arbitrary values as long as they are different values.

例えば、音データymの正解データsmをym+1とする自己回帰モデルを用いる場合、回帰誤差sm-fθ^(ym)=ym+1-fθ^(ym)となる。一般に、時系列データを扱う場合、過去(y1,..., ym-1)または未来(ym+1,..., yM)の必要なデータを用いて回帰誤差を計算することができる。 For example, if the correct answer data s m of the sound data y m using an autoregressive model to y m + 1, the regression error s m -f θ ^ (y m ) = y m + 1 -f θ ^ (y m) It becomes. In general, when dealing with time series data, calculate the regression error using the necessary data in the past (y 1 , ..., y m-1 ) or the future (y m + 1 , ..., y M ) be able to.

例えば、1を超直方体体積で除した値(尤度)の負の対数を第1の値、無限大を第2の値としてもよいし、単に1(正常を表す値)を第1の値、0(異常を表す値)を第2の値としてもよい。   For example, the negative logarithm of the value obtained by dividing 1 by the hypercubic volume (likelihood) may be the first value, infinity may be the second value, or simply 1 (value indicating normality) is the first value. , 0 (value indicating abnormality) may be set as the second value.

S120において、p乗和誤差による近似を用いた場合は、p乗に対応した一般化正規分布の情報量(負の対数尤度)を異常度とすることができる。具体的には、回帰誤差が1次元である場合、定数α、自然対数lnを用い、|sm-fθ^(ym)|/αのp乗値とln(α)の和を計算し、これを用いて異常度としてもよい。多次元の場合は、次元ごとに異なるαを用い、上記の和を計算した後、総和を取り異常度としてもよい。αは回帰誤差が多次元である場合に、各次元での正常の場合における誤差の広がり方を決定するパラメータであり、次元ごとに人間が決めてもよいし、モデル学習に用いた音データやハイパーパラメータ決定用の別の音データと、学習済みモデルから生成した回帰誤差集合から最尤推定などを用い求めてもよい。 In S120, when approximation by p-th power sum error is used, the information amount (negative log likelihood) of the generalized normal distribution corresponding to p-th power can be set as the degree of abnormality. Specifically, if the regression error is one-dimensional, use the constant α and the natural logarithm ln to calculate the sum of | s m -f θ ^ (y m ) | / α raised to the p power and ln (α) However, this may be used as the degree of abnormality. In the case of multi-dimensions, different α may be used for each dimension, and after calculating the above sum, the sum may be taken as the degree of abnormality. α is a parameter that determines how the error spreads when normal in each dimension when the regression error is multi-dimensional, and may be determined by humans for each dimension, or the sound data used for model learning You may obtain | require using the maximum likelihood estimation etc. from another sound data for hyperparameter determination, and the regression error set produced | generated from the learned model.

(異常音検知装置200)
以下、図3〜図4を参照して異常音検知装置200を説明する。図3は、異常音検知装置200の構成を示すブロック図である。図4は、異常音検知装置200の動作を示すフローチャートである。図3に示すように異常音検知装置200は、音データ生成部110と、回帰誤差算出部220と、異常検知部230と、異常検出結果統合部240と、記録部290を含む。記録部290は、異常音検知装置200の処理に必要な情報を適宜記録する構成部である。例えば、記録部290は、異常検知モデル生成装置100が生成した回帰モデルパラメータθ^、異常検知モデルを記録しておく。
(Abnormal sound detection device 200)
Hereinafter, the abnormal sound detection apparatus 200 will be described with reference to FIGS. FIG. 3 is a block diagram illustrating a configuration of the abnormal sound detection device 200. FIG. 4 is a flowchart showing the operation of the abnormal sound detection apparatus 200. As shown in FIG. 3, the abnormal sound detection device 200 includes a sound data generation unit 110, a regression error calculation unit 220, an abnormality detection unit 230, an abnormality detection result integration unit 240, and a recording unit 290. The recording unit 290 is a component that appropriately records information necessary for processing of the abnormal sound detection device 200. For example, the recording unit 290 records the regression model parameter θ ^ generated by the abnormality detection model generation apparatus 100 and the abnormality detection model.

異常音検知装置200は、入力音の音波形を入力とする。入力音は、例えば、正常・異常が不明な機械の動作音である。つまり、入力音は異常検知の対象となる音である。   The abnormal sound detection apparatus 200 receives the sound waveform of the input sound as input. The input sound is, for example, an operation sound of a machine whose normality / abnormality is unknown. That is, the input sound is a sound that is an object of abnormality detection.

図4に従い異常音検知装置200の動作について説明する。音データ生成部110は、入力音の音波形から入力音の音データym (1≦m≦M)を生成する(S110)。 The operation of the abnormal sound detection apparatus 200 will be described with reference to FIG. The sound data generation unit 110 generates sound data y m (1 ≦ m ≦ M) of the input sound from the sound waveform of the input sound (S110).

回帰誤差算出部220は、回帰モデルfθ^(・)を用いて、入力音の音データym (1≦m≦M)から音データymの回帰誤差sm- fθ^(ym)を算出する(S220)。先ほどの例では、sm= ym+1となる。 Regression error calculating unit 220, using the regression model f θ ^ (·), the regression error s m of the sound data y m from the input sound sound data y m (1 ≦ m ≦ M ) - f θ ^ (y m ) Is calculated (S220). In the previous example, s m = y m + 1 .

異常検出部230は、異常検知モデルを用いて、回帰誤差sm- fθ^(ym)から音データymに対する異常検出結果を生成する(S230)。具体的には、以下のように異常検出結果を生成する。まず、異常検出部230は、異常検知モデルを用いて、sm- fθ^(ym)∈Bが成立する場合は第1の値を、それ以外の場合は第2の値を異常度として算出する。次に、異常検出部230は、異常度が第1の値である場合、音データymが正常であることを示す異常検出結果を、異常度が第2の値である場合、音データymが異常であることを示す異常検出結果を生成する。 The abnormality detection unit 230 generates an abnormality detection result for the sound data y m from the regression error s m −f θ ^ (y m ) using the abnormality detection model (S230). Specifically, an abnormality detection result is generated as follows. First, the anomaly detection unit 230 uses an anomaly detection model to set the first value when s m −f θ ^ (y m ) ∈B holds, and the second value otherwise. Calculate as Next, the abnormality detecting unit 230, if the error probability is a first value, the abnormality detection result indicating that the sound data y m is normal, if the error probability is the second value, the sound data y An abnormality detection result indicating that m is abnormal is generated.

異常検知モデルが、p乗に対応した一般化正規分布の情報量(負の対数尤度)を異常度とする場合、異常検出部230は、閾値を用いて、異常度から異常検出結果を生成する。   When the abnormality detection model uses the information amount (negative log likelihood) of the generalized normal distribution corresponding to the p-th power as the abnormality degree, the abnormality detection unit 230 generates an abnormality detection result from the abnormality degree using the threshold value. To do.

異常検出結果統合部240は、音データym (1≦m≦M)の異常検出結果から、入力音の異常検出結果を生成する(S240)。M個の音データym (1≦m≦M)の異常検出結果のうち、所定の割合以上(所定の割合より大きい)の検出結果が正常である場合は、入力音の異常検出結果を正常とし、それ以外の場合は、入力音の異常検出結果を異常とするなどすればよい。 The abnormality detection result integration unit 240 generates an abnormality detection result of the input sound from the abnormality detection result of the sound data y m (1 ≦ m ≦ M) (S240). Out of the abnormal detection results of M sound data y m (1 ≤ m ≤ M), if the detection results of a predetermined ratio or higher (greater than the predetermined ratio) are normal, the abnormal detection result of the input sound is normal In other cases, the input sound abnormality detection result may be made abnormal.

本実施形態の発明によれば、回帰誤差の確率分布として一様分布または一般化正規分布を仮定して生成した異常検知モデルを用いることにより、誤検知を抑制することができる。回帰誤差の確率分布としてガウス分布を仮定した従来の方法では、正常な入力データに対して異常度が高く出るケースが発生していたが、回帰誤差の確率分布として一様分布または一般化正規分布を仮定することにより、そのようなケースの発生が抑制され、誤検知を低減することができる。   According to the invention of this embodiment, erroneous detection can be suppressed by using an abnormality detection model generated assuming a uniform distribution or a generalized normal distribution as a probability distribution of regression errors. In the conventional method that assumed a Gaussian distribution as the probability distribution of the regression error, there was a case where the degree of abnormality was high for normal input data. However, the probability distribution of the regression error is a uniform distribution or a generalized normal distribution. As a result, occurrence of such a case is suppressed, and false detection can be reduced.

<第二実施形態>
第一実施形態では、音データを対象とした回帰モデルを用いて、異常検知モデル生成装置及び異常音検知装置について説明したが、回帰モデル学習に用いることができるデータは音データに限るものではない。そこで、第二実施形態では、音データを含む一般のデータを対象とした回帰モデルを用いた例について説明する。
<Second embodiment>
In the first embodiment, the abnormality detection model generation device and the abnormal sound detection device have been described using the regression model for sound data. However, data that can be used for regression model learning is not limited to sound data. . Therefore, in the second embodiment, an example using a regression model for general data including sound data will be described.

(異常検知モデル生成装置300)
以下、図5〜図6を参照して異常検知モデル生成装置300を説明する。図5は、異常検知モデル生成装置300の構成を示すブロック図である。図6は、異常検知モデル生成装置300の動作を示すフローチャートである。図5に示すように異常検知モデル生成装置300は、回帰モデルパラメータ学習部120と、異常検知モデル生成部130と、記録部190を含む。記録部190は、異常検知モデル生成装置300の処理に必要な情報を適宜記録する構成部である。
(Abnormality detection model generation device 300)
Hereinafter, the abnormality detection model generation apparatus 300 will be described with reference to FIGS. FIG. 5 is a block diagram illustrating a configuration of the abnormality detection model generation device 300. FIG. 6 is a flowchart showing the operation of the abnormality detection model generation device 300. As shown in FIG. 5, the abnormality detection model generation device 300 includes a regression model parameter learning unit 120, an abnormality detection model generation unit 130, and a recording unit 190. The recording unit 190 is a component that appropriately records information necessary for processing of the abnormality detection model generation device 300.

異常検知モデル生成装置300は、正常な入力データxnと入力データxnに対する正解データtnの組(xn,tn) (1≦n≦N、Nは1以上の整数)を学習データとして入力とする。 Abnormality detection model generating device 300, the set of correct data t n for the input data x n and the normal input data x n (x n, t n ) (1 ≦ n ≦ N, N is an integer of 1 or more) the training data As input.

図6に従い異常検知モデル生成装置300の動作について説明する。回帰モデルパラメータ学習部120は、N個の組(xn,tn) (1≦n≦N)を用いて、回帰モデルパラメータθ^を学習する(S120)。具体的には、以下のように回帰モデルパラメータθ^を学習する。θを回帰モデルパラメータθ^を学習する過程で生成される回帰モデルパラメータとする。N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失を最大絶対値誤差(式(1))により定義し、当該損失を最小化するように回帰モデルパラメータθ^を学習する。または、pを3以上の整数とし、N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失をp乗和誤差(式(2))により定義し、当該損失を最小化するように回帰モデルパラメータθ^を学習する。この場合、さらに、回帰モデルパラメータの学習に際して、pの値を段階的に上げていくようにしてもよい。 The operation of the abnormality detection model generation device 300 will be described with reference to FIG. The regression model parameter learning unit 120 learns the regression model parameter θ ^ using N sets (x n , t n ) (1 ≦ n ≦ N) (S120). Specifically, the regression model parameter θ ^ is learned as follows. Let θ be the regression model parameter generated in the course of learning the regression model parameter θ ^. The loss for N regression errors t n -f θ (x n ) (1 ≦ n ≦ N) is defined by the maximum absolute value error (Equation (1)), and the regression model parameter θ is set so as to minimize the loss. Learn ^. Or, let p be an integer greater than or equal to 3, and define the loss for N regression errors t n -f θ (x n ) (1 ≤ n ≤ N) by p-power sum error (Equation (2)). The regression model parameter θ ^ is learned so as to minimize. In this case, when learning the regression model parameter, the value of p may be increased stepwise.

異常検知モデル生成部130は、S120で学習した回帰モデルパラメータθ^を用いて異常検知モデルを生成する(S130)。具体的には、以下のように異常検知モデルを生成する。fθ^(・)を回帰モデルパラメータθ^により定義される回帰モデルとする。まず、異常検知モデル生成部130は、(xn,tn) (1≦n≦N)から回帰誤差tn- fθ^(xn)を計算する。次に、異常検知モデル生成部130は、N個の回帰誤差tn- fθ^(xn)(1≦n≦N)を含む有界な領域Bを生成する。最後に、異常検知モデル生成部130は、以下の異常検知モデルを生成する。 The abnormality detection model generation unit 130 generates an abnormality detection model using the regression model parameter θ ^ learned in S120 (S130). Specifically, the abnormality detection model is generated as follows. Let f θ ^ (•) be the regression model defined by the regression model parameter θ ^. First, the abnormality detection model generation unit 130 calculates a regression error t n −f θ ^ (x n ) from (x n , t n ) (1 ≦ n ≦ N). Next, the abnormality detection model generation unit 130 generates a bounded region B including N regression errors t n −f θ ^ (x n ) (1 ≦ n ≦ N). Finally, the abnormality detection model generation unit 130 generates the following abnormality detection model.

[異常検知モデル]
入力データxと入力データxに対する正解データtの組(x, t)とし、異常検知モデルは、入力データxの回帰誤差t- fθ^(x)に対して、t- fθ^(x)∈Bが成立する場合は第1の値を、それ以外の場合は第2の値を異常度として出力する。ただし、第1の値と第2の値は、異なる値であれば任意の値とすることができる。
[Anomaly detection model]
A set of correct data t (x, t) with respect to the input data x and the input data x, anomaly detection model, regression error t- f θ of the input data x ^ with respect to (x), t- f θ ^ (x The first value is output as the degree of abnormality when) ∈B holds, and the second value is output otherwise. However, the first value and the second value can be arbitrary values as long as they are different values.

(異常検知装置400)
以下、図7〜図8を参照して異常検知装置400を説明する。図7は、異常検知装置400の構成を示すブロック図である。図8は、異常検知装置400の動作を示すフローチャートである。図7に示すように異常検知装置400は、回帰誤差算出部220と、異常検知部230と、記録部290を含む。記録部290は、異常検知装置400の処理に必要な情報を適宜記録する構成部である。例えば、記録部290は、異常検知モデル生成装置300が生成した回帰モデルパラメータθ^、異常検知モデルを記録しておく。
(Abnormality detection device 400)
Hereinafter, the abnormality detection device 400 will be described with reference to FIGS. FIG. 7 is a block diagram illustrating a configuration of the abnormality detection device 400. FIG. 8 is a flowchart showing the operation of the abnormality detection device 400. As shown in FIG. 7, the abnormality detection device 400 includes a regression error calculation unit 220, an abnormality detection unit 230, and a recording unit 290. The recording unit 290 is a component that appropriately records information necessary for processing of the abnormality detection device 400. For example, the recording unit 290 records the regression model parameter θ ^ generated by the abnormality detection model generation device 300 and the abnormality detection model.

異常検知装置400は、入力データxと入力データxに対する正解データtの組(x, t)を入力とする。つまり、(x, t)が異常検知の対象となるデータである。   The abnormality detection device 400 receives as input a set (x, t) of input data x and correct answer data t for the input data x. That is, (x, t) is data that is the target of abnormality detection.

図8に従い異常検知装置400の動作について説明する。回帰誤差算出部220は、回帰モデルfθ^(・)を用いて、(x, t)から入力データxの回帰誤差t- fθ^(x)を算出する(S220)。 The operation of the abnormality detection device 400 will be described with reference to FIG. The regression error calculation unit 220 calculates the regression error t−f θ ^ (x) of the input data x from (x, t) using the regression model f θ ^ (•) (S220).

異常検出部230は、異常検知モデルを用いて、回帰誤差t- fθ^(x)から入力データxに対する異常検出結果を生成する(S230)。具体的には、以下のように異常検出結果を生成する。まず、異常検出部230は、異常検知モデルを用いて、t- fθ^(x)∈Bが成立する場合は第1の値を、それ以外の場合は第2の値を異常度として算出する。次に、異常検出部230は、異常度が第1の値である場合、入力データが正常であることを示す異常検出結果を、異常度が第2の値である場合、入力データが異常であることを示す異常検出結果を生成する。 The abnormality detection unit 230 generates an abnormality detection result for the input data x from the regression error t−f θ ^ (x) using the abnormality detection model (S230). Specifically, an abnormality detection result is generated as follows. First, the anomaly detection unit 230 uses the anomaly detection model to calculate the first value when t−fθ ^ (x) ∈B holds, and the second value as the degree of abnormality otherwise. To do. Next, the abnormality detection unit 230 displays an abnormality detection result indicating that the input data is normal when the abnormality degree is the first value, and indicates that the input data is abnormal when the abnormality degree is the second value. An anomaly detection result indicating that it exists is generated.

(変形例)
異常検知モデル生成装置300が生成する異常検知モデルは第1の値と第2の値の2値を出力するものであったが、N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失をp乗和誤差により定義した場合は、連続値を出力する異常検知モデルとすることができる。以下、異常検知モデル及び異常検出部230について説明する。
(Modification)
The anomaly detection model generated by the anomaly detection model generation apparatus 300 outputs a binary value of a first value and a second value, but N regression errors t n −f θ (x n ) (1 When the loss for ≦ n ≦ N) is defined by the p-th power sum error, an abnormality detection model that outputs a continuous value can be obtained. Hereinafter, the abnormality detection model and the abnormality detection unit 230 will be described.

異常検知モデルを、入力データの回帰誤差t- fθ^(x)から、p乗に対応した負の対数尤度を異常度として出力する。 The anomaly detection model is output from the regression error t- f θ ^ (x) of the input data as the degree of anomaly as a negative log likelihood corresponding to the pth power.

異常検出部230は、閾値を用いて、異常度から異常検出結果を生成する。具体的には、αを閾値として、異常度がα以下の場合(αより小さい場合)、入力データが正常であることを示す異常検出結果を、それ以外の場合、入力データが異常であることを示す異常検出結果を生成する。もちろん、データが正常であるほど異常度が大きくなるように異常度を定義してもよく、この場合は、異常度がα以上の場合(αより大きい場合)、入力データが正常であることを示す異常検出結果を、それ以外の場合、入力データが異常であることを示す異常検出結果を生成する。   The abnormality detection unit 230 generates an abnormality detection result from the degree of abnormality using a threshold value. Specifically, when α is a threshold value and the degree of abnormality is less than or equal to α (less than α), an abnormality detection result indicating that the input data is normal is indicated. In other cases, the input data is abnormal. An abnormality detection result indicating that is generated. Of course, the degree of abnormality may be defined so that the degree of abnormality increases as the data is normal. In this case, if the degree of abnormality is greater than or equal to α (greater than α), the input data is normal. Otherwise, an abnormality detection result indicating that the input data is abnormal is generated.

本実施形態の発明によれば、第一実施形態同様、誤検知を抑制することができる。また、例えば、温度、圧力、変位などのセンサデータ、ネットワーク通信量などのトラフィックデータなど一般のデータを対象とした異常検知に対して適用することができる。   According to the invention of this embodiment, erroneous detection can be suppressed as in the first embodiment. For example, the present invention can be applied to abnormality detection for general data such as sensor data such as temperature, pressure, and displacement, and traffic data such as network traffic.

<補記>
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD−ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
<Supplementary note>
The apparatus of the present invention includes, for example, a single hardware entity as an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity Can be connected to a communication unit, a CPU (Central Processing Unit, may include a cache memory or a register), a RAM or ROM that is a memory, an external storage device that is a hard disk, and an input unit, an output unit, or a communication unit thereof , A CPU, a RAM, a ROM, and a bus connected so that data can be exchanged between the external storage devices. If necessary, the hardware entity may be provided with a device (drive) that can read and write a recording medium such as a CD-ROM. A physical entity having such hardware resources includes a general-purpose computer.

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。   The external storage device of the hardware entity stores a program necessary for realizing the above functions and data necessary for processing the program (not limited to the external storage device, for example, reading a program) It may be stored in a ROM that is a dedicated storage device). Data obtained by the processing of these programs is appropriately stored in a RAM or an external storage device.

ハードウェアエンティティでは、外部記憶装置(あるいはROMなど)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段などと表した各構成要件)を実現する。   In the hardware entity, each program stored in an external storage device (or ROM or the like) and data necessary for processing each program are read into a memory as necessary, and are interpreted and executed by a CPU as appropriate. . As a result, the CPU realizes a predetermined function (respective component requirements expressed as the above-described unit, unit, etc.).

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。   The present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the spirit of the present invention. In addition, the processing described in the above embodiment may be executed not only in time series according to the order of description but also in parallel or individually as required by the processing capability of the apparatus that executes the processing. .

既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。   As described above, when the processing functions in the hardware entity (the apparatus of the present invention) described in the above embodiments are realized by a computer, the processing contents of the functions that the hardware entity should have are described by a program. Then, by executing this program on a computer, the processing functions in the hardware entity are realized on the computer.

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP−ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。   The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used. Specifically, for example, as a magnetic recording device, a hard disk device, a flexible disk, a magnetic tape or the like, and as an optical disk, a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only). Memory), CD-R (Recordable) / RW (ReWritable), etc., magneto-optical recording medium, MO (Magneto-Optical disc), etc., semiconductor memory, EEP-ROM (Electronically Erasable and Programmable-Read Only Memory), etc. Can be used.

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。   The program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own recording medium and executes a process according to the read program. As another execution form of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to the computer. Each time, the processing according to the received program may be executed sequentially. Also, the program is not transferred from the server computer to the computer, and the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition. It is good. Note that the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。   In this embodiment, a hardware entity is configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.

Claims (8)

θ^を、N個(Nは1以上の整数)の、正常な入力データxnと前記入力データxnに対する正解データtnの組(xn,tn) (1≦n≦N)を用いて学習される回帰モデルパラメータ、fθ^(・)を前記回帰モデルパラメータθ^により定義される回帰モデルとし、
前記回帰モデルfθ^(・)を用いて、入力データxと前記入力データxに対する正解データtの組(x, t)から前記入力データxの回帰誤差t- fθ^(x)を算出する回帰誤差算出部と、
異常検知モデルを用いて、前記回帰誤差t- fθ^(x)から前記入力データxに対する異常検出結果を生成する異常検出部と
を含む異常音検知装置であって、
前記異常検知モデルは、入力データの回帰誤差から、第1の値、第2の値のいずれかを異常度として出力するものであり、
前記異常検出部は、異常度が第1の値である場合、入力データが正常であることを示す異常検出結果を生成し、異常度が第2の値である場合、入力データが異常であることを示す異常検出結果を生成する
異常音検知装置。
θ ^ is a set (x n , t n ) (1 ≦ n ≦ N) of normal input data x n and correct data t n for the input data x n, where N is an integer greater than or equal to 1 The regression model parameter, f θ ^ (・), learned by using the regression model parameter θ ^ as a regression model,
Using the regression model f θ ^ (·), the regression error t- f θ ^ (x) of the input data x is calculated from the set (x, t) of the input data x and the correct answer data t for the input data x A regression error calculation unit,
An abnormality detection unit including an abnormality detection unit that generates an abnormality detection result for the input data x from the regression error t-f θ ^ (x) using an abnormality detection model,
The abnormality detection model outputs either the first value or the second value as the degree of abnormality from the regression error of the input data,
The abnormality detection unit generates an abnormality detection result indicating that the input data is normal when the abnormality degree is the first value, and the input data is abnormal when the abnormality degree is the second value. An abnormal sound detection device that generates an abnormality detection result indicating that.
請求項1に記載の異常音検知装置であって、
前記異常検知モデルは、N個の回帰誤差tn- fθ^(xn)(1≦n≦N)を含む有界な領域Bを用いて、前記異常度を出力する
ことを特徴とする異常音検知装置。
The abnormal sound detection device according to claim 1,
The abnormality detection model outputs the degree of abnormality using a bounded region B including N regression errors t n −f θ ^ (x n ) (1 ≦ n ≦ N). Abnormal sound detection device.
請求項2に記載の異常音検知装置であって、
θを前記回帰モデルパラメータθ^を学習する過程で生成される回帰モデルパラメータとして、
N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失は、最大絶対値誤差を用いて定義したものであり、
前記回帰モデルパラメータθ^は、当該損失を最小化するように学習したものである
ことを特徴とする異常音検知装置。
The abnormal sound detection device according to claim 2,
θ is a regression model parameter generated in the process of learning the regression model parameter θ ^,
The loss for N regression errors t n -f θ (x n ) (1 ≤ n ≤ N) is defined using the maximum absolute value error,
The abnormal sound detection apparatus, wherein the regression model parameter θ ^ is learned so as to minimize the loss.
請求項2に記載の異常音検知装置であって、
pを3以上の整数、θを前記回帰モデルパラメータθ^を学習する過程で生成される回帰モデルパラメータとして、
N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失は、p乗和誤差を用いて定義したものであり、
前記回帰モデルパラメータθ^は、当該損失を最小化するように学習したものである
ことを特徴とする異常音検知装置。
The abnormal sound detection device according to claim 2,
p is an integer of 3 or more, θ is a regression model parameter generated in the course of learning the regression model parameter θ ^,
The loss for N regression errors t n -f θ (x n ) (1 ≤ n ≤ N) is defined using the p-power sum error,
The abnormal sound detection apparatus, wherein the regression model parameter θ ^ is learned so as to minimize the loss.
請求項2に記載の異常音検知装置であって、
pを3以上の整数、θを前記回帰モデルパラメータθ^を学習する過程で生成される回帰モデルパラメータとして、
N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失は、p乗和誤差を用いて定義したものであり、
前記回帰モデルパラメータθ^は、当該損失を最小化するように学習したものであり、学習に際して、pの値を段階的に上げていく
ことを特徴とする異常音検知装置。
The abnormal sound detection device according to claim 2,
p is an integer of 3 or more, θ is a regression model parameter generated in the course of learning the regression model parameter θ ^,
The loss for N regression errors t n -f θ (x n ) (1 ≤ n ≤ N) is defined using the p-power sum error,
The abnormal sound detection apparatus, wherein the regression model parameter θ ^ is learned so as to minimize the loss, and the value of p is increased step by step during the learning.
θ^を、N個(Nは1以上の整数)の、正常な入力データxnと前記入力データxnに対する正解データtnの組(xn,tn) (1≦n≦N)を用いて学習される回帰モデルパラメータ、fθ^(・)を前記回帰モデルパラメータθ^により定義される回帰モデルとし、
前記回帰モデルfθ^(・)を用いて、入力データxと前記入力データxに対する正解データtの組(x, t)から前記入力データxの回帰誤差t- fθ^(x)を算出する回帰誤差算出部と、
異常検知モデルを用いて、前記回帰誤差t- fθ^(x)から前記入力データxに対する異常検出結果を生成する異常検出部と
を含む異常音検知装置であって、
pを3以上の整数、θを前記回帰モデルパラメータθ^を学習する過程で生成される回帰モデルパラメータとし、
N個の回帰誤差tn- fθ(xn)(1≦n≦N)に対する損失は、p乗和誤差を用いて定義したものであり、
前記異常検知モデルは、入力データの回帰誤差から、p乗に対応した負の対数尤度を異常度として出力するものであり、
前記異常検出部は、閾値を用いて、前記異常度から前記異常検出結果を生成する
異常音検知装置。
θ ^ is a set (x n , t n ) (1 ≦ n ≦ N) of normal input data x n and correct data t n for the input data x n, where N is an integer greater than or equal to 1 The regression model parameter, f θ ^ (・), learned by using the regression model parameter θ ^ as a regression model,
Using the regression model f θ ^ (·), the regression error t- f θ ^ (x) of the input data x is calculated from the set (x, t) of the input data x and the correct answer data t for the input data x A regression error calculation unit,
An abnormality detection unit including an abnormality detection unit that generates an abnormality detection result for the input data x from the regression error t-f θ ^ (x) using an abnormality detection model,
p is an integer of 3 or more, θ is a regression model parameter generated in the process of learning the regression model parameter θ ^,
The loss for N regression errors t n -f θ (x n ) (1 ≤ n ≤ N) is defined using the p-power sum error,
The abnormality detection model outputs a negative log likelihood corresponding to the p-th power as an abnormality degree from a regression error of input data,
The abnormality detection unit generates the abnormality detection result from the abnormality degree using a threshold value.
θ^を、N個(Nは1以上の整数)の、正常な入力データxnと前記入力データxnに対する正解データtnの組(xn,tn) (1≦n≦N)を用いて学習される回帰モデルパラメータ、fθ^(・)を前記回帰モデルパラメータθ^により定義される回帰モデルとし、
前記回帰モデルfθ^(・)を用いて、入力データxと前記入力データxに対する正解データtの組(x, t)から前記入力データxの回帰誤差t- fθ^(x)を算出する回帰誤差算出部と、
異常検知モデルを用いて、前記回帰誤差t- fθ^(x)から前記入力データxに対する異常検出結果を生成する異常検出部と
を含む異常検知装置であって、
前記異常検知モデルは、入力データの回帰誤差から、第1の値、第2の値のいずれかを異常度として出力するものであり、
前記異常検出部は、異常度が第1の値である場合、入力データが正常であることを示す異常検出結果を生成し、異常度が第2の値である場合、入力データが異常であることを示す異常検出結果を生成する
異常検知装置。
θ ^ is a set (x n , t n ) (1 ≦ n ≦ N) of normal input data x n and correct data t n for the input data x n, where N is an integer greater than or equal to 1 The regression model parameter, f θ ^ (・), learned by using the regression model parameter θ ^ as a regression model,
Using the regression model f θ ^ (·), the regression error t- f θ ^ (x) of the input data x is calculated from the set (x, t) of the input data x and the correct answer data t for the input data x A regression error calculation unit,
An anomaly detection device including an anomaly detection unit that generates an anomaly detection result for the input data x from the regression error t-f θ ^ (x) using an anomaly detection model,
The abnormality detection model outputs either the first value or the second value as the degree of abnormality from the regression error of the input data,
The abnormality detection unit generates an abnormality detection result indicating that the input data is normal when the abnormality degree is the first value, and the input data is abnormal when the abnormality degree is the second value. An anomaly detection device that generates an anomaly detection result indicating that
請求項1ないし6のいずれか1項に記載の異常音検知装置または請求項7に記載の異常検知装置としてコンピュータを機能させるためのプログラム。   A program for causing a computer to function as the abnormal sound detection device according to any one of claims 1 to 6 or the abnormality detection device according to claim 7.
JP2017156759A 2017-08-15 2017-08-15 Abnormal sound detection device, abnormality detection device, program Active JP6943067B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017156759A JP6943067B2 (en) 2017-08-15 2017-08-15 Abnormal sound detection device, abnormality detection device, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017156759A JP6943067B2 (en) 2017-08-15 2017-08-15 Abnormal sound detection device, abnormality detection device, program

Publications (2)

Publication Number Publication Date
JP2019036112A true JP2019036112A (en) 2019-03-07
JP6943067B2 JP6943067B2 (en) 2021-09-29

Family

ID=65637657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017156759A Active JP6943067B2 (en) 2017-08-15 2017-08-15 Abnormal sound detection device, abnormality detection device, program

Country Status (1)

Country Link
JP (1) JP6943067B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457906A (en) * 2019-08-15 2019-11-15 国家电网公司华东分部 A kind of network safety event intelligent alarm method
JP2021089463A (en) * 2019-12-02 2021-06-10 Kddi株式会社 Abnormal value detection device, abnormal value detection method and abnormal value detection program
WO2023120438A1 (en) * 2021-12-20 2023-06-29 国立大学法人 東京大学 Information processing system, information processing method, and program
JP7344078B2 (en) 2019-10-15 2023-09-13 株式会社デンソーテン Abnormality determination device and abnormality determination method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03235027A (en) * 1990-02-09 1991-10-21 Toshiba Corp Abnormality detecting apparatus
JPH05159185A (en) * 1991-12-02 1993-06-25 Toshiba Corp Power generation plant monitoring data compression and preservation method
JPH10268905A (en) * 1997-03-24 1998-10-09 Tokai Rubber Ind Ltd Adaptive control method for cyclic signal
JPH1185212A (en) * 1997-09-10 1999-03-30 Tokai Rubber Ind Ltd Adaptive control method for periodic signal
WO2010041447A1 (en) * 2008-10-09 2010-04-15 日本電気株式会社 Failure detection system, failure detection method, and medium containing failure detection program
JP2013205048A (en) * 2012-03-27 2013-10-07 Tokyo Metropolitan Sewerage Service Corp Method for diagnosing soundness of rotary machine
JP2017090606A (en) * 2015-11-09 2017-05-25 日本電信電話株式会社 Abnormal sound detection device, abnormal sound detection learning device, method thereof, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03235027A (en) * 1990-02-09 1991-10-21 Toshiba Corp Abnormality detecting apparatus
JPH05159185A (en) * 1991-12-02 1993-06-25 Toshiba Corp Power generation plant monitoring data compression and preservation method
JPH10268905A (en) * 1997-03-24 1998-10-09 Tokai Rubber Ind Ltd Adaptive control method for cyclic signal
JPH1185212A (en) * 1997-09-10 1999-03-30 Tokai Rubber Ind Ltd Adaptive control method for periodic signal
WO2010041447A1 (en) * 2008-10-09 2010-04-15 日本電気株式会社 Failure detection system, failure detection method, and medium containing failure detection program
JP2013205048A (en) * 2012-03-27 2013-10-07 Tokyo Metropolitan Sewerage Service Corp Method for diagnosing soundness of rotary machine
JP2017090606A (en) * 2015-11-09 2017-05-25 日本電信電話株式会社 Abnormal sound detection device, abnormal sound detection learning device, method thereof, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457906A (en) * 2019-08-15 2019-11-15 国家电网公司华东分部 A kind of network safety event intelligent alarm method
CN110457906B (en) * 2019-08-15 2023-03-31 国家电网公司华东分部 Intelligent alarm method for network security event
JP7344078B2 (en) 2019-10-15 2023-09-13 株式会社デンソーテン Abnormality determination device and abnormality determination method
JP2021089463A (en) * 2019-12-02 2021-06-10 Kddi株式会社 Abnormal value detection device, abnormal value detection method and abnormal value detection program
JP7324131B2 (en) 2019-12-02 2023-08-09 Kddi株式会社 Abnormal value detection device, abnormal value detection method, and abnormal value detection program
WO2023120438A1 (en) * 2021-12-20 2023-06-29 国立大学法人 東京大学 Information processing system, information processing method, and program

Also Published As

Publication number Publication date
JP6943067B2 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
US20210326728A1 (en) Anomaly detection apparatus, anomaly detection method, and program
JP6943067B2 (en) Abnormal sound detection device, abnormality detection device, program
US7013047B2 (en) System and method for performing edge detection in an image
JP6881207B2 (en) Learning device, program
WO2020208444A1 (en) Fairness improvement through reinforcement learning
WO2019160003A1 (en) Model learning device, model learning method, and program
CN116560895B (en) Fault diagnosis method for mechanical equipment
CN112200296A (en) Network model quantification method and device, storage medium and electronic equipment
WO2019159915A1 (en) Model learning device, model learning method, and program
CN114219306A (en) Method, apparatus, medium, and program product for creating a weld quality detection model
CN114580263A (en) Knowledge graph-based information system fault prediction method and related equipment
US20230196109A1 (en) Non-transitory computer-readable recording medium for storing model generation program, model generation method, and model generation device
CN113822144A (en) Target detection method and device, computer equipment and storage medium
Tan et al. Grading your models: Assessing dynamics learning of models using persistent homology
WO2020173270A1 (en) Method and device used for parsing data and computer storage medium
CN116090536A (en) Neural network optimization method, device, computer equipment and storage medium
US20210248847A1 (en) Storage medium storing anomaly detection program, anomaly detection method, and anomaly detection apparatus
US20220300800A1 (en) Techniques for adaptive generation and visualization of quantized neural networks
CN114202224A (en) Method, apparatus, medium, and program product for detecting weld quality in a production environment
JP2023520313A (en) Generating Performance Forecasts with Uncertainty Intervals
JP7231027B2 (en) Anomaly degree estimation device, anomaly degree estimation method, program
JP7226568B2 (en) Neural network learning device, neural network learning method, program
US20230289660A1 (en) Data processing method and electronic device
US20220300801A1 (en) Techniques for adaptive generation and visualization of quantized neural networks
CN117131348B (en) Data quality analysis method and system based on differential convolution characteristics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R150 Certificate of patent or registration of utility model

Ref document number: 6943067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150