JP2019185580A - Device and method for detecting abnormality - Google Patents

Device and method for detecting abnormality Download PDF

Info

Publication number
JP2019185580A
JP2019185580A JP2018078212A JP2018078212A JP2019185580A JP 2019185580 A JP2019185580 A JP 2019185580A JP 2018078212 A JP2018078212 A JP 2018078212A JP 2018078212 A JP2018078212 A JP 2018078212A JP 2019185580 A JP2019185580 A JP 2019185580A
Authority
JP
Japan
Prior art keywords
dimensional
feature amount
unit
neural network
setting information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018078212A
Other languages
Japanese (ja)
Inventor
貴弘 茂木
Takahiro Mogi
貴弘 茂木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2018078212A priority Critical patent/JP2019185580A/en
Publication of JP2019185580A publication Critical patent/JP2019185580A/en
Pending legal-status Critical Current

Links

Abstract

To provide a device and a method for detecting an abnormality which can detect an abnormality by automatically learning and acquiring a feature amount even if the device has only a relatively low computing capability.SOLUTION: An abnormality detector 1 includes: a one-dimensional signal acquisition unit 2 for acquiring a one-dimensional signal as a one-dimensional time-series signal from a monitoring target; a learning unit 5 for calculating a feature amount of the one-dimensional signal by making a one-dimensional CNN having a one-dimensional folding layer learned with the acquired one-dimensional signal as an input, and outputting setting information for constructing the one-dimensional CNN so as to classify the one-dimensional signal according to the feature amount and detect an abnormality in the monitoring target; a feature amount setting storage unit 61 and a classifier setting storage unit 62 for storing setting information; and a detection unit 6 for detecting an abnormality in the monitoring target by inputting an unknown one-dimensional signal into the one-dimensional CNN constructed on the basis of the setting information stored in the feature amount setting storage unit 61 and the classifier setting storage unit 62.SELECTED DRAWING: Figure 1

Description

本発明は、異常検出装置および方法に関し、特に一次元の時系列信号を用いた異常検出技術に関する。   The present invention relates to an anomaly detection apparatus and method, and more particularly to an anomaly detection technique using a one-dimensional time series signal.

工場やプラントの生産設備では、安全操業や安定品質で生産を行うために、設備内に配置されたセンサなどで計測した温度や圧力、流量、調節弁の開度、振動、トルクなどのセンサデータを制御および監視している。これらのセンサデータは一次元の時系列信号であり、従来からこのような一次元の時系列信号の異常を検出する手法が各種提案されている。   In factory and plant production equipment, sensor data such as temperature, pressure, flow rate, control valve opening, vibration, torque, etc. measured by sensors placed in the equipment for safe operation and stable quality production. Control and monitor. These sensor data are one-dimensional time-series signals, and various methods for detecting such abnormal one-dimensional time-series signals have been proposed.

一次元の時系列信号(以下、「一次元信号」という。)の異常を検出する従来の手法は多種多様あるが、一般的には、従来の異常検出装置において以下のような手順が用いられる。   There are various conventional methods for detecting an abnormality in a one-dimensional time-series signal (hereinafter referred to as “one-dimensional signal”). Generally, the following procedure is used in a conventional abnormality detection apparatus. .

まず、異常検出装置がセンサから一次元信号を取得する。異常検出装置は、異常検出の精度を高めるために、取得した一次元信号に対して信号振幅の正規化やフィルタリングなどの前処理を施す。その後、異常検出装置は、前処理された一次元信号から予め設定された特徴量を計算する。特徴量は複数算出される場合もある。そして、異常検出装置は、その特徴量に基づいて、入力された一次元データが正常か異常かを分類する。   First, the abnormality detection device acquires a one-dimensional signal from the sensor. The abnormality detection apparatus performs preprocessing such as signal amplitude normalization and filtering on the acquired one-dimensional signal in order to increase the accuracy of abnormality detection. Thereafter, the abnormality detection device calculates a preset feature value from the preprocessed one-dimensional signal. A plurality of feature quantities may be calculated. Then, the abnormality detection device classifies whether the input one-dimensional data is normal or abnormal based on the feature amount.

ここで、従来の異常検出装置における特徴量は、異常検出装置の設計者の知見に基づいて設計や選択がされる指標値であり、例えば、一次元データの振幅や周波数成分、位相またはこれらの組み合わせで演算される指標値が特徴量として用いられてきた。   Here, the feature amount in the conventional abnormality detection device is an index value that is designed or selected based on the knowledge of the designer of the abnormality detection device, for example, the amplitude, frequency component, phase of these one-dimensional data, or these Index values calculated in combination have been used as feature quantities.

また、特徴量に基づいて一次元信号の異常と正常とを分類する別の従来の異常検出装置では、予め設計者が決めた閾値に基づいて分類を行う手法や、統計的検定による手法などが用いられている。例えば、特許文献1は、予め設計者が信号を時間周波数分析して算出した特徴量に基づいて、全結合層のみを持つニューラルネットワークにより分類処理のみを自動で機械学習させる異常検出技術を開示している。   In addition, another conventional abnormality detection device that classifies abnormalities and normality of a one-dimensional signal based on a feature amount includes a method of performing classification based on a threshold value determined in advance by a designer, a method using a statistical test, and the like. It is used. For example, Patent Document 1 discloses an anomaly detection technique in which only a classification process is automatically machine-learned by a neural network having only a fully connected layer based on a feature amount calculated by a designer by performing time-frequency analysis on a signal in advance. ing.

一方で、近年における二次元画像の研究分野では、深層学習を利用した畳み込みニューラルネットワーク(以下、「CNN」という。)による分析技術が成果を挙げている。畳み込み層と全結合層とを有するCNNを用いることで、二次元画像の特徴量を自動で学習および獲得し、分類を行うことができることは良く知られている(例えば、非特許文献1参照)。   On the other hand, in the research field of two-dimensional images in recent years, an analysis technique using a convolutional neural network (hereinafter referred to as “CNN”) using deep learning has been successful. It is well known that by using a CNN having a convolution layer and a fully connected layer, it is possible to automatically learn and acquire a feature quantity of a two-dimensional image and perform classification (for example, see Non-Patent Document 1). .

上記のような二次元信号処理を行うCNNを用いて、一次元データが正常であるか異常であるかなどの分類を行う場合、分類対象の一次元データを二次元信号へ拡張してCNNへ入力し、入力信号の分類ができるよう機械学習させることが行われている。より詳細には、一次元の時系列信号を短時間フーリエ変換してスペクトログラムとして二次元信号へ変換することで、一次元データを二次元画像と同様に分析することが行われている。   When the CNN that performs the two-dimensional signal processing as described above is used to classify whether the one-dimensional data is normal or abnormal, the one-dimensional data to be classified is expanded to a two-dimensional signal and converted to the CNN. Machine learning is performed so that input signals can be classified. More specifically, one-dimensional data is analyzed in the same manner as a two-dimensional image by performing a short-time Fourier transform on a one-dimensional time series signal and converting it into a two-dimensional signal as a spectrogram.

例えば、非特許文献2は、楽器音である一次元データをスペクトログラムへ変換し、畳み込み層と全結合層を有するCNNへ入力することで、楽器の分類を行った事例を報告している。   For example, Non-Patent Document 2 reports an example in which musical instruments are classified by converting one-dimensional data, which is a musical instrument sound, into a spectrogram and inputting it to a CNN having a convolutional layer and a fully connected layer.

ここで、従来の一次元信号を二次元信号へ変換してCNNの入力信号とする異常検出装置の動作例を図16および図17に示す。従来の異常検出装置の動作は、図16に示す学習処理と、図17に示す検出処理とに大別される。まず、図16の学習処理においては、予め正常と異常とが分類され、ラベル付けされた多量の一次元信号群(教師データ)を用いてCNNの学習を行う。   Here, FIG. 16 and FIG. 17 show an operation example of the abnormality detection apparatus that converts a conventional one-dimensional signal into a two-dimensional signal and uses it as an input signal of the CNN. The operation of the conventional abnormality detection apparatus is roughly divided into a learning process shown in FIG. 16 and a detection process shown in FIG. First, in the learning process of FIG. 16, CNN learning is performed using a large amount of one-dimensional signal groups (teacher data) that are classified in advance as normal and abnormal and labeled.

より詳細には、従来例の異常検出装置は、まず、予め正常と異常とを分類しラベル付けされた一次元信号群を監視対象から取得する(ステップS500)。次に、取得された一次元信号は、ノイズの除去などの前処理が施される(ステップS501)。その後、一次元信号は短時間フーリエ変換により二次元信号へ変換される(ステップS502)。二次元信号へ変換された信号は、CNNへ入力され、順伝搬処理が行われる(ステップS503)。   More specifically, the conventional abnormality detection apparatus first acquires a one-dimensional signal group that is classified and labeled as normal and abnormal in advance from the monitoring target (step S500). Next, the acquired one-dimensional signal is subjected to preprocessing such as noise removal (step S501). Thereafter, the one-dimensional signal is converted into a two-dimensional signal by short-time Fourier transform (step S502). The signal converted into the two-dimensional signal is input to the CNN, and forward propagation processing is performed (step S503).

次に、CNNの出力に対して、損失関数による誤差が導出され(ステップS504)、誤差が十分に小さくなるまで(ステップS505:NO)CNN誤差逆伝搬処理が繰り返し行われる(ステップS506、S503、S504、S505)。そして、CNNの学習によって決定された重みパラメータが所定の記憶領域に記憶される(ステップS507)。   Next, an error due to the loss function is derived with respect to the output of the CNN (step S504), and the CNN error back-propagation process is repeatedly performed until the error becomes sufficiently small (step S505: NO) (steps S506, S503, S504, S505). Then, the weight parameter determined by CNN learning is stored in a predetermined storage area (step S507).

上記の手順により学習を行った後、従来例の異常検出装置は、図17に示すように、ラベルが付されていない未知の一次元信号を取得する(ステップS510)。その後、取得された一次元信号のノイズ除去などの前処理を行い(ステップS511)、同様に、一次元信号を二次元信号に変換する(ステップS512)。   After learning by the above procedure, the conventional abnormality detection apparatus acquires an unknown one-dimensional signal that is not labeled as shown in FIG. 17 (step S510). Thereafter, preprocessing such as noise removal of the acquired one-dimensional signal is performed (step S511), and similarly, the one-dimensional signal is converted into a two-dimensional signal (step S512).

次に、二次元化された信号が、学習済みのCNNに入力されて順伝搬処理が行われる(ステップS513)。その後、異常検出装置は、学習済みのCNNによって二次元信号に拡張された一次元信号が正常か異常かを示す分類結果を出力する(ステップS514)。   Next, the two-dimensional signal is input to the learned CNN and forward propagation processing is performed (step S513). Thereafter, the abnormality detection device outputs a classification result indicating whether the one-dimensional signal expanded into a two-dimensional signal by the learned CNN is normal or abnormal (step S514).

特許第6033140号公報Japanese Patent No. 6033140

松尾 豊 著「人工知能は人間を超えるか ディープラーニングの先にあるもの」,角川EPUB選書,2015年3月発行Yutaka Matsuo "Artificial intelligence surpasses human beings or something beyond deep learning", published by Kadokawa EPUB, March 2015 Vincent Lostanlen and Carmine−Emanuele Cella:“DEEP CONVOLUTIONAL NETWORKS ON THE PITCH SPIRAL FOR MUSICAL INSTRUMENT RECOGNITION”,ISMIR2016Vincent Lostren and Carmine-Emanuel Cella: “DEEP CONVOLUTIONAL NETWORKS ON THE PITCH SPIRAL FOR MUSICAL INSTRUMENT RECOGNITION”, ISMIR 2016 三村 正人 著「深層学習に基づくフロントエンド特徴強調と頑健な音声認識」,日本音響学会誌 73巻1号,pp.47−54(2017)Masato Mimura, “Front-end feature enhancement and robust speech recognition based on deep learning”, Journal of the Acoustical Society of Japan, Vol. 73, No. 1, pp. 47-54 (2017)

しかし、従来の異常検出技術では、CNNへ信号を入力するごとに一次元信号を二次元信号へ変換する必要があるため、計算コストが高くなっていた。そのため、計算能力の比較的低い現場機器などの機器において、異常検出装置を実装して運用することが困難であった。   However, in the conventional abnormality detection technique, since it is necessary to convert a one-dimensional signal into a two-dimensional signal every time a signal is input to the CNN, the calculation cost is high. For this reason, it has been difficult to implement and operate an abnormality detection device in equipment such as field equipment having a relatively low calculation capability.

本発明は、上述した課題を解決するためになされたものであり、計算能力が比較的低い機器においても、特徴量を自動で学習および獲得して異常を検出することができる異常検出装置および方法を提供することを目的とする。   The present invention has been made to solve the above-described problems, and an abnormality detection apparatus and method capable of detecting an abnormality by automatically learning and acquiring a feature amount even in a device having a relatively low calculation capability. The purpose is to provide.

上述した課題を解決するために、本発明に係る異常検出装置は、一次元の時系列信号である一次元データを監視対象から取得する信号取得部と、取得された前記一次元データを入力として、ニューラルネットワークを学習させて、前記一次元データの特徴量を算出し、前記特徴量に基づいて前記一次元データを分類して前記監視対象の異常を検出するように、前記ニューラルネットワークを構築するための設定情報を出力する学習部と、前記設定情報を記憶する記憶部と、前記記憶部に記憶された前記設定情報に基づいて構築された前記ニューラルネットワークに、前記監視対象から新たに取得された一次元の時系列信号である未知の一次元データを入力して、前記監視対象の異常を検出する検出部と、を備え、前記ニューラルネットワークは、前記一次元データに対して一次元の畳み込みを行う一次元畳み込み層を含むことを特徴とする。   In order to solve the above-described problem, an abnormality detection device according to the present invention includes a signal acquisition unit that acquires one-dimensional data that is a one-dimensional time-series signal from a monitoring target, and the acquired one-dimensional data as an input. The neural network is constructed to learn a neural network, calculate a feature quantity of the one-dimensional data, classify the one-dimensional data based on the feature quantity, and detect an abnormality of the monitoring target. A learning unit that outputs setting information for the storage, a storage unit that stores the setting information, and the neural network that is constructed based on the setting information stored in the storage unit is newly acquired from the monitoring target A detecting unit that inputs unknown one-dimensional data that is a one-dimensional time series signal and detects an abnormality of the monitoring target, and the neural network , Characterized in that it comprises a one-dimensional convolution layer that performs convolution of a one-dimensional to the one-dimensional data.

また、本発明に係る異常検出装置において、前記学習部は、前記一次元データの特徴量を算出し、算出された前記特徴量に基づいて、前記ニューラルネットワークを構築するための特徴量の設定情報を出力する特徴量学習部と、前記特徴量の設定情報を入力として前記一次元データを分類し、分類結果に基づいて、前記ニューラルネットワークを構築するための分類の設定情報を出力する分類器学習部と、を備え、前記記憶部は、前記特徴量の設定情報と前記分類の設定情報とを記憶し、前記検出部は、前記記憶部に記憶された前記特徴量の設定情報に基づいて、未知の前記一次元データの特徴量を算出する特徴量算出部と、前記記憶部に記憶された前記分類の設定情報に基づき、前記特徴量算出部により算出された前記特徴量を入力として、未知の前記一次元データの分類を行い異常を検出する分類部とを備えていてもよい。   In the abnormality detection apparatus according to the present invention, the learning unit calculates feature values of the one-dimensional data, and sets feature value setting information for constructing the neural network based on the calculated feature values. And a classifier learning that classifies the one-dimensional data with the feature quantity setting information as input and outputs classification setting information for constructing the neural network based on the classification result. And the storage unit stores the feature amount setting information and the classification setting information, and the detection unit is based on the feature amount setting information stored in the storage unit, Based on the setting information of the classification stored in the storage unit, the feature amount calculated by the feature amount calculation unit based on the feature amount calculation unit that calculates the feature amount of the unknown one-dimensional data as input Or may be a classifying unit for detecting an abnormality performs classification of unknown said one-dimensional data.

また、本発明に係る異常検出装置において、前記ニューラルネットワークは、少なくとも一層の前記一次元畳み込み層と少なくとも一層の全結合層とを有していてもよい。   In the abnormality detection apparatus according to the present invention, the neural network may include at least one layer of the one-dimensional convolution layer and at least one layer of all coupling layers.

また、本発明に係る異常検出装置において、前記ニューラルネットワークは、前記一次元畳み込み層の出力を入力とする再帰型ニューラルネットワーク層をさらに有していてもよい。   In the abnormality detection apparatus according to the present invention, the neural network may further include a recursive neural network layer that receives the output of the one-dimensional convolutional layer as an input.

また、本発明に係る異常検出装置において、前記再帰型ニューラルネットワーク層は、LSTM層であってもよい。   In the anomaly detection device according to the present invention, the recursive neural network layer may be an LSTM layer.

また、本発明に係る異常検出方法は、一次元の時系列信号である一次元データを監視対象から取得する信号取得ステップと、取得した前記一次元データを入力として、ニューラルネットワークを学習させて、前記一次元データの特徴量を算出し、前記特徴量に基づいて前記一次元データを分類して前記監視対象の異常を検出するように、前記ニューラルネットワークを構築するための設定情報を出力する学習ステップと、記憶部に記憶された前記設定情報に基づいて構築された前記ニューラルネットワークに、前記監視対象から新たに取得された一次元の時系列信号である未知の一次元データを入力して、前記監視対象の異常を検出する検出ステップと、を備え、前記ニューラルネットワークは、前記一次元データに対して一次元の畳み込みを行う一次元畳み込み層を含むことを特徴とする。   In addition, the abnormality detection method according to the present invention includes a signal acquisition step of acquiring one-dimensional data that is a one-dimensional time series signal from a monitoring target, and learning the neural network using the acquired one-dimensional data as an input, Learning that calculates feature values of the one-dimensional data and outputs setting information for constructing the neural network so as to classify the one-dimensional data based on the feature values and detect an abnormality of the monitoring target Step, and input to the neural network constructed based on the setting information stored in the storage unit, unknown one-dimensional data that is a one-dimensional time-series signal newly acquired from the monitoring target, A detection step of detecting an abnormality of the monitoring target, wherein the neural network performs a one-dimensional convolution on the one-dimensional data. Characterized in that it comprises a one-dimensional convolution layer for.

また、本発明に係る異常検出方法において、前記学習ステップは、前記一次元データの特徴量を算出し、算出された前記特徴量に基づいて、前記ニューラルネットワークを構築するための特徴量の設定情報を出力する特徴量学習ステップと、前記特徴量の設定情報を入力として前記一次元データを分類し、分類結果に基づいて、前記ニューラルネットワークを構築するための分類の設定情報を出力する分類器学習ステップと、を備え、前記検出ステップは、前記記憶部に記憶された前記特徴量の設定情報に基づいて、未知の前記一次元データの特徴量を算出する特徴量算出ステップと、前記記憶部に記憶された前記分類の設定情報に基づき、前記特徴量算出ステップで算出された前記特徴量を入力として、未知の前記一次元データの分類を行い異常を検出する分類ステップとを備えていてもよい。   In the abnormality detection method according to the present invention, the learning step calculates a feature amount of the one-dimensional data, and sets feature amount setting information for constructing the neural network based on the calculated feature amount. And a classifier learning that classifies the one-dimensional data using the feature quantity setting information as input and outputs classification setting information for constructing the neural network based on a classification result. A step of calculating a feature amount of the unknown one-dimensional data based on the setting information of the feature amount stored in the storage unit, and a step of storing the feature amount in the storage unit. Based on the stored setting information of the classification, the feature quantity calculated in the feature quantity calculation step is used as an input to classify the unknown one-dimensional data. It may comprise a classification step for detecting an abnormality.

また、本発明に係る異常検出方法において、前記ニューラルネットワークは、前記一次元畳み込み層の出力を入力とする再帰型ニューラルネットワーク層をさらに有していてもよい。   In the abnormality detection method according to the present invention, the neural network may further include a recursive neural network layer that receives the output of the one-dimensional convolutional layer as an input.

また、本発明に係る異常検出方法において、前記再帰型ニューラルネットワーク層は、LSTM層であってもよい。   In the abnormality detection method according to the present invention, the recursive neural network layer may be an LSTM layer.

本発明によれば、一次元信号のままで処理を行う一次元CNNを利用するので、計算能力が比較的低い機器であっても、特徴量を自動で学習および獲得して異常の有無を検出することができる。   According to the present invention, since a one-dimensional CNN that performs processing with a one-dimensional signal is used, even if the device has a relatively low calculation capability, feature quantities are automatically learned and acquired to detect the presence or absence of an abnormality. can do.

図1は、本発明の第1の実施の形態に係る異常検出装置の機能構成を示すブロック図である。FIG. 1 is a block diagram showing a functional configuration of the abnormality detection apparatus according to the first embodiment of the present invention. 図2は、本発明の第1の実施の形態に係る異常検出装置のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing a hardware configuration of the abnormality detection apparatus according to the first embodiment of the present invention. 図3は、本発明の第1の実施の形態に係る異常検出装置で用いられる一次元CNNの構成を説明する図である。FIG. 3 is a diagram for explaining the configuration of the one-dimensional CNN used in the abnormality detection apparatus according to the first embodiment of the present invention. 図4は、本発明の第1の実施の形態に係る異常検出装置で用いられる一次元CNNの演算を説明する図である。FIG. 4 is a diagram for explaining the calculation of the one-dimensional CNN used in the abnormality detection apparatus according to the first embodiment of the present invention. 図5は、本発明の第1の実施の形態に係る異常検出装置の学習処理を説明するフローチャートである。FIG. 5 is a flowchart for explaining the learning process of the abnormality detection device according to the first embodiment of the present invention. 図6は、本発明の第1の実施の形態に係る異常検出装置の検出処理を説明するフローチャートである。FIG. 6 is a flowchart for explaining detection processing of the abnormality detection device according to the first embodiment of the present invention. 図7は、本発明の第2の実施の形態に係る異常検出装置の機能構成を示すブロック図である。FIG. 7 is a block diagram showing a functional configuration of the abnormality detection apparatus according to the second embodiment of the present invention. 図8は、本発明の第2の実施の形態に係る異常検出装置で用いられる一次元CNNの構成を説明する図である。FIG. 8 is a diagram for explaining the configuration of a one-dimensional CNN used in the abnormality detection apparatus according to the second embodiment of the present invention. 図9は、本発明の第2の実施の形態に係るLSTM層を説明するためのブロック図である。FIG. 9 is a block diagram for explaining an LSTM layer according to the second embodiment of the present invention. 図10は、本発明の第2の実施の形態に係る異常検出装置の学習処理を説明するフローチャートである。FIG. 10 is a flowchart for explaining a learning process of the abnormality detection device according to the second embodiment of the present invention. 図11は、本発明の第2の実施の形態に係る異常検出装置の検出処理を説明するフローチャートである。FIG. 11 is a flowchart for explaining detection processing of the abnormality detection device according to the second embodiment of the present invention. 図12は、本発明の実施の形態に係る一次元信号の具体例を示す図である。FIG. 12 is a diagram showing a specific example of the one-dimensional signal according to the embodiment of the present invention. 図13は、本発明の実施の形態に係る一次元信号の具体例を示す図である。FIG. 13 is a diagram showing a specific example of the one-dimensional signal according to the embodiment of the present invention. 図14は、本発明の実施の形態に係る異常検出装置の効果を説明する図である。FIG. 14 is a diagram for explaining the effect of the abnormality detection device according to the embodiment of the present invention. 図15は、本発明の実施の形態に係る異常検出装置の効果を説明する図である。FIG. 15 is a diagram for explaining the effect of the abnormality detection device according to the embodiment of the present invention. 図16は、従来の異常検出装置による学習処理を説明するフローチャートである。FIG. 16 is a flowchart illustrating a learning process performed by a conventional abnormality detection device. 図17は、従来の異常検出装置による検出処理を説明するフローチャートである。FIG. 17 is a flowchart for explaining detection processing by a conventional abnormality detection device.

以下、本発明の好適な実施の形態について、図1から図15を参照して詳細に説明する。各図について共通する構成要素には、同一の符号が付されている。   Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to FIGS. Constituent elements common to the drawings are given the same reference numerals.

[発明の原理]
本発明に係る異常検出装置は、異常検出の対象である一次元信号(一次元データ)を、二次元信号に変換する処理を行わずに直接ニューラルネットワークに入力し、さらに一次元で処理を行うことができる構成を用いる。
[Principle of the Invention]
The abnormality detection apparatus according to the present invention inputs a one-dimensional signal (one-dimensional data) that is an object of abnormality detection directly into a neural network without performing a process of converting it into a two-dimensional signal, and further performs a one-dimensional process. Use a configuration that can.

前述したように、ニューラルネットワークのなかでもCNNは画像などの二次元信号の分析に広く利用されている。CNNは二次元信号だけでなく一次元信号の分析にも適用可能である。このことから、本発明に係る異常検出装置では、一次元信号の入力および処理が可能なCNNに着目する。   As described above, among neural networks, CNN is widely used for analyzing two-dimensional signals such as images. CNN is applicable not only to two-dimensional signals but also to analysis of one-dimensional signals. For this reason, in the abnormality detection device according to the present invention, attention is paid to CNN capable of inputting and processing a one-dimensional signal.

また、前述したように、従来においては、監視対象から取得される信号が一次元信号であっても、一次元信号を二次元信号へ拡張することで、二次元で処理を行うCNNに適用していた。これに対し、本発明に係る異常検出装置に用いられるCNNは、監視対象から取得される一次元信号を一次元のまま入力信号とし、かつ一次元信号として処理する点に特徴がある。以下において、画像データなどの二次元信号を二次元処理するCNNと区別して、上記のような一次元処理を行うCNNを「一次元CNN」という。   In addition, as described above, conventionally, even if a signal acquired from a monitoring target is a one-dimensional signal, it is applied to a CNN that performs processing in two dimensions by extending the one-dimensional signal to a two-dimensional signal. It was. On the other hand, the CNN used in the abnormality detection device according to the present invention is characterized in that a one-dimensional signal acquired from a monitoring target is input as a one-dimensional signal and processed as a one-dimensional signal. Hereinafter, a CNN that performs one-dimensional processing as described above is referred to as “one-dimensional CNN”, as distinguished from CNN that performs two-dimensional processing of two-dimensional signals such as image data.

[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る異常検出装置1の機能構成を示すブロック図である。
[First Embodiment]
FIG. 1 is a block diagram showing a functional configuration of an abnormality detection apparatus 1 according to the first embodiment of the present invention.

[異常検出装置の機能ブロック]
異常検出装置1は、一次元信号取得部(信号取得部)2、一次元信号記憶部3、一次元信号前処理部4、学習部5、および検出部6を備える。異常検出装置1は、その機能を大きく分けると、学習部5と検出部6とに大別される。
[Function block of abnormality detection device]
The abnormality detection device 1 includes a one-dimensional signal acquisition unit (signal acquisition unit) 2, a one-dimensional signal storage unit 3, a one-dimensional signal preprocessing unit 4, a learning unit 5, and a detection unit 6. The abnormality detection device 1 is roughly divided into a learning unit 5 and a detection unit 6 when their functions are roughly divided.

学習部5は、一次元信号を入力として、一次元CNNの学習を行い、一次元信号の特徴量を算出し、その特徴量に基づいて一次元信号を分類し、監視対象の異常を検出するように、一次元CNNを構築するための設定情報を出力する。   The learning unit 5 receives the one-dimensional signal, learns the one-dimensional CNN, calculates the feature quantity of the one-dimensional signal, classifies the one-dimensional signal based on the feature quantity, and detects the abnormality to be monitored. Thus, setting information for constructing a one-dimensional CNN is output.

検出部6は、設定情報に基づいて構築された一次元CNNに、監視対象から新たに取得された未知の一次元信号を入力して、監視対象の異常を検出する。   The detection unit 6 inputs an unknown one-dimensional signal newly acquired from the monitoring target to the one-dimensional CNN constructed based on the setting information, and detects an abnormality of the monitoring target.

一次元信号取得部2は、振動信号や圧力信号などの一次元の時系列信号を、例えば、ネットワーク通信などの電子的手段で監視対象から取得する。一次元信号取得部2は、学習部5が学習を行う際に用いる学習用の一次元信号、すなわち、異常または正常のラベル付けされた一次元信号を取得する。また、一次元信号取得部2は、検出部6が異常を検出する対象である未知の一次元信号を監視対象から取得する。なお、一次元信号取得部2は、複数のセンサから多チャネルで時系列の一次元信号を取得してもよい。   The one-dimensional signal acquisition unit 2 acquires a one-dimensional time-series signal such as a vibration signal or a pressure signal from a monitoring target using electronic means such as network communication. The one-dimensional signal acquisition unit 2 acquires a one-dimensional signal for learning used when the learning unit 5 performs learning, that is, a one-dimensional signal labeled as abnormal or normal. In addition, the one-dimensional signal acquisition unit 2 acquires an unknown one-dimensional signal from which the detection unit 6 detects an abnormality from the monitoring target. Note that the one-dimensional signal acquisition unit 2 may acquire a time-series one-dimensional signal with multiple channels from a plurality of sensors.

一次元信号記憶部3は、一次元信号取得部2によって取得された一次元信号を一時的に記憶する。より詳細には、一次元信号記憶部3は、学習用に取得され、ラベル付けされた一次元信号、および異常検出の対象であるラベル付けされていない未知の一次元信号をそれぞれ一時的に記憶する。なお、一次元信号記憶部3は、一次元信号を一定区間切り出して記憶する。   The one-dimensional signal storage unit 3 temporarily stores the one-dimensional signal acquired by the one-dimensional signal acquisition unit 2. More specifically, the one-dimensional signal storage unit 3 temporarily stores a labeled one-dimensional signal acquired for learning and an unlabeled unknown one-dimensional signal that is an abnormality detection target. To do. The one-dimensional signal storage unit 3 cuts out a one-dimensional signal and stores it.

一次元信号前処理部4は、一次元信号記憶部3に記憶されている一次元信号に対する振幅正規化や定常ノイズを取り除くフィルタリングなどの処理を行う。なお、一次元信号の前処理は必要に応じて実施すればよく、一次元信号前処理部4を省略する構成を採用してもよい。   The one-dimensional signal preprocessing unit 4 performs processing such as amplitude normalization on the one-dimensional signal stored in the one-dimensional signal storage unit 3 and filtering for removing stationary noise. In addition, what is necessary is just to implement pre-processing of a one-dimensional signal as needed, and the structure which abbreviate | omits the one-dimensional signal pre-processing part 4 may be employ | adopted.

学習部5は、特徴量学習部51および分類器学習部52を備える。
学習部5は、一次元信号取得部2によって取得された多数の一次元信号を学習し、検出部6が未知の一次元信号を正しく分類できるように、一次元CNNの演算内容を決定する。
The learning unit 5 includes a feature amount learning unit 51 and a classifier learning unit 52.
The learning unit 5 learns a large number of one-dimensional signals acquired by the one-dimensional signal acquisition unit 2, and determines the calculation contents of the one-dimensional CNN so that the detection unit 6 can correctly classify unknown one-dimensional signals.

特徴量学習部51は、一次元信号の特徴量を算出し、算出された特徴量に基づいて、一次元CNNを構築するための特徴量の設定情報を出力する。したがって、特徴量学習部51は、一次元信号の特徴量の算出方法を学習する機能を有する。   The feature amount learning unit 51 calculates a feature amount of a one-dimensional signal, and outputs feature amount setting information for constructing a one-dimensional CNN based on the calculated feature amount. Therefore, the feature amount learning unit 51 has a function of learning a method for calculating a feature amount of a one-dimensional signal.

より詳細には、特徴量学習部51は、学習用の一次元信号に基づいて一次元CNNの学習を行う。特徴量学習部51は、一次元CNNの畳み込み層(一次元畳み込み層)により構成される。特徴量学習部51の学習によって得られた一次元信号の特徴量の算出方法である特徴量の設定情報は、後述する検出部6の特徴量設定記憶部61に記憶される。   More specifically, the feature amount learning unit 51 performs one-dimensional CNN learning based on a one-dimensional signal for learning. The feature quantity learning unit 51 includes a one-dimensional CNN convolution layer (one-dimensional convolution layer). Feature amount setting information, which is a method for calculating the feature amount of the one-dimensional signal obtained by the learning of the feature amount learning unit 51, is stored in a feature amount setting storage unit 61 of the detection unit 6 described later.

分類器学習部52は、特徴量の設定情報を入力として、一次元信号を分類し、分類結果に基づいて一次元CNNを構築するための分類器の設定情報(分類の設定情報)を出力する。より詳細には、分類器学習部52は、特徴量学習部51で算出された一次元信号の特徴量を入力として、一次元信号における正常と異常とを分類する方法、すなわち分類器を教師あり学習で学習する。分類器学習部52は、一次元CNNにおける全結合層により構成される。分類器学習部52によって出力された分類器の設定情報は後述する検出部6の分類器設定記憶部62に記憶される。   The classifier learning unit 52 receives the feature amount setting information as input, classifies the one-dimensional signal, and outputs classifier setting information (classification setting information) for constructing the one-dimensional CNN based on the classification result. . More specifically, the classifier learning unit 52 receives the feature quantity of the one-dimensional signal calculated by the feature quantity learning unit 51 as an input, and classifies normality and abnormality in the one-dimensional signal, that is, the classifier is supervised. Learn by learning. The classifier learning unit 52 is configured by a fully connected layer in the one-dimensional CNN. The classifier setting information output by the classifier learning unit 52 is stored in a classifier setting storage unit 62 of the detection unit 6 described later.

検出部6は、特徴量設定記憶部61、分類器設定記憶部62、特徴量算出部63、分類部64、および出力部65を備える。
検出部6は、学習部5によって学習された一次元CNNの演算の設定情報に従って、未知の一次元信号が正常か異常かを分類して一次元信号の異常を検出する。
The detection unit 6 includes a feature amount setting storage unit 61, a classifier setting storage unit 62, a feature amount calculation unit 63, a classification unit 64, and an output unit 65.
The detection unit 6 classifies whether the unknown one-dimensional signal is normal or abnormal according to the setting information of the calculation of the one-dimensional CNN learned by the learning unit 5, and detects the abnormality of the one-dimensional signal.

特徴量設定記憶部61は、特徴量学習部51から出力される特徴量の設定情報を記憶する。より詳細には、特徴量設定記憶部61は、学習により決定された一次元CNNの畳み込み層における重みパラメータの値などを記憶する。   The feature amount setting storage unit 61 stores feature amount setting information output from the feature amount learning unit 51. More specifically, the feature value setting storage unit 61 stores weight parameter values and the like in the convolutional layer of the one-dimensional CNN determined by learning.

分類器設定記憶部62は、分類器学習部52から出力される分類器の設定情報を記憶する。より詳細には、分類器設定記憶部62は、学習により決定された一次元CNNの全結合層における重みなどのパラメータの値を記憶する。   The classifier setting storage unit 62 stores classifier setting information output from the classifier learning unit 52. More specifically, the classifier setting storage unit 62 stores the values of parameters such as weights in the all connected layers of the one-dimensional CNN determined by learning.

特徴量算出部63は、特徴量設定記憶部61に記憶された特徴量の設定情報に基づいて、未知の一次元信号の特徴量を算出する。より詳細には、特徴量算出部63は、特徴量設定記憶部61から学習済み一次元CNNの重みなどのパラメータの値を読み込んで、一次元CNNの畳み込み層の演算を行い、未知の一次元信号の特徴量を算出する。   The feature amount calculation unit 63 calculates the feature amount of the unknown one-dimensional signal based on the feature amount setting information stored in the feature amount setting storage unit 61. More specifically, the feature amount calculation unit 63 reads the value of a parameter such as the weight of the learned one-dimensional CNN from the feature amount setting storage unit 61, performs the calculation of the convolution layer of the one-dimensional CNN, and performs an unknown one-dimensional The feature amount of the signal is calculated.

分類部64は、分類器設定記憶部62に記憶された分類器の設定情報に基づいて、特徴量算出部63によって算出された特徴量を入力として、未知の一次元信号の分類を行い異常を検出する。より詳細には、分類部64は、特徴量算出部63によって算出された特徴量を入力として、分類器設定記憶部62から学習済みの一次元CNNの重みなどのパラメータの値を読み込んで、一次元CNNの全結合層の演算を行い、未知の一次元信号の分類を行う。   Based on the classifier setting information stored in the classifier setting storage unit 62, the classifying unit 64 inputs the feature quantity calculated by the feature quantity calculation unit 63 and classifies an unknown one-dimensional signal to detect an abnormality. To detect. More specifically, the classification unit 64 reads the value of a parameter such as a learned one-dimensional CNN weight from the classifier setting storage unit 62 using the feature amount calculated by the feature amount calculation unit 63 as an input, and performs primary processing. The calculation of all coupling layers of the original CNN is performed to classify unknown one-dimensional signals.

ここで、学習部5および検出部6は、同じ構造の畳み込み層と全結合層とを有する一次元CNNで構成され、互いに対応する機能である学習と検出とを行う。なお、本実施の形態で用いられる一次元CNNの構造についての詳細は後述する。   Here, the learning unit 5 and the detection unit 6 are configured by a one-dimensional CNN having a convolution layer and a fully connected layer having the same structure, and perform learning and detection, which are functions corresponding to each other. Details of the structure of the one-dimensional CNN used in this embodiment will be described later.

出力部65は、分類部64による一次元信号の分類結果を出力する。出力部65は、例えば、画面などに分類結果などの異常の有無を示す情報を表示したり、外部の記録装置や制御装置、監視装置へ分類結果を示す信号を送出してもよい。   The output unit 65 outputs the classification result of the one-dimensional signal by the classification unit 64. For example, the output unit 65 may display information indicating the presence / absence of an abnormality such as a classification result on a screen or the like, or may send a signal indicating the classification result to an external recording device, control device, or monitoring device.

[異常検出装置のハードウェア構成]
次に、上述した構成を有する異常検出装置1を実現するハードウェアの構成例について、図2を参照して説明する。
[Hardware configuration of abnormality detection device]
Next, a configuration example of hardware for realizing the abnormality detection apparatus 1 having the above-described configuration will be described with reference to FIG.

異常検出装置1は、バス101を介して接続されるCPU103と主記憶装置104とを有する演算装置102、通信制御装置105、センサ106、外部記憶装置107、表示装置108等を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。   The anomaly detection apparatus 1 includes a computer having a CPU 103 and a main storage device 104 connected via a bus 101, a communication control device 105, a sensor 106, an external storage device 107, a display device 108, etc., and these It can be realized by a program that controls the hardware resources.

CPU103と主記憶装置104とは、演算装置102を構成する。主記憶装置104には、CPU103が各種制御や演算を行うためのプログラムが予め格納されている。   The CPU 103 and the main storage device 104 constitute an arithmetic device 102. A program for the CPU 103 to perform various controls and calculations is stored in the main storage device 104 in advance.

通信制御装置105は、異常検出装置1と各種外部電子機器との間を通信ネットワークNWを介して接続するための制御装置である。通信制御装置105は、一次元信号の分類結果を、通信ネットワークNWを介して外部の機器などに送信してもよい。   The communication control device 105 is a control device for connecting the abnormality detection device 1 and various external electronic devices via a communication network NW. The communication control apparatus 105 may transmit the one-dimensional signal classification result to an external device or the like via the communication network NW.

センサ106は、温度や圧力、流量、調節弁の開度、振動、トルクなどの一次元信号を計測する温度計、圧力計、流量計などで構成される。センサ106で計測された一次元信号は、図1で説明した一次元信号取得部2によって取得される。なお、センサ106を一次元信号取得部2に含む構成を採用してもよい。   The sensor 106 includes a thermometer, a pressure gauge, a flow meter, and the like that measure one-dimensional signals such as temperature, pressure, flow rate, opening degree of the control valve, vibration, and torque. The one-dimensional signal measured by the sensor 106 is acquired by the one-dimensional signal acquisition unit 2 described with reference to FIG. A configuration including the sensor 106 in the one-dimensional signal acquisition unit 2 may be employed.

外部記憶装置107は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。外部記憶装置107には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。外部記憶装置107は、一次元信号記憶部107a、特徴量設定記憶部107b、分類器設定記憶部107c、プログラム格納部107d、図示しないその他の格納装置で、例えば、この外部記憶装置107内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。   The external storage device 107 includes a readable / writable storage medium and a drive device for reading / writing various information such as programs and data from / to the storage medium. For the external storage device 107, a semiconductor memory such as a hard disk or a flash memory can be used as a storage medium. The external storage device 107 is a one-dimensional signal storage unit 107a, a feature amount setting storage unit 107b, a classifier setting storage unit 107c, a program storage unit 107d, and other storage devices (not shown), for example, stored in the external storage device 107. It is possible to have a storage device or the like for backing up stored programs and data.

一次元信号記憶部107a、特徴量設定記憶部107b、および分類器設定記憶部107cは、それぞれ図1で説明した一次元信号記憶部3、特徴量設定記憶部61、分類器設定記憶部62に対応する。   The one-dimensional signal storage unit 107a, the feature amount setting storage unit 107b, and the classifier setting storage unit 107c are respectively included in the one-dimensional signal storage unit 3, the feature amount setting storage unit 61, and the classifier setting storage unit 62 described in FIG. Correspond.

プログラム格納部107dには、本実施の形態における一次元信号の前処理、学習処理、異常の検出処理など異常検出装置1が一次元信号の異常を検出する際に必要な演算処理を実行するための各種プログラムが格納されている。   The program storage unit 107d executes arithmetic processing necessary when the abnormality detection device 1 detects an abnormality in the one-dimensional signal, such as preprocessing, learning processing, and abnormality detection processing of the one-dimensional signal in the present embodiment. The various programs are stored.

表示装置108は、図1で説明した出力部65の表示画面を構成する。表示装置108は液晶ディスプレイなどによって実現される。   The display device 108 constitutes the display screen of the output unit 65 described with reference to FIG. The display device 108 is realized by a liquid crystal display or the like.

[一次元CNNの構成例]
次に、学習部5および検出部6に用いられる一次元CNNの構成例について図3を用いて説明する。
学習部5の特徴量学習部51は、図3に示すように、少なくとも1層の畳み込み層を有するニューラルネットワークで構成される。より好ましくは、特徴量学習部51は、図3に示すように、複数の畳み込み層のみを有するニューラルネットワークで構成される。畳み込み層は信号の特徴を抽出することに秀でていることから、図3に示すように、一次元信号を入力とした、ネットワークの前列に配置すればよい。
[One-dimensional CNN configuration example]
Next, a configuration example of the one-dimensional CNN used for the learning unit 5 and the detection unit 6 will be described with reference to FIG.
As shown in FIG. 3, the feature quantity learning unit 51 of the learning unit 5 includes a neural network having at least one convolutional layer. More preferably, the feature amount learning unit 51 is configured by a neural network having only a plurality of convolutional layers as shown in FIG. Since the convolutional layer is excellent in extracting signal features, as shown in FIG. 3, the convolutional layer may be arranged in the front row of the network using a one-dimensional signal as an input.

学習部5の分類器学習部52は、少なくとも1層のニューラルネットワークで構成される。より好ましくは、分類器学習部52は、図3に示すように、1層以上の全結合層のみを有するニューラルネットワークで構成される。   The classifier learning unit 52 of the learning unit 5 includes at least one layer of neural network. More preferably, the classifier learning unit 52 includes a neural network having only one or more fully connected layers as shown in FIG.

このように、畳み込み層と全結合層とを有する一次元CNNで構成される学習部5は、予め用意された、正常と異常とが分類されてラベル付けされた学習用の一次元信号を用いて教師あり学習を行い、分類誤りが最小となるように一次元CNN全体を対象に重みなどのパラメータの値を更新する。   As described above, the learning unit 5 composed of the one-dimensional CNN having the convolutional layer and the fully connected layer uses a one-dimensional learning signal that is prepared in advance and is labeled with normality and abnormality classified. Then, supervised learning is performed, and the values of parameters such as weights are updated for the entire one-dimensional CNN so that the classification error is minimized.

ここで、本実施の形態で用いる一次元CNNの原理について、畳み込み層のフィルタ数を1、フィルタのストライドを1とした場合について図4を用いて説明する。
図4に示すように、一次元CNNにおける畳み込み層1層分の順伝搬処理は次の式(1)で表される。
Here, the principle of the one-dimensional CNN used in this embodiment will be described with reference to FIG. 4 in the case where the number of filters in the convolution layer is 1 and the stride of the filter is 1.
As shown in FIG. 4, the forward propagation process for one convolutional layer in the one-dimensional CNN is expressed by the following equation (1).

ここで、一次元CNNの畳み込み層の入力信号X=[x0,x1,・・・]、出力信号H=[h0,h1,・・・]、フィルタ[w0,w1,・・・]、フィルタサイズn、バイアスbであり、上式(1)は入力信号のi番目の要素についての演算を示している。 Here, the input signal X = [x 0 , x 1 ,...] Of the convolutional layer of the one-dimensional CNN, the output signal H = [h 0 , h 1 ,...], The filter [w 0 , w 1 ,. ..], The filter size n, and the bias b, and the above equation (1) shows the calculation for the i-th element of the input signal.

フィルタのストライドが1のとき、逐次i+1番目の要素について計算することになる。一次元CNNにおいて畳み込み層を多層で構成する場合は、上式(1)の出力信号Hを次列の畳み込み層の入力信号として再度計算すればよい。このように、一次元CNNにおける畳み込み層の演算内容は、畳み込み演算を中心としていることがわかる。   When the filter stride is 1, the calculation is sequentially performed for the (i + 1) th element. When the convolutional layer is composed of multiple layers in the one-dimensional CNN, the output signal H of the above equation (1) may be calculated again as the input signal of the next convolutional layer. Thus, it can be seen that the calculation content of the convolution layer in the one-dimensional CNN is centered on the convolution calculation.

畳み込み演算は、周波数空間で考えれば、入力信号の周波数成分とフィルタの周波数成分の積となる性質がある。すなわち、入力信号を畳み込みフィルタの周波数成分で強調する効果が得られる。   The convolution operation has the property of being the product of the frequency component of the input signal and the frequency component of the filter when considered in the frequency space. That is, the effect of enhancing the input signal with the frequency component of the convolution filter can be obtained.

一次元CNNにおける畳み込み層の出力信号Hは、全結合層で分類される。全結合層1層分の順伝搬処理は、例えば、次の式(2)で表される。
Y=HW+B ・・・(2)
ここで、出力ベクトルY、重み行列W、バイアスベクトルBである。
The output signal H of the convolutional layer in the one-dimensional CNN is classified in the total coupling layer. The forward propagation process for one layer of all coupling layers is expressed by the following equation (2), for example.
Y = HW + B (2)
Here, the output vector Y, the weight matrix W, and the bias vector B.

上式(2)で得られた出力ベクトルYの各要素は、活性化関数により閾値判定される。全結合層を多層で構成する場合は、上式(2)の出力ベクトルYを入力信号Hとして再度計算すればよい。ただし、一次元CNNにおいて、最後列の全結合層における出力ベクトルYの次元は、分類対象のクラス数とする必要がある。本実施の形態では、一次元信号が正常か異常かを分類するので、クラス数2(Y=[y0,y1])となる。 Each element of the output vector Y obtained by the above equation (2) is subjected to threshold determination by an activation function. When all the coupling layers are formed in multiple layers, the output vector Y in the above equation (2) may be calculated again as the input signal H. However, in the one-dimensional CNN, the dimension of the output vector Y in the last coupled layer in all the columns needs to be the number of classes to be classified. In this embodiment, since the one-dimensional signal is classified as normal or abnormal, the number of classes is 2 (Y = [y 0 , y 1 ]).

分類結果Yは、損失関数により教師ラベルとの誤差が求められ、誤差逆伝搬法により誤差を低減するように畳み込み層のフィルタとバイアス、および全結合層の重み行列とバイアスベクトルが更新される。分類精度が高くなるように複数回繰り返して一次元CNNを更新し続けることで、分類対象の一次元信号における特徴的な周波数成分を強調するフィルタを自動で獲得するように学習が進行する効果がある。   In the classification result Y, an error from the teacher label is obtained by the loss function, and the filter and bias of the convolution layer and the weight matrix and bias vector of the all coupling layer are updated so as to reduce the error by the error back propagation method. By continuing to update the one-dimensional CNN repeatedly a plurality of times so that the classification accuracy becomes high, the effect of learning progresses so as to automatically acquire a filter that emphasizes a characteristic frequency component in the one-dimensional signal to be classified. is there.

学習部5の分類器学習部52で用いる活性化関数としては、例えば、シグモイド関数が挙げられる。なお、活性化関数はシグモイド関数に限られず、例えば、Rectified Linear Unit(ReLU)や、双曲線正接、ソフトサイン、ソフトプラス、一次または高次の多項式などを用いてもよい。   Examples of the activation function used by the classifier learning unit 52 of the learning unit 5 include a sigmoid function. The activation function is not limited to a sigmoid function, and for example, a rectified linear unit (ReLU), a hyperbolic tangent, a soft sign, a soft plus, a linear or higher order polynomial, and the like may be used.

分類誤りを算出する損失関数としては、例えば、ソフトマックス交差エントロピを用いればよい。正常か異常かというように2クラス分類を行う場合であれば、ソフトマックス交差エントロピ以外の損失関数として2乗和誤差を用いてもよい。   As the loss function for calculating the classification error, for example, softmax cross entropy may be used. If two-class classification is performed such as normal or abnormal, a square sum error may be used as a loss function other than softmax cross entropy.

上記のような一次元CNNを用いることで、異常検出装置1は、一次元信号から特徴量を自動で学習し、獲得することができる。
なお、一次元CNNの実装については、オープンソースのソフトウェアフレームワークも複数利用でき、これらのソフトウェアフレームワークを利用して実装すればよい。
By using the one-dimensional CNN as described above, the abnormality detection apparatus 1 can automatically learn and acquire a feature amount from a one-dimensional signal.
For the implementation of the one-dimensional CNN, a plurality of open source software frameworks can be used, and these software frameworks may be used for the implementation.

検出部6の特徴量算出部63および分類部64は、前述したように学習部5と同じ構造の一次元CNNであり、学習部5による学習で得られた学習済み一次元CNNの重みなどのパラメータの値を用いて一次元CNNの順伝搬処理の演算を行う。   As described above, the feature amount calculation unit 63 and the classification unit 64 of the detection unit 6 are one-dimensional CNNs having the same structure as the learning unit 5, and weights of learned one-dimensional CNNs obtained by learning by the learning unit 5. One-dimensional CNN forward propagation processing is performed using the parameter value.

[異常検出装置の動作]
次に上述した構成を有する異常検出装置1の動作について図5および図6のフローチャートを用いて説明する。異常検出装置1の動作は、学習処理と検出処理とからなる。
[Operation of abnormality detection device]
Next, the operation of the abnormality detection apparatus 1 having the above-described configuration will be described using the flowcharts of FIGS. The operation of the abnormality detection apparatus 1 includes a learning process and a detection process.

[学習処理]
図5は、異常検出装置1における学習処理のフローチャートである。
まず、一次元信号取得部2は、予め正常と異常とが分類されてラベル付けされた一次元信号群を教師データとして監視対象から取得する(ステップS100)。取得された教師データの一次元信号群は一次元信号記憶部3に一時的に記憶される。
[Learning process]
FIG. 5 is a flowchart of the learning process in the abnormality detection device 1.
First, the one-dimensional signal acquisition unit 2 acquires a one-dimensional signal group that has been classified as normal and abnormal in advance and labeled as teacher data from the monitoring target (step S100). The acquired one-dimensional signal group of teacher data is temporarily stored in the one-dimensional signal storage unit 3.

次に、一次元信号前処理部4は、取得された一次元信号の振幅正規化や、フィルタリングによる定常ノイズの除去などの前処理を行う(ステップS101)。前処理された学習用の一次元信号は学習部5に入力され、一次元CNNにおける順伝搬処理が行われる(ステップS102)。   Next, the one-dimensional signal preprocessing unit 4 performs preprocessing such as amplitude normalization of the acquired one-dimensional signal and removal of stationary noise by filtering (step S101). The preprocessed one-dimensional signal for learning is input to the learning unit 5, and forward propagation processing in the one-dimensional CNN is performed (step S102).

より詳細には、一次元CNNの畳み込み層で構成される学習部5の特徴量学習部51は、上述した式(1)を用いて、一次元信号の特徴量を算出する。さらに、一次元CNNの全結合層で構成される分類器学習部52は、特徴量学習部51の出力信号を入力として、上述した式(2)を用いて一次元信号の分類を行う。   More specifically, the feature value learning unit 51 of the learning unit 5 configured by the convolutional layer of the one-dimensional CNN calculates the feature value of the one-dimensional signal using the above-described equation (1). Further, the classifier learning unit 52 configured by a fully connected layer of one-dimensional CNN performs classification of the one-dimensional signal using the above-described equation (2) with the output signal of the feature amount learning unit 51 as an input.

次に、学習部5は、一次元CNNの順伝搬処理による出力値と目標値である教師ラベルとの誤差を求める(ステップS103)。その後、学習部5は、一次元CNNの順伝搬処理による出力値と教師ラベルとの誤差が十分に小さくない場合には(ステップS104:NO)、一次元CNNの誤差逆伝搬処理を行う(ステップS105)。   Next, the learning unit 5 obtains an error between the output value obtained by the one-dimensional CNN forward propagation process and the teacher label as the target value (step S103). After that, when the error between the output value from the one-dimensional CNN forward propagation process and the teacher label is not sufficiently small (step S104: NO), the learning unit 5 performs the one-dimensional CNN error back-propagation process (step S104). S105).

より詳細には、誤差逆伝搬処理では、一次元CNNの順伝搬処理による出力値と教師ラベルとの誤差が低減するように特徴量学習部51を構成する畳み込み層、および分類器学習部52を構成する全結合層の重みなどのパラメータの値が更新される。   More specifically, in the error back-propagation process, the convolutional layer that constitutes the feature quantity learning unit 51 and the classifier learning unit 52 are configured so that the error between the output value and the teacher label due to the one-dimensional CNN forward propagation process is reduced. The values of parameters such as the weights of all the connected layers that are configured are updated.

次に、学習部5は、特徴量学習部51および分類器学習部52を構成する一次元CNNの重みなどのパラメータの更新値を用いて、一次元CNNの順伝搬処理(ステップS102)および誤差の導出(ステップS103)を行う。   Next, the learning unit 5 uses a one-dimensional CNN forward propagation process (step S102) and an error using the updated values of parameters such as the weights of the one-dimensional CNNs constituting the feature amount learning unit 51 and the classifier learning unit 52. Is derived (step S103).

その後、一次元CNNの順伝搬処理による出力値と教師ラベルとの誤差が十分に小さい値となった場合には(ステップS104:YES)、更新された重みなどのパラメータの値を記憶する(ステップS106)。より詳細には、特徴量学習部51を構成する畳み込み層の重みパラメータの最終的な更新値は、特徴量設定記憶部61に記憶される。分類器学習部52を構成する全結合層の重みパラメータの最終的な更新値は、分類器設定記憶部62に記憶される。   Thereafter, when the error between the output value from the one-dimensional CNN forward propagation process and the teacher label is sufficiently small (step S104: YES), the parameter values such as the updated weight are stored (step S104). S106). More specifically, the final update value of the weight parameter of the convolution layer constituting the feature amount learning unit 51 is stored in the feature amount setting storage unit 61. The final updated values of the weight parameters of all the connection layers that constitute the classifier learning unit 52 are stored in the classifier setting storage unit 62.

[検出処理]
次に、検出部6による検出処理について図6のフローチャートを用いて説明する。
検出部6は、学習部5による学習処理で得られた学習済みの一次元CNNを読み込んで、未知の一次元信号が正常か異常かを分類する。
まず、一次元信号取得部2は、ラベル付けされていない未知の一次元信号を監視対象から取得する(ステップS110)。取得された一次元信号は一次元信号記憶部3に一時的に記憶される。
[Detection processing]
Next, the detection process by the detection part 6 is demonstrated using the flowchart of FIG.
The detection unit 6 reads the learned one-dimensional CNN obtained by the learning process by the learning unit 5 and classifies whether the unknown one-dimensional signal is normal or abnormal.
First, the one-dimensional signal acquisition unit 2 acquires an unknown one-dimensional signal that is not labeled from the monitoring target (step S110). The acquired one-dimensional signal is temporarily stored in the one-dimensional signal storage unit 3.

次に、一次元信号前処理部4は、学習処理における前処理と同様に一次元信号の振幅正規化やフィルタリングによる定常ノイズの除去などの前処理を行う(ステップS111)。その後、一次元信号は検出部6に入力され、検出部6は、学習済みの一次元CNNの順伝搬処理を行う(ステップS112)。   Next, the one-dimensional signal pre-processing unit 4 performs pre-processing such as amplitude normalization of the one-dimensional signal and removal of stationary noise by filtering in the same manner as the pre-processing in the learning process (step S111). Thereafter, the one-dimensional signal is input to the detection unit 6, and the detection unit 6 performs the forward propagation process of the learned one-dimensional CNN (step S112).

より詳細には、特徴量算出部63は、特徴量設定記憶部61に記憶されている学習済みの畳み込み層における重みなどのパラメータの値を読み込む。特徴量算出部63は、上述した式(1)を用いて、未知の一次元信号を入力とした畳み込み層の演算を行う。さらに、分類部64は、分類器設定記憶部62に記憶されている学習済みの全結合層における重みパラメータの値を読み込む。分類部64は、上述した式(2)を用いて、特徴量算出部63の出力値を入力とした全結合層の演算を行う。   More specifically, the feature amount calculation unit 63 reads the values of parameters such as weights in the learned convolutional layer stored in the feature amount setting storage unit 61. The feature amount calculation unit 63 performs a convolution layer operation using an unknown one-dimensional signal as an input, using the above-described equation (1). Further, the classification unit 64 reads the value of the weight parameter in the learned all connected layers stored in the classifier setting storage unit 62. The classification unit 64 performs an operation on all connected layers using the output value of the feature amount calculation unit 63 as an input using the above-described equation (2).

その後、出力部65は、分類部64による演算結果に基づく一次元信号における異常の有無の検出結果を出力する(ステップS113)。より詳細には、分類部64による演算結果は、未知の一次元信号が正常または異常であることを示す分類の結果である。分類部64は分類結果から一次元信号の異常を検出する。   Thereafter, the output unit 65 outputs the detection result of the presence or absence of abnormality in the one-dimensional signal based on the calculation result by the classification unit 64 (step S113). More specifically, the calculation result by the classification unit 64 is a classification result indicating that the unknown one-dimensional signal is normal or abnormal. The classification unit 64 detects an abnormality of the one-dimensional signal from the classification result.

以上説明したように、第1の実施の形態によれば、異常検出装置1は、一次元CNNを利用することで一次元信号を二次元信号へ変換する計算コストを削減できる。また、CNNの処理を二次元信号処理から一次元信号処理へと変更することで計算コストがより低減される。その結果として、計算能力が比較的低い現場機器などの機器であっても、一次元信号の特徴量を自動で学習および獲得して異常検出を行うことができる。   As described above, according to the first embodiment, the abnormality detection apparatus 1 can reduce the calculation cost for converting a one-dimensional signal into a two-dimensional signal by using the one-dimensional CNN. In addition, the calculation cost is further reduced by changing the CNN processing from two-dimensional signal processing to one-dimensional signal processing. As a result, even a device such as a field device having a relatively low calculation ability can automatically learn and acquire a feature quantity of a one-dimensional signal and detect an abnormality.

[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。なお、以下の説明では、上述した第1の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the following description, the same components as those in the first embodiment described above are denoted by the same reference numerals, and the description thereof is omitted.

第1の実施の形態では、特徴量学習部51および特徴量算出部63は、1層以上の畳み込み層のみで構成される場合について説明した。これに対し、第2の実施の形態では、特徴量学習部51Aは、1層以上の畳み込み層と1層以上の再帰型ニューラルネットワーク層とを含むニューラルネットワークを有する。   In the first embodiment, the case where the feature amount learning unit 51 and the feature amount calculation unit 63 are configured by only one or more convolution layers has been described. On the other hand, in the second embodiment, the feature quantity learning unit 51A has a neural network including one or more convolution layers and one or more recursive neural network layers.

[第2の実施の形態の概要]
よく知られているように、CNNは局所的な帯域のフィルタで学習するため入力信号の局所的な帯域での特徴量を学習することに優れる。その一方で、CNNは、入力信号に白色雑音などの広帯域な雑音が含まれる場合には、分類性能が悪化する性質がある(非特許文献2参照)。
[Outline of Second Embodiment]
As is well known, since the CNN learns with a local band filter, it is excellent in learning the feature quantity in the local band of the input signal. On the other hand, CNN has a property that classification performance deteriorates when wideband noise such as white noise is included in an input signal (see Non-Patent Document 2).

このことから、入力信号に広帯域な雑音が含まれる場合でもロバストな特徴量を学習できる特性を有するニューラルネットワークとして、再帰型ニューラルネットワークに着目する。再帰型ニューラルネットワークは、ネットワークの内部に帰還路を有し、過去の信号値を保持できる特徴がある。   For this reason, attention is paid to a recursive neural network as a neural network having a characteristic capable of learning a robust feature amount even when broadband noise is included in an input signal. The recurrent neural network has a feature that it has a feedback path inside the network and can hold past signal values.

また、再帰型ニューラルネットワークの中でも、特に、Long Short−Term Memory(以下、「LSTM」という。)は、過去の信号値を長期的に保存できることが知られている(非特許文献3参照)。そのため、LSTMは、入力信号に広帯域な雑音が含まれる場合に、よりロバストな特徴量の学習がしやすいと考えられる。   Further, among recursive neural networks, in particular, Long Short-Term Memory (hereinafter referred to as “LSTM”) is known to be able to store past signal values for a long period of time (see Non-Patent Document 3). For this reason, LSTM is considered to be able to learn more robust feature values when broadband noise is included in the input signal.

以上より、本実施の形態では、一次元CNNにLSTMを組み合わせた構造のニューラルネットワークを用いることで、入力信号に広帯域な雑音が含まれる場合でも、一次元信号から特徴量を自動で学習および獲得することができる異常検出装置1Aを実現する。   As described above, in the present embodiment, by using a neural network having a structure in which LSTM is combined with one-dimensional CNN, even when broadband noise is included in the input signal, feature quantities are automatically learned and acquired from the one-dimensional signal. An abnormality detection device 1A that can perform the above is realized.

[異常検出装置の機能ブロック]
図7は、本実施の形態に係る異常検出装置1Aの機能構成を示すブロック図である。以下、第1の実施の形態と異なる構成を中心に説明する。
[Function block of abnormality detection device]
FIG. 7 is a block diagram showing a functional configuration of the abnormality detection apparatus 1A according to the present embodiment. Hereinafter, a description will be given focusing on a configuration different from the first embodiment.

学習部5Aは、特徴量学習部51Aと分類器学習部52とを備える。
特徴量学習部51Aは、LSTM学習部510を有する。前述したように特徴量学習部51Aは、畳み込み層とLSTM層とで構成される。特徴量学習部51Aは、一次元CNNの畳み込み層の演算処理を行って一次元信号の特徴量の算出方法を学習し、特徴量の設定情報を出力する。
The learning unit 5A includes a feature amount learning unit 51A and a classifier learning unit 52.
The feature amount learning unit 51A includes an LSTM learning unit 510. As described above, the feature amount learning unit 51A includes the convolution layer and the LSTM layer. The feature amount learning unit 51A performs a calculation process on the convolutional layer of the one-dimensional CNN to learn a method for calculating the feature amount of the one-dimensional signal, and outputs feature amount setting information.

LSTM学習部510は、特徴量学習部51Aからの出力信号を入力として、一次元CNNに含まれるLSTM層の演算処理を行って一次元信号の特徴量の算出方法を学習し、特徴量の設定情報を出力する。なお、LSTM学習部510を構成するLSTM層の詳細は後述する。   The LSTM learning unit 510 receives the output signal from the feature amount learning unit 51A as input, learns the calculation method of the feature amount of the one-dimensional signal by performing arithmetic processing of the LSTM layer included in the one-dimensional CNN, and sets the feature amount Output information. Details of the LSTM layer constituting the LSTM learning unit 510 will be described later.

前述したように、畳み込み層で構成される特徴量学習部51Aは、ある狭い周波数の領域での周期的な信号の特徴量を学習することに優れている。一方、LSTM層で構成されるLSTM学習部510は、より広い周波数領域での非定常的な信号の特徴量を学習することにより優れる。   As described above, the feature amount learning unit 51A configured by the convolution layer is excellent in learning the feature amount of a periodic signal in a certain narrow frequency region. On the other hand, the LSTM learning unit 510 configured by the LSTM layer is excellent by learning the feature amount of the non-stationary signal in a wider frequency region.

このように、特徴量学習部51AおよびLSTM学習部510は、一次元信号における異なる特徴量を学習するため、これらを組み合わせることにより、分類対象の一次元信号の特性によっては互いに補完し合って分類精度が向上する場合がある。   In this way, the feature quantity learning unit 51A and the LSTM learning unit 510 learn different feature quantities in the one-dimensional signal, and by combining these, depending on the characteristics of the one-dimensional signal to be classified, they complement each other and perform classification. Accuracy may be improved.

検出部6Aは、特徴量設定記憶部61A、分類器設定記憶部62、特徴量算出部63A、分類部64、および出力部65を備える。
特徴量設定記憶部61Aは、LSTM特徴量設定記憶部610を有する。
特徴量算出部63Aは、LSTM特徴量算出部630を有する。
The detection unit 6A includes a feature amount setting storage unit 61A, a classifier setting storage unit 62, a feature amount calculation unit 63A, a classification unit 64, and an output unit 65.
The feature amount setting storage unit 61A includes an LSTM feature amount setting storage unit 610.
The feature amount calculation unit 63A includes an LSTM feature amount calculation unit 630.

特徴量設定記憶部61Aは、特徴量学習部51Aによる畳み込み層の学習で得られた一次元信号の特徴量の設定情報を記憶する。
LSTM特徴量設定記憶部610は、LSTM学習部510によるLSTM層の学習で得られた、一次元信号の特徴量の設定情報を記憶する。
The feature amount setting storage unit 61A stores feature amount setting information of a one-dimensional signal obtained by learning of the convolutional layer by the feature amount learning unit 51A.
The LSTM feature value setting storage unit 610 stores feature value setting information of a one-dimensional signal obtained by learning the LSTM layer by the LSTM learning unit 510.

特徴量算出部63Aは、特徴量設定記憶部61Aに記憶されている一次元信号の特徴量の設定情報を参照して、一次元CNNの畳み込み層の演算処理を行い、未知の一次元信号の特徴量を算出する。
LSTM特徴量算出部630は、LSTM特徴量設定記憶部610に記憶されている一次元信号の特徴量の設定情報を参照して、一次元CNNにおけるLSTM層の演算処理を行って一次元信号の特徴量を算出する。
The feature amount calculation unit 63A refers to the feature amount setting information of the one-dimensional signal stored in the feature amount setting storage unit 61A, performs a calculation process on the convolution layer of the one-dimensional CNN, and performs an unknown one-dimensional signal The feature amount is calculated.
The LSTM feature value calculation unit 630 refers to the setting information of the feature value of the one-dimensional signal stored in the LSTM feature value setting storage unit 610, performs an LSTM layer calculation process in the one-dimensional CNN, and performs the processing of the one-dimensional signal. The feature amount is calculated.

より詳細には、LSTM特徴量算出部630は、LSTM層の重みなどのパラメータ値を読み込んで、特徴量算出部63Aからの出力である特徴量を入力として、LSTM層の演算を行い、未知の一次元信号の特徴量を算出する。   More specifically, the LSTM feature quantity calculation unit 630 reads a parameter value such as the weight of the LSTM layer, inputs the feature quantity output from the feature quantity calculation unit 63A, performs an operation on the LSTM layer, and performs an unknown operation. The feature amount of the one-dimensional signal is calculated.

分類部64は、LSTM特徴量算出部630によって算出された一次元信号の特徴量を入力とし、分類器設定記憶部62に記憶されている一次元信号を分類する方法に関する情報を参照して未知の一次元信号の分類を行い異常を検出する。   The classification unit 64 receives the one-dimensional signal feature value calculated by the LSTM feature value calculation unit 630 as an input, and refers to the information on the method for classifying the one-dimensional signal stored in the classifier setting storage unit 62 and is unknown. Anomalies are detected by classifying one-dimensional signals.

[一次元CNNの構成例]
次に、上述した学習部5Aおよび検出部6Aに用いられる、LSTM層を有する一次元CNNの構成例について図8を用いて説明する。
[One-dimensional CNN configuration example]
Next, a configuration example of a one-dimensional CNN having an LSTM layer used in the learning unit 5A and the detection unit 6A described above will be described with reference to FIG.

学習部5Aの特徴量学習部51Aは1層以上の畳み込み層を有し、畳み込み層よりも後列に、LSTM学習部510のLSTM層を有する。より好ましくは、図8に示すように、LSTM層を畳み込み層の最後列の次の列に配置し、畳み込み層の出力をLSTM層の入力とすればよい。検出部6Aの特徴量算出部63AおよびLSTM特徴量算出部630は、学習部5Aの特徴量学習部51AおよびLSTM学習部510と同じ畳み込み層およびLSTM層で構成される。   The feature amount learning unit 51A of the learning unit 5A has one or more convolution layers, and has the LSTM layer of the LSTM learning unit 510 in the rear row of the convolution layer. More preferably, as shown in FIG. 8, the LSTM layer may be arranged in the column next to the last column of the convolution layer, and the output of the convolution layer may be used as the input of the LSTM layer. The feature amount calculation unit 63A and the LSTM feature amount calculation unit 630 of the detection unit 6A are configured by the same convolution layer and LSTM layer as the feature amount learning unit 51A and the LSTM learning unit 510 of the learning unit 5A.

学習部5Aの分類器学習部52は、第1の実施の形態と同様に1層以上の全結合層で構成される。検出部6Aの分類部64は、学習部5Aの分類器学習部52と同じ1層以上の全結合層で構成される。   As in the first embodiment, the classifier learning unit 52 of the learning unit 5A is configured by one or more fully connected layers. The classification unit 64 of the detection unit 6A includes one or more fully connected layers that are the same as the classifier learning unit 52 of the learning unit 5A.

[LSTM層の演算処理]
次に、LSTM学習部510およびLSTM特徴量算出部630を構成するLSTM層の演算処理について図9のブロック図を用いて説明する。
[Operation processing of LSTM layer]
Next, the arithmetic processing of the LSTM layer which comprises the LSTM learning part 510 and the LSTM feature-value calculation part 630 is demonstrated using the block diagram of FIG.

図9では、LSTM層1層分の順伝搬処理の内容を示す。図9において、「+」は加算、「×」は乗算、「S」はシグモイド関数を示す。また、破線の矢印は一次遅れを表しており、C1、C2はそれぞれメモリセルである。入力信号xt、および出力信号htは、それぞれ時刻tにおける値であり、各wとRから始まるパラメータは重みである。 FIG. 9 shows the contents of forward propagation processing for one LSTM layer. In FIG. 9, “+” indicates addition, “×” indicates multiplication, and “S” indicates a sigmoid function. The broken-line arrows represent first-order lags, and C1 and C2 are memory cells, respectively. The input signal x t and the output signal h t are values at time t, and the parameters starting from w and R are weights.

LSTM層では、メモリセルC1部分に再帰結合がある。また、LSTM層は、3つのゲートG1、G2、G3を有する。入力信号xtは、これらの3つのゲートG1、G2、G3にも入力され、それぞれのゲートの開閉のために用いられる。 In the LSTM layer, there is a recursive coupling in the memory cell C1 portion. The LSTM layer has three gates G1, G2, and G3. Input signal x t is also inputted to these three gates G1, G2, G3, used for opening and closing the respective gates.

3つのゲートG1、G2、G3は、情報をどの程度通すかの制御に使われる。ゲートが閉じている(値が0に近づく)場合には、情報が通りにくくなる。ゲートが開いている状態は、シグモイド関数が1に近い値となる。   The three gates G1, G2, and G3 are used for controlling how much information is passed. When the gate is closed (value approaches 0), it becomes difficult for information to pass. When the gate is open, the sigmoid function is close to 1.

特に、ゲートG2が開いている場合、1時刻前(t−1)のメモリセルC1の状態が時刻tの状態に影響を及ぼす。そのため、ゲートG2は、直前の状態の影響についての考慮の度合いを定める。   In particular, when the gate G2 is open, the state of the memory cell C1 one time before (t-1) affects the state at the time t. Therefore, the gate G2 determines the degree of consideration for the influence of the immediately preceding state.

LSTM層は、ゲートG1、G2、G3において重みパラメータを学習することで、長期的な依存関係を学習できる。なお、LSTM層を多層で構成する場合は、図9の出力hを入力信号xとして再度計算すればよい。   The LSTM layer can learn long-term dependency by learning weight parameters in the gates G1, G2, and G3. When the LSTM layer is composed of multiple layers, the output h in FIG. 9 may be calculated again as the input signal x.

上記のLSTMや再帰型ニューラルネットワークの実装は、オープンソースのソフトウェアフレームワークも複数利用できるため、これらのソフトウェアフレームワークを利用すればよい。   Since the implementation of the above LSTM and recursive neural network can use a plurality of open source software frameworks, these software frameworks may be used.

[異常検出装置の動作]
次に、上述した構成を有する異常検出装置1Aの動作について図10および図11のフローチャートを用いて説明する。なお、以下において、第1の実施の形態と異なる処理を中心に説明する。
[Operation of abnormality detection device]
Next, the operation of the abnormality detection apparatus 1A having the above-described configuration will be described using the flowcharts of FIGS. In the following, a description will be given focusing on processing different from that of the first embodiment.

[学習処理]
まず、異常検出装置1Aの学習部5Aによる学習処理について説明する。
図10に示すように、一次元信号取得部2は、教師データとしてラベル付きの一次元信号群を監視対象から取得する(ステップS100)。その後、一次元信号前処理部4は、取得された一次元信号の前処理を行う(ステップS101)。
[Learning process]
First, the learning process by the learning unit 5A of the abnormality detection device 1A will be described.
As shown in FIG. 10, the one-dimensional signal acquisition unit 2 acquires a labeled one-dimensional signal group from the monitoring target as teacher data (step S100). Thereafter, the one-dimensional signal preprocessing unit 4 performs preprocessing of the acquired one-dimensional signal (step S101).

次に、学習部5Aは、入力の一次元信号について一次元CNNの順伝搬処理を行う(ステップS102A)。より詳細には、特徴量学習部51Aに含まれる一次元CNNの畳み込み層において、上述した式(1)を用いて、学習用の一次元信号における特徴量を算出する。   Next, the learning unit 5A performs a one-dimensional CNN forward propagation process on the input one-dimensional signal (step S102A). More specifically, in the one-dimensional CNN convolutional layer included in the feature amount learning unit 51A, the feature amount in the one-dimensional signal for learning is calculated using the above-described equation (1).

また、特徴量学習部51Aに含まれる畳み込み層の出力信号を入力として、LSTM学習部510は、図8に示したLSTM層において、学習用の一次元信号における特徴量を算出する。   Further, with the output signal of the convolution layer included in the feature amount learning unit 51A as an input, the LSTM learning unit 510 calculates the feature amount in the one-dimensional signal for learning in the LSTM layer shown in FIG.

さらに、全結合層で構成される分類器学習部52は、LSTM学習部510の出力信号を入力として、上述した式(2)を用いて学習用の一次元信号の分類結果を出力する。   Furthermore, the classifier learning unit 52 configured by a fully connected layer receives the output signal of the LSTM learning unit 510 and outputs the classification result of the learning one-dimensional signal using the above-described equation (2).

次に、学習部5Aは、LSTM層を有する一次元CNNの順伝搬処理による出力値と目標値である教師ラベルとの誤差を求める(ステップS103)。その後、学習部5Aは、一次元CNNの順伝搬処理による出力値と教師ラベルとの誤差が十分に小さくない場合には(ステップS104:NO)、一次元CNNの誤差逆伝搬処理を行う(ステップS105A)。   Next, the learning unit 5A obtains an error between the output value by the forward propagation process of the one-dimensional CNN having the LSTM layer and the teacher label that is the target value (step S103). Thereafter, when the error between the output value obtained by the forward propagation process of the one-dimensional CNN and the teacher label is not sufficiently small (step S104: NO), the learning unit 5A performs the error back-propagation process of the one-dimensional CNN (step S104). S105A).

より詳細には、誤差逆伝搬処理では、一次元CNNの順伝搬処理による出力値と教師ラベルとの誤差が低減するように特徴量学習部51Aを構成する畳み込み層、LSTM学習部510を構成するLSTM層、および分類器学習部52を構成する全結合層の重みパラメータの値が更新される。   More specifically, in the error back-propagation process, the convolution layer and the LSTM learning unit 510 that configure the feature amount learning unit 51A are configured so that the error between the output value and the teacher label by the one-dimensional CNN forward propagation process is reduced. The values of the weight parameters of the LSTM layer and all connected layers constituting the classifier learning unit 52 are updated.

次に、学習部5Aは、特徴量学習部51A、LSTM学習部510、および分類器学習部52によって更新されたLSTM層を有する一次元CNNの重みなどのパラメータの値を用いて一次元CNNの順伝搬処理(ステップS102A)および誤差の導出(ステップS103)を行う。   Next, the learning unit 5A uses the value of the parameter such as the weight of the one-dimensional CNN having the LSTM layer updated by the feature amount learning unit 51A, the LSTM learning unit 510, and the classifier learning unit 52, to determine the one-dimensional CNN. Forward propagation processing (step S102A) and error derivation (step S103) are performed.

その後、一次元CNNの順伝搬処理による出力値と教師ラベルとの誤差が十分に小さい値となった場合には(ステップS104:YES)、更新された重みなどのパラメータの値を記憶する(ステップS106A)。   Thereafter, when the error between the output value from the one-dimensional CNN forward propagation process and the teacher label is sufficiently small (step S104: YES), the parameter values such as the updated weight are stored (step S104). S106A).

より詳細には、特徴量学習部51Aに含まれる畳み込み層の重みなどのパラメータの最終的な更新値は、特徴量設定記憶部61に記憶される。LSTM学習部510を構成するLSTM層の重みなどのパラメータの最終的な更新値は、LSTM特徴量設定記憶部610に記憶される。分類器学習部52を構成する全結合層の重みなどのパラメータの最終的な更新値は、分類器設定記憶部62に記憶される。   More specifically, final update values of parameters such as the weight of the convolution layer included in the feature amount learning unit 51A are stored in the feature amount setting storage unit 61. The final update values of parameters such as the weights of the LSTM layers that constitute the LSTM learning unit 510 are stored in the LSTM feature amount setting storage unit 610. The final updated values of parameters such as the weights of all connected layers constituting the classifier learning unit 52 are stored in the classifier setting storage unit 62.

[検出処理]
次に、検出部6Aによる検出処理について図11のフローチャートを用いて説明する。
学習部5Aによる学習処理によって得られた学習済みのLSTM層を有する一次元CNNを用いて、検出部6Aは、未知の一次元信号が正常か異常かを分類する。
まず、一次元信号取得部2は、ラベル付けされていない未知の一次元信号を取得する(ステップS110)。
[Detection processing]
Next, detection processing by the detection unit 6A will be described with reference to the flowchart of FIG.
Using the one-dimensional CNN having the learned LSTM layer obtained by the learning process by the learning unit 5A, the detection unit 6A classifies whether the unknown one-dimensional signal is normal or abnormal.
First, the one-dimensional signal acquisition unit 2 acquires an unknown one-dimensional signal that is not labeled (step S110).

次に、一次元信号前処理部4は、取得された一次元信号の前処理を行う(ステップS111)。その後、一次元信号は検出部6Aに入力され、検出部6Aは、学習済みのLSTM層を有する一次元CNNの順伝搬処理を行う(ステップS112A)。   Next, the one-dimensional signal preprocessing unit 4 performs preprocessing of the acquired one-dimensional signal (step S111). Thereafter, the one-dimensional signal is input to the detection unit 6A, and the detection unit 6A performs forward propagation processing of the one-dimensional CNN having the learned LSTM layer (step S112A).

より詳細には、特徴量算出部63Aは、特徴量設定記憶部61Aに記憶されている学習済みの畳み込み層における重みなどのパラメータの値を読み込んで、上述した式(1)を用い、一次元信号を入力とした畳み込み層の演算を行い一次元信号の特徴量を算出する。   More specifically, the feature amount calculation unit 63A reads the values of parameters such as weights in the learned convolutional layer stored in the feature amount setting storage unit 61A, and uses the above-described equation (1) to perform one-dimensional A convolutional layer is calculated using the signal as an input to calculate the feature quantity of the one-dimensional signal.

また、LSTM特徴量算出部630は、LSTM特徴量設定記憶部610に記憶されている学習済みのLSTM層における重みなどのパラメータの値を読み込んで、特徴量算出部63Aによって算出された特徴量を入力としてLSTM層の演算を行い、一次元信号の特徴量を算出する。   Further, the LSTM feature value calculation unit 630 reads the values of parameters such as weights in the learned LSTM layer stored in the LSTM feature value setting storage unit 610, and uses the feature values calculated by the feature value calculation unit 63A. An LSTM layer calculation is performed as an input, and a feature value of the one-dimensional signal is calculated.

さらに、分類部64は、分類器設定記憶部62に記憶されている学習済みの全結合層における重みパラメータの値を読み込んで、上述した式(2)を用いて、特徴量算出部63の出力値を入力とした全結合層の演算を行う。   Further, the classification unit 64 reads the weight parameter values in the learned all connection layers stored in the classifier setting storage unit 62, and uses the above-described equation (2) to output the feature amount calculation unit 63. Performs calculation for all connected layers using the value as input.

分類部64による演算結果は、出力部65によって出力される(ステップS113)。分類部64による演算結果は、未知の一次元信号が正常か異常かを示す。   The calculation result by the classification unit 64 is output by the output unit 65 (step S113). The calculation result by the classification unit 64 indicates whether the unknown one-dimensional signal is normal or abnormal.

以上説明したように、第2の実施の形態によれば、学習部5Aおよび検出部6AにLSTM層を有する一次元CNNを用いるので、一次元信号の局所的な帯域での特徴量を畳み込み層で学習し、LSTM層では、より広い周波数領域での非定常的な信号の特徴量を学習する。そのため、異常検出装置1Aは、一次元信号に広帯域な雑音が含まれる場合であっても、ロバストな特徴量を自動で学習および獲得して異常検出をすることができる。   As described above, according to the second embodiment, since the one-dimensional CNN having the LSTM layer is used for the learning unit 5A and the detection unit 6A, the feature amount in the local band of the one-dimensional signal is convolved. In the LSTM layer, non-stationary signal feature amounts in a wider frequency range are learned. Therefore, the abnormality detection device 1A can automatically detect and acquire a robust feature amount and detect an abnormality even when a one-dimensional signal includes broadband noise.

また、学習部5Aおよび検出部6Aに含まれるLSTM層は、一次元信号を直接扱うことができるため、異常検出装置1Aにおいての計算コストを低減しつつ、よりロバストな特徴量を自動で学習し獲得することができる。   In addition, since the LSTM layer included in the learning unit 5A and the detection unit 6A can directly handle a one-dimensional signal, it automatically learns a more robust feature amount while reducing the calculation cost in the abnormality detection device 1A. Can be earned.

[実施例]
次に、上述した第1および第2の実施の形態に係る異常検出装置1、1Aをそれぞれ用いた調節弁の内部における異常検出について説明する。
[Example]
Next, abnormality detection inside the control valve using the abnormality detection devices 1 and 1A according to the first and second embodiments described above will be described.

石油プラントや化学プラントなどでは、流体の流量などを制御する操作端として調節弁が用いられる。調節弁内部を流れる流体の温度、圧力、流量の条件によっては、キャビテーションと呼ばれる気泡の発生や消滅が発生する場合がある。キャビテーションは、調節弁内部を損傷させる要因であり、本実施例では、監視対象の調節弁において、キャビテーションの発生を異常として検出することを目的とした。   In an oil plant or a chemical plant, a control valve is used as an operation end for controlling the flow rate of a fluid. Depending on the conditions of temperature, pressure, and flow rate of the fluid flowing inside the control valve, the generation and disappearance of bubbles called cavitation may occur. Cavitation is a factor that damages the inside of the control valve. In this embodiment, the purpose of the present embodiment is to detect the occurrence of cavitation as an abnormality in the control valve to be monitored.

本実施例では、一次元信号取得部2として振動センサを利用し、調節弁の外部から調節弁の内部を流体が流れるときの振動を取得して入力信号の一次元信号とした。振動センサで取得される振動信号は、正常時には流体音だけを含むが、異常時には流体音に加えてキャビテーションの音が含まれる。   In the present embodiment, a vibration sensor is used as the one-dimensional signal acquisition unit 2 to acquire vibration when a fluid flows from the outside of the control valve through the inside of the control valve to obtain a one-dimensional signal of the input signal. The vibration signal acquired by the vibration sensor includes only a fluid sound when normal, but includes a cavitation sound in addition to the fluid sound when abnormal.

図12および図13は、本実施例における異常検出の対象である振動信号の一例を示す図である。図12の(a)は、正常時における振動信号を示し、図12の(b)は、異常時における振動信号を示す。図12の(a)および(b)からわかるように、正常時とキャビテーションの音を含む異常時の振動信号の差は比較的小さい。   12 and 13 are diagrams illustrating an example of a vibration signal that is a target of abnormality detection in the present embodiment. FIG. 12A shows a vibration signal in a normal state, and FIG. 12B shows a vibration signal in an abnormal state. As can be seen from FIGS. 12 (a) and 12 (b), the difference in vibration signal between normal and abnormal conditions including cavitation sound is relatively small.

図13の(a)は、正常時における振動信号のスペクトルの分布を示し、図13の(b)は、異常時の振動信号のスペクトルの分布を示す。図13の(a)および(b)からわかるように、正常時とキャビテーションの音を含む異常時の振動信号の周波数帯域はともに広帯域で重複している。   FIG. 13A shows the distribution of the spectrum of the vibration signal at the normal time, and FIG. 13B shows the distribution of the spectrum of the vibration signal at the time of the abnormality. As can be seen from FIGS. 13A and 13B, the frequency bands of the vibration signals at the normal time and at the time of abnormality including the cavitation sound are both wide and overlapping.

次に、本実施例において一次元信号記憶部3は、サンプリング周波数96kHzで振動センサからのアナログ信号をサンプリングし、10,000サンプル毎に区切った信号を記憶する。
一次元信号前処理部4は、振動信号の振幅のスケールが大きく変わらないように、振動信号の実効値で正規化する。
Next, in the present embodiment, the one-dimensional signal storage unit 3 samples an analog signal from the vibration sensor at a sampling frequency of 96 kHz, and stores a signal divided every 10,000 samples.
The one-dimensional signal preprocessing unit 4 normalizes the effective value of the vibration signal so that the amplitude scale of the vibration signal does not change significantly.

次に、学習部5、5Aおよび検出部6、6Aの一次元CNNの具体的構成について説明する。
第1の実施の形態に係る学習部5および検出部6の具体例としては、畳み込み層が3層、全結合層が3層の図3に示した一次元CNNを用いた。
第2の実施の形態に係る学習部5Aおよび検出部6Aの具体例としては、畳み込み層が3層、LSTM層が1層、全結合層が1層である図8に示したLSTM層を有する一次元CNNを用いた。
Next, a specific configuration of the one-dimensional CNN of the learning units 5 and 5A and the detection units 6 and 6A will be described.
As a specific example of the learning unit 5 and the detection unit 6 according to the first embodiment, the one-dimensional CNN shown in FIG. 3 having three convolution layers and three total coupling layers is used.
As a specific example of the learning unit 5A and the detection unit 6A according to the second embodiment, the LSTM layer shown in FIG. 8 has three convolution layers, one LSTM layer, and one total coupling layer. A one-dimensional CNN was used.

また、第1および第2の実施の形態の具体例に共通する設定として、一次元CNNの畳み込み層のフィルタ数は1、フィルタサイズは100、ストライドは2、全結合層の活性化関数はシグモイド関数とした。
教師データとして正常時の振動信号1,500セット、異常時の振動信号1,100セットを用意した。損失関数としては、ソフトマックス交差エントロピを用いた。
Further, as a setting common to the specific examples of the first and second embodiments, the number of filters of the convolutional layer of the one-dimensional CNN is 1, the filter size is 100, the stride is 2, and the activation function of the all coupling layers is the sigmoid. It was a function.
As teacher data, 1,500 sets of normal vibration signals and 1,100 sets of abnormal vibration signals were prepared. As the loss function, softmax cross entropy was used.

上記条件のもと、第1の実施の形態に係る異常検出装置1および第2の実施の形態に係る異常検出装置1Aのそれぞれで教師あり学習を実施した。その後、検証データとして、正常時の振動信号100セット、異常時の振動信号100セットを用いて分類正答率の評価を行った。   Under the above conditions, supervised learning was performed in each of the abnormality detection device 1 according to the first embodiment and the abnormality detection device 1A according to the second embodiment. Thereafter, the classification correct answer rate was evaluated using 100 sets of vibration signals at normal time and 100 sets of vibration signals at abnormal time as verification data.

図14は、第1の実施の形態に係る異常検出装置1による分類正答率を示す図である。また、図15は、第2の実施の形態に係る異常検出装置1Aによる分類正答率を示す図である。図14および図15において、横軸は学習回数、縦軸は分類正答率を示す。また、破線は学習データの分類正答率、実線は検証データの分類正答率を示している。   FIG. 14 is a diagram illustrating a classification correct answer rate by the abnormality detection device 1 according to the first embodiment. Moreover, FIG. 15 is a figure which shows the classification | category correct answer rate by 1 A of abnormality detection apparatuses which concern on 2nd Embodiment. 14 and 15, the horizontal axis represents the number of learnings, and the vertical axis represents the classification correct answer rate. The broken line indicates the classification correct answer rate of the learning data, and the solid line indicates the classification correct answer rate of the verification data.

図14および図15に示すように、第1および第2の実施の形態に係る異常検出装置1、1Aは、繰り返し学習データで学習を行うことで、入力信号である振動信号の特徴量を次第に獲得し、分類正答率が向上していることがわかる。   As shown in FIGS. 14 and 15, the abnormality detection devices 1 and 1A according to the first and second embodiments gradually learn the feature amount of the vibration signal that is an input signal by performing learning with repeated learning data. It can be seen that the classification correct answer rate has improved.

図14に示すように、畳み込み層と全結合層とを有する一次元CNNを用いた異常検出装置1において、検証データの分類正答率は約90%を達成している。このことから、第1の実施の形態に係る異常検出装置1は、異常検出の目的を十分に達成できているといえる。   As shown in FIG. 14, in the anomaly detection apparatus 1 using a one-dimensional CNN having a convolution layer and a fully connected layer, the classification data correctness rate of verification data has achieved about 90%. From this, it can be said that the abnormality detection device 1 according to the first embodiment has sufficiently achieved the object of abnormality detection.

また、図15に示すように、LSTM層を有する一次元CNNを用いた異常検出装置1Aにおいては、検証データの分類正答率は約100%であり、異常検出の目的を十分達成できている。特に、本実施例で異常検出の対象とした調節弁内のキャビテーションの振動信号のように、正常時と異常時との信号差がより小さく、周波数帯域も広帯域で重複している場合には、LSTM層を有する一次元CNNを利用する異常検出装置1Aはより有効であると考えられる。   As shown in FIG. 15, in the abnormality detection apparatus 1A using the one-dimensional CNN having the LSTM layer, the classification data correct rate of the verification data is about 100%, and the object of abnormality detection can be sufficiently achieved. In particular, when the signal difference between the normal time and the abnormal time is smaller, such as the cavitation vibration signal in the control valve that is the target of abnormality detection in the present embodiment, and the frequency band also overlaps in a wide band, It is considered that the abnormality detection apparatus 1A using a one-dimensional CNN having an LSTM layer is more effective.

以上、本発明の異常検出装置および異常検出方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。   The embodiments of the abnormality detection apparatus and the abnormality detection method of the present invention have been described above. However, the present invention is not limited to the described embodiments, and those skilled in the art can assume the scope of the invention described in the claims. Various possible modifications can be made.

なお、上述した異常検出装置1、1Aの学習部5、5Aと検出部6、6Aとは、同一の計算機で実装されていても、それぞれが独立して実装されていてもよい。特に、学習部5、5Aと検出部6、6Aとがそれぞれ独立で実装される場合には、計算能力がより低い現場機器などにおいても特徴量を自動で学習および獲得して異常検出を行うことができる。   Note that the learning units 5 and 5A and the detection units 6 and 6A of the abnormality detection apparatus 1 and 1A described above may be implemented by the same computer or may be implemented independently. In particular, when the learning units 5 and 5A and the detection units 6 and 6A are independently mounted, abnormality detection is performed by automatically learning and acquiring feature amounts even in field devices with lower calculation capabilities. Can do.

より詳細には、学習部5、5Aと検出部6、6Aとがそれぞれ独立で実装される場合、多量の教師データを学習する学習部5、5Aには、計算能力のより高い計算機を用いればよい。一方、積和演算と活性化関数による閾値判定とからなる比較的計算コストの低いニューラルネットワークの順伝搬処理が中心となる検出部6、6Aには、計算能力がより低い計算機を用いることができる。このように、学習部5、5Aと検出部6、6Aとをそれぞれ独立した構成とした場合、一次元信号の二次元信号への拡張の廃止、および一次元CNNにおける信号の一次元処理により、異常検出装置1、1Aを計算能力のより低い現場機器などに実装できるようになる。   More specifically, when the learning units 5 and 5A and the detection units 6 and 6A are implemented independently, the learning units 5 and 5A that learn a large amount of teacher data use a computer with higher calculation ability. Good. On the other hand, a computer with lower calculation capability can be used for the detection units 6 and 6A centering on the forward propagation processing of a neural network having a relatively low calculation cost consisting of sum-of-product calculation and threshold determination by an activation function. . As described above, when the learning units 5 and 5A and the detection units 6 and 6A are respectively configured independently, the abolition of the one-dimensional signal to the two-dimensional signal and the one-dimensional processing of the signal in the one-dimensional CNN The anomaly detection devices 1 and 1A can be mounted on field equipment having a lower calculation capability.

また、説明した実施の形態では、一次元信号取得部2と一次元信号記憶部3はそれぞれ独立した構成を有する場合について説明した。しかし、一次元信号取得部2と一次元信号記憶部3とは一体的な一つの構成として実装されてもよい。   In the described embodiment, the case where the one-dimensional signal acquisition unit 2 and the one-dimensional signal storage unit 3 have independent configurations has been described. However, the one-dimensional signal acquisition unit 2 and the one-dimensional signal storage unit 3 may be implemented as one integrated configuration.

また、一次元信号取得部2と一次元信号記憶部3は、学習部5、5Aと検出部6、6Aとで同じものを共用してもよく、また、学習部5、5Aと検出部6、6Aのそれぞれについて専用の一次元信号取得部2と一次元信号記憶部3とを用意してもよい。   The one-dimensional signal acquisition unit 2 and the one-dimensional signal storage unit 3 may be shared by the learning units 5 and 5A and the detection units 6 and 6A, and the learning units 5 and 5A and the detection unit 6 6A, a dedicated one-dimensional signal acquisition unit 2 and a one-dimensional signal storage unit 3 may be prepared.

また、説明した実施の形態では、特徴量設定記憶部61と分類器設定記憶部62とはそれぞれ異なる領域に設けられている場合について説明したが、これらは一つの記憶部として構成されていてもよい。   Further, in the embodiment described above, the case where the feature amount setting storage unit 61 and the classifier setting storage unit 62 are provided in different areas has been described, but these may be configured as one storage unit. Good.

また、説明した実施の形態では、分類部64は、一次元信号が正常か異常かの2クラス分類を行う場合について説明したが、分類クラスの数は2クラスに限られず多クラス分類を行ってもよい。   In the embodiment described above, the classification unit 64 has described the case of performing two-class classification of whether the one-dimensional signal is normal or abnormal. However, the number of classification classes is not limited to two, and multi-class classification is performed. Also good.

1、1A…異常検出装置、2…一次元信号取得部、3、107a…一次元信号記憶部、4…一次元信号前処理部、5、5A…学習部、6、6A…検出部、51、51A…特徴量学習部、52…分類器学習部、61、61A、107b…特徴量設定記憶部、62、107c…分類器設定記憶部、63、63A…特徴量算出部、64…分類部、65…出力部、101…バス、102…演算装置、103…CPU、104…主記憶装置、105…通信制御装置、106…センサ、107…外部記憶装置、107d…プログラム格納部、108…表示装置、NW…通信ネットワーク、510…LSTM学習部、610…LSTM特徴量設定記憶部、630…LSTM特徴量算出部。   DESCRIPTION OF SYMBOLS 1, 1A ... Abnormality detection apparatus, 2 ... One-dimensional signal acquisition part, 3, 107a ... One-dimensional signal storage part, 4 ... One-dimensional signal pre-processing part, 5, 5A ... Learning part, 6, 6A ... Detection part, 51 , 51A ... feature amount learning unit, 52 ... classifier learning unit, 61, 61A, 107b ... feature amount setting storage unit, 62, 107c ... classifier setting storage unit, 63, 63A ... feature amount calculation unit, 64 ... classification unit , 65 ... output unit, 101 ... bus, 102 ... arithmetic device, 103 ... CPU, 104 ... main storage device, 105 ... communication control device, 106 ... sensor, 107 ... external storage device, 107d ... program storage unit, 108 ... display Device, NW ... communication network, 510 ... LSTM learning unit, 610 ... LSTM feature value setting storage unit, 630 ... LSTM feature value calculation unit.

Claims (9)

一次元の時系列信号である一次元データを監視対象から取得する信号取得部と、
取得された前記一次元データを入力として、ニューラルネットワークを学習させて、前記一次元データの特徴量を算出し、前記特徴量に基づいて前記一次元データを分類して前記監視対象の異常を検出するように、前記ニューラルネットワークを構築するための設定情報を出力する学習部と、
前記設定情報を記憶する記憶部と、
前記記憶部に記憶された前記設定情報に基づいて構築された前記ニューラルネットワークに、前記監視対象から新たに取得された一次元の時系列信号である未知の一次元データを入力して、前記監視対象の異常を検出する検出部と、
を備え、
前記ニューラルネットワークは、前記一次元データに対して一次元の畳み込みを行う一次元畳み込み層を含む
ことを特徴とする異常検出装置。
A signal acquisition unit for acquiring one-dimensional data, which is a one-dimensional time series signal, from a monitoring target;
Using the acquired one-dimensional data as input, learn a neural network, calculate the feature quantity of the one-dimensional data, classify the one-dimensional data based on the feature quantity, and detect an abnormality of the monitoring target A learning unit that outputs setting information for constructing the neural network;
A storage unit for storing the setting information;
An unknown one-dimensional data which is a one-dimensional time series signal newly acquired from the monitoring target is input to the neural network constructed based on the setting information stored in the storage unit, and the monitoring is performed. A detection unit for detecting a target abnormality;
With
The neural network includes a one-dimensional convolutional layer that performs one-dimensional convolution on the one-dimensional data.
請求項1に記載の異常検出装置において、
前記学習部は、
前記一次元データの特徴量を算出し、算出された前記特徴量に基づいて、前記ニューラルネットワークを構築するための特徴量の設定情報を出力する特徴量学習部と、
前記特徴量の設定情報を入力として前記一次元データを分類し、分類結果に基づいて、前記ニューラルネットワークを構築するための分類の設定情報を出力する分類器学習部と、
を備え、
前記記憶部は、前記特徴量の設定情報と前記分類の設定情報とを記憶し、
前記検出部は、
前記記憶部に記憶された前記特徴量の設定情報に基づいて、未知の前記一次元データの特徴量を算出する特徴量算出部と、
前記記憶部に記憶された前記分類の設定情報に基づき、前記特徴量算出部により算出された前記特徴量を入力として、未知の前記一次元データの分類を行い異常を検出する分類部と
を備えることを特徴とする異常検出装置。
The abnormality detection device according to claim 1,
The learning unit
A feature amount learning unit that calculates a feature amount of the one-dimensional data and outputs setting information of a feature amount for constructing the neural network based on the calculated feature amount;
A classifier learning unit that classifies the one-dimensional data using the feature amount setting information as input, and outputs classification setting information for constructing the neural network based on a classification result;
With
The storage unit stores setting information of the feature amount and setting information of the classification,
The detector is
A feature amount calculation unit that calculates a feature amount of the unknown one-dimensional data based on the setting information of the feature amount stored in the storage unit;
A classification unit configured to classify the unknown one-dimensional data and detect an abnormality by using the feature amount calculated by the feature amount calculation unit based on the classification setting information stored in the storage unit; An abnormality detection device characterized by the above.
請求項1または請求項2に記載の異常検出装置において、
前記ニューラルネットワークは、少なくとも一層の前記一次元畳み込み層と少なくとも一層の全結合層とを有することを特徴とする異常検出装置。
In the abnormality detection device according to claim 1 or 2,
The anomaly detection apparatus, wherein the neural network includes at least one layer of the one-dimensional convolution layer and at least one full coupling layer.
請求項1から3のいずれか1項に記載の異常検出装置において、
前記ニューラルネットワークは、前記一次元畳み込み層の出力を入力とする再帰型ニューラルネットワーク層をさらに有することを特徴とする異常検出装置。
In the abnormality detection device according to any one of claims 1 to 3,
The abnormality detection apparatus according to claim 1, wherein the neural network further includes a recursive neural network layer that receives an output of the one-dimensional convolutional layer.
請求項4に記載の異常検出装置において、
前記再帰型ニューラルネットワーク層は、LSTM層であることを特徴とする異常検出装置。
In the abnormality detection device according to claim 4,
The abnormality detection device, wherein the recursive neural network layer is an LSTM layer.
一次元の時系列信号である一次元データを監視対象から取得する信号取得ステップと、
取得した前記一次元データを入力として、ニューラルネットワークを学習させて、前記一次元データの特徴量を算出し、前記特徴量に基づいて前記一次元データを分類して前記監視対象の異常を検出するように、前記ニューラルネットワークを構築するための設定情報を出力する学習ステップと、
記憶部に記憶された前記設定情報に基づいて構築された前記ニューラルネットワークに、前記監視対象から新たに取得された一次元の時系列信号である未知の一次元データを入力して、前記監視対象の異常を検出する検出ステップと、
を備え、
前記ニューラルネットワークは、前記一次元データに対して一次元の畳み込みを行う一次元畳み込み層を含む
ことを特徴とする異常検出方法。
A signal acquisition step of acquiring one-dimensional data that is a one-dimensional time-series signal from a monitoring target;
Using the acquired one-dimensional data as an input, the neural network is trained to calculate a feature quantity of the one-dimensional data, and the one-dimensional data is classified based on the feature quantity to detect an abnormality of the monitoring target. Learning step for outputting setting information for constructing the neural network,
An unknown one-dimensional data which is a one-dimensional time-series signal newly acquired from the monitoring target is input to the neural network constructed based on the setting information stored in the storage unit, and the monitoring target A detection step for detecting an abnormality of
With
The abnormality detection method, wherein the neural network includes a one-dimensional convolution layer that performs one-dimensional convolution on the one-dimensional data.
請求項6に記載の異常検出方法において、
前記学習ステップは、
前記一次元データの特徴量を算出し、算出された前記特徴量に基づいて、前記ニューラルネットワークを構築するための特徴量の設定情報を出力する特徴量学習ステップと、
前記特徴量の設定情報を入力として前記一次元データを分類し、分類結果に基づいて、前記ニューラルネットワークを構築するための分類の設定情報を出力する分類器学習ステップと、
を備え、
前記検出ステップは、
前記記憶部に記憶された前記特徴量の設定情報に基づいて、未知の前記一次元データの特徴量を算出する特徴量算出ステップと、
前記記憶部に記憶された前記分類の設定情報に基づき、前記特徴量算出ステップで算出された前記特徴量を入力として、未知の前記一次元データの分類を行い異常を検出する分類ステップと、
を備えることを特徴とする異常検出方法。
In the abnormality detection method according to claim 6,
The learning step includes
A feature amount learning step of calculating a feature amount of the one-dimensional data and outputting setting information of a feature amount for constructing the neural network based on the calculated feature amount;
A classifier learning step for classifying the one-dimensional data using the feature amount setting information as input, and outputting classification setting information for constructing the neural network based on a classification result;
With
The detecting step includes
A feature amount calculating step of calculating a feature amount of the unknown one-dimensional data based on the setting information of the feature amount stored in the storage unit;
Based on the setting information of the classification stored in the storage unit, with the feature quantity calculated in the feature quantity calculation step as an input, a classification step of classifying unknown one-dimensional data and detecting an abnormality,
An abnormality detection method comprising:
請求項6または請求項7に記載の異常検出方法において、
前記ニューラルネットワークは、前記一次元畳み込み層の出力を入力とする再帰型ニューラルネットワーク層をさらに有することを特徴とする異常検出方法。
In the abnormality detection method according to claim 6 or 7,
The abnormality detection method, wherein the neural network further includes a recursive neural network layer that receives an output of the one-dimensional convolution layer.
請求項8に記載の異常検出方法において、
前記再帰型ニューラルネットワーク層は、LSTM層であることを特徴とする異常検出方法。
The abnormality detection method according to claim 8,
The abnormality detection method, wherein the recurrent neural network layer is an LSTM layer.
JP2018078212A 2018-04-16 2018-04-16 Device and method for detecting abnormality Pending JP2019185580A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018078212A JP2019185580A (en) 2018-04-16 2018-04-16 Device and method for detecting abnormality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018078212A JP2019185580A (en) 2018-04-16 2018-04-16 Device and method for detecting abnormality

Publications (1)

Publication Number Publication Date
JP2019185580A true JP2019185580A (en) 2019-10-24

Family

ID=68341405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018078212A Pending JP2019185580A (en) 2018-04-16 2018-04-16 Device and method for detecting abnormality

Country Status (1)

Country Link
JP (1) JP2019185580A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166243A1 (en) * 2020-02-21 2021-08-26
KR20210109416A (en) * 2020-02-27 2021-09-06 한국전자통신연구원 Machine-learning based abnormal signal detection using normal signal removing filter
US20230023931A1 (en) * 2021-07-08 2023-01-26 Zhejiang University Hydraulic turbine cavitation acoustic signal identification method based on big data machine learning
WO2023027490A1 (en) 2021-08-25 2023-03-02 주식회사 엘지에너지솔루션 Device for detecting defect in wire bonding and operation method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021166243A1 (en) * 2020-02-21 2021-08-26
WO2021166243A1 (en) * 2020-02-21 2021-08-26 日本電気株式会社 Discrimination device, learning method for discrimination device, and computer program
KR20210109416A (en) * 2020-02-27 2021-09-06 한국전자통신연구원 Machine-learning based abnormal signal detection using normal signal removing filter
KR102580554B1 (en) 2020-02-27 2023-09-21 한국전자통신연구원 Machine-learning based abnormal signal detection using normal signal removing filter
US20230023931A1 (en) * 2021-07-08 2023-01-26 Zhejiang University Hydraulic turbine cavitation acoustic signal identification method based on big data machine learning
US11840998B2 (en) * 2021-07-08 2023-12-12 Zhejiang University Hydraulic turbine cavitation acoustic signal identification method based on big data machine learning
WO2023027490A1 (en) 2021-08-25 2023-03-02 주식회사 엘지에너지솔루션 Device for detecting defect in wire bonding and operation method thereof
KR20230030405A (en) 2021-08-25 2023-03-06 주식회사 엘지에너지솔루션 Fault detection device of wire bonding process and method thereof

Similar Documents

Publication Publication Date Title
JP2019185580A (en) Device and method for detecting abnormality
US11216741B2 (en) Analysis apparatus, analysis method, and non-transitory computer readable medium
JP6740247B2 (en) Anomaly detection system, anomaly detection method, anomaly detection program and learned model generation method
Wei et al. LSTM-autoencoder-based anomaly detection for indoor air quality time-series data
EP3620986A1 (en) Computer-implemented method, computer program product and system for analysis of cell images
US8347144B2 (en) False alarm mitigation
Tibaduiza et al. A study of two unsupervised data driven statistical methodologies for detecting and classifying damages in structural health monitoring
Henrion Practical issues in constructing a Bayes' belief network
Orozco et al. Detecting pathologies from infant cry applying scaled conjugate gradient neural networks
Little et al. Nonlinear, biophysically-informed speech pathology detection
US10228994B2 (en) Information processing system, information processing method, and program
Neupane et al. Bearing fault detection using scalogram and switchable normalization-based CNN (SN-CNN)
Berisha et al. Modeling pathological speech perception from data with similarity labels
KR102300049B1 (en) Fault diagnosis apparatus and method using frequency analysis based on machine-learning
CN116012681A (en) Method and system for diagnosing motor faults of pipeline robot based on sound vibration signal fusion
EP3985574A1 (en) Method and apparatus with neural network pruning
CN109583115B (en) Soft measurement system for load parameters of fusion integrated mill
Zidaoui et al. Validation of wastewater data using artificial intelligence tools and the evaluation of their performance regarding annotator agreement
CN116644273A (en) Fault diagnosis method and system based on interpretability multiplication convolution network
Xu et al. Coarse-to-fine tool condition monitoring using multiple gated recurrent units
Amar Bouzid et al. CNC milling cutters condition monitoring based on empirical wavelet packet decomposition
US20220237883A1 (en) Image processing method and apparatus and storage medium
Wakiru A decision tree-based classification framework for used oil analysis applying random forest feature selection
Ouelli et al. Epilepsy seizure detection using autoregressive modelling and multiple layer perceptron neural network
Zhang et al. New Multifeature Information Health Index (MIHI) Based on a Quasi-Orthogonal Sparse Algorithm for Bearing Degradation Monitoring