JP2020149601A - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents
データ処理装置、データ処理方法及びデータ処理プログラム Download PDFInfo
- Publication number
- JP2020149601A JP2020149601A JP2019048834A JP2019048834A JP2020149601A JP 2020149601 A JP2020149601 A JP 2020149601A JP 2019048834 A JP2019048834 A JP 2019048834A JP 2019048834 A JP2019048834 A JP 2019048834A JP 2020149601 A JP2020149601 A JP 2020149601A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- time series
- data
- data processing
- series data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 92
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
本実施の形態に係るデータ処理装置10の構成、データ処理装置10の処理の流れを順に説明し、本実施の形態による効果を説明する。
実施の形態に係るデータ処理装置10は、与えられたタスク(異常検知など)に応じた問題を解き、最終的な出力を計算する。実施の形態に係るデータ処理装置10は、出力の解釈性を高めるための補助として、多変量時系列データの特徴量毎に、モデルの出力に対する寄与度を表す重みを生成する。具体的には、データ処理装置10は、attention機構を有するニューラルネットワークを用いたモデルを用いて、多変量時系列データの特徴量毎に、重みとして、attention(以降、特徴attentionとする。)を生成し、モデルの出力に寄与する特徴量を選別する。なお、寄与度を、その特徴量の、モデルの出力に対する重要度や、その特徴量の、モデルの出力に関する影響度と言い換えてもよい。
次に、モデル122について説明する。図2は、実施の形態におけるモデルの概要を説明する図である。図2では、多変量時系列データとして、複数のセンサデータを処理するモデルMeを例に説明する。
次に、データ処理装置10における学習処理の処理手順について説明する。図5は、実施の形態に係る学習処理の処理手順の一例を示すフローチャートである。
次に、データ処理装置10における特徴attentionの生成処理の処理手順について説明する。運用時には、モデル122にタスクを自動で解かせつつ、アトリビューションマップによってその判断根拠となった特徴量を確認する。図6は、実施の形態に係る特徴attentionの生成処理の処理手順の一例を示すフローチャートである。
ここで、近年、主に自然言語処理の領域において、attentionと呼ばれる技術がニューラルネットで使われている。このattention機構は、従来の再帰型ニューラルネットでは捉えきれないより長期的な単語系列間の依存関係を捉えることに使われる。そして、attention機構は、その副次的な恩恵として、attentionを観察することで、どの単語がタスクにおいて重要であったかを可視化することが可能である。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUやGPU及び当該CPUやGPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記実施の形態において説明したデータ処理装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施の形態に係るデータ処理装置10が実行する処理をコンピュータが実行可能な言語で記述したデータ処理プログラムを作成することもできる。この場合、コンピュータがデータ処理プログラムを実行することにより、上記実施の形態と同様の効果を得ることができる。さらに、かかるデータ処理プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたデータ処理プログラムをコンピュータに読み込ませて実行することにより上記実施の形態と同様の処理を実現してもよい。
11 通信部
12 記憶部
13 制御部
14 出力部
121 多変量時系列データ記憶部
122 モデル
131 受付部
132 学習部
133 生成部
134 出力計算部
Claims (6)
- 多変量時系列データの特徴量毎に、attention機構を用いて、モデルの出力に対する寄与度を表す重みを生成するよう学習されたモデルを用いて、処理対象の多変量時系列データの特徴量毎に重みを生成する生成部と、
前記生成部によって生成された各重みを、各特徴量に対応付けて出力する出力部と、
を有することを特徴とするデータ処理装置。 - 前記モデルは、多変量時系列データの特徴量毎の特徴ベクトルを抽出する第1のニューラルネットワークと、多変量時系列データの特徴量毎に前記attention機構を用いて重みを生成する第2のニューラルネットワークと、を少なくとも含むニューラルネットワークであり、
前記第1のニューラルネットワークに学習用の多変量時系列データの特徴量毎の特徴ベクトルを抽出させ、前記第2のニューラルネットワークに前記学習用の多変量時系列データの特徴量毎に重みを生成させ、抽出結果、生成結果及びこれらから計算されたタスクに対する出力結果を基に、前記モデルのうちの前記第2のニューラルネットワークに多変量時系列データの特徴量毎の重みの生成を学習させる学習部
をさらに有することを特徴とする請求項1に記載のデータ処理装置。 - 前記出力部は、各特徴量と各重みとの対応付けを示すデータとして、特徴量毎に、重みの大小を色の濃淡で表現した画像データを出力することを特徴とする請求項1または2に記載のデータ処理装置。
- 前記出力部は、各特徴量と各重みとの対応付けを示すデータとして、前記特徴量と前記重みとの関係をグラフ化した画像データを出力することを特徴とする請求項1または2に記載のデータ処理装置。
- データ処理装置が実行するデータ処理方法であって、
多変量時系列データの特徴量毎に、attention機構を用いて、モデルの出力に対する寄与度を表す重みを生成するよう学習されたモデルを用いて、処理対象の多変量時系列データの特徴量毎に重みを生成する工程と、
前記生成する工程によって生成された各重みを、各特徴量に対応付けて出力する工程と、
を含んだことを特徴とするデータ処理方法。 - 多変量時系列データの特徴量毎に、attention機構を用いて、モデルの出力に対する寄与度を表す重みを生成するよう学習されたモデルを用いて、処理対象の多変量時系列データの特徴量毎に重みを生成するステップと、
前記生成するステップによって生成された各重みを、各特徴量に対応付けて出力するステップと、
をコンピュータに実行させることを特徴とするデータ処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019048834A JP7267044B2 (ja) | 2019-03-15 | 2019-03-15 | データ処理装置、データ処理方法及びデータ処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019048834A JP7267044B2 (ja) | 2019-03-15 | 2019-03-15 | データ処理装置、データ処理方法及びデータ処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149601A true JP2020149601A (ja) | 2020-09-17 |
JP7267044B2 JP7267044B2 (ja) | 2023-05-01 |
Family
ID=72432099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019048834A Active JP7267044B2 (ja) | 2019-03-15 | 2019-03-15 | データ処理装置、データ処理方法及びデータ処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7267044B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022158099A1 (ja) * | 2021-01-21 | 2022-07-28 | ソニーグループ株式会社 | 情報処理方法、情報処理システム、情報端末、並びにコンピュータプログラム |
WO2022269690A1 (ja) * | 2021-06-21 | 2022-12-29 | 日本電信電話株式会社 | 異常検知装置、異常検知方法および異常検知プログラム |
WO2023047542A1 (ja) * | 2021-09-24 | 2023-03-30 | 日本電気株式会社 | 学習装置 |
WO2023175910A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 意思決定支援システム、意思決定支援方法および記録媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006043007A (ja) * | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | 診断支援プログラムおよび診断支援装置 |
JP2010054685A (ja) * | 2008-08-27 | 2010-03-11 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
JP2017068710A (ja) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 分散処理システム、学習モデル作成方法、データ処理方法、学習モデル作成プログラムおよびデータ処理プログラム |
WO2018105194A1 (en) * | 2016-12-07 | 2018-06-14 | Mitsubishi Electric Corporation | Method and system for generating multi-relevant label |
US20180336466A1 (en) * | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Sensor transformation attention network (stan) model |
JP2019023858A (ja) * | 2017-07-21 | 2019-02-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 学習データ生成装置、学習データ生成方法、機械学習方法及びプログラム |
JP2020042645A (ja) * | 2018-09-12 | 2020-03-19 | 株式会社日立製作所 | 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム |
-
2019
- 2019-03-15 JP JP2019048834A patent/JP7267044B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006043007A (ja) * | 2004-08-02 | 2006-02-16 | Fujitsu Ltd | 診断支援プログラムおよび診断支援装置 |
JP2010054685A (ja) * | 2008-08-27 | 2010-03-11 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
JP2017068710A (ja) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | 分散処理システム、学習モデル作成方法、データ処理方法、学習モデル作成プログラムおよびデータ処理プログラム |
WO2018105194A1 (en) * | 2016-12-07 | 2018-06-14 | Mitsubishi Electric Corporation | Method and system for generating multi-relevant label |
US20180336466A1 (en) * | 2017-05-17 | 2018-11-22 | Samsung Electronics Co., Ltd. | Sensor transformation attention network (stan) model |
JP2019023858A (ja) * | 2017-07-21 | 2019-02-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 学習データ生成装置、学習データ生成方法、機械学習方法及びプログラム |
JP2020042645A (ja) * | 2018-09-12 | 2020-03-19 | 株式会社日立製作所 | 時系列データ分析装置、時系列データ分析方法、および時系列データ分析プログラム |
Non-Patent Citations (1)
Title |
---|
山室 冴: "深層学習を用いた時系列データの要約と分類", 第10回データ工学と情報マネジメントに関するフォーラム (第16回日本データベース学会年次大会) [, JPN6022019257, 17 April 2018 (2018-04-17), JP, ISSN: 0004920152 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022158099A1 (ja) * | 2021-01-21 | 2022-07-28 | ソニーグループ株式会社 | 情報処理方法、情報処理システム、情報端末、並びにコンピュータプログラム |
WO2022269690A1 (ja) * | 2021-06-21 | 2022-12-29 | 日本電信電話株式会社 | 異常検知装置、異常検知方法および異常検知プログラム |
WO2023047542A1 (ja) * | 2021-09-24 | 2023-03-30 | 日本電気株式会社 | 学習装置 |
WO2023175910A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 意思決定支援システム、意思決定支援方法および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP7267044B2 (ja) | 2023-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020149601A (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
Zhao et al. | Critical-to-fault-degradation variable analysis and direction extraction for online fault prognostic | |
EP3847586A1 (en) | Computer-implemented method, computer program product and system for anomaly detection and/or predictive maintenance | |
US20200143292A1 (en) | Signature enhancement for deviation measurement-based classification of a detected anomaly in an industrial asset | |
EP3795975A1 (en) | Abnormality sensing apparatus, abnormality sensing method, and abnormality sensing program | |
US20200184373A1 (en) | Recurrent Gaussian Mixture Model For Sensor State Estimation In Condition Monitoring | |
US20240135145A1 (en) | Generation of Realistic Data for Training Of Artificial Neural Networks | |
Cheng et al. | A Koopman operator approach for machinery health monitoring and prediction with noisy and low-dimensional industrial time series | |
US20190310618A1 (en) | System and software for unifying model-based and data-driven fault detection and isolation | |
JP2018528511A (ja) | 生産システムにおける出力効率の最適化 | |
US20220011760A1 (en) | Model fidelity monitoring and regeneration for manufacturing process decision support | |
Rani et al. | Fault detection and isolation using probabilistic wavelet neural operator auto-encoder with application to dynamic processes | |
CN111930728B (zh) | 一种设备的特征参数和故障率的预测方法及系统 | |
De Ketelaere et al. | Statistical process monitoring of time-dependent data | |
Horner et al. | Parameter estimation of autoregressive-exogenous and autoregressive models subject to missing data using expectation maximization | |
US20220222402A1 (en) | Information processing device, information processing method, and information processing program | |
US11449781B2 (en) | Plant abnormality prediction system and method | |
Popescu et al. | Change detection in vibration analysis—A review of problems and solutions | |
Zeng et al. | A Bayesian sparse reconstruction method for fault detection and isolation | |
Jia et al. | A fault diagnosis scheme for harmonic reducer under practical operating conditions | |
JP6871352B1 (ja) | 学習装置、学習方法および学習プログラム | |
WO2020251037A1 (ja) | 学習装置、抽出装置、学習方法、抽出方法、学習プログラムおよび抽出プログラム | |
US20230259113A1 (en) | Subsystem-level model-based diagnosis | |
JP2019040456A (ja) | 教師情報付学習データ生成方法、機械学習方法、教師情報付学習データ生成システム及びプログラム | |
Bilski | Application of the fusion of regression machines for the analog circuit state identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7267044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |