JP2019113914A - Data identification device and data identification method - Google Patents
Data identification device and data identification method Download PDFInfo
- Publication number
- JP2019113914A JP2019113914A JP2017244811A JP2017244811A JP2019113914A JP 2019113914 A JP2019113914 A JP 2019113914A JP 2017244811 A JP2017244811 A JP 2017244811A JP 2017244811 A JP2017244811 A JP 2017244811A JP 2019113914 A JP2019113914 A JP 2019113914A
- Authority
- JP
- Japan
- Prior art keywords
- data
- neural network
- identification
- acquired
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、生産工程から定常的に取得されるデータ、または過去に取得されたデータに対して、そのデータが正常データか異常データを識別する異常検出装置、異常検知方法、および異常検知プログラムに関する。 The present invention relates to an abnormality detection apparatus, an abnormality detection method, and an abnormality detection program for identifying whether data is normal data or abnormal data with respect to data constantly acquired from a production process or data acquired in the past. .
あるデータ群に含まれるデータについて、正常なデータか否かを識別する機械学習の手法が知られており、大きく教師あり異常検知手法と教師なし異常検知手法の2つに分けられる。教師あり異常検知手法としては特許文献1に記載のような手法が知られている。しかし教師あり異常検知において、十分な識別精度を得るためにはあらかじめ正常なデータと異常なデータを同程度用意する必要がある。
There is known a machine learning method for identifying whether or not data included in a certain data group is normal data, and is roughly divided into two: supervised abnormality detection method and unsupervised abnormality detection method. As a supervised abnormality detection method, a method as described in
しかし、製品の生産設備から得られる製品のほとんどが良品であり不良品の発生率が低い場合、生産設備から得られるデータの大半が、良品から得られる正常データであり、不良品から得られる異常データ少ない場合がある。このような場合、教師あり異常検知手法を用いた場合、異常データが十分に得られないことから、異常データの特徴を十分に捉えることができず、異常データに対する識別精度が低くなってしまうという課題がある。 However, when most of the products obtained from the production facilities of the product are non-defective products and the incidence rate of defective products is low, most of the data obtained from the production facilities are normal data obtained from non-defective products and anomalies obtained from defective products There may be less data. In such a case, when the supervised abnormality detection method is used, since the abnormal data can not be obtained sufficiently, the characteristics of the abnormal data can not be sufficiently captured, and the identification accuracy with respect to the abnormal data is lowered. There is a problem.
教師なし異常検知技術は学習データとして、正常データを用いる異常検知手法であるため異常データを学習に用いず、正常データと異なる状態として異常データを識別できるという利点がある。教師なし異常検知技術を用いた異常検知手法としては特許文献2に提案されている。
The unsupervised abnormality detection technique is an abnormality detection method using normal data as learning data, and therefore has the advantage that abnormal data can be identified as a state different from normal data without using abnormal data for learning.
しかし、上記教師なし異常検知の技術を製品の生産工程等で利用する場合、環境条件の経時変化等で取得されるデータが変化することや、生産装置、周辺機器の更新などで取得されるデータに影響を与えることなどがあり、上記教師なし異常検知技術のみではこの変化に対応することができず、正確な判断を行なえない場合がある。
However, when using the above-mentioned unsupervised abnormality detection technology in the production process of a product etc., data acquired by changes over time of environmental conditions change, data acquired by updating of production equipment, peripheral equipment, etc. The unsupervised anomaly detection technology alone can not cope with this change, and an accurate judgment may not be made.
本発明は上記の点を鑑みてなされたもので、環境条件の経時変化するような条件であっても教師なし異常検知手法を用いて正確に異常検知を行うことを目的とする。 The present invention has been made in view of the above-mentioned point, and an object of the present invention is to perform abnormality detection accurately using an unsupervised abnormality detection method even under a condition where environmental conditions change with time.
上記課題を解決するために、本発明は、入力されるデータがデータ群中の特異データであるか否かを識別するデータ識別装置であって、
入力されたデータから、第1のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第2のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の2つのモードを独立に、あるいは、同時に動作させる制御手段と、を備えている。
In order to solve the above problems, the present invention is a data identification device for identifying whether or not input data is unique data in a data group,
Feature quantity extraction means for extracting a feature quantity from the input data using a first neural network;
Data reconstruction means for generating reconstruction data of the same size as the input data from the feature quantities using a second neural network;
Parameter determination means for determining a parameter of the first neural network and a parameter of the second neural network by an error back propagation method from an error between the reconstructed data and the input data;
Data evaluation means for evaluating the magnitude of an error between the reconstructed data and the input data;
An identification unit that compares the evaluation value calculated by the evaluation unit with a preset threshold value to identify whether the input data is unique data;
The feature quantity extraction means, the learning mode for operating the data reconstruction means and the parameter determination means, and the data identification mode for operating the feature quantity extraction means, the data reconstruction means, the data evaluation means and the identification means And control means for operating the two modes independently or simultaneously.
上記本発明のデータ識別装置は、前記データ群が、連続的に搬送される識別対象に由来するものであり、
前記データ識別装置が、前記識別対象に関するデータを取得するデータ取得手段と、前記データ取得手段が取得したデータを蓄積するデータ蓄積手段と、をさらに備え、
前記制御手段が、前記識別対象が搬送状態の時は、前記データ取得手段により取得されるデータを前記特徴量抽出手段に入力して、前記データ識別モードを動作させ、前記識別対象が搬送状態でない時は、前記識別対象が搬送状態の時に前記データ蓄積手段により蓄積されたデータを前記特徴量抽出手段に入力して、前記学習モードを動作させる、ことが好ましい。
In the above data identification apparatus of the present invention, the data group is derived from an identification object which is continuously transported,
The data identification apparatus further comprises: data acquisition means for acquiring data on the identification target; and data storage means for accumulating data acquired by the data acquisition means.
When the identification object is in the transport state, the control means inputs the data acquired by the data acquisition means to the feature amount extraction means to operate the data identification mode, and the identification object is not in the transport state It is preferable that the learning mode is operated by inputting data accumulated by the data accumulation unit to the feature quantity extraction unit when the identification target is in the transport state.
上記本発明のデータ識別装置は、前記識別対象が、搬送ベルトで搬送される搬送品、樹脂または糸条であることが好ましい。 In the data identification device of the present invention, preferably, the identification target is a conveyed product, a resin, or a yarn conveyed by a conveyance belt.
また、上記課題を解決するために、本発明は、第1のニューラルネットワークと第2のニューラルネットワークに、一定期間取得し蓄積されたデータを学習させることで、現在取得中のデータがデータ群中の特異データであるか否かを識別するデータ識別方法であって、下記の工程1および工程2を行う。
(工程1)
一定期間取得して蓄積されたデータから第1のニューラルネットワークを用いて特徴量1を抽出し、
前記特徴量1から第2のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、
前記再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定する。
(工程2)
前記工程1により決定されたパラメータが設定された前記第1のニューラルネットワークを用いて、取得中のデータから特徴量2を抽出し、
前記工程1により決定されたパラメータが設定された前記第2のニューラルネットワークを用いて、前記特徴量2から前記取得中のデータと同じサイズの再構成データを生成し、
前記再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する。
Further, in order to solve the above-mentioned problems, according to the present invention, by causing the first neural network and the second neural network to learn data acquired and accumulated for a certain period, the data currently being acquired is among the data groups. Data identification method for identifying whether or not the data is unique data, and the
(Step 1)
Generating reconstructed data of the same size as the accumulated data using the
Parameters of the first neural network and parameters of the second neural network are determined by an error back propagation method from an error between the reconstructed data and the accumulated data.
(Step 2)
Generating reconstructed data of the same size as the data being acquired from the
From the magnitude of the error between the reconstructed data and the data being acquired, it is determined whether the data being acquired is unique data.
本発明のデータ識別方法は、以下のいずれかの方法を行うと好ましい。
・前記工程1を最初に一度だけ行い、その後前記工程2を連続して行う方法。
・前記工程2を連続して行いつつ、前記工程1をあらかじめ定めた周期で繰り返し行う方法で、前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである。
・前記工程1をあらかじめ定めた周期で繰り返し行い、前記工程2を前記工程1が行われていない間に連続して行う方法で、前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである。
The data identification method of the present invention is preferably performed by any of the following methods.
-A method in which the
-The data acquired and accumulated for the fixed period used in the
· Data obtained by repeating the
本発明によれば、教師なし異常検知手法を使用して、対象から取得されるデータが正常か異常かを判定し、環境条件の経時変化等で取得されるデータが変化することや、生産装置、周辺機器の更新などで取得されるデータに影響を与える系においても適切な周期で再学習する機能を備えることにより、変化に対応した判定を実施することが可能となる。 According to the present invention, it is determined whether the data acquired from the object is normal or abnormal using the unsupervised abnormality detection method, and the acquired data changes due to the time-lapse change of the environmental condition, etc., or the production apparatus Even in a system that affects data acquired by updating of a peripheral device or the like, by providing a function of relearning at an appropriate cycle, it is possible to carry out determination corresponding to a change.
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
<装置構成>
図1に、本発明の実施にかかるデータ識別装置の実施形態の一例を示す。本データ識別装置は、演算装置1とデータ取得装置2と表示装置3を有している。演算装置1は、CPU(Central Processing Unit)、RAM(Random Access Memory)により構成されたメモリ、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記録装置から構成されたPC(Personal Computer)等であり、記録装置からプログラムやデータをメモリに呼び出し、CPUにて演算を実施する。記録装置としては、図示している構成に限られるものではなく、演算装置1の外部にHDDを接続することやCD、DVD、Blu−ray(登録商標)、などを利用することもできる。データ取得装置2はカメラやマイク等に代表されるセンサであり、演算装置1と電気的に接続されている。表示装置3はディスプレイ等であり演算装置1と電気的に接続されており、識別対象の判定結果を表示する構成等とすることができる。
<Device configuration>
FIG. 1 shows an example of an embodiment of a data identification apparatus according to the present invention. The data identification apparatus includes an
図2は、図1のデータ識別装置の内部構成の概略を具体的に示したものである。演算装置1には、データ取得部10、特徴量抽出部11、データ再構成部12、データ評価部13、パラメータ決定部14、判定部15、結果出力部16、制御部17が含まれている。データ取得部10、特徴量抽出部11、データ再構成部12データ評価部13、パラメータ決定部14、判定部15、結果出力部16、制御部17は、演算装置1に保存された1つまたは複数からなるプログラムまたは演算回路である。
FIG. 2 specifically shows the outline of the internal configuration of the data identification apparatus of FIG. The
<機能構成>
データ取得部10は、データ取得装置2を介して識別対象データを取得し、メモリ等に一次的に記録する機能を持つものとする。また、データ取得部10は、演算装置内部または外部の記録装置に識別対象データを保存する機能をもたせることが望ましい。
<Functional configuration>
The
特徴量抽出部11は、第1のニューラルネットワークを利用して識別対象データを示す低次元の特徴量を抽出する。識別対象データとなるセンサにより取得されるデータは、多次元のベクトルとして扱うことができ、第1のニューラルネットワークにおけるニューロンの値を1つのベクトルと解釈する。具体的には、図3に示すようなニューラルネットワークが考えられる。特徴量抽出部11に用いる第1のニューラルネットワークへの制約として、入力層におけるニューロンの数は識別対象データの次元nと一致させる必要がある。さらに抽出する特徴量の数mはnより必ず小さくする必要がある。第1のニューラルネットワークの層数や中間層に用いるニューロンの数に制約はないが、識別対象データの次元数に合せてその数を増やすことが望ましい。また、識別対象データが画像や動画などの場合には、取得されるデータの隣接するニューロン間の相互関係が重要であるので、ニューロン間の結合に制約をもたせた畳み込み層(Convolution Layer)を用いることで、より重要な特徴を抽出することが可能になる。
The feature
データ再構成部12は、第2のニューラルネットワークを利用して特徴量抽出部11より抽出した特徴量から識別対象データと同じn次元のデータを再構成する。具体的には、図4に示すような構成のニューラルネットワークとする。データ再構成部12に用いる第2のニューラルネットワークに対しての制約は、出力層のニューロンの数が識別対象データと同じであることである。第2のニューラルネットワークの層数や中間層に用いるニューロンの数に制約はないが、識別対象データが画像や動画などの場合には、取得されるデータの隣接するニューロン間の相互関係が重要で、ニューロン間の結合に制約をもたせた逆畳み込み層(Deconvolution Layer)を用いることで、より高精度にデータを再構成することが可能になる。特徴量抽出部11とデータ再構成部12は、図5に示すように1つのニューラルネットワークとして使用することも可能である。
The
データ評価部13は、識別対象データと、データ再構成部12で得られた再構成データの差異を評価する。2つのデータの差異の評価方法としては、SSD(Sum of Squared Difference)もしくはSAD(Sum of Absolute Difference)などがある。いずれの指標も、識別対象データと再構成データが一致する時に0となる指標であり、数値が大きいほどデータ間の差異が大きいことを示す。
The
パラメータ決定部14は、データ評価部13の結果に基づいて、特徴量抽出部11、データ再構成部12に用いるニューラルネットワークのパラメータを決定する。ここでニューラルネットワークのパラメータとは重みとバイアスのことである。重みとはニューラルネットワークの各ニューロン間の結合強度を示す数値であり、バイアスとはニューロン間の情報の伝達時に加算されるニューロンの値とは無関係な定数である。
The
データ評価部13より計算した識別対象データと再構成データの誤差から誤差逆伝播法によりパラメータの修正を行なう。この場合は識別対象データを取得し、蓄積しておいた複数のデータを用いて、同様の処理を繰り返す。ニューラルネットワークで学習を行なう場合には、ミニバッチ確率的勾配降下法を用いることが効果的であることが知られており、識別対象データを複数個組み合わせて、ミニバッチを作成し同時に誤差を算出し、それらの合計値を用いてパラメータ修正を行なうことが効果的である。誤差逆伝播法による学習を行なう場合には、徐々にパラメータ修正を繰り返しながら最終的なパラメータを決定することが好ましい。
From the error between the identification target data calculated by the
判定部15は、誤差のデータ評価部13により算出した誤差の値とあらかじめ設定した閾値とを比較し、識別対象データが正常か異常かを判定する。誤差の大きいデータは、元の識別対象データと、再構成データの差異が大きいデータであるため、過去に十分に学習していないデータ、すなわち異常データであると判断される。誤差の小さいデータは、十分に学習したデータと判断される。閾値は、正常データの平均値や中央値にその標準偏差の定数倍を加えた値とする。識別対象データ、または蓄積データの中に異常データがあることが分かっている場合には、異常データから特徴量抽出部11、データ再構成部12を使用しデータ評価部13により算出した誤差の最低値を設定することなどができる。
The
結果出力部16は、判定部15の結果を通知あるいは表示する。判定部15が異常と判定した場合、結果出力部16は、画面上に識別対象データを表示する、演算装置からの異常信号を出力するなどで外部に知らせる。
The
制御部17は、上述の各部を状態に応じた制御を行って、本発明のデータ識別装置を動作させる。学習モード(工程1)と識別モード(工程2)の2つの制御モードで制御する。それぞれの制御モードに応じてデータ取得部10、特徴量抽出部11、データ再構成部12、データ評価部13、パラメータ決定部14、判定部15、結果出力部16の処理手順または動作順序を制御する。
The
<データ識別装置の動作>
本発明のデータ識別装置が学習モード(工程1)で動作する場合の動作フローを図6に示し、また、識別モード(工程2)で動作する場合の動作フローを図7に示す。
<Operation of Data Identification Device>
The operation flow when the data identification apparatus of the present invention operates in the learning mode (step 1) is shown in FIG. 6, and the operation flow when operating in the identification mode (step 2) is shown in FIG.
本発明のデータ識別装置を利用してデータ識別するにはまず、学習モードで動作させた後に、識別モードで動作させる。 In order to identify data using the data identification device of the present invention, first, after operating in the learning mode, it operates in the identification mode.
図6を用いて学習モード(工程1)で動作させる場合の動作フローを説明する。学習モードにおける処理ステップに入る前に、まず、ステップS10において蓄積データをあらかじめ定めた値の単位(2〜64)に分割する。分割した単位をミニバッチと呼称する。ミニバッチの数をN-bとして、ミニバッチ数の規定値とする。また第1のニューラルネットワークのパラメータ修正は繰り返し実施する必要があるため、あらかじめ繰り返し回数の規定値Neを設定しておく。まず、現在処理中のミニバッチ数を示すミニバッチ数カウンタnbおよび現在の繰り返し回数を示す繰り返し回数カウンタneの値を初期化し、以下のステップS11を開始する前に、これらの値に1を加算する。次に、ステップS11において、データ取得部10から識別対象データ群を取得し、ステップS12では、特徴量抽出部11を用いて識別対象データ群を表現する特徴量1群を抽出する。ステップS13では、得られた特徴量1群からデータ再構成部12の第2のニューラルネットワークにより再構成データ群を生成する。次にステップS14では、データ評価部13から識別対象データと再構成データの誤差を算出する。ステップS15では、ミニバッチに含まれる識別対象データ全ての誤差を算出し終えた段階で、誤差の平均値を算出した誤差から誤差逆伝播法により特徴量抽出部11の第1のニューラルネットワークおよびデータ再構成部12の第2のニューラルネットワークのパラメータ修正を行い、パラメータを決定する。
これらの一連の処理を処理中のミニバッチ数カウンタnbがミニバッチ数規定値Nbになるまで繰り返し、全てのミニバッチに対して上記ステップS11〜ステップS15の処理繰り返す。ミニバッチ数が規定値以上になったら、繰り返し回数カウンタneの値が繰り返し回数規定値以上かどうかの判断を行ない、Neが繰り返し回数以下の場合は、neの値に1を加算し、Nbの値を初期化した後、再度ステップS11〜ステップS15の処理を繰り返す。この処理を繰り返しneの値がNe以上となったところで処理を終了する。以下ではこの一連の流れを学習と呼称する。
The operation flow in the case of operating in the learning mode (step 1) will be described using FIG. Before entering the processing step in the learning mode, first, in step S10, accumulated data is divided into predetermined value units (2 to 64). The divided units are called mini-batches. Let the number of mini-batches be N- b , and let the default value for the number of mini-batches. The parameter modification of the first neural network it is necessary to repeated, setting the prescribed value N e in advance repeat count. First, before the value of the repeat count counter n e showing a mini-batch counter n b and the current repetition count indicating the mini-batch number currently being processed is initialized, starts step S11 follows, adds 1 to the values Do. Next, in step S11, the identification target data group is acquired from the
Repeat until the series of processes mini-batch number counter n b being processed is the mini-batch number specified value N b, it repeats the process of step S11~ step S15 for all mini-batch. When the number of mini-batches exceeds the specified value, it is judged whether the value of the repeat counter n e is more than the specified value for the repeat count, and if N e is less than the repeat count, 1 is added to the value of n e After the value of N b is initialized, the processing of steps S11 to S15 is repeated again. This process is repeated and the process ends when the value of n e becomes N e or more. Hereinafter, this series of flows will be referred to as learning.
制御部は、入力層に識別対象データ、目標出力に識別対象データとし、ニューラルネットワークを学習させることで、識別対象データから、識別対象データを表現する重要なパラメータを抽出し、識別対象データに近い再構成データを得られるようになる。識別対象データに近い再構成データを得られるようになると、学習したデータに対して算出される誤差の値が小さくなる。 The control unit extracts important parameters representing the identification target data from the identification target data by learning the neural network by using the input layer as the identification target data and the target output as the identification target data, and is close to the identification target data It will be possible to obtain reconstruction data. When reconstructed data close to the identification target data can be obtained, the value of the error calculated for the learned data decreases.
次に、識別モード(工程2)で動作させることによってデータ識別を行なう。図7を用いて識別モードで動作させる場合の動作フローについて説明する。まず、ステップS20では、データ取得部10により識別対象データとなるデータを取得する。次に、ステップS21では、ステップS20で取得した識別対象データから特徴量抽出部11の第1のニューラルネットワークにより特徴量2を抽出し、ステップS22では、データ再構成部12の第2のニューラルネットワークにより再構成データを作成する。ステップS23では、データ評価部13により作成した再構成データと識別対象データの差異を評価する。ステップS24では、判定部15によりステップS23で算出された誤差と閾値を比較し、判定を実施する。ステップS25では、結果出力部16によりステップS24で得られた判定結果を出力する。この一連の流れを識別と呼称する。ステップS20が取得するデータは、カメラやマイク等によりリアルタイムのデータを取得してもよいし、あらかじめ取得しておいたデータを読み込んでもよいし、それらに対する識別処理を行なうことができる。
Next, data identification is performed by operating in the identification mode (step 2). An operation flow in the case of operating in the identification mode will be described with reference to FIG. First, in step S20, the
<データ識別方法>
本発明のデータ識別装置が行うデータ識別方法は、以下に記載の3通りの方法で行われる。
<Data identification method>
The data identification method performed by the data identification device of the present invention can be performed by the following three methods.
・データ識別方法A
1つ目のデータ識別方法は、あらかじめ取得しておいた学習データを使用して学習モードで動作させ、パラメータ決定部14により、特徴量抽出部11およびデータ再構成部12のパラメータを決定しておく(工程1)。その後、決定したパラメータを用いて識別モードで動作させることである(工程2)。この時、識別モードが識別する識別対象データは、データ取得部10により逐次取得されるデータに対してデータ識別を行なってもよいし、あらかじめ取得しておき演算装置1の内部、もしくは外部に保存されている識別対象データ群を取得してデータ識別を行ってもよい。
・ Data identification method A
The first data identification method is operated in a learning mode using learning data acquired in advance, and the
このデータ識別方法は、識別対象データが常に同一の条件で取得されるデータや過去に取得したデータに対して好適である。 This data identification method is suitable for data whose identification target data is always acquired under the same condition or data acquired in the past.
・データ識別方法B
2つ目のデータ識別方法は、学習モードと識別モードを並行して動作させる。この時、データ評価部13により算出される評価結果はパラメータ決定部14と判定部15に伝達され、判定とパラメータ修正とが同時に行うことが可能である。修正したパラメータは次のデータ取得からの一連の流れを実施する前に更新することも可能であるが、一定量の識別対象データを学習させた後に特徴量抽出部11、データ再構成部12で用いるパラメータを更新する。このデータ識別方法は、生産工程が常時稼動しているような系に対して有効である。このデータ識別方法においては、学習モード、識別モードを並行して動作させるため、データ識別方法Aに比べて好適に状態変化に対応させられる。学習モードと識別モードを並行して動作する場合、演算装置における計算負荷が高くなり、識別モードの動作に影響を及ぼす場合は演算装置を2つ用意し、それぞれにおいて学習モードと識別モードを並行して動作させることも可能である。この場合、学習モードの動作が、識別モードに影響を与えなくなるため、識別モードの動作安定性を確保することができる。
・ Data identification method B
The second data identification method operates the learning mode and the identification mode in parallel. At this time, the evaluation result calculated by the
・データ識別方法C
3つ目のデータ識別方法は、特に識別対象データが生産工程から取得される場合において、生産工程が稼動、停止を繰り返す場合であれば、制御部17は、生産工程の稼動時には識別モードを動作させて、演算装置1の内部または外部の記録装置に識別対象データを記録し、生産工程が停止した際には学習モードを動作させる方法である。学習モードにより得られたパラメータを識別モードに利用する場合には、テストデータを用意し得られる評価値を事前に確認、判断した後に識別モードで用いるニューラルネットワークのパラメータを更新することが望ましい。このデータ識別方法は、生産工程が停止と運転を繰り返す場合に、演算装置1を効率的に活用できるため好適である。このデータ識別方法において、識別モードで動作させた際に取得した識別対象データを保存し、蓄積データを作成し、学習モードで動作させる際にこの蓄積データを利用し、学習を実施することで、次回の運転時には直近の生産状態を反映させることが可能である。これにより、生産工程で経時的、あるいは突発的な変化が発生していても、次回以降の生産時にはその変化状態を反映させることができる。
・ Data identification method C
In the third data identification method, the
以下に本発明を実施例によって具体的に説明する。ただし、本発明はこれに限定されるものではない。 Hereinafter, the present invention will be specifically described by way of examples. However, the present invention is not limited to this.
<実施例1>
本実施例ではデータ識別方法Aを用いるものとする。本実施例では図8に示される構成により、データ取得装置2にあたるカメラで、搬送される製品の画像を取得し、演算装置1としてPCに保存されたデータ識別プログラムを用いて製品の外観検査を実施し、結果を表示装置3であるディスプレイに表示するものである。ここでは時刻T1までの蓄積データを用いて学習した識別装置を用いて時刻T1から時刻T6まで連続して生産され、搬送される製品から取得される識別対象データに対して、識別モードで動作をさせ、搬送される製品が正常か異常かを識別させるものとした。
Example 1
In this embodiment, the data identification method A is used. In the present embodiment, with the configuration shown in FIG. 8, the camera corresponding to the
この時、照明の劣化により微小な光量の低下が発生した。光量の低下によって発生する撮像条件の変化により撮像画像がT1からT6までの時刻において図9のように変化し、評価値の時間変化は図10のようになった。また時刻T1以前においては照明の劣化は発生しなかった。本識別装置には時刻T1以前の画像を学習させていたため、製品は正常であっても撮像画像に生じている撮像条件の変化より評価部13の算出する評価値の値は図11の時刻T1から時刻T3ように徐々に上昇していくことになった。図のように識別対象データの取得される条件変化が続くと、学習に用いた蓄積データと取得される識別対象データの差異が大きくなり評価値は上昇を続けた。このため、時刻T5以降において評価値が閾値以上となってしまったが、時効T5までは正常に判定ができていたので、撮像条件の変化が緩やかな場合や、連続して生産する時間が短い場合ななどでは、データ識別方法Aでも十分に製品が正常か異常かを識別できる。
At this time, a slight decrease in the amount of light occurred due to the deterioration of the illumination. The captured image changes as shown in FIG. 9 at the time from T1 to T6 due to the change of the imaging condition caused by the decrease of the light amount, and the time change of the evaluation value becomes as shown in FIG. Moreover, before the time T1, the deterioration of the illumination did not occur. Since the present identification device learns the image before time T1, even if the product is normal, the value of the evaluation value calculated by
<実施例2>
本実施例ではデータ識別方法Bを用いるものとする。ここでは図8の構成を用いて時刻T1〜T6において製品は連続的に生産され、搬送される製品の画像を取得し、製品の外観検査を実施する。本実施例には演算装置1としてPC1とPC2を利用する。PC1は実施例1と同様にカメラから取得された識別対象データに対して識別モードで動作させるものとし、PC2では逐次PC1に保存された識別対象データ群を蓄積データとして使用し、あらかじめ定めた時刻において学習モードで動作させるものとする。
Example 2
In this embodiment, the data identification method B is used. Here, a product is continuously produced at times T1 to T6 using the configuration of FIG. 8, an image of the product to be transported is acquired, and an appearance inspection of the product is performed. In this embodiment, PC1 and PC2 are used as the
ここでは、データ識別方法Bを用いることから、あらかじめ定められた時刻T2、T4で学習を実施するものとした。また実施例1と同様に時刻T1以降において照明の劣化により微小な光量の低下が発生したため、得られる識別対象データは図9のようになり、評価値の時間変化は図11のようになった。 Here, since the data identification method B is used, learning is performed at predetermined times T2 and T4. Further, as in the first embodiment, since a slight decrease in the amount of light occurs due to deterioration of the illumination after time T1, the identification target data obtained is as shown in FIG. 9, and the time change of the evaluation value is as in FIG. .
時刻T1より製品の外観検査を開始したところ、図11のように時刻T1から時刻T3までの間において、評価値は実施例1と同様に上昇を続けた。ここで時刻T2において、時刻T1からT2までの蓄積データを用いて学習を実施する。本識別装置において直近の時刻の蓄積データで学習することで、学習に用いた蓄積データと取得される識別対象データにおける照明条件の差異が小さくすることができた。この時学習によって得られたパラメータで、時刻T3において特徴量抽出部11、データ再構成部12のパラメータを更新することで、時刻T3以降において、時刻T3以前よりも評価値の値を低下させることができた。このため時刻T3以降は評価値の上昇を抑えることが可能となった。同様に時刻T4においても再び学習し、時刻T5において特徴量抽出部12、データ再構成部13のパラメータを更新することで、評価値の上昇を抑えることが可能となった。結果として、時刻T1〜T6において、評価値が閾値以上とはならず正確に判定を実施することができた。
When the appearance inspection of the product was started from time T1, as shown in FIG. 11, the evaluation value continued to increase as in Example 1 from time T1 to time T3. Here, at time T2, learning is performed using accumulated data from time T1 to T2. By learning with the accumulated data of the latest time in the present identification device, it was possible to reduce the difference between the accumulated data used for the learning and the illumination condition in the acquired identification target data. At this time, by updating the parameters of the feature
<実施例3>
本実施例ではデータ識別方法Cを用いるものとする。ここでも実施例1、実施例2と同様に図8の構成により搬送される製品の画像を取得し、製品の外観検査を実施する。特に本実施例において、製品は断続的に生産された。具体的には時刻T1から時刻T2、時刻T3から時刻T4、時刻T5から時刻T6において生産が実施され、製品が搬送されており、時刻T2から時刻T3、時刻T4から時刻T5において生産は実施されておらず、製品の搬送は停止された。本実施例においては、製品の搬送停止時間において、学習モードを動作させるものとした。
Example 3
In this embodiment, the data identification method C is used. Here, similarly to the first embodiment and the second embodiment, the image of the product conveyed by the configuration of FIG. 8 is acquired, and the appearance inspection of the product is performed. Especially in this example, the products were produced intermittently. Specifically, production is performed from time T1 to time T2, time T3 to time T4, and time T5 to time T6, and the product is transported, and production is performed from time T2 to time T3 and time T4 to time T5. Not, product transport was stopped. In the present embodiment, the learning mode is operated during the product conveyance stop time.
ここで、時刻T1以降において照明の劣化により微小な光量の低下が発生したため得られる識別対象データは図9のようになり、評価の時間変化は図12のようになった。時刻T1より製品の外観検査を開始したところ、時刻T1から時刻T2までの間において、評価値は上昇を続けた。しかし時刻T2〜時刻T3の間に時刻T1から時刻T2の間に取得された蓄積データに対して本データ識別装置の学習モードを使用することで、学習に用いた蓄積データと取得される識別対象データにおける照明条件の差異が小さくなったことから評価値の値を低下させることができた。このため時刻T3以降は評価値の上昇を抑えることが可能となった。同様に時刻T4から時刻T5においても学習を実施することで時刻T5以降おいても正確に判定を実施することができた。 Here, since a slight decrease in the amount of light occurs due to the deterioration of the illumination after time T1, the identification target data obtained is as shown in FIG. 9, and the time change of evaluation is as shown in FIG. When the appearance inspection of the product was started from time T1, the evaluation value continued to rise between time T1 and time T2. However, by using the learning mode of the data identification apparatus for accumulated data acquired between time T1 and time T2 between time T2 and time T3, accumulated data used for learning and an identification target to be acquired As the difference in the lighting conditions in the data became smaller, it was possible to reduce the value of the evaluation value. For this reason, it is possible to suppress an increase in the evaluation value after time T3. Similarly, by performing learning also from time T4 to time T5, the determination could be performed accurately even after time T5.
以上のことからデータ識別方法Aは蓄積データなどで変化しない場合は有効であるが、実施例1のように取得されるデータが経時変化し、学習を行わずに連続して検査を続ける時間に対してデータの経時変化の程度が大きい場合は、識別精度に問題が生じる場合がある。このため、取得されるデータが経時変化する場合や生産装置、周辺機器の更新などで取得されるデータが影響を受ける場合はデータ識別方法B、データ識別方法Cを用いることが好ましい。特に生産設備が連続生産を実施する場合、常時識別モードで動作させる必要があるため、識別モードと並行して学習モードでも動作させる必要がある。このため実施例2で用いたデータ識別方法Bを用いることが好ましいと考える。生産設備がバッチ生産の場合は装置停止時に学習を実施することで演算装置を有効活用できるため、実施例3のようにデータ識別方法Cを用いることが望ましいといえる。 From the above, data identification method A is effective when it does not change due to accumulated data etc. However, the data acquired as in Example 1 changes with time, and it is time to continue examination without learning. On the other hand, when the degree of temporal change of data is large, there may be a problem in identification accuracy. For this reason, it is preferable to use the data identification method B and the data identification method C when the acquired data changes with time, or when the acquired data is affected by the update of a production apparatus or a peripheral device. In particular, when the production facility performs continuous production, it is necessary to operate in the identification mode at all times, so it is necessary to operate in the learning mode in parallel with the identification mode. Therefore, it is considered preferable to use the data identification method B used in the second embodiment. When the production equipment is batch production, it is preferable to use the data identification method C as in the third embodiment because the computing device can be effectively used by performing learning when the device is stopped.
本発明は、生産工程において、搬送ベルトで搬送される搬送品、樹脂または糸条の異常検出に有用である。 INDUSTRIAL APPLICABILITY The present invention is useful for detecting an abnormality in a transported product, a resin, or a yarn transported by a transport belt in a production process.
1 演算装置
2 データ取得装置
3 表示装置
10 データ取得部
11 特徴量抽出部
12 データ再構成部
13 データ評価部
14 パラメータ決定部
15 判定部
16 結果出力部
17 制御部
Claims (7)
入力されたデータから、第1のニューラルネットワークを用いて特徴量を抽出する特徴量抽出手段と、
前記特徴量から、第2のニューラルネットワークを用いて前記入力されたデータと同じサイズの再構成データを生成するデータ再構成手段と、
前記再構成データと前記入力されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定するパラメータ決定手段と、
前記再構成データと前記入力されたデータとの誤差の大きさを評価するデータ評価手段と、
前記評価手段により算出した評価値とあらかじめ設定した閾値とを比較して、前記入力されたデータが特異データであるか否かを識別する識別手段と、
前記特徴量抽出手段、前記データ再構成手段および前記パラメータ決定手段を動作させる学習モード、ならびに、前記特徴量抽出手段、前記データ再構成手段、前記データ評価手段および前記識別手段を動作させるデータ識別モード、の2つのモードを独立に、あるいは、同時に動作させる制御手段と、
を備えたデータ識別装置。 A data identification device for identifying whether input data is unique data in a data group, comprising:
Feature quantity extraction means for extracting a feature quantity from the input data using a first neural network;
Data reconstruction means for generating reconstruction data of the same size as the input data from the feature quantities using a second neural network;
Parameter determination means for determining a parameter of the first neural network and a parameter of the second neural network by an error back propagation method from an error between the reconstructed data and the input data;
Data evaluation means for evaluating the magnitude of an error between the reconstructed data and the input data;
An identification unit that compares the evaluation value calculated by the evaluation unit with a preset threshold value to identify whether the input data is unique data;
The feature quantity extraction means, the learning mode for operating the data reconstruction means and the parameter determination means, and the data identification mode for operating the feature quantity extraction means, the data reconstruction means, the data evaluation means and the identification means Control means for operating the two modes independently or simultaneously
Data identification device equipped with
前記データ識別装置が、
前記識別対象に関するデータを取得するデータ取得手段と、
前記データ取得手段が取得したデータを蓄積するデータ蓄積手段と、
をさらに備え、
前記制御手段が、
前記識別対象が搬送状態の時は、前記データ取得手段により取得されるデータを前記特徴量抽出手段に入力して、前記データ識別モードを動作させ、
前記識別対象が搬送状態でない時は、前記識別対象が搬送状態の時に前記データ蓄積手段により蓄積されたデータを前記特徴量抽出手段に入力して、前記学習モードを動作させる、
請求項1のデータ識別装置。 The data group is derived from a continuously conveyed identification object,
The data identification device
Data acquisition means for acquiring data relating to the identification object;
Data storage means for storing data acquired by the data acquisition means;
And further
The control means
When the identification target is in the transport state, the data acquired by the data acquisition unit is input to the feature extraction unit, and the data identification mode is operated.
When the identification target is not in the transport state, data stored by the data storage unit is input to the feature amount extraction unit when the identification target is in the transport state, and the learning mode is operated.
The data identification device of claim 1.
(工程1)
一定期間取得して蓄積されたデータから第1のニューラルネットワークを用いて特徴量1を抽出し、
前記特徴量1から第2のニューラルネットワークを用いて前記蓄積されたデータと同じサイズの再構成データを生成し、
前記再構成データと前記蓄積されたデータとの誤差から、誤差逆伝播法により、前記第1のニューラルネットワークのパラメータ、および、前記第2のニューラルネットワークのパラメータを決定する。
(工程2)
前記工程1により決定されたパラメータが設定された前記第1のニューラルネットワークを用いて、取得中のデータから特徴量2を抽出し、
前記工程1により決定されたパラメータが設定された前記第2のニューラルネットワークを用いて、前記特徴量2から前記取得中のデータと同じサイズの再構成データを生成し、
前記再構成データと前記取得中のデータとの誤差の大きさから、前記取得中のデータが特異データであるか否かを識別する。 A data identification method for identifying whether or not currently acquired data is unique data in a data group by causing the first neural network and the second neural network to learn data acquired and accumulated for a fixed period of time. And a data identification method for performing the following steps 1 and 2.
(Step 1)
Feature 1 is extracted from the data acquired and accumulated for a fixed period using a first neural network,
Generating reconstructed data of the same size as the accumulated data using the feature 1 to the second neural network;
Parameters of the first neural network and parameters of the second neural network are determined by an error back propagation method from an error between the reconstructed data and the accumulated data.
(Step 2)
Feature amount 2 is extracted from the data being acquired using the first neural network in which the parameter determined in the step 1 is set;
Generating reconstructed data of the same size as the data being acquired from the feature amount 2 using the second neural network in which the parameter determined in the step 1 is set;
From the magnitude of the error between the reconstructed data and the data being acquired, it is determined whether the data being acquired is unique data.
前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、
前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである、データ識別方法。 5. The data identification method according to claim 4, wherein said step 1 is repeatedly performed in a predetermined cycle while said step 2 is continuously performed,
The data acquired and accumulated during the fixed period used in the step 1 is obtained in the process of the step 2 continuously performed between the step 1 and the step 1 performed immediately before the step 1 Data, and
The data identification method, wherein the parameters set in the first neural network and the second neural network in the step 2 are the parameters determined in the step 1 performed immediately before the step 2 respectively.
前記工程1で用いられる前記一定期間取得して蓄積されたデータが、その工程1とその工程1の直前に行われた工程1との間で連続して行われた工程2の過程で得られたデータであり、
前記工程2で前記第1のニューラルネットワークおよび前記第2のニューラルネットワークに設定されるパラメータが、それぞれその工程2の直近に行われた工程1により決定されたパラメータである、データ識別方法。 5. The data identification method according to claim 4, wherein said step 1 is repeatedly performed in a predetermined cycle, and said step 2 is continuously performed while said step 1 is not performed,
The data acquired and accumulated during the fixed period used in the step 1 is obtained in the process of the step 2 continuously performed between the step 1 and the step 1 performed immediately before the step 1 Data, and
The data identification method, wherein the parameters set in the first neural network and the second neural network in the step 2 are the parameters determined in the step 1 performed immediately before the step 2 respectively.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017244811A JP7047372B2 (en) | 2017-12-21 | 2017-12-21 | Data identification device and data identification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017244811A JP7047372B2 (en) | 2017-12-21 | 2017-12-21 | Data identification device and data identification method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019113914A true JP2019113914A (en) | 2019-07-11 |
JP7047372B2 JP7047372B2 (en) | 2022-04-05 |
Family
ID=67222557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017244811A Active JP7047372B2 (en) | 2017-12-21 | 2017-12-21 | Data identification device and data identification method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7047372B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3940601A1 (en) | 2020-07-14 | 2022-01-19 | Fujitsu Limited | Information processing apparatus, information processing method, and information program |
JP7460391B2 (en) | 2020-02-26 | 2024-04-02 | 株式会社Screenホールディングス | LEARNING DEVICE, IMAGE INSPECTION DEVICE, PROGRAM, AND LEARNING METHOD |
JP7520777B2 (en) | 2021-07-01 | 2024-07-23 | 株式会社東芝 | Machine Learning Equipment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10171993A (en) * | 1996-12-10 | 1998-06-26 | Oki Electric Ind Co Ltd | Authenticity discriminating device for medium |
JP2017097718A (en) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | Identification processing device, identification system, identification method, and program |
US20170169357A1 (en) * | 2015-12-15 | 2017-06-15 | Deep Instinct Ltd. | Methods and systems for data traffic analysis |
CN107437094A (en) * | 2017-07-12 | 2017-12-05 | 北京木业邦科技有限公司 | Plank method for sorting and system based on machine learning |
-
2017
- 2017-12-21 JP JP2017244811A patent/JP7047372B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10171993A (en) * | 1996-12-10 | 1998-06-26 | Oki Electric Ind Co Ltd | Authenticity discriminating device for medium |
JP2017097718A (en) * | 2015-11-26 | 2017-06-01 | 株式会社リコー | Identification processing device, identification system, identification method, and program |
US20170169357A1 (en) * | 2015-12-15 | 2017-06-15 | Deep Instinct Ltd. | Methods and systems for data traffic analysis |
CN107437094A (en) * | 2017-07-12 | 2017-12-05 | 北京木业邦科技有限公司 | Plank method for sorting and system based on machine learning |
Non-Patent Citations (1)
Title |
---|
中野 雄介 YUUSUKE NAKANO: "オートエンコーダによるネットワーク異常検知", 電子情報通信学会2017年総合大会講演論文集 通信2 PROCEEDINGS OF THE 2017 IEICE GENERAL CONFEREN, JPN6021043028, 23 March 2017 (2017-03-23), pages 126, ISSN: 0004629435 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7460391B2 (en) | 2020-02-26 | 2024-04-02 | 株式会社Screenホールディングス | LEARNING DEVICE, IMAGE INSPECTION DEVICE, PROGRAM, AND LEARNING METHOD |
EP3940601A1 (en) | 2020-07-14 | 2022-01-19 | Fujitsu Limited | Information processing apparatus, information processing method, and information program |
JP7520777B2 (en) | 2021-07-01 | 2024-07-23 | 株式会社東芝 | Machine Learning Equipment |
Also Published As
Publication number | Publication date |
---|---|
JP7047372B2 (en) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111902781B (en) | Apparatus and method for controlling a system | |
US20210011791A1 (en) | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model | |
US10997711B2 (en) | Appearance inspection device | |
US11092952B2 (en) | Plant abnormality detection method and system | |
KR102170473B1 (en) | Systems and methods for wafer map analysis | |
US11133204B2 (en) | Chamber matching with neural networks in semiconductor equipment tools | |
JP7408653B2 (en) | Automatic analysis of unsteady mechanical performance | |
WO2018131219A1 (en) | Anomaly sensing device, anomaly sensing method, and storage medium | |
US20200402221A1 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
US11657121B2 (en) | Abnormality detection device, abnormality detection method and computer readable medium | |
KR101992970B1 (en) | Apparatus And Method for Detecting A Surface Defect Using A Deep Neural Network And Noise Reduction | |
JP2020198092A (en) | Method and system for unsupervised anomaly detection and cause explanation with majority voting for high-dimensional sensor data | |
CA3166581A1 (en) | Method and system for training inspection equipment for automatic defect classification | |
JP2019113914A (en) | Data identification device and data identification method | |
WO2019176990A1 (en) | Inspection device, image discriminating device, discriminating device, inspection method, and inspection program | |
KR20210017651A (en) | Method for Fault Detection and Fault Diagnosis in Semiconductor Manufacturing Process | |
KR102523458B1 (en) | Method, computing device and computer program for detecting abnormal behavior of process equipment | |
US20170370985A1 (en) | Methods and systems for detecting, classifying and/or mitigating sensor error | |
Brandsæter et al. | An application of sensor-based anomaly detection in the maritime industry | |
JP2019016039A (en) | Method for diagnosing abnormal state of process and abnormal state diagnosis apparatus | |
CN116992226A (en) | Water pump motor fault detection method and system | |
WO2020148904A1 (en) | Abnormality detection device, abnormality detection system, learning device, method for these, and non-transitory computer-readable medium having program stored thereon | |
KR102623389B1 (en) | Method, apparatus and program for checking consistency among a plurality of manufacturing process equipment based on sensor data | |
Aremu et al. | Kullback-leibler divergence constructed health indicator for data-driven predictive maintenance of multi-sensor systems | |
CN116340872A (en) | Method for determining abnormality based on combination of reconstruction and prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7047372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |