JP2004354111A

JP2004354111A - 物体検査方法及びその装置

Info

Publication number: JP2004354111A
Application number: JP2003149762A
Authority: JP
Inventors: Yoshihito Hashimoto; 良仁橋本; Kazutaka Ikeda; 和隆池田
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2003-05-27
Filing date: 2003-05-27
Publication date: 2004-12-16
Anticipated expiration: 2023-05-27
Also published as: JP3778177B2

Abstract

【課題】検査対象がどのカテゴリに属するかを視覚的に容易に把握できる物体検査方法及びその装置を提供する。
【解決手段】特徴抽出部２は、信号入力部１の測定信号から検査対象の特徴量を抽出したデータを作成する。マップ作成部３ａは、特徴抽出部２によって特徴量が抽出された複数のデータからなる学習用データセットを教師なし競合型ニューラルネットワークに入力してカテゴリ毎に分類し、クラスタリングマップを作成する。そして、マップ作成後に信号入力部１及び特徴抽出部２を介して新たな測定信号のデータが入力されると、クラスタ判定部３ｂが新規のデータを学習後の競合型ニューラルネットワークに入力して、新規データのマップ上での位置を取得するとともに、取得した位置から新規のデータが何れのカテゴリに属するかを判定して、判定結果を表示部７にマップ表示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物体の物理的、化学的性質を測定し、その測定結果を基準となるデータと比較することで対象物体の良否を検査する物体検査方法及びその装置に関するものである。
【０００２】
【従来の技術】
この種の物体検査装置としては、例えば検査対象の製品の振動を振動センサにより測定し、その測定データをバックプロパゲーションニューラルネットワークに入力して、比較対象の製品と比較することで、検査対象の製品の良、不良を判定するものがあった（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平６−９６０４７号公報
【０００４】
【発明が解決しようとする課題】
上述の物体検査装置では、バックプロパゲーションニューラルネットワークを使用しているので、検査対象の出力ニューロンと、複数の比較対象の出力ニューロンとの一致度合いがそれぞれ出力されるだけで、出力ニューロンの位置関係が２次元マップで表示されないため、出力ニューロンの位置関係を視覚的に把握することができなかった。そのため、検査対象が不良のカテゴリに分類されたとしても、その検査対象が良品に近いものなのか、それとも典型的な不良品であるのかといったことを、容易に把握することができなかった。
【０００５】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、検査対象がどのカテゴリに属するかを視覚的に容易に把握できる物体検査方法及びその装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、検査対象の物理的、化学的性質に関わる測定信号を入力して、入力された測定信号から検査対象の特徴量を抽出したデータを作成した後に、複数の前記データからなる学習用データセットを教師なし競合型ニューラルネットワークに入力してカテゴリ毎に分類して、クラスタリングマップを作成し、前記クラスタリングマップの作成後に新たな測定信号を学習後の前記競合型ニューラルネットワークに入力して、前記新たな測定信号の前記クラスタリングマップ上での位置を取得するとともに、取得した位置から前記新たな測定信号が何れのカテゴリに属するかを判定して判定結果を出力することを特徴とする。
【０００７】
この発明によれば、競合型ニューラルネットワークを用いて検査対象を複数のカテゴリに分類して、クラスタリングマップを作成した後に、新たな検査対象の測定信号を競争型ニューラルネットワークに入力して、この測定信号が属するカテゴリを判定しているので、新たな検査対象がどのカテゴリに属するかを精度良く検出でき、且つ、新たな測定信号のクラスタリングマップ上での位置を取得して出力しているので、検査対象がどのカテゴリに属するかを視覚的に容易に把握できる。
【０００８】
請求項２の発明は、請求項１の発明において、前記測定信号は、人間の五感の内の少なくとも何れか１つの感覚に関わる信号であることを特徴とする。
【０００９】
この発明によれば、人間の五感の内の少なくとも何れか１つの感覚に関わる信号を競争型ニューラルネットワークに入力して、カテゴリ毎に分類しているので、人間の感覚を基準として検査対象の良否を判定できる。
【００１０】
請求項３の発明は、請求項１又は２の発明において、前記学習用データセットのデータを収集する際に、各々のデータが何れのカテゴリに属するかをユーザによる登録操作にしたがって記憶装置に登録し、前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示装置に表示させることを特徴とする。
【００１１】
この発明によれば、カテゴリ毎に色分けしてクラスタリングマップを表示しているので、カテゴリ毎の位置関係を視覚的に容易に判別できる。
【００１２】
請求項４の発明は、請求項３の発明において、前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示する背景画像を作成し、該背景画像をメモリに記憶させた後、前記新たな測定信号の前記クラスタリングマップ上での位置データを別のメモリに記憶させ、別々のメモリに記憶された前記背景画像と前記新たな測定信号の位置データとを用いて、前記背景画像上に新たな測定信号の位置を重ねて表示装置に表示させることを特徴とする。
【００１３】
この発明によれば、クラスタリングマップをカテゴリ毎に異なる色で色分けして表示する背景画像をメモリに記憶させておき、このメモリに記憶された背景画像の上に、別のメモリに記憶された新たな測定信号を重ねて表示させているので、判定結果の正誤を容易に判断でき、そのうえ新たな測定信号の位置を表示する度に背景画像を描画する必要がないから、描画を高速に行えることができる。
【００１４】
請求項５の発明は、請求項３の発明において、前記クラスタリングマップの作成後に前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させ、出力されたカテゴリがユーザの登録したカテゴリと異なる場合には、前記クラスタリングマップ上で前記データの位置を登録されたカテゴリの色と異なる色で表示装置に表示させることを特徴とする。
【００１５】
この発明によれば、学習用データセットのデータが属するカテゴリを誤って登録した場合は、そのデータの位置がカテゴリの色と異なる色で表示されるので、表示装置の表示からカテゴリの登録が誤っていることを容易に判別できる。
【００１６】
請求項６の発明は、請求項３の発明において、前記クラスタリングマップの作成後に前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させ、前記クラスタリングマップ上の各々の位置に出力される前記データのリストを作成した後、ユーザによる前記クラスタリングマップ上の所望の位置の選択操作に応じて、選択された位置にマッピングされているデータのリストを表示し、当該リスト上のデータから所望のデータを選択する操作にしたがって、選択されたデータに対応する測定信号を出力することを特徴とする。
【００１７】
この発明によれば、クラスタリングマップ上の各々の位置に出力されるデータのリストから、所望のデータを選択すると、そのデータに対応した測定信号が出力されるので、生の測定信号をもとにカテゴリの登録が誤っているか否かをユーザ側で判断することができる。
【００１８】
請求項７の発明は、請求項１乃至６の何れか１つの発明において、前記クラスタリングマップの作成後に新たな測定信号から特徴量を抽出したデータを作成して前記学習用データセットに追加し、データが追加された前記学習用データセットを前記教師なし競合型ニューラルネットワークに入力して個々のカテゴリのデータに分類し、前記クラスタリングマップを更新することを特徴とする。
【００１９】
この発明によれば、学習用データセットに、新たな測定信号から特徴量を抽出したデータを追加することで、競合型ニューラルネットワークの精度を高めることができる。
【００２０】
請求項８の発明は、請求項１乃至６の何れか１つの発明において、複数のカテゴリの内、一部のカテゴリに属するデータからなる学習用データセットを前記教師なし競合型ニューラルネットワークに入力して前記クラスタリングマップを作成した後に、検査対象の物体の検査を行うことで、新たな測定信号を学習後の競合型ニューラルネットワークに入力して、該測定信号の前記クラスタリングマップ上での位置を取得し、取得した位置が前記カテゴリの境界付近であればユーザに警報を発するとともに、該警報を受けてユーザが行った新たなカテゴリの登録操作にしたがって前記クラスタリングマップを更新することを特徴とする。
【００２１】
この発明によれば、当初は一部のカテゴリに属するデータからなる学習データセットを用いて、クラスタリングマップを作成し、その後実際の検査を行う際に、異なるカテゴリのデータが入力されると、そのデータの属するカテゴリを追加させているので、一部のカテゴリに属するデータのみで検査を開始することができ、さらに検査を進めるにつれて競合型ニューラルネットワークの精度を高めることができる。
【００２２】
請求項９の発明は、検査対象の物理的、化学的性質に関わる測定信号を入力する信号入力手段と、入力された測定信号から検査対象の特徴量を抽出したデータを作成する特徴量抽出手段と、複数の前記データからなる学習用データセットを教師なし競合型ニューラルネットワークに入力してカテゴリ毎に分類し、クラスタリングマップを作成するマップ作成手段と、新たな測定信号を学習後の前記競合型ニューラルネットワークに入力して、前記新たな測定信号の前記クラスタリングマップ上での位置を取得するとともに、取得した位置から前記新たな測定信号が何れのカテゴリに属するかを判定するクラスタ判定手段を備えることを特徴とする。
【００２３】
この発明によれば、競合型ニューラルネットワークを用いて検査対象を複数のカテゴリに分類して、クラスタリングマップを作成した後に、新たな検査対象の測定信号を競争型ニューラルネットワークに入力して、この測定信号が属するカテゴリを判定しているので、新たな検査対象がどのカテゴリに属するかを精度良く検出することが可能な物体検査装置を実現できる。そのうえ、新たな測定信号のクラスタリングマップ上での位置を取得して出力しているので、検査対象がどのカテゴリに属するかを視覚的に容易に把握できる物体検査装置を実現できる。
【００２４】
請求項１０の発明は、請求項９の発明において、前記測定信号は、人間の五感の内の少なくとも何れか１つの感覚に関わる信号であることを特徴とする。
【００２５】
この発明によれば、人間の五感の内の少なくとも何れか１つの感覚に関わる信号を競争型ニューラルネットワークに入力して、カテゴリ毎に分類しているので、人間の感覚を基準として検査対象の良否を判定可能な物体検査装置を実現できる。
【００２６】
請求項１１の発明は、請求項９又は１０の発明において、前記学習用データセットのデータを収集する際に、各々のデータが何れのカテゴリに属するかをユーザによる登録操作にしたがって記憶装置に登録するカテゴリ登録手段と、前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示する表示手段とを備えることを特徴とする。
【００２７】
この発明によれば、カテゴリ毎に色分けしてクラスタリングマップを表示しているので、カテゴリ毎の位置関係を視覚的に容易に判別可能な物体検査装置を実現できる。
【００２８】
請求項１２の発明は、請求項１１の発明において、前記表示手段は、前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示する背景画像を作成し、該背景画像をメモリに記憶させるとともに、前記新たな測定信号の前記クラスタリングマップ上での位置データを別のメモリに記憶させ、別々のメモリに記憶された前記背景画像と前記新たな測定信号の位置データとを用いて、前記背景画像上に新たな測定信号の位置を重ねて表示することを特徴とする。
【００２９】
この発明によれば、クラスタリングマップをカテゴリ毎に異なる色で色分けして表示する背景画像をメモリに記憶させておき、このメモリに記憶された背景画像の上に、別のメモリに記憶された新たな測定信号を重ねて表示させているので、判定結果の正誤を容易に判断でき、そのうえ新たな測定信号の位置を表示する度に背景画像を描画する必要がないから、描画を高速に行える物体検査装置を実現できる。
【００３０】
請求項１３の発明は、請求項１１の発明において、前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させるカテゴリ出力手段と、当該カテゴリ出力手段より出力されたカテゴリがユーザの登録したカテゴリと異なる場合に、前記クラスタリングマップ上で前記データの位置を登録されたカテゴリの色と異なる色で前記表示手段に表示させるクラスタ登録確認手段を備えることを特徴とする。
【００３１】
この発明によれば、学習用データセットのデータが属するカテゴリを誤って登録した場合は、そのデータの位置がカテゴリの色と異なる色で表示されるので、表示装置の表示からカテゴリの登録が誤っていることを容易に判別可能な物体検査装置を実現できる。
【００３２】
請求項１４の発明は、請求項１１の発明において、前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させるカテゴリ出力手段と、カテゴリ出力手段の出力をもとに、前記クラスタリングマップ上の各々の位置に出力される前記データのリストを作成するリスト作成手段と、ユーザによる前記クラスタリングマップ上の所望の位置の選択操作に応じて、選択された位置にマッピングされているデータのリストを前記リスト作成手段の作成したリストから読み出して表示装置に表示させるとともに、当該リスト上のデータから所望のデータを選択する操作にしたがって、選択されたデータに対応する測定信号を出力するデータ出力手段を備えることを特徴とする。
【００３３】
この発明によれば、クラスタリングマップ上の各々の位置に出力されるデータのリストから、所望のデータを選択すると、そのデータに対応した測定信号が出力されるので、生の測定信号をもとにカテゴリの登録が誤っているか否かをユーザ側で判断可能な物体検査装置を実現できる。
【００３４】
請求項１５の発明は、請求項９乃至１４の何れか１つの発明において、新たな測定信号から特徴量を抽出したデータを作成して前記学習用データセットに追加する追加データ登録手段と、データが追加された前記学習用データセットを前記教師なし競合型ニューラルネットワークに入力して個々のカテゴリのデータに分類し、前記クラスタリングマップを更新するマップ更新手段を備えることを特徴とする。
【００３５】
この発明によれば、学習用データセットに、新たな測定信号から特徴量を抽出したデータを追加することで、競合型ニューラルネットワークの精度を高めることが可能な物体検査装置を実現できる。
【００３６】
請求項１６の発明は、請求項９乃至１４の何れか１つの発明において、前記マップ作成手段は、複数のカテゴリの内、一部のカテゴリに属するデータからなる学習用データセットを前記教師なし競合型ニューラルネットワークに入力して前記クラスタリングマップを作成するとともに、検査対象の検査を行う際にクラスタ判定手段が求めた測定信号の前記クラスタリングマップ上での位置が前記カテゴリの境界付近であればユーザに対して警報を発する警報手段と、警報手段による警報を受けてユーザが行った新たなカテゴリの登録操作にしたがって前記クラスタリングマップを更新するマップ更新手段を備えることを特徴とする。
【００３７】
この発明によれば、当初は一部のカテゴリに属するデータからなる学習データセットを用いて、クラスタリングマップを作成し、その後実際の検査を行う際に、異なるカテゴリのデータが入力されると、そのデータの属するカテゴリを追加させているので、一部のカテゴリに属するデータのみで検査を開始することができ、さらに検査を進めるにつれて競合型ニューラルネットワークの精度を高めることが可能な物体検査装置を実現できる。
【００３８】
【発明の実施の形態】
（実施形態１）
本発明に係る物体検査方法を用いて官能検査を行う物体検査装置の一実施形態を図面に基づいて説明する。物体検査装置は、図１に示すように、信号入力部１と、特徴抽出部２と、演算処理部３と、学習データ記憶部４と、マップ記憶部５と、判定位置記憶部６と、表示部７と、音声出力部８と、入力部９とで構成され、予め検査対象の製品の物理的、化学的性質の測定結果を収集して、それらの測定結果を複数のカテゴリ（同種の測定結果の群）に分類しておき、実際の検査時には予め収集した測定結果と検査対象の製品についての測定結果とを比較し、最も類似したカテゴリを判定することで、検査対象の良、不良の判定や、不良の場合にはどのような内容の不良かを判定するものである。
【００３９】
信号入力部１は、検査対象の物理的、化学的性質に関わる測定量、特に人間の五感に関わる測定量を電気信号に変換して出力するセンサ（例えば振動センサ、マイク、ＴＶカメラ、臭いセンサなど）からなり、本実施形態では振動及び可聴音をそれぞれ検出する振動センサ１ａ及びマイク１ｂにより構成される。
【００４０】
特徴抽出部２は、信号入力部１より入力された測定信号から検査対象の特徴量を抽出したデータを作成するものであり、信号入力部１が振動センサ１ａやマイク１ｂ或いはＴＶカメラからなる場合には、信号入力部１からの信号にフーリエ変換などを施して周波数成分の分布を特徴量として抽出する。
【００４１】
学習データ記憶部４には実際の検査で測定される全てのカテゴリの測定データ（良品および複数種類の不良品の測定結果）が予め登録されており、特徴抽出部２では、学習データ記憶部４に登録されている複数の測定結果を用いて、全てのカテゴリの測定結果について特徴量を抽出し、複数の特徴量のデータからなる学習用データセットを作成する。
【００４２】
演算処理部３は例えばマイクロコンピュータからなり、マップ作成部３ａとクラスタ判定部３ｂとを備える。マップ作成部３ａでは、上述の学習用データセットを、図２に示すような教師なし競合型ニューラルネットワークに入力して、複数のカテゴリに分類することで、二次元のクラスタリングマップを作成する。図２のニューラルネットワークは、複数個の入力層ニューロンＮ１と、入力層ニューロンＮ１に完全結合で結ばれた複数個の出力層ニューロンＮ２との２層で構成され、学習によって入力層と出力層との間の接続重みが決定される。なお、学習時にはどのデータがどのカテゴリに属しているのかを、キーボードやマウスなどの入力部９を用いてユーザに登録させており、教師なし競合型ニューラルネットワークにより作成されたクラスタリングマップを出力側から入力側に逆向きに動作させて、クラスタリングマップ上の各カテゴリの位置に対応する入力データを推定する。
【００４３】
ここで、図３のフロー図を参照してクラスタリングマップの作成過程を説明する。出力層ニューロンＮ２に接続されている入力層ニューロンＮ１の接続重みを推定入力データとし、出力層ニューロンＮ２を選択して（Ｓ１）、入力データを推定した後（Ｓ２）、推定入力データと学習用データセットの登録データとの誤差二乗和を計算することによって両者の一致度を評価する（Ｓ３）。そして、一致度の計算を全ての登録データについて実施したか否かを判定し（Ｓ４）、全ての登録データについて一致度の計算が終了していなければ、Ｓ２に戻って一致度の計算を継続する。そして、全ての登録データについて一致度の計算が終了すると、一致度が最も高い（誤差二乗和が最大の）登録データを選択し（Ｓ５）、選択された登録データに対してユーザが登録したカテゴリを出力層ニューロンに割り当て、マップ上の対応する位置のカテゴリとする（Ｓ６）。その後、全ての出力層ニューロンについて上記の処理を実行したか否かを判定し（Ｓ７）、全ての出力層ニューロンについて処理が終了していなければ、Ｓ１に戻り、残りの出力層ニューロンについて上記の処理を繰り返して行う。そして、全ての出力層ニューロンについて処理が終了すれば、出力層ニューロンを縦横に並べた二次元のクラスタリングマップを作成し（Ｓ８）、作成したクラスタリングマップのデータをマップ記憶部５に記憶させる。
【００４４】
クラスタ判定部３ｂは、実際の検査時に特徴抽出部２から入力された特徴量のデータを学習後の競合型ニューラルネットワークに入力して、新たな測定信号がクラスタリングマップ上でどのカテゴリ（クラスタ）に属するかを判定し、新たな測定結果のマップ上での位置データを判定位置記憶部６に記憶させる。
【００４５】
表示部７は、マップ記憶部５及び判定位置記憶部６にそれぞれ記憶されたクラスタリングマップのデータと新たな測定信号のマップ上での位置データを用いて、クラスタリングマップを背景として新たな測定信号を表示するとともに、新たな測定信号のデータのマップ上での位置を重ね書きする。図４はクラスタリングマップの一例であり、この例図ではマップ上の領域が４つのカテゴリＡ１〜Ａ４に分類され、各々のカテゴリＡ１〜Ａ４毎に異なる色で色分けして表示してあり、カテゴリＡ１は良品を、カテゴリＡ２はビビリ音を、カテゴリＡ３はややビビリ音を、カテゴリＡ４はこもり音をそれぞれ示している
このように、表示部７では、クラスタリングマップをカテゴリ毎に異なる色で色分けして表示しているので、カテゴリ毎の位置関係を視覚的に明確に判別することができる。また、図５（ａ）〜（ｃ）に示すように、実際の検査時には表示部７がクラスタリングマップＭＡＰ上に新たな測定信号の位置Ｐ１〜Ｐ３を重ねて表示しており、例えば図５（ａ）は検査対象がビビリ音不良、同図（ｂ）は検査対象がこもり音に近い良品、同図（ｃ）は検査対象がビビリ音に近い良品の場合の表示例であり、測定信号の位置から検査対象の良否や判定結果の正当性を視覚的に容易に確認することができる。
【００４６】
また、表示部７では、新たな測定結果のマップ上での位置を表示する際に、マップ記憶部５に記憶されたクラスタリングマップＭＡＰのデータと、判定位置記憶部６に記憶された新たな測定結果の位置データとを用い、図６（ａ）〜（ｅ）に示すように、背景となるクラスタリングマップＭＡＰ（図６（ａ）参照）に、測定結果の位置Ｐ１又はＰ２（図６（ｂ）（ｃ）参照）を重ね合わせることで、判定結果のマップ表示を行っているので（図６（ｄ）（ｅ）参照）、測定結果の位置Ｐ１又はＰ２を書き換えるのみで、判定結果のマップ表示を行える。ここで、測定結果の位置のみの描画は、クラスタリングマップＭＡＰの描画に比べて遙かに短い時間（数十分の一程度の時間）で済むので、毎回クラスタリングマップＭＡＰを描画する場合に比べて判定結果の表示を高速に行うことができる。
【００４７】
以上の動作をまとめると、学習時には特徴抽出部２が学習データ記憶部４に記憶されている複数のデータから特徴量を抽出して学習データセットを作成した後、マップ作成部３ａが学習データセットのデータを教師なし競合型ニューラルネットワークに入力して、複数のカテゴリに分類することで、クラスタリングマップを作成し、クラスタリングマップのデータをマップ記憶部５に記憶させる。そして、実際の検査時には信号入力部１が検査対象の物理的、化学的性質に関わる測定量を電気信号に変換して特徴抽出部２に出力し、特徴抽出部２が信号入力部１より入力された測定信号から特徴量を抽出しており、クラスタ判定部３ｂが、特徴抽出部２から入力されたデータを学習後の競合型ニューラルネットワークに入力して、新たな測定信号がクラスタリングマップ上でどのカテゴリに属するかを判定し、新たな測定結果のマップ上での位置データを判定位置記憶部６に記憶させる。その後、表示部７が、マップ記憶部５及び判定位置記憶部６に記憶されたマップのデータと新たな測定信号の位置データとを用い、クラスタリングマップ上で新たな測定信号の位置を表示しており、表示部７の表示から検査対象の測定結果がどのカテゴリに属しているか、すなわち良品であるか不良であるか、不良の場合はどのような内容の不良かを視覚的に把握することができる。
【００４８】
なお、本実施形態においてクラスタリングマップの作成後に、演算処理部３が、学習に用いた全てのデータを学習後のニューラルネットワークに再度入力して、各々のデータが属するカテゴリを出力させ、出力されたカテゴリとユーザにより登録された各々のデータのカテゴリとが異なる場合には、マップ上の対応する位置を、登録されたカテゴリと異なる色で色づけして表示するようにしても良い。図７はその表示例であり、学習時に登録されたカテゴリと再入力時の判定結果とが異なるデータの出力位置Ａ５〜Ａ７を、登録されたカテゴリとは異なる色で表示している。このように、ユーザにより登録された各々のデータのカテゴリと、学習後のニューラルネットワークにデータを再入力してカテゴリを判定した結果とが異なる場合には、ユーザによるカテゴリの登録誤りと考えられるので、マップ上で色を変えて表示することで、カテゴリの登録誤りをユーザに知らしめて、カテゴリの登録内容の変更をユーザに促すことができる。
【００４９】
また、クラスタリングマップの作成後に、演算処理部３が、学習に用いた全てのデータを学習後のニューラルネットワークに再度入力して、各々のデータが属するカテゴリを出力させ、マップ上の各々の位置に出力される入力データのリスト（発火リスト）を作成するとともに、出力されたカテゴリとユーザにより登録された各々のデータのカテゴリとが異なる場合には、マップ上の対応する位置を、登録されたカテゴリと異なる色で色づけして表示し、ユーザが入力部９を用いてクラスタリングマップＭＡＰ上の所望の位置を選択すると、入力部９による選択操作に応じて演算処理部３がその位置にマッピングされている学習データのリストを表示部７に表示させるようにしても良い。
【００５０】
図８（ａ）はクラスタリングマップＭＡＰの一例であり、マップ上の位置Ｐ３，Ｐ４を選択すると、その位置Ｐ３，Ｐ４にマッピングされた学習データのリストＴ１，Ｔ２（図８（ｂ）（ｃ）参照）が表示部７に表示される。ここで、位置Ｐ３，Ｐ４は何れも良品のカテゴリＡ１に属しているが、位置Ｐ４はカテゴリＡ１の色と異なる色で表示されており、ユーザによるカテゴリの登録が誤っていることを示している。図８（ａ）のマップＭＡＰを見てカテゴリの登録誤りに気付いたユーザが位置Ｐ４を選択すると、位置Ｐ４にマッピングされている学習データのリストＴ２が表示され、このリストＴ２から学習データにこもり音のデータ３が含まれていることが判る。そして、表示部７に表示されたリストＴ２から入力部９を用いてデータ３を選択すると、入力部９による選択操作にしたがって、演算処理部３がデータ３の原音をスピーカよりなる音声出力部８から出力させるので、原音を聞いてカテゴリの登録が誤っているか否かをユーザに判断させることができる。
【００５１】
このように、マップ上の各々の位置にマッピングされている学習データのリストを表示させることによって、ユーザは各カテゴリに分類されているデータを直接確認して、カテゴリの登録誤りの有無を判断することができ、またカテゴリの境界の精度を高めるためにはどのデータを増やせば良いかといった指針を得ることができる。また、学習データのリストから１乃至複数のデータを選択すると、音検査の場合は選択されたデータ（音）がスピーカから再生され、画像検査の場合は選択されたデータ（画像）が表示部７に表示されるので、各々のデータのカテゴリ登録が誤っているか否かを容易に確認することができる。
【００５２】
また、本実施形態においてデータ登録部４ａを用いて学習データ記憶部４に新規のデータを追加登録することによって、学習用データセットのデータを追加するようにしても良く、学習に用いるデータを追加して、教師なし競合型ニューラルネットワークが追加学習を行うことで、カテゴリの登録誤りの修正やカテゴリ境界の精度の向上を効率良く行うことができる。
【００５３】
（実施形態２）
本発明の実施形態２を図面に基づいて説明する。尚、物体検査装置の基本的な構成は実施形態１と同様であるので、共通する構成要素には同一の符号を付してその説明は省略し、以下では本実施形態の特徴部分のみを説明する。
【００５４】
上述した実施形態１では、実際の検査で測定される全てのカテゴリの測定データを学習データ記憶部４に記憶させておき、それらの測定データで競合型ニューラルネットワークを学習させて、クラスタリングマップを作成しているが、本実施形態では、初期学習時にある１つのカテゴリに属する測定データのみを学習データ記憶部４に記憶させておき、１つのカテゴリに属する測定データのみで競合型ニューラルネットワークを学習させて、クラスタリングマップを作成させている。
【００５５】
競合型ニューラルネットワークで単一のカテゴリ（例えば良品のカテゴリ）に属する測定データのみを用いて学習させた場合、作成されたクラスタリングマップＭＡＰは図９（ａ）に示すように単一のカテゴリＡ１のみからなり、マップＭＡＰの中央には学習に用いたデータの中で最も標準的なデータが配置され、標準的なデータとの相違が大きくなるほど、データの出力位置がマップＭＡＰの中心から離れていく。従って、初期学習時に用いた測定データのカテゴリ（良品のカテゴリ）と異なるカテゴリのデータが新規に入力されると、新規の入力データはマップの縁に出力されると考えられる。
【００５６】
そこで、学習後に実際の検査を行う過程で、マップＭＡＰの縁に沿って設定した枠状の警告エリアＡ１０（図９（ａ）中の斜線部）に測定結果が出力された場合、演算処理部３はその入力データを学習データ記憶部４に記憶させるとともに、表示部７或いは音声出力部８を用いて警報を出力させることで、ユーザに報知している。そして、警報を受けたユーザが入力データを確認し、良品以外のカテゴリに属する入力データであれば、この入力データに新たなカテゴリを割り当てて、競合型ニューラルネットワークに追加学習を行わせ、クラスタリングマップを更新させる。図９（ｂ）（ｃ）に示す例では、新規の入力データが警告エリアＡ１０に出力されるので、演算処理部３は表示部７或いは音声出力部８を用いて警報を出力しており、この警報を受けたユーザが入力データを確認する。そして、ユーザは、図９（ｂ）の例では新規の入力データを新たなカテゴリとして登録し、図９（ｃ）の例では良品として登録しており、競合型ニューラルネットワークに追加学習を行わせることで、クラスタリングマップＭＡＰが更新される。一方、図９（ｄ）に示す例では、新規の入力データが警告エリアＡ１０以外の良品の領域に出力されるので、演算処理部３はそのまま処理を続行する。図９（ｅ）は最終的なクラスタリングマップＭＡＰの例図であり、３つのカテゴリＡ１〜Ａ３に分類され、各カテゴリＡ１〜Ａ３毎に異なる色で色分けして表示してある。
【００５７】
このように、新規の入力データが警告エリアＡ１０に出力された場合は警報動作を行って、ユーザに入力データを確認させ、新たなカテゴリの場合はユーザがそのカテゴリを登録することで、競合型ニューラルネットワークに追加学習させて、クラスタリングマップを更新しているので、初期学習時には単一のカテゴリに属するデータのみで学習を開始させることができ、その後検査が進行してカテゴリの登録数が増えるにつれて、クラスタリングマップの精度が向上し、それによって検査の精度も向上する。
【００５８】
なお、本実施形態では初期学習時に単一のカテゴリに属するデータのみで学習を行わせているが、全てのカテゴリの内の一部（複数）のカテゴリに属する測定データを学習データ記憶部４に記憶させておき、一部のカテゴリに属する測定データのみで競合型ニューラルネットワークを学習させて、クラスタリングマップを作成させ、検査を行う過程で競合型ニューラルネットワークを追加学習させて、クラスタリングマップを更新するようにしても良い。この場合は初期学習時にクラスタリングマップが複数のカテゴリに分割されているので、カテゴリの境界に警告エリアを設定しておき、新規の入力データが警告エリアに出力された場合は警報動作を行って、ユーザに入力データを確認させ、新たなカテゴリの場合はユーザがそのカテゴリを登録することで、競合型ニューラルネットワークに追加学習させれば良い。
【００５９】
【発明の効果】
以上説明したように、請求項１の発明では、競合型ニューラルネットワークを用いて検査対象を複数のカテゴリに分類して、クラスタリングマップを作成した後に、新たな検査対象の測定信号を競争型ニューラルネットワークに入力して、この測定信号が属するカテゴリを判定しているので、新たな検査対象がどのカテゴリに属するかを精度良く検出することができ、且つ、新たな測定信号のクラスタリングマップ上での位置を取得して出力しているので、検査対象がどのカテゴリに属するかを視覚的に容易に把握できる。
【００６０】
また請求項９の発明では、競合型ニューラルネットワークを用いて検査対象を複数のカテゴリに分類して、クラスタリングマップを作成した後に、新たな検査対象の測定信号を競争型ニューラルネットワークに入力して、この測定信号が属するカテゴリを判定しているので、新たな検査対象がどのカテゴリに属するかを精度良く検出することが可能な物体検査装置を実現できる。
【図面の簡単な説明】
【図１】実施形態１の物体検査装置のブロック図である。
【図２】同上の物体検査装置が用いる競合型ニューラルネットワークの説明図である。
【図３】同上の物体検査装置の動作を説明するフローチャートである。
【図４】同上の物体検査装置により作成されたクラスタリングマップの例図である。
【図５】（ａ）〜（ｃ）は同上の物体検査装置による出力結果の例図である。
【図６】（ａ）〜（ｅ）は同上の物体検査装置による出力結果の作成手順の説明図である。
【図７】同上の物体検査装置による別の出力結果の例図である。
【図８】（ａ）は同上の物体検査装置による別の出力結果の例図、（ｂ）（ｃ）はマップ上の所定の出力ニューロンの発火リストである。
【図９】（ａ）〜（ｅ）は実施形態２の物体検査装置によるクラスタリングマップの作成手順の説明図である。
【符号の説明】
１信号入力部
２特徴抽出部
３ａマップ作成部
３ｂクラスタ判定部
７表示部

Claims

検査対象の物理的、化学的性質に関わる測定信号を入力して、入力された測定信号から検査対象の特徴量を抽出したデータを作成した後に、複数の前記データからなる学習用データセットを教師なし競合型ニューラルネットワークに入力してカテゴリ毎に分類して、クラスタリングマップを作成し、前記クラスタリングマップの作成後に新たな測定信号を学習後の前記競合型ニューラルネットワークに入力して、前記新たな測定信号の前記クラスタリングマップ上での位置を取得するとともに、取得した位置から前記新たな測定信号が何れのカテゴリに属するかを判定して判定結果を出力することを特徴とする物体検査方法。
前記測定信号は、人間の五感の内の少なくとも何れか１つの感覚に関わる信号であることを特徴とする請求項１記載の物体検査方法。
前記学習用データセットのデータを収集する際に、各々のデータが何れのカテゴリに属するかをユーザによる登録操作にしたがって記憶装置に登録し、前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示装置に表示させることを特徴とする請求項１又は２記載の物体検査方法。
前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示する背景画像を作成し、該背景画像をメモリに記憶させた後、前記新たな測定信号の前記クラスタリングマップ上での位置データを別のメモリに記憶させ、別々のメモリに記憶された前記背景画像と前記新たな測定信号の位置データとを用いて、前記背景画像上に新たな測定信号の位置を重ねて表示装置に表示させることを特徴とする請求項３記載の物体検査方法。
前記クラスタリングマップの作成後に前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させ、出力されたカテゴリがユーザの登録したカテゴリと異なる場合には、前記クラスタリングマップ上で前記データの位置を登録されたカテゴリの色と異なる色で表示装置に表示させることを特徴とする請求項３記載の物体検査方法。
前記クラスタリングマップの作成後に前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させ、前記クラスタリングマップ上の各々の位置に出力される前記データのリストを作成した後、ユーザによる前記クラスタリングマップ上の所望の位置の選択操作に応じて、選択された位置にマッピングされているデータのリストを表示し、当該リスト上のデータから所望のデータを選択する操作にしたがって、選択されたデータに対応する測定信号を出力することを特徴とする請求項３記載の物体検査方法。
前記クラスタリングマップの作成後に新たな測定信号から特徴量を抽出したデータを作成して前記学習用データセットに追加し、データが追加された前記学習用データセットを前記教師なし競合型ニューラルネットワークに入力して個々のカテゴリのデータに分類し、前記クラスタリングマップを更新することを特徴とする請求項１乃至６の何れか１つに記載の物体検査方法。
複数のカテゴリの内、一部のカテゴリに属するデータからなる学習用データセットを前記教師なし競合型ニューラルネットワークに入力して前記クラスタリングマップを作成した後に、検査対象の物体の検査を行うことで、新たな測定信号を学習後の競合型ニューラルネットワークに入力して、該測定信号の前記クラスタリングマップ上での位置を取得し、取得した位置が前記カテゴリの境界付近であればユーザに警報を発するとともに、該警報を受けてユーザが行った新たなカテゴリの登録操作にしたがって前記クラスタリングマップを更新することを特徴とする請求項１乃至６の何れか１つに記載の物体検査方法。
検査対象の物理的、化学的性質に関わる測定信号を入力する信号入力手段と、入力された測定信号から検査対象の特徴量を抽出したデータを作成する特徴量抽出手段と、複数の前記データからなる学習用データセットを教師なし競合型ニューラルネットワークに入力してカテゴリ毎に分類し、クラスタリングマップを作成するマップ作成手段と、新たな測定信号を学習後の前記競合型ニューラルネットワークに入力して、前記新たな測定信号の前記クラスタリングマップ上での位置を取得するとともに、取得した位置から前記新たな測定信号が何れのカテゴリに属するかを判定するクラスタ判定手段を備えることを特徴とする物体検査装置。
前記測定信号は、人間の五感の内の少なくとも何れか１つの感覚に関わる信号であることを特徴とする請求項９記載の物体検査装置。
前記学習用データセットのデータを収集する際に、各々のデータが何れのカテゴリに属するかをユーザによる登録操作にしたがって記憶装置に登録するカテゴリ登録手段と、前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示する表示手段とを備えることを特徴とする請求項９又は１０記載の物体検査装置。
前記表示手段は、前記クラスタリングマップを前記記憶装置に登録されたカテゴリ毎に異なる色で色分けして表示する背景画像を作成し、該背景画像をメモリに記憶させるとともに、前記新たな測定信号の前記クラスタリングマップ上での位置データを別のメモリに記憶させ、別々のメモリに記憶された前記背景画像と前記新たな測定信号の位置データとを用いて、前記背景画像上に新たな測定信号の位置を重ねて表示することを特徴とする請求項１１記載の物体検査装置。
前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させるカテゴリ出力手段と、当該カテゴリ出力手段より出力されたカテゴリがユーザの登録したカテゴリと異なる場合に、前記クラスタリングマップ上で前記データの位置を登録されたカテゴリの色と異なる色で前記表示手段に表示させるクラスタ登録確認手段を備えることを特徴とする請求項１１記載の物体検査装置。
前記学習用データセットのデータを学習後の前記競合型ニューラルネットワークに再度入力して、当該データの属するカテゴリを出力させるカテゴリ出力手段と、カテゴリ出力手段の出力をもとに、前記クラスタリングマップ上の各々の位置に出力される前記データのリストを作成するリスト作成手段と、ユーザによる前記クラスタリングマップ上の所望の位置の選択操作に応じて、選択された位置にマッピングされているデータのリストを前記リスト作成手段の作成したリストから読み出して表示装置に表示させるとともに、当該リスト上のデータから所望のデータを選択する操作にしたがって、選択されたデータに対応する測定信号を出力するデータ出力手段を備えることを特徴とする請求項１１記載の物体検査装置。
新たな測定信号から特徴量を抽出したデータを作成して前記学習用データセットに追加する追加データ登録手段と、データが追加された前記学習用データセットを前記教師なし競合型ニューラルネットワークに入力して個々のカテゴリのデータに分類し、前記クラスタリングマップを更新するマップ更新手段を備えることを特徴とする請求項９乃至１４の何れか１つに記載の物体検査装置。
前記マップ作成手段は、複数のカテゴリの内、一部のカテゴリに属するデータからなる学習用データセットを前記教師なし競合型ニューラルネットワークに入力して前記クラスタリングマップを作成するとともに、検査対象の検査を行う際にクラスタ判定手段が求めた測定信号の前記クラスタリングマップ上での位置が前記カテゴリの境界付近であればユーザに対して警報を発する警報手段と、警報手段による警報を受けてユーザが行った新たなカテゴリの登録操作にしたがって前記クラスタリングマップを更新するマップ更新手段を備えることを特徴とする請求項９乃至１４の何れか１つに記載の物体検査装置。