JP2012018066A - 異常検査装置 - Google Patents

Abstract

【課題】検査対象の何れの箇所で異常が発生したかを特定することのできる異常検査装置を提供する。
【解決手段】検査対象１００から発生する音を電気信号に変換して音信号として取り込む信号入力部１と、信号入力部１で取り込んだ音信号から音源の位置を特定する音源特定部２と、音源特定部２で特定された音源から発生する音を電気信号に変換した音信号について特徴量を抽出する特徴抽出部３と、既知の学習用データセットを用いて予め学習されて特徴抽出部３により抽出した特徴量を入力データとするニューラルネットワーク５０と、ニューラルネットワー５０の出力を用いて音源特定部２で特定された音源から発生する音が正常な音か異音かを判定する判定部５１と、判定部５１で得られた判定結果及び音源特定部２で特定された音源の位置に基づいて検査対象１００における異音の発生箇所を視覚化した異音マップを作成する異音マップ作成部５２とを備えた。
【選択図】図１

Description

本発明は、検査対象から発生する音を電気信号に変換した音信号の特徴をニューラルネットワークで分類することで、検査対象の異常の有無を判定する異常検査装置に関する。

従来から、ニューラルネットワーク（ニューロコンピュータ）の分類機能を利用することにより、検査対象から得られる対象信号を分類する技術が知られている。この種の技術は、音声の認識や機器の動作が正常か異常かを判定する異常検査装置などに用いられている。例えば、この種の技術を採用した異常検査装置では、検査対象である機器の振動をセンサ部（トランスデューサ）により電気信号に変換してセンサ部の出力を対象信号に用いる。そして、対象信号の特徴を表す複数の要素から成る特徴量を抽出し、この特徴量をニューラルネットワークで分類する技術が種々提案されている。

ニューラルネットワークには種々の構成が知られており、例えば、競合学習型ニューラルネットワーク（自己組織化写像＝ＳＯＭ）を用いて特徴量のカテゴリを分類することが提案されている。競合学習型ニューラルネットワークは、入力層と出力層との２層からなるニューラルネットワークであり、学習モードと検査モードとの２種類の動作を行う。

学習モードでは、教師信号を用いずに学習データを与える。学習データにカテゴリを与えておけば、出力層のニューロンにカテゴリを対応付けることができ、同種のカテゴリに属するニューロンからなるクラスタを形成することができる。したがって、学習モードでは、出力層のニューロンのクラスタにカテゴリを示すクラスタリングマップを対応付けることができる。また、検査モードでは、分類しようとする特徴量（入力データ）を学習済みの競合学習型ニューラルネットワークに与える。そして、競合学習型ニューラルネットワークの出力層において発火したニューロンが属するクラスタのカテゴリをクラスタリングマップに照合することによって、入力データのカテゴリを分類することができる。

したがって、正常のカテゴリを持つ学習データと、異常毎のカテゴリを持つ学習データとを用いて競合学習型ニューラルネットワークを学習させておけば、正常と異常との判別だけでなく、異常の種類の判別も可能となる。上記のような競合学習型ニューラルネットワークを採用した異常検出装置（異常検査装置）が例えば特許文献１に開示されている。

特開２００８−９０５２９号公報

ところで、特許文献１に記載のような異常検査装置では、検査対象としてモータ単体、若しくはモータを駆動源とする電動工具や工作機器を想定しており、これら機器の動作音及び振動を検出するための信号入力部としてマイクロホンや振動センサを設置している。ここで、上記従来例は、検査対象において異常（異音）が発生すると想定される場所が既知である場合には有効である。しかしながら、検査対象のどの位置において異常が発生しているかを特定することができないため、予想外の箇所で異常が発生した場合に対応できないという問題があった。このため、検査対象の異常を修正する作業を行う際に、先ず検査対象の何れの箇所で異常が発生したかを特定する作業を必要とするため、作業時間が長くなるという問題があった。

本発明は、上記の点に鑑みて為されたもので、検査対象の何れの箇所で異常が発生したかを特定することのできる異常検査装置を提供することを目的とする。

本発明の異常検査装置は、検査対象から発生する音を電気信号に変換して音信号として取り込む信号入力部と、前記信号入力部で取り込んだ音信号から音源の位置を特定する音源特定部と、前記音源特定部で特定された音源から発生する音を電気信号に変換した音信号について複数のパラメータから成る特徴量を抽出する特徴抽出部と、既知の学習用データセットを用いて予め学習されて前記特徴抽出部により抽出した特徴量を入力データとするニューラルネットワークと、前記ニューラルネットワークの出力を用いて前記音源特定部で特定された音源から発生する音が正常な音か異音かを判定する判定部と、前記判定部で得られた判定結果及び前記音源特定部で特定された音源の位置に基づいて前記検査対象における異音の発生箇所を視覚化した異音マップを作成する異音マップ作成部とを備えたことを特徴とする。

この異常検査装置において、前記信号入力部は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロホン対を有するマイクロホン群から成り、前記音源特定部は、前記マイクロホン群で得られる音信号から音源を視覚化した音マップを作成することで音源の位置を特定することが好ましい。

この異常検査装置において、前記信号入力部は、複数のマイクロホンを等間隔に配置したマイクロホンアレイから成り、前記音源特定部は、前記マイクロホンアレイで得られる音信号の音圧分布から音源を視覚化した音マップを作成することで音源の位置を特定することが好ましい。

この異常検査装置において、前記信号入力部は、複数のマイクロホンから成り、前記音源特定部は、前記マイクロホンから得られる音信号を独立成分分析することで音源の位置を特定することが好ましい。

この異常検査装置において、前記信号入力部は、前記検査対象上を移動自在なマイクロホンから成り、前記音源特定部は、前記マイクロホンで得られる音信号の音圧分布から音源を視覚化した音マップを作成することで音源の位置を特定することが好ましい。

この異常検査装置において、前記異音マップ作成部で作成された異音マップを表示する表示部を備えることが好ましい。

この異常検査装置において、前記判定部で異音が発生したと判定された場合に前記検査対象を撮像する撮像部と、前記撮像部で撮像された画像を記憶する記憶部とを備えることが好ましい。

本発明は、判定部で得られた判定結果及び音源特定部で特定された音源の位置に基づいて異音の発生箇所を視覚化した異音マップを作成するため、検査対象の何れの箇所で異常が発生したかを特定することができる。したがって、検査対象の異常を修正する作業を行う際に、検査対象の何れの箇所で異常が発生したかを特定する作業を必要としないため、作業時間の短縮を図ることができる。

本発明に係る異常検査装置の実施形態を示す図で、（ａ）はブロック図で、（ｂ）は動作を説明するためのフローチャート図である。 同上の全体概略図で、（ａ）は音源特定装置を内蔵している場合を示す図で、（ｂ）は音源特定装置を外部に設けた場合を示す図である。 同上の特徴量の説明図で、（ａ）は正常時の音信号の波形図で、（ｂ）は異常時の音信号の波形図である。 同上の特徴量の説明図で、（ａ）は正常時の音信号の正成分の出現頻度を強調した図で、（ｂ）は異常時の音信号の正成分の出現頻度を強調した図で、（ｃ）は正常時の音信号の正負両成分の出現頻度を強調した図で、（ｄ）は異常時の音信号の正負両成分の出現頻度を強調した図である。 同上の特徴量の説明図で、（ａ）は正常時の音信号を高速フーリエ変換した図で、（ｂ）は異常時の音信号を高速フーリエ変換した図で、（ｃ）は正常時の音信号にフィルタバンクを適用した図で、（ｄ）は異常時の音信号にフィルタバンクを適用した図である。 同上の特徴量の説明図で、（ａ）は正常時の音信号を短時間フーリエ変換した図で、（ｂ）は異常時の音信号を短時間フーリエ変換した図で、（ｃ）は正常時の音信号の確率密度分布図で、（ｄ）は異常時の音信号の確率密度分布図である。 （ａ）〜（ｃ）は同上の音マップを示す図で、（ｄ）〜（ｆ）はそれぞれ（ａ）〜（ｃ）に対応する異音マップを示す図である。 同上の他の構成を示す図で、（ａ）は全体概略図で、（ｂ）は動作を説明するためのフローチャート図である。

以下、本発明に係る異常検査装置の実施形態について図面を用いて説明する。本実施形態は、図１（ａ）に示すように、信号入力部１と、音源特定部２と、特徴抽出部３と、データ記録部４と、演算部５と、表示部６とから構成される。尚、本実施形態は、図２（ａ）に示すように、音源特定部２、特徴抽出部３、データ記録部４、演算部５を構成する主装置１０１に、信号入力部１を構成するセンサ１０２と、表示部６を構成する表示装置１０３とが接続される構成となっている。ここで、図２（ａ）に示す構成では、音源特定部２が主装置１０１に内蔵されているが、図２（ｂ）に示すように、音源特定部２を構成する音源特定装置１０４を主装置１０１の外部に設ける構成であってもよい。

信号入力部１は、検査対象１００から発生する音を電気信号に変換して、音信号として取り込むもので、例えば検査対象１００の動作音を検出する複数のマイクロホンを等間隔に配設したマイクロホンアレイから成る。尚、本実施形態では、検査対象１００としては自動車のエンジン、洗濯機、エアコン等の機器を想定している。

音源特定部２は、信号入力部１で取り込んだ音信号から検査対象１００における音源の位置を特定する。本実施形態では、信号入力部１のマイクロホンアレイにおいて基準となるマイクロホンを設定し、この基準となるマイクロホンで取得する音信号と、他のマイクロホンで取得する音信号との位相差から音源の方向を推定している。そして、音源特定部２では、この音源の方向の推定結果に基づいて、検査対象１００における音源の位置を視覚化した音マップを作成する（図７（ａ）〜（ｃ）参照）。尚、上記のようにマイクロホンアレイを用いて音信号の位相差から音源の方向を推定する技術は従来周知であるので、ここでは詳細な説明を省略する（例えば、特許第３０６９６６３号公報参照）。

特徴抽出部３は、音源特定部２で特定された各音源が発生する音を電気信号に変換した音信号について複数のパラメータから成る特徴量を抽出する。特徴抽出部３では、検査対象１００が発生する音から同じ条件で特徴量を抽出するために、先ず検査対象１００の動作に同期したトリガ信号を用いたり、音信号の波形の特徴を用いたりすることによって、音信号の切り出し（セグメンテーション）を行う。その後、特徴抽出部３は、適宜の単位時間毎の信号に分割し、単位時間毎に特徴量を抽出する。したがって、特徴抽出部３は、音源特定部２を介して信号入力部１から与えられる音信号を一時的に記憶するバッファを備える。また、特徴抽出部３では、必要に応じて周波数帯域を制限する等して、ノイズを低減させる前処理を行う。

特徴抽出部３から単位時間毎に得られる特徴量は、後述するニューラルネットワーク５０の学習モードの前に学習データを収集する際には、データ記録部４に格納される。また、後述するニューラルネットワーク５０の検査モードの際には、特徴量の抽出の度にニューラルネットワーク５０に与えられる。ニューラルネットワーク５０では、この特徴量を入力データとして入力データのカテゴリを分類する。

ここで、データ記録部４には、実際の検査で測定される検査対象１００の各音源の正常時の測定データが予め登録されている。そして、これら各音源の測定データは、複数の特徴量のデータから成る学習用データセットとして音源毎に格納されている。この音源毎の学習用データセットは、ニューラルネットワーク５０の学習モードにおいてニューラルネットワーク５０に入力される。そして、ニューラルネットワーク５０は、各学習用データセットで学習を行うことにより、各音源の正常時のカテゴリを学習することになる。勿論、上述のようにニューラルネットワーク５０の学習モードにおいては、特徴抽出部３から得られる特徴量がデータ記録部４に格納されるため、この特徴量を学習用データセットに含めてニューラルネットワーク５０に学習させることができる。

以下、特徴抽出部３で抽出される特徴量について幾つかの例を示す。先ず、正常時における検査対象１００から発生する音信号の波形図と、異常時における検査対象１００から発生する音を電気信号に変換した音信号の波形図とをそれぞれ図３（ａ），（ｂ）に示す。次に、音信号の振幅成分を特徴量として抽出するために、正常時及び異常時のそれぞれにおいて音信号の正成分の出現頻度を強調した場合の図を図４（ａ），（ｂ）に示す。また、正常時及び異常時のそれぞれにおいて音信号の正負両成分の出現頻度を強調した場合の図を図４（ｃ），（ｄ）に示す。

次に、音信号の周波数成分を特徴量として抽出するために、正常時及び異常時のそれぞれにおいて音信号を高速フーリエ変換した場合の図を図５（ａ），（ｂ）に示す。また、正常時及び異常時のそれぞれにおいて音信号にフィルタバンクを適用した場合の図を図５（ｃ），（ｄ）に示す。このフィルタバンクを適用する場合には、低い周波数成分は細かく、高い周波数成分は大まかに見ることで、人の可聴周波数域に近い周波数分布を求めることができる。

次に、正常時及び異常時のそれぞれにおいて音信号を短時間フーリエ変換した場合の図を図６（ａ），（ｂ）に示す。この場合、フーリエ変換を時系列で複数回行うことで周波数分布の時間変化を捉えることができる。また、正常時及び異常時のそれぞれにおいて音信号の確率密度分布を求めた図を図６（ｃ），（ｄ）に示す。尚、上記以外の特徴量を特徴抽出部３において抽出しても構わないのは言うまでもない。また、どの特徴量を用いるかは、検査対象１００や判定したい異常の種類に応じて適宜選択される。

演算部５は、図１（ａ）に示すように、ニューラルネットワーク５０と、判定部５１と、異音マップ作成部５２とから構成される。ニューラルネットワーク５０は、既知の学習用データセットを用いて予め学習されて特徴抽出部３により抽出した特徴量を入力データとするもので、本実施形態では、教師なしの競合学習型ニューラルネットワークを用いている。ニューラルネットワーク５０は、入力層と出力層との２層から成り、出力層の各ニューロンが入力層の全てのニューロンとそれぞれ結合された構成を有している。尚、ニューラルネットワーク５０は、逐次処理型のコンピュータで適宜のアプリケーションプログラムを実行することにより実現する場合を想定しているが、専用のニューロコンピュータを用いることも可能である。

ニューラルネットワーク５０の動作には学習モードと検査モードとの２種類がある。ニューラルネットワーク５０は、学習モードにおいて適宜の学習用データセットを用いて学習した後に、検査モードにおいて実際の音信号から生成した複数のパラメータから成る特徴量（入力データ）のカテゴリを分類する。

判定部５１は、ニューラルネットワーク５０の出力を用いて音源特定部２で特定された各音源から発生する音が正常な音か異音かを判定する。即ち、判定部５１は、検査モードにおいて、特徴抽出部３で抽出された特徴量を入力データとしてニューラルネットワーク５０に入力する。そして、判定部５１は、ニューラルネットワーク５０において当該入力データが分類されたカテゴリが各音源の正常時のカテゴリであるか否か判定することで、各音源から発生する音が正常な音か異音かを判定する。

異音マップ作成部５２は、判定部５１で得られた判定結果及び音源特定部２で特定された音源の位置に基づいて検査対象１００における異音の発生箇所を視覚化した異音マップを作成し、その画像データを後段の表示部６に出力する。例えば、図７（ａ）〜（ｃ）に示すように、異音を発生している音源７、及び正常な音を発生している音源８の音圧分布を視覚化した音マップが音源特定部２において作成されているものとする。ここで、判定部５１において音源７が異音を発生していると判定され、且つ音源８が正常な音を発生していると判定されると、異音マップ作成部５２は、当該判定結果に基づいて音マップから音源８を除いた異音マップを作成する（図７（ｄ）〜（ｆ）参照）。

表示部６は、異音マップ作成部５２で作成された異音マップの画像データを表示するもので、例えば液晶ディスプレイ等から成る。尚、本実施形態では、図２（ａ）に示すように、表示部６として例えば液晶ディスプレイ等から成る表示装置１０３を主装置１０１に接続する構成となっているが、表示部６を主装置１０１に内蔵する構成であってもよい。

以下、本実施形態の動作について図１（ｂ）を用いて説明する。尚、以下の説明では、ニューラルネットワーク５０は検査モードに設定されており、検査対象１００の既知の音源毎の学習用データセットを用いて予め学習しているものとする。また、音源特定部２は、検査対象１００の既知の音源の位置を特定するとともに、音源を視覚化した音マップを基準マップとして予め作成し、判定部５１に記憶させているものとする。

先ず、信号入力部１は、検査対象１００から発生する音を電気信号に変換して、音信号として取り込む。そして、音源特定部２は、信号入力部１で取り込んだ音信号から検査対象１００における音源の位置を特定するとともに、検査対象１００における音源の位置を視覚化した音マップを作成し、当該音マップのデータを演算部５に与える。ここで、演算部５の判定部５１では、自身に記憶されている基準マップと作成された音マップとを比較することで、検査対象１００に既知の音源以外の音源が存在するか否かを判定する。検査対象１００に既知の音源以外の音源が存在する場合には、当該音源を異音の発生箇所と判定する。

次に、特徴抽出部３が、音源特定部２において特定された検査対象１００の既知の各音源から発生する音を電気信号に変換した音信号について特徴量を抽出し、演算部５のニューラルネットワーク５０に入力する。ニューラルネットワーク５０は、入力された各音源の特徴量をカテゴリに分類する。そして、判定部５１では、音源毎にニューラルネットワーク５０で分類されたカテゴリが正常時のカテゴリに属するか否かを判定し、判定結果を異音マップ作成部５２に与える。

異音マップ作成部５２は、上述の判定結果と、音源特定部２で特定された音源の位置とに基づいて異音マップを作成し、その画像データを表示部６に表示させる。ここで、異音マップ作成部５２は、判定部５１において検査対象１００の既知の音源以外の音源と判定されたものと、検査対象１００の既知の音源であって判定部５１において異音を発生していると判定されたものとを視覚化した異音マップを作成する。而して、検査対象１００の既知の音源の異常のみならず、検査対象１００において異音の発生を想定していない箇所での異常も視認することができる。

上述のように、本実施形態では、判定部５１で得られた判定結果及び音源特定部２で特定された音源の位置に基づいて異音の発生箇所を視覚化した異音マップを作成するため、検査対象１００の何れの箇所で異常が発生したかを特定することができる。したがって、検査対象１００の異常を修正する作業を行う際に、検査対象１００の何れの箇所で異常が発生したかを特定する作業を必要としないため、作業時間の短縮を図ることができる。

尚、本実施形態では、上述のように信号入力部１をマイクロホンアレイで構成し、音源特定部２において各マイクロホンで取得する音信号の位相差から音源の方向を推定しているが、他の構成であっても構わない。例えば、特開２００８−２２４２５９号公報に開示されているような音源位置推定システムを採用してもよい。この場合、信号入力部１は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロホン対を有するマイクロホン群から構成される。そして、音源特定部２は、このマイクロホン群で得られた音信号から音源を視覚化した音マップを作成することで音源の位置を特定する。具体的には、音源特定部２は、対となる２つのマイクロホン間の位相差に相当する到達時間差と、他の対となる２つのマイクロホン間の到達時間差との比から音源の方向を推定する。そして、ＣＣＤカメラ等の撮像手段を設けて推定された音源方向の映像を撮像し、この撮像された画像に音源位置と音圧レベルとを表示することで音マップを作成し、検査対象１００における音源の位置を特定する。

また、その他の構成としては、信号入力部１を検査対象１００上を移動自在なマイクロホンで構成することが考えられる。この構成では、音源特定部２は、検査対象１００上を走査するマイクロホンから音信号を逐次取得する。そして、音源特定部２は、音圧レベルが閾値以上となる音信号を取得した位置を音源と推定して音源を視覚化した音マップを作成し、検査対象１００における音源の位置を特定する。

更に、信号入力部１は本実施形態と同様にマイクロホンアレイから構成し、音源特定部２において各マイクロホンで取得した音信号に独立成分分析（ＩＣＡ：Independent Component Analysis）を行うことで検査対象１００における音源の位置を特定してもよい。尚、独立成分分析を用いて音源の位置を特定する技術は従来周知であるので、ここでは詳細な説明を省略する（例えば、特許第３８８１３６７号公報参照）。

ところで、図８（ａ）に示すように、検査対象１００を撮像する撮像部であるカメラ１０５と、カメラ１０５で撮像された画像を記憶する記憶部である記憶装置１０６とを主装置１０１に接続した構成であってもよい。以下、この構成における動作について図８（ｂ）を用いて説明する。先ず、上記実施形態と同様に、音源特定部２において検査対象１００における音源の位置を特定するとともに、各音源から発生する音が正常な音か異音かを判定部５１において判定する。

ここで、判定部５１において各音源の少なくとも何れか１つで異音が発生したと判定された場合、カメラ１０５に検査対象１００を撮像させるともに、撮像データを記憶装置１０６に記憶させる。検査対象１００から異音が継続して発生している場合には、カメラ１０５において逐次検査対象１００が撮像されるため、記憶装置１０６には撮像データが蓄積されることになる。而して、上記構成では、検査対象１００から異音が発生している場合に、検査対象１００の状態を表す撮像データを記憶装置１０６に蓄積することができるため、蓄積された撮像データを確認することで検査対象１００における不良状態の経過を知ることができる。

１ 信号入力部
２ 音源特定部
３ 特徴抽出部
５０ ニューラルネットワーク
５１ 判定部
５２ 異音マップ作成部
１００ 検査対象

Claims (7)

1. 検査対象から発生する音を電気信号に変換して音信号として取り込む信号入力部と、前記信号入力部で取り込んだ音信号から音源の位置を特定する音源特定部と、前記音源特定部で特定された音源から発生する音を電気信号に変換した音信号について複数のパラメータから成る特徴量を抽出する特徴抽出部と、既知の学習用データセットを用いて予め学習されて前記特徴抽出部により抽出した特徴量を入力データとするニューラルネットワークと、前記ニューラルネットワークの出力を用いて前記音源特定部で特定された音源から発生する音が正常な音か異音かを判定する判定部と、前記判定部で得られた判定結果及び前記音源特定部で特定された音源の位置に基づいて前記検査対象における異音の発生箇所を視覚化した異音マップを作成する異音マップ作成部とを備えたことを特徴とする異常検査装置。
2. 前記信号入力部は、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロホン対を有するマイクロホン群から成り、前記音源特定部は、前記マイクロホン群で得られる音信号から音源を視覚化した音マップを作成することで音源の位置を特定することを特徴とする請求項１記載の異常検査装置。
3. 前記信号入力部は、複数のマイクロホンを等間隔に配置したマイクロホンアレイから成り、前記音源特定部は、前記マイクロホンアレイで得られる音信号の音圧分布から音源を視覚化した音マップを作成することで音源の位置を特定することを特徴とする請求項１記載の異常検査装置。
4. 前記信号入力部は、複数のマイクロホンから成り、前記音源特定部は、前記マイクロホンから得られる音信号を独立成分分析することで音源の位置を特定することを特徴とする請求項１記載の異常検査装置。
5. 前記信号入力部は、前記検査対象上を移動自在なマイクロホンから成り、前記音源特定部は、前記マイクロホンで得られる音信号の音圧分布から音源を視覚化した音マップを作成することで音源の位置を特定することを特徴とする請求項１記載の異常検査装置。
6. 前記異音マップ作成部で作成された異音マップを表示する表示部を備えたことを特徴とする請求項１乃至３又は請求項５の何れか１項に記載の異常検査装置。
7. 前記判定部で異音が発生したと判定された場合に前記検査対象を撮像する撮像部と、前記撮像部で撮像された画像を記憶する記憶部とを備えたことを特徴とする請求項１乃至６の何れか１項の記載の異常検査装置。