JP2014174003A - 画像検査方法および画像検査装置 - Google Patents

Abstract

【課題】マハラノビス距離による検査対象物の異常発生の原因を検出する画像検査方法を提供する。
【解決手段】異常モードごとの複数の異常品画像からなら画像群を取得するステップと、各画像群について、当該画像群の各異常品画像の特徴量に基づくマハラノビス距離から、当該画像群の基準マハラノビス距離を算出するステップと、検査対象物の検査対象画像の特徴量からマハラノビス距離を算出するステップＳ２１と、検査対象画像のマハラノビス距離と各画像群に対応の基準マハラノビス距離とに基づいて、異常品と判定された検査対象物が属する異常モードを判定するステップＳ２８と、同一異常モードに属する複数の検査対象画像について、撮像時間情報から異常部の発生周期を算出するステップＳ３０と、異常モードごとに異常部の発生周期と発生原因を対応づけて予め格納した格納部から、算出した発生周期に対応の発生原因を取得するステップＳ３４と、備える。
【選択図】図９

Description

本発明は検査対象の画像から異常原因を判断する画像検査方法および画像検査装置に関する。

従来、対象物を撮影して画像を取得し、取得した画像について処理を実行することで、対象物を検査し、または対象物を検出する技術が知られている。例えば、ＭＴＳ（Mahalanobis-Taguchi System：マハラノビスタグチシステム）法を用いた技術が知られている。

特許文献１（特開２０１０−２７６４８１号公報）の画像処理装置は、検査対象品を撮影して多数の画素からなる画像を取得する撮影部と、撮影部で取得した画像に基づき検査対象品が良品であるか不良品であるかを判別する判別部とを含む。記憶部の算出パラメータは、良品画像群を構成する各画像の各画素における輝度値と、良品画像群を構成する各画像の各画素における当該画素と隣接する画素との間の輝度の差分値と、良品画像群を構成する各画像の各画素における当該画素及び周囲の画素との輝度の積分値との、相関係数行列から算出される。判別部は、検査対象品の画像について、良品画像群のデータとの統計的距離を算出し、該算出された統計的距離が所定範囲にあるか否かを判別する。

また、特許文献２（特開平１１−３０６３２５号公報）の対象物検出装置は、画像入力部から取り込んだ顔画像を含む入力画像に対して、照合領域位置指定部により領域モデルを当て嵌める被照合局所領域の位置を指定する。対象物検査装置は、指定した被照合局所領域毎に輝度正規化部により輝度正規化を行い、さらに、画像処理部によりエッジ検出等の画像処理を行う。そして、対象物検査装置は、判定要素取得部により被照合局所領域の正規化され、画像処理された画像に対して顔の領域モデルを当て嵌めて領域モデル内の各判定要素取得領域の特徴量を抽出する。マハラノビス距離判定部は、抽出された特徴量に基づいて各被照合局所領域毎にマハラノビス距離を算出し、この算出結果により顔が検出される。

特開２０１０−２７６４８１号公報 特開平１１−３０６３２５号公報

しかしながら、上記文献には、対象物の良否判定の構成は記載されるが、対象物の製造工程で生じる対象物の異常毎の分類、および異常が発生した原因や工程を特定するための構成は何ら記載がない。

この発明は、上述の課題を解決するためになされたもので、その目的は、画像の特徴量から算出されるマハラノビス距離による検査対象物の異常発生の原因を検出する画像検査方法および画像検査装置を提供することである。

本発明のある局面に従う画像検査方法は、搬送されながら複数の工程を経て製造される対象物を、搬送路に撮像視野を有する撮像部による撮像画像を用いて検査する方法である。画像検査方法は、予め異常品であること、および対応する製造工程の異常モードが判っている複数の異常品対象物を撮像した、異常モードごとの複数の異常品画像からなら画像群を取得するステップと、各画像群について、当該画像群の各異常品画像の特徴量に基づくマハラノビス距離から、当該画像群の基準マハラノビス距離を算出するステップと、検査対象物を撮像部により撮像した検査対象画像の特徴量からマハラノビス距離を算出するステップと、検査対象画像のマハラノビス距離と各画像群に対応の基準マハラノビス距離とに基づいて、異常品と判定された検査対象物が属する異常モードを判定するステップと、同一異常モードに属する複数の検査対象画像について、撮像部による撮像時間情報から異常部の発生周期を算出するステップと、異常モードごとに異常部の発生周期と発生原因を対応づけて予め格納した格納部から、算出した発生周期に対応の発生原因を取得するステップと、備える。

好ましくは、次位の対象物の検査に際して、検査対象画像を、判定するステップにより判定された異常モードの画像群に含めて、当該異常モードの画像群について基準マハラノビス距離を再度、算出するステップを、さらに備える。

好ましくは、マハラノビス距離を算出に用いる特徴量は、１画像内の異常部の個数、異常部の横幅、異常部の縦横比、異常部の画素面積、異常部の周囲長さ、異常部の円形度、異常部の外形の曲率、異常部の輝度積分値、および異常部の重心の位置の少なくとも１つを含む。

好ましくは、基準マハラノビス距離を算出するステップは、各異常品画像のマハラノビス距離を平均するステップを含む。

この発明のある局面に従う画像検査装置は、搬送されながら複数の工程を経て製造される対象物を、搬送路に撮像視野を有する撮像部による撮像画像を用いて検査する画像検査装置であって、予め異常品であること、および対応する製造工程の異常モードが判っている複数の異常品対象物を撮像して、異常モードごとの複数の異常品画像からなる各画像群について、当該画像群の各異常品画像の特徴量に基づくマハラノビス距離から、当該画像群の基準マハラノビス距離を算出する手段と、検査対象物を撮像した検査対象画像の特徴量からマハラノビス距離を算出する手段と、検査対象画像のマハラノビス距離と各画像群に対応の基準マハラノビス距離とに基づいて、異常品と判定された検査対象物が属する異常モードを判定する手段と、同一異常モードに属する複数の検査対象画像について、撮像部による撮像時間情報から異常部の発生周期を算出する手段と、異常モードごとに異常部の発生周期と発生原因を対応づけて予め格納した格納部から、算出した発生周期に対応の発生原因を取得する手段と、を備える。

本発明によれば、マハラノビス距離による検査対象物の異常発生の原因を検出する。

本実施の形態に従う画像検査装置のハードウェア構成を示すブロック図である。 本実施の形態に係る金属板の製造工程の一例を示すフローチャートである。 本実施の形態に係る検査工程の概要を示す図である。 本実施の形態に係る良品画像を示す図である。 本実施の形態に係る異常部が観察される画像の一例を示す図である。 本実施の形態に係る画像処理に用いた処理前の元画像と処理後の画像を示す図である。 本実施の形態に従う画像検査装置の機能構成を示すブロック図である。 本実施の形態に係る情報格納部に格納される情報の一例を模式的に示す図である。 本実施の形態に従う画像検査装置が実行する検査処理手順を示すフローチャートである。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．概要＞
本実施の形態に従う画像検査装置は各種の製造ラインに配置され、製造ラインを流れる製品／半製品などに検査対象物の表面を撮像して非破壊で検査する。

具体的には、画像検査装置は、予め異常モードが明確である複数の対象物を撮像して得られた複数の画像の各々について複数の特徴量を取得し、当該特徴量に基づいて異常モードごとの基準マハラノビス距離を算出する。次に、画像検査装置は、検査対象物を撮像して得られた被検査画像の複数の特徴量を取得し、被検査画像の異常モード毎のマハラノビス距離を算出する。そして、画像検査装置は、被検査画像のマハラノビス距離と基準マハラノビス距離とに基づいて、異常モード毎の検査対象物の帰属状態を判断する。

以下、上記のような画像検査装置およびその検査方法について詳細に説明する。
＜Ｂ．ハードウェア構成＞
図１は、本実施の形態に従う画像検査装置のハードウェア構成を示すブロック図である。

図１を参照して、画像検査装置１００は、主たる構成として、ＣＰＵ（Central Processing Unit）１０２と、画像検査装置１００の使用者による指示の入力を受けるキーボード１０４およびマウス１０６と、メモリ１０８と、各種情報を表示するためのディスプレイ１１０と、メモリインターフェイス（Ｉ／Ｆ）１１５と、通信インターフェイス（Ｉ／Ｆ）１１６とを含む。各ハードウェアは、相互にデータバスによって接続されている。

ＣＰＵ１０２は、メモリ１０８に記憶されたプログラムを読み出して実行することで、画像検査装置１００の各部を制御する。より詳細にはＣＰＵ１０２は、当該プログラムを実行することによって、後述する画像検査装置１００の処理（ステップ）の各々を実現する。ＣＰＵ１０２は、例えば、マイクロプロセッサ（Microprocessor）である。なお、当該ハードウェアは、ＣＰＵ以外のＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）およびその他の演算機能を有する回路などであってもよい。

メモリ１０８は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ハードディスクなどの揮発性または不揮発性のメモリによって実現される。メモリ１０８は、ＣＰＵ１０２によって実行されるプログラム、データなどを記憶する。

画像検査装置１００における処理は、各ハードウェアおよびＣＰＵ１０２により実行されるプログラムによって実現される。このようなプログラムは、メモリ１０８に予め記憶されている場合がある。また、プログラムは、記録媒体１１４に格納されて流通している場合もある。あるいは、プログラムは、いわゆるインターネットに接続されている情報提供事業者によって、ダウンロード可能なものとして提供される場合もある。このようなプログラムは、メモリインターフェイス１１５を介して、あるいは、通信インターフェイス１１６を介してダウンロードされた後、メモリ１０８に格納される。

図１に示される画像検査装置１００を構成する各ハードウェアは、一般的なものである。したがって、画像検査装置１００の各ハードウェアの動作は周知であるので、詳細な説明は行なわない。

＜Ｃ．検査対象物＞
ここでは、本実施の形態に従う画像検査装置１００が金属板を検査対象物とする場合について説明する。

（ｃ１．金属板の製造工程）
上述したように、本実施の形態に従う画像検査装置１００は各種の製造ラインに配置され、製造ラインを流れる製品／半製品などの検査対象物を検査工程において撮像して非破壊で検査する。

まず、このような製造ラインの一例として金属板の製造工程について説明する。検査対象物である金属板が搬送されながら製造工程を通過し、検査工程に移行する。検査工程では搬送路の一部を撮像視野に含むように配置された撮像部であるラインカメラから、撮像によって得られた対象物の撮像画像を用いて対象物の異常の有無、異常モードが検査される。

図２は、本実施の形態に係る金属板の製造工程の一例を示すフローチャートである。ここでは、金属板は、１ｍｍ以下の金属薄膜であるものとする。

金属板の製造工程では、まず、溶融装置が、銅や金などの金属板を溶融し（ステップＳＴ１）、鋳造装置が、インゴット状に鋳造する（ステップＳＴ３）。次に、圧延装置が、鋳造されたインゴットを複数のローラで圧延し、当該金属板を薄板化する（ステップＳＴ５）。次に、脱脂洗浄装置が、金属表面に付着した油脂分を除去するとともに（脱脂）、洗浄する（ステップＳＴ７）。このとき、金属板には、薄板化される過程において、金属溶融時に内包された欠陥、表面に付着した汚れ、傷等が生じる場合がある。

次に、レベリング工程において、小径ローラによって金属板の表面が平坦化される（ステップＳＴ９）。次に、検査装置が、金属板の外観を検査し、良品と不良品とを判断する（ステップＳＴ１１）。そして、金属板は、所定の幅で切断され（ステップＳＴ１３）、製品として出荷される（ステップＳＴ１５）。

ここで、圧延およびレベリングに使用されるローラの径、間隔は異なっている。そのため、各工程で発生する異常に関しては、その同一様相の異常の周期性、発生部位の分析より、いずれの工程、ローラで発生したものかを判別することができる。

また、脱脂、洗浄工程で付着した異物に関しても、その大部分が有機物の再付着であることから、紫外線またはＸ線領域の波長の光を金属表面に照射し、その際の発光部の画像を取得することで、圧延，レベリング時に付着する金属異物（異物発光が無い）から区別することができる。

次に、ラインカメラにより撮像された金属板表面の画像に基づいて、当該金属板を検査する検査工程について説明する。

図３は、本実施の形態に係る検査工程の概要を示す図である。
図３を参照して、金属板は、レベリング工程において、表面が平坦化されると、検査工程に搬送される。そして、金属板は、ライトから光が照射された状態で、上下方向に設置されたラインカメラにより撮像された後、ロールに巻き取られていく。ラインカメラは、例えば、ＣＣＤ（Charge Coupled Device）カメラである。なお、ラインカメラは撮像した金属板表面の画像を示す画像データを、画像検査装置１００に送信する。画像検査装置１００は、通信Ｉ／Ｆ１１６を介して撮像された画像データを受信し、メモリ１０８の所定領域に格納する。

ラインカメラには同様に例えばＣＣＤカメラを用いているが、照射する光の波長を紫外光、またはＸ線領域の波長とし、その際に得られる蛍光画像を撮像する機構を備えている。

参考のために、図４に、本実施の形態に係るラインカメラによって撮像された金属板表面の正常部の画像の一例を示す図である。図４（Ａ）、（Ｂ）を参照して、金属板の正常部の画像（以下「良品画像」とも称す。）に関しては、画像に特徴的な部分がないことがわかる。すなわち、図４（Ａ）に示された良品画像と、図４（Ｂ）に示された良品画像には、特徴的な差がないことがわかる。

これに対して、図５は、ラインカメラによって撮像された金属板表面において異常部が観察される画像の一例を示す図である。図５を参照して、金属板の異常部を有する画像（以下「異常品画像」とも称す。）に関しては、図４の良品画像に比較して画像に特徴的な部分があることがわかる。ここでは、金属板で観察される異常部を、例えば、図５の異常モードＭ１〜モードＭ６の６種類に分類する。

図５のモードＭ１〜モードＭ６を参照して、図５（Ａ）のモードＭ１の異常部は、金属溶融時に形成された析出物によるものである。また、図５（Ｂ）のモードＭ２の異常部は、金属板の中央付近に黒い筋構造が形成されており、これは圧延時に発生したすり傷を示す。図５（Ｃ）のモードＭ３の異常部は、金属板の中央付近に形成される黒い円状領域を示し、これは、製造時の打痕によるものである。

図５（Ｄ）のモードＭ４の異常部は、金属板の中央付近と上部分における横方向に延びる比較的太い領域を示す。これは金属板表面の変形によるものである。図５（Ｅ）のモードＭ５の異常部は、金属板表面に形成されている筋状の線を示し、これは金属（銅）板の切断時に発生する金属くずが付着したことによる。図５（Ｆ）のモードＭ６の異常部は、金属板表面の中央部から放射状に広がった模様を示す。これは、洗浄時に付着した有機物によるものである。図５から異常モードによって、画像の特徴となる異常部の形状、大きさが異なることがわかる。

＜Ｄ．マハラノビス距離、およびその算出方式＞
このような金属板を検査対象物として、画像検査する際には、上記のいずれの異常モードに属するか否かの判断は、その異常部の形状が無数にあるため、判断が困難となる。そこで、発明者らは、検査対象物の異常部のモード判断には、異常品画像データから算出した単位空間に対する距離を指標とする、マハラノビス距離による判断が適していることを見出した。

まず、本実施の形態に従うマハラノビスの距離の算出方式について、簡単に説明する。具体的には、これは、ＭＴ（Mahalanobis-Taguchi）法に基づく算出方式である。

例えば、取得されたデータをＹ_ｉｐ、データ項目数をｉ＝１〜ｋ、データセット数をｐ＝１〜ｎとし、データ項目ごとにデータＹ_ｉｐの平均値Ｍ_ｉと、標準偏差σ_ｉとを計算する。

次に、平均値Ｍ_ｉおよび標準偏差σ_ｉを用いて、次式（１）により基準化値ｙ_ｉｐを計算する。

本実施の形態では、取得されたデータＹｉｐは、各異常モードあたり、後述する９種類の特徴量（１）〜（９）を用いて異常モードに分類された画像を１００個とすれば、９×１００の計９００個になる。このように、データ項目数は、各画像の特徴量である９個、データセット数はモード毎に分類された画像個数（各１００個程度）とする。

次に、基準化値ｙ_ｉｐを用いて、次式（２）および（３）により基準化値の相関行列Ｒを作成する。

次に、次式（４）により相関行列Ｒの逆行列Ａ_ＭＴを作成する。

最後に、次式（５）によりマハラノビスの距離Ｄ^２を計算する。

＜Ｅ．特徴量の抽出＞
次に、上記のＭＴ法による画像解析に必要となる画像の特徴量を抽出するために、以下のような画像処理を実施する。

まず、画像処理に際して画像解像度を変化させた画像を生成する。具体的には、解像度を３段階に変化させた被検査画像を用いた。被検査画像は通常の可視光（自然光）の反射光によりＣＣＤカメラで撮像した異常部の画像と、紫外またはＸ線領域の波長の光を照射した際に放出される蛍光をＣＣＤカメラで撮像した画像とを用いる。つまり、画像数は１異常部に対して６個である。

このように、通常画像と蛍光画像の２種類の画像に関して、画像解像度を通常、中解像度、低解像度の３段階に変換する。これは３種類の解像度の画像を用いることで、画像全体の特徴と、異常部の詳細な特徴の両方の特徴を網羅するためのである。

これら６個の画像について、画像の特徴量を強調するために、以下の画像処理を実施する。

（ｅ１．画像の平滑化と判別分析法による２値化処理）
ここでは、ガウシアン分布に基づく画像の平滑化と、判別分析法を用いた画像処理による２値化処理について説明する。まず、画像のノイズを除去するために、ガウシアン分布に基づいて、画像の輝度値を平坦化させる。次に、判別分析法を適用した２値化処理を実行する。なお、判別分析法は、分離度（separation metrics）が最大となる閾値を求め、自動的に２値化を行う手法である。分離度はクラス間分散（between-class variance）とクラス内分散（within-class variance）との比で算出することができる。

閾値ｔで２値化したとき、閾値ｔよりも輝度値が小さい側（黒クラス）の画素数をω_１、平均をｍ_１、分散をσ_１、輝度値が大きい側（白クラス）の画素数をω_２、平均をｍ_２、分散をσ_２、画像全体の画素数をω_ｔ、平均をｍ_ｔ、分散をσ_ｔとしたときクラス内分散σ^２ _ｗは、次式（６）によって算出される。

次に、クラス間分散σ^２ _bと、全分散（total variance）σ_ｔは、それぞれ次の式（７）と式（８）で算出される。

したがって、クラス間分散σ^２ _bとクラス内分散σ^２ _ｗとの比である分離度は、次式（９）によって算出される。

そして、この分離度が最大となる閾値ｔを算出して、自動的に２値化処理がなされる。
（ｅ２．平均値による２値化処理、ラベリング処理および膨張処理）
次に、ラインカメラによって撮像された画像から検査対象となる金属板部分を抽出するために、予め抽出したい領域（金属板部分）が定められた、上記方式で２値化処理を行なった２値化画像を用いて、マスク処理を行なった。すなわち、ラインカメラによって撮像された画像から、金属板以外の部分を削除した（金属板部分を抽出した）。なお、ラインカメラによって撮像された各画像について、２値化処理の実施後に、処理前の状態に戻して金属板部分を抽出してもよい。

次に、金属以外の部分を削除後、画像ノイズを削除し実効検査領域を抽出する。ここで、実効検査領域とは、２値化画像に基づいて不良品と判断される要因とは異なる要因で生じたノイズを除外したものである。すなわち、画像上、実際に検査すべき領域とは別の領域を除外したものである。ここでは、画像処理により、画像ノイズとして異常部ではない金属端のうねりによる影部が除外されることについて説明する。

まず、画素の輝度の平均値を閾値として、画像に対して２値化処理が実施される。次に、２値化処理後の画像に対して、ラベリング処理を実施する。ここで、ラベリング処理とは、２値化処理された画像において、白領域（または黒領域）が連続した画素に同じ番号を割り振る処理のことであり、同じ番号が割り振られた画素はひとつのオブジェクトと捉えることが可能となる。次に、画像の特徴量を取得する領域（以下「特徴量取得領域」とも称す。）を特定する。これは、例えば、画像をラベリング処理したときに抽出される白領域のオブジェクトが、画像上におけるどの位置に存在するかを解析することで特定される。

次に、特定された特徴量取得領域における周辺部分に関しても白黒を逆転する膨張処理を実施する。膨張処理により互いに白、黒が異なる隣接した画素同士を白または黒に統一することなどにより、画像上の当該領域の特徴を強調する。

（ｅ３．特徴量抽出処理）
図６は上記の画像処理に用いた処理前の元画像（図６（Ａ））と処理後の画像（図６（Ｂ））を示す図である。本実施の形態では、画像処理後の画像を用いて、以下の画像特徴量の抽出を実施する。

上記のような画像処理により特定された特徴量取得領域における、画像毎の以下の特徴量（１）〜（９）を抽出する。

（１）１画像内の異常部の個数
（２）異常部の横幅
（３）異常部の縦横比
（４）異常部の画素面積
（５）異常部の周囲長さ
（６）異常部の円形度を含む（円形度は4πS/Lで表現される）
（７）異常部の外形の曲率
（８）異常部の輝度積分値
（９）異常部の重心の位置
これら特徴量の算出には、周知の方法を用いることができるので、ここでは説明を繰り返さないが、例えば輝度積分値の算出方法を簡単に説明する。

特徴量取得領域の部分画像について直交するＸ軸（横方向）およびＹ軸（縦方向）を設定して、特定のＸ座標におけるＹ軸が延びる方向の画素輝度を積分した値、または、特定のＹ座標におけるＸ軸が延びる方向の画素輝度を積分した値を特徴量として取得する。なお、複数の座標ごとに算出される上記の複数の積分値を、それぞれ特徴量として取得してもよい。すなわち、例えば、Ｘ座標におけるＹ軸が延びる方向の画素輝度の積分値を１つの特徴量、Ｙ座標におけるＸ軸が延びる方向の画素輝度の積分値を別の特徴量として取得してもよい。

なお、本実施の形態では、マハラノビスの距離の算出に際しては、上記の（１）〜（９）の特徴量のうち少なくとも１つ以上を用いればよい。また、上記の９種類とは異なる特徴量を用いてもよい。

＜Ｆ．機能構成＞
次に、本実施の形態に従う画像検査では、予め異常品であること、および対応する製造工程の異常モードが判っている複数の異常品対象物を撮像した、異常モードごとの複数の異常品画像からなら画像群を取得しておく。このように、上記の各異常モードについて複数の異常品画像を予め準備しておくが、本実施の形態では、これを、異常モード別の基準画像ともいう。画像検査装置１００は、異常モード毎に、当該異常モードに該当する複数の基準画像のマハラノビス距離の代表値（以下、基準マハラノビスという場合がある）を計算して取得する。検査時は、被検査画像の特徴量に関し各異常モードの基準マハラノビスに対する距離から、被検査画像が帰属する異常モードを判定する。基準マハラノビスとして、ここでは複数の基準画像のマハラノビス距離の平均値を用いるが、代表値であれば、最頻値、中央値であってもよい。

（ｆ１．装置構成）
図７は、本実施の形態に従う画像検査装置１００の機能構成を示すブロック図である。

図７を参照して、画像検査装置１００は、各異常モードの基準画像についてマハラノビス距離を算出する機能構成として異常モードＭ１に対応する異常品特徴量抽出部３２，基準空間構成部３４、異常モードＭ２に対応する異常品特徴量抽出部４２，基準空間構成部４４、および異常モードＭ３に対応する異常品特徴量抽出部５２，基準空間構成部５４を備える。ここでは、説明を簡単にするために図示は省略されるが、異常モードＭ４〜Ｍ６に対応する異常品特徴量抽出部と基準空間構成部も異常モードＭ１〜Ｍ３と同様にして備えることができる。

また、画像検査装置１００は、検査対象画像のマハラノビス距離の算出に関する機能構成として特徴量抽出部２０を備える。

また、画像検査装置１００は、被検査画像の異常モードを判定するための情報を格納するメモリ１０８の所定記憶領域に相当する情報格納部７０、検査対象画像の特徴量に関し各異常モードの基準マハラノビスに対する距離を算出するモード毎の距離計算部９０（以下、距離計算部９０という場合がある）、および距離計算部９０の算出結果から検査対象画像が帰属する異常モードを分類し判定する異常モード分類部９５を備える。画像検査装置１００は、金属板の製造工程に適用される装置の製造に係る特性を示す装置パラメータデータ１１２を入力し情報格納部７０に格納する。

さらに、画像検査装置１００は、異常モード分類部９５の判定結果から、異常の発生原因を分析して判定しディスプレイ１１０などを介し出力する異常部位の原因分析部（以下、原因分析部という場合がある）１２０を備える。

上述した機能は、基本的には、画像検査装置１００のＣＰＵ１０２がメモリ１０８に格納されたプログラムを実行し、画像検査装置１００の構成要素へ指令を与えることなどによって実現される。すなわち、ＣＰＵ１０２は画像検査装置１００の動作全体を制御する制御部としての機能を有する。なお、これらの機能構成の一部または全部はハードウェアで実現されていてもよい。

（ｆ２．情報格納部）
図８は本実施の形態に係る情報格納部７０に格納される情報の一例を模式的に示す図である。情報格納部７０の領域は、検査のために参照されるデータを対応づけて格納する領域Ｅ１と、異常モード毎に異常品画像を分類して格納するための領域Ｅ２と、異常原因を特定するためのデータを格納する領域Ｅ３とを含む。

領域Ｅ１には、異常モードＭ１〜Ｍ６のそれぞれに対応して、当該異常モードの識別子（Ｍ１〜Ｍ６）と、算出される基準マハラノビス距離（Ｄ１ｇ〜Ｄ６ｇ）とを含む。

領域Ｅ２には、各異常モードについて、当該異常モードの異常品画像が格納される。異常品画像には、予め準備された基準画像と、検査時に当該異常モードに帰属すると判定された検査対象画像とが含まれる。

領域Ｅ３には、異常モード毎に異常原因特定データ７０１が格納される。異常原因特定データ７０１は、金属板上における各異常部について異常部関連データ６１を含む。異常部関連データ６１は、当該異常部の発生の位置・周期を示す位置パラメータ１１１と、当該異常発生に起因する製造装置に関するパラメータを示す装置パラメータデータ１１２と、当該異常の発生原因を示す発生原因データ１１３とを対応付けて含む異常部関連データ６１を複数個含む。領域Ｅ３のデータは予め実験などにより取得されて格納される。

位置パラメータ１１１は、単位製造量あたり例えば１ロットあたりの金属板における異常部発生位置と発生周期を示す。なお、検査時において、検査対象画像には、対応する金属板の当該１ロットにおける位置を示す位置情報が付加される。位置情報は、製造ラインの金属板の搬送速度とラインカメラの撮影速度（シャッタ速度）とを用いて算出される。これら速度は、一般的に固定値である。ラインカメラ側で両速度から位置情報を算出して撮像画像に付加する、または画像検査装置１００で算出して、検査対象画像を入力する毎に当該画像に付加する。

装置パラメータデータ１１２としては、例えば、対応の位置パラメータ１１１が示す異常部の発生位置と発生周期に対応する異常部の画像と製品の位置（座標情報）関係、異常部の発生に関わる製造装置に関するパラメータ（圧延ロールの円周、圧延ロールの間隔、レベリング工程のロールの径、レベリング工程のロールの間隔など）、当該異常部の形状、通常モードの画像と蛍光モードの画像との対応関係などのうち、当該異常発生に起因する１つ以上のパラメータを含む。

発生原因データ１１３は、当該異常発生の原因（工程の種類、製造ラインにおける異常発生の場所など）を示す。

（ｆ３．各部の機能）
図７を参照して、異常品特徴量抽出部３２は、予めモードＭ１に該当する異常（不良）品であることがわかっている複数の異常品対象物をラインカメラで撮像して得られた複数の異常品画像の各々について複数の特徴量を取得する。具体的には、異常品特徴量抽出部３２は、対象の画像を基準閾値に基づいて２値化処理することによって２値化画像を生成し、２値化画像に基づいて異常品と判断される要因とは異なる要因で生じたノイズを除外した実効検査領域を抽出し、実効検査領域に基づいて特徴量を取得する。異常品特徴量抽出部３２は、実効検査領域から特定された特徴量取得領域の各画素における上記の９種類の特徴量（１）〜（９）を取得する。

基準空間構成部３４は、モードＭ１の複数の異常品画像の各々についての特徴量（１）〜（９）に基づいて、異常品画像ごとのマハラノビス距離を算出する。基準空間構成部３４は、異常品画像ごとのマハラノビス距離を平均した基準マハラノビス距離Ｄ１ｇを算出する。

上記のモードＭ１の異常品画像についての基準マハラノビス算出方法は、モードＭ２の異常品画像についての異常品特徴量抽出部４２および基準空間構成部４４でも同様に実施されて、モードＭ２の異常品画像ごとのマハラノビス距離を平均した基準マハラノビス距離Ｄ２ｇが算出される。同様にして、モードＭ３の異常品画像についての異常品特徴量抽出部５２および基準空間構成部５４でもモードＭ３の異常品画像ごとのマハラノビス距離を平均した基準マハラノビス距離Ｄ３ｇが算出される。さらに、他の異常モードＭ４〜Ｍ６それぞれについても、基準マハラノビス距離Ｄ４ｇ〜Ｄ６ｇが算出される。

情報格納部７０は、モードＭ１〜Ｍ６について算出された基準マハラノビス距離Ｄ１ｇ〜Ｄ６ｇを、領域Ｅ１に各異常モードに対応づけて格納する。

特徴量抽出部２０は、検査時に検査対象物を撮像して得られた被検査画像について上記の９種類の特徴量（１）〜（９）を取得する。特徴量抽出部２０は、各々の異常品画像に対して異常品特徴量抽出部３２，４２，５２が実現する機能と同様の機能を被検査画像に対して実現する。

モード毎の距離計算部９０は、特徴量抽出部２０から出力された特徴量から被検査画像のマハラノビス距離Ｄоを算出する。

距離計算部９０と異常モード分類部９５とは、検査対象画像のマハラノビス距離Ｄоと領域Ｅ１の基準マハラノビス距離Ｄ１ｇ〜Ｄ６ｇとから当該検査対象画像が帰属する異常モードを判定する。具体的には、基準マハラノビス距離Ｄ１ｇ〜Ｄ６ｇそれぞれのうち検査対象画像のマハラノビス距離Ｄоと最も近い、言い換えるとマハラノビス距離Ｄоとの差を算出し、差の最も小さい基準マハラノビス距離に対応の異常モードを、検査対象画像が帰属する異常モードであると判定する。

ＣＰＵ１０２は、検査対象画像を、判定された異常モードに対応づけて領域Ｅ２に格納する。

異常部位の原因分析部１２０は、異常モード分類部９５の判定結果である異常モードの種類に基づき、領域Ｅ３の異常原因特定データ７０１を検索する。検索した異常原因特定データ７０１から異常部関連データ６１を読み出す。そして、異常部関連データ６１を所定処理し、異常原因判定結果としてディスプレイ１１０などに出力する。

＜Ｇ．処理フローチャート＞
次に、画像検査装置１００が実行する検査処理手順について説明する。

図９は、本実施の形態に従う画像検査装置１００が実行する検査処理手順を示すフローチャートである。図９に示す各ステップは、基本的には、ＣＰＵ１０２がプログラムを実行することで実現される。ここで、領域Ｅ２には異常モード毎に複数の異常品対象物における複数の異常品画像が格納されているものとする。また、領域Ｅ３には異常原因特定データ７０１が格納されていると想定する。

図９を参照して、ＣＰＵ１０２は、ラインカメラから検査対象画像を通信Ｉ／Ｆ１１６を介して取得すると、以下の処理を実行する。

特徴量抽出部２０は、検査対象画像について、ガウシアンフィルタによる平滑化を行なう（ステップＳ１０）。続いて、特徴量抽出部２０は、当該平滑化がされた画像について、判別分析法による２値化処理を用いて、金属板以外の部分（画像端領域）を削除して、検査対象となる金属板部分を抽出する（ステップＳ１２）。続いて、特徴量抽出部２０は、当該金属板部分が抽出された画像について、画素の輝度の平均値を閾値として２値化処理を実施するとともに、ラベリング処理により画像ノイズを削除して実効検査領域を抽出する（ステップＳ１４）。続いて、特徴量抽出部２０は、当該実効検査領域を抽出された画像について、特徴量を取得する領域を特定し、当該領域について膨張処理を実施し、画像の特徴量を強調化する（ステップＳ１６）。続いて、特徴量抽出部２０は、特徴量取得領域について、金属板の画像についての上記の９種類の特徴量を取得する（ステップＳ１８）。

次に、ＣＰＵ１０２は、当該取得した特徴量を所定手順に従って正規化する（ステップＳ２０）。続いて、距離計算部９０は、＜Ｄ．マハラノビス距離、およびその算出方式＞で説明したように、検査対象画像についてマハラノビス距離Ｄоを算出する（ステップＳ２１）。

次に、ＣＰＵ１０２は、異常モード毎の異常品画像を領域Ｅ２から読み出し取得する。続いて、各異常モードに対応の異常品特徴量抽出部および基準空間構成部は、領域Ｅ２から読み出された当該異常モードに対応の複数の異常品画像について上述したマハラノビス距離算出により、当該異常モードの基準マハラノビス距離を算出する（ステップＳ２２１）。これにより、基準マハラノビス距離Ｄ１ｇ〜Ｄ６ｇが算出されて、領域Ｅ１に格納される。

次に、距離計算部９０は、検査対象画像のマハラノビス距離Ｄоと、マハラノビス距離に関する所定しきい値とを比較し、所定しきい値よりも小さい値であると判定すると（ステップＳ２６でＹＥＳ）、検査対象画像は良品画像である検査対象物は良品（異常なし）との結果を出力し、処理はする（ステップＳ２７）。

一方、所定しきい値以上であると判定すると（ステップＳ２６でＮＯ）、距離計算部９０は、検査対象画像のマハラノビス距離Ｄоと領域Ｅ１から読み出した異常モードＭ１〜Ｍ６の基準マハラノビス距離Ｄ１ｇ〜Ｄ６ｇそれぞれとを比較し、異常モード分類部９５は、その比較結果から、距離が最も近い基準マハラノビス距離の異常モードを特定（判定）する（ステップＳ２８）。

ＣＰＵ１０２は、異常モードが判定された検査対象画像を、領域Ｅ２の対応する異常モードの異常品画像として追加格納する。

上記のように検査対象画像の異常モードの分類が、複数の検査対象画像について繰返し実行されたと想定する。異常部位の原因分析部１２０は、異常発生原因を特定する。

具体的には、異常部位の原因分析部１２０は、例えば、１ロット単位で異常モード毎に分類された検査対象画像に関して、マハラノビス距離の近い画像同士のグルーピングを実施する。ここでマハラノビス距離の近い画像は、同一の原因により発生した異常部の画像であると見なすことができる。これらグルーピングされた画像に関して、画像に付加されている位置情報から、所定処理により異常発生の位置・周期性を算出する（ステップＳ３０）。

算出した異常発生の位置・周期性の値に基づき、領域Ｅ３の対応する異常モードの異常原因特定データ７０１を検索し、当該位置・周期性の値を示す位置パラメータ１１１に対応する異常部関連データ６１を読み出し、ディスプレイ１１０に出力する（ステップＳ３２、Ｓ３４）。これにより、一連の処理は終了する。

なお、ステップＳ２６で用いる所定しきい値は、良品画像から予め得られるマハラノビス距離から算出される値であってもよい。

（ｇ１．異常部位の原因特定）
本実施の形態では、異常部位の原因分析部１２０は異常モード毎に、領域Ｅ２の当該異常モードに格納された複数の検査対象画像を、マハラノビス距離が近い画像どうしを抽出してグループ分けする。グループ毎に検査対象画像に付加されている金属板上の位置情報から、その異常部の発生の周期性、位置などを算出する。算出した周期性、位置に基づき領域Ｅ３の当該異常モードの異常原因特定データ７０１を検索し、当該周期性、位置に対応した位置パラメータ１１１に対応する異常部関連データ６１を読み出し、ディスプレイに出力する。

本実施の形態に係る異常部関連データ６１は次のような情報を示す。たとえば、異常モードＭ１の異常部は金属溶融時に形成された析出物によるものであるため、異常部関連データ６１の装置パラメータデータ１１２は、圧延ロールの径、ロール間の幅などのパラメータとの相関が無いことを示す。異常モードＭ２の異常部は圧延時に発生したすり傷であるため、異常部関連データ６１の装置パラメータデータ１１２は、特定の圧延ロールのパラメータとの相関があることを示す。異常モードＭ３の異常部は、製造時の打痕によるものであるため、異常部関連データ６１の装置パラメータデータ１１２は表面と裏面の画像位置で一致が見られることを示す。異常モードＭ４の異常部は金属表面の微小変形によるものであるため、異常部関連データ６１の装置パラメータデータ１１２は、レベリング工程のローラ間隔またはローラ径などと対応があることを示す。異常モードＭ５の異常部は筋状の線を含み、これは金属板の切断時に発生した金属くずが付着したものであるため、異常部関連データ６１の発生原因データ１１３は切断工程を示す。異常モードＭ６の異常部は洗浄時に付着した有機物を示すから、異常部関連データ６１の装置パラメータデータ１１２は、有機物である場合は蛍光画像でも通常画像と同様の異常形状が見られることを示す。

出力される異常部関連データ６１の装置パラメータデータ１１２と、発生原因データ１１３から、オペレータは、多数のローラを使用する圧延工程であっても、異常部の発生原因となったローラを特定し、対策を講じる事が可能となる。

（ｇ２．異常モードの基準空間の再構成）
本実施の形態では、検査対象画像を、帰属すると判定された異常モードの異常品画像として領域Ｅ２に格納したとき、当該異常モードに対応の異常品特徴量抽出部および基準空間構成部は、ステップＳ２２で、領域Ｅ２の当該異常モードに対応の複数の異常品画像から、上記と同様の手順で再度、基準マハラノビス距離を算出し、領域Ｅ１の対応する基準マハラノビス距離を算出値で更新する。

なお、ステップＳ２２では、再度、基準マハラノビス距離を算出する場合には、検査対象画像が追加された異常モードについてのみ、基準マハラノビス距離を算出するとしてもよい。

このように、検査対象画像を帰属すると判定した異常モードへ分類した後、該当する画像を基準空間データに含めて異常モードの基準空間を再構成し、次位の検査対象画像の異常モードの判定を実施する。このことで、検査対象画像の増加とともに、検査精度は向上する。

＜実施の形態の変形例＞
上記では、金属板を検査対象物として説明したが、画像として取得できるものであればこれに限られない。例えば、液晶パネルに用いられる偏光フィルムを検査対象物としてもよい。発明者らは、上述した検査方法および装置を液晶パネル用の偏光フィルム検査工程、液晶パネルへの貼付後のパネル検査工程に適用した。

偏光フィルムの製造工程においては、フィルムの表面の傷、ゴミの付着等による変色の問題がある。特に液晶パネルへ貼付後に、静電気等を与えて液晶に配向性を与える際に、静電気を与えるための接触物により、細かな傷や配向の乱れが発生する。

ここでも、異常モードごとに算出されたマハラノビス距離が異なることが確認された。液晶パネル用の偏光フィルム検査工程、液晶パネルへの貼付後のパネル検査工程に、上述した検査方法および装置を導入することで、これまで特定の部位で発生する特定の異常の検査に終始していた検査工程が、未知の異常に関しても高速に、精度良く異常を検出することができるようになった。

＜実施の形態の効果＞
本実施の形態によれば、金属材料、樹脂フィルム等の表面検査を画像により実施する検査において、表面検査により確認される異常部に関して、異常部をモード毎に分類するとともに、異常モード毎の発生周期、位置を分析する事により、異常の発生原因を早期に特定することが出来る。

つまり、検査対象画像の特徴量から算出されるマハラノビス距離により、検査対象画像の異常モードを特定することができる。また、検査対象画像の増加とモードへの分類、新たな基準空間の構成により、モード毎の判定精度を被検査画像の増加とともに向上させることができる。

また、検査対象画像のマハラノビス距離から、異常が同一の原因で発生したと推定される画像グループを特定することができる。それら画像グループの有する位置パラメータと検査装置が有する装置パラメータとの比較から、異常原因を特定することが出来る。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２０ 特徴量抽出部、３２，４２，５２ 異常品特徴量抽出部、３４，４４，５４ 基準空間構成部、６０ 装置パラメータデータ、６１ 異常部関連データ、７０ 情報格納部、９０ モード毎の距離計算部、９５ 異常モード分類部、１００ 画像検査装置、１１１ 位置パラメータデータ、１１２ 装置パラメータデータ、１１３ 発生原因データ、１２０ 異常部位の原因分析部、７０１ 異常原因特定データ、Ｄ１ｇ〜Ｄ６ｇ 基準マハラノビス距離、Ｅ１，Ｅ２，Ｅ３ 領域、Ｍ１〜Ｍ６ 異常モード。

Claims (5)

1. 搬送されながら複数の工程を経て製造される対象物を、搬送路に撮像視野を有する撮像部による撮像画像を用いて検査する画像検査方法であって、
   予め異常品であること、および対応する製造工程の異常モードが判っている複数の異常品対象物を撮像した、異常モードごとの複数の異常品画像からなら画像群を取得するステップと、
   各画像群について、当該画像群の各異常品画像の特徴量に基づくマハラノビス距離から、当該画像群の基準マハラノビス距離を算出するステップと、
   検査対象物を前記撮像部により撮像した検査対象画像の特徴量からマハラノビス距離を算出するステップと、
   前記検査対象画像のマハラノビス距離と前記各画像群に対応の基準マハラノビス距離とに基づいて、異常品と判定された前記検査対象物が属する異常モードを判定するステップと、
   同一異常モードに属する複数の前記検査対象画像について、前記撮像部による撮像時間情報から異常部の発生周期を算出するステップと、
   異常モードごとに異常部の発生周期と発生原因を対応づけて予め格納した格納部から、前記算出した発生周期に対応の前記発生原因を取得するステップと、を備える、画像検査方法。
2. 次位の対象物の検査に際して、前記検査対象画像を、前記判定するステップにより判定された異常モードの画像群に含めて、当該異常モードの画像群について前記基準マハラノビス距離を再度、算出するステップを、さらに備える、請求項１に記載の画像検査方法。
3. 前記マハラノビス距離を算出に用いる前記特徴量は、１画像内の異常部の個数、異常部の横幅、異常部の縦横比、異常部の画素面積、異常部の周囲長さ、異常部の円形度、異常部の外形の曲率、異常部の輝度積分値、および異常部の重心の位置の少なくとも１つを含む、請求項１または２に記載の画像検査方法。
4. 前記基準マハラノビス距離を算出するステップは、前記各異常品画像のマハラノビス距離を平均するステップを含む、請求項１から３のいずれか１項に記載の画像検査方法。
5. 搬送されながら複数の工程を経て製造される対象物を、搬送路に撮像視野を有する撮像部による撮像画像を用いて検査する画像検査装置であって、
   予め異常品であること、および対応する製造工程の異常モードが判っている複数の異常品対象物を撮像して、異常モードごとの複数の異常品画像からなる各画像群について、当該画像群の各異常品画像の特徴量に基づくマハラノビス距離から、当該画像群の基準マハラノビス距離を算出する手段と、
   検査対象物を撮像した検査対象画像の特徴量からマハラノビス距離を算出する手段と、
   前記検査対象画像のマハラノビス距離と前記各画像群に対応の基準マハラノビス距離とに基づいて、異常品と判定された前記検査対象物が属する異常モードを判定する手段と、
   同一異常モードに属する複数の前記検査対象画像について、前記撮像部による撮像時間情報から異常部の発生周期を算出する手段と、
   異常モードごとに異常部の発生周期と発生原因を対応づけて予め格納した格納部から、前記算出した発生周期に対応の前記発生原因を取得する手段と、を備える、画像検査装置。