JP2019046134A - 画像検査装置、及び画像検査方法 - Google Patents

Abstract

【課題】画像のセグメンテーションを実施するためのパラメーター調整を容易に実施可能な画像検査装置、及び画像検査方法を提供する。【解決手段】画像検査装置は、複数の画素を有し、それぞれの前記画素に対して信号値が記録された画像情報を取得する画像情報取得部と、基準色に対する前記信号値である基準信号値を取得する基準信号取得部と、前記画像情報の前記画素の前記信号値を、回転行列を用いてｕｖｗ座標系に変換し、さらに、変換されたｕｖｗ座標系の座標値を球座標変換して球座標値を取得する信号変換部と、色を区分する複数の分類区分毎に設定され、前記分類区分に属する色の分布を示すパラメーターを取得するパラメーター取得部と、球座標空間に設定された前記分類区分毎の色区分基準値と、前記パラメーターと、前記球座標値と、に基づいて、前記画素を分類する指標値を算出する指標算出部と、を備え、前記回転行列は、前記基準信号値をｕｖｗ座標系に変換した際の座標値がｗ軸上の座標値となる行列である。【選択図】図２

Description

本発明は、画像検査装置、及び画像検査方法に関する。

従来、カラー画像の各画素の色を、色空間における基本色に分類するカラー画像のセグメンテーションを実施する方法が知られている（例えば、特許文献１参照）。
特許文献１に記載の方法では、入力画像を、人間の知覚に近いＣＩＥ−ＬＡＢ又はＣＩＥ−ＬＵＶのような表色系に変換した後、クラスタリング処理を実施する。このようなセグメンテーション処理は、例えば製造ライン等での検査において、撮像処理とセグメンテーション処理とを繰り返し実施する場合において、どの色がどの基本色に分類されるかの範囲を示すパラメーターを予め設定しておくことで、安定したセグメンテーション処理を実施することができる。

ここで、カラー画像のセグメンテーション処理を実施するに際し、カラー画像の取得環境がそれぞれ異なる場合がある。この場合、どの色がどの基本色に分類されるかの範囲（すなわち、基本色が示す色の範囲）を示すパラメーターを適宜調整する必要がある。ここで、カラー画像のセグメンテーションとして、マハラノビス距離を用いる方法が知られている（例えば、特許文献２参照）。このマハラノビス距離を用いた方法では、分類項目（基本色）毎の分布の広がりを考慮したパラメーター調整を行い、カラー画像のセグメンテーションを実施することが可能となる。

特開２００３−１６２７１８号公報 特開２０１３−１０７２６９号公報

ところで、検出内容に応じて考慮したいばらつき要因（環境による色の見え方の違い）は様々であり、特許文献２の方法では、当該ばらつき要因に対応したパラメーター調整が困難である。例えば、調節可能な第１のパラメーター（例えば基本色に対するＲの範囲）、第２のパラメーター（例えば基本色に対するＧの範囲）、第３のパラメーター（例えば基本色に対するＢの範囲）が存在する場合に、明るさの許容範囲を変更するために、３つのパラメーターをそれぞれ調整する必要が生じる。

本発明は、画像のセグメンテーションを実施するためのパラメーター調整を容易に実施可能な画像検査装置、及び画像検査方法を提供することを目的とする。

本発明の一適用例に係る画像検査装置は、複数の画素を有し、それぞれの前記画素に対して信号値が記録された画像情報を取得する画像情報取得部と、基準色に対する前記信号値である基準信号値を取得する基準信号取得部と、前記画像情報の前記画素の前記信号値を、回転行列を用いてｕｖｗ座標系に変換し、さらに、変換されたｕｖｗ座標系の座標値を球座標変換して球座標値を取得する信号変換部と、色を区分する複数の分類区分毎に設定され、前記分類区分に属する色の分布を示すパラメーターを取得するパラメーター取得部と、球座標空間に設定された前記分類区分毎の色区分基準値と、前記パラメーターと、前記球座標値と、に基づいて、前記画素を分類する指標値を算出する指標算出部と、を備え、前記回転行列は、前記基準信号値をｕｖｗ座標系に変換した際の座標値がｗ軸上の座標値となる行列であることを特徴とする。

本適用例では、画像情報取得部により、各画素に対する信号値（例えばＲ，Ｇ，Ｂ階調値）が記録された画像情報を取得し、信号変換部は、各画素の信号値を、回転行列を用いてｕｖｗ座標系に変換し、さらに変換されたｕｖｗ座標系の座標値を球座標値に変換する。この際、信号変換部は、基準信号取得部により取得される基準信号値をｕｖｗ座標系に変換した際に、ｕ＝ｖ＝０となる回転行列を用いる。そして、指標算出部は、この球座標値と、分類区分毎に設定された色区分基準値と、パラメーター取得部によって調整可能なパラメーターとに基づいて、色を区分するための指標値を算出する。
このような画像検査装置では、球座標値（θ，φ，ｒ）におけるφは、信号値をｕｖｗ座標系に変換した際の、原点から変換座標に向かう方向とｗ軸との為す角度である。また、θは、前記ｕｖｗ座標系において変換座標をｕｖ平面に射影した時のｖ軸との為す角度である。これらのθやφは、基準色との色度の違いを示す。また、球座標値（θ，φ，ｒ）におけるｒは、基準色との明るさの違いとして現れる。したがって、パラメーター取得部により、球座標値に対するパラメーターを設定する場合、これらのθ，φ，ｒに対するパラメーターを設定すればよい。例えば、各分類区分に分類する色度の許容範囲を調整する場合、角度座標θ又はφに関するパラメーターを調整すればよく、動径座標ｒに関するパラメーターを調整する必要がない。また、各分類区分に分類する明るさの許容範囲を調整する場合、動径座標ｒに関するパラメーターを調整すればよく、角度座標θやφに関するパラメーターを調整する必要がない。以上のように、本適用例では、画像のセグメンテーションを実施するためのパラメーター調整を容易に実施できる。

本適用例の画像検査装置において、前記指標算出部は、前記球座標値を（θ，φ，ｒ）、前記色区分基準値を（θ_ｍ，φ_ｍ，ｒ_ｍ）、前記パラメーターを（σ_θｍ，σ_φｍ，σ_ｒｍ）として、指標値Ｄ_ｍを次式（１）により算出することが好ましい。

本適用例では、式（１）のように、色区分基準値と球座標値との差分に基づく指標値が算出される。この場合、指標値Ｄ_ｍが小さい程、画素の色が分類区分の色に近いことを示し、容易に画像のセグメンテーションを実施することが可能となる。さらに、球座標値のθ，φ，ｒのそれぞれに対応したパラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）が設定されることで、分類区分毎の分布の広がりを考慮した指標値を算出できる。

本適用例の画像検査装置において、前記基準信号取得部は、前記画像情報取得部により取得された前記画像情報における所定の前記画素に対する前記信号値を前記基準信号値として取得することが好ましい。
本適用例では、基準信号取得部は、画像情報における一部の画素に対する信号値を基準信号値として取得する。画像情報の一部としては、例えば、ユーザーにより選択された画素であってもよく、画像情報の外周に配置された画素等であってもよい。また、一部とは、１画素であってもよく、複数の画素であってもよい。複数画素の場合は、各画素の信号値の平均値等を用いてもよい。画像情報としては、検査対象の対象物が含まれる画像情報であってもよく、当該対象物が含まれない画像情報であってもよい。
基準色の選択位置としては、例えば、検査対象が含まれる画像情報における背景部分の画素や、検査対象が載置されるトレイ、検査対象の着色されていない部分等を例示することができる。
本適用例では、以上のように、画像情報から、基準としたい部分の画素を選択することで、セグメンテーション時に基準色をユーザーが手入力する等の手間を省くことができる。

本適用例における画像検査装置は、前記指標値に基づいて前記画素の色を分類する分類部を備え、前記分類部は、前記指標値が最小となる前記分類区分に前記画素を分類することが好ましい。
本適用例では、画像検査装置は分類部を備え、この分類部は、指標値に基づいて、各画素を分類する。これにより、画像情報の各画素に対して、いずれかの分類区分が割り当てられることになり、画像のセグメンテーションを実施することができる。

本発明の一適用例に係る画像検査装置は、コンピューターにより画像を検査する画像検査方法であって、前記コンピューターは、複数の画素を有し、それぞれの前記画素に対して信号値が記録された画像情報を取得する画像情報取得ステップと、基準色に対する前記信号値である基準信号値を取得する基準信号取得ステップと、前記画像情報の前記画素の前記信号値を、回転行列を用いてｕｖｗ座標系に変換し、さらに、変換されたｕｖｗ座標系の座標値を球座標変換して球座標値を取得する信号変換ステップと、色を区分する複数の分類区分毎に設定され、前記分類区分に属する色の分布を示すパラメーターを取得するパラメーター取得ステップと、球座標空間に設定された前記分類区分毎の色区分基準値と、前記パラメーターと、前記球座標値と、に基づいて、前記画素を分類する指標値を算出する指標算出ステップと、を実施し、前記信号変換ステップにおいて用いられる前記回転行列は、前記基準信号値をｕｖｗ座標系に変換した際の座標値がｗ軸上の座標値となる行列であることを特徴とする。
本適用例では、上述した適用例と同様、例えば、各分類区分に分類する色の許容範囲を調整する場合、球座標値（θ，φ，ｒ）における角度座標θ又はφの値に関するパラメーターを調整すればよく、動径座標ｒに関するパラメーターを調整する必要がない。また、各分類区分に分類する明るさの許容範囲を調整する場合、動径座標ｒに関するパラメーターを調整すればよく、角度座標θやφに関するパラメーターを調整する必要がない。以上のように、本適用例では、画像のセグメンテーションを実施するためのパラメーター調整を容易に実施できる。

本発明に係る一実施形態の画像検査装置の概略構成を示すブロック図。 本実施形態の演算回路部の機能構成を示すブロック図。 本実施形態の画像検査方法を示すフローチャート。 本実施形態の画像検査方法におけるパラメーター設定処理を示すフローチャート。

以下、本発明に係る一実施形態について説明する。
［画像検査装置の構成］
図１は、本実施形態に係る画像検査装置１の構成を示すブロック図である。
この画像検査装置１は、例えば工場等の製造ラインに設けられ、撮影台２のトレイ２１に載置されたワークＷを撮像し、撮像された画像情報（カラー画像）の各画素の色を分類して、ワークＷの種類や個数等を検査する装置である。
画像検査装置１は、図１に示すように、光源部１１と、撮像装置１２と、モニター１３と、入力操作部１４と、制御装置１５とを備えている。

光源部１１は、光源１１１及び光源駆動部１１２により構成されている。
光源１１１は、例えばＬＥＤ等の発光素子であり、ワークＷに対して照明光を照射する。
光源駆動部１１２は、光源１１１を駆動させる駆動回路であり、駆動電圧を光源１１１に印加して、光源１１１から照明光を照射させる。なお、光源駆動部１１２は、光源１１１に出力する電圧を適宜設定可能であり、これにより、所望の光量の照明光をワークＷに照射する。

撮像装置１２は、撮影台２を撮像して得られた画像情報を制御装置１５に出力する。撮像装置１２としては、一般的なＣＣＤ等のイメージセンサーを用いることができ、例えばベイヤー配列で配置されたＲＧＢフィルターと、各フィルターを透過した光を受光する複数の受光素子とを備えて構成されている。すなわち、撮像装置１２は、各受光素子から出力される受光信号に基づいて、各画素に対して各色（ＲＧＢ）の信号値を記録した画像情報を生成して制御装置１５に送信する。

モニター１３は、制御装置１５に接続され、制御装置１５の制御の下、所定の画像を表示させる。表示させる画像としては、例えば撮像画像のセグメンテーション結果等が例示できる。
入力操作部１４は、例えばマウスやキーボード等の入力装置により構成されて、制御装置１５に接続されている。入力操作部１４は、ユーザーにより入力操作部１４が操作されることで操作内容に応じた操作信号が制御装置１５に出力される。なお、本実施形態では、入力操作部１４による操作信号の入力を例示するが、これに限定されず、例えば、インターネット等のネットワークを介して所定の操作信号が制御装置１５に入力される構成などとしてもよい。

制御装置１５は、例えばパーソナルコンピューター等のコンピューターにより構成することができる。制御装置１５は、図１に示すように、光源制御部１５１、撮像制御部１５２、モニター制御部１５３、記憶部１５４、及び演算回路部１５５等を含んで構成されている。

光源制御部１５１は、光源部１１を制御するためのドライバ回路等により構成されており、光源１１１の点灯や消灯、光源１１１から出力させる照明光の光量制御（光源１１１に印加する電圧指令）等を実施する。
撮像制御部１５２は、撮像装置１２を制御するためのドライバ回路等により構成されており、撮像装置１２による撮影台の撮影指令を行う。また、撮像装置１２から入力された撮像画像（画像情報）を取得し、記憶部１５４に記憶させる。
モニター制御部１５３は、モニター１３を制御するためのドライバ回路等により構成されており、演算回路部１５５からの指令に基づいて、所定の画像をモニター１３に表示させる。
記憶部１５４は、例えばハードディスク等により構成された補助記憶装置や、メモリー等により構成された主記憶装置を備える。この記憶部１５４には、各種データや各種プログラムが記憶される。

図２は、演算回路部１５５の機能構成を示す機能ブロック図である。
演算回路部１５５は、記憶部１５４に記憶された各種プロフラムを読み込み実行することで、図２に示すように、画像情報取得部１５５Ａ、画像処理部１５５Ｂ、信号取得部１５５Ｃ、信号変換部１５５Ｄ、パラメーター取得部１５５Ｅ、指標算出部１５５Ｆ、分類部１５５Ｇ、検査部１５５Ｈ、及び表示制御部１５５Ｉ等として機能する。

画像情報取得部１５５Ａは、撮像装置１２により撮像された画像情報を取得する。具体的には、撮像装置１２により撮像されて記憶部１５４に記憶されている画像情報を読み出す。
画像処理部１５５Ｂは、取得された画像情報に対する各種処理を実施する。例えば、取得された画像情報のシェーディング補正等を実施する。
信号取得部１５５Ｃは、本発明の基準信号取得部としても機能し、画像情報の各画素のうちの特定の画素の信号値を取得する。
信号変換部１５５Ｄは、画像情報のＲＧＢ空間（撮影信号空間）に基づく信号値を、球座標空間に基づく球座標値（θ，φ，ｒ）に変換する。
パラメーター取得部１５５Ｅは、入力操作部１４から入力された操作信号に基づいて、色を分類する各分類区分に対するパラメーターを取得し、記憶部１５４に記憶する。
指標算出部１５５Ｆは、色を複数の分類区分に分類するための指標値を算出する。
分類部１５５Ｇは、指標値に基づいて、各画素を複数の分類区分のいずれかに分類する。
検査部１５５Ｈは、分類結果に基づいて、画像情報に含まれる検査対象を検出し、検査処理を実施する。
表示制御部１５５Ｉは、撮像された画像情報や、セグメンテーション処理の結果等をモニター１３に表示させる。
なお、各機能の詳細な説明については、後述する。

［画像検査方法］
次に、上述したような画像検査装置１における画像検査方法について説明する。

図３は、本実施形態の画像検査方法を示すフローチャートである。
本実施形態の画像検査処理では、ワークＷを撮像した撮像画像（画像情報）における各画素の色を、複数の分類区分のいずれかに分類して色判別を実施する。
具体的には、まず、画像検査装置１の画像情報取得部１５５Ａは、光源部１１及び撮像装置１２を制御してワークＷの撮像を実施させ、撮像された画像情報を取得する（ステップＳ１）。
なお、画像情報の取得としては、撮像装置１２により１回の撮像処理を実施させ、当該撮像された画像情報を取得してもよく、複数回の撮像処理を実施してもよい。複数回の撮像処理を実施する場合は、各画素の信号値として、例えば、複数回の撮像により得られた各々の信号値の代表値を用いる。代表値としては、例えば平均値であってもよく、中央値であってもよく、最頻値であってもよく、二乗平均平方根であってもよい。

また、画像処理部１５５Ｂは、取得した画像情報のシェーディング補正を実施する（ステップＳ２）。
シェーディング補正では、白基準画像と、黒基準画像（ダーク画像）とに基づいて、画像情報内の明るさ分布の補正を行う。白基準画像やダーク画像は、本測定に先立って、予め測定しておけばよい。白基準画像の撮像では、例えば、撮影台２に各波長に対する反射率が既知となる標準板（例えば、１８％標準反射板や、白色基準板等）を載置して撮像装置１２で撮像することで得られる。また、ダーク画像は、光源１１１を消灯させて、撮影空間を暗空間とした上で、撮像装置１２で撮像画像を撮像する。なお、ここでは、撮像された画像情報の階調値は、撮像装置１２での受光強度に対して略線形になるものとする。
シェーディング補正では、シェーディング補正前の各画素の信号値（ＲＧＢ値）を（Ｒ_０，Ｇ_０，Ｂ_０）、白基準画像における各画素の信号値（ＲＧＢ値）を（Ｒ_０Ｗ，Ｇ_０Ｗ，Ｂ_０Ｗ）、ダーク画像の各画素の信号値（ＲＧＢ値）を（Ｒ_０Ｄ，Ｇ_０Ｄ，Ｂ_０Ｄ）とし、画像情報取得部１５５Ａは、シェーディング補正後の画像情報の各画素の信号値（Ｒ，Ｇ，Ｂ）を下記式（２）により算出する。

なお、式（２）において、（Ｒ_Ｗ，Ｇ_Ｗ，Ｂ_Ｗ）は、シェーディング補正後の白基準画像における各画素の信号値であり、（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）は、シェーディング補正後のダーク画像における各画素の信号値であり、これらは、予め設定されて記憶部１５４に記憶された値である。
上記の様なシェーディング補正を実施することで、撮影された画像情報における明るさの変化は、主にワークＷの形状等によって発生するものとなり、セグメンテーション処理の精度向上を図れる。

次に、分類部１５５Ｇは、取得された画像情報において、セグメンテーション処理から除外する画素を抽出する（ステップＳ３）。具体的には、信号値（Ｒ，Ｇ，Ｂ）のいずれかが所定の上限閾値Ｔ_ＭＡＸ以上となる画素は、撮像素子において受光可能な上限値を超えた飽和信号であるため、当該画素をセグメンテーション処理の対象から除外する。この場合、分類部１５５Ｇは、当該画素がオーバーフロー画素であると判定して、例えば分類ＩＤを「０１」に設定する。
また、信号値（Ｒ，Ｇ，Ｂ）の全てが所定の下限閾値Ｔ_ＭＩＮ以下となる画素は、アンダーフロー画素（ダーク近傍の画素）であると判定して、例えば分類ＩＤを「０２」に設定する。

この後、信号変換部１５５Ｄは、ステップＳ３で除外されなかった画素を対象として、各画素の信号値（Ｒ，Ｇ，Ｂ）を球座標値（θ，φ，ｒ）に変換する（ステップＳ４）。
具体的には、信号変換部１５５Ｄは、まず、回転行列Ｍ_ｒｏｔを用いて、下記式（３）に示すように、信号値（Ｒ，Ｇ，Ｂ）を、ｕｖｗ座標系の信号値（ｕ，ｖ，ｗ）に変換する。

ここで、この回転行列Ｍ_ｒｏｔは、基準色に対応する基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）を当該回転行列Ｍ_ｒｏｔにより変換した際に、変換座標がｗ軸上となるように設定された行列である。すなわち、回転行列Ｍ_ｒｏｔは、下記式（４）の条件を満たす。
なお、基準色に対する基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）は、後述するパラメーター設定処理において、設定される値であり、予め記憶部１５４に記憶されている。

そして、信号変換部１５５Ｄは、さらに、信号値（ｕ，ｖ，ｗ）を、下記式（５）のように、球座標変換し、球座標値（θ，φ，ｒ）を求める。

この後、セグメンテーション処理を実施する。
これには、分類部１５５Ｇは、まず、各画素に対して分類済みであるか否かの判定処理を実施する（ステップＳ５）。すなわち、ステップＳ３において、分類ＩＤが「０１」や「０２」に設定された画素は、分類済みとなり、「Ｙｅｓ」と判定されて除外される。

一方、ステップＳ３において分類ＩＤが付されていない画素に対しては、「Ｎｏ」と判定される。この場合、指標算出部１５５Ｆは、当該画素に対する指標値Ｄを、複数の分類区分のそれぞれについて算出する（ステップＳ６）。
具体的には、指標算出部１５５Ｆは、分類区分ｍに対する指標値Ｄを、下記式（１）に基づいて算出する。

ここで、指標値Ｄの添え字ｍは、分類区分を識別するための変数であり、指標値Ｄ_ｍは、分類区分ｍに対する指標値を示している。また、分類区分ｍに対する色区分基準値を（θ_ｍ，φ_ｍ，ｒ_ｍ）、分類区分ｍに対するパラメーターを（σ_θｍ，σ_φｍ，σ_ｒｍ）として表している。色区分基準値（θ_ｍ，φ_ｍ，ｒ_ｍ）は、分類区分ｍにおける中心パラメーターであり、分類区分ｍに対応する代表色（中心色）のＲＧＢ値を回転行列Ｍ_ｒｏｔによりｕｖｗ値に変換した後、球座標変換した球座標値である。また、パラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）は、分類区分ｍに対する許容範囲を示す値であり、（θ_ｍ±σ_θｍ，φ_ｍ±σ_φｍ，ｒ_ｍ±σ_ｒｍ）の範囲が、分類区分ｍに分類される色となる。また、パラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）は、角度と距離の単位系の違いを規格化する機能も有する。
なお、これらの色区分基準値（θ_ｍ，φ_ｍ，ｒ_ｍ）、及びパラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）は、後述するパラメーター設定処理において設定され、予め記憶部１５４に記憶されている。

式（１）に示す指標値Ｄは、分類対象に対する分布の広がりを考慮して距離に相当する値を求めたものである。このような指標値Ｄでは、撮影環境等によるばらつき要因に応じて、パラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）を容易に変更することが可能となる。
つまり、球座標値において、ｒは、ｕｖｗ座標系においてダーク値からの距離を示したものであり、ｒに対するパラメーターσ_ｒｍを調整することで、陰影等による明るさの変化に対する許容範囲を設定することができる。
また、φは、ｕｖｗ座標系において、ダーク値から各画素の色に対応する座標に向かう方向と、ｗ軸との為す角を示す。φは、例えば、ワークＷの塗装の厚み等によるワークＷとの色度の変化を示しており、φに対するパラメーターσ_φｍを調整することで、色材の使用量による色度の変化に対する許容範囲を設定することができる。
さらにθは、ｕｖｗ座標系の座標をｕｖ平面に射影した際の、ダーク値から各画素の色に対応する座標に向かう方向と、ｖ軸との為す角を示す。このθは、例えば、ワークＷの種類毎の色材の変化等、その他の要因による色度の変化を示しており、θに対するパラメーターσ_θｍを調整することで、例えば色材の違いによる色度の変化に対する許容範囲を設定することができる。

ステップＳ６では、指標算出部１５５Ｆは、予め設定された複数の分類区分の各々に対して、それぞれ式（１）に基づく指標値Ｄを算出する。
そして、分類部１５５Ｇは、対象画素に対して算出された複数の指標値Ｄのうちの最小の指標値Ｍｉｎ｛Ｄ_ｍ｝が、所定の閾値Ｄ_ｔ以下となるか否かを判定する（ステップＳ７）。
ステップＳ７でＮｏと判定される場合は、対象画素の色が、各分類区分に対して類似していないことを示す。この場合、分類部１５５Ｇは、対象画素が、いずれの分類区分にも該当しないと判定し、分類ＩＤを例えば「９９」に設定する（ステップＳ８）。
一方、ステップＳ６において、「Ｙｅｓ」と判定された場合、対象画素を、最小の指標値Ｍｉｎ｛Ｄ_ｍ｝に対応する分類区分に分類し、分類区分に対応する分類ＩＤを設定する（ステップＳ９）。

以上の後、検査部１５５Ｈは、セグメンテーション処理の分類結果に基づいて、画像情報に含まれる検査対象のワークＷを検出し、検査処理を実施する（ステップＳ１０）。これには、例えば、検査部１５５Ｈは、記憶部１５４に記憶されたテンプレートデータに基づいて、パターン検出を行い、画像情報に含まれるワークＷを検出する。そして、検出されたワークＷの種類や個数等を判定する。

［パラメーター設定処理］
次に、基準色（Ｒ_Ａ，Ｇ_Ａ、Ｂ_Ａ）、色区分基準値（θ_ｍ，φ_ｍ，ｒ_ｍ）、及びパラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）を設定するパラメーター設定処理について説明する。
パラメーター設定処理では、撮影台２のトレイ２１に対して、各分類区分に対応する色サンプルが着色されたワークＷが載置される。複数の色サンプルに対応する複数のワークＷが載置されてもよい。また、基準色として、例えば着色されていない基材の色を設定する場合等では、当該着色されていない基材をワークＷとしてトレイ２１に載置する。

図４は、画像検査方法におけるパラメーター設定処理を示すフローチャートである。
パラメーター設定処理では、まず、画像検査装置１の画像情報取得部１５５Ａが、撮像装置１２を制御してワークＷの撮像を実施させ、撮像された画像情報を読み出して取得する（ステップＳ１１）。
この画像情報の取得としては、撮像装置１２により１回の撮像処理を実施させ、当該撮像された画像情報を取得してもよく、複数回の撮像処理を実施してもよい。パラメーター設定処理は、基準色に対応する基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）の他、複数のサンプルデータに基づいて、分類対象に対する中心値や分散を取得する。よって、１回の撮像処理により分類区分に対する複数のサンプルデータを取得する場合、分類区分の測定領域を予め設定し、その測定領域内に含まれる複数の画素に対する信号値を、複数のサンプルデータとする。また、複数回の撮像処理を行う場合では、分類区分に対応した所定画素に対して取得された複数の信号値を複数のサンプルデータとすることができる。
また、取得した画像に対して、ステップＳ２と同様、シェーディング補正を行ってもよい。

次に、信号取得部１５５Ｃは、撮像された画像情報の各画素のうちから、基準色を有する基準画素の信号値（基準信号値）を取得する（ステップＳ１２）。
例えば、工場の製造ライン等において、半導体チップ等の製造品（ワークＷ）の検査を実施する場合、ベルトコンベア等の移送手段によって撮影台２に搬送されたワークＷを撮像装置１２で撮像する。この場合、撮像装置１２の撮像範囲は、予め設定された範囲となり、画像情報の内の特定の画素を、基準画素として設定することができる。特定の画素位置としては、例えば、画像の外周縁近傍の背景画素（撮影台２に対応する画素やトレイ２１に対応する画素）等が例示できる。
また、上述したように、基準色として、着色されていない基材（ワークＷの基材）を設定することもできる。この場合、トレイ２１において、当該着色されていない基材の載置位置が予め設定されていれば、容易に基準画素を特定できる。

さらに、ユーザーの入力操作部１４の操作によって、基準画素が適宜選択されてもよい。この場合、表示制御部１５５Ｉがモニター１３に、撮像された画像情報を表示させる。複数回の撮像を行った場合は、各画素の信号値として代表値を使用してもよく、例えば初回に撮像された画像を代表画像として表示させてもよい。これにより、ユーザーはモニター１３に表示された画像に基づいて基準画素を選択することが可能となる。
信号取得部１５５Ｃは、上述のように設定された基準画素における基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）を取得する。複数回の撮像処理を実施して複数の画像情報が得られる場合では、各基準画素の信号値の代表値を、基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）とすることができる。代表値としては、例えば平均値、中央値、最頻値、二乗平均平方根等が例示できる。

また、信号取得部１５５Ｃは、更に、各分類区分に対応する画素位置を特定し、その信号値（サンプルデータ）を取得する（ステップＳ１３）。
上述のように、撮像装置１２による撮像範囲が一定である場合、色サンプルが着色されたワークＷの位置を予め設定された位置に載置することで、画像情報における各分類区分に対応する画素を特定することができる。また、ユーザーの入力操作部１４の操作によって、各分類区分に対応する画素が指定されてもよい。なお、上述したように、１回の画像情報に基づいて、複数のサンプルデータを取得する場合では、１つの分類区分に対応する領域を設定しておき、その領域内の各画素における信号値をサンプルデータとして取得する。また、複数回の撮像処理を実施する場合では、設定された画素に対する複数回の撮像による信号値（サンプルデータ）を取得すればよい。
そして、信号取得部１５５Ｃは、各分類区分に対する複数の信号値（サンプルデータ）の代表値を算出して色区分基準値（Ｒ_ｍ０，Ｇ_ｍ０，Ｂ_ｍ０）とする（ステップＳ１４）。代表値としては、例えば平均値、中央値、最頻値、二乗平均平方根等が例示できる。

この後、信号変換部１５５Ｄは、基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）に基づいて、式（４）を満たす回転行列Ｍ_ｒｏｔを算出する（ステップＳ１５）。ここで算出された回転行列Ｍ_ｒｏｔは、基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）とともに記憶部１５４に記憶され、上述したステップＳ４において使用される。

そして、信号変換部１５５Ｄは、ステップＳ４と同様に、回転行列Ｍ_ｒｏｔを用いて、各分類区分の複数のサンプルデータ及び、各色区分基準値をｕｖｗ座標系に変換し、さらに、球座標値に変換する（ステップＳ１６）。
色区分基準値（Ｒ_ｍ０，Ｇ_ｍ０，Ｂ_ｍ０）を球座標変換した球座標値は、初期色区分基準値（θ_ｍ０，φ_ｍ０，ｒ_ｍ０）となる。また、信号変換部１５５Ｄは、各サンプルデータを球座標に変換した際の各球座標値から、θ，φ，ｒに対するそれぞれの分散を算出して、初期パラメーター（σ_θｍ０，σ_φｍ０，σ_ｒｍ０）とする（ステップＳ１７）。

この後、表示制御部１５５Ｉは、各種パラメーター、つまり、基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）、初期色区分基準値（θ_ｍ０，φ_ｍ０，ｒ_ｍ０）、及び初期パラメーター（σ_θｍ０，σ_φｍ０，σ_ｒｍ０）をモニター１３に表示させる（ステップＳ１８）。この際、基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）とともに、基準色を表示し、さらに、初期色区分基準値（θ_ｍ０，φ_ｍ０，ｒ_ｍ０）及び初期パラメーター（σ_θｍ０，σ_φｍ０，σ_ｒｍ０）とともに、各分類区分に対応する色、及びその許容範囲をグラデーション等によって表示してもよい。

この後、パラメーター取得部１５５Ｅは、入力操作部１４の操作により、補正パラメーターを変更する旨の操作信号が入力されたか否かを判定する（ステップＳ１９）。この補正パラメーターとしては、色区分基準値や、各分類区分の許容範囲であるパラメーターが含まれる。
ステップＳ１９において、Ｙｅｓと判定された場合、入力された補正パラメーターに基づいて、初期色区分基準値（θ_ｍ０，φ_ｍ０，ｒ_ｍ０）及び初期パラメーター（σ_θｍ０，σ_φｍ０，σ_ｒｍ０）を修正し、色区分基準値（θ_ｍ，φ_ｍ，ｒ_ｍ）及びパラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）として記憶する（ステップＳ２０）。
一方、ステップＳ１９において、Ｎｏと判定された場合は、初期色区分基準値（θ_ｍ０，φ_ｍ０，ｒ_ｍ０）及び初期パラメーター（σ_θｍ０，σ_φｍ０，σ_ｒｍ０）を色区分基準値（θ_ｍ，φ_ｍ，ｒ_ｍ）及びパラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）として記憶する（ステップＳ２１）。

本実施形態では、上述したように、陰影等による明るさの変化に対する許容範囲を変更する場合は、色区分基準値ｒ_ｍやパラメーターσ_ｒｍを変更すればよい。また、色材の使用量による色度の変化に対する許容範囲を変更する場合は、色区分基準値φ_ｍやパラメーターσ_φｍを変更すればよい。さらに、色材の違いによる色度の変化に対する許容範囲を変更する場合は、色区分基準値θ_ｍやパラメーターσ_θｍを変更すればよい。すなわち、ステップＳ２０において、ユーザーは、例えば１つの要因に対するパラメーター変更を実施する際に、複数の項目を変更する必要がなく、目的とする項目に対する補正を容易に行うことができる。

［本実施形態の作用効果］
本実施形態では、画像情報取得部１５５Ａにより取得された画像情報の各画素の信号値（Ｒ，Ｇ，Ｂ）を、回転行列Ｍ_ｒｏｔを用いて、ｕｖｗ座標系の信号値（ｕ，ｖ，ｗ）に変換し、さらに球座標変換によって、球座標値（θ，φ，ｒ）に変換する。この際、信号変換部１５５Ｄは、基準色に対応する基準信号値（Ｒ_Ａ，Ｇ_Ａ，Ｂ_Ａ）をｕｖｗ座標系に変換した際に、（ｕ，ｖ，ｗ）＝（０，０、ｋ_ＷＡ）となる、つまり、変換された座標がｗ軸となる回転行列Ｍ_ｒｏｔを用いる。そして、指標算出部１５５Ｆは、この球座標値（θ，φ，ｒ）と、分類区分ｍに設定された色区分基準値（θ_ｍ，φ_ｍ，ｒ_ｍ）と、パラメーター取得部によって調整可能なパラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）とに基づいて、色を区分するための指標値Ｄ_ｍを算出する。
このような画像検査装置では、ダーク値（Ｒ_Ｄ，Ｇ_Ｄ，Ｂ_Ｄ）をｕｖｗ座標系に変換したダーク値（ｕ_Ｄ，ｖ_Ｄ，ｗ_Ｄ）を原点として、ダーク値（ｕ_Ｄ，ｖ_Ｄ，ｗ_Ｄ）から信号値（ｕ，ｖ，ｗ）に向かう方向とｗ軸との為す角により、基準色との色の違いが表される。この色の違いは、球座標変換によりθ及びφに変換される。したがって、色度の許容範囲を調整する場合では、ｒに対するパラメーターσ_ｒｍを変更する必要がなく、σ_θｍ又はσ_φｍのみを変更すればよい。また、明るさの許容範囲を変更する場合は、σ_θｍ又はσ_φｍを変更する必要がなく、σ_ｒｍのみを変更すればよい。このように、本実施形態では、ユーザーは、パラメーター設定を行う際に、複数のパラメーターを微調整しながら、最適値を模索する必要がなく、ばらつき要因（例えば明るさ、ワークＷの塗装の厚み、色材の種別等）に応じたパラメーターのみを調整すればよい。これにより、画像のセグメンテーションを実施するためのパラメーター調整を容易に実施できる。

本実施形態では、式（１）に基づいて、指標値Ｄ_ｍを算出する。このような指標値Ｄ_ｍでは、値が小さい程、画素の色が分類区分の色に近いことを示し、容易に画像のセグメンテーションを実施することが可能となる。また、球座標値のθ，φ，ｒのそれぞれに対応したパラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）が設定されることで、分類区分毎の分布の広がりを考慮した指標値を算出できる。

本実施形態では、信号取得部１５５Ｃは、画像情報における一部の画素に対する信号値を基準信号値として取得する。これにより、ユーザーが設定した色を基準色とすることができる。

本実施形態では、分類部１５５Ｇは、最小の指標値Ｄに対応する分類区分に画素を分類する。これにより、画像情報の各画素に対して、いずれかの分類区分が割り当てられることになり、画像のセグメンテーションを好適に実施することができる。

［変形例］
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

パラメーター設定処理のステップＳ１２において、画像情報から基準画素及び基準信号値を取得する例を示したが、これに限定されない。
例えば、色サンプルが着色されたワークＷの撮像とは別に、基準色を設定するための画像を撮像してもよい。また、ユーザーの入力操作によって、基準信号値が入力されてもよい。或いは、予め基準色が設定され、記憶部１５４に記憶されていてもよく、この場合では、回転行列Ｍ_ｒｏｔも既知の値となる。

画像情報取得部１５５Ａが、撮像装置１２により撮像され、記憶部１５４に記憶されている画像情報を読み出す例を示すがこれに限定されない。例えば、インターネット等を介して取得された画像情報を取得してもよい。
上記実施形態では、一例として、工場等の製造ラインにおいて、画像検査装置１が設けられる例を示したが、これに限定されるものではなく、例えば、プリンター等の印刷機器に本発明の画像検査装置が用いられてもよい。この場合、プリンターにより印刷されたカラーパッチ（パターン画像）を画像検査装置１により検査することで、印刷補正を好適に実施することができる。

上記実施形態では、画像検査処理と、パラメーター設定処理とが分離されている例を示したが、これに限定されず、画像検査処理の途中において、パラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）を変更可能としてもよい。例えば、ステップＳ７においてＮｏと判定された場合に、パラメーター（σ_θｍ，σ_φｍ，σ_ｒｍ）を変更可能としてもよい。

その他、本発明の実施の際の具体的な構造は、本発明の目的を達成できる範囲で他の構造等に適宜変更できる。

１…画像検査装置、２…撮影台、１１…光源部、１２…撮像装置、１３…モニター、１４…入力操作部、１５…制御装置、２１…トレイ、１５４…記憶部、１５５…演算回路部、１５５Ａ…画像情報取得部、１５５Ｂ…画像処理部、１５５Ｃ…信号取得部、１５５Ｄ…信号変換部、１５５Ｅ…パラメーター取得部、１５５Ｆ…指標算出部、１５５Ｇ…分類部、１５５Ｈ…検査部、１５５Ｉ…表示制御部、Ｗ…ワーク。

Claims (5)

1. 複数の画素を有し、それぞれの前記画素に対して信号値が記録された画像情報を取得する画像情報取得部と、
   基準色に対する前記信号値である基準信号値を取得する基準信号取得部と、
   前記画像情報の前記画素の前記信号値を、回転行列を用いてｕｖｗ座標系に変換し、さらに、変換されたｕｖｗ座標系の座標値を球座標変換して球座標値を取得する信号変換部と、
   色を区分する複数の分類区分毎に設定され、前記分類区分に属する色の分布を示すパラメーターを取得するパラメーター取得部と、
   球座標空間に設定された前記分類区分毎の色区分基準値と、前記パラメーターと、前記球座標値と、に基づいて、前記画素を分類する指標値を算出する指標算出部と、を備え、
   前記回転行列は、前記基準信号値をｕｖｗ座標系に変換した際の座標値がｗ軸上の座標値となる行列である
   ことを特徴とする画像検査装置。
2. 請求項１に記載の画像検査装置において、
   前記指標算出部は、前記球座標値を（θ，φ，ｒ）、前記色区分基準値を（θ_ｍ，φ_ｍ，ｒ_ｍ）、前記パラメーターを（σ_θｍ，σ_φｍ，σ_ｒｍ）として、指標値Ｄ_ｍを次式（１）により算出する
   

   

   
   ことを特徴とする画像検査装置。
3. 請求項１又は請求項２に記載の画像検査装置において、
   前記基準信号取得部は、前記画像情報取得部により取得された前記画像情報における所定の前記画素に対する前記信号値を前記基準信号値として取得する
   ことを特徴とする画像検査装置。
4. 請求項１から請求項３のいずれか１項に記載の画像検査装置において、
   前記指標値に基づいて前記画素の色を分類する分類部を備え、
   前記分類部は、前記指標値が最小となる前記分類区分に前記画素を分類する
   ことを特徴とする画像検査装置。
5. コンピューターにより画像を検査する画像検査方法であって、
   前記コンピューターは、
   複数の画素を有し、それぞれの前記画素に対して信号値が記録された画像情報を取得する画像情報取得ステップと、
   基準色に対する前記信号値である基準信号値を取得する基準信号取得ステップと、
   前記画像情報の前記画素の前記信号値を、回転行列を用いてｕｖｗ座標系に変換し、さらに、変換されたｕｖｗ座標系の座標値を球座標変換して球座標値を取得する信号変換ステップと、
   色を区分する複数の分類区分毎に設定され、前記分類区分に属する色の分布を示すパラメーターを取得するパラメーター取得ステップと、
   球座標空間に設定された前記分類区分毎の色区分基準値と、前記パラメーターと、前記球座標値と、に基づいて、前記画素を分類する指標値を算出する指標算出ステップと、を実施し、
   前記信号変換ステップにおいて用いられる前記回転行列は、前記基準信号値をｕｖｗ座標系に変換した際の座標値がｗ軸上の座標値となる行列である
   ことを特徴とする画像検査方法。

Images