(第1実施形態)
本実施形態に係る光学検査システム2について、図1から図8を参照して説明する。
図1は、本実施形態に係る光学検査システム2の構成の一例を示すブロック図である。図1に示すように、光学検査システム2は、光学検査装置4と、ディスプレイ6とを備える。
光学検査装置4は、光学装置12と、イメージセンサ(撮像部)14と、光源16と、ビームスプリッタ18と、処理装置20とを備える。
図2に示すように、光学装置12は、結像光学系(結像レンズ)32、及び、カラーフィルタ(波長選択部)34を備える。
結像光学系32は、1又は複数のレンズを組み合わせて形成される。結像光学系32は、単レンズ、組レンズ、屈折率勾配型レンズ、回折型レンズ、導光型レンズ、反射型ミラーなど、光を結像するものならば何でもよい。ここで光は、電磁波の一形態である。電磁波は、例えば、X線、紫外線、可視光、赤外線、遠赤外線、ミリ波、テラヘルツ波、マイクロ波などを含む。本実施形態では、光を可視光とし、例えば波長は400nmから760nmの領域にあるとする。
結像光学系32は、被検物からの光線を結像する。本実施形態では、カラーフィルタ34は、結像光学系32に対して距離fの焦点面に、結像光学系32の光軸に対して回転対称に配置される。結像光学系32の光軸Cは、カラーフィルタ34の光軸(中心軸)に一致する。ただし、カラーフィルタ34は必ずしも焦点面に置く必要はなく、結像光学系32内でもその外側でもよく、結像光学系32の前側でも後ろ側でも内側でもどこに配置してもよい。本実施形態のようにカラーフィルタ34を結像光学系32の焦点面に配置することにより、撮像画像の全面に渡って色と方向の関係を一定にできるという効果がある。
図3に示すように、カラーフィルタ34は、本実施形態では、中心側から径方向外方に向かって順に、第1の波長選択フィルタ(波長選択領域)42、第2の波長選択フィルタ(波長選択領域)44、及び、光線遮蔽部46を有する。第1の波長選択フィルタ42、第2の波長選択フィルタ44、及び、光線遮蔽部46は、同心状に形成される。ただし、波長選択領域はこれに限らず、どのような形状でもよい。つまり、カラーフィルタ34は、少なくとも2つの異なる波長選択領域を持てばよい。ここで、光線遮光部46は、可視光の波長範囲を遮蔽する波長選択領域として考える。
第1の波長選択フィルタ42は、円盤状に形成される。第1の波長選択フィルタ42は、結像光学系32の光軸C上に設けられる。第1の波長選択フィルタ42は、結像光学系32を通過した、被検物Sからの第1の波長の光線を通過させる。第1の波長は第1の波長範囲内とする。なお、第1の波長選択フィルタ42は、第1の波長範囲と異なる範囲の光線を透過させず、遮蔽する性質を有する。
第2の波長選択フィルタ44は、第1の波長選択フィルタ42の外周に円環状に形成される。第2の波長選択フィルタ44は、結像光学系32を通過した、被検物Sからの第1の波長とは異なる第2の波長の光線を通過させる。第2の波長選択フィルタ44の径方向の幅は、適宜に設定可能である。第2の波長は第2の波長範囲内とする。なお、第2の波長選択フィルタ44は、第2の波長範囲と異なる波長の光線を透過させず、遮蔽する性質を有する。
したがって、カラーフィルタ34の波長選択フィルタ42,44は、波長選択フィルタ42,44ごとにおいて、特定の波長(あるいは波長範囲;波長スペクトル)の光線を透過させ、特定の波長範囲から外れる波長の光線を遮蔽する性質を有する。なお、第1の波長及び第2の波長は、それぞれ適宜の範囲、つまり第1の波長範囲と第2の波長範囲のそれぞれ含まれることとなるが、波長同士が重ならないことが好適である。このため、本実施形態では、第1の波長範囲、及び、第2の波長範囲は、それぞれ独立している。
光線遮蔽部46は、第2の波長選択フィルタ44の外周に形成される。光線遮蔽部46は、例えば黒色の板で形成され、第2の波長選択フィルタ44を保持する。光線遮蔽部46は、結像光学系32に入射した、可視光範囲の全ての波長の光線を遮蔽する。光線遮蔽部46の径方向の幅は、適宜に設定可能である。図3中、光線遮蔽部46は、円環状である例を示すが、外縁が矩形状など、形状は何でもよく、第2の波長選択フィルタ44を保持することができればよい。
カラーフィルタ34の第1の波長選択フィルタ42の外周の半径をr1とし、第2の波長選択フィルタ44の外周の半径をr2とする。このとき、r2>r1である。ここで、第1の波長選択フィルタ42の半径r1内の領域をA1とする。第1の波長選択フィルタ42の外周と第2の波長選択フィルタ44の外周との間の領域をA2とする。第1の波長選択フィルタ42の半径r1、及び、第1の波長選択フィルタ42の外周と第2の波長選択フィルタ44の外周との間の距離であるr2-r1は、適宜に設定可能である。より具体的には、カラーフィルタ34の第1の波長選択フィルタ42の半径r1、第2の波長選択フィルタ44の半径r2は、変更し得る。このため、領域A1,A2の形状及び大きさは、変化し得る。
なお、一例として、カラーフィルタ34の半径r1が1.5mm程度であり、半径r2が12mm程度である。
イメージセンサ14は、結像光学系32及びカラーフィルタ34を通過した光の光路上に配置される。イメージセンサ14は、結像光学系32に対して距離L(>f)に結像面となる受光部(受光面)14aを有する。光学装置12及びイメージセンサ14は、いわゆるカメラ(撮影部)13を構成する。
イメージセンサ14としては、例えばCCDやCMOS等の撮像素子を用いることができる。イメージセンサ14は複数の画素を備える。イメージセンサ14は、各画素において少なくとも2つの互いに異なる波長を分光する複数の色チャンネルを有する。通常、イメージセンサ14は、各画素において、Rチャンネル、Gチャンネル、及び、Bチャンネルを備える。このため、イメージセンサ14は、カラー画像を取得できるとともに、3つの互いに異なる波長を分光可能である。
イメージセンサ14の各画素はそれぞれ一つの色を識別し、異なる画素によって異なる色を識別するものでもよい。その場合、異なる色に対応する少なくとも2つの画素を一つの組の画素と見做す。また、その組の画素を単純に画素と呼ぶ。
光源16は、被検物Sの表面の照明のために用いられる。光源16としては、例えばLEDが用いられ得る。被検物Sと結像光学系32との間には、ビームスプリッタ18が配置される。ビームスプリッタ18としては、例えばハーフミラーが用いられ得る。
光源16からの光は、ビームスプリッタ18に入射されると、被検物Sに向かって反射し、被検物Sの表面を照明する。被検物Sの表面からの光の一部は、ビームスプリッタ18を透過し、結像光学系32、カラーフィルタ34を通してイメージセンサ14に入射される。
本実施形態では、カラーフィルタ34は、説明の簡略化のため、例えば、可視光のうち、波長選択フィルタ42,44ごとに、ある波長範囲の光を透過させ、ある波長範囲から外れた波長を遮蔽、すなわち、透過を防止するものとする。
ここでは、第1の波長を青色(B)光とし、第2の波長を赤色(R)光とする。本実施形態では、便宜的に、国際照明委員会(CIE:Commission Internationale de I’Eclairage)により決められた、赤(R)光の波長を700nm、青(B)光の波長を435nmとする。
本実施形態では、第1の波長選択フィルタ42の領域A1は、可視光のうち、例えば青光(435nm)及びその近傍の第1の波長(例えば400nmから500nm)を有するB光を通し、それ以外の波長の光を遮断する。本実施形態では、第2の波長選択フィルタ44の領域A2は、可視光のうち、例えば赤光(700nm)及びその近傍の第2の波長(例えば600nm~700nm)を有するR光を通し、それ以外の波長の光を遮断する。なお、第1の波長選択フィルタ42の領域A1が通す第1の波長の範囲、第2の波長選択フィルタ44の領域A2が通す第2の波長の範囲は、本実施形態では重ならないものとすることが好適である。このため、第1の波長選択領域は、第2の波長及びその周囲の波長の光を通さず、遮蔽する。第2の波長選択領域は、第1の波長及びその周囲の波長の光を通さず、遮蔽する。
なお、国際照明委員会による緑(G)光の波長は、546nmであり、R光とB光との間の波長である。このため、R光及びB光の波長は、R光及びG光の波長を用いる場合、又は、G光及びB光の波長を用いる場合よりも重なり難い。
処理装置20として、例えば汎用のコンピュータが用いられる。処理装置20は、例えば、プロセッサ22と、記憶部24と、ROM(Read Only Memory)26と、RAM(Random Access Memory)28とを備える。
処理装置20は、有線又は無線で、イメージセンサ14と通信可能であってもよい。処理装置20は、例えばカメラ13に含まれていてもよい。
プロセッサ22は、イメージセンサ14及び記憶部24に接続されている。プロセッサ22、ROM26、RAM28は、例えばバスを介して各々接続されている。これら記憶部24、ROM26、RAM28は、プロセッサ22と相互に通信可能である。
なお、処理装置20は、光学検査装置4の外部にあってもよい。この場合、イメージセンサ14の出力は、光学検査装置4の外部へ出力されたり、クラウド上の記憶部へ記録されたりすればよい。つまり、被検物Sに係る情報の算出は、光学検査装置4の内部で行われてもよいし、外部で行われてもよい。
プロセッサ22は、例えば、Central Processing Unit(CPU)、GPU、Application Specific Integrated Circuit(ASIC)等の集積回路を含む。プロセッサ22は、専用回路として設けられている場合に限らず、コンピュータで実行されるプログラムとして設けられていてもよい。この場合、プログラムは、集積回路内の記憶領域、記憶部等に記録されている。
プロセッサ22は、ネットワークを介してデータを送受信するクラウドサービスにおけるサーバにあってもよい。
プロセッサ22は、イメージセンサ14で撮像した像データ(RGB像データIrgb、R像データIr、G像データIg、及び、B像データIb)に対する画像処理部としての機能を有する。プロセッサ22は、イメージセンサ14の出力に基づいて、被検物Sに係る情報を算出する。なお、イメージセンサ14で取得される像データは、少なくとも2つ以上の画素から出力される。
例えば記憶部24には、各種のプログラムが格納されている。プロセッサ22は、例えば記憶部24に記憶されている各種のプログラムをRAM28に書き込んで実行することにより、プログラムに沿う機能を発揮する。
各種のプログラムは、必ずしも記憶部24に記憶されている必要はなく、プロセッサ22は、各種のプログラムを、ネットワークを介してサーバ上で実行させることも可能である。
記憶部24は、例えばHDD、SSD、フラッシュメモリのような不揮発性メモリであるが、揮発性メモリをさらに有していてもよい。記憶部24は、例えばクラウドメモリを用いてもよい。記憶部24には、例えば、本実施形態に係る光学検査プログラム(アルゴリズム)24a、及び、カメラ13の設定(光軸Cに対するカラーフィルタ34の設定)に対応する互いに異なる複数の基準ベクトルデータ24bが記憶される。光学検査プログラム24aは、ROM26に記憶されていてもよい。
光学検査プログラム24aは、光学検査装置4に予めインストールされていてもよく、不揮発性の記憶媒体に記憶させて、又は、ネットワークを介して配布してもよい。光学検査プログラム24aは、例えば適宜のサーバなど、光学検査装置4の外部にあってもよい。
本実施形態では、光学検査プログラム24aは、イメージセンサ14の受光部14aの全部又は所定範囲内で取得される各画素の像データ(画素値)に基づいて、色ベクトルCn(nは次元を示す)を算出させ、例えば記憶部24に記憶される基準ベクトルデータ24bと比較させ、被検物Sの表面状態を算出させることをコンピュータに実行させる。
例えば記憶部24には、結像光学系32の光軸Cとカラーフィルタ34との関係が記憶されている。結像光学系32の光軸Cとカラーフィルタ34との関係は、例えば、カラーフィルタ34の第1の波長選択フィルタ42、第2の波長選択フィルタ44、光線遮蔽部46の透過波長、遮蔽波長、及び、配置を含む。なお、光学検査プログラム24aは、光学装置12及び/又はカメラ13の情報を取得するプログラムを含むことで、結像光学系32の光軸Cとカラーフィルタ34との関係を取得可能である。
なお、例えばプロセッサ22には、ディスプレイ6が接続されている。ディスプレイ6は、プロセッサ22の処理に基づく各種情報を表示する。ディスプレイ6は、例えば、イメージセンサ14で撮像した像を表示するとともに、後述する被検物Sの表面状態の判定結果を表示する。
なお、被検物Sの表面状態は、被検物Sの表面全体又は所定範囲における面の平面状態、被検査領域のキズや粗面等、処理装置20に検出させ、表面状態を判断させたい被検出部(異常部)S2の有無、表面粗さ(ザラツキ感)/光沢感(第2実施形態参照)、その他、種々の状態を含む。
次に、本実施形態に係る光学検査システム2の動作について説明する。
被検物Sの表面を検査する場合、処理装置20のプロセッサ22は、光源16からの照明光で被検物Sの表面を照明した状態で、カメラ13で、被検物Sの表面を撮像させる。
結像光学系32は、物点を像点に結像する。被検物Sの表面の標準表面S1に第1の物点O1を取り、被検出部S2に第2の物点O2を取る。第1の物点O1に入射された光は、第1の反射光として反射される。第2の物点O2に入射された光は、第2の反射光として反射される。第1の物点O1からの光は、結像光学系32によって第1の像点に移される。第2の物点O2からの光は、結像光学系32によって、第2の像点に移される。第1の像点および第2の像点はイメージセンサ14上にあるとする。
第1の物点O1は鏡面状の標準表面S1にあるので、光はスペキュラー成分(正反射成分)が多くなる。つまり、第1の物点O1からの光の配光分布は、図4に示すように狭い角度分布になりやすい。第2の物点O2は鏡面でない例えば粗面上にあるので、光は拡散成分が多くなる。つまり、第2の物点O2からの光の配光分布は、図6に示すように、広い角度分布になりやすい。
図2に示すように、例えば、光源16からの照明光は、ビームスプリッタ18で反射し、被検物Sの表面を照明する。被検物Sの表面のうち、被検物Sのある物点Oで正反射した光線(スペキュラー成分)L11、及び、適宜の角度にそれぞれ散乱した光線L21,L31は、結像光学系32によって屈折され、カラーフィルタ34に入射される。
図3に示す本実施形態に係るカメラ13のカラーフィルタ34の第1の波長選択フィルタ42の領域A1は、被検物SからのB光を通過させるが、R光及びG光を遮蔽する。結像光学系32の光軸C上の領域A1を通るB光は、被検物Sの表面の正反射光成分である。第2の波長選択フィルタ44の領域A2は、被検物SからのR光を通過させるが、G光及びB光を遮蔽する。結像光学系32の光軸Cから外れた領域A2を通るR光は、被検物Sの表面の散乱光成分である。なお、光線遮蔽部46の領域A3に入射された光は遮蔽される。
本実施形態に係る光学装置12では、被検物Sの任意の物点Oから射出された光線のうち、結像光学系32及びカラーフィルタ34に入射したとき、主光線が光軸Cに平行である青(B)光は、青色の光線として分離される。つまり、本実施形態に係る光学装置12は、青色の光線について、テレセントリック性を有するテレセントリック光学系である。一方で、本実施形態に係る光学装置12は、赤(R)光について、テレセントリック性を有していない非テレセントリック光学系である。
このため、B光としてイメージセンサ14に入射され、イメージセンサ14でB像データ(第1の像データ)Ibとして撮像されるのは、主として正反射成分である。なお、正反射成分は、完全に光軸Cに平行な成分だけでなく、適宜のずれは許容される。本実施形態では、正反射成分は、光軸Cに沿う方向を0としたときに、図2に示す0≦θbの範囲とする。なお、角度θbは、適宜に設定し得る。この角度θbは、結像光学系32とカラーフィルタ34との距離、カラーフィルタ34の第1の波長選択フィルタ42の領域A1の半径r1などに依存する。
カメラ13のカラーフィルタ34の第2の波長選択フィルタ44の領域A2は、光軸Cに対して第1の散乱角度θr(θb≦θg<θs)のR光は通過させるが、正反射光成分のB光、及び、別の第2の散乱角度θs(θs≦θ)の光は遮蔽する。このため、R光としてイメージセンサ14に入射され、イメージセンサ14でR像データ(第2の像データ)Irとして撮像されるのは、第1の散乱角度θrの成分だけである。角度θrは、結像光学系32とカラーフィルタ34との距離、カラーフィルタ34の第2の波長選択フィルタ44の領域A2の大きさなどに依存する。
角度θsは、結像光学系32とカラーフィルタ34との距離、カラーフィルタ34の光線遮蔽部46の領域A3の大きさなどに依存する。
このため、イメージセンサ14で撮像されるRGB像データIrgb、R像データIr、(G像データIg、)及び、B像データIbには、被検物Sの表面からの散乱角度(正反射光を含む)に応じて、色が付けられる。このため、得られるRGB像データIrgbの色は、被検物Sの表面自体の色に依存するのでなく、カラーフィルタ34の設定により選択的に通す波長に依存する。このため、本実施形態に係るカメラ13で取得するRGB像データIrgbは、カラーフィルタ34を適宜に設定することにより、同じ被検物Sの表面の像であっても、カラーフィルタ34を用いない通常のカメラの像の色とは異なると考えてよい。
本実施形態では、R光及びB光はイメージセンサ14の受光部14aに入射されるが、G光はカラーフィルタ34で遮蔽され、イメージセンサ14の受光部14aに入射されない。このため、受光部14aの各画素において、Rチャンネル及びBチャンネルには適宜の画素値(例えば0から255の256階調)で光が受光されるが、Gチャンネルには、光が受光されない。
ここで、R光、G光及びB光のそれぞれの画素値を出力とする3次元(直交)座標系を色座標系(色空間)とする。このうち、本実施形態では、カラーフィルタ34により、Gチャンネルには光が受光されないように設定されている。したがって、G光の出力は無視できる。このため、本実施形態では、R光及びB光のそれぞれの画素値を出力とする2次元(直交)座標系を色座標系とする。
図4は、結像光学系32の図示を省略するカメラ13と、被検物Sの表面との位置関係を示す。図4に示す被検物Sの表面は、法線が光軸Cに平行で、例えば鏡面状でキズがない平面(以下、標準表面S1と称する)とする。
カメラ13のカラーフィルタ34を通してイメージセンサ14に入射される光のうち、標準表面S1からの光線は、カラーフィルタ34の光軸C上(領域A1上)を通るB光によるものである。このため、イメージセンサ14は、B像データIbにおいて、標準表面S1からの正反射光を青色の像として得る。図4に示す被検物Sの標準表面S1のB像データIbは、全て青色の像として得られる。
標準表面S1に相当する位置からの光は、イメージセンサ14には、R光として実質的に入射しないか、入射したとしても画素値が無視できるほどに強度が小さい。したがって、R像データIrのうち、標準表面S1の像は、黒色となる。
また、本実施形態では、カラーフィルタ34を通してイメージセンサ14に入射される光のうち、被検物Sの表面からのG光は、入射しないか、入射したとしても画素値が無視できるほどに強度が小さい。したがって、G像データIgは、全体が黒色となる。
したがって、本実施形態に係る光学検査装置4で得られるRGB像データIrgbは、カラーフィルタ34に基づく光線の方向情報に応じた色が付いている。このRGB像データIrgbを各色チャンネルに分離したR像データIr、G像データIg、及び、B像データIbは、それぞれ被検物Sの表面情報(凹凸情報)に基づく画像となっている。このように、本実施形態に係る光学検査装置4は、イメージセンサ14で撮像した像により、被検物Sの構造(凹凸)情報を取得する。
図5には、横軸にR光の画素値IRを取り、縦軸にB光の画素値IBを取る2次元の色座標系を設定する。処理装置20は、被検物Sの表面をカメラ13でイメージングさせ、処理装置20は、イメージセンサ14の受光部14aの全部又は所定の範囲の各画素で取得したR光及びB光の画素値IR,IBを図5に示す色座標系のグラフにプロットする。
例えば、色座標系のグラフでは、図5に符号C2で示すように、ベクトル表示される。これを、本実施形態では、色ベクトルCn(nは次元数)と称する。
本実施形態では、イメージセンサ14の受光部14aの各画素は、例えばR(赤)、G(緑)、B(青)の3つの異なる色チャンネルを備える。カラーフィルタ34の構造により、イメージセンサ14の受光部14aでのG光の受光がない。このため、色ベクトルCnは、R光及びB光の2次元で、C2と示すことができる。
色ベクトルC2は、それぞれのRチャンネルの画素値IR及びBチャンネルの画素値IBを構成要素にするベクトルである。つまり、色ベクトルC2は、
C2=(IR,IB)
と表すことができる。
各物点O1,O2に対応する色ベクトルC2=(IR、IB)は処理装置20で算出される。
図4に示す被検物Sの標準表面S1の像は、B像データIbが青色の像として得られるが、R像データIrは、黒色の像となる。すなわち、第1の物点O1に対応する色ベクトルC2は、青強度成分(IB)が大きい。このため、図5に示す色ベクトルC2は、原点から縦軸IBに沿って延びる。
なお、各画素における画素値IR,IBの大きさは、主として照明光の強度や、カメラと被検物Sの表面との距離等に依存する。また、被検物Sの表面の色とカラーフィルタ34との関係等にも依存する。
図6は、結像光学系32の図示を省略するカメラ13と、被検物Sの表面との位置関係を示す。図6に示す被検物Sの表面は、標準表面S1の一部に異物又はキズ等の被検出部(欠陥)S2が存在している。ここで被検出部S2は、検出されるべき欠陥のことを意味する。すなわち、被検出部S2は欠陥である。
カメラ13のカラーフィルタ34を通してイメージセンサ14に入射される光のうち、標準表面S1からの光線は、カラーフィルタ34の光軸C上(領域A1上)を通るB光によるものである。このため、イメージセンサ14は、B像データIbにおいて、標準表面S1からの正反射光を青色の像として得る。被検出部S2に相当する位置からの光は、イメージセンサ14に、B光およびR光として入射する。したがって、B像データIbのうち、被検物Sの標準表面S1の像は青色で、被検出部S2の像は、青色および赤色となる。
被検出部S2の大半は、例えば標準表面S1に平行な領域ではない。あるいは、被検出部S2のサイズは可視光の波長に近いか、それよりも小さいため、光の回折現象に起因する散乱を起こす。例えば、光の波長に近い凹凸を持つ粗面は、その光を散乱することが知られている。カラーフィルタ34を通してイメージセンサ14に入射される光のうち、被検出部S2からの光線は、大半が散乱光として、結像光学系32に入射される。このため、被検出部S2からの光線は、カラーフィルタ34の領域A1および外側の領域A2を通してイメージセンサ14に入射される。すなわち、カラーフィルタ34を通してイメージセンサ14に入射される光のうち、被検出部S2からの光線の一部は、カラーフィルタ34の光軸Cからずれた領域A2上を通るR光によるものである。このため、イメージセンサ14は、R像データIrにおいて、被検出部S2からの散乱光を赤色の像として得る。標準表面S1に相当する位置からの光は、イメージセンサ14には、R光として入射しない。したがって、R像データIrのうち、標準表面S1の像は、黒色となり、被検出部S2の像は赤色となる。一方、B像データIbのうち、標準表面S1の像は青色となり、被検出部S2の像も青色となる。
また、本実施形態では、カラーフィルタ34を通してイメージセンサ14に入射される光のうち、被検物Sの表面からの、G光は、入射しない。したがって、G像データIgは、全体が黒色となる。
したがって、本実施形態に係る光学検査装置4で得られるRGB像データIrgbは、カラーフィルタ34に基づく光線の方向情報に応じた色が付いている。このRGB像データIrgbを各色チャンネルに分離したR像データIr、G像データIg、及び、B像データIbは、それぞれ被検物Sの表面情報(凹凸情報)に基づく画像となっている。このように、本実施形態に係る光学検査装置4は、イメージセンサ14で撮像した像により、被検物Sの構造(凹凸)情報を取得する。
図7には、図5と同様に、横軸にR光の画素値IRを取り、縦軸にB光の画素値IBを取る2次元の色座標系を設定する。処理装置20は、被検物Sの表面をカメラ13でイメージングさせ、処理装置20は、イメージセンサ14の受光部14aの全部又は所定の範囲の各画素で取得したR光及びB光の画素値IR,IBを図7に示す色座標系のグラフにプロットする。例えば、色座標系のグラフでは、図7に符号C2で示すように、ベクトル表示される。第2の物点O2に対応する色ベクトルC2は、青強度成分(IB)と赤強度成分(IR)の両方の成分を有する。
このため、被検物Sの表面状態に応じて、図5に示す色ベクトルC2の方向及び図7に示す色ベクトルC2の方向が変化する。これより、色ベクトルC2は、微小欠陥なし/ありで大きく方向が異なる。つまり、色ベクトルC2の方向により、各物点の微小欠陥のあり/なしが識別できる。
例えば、図4に示す被検物Sの標準表面S1が求められる製品状態(表面状態)であるとする。そして、図4に示す被検物Sの標準表面S1をイメージングし、処理装置20が図4に示す被検物Sの標準表面S1に対応する色ベクトルC2を出力したときに、この色ベクトルC2を基準ベクトルとして設定する。この基準ベクトルは、例えば記憶部24に、カラーフィルタ34の構造、すなわち、カメラ13の構造と対応して、基準ベクトルデータ24bの1つとして記憶される。
そして、図6に示す、標準表面S1及び被検出部S2を含む被検物Sの表面をイメージングし、処理装置20が色ベクトルC2を出力したときに、処理装置20が記憶部24に記憶させた基準ベクトルと色ベクトルC2との方向を比較する。処理装置20は、基準ベクトルと色ベクトルC2との方向が、一致しているか、相違しているかに基づいて、被検物Sの表面が求められる製品状態の範囲内か、外れているか、判断(出力)することができる。
なお、処理装置20は、図5に示す基準ベクトルの方向を1つの方向に決めるのではなく、基準ベクトルの方向のズレを許容する閾値(許容範囲)を設けてもよい。閾値は、基準ベクトルとともに例えば記憶部24の基準ベクトルデータ24bの一部として記憶される。このとき、処理装置20は、記憶部24に記憶された基準ベクトルとともに閾値を参照し、基準ベクトルに対する色ベクトルC2の方向が、閾値の範囲内か、閾値の範囲外かに基づいて、被検物Sの表面が求められる製品状態の範囲内か、外れているか、判断(出力)することができる。
このような、処理装置20による、被検物Sの表面状態を検査する一連の処理は、例えば記憶部24に記憶されたプログラム24aを用いて、図8に示すフローチャートにしたがって実行される。
予め、閾値を含む基準ベクトルデータ24bは、例えば記憶部24に記憶されている。また、カラーフィルタ34とイメージセンサ14で受光される波長との関係、すなわち、カメラ13の構造は、例えば記憶部24に記憶されている。なお、カメラ13は、自身の構造データを保持し、処理装置20との接続時に、処理装置20のプロセッサ22との通信により、プロセッサ22にカメラ13の構造を認識させるようにしてもよい。この場合、カメラ13の構造は、必ずしも記憶部24に記憶させておく必要はない。閾値は、設定により適宜に変更可能である。
プロセッサ22は、被検物Sの表面状態を検査するとき、カラーフィルタ34とイメージセンサ14で受光される波長との関係を取得するとともに、カメラ13のイメージセンサ14で画像を取得する(ステップST1)。このとき、プロセッサ22は、カメラ13のイメージセンサ14で取得した画像をディスプレイ6に表示させる。
被検物Sの表面が例えば図6に示す状態であるとする。図6に示す例の被検物Sの表面は、大半が正反射光として、カラーフィルタ34を通してイメージセンサ14に入射される標準表面S1であるが、一部に被検出部S2が形成されている。
プロセッサ22は、イメージセンサ14の受光部14aの全範囲又は所定範囲の各画素の色チャンネル(ここではRチャンネル及びBチャンネルの2つ)の出力階調(画素値)に基づいて、各画素ごとの色ベクトルを算出する(ステップST2)。なお、処理装置20は、カラーフィルタ34と、イメージセンサ14で得られる像の色との関係の取得に応じて、色座標系の最大次元を決定する。本実施形態では、イメージセンサ14で取得可能な色がR、G、Bの3色であるが、カラーフィルタ34の透過波長がR、Bの2つであるから、色座標系は、2次元となる。
上述したように、結像光学系32は、物点を像点に結像する。プロセッサ22は、各画素において、色ベクトルC2を算出する(ステップST3)。すなわち、プロセッサ22は、色ベクトルC2の方向(角度又は傾き)を算出する。
プロセッサ22は、各画素から取得し、算出した色ベクトルC2と、基準ベクトルデータ24bの基準ベクトルとをそれぞれ比較する(ステップST4)。すなわち、色ベクトルの方向(角度又は傾き)を、基準ベクトルデータ24bから、その色ベクトルC2と同じ、又は、最も近い基準ベクトルの方向(角度又は傾き)と照合する。
プロセッサ22は、基準ベクトルの閾値内か否かに基づいて、被検物Sの表面状態を検査判定結果として出力する(ステップST5)。このとき、プロセッサ22は、例えばディスプレイ6に判定結果を表示させる。図5に示すように、各画素からそれぞれ算出した色ベクトルの方向が、例えば閾値を考慮して、図5に示す基準ベクトルと一致するとする。このとき、処理装置20は、例えばディスプレイ6に判定結果として、被検物Sの表面が正常であることを表示させる。図7に示すように、各画素からそれぞれ算出した色ベクトルの方向の一部が、例えば閾値を考慮して、図5に示す基準ベクトルからずれているとする。このとき、処理装置20は、例えばディスプレイ6に判定結果として、被検出部S2が存在することを表示させる。なお、処理装置20は、判定結果を音によって周囲に認識させてもよい。その他、処理装置20での被検物Sの検査判定信号は、被検出部S2を有する被検物Sを、被検出部S2がないと判定された被検物Sのラインと分離させるように作動させる機器の作動トリガー信号として用いることも好適である。
以上のようにして、処理装置20は、被検物Sの表面状態(欠陥なし/あり)を判定する。
光学検査プログラム24aは、ステップST1-ST5を自動的に行ってもよいし、例えばステップST1と、ステップST2との間で、ユーザが確認を行ってもよい。ステップST1でユーザが確認を行う場合、像のうち、検査範囲を適宜に設定することができる。そして、ステップST2-ST5において、設定した検査範囲における被検物Sの表面状態を判定することができる。検査範囲の設定は、所定の状態を維持するようにしてもよい。
本実施形態では、ステップST4において、各画素の出力からプロセッサ22が算出した色ベクトルC2と、基準ベクトルデータ24bの基準ベクトルとを比較する例を説明した。しかし、例えば、照明光の強度や被検知Sからの反射強度があらかじめ既知である場合はB光のみの強度を比較することでも欠陥を検知できる。あるいは、例えばカラーフィルタ34がB光しか透過させず、図5に示すように、イメージセンサ14でB光が受光され、G光及びR光が受光されない場合、イメージセンサ14で取得される各画素のBチャンネルの画素値の出力は得られるが、Gチャンネル及びBチャンネルの画素値の出力は得られないか、Bチャンネルの画素値の出力に比べて無視できるほど小さい。この場合、色ベクトルの方向は、1次元に沿う方向と同視できる。したがって、色ベクトルの方向は、1次元に沿う方向と同視できる場合、色ベクトルの方向を基準ベクトルの方向と比較することは必ずしも必要ではない。このため、処理装置20は、色座標系における色ベクトルの方向に基づいて、必ずしも基準ベクトルの方向と比較しなくても、被検物Sの表面状態を判別することができる。
なお、本実施形態では、各画素からそれぞれ色ベクトルC2を算出し、各色ベクトルC2を基準ベクトルと比較する例について説明した。例えば、プロセッサ22は画素値の平均を算出し、1つの像から1つの色ベクトルC2を算出するようにしてもよい。そして、プロセッサ22は、画素値の平均を算出して算出した色ベクトルC2と、基準ベクトルとを比較してもよい。
ところで、本実施形態に係る光学検査装置4のイメージセンサ14の各画素で取得されるR像データIr、G像データIg、及び、B像データIbの光線強度は、被検物S上の物点からの反射光の光量が一定と考えたときに相補的に変化する。すなわち、カラーフィルタ34を通る、被検物Sからの反射光線のうち、ある画像におけるR光の光線強度が強くなると、当該画素においてB光の光線強度(及びG光の光線強度)は弱まる。また、別のある画素においてB光の光線強度が強くなると、当該画像においてR光の光線強度(及びG光の光線強度)は弱まる。これは、色と反射光の方向が対応づいているからであり、例えばR光が多くなればそれに相当する方向の反射光成分が多いことを意味し、同時にB光やG光に相当する方向の反射光成分が少なくなることを意味する。
これに対し、本実施形態で説明するカラーフィルタ34を通さない、通常のカメラで撮像した被検物SのR像データ、G像データ、及び、B像データでは、ある画素におけるR光の光線強度、G像の光線強度、B光の光線強度は、被検物の色によって様々に変化するだけであり、上述した相補的な関係はない。これは、色と反射光の方向が対応づいていないためである。
また、例えばキズが存在していない標準表面S1を通常のカメラで撮像したとしても、本実施形態で説明した色ベクトルは、仮に被検物Sの標準表面が青色のみを反射する場合以外は、B光を示す軸に平行な方向に算出されない。
これに対し、本実施形態で説明した色ベクトルC2は、被検物Sの表面が青色のみを反射するか否かにかかわらず、表面状態が標準表面S1である場合は、B光を示す縦軸の方向に算出される。このため、本実施形態に係る、標準表面S1の色ベクトルC2の方向は、被検物Sの色に依存しない。また、被検物Sの表面がわずかでも青色以外を反射するのであれば、つまり、赤色が反射されるのであれば、上記で述べたように、被検知Sの色に左右されずに色ベクトルC2の方向を用いて欠陥(被検出部(欠陥)S2)を検知できる。
したがって、本実施形態に係る光学検査装置4により、被検物Sの色によらず、被検物Sの表面状態を良好に検査することができる。
本実施形態によれば、被検物Sの表面の光学検査方法は、被検物Sの表面からの互いに異なる複数の波長を通過させるカラーフィルタ(波長選択部)34を用いた光学的イメージングによって、イメージセンサ14の各画素の複数の色チャンネルの数と同じかそれよりも少ないn次元(nは1以上の自然数)の色座標系で波長に対応する色の色ベクトルを取得することと、その色座標系における色ベクトルの方向に基づいて、被検物Sの表面状態を判別することを含む。
本実施形態によれば、被検物Sの表面の光学検査方法は、色座標系における色ベクトルの方向と、色との対応付けを行うことを含むことが好適である。
本実施形態によれば、互いに異なる複数の波長は、それぞれ被検物Sからの光の方向が異なる。
本実施形態によれば、被検物Sの表面の光学検査方法において、被検物Sの表面状態を判別することは、各画素において、色ベクトルと被検物Sの表面状態の判別の基準となる基準ベクトルとの方向の近さを算出することを含むことが好適である。
本実施形態によれば、被検物Sの表面の光学検査プログラム24aは、被検物Sの表面からの互いに異なる複数の波長を通過させるカラーフィルタ(波長選択部)34を用いた光学的イメージングによって、イメージセンサ14の各画素の複数の色チャンネルの数と同じかそれよりも少ないn次元(nは1以上の自然数)の色座標系で波長に対応する色の色ベクトルを取得させることと、色座標系における色ベクトルの方向に基づいて、被検物Sの表面状態を判別させることとをコンピュータに実行させる。
このように、本実施形態によれば、被検物Sの表面からの互いに異なる複数の波長を通過させるカラーフィルタ34を用いた光学的イメージングを行うことで算出される色座標系の色ベクトルの方向に基づいて、被検物の表面状態を判別することができる。このときの色ベクトルの方向は、被検物Sの色ではなく、凹凸情報に依存する。このため、本実施形態に係る光学検査方法、光学検査プログラム24a、処理装置20、及び、光学検査装置4は、それぞれ、被検物Sの表面状態を良好に検査することができる。
また、本実施形態によれば、所定の色座標系の基準ベクトルを設定し、カメラ13で撮像した像から所定の色座標系の色ベクトルを算出し、その算出した色ベクトルと基準ベクトルとの方向を比較することで、被検物Sの表面状態を検査することができる。
本実施形態では、カラーフィルタ34で、被検物Sの表面からのG光を遮蔽するように設定した。カラーフィルタ34にG光を通す領域を設けることで、イメージセンサ14の受光部14aの各画素において、G光を受光可能である。この場合、色座標系は3次元となる。このとき、基準ベクトルも3次元となる。本実施形態では、R光、G光及びB光の3つの色の光を取得可能なイメージセンサ14を用いるため、色座標系は、最大で3次元である。イメージセンサ14が例えばN色(Nは4以上の自然数)を分光して取得可能なハイパースペクトルカメラ等を用いる場合、色座標系は最大でN次元となる。すなわち、カメラ13のカラーフィルタ34に応じた、N次元の基準ベクトルを設定することにより、被検物Sの表面が求められる製品状態の範囲内か、処理装置20で判定することができる。
なお、一般に、色ベクトルは、N個の独立な色チャンネルに対して定義できる。つまり、N個の独立な色チャンネルの各画素値をI1,I2,…,INとしたとき、N次元の色ベクトルを、
CN=(I1,I2,…,IN)
と表すことができる。
色座標系の色ベクトルC2の算出時間は、所定範囲内の画素数や、例えば処理装置20のプロセッサ22の処理能力等に応じて変化する。算出時間が長時間化すると、被検物Sの表面状態の検査結果の出力が遅くなる。このため、色座標系として、最大でN次元の基準ベクトルを設定可能であっても、N次元よりも少ないn次元(2≦n≦N(n,Nは自然数)としてもよい。
このように、本実施形態によれば、被検物Sの表面状態を良好に検査可能な光学検査方法、光学検査プログラム24a、処理装置20、及び、光学検査装置4を提供することができる。
本実施形態では、カラーフィルタ34は、結像光学系32上の第1の波長選択フィルタ42として青(B)光を通し、赤(R)光を遮蔽するものとし、第2の波長選択フィルタ44として赤(R)光を通し、青(B)光を遮蔽するものとして説明した。カラーフィルタ34は、例えば、第1の波長選択フィルタ42として赤(R)光を通し、青(B)光を遮蔽するものとし、第2の波長選択フィルタ44として青(B)光を通し、赤(R)光を遮蔽するものとしてもよい。
また、本実施形態では、カラーフィルタ34は、第1の波長選択フィルタ42、第2の波長選択フィルタ44を用いる例について説明した。カラーフィルタ34は、第1の波長選択フィルタ42、第2の波長選択フィルタ44に代えて、例えば内側から外側に向かって、透過する波長の光が連続的に変化するように構成されていてもよい。すなわち、カラーフィルタ34は、内側から外側に円環状に共通の中心軸に対して所定半径の円環状に、ある波長の光を通すが、その所定半径の位置ではある波長と異なる波長の光を通さないように構成されていてもよい。例えば、カラーフィルタ34の中心に青(B)光を通し、径方向外方に向かうにつれてカラーフィルタ34を通す波長を長くし、カラーフィルタ34の最外縁(光線遮蔽部46の内側)で緑(G)光を通すように構成されていてもよい。
本実施形態では、イメージセンサ14は、RGB像を取得するものとして説明したが、例えばカラーフィルタ34の透過波長に対応する波長の色チャンネルを取得するようにしてもよい。すなわち、イメージセンサ14の受光部14aで受光する光の波長は、R光、G光、及びB光から外れた適宜の波長が選択される。
(変形例)
図3に示すカラーフィルタ34は、例えば、光軸C上の符号42で示す位置を遮蔽し、符号44で示す位置を第1の波長の光として例えば赤(R)光を通す第1の波長選択領域とし、符号46で示す位置を第2の波長の光として例えば青(B)光を通す第2の波長選択領域としてもよい。
この場合、イメージセンサ14は、第1の波長選択領域を通過した第1の波長の第1の散乱角の散乱光と、第2の波長選択領域を通過した第2の波長の第2の散乱角の散乱光とによって、被検物Sの表面の像が取得される。この場合、イメージセンサ14で取得される像に基づいて処理装置20は、色ベクトルを、正反射光成分でなく、散乱光に基づいて算出する。基準ベクトルは、このようなカラーフィルタ34に基づいて設定される。
したがって、被検物Sの表面の像は、カラーフィルタ(波長選択部)34により、被検物Sの表面から光線のうちの正反射光又は散乱光の光線のうち第1の波長、及び、被検物Sの表面からの散乱光の光線のうち、第1の波長と異なる第2の波長を、イメージセンサ14を用いた光学的イメージングによって取得することで得られ得る。そして、色ベクトルは、イメージセンサ14の各画素の複数の色チャンネルの数と同じかそれよりも少ない少なくとも2次元の色座標系での、第1の波長の画素値及び第2の波長の画素値から算出される。被検物Sの表面状態の検査は、このような色ベクトルを用いて行われ得る。
(第2実施形態)
第2実施形態について、図9から図11を用いて説明する。本実施形態は第1実施形態の変形例であって、第1実施形態で説明した部材と同一の部材又は同一の機能を有する部材には極力同一の符号を付し、詳しい説明を省略する。
本実施形態に係る光学検査システム2は、第1実施形態で説明した光学検査システム2をそのまま用いることができる。
図9には、マット(艶消し)状態の表面を有する紙PMと、グロス(光沢)状態の表面を有する紙PGとを並べ、通常のカメラ(RGBカメラ)を用いて撮像した、RGB像データを示す。マット(艶消し)状態の表面を有する紙PM、及び、グロス(光沢)状態の表面を有する紙PGは、それぞれ、一般に、写真用紙などとして用いられる。
図10には、図9に示す紙PM,PGを、本実施形態に係る光学検査装置4のカメラ13を用いて撮影した、RGB像データを示す。
例えば図9の左側のマット(艶消し)状態の表面を有する紙PMの表面、及び、右側のグロス(光沢)状態の表面を有する紙PGの表面のそれぞれがあるメーカの製品として求めるものであるとする。
図11には、横軸にR光の画素値IRを取り、縦軸にB光の画素値IBを取る色座標系を設定する。図11には、処理装置20のプロセッサ22で算出した、所望のマット(艶消し)状態の表面を有する紙PMの表面の像の色ベクトルC2M、及び、所望のグロス(光沢)状態の表面を有する紙PGの表面の像の色ベクトルC2Gを示す。処理装置20のプロセッサ22は、所望のマット(艶消し)状態の表面を有する紙PMの表面の像の色ベクトルC2Mを第1の基準ベクトルとし、所望のグロス(光沢)状態の表面を有する紙PGの表面の像の色ベクトルC2Gを第2の基準ベクトルとし、これらを基準ベクトルデータ24bとして、例えば記憶部24に記憶させる。すなわち、本実施形態の基準ベクトルデータ24bは、2つの基準ベクトルが記憶されている。
なお、被検物Sの表面がグロス状態の表面を有する紙PGの像の色ベクトルC2G(第2の基準ベクトル)は、マット状態の表面を有する紙PMの像の色ベクトルC2M(第1の基準ベクトル)に比べて、傾き(角度)が大きい。これは、被検物Sの紙面がグロス状態の表面を有することにより、被検物Sの表面から、マット状態の表面に比べて、正反射光成分が多くイメージセンサ14に入射されるためであると推定される。
このような、処理装置20による、被検物Sの表面状態を検査する一連の処理は、例えば記憶部24に記憶されたプログラム24aを用いて、図8に示すフローチャートにしたがって実行される。また、第1の基準ベクトルの方向のズレに関する閾値(許容範囲)、第2の基準ベクトルの方向のズレに関する閾値(許容範囲)がそれぞれ設定され、例えば記憶部24に記憶されている。ここでは、被検物Sの表面状態が、マット状態の表面であるとする。
プロセッサ22は、被検物Sの表面状態を検査するとき、カラーフィルタ34とイメージセンサ14で受光される波長との関係を取得するとともに、カメラ13のイメージセンサ14で画像を取得する(ステップST1)。このとき、プロセッサ22は、カメラ13のイメージセンサ14で取得した画像(例えば図10の左側図参照)をディスプレイ6に表示させる。
プロセッサ22は、イメージセンサ14の受光部14aの全範囲又は所定範囲の各画素の色チャンネル(ここではRチャンネル及びBチャンネルの2つ)の出力階調(画素値)IR,IBに基づいて、各画素ごとに色ベクトルを算出する(ステップST2)。図11に示すように、無数の点の集合体Mが、線状に示されている。
プロセッサ22は、無数の点の集合体Mに基づいて、平均の色ベクトルC2Mを算出する(ステップST3)。すなわち、プロセッサ22は、色ベクトルC2Mの、角度又は傾きを算出する。
プロセッサ22は、算出した色ベクトルC2Mと、基準ベクトルデータ24bの第1の基準ベクトル、及び、第2の基準ベクトルとを比較する(ステップST4)。すなわち、色ベクトルの方向(角度又は傾き)を、複数の基準ベクトルデータから、その色ベクトルC2Mと同じ、又は、最も近い基準ベクトルの方向(角度又は傾き)と照合する。
ここでは、被検物Sの表面状態が、マット状態の表面である。色ベクトルC2Mは、第1の基準ベクトルの方向と一致又は略一致し、第2の基準ベクトルの方向から離れている。
プロセッサ22は、第1の基準ベクトルの閾値内か否かに基づいて、被検物Sの表面状態を検査判定結果として出力する(ステップST5)。このとき、プロセッサ22は、例えばディスプレイ6に判定結果を表示させる。例えばディスプレイ6には、被検物Sの表面がマット状態で、第1の基準ベクトルとの角度の差(閾値を含む)が表示される。
続いて検査される被検物Sの表面状態が、グロス状態の表面であるとする。
プロセッサ22は、被検物Sの表面状態を検査するとき、カラーフィルタ34とイメージセンサ14で受光される波長との関係を取得するとともに、カメラ13のイメージセンサ14で画像を取得する(ステップST1)。このとき、プロセッサ22は、カメラ13のイメージセンサ14で取得した画像(例えば図10の右側図参照)をディスプレイ6に表示させる。
プロセッサ22は、イメージセンサ14の受光部14aの全範囲又は所定範囲の各画素の色チャンネル(ここではRチャンネル及びBチャンネルの2つ)の出力階調(画素値)IR,IBに基づいて、各画素ごとに色ベクトルを算出する(ステップST2)。図11に示すように、無数の点の集合体Gが、塊として示されている。
プロセッサ22は、無数の点の集合体Gに基づいて、平均の色ベクトルC2Gを算出する(ステップST3)。すなわち、プロセッサ22は、色ベクトルC2Gの、角度又は傾きを算出する。
プロセッサ22は、算出した色ベクトルC2Gと、基準ベクトルデータ24bの第1の基準ベクトル、及び、第2の基準ベクトルとを比較する(ステップST4)。すなわち、色ベクトルの方向(角度又は傾き)を、複数の基準ベクトルデータから、その色ベクトルC2Gと同じ、又は、最も近い基準ベクトルの方向(角度又は傾き)と照合する。
ここでは、被検物Sの表面状態が、グロス状態の表面である。色ベクトルC2Gは、第2の基準ベクトルの方向と一致又は略一致し、第1の基準ベクトルの方向から離れている。
プロセッサ22は、第2の基準ベクトルの閾値内か否かに基づいて、被検物Sの表面状態を検査判定結果として出力する(ステップST5)。このとき、プロセッサ22は、例えばディスプレイ6に判定結果を表示させる。例えばディスプレイ6には、被検物Sの表面がグロス状態で、第2の基準ベクトルとの角度の差(閾値を含む)が表示される。
図示しないが、被検物Sの表面の像の色ベクトルの方向が、それぞれ閾値を考慮して、第1の基準ベクトル及び第2の基準ベクトルからずれているとする。このとき、処理装置20は、例えばディスプレイ6に、その被検物Sの表面が所望の表面状態でないという判定結果を表示する。
なお、処理装置20での被検物Sの検査判定信号は、例えば、被検物Sとして、マット(艶消し)状態の表面を有する紙、グロス(光沢)状態の表面を有する紙、その他(表面が所望の表面状態でないとされた紙)を例えば3つのラインに分離させる機器を作動させる作動トリガー信号として用いることができる。
本実施形態では、図9に示す、マット(艶消し)状態の表面を有する紙、及び、グロス(光沢)状態の表面を有する紙の2つの紙の表面の像から算出した色ベクトルを基準ベクトルとする例について説明した。多数の紙の表面の像から算出した色ベクトルを基準ベクトルとして、記憶部24に記憶させてもよい。この場合、処理装置20は、カメラ13で撮像した被検物Sの像から算出される色ベクトルを、例えば記憶部24に記憶された基準ベクトルデータ24bと比較することにより、被検物Sの表面の表面状態として、表面粗さを出力(判定)することができる。
したがって、本実施形態に係る処理装置20は、複数の基準ベクトルを適宜に設定し、被検物Sの像から算出される色ベクトルと比較することにより、第1実施形態で説明した被検出部S2(図6参照)等の有無の判定に加えて、例えば表面粗さも検査することができる。
本実施形態によれば、被検物Sの表面状態を良好に検査可能な光学検査方法、光学検査プログラム24a、処理装置20、及び、光学検査装置4を提供することができる。
なお、被検物Sの表面の例えばマット状態、及び、グロス状態はそれぞれ種々存在する。本実施形態に係る色ベクトルCnの方向と、基準ベクトルデータのうちの最も近い基準ベクトルとを比較することにより、表面状態を有段階、又は、無段階に判定することができる。
(変形例)
例えば、図4に示す標準表面S1の像から得られる色ベクトルを、第1の基準ベクトルとする。また、図示しないが、色座標系の横軸のIRに沿う色ベクトルを仮定し、これを第2の基準ベクトルとする。これら第1の基準ベクトル及び第2の基準ベクトルは、それぞれ例えば記憶部24に記憶されている。一例として、第1の基準ベクトルは、被検物Sの表面からの正反射方向に対応する色ベクトルであり、第2の基準ベクトルは、正反射方向と異なる散乱方向に対応する色ベクトルである。
そして、ある被検物Sの表面の像から色ベクトルを算出したとき、処理装置20は、その色ベクトルの方向が第1の基準ベクトルに方向が近いか、第2の基準ベクトルに方向が近いかによって、表面の状態及び表面の種類を判別してもよい。
このように、基準ベクトルは、被検物Sに応じて適宜に設定することができる。
なお、第1実施形態の変形例で説明したカラーフィルタを用いる場合、一例として、第1の基準ベクトルは、被検物Sの表面からの第1の散乱方向に対応する色ベクトルであり、第2の基準ベクトルは、第1の散乱方向と異なる第2の散乱方向に対応する色ベクトルである。
(第3実施形態)
第3実施形態について、図12から図14を用いて説明する。本実施形態は第1実施形態及び第2実施形態の変形例であって、第1実施形態及び第2実施形態で説明した部材と同一の部材又は同一の機能を有する部材には極力同一の符号を付し、詳しい説明を省略する。
図12に示すように、光学装置12は、結像光学系32と、カラーフィルタ134とを有する。カラーフィルタ134は、結像光学系32に対して距離fの焦点面に配置される。ただし、カラーフィルタ134は、結像光学系32の前側に配置しても後側に配置してもよい。カラーフィルタ134を結像光学系32の焦点面に配置することにより、撮像画像全面に渡って色と方向の関係を一定にできるという効果がある。
ここで、第1実施形態及び第2実施形態に係る光学検査装置4の光学装置12のカラーフィルタ34は、光軸Cに対して回転対称、すなわち、光軸Cに対して等方である例について説明した。ただし、回転対称とは軸に対して形状を回転させたときに、回転角が360度未満でもとの形状に一致することを意味する。本実施形態では、カラーフィルタ134が非等方である例について説明する。
カラーフィルタ134は、光軸Cに直交する一方向(後述する第2の軸Ayに平行な方向)を長手方向とする、例えば矩形状に形成されている。カラーフィルタ134は、本実施形態では、第1の波長と、第1の波長と異なる第2の波長とを選択的に通過させる。カラーフィルタ134は、第1の波長選択フィルタ(波長選択領域)142及び第2の波長選択フィルタ(波長選択領域)144を有する。なお、カラーフィルタ134の第1の波長選択フィルタ142及び第2の波長選択フィルタ144の周囲は、光線遮蔽部146を有する。光線遮蔽部146は、例えば黒色の板で形成され、第1の波長選択フィルタ142及び第2の波長選択フィルタ144を保持する。
ここで、本実施形態では、結像光学系32の光軸Cに対して直交するように第1の軸Axを取る。本実施形態では、第1の軸Axの軸方向に沿って、第1の波長選択フィルタ142と第2の波長選択フィルタ144は領域が分けられる。すなわち、第1の波長選択フィルタ142を第1の軸Axの軸方向に沿って平行移動させていくと、第1の波長選択フィルタ142の端部を第2の波長選択フィルタ144の端部に重ねることができる。これを、第1の波長選択フィルタ142と第2の波長選択フィルタ144は第1の軸Axにずれて配置されると言うことにする。本実施形態では、第2の軸Ayを、第1の軸Axと光軸Cとの両者に直交する方向に取る。本実施形態では、第2の軸Ayの軸方向は、カラーフィルタ134の長手方向に沿う。
第1の波長選択フィルタ142及び第2の波長選択フィルタ144は、それぞれ、カラーフィルタ134の長手方向に沿って形成されている。第1の波長選択フィルタ142は、光軸C上に配置されている。第1の波長選択フィルタ142は、第2の波長選択フィルタ144に隣り合う。カラーフィルタ134の第1の波長選択フィルタ142及び第2の波長選択フィルタ144は、第2の軸Ayに平行な軸に並進対称に形成されている。
第1の波長選択フィルタ142は、第1の波長を有する光線(第1の光線)を通過させる。例えば、第1の波長は、青光(435nm)及びその近傍の第1の波長(400nmから500nm)を有するB光とする。第2の波長選択フィルタ144は第2の波長の光線(第2の光線)を通過させる。第2の波長は、赤光(700nm)及びその近傍の第2の波長(600nmから700nm)を有するR光とする。第1の波長選択フィルタ142は、第1の波長とは異なる波長(第2の波長を含む)の光線を遮蔽する。第2の波長選択フィルタ144は、第2の波長とは異なる波長(第1の波長を含む)の光線を遮蔽する。
イメージセンサ14はエリアセンサーでもよく、ラインセンサーでもよい。また、イメージセンサ14は、各画素でR,G,Bの3チャンネルの色チャンネルを備えるものでよい。ここでは、図12に示すように、イメージセンサ14はエリアセンサーとし、各画素は赤と青の2つの色チャンネルを備えるものとする。つまり、イメージセンサ14は、B光とR光とをそれぞれ独立な色チャンネルで受光できる。
第1の軸Axと光軸Cとが張る面を第1の面(仮想面)とし、第2の軸Ayと光軸Cとが張る面を第2の面(仮想面)とする。図13には、第1の面に沿う光学検査装置4の断面図を示す。図14には、第2の面に沿う光学検査装置4の断面図を示す。
図12及び図13に示すように、被検物Sからの光線のうち、光軸Cに平行であり、かつ第1の面内にある光線を第1の光線群L1とする。第1の光線群L1を代表して、第1の光線L1a及び第1の光線L1bの2つの光線を考える。物体側からの光線のうち、光軸Cに対して傾斜する方向であり、かつ第1の面内にある光線を第2の光線群L2とする。第2の光線群L2を代表して、第2の光線L2a及び第2の光線L2bの2つの光線を考える。
図12及び図14に示すように、物体側からの光線のうち、光軸Cに平行であり、かつ第2の面内にある光線を第3の光線群とする。第3の光線群を代表して、第3の光線L3を考える。物体側からの光線のうち、光軸Cに対して傾斜する方向であり、かつ第2の面内にある光線を第4の光線群とする。第4の光線群を代表して、第4の光線L4を考える。
図12及び図13に示すように、第1の面に平行な面は、カラーフィルタ134の第1の波長選択フィルタ142及び第2の波長選択フィルタ144に同時に交差する。つまり、第1の面に平行な面は、カラーフィルタ134の少なくとも2つの異なる波長選択フィルタ142,144に交差する。図12及び図14に示すように、第2の面に平行な面は、カラーフィルタ134の一つの波長選択フィルタ142に交差する。つまり、カラーフィルタ134は、第1の面と第2の面でカラーフィルタ134の波長選択フィルタ142,144に交差する数が異なるため、非等方であり、異方性がある。言い換えると、カラーフィルタ134は、第1の軸Axと第2の軸Ayとの方向によって波長選択フィルタ142,144の分布が異なり、非等方である。
結像光学系32によって被検物Sの物点Oからの光線が像点に結像される光学系において、一般的に、物体側において主光線が光軸Cに対して平行になるような光学系を、物体側テレセントリック光学系と呼ぶ。本実施形態において、物体側で光軸Cに対して実質的に平行な光線が結像光学系32によって結像されるとき、光線は物体側テレセントリック性を有する。一方、物体側で光軸Cに対して実質的に平行でなく、傾斜した光線が結像光学系32によって結像されるとき、光線は物体側非テレセントリック性を有する。
物体側からの第1の光線群の光線L1a,L1bは、光軸Cに平行である。光線L1a,L1bは、結像光学系32の焦点面の焦点に到達する。このため、第1の光線L1a,L1bは、焦点面に置かれたカラーフィルタ134の第1の波長選択フィルタ142に到達する。すなわち、第1の面内でテレセントリック性を有する第1の光線L1a,L1bは、第1の波長選択フィルタ142に到達する。
物体側からの第2の光線群の光線L2a,L2bは、第1の面内で光軸Cに対して傾斜する。第2の光線群の光線L2a,L2bは、結像光学系32の焦点面において焦点から外れ、例えば第2の波長選択フィルタ144に到達する。つまり、第2の光線L2a,L2bは、第2の波長選択フィルタ144に到達する。すなわち、第1の面内で非テレセントリック性を有する光線L2a,L2bは、第2の波長選択フィルタ144に到達する。
なお、第1の面内で光軸Cに対して傾斜する物体側の光線の一部は、第2の波長選択フィルタ144に到達するほか、光線遮蔽部146に到達する。
物体側からの第3の光線群の光線L3は、第2の面内で光軸Cに平行である。第3の光線群の光線L3は、結像光学系32の焦点面の焦点に到達する。このため、第3の光線L3は、焦点面に置かれたカラーフィルタ134の第1の波長選択フィルタ142に到達する。すなわち、第2の面内でテレセントリック性を有する光線L3は、第1の波長選択フィルタ142に到達する。
物体側からの第4の光線群の光線L4は、第2の面内で光軸Cに対して傾斜する。第4の光線群の光線L4は、結像光学系32の焦点面において焦点から外れたところである第1の波長選択フィルタ142に到達する。つまり、第4の光線L4は、第1の波長選択フィルタ142に到達する。すなわち、第2の面内で非テレセントリック性を有する光線は、第1の波長選択フィルタ142に到達する。
なお、第2の面内で光軸Cに対して傾斜する物体側の光線が光線遮蔽部146に到達することはない。
このように、第1の面内において、テレセントリック性を有する光線L1a,L1bと非テレセントリック性を有する光線L2a,L2bは、それぞれ異なる波長選択領域に到達する。一方、第2の面内において、テレセントリック性を有する光線L3と非テレセントリック性を有する光線L4は、いずれも同じ波長選択フィルタ142に到達する。
物体側から任意の方向で結像光学系32に到達する任意の光線に対し、その経路を第1の面に投影したもの(図12及び図13参照)と第2の面に投影したもの(図12及び図14参照)を考える。それらの投影された光線に対し、上述した性質が同様にそれぞれ成立する。つまり、第1の面に投影した光線であり、テレセントリック性を有する光線と非テレセントリック性を有する光線は、カラーフィルタ134の異なる波長選択領域に到達する。一方、第2の面に投影した光線であり、テレセントリック性を有する光線と非テレセントリック性を有する光線は、いずれも同じ波長選択フィルタ142に到達する。
本実施形態の光学検査装置4のイメージセンサ14で物体のB光(第1の波長の光線)を撮像する場合、すなわち、B像データIbを得るとき、カラーフィルタ134の第1の波長選択フィルタ142は、B光をイメージセンサ14に向けて射出する。このとき、カラーフィルタ134の第1の波長選択フィルタ142は、R光(第2の波長の光線)を遮蔽する。B光は第1の軸Axの軸方向にテレセントリック性を有する。したがって、光学検査装置4は、イメージセンサ14で、テレセントリック性を有するB像データIbを取得できる。
光学検査装置4のイメージセンサ14で物体のR光(第2の波長の光線)を撮像する場合、すなわち、R像データIrを得るとき、カラーフィルタ134の第2の波長選択フィルタ144は、R光をイメージセンサ14に向けて射出する。このとき、カラーフィルタ134の第2の波長選択フィルタ144は、B光(第1の波長の光線)を遮蔽する。R光は第1の軸Axの軸方向にも第2の軸Ayの軸方向にも非テレセントリック性を有する。これはエントセントリック性を有するとも言い換えることができる。つまり、光学検査装置4は、イメージセンサ14で、R光のエントセントリック画像を取得できる。これにより、光学検査装置4は、画角の大きな画像を取得することができる。
このように、本実施形態に係る光学検査装置4のイメージセンサ14は、第1の軸Axの方向に沿って、B光(例えば正反射光に相当)、及び、R光(例えば散乱光に相当)の像を同時に取得する。
このように、結像光学系32とイメージセンサ14との間で結像光学系32の焦点面に設けられるカラーフィルタ134は、被検物Sからの光線方向に応じて、第1の波長の光線(例えばB光)と、第1の波長とは異なる波長の第2の波長の光線(例えばR光)とを、イメージセンサ14に向けて、射出する。そして、カラーフィルタ134は、イメージセンサ14において、第1の波長に関する第1の像の情報及び第2の波長の光線に関する第2の像の情報をそれぞれ取得させる。このとき、イメージセンサ14は、カラーフィルタ134を通過した第1の波長および第2の波長の光線の画像を同時に取得する。
なお、本実施形態に係る光学検査装置4のイメージセンサ14の各画素で取得されるR像データIr、及び、B像データIbの光線強度は、被検物S上の物点からの反射光の光量が一定と考えたときに相補的に変化する。すなわち、ある画素において、カラーフィルタ134を通る、被検物Sからの反射光線のうち、ある画像におけるR光の光線強度が強くなると、当該画素においてB光の光線強度は弱まる。また、別のある画素においてB光の光線強度が強くなると、当該画像においてR光の光線強度は弱まる。これは、色と光線の方向が対応づけられるためである。つまり、反射光(例えばR光)の強度が一定であるとすると、ある方向に反射光成分が集中すると、B光やG光に相当する残りの方向成分は小さくなる。
例えば、被検物Sの表面が、図4に示す標準表面S1であるとする。このとき、カメラ13のカラーフィルタ134を通してイメージセンサ14に入射される光のうち、標準表面S1からの光線は、カラーフィルタ134の光軸C上(領域A1上)を通るB光によるものである。このため、イメージセンサ14は、B像データIbにおいて、標準表面S1からの正反射光を青色の像として得る。図4に示す被検物Sの標準表面S1のB像データIbは、全て青色の像として得られる。
標準表面S1に相当する位置からの光は、イメージセンサ14には、R光が入射しないか、入射したとしても画素値が無視できるほどに小さい。したがって、R像データIrのうち、標準表面S1の像は、黒色となる。
また、本実施形態では、カラーフィルタ134を通してイメージセンサ14に入射される光のうち、被検物Sの表面からの、G光は、入射しないか、入射したとしても画素値が無視できるほどに小さい。したがって、G像データIgは、全体が黒色となる。
したがって、本実施形態に係る光学検査装置4で得られるRGB像データIrgbは、カラーフィルタ34に基づく光線の方向情報に応じた色が付いている。このRGB像データIrgbを各色チャンネルに分離したR像データIr、G像データIg、及び、B像データIbは、それぞれ被検物Sの表面情報(凹凸情報)に基づく画像となっている。このように、本実施形態に係る光学検査装置4は、イメージセンサ14で撮像した像により、被検物Sの構造(凹凸)情報を取得する。
そして、被検物Sの表面が、図4に示す標準表面S1である場合、図5に示すような色座標系のグラフを得る。
例えば、被検物Sの表面が、図6に示す標準表面S1に被検出部S2を有するとする。
カメラ13のカラーフィルタ134を通してイメージセンサ14に入射される光のうち、標準表面S1からの光線は、カラーフィルタ34の光軸C上(領域A1上)を通るB光によるものである。このため、イメージセンサ14は、B像データIbにおいて、標準表面S1からの正反射光を青色の像として得る。
本実施形態では、被検出部S2に相当する位置からの光は、第1の面(図13参照)では、イメージセンサ14には、B光として入射しない。一方、被検出部S2に相当する位置からの光は、第2の面(図14参照)では、イメージセンサ14にB光として入射する。
また、被検出部S2に相当する位置からの光は、第1の面(図13参照)では、イメージセンサ14には、R光として入射する。また、図示しないが、被検出部S2に相当する位置からの光は、第2の面(図14参照)に平行な、第2の波長選択フィルタ144において、R光が透過し、イメージセンサ14には、R光として入射する。
このため、被検物Sの表面が、図6に示す標準表面S1に被検出部S2を有する場合、図7に示すような色座標系のグラフを得る。
このため、被検物Sの表面状態に応じて、図5に示す色ベクトルの方向及び図7に示す色ベクトルの方向が変化する。したがって、本実施形態に係る光学検査装置4のカメラ13(図12から図14参照)を用いて、図1に示す処理装置20で、第1実施形態で説明した処理を行うことによって、被検物Sの表面の表面状態を検査することができる。
また、被検物Sの表面が、第2実施形態の図9及び図10に示す状態であるとする。この場合も、本実施形態に係る光学検査装置4のカメラ13(図12から図14参照)を用いて、第2実施形態で説明したように基準ベクトルデータ24bを設定することにより、被検物Sの表面の表面状態を判別することができる。
本実施形態によれば、被検物Sの表面状態を良好に検査可能な光学検査方法、光学検査プログラム24a、処理装置20、及び、光学検査装置4を提供することができる。
(第4実施形態)
第4実施形態について図15及び図16を用いて説明する。本実施形態は第1実施形態から第3実施形態の変形例であって、第1実施形態から第3実施形態で説明した部材と同一の部材又は同一の機能を有する部材には極力同一の符号を付し、詳しい説明を省略する。
図15に示すように、光学装置12は、カラーフィルタ(波長選択部)234、及び、結像光学系(結像レンズ)32を備える。本実施形態では、カラーフィルタ234とイメージセンサ14との間には、結像光学系32が配設されている。イメージセンサ14は、結像光学系32に対して距離Lに結像面となる受光部(受光面)14aを有する。光学装置12及びイメージセンサ14は、いわゆるカメラ(撮影部)13を構成する。
カラーフィルタ234は、ある断面において、第1の波長選択領域242、第2の波長選択領域244、及び、第3の波長選択領域246を有する。第1の波長選択領域242及び第2の波長選択領域244は、異なる波長範囲の光を透過させる。第3の波長選択領域246は、例えば、第2の波長選択領域244と同じ波長の光を透過可能である。
なお、カラーフィルタ234の代わりに、第1実施形態で説明したカラーフィルタ34を用いてもよく、第3実施形態で説明したカラーフィルタ134を用いてもよい。
本実施形態に係る光源16は、指向性のある照明光を被検物Sに照射することができる。光源16からの照明光は、被検物Sの表面に対して傾斜した状態で、照射される。
本実施形態に係る光学検査システム2の動作について説明する。
図15において、被検物Sの表面は基本的に鏡面(標準表面)S1であるとする。その表面の上に、拡散面を有する微小欠陥としての被検出部S2が存在するとする。このとき、鏡面状の被検物Sの表面上に第1の物点O1を取り、被検出部S2上に第2の物点O2を取る。
光源16から第1の物点O1に入射された照明光は、第1の物点O1で第1の反射光L1として反射される。第1の物点O1に入射される照明光の入射角と、第1の物点O1で反射する光の反射角とは、結像光学系32の光軸に対して一致する。
第1の物点O1は、鏡面の面上にあるので、光はスペキュラー成分(正反射成分)が多くなる。ここで、光源16からの照明光が指向性を有するので、その方向に従ってスペキュラー成分の方向が定まる。つまり、第1の反射光の配光分布は、図15に符号L1で示すように、狭い角度分布になりやすい。
第2の物点O2に入射された光は、第2の反射光L21,L22として反射される。第2の物点O2は例えば粗面上にあるので、第2の反射光は拡散成分L22を含む。ただし、光源16からの照明光は指向性を有する。そのため、第2の反射光はスペキュラー成分L21も含む。つまり、光の配光分布は、図15に符号L21,L22で示すように、スペキュラー成分L21とともに、拡散成分L22も有する。つまり、第2の反射光の配光成分は、広い角度分布になりやすい。
微小欠陥がある第2の物点O2において、第2の反射光は、拡散成分L22とスペキュラー成分L21を有する。光は、カラーフィルタ234を通過し、さらに結像光学系32を通過する。このとき、カラーフィルタ234において、光は、第1の波長選択領域242と第2の波長選択領域244を選択的に通過する。第1の波長選択領域242を通過する光は、例えば波長範囲400nmから500nmの青(B)光となる。第2の波長選択領域244を通過する光は、例えば波長範囲600nmから700nmの赤(R)光となる。つまり、第2の反射光は、少なくとも2つ以上の異なる波長選択領域242,244を通過する。そして、結像光学系32によってイメージセンサ14上に結像される。第2の物点O2からの第2の反射光は、反射方向によっては、第3の波長選択領域246を通してイメージセンサ14上に結像される。
微小欠陥がない第1の物点O1において、第1の反射光はほぼスペキュラー成分L1となる。そのため、第1の反射光は、カラーフィルタ234の第2の波長選択領域244を通過する。第2の波長選択領域244を通過するスペキュラー成分L1の光は、例えば波長範囲600nmから700nmの赤(R)光となる。
各物点O1,O2に対応する色ベクトルC2=(IR、IB)は、処理装置20で算出される。第1の物点O1に対応する色ベクトルC21は、赤強度成分(IR)を有する。第2の物点O2に対応する色ベクトルC22は、青強度成分(IB)及び赤強度成分(IR)を有する。
これにより、微小欠陥がない第1の物点O1での色ベクトルC21の方向と、微小欠陥である第2の物点O2での色ベクトルC22の方向とは、異なる。つまり、色ベクトルC21,C22の方向により、微小欠陥のあり/なしが識別できる。
上述したように、第1の物点O1からの第1の反射光に基づく色ベクトルC21を基準ベクトルとし、第2の物点O2からの第2の反射光に基づく各画素における色ベクトルC2を基準ベクトルと比較することで、被検物Sの表面状態を判別することができる。そして、微小欠陥のあり/なしの識別は、第1実施形態で説明した光学検査プログラム24a、基準ベクトルデータ24bに基づいて、図8に示すフローチャートにしたがって出力される。
本実施形態では、光源16からの照明光を、被検物Sに対して斜入射する例について説明した。このように、光源16からの照明光は、同軸落射照明に限らず、種々の方向からの照明光を用いることができる。このような照明光によっても、処理装置20で色ベクトルCnを算出した算出結果と基準ベクトルとを比較して、被検物Sの表面状態を判別することができる。
したがって、本実施形態によれば、被検物Sの表面状態を良好に検査可能な光学検査方法、光学検査プログラム24a、処理装置20、及び、光学検査装置4を提供することができる。
なお、カラーフィルタ234の位置は、被検物Sと結像光学系32との間でもよく、結像光学系32とイメージセンサ14との間であってもよい。結像光学系32が例えば複数のレンズで構成される場合、複数のレンズの間にカラーフィルタ234が配置されていてもよい。
以上述べた少なくともひとつの実施形態によれば、被検物Sの表面状態を良好に検査可能な光学検査方法、光学検査プログラム24a、処理装置20、及び、光学検査装置4を提供することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。