JP2012068761A - 画像処理装置 - Google Patents

Abstract

【課題】撮像した画像を高い精度で高解像化することが可能な画像処理装置を提供する。
【解決手段】実施形態によれば、被写体と撮像素子の相対位置を異ならせて撮像した複数の画像を合成して高画素化を行う画像処理装置において、相対位置検出手段と、画像合成手段とを備える。相対位置検出手段は、被写体と標本図形の間の相対的な位置を固定した状態が撮影された複数の画像について、前記標本図形が写る部分を比較して、前記複数の画像間の相対位置を検出する。そして、画像合成手段は、相対位置検出手段が検出した相対位置に基づいて、前記複数の画像を合成するするようにしたものである。
【選択図】 図２

Description

この発明の実施形態は、例えば外観検査装置などに適用可能な画像処理装置に関する。

周知のように、表示装置等の検査を自動的に行う外観検査装置などにあっては、検査画像の解像度が高いほど詳細な検査が可能となるため、解像度の高い画像が撮像できる撮像装置を用いることが望ましい。しかし近時、検査対象が大型の液晶パネルであったり、高密度の集積回路などの場合、十分な解像度を得ることが困難な場合がある。そこで、撮像画像に対して超解像処理やイメージシフト処理などの高解像化する画像処理を適用し、検査画像を高解像化して検出精度を高めている。

しかし、超解像化を行う従来の画像処理システムでは、アクチュエータ制御による撮像装置の移動に起因する誤差が生じやすいという問題があった。

特開２００８−３０６４９２号公報

従来の画像処理装置では、適用されるシステム内で生じる誤差により、高解像化の精度を低下させてしまうという問題があった。
課題は、撮像した画像を高い精度で高解像化することが可能な画像処理装置を提供することにある。

実施形態によれば、被写体と撮像素子の相対位置を異ならせて撮像した複数の画像を合成して高画素化を行う画像処理装置において、相対位置検出手段と、画像合成手段とを備える。相対位置検出手段は、被写体と標本図形の間の相対的な位置を固定した状態が撮影された複数の画像について、前記標本図形が写る部分を比較して、前記複数の画像間の相対位置を検出する。そして、画像合成手段は、相対位置検出手段が検出した相対位置に基づいて、前記複数の画像を合成するようにしたものである。

超解像処理の概略を説明するための図。 実施形態に係わる画像処理装置の構成を示す回路ブロック図。 図２に示した２次元ステージ上に載置される被測定物の一例を示す図。 図３に示したマークを詳細に示した図。 図２に示した画像処理装置の具体的な構成例を示す回路ブロック図。 図５に示した画像処理装置の動作を説明するためのフローチャート。 図６に示した処理によって求められる回帰直線の一例を示す図。 基準画像データとシフト目標位置の関係を説明するための図。 基準画像データに、シフト画像データを合成する処理を説明するための図。 合成画像データに適用する空間フィルタ係数の求め方を説明するための図。

以下、図面を参照して、実施形態について説明する。
まず、この実施形態で実施する高画素化処理（超解像処理）の概要について説明する。ここでは説明を簡明にするために、列方向あるいは行方向の解像度を２倍にする場合を例に挙げ、５つの画素Ｐ１〜Ｐ５によって得られた画像データに基づく処理を例示する。

図１に示すように、基準位置に設定された被測定物ＯＪの濃度分布（例えば、輝度情報の分布、色差情報の分布あるいは色相情報の分布）が（ａ１）に示すようなものであるとする。これを５つの画素Ｐ１〜Ｐ５により撮影した画像データを取り込む。この時、各画素Ｐ１〜Ｐ５は、それぞれ（ａ２）に示すように、被測定物ＯＪの濃度を画像データＡ１〜Ａ５として検出している。

つづいて、（ｂ１）に示すように、0.5画素幅だけ列方向あるいは行方向に２次元ステージを移動させ、これを５つの画素Ｐ１〜Ｐ５により撮影したシフト画像データを取り込む。この時、各画素Ｐ１〜Ｐ５は、それぞれ（ｂ２）に示すように、被測定物ＯＪの濃度をシフト画像データＢ１〜Ｂ５として検出している。

そして、0.5画素幅の移動を考慮して、画像データＡ１〜Ａ５と画像データＢ１〜Ｂ５を再配列した合成画像データを生成する。すなわち、シフト量が0.5画素幅であることより、（ｃ）に示すように、画像データＡ１〜Ａ５および画像データＢ１〜Ｂ５を交互に並べた合成画像データを合成する。これにより、画素Ｐ１〜Ｐ５により得た画像データＡ１〜Ａ５（（ａ２）参照）に比べて、合成画像データ（（ｃ）参照）は、２倍ほど元の画像（ａ１）に近い高解像度の画像を再現することができる。

図２は、実施形態に係わる画像処理装置を、外観検査システムに適用した場合の構成例を示すものである。この外観検査システムは、カメラ１０と、２次元ステージ２０と、ステージ駆動装置３０と、ステージ制御装置４０と、画像処理装置１００と、画像検査装置２００とを備えている。

カメラ１０は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いたディジタルカメラであって、後述する２次元ステージ２０の上方から、２次元ステージ２０の上面を電子撮影して、撮像素子によって得られた画素情報をマトリックス状（格子状）に配列して映像化した画像データを生成し、後段の画像処理装置１００に出力する。

２次元ステージ２０は、外観検査の対象となる被測定物ＯＪを載置するためのテーブル状の平面を有するステージである。図３は、２次元ステージ２０を上方から見た様子の一例を示すものであり、カメラ１０によって撮影される範囲には、マークＭが印刷、もしくはマークＭの印刷物が載置されている。すなわち、被測定物ＯＪとマークＭが２次元ステージ２０上で静止し、両者の相対的な位置関係が保たれた状態（相対位置固定）で、カメラ１０による撮影が行われる。

マークＭは、例えば図４に示すように、濃度が直線的に変化（グラデーション）する標本図形であって、互いに直交するｘ軸とｙ軸の各方向について、上記濃度を直線的に変化させたものである。またマークＭは、濃度が直線的に変化する部分の他に、濃度差が激しくステップして変化する部分を有する。すなわち、最も極端な例では、白と黒が隣接する部分を有する。

ステージ駆動装置３０は、２次元ステージ２０を水平方向（カメラ１０の撮影方向に対して垂直なｘ軸方向あるいはｙ軸方向）に移動させる駆動機構を備え、例えばアクチュエータが用いられる。そしてその駆動機構は、ステージ制御装置４０によって制御され、２次元ステージ２０を上記ｘ軸方向あるいは上記ｙ軸方向に移動させる。

ステージ制御装置４０は、画像処理装置１００からの要求にしたがって、上述したように、ステージ駆動装置３０の駆動機構を制御することで、２次元ステージ２０をカメラ１０の撮影方向に対して垂直な方向（ｘ軸方向あるいはｙ軸方向）に移動させるものであって、カメラ１０を撮像素子の画素間隔以下の距離で移動させる制御精度を有する。

画像処理装置１００は、カメラ１０によって得られた画像データに対して、高画素化する処理（以下、高画素化処理と称する）を施す。画像処理装置１００は、例えば図５に示すように構成される。すなわち、画像処理装置１００は、画像取得部１１０と、シフト検出部１２０と、記憶部１３０と、高画素化処理部１４０とを備える。

画像取得部１１０は、シフト検出部１２０からの指示にしたがって、カメラ１０から画像データを取得する。なお、画像取得部１１０は、取得した画像データを一時的に蓄積するバッファメモリを備える。以下の説明では、２次元ステージ２０を移動させる前の基準位置で撮影した画像データを基準画像データと称し、２次元ステージ２０を移動させて撮影した画像データをシフト画像データと称する。

シフト検出部１２０は、画像取得部１１０に対して、基準画像データを取得させた後、ステージ制御装置４０に対して、２次元ステージ２０を移動させるように指示を行い、画像取得部１１０に対して、シフト画像データを取得させる。そして、シフト検出部１２０は、基準画像データおよびシフト画像データに基づいて、シフト画像データの取得するにあたって２次元ステージ２０を移動させた距離を求める。

そしてシフト検出部１２０は、この求めた距離から、２次元ステージ２０の移動距離が目標位置の範囲内にあるか否かを判定し、この判定結果に応じて、２次元ステージ２０を移動させるようにステージ制御装置４０に指示を行う。また目標位置の範囲内にあると判定した場合には、そのシフト画像データを高画質化処理に用いるデータとして採用する。

記憶部１３０は、高画素化処理部１４０で実施される高画素化処理で用いる情報を一時的に記憶して作業領域として用いられるものである。

高画素化処理部１４０は、シフト検出部１２０が求めた距離に応じて、シフト画像データを、基準画像データに合成することで、高画素化した合成画像データを得る。そして、高画素化処理部１４０は、合成に用いた複数の画像データに基づいて、上記合成画像データを先鋭化するために用いるフィルタ係数を算出し、このフィルタ係数を用いて、上記合成画像データに対してフィルタリング処理を施し、先鋭化した合成画像データを得る。

画像検査装置２００は、画像処理装置１００によって得られた合成画像データに基づく画像解析を行って、被測定物ＯＪの異常を検出する。

次に、上記構成の外観検査システムの動作について説明する。図６は、その動作を説明するためのフローチャートであって、画像処理装置１００およびこれを構成する各部によってなされる。なお、以下の説明では、４倍の高画素化を行う場合を例に挙げて説明する。

まず、ステップ６ａでは、シフト検出部１２０がステージ制御装置４０に処理の開始を通知する。これに対してステージ制御装置４０は、ステージ駆動装置３０を駆動制御し、これにより２次元ステージ２０を初期位置（基準位置）に移動させる。これにより、被測定物ＯＪおよびマークＭは、基準位置に設定される。

そして上記通知の後、シフト検出部１２０は、画像取得部１１０に対して、カメラ１０から画像データを取得するように指示する。これに応動した画像取得部１１０は、カメラ１０が撮像した画像データ（基準画像データ）を取り込み、ステップ６ｂに移行する。すなわち、基準位置に設定された被測定物ＯＪおよびマークＭを撮影した画像データを取得する。

ステップ６ｂでは、シフト検出部１２０が、ステップ６ａで取得した基準画像データを読み込み、この基準画像データのうち、マークＭを撮影した部分の画像データを参照して、ｘ軸方向およびｙ軸方向について、１画素毎に濃度を検出する。そして、シフト検出部１２０は、各軸方向の検出結果に対して最小２乗法を適用して、横軸を画素の位置（p）、縦軸を濃度（d）とする回帰直線d=A₀p+B₀（ただし、A₀，B₀は、定数）を求め、ステップ６ｃに移行する。これにより、ｘ軸方向についての回帰直線（以下、ｘ軸方向基準回帰直線と称する）およびｙ軸方向についての回帰直線（以下、ｙ軸方向基準回帰直線と称する）が求まる。

図７に、その一例を示す。図７において、画素シフトなしと示されたドットが、ｘ軸方向あるいはｙ軸方向についての各画素の位置と濃度を示すものであって、これらのドットから回帰直線Ｌ１を求める。図７の例では、回帰直線Ｌ１は、A₀=39.37であり、B₀=3.2である。 ステップ６ｃでは、高解像度化処理部１４０が、上記基準画像データを記憶部１３０に記録し、ステップ６ｄに移行する。
ステップ６ｄでは、シフト検出部１２０がステージ制御装置４０に対して、２次元ステージ２０をシフト目標位置に移動させるように指示し、ステップ６ｅに移行する。

ここで、図８を参照して、シフト目標位置について説明する。この例では、基準画像データを４倍に高画素化するため、基準画像データの位置（0,0）を基準として、３つの相対位置（0.5,0）、（0.5,0.5）、（0,0.5）がシフト目標位置に相当する。この３つのシフト目標位置に２次元ステージ２０をそれぞれ移動させて撮影したシフト画像データを用いた合成を行うことで、４倍の高画素化が実現する。

このため、シフト検出部１２０は、この時点でまだ取得していないシフト目標位置のシフト画像データを取得するべく、そのシフト目標位置をステージ制御装置４０に対して指示する。これに対してステージ制御装置４０は、シフト検出部１２０からの指示に従って、ステージ駆動装置３０を駆動制御し、これにより２次元ステージ２０をシフト目標位置を目標にして初期位置（0,0）から移動させる。これにより、カメラ１０と２次元ステージ２０との相対的な位置関係が、撮影方向に対して垂直な方向に変化するので、カメラ１０の撮影構図が変化することになる。

なおここで、実際に２次元ステージ２０が移動した位置（シフト座標（Δx,Δy））は、シフト目標位置（（0.5,0）、（0.5,0.5）、（0,0.5）のいずれか）に一致することが望ましい。しかし、制御誤差によって、図８に例示するように、シフト目標位置に必ずしも一致しない。

ステップ６ｅでは、シフト検出部１２０は、画像取得部１１０に対して、カメラ１０から画像データを取得するように指示する。これに応動した画像取得部１１０は、カメラ１０が撮像した画像データを取得し、ステップ６ｆに移行する。すなわち、基準位置から移動した被測定物ＯＪおよびマークＭを撮影して、シフト画像データを取得する。

ステップ６ｆでは、シフト検出部１２０が、ステップ６ｅで取得したシフト画像データを読み込み、このシフト画像データのうち、マークＭを撮影した部分の画像データを参照して、ステップ６ｄの指示方向について、１画素毎に濃度を検出する。そして、シフト検出部１２０は、上記検出結果に対して最小２乗法を適用して、横軸を画素の位置（p）、縦軸を濃度（d）とする回帰直線d=A_0.5p+B_0.5（ただし、A_0.5，B_0.5は、定数）を求め、ステップ６ｇに移行する。これにより、指示方向についての回帰直線（以下、シフト回帰直線と称する）が求まる。

ステップ６ｂと同様に、図７に、その一例を示す。図７において、0.5画素シフトと示されたドットが、ｘ軸方向あるいはｙ軸方向についての各画素の位置と濃度を示すものであって、これらのドットから回帰直線Ｌ２を求める。図７の例では、回帰直線Ｌ２は、A₀=39.486であり、B₀=-19.2である。

ステップ６ｇでは、シフト検出部１２０が、ｘ軸方向およびｙ軸方向について、それぞれ例えば図７に示すように、ステップ６ｆで求めたシフト回帰直線の横軸切片-B₀/A₀と、このシフト回帰直線と同じ方向の基準回帰直線（ｘ軸方向基準回帰直線あるいはｙ軸方向基準回帰直線）の横軸切片-B_0.5/A_0.5の差Sから、基準画像データを基準としたシフト画像データの相対的なシフト座標（Δx,Δy）を求め、ステップ６ｈに移行する。すなわち、ｘ軸方向基準回帰直線に基づいて求めた差SxがΔｘであり、ｙ軸方向基準回帰直線に基づいて求めた差SyがΔｙである。

ステップ６ｈでは、シフト検出部１２０が、下式にしたがって、図７に示すように、シフト座標(Δx, Δy)と、シフト目標位置の座標(x,y)（図８の例では、（0.5,0.5））との距離D^2（＝シフト誤差）を求め、ステップ６ｉに移行する。

D^2=(X-Δx)^2+(Y-Δy)^2
ステップ６ｉでは、シフト検出部１２０が、ステップ６ｈで求めた距離D^2が、予め設定した基準値以内か否かを判定する。すなわち、シフト画像データが、予め許容される範囲内にシフトさせて撮影された画像データであるか否かを判定する。ここで、ステップ６ｈで求めた距離D^2が、上記基準値以内でない場合には、ステップ６ｄに移行して、同じシフト目標位置について、再度ステージ移動を実施し、一方、上記基準値以内である場合には、ステップ６ｊに移行する。

ステップ６ｊでは、シフト検出部１２０が、ステップ６ｅで取り込んだシフト画像データを、シフト目標位置に対応づけて、記憶部１３０に登録し、ステップ６ｋに移行する。

ステップ６ｋでは、シフト検出部１２０が、すべてのシフト目標位置に対応するシフト画像データを取得したか否かを判定する。

ここで、すべてのシフト目標位置に対応するシフト画像データを取得した場合には、ステップ６ｌに移行し、一方、まだ取得していないシフト目標位置に対応するシフト画像データがある場合には、ステップ６ｄに移行する。そして、ステップ６ｄでは、取得していないシフト目標位置に対応するシフト画像データを得るために、そのシフト目標位置に２次元ステージ２０を移動させる。

ステップ６ｌでは、高画素化処理部１４０が、記憶部１３０に登録される基準画像データ、シフト画像データおよびこれに対応付けたシフト目標位置に基づいて、図９に示すように、基準画像データに対して、それぞれシフト目標位置に基づく位置に、シフト画像データが配置された合成画像が生成され、基準画像データの解像度が４倍になる高画素化処理を実施し、ステップ６ｍに移行する。

ここで、マークＭの濃度が白（濃度２５５）から黒（濃度０）へステップして変化する部分に着目する。この部分周辺を撮影した画像データの濃度分布の一例を図１０に示す。図１０では、画素３と画素４の間（画素３．５相当）の位置で撮影が行われたものとする。この場合、その前後の画素によって、波線で示すような濃度分布が得られる。なお、実線は、実際のマークＭの濃度分布、すなわち真の濃度分布を示している。

ここで、真の濃度分布をfi、撮影された画像データより得られる濃度分布をfoとし、両者は空間フィルタ係数hを用いて、式（１）で示す関係が成り立つものとする。すると、式（２）で示すような各スペクトルFi、Fo、Hの間には、式（３）の関係が成立する。このため式（４）より空間フィルタ係数hを求めることができる。

このため、ステップ６ｍでは、高画素化処理部１４０が、ステップ６ｃで記憶部１３０に記録した基準画像データ（もしくはステップ６ｊで記憶部１３０に記録したシフト画像データ）を読み込み、この読み込んだ画像データのうち、マークＭを撮影した部分の画像データを参照して、濃度が最も激しく変化する部分、すなわち濃度がステップして変化している部分を検出し、この部分に関して、ｘ軸方向およびｙ軸方向について、１画素毎に濃度を検出する。これにより、上述の濃度分布foが求まる。そして、高画素化処理部１４０は、各方向の濃度分布foをそれぞれフーリエ変換し、ステップ６ｎに移行する。

ステップ６ｎでは、高画素化処理部１４０が、ステップ６ｍのフーリエ変換の結果、および予め求めておいた真の濃度分布fi（実際のマークＭの濃度分布）をフーリエ変換した結果を、上記計算式（１）〜（４）に適用して、ｘ軸方向およびｙ軸方向について、それぞれ空間フィルタ係数hx、hyを求め、ステップ６ｏに移行する。

ステップ６ｏでは、高画素化処理部１４０が、ステップ６ｌで生成した合成画像データに対して、ステップ６ｎで求めた空間フィルタ係数hx、hyを用いて、ｘ軸方向およびｙ軸方向についてフィルタリング処理を施し、合成画像データに生じている空間周波数特性を改善して先鋭化する。このようにして先鋭化処理が施された合成画像データは、後段の画像検査装置２００に出力される。

以上のように、上記構成の画像処理装置では、高画素化処理に用いる複数の検査画像を解析することで、２次元ステージ２０のステージシフト量を推定し、この推定した推定シフト量に基づいて、高画素化処理を行うようにしている。このため、従来のように、目標とするシフト量から誤差が生じているステージシフト量に基づいて高画素化処理を行う場合に比べて、２次元ステージ２０の移動に関する誤差による影響を極小にし、撮像した画像を高い精度で高解像化することができる。

また上記構成の画像処理装置では、白黒の濃度が滑らかに変化する標本図形（マークＭ）を被測定物ＯＪとともに、基準位置とシフトさせたステージシフト位置でそれぞれ撮影して、基準画像データとシフト画像データを得て、これら画像データに基づいて、上記濃度の位置による変化を示す回帰直線をそれぞれ求め、この回帰直線を比較することで、推定シフト量を検出するようにしている。

したがって、上記構成の画像処理装置によれば、被測定物ＯＪと標本図形（マークＭ）は、同時に撮影されるので、基準画像データとシフト画像データにそれぞれ含まれる標本図形（マークＭ）に基づいて求めた推定シフト量は、被測定物ＯＪの移動量を正確に示したものである。このため、ステージ制御装置４０による２次元ステージ２０の実際のステージシフト量が、例えば機械的な誤差により目標値から外れても、超解像処理に対する誤差は極小に抑制できる。

さらに上記構成の画像処理装置では、標本図形（マークＭ）に設けた濃度差の激しい部分を撮影した画像データと、標本図形（マークＭ）における濃度差とに基づいて、空間フィルタ係数を算出し、先鋭化処理に用いるようにしている。したがって、上記構成の画像処理装置によれば、標本図形に基づいて、高い精度で先鋭化処理を行うことができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

その一例として例えば、上記実施の形態では、２次元ステージ２０を移動させることで、被測定物ＯＪおよび標本図形（マークＭ）と、カメラ１０の相対的な位置関係を変化させるようにしたが、カメラ１０を移動させる場合でも、同様の効果を得られる。カメラ１０の移動には、例えばピエゾアクチュエータを用いることが可能である。

また上記実施の形態では、画像処理装置を外観検査装置に適用した例について説明したが、これに限定されるものではない。撮影した画像を高い精度で高解像化することができるため、監視カメラや民生用のディジタルカメラなどに適用することも可能である。この場合、カメラの位置の移動距離ができるだけ少ないことが望ましいので、撮像素子の移動を瞬時に行い、その移動の前後で撮影を行って、前後の画像から撮像素子の移動距離を測定すればよい。

そしてまた、上記実施の形態では、互いに独立した２軸（行方向と列方向）について、上記直線濃度変化を求めるようにしたが、ある１軸方向にしか２次元ステージ２０を移動させない場合には、その１軸方向について直線濃度変化を求めて、シフト量Δx（あるいはΔy）を求めるようにしてもよい。

さらにまた上記実施の形態では、マークＭは、例えば図４に示すように、白黒の濃度が滑らかに一定に変化するものとし、これにより、図７に示すように直線回帰するものとして説明したが、これに限定されるものではない。回帰させた場合に、曲線を描くように、マークＭにおける濃度変化を設定してもよい。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

１０…カメラ、２０…２次元ステージ、３０…ステージ駆動装置、４０…ステージ制御装置、１００…画像処理装置、２００…画像検査装置、ＯＪ…被測定物、Ｍ…マーク。

Claims (3)

1. 被写体と撮像素子の相対位置を異ならせて撮像した複数の画像を合成して高画素化を行う画像処理装置において、
   被写体と標本図形の間の相対的な位置を固定した状態が撮影された複数の画像について、前記標本図形が写る部分を比較して、前記複数の画像間の相対位置を検出する相対位置検出手段と、
   この相対位置検出手段が検出した相対位置に基づいて、前記複数の画像を合成する画像合成手段とを具備することを特徴とする画像処理装置。
2. 前記標本図形は、濃淡の変化を表した図形であって、
   前記相対位置検出手段は、
   前記複数の画像のうち、第１画像について、前記標本図形が写る部分を撮像した複数の画素で検出された濃度と、その画素の位置との関係を回帰した第１特性線を求める第１回帰手段と、
   前記複数の画像のうち、第２画像について、前記標本図形が写る部分を撮像した複数の画素で検出された濃度と、その画素の位置との関係を回帰した第２特性線を求める第２回帰手段と、
   前記第１特性線と前記第２特性線を比較して、前記第１画像と前記第２画像間の相対位置を検出する検出手段とを備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記標本図形は、２つの異なる濃度が隣接する濃度差隣接部分を有し、
   さらに、前記濃度差隣接部分における実際の濃度差と、前記第１画像もしくは前記第２画像に写る前記濃度差隣接部分から検出した濃度差とに基づいて、撮像系の空間周波数特性を補正する空間フィルタ係数を求めるフィルタ係数決定手段と、
   このフィルタ係数決定手段が求めた空間フィルタ係数を用いて、画像合成手段が合成した画像データをフィルタリングするフィルタリング手段とを備えることを特徴とする請求項１または請求項２に記載の画像処理装置。

Images