しかしながら、二次元の場合と異なり、三次元の場合は検査対象物の置き方によっては測定できないという問題があることが判明した。二次元の場合は、透過照明や落射照明に方向性がないため、検査対象物がどのような姿勢に置かれても、視野内に入っている限りは撮影が可能であった。これに対して構造化照明を用いる場合、例えば図14のような検査対象物に対して、左斜め上方向から構造化照明を照射して撮影した縞投影画像を図15に示す。図15に示すように、検査対象物に凸部がある場合は、照明光が当たらず影になる部分が生じ、この部分では測定ができない。図15において、構造化照明が影になっている領域を赤色で示しており、この領域は高さ情報を得ることができない。このため、検査対象物に構造化照明を照射した場合に影のできるような置き方では、三次元情報すなわち高さ情報を正確に検出できないという問題があった。
別の例を図16〜図21に基づいて説明する。この例では、検査対象物としてクリップを撮像している。図16は、検査対象物であるクリップを、平面視において水平に置いた姿勢で撮影した光学画像であり、図17はこの検査対象物に対して構造が照明を照射した縞投影画像である。この例では、各図において左右から構造化照明を照射しているため、クリップを横置きとしたことで検査の妨げとなるような影が生じておらず、図18のような三次元画像を得ることができる。
一方、同じ検査対象物を平面視において垂直となる姿勢に置いて検査した例を図19〜図21に示す。これらの図において図19は検査対象物を撮影した光学画像、図20はこの検査対象物の縞投影画像、図21は図20の縞投影画像から生成された三次元画像をそれぞれ示している。この置き方では、縦置きにしたクリップの左右から構造化照明を照射しているため、影が生じてしまい、さらに多重反射の影響もあって、正確な三次元画像が得られていない。さらに縞投影画像の縞同士の間隔が狭くなり縞が分離できなくなってしまうことでも、正しい測定が妨げられる。このように検査対象物の形状によって、置き方も変化させないと正しい高さ測定ができず、検査の精度に影響を及ぼすことがあった。すなわち、検査対象物の置き方によって検査結果も変化するため、安定した高さ測定を行うためには、検査対象の検査対象物を毎回決まった置き方とする必要があった。
本発明は、従来のこのような問題点に鑑みてなされたものである。本発明の主な目的は、高さ計測が可能な画像検査装置において、安定した高さ測定や検査を可能とした画像検査装置を提供することにある。
課題を解決するための手段及び発明の効果
上記の目的を達成するために、本発明の第1の側面に係る画像検査装置によれば、検査対象物を撮像した検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段と、検査対象物に対して均一な照明光を投光するための観察用照明光源と、前記観察用照明光源で投光され、検査対象物で反射された照明光を取得して観察画像を取得すると共に、前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、設定時に、前記高さ画像取得手段が取得した高さ画像に基づいて、測定部位と当該測定部位の測定結果に対する良否判定の基準を少なくとも含む検査設定を行うと共に、載置設定位置に置かれた測定対象物を前記撮像手段が撮像した観察画像、又は前記高さ画像取得手段が取得した高さ画像を検査基準画像として登録するための検査設定手段と、検査時に、前記ステージに載置された検査対象物の位置を調整するために、該検査対象物を撮像した観察画像と、前記検査設定手段により登録された検査基準画像とを同時に表示可能な表示手段と、前記検査設定手段により設定された検査設定に基づいて、画像検査を実行するための画像検査手段とを備えることができる。
また第2の側面に係る画像検査装置によれば、検査対象物を撮像した検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、検査対象物に対して斜め方向からパターンを有する測定光と、均一な照明光とを投光可能な測定光投光手段と、前記測定光投光手段で投光され、検査対象物で反射された照明光を取得して観察画像を取得すると共に、前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、設定時に、前記高さ画像取得手段が取得した高さ画像に基づいて、測定部位と当該測定部位の測定結果に対する良否判定の基準を少なくとも含む検査設定を行うと共に、載置設定位置に置かれた測定対象物を前記撮像手段が撮像した観察画像、又は前記高さ画像取得手段が取得した高さ画像を検査基準画像として登録するための検査設定手段と、検査時に、前記ステージに載置された検査対象物の位置を調整するために、該検査対象物を撮像した観察画像と、前記検査設定手段により登録された検査基準画像とを同時に表示可能な表示手段と、前記検査設定手段により設定された検査設定に基づいて、画像検査を実行するための画像検査手段とを備えることができる。
さらに第3の側面に係る画像検査装置によれば、上記何れかの構成に加えて、前記表示手段は、検査時に前記検査基準画像と前記観察画像である検査対象物のライブ映像を重ねて表示することができる。
さらにまた第4の側面に係る画像検査装置によれば、上記何れかの構成に加えて、前記表示手段は、検査時に前記検査基準画像と前記観察画像である検査対象物のライブ映像を並べて表示することができる。
さらにまた第5の側面に係る画像検査装置によれば、上記何れかの構成に加えて、さらに前記撮像手段で撮像した観察画像を用いて、検査対象物の画像をサーチするパターンマッチングを行うためのパターンマッチング手段を備えており、前記画像検査手段が、前記パターンマッチング手段でマッチングされた位置及び姿勢に対して検査を実行することができる。上記構成により、パターンマッチングは二次元の観察画像を用いて行うことにより、三次元の高さ情報を用いてパターンマッチングを行う方法に比べて処理を簡素化できる。
さらにまた第6の側面に係る画像検査装置によれば、上記何れかの構成に加えて、さらに焦点位置を変えて撮影した複数枚の観察画像から、合焦部位を抜き出して合成した合成深度画像を生成するための画像合成手段を備えており、前記パターンマッチング手段が、前記画像合成手段で合成された合成深度画像を用いてパターンマッチングを行うよう構成することができる。
さらにまた第7の側面に係る画像検査装置によれば、上記何れかの構成に加えて、さらに前記画像検査手段で画像検査を行う対象領域を測定エリアとして指定するための測定エリア指定手段を備え、前記測定エリア指定手段が、観察画像に対して設定する二次元測定エリアと、高さ画像に対して設定する三次元測定エリアとを、独立して設定可能に構成できる。
さらにまた第8の側面に係る画像検査装置によれば、上記何れかの構成に加えて、さらに前記ステージ上の検査対象物の位置を検出する位置検出手段を備え、前記位置検出手段で検出された載置位置が、前記検査設定手段で設定された載置設定位置となったことを判定すると、その旨を出力するよう構成できる。
また他の側面に係る画像検査装置によれば、検査対象物を撮像した検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段と、前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、前記高さ画像を検査対象画像として、該検査対象画像に対して所定の画像検査を実行するための画像検査手段と、検査対象物の縞投影画像を撮像手段で撮像するに際して、該縞投影画像に基づき高さ情報を取得可能な、前記ステージ上における検査対象物を載置する載置設定位置を含めた検査条件を設定するための検査設定手段と、検査対象物が前記ステージ上に置かれた初期位置と、前記検査条件として設定された載置設定位置とを比較して、該初期位置で高さ情報が取得可能かどうかを判定し、該判定結果が高さ情報取得不可能である場合に、該判定結果に基づく所定の出力を行う判定出力手段とを備えることができる。上記構成により、検査対象物を高さ情報を用いて検査するためにユーザがステージ上に検査対象物を置く際に、正確な高さ情報が取得できない位置に置かれた場合には、判定出力手段でもって高さ情報取得不可能である旨が出力されるので、無駄な検査を実行することを回避できる。
さらに他の側面に係る画像検査装置によれば、前記判定出力手段を、該初期位置では正しく撮像できない旨の警告をユーザに対して発するための警告手段とすることができる。上記構成により、ステージ上に置かれた検査対象物の初期位置では正確な検査が実行できないことをユーザに告知できるので、ユーザは検査対象物を置き直すなど必要な処置を講じることができ、検査エラーを回避した無駄のない動作が可能となる。
さらにまた他の側面に係る画像検査装置によれば、検査対象物を撮像した検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、検査対象物に対して斜め方向から測定光を投光して構造化照明を行うための測定光投光手段と、前記測定光投光手段で投光され、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像するための撮像手段と、前記複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得するための高さ画像取得手段と、前記撮像手段で撮像された検査対象物の画像に対して、所定の画像検査を実行するための画像検査手段と、検査対象物の画像を撮像するに際して、該検査対象物を前記ステージ上において、前記撮像手段で撮像して高さ情報を取得可能な載置設定位置を含めた検査条件を設定するための検査設定手段と、前記検査設定手段で設定された前記ステージ上の載置設定位置に、検査対象物を載置させるように誘導するための誘導手段とを備えることができる。上記構成により、検査対象物を検査する際に、誘導手段でもって正しい載置設定位置に検査対象物を載置させることにより正確な検査を実現できる。
さらにまた他の側面に係る画像検査装置によれば、前記誘導手段を、前記ステージ上に検査対象物が置かれた状態で、所定の精度で計測が行えないと判定した場合に、誘導を実行するよう構成できる。上記構成により、検査対象物が置かれた状態のままで計測が可能であれば誘導機能を実行することなく検査を実行し、所定の精度での計測ができない場合にのみ誘導機能を実行するようにして、効率のよい処理が可能となる。
さらにまた他の側面に係る画像検査装置によれば、検査対象物を撮像した検査対象画像に対して所定の画像検査を実行するための画像検査装置であって、検査対象物を載置するためのステージと、検査対象物の画像を撮像するための撮像手段と、検査対象物に対して光を照射するための投光手段と、前記撮像手段で撮像された画像に対して、検査を実行するための画像検査手段と、検査対象物の画像を撮像するに際して、検査条件を設定するための検査設定手段と、検査対象物が前記ステージ上に置かれた初期位置で、前記撮像手段で正しく撮像できるかどうかを判定するための判定手段と、前記判定手段で該初期位置では正しく撮像できないと判定された際に、警告を発する警告手段とを備えることができる。上記構成により、ステージ上に置かれた検査対象物の初期位置では正確な検査が実行できないことをユーザに告知できるので、ユーザは検査対象物を置き直すなど必要な処置を講じることができ、検査エラーを回避した無駄のない動作が可能となる。
さらにまた他の側面に係る画像検査装置によれば、前記判定手段で該初期位置で正しく撮像できると判定された際に、前記警告手段が撮像可能である旨の情報を出力するよう構成できる。上記構成により、ユーザは初期位置で正しく検査できることを告知されるので、該告知を指標として、ステージ上への初期位置の妥当さを把握することができる。
さらにまた他の側面に係る画像検査装置によれば、さらに前記判定手段で該初期位置では正しく撮像できないと判定された際に、正しく撮像可能な前記ステージ上の載置設定位置に、検査対象物を載置させるように誘導するための誘導手段を備えることができる。
さらにまた他の側面に係る画像検査装置によれば、前記検査設定手段で設定する検査条件が、前記ステージ上の載置設定位置に加えて、該載置設定位置に載置される検査対象物の姿勢を規定した載置設定姿勢を含むことができる。
さらにまた他の側面に係る画像検査装置によれば、前記検査設定手段で設定する検査条件が、照明光の方向、照明光の明るさ、前記撮像手段の露光時間、前記ステージの位置の少なくともいずれかを含むことができる。
さらにまた他の側面に係る画像検査装置によれば、さらに観察画像の撮像時の照明光を発生させるための観察用照明光源と、前記観察用照明光源を用いて撮像された、テクスチャ情報を有する観察画像を表示するための表示手段とを備えることができる。
さらにまた他の側面に係る画像検査装置によれば、さらに焦点位置を変えて撮影した複数枚の観察画像から、合焦部位を抜き出して合成した合成深度画像を生成するための画像合成手段を備えており、前記パターンマッチング手段が、前記画像合成手段で合成された合成深度画像を用いてパターンマッチングを行うよう構成できる。上記構成により、三次元の画像を用いた複雑なパターンマッチングを回避し、より簡素に検査基準画像の位置合わせを行うことができる。
さらにまた他の側面に係る画像検査装置によれば、前記パターンマッチング手段が、前記撮像手段で撮像した観察画像の全体を用いて、検査対象物の画像をサーチするマッチングを行うことができる。上記構成により、観察画像の全体をサーチすることで、検査基準画像の位置合わせを確実に行うことができる。
さらにまた他の側面に係る画像検査装置によれば、前記パターンマッチング手段が、前記撮像手段で撮像した観察画像の内、所定の特徴部分を用いて、検査対象物の画像をサーチするマッチングを行うことができる。上記構成により、観察画像の全体をサーチしないで済むため、より短時間で検査基準画像のサーチを行うことができる。
さらにまた他の側面に係る画像検査装置によれば、特徴部分を、画像処理により自動で抽出するよう構成できる。
さらにまた他の側面に係る画像検査装置によれば、前記測定光投光手段をDMDとできる。
さらにまた他の側面に係る画像検査装置によれば、前記測定光投光手段が、前記ステージ上の載置設定位置に検査対象物を置いた状態の画像を前記ステージ上に投影させることができる。上記構成により、投光手段としてDMDを用いたことで、画像の投影用途にも利用することが可能であるので、投影用の部材を別途用意することなく、検査基準画像を重ねて表示させることが可能となる。
さらにまた他の側面に係る画像検査装置によれば、前記測定光投光手段が、前記ステージ上の載置設定位置に検査対象物を置くためのガイドを表示させることができる。
さらにまた他の側面に係る画像検査装置によれば、前記測定光投光手段は、測定光の光源である測定光源と、前記測定光源から検査対象物までの測定光の光路上に配置され、前記測定光源が発する測定光の周期的な投影パターンを生成して検査対象物に投光するパターン生成部とを含んでおり、前記パターン生成部は、測定光を検査対象物に投光する投光状態と、測定光を検査対象物に投光しない非投光状態を、測定制御部によって切り替え可能であり、前記測定制御部は、前記観察用照明光源を検査対象物に照射して観察画像を撮像する際に、前記測定光源を点灯させたまま、前記パターン生成部を非投光状態とすることができる。
さらにまた他の側面に係る画像検査装置によれば、前記画像検査手段が、検査対象画像に対して所定の計測を行うための計測手段を備えており、前記計測手段で計測された計測結果に基づいて、画像検査を実行できる。上記構成により、検査対象物の所定部位の長さや角度といった計測を行った結果に基づいて、良品や不良などの判定といった検査を行うことが可能となる。
さらにまた他の側面に係る画像検査方法によれば、検査対象物を含む検査対象画像を撮像して、該撮像された検査対象画像に対して所定の画像検査を実行するための画像検査方法であって、画像検査の設定時において、検査対象物を、ステージ上に載置して縞投影画像を撮像し、該検査対象物の高さ情報を取得可能な載置設定位置を予め設定する検査設定工程と、画像検査の運用時において、前記設定された載置設定位置に検査対象物を載置させるように誘導する誘導工程と、前記ステージ上に載置された検査対象物に対して、測定光投光手段で斜め方向から測定光を投光する構造化照明を行い、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像手段で撮像し、得られた複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する工程と、前記撮像手段で撮像された検査対象物の画像に対して、画像検査手段で所定の画像検査を実行する工程とを含むことができる。これにより、検査対象物を検査する際に、誘導手段でもって正しい載置設定位置に検査対象物を載置させることにより正確な検査を実現できる。
さらにまた他の側面に係る画像検査方法によれば、前記検査設定工程において、検査対象物を撮像した画像上の任意の部位に検査対象となる測定エリアを設定する工程を含むことができる。
さらにまた他の側面に係る画像検査方法によれば、前記誘導工程の実行に先立ち、前記ステージ上に検査対象物を載置させた状態で、前記ステージ上に載置された検査対象物の載置位置に基づいて、前記画像検査を実行する工程が実行が可能か否かを判定し、前記画像検査を実行する工程の実行が困難と判定された場合は、前記誘導工程を実行させて、前記画像検査を実行する工程の実行が可能な載置位置に修正するように促し、前記画像検査を実行する工程の実行が可能と判定された場合は、前記誘導工程をスキップさせる誘導有無判定工程を含むことができる。これにより、予めユーザに検査対象物を載置させ、この載置位置で検査が行えない場合には、正しい載置位置に誘導することで検査の実行を担保する一方、載置位置が正確な場合には誘導工程を省略して、処理の簡素化及び処理時間の短縮化を図ることが可能となる。
さらにまた他の側面に係る画像検査方法によれば、検査対象物を含む検査対象画像を撮像して、該撮像された検査対象画像に対して所定の画像検査を実行するための画像検査方法であって、画像検査の設定時において、検査対象物を、ステージ上に載置して縞投影画像を撮像し、該検査対象物の高さ情報を取得可能な載置設定位置と、画像検査手段で検査する検査内容を予め設定する検査設定工程と、前記検査内容に応じて、検査対象物の高さ情報が必要な場合は高さ画像を撮像し、二次元画像で足りる場合は、二次元画像を撮像する工程と、前記撮像された画像に対して、前記画像検査手段で検査を行う画像検査工程とを含むことができる。
さらにまた他の側面に係る画像検査方法によれば、検査対象物を含む検査対象画像を撮像して、該撮像された検査対象画像に対して所定の画像検査を実行するための画像検査方法であって、画像検査の設定時において、検査対象物を、ステージ上に載置して縞投影画像を撮像し、該検査対象物の高さ情報を取得可能な載置設定位置を予め設定する検査設定工程と、前記ステージ上に検査対象物を載置するように促す工程と、前記ステージ上に載置された検査対象物の載置位置に基づいて、検査の実行が可能か否かを判定し、現在の検査対象物の載置位置では検査を実行できないと判定された場合は、警告を表示する工程と、検査の実行が可能と判定された場合は、前記ステージ上に載置された検査対象物の画像を撮像し、得られた検査対象物の画像に対して、画像検査手段で所定の画像検査を実行する工程とを含むことができる。これにより、検査対象物を検査する際に、正しい載置設定位置に置かれていない場合は警告を発して検査を実行しないよう構成できる。
さらにまた他の側面に係る画像検査プログラムによれば、検査対象物を含む検査対象画像を撮像して、該撮像された検査対象画像に対して所定の画像検査を実行するための画像検査プログラムであって、画像検査の設定時において、検査対象物を、ステージ上に載置して縞投影画像を撮像し、該検査対象物の高さ情報を取得可能な載置設定位置を予め設定する検査設定機能と、画像検査の運用時において、前記設定された載置設定位置に検査対象物を載置させるように誘導する誘導機能と、前記ステージ上に載置された検査対象物に対して、測定光投光手段で斜め方向から測定光を投光する構造化照明を行い、検査対象物で反射された測定光を取得して複数の縞投影画像を撮像手段で撮像し、得られた複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する高さ画像生成機能と、前記撮像手段で撮像された検査対象物の画像に対して、画像検査手段で所定の画像検査を実行する検査機能とをコンピュータに実現させることができる。上記構成により、検査対象物を検査する際に、誘導手段でもって正しい載置設定位置に検査対象物を載置させることにより正確な検査を実現できる。
また他のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納するものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray(商品名)、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC、DSP)等のハードウエア、又はプログラムソフトウエアとハードウエアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための画像検査装置を例示するものであって、本発明は画像検査装置を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
また本明細書において「高さ画像」という場合には、高さ情報を含む画像の意味で使用し、例えば高さ画像に観察画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む意味で使用する。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像は高さ情報を輝度等に変換して二次元画像として表示したり、または高さ情報をZ座標情報として三次元状に表示することが可能である。
さらに本明細書において検査対象物をステージ上に置く「姿勢」とは、検査対象物の回転角度を意味する。なお、検査対象物が円錐のような平面視において点対称の形状の場合は、回転角度に依らず同じ結果が得られるため、姿勢は規定する必要がない。
(実施例1)
画像検査装置は、検査対象物の画像(検査対象画像)を撮像し、得られた検査対象画像に対して、予め検査対象物の基準品に対して設定された部位を計測して検査を行うための装置である。ここで本明細書においては、このような検査対象画像に対する所定の検査を「画像検査」と呼ぶ。また本明細書において「検査」とは、検査対象物の寸法や角度などの計測結果に基づいて、これを所定の基準値と比較して良品又は不良品の判定を行う他、計測結果を表示部上に表示させたりデータとして出力させた上で、最終的な検査をユーザに委ねるような形態も「検査」に含む。さらに本明細書において「検査設定」には、画像検査の検査条件の設定の他、画像検査の対象となる画像を撮像するための撮像条件も含む。
またこの画像検査装置は、検査対象画像の二次元の寸法のみならず、三次元の高さ計測も行うことができる。図1に、本発明の実施例1に係る画像検査装置のブロック図を示す。この図に示す画像検査装置500は、撮像手段100、制御手段200、光源部300及び表示部400を備える。この画像検査装置は、光源部300で構造化照明を行い、縞投影画像を撮像して高さ情報を有する高さ画像を生成し、これに基づいて検査対象物Sの三次元寸法や形状を計測することができる。このような縞投影を用いた測定は、検査対象物SやレンズをZ方向に移動させることなく高さ測定ができるため、測定時間を短くできるという利点がある。
(撮像手段100)
図1の画像検査装置500の撮像手段100の構成を図2のブロック図に示す。撮像手段100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、測定制御部150、及びこれらを収納する本体ケース101、並びにステージ140を備える。投光部110は、測定光源111、パターン生成部112及び複数のレンズ113、114、115を含む。受光部120は、カメラ121及び複数のレンズ122、123を含む。ステージ140上には、検査対象物Sが載置される。本体ケース101は、樹脂や金属製の筐体とする。
(投光部110)
投光部110は、ステージ140の斜め上方に配置される。この撮像手段100は、複数の投光部110を含んでもよい。図2の例においては、撮像手段100は2つの投光部110を含む。ここでは、第一の方向から検査対象物Sに対して第一測定光ML1を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から検査対象物Sに対して第二測定光ML2を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部120の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。さらにこの例では投光部が投光する照明光の、垂直方向に対する照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
各第一測定光投光部110A、第二測定光投光部110Bは、それぞれ第一測定光源111A、第二測定光源111Bを備える。これら測定光源111A、111Bは、例えば白色光を出射するハロゲンランプである。測定光源111A、111Bは、白色光を出射する白色LED(発光ダイオード)や有機EL等の他の光源であってもよい。測定光源111A、111Bから出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射される。
(パターン生成部112)
パターン生成部112は、測定光を検査対象物Sに対して投光させるよう、測定光源111から出射された光を反射させる。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、ステージ140上の検査対象物Sに照射される。
パターン生成部112は、測定光を検査対象物Sに投光させる投光状態と、測定光を検査対象物Sに投光させない非投光状態とを切り替え可能な部材である。このようなパターン生成部112には、例えばDMD(デジタルマイクロミラーデバイス)が好適に利用できる。DMDを用いたパターン生成部112は、投光状態として測定光を光路上に反射させる反射状態と、非投光状態として測定光を遮光させる遮光状態とを切り替え可能に、測定制御部150により制御できる。ここで、第一測定光投光部110A側に設けられた第一パターン生成部112A、及び第二測定光投光部110B側に設けられた第二パターン生成部112Bを、共に反射状態とした様子を図3に、また第一パターン生成部112A、第二パターン生成部112Bを共に遮光状態とした様子を図4に、さらに第一パターン生成部112Aを反射状態とし、第二パターン生成部112Bを遮光状態とした様子を図5に、さらにまた第一パターン生成部112Aを遮光状態とし、第二パターン生成部112Bを反射状態とした様子を図6に、それぞれ示す。
(DMD)
DMDの外観の平面図を図7Aに、その拡大平面図を図7Bに、拡大斜視図を図7Cに、それぞれ示す。これらの図に示すように、DMDは多数のマイクロミラー(微小鏡面)MMを平面上に配列した素子である。各マイクロミラーMMは表示素子の1画素に相当し、可動式で電極を駆動することで反射位置(ON状態)又は遮光位置(OFF状態)に切り替えられる。各マイクロミラー単位でのON状態とOFF状態の切り替えは、測定制御部150からの信号により電気的に制御することができる。マイクロミラーがON状態のときは、図3において破線で示すように、測定光源111からの測定光MLを投光部110の光軸側に反射させて、検査対象物Sに対して投光可能となる。一方、マイクロミラーがOFF状態のときは、図4において一点鎖線で示すように、測定光源111からの測定光MLを投光部110の光軸とは異なる方向に反射させて、検査対象物Sへの投光を事実上遮断する。反射方向は、例えば光吸収体やヒートシンクといった、照明光等に影響を与えない部材のある方向とできる。
各マイクロミラーは、測定制御部150により個別にON状態、OFF状態を切り替えることができるので、多数のマイクロミラーのON状態、OFF状態を組み合わせて、所望の投影パターンを構成できる。これによって、三角測距に必要なパターンを生成して、検査対象物Sの測定が可能となる。このようにDMDは、測定時には測定用の周期的な投影パターンを検査対象物Sに投光する投影パターン光学系として機能する。またDMDは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。
(測定光の遮光状態)
さらにDMDは、各マイクロミラーをOFF状態とすれば、測定光MLが検査対象物Sに投光されない遮光状態を作り出すことができ、測定光源111を点灯させたままで事実上測定光MLを遮断できる。このため、観察画像を撮像する際に、測定光源111を消灯することなく、点灯状態を維持したままで測定光MLを遮断する状態を作り出すことが可能となる。このことは、撮像手段100を熱的に安定させた状態を維持しつつ、観察画像の撮像が可能なことを意味し、精度的に有利となる。
このようにして、測定光源111を点灯させたままで、測定画像の撮像と観察画像の撮像が可能となる。例えば、撮像手段で観察画像を撮像する場合は、観察用照明光源320をONさせると共に、図4に示すように第一パターン生成部112A及び第二パターン生成部112Bの両方を遮光状態とする。これによって観察用照明光源320を点灯させて照明光ILを検査対象物Sに照射させる一方、第一測定光源111Aを点灯させたまま、第一パターン生成部112Aが非投光状態として、第一測定光ML1が検査対象物Sに投光されない第一測定光非投光状態となる。また第二測定光源111Bも点灯させたままで、第二パターン生成部112Bを非投光状態として、第二測定光ML2が検査対象物Sに投光されない第二測定光非投光状態となる。これにより、測定光に邪魔されることなく撮像部で観察画像を撮像できる。
また第一測定光投光部110Aと第二測定光投光部110Bの両方から投光させた測定画像(第三測定画像)を撮像する場合は、図3に示すように第一パターン生成部112A及び第二パターン生成部112Bの両方を反射状態とし、かつ観察用照明光源320をOFFとする。すなわち、第一測定光源111Aを点灯させて、第一測定光ML1がレンズ113Aにより適切に集光された後、投光状態とされた第一パターン生成部112Aに入射され、所定の光路に向かって反射されて、複数のレンズ114A、115Aを経て適切な径に変換された後、ステージ140上の検査対象物Sに投光される第一測定光投光状態となる。また第二測定光源111Bについても同様に点灯されて、第二測定光ML2がレンズ113Bにより適切に集光された後、投光状態とされた第二パターン生成部112Bに入射され、所定の光路に向かって反射されて、複数のレンズ114B、115Bを経て適切な径に変換された後、検査対象物Sに投光される第二測定光投光状態となる。このような第一測定光投光状態、第二測定光投光状態となるよう、測定制御部150が制御する。なお、観察用照明光源320は消灯させるか、あるいはシャッターなどによって遮光させる。これによって、第一測定光ML1のみを投光させて第一測定画像を撮像手段で撮像できる。なお、第三測定画像は必ずしも測定に直接使用するものでなく、見え方の確認等の用途で適宜利用できる。
さらに第一測定光投光部110A側からの測定光のみで測定画像(第一測定画像)を撮像する場合は、図5に示すように第一パターン生成部112Aを反射状態とし、第二パターン生成部112Bを遮光状態とする。すなわち、第一測定光源111Aを点灯させたまま、第一パターン生成部112Aを投光状態として、第一測定光ML1が検査対象物Sに投光される第一測定光投光状態とし、かつ第二測定光源111Bを点灯させたまま、第二パターン生成部112Bを非投光状態として、第二測定光ML2が検査対象物Sに投光されない第二測定光非投光状態とするように、測定制御部150で制御する。
逆に第二測定光投光部110B側からの測定光のみで測定画像(第二測定画像)を撮像する場合は、図6に示すように第一パターン生成部112Aを遮光状態とし、第二パターン生成部112Bを反射状態とする。すなわち、第一測定光源111Aを点灯させたまま、第一パターン生成部112Aを非投光状態として、第一測定光ML1が検査対象物Sに投光されない第一測定光非投光状態とし、かつ第二測定光源111Bを点灯させたまま、第二パターン生成部112Bを投光状態として、第二測定光ML2が検査対象物Sに投光される第二測定光投光状態とするように、測定制御部150で制御する。なお、第一測定画像、第二測定画像のいずれの撮像に際しても、第三測定画像の場合と同様に観察用照明光源320は消灯させるか、あるいはシャッターなどによって遮光させる。
このようにして、観察画像の撮像時に測定光が干渉することなく、また測定画像の撮像時には、不要な方向からの測定光や照明光が干渉することなく、各画像を撮像できるようになり、高品質な測定画像を撮像して、計測の精度も向上できる。
なおDMDで測定光を遮断する遮光状態は、実質的に測定光を遮光できれば足りる。すなわち、DMDはマイクロミラーを数十万個から数百万個備えているので、例えば動作不良等の原因により一部のマイクロミラーがOFFしないとしても、他のマイクロミラーをOFF状態として測定光の大部分を遮断できれば足りる。このように測定光の遮光状態とは、測定光の光量が、照明光による観察画像の撮像を実質的に妨げないレベルにまで低下させた状態を意味する。
また図4の例では、説明を判り易くするため、DMDの遮光状態において反射光をパターン生成部112から異なる方向に反射させた状態を示しているが、反射方向をDMD内部に設けられた光吸収体とすることで、本体ケース101内部に余計な測定光が照射される事態を回避できる。すなわちDMDの遮光状態とは、測定光をDMDから狙った方向(ここでは検査対象物Sの方向)とは異なる方向に反射させる場合、あるいはDMDに入射された測定光を事実上吸収する場合を含む。
なお以上の例ではパターン生成部112にDMDを用いた例を説明したが、本発明はパターン生成部112をDMDに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部112として、反射型の部材に代えて透過型の部材を用いて、測定光の透過量を調整してもよい。この場合は、パターン生成部112を測定光の光路上に配置して、測定光を透過させる投光状態と、測定光を遮光させる遮光状態とを切り替える。このようなパターン生成部112には、例えばLCD(液晶ディスプレイ)が利用できる。また、パターン生成部112としてその他LCOS(Liquid Crystal on Silicon:反射型液晶素子)やマスク等も利用できる。
さらに図2等の例では、測定光投光部を2つ備えた例を説明したが、本発明はこれに限らず、測定光投光部を3以上設けることも可能である。あるいは、測定光投光部を一のみとすることもできる。この場合は、測定光投光部の位置を移動可能とすることで、異なる方向から測定光を検査対象物Sに対して投光できる。
(受光部120)
受光部120は、ステージ140の上方に配置される。検査対象物Sによりステージ140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。
ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
このようにして撮像された検査対象物Sの画像は、レンズの特性によって、検査対象物Sに対して極めて正確な相似形を成している。またレンズの倍率を用いてキャリブレーションをすることで、画像上の寸法と実際の検査対象物S上の寸法を正確に関連付けることができる。
(測定制御部150)
測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次制御手段200に転送される。
(制御手段200)
図1に示すように、制御手段200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。制御手段200には、PC(パーソナルコンピュータ)等が利用できる。また、操作部250は、キーボード及びポインティングデバイスを含む。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。また操作部250は、画像検査を行うために予め検査条件を設定するための検査設定手段251や、画像検査を行う対象領域である測定エリアを設定するための測定エリア指定手段252としても機能する(詳細は後述)。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、画像検査装置操作プログラム及び三次元画像計測プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。さらに記憶装置は、測定画像を構成する画素毎に、輝度情報、高さ情報、属性情報を記憶する。
(CPU210)
CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。さらにこのCPUは、後述する高さ画像取得手段228と、測定画像合成手段211と、誘導手段214と、警告手段215と、画像検査手段216と、位置演算手段217と、パターンマッチング手段221と、三次元画像合成手段213、判定手段218、判定出力手段222、撮像高さ範囲設定手段224の機能を実現することもできる。
ここで高さ画像取得手段228は、複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する。また測定画像合成手段211は、同じ検査対象物Sに対して、第一測定光投光部を用いて撮像した第一測定画像から計算した高さ画像と、第二測定光投光部を用いて撮像した第二測定画像から計算した高さ画像とを合成し、一の合成高さ画像を生成する。また誘導手段214は、検査設定手段251(詳細は後述)で設定されたステージ140上の載置設定位置に、検査対象物Sを載置させるようにユーザを誘導する。
(画像検査手段216)
画像検査手段216は、撮像手段100で撮像された検査対象物Sの画像に対して、所定の画像検査を実行する。この画像検査手段216は、検査対象画像に対して所定の計測を行うための計測手段を含むことができる。これにより、計測手段で計測された計測結果に基づいて画像検査を実行できる。例えば、検査対象物Sの所定部位の長さや角度といった計測を行った結果に基づいて、良品や不良などの判定といった検査を行うことが可能となる。計測手段が行う計測には、観察画像上で指定したプロファイル線を通り、画面に対して垂直な平面で切断した輪郭線を演算して、プロファイルグラフとして表示部400に表示させたり、プロファイルグラフで示す輪郭線から円や直線などを抽出して、それらの半径や距離を求めることができる。
位置演算手段217は、検査対象物Sを撮像手段100で正しく撮像可能なステージ140上の載置範囲を演算する。また警告手段215は、検査対象物Sの置かれた位置が位置演算手段217で演算された載置範囲に含まれていない場合に、ユーザに対して警告を表示させる。さらにパターンマッチング手段221は、撮像手段100で撮像した観察画像に対して、検査基準画像をサーチするパターンマッチングを行うための部材である。また判定手段218は、検査対象物がステージ140上に置かれた初期位置で、撮像手段100で正しく撮像できるかどうかを判定するための部材である。さらにまた撮像高さ範囲設定手段224は、検査設定手段251で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、撮像手段100で高さ画像を撮像する際の撮像高さ範囲を設定するための部材である。
このようにCPU210は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各手段や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
(表示部400)
表示部400は、撮像手段100で取得された縞投影画像や、縞投影画像に基づいて高さ画像取得手段228で生成した高さ画像、あるいは撮像手段100で撮像された観察画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。さらに表示部にタッチパネルを利用することで、操作部と兼用することができる。
(ステージ140)
図2において、検査対象物Sが載置されるステージ140上の平面(以下、「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。ステージ140の載置面に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
ステージ140は、X−Yステージ141、Zステージ142及びθステージ143を含む。X−Yステージ141は、X方向移動機構及びY方向移動機構を有する。Zステージ142は、Z方向移動機構を有する。θステージ143は、θ方向回転機構を有する。X−Yステージ141、Zステージ142及びθステージ143により、ステージ140が構成される。また、ステージ140は、載置面に検査対象物Sを固定する図示しない固定部材(クランプ)をさらに含む。ステージ140は、載置面に平行な軸を中心に回転可能な機構を有するチルトステージをさらに含んでもよい。
ユーザは、ステージ操作部144を手動で操作することにより、ステージ140の載置面を受光部120に対して相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。
ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、ステージ140の焦点が最も合うピント平面で互いに交差するように、受光部120、投光部110、ステージ140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向にステージ140が回転した際に、検査対象物Sが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。また、Z方向移動機構に対して、これらXYθ及びチルト移動機構は支持されている。すなわち、ステージをθ方向に回転させたり、チルトさせた状態であっても、受光部120の中心軸と、Z方向の移動軸にずれが生じない構成になっている。このようなステージ機構により、検査対象物Sの位置や姿勢を変化させた状態であっても、Z方向にステージ140を移動させて異なる焦点位置の画像を複数撮像して合成することが可能となる。
なお、本実施の形態ではステージを手動で移動させる構成について説明したが、自動でステージを移動させる駆動機構を設けることもできる。例えば、モータにより駆動可能な電動ステージを採用してもよい。変形例1として図41に示す画像検査装置4100(後述)では、ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構として、ステッピングモータを利用している。ステージ140のX方向移動機構、Y方向移動機構、Z方向移動機構及びθ方向回転機構は、図41のステージ操作部144又はステージ駆動部145により駆動される。ステージ駆動部145は、制御手段200より与えられる駆動パルスに基づいて、ステージ140のステッピングモータに電流を供給することにより、ステージ140を受光部120に相対的にX方向、Y方向もしくはZ方向に移動させるか、又はθ方向に回転させることができる。ステージ駆動部145を駆動する駆動パルスは、CPU210により供給される。
(光源部300)
光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、制御手段200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、又は制御手段200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、撮像手段100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される照明光ILは、導光部材(ライトガイド)を通して撮像手段100の照明光出力部130から出力される。なお観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HIDなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。
照明光出力部130から出力される照明光ILは、赤色光、緑色光及び青色光を時分割で切り替えて検査対象物Sに照射する。これにより、これらのRGB光でそれぞれ撮像された観察画像を合成して、カラーの観察画像を得て、表示部400に表示させることができる。
このようにしてカラーの観察画像を表示させる際、照明光の色を切り替える切替周波数を、表示部400で表示内容を更新する(画面を書き換える)際のフレームレートと一致させると、フレームレートが低い場合(例えば数Hz程度)は、ちらつきが顕著となる。特に、RGBの原色によるカラー切り替えが目立つと、ユーザに不快感を与えることがある。そこで、RGBの照明光を切り替える切替周波数を、ユーザが人の目で認識できない程度の高速(例えば数百Hz)とすることで、このような問題を回避できる。照明光の色の切り替えは、照明光出力部130等により行われる。また、高速で照明光のRGBを切り替えつつも、実際に撮像手段100で検査対象物Sを撮像するタイミングは、表示部400の表示内容の更新のタイミングとする。すなわち、観察像の撮像のタイミングと照明光の切り替えのタイミングは完全に一致させる必要はなく、撮像素子によるRGBの観察画像の撮像が可能な程度に、いいかえると照明光のRGBの切り替え周期が撮像周期の倍数となるようにリンクさせることで対応できる。この方法であれば、照明光の切り替えのタイミングを高速化することができ、撮像素子121aで処理可能なフレームレートを向上させることなく、ユーザに与える不快感を低減できる。
図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むようにステージ140の上方に配置される。これにより、影が発生しないように照明光出力部130から検査対象物Sにリング状に照明光が照射される。
また照明光出力部130は、このようなリング照明に加えて、透過照明や同軸落射照明を加えることもできる。図2の例では、透過照明手段をステージ140に設けている。透過照明手段は、ステージ140の下方から検査対象物Sを照明する。このためステージ140は、透過照明光源と、反射板と、照明用レンズ系を設けている。
なお、リング照明や透過照明は、適宜省略することも可能である。これらを省略する場合は、三次元測定用の照明すなわち投光部を用いて、二次元画像の撮像を行うこともできる。
図1の例では観察用照明光源320を本体ケース101に含めず、撮像手段100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320から供給される照明光の品質を向上し易くできる。例えば観察用照明光源320を構成するRGBの各LEDでは配光特性がそれぞれ異なることから、モノクロの撮像素子121aでRGBの観察画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのLEDの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で撮像手段100に導入することができる。
また観察用照明光源320の発熱が、撮像手段100の光学系に影響を与える事態を回避できる。すなわち、光学系の部材の近傍に熱源があると、熱膨張によって寸法が狂い、測定精度の低下が生じることがあるが、発熱源である観察用照明光源を本体ケース101から排除したことで、このような観察用照明光源の発熱に起因する問題を回避できる。また、この結果として発熱量の大きい高出力の光源を観察用照明光源に利用できる利点も得られる。
(実施の形態2)
ただ、発熱量の小さい観察用照明光源を利用したり、あるいは相応の放熱機構を撮像手段側に設けるなどして、撮像手段側に観察用照明光源を設けることもできる。このような例を実施の形態2として図8に示す。この図に示す撮像手段100’は、観察用照明光源320’として、発熱量の少ない白色LEDを用いている。この例では複数の白色LED素子を、レンズ122の周囲にリング状に配置して環状の照明光を生成している。このような構成によって、光源部と撮像手段とを光学的に接続するための導光部材や、照明光出力部を不要とでき、構成を簡素化できる利点が得られる。
(画像検査装置操作プログラムのGUIの例)
画像検査装置は、制御手段200であるPCに画像検査装置500を操作するための操作プログラムをインストールしている。表示部400には、画像検査装置操作プログラムを操作するためのGUI(Graphical User Interface)が表示される。このようなGUI画面の一例を図9に示す。この例においては、表示部400において、第一測定光投光部110Aから第一測定光ML1が照射された検査対象物Sの第一測定画像S1と、第二測定光投光部110Bから第二測定光ML2が照射された検査対象物Sの第二測定画像S2とが並ぶように、表示させることができる。これら第一測定画像S1や第二測定画像S2は、高さ画像取得手段228で高さ画像を演算、生成するためのもととなる画像であり、この時点では未だ高さ情報を有していない。この例では、表示部400の左側に設けられた画像表示領域410の、右側に第一表示領域416を、左側に第二表示領域417を設けている。このような2画面表示とすることで、各測定光で得られる測定画像の様子、特に影となる領域等を対比しながら確認できる。なお、画像表示領域の分割例は、このように左右に並べる構成に限らず、上下に並べる、あるいは別画面として構成する等、任意の構成が適宜利用できる。
(観察画像を用いた画像検査)
以上の画像検査装置は、このようにして検査対象物Sの検査対象画像を撮像すると共に、得られた検査対象画像に対して、予め検査対象物の基準品に対して設定された部位を計測して検査を行うことができる。このような画像検査は、二次元の観察画像に対しても、また三次元の高さ画像に対しても行うことができる。
次に、観察用照明光源320を用いて撮像した二次元の観察画像でもって、画像検査を行う手順を、図10のフローチャートに基づいて説明する。まず、検査設定を作成し(ステップS1001)、ユーザがステージ140上に検査対象物Sを置いて、検査対象物Sを撮像し(ステップS1002)、得られた検査対象画像に対して所定の画像検査を実行し(ステップS1003)、検査結果を表示する(ステップS1004)という手順となる。以下、各工程の詳細を説明する。
(検査設定の作成)
検査設定の作成に際しては、例えば図11のイメージ図に示すように、検査対象物Sに対して測定したい部位を設定しておく。この設定は、例えば画像検査プログラムの検査設定画面から行う。具体的には、検査対象物Sを特定の姿勢(回転角度)に置いた状態で、長さや角度など、検査したい部位を指定する。ここで設定した検査対象物Sの画像は、検査基準画像として登録される。
(検査対象画像の取得)
このようにして検査設定が行われた状態で、実際の運用時に際しては、ユーザがステージ140上に検査対象物Sを載置する。この際、ユーザは検査対象物の置き方を特に意識することなく、ステージ140上の任意の位置に、任意の姿勢で、すなわち検査対象物の回転位置(回転角度)を意識することなく、載置する。そして、画像検査装置で検査対象物Sを撮像し、検査対象画像を取得する。この状態では、図12のイメージ図に示すように、検査設定画面で規定した検査基準画像の姿勢とは必ずしも一致しない。
なお、ユーザがステージ上に検査対象物を載置するに際しては、画像検査装置を動作状態として、画像検査の処理が可能となった状態でユーザに対し、ステージ上に検査対象物を置くように促すこともできるし、あるいはユーザが先にステージ上に検査対象物を置いた状態で、画像検査装置を動作させる(例えば検査実行ボタンを押す)こともできる。さらに検査処理の実行に際しても、ユーザが検査対象物をステージ上に載せた後に、検査実行ボタンを押すことで画像検査を実行させる態様の他、画像検査装置側で、ステージ上に検査対象物が載置されたことを検出すると、自動的に画像検査を実行するように構成してもよい。
(検査の実行)
この状態で検査を実行するには、検査対象物Sを撮像した検査対象画像に対して、検査基準画像の含まれる位置及び姿勢(回転角度)を探すサーチを行う。ここでは、二次元の観察画像に対してパターンマッチングを行う。すなわち、パターンマッチング手段221が、検査対象物Sを撮像した二次元画像に対してサーチウィンドウを移動させながら、検査基準画像が含まれている位置と姿勢を検出する。そして検出された検査対象画像中の位置及び姿勢で、検査設定に従い、画像検査を実行する。
(パターンマッチング手段221)
このように、検査基準画像を検索するパターンマッチングは、三次元の画像に対して行うのでなく、二次元の観察画像に対して行うことで、三次元のパターンマッチングに要する膨大な計算量を大幅に簡略化して、迅速、軽負荷にて検査基準画像の位置合わせを行うことができる。
またパターンマッチング手段221は、観察画像の全体を用いて、検査対象物Sの画像をサーチするマッチングを行い、このマッチングされた位置及び姿勢に対して画像検査手段216が画像検査を実行するように構成してもよい。この方法であれば、観察画像の全体をサーチすることで、検査基準画像の位置合わせを確実に行うことができる。一方でパターンマッチング手段221は、観察画像の全体に限らず、その一部、具体的には特徴部分を用いて、検査対象物の画像をサーチするマッチングを行い、このマッチングされた位置及び姿勢に対して検査手段で検査を実行するよう構成してもよい。この方法であれば、観察画像の全体をサーチしないで済むため、より短時間で検査基準画像のサーチを行うことができる。ここで特徴部分は、画像処理手段で検査対象画像に対して画像処理により自動で抽出することができる。
(検査結果の表示)
検査結果(例えば寸法や角度)は、表示部400上に表示される。この際、図13に示すように、検査対象画像中で検出された検査基準画像と対応する検査対象物Sの位置及び姿勢に重ねて、検査結果を表示させる。すなわち、図13のように検査対象物Sが傾いて載置されている場合は、検査結果もこれに追従して傾いた状態で表示される。
このように、二次元画像を利用して画像検査を行う場合は、パターンマッチングを用いて位置合わせを行うため、ユーザは検査対象物の置き方を特に気にすることなく、任意の位置に任意の姿勢で置いても、測定及び検査が実行できる。
(三次元画像検査)
一方、三次元画像を利用する場合は、三次元画像の撮像自体が、置き方によって変化するという特有の問題がある。すなわち、構造化照明を用いて高さ情報を取得する場合は、構造化照明の当て方によって、高さ情報を取得できる場合とできない場合が生じる。例えば図14に示すような観察対象物に対して、図において左側から右側に向かって照明光を照射した場合は、図15に示すように、構造化照明が当たらなかった影部分は測定できない、すなわち高さ情報が得られないことになる。このため、構造化照明を照射する際に、照明用光源との位置関係で影ができないような置き方とする必要が生じ、これは従来の二次元画像に対する画像検査では生じなかった、三次元画像を用いた画像検査に特有の課題である。
また、別の検査対象物として、図16に示すようなクリップを用いる場合は、構造化照明を照射すると図17のような縞投影画像が得られ、この縞投影画像に基づいて図18に示すような高さ画像が得られる。この例では、検査対象物Sの方向と、縞投影画像で得られる縞の向きを直交させることで、影ができず、正確な高さ画像が得られ、測定や検査も精度良く行える。
一方、同じ検査対象物Sを図19に示すように縦置きの姿勢でステージ上に置くと、図20に示すように、検査対象物Sの形状が縞投影画像の縞の方向と平行に近付くため、影が生じ、さらに多重反射の影響も生じて、図21に示すように正確な高さ画像を得ることができない。また、検査対象物の形状によっては、縞同士の間隔が狭くなり、縞が分離できなくなってしまうことで正しく測定できないこともある。
(載置位置判定機能)
このように、縞投影に基づいた高さ測定を行う場合は、同じ検査対象物であっても、検査対象物のステージ上への置き方によって三次元の高さ画像の精度が変化する。このため、安定した高さ測定結果を得るためには、毎回決まった置き方をすることが求められる。いいかえると、二次元の画像検査のように、どのように置いても同じ測定、検査結果が得られるのとは状況が異なる。このような背景に鑑み、本実施例では、縞投影で安定して高さ測定、検査ができる位置に検査対象物が置かれるように、必要に応じてユーザに対策を促す載置位置判定機能を提供する。具体的には、画像検査装置は、検査対象物がユーザによってステージ上に置かれた初期位置と、検査条件として設定された載置設定位置とを比較して、この初期位置で高さ情報が取得可能かどうかを判定し、この判定結果が高さ情報取得不可能である場合には、判定結果に基づく所定の出力を行う判定出力手段222を備えている。これによって検査対象物の縞投影画像を撮像手段100で正しく撮像できない状態を回避する適切な対策を講じることが可能となって、三次元画像を用いた画像検査においても、高さ情報が不正確となる状態を避けて安定した検査結果を得ることが可能となる。
(高さ画像を用いた画像検査)
次に高さ画像を用いた画像検査の手順を、図22のフローチャートに基づいて説明する。まずステップS2201において、検査条件の設定を行う。ここでは、検査の内容に応じて三次元計測用の検査設定と二次元計測用の検査設定のいずれか、又は両方を行うことができる。また検査設定は運用に先立ち最初に一度行っておけば足りる。言い換えると、運用時にはその都度設定する必要はない。
このようにして検査設定を作成した上で、実際の運用時の動作(ステップS2202〜ステップS2204)を行える。まずステップS2202において、検査対象物Sをステージ140上に載置する。ここでは、ユーザに対し、画像検査装置がガイダンスを発して、載置位置を所定の載置設定位置に置くように促す、あるいはユーザがステージ上の任意の位置に置いた後に、ステージ側を移動させて適切な載置設定位置に位置合わせする方法等が利用できる(詳細は後述)。載置位置が適切な載置設定位置とならずに正確な高さ計測ができない場合は、必要に応じて処理を中止したり、ユーザに対して載置位置を調整するように促すこともできる。
このようにして検査対象物Sが正しい載置設定位置に置かれると、ステップS2203に進み、検査対象画像を撮像し、得られた検査対象画像に対して所定の画像検査処理を実行する。そしてステップS2204において検査結果を出力し、検査結果の確認を行う。その後、別の検査対象物Sに対して検査を継続する場合はステップS2202に戻り、新たな検査対象物Sに対して上記処理を繰り返す。
(検査設定手段251)
次に、上記の各工程の詳細について説明する。まず画像検査を行うには、予め画像検査を行うための条件(検査条件)を設定しておく必要がある。検査条件は、検査設定手段251を介して設定する。
検査設定手段251は、検査設定に含まれる撮像条件として、高さ画像を生成するための縞投影画像を取得可能な、ステージ140上における検査対象物Sを載置する載置設定位置を含めて設定する。これにより、検査対象物Sを高さ情報を用いて検査するためにユーザがステージ140上に検査対象物Sを置く際に、正確な高さ情報が取得できない位置に置かれた場合には、判定手段218でもって高さ情報取得不可能である旨が出力されるので、無駄な検査を実行することを回避できる。
検査条件は、画像検査のための条件、例えば測定対象物のどの部位の何を測定するか(更に加えて、得られた測定結果の数値に対して、所定の誤差範囲内か範囲外か等の良品判定)を、検査対象物の検査基準画像に対して設定する。検査基準画像は、検査対象物の基準品を、予め二次元の観察画像、及び/又は三次元の高さ画像として撮像しておき、これらを利用する。測定は、検査基準画像上で測定部位を特定する測定エリアを指定することで行う。また、このような検査設定は、高さ情報を利用した三次元的な測定のみならず、平面的な画像に対して二次元的な測定を行うこともできる。これらの三次元的な検査設定と二次元的な検査設定は、個別に指定する。以下、三次元的な検査設定と二次元的な検査設定の手順について、説明する。
(測定エリアの設定)
検査条件は、検査対象画像中の測定すべき箇所の設定を含む。例えば、二次元測定用の測定条件(検査設定)は、図23のイメージ図に示すように、検査対象物Sのエッジに従って測定エリアを設定する。測定エリアは、測定エリア指定手段252によって設定される。測定エリア指定手段252は、画像検査手段216で画像検査を行う対象領域を測定エリアとして指定するための部材である。この測定エリア指定手段252は、観察画像に対して設定する二次元測定エリアMA2と、高さ画像に対して設定する三次元測定エリアMA3とを、独立して設定できる。
図23の例では、二次元測定エリアMA2を赤色の円状で示しており、この円の直径を測定するように測定条件を設定している。このような円の直径の他、特定の部材同士の間隔や溝の幅、あるいは特定の領域の面積といった項目を、計測、演算できる。このように、二次元の平面的な画像に対して、計測及び検査の設定を行う。
なお二次元測定エリアMA2の設定には、円や矩形といった既存のパターンを選択、変形して利用する他、検査対象画像に対して画像処理を行い、エッジを抽出して、該エッジを利用して線分や領域を指定することもできる。
一方、三次元計測用の測定設定は、検査対象物Sの面に対して三次元測定エリアMA3を設定する。例えば図24のイメージ図に示す例では、三次元測定エリアMA3として右下の円状の領域と、左上の矩形状の領域を指定しており、これらの三次元測定エリアMA3で指定した面同士の高低差(高さ)を測定するように測定条件を設定している。あるいは他の三次元計測用の測定条件として、図25のイメージ図に示すように、検査対象物Sの二次元画像に対して断面線を引き、この断面線上に、線状の測定エリアMALを設定し、線分で示した部分同士の高低差を測定する。
なお、三次元測定エリアを設定する対象となる画像は、図24、図25に示したような、高さ画像に対して観察画像のテクスチャ情報を貼り付けた三次元の合成画像とする他、後述する図30に示すような高さ画像、あるいは観察画像や後述する深度合成画像とすることもできる。図30に示す高さ画像は、鳥瞰図のように高さを所定範囲に区切ると共に、各高さ範囲に異なる色を割り当てることで高さを色彩で表現している。あるいは、高さ情報を輝度変化に置き換えた濃淡画像として、高さ画像を表現することもできる。このような高さ画像では、検査対象画像の表面の模様などのテクスチャ情報を有していないものの、表面形状の高低差が濃淡となって画像上に現れているので、二次元画像に対して利用されているエッジ抽出等の画像処理を利用することで、エッジ部分、すなわち高低差を検出でき、二次元画像に対する画像処理技術を三次元の高さ画像に対する処理に利用できる利点が得られる。
また三次元的な測定は、必ずしも高さ画像に対して行うのみならず、観察画像のような平面的な画像に対して設定することもできる。特に、同一の検査基準画像(例えば観察画像)に対して、二次元的な検査設定及び三次元的な検査設定を設定することで、効率よく必要な検査設定を纏めて行うことができ、また検査設定後の設定内容の確認の一覧性にも優れる。
なお、上述の通り測定条件を含めた検査設定の作成に際し、三次元的な検査設定と二次元的な検査設定とで異なる測定エリアを設定可能である。これらの設定の順序については、先に三次元測定用の測定条件を設定し、その後二次元測定用の測定条件を設定することが好ましい。三次元の計測は上述の通り検査対象物の載置の仕方に制約があるため、先に三次元測定したい箇所が確実に測定できるような検査対象物の載置位置及び載置角度を規定した上で、この位置及び姿勢において二次元計測の設定を作成することで、無駄のない設定作業が行える。
(検査対象画像の撮像条件)
また検査条件には、このような画像検査のための条件の他、検査対象画像の撮像条件も含まれる。例えば、照明光の方向、照明光の明るさ、撮像手段の露光時間、またステージがXYθ方向やZ方向に移動可能な場合は、ステージの位置等の撮像条件が検査設定に含まれる。さらに、検査対象物の縞投影画像を撮像手段で撮像するに際して、該縞投影画像に基づき高さ情報を取得可能な、ステージ上における検査対象物を載置する載置設定位置、及び該載置設定位置に載置される検査対象物の姿勢を規定した載置設定姿勢を含む。なお本明細書において検査対象物の「姿勢」とは、平面視における一姿勢から回転させた回転角度を意味する。例えば検査対象物の形状が点対称、すなわち回転角度によらず同じ形状である場合(例えば円柱状や円錐形状)には、載置設定姿勢の設定は不要となる。以下、載置設定位置には、検査対象物を置く位置情報に加えて、必要な場合は姿勢情報も含めるものとする。
なお検査条件の設定にあたり、載置設定位置の設定と、画像検査処理条件の設定は、いずれを先に行ってもよいが、好ましくは先に載置設定位置を設定した後、画像検査処理条件の設定を行う。載置設定位置に検査対象物を置いた状態で画像検査処理が実行されるため、先に画像検査処理を設定し、後で載置設定位置を設定すると、当初の画像処理条件の設定時の位置や姿勢とは異なった状態で画像検査処理が実行されることとなって、場合によっては検査結果が見辛かったり、あるいは計測位置の修正などが必要になることが考えられるからである。逆に、先に載置設定位置を決定した上で、画像検査処理条件を設定すれば、予め決められた位置で計測等の部位を指定でき、無駄なく設定を行える。
また載置設定位置は、特定の座標位置のみならず、ある程度の範囲でもって決定することが可能となる。すなわち、高さ情報を正確に取得することが目的であり、より具体的には縞投影に際して照明光の影ができなければ足りるので、このような観点から、影ができない位置及び/又は姿勢であれば足りる。よって、載置設定位置や載置設定姿勢を、ある程度の範囲でもって規定することもできる。本明細書において「載置設定位置」という場合は、特定の一点あるいは数値のみならず、このような範囲を持った設定を含む意味で使用する。
(検査設定作成の詳細)
次に、三次元の計測を含めた検査設定の詳細な手順を、図26のフローチャートに基づいて説明する。まずステップS2601において、画像検査の対象となる検査対象物Sを含む検査基準画像を取得を開始する。ここでは、検査基準画像として、予め作成された検査対象画像の3D−CADデータ等の検査データが存在する場合は、ステップS2602−1に進み、3D−CADデータ上で検査対象物Sの載置位置及び姿勢を決定した上でステップS2616にジャンプする(なお本明細書においては、3D−CADデータのような検査データ、すなわちラスタデータでないベクタデータも、便宜上「検査基準画像」に含む意味で使用する。)。一方、このような検査データがない場合は、ステップS2602〜ステップS2613を経て検査データを作成する。まずステップS2602において、ユーザに検査対象物Sをステージ140上に載置させるように促す。
次いで撮像条件を設定する。具体的にはステップS2603において、二次元の観察画像の撮像条件を設定する。ここでは観察用照明光源320を利用した照明光出力部であるリング照明を使用しながら、検査対象物Sの測定したい箇所が映るように、検査対象物Sの位置、姿勢、ピント、明るさ等を調整する。さらにステップS2604において、三次元の高さ画像の撮像条件を設定する。具体的には、三次元測定用の照明である投光部110の明るさ、検査対象物Sの位置、姿勢等を調整する。なお、以上の例では二次元画像の撮像条件を設定した後、三次元画像の撮像条件を設定しているが、必ずしもこの順序に限られず、逆に三次元画像の撮像条件を設定した後、二次元画像の撮像条件を設定することもできる。
次に、必要に応じて検査対象領域(ROI)を指定する。具体的にはステップS2605において、ROIの設定が必要な場合は、ステップS2606に進み、ROIの設定を行う。またROIの設定が不要な場合は、ステップS2606を経ることなくステップS267に進む。なおROIの必要性を判定する工程は、例えば検査対象画像の全体を検査対象とする場合や、画像処理を用いて自動でROIを設定する場合などは、これらステップS2605〜ステップS2606を省略してもよい。
次にステップS2607において、高さを測定したい箇所の明るさの調整が適切か否かを判定し、適切な場合はステップS2608に進み、適切でない場合はステップS2604に戻って三次元画像の撮像条件の設定を再度調整する。
さらにステップS2608において、三次元計測を実行する(詳細は後述)。さらに必要に応じてステップS2609において二次元の観察画像を撮像して、二次元の計測も行う(詳細は後述)。この工程は、高さ計測のみの場合は省略できる。また、三次元計測に先立ち、先に二次元計測を実行してもよい。
そしてステップS2610において、計測結果を出力する。例えば、高さ画像や観察画像を表示部400に表示させると共に、計測結果をこれらの画像に重ねて表示させる。
さらにステップS2611において、目的の箇所が正しく測定できたか否かを判定し、否の場合はステップS2603に戻って上記の工程を繰り返す。正しく測定できた場合はステップS2612に進み、検査結果を一時ファイルに保存し、さらにステップS2613において検査したい箇所のすべてについて検査設定が済んだか否かを判定し、未だの場合は、ステップS2614で再設定を行い、さらにステップS2615で再設定を反映させてステップS2603に戻り、必要な検査設定を順次行う。ステップS2614では、例えば検査したい箇所が被写界深度内に収まっていない場合は、ステップS2615においてZステージを移動させる。また、検査したい箇所が影になっている場合は、ステップS2615においてθステージを移動させる。さらに検査したい箇所がX−Y平面内の視野に収まっていない場合は、ステップS2615においてX−Yステージを移動させる。
以上のようにして、検査したい箇所のすべてについて検査設定が終了すると、ステップS2616に進み、該検査設定に従って三次元検査設定を作成する(詳細は後述)。例えば、二次元画像、高さ画像、三次元データのいずれか又は複数に対して、検査すべき箇所として測定エリアを登録する。
以上のようにして、ステップS2601〜ステップS2616を得て三次元計測用の検査設定が終了すると、必要に応じてステップS2617に進み、二次元計測用の検査設定を行う。例えば、二次元の観察画像に対して測定エリアを登録する(詳細は後述)。また二次元の検査が不要な場合は、ステップS2617を省略できる。
なお以上の例では、上述の通り、先に三次元計測設定を行った後に、二次元計測設定を行う手順について説明したが、逆に二次元計測設定を行った後に三次元計測設定を行うことも可能である。ただしこの場合は、高さ画像の計測ができない姿勢で二次元計測設定を行わないように留意する必要がある。
上述したステップS2608の三次元計測に際しては、検査対象物Sの測定したい部分の高低差が、レンズの被写界深度の範囲内であれば撮像が可能である。一方、図27Aに示すように、測定したい部分の高低差が三次元計測の被写界深度DOFを超える場合は、ピントが合って見える範囲が測定したい範囲よりも狭いため、そのままでは高さ情報を完全に取得することができない。そこで、Zステージを移動させて、レンズの被写界深度を超えた高低差の検査対象物Sを計測する。具体的には、計測したい範囲内にある検査対象物Sの高さが最も高い部分の高さをa、最も低い部分をbとすると、まず図27Bに示すように、aの高さでピントを合わせるようにレンズ系とステージの相対距離を調整(例えばステージ140又はカメラ121を移動)させて三次元計測を行い、高さ情報を取得する。次に図27Cに示すように、aとbの中間にピントを合わせるように相対距離を変化させて同じく高さ情報を取得する。さらに図27Dに示すように、bの高さでピントを合わせるように相対距離を変化させ、高さ情報を取得する。このようにして得られた高さ情報を合成することにより、被写界深度を超えた計測範囲についても、高さ計測が可能となる。これによって、検査対象物Sの測定したい部分の高低差が被写界深度よりも広い範囲であっても、正しく高さ情報を得ることが可能となる。
(深度合成画像FI)
また、この際に各高さ位置において観察画像も併せて撮像しておき、ピントの合った部位を抽出して合成することで、深度合成画像を合成することもできる。このような深度合成画像の例を、図28に示す。またこの深度合成画像FIを用いて、上述したステップS2609の二次元計測の検査設定を作成することもできる。
なおこの場合は、基準高さからの位置を知るために、リニアスケールなどの物差しが必要となる。また三次元測定の検査設定には、基準高さからの位置も併せて記録される。
また上述したステップS2616の三次元検査設定に際しては、二次元の画像(観察画像)に対して設定することもできるし、又は三次元の画像(高さ画像)に対して設定してもよい。観察画像に対して三次元検査設定を行う例を、図29のイメージ図に基づいて説明する。この図において、左側の画像表示領域111には、検査対象画像として二次元の観察画像を表示している。また右側の操作領域には、測定エリアを指定するためのツール群が配置されている。この例では、画像表示領域111の左上の基板上に矩形状の三次元測定エリアMA31を指定し、一方画像表示領域111の右下の部材上に円形状の三次元測定エリアMA32を指定し、両者の高低差を計測するよう設定した例を示している。
また、ここで二次元の画像には、図29に示した観察画像の他、高さ画像の高さを色で表現することで、高さ情報を平面的に表示させた高さ画像DIとすることもできる。このような高さ画像DIの例を図30に示す。
さらに測定エリアの指定には、このように領域を指定する他、上述の通り線状の測定エリアMALとして指定することもできる。例えば図31のイメージ図に示す例では、観察画像上に線状の測定エリアMALを設定している。さらに図32のイメージ図に示すように、画像表示領域において、線状の測定エリアMALに沿った検査対象画像の断面形状を示すプロファイル画像PIを表示させ、このプロファイル画像PIでもって検査内容を検査設定として設定することもできる。また、このような線状の測定エリアMAL上で、どの部分を計測するかを指定することもできる。
(高さ画像)
さらに、以上のような二次元の画像に代えて、三次元の高さ画像を用いて検査条件を設定してもよい。例えば図33のイメージ図に示すように、高さ画像を合成した三次元の合成画像TIを画像表示領域111に表示させて、検査条件を立体的に指定することもできる。この場合は、ROIや線分を用いて測定する領域を指定する。
なお三次元計測で設定可能な計測項目の例としては、平均段差、面交角、球と球との間の距離、球と平面との間の距離、円筒状の直径等が挙げられる。また、三次元計測の検査設定に含まれるパラメータとしては、三次元計測の有効/無効(三次元計測を無効に設定した場合は、二次元計測のみを行う。)、三次元計測条件の構造化照明の位置、構造化照明の明るさ、露光時間、測定モード、ステージの位置等が挙げられる。さらに検査設定としては、測定要素の位置(XY座標、大きさ、Z位置等)、検査方法、公差等が挙げられる。
(二次元計測の検査設定)
次に上述したステップS2617の二次元検査設定に際して、二次元計測の検査設定に含まれる設定パラメータとしては、二次元計測の有効/無効(二次元計測を無効に設定した場合は、三次元計測のみを行う。)が挙げられる。また二次元画像撮影条件としては、使用する照明の種類、照明の明るさ、露光時間、深度合成設定、ステージ位置等が挙げられる。さらに検査設定項目としては、検査位置、検査項目、公差等が挙げられる。ここで、上述した画像検査プログラムの操作領域に配置される、計測設定や検査設定を行うための計測ツールとしては、図34Aのイメージ図に示すような距離測定や角度測定等の計測ツール580A、図34Bのイメージ図に示すような点、線、円等の補助線の設定ツール580B、あるいは図34Cのイメージ図に示すような形状公差、姿勢交差、位置交差などの設定ツール580C等が利用できる。
このような計測ツールを用いて、検査条件の設定を行う。そして画像検査の設定が終了すると、画像検査の運用時においては、検査設定で設定された条件に従い、画像検査を実行する。具体的には、判定出力手段222が、検査対象物Sがステージ140上に置かれた初期位置と、検査条件として設定された載置設定位置とを比較して、この初期位置で高さ情報が取得可能かどうかを判定し、その判定結果が高さ情報取得不可能である場合には、該判定結果に基づく所定の出力を行う。この際、検査設定で設定された載置設定位置に検査対象物Sを載置させるように誘導する誘導機能を備えることができる。
(誘導機能)
次に、判定出力手段222の具体例として、誘導手段214について説明する。誘導手段214は、縞投影で安定して高さ測定、検査ができる位置に検査対象物Sが置かれるように、ユーザを誘導するための手段である。誘導手段214は、例えば検査対象物Sがユーザによってステージ140上に置かれた初期位置が、載置設定位置と異なる場合に、ユーザに対し、載置設定値に置き直すように指示を与える。具体的には、表示部400上に現在のステージ140の様子を撮像した観察画像を表示させ、ここに表示された検査対象物Sに対して、望ましい位置、すなわち載置設定位置を枠状に、観察画像に重ねて表示させる。さらに必要に応じて「枠状に重なる位置にワークを移動させて下さい」等のメッセージを表示部400に表示させる。あるいは画像検査装置がスピーカを備える場合は、同様のメッセージを音声ガイダンスで再生してもよい。また、枠状に表示させる構成に代えて、又はこれに加えて、矢印で検査対象物を動かすべき方向を表示部上に表示させてもよい。このようにして、視覚的にユーザは正しい載置位置に検査対象物を移動させることが容易に行える。
また、ユーザがステージ140上に載置した初期位置が載置設定位置である場合は、このような誘導を省略することもできる。例えば判定手段218が、ユーザによる初期位置と載置設定位置を比較し、初期位置で高さ情報が取得できる場合は誘導機能をキャンセルし、一方載置位置の調整が必要と判定した場合は、誘導機能を実行するように誘導手段214を作動させる。
あるいは誘導手段214を、ガイド枠表示手段として機能させてもよい。この場合はガイド枠表示手段が、載置範囲をステージ140上に、枠状のガイド枠として表示させる。例えば、ステージ140上の載置設定位置に検査対象物Sを置くためのガイド枠を表示させる。ガイド枠としては、十字パターンやグリッド等が利用できる(なお、この意味でガイド枠は、必ずしも閉じた枠状に限定するものでなく、位置合わせの基準となる任意の表示パターンが利用できる)。これにより、ユーザはガイド枠に従って検査対象物の載置位置や載置姿勢を視覚的に把握することが可能となる。このようなガイド枠表示手段には、投光部110を利用できる。また検査対象物の姿勢が問題となる場合は、検査対象物の形状に沿ったガイド枠を表示させることで、ユーザはガイド枠と一致する姿勢に検査対象物を置くことができ、さらに確実な誘導が可能となる。
加えて、ガイド枠表示手段と位置演算手段217を組み合わせて、検査対象物Sの載置位置に応じてガイド枠を変化させることもできる。例えばガイド枠表示手段がガイド枠を赤色で表示させ、この枠内に検査対象物Sを置くように促すと共に、検査対象物Sが載置範囲内に配置されたことを位置演算手段217で検出すると、ガイド枠の表示色を青色に変更する。これによって、ユーザはガイド枠の色でもって現在の載置位置や載置姿勢が正しいかどうかを判別でき、より便利に使用できる。
(誘導手段214の具体例)
ここで、誘導手段214が誘導を実行する手順の一例を図35〜図40のイメージ図に基づいて説明する。ここでは、まずユーザが検査したい検査対象物Sをステージ140上に置くよう促す。この際に、検査設定を行った際と同じ位置に検査対象物Sを置いてもらう必要がある。そこで、ユーザが位置調整し易いように、検査対象画像を参考のため表示させる。まず図35の例では、検査設定時の二次元の観察画像を、検査基準画像RIとして予め保存しておき、誘導時には画像表示領域を二分割して、一方に検査設定時の観察画像を表示させ、他方には検査対象画像のライブ映像LIを並べて表示させている。これにより、ユーザは基準画像を参照しながら、同じ姿勢となるように検査対象物Sの位置を調整することができる。特に、現在のステージ140上の検査対象物Sの位置を、リアルタイムに更新するライブ映像LIでもって確認することで、位置合わせ作業を効果的に行える。
ここで基準画像は、観察画像に限らず、三次元の高さ画像や合成画像を利用することもできる。一方図36の例では、画像表示領域に検査設定時の合成画像TIとライブ映像LIとを並べて表示させている。この構成でも同様に、ユーザは基準画像である三次元の画像を参照しながら、検査対象物Sの位置をライブ映像LIで調整できる。
あるいは、画像表示領域に検査設定の二次元画像とライブ映像LIを重ねて表示させることもできる。例えば図37Aに示す検査基準画像RIに、図37Bに示すライブ映像LIを重ねて、図38に示すように両者が一致するようにユーザが表示部400を見ながら検査対象物Sの位置を調整する。あるいは、図37Aの基準画像と、図37Bのライブ映像LIとを切り替えて表示させ、大体の位置が合ったところで、重ね合わせ画像を表示し、位置を微調整するように構成してもよい。これにより、当初から重ね合わせて表示させるよりも、調整作業をスムーズに行える利点が得られる。
(投影画像)
さらに他の実施形態として、ステージ140上の載置設定位置に検査対象物Sを置いた状態の画像をステージ140上に投影させることもできる。すなわち、図39に示すように、検査基準画像RIを、投影投光系の照明を使って、ステージ140上の検査対象物S上に直接投影することで、ユーザは検査対象物Sが基準画像中の載置設定位置と重なるように、位置を調整できる。特に投光部110としてDMDを用いた場合は、プロジェクタとして画像の投影に利用することが可能であるので、投影用の部材を別途用意することなく、画像の投影が可能となる。
(ガイド枠表示手段)
あるいはまた、図40に示すように、表示部400に検査対象画像を表示させつつ、基準となる部位の載置設定位置を示す枠状のガイド枠GDを表示させて、基準となる部位がガイド枠GD内に収まるように、ユーザは検査対象物S又はステージ140の位置を調整する。ガイド枠GDは、ガイド枠表示手段で生成して表示させる。この場合は、予め検査基準画像RIの内、位置合わせの基準となる基準部位RAを検査設定手段251等で設定しておき、検査対象物Sを載置設定位置に置いた際に、基準部位RAがステージ140上のどの位置(基準部位設定位置)に配置されるかを演算しておく、あるいは基準部位RAのステージ140上の位置(基準部位設定位置)を直接ユーザが指定しておく。この基準部位設定位置を、ガイド枠GDとして、表示部400上で検査対象画像に重ねて表示させることで、ユーザはガイド枠GDに基準部位RAが沿うように、検査対象物S又はステージ140の位置を手動で調整できる。なお、ガイド枠GDは表示部400上に仮想的に表示させる構成の他、投光部や専用の部材でもって、ステージ140上の基準部位設定位置にパターンとして直接描画させることもできる。
(電動式ステージ)
以上の例では、ユーザが正しい載置設定位置に検査対象物Sを置くように誘導することを主眼とした構成について説明した。この方法では、基本的にユーザ側で載置位置を調整する必要がある。一方、画像検査装置側で載置位置を調整するように構成することもできる。例えばステージを電動式として、ユーザによる初期の載置位置によらず、正しい載置位置に無い場合は、自動的にステージを移動させることで、検査を実行可能とできる。このような画像検査装置は、上述した変形例1に係る図41のように、検査対象物Sの画像を撮影し、検査設定の二次元画像とのズレを制御手段200で認識して、ステージ140の平面方向の位置(XY座標及びθ)を自動で調整する。
(位置検出手段146)
また、ステージ140上の検査対象物Sの位置を検出する位置検出手段146を備えて、ユーザが載置した検査対象物の載置位置の適否を判定することもできる。このような例を変形例2に係る画像検査装置4200として図42に示す。ここでは位置検出手段146で検出された載置位置が、検査設定手段251で設定された載置設定位置であることを判定すると、その旨を出力する。例えば、初期位置が載置設定位置である場合は、「OK」等のメッセージを表示部に表示させたり、ランプで青色を点灯させる等の方法で、ユーザに対して載置位置が正しいことを告知する。一方、位置検出手段146で検出された初期位置が、載置設定位置から外れていると判定された場合は、「NG」、「FAIL」等のエラーメッセージを表示部に表示させたり、赤ランプ等のインジケータを点灯させたり、ブザーで警報を鳴らすなど、ユーザに対して載置位置が正確でないことを告知すると共に、必要に応じて正確な載置位置となるように調整を促すことができる。この場合は、上述した誘導手段214やガイド枠表示手段等を組み合わせることができる。また、このような位置検出手段146には、近接スイッチやセンサ等が利用できる。
(位置演算手段217)
また、検査対象物Sを撮像手段100で正しく撮像可能なステージ上の載置範囲を演算するための位置演算手段217を備えることもできる。位置演算手段217の機能は、例えば制御手段で実現される。ユーザがステージに検査対象物Sを置く際、ステージに備えた位置検出手段146によって現在の載置位置を検出し、載置位置が、位置演算手段217で演算された載置範囲に含まれていない場合は、ユーザに対して警告手段215でもって警告を表示させる。警告手段215が行う警告の態様としては、例えば表示部400上に「検査できません。置き直して下さい」等の警告メッセージを表示させたり、音声で警告メッセージを読み上げたり、警告音を発したり、赤色の点滅など、光のパターンでユーザに対して警告を発することができる。また、逆に現在の載置位置が、位置演算手段217で演算された載置範囲に含まれている場合は、何もしない他、警告手段215で「正しい位置です」と表示させる等のメッセージを表示させたり、音声案内を行うことで、ユーザは載置位置が正しいことを視覚的、聴覚的に確認できる。
(画像検査の実行)
以上のようにして、ステージ上に検査対象物Sを、検査設定時の載置設定位置に載置することが実現されると、上述した図22のステップS2203の、画像検査処理の実行が可能となる。この画像検査装置は、三次元計測のみならず二次元計測が可能であるため、検査実行時には、画像検査手段216が二次元計測、三次元計測の検査設定の内容をそれぞれ確認する。いずれかの画像検査が有効になっていない場合は、その測定は行わないことで、無駄な検査処理を省いて処理時間の短縮化を図る。例えば二次元計測が無効の場合は、二次元の観察画像の撮影は行わない。また三次元計測が無効の場合は、縞投影での三次元計測は行わない。
(検査結果の出力)
このようにして画像検査が実行されると、検査結果が出力される。検査結果の出力としては、例えば図43に示すように、検査結果をリストとして表示部400に表示させる。または検査結果データを出力する。
あるいは、表示部400に表示された画像上に検査結果を重畳表示させることもできる。例えば図44に示すように、二次元の観察画像上に寸法を表示させる。あるいは図45に示すように、三次元の合成画像上に、測定した部位と測定結果とを表示させる。また、寸法や角度などの測定結果と共に、これを所定の基準値と比較した判定結果(例えばOK/NGの別)を表示させることもできる。このように、画像上に計測した部位や判定結果を重畳表示させることで、ユーザはどの部位の測定結果を示しているのかを視覚的に把握できる。また、色分けして表示させることもできる。例えば判定結果がNGの場合は赤色、OKの場合は青色などと色分けすることで、さらにユーザは色でもって感覚的に判定結果を認識できる。
さらに、検査対象物に高さの異なる複数の面がある場合のように、検査対象物の検査したい高さ(検査対象高さ)が複数ある場合の画像検査について検討する。例えば、図46に示すように、基準位置に対して検査対象高さZaの検査対象物a上に、基準位置からの検査対象高さZbの検査対象物bと、同じく基準位置からの検査対象高さZcの検査対象物cを載置する例を考える。この場合、通常であれば3つの異なる検査対象高さZa、Zb、Zcの位置でそれぞれ撮像を行うべく、撮像条件を含む検査設定を3つ作成し、次いで各検査設定に基づいて撮像を3回行って、画像検査(計測)を行うこととなる。この手順を図47のフローチャートに従って説明すると、まずステップS4701において、検査設定の読み出しを行う。次にステップS4702において、検査対象高さZaに合焦位置を移動させる。そしてステップS4703において、二次元の観察画像を撮像し、さらに三次元計測を行う。
このようにして検査対象高さZaでの撮像と画像検査が終了すると、次に検査対象高さZbでの撮像、画像検査を行う。具体的にはステップS4704において、検査対象高さZbに移動させ、合焦位置を再設定した後、ステップS4705において、二次元の観察画像を撮像し、さらに三次元計測を行う。さらに検査対象高さZcでの撮像等を行う。具体的にはステップS4706において検査対象高さZcに移動させ、ステップS4707において二次元の観察画像を撮像し、さらに三次元計測を行う。
さらに必要に応じて、検査対象高さZa、Zb、Zcで撮像した観察画像中から、焦点の合った画素を抽出して深度合成画像を合成することもでき(ステップS4708)、さらに検査対象物の高さ情報に基づいて三次元画像を合成することもできる(ステップS4709)。そしてパターンマッチングを実行し(ステップS4710)、二次元及び三次元検査用の測定エリアの領域割当をそれぞれ行った後(ステップS4711)、エッジ抽出と高さ情報の抽出を行い(ステップS4712)、検査結果を出力させる(ステップS4713)。ここでは表示部400に検査結果を表示させる。
この方法では、検査対象高さが増えるほど、撮像回数が増えることとなり、処理時間も長くなる。そこで、検査設定手段251でそれぞれの高さ毎に検査設定を行う一方、高さ計測や高さ画像の撮像は、各高さ毎に行うのみならず、これらを纏めて計測及び/又は撮像することで、効率よく処理できる。
このため検査設定手段251は、検査対象物の異なる高さについて、高さ画像をそれぞれ撮像手段100で撮像するための撮像条件として、検査対象物の検査したい検査対象高さを被写界深度に含む高さ画像を生成するための検査設定を、該検査対象高さ毎にそれぞれ設定する。
(撮像高さ範囲設定手段224)
さらに、検査設定手段251で設定された各検査設定の検査対象高さの内、複数の検査対象高さを一の被写界深度内に含めるように、撮像手段100で高さ画像を撮像する際の撮像高さ範囲を設定可能な撮像高さ範囲設定手段224を備える。これにより、検査設定毎に高さ画像を撮像するのでなく、複数の検査設定を纏めて一の高さ画像に含めることが可能となり、撮像に要するタクトタイムを短縮できる利点が得られる。
例えば図46の例において、|Zb−Za|<(被写界深度)で、かつ|Zc−Za|>(被写界深度)である場合は、検査対象物aの検査対象高さZaと検査対象物bの検査対象高さZbとは1回で測定可能である。一方、検査対象物cの検査対象高さZcについては、これらと同時に測定することはできない。このため撮像高さ範囲設定手段224で、検査対象高さZaと検査対象高さZbに関する計測及び撮像を纏めて行うことにより、検査対象物aと検査対象物bの画像検査は纏めて行うことができる。
具体的には撮像高さ範囲設定手段224は、例えば検査対象高さZaとZbを一の被写界深度内に含めるように撮像高さ範囲を設定する際、被写界深度の中心である合焦位置(ピントの位置)を(Za−Zb)/2に設定する。これにより、検査対象高さZaとZbのそれぞれに対してほぼ等しい精度にて高さ計測を行うことが可能となる。また、検査対象高さZcについては、通常通りZcを合焦位置として撮像することで、3回の撮像を2回に纏めることが可能となる。このように、高低差のある検査対象高さを画像検査する場合は、一番高い位置にある検査対象高さと、一番低い検査対象高さの、中心にピント位置を合わせることで、全体的に精度よく測定ができる。
一方で、縞投影での高さ測定はピント位置が最も高さ精度が高く、ピントが外れていくに連れて高さ精度が低くなるという特性がある。例えばZaとZbの高度差|Zb−Za|が、被写界深度の幅と近付くほど、高さ測定の精度が低下することとなる。そこで、画像検査に要求される精度や要処理時間のバランスを考慮して、ZaとZbの高度差が一定以上ある場合は、一回の撮像が可能な場合(すなわち|Zb−Za|<(被写界深度))であっても、敢えて二回に分けて撮像することで、高さ計測の精度を向上させることが考えられる。このような判断は、撮像高さ範囲モード選択手段225によって行う。
(撮像高さ範囲モード選択手段225)
撮像高さ範囲モード選択手段225は、撮像高さ範囲設定手段224で複数の検査対象高さを一の被写界深度内に含めるように撮像高さ範囲を設定する際、より多くの検査対象高さを同一の被写界深度内に含めることで撮像に要する時間を短縮する速度優先モードと、被写界深度の中心である合焦位置の近傍に検査対象高さを設定することで、高さ測定の精度を高める精度優先モードとを選択可能としている。これにより、高さ測定の精度を優先するか、速度を優先するか、検査用途や目的などに応じて適宜使い分けることが可能となり、より柔軟な画像検査が実現できる。例えば、同一の被写界深度に含めたい検査対象高さ同士の差が、被写界深度とほぼ同じ程度に離れているような場合には、一の被写界深度に纏めるよりも、敢えて個別の被写界深度に分けて撮像した方が、精度よく高さ測定を行える。このように、要求される精度や速度に応じた柔軟な撮像高さ範囲に設定することで、使い勝手のよい画像検査が実現される。
(変形例)
さらに以上の例では、複数の検査設定で各々設定された検査対象高さを、一の被写界深度内に含めることができる場合に、これらを纏めて計測又は撮像する方法について説明した。一方で、複数の検査対象高さを、一の被写界深度に含めることができない場合は、各検査対象高さ毎に、カメラやステージを移動させて高さ計測や観察画像の撮像を行う必要がある。この場合でも、各検査対象高さに対応させて異なる撮像高さ範囲を、複数の検査設定として各々設定しておくと共に、検査実行時にはこれら複数の検査設定を順次実行させることで、被写界深度を超えた高低差を有する検査対象物であってもスムーズに高さ計測を行える利点が得られる。このような変形例においては、例えば撮像高さ範囲設定手段224が、検査設定手段251で設定された複数の検査対象高さが、一の被写界深度内に含まれているかどうかをまず判定し、含まれている場合は上述した通り、複数の検査対象高さを一の被写界深度に含めるように、撮像高さ範囲を設定する。
一方で、複数の検査対象高さを一の被写界深度内に含めることができないと判定された場合は、各検査対象高さに対応させて異なる撮像高さ範囲を設定した複数の検査設定を、撮像高さ範囲設定手段224で生成すると共に、検査実行時にはこれら複数の検査設定を順次読み込んで実行させる。このように、検査設定毎に検査対象高さを関連付けて記憶しておくことで、検査実行ボタンを押下すると、自動的に各検査設定が読み込まれて、検査設定で設定された検査対象高さでの高さ計測等を実行し、終了後は撮像高さ範囲を順次切り替えながら同様の処理を繰り返すことで、指定された検査対象高さ毎に撮像や高さ計測を実行できる。また画像検査手段は、各検査設定に従って撮像高さを変化させながら、複数の検査設定を順次実行することができる。これによって、ユーザは撮像高さ範囲毎に、検査設定を読み込んで、検査実行ボタンを押下して高さ計測を行い、終了後には一旦異なる撮像高さ範囲に切り替えた上で、再度検査実行ボタンを押下するという作業を繰り返し行うことなく、本来であれば纏めて高さ計測することができない、高さが被写界深度を超えるような高低差のある検査対象物に対しても、一括して高さ計測を実行させることができ、繁雑な作業から開放されて利便性が高められる。
(実施の形態3)
一方で、上述した誘導は、必ずしも毎回行う必要はなく、必要に応じて実行させるようにしてもよい。例えば、始めは誘導を行わずに、ステージ上に置かれた載置位置の初期位置に対して、誘導が必要かどうかを判定し、必要があれば誘導することもできる。このような誘導の有無の判定を行う手順を実施の形態3として、以下図48のフローチャートに基づいて説明する。
まず、ステップS4801において、検査対象物をステージ上に載置する初期位置については、誘導を行わずにユーザに任せる。次にステップS4802において、二次元の観察画像を撮影し(任意)、さらにステップS4803において、三次元測定用の縞投影を行い、影となる部分や、投光の光量が飽和する部分を検知する。
そしてステップS4804において、測定されたデータを、検査設定と比較し、三次元測定の検査対象領域が箇所が影や飽和で測定不能になっていないかどうかを判定する。測定可能な場合は続けてステップS4805において、高さ測定と検査を行う。一方で測定不可能な場合は、ステップS4806において、測定できる位置に置かれるように誘導する。そしてステップS4803に戻って再度三次元測定を行う手順を繰り返す。このようにして、一旦三次元画像を生成した上で載置位置の再設定が必要かどうかを判定することにより、検査の度に毎回誘導を行う手間を省くことができ、特にユーザの初期位置がある程度正確な場合は効率よく画像検査を行える一方、万一初期位置が載置設定位置から外れても、誘導によってやり直すことで検査の正確性を担保できる。
(実施の形態4)
さらに別の方法として、ユーザが検査対象物を置いた初期位置において三次元の検査までを一旦実行した上で、その結果に基づいて載置位置の調整が必要な場合には誘導を行って、載置位置の調整からやり直すこともできる。以下、このような手順を実施の形態4として、図49のフローチャートに基づき説明する。まずステップS4901においては、実施の形態3と同様、検査対象物をステージ上に載置する初期位置については、ユーザに対して誘導を行わず、ユーザに任せる。次にステップS4902において、二次元の観察画像を撮影する(任意)。次にステップS4903において、三次元測定を実行する。
そしてステップS4904において、測定したい部位の測定結果が正しく得られているか否かを判定する。測定できていた場合は、ステップS4905に進み、測定結果に基づく画像検査を行う。一方、測定できていない場合はステップS4906に進み、測定できる位置に置かれるように誘導した上でステップS4903に戻って以上の手順を繰り返す。
このようにして、検査対象物が置かれた状態のままで計測が可能であれば誘導機能を実行することなく検査を実行できるので、処理を簡素化できる。また所定の精度での計測ができない場合には、誘導機能を実行させることで、計測ができなくなる事態を回避できる。