JP2020128930A

JP2020128930A - 検査装置

Info

Publication number: JP2020128930A
Application number: JP2019021808A
Authority: JP
Inventors: 修平大野; Shuhei Ono
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2019-02-08
Filing date: 2019-02-08
Publication date: 2020-08-27
Anticipated expiration: 2039-02-08
Also published as: US20200258245A1; JP7266416B2; US11017543B2

Abstract

【課題】測定対象物の高安定でかつ高精度な検査を高速に行うことが可能な検査装置を提供する。【解決手段】照明部１１０により構造化光が測定対象物Ｓに複数回照射されたときの測定対象物Ｓの画像を示す複数のパターン画像データが撮像部１２０により順次生成される。撮像部１２０により生成された複数のパターン画像データにビニング処理が実行され、ビニング処理後の複数のパターン画像データに基づいて測定対象物Ｓの高さ画像を示す高さデータが演算処理部１３２により生成される。照明部１１０により一様光が測定対象物Ｓに照射されたときの測定対象物Ｓの画像を示すテクスチャ画像データが撮像部１２０により生成される。演算処理部１３２により生成された高さデータおよび撮像部１２０により生成されたテクスチャ画像データに基づいて測定対象物Ｓの検査が検査部２３０により実行される。【選択図】図１

Description

本発明は、測定対象物の高さを検査する検査装置に関する。

三角測距方式の検査装置においては、投光部により測定対象物の表面に光が照射され、その反射光が１次元または２次元に配列された画素を有する受光部により受光される。受光部により得られる受光量分布のデータに基づいて、測定対象物の高さ画像を示す高さデータが生成される。このような高さデータは、工場等の生産現場において、生産された測定対象物の高さを検査（インライン検査）するために用いられることがある。

例えば、特許文献１の三次元画像処理装置においては、測定対象物がベルトコンベアにより搬送され、所定の位置で投光手段により測定対象物に光が多数回照射される。また、測定対象物からの各反射光が撮像部で受光されることにより測定対象物が撮像される。測定対象物の複数の画像データに基づいて、測定対象物の高さデータ（高さ画像）が生成される。生成された高さ画像に基づいて所定の検査が実行される。

特開２０１５−４５５８７号公報

上記のインライン検査においては、測定対象物が所定の位置で静止するようにベルトコンベアによる測定対象物の搬送が一定時間停止された状態で、測定対象物に光が多数回照射されるとともに、測定対象物が多数回撮像される。これにより、高さデータが生成され、生成された高さ画像に基づいて所定の検査が実行される。ここで、検査に長時間を要すると、測定対象物の搬送の停止時間が長期化し、測定対象物の生産効率が低下する。そのため、高安定でかつ高精度な検査を高速に行うことが要求される。しかしながら、安定性および高速性と精度とはトレードオフの関係にあり、両立することは容易ではない。

本発明の目的は、測定対象物の高安定でかつ高精度な検査を高速に行うことが可能な検査装置を提供することである。

（１）本発明に係る検査装置は、周期的なパターンを有する構造化光を位相シフトさせつつ測定対象物に複数回照射する構造化照明部と、一様光を測定対象物に照射する一様照明部と、測定対象物により反射された構造化光を順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成するとともに、測定対象物により反射された一様光を受光することにより測定対象物の画像を示すテクスチャ画像データを生成する撮像部と、撮像部により生成された複数のパターン画像データにビニング処理を実行し、ビニング処理後の複数のパターン画像データに基づいて測定対象物の高さ画像を示す高さデータを生成する演算処理部と、演算処理部により生成された高さデータまたは撮像部により生成されたテクスチャ画像データに基づいて測定対象物の検査を実行する検査部とを備える。

この検査装置においては、構造化照明部により周期的なパターンを有する構造化光が位相シフトさせつつ測定対象物に複数回照射される。測定対象物により反射された構造化光を順次受光されることにより測定対象物の画像を示す複数のパターン画像データが撮像部により順次生成される。撮像部により生成された複数のパターン画像データにビニング処理が実行され、ビニング処理後の複数のパターン画像データに基づいて測定対象物の高さ画像を示す高さデータが演算処理部により生成される。

また、一様照明部により一様光が測定対象物に照射される。測定対象物により反射された一様光が受光されることにより測定対象物の画像を示すテクスチャ画像データが撮像部により生成される。演算処理部により生成された高さデータおよび撮像部により生成されたテクスチャ画像データに基づいて測定対象物の検査が検査部により実行される。

この構成によれば、高さデータにおいては、ビニング処理により複数の画素の値が平均化されるので、Ｓ／Ｎ（信号／ノイズ）比が向上されている。また、ビニング処理により高さデータの生成は高速化されている。一方で、テクスチャ画像データにおいては、高い解像度が維持される。また、検査においては、多数のテクスチャ画像データを用いる必要がない。そのため、高さデータまたはテクスチャ画像データを適宜用いることにより、測定対象物の高安定でかつ高精度な検査を高速に行うことができる。

（２）検査部は、演算処理部により生成された高さデータと撮像部により生成されたテクスチャ画像データとを対応付けて測定対象物を検査してもよい。この場合、高さデータとテクスチャ画像データとを対応付けることにより、測定対象物の所望の部分についての高安定でかつ高精度な検査を高速に行うことができる。

（３）検査部は、高さ方向に関する検査時には、演算処理部により生成された高さデータに基づいて測定対象物の検査を実行し、高さ方向に直交する水平方向に関する検査時には、撮像部により生成されたテクスチャ画像データに基づいて測定対象物の検査を実行してもよい。

この場合、高さデータを用いることにより、高さ方向に関する検査を高安定でかつ高速に行うことができる。また、テクスチャ画像データを用いることにより、水平方向に関する検査を高精度でかつ高速に行うことができる。

（４）検査部は、測定対象物の画像を基準画像として示す基準データを取得し、基準画像上で計測点の指定を受け付け、基準画像データと撮像部により生成されたテクスチャ画像データとを比較することによりテクスチャ画像データまたは高さデータにおける計測点を特定し、特定された計測点を計測することにより測定対象物を検査してもよい。

この場合、基準画像上で受け付けられた計測点に基づいて、測定対象物の所定の部分の検査を容易に行うことができる。また、高い解像度を有するテクスチャ画像データが基準画像データと比較されるので、計測点が高精度で特定される。これにより、測定対象物の検査をより高精度で行うことができる。

（５）演算処理部は、高さデータの各原画素を複数の分割画素に分割するとともに、各原画素の画素値を重み付けしつつ重み付けされた画素値を当該原画素の分割画素および当該原画素の周囲の分割画素に分散させることにより複数の分割画素の画素値を決定してもよい。この場合、高さデータの解像度を向上させることができる。これにより、高さデータを用いた場合でも、測定対象物の検査をより高精度で行うことができる。

（６）演算処理部は、高さデータの各原画素内の複数の分割画素に当該原画素の画素値を第１の係数で重み付けすることにより得られる第１の画素値を付与するとともに、当該原画素の周囲の分割画素に当該原画素の画素値を第１の係数よりも小さい第２の係数で重み付けすることにより得られる第２の画素値を付与してもよい。この場合、高さデータの解像度を容易に向上させることができる。

（７）演算処理部は、各分割画素のサイズがビニング処理前のパターン画像データの画素のサイズと同じになるように高さデータの各原画素を複数の分割画素に分割してもよい。この場合、高さデータの解像度をテクスチャ画像データと同程度に向上させることができる。また、高さデータの分割画素数をテクスチャ画像データの画素数に合わせることが容易になる。これにより、高さデータとテクスチャ画像データとを組み合わせて測定対象物を検査することが容易になる。

本発明によれば、測定対象物の高安定でかつ高精度な検査を高速に行うことができる。

本発明の一実施の形態に係る検査装置の構成を示すブロック図である。図１の照明部の構成の一例を示す図である。三角測距方式の原理を説明するための図である。図１の検査装置により実行される検査処理のアルゴリズムの一例を示すフローチャートである。測定対象物の計測の一例を説明するための図である。測定対象物の計測の一例を説明するための図である。測定対象物の計測の一例を説明するための図である。測定対象物の計測の一例を説明するための図である。測定対象物の計測の他の例を説明するための図である。測定対象物の計測の他の例を説明するための図である。測定対象物の計測の他の例を説明するための図である。測定対象物の計測の他の例を説明するための図である。高さデータの一部を示す図である。高さデータの拡張処理の具体例を説明するための図である。第１の変形例に係る検査装置の構成を示すブロック図である。第２の変形例に係る検査装置の構成を示すブロック図である。

以下、本発明の実施の形態に係る検査装置について図面を参照しながら説明する。

（１）検査装置の構成
図１は、本発明の一実施の形態に係る検査装置の構成を示すブロック図である。図１に示すように、検査装置３００は、ヘッド部１００、コントローラ部２００、操作部３１０および表示部３２０を備える。コントローラ部２００は、プログラマブルロジックコントローラ等の外部機器４００に接続される。

図１に太い矢印で示すように、複数の測定対象物Ｓが、ヘッド部１００の下方の空間を通過するようにベルトコンベア３０１により順次搬送される。各測定対象物Ｓがヘッド部１００の下方の空間を通過する際には、当該測定対象物Ｓがヘッド部１００の下方の所定の位置で一時的に静止するように、ベルトコンベア３０１が一定時間停止する。

ヘッド部１００は、例えば投受光一体の撮像デバイスであり、照明部１１０、撮像部１２０および演算部１３０を含む。照明部１１０は、赤色、緑色、青色または白色の光であって、かつ、任意のパターンを有する光とパターンを有しない一様な光とを、選択的に斜め上方から測定対象物Ｓに照射可能に構成される。以下、任意のパターンを有する光を構造化光と呼び、一様な光を一様光と呼ぶ。照明部１１０の構成については後述する。

撮像部１２０は、撮像素子１２１および受光レンズ１２２，１２３を含む。測定対象物Ｓにより上方に反射された光は、撮像部１２０の受光レンズ１２２，１２３により集光および結像された後、撮像素子１２１により受光される。撮像素子１２１は、例えばモノクロＣＣＤ（電荷結合素子）であり、各画素から受光量に対応するアナログの電気信号を出力することにより画像データを生成する。撮像素子１２１は、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の他の撮像素子であってもよい。

以下の説明では、構造化光が測定対象物Ｓに照射されたときの測定対象物Ｓの画像を示す画像データをパターン画像データと呼ぶ。これに対し、一様光が測定対象物Ｓに照射されたときの測定対象物Ｓの画像を示す画像データをテクスチャ画像データと呼ぶ。

演算部１３０は、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）により実現され、撮像処理部１３１、演算処理部１３２、記憶部１３３および出力処理部１３４を含む。本実施の形態においては、演算部１３０はＦＰＧＡにより実現されるが、本発明はこれに限定されない。演算部１３０は、ＣＰＵ（中央演算処理装置）およびＲＡＭ（ランダムアクセスメモリ）により実現されてもよいし、マイクロコンピュータにより実現されてもよい。

撮像処理部１３１は、照明部１１０および撮像部１２０の動作を制御する。演算処理部１３２は、複数のパターン画像データに基づいて測定対象物Ｓの高さ画像を示す高さデータを生成する。記憶部１３３は、撮像部１２０により生成された複数のパターン画像データおよびテクスチャ画像データを一時的に記憶するとともに、演算処理部１３２により生成された高さデータを一時的に記憶する。出力処理部１３４は、記憶部１３３に記憶された高さデータまたはテクスチャ画像データを出力する。演算部１３０の詳細については後述する。

コントローラ部２００は、ヘッド制御部２１０、画像メモリ２２０および検査部２３０を含む。ヘッド制御部２１０は、外部機器４００により与えられる指令に基づいて、ヘッド部１００の動作を制御する。画像メモリ２２０は、演算部１３０により出力された高さデータまたはテクスチャ画像データを記憶する。

検査部２３０は、使用者により指定された検査内容に基づいて、画像メモリ２２０に記憶された高さデータまたはテクスチャ画像データについてエッジ検出または寸法計測等の処理を実行する。また、検査部２３０は、計測値を所定のしきい値と比較することにより、測定対象物Ｓの良否を判定し、判定結果を外部機器４００に与える。

コントローラ部２００には、操作部３１０および表示部３２０が接続される。操作部３１０は、キーボード、ポインティングデバイスまたは専用のコンソールを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。使用者は、操作部３１０を操作することにより、コントローラ部２００に所望の検査内容を指定することができる。

表示部３２０は、例えばＬＣＤ（液晶ディスプレイ）パネルまたは有機ＥＬ（エレクトロルミネッセンス）パネルにより構成される。表示部３２０は、画像メモリ２２０に記憶された高さデータに基づく高さ画像等を表示する。また、表示部３２０は、検査部２３０による測定対象物Ｓの判定結果を表示する。

図２は、図１の照明部１１０の構成の一例を示す図である。図２に示すように、照明部１１０は、光源１１１，１１２，１１３、ダイクロイックミラー１１４，１１５、照明レンズ１１６、ミラー１１７、パターン生成部１１８および投光レンズ１１９を含む。光源１１１，１１２，１１３は、例えばＬＥＤ（発光ダイオード）であり、緑色光、青色光および赤色光をそれぞれ出射する。各光源１１１〜１１３はＬＥＤ以外の他の光源であってもよい。

ダイクロイックミラー１１４は、光源１１１により出射された緑色光と光源１１２により出射された光を重ね合わせ可能に配置される。ダイクロイックミラー１１５は、ダイクロイックミラー１１４により重ね合わされた光と光源１１３により出射された赤色光とを重ね合わせ可能に配置される。これにより、光源１１１〜１１３によりそれぞれ出射された光が共通の光路上で重ね合わされ、白色光が生成可能となる。

照明レンズ１１６は、ダイクロイックミラー１１５を通過または反射した光を集光する。ミラー１１７は、照明レンズ１１６により集光された光をパターン生成部１１８に反射する。パターン生成部１１８は、例えばＤＭＤ（デジタルマイクロミラーデバイス）であり、入射した光に任意のパターンを付与する。パターン生成部１１８は、ＬＣＤまたはＬＣＯＳ（反射型液晶素子)であってもよい。投光レンズ１１９は、パターン生成部１１８からの光を平行化し、図１の測定対象物Ｓに照射する。

図１の演算部１３０は、光源１１１〜１１３による光の出射を個別に制御する。これにより、照明部１１０は、赤色、緑色、青色または白色の光を選択的に出射することができる。また、演算部１３０は、照明部１１０から出射される光に所望のパターンが付与されるようにパターン生成部１１８を制御する。これにより、照明部１１０は、構造化光と一様光とを選択的に出射することができる。

（２）高さデータの生成
検査装置３００においては、ヘッド部１００に固有の三次元座標系（以下、装置座標系と呼ぶ。）が定義される。本例の装置座標系は、原点と互いに直交するＸ軸、Ｙ軸およびＺ軸とを含む。以下の説明では、装置座標系のＸ軸に平行な方向をＸ方向と呼び、Ｙ軸に平行な方向をＹ方向と呼び、Ｚ軸に平行な方向をＺ方向と呼ぶ。Ｘ方向およびＹ方向は、ベルトコンベア３０１の上面（以下、基準面と呼ぶ。）に平行な面内で互いに直交する。Ｚ方向は、基準面に対して直交する。

ヘッド部１００においては、三角測距方式により測定対象物Ｓの高さ画像を示す高さデータが生成される。図３は、三角測距方式の原理を説明するための図である。図３には、Ｘ方向、Ｙ方向およびＺ方向がそれぞれ矢印で示される。図３に示すように、照明部１１０から出射される光の光軸と撮像部１２０に入射する光の光軸との間の角度αが予め設定される。角度αは、０度よりも大きく９０度よりも小さい。

ヘッド部１００の下方に測定対象物Ｓが存在しない場合、照明部１１０から出射される光は、基準面Ｒの点Ｏにより反射され、撮像部１２０に入射する。一方、ヘッド部１００の下方に測定対象物Ｓが存在する場合、照明部１１０から出射される光は、測定対象物Ｓの表面の点Ａにより反射され、撮像部１２０に入射する。これにより、測定対象物Ｓが撮像され、測定対象物Ｓの画像を示す画像データが生成される。

点Ｏと点Ａとの間のＸ方向における距離をｄとすると、基準面Ｒに対する測定対象物Ｓの点Ａの高さｈは、ｈ＝ｄ÷ｔａｎ（α）により与えられる。演算部１３０は、撮像部１２０により生成される画像データに基づいて、距離ｄを算出する。また、演算部１３０は、算出された距離ｄに基づいて、測定対象物Ｓの表面の点Ａの高さｈを算出する。測定対象物Ｓの表面の全ての点の高さを算出することにより、光が照射された全ての点について装置座標系で表される座標を特定することができる。それにより、測定対象物Ｓの高さデータが生成される。

測定対象物Ｓの表面の全ての点に光を照射するために、照明部１１０から種々の構造化光が出射される。本実施の形態においては、Ｙ方向に平行でかつＸ方向に並ぶような直線状の断面を有する縞状の構造化光（以下、縞状光と呼ぶ。）が、その空間位相が変化されつつ照明部１１０から複数回出射される。また、Ｙ方向に平行な直線状の断面を有しかつ明部分と暗部分とがＸ方向に並ぶコード状の構造化光（以下、コード状光と呼ぶ。）が、その明部分および暗部分がグレイコード状に変化されつつ照明部１１０から複数回出射される。

（３）検査処理
図４は、図１の検査装置３００により実行される検査処理のアルゴリズムの一例を示すフローチャートである。以下、図１の検査装置３００および図４のフローチャートを用いて検査処理を説明する。まず、ヘッド部１００において、撮像処理部１３１は、所定のパターンを有する構造化光を出射するように照明部１１０を制御する（ステップＳ１）。また、撮像処理部１３１は、ステップＳ１における構造化光の出射と同期して測定対象物Ｓを撮像するように撮像部１２０を制御する（ステップＳ２）。これにより、測定対象物Ｓのパターン画像データが撮像部１２０により生成される。

次に、撮像処理部１３１は、ステップＳ２で生成されたパターン画像データにビニング処理を実行する（ステップＳ３）。これにより、パターン画像データのデータ量および画素数を低減することができる。本実施の形態においては、いわゆる２行２列に配列された４個の画素により１つの画素が構成されるようにビニング処理が実行される。なお、ビニング後の各画素の画素値は、例えば当該画素を構成する４個の画素にそれぞれ対応する４個の画素値の平均である。

その後、撮像処理部１３１は、ビニング処理されたパターン画像データを記憶部１３３に記憶させる（ステップＳ４）。ステップＳ４では、パターン画像データのデータ量が低減されているので、パターン画像データを高速に記憶部１３３に記憶させることができる。

続いて、撮像処理部１３１は、所定の回数撮像が実行されたか否かを判定する（ステップＳ５）。所定の回数撮像が実行されていない場合、撮像処理部１３１は、構造化光のパターンを変更するように図２のパターン生成部１１８を制御し（ステップＳ６）、ステップＳ１に戻る。所定の回数撮像が実行されるまで、ステップＳ１〜Ｓ６が繰り返される。これにより、パターンが変化されつつ縞状光およびコード状が測定対象物Ｓに順次照射されたときの複数のパターン画像データが記憶部１３３に記憶される。なお、縞状光とコード状とは、いずれが先に出射されてもよい。

ステップＳ５で、所定の回数撮像が実行された場合、演算処理部１３２は、記憶部１３３に記憶された複数のパターン画像データについて演算を行うことにより、高さデータを生成する（ステップＳ７）。ステップＳ７では、パターン画像データの画素数が低減されているので、高さデータを高速に生成することができる。その後、出力処理部１３４は、ステップＳ７で生成された高さデータをコントローラ部２００に出力する（ステップＳ８）。これにより、コントローラ部２００の画像メモリ２２０に高さデータが蓄積される。

次に、撮像処理部１３１は、白色の一様光を出射するように照明部１１０を制御する（ステップＳ９）。また、撮像処理部１３１は、ステップＳ９における一様光の出射と同期して測定対象物Ｓを撮像するように撮像部１２０を制御する（ステップＳ１０）。これにより、測定対象物Ｓのテクスチャ画像データが撮像部１２０により生成される。なお、本実施の形態においては、テクスチャ画像データにビニング処理は実行されない。そのため、高い解像度を有するテクスチャ画像データが生成される。

続いて、撮像処理部１３１は、ステップＳ１０で生成されたテクスチャ画像データを記憶部１３３に記憶させる（ステップＳ１１）。その後、出力処理部１３４は、ステップＳ１１で記憶されたテクスチャ画像データをコントローラ部２００に出力する（ステップＳ１２）。これにより、コントローラ部２００の画像メモリ２２０にテクスチャ画像データが蓄積される。

本実施の形態においては、ステップＳ９で白色の一様光が出射されるが、本発明はこれに限定されない。ステップＳ９で赤色、緑色および青色の一様光のうち、いずれか１つの一様光が出射されてもよい。あるいは、ステップＳ９で赤色、緑色および青色の一様光のうち、２つ以上の一様光が順次出射されてもよい。この場合、ステップＳ９でいずれかの一様光が出射されるごとに、当該一様光に対応してステップＳ１０〜Ｓ１２が実行される。

次に、コントローラ部２００において、検査部２３０は、ステップＳ８，Ｓ１２で画像メモリ２２０に蓄積された高さデータまたはテクスチャ画像データに画像処理を実行する（ステップＳ１３）。これにより、使用者により予め指定された検査内容に基づいて、高さデータまたはテクスチャ画像データにおける所定部分の計測が実行される。具体的には、高さ方向（Ｚ方向）に関する計測は高さデータを用いて行われ、水平方向（Ｘ方向またはＹ方向）に関する計測は高さデータを用いて行われる。

ここで、高さデータにおいては、ビニング処理により複数の画素の値が平均化されるので、Ｓ／Ｎ（信号／ノイズ）比が向上されている。また、ビニング処理により高さデータの生成は高速化されている。そのため、高さデータを用いることにより、高さ方向に関する計測を高安定でかつ高速に行うことができる。一方で、テクスチャ画像データにおいては、ビニング処理が行われず、高い解像度が維持される。また、計測においては、多数のテクスチャ画像データを用いる必要がない。そのため、テクスチャ画像データを用いることにより、水平方向に関する計測を高精度でかつ高速に行うことができる。

続いて、検査部２３０は、ステップＳ１３で得られた計測値を所定のしきい値と比較することにより測定対象物Ｓの良否を判定し（ステップＳ１４）、計測処理を終了する。なお、検査部２３０は、ステップＳ１４における判定結果を表示部３２０に表示してもよいし、外部機器４００に与えてもよい。

上記の検査処理においては、ステップＳ１〜Ｓ８が実行された後にステップＳ９〜Ｓ１２が実行されるが、本発明はこれに限定されない。ステップＳ９〜Ｓ１２が実行された後にステップＳ１〜Ｓ８が実行されてもよい。また、ステップＳ８，Ｓ１２は、計測が実行される前におけるいずれの時点で実行されてもよく、他の処理と並列的に実行されてもよい。

（４）測定対象物の計測例
図５〜図８は、測定対象物Ｓの計測の一例を説明するための図である。本例では、図５に示すように、ベルトコンベア３０１により順次搬送される複数の測定対象物Ｓの高さｈを計測することを考える。なお、理解を容易にするため、各測定対象物Ｓの形状は直方体とする。後述する図９〜図１２においても同様である。

使用者は、検査処理の前に、ベルトコンベア３０１により搬送される１つの測定対象物Ｓの二次元の画像を基準画像として示す基準データを予め取得する。図６に示すように、表示部３２０には、測定対象物Ｓの基準データに基づく基準画像が表示される。使用者は、図１の操作部３１０を操作することにより、基準画像における測定対象物Ｓの上面上の点Ａ１およびベルトコンベア３０１上の点Ａ２を指定する。

その後、上記の検査処理が実行されることにより、測定対象物Ｓの高さデータおよびテクスチャ画像データが生成される。図７には、測定対象物Ｓのテクスチャ画像データに基づくテクスチャ画像が示されている。図７に示すように、基準画像における測定対象物Ｓの位置とテクスチャ画像における測定対象物Ｓの位置とが一致しているとは限らない。

このような場合でも、検査部２３０は、パターンマッチング等の画像処理を行うことにより、図８に矢印で示すように、基準画像における測定対象物Ｓの位置とテクスチャ画像における測定対象物Ｓの位置とを対応付ける。これにより、テクスチャ画像における点Ａ１，Ａ２の位置が特定される。ここで、テクスチャ画像データは高い解像度を有するので、点Ａ１，Ａ２の位置を高い精度で特定することができる。その後、検査部２３０は、画像処理を行うことにより、高さ画像において点Ａ１，Ａ２にそれぞれ対応する部分の三次元位置を計測する。これにより、測定対象物Ｓの高さｈが高い精度で計測される。

図９〜図１２は、測定対象物Ｓの計測の他の例を説明するための図である。本例では、図９に示すように、ベルトコンベア３０１により順次搬送される複数の測定対象物Ｓの幅ｗを計測することを考える。図５〜図８の例と同様に、図１０に示すように、検査処理の前に、表示部３２０に測定対象物Ｓの基準画像が表示される。使用者は、操作部３１０を操作することにより、基準画像における測定対象物Ｓの一側面上の点Ａ３および他側面上の点Ａ４を指定する。

その後、上記の検査処理が実行されることにより、測定対象物Ｓの高さデータおよびテクスチャ画像データが生成される。図１１には、画像処理前における測定対象物Ｓの高さデータに基づく高さ画像が示されている。図１１に示すように、画像処理前の高さ画像においては、測定対象物Ｓの表面およびベルトコンベア３０１の表面は平坦状にならず、微小な凹凸状になることがある。

また、図１１に点線で示すように、測定対象物Ｓの側面（エッジ部分）付近に対応する高さデータは存在しない。そのため、点Ａ３，Ａ４に対応する部分の三次元位置は計測できない。仮に点Ａ３，Ａ４に対応する部分の三次元位置が計測できた場合でも、計測値の信頼性は低く、当該計測値はノイズとして除去される可能性が高い。

一方で、本実施の形態においては、高さデータにフィルタ処理等の画像処理が実行される。これにより、高さデータの平均化および穴埋めが行われる。この場合、図１２に示すように、高さ画像において、測定対象物Ｓの表面およびベルトコンベア３０１の表面が平坦状になる。また、測定対象物Ｓのエッジ部分に対応する高さデータが補間される。しかしながら、高さデータにおけるＸ方向およびＹ方向の特徴部分がフィルタ処理により不鮮明になる。そのため、結局、高さデータを用いると、点Ａ３，Ａ４に対応する部分の三次元位置を高精度で計測することができない。

そこで、上記のように、検査部２３０は、水平方向に関する計測を行う場合には、テクスチャ画像データが用い、点Ａ３，Ａ４にそれぞれ対応する部分の二次元位置を計測する。テクスチャ画像データにおいては、高い解像度が維持されているので、水平方向における二次元位置を高精度で計測することができる。これにより、測定対象物Ｓの幅ｗが高い精度で計測される。

（５）高さデータの拡張処理
図１３は、高さデータの一部を示す図である。図１３および後述する図１４においては、紙面における左方および右方を高さデータにおける左方および右方とそれぞれ定義する。また、紙面における上方および下方を高さデータにおける上方および下方とそれぞれ定義する。図１３における左右方向および上下方向は、図３におけるＸ方向およびＹ方向にそれぞれ対応する。図１３に示すように、高さデータにおいては、ビニング後の複数の画素（以下、原画素と呼ぶ。）が左右方向および上下方向に並ぶように配列される。

具体的には、複数の画素列Ｐ_１，Ｐ_２，Ｐ_３，…がこの順で上方から下方に並ぶように配列される。画素列Ｐ_１においては、複数の原画素Ｐ_１１，Ｐ_１２，Ｐ_１３，…がこの順で左方から右方に並ぶように配列される。画素列Ｐ_２においては、複数の原画素Ｐ_２１，Ｐ_２２，Ｐ_２３，…がこの順で左方から右方に並ぶように配列される。画素列Ｐ_３においては、複数の原画素Ｐ_３１，Ｐ_３２，Ｐ_３３，…がこの順で左方から右方に並ぶように配列される。

複数の原画素Ｐ_１１，Ｐ_１２，Ｐ_１３の画素値は、それぞれＶ_１１，Ｖ_１２，Ｖ_１３である。複数の原画素Ｐ_２１，Ｐ_２２，Ｐ_２３の画素値は、それぞれＶ_２１，Ｖ_２２，Ｖ_２３である。数の原画素Ｐ_３１，Ｐ_３２，Ｐ_３３の画素値は、それぞれＶ_３１，Ｖ_３２，Ｖ_３３である。なお、上記のように、各原画素の画素値は、当該原画素に含まれる４個の画素にそれぞれ対応する４個の画素値の平均である。

ここで、図４のステップＳ１３の画像処理において、必要に応じて高さデータに拡張処理が行われてもよい。拡張処理は、高さデータの各原画素を複数の分割画素に分割するとともに、各原画素の画素値を重み付けしつつ重み付けされた画素値を当該原画素の分割画素および当該原画素の周囲の分割画素に分散させることにより複数の分割画素の画素値を決定する処理である。図１４は、高さデータの拡張処理の具体例を説明するための図である。図１４においては、複数の原画素の代表として原画素Ｐ_２２が図示されている。

図１４に示すように、高さデータに拡張処理が行われることにより、各原画素が、ビニング前の画素のサイズと同じサイズを有する複数の画素に分割される。分割された画素を分割画素ｐ_１〜ｐ_４と呼ぶ。分割画素ｐ_１〜ｐ_４は、原画素における左上、右上、左下および右下の位置に重なる。各原画素において、複数の分割画素ｐ_１〜ｐ_４の各々には、当該原画素の画素値を第１の係数で重み付けすることにより得られる画素値が付与される。本例では、第１の係数は１／８である。

また、各原画素の分割画素の左方、右方、上方または下方に隣接する分割画素であって、当該原画素に隣接する原画素に含まれる分割画素を周囲画素ｐ_ｘ１〜ｐ_ｘ４，ｐ_ｙ１〜ｐ_ｙ４と呼ぶ。具体的には、各原画素の分割画素ｐ_１，ｐ_３の左方に隣接する周囲画素ｐ_ｘ２，ｐ_ｘ４は、当該原画素の左の原画素に含まれる分割画素ｐ_２，ｐ_４である。各原画素の分割画素ｐ_２，ｐ_４の右方に隣接する周囲画素ｐ_ｘ１，ｐ_ｘ３は、当該原画素の右の原画素に含まれる分割画素ｐ_１，ｐ_３である。

同様に、各原画素の分割画素ｐ_１，ｐ_２の上方に隣接する周囲画素ｐ_ｙ３，ｐ_ｙ４は、当該原画素の上の原画素に含まれる分割画素ｐ_３，ｐ_４である。各原画素の分割画素ｐ_３，ｐ_４の下方に隣接する周囲画素ｐ_ｙ１，ｐ_ｙ２は、当該原画素の下の原画素に含まれる分割画素ｐ_１，ｐ_２である。

各原画素に対応する複数の周囲画素ｐ_ｘ１〜ｐ_ｘ４，ｐ_ｙ１〜ｐ_ｙ４の各々には、当該原画素の画素値を第１の係数よりも小さい第２の係数で重み付けすることにより得られる画素値が付与される。本例では、第２の係数は１／１６である。各原画素において、各分割画素の画素値と、当該原画素に隣接する原画素に対応しかつ当該分割画素に重なる周囲画素の画素値とが足し合わされることにより、各分割画素の画素値が決定される。

例えば、原画素Ｐ_２２の分割画素ｐ_１の画素値はＶ_２２／８＋Ｖ_２１／１６＋Ｖ_１２／１６となる。原画素Ｐ_２２の分割画素ｐ_２の画素値はＶ_２２／８＋Ｖ_２３／１６＋Ｖ_１２／１６となる。原画素Ｐ_２２の分割画素ｐ_３の画素値はＶ_２２／８＋Ｖ_２１／１６＋Ｖ_３２／１６となる。原画素Ｐ_２２の分割画素ｐ_４の画素値はＶ_２２／８＋Ｖ_２３／１６＋Ｖ_３２／１６となる。このように、各原画素に隣接する原画素の画素値に基づいて、当該原画素の複数の分割画素にそれぞれ異なる画素値を付与することが可能になる。

上記の拡張処理によれば、高さデータとテクスチャ画像データとで画素数を等しくすることができる。そのため、検査において、高さデータとテクスチャ画像データとの対応付けをより容易に行うことができる。また、高さデータの解像度がテクスチャ画像データの解像度と同程度に向上する。これにより、高さデータを用いた場合でも、水平方向に関する計測を高精度で行うことができる。

（６）変形例
本実施の形態においては、ヘッド部１００は１個の照明部１１０および１個の撮像部１２０を含むが、本発明はこれに限定されない。図１５は、第１の変形例に係る検査装置３００の構成を示すブロック図である。図１５に示すように、第１の変形例におけるヘッド部１００は、４個の照明部１１０を含む。なお、図１５においては、演算部１３０の図示が省略されている。

以下の説明では、４個の照明部１１０を区別する場合は、４個の照明部１１０をそれぞれ照明部１１０Ａ〜１１０Ｄと呼ぶ。照明部１１０Ａ〜１１０Ｄは、互いに同一の構造を有し、９０度間隔で撮像部１２０を取り囲むように設けられる。具体的には、照明部１１０Ａと照明部１１０Ｂとは、撮像部１２０を挟んで対向するように配置される。また、照明部１１０Ｃと照明部１１０Ｄとは、撮像部１２０を挟んで対向するように配置される。

この構成においては、４個の照明部１１０Ａ〜１１０Ｄにより測定対象物Ｓに対して互いに異なる４つの方向から光を出射することができる。それにより、いずれかの照明部１１０から出射される光により測定不可能な部分がある場合でも、その測定不可能な部分の形状を他の照明部１１０から出射される光を用いて測定することができる。そこで、４個の照明部１１０〜１１０Ｄにそれぞれ対応して生成された高さデータを合成することにより、測定不可能な部分がより低減された合成高さデータを生成することができる。

図１６は、第２の変形例に係る検査装置３００の構成を示すブロック図である。図１６に示すように、第２の変形例におけるヘッド部１００は、４個の撮像部１２０を含む。なお、図１６においては、演算部１３０の図示が省略されている。

以下の説明では、４個の撮像部１２０を区別する場合は、４個の撮像部１２０をそれぞれ撮像部１２０Ａ〜１２０Ｄと呼ぶ。撮像部１２０Ａ〜１２０Ｄは、互いに同一の構造を有し、９０度間隔で照明部１１０を取り囲むように設けられる。具体的には、撮像部１２０Ａと撮像部１２０Ｂとは、照明部１１０を挟んで対向するように配置される。また、撮像部１２０Ｃと撮像部１２０Ｄとは、照明部１１０を挟んで対向するように配置される。

この構成においては、４個の撮像部１２０Ａ〜１２０Ｄにより測定対象物Ｓに対して互いに異なる４つの方向から測定対象物Ｓを撮像することができる。それにより、いずれかの撮像部１２０から撮像不可能な部分がある場合でも、その撮像不可能な部分を他の撮像部１２０により撮像することができる。そこで、４個の撮像部１２０〜１２０Ｄにそれぞれ対応して生成された高さデータを合成することにより、測定不可能な部分がより低減された合成高さデータを生成することができる。

第１の変形例における検査処理では、照明部１１０Ａ〜１１０Ｄごとに図４の検査処理のステップＳ１〜Ｓ７が実行されることとなる。同様に、第２の変形例における検査処理では、撮像部１２０Ａ〜１２０Ｄごとに図４の検査処理のステップＳ１〜Ｓ７が実行されることとなる。また、いずれの変形例においても、ステップＳ７とステップＳ８との間に合成高さデータが生成され、ステップＳ８で合成高さデータが画像メモリ２２０に出力される。

なお、第１または第２の変形例においては、複数の高さデータが合成されることにより合成高さデータが生成されるが、本発明はこれに限定されない。合成高さデータが生成されず、複数の高さデータが個別にコントローラ部２００の画像メモリ２２０に出力されてもよい。この場合、ステップＳ７とステップＳ８との間に合成高さデータが生成されない。

（７）効果
本実施の形態に係る検査装置３００においては、照明部１１０により周期的なパターンを有する構造化光が位相シフトさせつつ測定対象物Ｓに複数回照射される。測定対象物Ｓにより反射された構造化光を順次受光されることにより測定対象物Ｓの画像を示す複数のパターン画像データが撮像部１２０により順次生成される。撮像部１２０により生成された複数のパターン画像データにビニング処理が実行され、ビニング処理後の複数のパターン画像データに基づいて測定対象物Ｓの高さ画像を示す高さデータが演算処理部１３２により生成される。

また、照明部１１０により一様光が測定対象物Ｓに照射される。測定対象物Ｓにより反射された一様光が受光されることにより測定対象物Ｓの画像を示すテクスチャ画像データが撮像部１２０により生成される。演算処理部１３２により生成された高さデータおよび撮像部１２０により生成されたテクスチャ画像データに基づいて測定対象物Ｓの検査が検査部２３０により実行される。

この構成によれば、ビニング処理により複数の画素の値が平均化されるので、Ｓ／Ｎ比が向上されている。また、ビニング処理により高さデータの生成は高速化されている。そのため、高さデータを用いることにより、高さ方向に関する計測を高安定でかつ高速に行うことができる。一方で、テクスチャ画像データにおいては、ビニング処理が行われず、高い解像度が維持される。また、計測においては、多数のテクスチャ画像データを用いる必要がない。そのため、テクスチャ画像データを用いることにより、水平方向に関する計測を高精度でかつ高速に行うことができる。

（８）他の実施の形態
（ａ）上記実施の形態において、構造化光を出射する構造化照明部と一様光を出射する一様照明部とが共通の照明部１１０により実現されるが、本発明はこれに限定されない。構造化照明部と一様照明部とが別個の照明部により実現されてもよい。

（ｂ）上記実施の形態において、テクスチャ画像データにビニング処理が実行されないが、本発明はこれに限定されない。テクスチャ画像データの解像度がパターン画像データの解像度よりも低くならない程度の軽度のビニング処理がテクスチャ画像データに実行されてもよい。

（ｃ）上記実施の形態において、２行２列に配列された４個の画素により１つの画素が構成されるようにパターン画像データにビニング処理が行われるが、本発明はこれに限定されない。隣接する２個以上の任意の画素により１つの画素が構成されるようにパターン画像データにビニング処理が行われてもよい。また、この場合、拡張処理において、高さデータの原画素に含まれる分割画素の配置および数に応じて、周囲画素の位置、第１の係数および第２の係数等が図１４の例から適宜変更される。

（９）請求項の各構成要素と実施の形態の各部との対応関係
請求項の各構成要素と実施の形態の各部との対応の例について説明する。上記実施の形態においては、測定対象物Ｓが測定対象物の例であり、照明部１１０が構造化照明部および一様照明部の例であり、撮像部１２０が撮像部の例であり、演算処理部１３２が演算処理部の例である。検査部２３０が検査部の例であり、検査装置３００が検査装置の例であり、原画素Ｐ_１１〜Ｐ_１３，Ｐ_２１〜Ｐ_２３，Ｐ_３１〜Ｐ_３３が原画素の例であり、分割画素ｐ_１〜ｐ_４が分割画素の例である。

１００…ヘッド部，１１０，１１０Ａ〜１１０Ｄ…照明部，１１１〜１１３…光源，１１４，１１５…ダイクロイックミラー，１１６…照明レンズ，１１７…ミラー，１１８…パターン生成部，１１９…投光レンズ，１２０，１２０Ａ〜１２０Ｄ…撮像部，１２１，１２２…撮像素子，１２３…受光レンズ，１３０…演算部，１３１…撮像処理部，１３２…演算処理部，１３３…記憶部，１３４…出力処理部，２００…コントローラ部，３００…高さ検査装置，３０１…ベルトコンベア，３１０…操作部，３２０…表示部，４００…外部機器，Ｐ_１〜Ｐ_３…画素列，ｐ_１〜ｐ_４…分割画素，ｐ_ｘ１〜ｐ_ｘ４，ｐ_ｙ１〜ｐ_ｙ４…周囲画素，Ｐ_１１〜Ｐ_１３，Ｐ_２１〜Ｐ_２３，Ｐ_３１〜Ｐ_３３…原画素，Ｒ…基準面，Ｓ…測定対象物

Claims

周期的なパターンを有する構造化光を位相シフトさせつつ測定対象物に複数回照射する構造化照明部と、
一様光を測定対象物に照射する一様照明部と、
測定対象物により反射された構造化光を順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成するとともに、測定対象物により反射された一様光を受光することにより測定対象物の画像を示すテクスチャ画像データを生成する撮像部と、
前記撮像部により生成された複数のパターン画像データにビニング処理を実行し、ビニング処理後の複数のパターン画像データに基づいて測定対象物の高さ画像を示す高さデータを生成する演算処理部と、
前記演算処理部により生成された高さデータまたは前記撮像部により生成されたテクスチャ画像データに基づいて測定対象物の検査を実行する検査部とを備える、検査装置。
前記検査部は、前記演算処理部により生成された高さデータと前記撮像部により生成されたテクスチャ画像データとを対応付けて測定対象物を検査する、請求項１記載の検査装置。
前記検査部は、高さ方向に関する検査時には、前記演算処理部により生成された高さデータに基づいて測定対象物の検査を実行し、高さ方向に直交する水平方向に関する検査時には、前記撮像部により生成されたテクスチャ画像データに基づいて測定対象物の検査を実行する、請求項２記載の検査装置。
前記検査部は、測定対象物の画像を基準画像として示す基準データを取得し、基準画像上で計測点の指定を受け付け、基準画像データと前記撮像部により生成されたテクスチャ画像データとを比較することによりテクスチャ画像データまたは高さデータにおける計測点を特定し、特定された計測点を計測することにより測定対象物を検査する、請求項２または３記載の検査装置。
前記演算処理部は、高さデータの各原画素を複数の分割画素に分割するとともに、各原画素の画素値を重み付けしつつ重み付けされた画素値を当該原画素の分割画素および当該原画素の周囲の分割画素に分散させることにより複数の分割画素の画素値を決定する、請求項１〜４のいずれか一項に記載の検査装置。
前記演算処理部は、高さデータの各原画素内の複数の分割画素に当該原画素の画素値を第１の係数で重み付けすることにより得られる第１の画素値を付与するとともに、当該原画素の周囲の分割画素に当該原画素の画素値を前記第１の係数よりも小さい第２の係数で重み付けすることにより得られる第２の画素値を付与する、請求項５記載の検査装置。
前記演算処理部は、各分割画素のサイズがビニング処理前のパターン画像データの画素のサイズと同じになるように高さデータの各原画素を複数の分割画素に分割する、請求項６記載の検査装置。