JP2013186100A - 形状検査方法およびその装置 - Google Patents

Abstract

【課題】 複数の３次元形状計測法、表面計測手法を相補的に統合し、測定対象の形状によらず高い計測精度を確保した３次元形状検査方法およびその装置を提供することを目的とする。
【解決手段】
本発明は、検査対象の第１の形状データを取得する第１の３次元形状センサと、前記検査対象の前記第１の形状データとは異なる第２の形状データを取得する第２の３次元形状センサと、前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合部とを備えることを特徴とする３次元形状検査装置を提供する。
【選択図】 図５

Description

本発明は、例えば、加工品および加工工具における形状検査方法および検査装置に関する。

ものづくりにおける加工・組み立て中の製品の品質確保を目的に、目視検査員の技量に左右されない定量的・製造プロセスへのフィードバックが可能な加工工具、製品の形状・表面状態検査技術が求められている。

特許文献１にはレーザ光走査により広範に３次元形状測定を行うことができる３次元形状測定において、３次元形状に色彩や陰影を付しても、反射光量が一定となるようにレーザ光量を調整することで精度が良好な３次元形状測定を実施する方法が提案されている。

また、特許文献２には、光切断法にて計測した測定対象物の形状を現す測定点データと基準点データとを逐次収束処理に基づいて位置合わせし、位置合わせ後の測定点データと基準点データとに基づいて測定対象物の形状を評価する物体形状評価装置について記載されている。位置合わせ処理においては、隣接する測定点の間の隣接点間距離または隣接する基準点の間の隣接点間距離に基づいて隣接点間距離重み係数を決定し、当該隣接点間距離重み係数が逐次収束処理における逐次収束評価値を求める際に用いられる。

特開２００９−２０４４２５ 特開２０１０−１０７３００

しかし、特許文献１、２のように単一の３次元形状測定方法により、３次元形状測定を行っても例えば、測定対象の形状に鋭角、急峻な面が含まれている場合に計測精度が確保するのが困難となっている。

そこで、本発明は、上記問題点に鑑み、複数の３次元形状計測法を相補的に統合し、測定対象の形状によらず高い計測精度を確保した３次元形状検査方法およびその装置を提供することを目的とする。

上記課題を解決するため、本発明は、検査対象の第１の形状データを取得する第１の３次元形状センサと、前記検査対象の前記第１の形状データとは異なる第２の形状データを取得する第２の３次元形状センサと、前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合部とを備えることを特徴とする３次元形状検査装置を提供する。

また、他の観点における本発明は、検査対象の第１の形状データを第１の３次元形状センサにて取得する第１のデータ取得工程と、前記検査対象の前記第１の形状データとは異なる第２の形状データを第２の３次元形状センサにて取得する第２のデータ取得工程と、前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合工程を行うことを特徴とする３次元形状検査方法を提供する。

本発明によれば、複数の３次元形状計測法を相補的に統合することで、測定対象の形状によらず高い計測精度を確保した３次元形状検査方法およびその装置を提供することができる。

本発明の実施例１に係る３次元形状検査装置の構成を示すブロック図である。 本発明の実施例１に係る距離計測センサによる検査手順を示すフロー図である。 本発明の実施例１に係るステレオ法による検査手順を示すフロー図である。 本発明の実施例１に係る照度差ステレオ法による検査手順を示すフロー図である。 本発明の実施例１に係る相補的統合検査による検査手順を示すフロー図である。 本発明の実施例１に係る例外値を含む計測結果を模式的に示した図である。 本発明の実施例１に係る法線ベクトルの角度変化を示す図である。 本発明の実施例１に係るエッジ抽出法を示す図である。 本発明の実施例１に係る照度差ステレオの補正方法を示す図である。 本発明の実施例１に係るＧＵＩを示す図である。 本発明の実施例２に係る相補的統合検査による検査手順を示すフロー図である。 本発明の実施例２に係るＧＵＩを示す図である。

３次元形状の検査には、３次元形状を計測し、参照モデルと比較することで形状不良を定量化することが必要となる。しかしながら、特許文献１、２における３次元計測装置は、計測時にエッジ部や鋭角部、微小な表面凹凸の精度の不足する傾向がある。

以下、上記問題点に鑑みなされた本発明の実施例を図面を用いて説明する。

本発明の第１の実施例を図１から図１０を用いて説明する。

図１に３次元計測装置の構成を示す。試料１は、保持機構１０１および１０２によって保持されている。ここで、試料１と保持機構１０１および１０２の全体がサーボモータ１０３に接続されており、ｘｚ平面上でｙ軸を中心とした回転機構を有する。ここで、保持機構１０１および１０２は、サーボモータ１０３の回転量と試料１の回転量にずれが生じない適度な保持力を持つ。サーボモータ１０３の回転により、試料１と画像撮像部１２０および距離計測部１３０との相対位置を設定する。ここで、試料１は、試料１と画像撮像部１２０および距離計測部１３０との相対位置は、検査カバー率（＝検査可能面積/全体面積試料）が大きくなるように、つまり検査領域がより広くなるように、保持機構１０１および１０２に配置する。試料１は３次元形状計測により品質確保が必要な加工品や、加工精度管理のために形状計測が必要な加工工具などである。

また、試料１、保持機構１０１および１０２、サーボモータ１０３の全体はベース１０５により保持されており、ベース１０５はｘステージ１０６、ｙステージ１０７、θステージ１０８に搭載されている。θステージ１０８の回転方向はｘｙ平面内であり、θ軸はｘｙ平面と直行している。ｘステージ１０６、ｙステージ１０７、θステージ１０８およびベース１０５は、防振定盤１１０に搭載されている。サーボモータ１０３はモータコントローラ１０４を、ｘステージ１０６、ｙステージ１０７、θステージ１０８の３つは３軸のステージコントローラ１０９を介し、制御用ＰＣ１４０にて動作が制御される。

図１に示す３次元計測装置では、試料１の表面状態および形状を、画像撮像部１２０および距離計測部１３０にて計測する。画像撮像部１２０では、照明部１２１により試料１を任意の方向より照明し、その反射光、散乱光、回折光、拡散光をレンズ１２２を用いて２次元カメラ１２３にて撮像し、３次元形状を２次元の画像データとして取得する。照明部１２１にはランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等を使用でき、図１は単一方向からの照明を示しているが、照明方向は複数方向でもよいし、リング状照明を用いてもよい。また、単一方向から照明する場合においても、照明方向を自由に設定できる機構を持ち、試料１の表面状態、形状に応じて、表面凹凸や形状を顕在化する方向から照明光を照射することができる。２次元カメラ１２３にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどが使用できる。２次元カメラ１２３はカメラコントローラ１２４を介し、制御用ＰＣ１４０にて制御され、計測結果はモニタ１４１に出力される。
２次元カメラ１２３にて撮像された画像より、形状を求める手法に、３角測量に基づくステレオ法、レンズの焦点を動かしピントを合わせることで距離を計測するレンズ焦点法、物体に格子パターンを投影し物体表面の形状に応じて変形したパターン模様から形状計測するモアレ法などがある。また、表面凹凸を検出する手法として、照明方向による陰影の違いを利用し、対象物体の面の法線ベクトル方向を推定する照度差ステレオ等がある。

距離計測部１３０は、非接触距離計測センサ１３１とセンサコントローラ１３２からなり、制御用ＰＣ１４０にて制御され、計測結果はモニタ１４１に出力される。非接触距離計測センサ１３１は、物体表面の形状を計測し、ｙステージ１０７とθステージ１０８を走査することにより、多数の点の３次元座標を点群として出力する。非接触の光学式距離計測センサは、多くの手法が提案されており、いずれの方法も本発明に適用可能である。例えば、三角測量に基づく光切断法、物体へ光を当て、その光が戻ってくる時間によって距離を計測するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法、白色干渉を用いた干渉法、偏光干渉を応用したコノスコピックホログラフィーなどがある。また、近年、周波数空間において等間隔に並ぶ多数の光周波数モードを持つ光周波数コムを用いた距離計測法や、周波数帰還型レーザを用いた距離計測法も提案されている。

詳細は後述するが、図１の装置は、試料１の表面状態や形状計測を精確に実施するため、２次元カメラ１２３の画像から得られた形状や表面凹凸のデータと距離計測センサ１３０の計測点群から得られたデータとをそれぞれ、補正して統合する相補的統合部１４０１、制御用ＰＣ１４０に接続され、検査対象の参照モデルの３Ｄ形状のデータを表すＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データ１４２が格納された格納部、ＣＡＤデータ１４２もしくは試料１が持つ類似性から導いた自己参照形状データと相補的統合部１４０１により統合された計測データとを比較して形状不良値を定量化する不良定量化部１４０２、不良定量部１４０２により定量化された不良具合より、製品の出来具合をOK、NG判定もしくは程度の判断までを行う判定部１４０３を持つ。また、計測効率の向上のため、ＣＡＤデータ１４２を元に、各手法の得手不得手を判断し、距離計測センサ１３１および２次元カメラ１２３にて形状データを取得する領域を特定する領域特定部を持ってもよい。

以下、本発明にて提案する距離計測法と画像の利点を組み合わせることでより正確に３次元形状・表面凹凸を計測する相補的統合、相補的統合により復元した試料の着目箇所の３次元情報の形状不良を定量化する不良定量化法ついて以下に詳細に説明する。

（相補的統合）
本実施例では、複数の計測手法で得られた計測データを相補的に統合し、計測手法の安定性、精度向上を実現する。まず、各計測手法を単独で用いた場合について説明する。

距離計測法は、大局的な形状の把握には向いているが、局所的な変化や微小凹凸に対しては計測精度が不足する場合が多い。レーザ等の光学を応用した非接触式では、エッジや鋭角部、および急峻な傾きを持つ形状は、光の反射角が平坦な形状とは大きく異なり、測定精度が低下する傾向がある。これらのレーザを用いた距離計測法は、点もしくは線状に整形されたビームを対象に照射し、その反射光の位置から距離を計測する。そのため、3D形状を計測するには、試料もしくはレーザを走査する必要がある。走査の間隔がそのまま計測の空間分解能となる。一方、画像を用いた形状計測法の空間分解能は２次元カメラ１２３の画素サイズとレンズ１２２の倍率に依存し、一般に走査間隔よりも細かいが、なだらかに変化し画像に特徴が表れにくい大局的な形状部の計測は苦手とする。したがって、距離計測法は、画像を用いた方法に比べて、大局的な形状の把握は得意とするが、局所的な微小表面凹凸の計測には不向きである。

図２に距離計測法を用いた形状検査のフローを示す。用いる距離計測部１３０の性能に応じて計測領域を決定し（Ｓ１００）、Ｓ１００にて決定した計測領域に対し試料１をステージ制御しながら距離計測部１３０にて３Ｄ空間中の座標を表す点群を取得し（Ｓ１０１）、計測した点群に含まれる距離計測部１３０の計測誤差に起因する例外値を除去し（Ｓ１０２）、点群に対しメッシュを張り計測形状データとする（Ｓ１０３）。計測形状データ（Ｓ１０３）とＣＡＤデータ、もしくは良品をＳ１００〜Ｓ１０３と同様の過程にて計測した良品形状データとを比較し、計測形状データの形状不良を定量化し（Ｓ１０４）、しきい値を設けＯＫ/ＮＧ判定を行う（Ｓ１０５）。

以下、各ステップを詳細に説明する。
（Ｓ１００）
距離計測部１３０は、試料１の面の傾きによって計測精度が制限される。試料１のＣＡＤデータが事前に入手できる場合は、距離計測部１３０と計測対象の位置関係より、計測精度が保証される計測領域を決定することができる。距離計測部１３０により計測される距離情報の精度は、距離計測部１３０と試料１との距離、試料１の距離計測部に対する傾き、試料１の材質に依存している。必要な精度が確保される領域を検査領域として設定する。また、ＣＡＤデータがない場合、試料１の形状を目視し、計測精度が保証されると思われる計測領域を決めてもよい。
（Ｓ１０１）
距離計測部１３０と試料１の相対位置は、ｘステージ１０６、ｙステージ１０７、θステージ１０８にて制御される。各ステージを、試料１の計測領域をカバーするよう制御し、３Ｄ空間中の座標を表す点群を取得する。距離計測部１３０にて計測されるのは、試料1表面との距離であるため、各ステージの位置情報を用いて３Ｄ空間座標に変換する。
（Ｓ１０２）
距離計測部１３０にて計測された点群には、距離計測部１３０の計測誤差により例外値が生じる。この例外値は、一般に計測点群の統計的な性質より除去される。例えば、ある着目範囲内にて密集している点群の位置の違いを標準偏差で表し、標準偏差のＮ倍距離が離れている点は例外値とするなどの処理が考えられる。
（Ｓ１０３）
点群をＣＡＤ比較に適したメッシュ形式に変換する。変換手法はＢａｌｌ−Ｐｉｖｏｔｉｎｇ、Ｐｏｗｅｒ Ｃｒｕｓｔ等の手法が提案されている。
（Ｓ１０４）
Ｓ１０３にてメッシュ化した計測データを、ＣＡＤデータと比較し、形状不良を定量化する。また、ＣＡＤデータがない場合には、良品をＳ１００〜Ｓ１０３の手順にてデジタル化した良品形状データと比較し、形状不良を定量化することもできる。
（Ｓ１０５）
Ｓ１０４にて定量化した形状不良値に対し、しきい値をあらかじめ設定し、ＯＫ/ＮＧ判定を自動的に行う。

複数画像の視点の違いを利用し立体形状を復元するステレオ法は、距離計測法が苦手とするエッジ部の形状把握に適している。これは、エッジ部は画像中では強度が急激に変化する特徴的な箇所であるためである。また、テクスチャのある試料表面の形状復元にも適している。図３にステレオ法を用いた形状検査フローを示す。ステレオ計測にて形状を計測する計測領域を決定し（Ｓ２００）、Ｓ２００にて決定した計測領域に対し試料１をθステージ１０８にて回転させながら２次元カメラ１２３にて異なる視点の画像を取得し（Ｓ２０１）、取得した画像の中より、エッジを抽出する（Ｓ２０２）。異なる視点の画像にてＳ２０２よりエッジを抽出し、各画像間にて同一箇所を示す対応点を探索し（Ｓ２０３）、視点のずれと対応点の位置ずれ量より奥行き情報を算出し、３Ｄ空間中の座標を示す点群を導出する（Ｓ２０４）。算出した点群に対しメッシュを張り計測形状データとする（Ｓ２０５）。計測形状データとＣＡＤデータ、もしくは良品をＳ２００〜Ｓ２０５と同様の過程にて計測した良品形状データとを比較し、計測形状データの形状不良を定量化し（Ｓ２０６）、しきい値を設けＯＫ/ＮＧ判定を行う（Ｓ２０７）。

以下、各ステップを詳細に説明する。
（Ｓ２００）
ステレオ計測にて形状計測する領域を決定し、画像を取得する箇所を決定する。
（Ｓ２０１）
Ｓ２００にて決定した測定領域に対して、θステージ１０８の回転角を設定し、回転させながら、異なる視点にて複数枚の画像を取得する。回転角は、物体の大きさに依存するが、画像間にて同一箇所であるという対応関係が取れるよう、十分細かく設定する。
（Ｓ２０２）
Ｓ２０１にて取得した画像より、エッジを抽出する。エッジ抽出には、Ｃａｎｎｙエッジ抽出法やＳｏｂｅｌフィルタを用いた方法等を用いることができる。
（Ｓ２０３）
Ｓ２０２にてエッジ抽出した視点の異なる複数枚の画像間のエッジ部の対応関係を算出する。対応関係を算出するには、正規化相関法等を用いることができる。
（Ｓ２０４）
ステージ移動量より算出可能な視点のずれと、Ｓ２０３にて算出した対応点の位置ずれ量より、三角測量の原理に基づき奥行き情報を算出し、３Ｄ空間中の座標を示す点群を導出する。
（Ｓ２０５）
Ｓ２０４にて算出した点群をＣＡＤ比較に適したメッシュ形式に変換する。変換手法はＢａｌｌ−Ｐｉｖｏｔｉｎｇ、Ｐｏｗｅｒ Ｃｒｕｓｔ等の手法が提案されている。
（Ｓ２０６）
Ｓ２０５にてメッシュ化した計測データを、ＣＡＤデータと比較し、形状不良を定量化する。また、ＣＡＤデータがない場合には、良品をＳ２００〜Ｓ２０５の手順にてデジタル化した良品形状データと比較し、形状不良を定量化することもできる。
（Ｓ２０７）
Ｓ２０６にて定量化した形状不良値に対し、しきい値をあらかじめ設定し、ＯＫ/ＮＧ判定を自動的に行う。

複数の照明方向を個別に用いて取得した陰影の異なる画像により形状情報を復元する照度差ステレオ法は、前記の距離計測法やステレオ法では困難な表面凹凸情報を取得することができる。照度差ステレオ法の用いた表面凹凸検査フローを図４に示す。照度差ステレオ計測にて形状を計測する計測領域を決定し（Ｓ３００）、Ｓ３００にて決定した計測領域に対し試料１に最低３種の異なる方向から照明を照射し、各照明下にて画像を取得する。θステージ１０８を回転させ、計測領域全体について各照明下にて画像を取得する（Ｓ３０１）。異なる照明下にて取得した画像より、試料１の反射率をランバート面と仮定し、試料１表面の法線ベクトルを導出し（Ｓ３０２）、反射率と照明方向を基準サンプル等を用いて較正する（Ｓ３０３）。Ｓ３０３にて較正済みの法線ベクトルに積分処理を施し形状データを算出する（Ｓ３０４）。算出した点群に対しメッシュを張り計測形状データとする（Ｓ３０５）。計測形状データとＣＡＤデータ、もしくは良品をＳ２００〜Ｓ２０５と同様の過程にて計測した良品形状データとを比較し、計測形状データの形状不良を定量化し（Ｓ３０６）、しきい値を設けＯＫ/ＮＧ判定を行う（Ｓ３０７）。

以下、各ステップを詳細に説明する。
（Ｓ３００）
照度差ステレオ計測にて形状計測する領域を決定し、画像を取得する箇所を決定する。
（Ｓ３０１）
Ｓ３００にて決定した測定領域に対して、最低でも３種類以上の異なる方向から照明を照射し、最低３枚の画像を取得する。θステージ１０８の回転角を設定し、回転させながら、異なる視点にて画像取得を行う。回転角は、物体の大きさに依存するが、画像間にて同一箇所であるという対応関係が取れるよう、十分細かく設定する。
（Ｓ３０２）
Ｓ３０１にて取得した画像に行列計算を施し法線ベクトルを算出する。物体の反射率をランバート面と仮定することで、２次元カメラ１２３にて取得した照明方向の異なる画像の強度からなる強度ベクトルと、照明方向を表す単位ベクトルからなる照明方向行列より、面の法線ベクトルが算出される。一般に、試料１の面がランバート面ではないとき、設定した照明方向に誤差が含まれるとき、算出された法線ベクトルには系統誤差が含まれる。
（Ｓ３０３）
Ｓ３０２にて導出した法線ベクトルに含まれる系統誤差は、試料１と同じ材質でできており、異なる面の傾きが３つ以上含まれた既知の形状サンプルを用いることで較正することができる。ただし、一般に、形状既知のサンプルを入手することは困難であり、誤差を取り除くことが困難である。そのため、照度差ステレオ法は、形状の絶対計測に用いられることは少ない。
（Ｓ３０４）
Ｓ３０２，３０３にて導出した法線ベクトルを積分することによって、形状情報を表す点群を算出することができる。ただし、Ｓ３０３にて法線ベクトルの誤差を較正仕切れていない場合、点群にも誤差が含まれる。
（Ｓ３０５）
Ｓ３０４にて算出した点群をＣＡＤ比較に適したメッシュ形式に変換する。変換手法はＢａｌｌ−Ｐｉｖｏｔｉｎｇ、Ｐｏｗｅｒ Ｃｒｕｓｔ等の手法を用いる。
（Ｓ３０６）
Ｓ３０５にてメッシュ化した計測データを、ＣＡＤデータと比較し、形状不良を定量化する。また、ＣＡＤデータがない場合には、良品をＳ３００〜Ｓ３０５の手順にてデジタル化した良品形状データと比較し、形状不良を定量化することもできる。
（Ｓ３０７）
Ｓ３０６にて定量化した形状不良値に対し、しきい値をあらかじめ設定し、ＯＫ/ＮＧ判定を自動的に行う。

次に本実施例の特徴である複数の形状計測手法を相補的に統合した形状検査方法について説明する。２次元カメラ１２３で、ある照明下でエッジ部や鋭角部、および急峻な傾きを持つ形状を取得した場合、取得画像中では周辺との明度差が大きくなる、もしくは明度変化が大きくなるという特徴を持つ。そのため、距離計測法が不得手とするエッジ部や鋭角部、および急峻な傾きを持つ形状の情報を画像から復元することができる（ステレオ法）。また、表面状態や微小凹凸についても画像中の陰影からその形状を導出することができる（照度差ステレオ法）。しかし、距離計測部１３０が得意とする大局的な形状については、平坦な強度分布の画像となり、特徴的な箇所が少ないため、形状の復元が困難な場合がある。ここでは、これらの各手法で得られる情報を相補的にやり取りし較正、統合することで、複雑形状の全体を高精度に計測する方法について述べる。なお、試料１の測定箇所によっては、一つの手法でのみ計測が可能な場合もある。その場合は、相補的な統合ができないため、測定結果をそのまま採用し、統合する。

図５にフローを示す。図２-４のフローを統合したものであり、手法の統合箇所のみ説明する。

１つ目に、Ｓ４０３の照度差ステレオ法にて取得された法線ベクトルを積分して得られる点群情報と、Ｓ４０７の距離計測部１３０にて得られた点群に含まれるそれぞれの例外値をお互いの比較によって除去する方法を説明する。図６に詳細を示す。試料１の面２００に対して、距離計測部１３０、照度差ステレオ法にて計測した結果を示す。面２００には、形状欠陥２０１が含まれる。距離計測部の計測点２０２の分解能はステージの走査分解能に依存し、照度差ステレオ法により導出した法線ベクトル２０６を積分して得られる計測点２０７の分解能は、レンズ倍率とカメラ画素サイズにより決まる。本実施例では、ステージ走査の分解能を100um程度、画素サイズ/レンズ倍率を10um程度を想定する。実験結果には、距離計測センサとカメラの安定性に依存し、ランダムな例外値２０３、２０８が含まれる。

例外値の判定は、一般に、周辺との比較によりはずれ値を算出することで行われる。例えば、隣接する計測点同士より面を張り、その傾き２０４を導出し、傾きの角度変化量を元に例外値を算出する。図７に例を示す。点線が距離計測部１３０の結果、実線が照度差ステレオ法の結果を示す。照度差ステレオの結果では、例外値２１１は、1点のみ局所的に角度変化量が大きく、例外値と判断できる。一方、距離計測部の結果では、分解能が低く角度変化量のみでは、欠陥２０９と例外値２１０の区別ができない。そこで、距離計測部と照度差ステレオの角度変化量の差分を指標とし、しきい値±Ａ（２１４）以上の差がある点を例外値と判断する。この処理により、照度差ステレオの例外値２１２だけではなく、距離計測による例外値２１３も容易に判断できる。ここで、例外値は計測時にランダムに発生すると考えられ、複数の手法間の比較を行うことで例外値を簡単に除去することができる。また、距離分解能の異なるデータ同士の差分を取る際には、分解能の荒い方のサンプリング間隔を補完する。なお、例外値除去の程度を決定するしきい値±Ａ（２１４）は、点群データの精度を決定するパラメータとなっており、各計測手法の測定精度以上の値にて、ユーザが任意に設定する。

２つ目に、Ｓ４０３の照度差ステレオ法にて取得された法線ベクトルを積分して得られる点群情報を利用してステレオ法に用いる画像のエッジ抽出Ｓ４０９を高精度化する手法について説明する。一般のエッジ抽出技術は、画像中のエッジ抽出は、ピクセル間の強度変化を算出し、強度変化の大きい箇所をエッジとして認識している。１次微分を用いたCanny法、Sobel法や、２次微分を用いた微分エッジ検出法などがある。しかし、これらの手法は、１枚の画像中の強度情報のみからエッジを判断するため、図８に示すように材質や画像取得時の視点により、エッジ部が強度変化として現れなかった場合には、うまくエッジを抽出することができない。そこで、照度差ステレオ法にて求めた試料１の面の法線ベクトルを利用する。複数枚の画像から導出した面の法線ベクトルの方向を隣接するピクセル間にて差分計算し、法線ベクトルの角度変化を算出し、しきい値Ｂ２１５を設定し、一定以上の角度変化がある場合をエッジと判断する。しきい値Ｂ２１５は、形状に含まれるエッジの鋭さ等を考慮し、ユーザが決める。照度差ステレオ法の法線ベクトルを利用することで、ステレオ法におけるエッジ抽出の精度を改善し、ステレオ法にて導出される点群の精度を上げることができる。なお、照度差ステレオ法に用いる画像は、ステレオ法に用いる画像と同一視点より、複数照明を用いて取得すれば、両手法の画素の位置合わせが不要となる。

３つ目に、照度差ステレオ法の較正Ｓ４０４を、距離計測部とステレオ法の結果を統合した点群Ｓ４１２にて較正する方法を説明する。照度差ステレオ法では、画像の強度から法線ベクトルを導出する際、設定した光源の方向、試料１の反射率を既知としている。しかしながら、光源方向の設定位置と実際の位置には、誤差が含まれている。また、既知としている反射率も正確な値ではない。これらにより、Ｓ４０２にて導出される法線ベクトルには誤差が含まれる。また、Ｓ４０３にて導出される形状にも系統的な誤差が含まれる。この誤差を補正するため、距離計測部とステレオ法の結果を利用する。
ここで、空間座標中の座標変換は数式（１）のように示すことができる。

元の座標(x y z 1)に対して、12個の係数からなる3x4の変換行列を左から乗算することにより、変換後の座標(x’ y’ z’ 1)を得る。変換行列の12個の変数は同一ではない3平面について元座標と変換後座標の変換方程式を導出することにより、求めることができる。図９にて詳細を説明する。距離計測部１３０による試料１の計測結果の中で、範囲２５０を設定し、xyz空間内にて平面Ｓ２５１を表す方程式を導出する。範囲Ｓ２５０の設定は、各計測面における法線ベクトル方向変化にしきい値Ｃを設け、あるしきい値Ｃよりも小さい範囲を平面とすることで求める。法線ベクトルの方向変化のしきい値Ｃは、ユーザが指定を行う。次に、平面２５１と同一の箇所の平面２５２を照度差ステレオ法による計測結果の中より、その方程式を導出し、両方程式より、変換行列の１行目の係数を導出する。他の２平面についても同様にして、変換行列の２，３行目の係数を導出する。その後、照度差ステレオの計測結果を(x y z 1)とし、変換行列により、(x’ y’ z’ 1)空間に変換することにより、系統誤差を補正した形状情報２５３を得る。照度差ステレオ法の系統誤差を、試料１自身の他の計測器データを用いて補正することで、距離計測センサに比べて密な形状データが取得可能となる。さらに、従来必要であった、試料１と同一材質で既知形状の補正用サンプルが必要なくなるというメリットもある。なお、照度差ステレオ法の結果を用いた例外値を除去、エッジ抽出に関しては、照度差ステレオ法に含まれる系統誤差の値を念頭に置き、それぞれの処理に必要となるしきい値を設定する。

Ｓ４１２、Ｓ４１３の点群同士の結合には、異種センサにより取得された点群同士を、対応点距離にて重み付け加算する方法がある。本実施例では、着目する点と隣接する最低２つの点とで形成される３角形の法線ベクトルを重み付け関数として使用する。Ｓ４１２では、距離計測法と、ステレオ法それぞれにて取得された着目点と隣接点の点群より、着目点における法線ベクトルを導出する。これらを結合する際、着目点同士の法線ベクトルの内積を算出する。内積が１に近いほど、面の方向が揃っていることを示しているため、内積が大きいほど係数の大きい重み付けを行うＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）法を施す。即ち、内積が１に近いほど、距離計測法と、ステレオ法で得られた点群の重み付けを大きくし、内積が１に近いほど、照度差ステレオ法で得られた点群の重み付けを大きくする。Ｓ４１３については、照度差ステレオ法にて直接算出される法線ベクトルと、Ｓ４１２にて算出した点群との結合を、Ｓ４１２と同様に法線ベクトルを重み付けとして算出する。なお、異種センサ間の点群にて、計測密度が大きく異なる場合は、法線ベクトルが滑らかに接続されるように、データを補間する。このように、点群の結合に法線ベクトルを用いることによって、従来の対応点距離による方法では考慮されていなかった面形状が考慮されるため、より高精度な点群の結合が可能となる。

図１に示す形状計測装置のＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を図１０に示す。ＰＣディスプレイ３００にＧＵＩが表示される。計測開始前に、前述したしきい値Ａ３０１，Ｂ３０２，Ｃ３０３の値を入力する。しきい値Ａは例外値除去の程度を決めるパラメータ、しきい値Ｂはエッジ抽出のパラメータ、しきい値Ｃは平面とみなせる領域を決めるパラメータとなっており、計測精度を左右するパラメータとなっている。各パラメータを設定後、計測開始ボタン３０４を押し、計測する。計測結果は、計測結果表示ウィンドウ３０５に表示される。また、ＣＡＤ比較ボタン３０６により、計測結果とＣＡＤデータの比較が行われ、ＣＡＤとの差異が誤差表示ボックス３０７に表示される。誤差の大きさは統計量である最大値、平均値、標準偏差等で表される。また、事前に設定する誤差許容値の大小により、大きいときはＮＧ，小さいときはＯＫをＯＫ／ＮＧ表示ボックス３０８に表示する。

以上より、本実施例によれば、距離計測法、ステレオ法、照度差ステレオ法をそれぞれ用いて、データを補正して相補的に統合することで、それぞれの３次元形状計測法の利点を活かして、測定対象の形状によらず、高い計測精度で３次元形状検査を行うことができる。

本発明の第２の実施例を図１１，１２を用いて説明する。第１の実施例との違いは、用いる計測方法が、距離計測法と照度差ステレオ法の２種のみという点である。検査フローを図１１に示す。照度差ステレオ法による結果を補正する際、距離計測の結果のみを用いる点で第１の実施例と異なる。図１２にＧＵＩを示す。第１の実施例との違いはステレオ法に関するパラメータであるしきい値Ｂの入力ボックスがないことである。

ステレオ法を用いないことで、エッジ部分などのステレオ法が得意とする箇所の精度は低下するが、計算量は減るため、高速化される。試料１のエッジ形状に着目しない場合に適切な手法となる。

なお、本実施例では、距離計測法と照度差ステレオ法の２種のみを用いたがこれに限らず、例えば、距離計測法とステレオ法の２種の組み合わせであってもよい。

これまで説明してきた実施例は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１・・・試料
１０１、１０２・・・保持機構
１０３・・・サーボモータ
１０４・・・モータコントローラ
１０５・・・ベース
１０６・・・ｘステージ
１０７・・・ｙステージ
１０８・・・θステージ
１０９・・・ステージコントローラ
１１０・・・防振定盤
１２０・・・画像撮像部
１２１・・・照明部
１２２・・・レンズ
１２３・・・２次元カメラ
１２４・・・カメラコントローラ
１３０・・・距離計測部
１３１・・・距離計測センサ
１３２・・・センサコントローラ
１４０・・・制御用ＰＣ
１４１・・・モニタ
１４２・・・ＣＡＤデータ
１４３・・・データベース
１４４・・・入力装置
２００・・・試料の面
２０１・・・形状欠陥
２０２・・・距離計測部の計測点
２０３・・・距離計測による例外値
２０４・・・面の傾き
２０５・・・距離計測部による計測結果
２０６・・・法線ベクトル
２０７・・・計測点
２０８・・・照度差ステレオ計測による例外値
２０９・・・欠陥
２１０・・・例外値
２１１・・・例外値
２１２・・・例外値
２１３・・・例外値
２１４・・・しきい値Ａ
２１５・・・しきい値Ｂ
２５０・・・範囲
２５１・・・平面
２５２・・・平面
２５３・・・形状情報
３００・・・ＧＵＩ
３０１・・・しきい値Ａ入力ボックス
３０２・・・しきい値Ｂ入力ボックス
３０３・・・しきい値Ｃ入力ボックス
３０４・・・計測開始ボタン
３０５・・・計測結果表示ウィンドウ
３０６・・・ＣＡＤ比較ボタン
３０７・・・誤差表示ボックス
３０８・・・ＯＫ／ＮＧ表示ボックス

Claims (16)

1. 検査対象の第１の形状データを取得する第１の３次元形状センサと、
   前記検査対象の前記第１の形状データとは異なる第２の形状データを取得する第２の３次元形状センサと、
   前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合部とを備えることを特徴とする３次元形状検査装置。
2. 前記相補的統合部により統合された統合データと検査対象の参照モデルの形状データである参照データとを定量的に評価する不良定量化部とを備える請求項１に記載の３次元形状検査装置。
3. 前記第１の３次元形状センサは３次元形状の点群を計測する距離計測センサであり、前記第２の３次元形状センサは３次元形状を２次元の画像データとして取得する２次元カメラであることを特徴とする請求項１に記載の３次元形状検査装置。
4. 前記検査対象を回転させるθステージを備え、
   前記第２の３次元形状センサは前記θステージを回転させることにより得られる複数の形状データを取得することを特徴とする請求項１に記載の３次元形状検査装置。
5. 前記検査対象に複数方向から照明を照射する照明部を備え、
   前記第２の３次元形状センサは前記照明部で異なる方向から照明を照射することにより得られた複数の形状データを取得することを特徴とする請求項４に記載の３次元形状検査装置。
6. 前記不良定量化部の評価から製品の不良を判定する判定部を備える請求項２に記載の３次元形状検査装置。
7. 前記相補的統合部は、前記第１の３次元形状センサで得られた点群における法線ベクトルと前記第２の３次元形状センサで得られた点群における法線ベクトルとにより重み付けを行い、前記第１の形状データと前記第２の形状データとを統合することを特徴とする請求項１に記載の３次元形状検査装置。
8. 前記相補的統合部は、前記第１の３次元形状センサで得られた点群における法線ベクトルと前記第２の３次元形状センサで得られた点群における法線ベクトルを用いて前記第１の形状データと前記第２の形状データとを補正することを特徴とする請求項１に記載の３次元形状検査装置。
9. 検査対象の第１の形状データを第１の３次元形状センサにて取得する第１のデータ取得工程と、
   前記検査対象の前記第１の形状データとは異なる第２の形状データを第２の３次元形状センサにて取得する第２のデータ取得工程と、
   前記第１の形状データと前記第２の形状データとを補正し、統合する相補的統合工程を行うことを特徴とする３次元形状検査方法。
10. 検査対象の参照モデルの形状データである参照データと前記相補的統合工程により得られタ統合データとを定量的に評価し、不良を定量化する不良定量化工程を行う請求項９に記載の３次元形状検査方法。
11. 前記第１のデータ取得工程では、前記第１の３次元形状センサは３次元形状の点群を計測する距離計測センサを用い、前記第２のデータ取得工程では、前記第２の３次元形状センサは３次元形状を２次元の画像データとして取得する２次元カメラを用いること特徴とする請求項９に記載の３次元形状検査方法。
12. 前記第２のデータ取得工程では、前記第２の３次元形状センサで異なる視点から前記検査対象の複数の形状データを取得することを特徴とする請求項９に記載の３次元形状検査方法。
13. 前記第２のデータ取得工程では、前記第２の３次元形状センサで異なる方向から照明を照射された前記検査対象の複数の形状データを取得することを特徴とする請求項１２に記載の３次元形状検査方法。
14. 前記不良定量化工程による評価から製品の不良を判定する不良判定工程を行う請求項１０記載の３次元形状検査方法。
15. 前記相補的統合工程では、前記第１の３次元形状センサで得られた点群における法線ベクトルと前記第２の３次元形状センサで得られた点群における法線ベクトルとにより重み付けを行い、前記第１の形状データと前記第２の形状データとを統合することを特徴とする請求項９に記載の３次元形状検査方法。
16. 前記相補的統合工程では、前記第１の３次元形状センサで得られた点群における法線ベクトルと前記第２の３次元形状センサで得られた点群における法線ベクトルを用いて前記第１の形状データと前記第２の形状データとを補正することを特徴とする請求項９に記載の３次元形状検査方法。

Images