JP2012202771A - 計測対象の３次元表面形状算出方法及び３次元表面形状計測装置 - Google Patents

Abstract

【課題】
位相シフト方法による計測対象の３次元形状の計測では、少なくも３種類以上の位相を変えた縞パターンの投影が必要であり、縞パターンの切替、撮像の時間等の計測に時間が掛る課題がある。
【解決手段】
分離可能な異なる２色と各々位相の異なる４種類の縞パターンの２つから合成した異なる２種類の合成縞パターンを計測対象にカラー投影して撮影したカラー画像の色分離を行って撮像画像の縞パターンの位相を算出して計測対象の３次元表面形状の計測を行う。
【選択図】図１

Description

本発明は、計測対象の３次元表面形状を計測する技術に係り、特に位相シフト方法を用いた位相算出による３次元表面形状算出方法及び３次元表面形状計測装置に関する。

工業分野において製品や部品のハンドリングや、形状の良否判定を行う場合、計測対象の３次元形状を計測することが重要となる。

計測対象の３次元表面形状を計測する手法としては、縞パターンを計測対象に投影し、投影した縞パターンの位相が計測対象によりどのように変調されたかを調べることで、計測対象の３次元表面形状を求める方法が広く知られている。この方法では計測対象により変調された縞パターン（以降、変調縞パターンと表現する）の位相変化が計測対象の高さ変化に比例するため、変調縞パターンの位相を精度よく求める必要がある。この変調縞パターンの位相を精度良く求める方法としては、位相シフト法や空間キャリア法が知られている。位相シフト法は位相を変えた縞パターンの何種類かを計測対象に投影し、それを撮像した複数の変調縞パターン画像から位相を求める方法である。また空間キャリア法は高い空間周波数をもつ縞パターンを計測対象に投影し、撮像した画像に対し周波数空間における演算を行って、計測対象により変調された位相を求める方法である。

特許文献１ではプリント板上に印刷されたクリーム半田に複数の位相の光パターンを投影して得られる画像からクリーム半田の形状、量を検出する技術が開示されている。

図５は位相シフト法による計測対象の３次元表面形状計測方法を示す図である。

計測台２４に計測対象２３を設置し、プロジェクタ２２より計測対象２３に縞パターンを投影し、投影された計測対象２３をカメラ２１で撮像する。

図６は従来の計測対象の３次元表面形状の位相算出方法を示す図である。カメラ２１で撮像した計測対象２３の画像より位相（計測対象の高さ）を算出する。

Ｓ３１：位相が異なる４つの縞パターンを生成し、１回目（位相０度）、２回目（位相９０度）、３回目（位相１８０度）、４回目（位相２７０度）の計４回、プロジェクタ２２より順次計測対象２３に投影する。
Ｓ３２：投影する縞パターンを正弦波とした場合、計測対象２３の撮影画像の変調縞パターンの画像上の画素の位置（ｘ，ｙ）における明るさＩ_α（ｘ，ｙ）は、投影する縞パターンの位相変化量をαとして、一般に（式１）で表わせる。

ここで、Ａ（ｘ，ｙ）は変調縞パターンの明るさオフセットである。また、Ｂ（ｘ，ｙ）は振幅であり、Ф（ｘ，ｙ）は求める位相である。

投影縞パターンの位相変化量αが０度、９０度、１８０度、２７０度であるので、変調縞パターンの各画素の位置（ｘ，ｙ）における明るさは（式２）の各々の式となる。

なお、変調縞パターンの白色、黒色、灰色に見える色は白、黒のパターンの明るさの違いによるものである。

Ｓ３３：（式２）より、計測対象２３の位相を（式３）で算出する。

このように、位相シフト法は、投影する縞パターン正弦波とした場合、位相が異なる最低３種類の縞パターンを投影させる必要があり、特に投影する縞パターンの位相誤差などの影響を小さく抑えて精度よく位相を求めるには４種類以上の異なる縞パターンの撮像画像より位相を求めるのが一般的である。そのため、縞パターンを設定して投影し、また投影する縞パターンの切替により計測対象２３を撮像する操作・処理を最低４回行う必要があり、位相算出に時間が掛る問題がある。

一方、空間キャリア法は空間周波数の高い縞パターンを１回投影して得られる撮像画像から位相を求めることができる高速な計測が可能であることが利点であるが、縞パターンの変調を加えた方向に対して分解能が低下するという問題点がある。

特許公報第２７１１０４２号

位相シフト方法による計測対象の３次元表面形状の計測では、少なくも３種類以上（通常最低４種類）の位相を変えた縞パターンの投影が必要であり、縞パターンの切替、撮像の時間等の計測に時間が掛る課題がある。

第１の色と第１の位相を有する縞パターンと、前記第１の色と異なる第２の色で且つ第１の位相と異なる第２の位相の縞パターンと、を合成した第１の合成縞パターンと、第１の色と同一で且つ第１の位相及び第２の位相と異なる第３の位相の縞パターンと、第２の色と同一で且つ第１の位相、第２の位相及び第３の位相と異なる第４の位相の縞パターンと、を合成した第２の合成縞パターンと、の異なる２種類の合成縞パターンを生成し、
前記生成した２種類の合成縞パターンを前記計測対象に投影し、
前記投影された前記計測対象をカラー撮像した２種類の撮像画像を取得し、
前記２種類の撮像画像の前記第１の色と、前記第２の色を分離して４種類の撮像画像の縞パターンを生成し、
前記色分離した４種類の撮像画像縞パターンより前記計測対象の位相を算出して前記計測対象の３次元表面形状を算出する。

本発明により、位相シフト法による計測対象の縞パターンをカラー撮像して位相変化より計測対象の表面形状の計測において、従来４回（４種類）の縞パターンを切替て撮像する手順に対し、合成縞パターンの２回（２種類）の投影と撮像を行うことで計測対象の位相算出が可能となり、計測対象の３次元表面形状の計測の高速化を図ることができる。

本発明の一実施形態の計測対象の３次元表面形状計測装置を示す図である。 本発明の一実施形態の計測対象の３次元表面形状評価手順を示す図である。 本発明の一実施形態の計測対象の３次元表面形状算出手順を示す図である。 本発明の一実施形態の計測対象の補正振幅比算出方法を示す図である。 位相シフト法による計測対象の３次元表面形状計測方法を示す図である。 従来の計測対象の３次元表面形状の位相算出方法を示す図である。

（実施例１）
図１は本発明の一実施形態の計測対象の３次元表面形状計測装置を示す図である。

３次元表面形状計測装置１はカラーカメラ２、パターン投影装置（プロジェクタ）３、変調縞パターン解析部４で構成し、計測台６に設置した計測対象５の３次元表面形状を計測する。

計測対象５を計測台６に設置し、予めパソコン等で作成し転送（パソコン等の縞パターン作成装置との接続は図示せず）された合成縞パターンデータを投影装置（プロジェクタ）３より計測対象５に投影する。カラーカメラ２より投影された計測対象５を撮像し、撮像画像を変調縞パターン解析部４に送信する。

変調縞パターン解析部４は色パターン分離部７、位相算出部８、形状評価部９、データベース（ＤＢ）１０で構成する。ＤＢ１０は種々の計測対象の評価基準（基準形状、基準形状からの許容範囲（高さ、変形等の許容閾値等）等）、及び予め基準となる計測対象から算出した投影する色が異なることにより生じる変調縞パターンの振幅変化のデータ（補正振幅比）を保持する。

色パターン分離部７はカラーカメラ２より送信された変調縞パターンを信号処理により色分離を行い位相算出部８に送信する。

位相算出部８は色分離した４種類の変調縞パターンと、ＤＢ１０により予め算出した補正振幅比を用いて計測対象５の位相を算出し、形状評価部９に送信する。補正振幅比の算出については図４で説明する。

形状評価部９はＤＢ１０に保持する計測対象５の評価基準により計測対象５の評価を行う。

図２は本発明の一実施形態の計測対象の３次元表面形状評価手順を示す図である。

Ｓ１：ア、イ、ウ、エで示す４つの縞パターンデータをパソコンなどで生成する。
ア．縞パターン１：色１／位相０度 イ．縞パターン２：色２／位相９０度
ウ．縞パターン３：色１／位相１８０度 エ．縞パターン４：色２／位相２７０度
ここで、色１と色２は信号処理による色分離が可能な異なる色とする。
Ｓ２：縞パターン１と縞パターン２より合成縞パターン１、縞パターン３と縞パターン４より合成縞パターン２を生成し、２つの合成縞パターンを投影装置（プロジェクタ）３より計測対象５に投影し、カラーカメラ２で撮像し、撮像画像より計測対象５の位相を計測する。変調縞パターンの位相変化が計測対象５の高さ変化に比例するので、位相を算出することにより計測対象５の表面形状を算出する。なお、位相算出手順の詳細は図３で説明する。

Ｓ３：計測結果を計測対象５の評価基準と比較照合して計測対象５を評価する。評価はＤＢ１０に保持する計測対象５の評価基準である基準形状からの許容範囲（高さ、変形等の許容閾値等）等）を満たす場合は良品として所定の処理を行い、満たさない場合は不良品とし所定の処理を行う。

図３は本発明の一実施形態の計測対象の３次元表面形状算出手順を示す図である。

Ｓ１１：投影する縞パターンを正弦波とした場合、生成する４種類の縞パターンの輝度データは（式４）となる。

ここで、Ｘ，Ｙは投影装置に転送するデータ空間におけるＸ座標とＹ座標であり、Ｃ_r（Ｘ，Ｙ）、Ｃ_b（Ｘ，Ｙ）はそれぞれ赤色、青色で生成する縞パターンにおける明るさのオフセットであり、Ｄ_r（Ｘ，Ｙ）、Ｄ_b（Ｘ，Ｙ）はそれぞれ赤色、青色で生成する縞パターンの振幅であり、Φ（Ｘ，Ｙ）は生成する縞パターンの初期位相である。

また、（式４）におけるＦ（・）は投影装置（プロジェクタ）３に転送する輝度指示値と撮像手段により検出される明るさ検出値のあいだの非線形性を補正する関数である。非線形性がある場合、投影した縞パターンの輝度値が想定と異なる場合があるため位相算出における誤差の要因となる。

このような非線形性を補正するため、あらかじめ投影装置（プロジェクタ)３に与える輝度指示値とカラーカメラ２により撮影される輝度値の関係を計測しておき、輝度指示値とカラーカメラ２で撮像される輝度値が線形となるような補正関数（あるいは補正テーブル）Ｆ（・）を求めておくことで縞パターンの輝度値を補正する。

投影装置（プロジェクタ）３が投影する色は一般的なカラー投影装置の３原色である赤、緑、青とする。これより赤、緑、青３色の「ｎ」番目の縞パターンの各々の輝度データをＳ_ｎｒ（Ｘ，Ｙ）、Ｓ_ｎｇ（Ｘ，Ｙ）、Ｓ_ｎｂ（Ｘ，Ｙ）とする。式における添え字「ｒ」、「ｇ」、「ｂ」は各々赤（ｒｅｄ）、緑（ｇｒｅｅｎ）、青（ｂｒｕｅ）を示している。

本発明では３色の内の２色（ここでは、２色として赤（ｒｅｄ）、青（ｂｒｕｅ）とする）で処理する。

例えば、緑の輝度データＳ_ｎｇ（Ｘ，Ｙ）（ｎ＝１，２，３，４）は全て「０」出力であり、赤の輝度データＳ_１ｒ（Ｘ，Ｙ）は「０」出力、Ｓ_２ｒ（Ｘ，Ｙ）は位相９０度で所定の出力を有し、Ｓ_３ｒ（Ｘ，Ｙ）は「０」出力、Ｓ_４ｒ（Ｘ，Ｙ）は位相２７０度で所定の出力を有している。また、青の輝度データＳ_１ｂ（Ｘ，Ｙ）は位相０度で所定の出力を有し、Ｓ_２ｂ（Ｘ，Ｙ）は「０」出力、Ｓ_３ｂ（Ｘ，Ｙ）は位相１８０度で所定の出力を有し、Ｓ_４ｂ（Ｘ，Ｙ）は「０」出力である。

これより、合成縞パターン１Ｔ_１ｃ（Ｘ，Ｙ）（ｃ＝ｒ，ｇ，ｂ）、合成縞パターン２Ｔ_２ｃ（Ｘ，Ｙ）（ｃ＝ｒ，ｇ，ｂ）（式５）を生成して投影装置（プロジェクタ）３に入力し、計測対象５に投影する。

（式５）に示すように合成縞パターン１Ｔ_１ｃ（Ｘ，Ｙ）（ｃ＝ｒ，ｇ，ｂ）は（式４）の縞パターンＳ_ｎｃ（Ｘ，Ｙ）（ｃ＝ｒ，ｇ，ｂ）のｎ＝１，２に対応している。Ｔ_１ｒ（Ｘ，Ｙ）はＳ_１ｒ（Ｘ，Ｙ）とＳ_２ｒ（Ｘ，Ｙ）を加算、Ｔ_１ｇ（Ｘ，Ｙ）はＳ_１ｇ（Ｘ，Ｙ）とＳ_２ｇ（Ｘ，Ｙ）を加算、Ｔ_１ｂ（Ｘ，Ｙ）はＳ_１ｂ（Ｘ，Ｙ）とＳ_１ｂ（Ｘ，Ｙ）を加算したものである。

合成縞パターン２Ｔ_２ｃ（Ｘ，Ｙ）（ｃ＝ｒ，ｇ，ｂ）も同様である。説明は省略する。

なお、投影装置（プロジェクタ）３に転送する明るさ指示値とカラーカメラ２により検出される明るさ検出値の間の非線形性を補正しない場合の縞パターンの輝度データは（式６）となる。（式４）と同様に投影縞パターンを正弦波として、前述の赤色、青色で生成する縞パターンにおける明るさのオフセットＣ_r（Ｘ，Ｙ）、Ｃ_b（Ｘ，Ｙ）及び赤色、青色で生成する縞パターンの振幅Ｄ_r（Ｘ，Ｙ）、Ｄ_b（Ｘ，Ｙ）で表し、（式６）より（式５）を生成する。

（式６）において、「０」出力以外の縞パターン輝度データは、例えば、Ｓ_１ｂ（Ｘ，Ｙ）はＣ_ｂ（Ｘ，Ｙ）とＤ_ｂ（Ｘ，Ｙ）ｓｉｎ（Ф（Ｘ，Ｙ））を加算したものである。Ｓ_２ｒ（Ｘ，Ｙ）、Ｓ_３ｂ（Ｘ，Ｙ）、Ｓ_４ｒ（Ｘ，Ｙ）も同様である。

Ｓ１２：合成縞パターン１、合成縞パターン２を計測対象５に投影し、カラーカメラ２で撮像した画像として、変調縞パターン１、変調縞パターン２を得る。１）に色分離前の変調縞パターン、２）に色分離後の変調縞パターン、３）に色分離後の変調縞パターンの明るさを示す。
１）色分離前の変調縞パターン
変調縞パターンは色１（青）と、色２（赤）が混ざった明るさに応じた色になっている。即ち、変調縞パターンは色１（青）と、色２（赤）の２色の正弦波の何れか片方の色から他方の色の間を両色の割合が変化しながら混ざりあったものである。
２）色分離後の変調縞パターン
合成縞パターン１による変調縞パターンを色分離し色１（青）の変調縞パターン１と色２（赤）変調縞パターン２を得る。また合成縞パターン２による変調縞パターンを色分離し色１（青）の変調縞パターン３と色２（赤）の変調縞パターン４を得る。色分離後の変調縞パターンは、各々、色１、色２各々の単色でその明るさが変化している。色が白く見える領域は明るく、黒く見える領域は暗い領域である。
３）色分離後の変調縞パターンの明るさ
色分離後の４種類の変調縞パターンの明るさは（式７）の各式となる。

色１（青）で位相０度の縞パターンに対応する変調縞パターン１がＩ_０（ｘ，ｙ）であり、色１（青）で位相１８０度の縞パターンに対応する変調縞パターン３がＩ_１８０（ｘ，ｙ）である。また、色２（赤）で位相９０度の縞パターンに対応する変調縞パターン２がＩ_９０（ｘ，ｙ）であり、色２（赤）で位相２７０度の縞パターンに対応する変調縞パターン４がＩ_２７０（ｘ，ｙ）である。なお、Ａ_ｃ（ｘ，ｙ）（ｃ＝ｂ，ｒ）の縞パターンを投影したときの変調縞パターンの明るさオフセット、Ｂ_ｃ（ｘ，ｙ）（ｃ＝ｂ，ｒ）は変調縞パターンの振幅である。

Ｓ１３：色分離した変調縞パターンの明るさ（式７）と、ＤＢ１０に保持する補正振幅比γ（ｘ，ｙ）（式１３）から計測対象５の位相を（式８）で算出する。補正振幅比γ（ｘ，ｙ）の算出方法は後述する（図４）

図４は本発明の一実施形態の計測対象の補正振幅比算出方法を示す図である。

Ｓ２１：縞パターンとして、色１（青）、色２（赤）各々に対し、位相αが０度、９０度、１８０度、２７０度の縞パターンを計測対象５の基準サンプルに投影する。色１（青）の縞パターン投影による変調縞パターンの明るさは（式９）となり、色２（赤）の縞パターン投影による変調縞パターンの明るさは（式１０）となる。

（式９）、（式１０）は基本的に（式２）と同一であるので、説明は省略する。

Ｓ２２：変調縞パターン色１（青）の明るさ（式９）より色１（青）の振幅Ｂ_ｂ（ｘ，ｙ）（式１１）を算出し、変調縞パターン色２（赤）の明るさ（式１０）より色２（赤）の振幅Ｂ_ｒ（ｘ，ｙ）（式１２）を算出する。

これより投影する色（青、赤）が異なることにより生じる変調縞パターンの補正振幅比γ（ｘ，ｙ）は（式１３）となる。

また、補正振幅比は、計測対象毎に使用する各色で予め基準サンプルにより計測を行い、補正振幅比を算出してＤＢ１０に保持しておく。

以上より、２種類の色、各々異なる複数位相の縞パターンから生成した２種類の合成縞パターンを計測対象に投影し、撮像した画像を色分離した変調縞パターンから位相を算出することができる。即ち、２回の投影操作により計測対象５の表面形状を算出でき、従来の４回の投影操作を半分にできる。

１ ３次元表面形状計測装置
２ カラーカメラ
３ 投影装置（プロジェクタ）
４ 変調縞パターン解析部
５ 計測対象
６ 計測台
７ 色パターン分離部
８ 位相算出部
９ 形状評価部
１０ ＤＢ
２１ カメラ
２２ プロジェクタ
２３ 計測対象（従来図）
２４ 計測台（従来図）

Claims (6)

1. 第１の色と第１の位相を有する縞パターンと、前記第１の色と異なる第２の色で且つ前記第１の位相と異なる第２の位相の縞パターンと、を合成した第１の合成縞パターンと、前記第１の色と同一で且つ第１の位相及び前記第２の位相と異なる第３の位相の縞パターンと、前記第２の色と同一で且つ前記第１の位相、前記第２の位相及び前記第３の位相と異なる第４の位相の縞パターンと、を合成した第２の合成縞パターンと、の異なる２種類の合成縞パターンを生成し、
   前記生成した２種類の合成縞パターンを前記計測対象に投影し、
   前記投影された前記計測対象をカラー撮像した２種類の撮像画像を取得し、
   前記２種類の撮像画像の前記第１の色と、前記第２の色を分離して４種類の撮像画像の縞パターンを生成し、
   前記色分離した４種類の撮像画像縞パターンより前記計測対象の位相を算出して前記計測対象の３次元表面形状を算出することを特徴とする計測対象の３次元表面形状算出方法。
2. 前記色分離した撮像画像の４種類の縞パターンと基準の計測対象から求めた色の違いによる補正振幅比情報をもとに位相を算出することを特徴とする請求項１に記載の計測対象の３次元表面形状算出方法。
3. 前記第２の位相は前記第１の位相に対し９０度進んでいる縞パターンであり、
   前記第３の位相は前記第１の位相に対し１８０度進んでいる縞パターンであり、
   前記第４の位相は前記第１の位相に対し２７０度進んでいる縞パターンであることを特徴とする請求項１に記載の計測対象の３次元表面形状算出方法。
4. 前記合成縞パターンはさらに前記投影装置に転送する明るさ指示値と前記撮像手段により検出される検出値の間の非線形性を補正した縞パターンより生成することを特徴とする請求項１に記載の計測対象の３次元表面形状算出方法。
5. 前記補正振幅比情報は異なる計測対象毎に固有情報として保持することを特徴とする請求項２に記載の計測対象の３次元表面形状算出方法。
6. 計測対象にカラー縞パターンを投影する投影手段と、
   前記投影手段により投影された前記計測対象をカラー撮像するカラー撮像手段と、
   前記カラー撮像画像の色を分離するカラー画像色分離手段と、
   前記色分離された撮像画像の位相を算出する位相算出手段と、
   前記算出した位相より表面形状の評価する表面形状評価手段と、
   を備えることを特徴とする計測対象の３次元表面形状計測装置。
   

Images