JP2009019884A - ３次元形状測定装置及び測定方法 - Google Patents

Abstract

【課題】３次元形状測定で使用する取得した画像中のパターン部分の画像を高いＳ／Ｎ（ＳＮ比）で抽出でき、測定精度と繰り返し性を向上できる３次元形状測定装置を提供すること。
【解決手段】被測定物に所定のパターンを有する測定光を投射する投射部（パターン投射部１）と、前記投射部を、前記被測定物に前記測定光を投射するオン状態と、前記被測定物に前記測定光を投射しないオフ状態とに制御する投射制御部（パターン投射制御コントローラ２）と、前記パターンの画像が前記被測定物の画像上に重なったパターン重畳画像と、前記被測定物に前記測定光が投射されないときの、前記被測定物の画像である背景画像とをそれぞれ取得する画像取得部（カメラ３）と、前記パターン重畳画像の画像データから前記背景画像の画像データの成分を除去して前記パターン画像の画像データを抽出する画像処理部と、を備える。
【選択図】 図１

Description

本発明は機械部品などの３次元形状を非接触で測定する３次元形状測定装置及び測定方法に関する。

従来、この種の装置は、非接触３次元形状測定機（画像測定機）にて被測定物の画像を取得し、その画像中の被測定物（背景画像）のエッジ部分を検出して画像計測するか、あるいは被測定物にパターンを投射し、該パターンが被測定物の形状の凹凸に沿って歪んで観測できる画像にて３次元形状を測定している。

しかし、上記従来技術の非接触３次元形状測定装置では、被測定物上に投射されたパターンが重畳された被測定物の画像に基づいて該パターンを抽出している。そのため、背景画（被測定物の画像）の影響を受けやすく、計測したいパターンの画像Ｓ／Ｎ（ＳＮ比）が劣化する課題があった。

また、撮像系（カメラ及び光学系）に起因して画像にあらわれる固定パターンノイズを測定画像から除去するためにシェーディング補正を行うなどして画像の補正処理を行う必要があった。

本発明はこのような従来技術の問題点を鑑みてなされたもので、３次元形状測定で使用する取得画像中のパターン部分の画像を高いＳ／Ｎ（ＳＮ比）で抽出でき、測定精度と繰り返し性を向上できる３次元形状測定装置及び測定方法を提供することを目的とする。

上記目的を達成する本発明の請求項１に記載の３次元形状測定装置は、被測定物に所定のパターンを有する測定光を投射する投射部と、前記投射部を、前記被測定物に前記測定光を投射するオン状態と、前記被測定物に前記測定光を投射しないオフ状態とに制御する投射制御部と、前記パターンの画像が前記被測定物の画像上に重なったパターン重畳画像と、前記被測定物に前記測定光が投射されないときの、前記被測定物の画像である背景画像とをそれぞれ取得する画像取得部と、前記パターン重畳画像の画像データから前記背景画像の画像データの成分を除去して前記パターン画像の画像データを抽出する画像処理部と、を備えてなることを特徴とする。

本発明の請求項２に記載の３次元形状測定装置は、前記画像取得部による画像取得のタイミングが、最初に前記取得した時点から使用する商用電源周波数の整数倍の周期のタイミングで次の前記取得するように前記画像取得部を制御する画像取得制御部を備えてなることを特徴とする。

本発明の請求項３に記載の３次元形状測定装置は、前記画像取得部による画像取得のタイミングが、最初に前記取得した時点から使用する商用電源周波数（５０Ｈｚ、６０Ｈｚ）の公倍数の周期のタイミングで次の前記取得するように前記画像取得部を制御する画像取得制御部を備えてなることを特徴とする。

本発明の請求項４に記載の３次元形状測定装置は、前記被測定物と前記画像取得部とを相対的に移動させる移動機構を備え、前記画像取得制御部が、前記移動機構によって前記被測定物及び／又は前記画像取得部の相対的な移動中、前記パターン重畳画像と前記背景画像とをそれぞれ取得するように前記画像取得部を制御することを特徴とする。

本発明の請求項５に記載の３次元形状測定装置は、前記画像処理部が、前記背景画像のデータを、前記測定部及び／又は前記画像取得部の移動分に相当する画素数分移動させて画像演算することを特徴とする。

本発明の請求項６に記載の３次元形状測定装置は、被測定物に所定のパターンを有する測定光を投射する投射部と、前記被測定物の画像である背景に前記パターンの画像が重なった、パターン重畳画像を取得する画像取得部と、前記画像取得部によって前記パターン重畳画像の取得中、前記被測定物と前記画像取得部とを相対的に移動させる移動機構と、前記画像取得部によって取得された前記パターン重畳画像を積算して前記背景画像の成分を抽出し、前記パターン重畳画像から該背景画像の成分を除去して前記パターン画像の画像データを取り出し、前記被測定物の断面画像データを抽出する画像処理部と、を備えてなることを特徴とする。

本発明の請求項７に記載の３次元形状測定装置は、前記画像処理部が、前記パターン重畳画像を前記被測定物と前記画像取得部との相対移動距離に相当する画素数分移動させて画像演算した画像データを積算することにより前記背景画像の成分を抽出し、該背景画像の成分を前記パターン重畳画像から除去して前記パターン画像の画像データを取り出すことを特徴とする。

本発明の請求項８に記載の測定方法は、被測定物の３次元形状を光切断法によって測定する３次元形状の測定方法であって、所定のパターンを有する測定光を前記被測定物に断続的又は連続的に投射して、前記被測定物の画像である背景に該パターンの画像が重なった、パターン重畳画像を取得する画像データ取得工程と、前記画像データ取得工程で取得した前記パターン重畳画像から前記背景画像の成分を除去して前記パターン画像の画像データを取り出し、前記被測定物の断面画像データを抽出する画像処理工程と、を備えることを特徴とする。

本発明によれば、３次元形状測定で使用する取得画像中のパターン部分の画像を高いＳ／Ｎで抽出でき、測定精度と繰り返し性を向上することができる。

以下本発明の３次元形状測定装置及び測定方法の一実施形態について図１乃至図９を参照して説明する。

先ず、本発明の概略を説明すると、本発明では、最初にパターンを投射していない被測定物の画像のみを１枚以上積算した背景画像を取得し、次にパターンを被測定物に投射した被測定物の画像を１枚以上積算したパターン重畳画像を取得する。取得した２種の画像を画像演算によって各画素ごとに減算することによって背景画像を消したパターンのみの画像を得る。

このような画像処理を最初に行うことで固定パターンノイズ成分も削除できるため、従来行っていたシェーディング補正を行う必要がない。

また、撮像素子（ＣＣＤあるいはＣＭＯＳセンサ）には、画素データを高速に読み出すために複数の画素データ転送部をその内部に設けて読み出す方式があるが、どうしても転送路の違いによる電圧のオフセットが違うために信号レベルを補正する必要があるが、背景画像を抽出し、この背景画像をパターン重畳画像から除去する（減算）方式をとる本発明ではこの補正を行う必要もない。

さらに、背景画像が含まれる元々の画像が１０〜１２ビットの高分解能画像であっても画像減算した後の実質的にパターンのみが残った画像は８ビット（２５６レベル）以下のピークの画像となる為に、その後の画像演算処理用のメモリを減らすことも可能になり、また一度に多ビット（３２、６４ビットなど）の画像データをメモリからアクセスできるシステムを構築した場合には、結果的に画像処理の速度が最大２倍に向上できる。

従って、画像処理システムを安価に構成できる効果と画像処理速度が向上する効果がある。

図１は本発明の３次元形状測定装置の第１の実施形態を示す概略図である。

本装置は、被測定物１８に所定のパターンを有する測定光１ａを投射する投射部としてのパターン投射部１と、測定光１ａを被測定物１８に投射（照射）するオン状態と、測定光１ａを被測定物１８に投射しないオフ状態とに、パターン投射部１を制御する投射制御部としての投射制御コントローラ２と、パターン投射部１によって被測定物１８に測定光１ａが投射されたときの、パターンの画像が被測定物１８の画像上に重なったパターン重畳画像と、被測定物１８に測定光１ａが投射されないときの、被測定物１８自体の画像である背景画像と、をそれぞれ取得する画像取得部を構成するカメラ３と、パターン重畳画像の画像データから背景画像の画像データの成分を除去してパターン画像の画像データを抽出する画像処理部（カメラ画像マルチプレクサ５、背景画像メモリ６、パターン重畳画像メモリ７、画像メモリセレクタ８、画像加算器９、画像積算マルチプレクサ１０、背景画像積算メモリ１１、パターン画像積算メモリ１２、画像減算器１３、画像除算器１４など）と、を備える。

パターン投射部１から出射された測定光１ａは、被測定物１８に照射される。被測定物１８を反射した反射光１ｂは、カメラ３の撮像素子で光電変換されて画像信号３ａを出力する。

カメラ画像マルチプレクサ５は、パターン投射制御コントローラ２からのＯＮ／ＯＦＦ信号２ａを受け取って、パターン投射部１から出射されるパターンのＯＮ／ＯＦＦに連動して動作する。パターン投射ＯＦＦの場合はカメラ画像信号３ａを背景画像メモリ６へ格納し、パターン投射ＯＮの場合はカメラ画像信号３ａをパターン重畳画像メモリ７へ格納する。

タイマ付きカメラコントローラ４は、カメラ３へ露光トリガ信号４ａを出力し、その信号でカメラ３は画像を取得する。タイマ付きカメラコントローラ４は最初に露光トリガ信号４ａを出力した時から時間を計測し、商用電源周波数（５０Ｈｚ、６０Ｈｚ）の周期のそれぞれの整数倍か、または商用電源周波数（５０Ｈｚ、６０Ｈｚ）の２つの周期の最小公倍数の周期にシンクロして２回目からカメラ３へ露光トリガ信号４ａを出力するので、商用電源周波数起因の画像フリッカを削減できる（図２（ａ）、（ｂ）参照）。

図２（ａ）は商用電源周波数起因の画像フリッカが発生する原因を説明する図である。商用電源周波数には５０Ｈｚ、６０Ｈｚの周期が存在している。この図は５０Ｈｚの場合を示す図であるが、交流で室内照明（蛍光灯、白熱電灯など）を駆動しているので、図１の被測定物１８に照射される光は、１００Ｈｚ（１０ｍｓ）で強弱が繰り返されている。この条件下で被測定物１８の画像を２枚以上取得する時、この光の強弱の周期とカメラの撮像素子のシャッタータイミングが非同期である場合には、撮影された画像には明暗の画像（フリッカ画像）が取得される。

このフリッカ画像を使用して図１で構成している背景画象とパターン重畳画象からパターン画像だけを抽出しようとした場合、この被測定物１８の明暗差はそのままパターン画像に残ったままだと誤差起因となりうる。

図２（ｂ）は商用電源周波数起因の画像フリッカを回避する方法を説明する図である。この図は５０Ｈｚの場合を示す図であるが、最初にカメラ３にて画像を取得したタイミング（露光１）から、タイマ付きカメラコントローラ４は時間を計測する。

２枚目の画像取得タイミング（露光２）は、５０Ｈｚの場合には１／５０ｍｓ（２０ｍｓ）の半分の１０ｍｓの整数倍後の時刻で開始すれば必ず被測定物１８に照射される光の強さは揃うので、画像フリッカは発生しない。同様に６０Ｈｚの場合には、１／６０ｍｓ（約１６．６８ｍｓ）の半分の８．３４ｍｓの整数倍後の時刻で露光を行えば画像フリッカの発生を回避できる。

図１の３次元形状測定装置において、個別に商用電源周波数（５０Ｈｚか６０Ｈｚ）の設定を変えてそれぞれの周期の整数倍の時間を計測しても、あるいは商用電源周波数（５０Ｈｚ、６０Ｈｚ）の２つの周期の半分の周期の最小公倍数（５０ｍｓ）の周期にシンクロして、画像取得することで、商用電源周波数起因の画像フリッカを削減できる。

背景画像５ａを複数枚積算するには、まず背景画像メモリ６に格納された画像信号６ａを画像メモリセレクタ８が読み出して１枚の積算画像８ａとし、背景画積算メモリ１１に格納する。次の背景画像５ａが背景画像メモリ６に格納されると、画像メモリセレクタ８は、背景画像メモリ６から画像信号６ａを読み出して画像信号８ｄとして出力し、同時に背景画像積算メモリ１１に格納した先の積算初期画像８ｂを読み出して、画像信号８ｃとして出力する。この時、画像メモリセレクタ８は画像信号８ｄと画像信号８ｃの２つの画像の画素を出力するタイミングを合わせ、画像加算器９で各画素が足し合わされる。画像積算マルチプレクサ１０は、「背景画像の積算画像」か「パターン重畳画像の積算画像」か、を画像メモリセレクタ８からの画像種類信号８ｇとして受け取って、２つの画像を加算した画像信号９ａを、経路１０ａを経て再び背景画像積算メモリ１１へ格納する。２枚目、３枚目、４枚目・・・の画像積算を実現する場合にも、経路１０ａを経て同様の動作を行う。これによって背景画像積算メモリ１１へ積算された背景画像５ａが蓄積されていく。

パターン重畳画像を複数枚積算するには、まずパターン重畳画像メモリ７に格納された画像信号７ａを、画像メモリセレクタ８が読み出して、積算初期画像８ｆとしてパターン重畳画像積算メモリ１２に格納する。次のパターン重畳画像５ｂがパターン重畳画像メモリ７に格納されると、画像メモリセレクタ８は、パターン重畳画像メモリ７から画像信号７ａを読み出して画像信号８ｄとして出力し、同時にパターン重畳画積算メモリ１２に格納した先の１枚の積算画像８ｅを読み出して画像信号８ｃとして出力する。この時、画像メモリセレクタ８は画像信号８ｄと画像信号８ｃの２つの画像の画素を出力するタイミングを合わせ画像加算器９で各画素が足し合わされる。画像積算マルチプレクサ１０は画像種類信号８ｇにより「パターン重畳画像の積算画像」と判断し、２つの画像を加算した画像信号９ａを、経路１０ｂを経て再び背景画像積算メモリ１２へ格納する。２枚目、３枚目、４枚目・・・の画像積算を実現する場合にも、経路１０ｂを経て同様の動作を行う。これによって再びパターン重畳画像積算メモリ１２へ積算されたパターン重畳画像が蓄積されていく。

背景画像とパターン重畳画像の積算枚数を同じにすることによって、次の画像演算式で表す演算動作が実行出来る。
〔パターン重畳積算画像１２ｂ〕−〔背景積算画像１２ａ〕＝〔パターン積算画像１３ａ〕

つまり、パターン重畳画積算メモリ１２と背景画像積算メモリ１１からそれぞれ画像を読み出して画像減算器１３で各画素を引き算する。

この動作によって抽出されたパターン積算画像１３ａは、詳細な画像成分としては積算した画像分のパターン画像と、カメラ（撮像器）３で光電変換した時に付加されたランダムノイズ成分残差や外乱光などが起因となる同一積算画像の輝度差の残差と、が含まれた画像である（図３（ｂ）参照）。

そこで、パターン積算画像１３ａを画像除算器１４によって積算した枚数を分母とする各画素の割り算を実行することでノイズ残差や輝度残差を大幅に低減でき（図３（ｃ）参照）、同時に画像の容量も圧縮する事が可能となる。例えば１画素が１６ビット幅だったデータを８ビット幅に圧縮可能となる。

積算枚数が、２枚、４枚、８枚、１６枚、３２枚・・・と（２のべき乗）枚と限定した場合、画像除算器１４は、不図示のビットシフト回路によって画素データをべき乗分だけＬＳＢ(Least Significant Bit)側へシフト処理で実現できるので、大幅な回路の簡素化ができる。

画像除算器１４で処理されたパターン画像１４ａは、パターン画像メモリ１５に格納される。パターンブロック検出機構１６は、パターン画像サーチ信号１６ａをパターン画像メモリ１５に出力し、パターン画像メモリ１５に格納された画像のサーチを実行し、パターン画像が１画面中をいくつかのブロックに分割したうちのどのブロックに写っているかを検知し、次の画像処理のパターンブロックディストーション補正機構１７へ該当するブロック情報１６ｂを送る。このブロック情報１６ｂに基づいて、パターン画像メモリ１５の該当している画像ブロック１５ａだけを読み出して光学的なディストーションを電気的に補正する。

このように補正をする画像を絞ることで、画像処理時間の大幅な短縮が実現できる。

図３（ａ）は、図１の３次元形状測定装置のパターン重畳画像メモリ７に格納された画像７ａの画像成分の内訳を説明する模式図である。１水平ラインにプロジェクションされる画像成分を模式的に図示している。

カメラ画像３ａを１０ビット（１０２４）階調で取得した場合、各画素は１６ビット（２バイト）のメモリに格納される場合が一般的である。パターン重畳画像メモリ７の画像７ａの画像成分には、カメラ３の撮像素子のオプティカルブラックレベルがオフセット分として画像にのるカメラＡ／Ｄオフセット成分と、カメラ３の撮像素子内部の熱雑音や撮像素子の電荷を読み出す時（個体撮像素子の出力を電圧に変換する時）に発生する周波数も位相もぐちゃぐちゃなランダムノイズ成分と、撮像素子内部で発生する真っ暗にしているにも関わらず出力に出てきてしまう暗電流が起因の固定パターンノイズ成分と、被測定物１８に照射された光が反射して撮像素子で露光される背景画像成分と、パターン投射部１から出射される光が被測定物１８で反射して撮像素子で露光される、不図示のマーク画像成分と、が含まれている。

図３（ｂ）は、図１の３次元形状測定装置の、パターン重畳積算画像１２ｂから背景積算画像１２ａを減算して得られたパターン積算画像１３ａの画像成分を示した模式図である。パターン画像成分とランダムノイズノイズ成分が残っている。

図３（ｃ）は、第１図の３次元形状測定装置のパターン画像メモリ１５に格納されている画像除算器１４で処理されたパターン画像１４ａを示している。

この図のように、ランダムノイズ成分は画像除算器１４で１階調以下に抑えられるために、パターン画像メモリ１５には、パターン画像のみが蓄積される。

これは、図３（ａ）での画像が１６ビット（２バイト）在ったにもかかわらず、図３（ｃ）までの処理によって８ビット（１バイト）で表現できていることになり画像処理圧縮されたのと同じとなる。

図３（ｃ）の段階の画像ではパターン画像のみが存在するために、図１のパターンブロック検出機構１６の画像サーチ処理は、予め定められた画像のブロック内の画像データが０ｘ０か、０ｘ１以上のパターン画像を含んでいるかを検知するだけとなり非常にシンプルで高速な処理が実現できる。

図４はパターン投影をＯＮ／ＯＦＦする一方、被測定物を載置したステージを連続動作してパターン画像を抽出する方法の一例を示す説明図である。

非接触３次元測定の光切断法などは、被測定物（ワーク）か、カメラのどちらかを相対的に動かして、画像を取得している。

図１で説明するパターン重畳画像と背景画像を、同じ相対位置で２枚以上取得する場合はいわゆるステージの移動、停止の繰り返し動作となる為に１回の被測定物（ワーク）の形状測定に多大な時間を費やしてしまう。

そこで、ステージを停止させることなく連続動作しながらパターン重畳画像と背景画像を撮影して、最終的にパターン画像を抽出する。図４はこのパターン抽出方法を示している。

図４（ａ）は、パターン投射を行なわずに取得した背景画像である。

図４（ｂ）は図４（ａ）の背景画像の取得後にパターン投射を行って、１画素分水平方向に移動した瞬間のパターン重畳画像である。

図４（ｃ）は図４（ｂ）のパターン重畳画像の取得後にパターン投射を止めて、さらに１画素分水平方向に移動した瞬間の背景画像である。

図４（ｄ）は図４（ｃ）の背景画像の取得後にパターン投射を行って、さらに１画素分水平方向に移動した瞬間のパターン重畳画像である。

この様に１画素毎にパターン投射をＯＮ／ＯＦＦした画像を取得する。

図４（ａ）の背景画像は、図４（ｂ）のパターン重畳画像の背景画像成分とほぼ同じと近似しており、図４（ｂ）のパターン重畳画像から図４（ａ）の背景画像を除去することにより、すなわち、

〔パターン重畳画像（ｂ）〕−〔背景画像（ａ）〕＝〔（ｂ）位置のパターン画像〕
で示す画像演算の式によって、図４（ｂ）の位置にあるパターン画像を抽出する事も可能だが、被測定物（ワーク）とカメラとの相対位置の違う２枚の画像であるので、背景画像は１画素分移動方向にずれている分、画像演算誤差がパターン画像に残ってしまう。

そこで、この画像演算誤差をさらに小さくする為には、図４（ａ）の背景画像をステージの移動と同等の１画素分水平移動して以下の画像演算をする。

すなわち、
〔パターン重畳画像（ｂ）〕−〔背景画像（ａ）を１画素水平左シフト〕
＝〔（ｂ）位置のパターン画像〕

さらに、次のパターン画像の抽出は以下の画像演算で求めた画像を使用する。
〔パターン重畳画像（ｄ）〕−〔背景画像（ｃ）を１画素水平左シフト〕
＝〔（ｄ）位置のパターン画像〕

これを順次繰り返す。この様な手順で、１画素おきのパターン画像を抽出する。

この他の処理手順として、図４（ａ）と図４（ｃ）の画像を使用して図４（ｂ）の背景画像を作成する方法もある。これを画像演算の式で表現すると、
〔パターン重畳画像（ｂ）〕−
｛〔（ａ）を１画素水平左シフト〕＋〔（ｃ）を１画素水平右シフト〕｝÷２
＝〔（ｂ）位置のパターン画像〕
となる。

この方法だと背景画像に含まれるランダムノイズ成分は前記１枚の背景画像より半分位に平均化できる。

ステージの１画素分の移動距離は光学の倍率と関係している為に、撮像素子の画素ピッチとならない場合がある。

ここでは１画素毎に画像を取得する場合を示したが、取得する画素ピッチは１画素以上であってもなんら支障が無い。

図５は本発明の３次元形状測定装置の第２の実施形態を示す概略図で、図４のステージ連続動作時のパターン画像抽出方法を実現する装置である。

パターン投射部４１から出射された所定のパターンを有する測定光４１ａは、ステージ５４に搭載された被測定物５３に照射される。被測定物５３を反射した反射光４１ｂは、カメラ４３の撮像素子で光電変換されて画像信号４３ａを出力する。カメラ画像マルチプレクサ４５は、パターン投射制御コントローラ４２からのＯＮ／ＯＦＦ信号４２ａを受け取って、パターン投射部４１から出射されるパターンのＯＮ／ＯＦＦに連動して動作する。パターン投射ＯＦＦの場合はカメラ４３の画像信号４３ａを背景画像メモリ４６へ格納し、パターン投射ＯＮの場合はカメラ４３の画像信号４３ａをパターン重畳画像メモリ４７へ格納する。

ステージ位置検出部４４は、ステージ＆エンコーダ連動部５４ａを介してステージ５４と連動したステージ位置エンコーダ５２から位置信号５２ａを受け取ってステージ５４が所定の位置に達した時に、カメラへ露光トリガ信号４４ａを出力し、その信号でカメラ４３は画像を取得する。

換言すると、ステージ５４を移動して１画素ずれた画像を取得できる位置をステージ位置エンコーダ５２からステージ位置検出部４４が検出して、カメラ４３へ露光トリガ信号４４ａを出力する。露光トリガ信号４４ａは、パターン投射制御コントローラ４２にも送られる。この露光トリガ信号４４ａによって、パターン投射制御コントローラ４２は１画素分移動ごとにパターン投射を点灯／消灯するＯＮ／ＯＦＦ信号４２ａを生成する。

画像メモリセレクタ４８は、背景画像メモリ４６から画像信号４６ａを読み出して画像信号４８ａとして画像水平方向左シフト部４９に送出する。またパターン重畳画像メモリ４７からは画像信号４７ａを読み出して画像水平方向左シフト部４９で水平方向にシフトされた画像信号４９ａの処理タイミングに合わせて、画像信号４８ｂとして出力し、画像減算器５０で画素毎に減算する。

これを画像演算の式で表現すると、
〔パターン重畳画像４８ｂ〕−〔１画素水平左シフトした背景画像４９ａ〕＝〔パターン画像５０ａ〕となる。

ここで抽出されたパターン画像５０ａは、パターン画像メモリ５１に格納される。

この後の処理は、図１で説明した内容で処理することができるので、その説明は省略する。

図６は画像積算を利用してステージ連続動作時のパターン画像抽出方法の１例を示す図である。

図４で説明した方法と違う点は、ステージを停止させることなく連続動作しながらパターン投射のＯＮ／ＯＦＦを行うことなくパターン重畳画像のみを取得して背景画像を抽出し、最終的にパターン画像を抽出する点である。

図６（ａ）はパターン投射を行なったパターン重畳画像である。

図６（ｂ）は図６（ａ）のパターン重畳画像から１画素分水平方向に移動した瞬間のパターン重畳画像である。

図６（ｃ）は図６（ｂ）のパターン重畳画像からさらに１画素分（合計２画素分）水平方向に移動した瞬間のパターン重畳画像である。

図６（ｄ）は図６（ｃ）のパターン重畳画像からさらに１画素分（合計３画素分）水平方向に移動した瞬間のパターン重畳画像である。

図６では図示していないが、（ｅ）画像は図６（ｄ）の画像からさらに１画素分（合計４画素分）水平方向に移動した瞬間のパターン重畳画像とし、（ｆ）画像は（ｅ）画像からさらに１画素分（合計５画素分）水平方向に移動した瞬間のパターン重畳画像とし、（ｇ）画像は（ｆ）画像からさらに１画素分（合計６画素分）水平方向に移動した瞬間のパターン重畳画像とし、（ｈ）画像は（ｇ）画像からさらに１画素分（合計７画素分）水平方向に移動した瞬間のパターン重畳画像とする。（ｉ）画像は（ｈ）画像からさらに１画素分（合計８画素分）水平方向に移動した瞬間のパターン重畳画像とする。これを繰り返す。

ここで着目したいのは、ステージが移動する毎に被測定物（ワーク）の形状情報を含んだパターン投射光がカメラの撮像素子で捉えられる位置は毎回異なっている点である。

つまり、多くの画像を積算すると背景画像はほぼ固定である為に、より強調された固定パターンとして積算されるが、投射パターンはステージ移動と被測定物（ワーク）形状が変化する関係で、毎回位置を変えてランダムパターンとして積算されていく。

固定パターンは、何枚画像積算してもその画像情報は積算された分維持されるが、ランダムパターンは積算されれば積算されるほど、その成分は平均化され、積算した固定パターンに埋もれていく。

この関係を利用して、まず上記８枚のパターン重畳画像から図６（ａ）位置のパターン画像を抽出する。

図４でも説明したが、画像演算誤差を小さくする為には、ステージ移動と同等の画素分だけ水平移動して画像演算する。すなわち、
〔パターン重畳画像（ａ）〕
〔（ｂ）画像を１画素水平右シフトしたパターン重畳画像〕
〔（ｃ）画像を２画素水平右シフトしたパターン重畳画像〕
〔（ｄ）画像を３画素水平右シフトしたパターン重畳画像〕
〔（ｅ）画像を４画素水平右シフトしたパターン重畳画像〕
〔（ｆ）画像を５画素水平右シフトしたパターン重畳画像〕
〔（ｇ）画像を６画素水平右シフトしたパターン重畳画像〕
＋ 〔（ｈ）画像を７画素水平右シフトしたパターン重畳画像〕
〔（ａ）画像の８枚積算画素パターン重畳画像〕 ・・・・・（１）
を求める。

求めた（１）画像は８枚の画像を積算しているので、背景画像の成分が８倍となっている。

一方、重畳されたパターン画像の成分は、１枚ずつ位置を変えているので積算する事で平均化されている。

このパターン画像を消して、背景画像を抽出するために、
（１）の画像を１／８倍（ＬＳＢ側へ３ビットシフト） ・・・・・（２）
する。

これによってパターン画像の抽出は以下の画像演算で可能となる。
〔パターン重畳画像（ａ）〕−〔（２）の処理をした画像〕＝〔（ａ）位置のパターン抽出画像〕

８枚積算すると、元々の画素位置を、それぞれ移動して演算するために、左右両サイドの８画素分は、画像の枚数が整わないので、両サイドの８画素分は捨ててもいいし、（２）の処理を両サイドの８画素については画素ごとに積算した枚数分だけ除算してもよい。

次に、上述のようにして取得した８枚のパターン重畳画像から（ｂ）位置のパターン画像を抽出する。

これには先ず、
〔パターン重畳画像（ｂ）〕
〔（ｃ）画像を１画素水平右シフトしたパターン重畳画像〕
〔（ｄ）画像を２画素水平右シフトしたパターン重畳画像〕
〔（ｅ）画像を３画素水平右シフトしたパターン重畳画像〕
〔（ｆ）画像を４画素水平右シフトしたパターン重畳画像〕
〔（ｇ）画像を５画素水平右シフトしたパターン重畳画像〕
〔（ｈ）画像を６画素水平右シフトしたパターン重畳画像〕
＋ 〔（ｉ）画像を７画素水平右シフトしたパターン重畳画像〕
〔（ｂ）画像の８枚積算画素パターン重畳画像〕 ・・・・・（３）
を求める。

次いで、求めた
（３）の画像を１／８倍（ＬＳＢ側へ３ビットシフト） ・・・・・（４）
する。

これによってパターン画像の抽出は以下の画像演算で可能となる。
〔パターン重畳画像（ｂ）〕−〔（４）の処理をした画像〕＝〔（ｂ）位置のパターン抽出画像〕

図６では８枚の画像積算によってそれぞれの位置でのパターン画像を抽出する例を示したが、４枚や１６枚、３２枚・・・と、枚数を変えてもよい。

積算枚数が多くなると、それだけパターン画像（ランダム画像成分）が背景画像（固定画像成分）と比べて平均化されるので、抽出度の高いパターン画像を得ることができる。

図７は本発明の３次元形状測定装置の第３の実施形態を示す概略図で、図６で示したステージ連続動作時のパターン画像抽出方法を実現する装置である。

パターン投射部６１から出射された光６１ａは、ステージ７５に搭載された被測定物７４に照射される。被測定物７４を反射した光６１ｂは、カメラ６３の撮像素子で光電変換されて画像６３ａを出力する。

ステージ位置検出部６４は、ステージ＆エンコーダ連動部７５ａを介してステージ７５と連動したステージ位置エンコーダ６２から位置信号６２ａを受け取って、ステージ７５が所定の位置に達した時に、カメラ６３へ露光トリガ信号６４ａを出力し、その信号でカメラ６３は画像を取得する。

換言すると、ステージ７５を移動して１画素ずれた画像を取得できる位置をステージ位置エンコーダ６２からステージ位置検出部６４は検出して、カメラ６３へ露光トリガ信号６４ａを出力する。露光トリガ信号６４ａは、カメラ画像マルチプレクサ６５にも送られ、露光トリガ信号６４ａの回数をカウントする事で、どのステージ位置の画像か（何番目かの画像か）をカメラ画像マルチプレクサ６５は検知する。

そのカウント値をもとに、画像信号６３ａを順次、パターン重畳画像メモリ６６（ａ）→（ｂ）→（ｃ）→・・・→（ｉ）→（ａ）→（ｂ）→・・と格納していく。

カメラ画像マルチプレクサ６５は、格納した画像情報（既メモリ情報）６５ａを画像メモリセレクタ６７に送り、どの位置の画像までが格納されたかを検知することができる。

最初に、ａ位置のパターン画像を抽出する回路ブロックの動きを説明する。

画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ｂを読み出して、画像信号６７ａを画像水平方向シフト部６８へ送付する。

画像水平方向シフト部６８は、画像メモリセレクタ６７から何画素分を水平移動するかの画像水平移動信号６７ｃを受け取って、画像信号６７ａを水平シフトする。

今回は（ｂ）画像を１画素水平右シフトしたパターン重畳画像を得たいので、画像全体を１画素右に水平移動させ、画像信号６８ａを出力する。

同時に画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ａを読み出して、画像信号６８ａを出力するタイミングに合わせて６７ｂとして出力し、画像加算器６９で各画素を加算する。加算された画像信号６９ａは積算画像メモリ７０へ記憶される。

次に、画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ｃを読み出して、画像信号６７ａを画像水平方向シフト部６８へ送付し、画像メモリセレクタ６７から２画素分を水平移動する旨の画像水平移動信号６７ｃを受け取って、画像信号６７ａを水平右移動後、画像信号６８ａを出力する。

同時に画像メモリセレクタ６７は、今度は積算画像メモリ７０から（ａ＋ｂ）加算されたパターン重畳画像７０ａを読み出して、画像信号６８ａを出力するタイミングに合わせて画像信号６７ｂとして出力し、画像加算器６９で画像加算され、その画像信号６９ａは積算画像メモリ７０へ再度記憶される。

次に、画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ｄを読み出して、画像信号６７ａを画像水平方向シフト部６８へ送付し、画像メモリセレクタ６７から３画素分を水平移動する旨の画像水平移動信号６７ｃを受け取って、画像信号６７ａを水平右移動後、画像信号６８ａを出力する。

同時に画像メモリセレクタ６７は、今度は積算画像メモリ７０から（ａ＋ｂ＋ｃ）加算されたパターン重畳画像７０ａを読み出して、画像信号６８ａを出力するタイミングに合わせて画像信号６７ｂとして出力し、画像加算器６９で画像加算され、その画像信号６９ａは積算画像メモリ７０へ再度記憶される。

次に、画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ｅを読み出して、画像信号６７ａを画像水平方向シフト部６８へ送付し、画像メモリセレクタ６７から４画素分を水平移動する旨の画像水平移動信号６７ｃを受け取って、画像信号６７ａを水平右移動後、画像信号６８ａを出力する。

同時に画像メモリセレクタ６７は、今度は積算画像メモリ７０から（ａ＋ｂ＋ｃ＋ｄ）加算されたパターン重畳画像７０ａを読み出して画像信号６８ａを出力するタイミングに合わせて画像信号６７ｂとして出力し、画像加算器６９で画像加算され、その画像信号６９ａは積算画像メモリ７０へ再度記憶される。

次に、画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ｆを読み出して、画像信号６７ａを画像水平方向シフト部６８へ送付し、画像メモリセレクタ６７から５画素分を水平移動する旨の画像水平移動信号６７ｃを受け取って、画像信号６７ａを水平右移動後、画像信号６８ａを出力する。

同時に画像メモリセレクタ６７は、今度は積算画像メモリ７０から（ａ＋ｂ＋ｃ＋ｄ＋ｅ）加算されたパターン重畳画像７０ａを読み出して画像信号６８ａを出力するタイミングに合わせて画像信号６７ｂとして出力し、画像加算器６９で画像加算され、その画像信号６９ａは積算画像メモリ７０へ再度記憶される。

次に、画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ｇを読み出して、画像信号６７ａを画像水平方向シフト部６８へ送付し、画像メモリセレクタ６７から６画素分を水平移動する旨の画像水平移動信号６７ｃを受け取って、画像信号６７ａを水平右移動後、画像信号６８ａを出力する。

同時に画像メモリセレクタ６７は、今度は積算画像メモリ７０から（ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ）加算されたパターン重畳画像７０ａを読み出して、画像信号６８ａを出力するタイミングに合わせて画像信号６７ｂとして出力し、画像加算器６９で画像加算されその画像信号６９ａは積算画像メモリ７０へ再度記憶される。

次に、画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ｈを読み出して、画像信号６７ａを画像水平方向シフト部６８へ送付し、画像メモリセレクタ６７から７画素分を水平移動する旨の画像水平移動信号６７ｃを受け取って、画像信号６７ａを水平右移動後、画像信号６８ａを出力する。

同時に画像メモリセレクタ６７は、今度は積算画像メモリ７０から（ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ）加算されたパターン重畳画像７０ａを読み出して、画像信号６８ａを出力するタイミングに合わせて画像信号６７ｂとして出力し、画像加算器６９で画像加算され、その画像信号６９ａは積算画像メモリ７０へ再度記憶される。

その後、画像メモリセレクタ６７は、除算開始信号６７ｄを画像除算器７１へ出力し、積算画像メモリ７０から８枚積算されたパターン重畳画像７０ｂ（ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈ）を読み出して、これを画像除算器７１で１／８倍（ＬＳＢ側へ３ビットシフト）して背景画像７１ａを出力する。

背景画像７１ａが出力されるタイミングと同期して、画像メモリセレクタ６７は、パターン重畳画像メモリ６６からパターン重畳画像６６ａを読み出して、画像信号６７ｅとして出力し、画像減算器７２で以下に示す画像減算をし、ａ位置のパターン画像７２ａを求める。

〔パターン重畳画像６７ｅ〕−〔背景画像７１ａ〕＝〔ａ位置のパターン画像７２ａ〕

ここで抽出されたａ位置のパターン画像７２ａは、パターン画像メモリ７３に格納される。

この後の処理は、図１で説明した内容で処理することができるので、その説明は省略する。

ｂ位置のパターン画像を抽出する為には、上述した画像メモリセレクタ６７がパターン重畳画像メモリ６６から読み出す画像を一つずつシフトすることで処理できる。

さらにｃ位置のパターン画像を抽出する場合も同様の処理で行える。

図７では８枚の画像積算で、それぞれの位置のパターン画像を抽出する例を示したが、４枚や１６枚、３２枚・・・と、枚数を変えてもよい。

積算枚数が多くなると、それだけパターン画像（ランダム画像成分）が背景画像（固定画像成分）と比べて平均化されるので、抽出度の高いパターン画像を得ることができる。

図８は、図４、図５で示したパターン投射をＯＮ／ＯＦＦしながらステージ連続動作でのパターン画像抽出を実現する図５の３次元形状測定装置のタイミングチャートを示すものである。

図中の画像演算処理方法１は、図４で説明した１枚の背景画像でパターン画像を抽出する処理方法である。

一方、画像演算処理方法２は、図４で説明した２枚の背景画像を使用してパターン画像を抽出する処理方法である。処理方法の違いで画像処理できるタイミングが違ってくる。

図９は、図６、図７で示したパターン投射をＯＮしたままステージ連続動作でパターン画像抽出を実現する図７の３次元形状測定装置のタイミングチャートを示すものである。

本発明は上記各実施形態に示したものに限定されるものではない。例えば、図５、図７では被測定物５４、７４を移動させた場合を示したが、カメラ４３、６３を移動させてもよく、また被測定物５４、７４とカメラ４３、６３を共に相対的に移動させるようにしてもよい。背景画像やパターン重畳画像の積算枚数についても８枚、４枚、１６枚などに限定されるものではない。

本発明の３次元形状測定装置の第１実施形態を示す概略図である。 図２（ａ）は商用電源周波数起因の画像フリッカが発生する原因を説明する説明図、図２（ｂ）は商用電源周波数起因の画像フリッカを回避する方法を説明する説明図である。 図３（ａ）は図１の３次元形状測定装置のパターン重畳画像メモリに格納された画像成分を示す説明図、図３（ｂ）は図１の３次元形状測定装置の画像減算器で画像減算して得られたパターン積算画像の画像成分を示す説明図、図３（ｃ）は図１の３次元形状測定装置の画像除算器で画像除算処理されたパターン画像を示す説明図である。 パターン投影ＯＮ／ＯＦＦしてステージ連続動作でパターン画像抽出を実現する方法を示す説明図で、図４（ａ）はパターン投射を行なわずに取得した背景画像の説明図、図４（ｂ）は１画素分水平方向に移動したパターン重畳画像の説明図、図４（ｃ）は２画素分水平方向に移動した背景画像の説明図、図４（ｄ）は３画素分水平方向に移動したパターン重畳画像の説明図である。 本発明の３次元形状測定装置の第２実施形態を示し、図４のパターン画像抽出方法を実現する３次元形状測定装置の概略図である。 画像積算を利用してステージ連続動作時のパターン画像抽出を実現する方法を示す説明図で、図６（ａ）はパターン重畳画像の説明図、図６（ｂ）は１画素分移動したパターン重畳画像の説明図、図６（ｃ）は２画素分移動したパターン重畳画像の説明図、図６（ｄ）は３画素分移動したパターン重畳画像の説明図である。 本発明の３次元形状測定装置の第３実施形態を示し、図６のパターン画像抽出方法を実現する３次元形状測定装置の概略図である。 パターン投射をＯＮ／ＯＦＦしステージ連続動作でパターン画像抽出を実現するタイミングチャートである。 画像積算を利用してステージ連続動作でパターン画像抽出を実現するタイミングチャートである。

符号の説明

１、４１、６１ パターン投射部
１ａ、４１ａ、６１ａ 出射された光
１８、５３、７４ 被測定物
１ｂ、４１ｂ、６１ａ 被測定物を反射した光
２、４２ パターン投射制御コントローラ
２ａ、４２ａ パターン投射ＯＮ／ＯＦＦ信号
３、４３、６３ カメラ
３ａ、４３ａ カメラ画像
３ａ、６ａ、７ａ、８ｃ、８ｄ、９ａ、１４ａ、
４３ａ、４６ａ、４７ａ、４８ａ、４８ｂ、
６３ａ、６７ａ、６７ｂ 画像
４ タイマ付きカメラコントローラ
４ａ、４４ａ、６４ａ カメラ露光トリガ信号
５、４５、６５ カメラ画像マルチプレクサ
５ａ、７１ａ 背景画像
５ｂ、４８ｂ、６６ａ〜６６ｈ、６７ｅ、
７０ａ、７０ｂ パターン重畳画像
６、４６ 背景画像メモリ
７、４７、６６（ａ）〜（ｈ） パターン重畳画像メモリ
８、４８、６７ 画像メモリセレクタ
８ａ、８ｅ １枚の積算画像
８ｂ、８ｆ 積算初期画像
８ｇ 画像種類信号
９、６９ 画像加算器
１０ 画像積算マルチプレクサ
１１ 背景画積算メモリ
１０ａ、１０ｂ 経路
１２ パターン重畳画像積算メモリ
１２ａ 背景積算画像
１２ｂ パターン重畳積算画像
１３ａ パターン積算画像
１３、５０、７２ 画像減算器
１４、７１ 画像除算器
１５、５１、７３ パターン画像メモリ
１６ パターンブロック検出機構
１６ａ パターン画像サーチ信号
１６ｂ ブロック情報
１７ パターンブロックディストーション補正機構
４４、６４ ステージ位置検出部
４９ 画像水平方向左シフト部
４９ａ 水平方向にシフトされた画像
４９ｂ １画素水平左シフトした背景画像
５０ａ、７２ａ パターン画像
５２、６２ ステージ位置エンコーダ
５２ａ、６２ａ 位置信号
５４、７５ 被測定物移動ステージ
５４ａ、７５ａ ステージ＆エンコーダ連動部
６５ａ 格納した画像情報（既メモリ情報）
６７ｃ 何画素分を水平移動するかの画像水平移動信号
６８ 画像水平方向シフト部
６８ａ 画像全体を１画素右に水平移動させた画像
６９ａ 加算された画像
７０ 積算画像メモリ

Claims (8)

1. 被測定物に所定のパターンを有する測定光を投射する投射部と、
   前記投射部を、前記被測定物に前記測定光を投射するオン状態と、前記被測定物に前記測定光を投射しないオフ状態とに制御する投射制御部と、
   前記パターンの画像が前記被測定物の画像上に重なったパターン重畳画像と、前記被測定物に前記測定光が投射されないときの、前記被測定物の画像である背景画像とをそれぞれ取得する画像取得部と、
   前記パターン重畳画像の画像データから前記背景画像の画像データの成分を除去して前記パターン画像の画像データを抽出する画像処理部と、
   を備えてなることを特徴とする３次元形状測定装置。
2. 請求項１に記載の３次元形状測定装置において、
   前記画像取得部による画像取得のタイミングが、最初に前記取得した時点から使用する商用電源周波数の整数倍の周期のタイミングで次の前記取得するように前記画像取得部を制御する画像取得制御部を備えてなることを特徴とする３次元形状測定装置。
3. 請求項１に記載の３次元形状測定装置において、
   前記画像取得部による画像取得のタイミングが、最初に前記取得した時点から使用する商用電源周波数（５０Ｈｚ、６０Ｈｚ）の公倍数の周期のタイミングで次の前記取得するように前記画像取得部を制御する画像取得制御部を備えてなることを特徴とする３次元形状測定装置。
4. 請求項２又は３に記載の３次元形状測定装置において、
   前記被測定物と前記画像取得部とを相対的に移動させる移動機構を備え、
   前記画像取得制御部は、前記移動機構によって前記被測定物及び／又は前記画像取得部の相対的な移動中、前記パターン重畳画像と前記背景画像とをそれぞれ取得するように前記画像取得部を制御することを特徴とする３次元形状測定装置。
5. 請求項４に記載の３次元形状測定装置において、
   前記画像処理部は、前記背景画像のデータを、前記測定部及び／又は前記画像取得部の移動分に相当する画素数分移動させて画像演算することを特徴とする３次元形状測定装置。
6. 被測定物に所定のパターンを有する測定光を投射する投射部と、
   前記被測定物の画像である背景に前記パターンの画像が重なった、パターン重畳画像を取得する画像取得部と、
   前記画像取得部によって前記パターン重畳画像の取得中、前記被測定物と前記画像取得部とを相対的に移動させる移動機構と、
   前記画像取得部によって取得された前記パターン重畳画像を積算して前記背景画像の成分を抽出し、前記パターン重畳画像から該背景画像の成分を除去して前記パターン画像の画像データを取り出し、前記被測定物の断面画像データを抽出する画像処理部と、
   を備えてなることを特徴とする３次元形状測定装置。
7. 請求項６に記載の３次元形状測定装置において、
   前記画像処理部は、前記パターン重畳画像を前記被測定物と前記画像取得部との相対移動距離に相当する画素数分移動させて画像演算した画像データを積算することにより前記背景画像の成分を抽出し、該背景画像の成分を前記パターン重畳画像から除去して前記パターン画像の画像データを取り出すことを特徴とする３次元形状測定装置。
8. 被測定物の３次元形状を光切断法によって測定する３次元形状の測定方法であって、
   所定のパターンを有する測定光を前記被測定物に断続的又は連続的に投射して、前記被測定物の画像である背景に該パターンの画像が重なった、パターン重畳画像を取得する画像データ取得工程と、
   前記画像データ取得工程で取得した前記パターン重畳画像から前記背景画像の成分を除去して前記パターン画像の画像データを取り出し、前記被測定物の断面画像データを抽出する画像処理工程と、
   を備えることを特徴とする測定方法。

Images