JP2019192156A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 平面又は略平面の物体における各領域の形状を表す複数の情報を統合するために、重複領域の位置合わせを高精度に行うための画像処理を提供することを目的とする。【解決手段】 平面又は略平面の物体における複数の領域を撮像装置が移動しながら撮像することによって得られた複数の画像データに基づいて生成された、前記複数の領域それぞれに対応する前記物体の表面の形状を表す形状情報を取得する取得手段と、前記取得手段が取得した複数の前記形状情報それぞれについて、前記形状情報が表す形状を平面で近似した場合に、前記撮像装置が移動する面に前記平面が平行な面になるように、前記形状情報を補正する補正手段と、を有することを特徴とする画像処理装置。【選択図】 図１５

Description

本発明は、物体の形状を表す複数の情報を統合するための画像処理技術に関する。

従来、対象物体の三次元形状を測定する方法としてステレオ位相シフト法が知られている。ステレオ位相シフト法においては、明暗の縞状パターンを位相をずらしながら対象物体に複数回投影し、縞パターンが投影された対象物体を２つの方向から撮像する。２つの方向から対象物体を撮像することによって得られた画像から、それぞれの方向における画像の各画素の位相値を算出する。対象物体において２つの方向の位相値が同一となる位置と対象物体を撮像した２つの位置との３点から、三角測量の原理により対象物体の三次元形状を測定することができる。特許文献１は、ステレオ位相シフト法を用いて、濃度レンジが広い略平面の物体の三次元形状を測定する技術を開示している。

また、高精度に物体の三次元形状を測定するために、物体を複数の領域に分割して撮像を行い、撮像によって得られた画像を用いて上述した方法により各領域の形状を算出することが行われている。各領域と隣接する領域とには重複領域が設けられており、各領域の形状を表す複数の情報は、各重複領域の位置合わせが行われた後、統合される。

特開２０１７−１８１２９８号公報

しかしながら、特許文献１のように、平面又は略平面の物体の面と撮像装置の光軸とが直交しない条件において物体を撮像する場合、得られた画像の位置ごとに撮像装置と物体との距離が異なってしまう。これにより、各領域の形状を表す複数の情報を統合するための、重複領域の位置合わせを高精度に行うことができないという課題があった。

本発明は、上記課題に鑑みてなされたものであり、平面又は略平面の物体における各領域の形状を表す複数の情報を統合するために、重複領域の位置合わせを高精度に行うための画像処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、平面又は略平面の物体における複数の領域を撮像装置が移動しながら撮像することによって得られた複数の画像データに基づいて生成された、前記複数の領域それぞれに対応する前記物体の表面の形状を表す形状情報を取得する取得手段と、前記取得手段が取得した複数の前記形状情報それぞれについて、前記形状情報が表す形状を平面で近似した場合に、前記撮像装置が移動する面に前記平面が平行な面になるように、前記形状情報を補正する補正手段と、を有し、前記複数の画像データは、前記物体を隣り合った領域に重複領域を設けて前記複数の領域に分割し、複数のパターン光が照射された前記複数の領域それぞれを、前記撮像装置の光軸が前記物体の面と直交しない条件において、撮像することによって得られた画像データであることを特徴とする。

本発明によれば、平面又は略平面の物体における各領域の形状を表す複数の情報を統合するために、重複領域の位置合わせを高精度に行うことができる。

三次元形状測定システムの装置構成を示すブロック図 画像処理装置の機能構成を示すブロック図 測定アプリケーションの処理の流れを示すフローチャート 投影装置が投影するパターン画像を説明するための模式図 測定領域とステージ移動とを説明するための模式図 画像を取得する処理の流れを示すフローチャート 被測定物体の形状を算出する処理の流れを示すフローチャート 位相接続の結果の一例を示す模式図 対応点探索を説明するための模式図 測定領域ごとの点群情報を統合する処理の流れを示すフローチャート 点群データの一例を示す模式図 カメラ座標系を説明するための模式図 共通座標系を説明するための模式図 被測定物体に対するステージの移動方向を説明するための模式図 第１位置合わせを説明するための模式図 回転角度を算出する処理の概要を説明するための模式図 第１位置合わせを行う処理の流れを示すフローチャート 第１位置合わせを行う処理の流れを示すフローチャート ステージの傾きに応じた補正量を算出する処理の概要を説明するための模式図

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが必ずしも本発明の解決手段に必須のものとは限らない。

［第１実施形態］
本実施形態においては、油彩画のような数ｍｍ〜数十μｍの微細な凹凸を表面にもつ略平面形状の物体を被測定物体とし、表面の形状情報と色情報とを取得する三次元形状測定システムを説明する。

＜三次元形状測定システムの装置構成＞
図１は三次元形状測定システムの構成を示すブロック図である。図１（ａ）は三次元形状測定システムを上方からみた平面図、図１（ｂ）は三次元形状測定システムを正面からみた平面図である。被測定物体１０１は、測定の対象となる物体である。投影装置１０２は、三次元形状測定に必要な二次元のパターン画像を被測定物体１０１に投影するための投影装置である。投影装置１０２としては、例えば６４０×４８０画素であり、ＬＥＤ光源を用いた単板モノクロのＤＬＰ方式プロジェクターを用いるが、これに限るものではない。投影装置１０２は、被測定物体１０１上に二次元のパターン画像を投影できるものであればどのようなものであってもよい。第１撮像装置１０３及び第２撮像装置１０４は、パターン画像が投影された被測定物体１０１を撮像する撮像装置である。各撮像装置には、８６８８×５７９２画素のＣＭＯＳ方式のエリアセンサを有するＤＳＬＲ（Ｄｉｇｉｔａｌ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｒｅｆｌｅｘ ｃａｍｅｒａ）に焦点距離が１００ｍｍのマクロレンズを組み合わせたものを用いる。また、第１撮像装置１０３及び第２撮像装置１０４は、被測定物体１０１上の輝度に対し線形な信号値を得る光電変換特性を有しているものとする。また、記録される画像データが表す画像は、各画素において３チャンネル（Ｒ、Ｇ、Ｂ）の色情報を有し、各チャンネルが１６ビットで量子化されるものとする。尚、第１撮像装置１０３及び第２撮像装置１０４について、光電変換特性や、記録される画像データのチャンネル数、量子化ビット数などは上記一例に限定するものではない。尚、レンズには、被測定物体１０１の表面にピントが合うようにティルトレンズ等を用いてもよい。光学支持台１０５は、投影装置１０２、第１撮像装置１０３、第２撮像装置１０４を支持するための支持台である。ステージ１０６は、光学支持台１０５を二次元方向に動かすことが可能なステージである。画像処理装置１０７は、投影装置１０２、第１撮像装置１０３、第２撮像装置１０４を制御して得られた画像データに基づいて、被測定物体１０１の三次元形状を算出する処理を行う装置である。本実施形態における画像処理装置１０７は、ＣＰＵ、ＲＡＭ（ランダムアクセスメモリ）等の主記憶媒体、ＨＤ（ハードディスク）やフラッシュメモリ等の補助記憶媒体を備えたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）として説明する。尚、画像処理装置１０７は、ＰＣに限るものではなく、三次元形状測定システムの一部として組み込まれたマイクロコンピュータ等であってもよい。投影装置１０２、第１撮像装置１０３、第２撮像装置１０４、ステージ１０６は、不図示のＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインターフェースを介して画像処理装置１０７とそれぞれ接続されている。図１に示すように、本実施形態においては、投影装置１０２は被測定物体１０１に正対するように上方に配置され、投影装置１０２の左右から被測定物体１０１を撮像するように第１撮像装置１０３及び第２撮像装置１０４がそれぞれ配置されている。図１（ｂ）において、範囲１０８は測定範囲であり、投影装置１０２は範囲１０８を含む範囲に二次元のパターン画像を投影する。また、第１撮像装置１０３及び第２撮像装置１０４は撮像範囲に範囲１０８が含まれるように設置されている。ステージ１０６は、被測定物体１０１に正対するように設置されている。ステージ１０６は、光学支持台１０５に支持された投影装置１０２、第１撮像装置１０３、第２撮像装置１０４を、被測定物体１０１に対して平行な面において移動させることによって、範囲１０８を変更することが出来る。

＜画像処理装置１０７の機能構成＞
図２は画像処理装置１０７の機能構成を示すブロック図である。入力装置２０１は、ユーザの操作を受け付ける装置であり、キーボード、マウス等のデバイスである。また、表示装置２０２は、ユーザが入力した内容や測定条件、測定結果をユーザに提示する表示装置であり、液晶モニタ等のデバイスである。

撮像ドライバ２０３は、第１撮像装置１０３及び第２撮像装置１０４を制御するための命令群である。撮像ドライバ２０３は、各撮像装置の撮像条件を変更する命令や撮像の実行を指示する命令、撮像によって得られた画像データを各撮像装置から画像処理装置１０７へ送信するための命令を含んでいる。また、投影ドライバ２０４は、投影装置１０２を制御するための命令群であり、パターン画像データを画像処理装置１０７から投影装置１０２へ送信するための命令や、投影を開始、終了する命令を含んでいる。ステージドライバ２０５は、ステージ１０６を制御するための命令や、ステージの移動を開始、終了する命令を含んでいる。入力ドライバ２０６は、入力装置２０１を制御するための命令群、表示ドライバ２０７は表示装置２０２を制御するための命令群である。取得制御部２０８は、撮像ドライバ２０３、投影ドライバ２０４、ステージドライバ２０５に命令を送り、被測定物体１０１の三次元形状を算出するために必要な撮像画像データを取得する一連の処理を行う命令群である。形状算出部２０９は、取得制御部２０８が取得した撮像画像データに基づいて、範囲１０８ごとに、被測定物体１０１の三次元形状を算出する命令群である。色算出部２１０は、形状算出部２０９が算出した範囲１０８ごとの三次元形状に対応する色情報を算出する命令群である。統合部２１１は、形状算出部２０９が算出した範囲１０８ごとの三次元形状と、色算出部２１０が算出した範囲１０８ごとの色情報と、に基づいて、被測定物体１０１の全体の三次元形状と色情報とを算出する命令群である。ＵＩ管理部２１２はユーザが入力装置２０１に入力した情報の管理や、測定結果を表示装置２０２に表示する等の処理を行うユーザインターフェース（ＵＩ）機能を有する命令群である。測定アプリケーション２１３は、取得制御部２０８乃至ＵＩ管理部２１２の命令群を連動させ、１つの測定アプリケーションとして機能させるための命令群である。

＜測定アプリケーション２１３の処理＞
図３は、測定アプリケーション２１３の処理の流れを示すフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、測定アプリケーション２１３は、ＵＩ管理部２１２を用いて、第１撮像装置１０３及び第２撮像装置１０４の撮像条件、測定領域の数、ステージの移動の条件などの条件を設定するための入力を行うようにユーザに促す。具体的には、表示装置２０２に各条件に関する情報をユーザに入力させるためのＵＩを表示させる。ユーザから条件設定の完了を示す指示を受け取ると、Ｓ３０２に進む。

Ｓ３０２において、測定アプリケーション２１３は、取得制御部２０８を用いて、ステージ移動を行うことによって測定領域を変更しながら、パターン画像が投影された被測定物体１０１を撮像する一連の処理を行う。Ｓ３０２における処理の詳細は後述する。Ｓ３０２の処理が終わると、Ｓ３０３に進む。

Ｓ３０３において、測定アプリケーション２１３は、形状算出部２０９を用いて、撮像によって得られた画像データに基づいて、被測定物体１０１の三次元形状情報を算出する。本実施形態において算出する三次元形状情報は、第２撮像装置１０４のエリアセンサの中心を原点とするＸ、Ｙ、Ｚ座標値をｍｍ単位で記録した点群データであり、エリアセンサの画素数と等しい数の座標値を有する。ここで、Ｘ軸、Ｙ軸、Ｚ軸は直交座標系であり、Ｘ軸、Ｙ軸は第２撮像装置１０４のエリアセンサ面を含む平面を張り、Ｚ軸はＸ軸、Ｙ軸に直交する方向に定義される。Ｓ３０２における処理の詳細は後述する。Ｓ３０３の処理が終わると、Ｓ３０４に進む。

Ｓ３０４において、測定アプリケーション２１３は、色算出部２１０を用いて、Ｓ３０３において算出した点群データの各点に対応する色情報（Ｒ値、Ｇ値、Ｂ値）を算出する。具体的には、第２撮像装置１０４を用いた撮像により得られた画像データが有する色情報を、点群データに対応付けて記録する。第２撮像装置１０４を用いた撮像により得られた画像データには、Ｓ３０２における撮像により得られた画像データを用いる。点群データに含まれる各点の座標値は、第２撮像装置１０４を用いた撮像により得られた画像データが表す画像の各画素に１対１で対応するように算出される。このため、Ｓ３０４における処理は、画像の画素ごとにＸＹＺ座標を点群データから検索し、画像の各画素に記録された色情報（Ｒ値、Ｇ値、Ｂ値）を、各座標に対応付けて記録する。Ｓ３０４の処理が終わると、Ｓ３０５に進む。

Ｓ３０５において、測定アプリケーション２１３は、統合部２１１を用いて、測定領域ごとの点群データに対して位置合わせ処理を行い、位置合わせ処理後の複数の点群データを統合する。Ｓ３０３及びＳ３０４において算出された形状情報及び色情報はいずれも、測定領域ごとの情報である。Ｓ３０５においては、物体が略平面であるという特徴を利用することによって、測定領域ごとの情報の位置合わせを行い、１つの情報に統合する処理を行う。Ｓ３０５における処理の詳細は後述する。Ｓ３０５の処理が終わると、Ｓ３０６に進む。

Ｓ３０６において、測定アプリケーション２１３は、ＵＩ管理部２１２を用いて、Ｓ３０５において統合された点群データを表示装置２０２に表示させて、処理を終了する。具体的には、ＸＹＺ座標を色情報に対応する色で三次元空間上にプロットし、任意の方向からみた投影図を表示装置２０２に表示させる。尚、表示方法は投影図に限らず、色情報が付加された点群データの各数値のリストを表示してもよい。また、表示装置２０２への表示を行わずに、ＨＤやフラッシュメモリ等に色情報が付加された点群データを直接記録するようにしてもよい。また、点群データを、３次元構造を記録媒体上に形成できるプリンタが使用可能なプリントデータに変換し、プリンタに出力してもよい。プリントデータは、例えば、ＵＶ硬化型の記録材の記録量や積層数を表すデータである。

＜投影装置１０２が投影するパターン画像＞
図４は、投影装置１０２が投影するパターン画像を説明するための図である。図４に示すパターン画像は、投影装置１０２の画素と１対１に対応する６４０×４８０画素のサイズの画像であり、０（黒）〜２５５（白）の画素値が各画素に記録された８ビットのグレースケール画像であるものとして説明する。尚、画素数、ビット深度、色数等はこれに限るものではない。尚、本実施形態においては、図４（ａ）〜（ｈ）のパターン画像にそれぞれ０〜７の番号（撮像番号）を付けるものとする。例えば、図４（ａ）のパターン画像は撮像番号０であり、図４（ｂ）のパターン画像は撮像番号１である。

図４（ａ）〜（ｃ）は、明暗の縞パターンを表すパターン画像である。本実施形態においてはこれらの縞パターン画像を被測定物体１０１に投影し、縞パターン画像が投影された被測定物体１０１を撮像して得られた画像データに基づいて位相を算出する。算出した位相に基づいて被測定物体１０１の三次元形状を算出する。この縞パターンは、画像の横方向に正弦波状に輝度が変化するパターンであり、縞パターン画像の画素値は以下の式（１）〜式（３）で決定できる。

ここで、Ｖ_ａ（ｊ，ｉ）は、図４（ａ）のパターン画像における位置（ｊ，ｉ）の画素値を示している。同様に、Ｖ_ｂ（ｊ，ｉ）は、図４（ｂ）のパターン画像における位置（ｊ，ｉ）の画素値、Ｖ_ｃ（ｊ，ｉ）は、図４（ｃ）のパターン画像における位置（ｊ，ｉ）の画素値を示している。尚、ｊは画像の横方向、ｉは画像の縦方向の位置を示す。また、Ｎ_{ｃｙｃｌｅ}は正弦波１周期あたりの画素数を示すパラメータである。図４（ａ）〜（ｃ）に示した縞パターン画像は、１／３周期ずつ位相をシフトさせた３枚の組み合わせであるが、これに限るものではない。例えば、１／６周期ずつ位相をシフトさせた６枚の組み合わせなどであってもよい。また、縞パターンの波形は正弦波状に限らず、三角波等、位相が推定可能なものであればどのような波形であってもよい。尚、本実施形態においては、図４（ａ）〜（ｃ）の縞パターン画像にそれぞれ、上述した撮像番号とは別に、０〜２の番号（縞パターン画像番号）を付けるものとする。例えば、図４（ａ）の縞パターン画像は縞パターン画像番号０であり、図４（ｂ）の縞パターン画像は縞パターン画像番号１である。

本実施形態においては、図４（ａ）〜（ｃ）の縞パターン画像を被測定物体１０１に投影し、縞パターンが投影された被測定物体１０１を第１撮像装置１０３と第２撮像装置１０４とによって撮像する。撮像によって得られた画像データに基づいて、撮像装置ごとに位相を算出する。そして、第１撮像装置１０３の画像データが表す画像と第２撮像装置１０４の画像データが表す画像とで位相が一致する画素位置から三角測量により三次元形状を算出する。このとき、画像には複数周期の正弦波が含まれるため、同一の画像内で同じ位相となる画素が周期的に複数存在してしまう。そこで、同一の画像内で同じ位相が存在しないように、周期ごとに異なるオフセットを足しこむ位相接続処理を行う。このオフセットを決定する際に、図４（ｄ）〜（ｇ）に示す、縞パターンに平行なステップエッジを有する位置合わせパターンが使用される。具体的には、まず、位置合わせパターンが投影された被測定物体１０１を第１撮像装置１０４及び第２撮像装置１０５によって撮像する。撮像によって得られた画像データが表す画像において、ステップエッジの部分が投影された位置をそれぞれ抽出する。抽出した位置のオフセットが第１撮像装置１０３と第２撮像装置１０４とで同一の値となるようにオフセットを決定する。尚、本実施形態においては、図４（ｄ）〜（ｇ）の位置合わせパターン画像にそれぞれ、上述した撮像番号とは別に、０〜３の番号（位置合わせパターン画像番号）を付けるものとする。例えば、図４（ｄ）の位置合わせパターン画像は位置合わせパターン画像番号０であり、図４（ｅ）の位置合わせパターン画像は位置合わせパターン画像番号１である。

図４（ｈ）は、被測定物体１０１の色情報を取得するために投影される色取得パターンである。本実施形態においては全面均一な白色（Ｒ値、Ｇ値、Ｂ値が２５５）のパターンを用いるが、これに限るものではない。例えば、被測定物体１０１に色取得パターンを投影したとき、範囲１０８において光量が均一となるように画素の位置に応じて画素値を変化させてもよい。

＜測定領域とステージ移動＞
図５は、測定領域とステージ移動とを説明するための模式図である。本実施形態においては、まず、図５に示した、左下の測定領域において撮像を行う。左下の測定領域における撮像後、矢印の方向にステージ移動を行い、１つ右隣りの測定領域において同様の撮像を行う。上述したステージ移動と撮像とを順次繰り返す。右端の測定領域における撮像後、１つ上の測定領域に移動し、撮像を行う。次のステージ移動によって、１つ左隣りの測定領域に移動し、撮像を行う。このように、コの時を描くようにステージ移動を行うことによって、移動距離を最小化することができる。尚、隣り合った測定領域は部分的に重複している。尚、ステージ移動の方法はこれに限られない。例えば、中央付近の測定領域から撮像をスタートし、時計まわりに渦を巻くようにステージ移動をしてもよい。また、被測定物体１０１の三次元形状を得るために、測定領域間に隙間がないようにする必要はあるが、測定領域間の間隔が等間隔である必要はない。

＜Ｓ３０２における処理＞
図６は、Ｓ３０２における処理の流れを示すフローチャートである。Ｓ６０１において、取得制御部２０８は、測定領域を特定するための変数ｐｏｓを０で初期化する。ｐｏｓ＝０は、図５に示す左下の測定領域を示す。また、ｐｏｓ＝１は、その右隣りの測定領域を示す。変数ｐｏｓは、図５に示す矢印の順でステージを移動させた場合の各測定領域に対応しているものとする。Ｓ６０１の処理が終わると、Ｓ６０２に進む。

Ｓ６０２において、取得制御部２０８は、ｐｏｓが測定領域の数ｐｏｓ＿ｎｕｍ未満であるか否かを判定する。ｐｏｓがｐｏｓ＿ｎｕｍ未満である場合はＳ６０３に進む。ｐｏｓがｐｏｓ＿ｎｕｍ以上である場合はＳ３０２を終了し、Ｓ３０３に進む。本実施形態においては、図５に示すように、ｐｏｓ＿ｎｕｍ＝２４である。Ｓ６０３において、取得制御部２０８は、変数ｐｏｓが示す測定領域にステージを移動する。Ｓ６０４において、取得制御部２０８は、図４に示す投影パターンを参照するための撮像番号ｃｎｔを０で初期化する。Ｓ６０５において、取得制御部２０８は、撮像番号ｃｎｔがパターンの数ｃｎｔ＿ｎｕｍ未満であるか否かを判定する。撮像番号ｃｎｔがパターンの数ｃｎｔ＿ｎｕｍ未満である場合はＳ６０６に進む。撮像番号ｃｎｔがパターンの数ｃｎｔ＿ｎｕｍ以上である場合はＳ６０９に進み、変数ｐｏｓに１を加えてＳ６０２に戻る。

Ｓ６０６において、取得制御部２０８は、投影装置１０２に、図４に示したｃｎｔ番目の投影パターンを被測定物体１０１に投影させる。Ｓ６０７において、取得制御部２０８は、第１撮像装置１０３及び第２撮像装置１０４がそれぞれ、Ｓ６０６においてパターンが投影された被測定物体１０１を撮像する。Ｓ６０８において、取得制御部２０８は、撮像番号ｃｎｔに１を加え、Ｓ６０５に戻る。

＜Ｓ３０３における処理＞
図７は、Ｓ３０３における処理の流れを示すフローチャートである。Ｓ７０１において、形状算出部２０９は、変数ｐｏｓを０で初期化する。Ｓ７０２において、形状算出部２０９は、ｐｏｓがｐｏｓ＿ｎｕｍ未満であるか否かを判定する。ｐｏｓがｐｏｓ＿ｎｕｍ未満である場合、Ｓ７０３に進む。ｐｏｓがｐｏｓ＿ｎｕｍ以上である場合、Ｓ３０３の処理を終了し、Ｓ３０４に進む。Ｓ７０３において、形状算出部２０９は、第１撮像装置１０３及び第２撮像装置１０４それぞれについて、撮像番号０〜２の縞パターンを用いて撮像により得られた画像データを読み込む。Ｓ７０４において、形状算出部２０９は、各撮像装置について、撮像番号０〜２の縞パターンを用いて撮像により得られた３つの画像データを用いて、式（４）に従い、各画素の位相値を算出する。そして、各画素に算出された位相値φ（ｊ，ｉ）を記録した位相画像データをそれぞれ生成する。以下、第１撮像装置１０３に対応する位相画像データを第１位相画像データと呼び、第２撮像装置１０４に対応する位相画像データを第２位相画像データと呼ぶ。

Φ（ｊ，ｉ）は０〜２πの値をとるものとする。Ｉ_ａ（ｊ，ｉ）は図４（ａ）の縞パターンを被測定物体１０１に投影した場合の撮像によって得られた画像における画素（ｊ，ｉ）に記録されたＧ値とする。同様に、Ｉ_ｂ（ｊ，ｉ）は図４（ｂ）の縞パターンを被測定物体１０１に投影した場合の撮像によって得られた画像における画素（ｊ，ｉ）に記録されたＧ値とする。Ｉ_ｃ（ｊ，ｉ）は図４（ｃ）の縞パターンを被測定物体１０１に投影した場合の撮像によって得られた画像における画素（ｊ，ｉ）に記録されたＧ値とする。尚、Ｉ_ａ、Ｉ_ｂ、Ｉ_ｃはいずれも画像の各画素に記録されたＧ値としたが、Ｒ値、Ｇ値、Ｂ値を所定の重みを用いて加重平均することにより算出される輝度情報でもよい。第１位相画像データ及び第２位相画像データは、０〜２πの値が各画素に記録されたグレースケール画像を表す画像データとして、ＲＡＭ等の記憶媒体に記録されるものとする。

Ｓ７０５において、形状算出部２０９は、撮像装置ごとに、位置合わせパターンを投影した被測定物体１０１を撮像して得られた画像データと位相画像データとに基づいて、周期ごとに位相の繰り返しが発生しない接続位相画像データを生成する。図４（ｄ）〜（ｇ）の位置合わせパターンを用いて投影及び撮像を行い、暗部領域（黒）を１、明部領域（白）を０として領域毎に符号化すると、４ビットの２進法の値となり、１６通りの領域が判別可能となる。従って、位置合わせパターンを用いた投影及び撮像により得られる画像の１領域のサイズを、位相画像データの１周期と同一に設定することによって、位相画像データに含まれる周期の数が１６以下であれば、各画素位置が何番目の周期であるか判別できる。第１位相画像データの位相接続を第１撮像装置１０３の撮像によって得られた画像データを用いて行うことによって第１接続位相画像データを生成する。第２位相画像データの位相接続を第２撮像装置１０４の撮像によって得られた画像データを用いて行うことによって第２接続位相画像データを生成する。第１撮像装置１０３及び第２撮像装置１０４それぞれについて生成された接続位相画像データはＲＡＭ等の記憶媒体にそれぞれ記録される。各接続位相画像データは、位相接続後の位相値が各画素に記録されたグレースケール画像を表す画像データとする。尚、位置合わせパターンの種類は４種類に限定されず、被測定物体１０１のサイズ等に合わせて増減させることが可能である。図８に位相接続した結果の一例を示す。位相画像データが表す画像の画素値は、０〜２πの範囲で周期的に変化するため、図８（ａ）に示すように同一の画素値（位相）となる画素が画像の横方向（ｘ方向）に繰り返し現れる。位相接続により、図８（ｂ）に示すように位相画像データにおける位相の周期性が取り除かれる。

Ｓ７０６において、形状算出部２０９は、第２接続位相画像データの各画素において、位相値が同じとなる第１接続位相画像データの画素位置を算出する。対応点（位相値が同一となる画素位置）は、エピポーラ線の線上から探索する。エピポーラ線は、２台のカメラの位置及び姿勢が既知である場合に、三次元空間上の１点をそれぞれ撮像したときの対応点に関する拘束条件である。図９にエピポーラ線の模式図を示す。カメラ視点位置Ｃ１から三次元空間上の点Ｘまでを結ぶ直線と、カメラ視点位置Ｃ１からカメラ視点位置Ｃ２までを結ぶ直線と、について、２つの直線を含む三次元空間上の平面（エピポーラ面）が一意に定まる。この平面と撮像面とが交差して生じる直線がエピポーラ線である。具体的には、まず、第１撮像装置１０３及び第２撮像装置１０４の姿勢と位置との関係に基づいて予め算出しておいた３×３の基礎行列Ｆを用いて、式（５）に従い、エピポーラ線を算出する。

ここで、（ｕ，ｖ）は第２接続位相画像データの画素の位置を示す二次元座標である。また、（ｕ´，ｖ´）は第１接続位相画像データの画素の位置を示す二次元座標である。式（６）より任意の（ｕ，ｖ）に対し、（ｕ´，ｖ´）との関係を示す直線の方程式が一意に決定する。Ｓ７０６においては、第２接続位相画像データの（ｕ，ｖ）の位置にある位相値と等しくなる位相値を、第１接続位相画像データにおいて上記直線の方程式に沿って探索し、その位置の二次元座標（ｕ´，ｖ´）を対応点としてＲＡＭ等の記憶媒体に記録する。この処理を第２接続位相画像データが表す画像の全画素について行う。

Ｓ７０７において、形状算出部２０９は、Ｓ７０６において取得した対応点に基づいて、被測定物体１０１の三次元座標（Ｘ，Ｙ，Ｚ）を算出する。具体的には、第１撮像装置１０３及び第２撮像装置１０４の焦点距離や位置、姿勢に基づいて予め算出しておいた式（６）及び式（７）で示される３×４の投影行列Ｐ及びＰ´を用いて、（Ｘ，Ｙ，Ｚ）について連立方程式を解く。

この連立方程式は、行列Ｐのｓ行ｔ列の要素をＰｓｔ、行列Ｐ´のｓ行ｔ列の要素をＰ´ｓｔとすると、以下の式（８）を解くことと等価である。

形状算出部２０９は、上記のように第２接続位相画像データの全画素に対し、逐次三次元座標（Ｘ，Ｙ，Ｚ）を算出し、算出した三次元座標（Ｘ，Ｙ，Ｚ）を表す点群データを生成し、ＨＤ等の記憶媒体に記録する。

Ｓ７０８において、形状算出部２０９は、変数ｐｏｓに１を加え、Ｓ７０２に戻る。

＜Ｓ３０５における処理＞
図１０は、Ｓ３０５における処理の流れを示すフローチャートである。Ｓ８０１において、統合部２１１は、測定領域ごとの点群データを取得する。本ステップにおいて取得される測定領域ごとの点群データは、第２撮像装置１０４のエリアセンサの中心を原点とするＸ、Ｙ、Ｚ座標値をｍｍ単位で記録した点群データである。Ｘ軸、Ｙ軸は第２撮像装置１０４のエリアセンサ面を含む平面を張り、Ｚ軸はＸ軸、Ｙ軸に直交する方向に定義される。図１１に点群データの一例を示す。軸９０１は点群データにおけるＸ軸であり、軸９０２は点群データにおけるＺ軸である。また、軸９０３は点群データにおけるＹ軸である。第２撮像装置１０４は被測定物体に対して右方向から撮像を行っているため、図９（ａ）に示すように、点群のＺ座標はおおよそ一定値にはならず、点群のＸ座標が増加するにつれて点群のＺ座標は減少する傾向がある。このように、測定領域ごとの点群データは、第２撮像装置１０４を基準とした座標系（以下、カメラ座標系と呼ぶ）によって表現されている。また、測定領域ごとに、第２撮像装置１０４の三次元空間上の位置は異なっている。図１２は、測定領域ごとのカメラ座標系を説明するための模式図である。図１２（ａ）〜（ｄ）の１００１〜１００４は、それぞれ、異なる測定領域におけるカメラ座標系である。このように測定領域ごとにカメラ座標系の原点の位置が異なっているため、点群データ間で位置合わせを行う必要がある。

Ｓ８０２において、統合部２１１は、測定領域ごとの点群データを読み込み、位置合わせを行う。具体的には、測定領域ごとのカメラ座標系を、並進移動及び回転移動によって共通化させる。図１３に共通化したカメラ座標系（以下、共通座標系と呼ぶ）を示す。図１３に示す共通座標系１１０１は、被測定物体１０１に対して平行な方向にＸ軸、Ｙ軸を持ち、垂直な方向にＺ軸を持つ座標系である。Ｓ８０２における処理の詳細は後述する。尚、Ｓ８０３においてより詳細な位置合わせを行うため、Ｓ８０２における位置合わせを第１位置合わせと呼ぶ。

Ｓ８０３において、統合部２１１は、Ｓ８０２における位置合わせによって得られた点群データの各点の位置を初期位置として、最適化処理によって更なる位置合わせ（第２位置合わせ）を行う。具体的には、隣り合った測定領域に対応する点群データに対して、重複領域において平均色差が最小となるように位置合わせを行う。平均色差の算出には、Ｓ３０４において算出した色情報を用いる。重複領域における各点の色差に基づいて算出された平均色差を評価値として、位置を少しずつ移動させながら評価値が最小となる位置を算出する。尚、位置合わせには、各点のＺ値（高さ）を色情報と同様に用いてもよい。また、色情報とＺ値とを組み合わせて用いることにより位置合わせを行ってもよい。

Ｓ８０４において、統合部２１１は、Ｓ８０２及びＳ８０３において位置合わせが行われた測定領域ごとの点群データを統合する。これにより、被測定物体１０１の全体の形状を表す点群データが得られる。

＜Ｓ８０２における処理＞
図１４は、被測定物体１０１に対するステージ１０６の移動方向を説明するための模式図である。本実施形態においては、図１４（ａ）、（ｂ）に示すように、被測定物体１０１の面とステージ１０６が移動する面とは平行である。この場合のＳ８０２における第１位置合わせについて説明する。

図１５は、Ｓ８０２における第１位置合わせの概要を説明するための模式図である。点群データ１３０１〜１３０４は、測定領域ごとの点群データである。図１３に示すように、測定領域ごとのカメラ座標系と共通座標系とは、Ｘ軸、Ｙ軸、Ｚ軸の方向がそれぞれ異なっている。そこで、測定領域ごとのカメラ座標系を回転移動させることにより、測定領域ごとのカメラ座標系のＸ軸、Ｙ軸、Ｚ軸の方向を共通座標系のＸ軸、Ｙ軸、Ｚ軸の方向にそれぞれ一致させる。図１２に示すように、測定領域ごとのカメラ座標系のＸ軸、Ｙ軸、Ｚ軸の方向は、測定領域によらず同じ方向を向いている。そこで、同一の回転角を用いた回転移動により、Ｘ軸、Ｙ軸、Ｚ軸の方向を回転させる。点群データ１３０５〜１３０８は、同一の回転角度を用いた回転移動による補正後の点群データである。回転移動により、点群データ１３０５〜１３０８においては、測定領域ごとのカメラ座標系のＸ軸、Ｙ軸、Ｚ軸の方向が共通座標系のＸ軸、Ｙ軸、Ｚ軸の方向に一致している。このため、さらに座標系の並進移動を行うことによって、測定領域ごとのカメラ座標系のＸ軸、Ｙ軸、Ｚ軸を共通化することができる。具体的には、各点群データに対応する座標系を、ステージ１０６の移動量に応じて並進移動させる。点群データ１３０９〜１３１２は、ステージ１０６の移動量に応じた並進移動による補正後の点群データである。回転移動及び並進移動により得られた各点群データに対応する座標系は、全て共通座標系とみなすことができる。これにより、各点群データに対応する座標系の違いによる影響が低減されるため、複数の点群データの統合を高精度に行うことができる。尚、点群データに対応する座標系を回転移動及び並進移動させることは、前記点群データに含まれる点群を回転移動及び並進移動させることと同じである。高精度に点群データの統合が行われることによって、図１５における統合後の点群データ１３１３のような点群データを得ることができる。

図１６は、回転移動のための回転角度を算出する処理の概要を説明するための模式図である。点群データ１４０１〜１４０４は、測定領域ごとの点群データである。回転角度の算出には、被測定物体１０１が略平面体であることを利用する。まず、測定領域ごとに、点群データが表す点群を平面で近似する。各点群データに対する平面近似の結果を点群データ１４０５〜１４０８に示す。次に、測定領域ごとに、平面近似より得られた平面の法線ベクトルを算出する。各点群データの平面における法線算出の結果を点群データ１４０９〜１４１２に示す。次に、各点群データについて算出した法線ベクトルを平均することにより、平均法線ベクトルを算出する。平均法線ベクトルの算出結果を法線データ１４１３に示す。そして、平均法線ベクトルがＺ軸を向くための回転角度を算出する。ここでは、測定領域ごとの法線ベクトルはそれぞれわずかに異なる方向を向いているが、その平均の法線ベクトルは、被測定物体１０１の表面の法線ベクトルと同じ方向を向いているとみなしている。回転角度算出の結果を回転データ１４１４に示す。

図１７は、Ｓ８０２における第１位置合わせを行う処理のフローチャートである。Ｓ１５０１において、統合部２１１は、測定領域を特定するための変数ｐｏｓを０で初期化する。Ｓ１５０２において、統合部２１１は、ｐｏｓが測定領域の数ｐｏｓ＿ｎｕｍ未満であるか否かを判定する。ｐｏｓがｐｏｓ＿ｎｕｍ未満である場合はＳ１５０３に進む。ｐｏｓがｐｏｓ＿ｎｕｍ以上である場合はＳ１５０７に進む。Ｓ１５０３において、統合部２１１は、上述した点群データが表す点群を平面近似し、平面近似によって得られた平面の法線ベクトルを算出する。具体的には、最小二乗法などを用いて、点群を平面で近似する。Ｓ１５０４において、統合部２１１は、ステージ移動に関するステージ移動情報を読み込む。ステージ移動情報は、Ｓ６０３においてステージ移動を行った際に使用した移動量情報であり、図５に示した測定領域の位置が記録された情報である。Ｓ１５０５において、統合部２１１は、変数ｐｏｓに１を加え、Ｓ１５０２に戻る。Ｓ１５０６において、統合部２１１は、測定領域ごとの点群データに対応する回転角度を算出する。回転角度の算出方法には上述した方法を用いる。尚、平均法線ベクトルの算出に全ての測定領域の法線ベクトルを用いなくてもよい。測定領域によっては、点群データに異常点（正しくない被測定物体１０１の位置を表す点）が含まれる場合がある。特に、図５に示す測定領域のうち被測定物体１０１の端部に対応する測定領域においては、被測定物体１０１の外側（物体以外の領域）を含むように測定を行うため、異常点が発生しやすい。そこで、被測定物体１０１の端部に対応する測定領域の法線ベクトルは用いずに、平均の法線ベクトルを算出してもよい。Ｓ１５０７において、統合部２１１は、並進移動量を算出する。ここでは、Ｓ１５０２において読み込んだステージ移動情報に基づいて、並進移動量を決定する。

Ｓ１５０８において、統合部２１１は、測定領域を特定するための変数ｐｏｓを０で初期化する。Ｓ１５０９において、統合部２１１は、ｐｏｓが測定領域の数ｐｏｓ＿ｎｕｍ未満であるか否かを判定する。ｐｏｓがｐｏｓ＿ｎｕｍ未満である場合はＳ１５１０に進む。ｐｏｓがｐｏｓ＿ｎｕｍ以上である場合はＳ８０２を終了し、Ｓ８０３に進む。Ｓ１５１０において、統合部２１１は、Ｓ１５０６において算出した回転角度に基づいて、点群データが表す点群を回転移動させる。Ｓ１５１１において、統合部２１１は、Ｓ１５０７において算出した並進移動量に基づいて、点群データが表す点群を並進移動させる。Ｓ１５１２において、統合部２１１は、変数ｐｏｓに１を加え、Ｓ１５０９に戻る。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、物体の表面の形状を表す形状情報を取得する。複数の形状情報それぞれについて、形状情報が表す形状を平面で近似した場合に、撮像装置が移動する面に平面が平行な面になるように、形状情報を補正する。尚、形状情報は、平面又は略平面の物体における複数の領域を撮像装置が移動しながら撮像することによって得られた複数の画像データに基づいて生成された、複数の領域それぞれに対応する情報である。また、複数の画像データは、物体を隣り合った領域に重複領域を設けて複数の領域に分割し、複数のパターン光が照射された複数の領域それぞれを、撮像装置の光軸が物体の面と直交しない条件において、撮像することによって得られた画像データである。よって、平面又は略平面の物体における各領域の形状を表す複数の情報を統合するために、重複領域の位置合わせを高精度に行うことができる。

［第２実施形態］
第１実施形態においては、図１４（ａ）、（ｂ）に示すように、被測定物体１０１の面に対してステージ移動方向が平行である場合において、位置合わせを行った。本実施形態においては、図１４（ｃ）、（ｄ）に示すように、被測定物体１０１の面に対してステージ移動方向が傾いている（平行でない）場合において、位置合わせを行う。尚、本実施形態における三次元形状測定システムの構成は第１実施形態のものと同様であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、同一の構成については、同じ符号を付して説明する。

＜測定アプリケーション２１３の処理＞
図１８は、測定アプリケーション２１３の処理の流れを示すフローチャートである。尚、本実施形態におけるＳ１５０１〜Ｓ１５１２の処理の内容は、第１実施形態におけるＳ１５０１〜Ｓ１５１２の処理の内容と同様であるため説明を省略する。

Ｓ１５０２において、統合部２１１は、ｐｏｓがｐｏｓ＿ｎｕｍ以上である場合は、処理をＳ１６０１に進める。Ｓ１６０１において、統合部２１１は、測定領域ごとに、被測定物体１０１の面に対するステージの傾きに応じた補正量を算出する。ここで算出する補正量は、Ｚ方向の並進移動量である。図１９は、ステージの傾きに応じた補正量を算出する処理の概要を説明するための模式図である。点群データ１７０１〜１７０４は、測定領域ごとの点群データである。本実施形態においては、図１４（ｃ）、（ｄ）に示すように、ステージの移動方向は被測定物体１０１の面に対して傾いている。ここでは、ステージの移動が２次元平面内であることを利用して、補正量を算出する。まず、各点群データが表す点群の重心を算出する。具体的には、点群に含まれる各点のＺ座標の平均値をそれぞれ算出する。点群データ１７０５〜１７０８は、重心算出後の点群データである。次に、Ｘ軸方向へのステージ移動量をＸ軸、Ｙ軸方向へのステージ移動量をＹ軸、点群の重心のＺ座標をＺ軸とし、算出した重心のＺ座標をプロットし、プロットされた点群を平面近似する。ここでは、説明を簡易にするために、Ｘ軸１７０９とＺ軸１７１０とにおいて算出した重心のＺ座標をプロットし、直線近似した例を示す。直線近似により得られた直線１７１１を用いて、補正量を算出する。具体的には、ステージ移動量に対応する直線のＺ座標から、算出した重心のＺ座標のうち最も小さいＺ座標を引いた値を補正量とし、各点群データについて算出する。算出した重心のＺ座標のうち最も小さいＺ座標を直線１７１２に示し、補正量を矢印１７１３に示す。

被測定物体１０１の面に対してステージ移動方向が傾いている場合、ステージ移動量が大きくなるにつれて、測定領域ごとの重心のＺ座標は単調減少、あるいは単調増加する。このため、平面近似又は直線近似を用いることによって、ステージの移動による測定領域間のＺ方向のずれを推定することができる。尚、Ｘ軸方向へのステージの移動のみにより測定領域間のＺ方向のずれが生じる場合は、平面近似ではなく上述した直線近似を行ってもよい。同様に、Ｙ軸方向へのステージの移動のみにより測定領域間のＺ方向のずれが生じる場合は、Ｙ軸とＺ軸とにおいて算出した重心のＺ座標をプロットし、直線近似を行ってもよい。

Ｓ１５０９において、統合部２１１は、ｐｏｓが測定領域の数ｐｏｓ＿ｎｕｍ未満である場合は、処理をＳ１６０２に進める。Ｓ１６０２において、統合部２１１は、Ｓ１６０１において算出した補正量（Ｚ方向の並進移動量）に基づいて、点群データが表す点群をＺ方向に並進移動させる。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、被測定物体の面に対してステージ移動方向が傾いている場合であっても、形状を表す複数の情報を統合するために、重複領域の位置合わせを高精度に行うことができる。具体的には、例えば、油彩画の形状測定を行う場合、油彩画に対して正対するようステージを設置しようとしても、完全に正対できない場合がある。例えば、文化財保護の観点から、レーザー光を照射することができない油彩画の場合、測距計を用いてステージ設置を行うことが出来ない。このような正確なステージ設置ができない場合であっても、形状を表す複数の情報を統合するために、重複領域の位置合わせを高精度に行うことができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 画像処理装置
２１１ 統合部

Claims (20)

1. 平面又は略平面の物体における複数の領域を撮像装置が移動しながら撮像することによって得られた複数の画像データに基づいて生成された、前記複数の領域それぞれに対応する前記物体の表面の形状を表す形状情報を取得する取得手段と、
   前記取得手段が取得した複数の前記形状情報それぞれについて、前記形状情報が表す形状を平面で近似した場合に、前記撮像装置が移動する面に前記平面が平行な面になるように、前記形状情報を補正する補正手段と、を有し、
   前記複数の画像データは、前記物体を隣り合った領域に重複領域を設けて前記複数の領域に分割し、複数のパターン光が照射された前記複数の領域それぞれを、前記撮像装置の光軸が前記物体の面と直交しない条件において、撮像することによって得られた画像データであることを特徴とする画像処理装置。
2. 前記形状情報が表す形状を平面で近似し、近似によって得られた前記平面の法線ベクトルを算出する算出手段をさらに有し、
   前記補正手段は、前記法線ベクトルが表す方向が前記撮像装置が移動する面に直交する方向に一致するように、前記形状情報を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記複数の形状情報それぞれについて、前記法線ベクトルが表す方向が前記物体の面に直交する方向に一致するための前記法線ベクトルの回転角度を算出し、前記回転角度に基づいて、前記形状情報を補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、さらに、前記複数の領域を撮像する際の前記撮像装置の移動量を表す移動量情報を取得し、
   前記補正手段は、前記回転角度に基づいた補正に加えて、前記移動量情報に基づいて、前記形状情報を補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記撮像装置は、前記物体の面に対して、平行な面において移動しながら撮像を行うことを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
6. 前記撮像装置は、前記物体の面に対して、平行でない面において移動しながら撮像を行い、
   前記補正手段は、さらに、前記物体の面に対する前記撮像装置が移動する面の傾きに応じた補正量に基づいて、前記形状情報を補正することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
7. 前記補正量は、前記物体の面に直交する方向において前記形状情報が表す形状を補正するための補正量であることを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段によって補正された前記複数の形状情報を統合する統合手段をさらに有することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像処理装置。
9. 前記形状情報は、前記物体の表面における複数の位置を表す点群データであることを特徴とする請求項１に記載の画像処理装置。
10. 前記取得手段が取得した複数の前記点群データそれぞれについて、前記点群データが含む点群を平面で近似し、近似によって得られた平面の法線ベクトルを算出する算出手段をさらに有することを特徴とする請求項９に記載の画像処理装置。
11. 前記算出手段は、撮像範囲に前記物体以外の領域が含まれる撮像に対応する前記点群データについては、前記物体以外の領域に対応する点を除いて、前記点群を平面で近似することを特徴とする請求項１０に記載の画像処理装置。
12. 前記補正手段は、前記複数の点群データそれぞれについて、前記法線ベクトルが表す方向が前記物体の面に直交する方向に一致するための前記法線ベクトルの回転角度を算出し、前記回転角度に基づいて、前記点群を移動させることを特徴とする請求項１０又は請求項１１に記載の画像処理装置。
13. 前記取得手段は、さらに、前記複数の領域を撮像する際の前記撮像装置の移動量を表す移動量情報を取得し、
    前記補正手段は、前記回転角度に基づいた移動に加えて、前記移動量情報に基づいて、前記点群を移動させることを特徴とする請求項１２に記載の画像処理装置。
14. 前記撮像装置は、前記物体の面に対して、平行でない面において移動しながら撮像を行い、
    前記補正手段は、さらに、前記物体の面に対する前記撮像装置が移動する面の傾きに応じた補正量に基づいて、前記点群を移動させることを特徴とする請求項１３に記載の画像処理装置。
15. 前記算出手段は、前記点群の重心を算出し、前記重心と前記移動量情報とに基づいて、前記補正量を算出することを特徴とする請求項１４に記載の画像処理装置。
16. 前記補正手段によって補正された前記複数の点群データを統合する統合手段をさらに有することを特徴とする請求項９乃至請求項１５のいずれか一項に記載の画像処理装置。
17. 前記形状情報は、前記物体の表面の高さを表す高さデータであることを特徴とする請求項１に記載の画像処理装置。
18. 前記算出手段は、最小二乗法を用いて、前記形状情報が表す形状を平面で近似することを特徴とする請求項２又は請求項１０に記載の画像処理装置。
19. コンピュータを請求項１乃至請求項１８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
20. 平面又は略平面の物体における複数の領域を撮像装置が移動しながら撮像することによって得られた複数の画像データに基づいて生成された、前記複数の領域それぞれに対応する前記物体の表面の形状を表す形状情報を取得する取得ステップと、
    前記取得ステップにおいて取得した複数の前記形状情報それぞれについて、前記形状情報が表す形状を平面で近似した場合に、前記撮像装置が移動する面に前記平面が平行な面になるように、前記形状情報を補正する補正ステップと、を有し、
    前記複数の画像データは、前記物体を隣り合った領域に重複領域を設けて前記複数の領域に分割し、複数のパターン光が照射された前記複数の領域それぞれを、前記撮像装置の光軸が前記物体の面と直交しない条件において、撮像することによって得られた画像データであることを特徴とする画像処理方法。