JP2015210192A - 計測装置およびその方法 - Google Patents

Abstract

【課題】 パターンの投影による半透明部分を含む対象物の内部散乱の影響を取り除いて、対象物の三次元形状を高速に計測する。
【解決手段】 画像入力部204は、投影装置101により時系列に投影される、長手方向が投影装置101の光学中心と撮像装置102の光学中心を結ぶ線分によって定義されるベースラインに略直交し、長手方向に明暗を繰り返す所定幅の複数の破線を含む複数のパターンを撮像装置102が撮影した複数の撮影画像を取得する。破線識別部302は、複数の撮影画像における明暗の組み合わせに基づき、複数の破線を識別する。座標検出部303は、複数のパターンに関する情報と複数の破線の識別結果に基づき、複数の破線の投影座標と撮影画像における複数の破線の画像座標の対応関係を検出する。
【選択図】 図2

Description

本発明は、対象物の三次元形状の計測に関する。

プロジェクタなどの投影部によって構造化光を計測対象に投影し、その反射光を撮像部が観測した位置を基に三角測量の原理によって三次元座標を求める三次元計測装置が知られている。このような装置による計測は、数多くのパターンの投影を必要とし、計測に時間がかかる。

計測時間を短縮する方法として、特許文献1に開示された方法がある。この方法によれば、小セグメントに分割された複数のスリットパターンを計測対象に同時投影し、その投影像を撮影した画像と投影パターンの対応を求めることで、高速に三次元座標を求めることができる。

また、プラスチックなどの材料で製造された測定対象の場合、表面下散乱または内部散乱と呼ばれる現象によって、計測精度が著しく悪化したり、計測自体が不能になる場合がある。そのような計測対象の場合は、計測対象の表面に白色のパウダなどを事前に塗布するなどの処置が要求され、三次元計測装置の適用範囲を大きく制限する障害となる。

内部散乱の影響を抑制する方法として、非特許文献1は、スリット光を高周波成分を含むM系列によって変調し、内部散乱の影響を受け難くする三次元形状の計測方法を提案する。

特許文献1が記載する方法は、測定対象が半透明を含む素材から形成されている場合、内部散乱のためにパターンを認識することができない、あるいは、撮影画像からパターンの位置を正確に特定することがでないなど、高精度な計測が困難である。

また、非特許文献1が提案する方法は、スリット光をM系列で変調するため、プロジェクタの視差方向の解像度のM倍に等しい数のパターンを投影して、カメラで撮影する必要がある。内部散乱に伴う精度の低下や計測不能になる問題は解決されるが、投影パターンの数が著しく増加し、その結果としての計測時間の増加が実用上の大きな制約になる。

特願昭63-103375号公報

古瀬達彦、日浦慎作、佐藤宏介「表面下散乱を抑制した三次元形状計測の高精度化」MIRU2008 画像の認識・理解シンポジウム S. K. Nayar、G. Krishnan、M. D. Grossberg、R. Raskar「Fast Separation of Direct and Global Components of a Scene using High Frequency Illumination」ACM2006

本発明は、パターンの投影による半透明部分を含む対象物の内部散乱の影響を取り除いて、対象物の三次元形状を高速に計測することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる計測は、計測空間にパターンを投影する投影装置、および、前記計測空間を撮影する撮像装置を用いて、対象物の三次元形状を測定する際に、前記投影装置によって時系列に投影される、長手方向が前記投影装置の光学中心と前記撮像装置の光学中心を結ぶ線分によって定義されるベースラインに略直交し、前記長手方向に明暗を繰り返す所定幅の複数の破線を含む複数のパターンを前記撮像装置が撮影した複数の撮影画像を取得し、前記取得された複数の撮影画像における前記明暗の組み合わせに基づき、前記複数の破線を識別し、前記複数のパターンに関する情報と前記複数の破線の識別結果に基づき、前記複数の破線の投影座標と前記撮影画像における前記複数の破線の画像座標の対応関係を検出する。

本発明によれば、パターンの投影による半透明部分を含む対象物の内部散乱の影響を取り除いて、対象物の三次元形状を高速に計測することができる。

実施例1の三次元計測装置の構成例を示すブロック図。 実施例1の情報処理装置の機能を説明するブロック図。 基本座標検出パターン画像の一例を示す図。 基本座標検出パターン画像を構成する破線から切り出した一部を示す図。 図4に示す破線をシフトしたパターンの投影順序を変更した例を示す図。 実施例1の三次元計測装置による計測処理を説明するフローチャート。 空間分割パターンの例としてグレイコードを示す図。 分割領域座標検出パターン画像の一例を示す図。 実施例2の三次元計測装置による計測処理を説明するフローチャート。 実施例3の情報処理装置の機能を説明するブロック図。 実施例3の三次元計測装置による計測処理を説明するフローチャート。 実施例4のパターン生成部が生成するパターン群の一例を示す図。 図12に示すパターン群を空間方向に並べて生成した投影パターン群を示す図。 実施例4の三次元計測装置による計測処理を説明するフローチャート。 実施例5の三次元計測装置による計測処理を説明するフローチャート。

以下、本発明にかかる実施例の計測および情報処理を図面を参照して詳細に説明する。

実施例1において説明する三次元計測装置は、複数の破線の明暗を時間的に変化させたパターンを有する構造化光（以下、パターン光）を計測対象に投影する。そして、その一連の投影像を撮影した画像群において、それぞれの破線を識別するとともに、計測対象に生じる内部散乱の影響を取り除いて、計測対象の表面の高精度な三次元座標（三次元形状）を高速に測定する。

［装置の構成］
図1のブロック図により実施例1の三次元計測装置100の構成例を示す。

投影装置101は、後述するパターン光を計測対象の物体（以下、対象物）104に投影する。パターン光は、対象物104の表面で反射し、撮像装置102によって撮像される。撮像装置102が撮像した画像は情報処理装置103に送られ、情報処理装置103によって対象物104の三次元座標が算出される。また、情報処理装置103は、投影装置101および撮像装置102の動作を制御する。

●情報処理装置
図2のブロック図により実施例1の情報処理装置103の機能を説明する。情報処理装置103はコンピュータ機器であり、情報処理装置103のCPUがRAMをワークメモリとして不揮発性メモリなどの記録媒体に格納されたプログラムを実行することで、図2に示す機能が実現される。

制御部210は、後述する情報処理装置103の各部の動作を制御するとともに、投影装置101と撮像装置102の動作を制御する。

投影パターン生成部202は、パラメータ記憶部206から読み出した破線の周期を示す破線情報501に基づき基本座標検出パターン画像などのパターン画像504を適宜生成し、パターン画像504を投影装置101に出力する。また、投影パターン生成部202は、破線符号情報502および投影パターン情報503を生成し、パラメータ記憶部206に格納する。なお、破線の周期は、破線の白線部（明部）と黒線部（暗部）の反復における一反復に相当し、一反復の明部の画素数と暗部の画素数の和である。

パラメータ記憶部206は、RAMなどに割り当てられ、三次元計測に必要な各種パラメータを保持する。パラメータには、投影装置101や撮像装置102を制御するための設定や較正データ508などが含まれる。また、パラメータ記憶部206は、ユーザによって定義される破線の周波数（または周期）を示す破線情報501、投影パターン生成部202が生成する破線符号情報502と投影パターン情報503などを保持する。

投影装置101は、パターン画像504に基づくパターン光を対象物104に投影する。なお、パターン光の投影は、制御部210から出力される投影制御信号510を投影装置101が受信した時点で開始される。

投影パターン生成部202によって生成されたパターン画像504は、例えばハードディスクドライブやソリッドステートドライブなどの不揮発性メモリに割り当てられたパラメータ記憶部206などに格納することができる。その場合、格納されたパターン画像504には、破線情報501、破線符号情報502、投影パターン情報503などが関連付けられる。パラメータ記憶部206などにパターン画像504が格納されている場合、投影パターン生成部202は、当該パターン画像504をパラメータ記憶部206などから取得して投影装置101に出力することができる。

●基本座標検出パターン画像
パターン光として投影される基本座標検出パターン画像は、投影装置101によるパターン投影に伴う対象物104の内部散乱の影響を除去することができる破線から構成される。各パターンの長手方向は、投影装置101の光学中心と撮像装置102の光学中心を結ぶ線分によって定義されるベースラインに略直交し、長手方向に明暗が繰り返される所定幅の破線を複数含む。基本座標検出パターン画像は、複数の破線を同時に投影することによって、高精度かつ高速に対象物104の三次元座標を検出することを目的とする。

図3により基本座標検出パターン画像の一例を示す。基本座標検出パターン画像は、図3に示すように、複数の破線からなり、一回のパターン投影によって、対象物104上に複数の破線が同時に投影される。個々の破線パターンの投影像が撮影された画像から、対象物104の内部散乱成分を除去することが可能である。

内部散乱成分の除去は、まず、所定の周期で明暗を繰り返す（所定の周期で白線部と黒線部を繰り返す）破線パターンについて、一周期分を順次シフトさせたパターン（つまり、位相のみが異なる破線パターン）が投影された複数の画像を撮影する。そして、撮影した複数の画像の各画素において時間方向（時系列）に輝度値を比較することで、画像から内部散乱成分を除去する。この手法の詳細は後述する。

投影パターン生成部202においては、撮影画像から内部散乱成分を除去するために、破線の位相を一周期分シフトするように、位相シフト量の総数分の複数のパターンを生成する必要がある。しかし、これら複数のパターンの投影像の撮影画像には、位相が一周期分シフトさせた破線がすべて含まれていればよく、位相のシフトがいかなる順序であっても内部散乱成分の除去に問題はない。

実施例1においては、破線ごとに位相のシフト量の変化順が固有になるように投影順を定めることによって、これら破線を複数同時に投影しても、複数の撮影画像からこれら破線を識別することが可能になる。すべての破線において一周期分の位相が網羅されているため、撮影画像から内部散乱成分を除去することができる。破線を一つずつ投影するのではなく、複数の破線を同時に投影することによって、内部散乱成分を除去するための投影パターンの総数を削減することができる。その結果、内部散乱の影響を抑制しつつも、高速な三次元計測の実現が可能になる。

図3に示す基本座標検出パターン画像の各破線は、明部を構成する画素の数と、暗部を構成する画素の数が同じ（明部の長さと暗部の長さが同じ）であり、明部と暗部が規則的に繰り返されている。破線の明部および暗部の連続する画素（以下、連続画素）の数をNとすると、当該破線を長手方向に一画素ずつ2N回シフトすると、当該破線の一周期分の位相のすべてを記述することができる。

投影パターン生成部202は、内部散乱成分を取り除くために、時系列に順次、すべての破線を長手方向にシフトしたパターン画像504を生成し、パターン画像504を投影装置101に出力する。図4により基本座標検出パターン画像（連続画素の数N=3）を構成する破線から切り出した一部を示す。図4は、一画素ずつ一周期分シフトさせた計六種類のパターンを示す。

図3に示す各破線を撮影画像から識別するために、破線をシフトさせたパターンについて、破線ごとに投影する順番を変更する。図5により図4に示す破線をシフトしたパターンの投影順序を変更した例を示す。図5には三種類の破線（破線1から3）を示す。破線1から3は、パターンの投影像に対する2N（2×3=6）枚の撮影画像上で、破線1から3の何れも一周期分の全位相を含み、かつ、破線1から3それぞれに投影順序が異なる。そのため、破線1から3が同時に投影されていても個々の破線を識別することが可能になる。

つまり、図5に示す三種類の破線は、パターンの投影像に対する六枚の撮影画像上では何れも同じ破線として扱うことが可能であり、かつ、個々の破線で投影順序が異なり、明暗の変化が破線の画素の間で一致しない。そのため、これら破線を左から順に時系列に投影すれば、三種類の破線が同時に投影された画像から個々の破線を識別することが可能になる。

連続画素の数N=3の破線を一周期分シフトした場合、六枚の基本座標検出パターン画像が順次投影されることになる。この場合、撮影画像中の注目画素の時間方向の明暗の変化には20通りの組み合わせが存在するが、この中から一本の破線を一意に識別するには、六通りの明暗の組み合わせが必要になる。この例の場合、三本までの破線を識別することができる。一般に、明暗の組み合わせは_2NC_N通り存在し、上記のようにN=3の場合は三本の破線を識別でき、N=4では七本の破線を識別することができる。言い替えれば、識別可能な破線の数は破線の周期2Nに依存する。

破線の投影間隔は、（投影装置101の画素数）÷（投影本数）画素になる。投影パターン生成部202は、この明暗の組み合わせに基づき破線符号情報502を生成する。また、投影パターン生成部202は、投影パターン中の各破線の投影位置を示す情報を投影パターン情報503として、破線符号情報502とともにパラメータ記憶部206に出力する。

また、上記では、明部と暗部がN画素ずつ規則的に繰り返される例を説明したが、明部の画素数と暗部の画素数は異なっていてもよいし、規則的に繰り返されていなくてもよい。また、明部と暗部の二値ではなく、多階調を用いてもよいし、投影色によって符号化を行ってもよい。

●情報処理装置（つづき）
撮像装置102は、制御部210から出力される撮像制御信号511を受信したタイミングにおいて、予め指定された撮像パラメータ（シャッタ速度、絞り値、被写体距離）により画像を撮像し、撮像した画像505を画像入力部204に出力する。

画像入力部204は、撮像装置102から受信した画像を画像バッファ211に格納する。異なるパターン光を対象物104に照射した複数の画像が撮像されるので、画像入力部204は、順次、撮像装置102から画像を入力し、入力した画像を画像バッファ211に追加する。画像入力部204は、一回の三次元座標算出に必要な数の画像を入力すると、画像バッファ211に保持されている撮像画像群を示す情報506を画像処理部205に出力する。

画像処理部205は、撮像画像群を示す情報506を受信すると、三次元座標の算出前に必要な画像処理を撮像画像群に施す。画像処理部205は、画像中の直接反射光成分を算出する直接反射光算出部301、投影装置101の投影領域において各破線を識別する破線識別部302、および、投影座標と画像座標の対応付けを行う座標検出部303を有する。

直接反射光算出部301は、一周期分の破線パターンの投影像を撮像した画像の画素ごとに、時間方向に画素値を観察して得られる画素値の最大値および最小値から直接反射光成分を算出する。つまり、撮影画像における対象物104上の被計測点において、破線パターン投影時の暗部に対応する画素にはパターン光が投影されていないため、当該画素からは直接反射光成分が観測されず、内部散乱成分のみが観測される。一方、破線パターン投影時の明部に対応する画素にはパターン光が投影されているため、当該画素からは直接反射成分と内部散乱成分の両方が観測される。

破線の周波数が充分に高い条件の下、暗部に対応する画素の値は内部散乱成分そのものを示すと見做すことができ、明部の画素値から暗部の画素値を減算した値が対象物104の表面で反射した直接反射光成分と見做すことができる。従って、本実施例においては、撮影画像の各画素の時間方向の最小値を内部散乱成分、各画素の最大値から最小値を減算した値を直接反射光成分として扱う。なお、直接反射光成分の算出の詳細は非特許文献2を参照されたい。

直接反射光算出部301は、一連の撮影画像から上記の処理によって内部散乱成分を取り除き、直接反射光成分のみとなった一連の画像（以下、直接反射光画像）を生成する。なお、直接反射光成分を求める処理は、破線パターンが投影されていない画素においては、時系列の輝度変化が微小であり、最大値と最小値の差は小さくなるため、破線パターン投影の有無によらず、すべての画素を同様に処理することができる。

破線識別部302は、パラメータ記憶部206に格納された破線符号情報502を参照して、直接反射光画像における各破線の識別を行う。任意の画素に注目して、直接反射光画像における明部の画素値を‘1’、暗部の画素値を‘0’として、パターンの投影順に画素値を並べると、例えば‘100011’のような二進数によって破線の各セグメント521を表現することができる。図5に示すように、各破線をシフトさせたパターンの投影順は破線ごとに異なるため、破線のセグメント521ごとに固有の二進数が復号される。

図5に示す例の場合、破線1の一番目のセグメント521の復号結果として‘110001’(=49)が復号され、二番目のセグメント521の復号結果として‘100011’(=35)が復号される。破線1の三番目以降のセグメント521、破線2、3の各セグメント521においても同様の復号結果が得られ、復号結果によって破線のセグメント521が特定される。そして、全セグメント521を特定することにより、各破線の識別が可能になる。なお、図5において、各破線の投影順位1の画素の値が最下位ビット(LSB)に配置され、投影順位6の画素の値が最上位ビット(MSB)に配置される。

座標検出部303は、パラメータ記憶部206に格納された投影パターン情報503と、破線識別部302の識別結果に基づき座標検出パターンの座標を決定する。この処理により破線が検出された撮影画像中の破線上の投影座標が一意に決定される。破線の投影座標は既知であるため、破線の投影座標と撮影画像における破線の画像座標の対応関係が検出される。座標検出部303は、投影座標と画像座標の対応関係を示す座標情報507を三次元座標算出部208に出力する。

三次元座標算出部208は、パラメータ記憶部206に格納された投影装置101と撮像装置102の較正データ508を参照して、座標情報507から対象物104の三次元座標509を算出する。結果出力部209は、三次元座標算出部208が算出した対象物104の三次元座標509を出力する。結果出力部209は、USB、HDMI（登録商標）、有線または無線ネットワークのインタフェイスであり、三次元座標509の出力先は、例えば、モニタ、他のコンピュータやサーバ装置、補助記憶装置、各種記録媒体などである。

［計測処理］
図6のフローチャートにより実施例1の三次元計測装置100による計測処理を説明する。

三次元計測装置100が起動されると、制御部210は、初期化処理を実行し(S101)、計測開始のユーザ指示の入力を待つ(S102)。初期化処理には、投影装置101や撮像装置102の起動、投影装置101と撮像装置102の較正データなどの各種パラメータを図示しない不揮発性の記憶部からパラメータ記憶部206に読み込む処理などが含まれる。

計測開始のユーザ指示が入力されると、制御部210は、投影パターン生成部202に座標検出パターンを生成させ、座標検出パターンを表すパターン画像504を投影装置101に出力させる(S103)。なお、パラメータ記憶部206などにパターン画像504が格納されている場合、投影パターン生成部202は、パラメータ記憶部206などに格納されたパターン画像504を投影装置101に出力することもできる。

制御部210は、投影制御信号510を出力して投影装置101に座標検出パターンを対象物104に投影させるとともに、撮像制御信号511を出力して撮像装置102にパターン光が投影された対象物104の画像を撮像させる(S104)。ステップS105の判定により、三次元座標の算出に必要な数のパターン画像が撮像され、それら画像が画像入力部204に入力されるまで、ステップS103とS104が繰り返される。

三次元座標の算出に必要な数のパターン画像の撮像が完了すると、直接反射光算出部301は、座標検出パターンが投影された対象物104の画像から直接反射光画像を生成する(S106)。続いて、破線識別部302は、破線符号情報502に基づき、直接反射光画像に含まれる各破線を識別する(S107)。そして、座標検出部303は、各破線の識別結果と投影パターン情報503に基づき、投影座標と画像座標の組を示す座標情報507を生成する(S108)。

次に、三次元座標算出部208は、座標情報507から、対象物104の表面の三次元座標509を算出する(S109)。制御部210は、算出された三次元座標509を、結果出力部209を介して、予め設定された出力設定に対応する出力先に出力し(S110)、その後、ユーザ指示を判定して(S111)、処理をステップS102に戻すか、三次元計測処理を終了する。

なお、ステップS104からS109の処理については、図6に示す順序で実行する必要はない。依存関係を含まない処理については、適宜順序を入れ替えてもよいし、並列処理することも可能である。

このように、投影装置101によって、複数の破線を含むパターンを投影し、各破線を識別することで、対象物104に生じる内部散乱の影響を取り除き、三次元座標を高精度かつ高速に算出することができる。

以下、本発明にかかる実施例2の情報処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例2では、投影装置101により空間分割パターンを投影して、対象物104を含む空間を複数の領域に分割する。このように分割された領域内に、さらに、投影装置101により一意に識別することができる複数の破線を含む座標検出パターンを投影する。これにより、対象物104に生じる内部散乱の影響を取り除きつつ、対象物104の表面の三次元座標を高速かつ高精度に測定する。実施例2においては、実施例1よりも多くの破線を同時に投影して、これら破線を識別することが可能であり、さらなる高速化が実現される。

投影パターン生成部202は、空間分割パターンと分割領域座標検出パターンを生成し、それらのパターン画像504を投影装置101に出力する。また、投影パターン生成部202は、破線符号情報502および投影パターン情報503に加えて空間分割符号情報を生成し、それら情報をパラメータ記憶部206に格納する。

空間分割パターンは、投影装置101が投影可能な対象物104を含む空間（以下、計測空間）を複数の領域に分割するためのパターンである。また、分割領域座標検出パターンは、空間分割パターンによって分割された各領域（以下、分割領域）内に所定の数の破線が含まれるように構成されたパターンである。空間分割パターンと分割領域座標検出パターンを組み合わせることにより、内部散乱の影響を取り除き、高精度かつ実施例1よりも高速に投影座標を算出することができる。

空間分割パターンは、計測空間全体を所定数の領域に分割することができるパターンであればどのようなものでもよい。図7により空間分割パターンの例としてグレイコードを示す。

投影装置101によって、図7(a)に示すグレイコードが、順次、空間分割パターンとして計測空間に投影され、撮像装置102によって投影パターンに対応した画像が撮像される。図7(a)に示す四つのパターンのグレイコードの投影による撮影画像中の明暗の組み合わせは16通り存在する。そのため、投影装置101は、計測空間を16領域に分割することができ、撮影画像中の各画素がどの領域に属すかを決定することができる。

空間分割時、計測対象の反射率の影響を抑制して、撮影画像中の明暗の組み合わせを安定に読み取るために、図7(a)に示すパターンに加えて、それらパターンを反転した図7(b)のパターンが用いられる。

図8により分割領域座標検出パターン画像の一例を示す。分割領域座標検出パターン画像は、空間分割パターンによって分割された各領域内において複数の破線を一意に識別することを目的とし、複数の破線をこの領域内で等間隔に配置したパターンである。言い替えれば、分割領域座標検出パターン画像は、分割領域の幅を投影本数で除算した画素間隔で複数の破線を配置したパターンである。

各領域に配置する破線の数は、分割領域の幅（投影装置101の画素数を分割領域の数で除算した画素幅）、および、実施例1で説明した最大の識別数によって決定される。各領域において各破線を識別するために、破線ごとに位相のシフト量の変化順が固有になるように投影順を定めたパターンが生成される。

破線識別部302は、空間分割パターンが投影された計測空間を撮影した画像群の明暗の組み合わせから計測空間を領域分割する処理を行い、パラメータ記憶部206に格納された破線符号情報502を参照して、直接反射光画像において各破線を識別する。ただし、実施例2における破線識別部302は、実施例1と異なり、画像の全体ではなく、分割領域ごとに破線を識別する。識別した破線と、当該破線が属す領域の組み合わせによって、画像全体における破線の位置が特定される。

図9のフローチャートにより実施例2の三次元計測装置100による計測処理を説明する。なお、図9において、図6に示す処理と略同様の構成については、同一符号を付して、その詳細説明を省略する。

計測開始のユーザ指示が入力されると、制御部210は、投影パターン生成部202に空間分割パターンと分割領域座標検出パターンを生成させ、それらパターンを表すパターン画像504を投影装置101に出力させる(S203)。

制御部210は、投影制御信号510を出力して投影装置101に空間分割パターンと分割領域座標検出パターンを計測空間に投影させるとともに、撮像制御信号511を出力して撮像装置102にパターン光が投影された計測空間の画像を撮像させる(S204)。実施例1と同様に、三次元座標の算出に必要な数のパターン画像が撮像され、それら画像が画像入力部204に入力されるまで、ステップS203とS204が繰り返される。

三次元座標の算出に必要な数のパターン画像の撮像が完了すると、直接反射光画像の生成(S106)が実行される。その後、破線識別部302は、パラメータ記憶部206に格納された空間分割符号情報を参照して直接反射光画像から各分割領域の領域番号を算出し(S205)、破線符号情報502を参照して、分割領域ごとに破線を識別する(S206)。

その後、実施例1と同様に、座標情報507の生成(S108)、三次元座標509の算出(S109)、三次元座標509の出力(S110)が行われ、ユーザ指示に従い、処理がステップS102に戻るか、三次元計測処理が終了する。

このように、投影装置101によって、空間分割された各領域に識別可能な複数の破線を含むパターンを投影し、各領域において破線を識別することで、対象物104に生じる内部散乱の影響を取り除き、三次元座標を高精度かつより高速に算出することができる。

以下、本発明にかかる実施例3の情報処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例3では、複数の破線を線領域に対して時系列に連続的に投影する。その投影像を撮影した画像においてそれぞれの線領域を識別（破線を識別）し、計測対象に生じる内部散乱の影響を取り除くことにより、計測対象表面上の三次元座標を精密に測定する例を説明する。

［装置の構成］
図10のブロック図により実施例3の情報処理装置103の機能を説明する。実施例3の情報処理装置103において、図2の構成と異なるのは、画像処理部205の内部構成である。

画像処理部205は、撮像画像群を示す情報506を受信すると、三次元座標の算出前に必要な画像処理を撮像画像群に施す。画像処理部205は、直接反射光算出部301、ピーク位置検出部402、パターン光復号部403、座標検出部303を有する。直接反射光算出部301および座標検出部303の処理は実施例1と同様であり、その詳細説明を省略する。

ピーク位置検出部402は、画像処理部205は、直接反射光画像から、破線が投影された線領域（直接反射光画像上では実線になっている）の輝度（画素値）のピーク位置を検出する。被計測点の三次元位置を求めるには、撮像画像と投影画像の対応関係を求める必要があるが、ピーク位置は被計測点の撮像画像上の座標になる。ピーク位置の検出方法としては、例えば平滑化数値微分を用いる。ピーク位置検出部402が直接反射光画像を用いることにより、撮影画像上の座標を高精度に取得することができる。

パターン光復号部403は、ピーク位置の画素に対応する破線を識別する。図5に示すように、破線のセグメント521の明暗を‘1’と‘0’で表すと、図5に示す復号結果（例えば、49='110001'）が得られるが、この復号結果を「破線識別番号」とする。例えば明暗暗明明暗と繰り返された場合、破線識別番号は‘011001’（=25）であり、破線3の三つ目のセグメントであることがわかる。六枚の時系列画像に対してこの処理を行えば、図5に示すように、各破線でパターンの投影順が異なるため、破線ごとに固有の破線識別番号が復号されて、破線の識別が可能になる。

［計測処理］
図11のフローチャートにより実施例3の三次元計測装置100による計測処理を説明する。ステップS101-S106の処理は、図6に示す実施例1の処理と同様であり、詳細説明を省略する。

直接反射光画像が生成されると、ピーク位置検出部402は、直接反射光画像に基づき各破線が投影された線領域のピーク位置を検出する(S301)。被計測点として用いる撮像画像上のピーク位置を予め検出しておくことで、続く破線の識別処理をピーク位置に限定することができる。続いて、パターン光復号部403は、ピーク位置において各破線を識別する(S302)。

以降のステップS108-S111の処理は、図6に示す実施例1の処理と同様であり、詳細説明を省略する。

このように、直接反射光を算出することができる座標検出パターンを投影し、対象物104の直接反射光を算出して、直接反射光に基づき対象物104の三次元形状を計測する。内部散乱などの間接光成分を除去することによって、三次元座標を精密に算出することが可能になる。つまり、対象物104が内部散乱を引き起こす半透明部分を含む場合に効果的である。

以下、本発明にかかる実施例4の情報処理を説明する。なお、実施例4において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例4では、線領域ごとに破線の投影領域と非投影領域を時系列に順序を変えて投影することで、同時に識別可能な線領域の数を増す例を示す。また、その投影像を撮影した画像において、各線領域を識別し、計測対象に生じる内部散乱の影響を取り除くことにより、計測対象上の三次元座標を精密に測定する例を説明する。

●パターン群
図12により実施例4のパターン生成部202が生成するパターン群の一例を示す。実施例4のパターン群は、破線の投影順序のみを変更する実施例1-3のパターン群と異なり、破線の非投影領域を含めて投影順序を変更するパターン群である。非投影領域は、破線と等幅かつ破線に平行する暗部である。

実施例4のパターン群は、各線領域において2Nの破線（投影領域）とMの非投影領域の合計2N＋Mの時系列順序の並び替えで構成され、この並びを利用して線領域の識別が行われる。図12にはN=2、M=8の時系列パターンの例を示す。

四画素周期の破線を一画素ずつ一周期分シフトさせた四つの破線と、八つの非投影領域の順序を入れ替えることにより、L1-L15の線領域パターンにおいて、明部の位置が完全に一致するセグメントが存在しない。言い替えれば、パターン群において、複数の破線と非投影領域による明暗の組み合わせは画素ごとに異なる。そのため、12枚の画像から計15種類の投影パターンを識別することが可能になる。

図13により図12に示すパターン群を空間方向に並べて生成した投影パターン群を示す。P1-P12の各投影パターンは、15種類の線領域パターンを横方向に配置したものであり、縦方向はN=2における破線の最小単位四画素から構成される。配置の順は、L15、L1、L14、L2、L13、L5、L11、L9、L3、L6、L4、L7、L12、L8、L10である。実際に投影されるパターンは、縦方向に、これらの投影パターンを繰り返した複数の破線を含むパターンになる。

図13においては、各投影パターンにおける内部散乱成分の除去性能を低下させないために、投影される破線が隣接しないように線領域パターンを並べた投影パターンを示している。言い替えれば、複数の破線の間に非投影領域を配置した投影パターンである。ただし、投影パターンの定め方は、これに限るものではない。例えば、線領域パターンの間に時系列に常に非投影領域の画素を挟んでもよいし、内部散乱成分の除去性能の低下を許容する場合は隣り合う線領域パターンにおいて同時に破線が投影されるようにしてもよい。

また、前述したように、明部と暗部の画素数は異なっていてもよいし、規則的に繰り返されていなくてもよい。また、明部と暗部の二値ではなく、多階調を用いてもよいし、投影色によって符号化を行ってもよい。

●画像処理部
次に、画像処理部205において、撮影画像の明暗に基づき、線領域を識別し、識別結果に基づいて直接反射光画像を生成する処理について説明する。

直接反射光算出部301は、処理対象の各画素がどの線領域に属するかを識別するために、12枚の時系列画像において、輝度が大きい順に画像を二つ抽出する。例えば、ある画素の輝度が大きい二つの画像が一枚目と四枚目の場合、当該画素は図12に示すL1の一番目のセグメントに対応することが分かり、当該画素はL1の線領域に属すと識別する。

ただし、破線が投影されていない画素においては他の時系列に比べて輝度が大きい画像が見付からない場合や、破線と破線の間の画素においては両方の破線の影響を受けて、輝度が大きい画像が四つ見付かる場合がある。このような画素は、破線が投影される線領域のピーク位置から離れた位置にあり、被計測点として用いないことから線領域の識別を行う必要はなく、この後も処理対象外の画素として扱う。

次に、直接反射光算出部301は、線領域の識別が行われた画素ごとに直接反射光成分を算出する。まず、識別された線領域から、破線パターンが投影されている画像番号を抽出する。例えば、ある画素について識別された線領域が図12に示すL4の場合、破線パターンが投影されるのは1、2、9、10番目の画像である。これら四つの画像における当該画素の画素値の最大値および最小値を取得する。

上述したように、四つの画像における最大値は反射光成分と内部散乱成分の両方が観測されたもの、最小値は内部散乱成分そのものと見做すことができるため、最大値から最小値を減算した値が対象物104の表面で反射した直接反射光成分である。直接反射光算出部301は、内部散乱成分を取り除き、直接反射光成分のみの直接反射光画像を生成する。

［計測処理］
図14のフローチャートにより実施例4の三次元計測装置100による計測処理を説明する。ステップS101-S105の処理は、図6に示す実施例1の処理と同様であり、詳細説明を省略する。

三次元座標の算出に必要な数のパターン画像の撮像が完了すると、直接反射光算出部301は、ピーク位置付近における各画素の線領域を識別する(S401)。また、線領域が識別されなかった画素は以降の処理の対象外として除外される。

次に、直接反射光算出部301は、識別した線領域に基づき破線パターンが対象物104に投影された画像番号を抽出し、それらの画像から反射光を算出し、直接反射光画像を生成する(S402)。

次に、ピーク位置検出部402は、直接反射光画像に基づき、各破線が投影された線領域のピーク位置を検出する(S403)。この時点で、線領域の識別とピーク位置の検出が完了し、処理はステップS108に進む。以降のステップS108-S111の処理は、図6に示す実施例1の処理と同様であり、詳細説明を省略する。

このように、線領域に投影する時系列パターンに非投影領域を加え、それらを並べて時系列パターンを生成することにより、一度に識別できる線領域の数を増やすことができる。例えば、実施例3においては六つの撮影画像ごとに三つの線領域を識別することができるのに対し、実施例4においては12枚の撮影画像ごとに15の線領域を識別することができる。線領域の識別数は被計測点の数と比例関係にあるため、撮影画像数が同じであれば、より広い範囲の三次元計測点の算出が可能になる。

以下、本発明にかかる実施例5の情報処理を説明する。なお、実施例5において、実施例1-4と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例4では、実施例2と同様に、空間分割パターンを投影して、対象物104を含む計測空間を複数の領域に分割する。さらに、分割された領域に一意に識別することができる複数の破線を含む座標検出パターンを投影する。これにより、対象物104に生じる内部散乱の影響を取り除き、対象物104の表面の三次元座標をより高速かつ精密に測定する。

図15のフローチャートにより実施例5の三次元計測装置100による計測処理を説明する。ステップS101、S102、S203、S204、S105の処理は、図9に示す実施例2の処理と同様であり、詳細説明を省略する。

三次元座標の算出に必要な数のパターン画像の撮像が完了すると、直接反射光算出部301は、実施例2と同様に、空間分割パターンが対象物104に投影された画像から、分割領域の領域番号を算出する(S501)。そして、各分割領域の直接反射光画像を生成する(S502)。

直接反射光画像が生成されると、ピーク位置検出部402は、各分割領域の直接反射光画像に基づき各破線が投影された線領域のピーク位置を検出する(S503)。続いて、パターン光復号部403は、ピーク位置において各破線を識別する(S504)。

以降のステップS108-S111の処理は、図9に示す実施例2の処理と同様であり、詳細説明を省略する。

このように、空間分割された各領域に識別可能な複数の破線を含むパターンを投影し、各領域において破線を識別することで、対象物104に生じる内部散乱の影響を取り除き、三次元座標をより高速かつ精密に算出することが可能になる。なお、上記では、実施例3と空間分割パターンの組み合わせを説明したが、実施例4と空間分割パターンの組み合せも可能であり、同様の効果を得ることができる。

［変形例］
上記では、破線パターン群として破線を長手方向に一画素ずつ1周期分シフトさせたすべてのパターンを用いる例を説明した。しかし、シフト量を一画素よりも増やすことによって、反射光成分の算出に必要な画像数を削減することが可能になる。ただし、破線パターン群の数が減ると、識別可能な線領域の数も減り、また、破線パターン群による内部散乱成分の除去性能が低下する虞があり、撮影数、被計測点数、内部散乱成分の除去性能を考慮してシフト量を決めることが望ましい。

実施例4では破線パターン群に非投影領域を加えることで、識別可能な線領域の数を増やす例を説明したが、これに限られるものではない。非投影領域だけでなく、破線パターンなどの明部と暗部を含む線を追加してもよい。これらの追加により、識別可能な線領域の数をさらに増やすことが可能になる。ただし、投影する各座標検出パターンにおける明部の割合が増えるほど、撮影される画像の明部と暗部の輝度のコントラストが低くなるため、明暗の二値化処理が困難になる。言い替えれば、充分なコントラストが保てる範囲で識別可能な線領域の数が増えるように、明部と暗部を含む線を追加することが望ましい。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

101 … 投影装置、102 … 撮像装置、204 … 画像入力部、302 … 破線識別部、303 … 座標検出部303

Claims (17)

1. 計測空間にパターンを投影する投影装置、および、前記計測空間を撮影する撮像装置を用いて、対象物の三次元形状を測定する計測装置であって、
   前記投影装置によって時系列に投影される、長手方向が前記投影装置の光学中心と前記撮像装置の光学中心を結ぶ線分によって定義されるベースラインに略直交し、前記長手方向に明暗を繰り返す所定幅の複数の破線を含む複数のパターンを前記撮像装置が撮影した複数の撮影画像を取得する取得手段と、
   前記取得された複数の撮影画像における前記明暗の組み合わせに基づき、前記複数の破線を識別する識別手段と、
   前記複数のパターンに関する情報と前記複数の破線の識別結果に基づき、前記複数の破線の投影座標と前記撮影画像における前記複数の破線の画像座標の対応関係を検出する検出手段とを有する計測装置。
2. 前記複数のパターンは、前記複数の破線を前記長手方向に前記時系列に順次シフトして生成され、任意の画素における、前記時系列に順次シフトされた前記複数の破線の明暗の組み合わせは前記複数の破線ごとに異なる請求項1に記載された計測装置。
3. 前記明暗の反復は画素数に相当する所定の周期を有し、前記複数のパターンは、前記時系列に順次、前記複数の破線を一周期分シフトすることにより生成される請求項1または請求項2に記載された計測装置。
4. 前記識別手段が識別可能な破線の数は前記周期に依存する請求項3に記載された計測装置。
5. 前記識別手段は、注目画素の値を前記時系列に観察し、前記注目画素の値の変化に基づき前記複数の破線を識別する請求項1から請求項4の何れか一項に記載された計測装置。
6. さらに、前記複数の撮影画像から前記対象物の表面で反射した光成分を示す直接反射光画像を生成する手段を有し、前記識別手段は、前記直接反射光画像を用いて前記識別を行う請求項1から請求項5の何れか一項に記載された計測装置。
7. 前記識別手段は、前記複数の破線の明暗の組み合わせを示す前記破線符号情報を用いて前記識別を行う請求項1から請求項6の何れか一項に記載された計測装置。
8. 前記検出手段は、前記複数のパターンに含まれる前記複数の破線の投影位置を示す投影パターン情報と前記複数の破線の識別結果に基づき前記検出を行う請求項1から請求項7の何れか一項に記載された計測装置。
9. さらに、前記投影装置と前記撮像装置の較正データを参照して、前記対応関係から前記対象物の三次元形状を算出する算出手段を有する請求項1から請求項8の何れか一項に記載された計測装置。
10. 前記複数のパターンには前記計測空間を領域分割するための空間分割パターンが含まれ、前記識別手段は、前記空間分割パターンによって分割された領域ごとに前記識別を行う請求項1から請求項9の何れか一項に記載された計測装置。
11. さらに、前記複数の撮影画像における前記複数の破線の画素値のピーク位置を検出する手段を有し、前記識別手段は前記ピーク位置に対応する画素において前記識別を行う請求項1から請求項10の何れか一項に記載された計測装置。
12. 前記複数のパターンには、前記破線と等幅かつ前記破線に平行する非投影領域が含まれる請求項1から請求項11の何れか一項に記載された計測装置。
13. 前記非投影領域は、前記複数の破線の間に配置される請求項12に記載された計測装置。
14. 前記複数のパターンにおいて、前記複数の破線および前記非投影領域による明暗の組み合わせは画素ごとに異なる請求項12または請求項13に記載された計測装置。
15. 計測空間にパターンを投影する投影装置、および、前記計測空間を撮影する撮像装置を用いて、対象物の三次元形状を測定する計測方法であって、
    前記投影装置によって時系列に投影される、長手方向が前記投影装置の光学中心と前記撮像装置の光学中心を結ぶ線分によって定義されるベースラインに略直交し、前記長手方向に明暗を繰り返す所定幅の複数の破線を含む複数のパターンを前記撮像装置が撮影した複数の撮影画像を取得し、
    前記取得された複数の撮影画像における前記明暗の組み合わせに基づき、前記複数の破線を識別し、
    前記複数のパターンに関する情報と前記複数の破線の識別結果に基づき、前記複数の破線の投影座標と前記撮影画像における前記複数の破線の画像座標の対応関係を検出する計測方法。
16. コンピュータを請求項1から請求項14の何れか一項に記載された計測装置の各手段として機能させるためのプログラム。
17. 請求項16に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。

Images