JP2006072873A - 三次元画像処理装置および三次元形状データ生成装置 - Google Patents

Abstract

【課題】 対象物の複数領域の形状をそれぞれ測定することによって得られるデータから効率的にポリゴンメッシュを生成する。
【解決手段】 三次元画像処理装置は、対象物Ｏを複数の領域に分割して生成されたデータであって該対象物上の各点を表す第１のデータから、該各領域上の各点を表す第２のデータを生成するデータ生成手段１２０を有する。さらに、該第２のデータを用いて対象物に対するポリゴンメッシュを生成するポリゴンメッシュ生成手段１２０を有する。該ポリゴンメッシュ生成手段は、上記複数の領域のうち第１の領域に対する第２のデータにおいて相互に隣り合う２つの点と、該第１の領域と隣り合う第２の領域に対する第２のデータにおける１つの点とを用いて、ポリゴンメッシュを構成するポリゴンを生成する。
【選択図】 図１

Description

本発明は、実在する対象物をＣＧ（Computer Graphics）で利用するために必要な形状データを生成する三次元画像生成技術に関し、特にポリゴンメッシュを生成する装置およびプログラムに関する。

実在する対象物の形状を非接触で測定する形状測定法として光切断法が用いられている。これは、面状の参照光（スリット光）を照射し、該スリット光が対象物上を照らす切断線に対し、三角測量の原理を適用して該対象物の３次元形状を得るものである。

一度のスリット光の照射では対象物上の一線上の領域しか観察できないが、スリット光又は対象物の位置を順次変化させ、複数回の測定を行ったり、複数のスリット光を同時に照射したりすることにより、対象物表面の２次元的に広がる領域に対する形状測定が行える。このようにして得られた三次元形状は、一般的には対象物表面の各計測点の３次元位置座標の集合として表され、該集合はポイントフォグと呼ばれる。

一方、ＣＧ等で利用される形状データは、ポリゴンメッシュが利用される。ポリゴンメッシュとは、ポリゴンと呼ばれる三角形の微小面の集合によって表面形状を表す形式である。

このため、実在する対象物をＣＧで表現するには、ポイントフォグをポリゴンメッシュに変換する必要がある。このような変換方法の例としては特許文献１にて提案されている方法が挙げられる。但し、この方法は、計測点がほぼ格子点状に分布することを仮定した方法である。このため、自由度の高い格子点分布に適用可能な変換方法には、非特許文献１にて述べられている、ドロネー分割が広く用いられる。

また、ＣＧでは、グローシェーディング等の処理で、ポリゴンではなく頂点に対する法線方向を基に陰影付けを行うことがあり、その際にはポリゴンメッシュの各頂点に対し法線方向を与えなくてはならない。ポリゴンの法線方向は２辺の外積として求められるが、頂点の法線は自明でなく、その頂点を共有するすべてのポリゴンの法線を加重平均して頂点の法線とするのが一般的である。加重平均の重み付け係数は一様であったり、ポリゴンの面積や外接半径、頂点角に応じて変えたりするなど、様々なものが提案されている。
特開平５−２８０９４１号公報（段落００１０，図１等） 徐剛著『写真から作る３次元ＣＧ』（近代科学社２００１）第９章

しかしながら、スリット光投影による光切断法から得られるポイントフォグは、切断線方向には隙間無く密に計測点が得られるのに対し、切断線の直交方向へは、スリット光の照射回数や本数に制限され、疎にしか計測点が得られない。このような計測点分布に対するドロネー分割は効率が悪く、膨大な計算量を要する上、微小な計測誤差が不適切なポリゴン生成に結びつきやすいという問題がある。

また、頂点法線の算出では、従来手法ではメッシュ化された位置座標情報のみから算出しようとするため、誤差が大きくなる傾向にある。

本発明は、対象物の複数領域の形状をそれぞれ測定することによって得られるデータから効率的にポリゴンメッシュを生成することができる装置およびプログラムを提供することを目的の１つとしている。また、本発明は、ポリゴンメッシュの各頂点に対してより正確な法線方向を算出することができる装置およびプログラムを提供することを目的の１つとする。

１つの観点としての本発明の三次元画像処理装置は、対象物を複数の領域に分割して生成されたデータであって該対象物上の各点を表す第１のデータ（例えば、ポイントフォグ）から、該各領域上の各点を表す第２のデータ（例えば、線状領域データ）を生成するデータ生成手段と、該第２のデータを用いて対象物に対するポリゴンメッシュを生成するポリゴンメッシュ生成手段とを有する。該ポリゴンメッシュ生成手段は、上記複数の領域のうち第１の領域に対する第２のデータにおいて相互に隣り合う２つの点と、該第１の領域と隣り合う第２の領域に対する第２のデータにおける１つの点とを用いて、ポリゴンメッシュを構成するポリゴンを生成する。

また、他の観点としての本発明の三次元形状データ生成装置は、対象物を複数の領域に分割して生成されたデータであって該各領域の射影像の形状を表す第１のデータ（例えば、光切断画像）に基づいて、該射影像の形状を特徴付ける複数の点を表す第２のデータ（例えば、特徴点）を生成する第１のデータ生成手段を有する。

さらに、他の観点としての本発明の三次元画像処理装置は、上記三次元形状データ生成装置により生成されたデータを用いて、対象物に対するポリゴンメッシュを生成するポリゴンメッシュ生成手段を有する。また、
ポリゴンメッシュの各頂点における法線方向を示す法線情報を生成する法線生成手段をさらに有し、該法線生成手段は、第２のデータにより表される前記各点の接線方向を前記法線情報の生成に用いるようにしてもよい。

そして、これら発明は、コンピュータ上で動作するプログラムによっても実現することができる。

以上説明したように、本発明によれば、対象物の形状を測定することによって得られたデータから適切なポリゴンメッシュを効率的に生成することができる。また、ポリゴンメッシュの各頂点におけるより正確な法線方向を求めることができる。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である三次元画像処理装置（又は三次元画像処理システム）１００の構成を示している。三次元画像処理装置１００は、対象物Ｏに対するポイントフォグを生成する立体形状取得部１１０と、該ポイントフォグから対象物Ｏの全体形状を表すポリゴンメッシュを生成するポリゴンメッシュ生成部１２０と、該ポリゴンメッシュを保持するポリゴンメッシュ記憶部１３０とを有する。これら各構成要素は、例えば、バスインターフェースを介して相互にデータを授受可能に構成されている。

なお、本実施例では、立体形状取得部１１０を構成要素として含む三次元画像処理装置について説明するが、該立体形状取得部１１０を三次元画像処理装置とは別の装置として設け、三次元画像処理装置をポイントフォグからポリゴンメッシュへの変換のみを行う装置として構成してもよい。この場合、三次元画像処理装置とは別の装置である立体形状取得部で取得、処理され、半導体メモリ、磁気ディスク、光ディスクなどの記録媒体に格納されたポイントフォグを三次元画像処理装置で読み込み（入力）可能とするようにしてもよい。また、このような記録媒体を介したポイントフォグの読み込みと立体形状取得部１１０からのポイントフォグの直接読み込みとを併用する構成であってもよい。

さらに、本実施例では、ポリゴンメッシュ記憶部１３０を構成要素として含む三次元画像処理装置について説明するが、該ポリゴンメッシュ記憶部１３０を三次元画像処理装置とは別の装置としてもよい。また、図1には説明のため対象物Ｏも示されているが、この対象物Ｏは本装置の構成要素ではない。

立体形状取得部１１０は、ポイントフォグ（第１のデータ）として表される立体形状モデルを生成する。立体形状モデルは、対象物Ｏの表面形状を表すものであり、対象物Ｏの表面における各点（計測点）の３次元位置座標の集合である。該立体形状取得部１１０としては、例えば光切断法による形状測定装置を用いることができる。この場合、対象物Ｏと該対象物Ｏに照射するスリット光Ｓとの相対位置を変化させながら複数回の撮影を行うか、或いは対象物Ｏに複数のスリット光Ｓを同時に照射して撮影を行う。これにより、対象物Ｏの表面に２次元的に広がる領域の形状データ、すなわちポイントフォグを得ることができる。ポイントフォグは、各計測点の三次元位置座標により構成される。また、この三次元位置座標に加えて、各計測点が属する線状領域の番号も含む。

光切断法では、対象物Ｏの表面上においてスリット光Ｓにより照らされた一筋の切断線の領域が線状領域に相当する。スリット光Ｓとは、２次元的な薄い平面内を進行する光線の集合であり、例えば直進ビーム光をシリンドリカルレンズによって一方向にのみ拡散させたり、光源の前方に細長い長方形の開口を設けたりすることにより生成される。立体形状取得部１１０は、取得したポイントフォグをポリゴンメッシュ生成部１２０に出力する。

ポリゴンメッシュ生成部１２０は、立体形状測定部１１０から出力されたポイントフォグを後述する画像処理プログラムによって処理する。ポリゴンメッシュ生成部１２０は、ポイントフォグから各線状領域に属する計測点の集合である線状領域データ（第２のデータ）を生成し（データ生成手段）、さらに同一の線状領域に属し、かつ相互に隣接する２つの計測点と該線状領域に隣接する他の線状領域に属する1つの計測点とを頂点とする三角形を順次生成し、これら三角形をポリゴンとしてポリゴンメッシュを生成する（ポリゴンメッシュ生成手段）。そして、ポリゴンメッシュ生成部１２０は、生成したポリゴンメッシュをポリゴンメッシュ記憶部１３０に出力する。

ポリゴンメッシュ記憶部１３０は、ポリゴンメッシュ生成部１２０により生成されたポリゴンメッシュを各種の記録媒体に格納する。格納されたポリゴンメッシュは、ＣＧ生成装置やメッシュ簡略化装置等、他の画像処理装置で利用することができる。

以下、三次元画像処理装置１００の各構成要素のより詳しい動作について説明する。

立体形状取得部１１０は、対象物Ｏの立体形状モデルをポイントフォグとして取得する。ポイントフォグは、少なくとも対象物表面に投影された複数のスリット光領域（線状領域）上に配置された計測点の三次元位置座標と、これら計測点が属する線状領域の番号とを含み、例えば、線状領域番号ｉ上の計測点の位置座標が線状領域の一端から順に、
Ｐ_ｉｊ＝（ｘ_ｉｊ，ｙ_ｉｊ，ｚ_ｉｊ）
但し、ｊ＝１．．．ｎ_ｉ
として与えられる。ここで、ｎ_ｉは線状領域ｉに属する計測点の数である。

こうして取得したポイントフォグは、ポリゴンメッシュ生成部１２０に出力される。

なお、立体形状取得部１１０が三次元画像処理装置とは別の装置として構成され、ポリゴンメッシュ生成部１２０が各種記録媒体に格納されたポイントフォグを読み込む構成である等、ポイントフォグ中の各計測点がどの線状領域に属するかの情報がない場合には、各計測点の分布から、各計測点が属する線状領域を推定する。例えば、光切断法によって得られるポイントフォグでは、切断線方向には隙間なく高密度に計測点が得られるのに対し、切断線に対して直交する方向に関してはスリット光の照射回数や本数に制限され、疎にしか計測点が得られない。このような場合は、三次元位置座標が所定の閾値以下の間隔で連なる複数の計測点を同一の線状領域に属するものとしたり、同一平面内に存在する複数の計測点を同一の線状領域に属するものとしたりすることができる。これにより、計測点がどの線状領域に属しているかを明確にして処理を進めることができる。

ポリゴンメッシュ生成部１２０では、入力されたポイントフォグに基づいてポリゴンメッシュを生成し、得られたポリゴンメッシュをポリゴンメッシュ記録部１３０に出力し、記録させる。図２は、ポリゴンメッシュ生成部１２０の動作を司る画像処理プログラムを示すフローチャートである。

まず、ステップＳ１では、ポリゴンメッシュ生成部１２０は、入力ポート１２０ａに入力されたポイントフォグを読み込む。次に、ステップＳ１０では、読み込んだポイントフォグ中の線状領域データのうち隣接する一組の線状領域に対応する線状領域データ（以下、単に線状領域という）を呼び出す。以下、この一組の線状領域の番号をｉ１，ｉ２とする。

次に、ステップＳ１１では、線状領域内のインデックスｊ１，ｊ２をともに１に初期化する。ここで、計測点Ｐ_{ｉ１，ｊ１（＝１）}、Ｐ_{ｉ２，ｊ２（＝１）}は、図３に示すように、隣接する線状領域の同じ側の端点である。

次に、ステップＳ１２では、Ｐ_{ｉ１，ｊ１}−Ｐ_{ｉ２，ｊ２＋１}間の距離ｄ１と、Ｐ_{ｉ２，ｊ２}−Ｐ_{ｉ１，ｊ１＋１}間の距離ｄ２とを比較する（図４参照）。ｄ１≦ｄ２である場合はステップＳ１３に進み、ｄ１＞ｄ２である場合はステップＳ２３に進む。なお、ステップＳ２３からステップＳ２６では、ステップＳ１３からステップＳ１６における処理のｉ１とｉ２、ｊ１とｊ２、ｎ１とｎ２を入れ替えた処理を行う。以下では、ステップＳ１３からステップＳ１６について説明し、ステップＳ２３からステップＳ２６についての説明は省略する。

ステップＳ１３では、Ｐ_{ｉ２，ｊ２}，Ｐ_{ｉ１，ｊ１}，Ｐ_{ｉ２，ｊ２＋１}を３頂点とした三角形のポリゴンを生成し、生成したポリゴンをポリゴンメッシュに加える。そして、ｊ２を１つ増加させる（図５参照）
このように、Ｐ_{ｉ１，ｊ１}−Ｐ_{ｉ２，ｊ２＋１}（＝ｄ１）とＰ_{ｉ２，ｊ２}−Ｐ_{ｉ１，ｊ１＋１}（＝ｄ２）のうち短い方の２頂点をポリゴンの辺として連結することにより、２本の線状領域の間を埋める一連のポリゴンの組み合わせ（すなわち、線状領域ｉ１における２つの点と線状領域ｉ２における１つの点の組み合わせ）のうち、生成されるポリゴンの辺の長さの総和が最小となる組み合わせを選択することができる。

次に、ステップＳ１４では、ｊ２がｎ２に達したか否かを判別する。図６に示すように、ｊ２がｎ２に達していれば、Ｐ_{ｉ２，ｊ２（＝ｎ２）}は線状領域ｉ２上でステップＳ１１とは反対側の端点に達したこととなり、ステップＳ１５へ進む。達していなければ、まだ該反対側の端点に達していないため、ステップＳ１２以降の処理を繰り返す。

次に、ステップＳ１５では、Ｐ_{ｉ１，ｊ１}，Ｐ_{ｉ２，ｊ２（＝ｎ２）}，Ｐ_{ｉ１，ｊ１＋１}を３頂点としてポリゴンを生成し、生成されたポリゴンをポリゴンメッシュに加える。そして、ｊ１を１つ増加させる（図７参照）。

次に、ステップＳ１６では、ｊ１がｎ１に達したか否かを判別する。図８に示すように、ｊ１がｎ１に達していれば、Ｐ_{ｉ１，ｊ１（＝ｎ１）}は線状領域ｉ１上でステップＳ１１とは反対側の端点に達したこととなり、線状領域ｉ１，ｉ２間のポリゴン生成を完了する。

そして、ステップＳ１７では、全ての隣接線状領域の組に対してステップＳ１０〜Ｓ１６（又はＳ２６）の処理が終わっていなければ、ステップＳ１０に戻り、次の隣接線状領域の組に対して同様の処理を繰り返す。また、ステップＳ１６において、ｊ１がｎ１に達していない場合は、まだ該反対側の端点に達していないため、ステップＳ１５に戻る。

以上の処理により、図９に示すようなポイントフォグに対応したポリゴンメッシュが効率良く得られる。そして、ステップＳ１８では、ポリゴンメッシュ記憶部１３０に対して生成したポリゴンメッシュを出力する。

図１０には、本発明の実施例２である三次元画像処理システム２００の構成を示している。三次元画像処理システム２００は、対象物Ｏに対するポイントフォグを取得する三次元形状データ生成装置としての立体形状取得部１１０と、該ポイントフォグに基づいて対象物Ｏの形状を表すポリゴンメッシュを生成するポリゴンメッシュ生成部１２０、法線生成部１２５およびポリゴンメッシュ記憶部１３０とからなる三次元画像処理装置とを有する。これらの構成要素は、例えばバスインターフェースを介して相互にデータを授受可能である。

なお、本実施例では、立体形状取得部１１０と三次元画像処理装置とを含む三次元画像処理システムについて説明するが、これらはそれぞれ独立した装置として機能するものであり、例えば立体形状取得部１１０で生成処理され、半導体メモリ、磁気ディスク、光ディスクなどの記録媒体に格納されたポイントフォグを、場所や時間を異にして三次元画像処理装置で読み込み（入力）可能とするようにしてもよい。また、このような記録媒体を介したポイントフォグの読み込みと立体形状取得部１１０からのポイントフォグの直接読み込みとを併用する構成であってもよい。

さらに、本実施例では、ポリゴンメッシュ記憶部１３０を構成要素として含む三次元画像処理装置について説明するが、該ポリゴンメッシュ記憶部１３０を三次元画像処理装置とは別の装置としてもよい。また、図1には説明のため対象物Ｏも示されているが、この対象物Ｏは本システムの構成要素ではない。

また、立体形状取得部１１０のうち後述する特徴点抽出部１１０４および座標変換部１０５を三次元画像処理装置に含ませてもよい。

三次元形状データ生成装置としての立体形状取得部１１０は、スリット光照射部１１０１と、スリット光照射部１１０１に対する対象物Ｏの位置（向き）を変化させる掃引部１１０２と、後述する光切断画像取得部１１０３、特徴点抽出部１１０４および座標変換部１０５とを有して構成され、ポイントフォグとして表される立体形状モデルを生成する。

スリット光照射部１１０１は、対象物Ｏに向けてスリット光Ｓを照射し、対象物Ｏの表面に線状領域としての切断線を形成する。スリット光Ｓとは、２次元的な薄い平面内を進行する光線の集合であり、例えば直進ビーム光をシリンドリカルレンズによって一方向にのみ拡散させたり、光源の前方に細長い長方形の開口を設けたりすることにより生成される。切断線とは、対象物Ｏの表面で、スリット光Ｓが照射された一筋の領域である。

掃引部１１０２は、本実施例では、対象物Ｏを載置する回転台である。スリット光Ｓを効率良く対象物Ｏの表面上で掃引するため、回転台はスリット光Ｓが作る面（以下、スリット光面という）とは直交する方向に回転するように構成されている。なお、掃引部１１０２は、座標変換部１１０５と情報を授受可能に構成され、回転台の回転角を座標変換部１１０５に通知する。

また、本実施例では、掃引部１１０２を対象物Ｏを載置する回転台により構成した場合について説明するが、掃引部は、対象物又はスリット光照射部を移動させる機構や複数の回転軸を持つ装置により構成してもよい。また、スリット光照射部においてスリット光の位置や方向を変化させるように構成してもよい。すなわち、掃引部は、スリット光Ｓと対象物Ｏの相対位置関係を変化させるものでどのようなものでもよい。

光切断画像取得部１１０３は、対象物Ｏに向けられたデジタルカメラであり、スリット光Ｓが照射された対象物Ｏの画像（光切断画像）を取得する。光切断画像取得部１１０３は、取得した光切断画像を特徴点抽出部１１０４に出力する。

特徴点抽出部（第１のデータ生成手段）１１０４は、光切断画像取得部１１０３から入力された光切断画像（第１のデータ）上に写った切断線像の形状を特徴付ける複数の特徴点の像面上での位置座標（第２のデータ）と、該各特徴点における像面上での接線方向とを算出する。この切断線像は、対象物Ｏにおける線状領域の射影像に相当する。

特徴点とは、図１１に示すように、それらを結ぶ折れ線、スプライン又はベジェ曲線等を表す区分多項式関数によって切断線像を近似する点である。特徴点抽出部１１０４は、座標変換部１１０５に対して、各特徴点の像面上での位置座標および接線方向を出力する。

座標変換部（第２のデータ生成手段）１１０５は、特徴点抽出部１１０４から入力された特徴点の像面上での位置座標および接線方向を逆射影し、対象物Ｏに対して固定された３次元座標系における位置座標および接線方向に変換する。この接線方向は、スリット光面と略平行な方向である。

逆射影には、スリット光照射部１１０１、対象物Ｏおよび光切断画像取得部１１０３の配置情報を利用するが、配置情報の一部は掃引部１１０２から通知される回転台の回転角から算出することもできる。

座標変換部１１０５は、ポリゴンメッシュ生成部１２０および法線生成部１２５に対して、変換した特徴点の３次元座標系における位置座標の集合データ、すなわち立体形状モデルをポイントフォグ（第３のデータ）として出力する。

法線生成部１２５では、ポリゴンメッシュの各頂点に法線方向を付与する。この際に法線方向は頂点の接線方向と直交するものとする。法線生成部１２５の詳しい動作については後述する。

ポリゴンメッシュ生成部１２０およびポリゴンメッシュ記憶部１３０は、実施例１と同様である。なお、特徴点抽出部１１０４、座標変換部１１０５、ポリゴンメッシュ生成部１２０および法線生成部１２５の動作は、それぞれコンピュータプログラム（三次元形状データ生成プログラムおよび三次元画像処理プログラム）に従って行われる。さらに、これらを一体のコンピュータによって構成することも可能である。

以下、本実施例の三次元画像処理システム２００の動作について、図１３に示すプログラムのフローチャートを用いて説明する。

まず、ステップＳ１０１では、掃引部１１０２の回転台上に載置された対象物Ｏに向けてスリット光照射部１１０１からスリット光Ｓを照射する。これにより、対象物Ｏの表面上にはスリット光Ｓにより形成された明るい切断線が見られる。光切断画像取得部１１０３は、スリット光面から離れた位置に、切断線が撮影視野に入るように設置されている。なお、この時点でのスリット光照射部１１０１、掃引部１１０２（つまりは対象物Ｏ）および光切断画像取得部１１０３の位置および向きを示す情報は既に取り込まれている。そして、光切断画像取得部１１０３により光切断画像を撮影する。

ステップＳ１０２では、全回転位置（ｍ回）の光切断画像の撮影が終了した（ｉ＝ｍ）か否かを判別し、終了していない場合は、ステップＳ１０３に進み、掃引部１１０２（回転台）とともに対象物Ｏを回転させる。ｉは光切断画像の撮影順、すなわち回転位置を示す。そして、ステップＳ１０１，１０２を繰り返す。これにより、光切断画像取得部１１０３による所定の回転角度毎の光切断画像が撮影される。ステップＳ１０２で全回転位置での撮影が終了したと判別された場合は、ステップＳ１０４に進み、得られた複数の光切断画像を特徴点抽出部１１０４に出力する。

次に、ステップＳ１０５では、特徴点抽出部１１０４は、入力された光切断画像_ｉから切断線像の形状を特徴付ける特徴点の像面上での位置座標と接線方向とを算出する。

例えば、図１１および図１２に示すように、光切断画像面上でスリット光面に平行な方向をＶ軸、それに直交する方向をＵ軸とすると、切断線像はｕ＝ｓｌｉｔ_ｉ（ｖ）なる関数で示される。

ここで、一定数ｎ_ｉの特徴点の像面上位置座標
p_i,1(u_i,1,v_i,1),p_i,2(u_i,2,v_i,2),…,p_i,ni(u_i,ni,v_i,ni)
と、像面上接線方向
t_i,1(u’_i,1,v’_i,1),t_i,2(u’_i,2,v’_i,2),…,t_i,ni(u’_i,ni,v’_i,ni)
を与え、それらを結ぶ区分多項式関数を、
ｕ＝ｆ（ｖ）
とするとき、切断線像と区分多項式関数とのずれ（差）を表す２乗誤差である、

が最小となる特徴点の像面上位置座標p_i,j(u_i,j,v_i,j)と像面上接線方向t_i,j(u’_i,j,v’_i,j) （ｊ＝１…ｎ_ｉ）の組を出力する。これにより、後述するポリゴンメッシュの生成に先立って、一定の精度を維持しつつ、より少ない点数で構成されるポイントフォグを生成することができる。したがって、以下の処理を効率的に行うことができる。なお、添え字ｊは各光切断画像内の特徴点の番号を示す。

また、特徴点の数ｎ_ｉを予め定めるのではなく、２乗誤差σ^２に目標値を定め、目標値に達するまで順次ｎ_ｉを増加させていくのも有効である。

さらに、区分多項式関数には、折線、スプラインおよびベジェ曲線などを表す関数を用いることができ、また複数の区分多項式関数を組み合わせて用いてもよい。特徴点の算出法に関しても、２乗誤差σ^２を最小とするものを選択する方法に限定するものではない。

次に、ステップＳ１０６は、座標変換部１１０５は、特徴点抽出部１１０４から入力された特徴点の像面上位置座標p_i,j(u_i,j,v_i,j)と像面上接線方向t_i,j(u’_i,j,v’_i,j)とを図１２に示すように、対象物Ｏに対して固定された３次元座標系（ＸＹＺ座標系）における位置座標P_i,j(x_i,j,y_i,j,z_i,j)と接線方向T_i,j(x’_i,j,y’_i,j,z’_i,j)に逆射影変換する。これにはまず、対象物Ｏに対して固定された３次元空間座標系における光切断画像取得部１１０３の主点および画像面位置を求め、該主点と画像面内における特徴点の位置（座標）ｐ_ｉ，ｊを結ぶ方向を視線方向とする。この場合、主点から視線方向に延びる直線とスリット光面との交点が特徴点の位置Ｐ_ｉ，ｊとなる。同様に、ｐ_ｉ，ｊ＋ｔ_ｉ，ｊを逆射影変換した点をＰ_ｉ，ｊ＋Ｔ_ｉ，ｊとすることにより、３次元座標系における接線方向Ｔ_ｉ，ｊを求められる。

この処理を全ての特徴点ｊと光切断画像ｉに対して行うことにより、対象物Ｏの表面形状を表すポイントフォグが得られる。そして、ポイントフォグのうち特徴点の三次元位置座標Ｐ_ｉ，ｊをポリゴンメッシュ生成部１２０に出力し、接線方向Ｔ_ｉ，ｊを法線生成部１２５に出力する。

次に、ステップＳ１０７では、ポリゴンメッシュ生成部１２０は、座標変換部１１０５から入力されたポイントフォグ（特徴点）の位置座標Ｐ_ｉ，ｊに基づいて対象物Ｏに対するポリゴンメッシュを作成し、法線生成部１２５に出力する。ポリゴンメッシュ生成部１２０の動作は実施例１と同様である。ここで生成されるポリゴンメッシュの頂点は、ポイントフォグを構成している特徴点（Ｐ_ｉ，ｊ）の逆射影変換座標である。

次にステップＳ１０８では、法線生成部１２５は、座標変換部１２０から入力されたポイントフォグの特徴点における接線方向Ｔ_ｉ，ｊおよびポリゴンメッシュ生成部１２０から入力されたポリゴンメッシュから、該ポリゴンメッシュの各頂点Ｐ_ｉ，ｊの法線方向Ｎ_ｉ，ｊを算出する。これには、該頂点Ｐ_ｉ，ｊを共有するすべてのポリゴンの法線方向を加重平均し、仮法線方向Ｎ’_ｉ，ｊとする。ポリゴンの法線方向は該ポリゴンの２辺の外積として求められ、加重平均の重み付け係数は、ポリゴンの面積や外接半径、頂点角などによって変更して与える。次に、長さを１に正規化したＮ’_ｉ，ｊ、Ｔ_ｉ，ｊに対し、
Ｎ_ｉ，ｊ＝Ｎ’_ｉ，ｊ−（Ｎ’_ｉ，ｊ・Ｔ_ｉ，ｊ）Ｔ_ｉ，ｊ
を計算して、仮法線方向Ｎ’_ｉ，ｊから接線方向Ｔ_ｉ，ｊに直交する成分を抽出し、法線方向Ｎ_ｉ，ｊとする。

ここで、この方法に代えて、該頂点Ｐ_ｉ，ｊを共有するすべてのポリゴンの法線方向の加重平均Ｎ’_ｉ，ｊが接線方向Ｔ_ｉ，ｊに直交するように加重平均の重み付け係数を調整し、加重平均Ｎ’_ｉ，ｊをそのまま法線方向Ｎ_ｉ，ｊとしてもよい。

そして、ステップＳ１０９では、このようにして求めた法線方向Ｎ_ｉ，ｊを、ポリゴンメッシュに付与し、該法線方向の情報を含むポリゴンメッシュをポリゴンメッシュ記憶部１３０に出力する。ポリゴンメッシュ記憶部１３０は法線生成部１２５より入力されたポリゴンメッシュを格納する。

本実施例では、座標変換の前に切断線像からポリゴンメッシュの頂点算出の元となる特徴点の抽出を行うため、座標変換やポリゴンメッシュへの変換に要する計算量を削減することができる。また、各特徴点における接線方向をポリゴンメッシュの各頂点の法線方向の算出に利用するため、より正確な法線方向を得ることができる。

なお、本実施例における立体形状取得部１１０は、光切断法のうちスリット光スキャニング法に基づく３次元計測を行っているが、光切断法の１つであるマルチスリット投影法を用いる場合においても、光切断画像から複数の切断線像_ｉを抽出することにより、上記処理と同様の処理を行うことができる。さらに、空間コード化法においても、複数の線上に計測点が連なるような計測点分布を得ることによって、上記処理と同様の処理を行うことができる。

また、上記各実施例では、線状領域ごとの計測データを用いる場合について説明したが、領域の形状は線状に限るものではない。

本発明の実施例１である三次元画像処理装置の構成を示す図である。 実施例１におけるポリゴンメッシュ生成部の動作を示すフローチャートである。 実施例１のポリゴンメッシュ生成部の動作を説明する図である。 実施例１のポリゴンメッシュ生成部の動作を説明する図である。 実施例１のポリゴンメッシュ生成部の動作を説明する図である。 実施例１のポリゴンメッシュ生成部の動作を説明する図である。 実施例１のポリゴンメッシュ生成部の動作を説明する図である。 実施例１のポリゴンメッシュ生成部の動作を説明する図である。 実施例１のポリゴンメッシュ生成部の動作を説明する図である。 本発明の実施例２である三次元画像処理システムの構成を示す図である。 実施例２における特徴点と接線方向を示す概念図である。 逆射影の説明図である。 実施例２の三次元画像処理システムの動作を示すフローチャートである。

符号の説明

１００ 三次元画像処理装置
１１０ 立体形状取得部
１２０ ポリゴンメッシュ生成部
１３０ ポリゴンメッシュ記憶部
２００ 三次元画像処理システム
Ｏ 対象物

Claims (19)

1. 対象物を複数の領域に分割して生成されたデータであって該対象物上の各点を表す第１のデータから、前記各領域上の各点を表す第２のデータを生成するデータ生成手段と、
   前記第２のデータを用いて前記対象物に対するポリゴンメッシュを生成するポリゴンメッシュ生成手段とを有し、
   前記ポリゴンメッシュ生成手段は、前記複数の領域のうち第１の領域に対する前記第２のデータにおいて相互に隣り合う２つの点と、該第１の領域と隣り合う第２の領域に対する前記第２のデータにおける１つの点とを用いて、前記ポリゴンメッシュを構成するポリゴンを生成することを特徴とする三次元画像処理装置。
2. 前記データ生成手段は、前記第１のデータにおいて同一平面内に存在する点を同一の前記領域に対する前記第２のデータに含ませることを特徴とする請求項1記載の三次元画像処理装置。
3. 前記データ生成手段は、前記第１のデータにおいて三次元座標が所定値以下の間隔で連なる点を同一の前記領域に対する前記第２のデータに含ませることを特徴とする請求項１に記載の三次元画像処理装置。
4. 前記ポリゴンメッシュ生成手段は、前記２つの点と前記１つの点の組み合わせのうち、ポリゴンの辺の長さの総和が最小となる組み合わせを選択して前記ポリゴンを生成することを特徴とする請求項1記載の三次元画像処理装置。
5. 前記第１のデータは、前記対象物の形状を光切断法により線状領域ごとに測定する形状測定手段を用いて生成されたデータであることを特徴とする請求項１から４のいずれか１つに記載の三次元画像処理装置。
6. 対象物を複数の領域に分割して生成されたデータであって前記各領域の射影像の形状を表す第１のデータに基づいて、前記射影像の形状を特徴付ける複数の点を表す第２のデータを生成する第１のデータ生成手段を有することを特徴とする三次元形状データ生成装置。
7. 前記第１のデータ生成手段は、前記第１のデータを区分多項式関数で近似し、該区分多項式関数を特徴付ける前記複数の点を求めることを特徴とする請求項６に記載の三次元形状データ生成装置。
8. 前記複数の点は、同数の点によって得られる区分多項式関数のうち最も前記射影像の形状との差が小さい点の組であることを特徴とする請求項７に記載の三次元形状データ生成装置。
9. 前記各領域の前記第２のデータを用いて、前記対象物上の各点を表す第３のデータを生成する第２のデータ生成手段を有することを特徴とする請求項６から８のいずれか１つに記載の三次元形状データ生成装置。
10. 前記第１のデータは、前記対象物の形状を光切断法により線状領域ごとに測定する形状測定手段を用いて生成されたデータであることを特徴とする請求項６から９のいずれか１つに記載の三次元形状データ生成装置。
11. 請求項６から１０のいずれか１つに記載の三次元形状データ生成装置により生成されたデータを用いて、前記対象物に対するポリゴンメッシュを生成するポリゴンメッシュ生成手段を有することを特徴とする三次元画像処理装置。
    
12. 前記ポリゴンメッシュの各頂点における法線方向を示す法線情報を生成する法線生成手段をさらに有し、
    該法線生成手段は、前記第２のデータにより表される前記各点の接線方向を前記法線情報の生成に用いることを特徴とする請求項１１に記載の三次元画像処理装置。
13. 前記法線生成手段は、前記第２のデータにより表される前記各点の接線方向を逆射影した方向に対して直交する方向を前記法線情報とすることを特徴とする請求項１２に記載の三次元画像処理装置。
14. 前記頂点における法線方向は、該頂点を共有するすべてのポリゴンの法線方向を平均した方向を、前記接線方向を逆射影した方向に対して直交する面に射影した方向であることを特徴とする請求項１２に記載の三次元画像処理装置。
15. 前記頂点における法線方向は、該頂点を共有するすべてのポリゴンの法線方向を加重平均した方向であり、該加重平均における重み付け係数は、前記接線方向を逆射影した方向と前記加重平均方向とを直交させる値であることを特徴とする請求項１２に記載の三次元画像処理装置。
16. 対象物を複数の領域に分割して生成されたデータであって該対象物上の各点を表す第１のデータを入力する入力ステップと、
    該第１のデータから、前記各領域上の各点を表す第２のデータを生成するデータ生成ステップと、
    前記第２のデータを用いて前記対象物に対するポリゴンメッシュを生成するポリゴンメッシュ生成ステップとを有し、
    前記ポリゴンメッシュ生成ステップにおいて、前記複数の領域のうち第１の領域に対する前記第２のデータにおいて相互に隣り合う２つの点と、該第１の領域と隣り合う第２の領域に対する前記第２のデータにおける１つの点とを用いて、前記ポリゴンメッシュを構成するポリゴンを生成することを特徴とするコンピュータ上で動作する三次元画像処理プログラム。
17. 対象物を複数の領域に分割して生成されたデータであって前記各領域の射影像の形状を表す第１のデータを入力するステップと、
    該第１のデータに基づいて、前記射影像の形状を特徴付ける複数の点を表す第２のデータを生成する第１のデータ生成ステップとを有することを特徴とするコンピュータ上で動作する三次元形状データ生成プログラム。
18. 請求項１７に記載の三次元形状データ生成プログラムにより生成された前記第２のデータ又は該第２のデータから生成した前記対象物上の各点を表す第３のデータを用いて、前記対象物に対するポリゴンメッシュを生成するポリゴンメッシュ生成ステップを有することを特徴とする三次元画像処理プログラム。
    
19. 前記ポリゴンメッシュの各頂点における法線方向を示す法線情報を生成する法線生成ステップをさらに有し、
    該法線生成ステップにおいて、前記第２のデータにより表される前記各点の接線方向を前記法線情報の生成に用いることを特徴とする請求項１８に記載の三次元画像処理プログラム。

Images