JP2010152529A - 頂点テクスチャマッピング装置及びプログラム - Google Patents

Abstract

【課題】立体形状を持つ対象物の三次元モデルに対して三次元モデルの表面預点にＲＧＢ値を与える頂点テクスチャマッピング装置及びプログラムを提供する。
【解決手段】頂点テクスチャマッピング装置１は、撮影点に対応するカメラパラメータと三次元モデル表面の頂点群のうちの各頂点の三次元座標を利用して、各頂点からテクスチャマッピングに利用するテクスチャ画像の撮影点までの三次元距離を算出する三次元距離算出部５と、この三次元距離と、カメラ内部パラメータ、及び各頂点に隣接する頂点との頂点間距離から、テクスチャ画像上のマッピング画像領域を算出するマッピング領域算出部６と、算出したマッピング画像領域から、各頂点に与える画素値を算出する頂点画素値算出部８とを有する。
【選択図】図２

Description

本発明は、三次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の生成及び表示技術に関し、特に、テクスチャマッピング技術及びレンダリング技術に関する。

立体形状を有する対象物の三次元モデルの表面に、対象物を１つ以上の撮影点から予め撮影した画像を用いてテクスチャマッピングする技術には、一般的に２つの技法がある。

１つは、３つの頂点で構成されるポリゴン面の集合で構成される三次元モデルにおいて、各ポリゴン面にテクスチャ画像の全体又は一部分を切り取ってマッピングする技法である。この技法では、ポリゴンを構成する３つの頂点に対してテクスチャ画像の二次元座標（Ｕ，Ｖ）の３つをそれぞれ対応付け、３つの二次元座標で切り取られるテクスチャ画像領域を、対応する３つの頂点で構成されるポリゴンにマッピングする。

例えば、図６に示すように、３ＤＣＧ（Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）における一般的なテクスチャマッピングは、三次元モデル１１の表面を構成する各ポリゴン１２ａの３頂点（Ｍ_１，Ｍ_２，Ｍ_３）に対して、マッピング画像の画素値を対応させ、マッピング画像（例えば、対象物を撮影したカメラの撮影画像から得られるテクスチャ画像２−１ｉ）の対応する３つの画素で切り抜かれる画像をポリゴン面に貼り付ける。

この技法は、三次元モデルの表面頂点数、即ちポリゴンの数が、テクスチャ画像の解像度に対して少ない場合にも、テクスチャ画像の解像度と同等のテクスチャが再現された三次元モデルを表示することができる。

もう１つは、図７に示すように、３つの頂点（Ｍ_１，Ｍ_２，Ｍ_３）で構成されるポリゴン面の集合で構成される三次元モデルにおいて、各ポリゴン１２ｂ面を構成する３つの頂点（Ｍ_１，Ｍ_２，Ｍ_３）に対して、テクスチャ画像２−１ｉの中の各頂点に対応する画素のＲＧＢ値を与える技法である。この際に、ＲＧＢ値が与えられた３つの頂点で構成されるポリゴンは、３つの頂点Ｍ_１，Ｍ_２，Ｍ_３のＲＧＢ値によって内挿してポリゴン面を得る。

即ち、この技法は、三次元モデルの表面を構成する各ポリゴンの３頂点に対して、マッピング画像の画素値（例えば、ＲＧＢ値）を対応させ、その画素値を三次元モデルの頂点のＲＧＢ値として与える。この際に、ＲＧＢ値を有する３頂点で構成されるポリゴン内の色は、これらの３頂点の画素値から内挿することによりポリゴン面を得ることができる。このような技法は、頂点テクスチャマッピングと称される。

三次元モデルの表示の際に再現できるテクスチャの解像度は、三次元モデルの表面頂点の数に依存するが、予めテクスチャ画像の各頂点にＲＧＢ値が設定されていれば、三次元モデルを表示する際に二次元のテクスチャ画像を必要としなくなるため演算効率が優れる。

また、被写体をカメラの位置・姿勢情報を考慮して被写体の三次元形状を復元する技法も知られている（例えば、特許文献１参照）

特許公開２００５−１４１６５５

しかしながら、上述した一般的なテクスチャマッピングでは、テクスチャ画像をマッピングした三次元モデルを表示する際の表示解像度と元のテクスチャ画像の解像度が大きく異なる場合には、テクスチャ画像をマッピングした三次元モデルを表示する際に折り返しノイズが生じる。この問題の改善するために、三次元モデルを表示する際に、バイリニア補間を利用してテクスチャマッピングの折り返しノイズを軽減することもある。

また、頂点テクスチャマッピングは、三次元モデルの表面頂点数が、テクスチャ画像の解像度に対して少ない場合、各頂点に与えられるＲＧＢ値が離散的になり、頂点テクスチャマッピングした三次元モデルを表示する際に折り返しノイズが生じる。

本発明の目的は、上述の頂点テクスチャマッピングの技法において、特に、立体形状を有する対象物の三次元モデルの表面に、予め対象物を１つ以上の撮影点から撮影したテクスチャ画像を用いて頂点テクスチャマッピングする際に、三次元モデルの表面頂点数が、テクスチャ画像の解像度に対して少ない場合に生じるモデル表示の際の折り返しノイズを軽減する頂点テクスチャマッピング装置及びプログラムを提供することにある。

本発明による頂点テクスチャマッピング装置は、立体形状を有する対象物の三次元モデルに対して、前記対象物を予め１つ以上の撮影点から撮影した画像の中から、前記三次元モデル表面の頂点群に画素値を与える頂点テクスチャマッピング装置であって、前記撮影点に対応するカメラパラメータと前記三次元モデル表面の頂点群のうちの各頂点の三次元座標を利用して、前記各頂点から前記テクスチャマッピングに利用するテクスチャ画像の撮影点までの三次元距離を算出する手段と、前記三次元距離と、前記カメラ内部パラメータ、及び前記各頂点に隣接する頂点との頂点間距離から、前記テクスチャ画像上のマッピング画像領域を算出する手段と、前記マッピング画像領域から、前記各頂点に与える画素値を算出する手段と、を有することを特徴とする。

本発明による頂点テクスチャマッピング装置は、前記カメラパラメータは、テクスチャマッピングに利用する画像の撮影点の位置、姿勢、及びカメラ内部パラメータからなることを特徴とする。

前記各頂点に与える画素値は、前記マッピング画像領域内の画素値を移動平均して得られる値であることを特徴とする。

本発明による頂点テクスチャマッピング装置は、前記１つ以上の撮影点は、前記被写体を囲む複数の撮影点からなり、前記三次元モデルは、前記対象物が有する立体形状の表面頂点の画素値から形成されることを特徴とする。

更に、本発明は、立体形状を有する対象物の三次元モデルに対して、前記対象物を予め１つ以上の撮影点から撮影した画像の中から、前記三次元モデル表面の頂点群に画素値を与える頂点テクスチャマッピング装置として構成するコンピュータに、前記撮影点に対応するカメラパラメータと前記三次元モデル表面の頂点群のうちの各頂点の三次元座標を利用して、前記各頂点から前記テクスチャマッピングに利用するテクスチャ画像の撮影点までの三次元距離を算出するステップと、前記三次元距離と、前記カメラ内部パラメータ、及び前記各頂点に隣接する頂点との頂点間距離から、前記テクスチャ画像上のマッピング画像領域を算出するステップと、前記マッピング画像領域から、前記各頂点に与える画素値を算出するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、立体形状を有する対象物の三次元モデルを、予め対象物を複数の撮影点から撮影した画像を利用して頂点テクスチャマッピングして表示する際に、対象物の三次元モデルの頂点間隔と、撮影画像の解像度、対象物から撮影点までの距離に応じて自動的に折り返しノイズの少ない頂点テクスチャマッピングを施すことができる。

以下、本発明による実施例の頂点テクスチャマッピング装置について説明する。

［装置構成］
図１に、本発明による実施例の頂点テクスチャマッピング装置の動作環境例を示す。立体形状を有する対象物を、４つのカメラ（第１カメラ２−１、第２カメラ２−２、第３カメラ２−３、及び第４カメラ２−４）で撮影して多視点画像を得る場合を想定する。尚、本願発明は、１つのカメラで対象物の周囲を移動して多視点画像を得るようにしてもよく、或いは又、５つ以上のカメラを用いて構成してもよいことは後述の説明からも明らかになる。

ここで、第１カメラ２−１、第２カメラ２−２、第３カメラ２−３、及び第４カメラ２−４の各々の撮影位置をそれぞれ第１撮影点、第２撮影点、第３撮影点、及び第４撮影点と称することにする。また、第１撮影点、第２撮影点、第３撮影点、及び第４撮影点で得られる各撮影画像は、それぞれ撮影画像２−１ｉ, ２−２ｉ, ２−３ｉ, ２−４ｉと称する。

図２に、本発明による実施例の頂点テクスチャマッピング装置のブロック図を示す。本実施例の頂点テクスチャマッピング装置１は、対象物を多視点で撮影する第１〜第４カメラ２−１, ２−２, ２−３, ２−４から得られる、それぞれの撮影画像２−１ｉ, ２−２ｉ, ２−３ｉ, ２−４ｉを入力し、頂点テクスチャマッピングを施し、三次元モデルの表面頂点データを送出する装置である。

より具体的には、本実施例の頂点テクスチャマッピング装置１は、立体形状を有する対象物の三次元モデルに対して、対象物を予め１つ以上の撮影点から撮影した画像の中から、三次元モデル表面の頂点群に画素値（例えばＲＧＢ値）を与えるために、多視点画像の中からテクスチャマッピングに利用する画像の撮影点の位置、姿勢、及びカメラの内部パラメータと、三次元モデル表面の頂点群の各頂点の三次元座標とを利用して、各頂点からテクスチャマッピングに利用する画像の撮影点までの三次元距離を計算し、且つ、頂点テクスチャマッピングの際に各頂点にＲＧＢ値を与える画像領域を、三次元モデルの頂点解像度と、対象とする頂点からマッピング画像を撮影したカメラまでの撮影距離に応じて決定し、マッピングする画像領域にガウシアンフィルタ等の移動平均処理を施して得られる値を、当該対象とする頂点の新たなＲＧＢ値として決定するように動作する。

尚、頂点テクスチャマッピング装置１の制御に必要な制御情報ａ，ｂ，ｃが予め定められており、これらの制御情報ａ，ｂ，ｃは、当該装置を利用する利用者によって選定することができる。制御情報ａは、各カメラにおけるカメラパラメータとして知られる外部パラメータ（三次元位置情報、姿勢情報）及びカメラ内部パラメータからなる。制御情報ｂは、所望の三次元モデルの形成に必要とされる三次元モデルの各表面頂点の三次元座標情報（頂点間距離の情報を含む）からなる。制御情報ｃは、カメラから得られる多視点画像のうち、三次元モデルの生成に用いる多視点画像のうちのテクスチャ画像を選定するための情報（以下、テクスチャ画像選択情報と称する）からなる。

本実施例の頂点テクスチャマッピング装置１は、撮影画像入力部３と、テクスチャ画像選択部４と、三次元距離算出部５と、マッピング領域算出部６と、頂点テクスチャ算出部７と、頂点画素値算出部８と、制御情報入力部９とを備える。制御情報入力部９は、制御情報を入力するインターフェースとして機能する。

撮影画像入力部３は、対象物を多視点で撮影する第１〜第４カメラ２−１, ２−２, ２−３, ２−４から得られる、それぞれの撮影画像２−１ｉ, ２−２ｉ, ２−３ｉ, ２−４ｉを入力し、これらのテクスチャ画像をテクスチャ画像選択部４に送出する。

テクスチャ画像選択部４は、制御情報入力部９を介して得られる制御情報ａ，ｂ，ｃにより、撮影画像入力部３から入力される多視点画像のうち、三次元モデルの表面頂点の画素値の決定に用いるテクスチャ画像を選定し、選定したテクスチャ画像を三次元距離算出部５に送出する。

三次元距離算出部５は、制御情報入力部９を介して得られる制御情報ｂにより、求める三次元モデルの表面頂点から、選定したテクスチャ画像におけるこの表面頂点に対応する撮影点までの三次元距離を算出し、この三次元距離の情報をマッピング領域算出部６に送出する。

マッピング領域算出部６は、マッピング領域算出部６から受信した三次元距離の情報に基づいて、当該表面頂点を中心とする、テクスチャ画像選択部４によって選定したテクスチャ画像に投影した三次元モデルの頂点解像度に応じたマッピング領域を決定する。

頂点テクスチャ算出部７は、マッピング領域算出部６によって決定されたマッピング領域と同じサイズのガウシアンフィルタを生成し、当該テクスチャ画像のマッピング領域の画像に畳み込み演算を施し、当該表面頂点の画素値を決定する。

頂点画素値算出部８は、全ての表面頂点において画素値が得られるまで、三次元距離算出部５、マッピング領域算出部６、及び頂点テクスチャ算出部７までの処理をループ演算させるための機能部である。

以下、図３〜図５を参照して、より詳細に本実施例の頂点テクスチャマッピング装置の動作を説明する。

図３を参照するに、ステップＳ１にて、撮影画像入力部３により、複数の撮影点から撮影した画像と、制御情報入力部９により、複数の撮影点の三次元位置、姿勢、及びカメラの内部パラメータの情報（制御情報ａ）を入力する。

ステップＳ２にて、テクスチャ画像選択部４により、制御情報ｃに従って、複数の撮影点から撮影した画像の中から、三次元モデルの表面頂点の三次元座標にＲＧＢ値を与えるテクスチャ画像を選択する。同時に、テクスチャ画像選択部４により、複数の撮影点の三次元位置、姿勢、及びカメラ内部パラメータから、テクスチャ画像に対応するテクスチャ画像の撮影点の三次元位置、姿勢、及びカメラ内部パラメータを選択する。

ステップＳ３にて、三次元距離算出部５により、選択したテクスチャ画像、テクスチャ画像の撮影点の三次元位置、姿勢、及びカメラ内部パラメータ、並びに三次元モデルの表面頂点の三次元座標を利用して、式（１）及び式（２）を用いて、対象とする頂点から選択されたテクスチャ画像の撮影点までの距離を算出するとともに、頂点をテクスチャ画像に投影した二次元座標を算出する。

この三次元距離は、式（１）のωとして求めることができる。

ここに、Ａはカメラの内部パラメータ行列、Ｆはカメラの焦点距離、αはテクスチャ画像のアスペクト比、Ｒはカメラの撮影点の三次元姿勢回転行列、Ｔはカメラの撮影点の三次元位置の並進ベクトル、Ｃｘはテクスチャ画像の画像中心ｘ座標、Ｃｙはテクスチャ画像の画像中心ｙ座標、Ｐｗは格子点の三次元座標（ｘ，ｙ，ｚ）、Ｍ_１は格子点をカメラに投影した際の投影点の二次元座標（ｕ，ｖ）、ωは格子点からカメラの光学中心までの奥行き距離である。

次に、ステップＳ４にて、マッピング領域算出部６により、この三次元距離ωと、三次元モデルの頂点が隣接する頂点との間の頂点間距離Ｖｄ、及びカメラ内部パラメータを構成するカメラの焦点距離Ｆを用いて、三次元モデル表面を構成する１頂点あたりが投影されるマッピング画像領域の範囲Ｉｄを式（３）によって求める。

Ｉｄ＝Ｆ×Ｖｄ／ω （３）

そして、マッピング領域算出部６により、テクスチャ画像に投影される頂点の二次元座標と合わせて、マッピング領域画像をテクスチャ画像から切り出す。

具体的には、図４に示すように、例えば三次元モデルの表面頂点Ｐ_１，Ｐ_２，Ｐ_３があり、且つ頂点間隔（頂点間距離Ｖｄ）が与えられている場合に、カメラの光学中心Ｏ_１を軸として頂点間距離Ｖｄに対応する焦点距離ｆに位置するテクスチャ画像上でのマッピング画像面ＭＡは、マッピングする画像領域の範囲Ｉｄとして式（３）に従って得られる。

続いて、図５に示すように、求めたＩｄから、この三次元モデル表面の頂点が投影されるマッピング画像領域ＭＡは、対象の頂点Ｐ１がテクスチャ画像２−１ｉに投影される二次元画像座標Ｍ_１を中心として、例えば縦・横Ｉｄ画素分のテクスチャ画像領域として決定することができる。ただし、マッピング画像領域ＭＡは、半径Ｉｄとして対象画素を決定してもよい。

次に、ステップＳ５にて、頂点テクスチャ算出部７により、Ｉｄ×Ｉｄ画素のマッピング画像領域ＭＡに対してガウシアンフィルタや平均値フィルタ等のフィルタ処理を施し、マッピング画像領域ＭＡの中心画素のＲＧＢ値を求め、対象とする頂点に与えるＲＧＢ値を決定し、スッテプＳ６にて、頂点画素値算出部８により、三次元距離算出部５、マッピング領域算出部６、及び頂点テクスチャ算出部７までの処理を全ての頂点のＲＧＢ値が得られるまでループ演算させるように本装置を機能させ、全ての頂点における画素値を決定する。

このようにして、本実施例の頂点テクスチャマッピング装置１は、図１に示すような立体形状を有する対象物の三次元モデルと、１つ以上の撮影点から撮影した画像を用いて、三次元モデルの表面頂点にＲＧＢ値を与える。

従って、頂点テクスチャマッピング装置１は、三次元モデル表面の全ての頂点に対して画素値（例えば、ＲＧＢ値）を与え、頂点テクスチャマッピングされた三次元モデルを生成することができる。

また、本発明の一態様として、頂点テクスチャマッピング装置１をコンピュータとして構成することができ、撮影画像入力部３、テクスチャ画像選択部４、三次元距離算出部５、マッピング領域算出部６、頂点テクスチャ算出部７、頂点画素値算出部８、及び制御情報入力部９の機能を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられる記憶部（図示せず）に記憶される。また、頂点テクスチャマッピング装置１が入力した多視点画像及び各制御情報は、この記憶部に記憶しておくことができる。このような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。プログラムを実行する制御部は、中央演算処理装置（ＣＰＵ）などで実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、コンピュータ上で各装置を実現することができる。ここで、いずれかの手段の機能をハードウェアの全部又は一部で実現しても良い。

上述した実施例において、頂点テクスチャマッピング装置１の機能を実現するための処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくこともできる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録装置、半導体メモリ等どのようなものでもよい。

また、撮影画像入力部３は、ＤＶＤ又はＣＤ‐ＲＯＭなどの可搬型記録媒体を介して入力しても良いし、映像入力専用のインターフェースを介して入力するようにしてもよい。

上述の実施例の頂点テクスチャマッピング装置１は、４つのカメラで撮像した画像を入力してそれぞれの画像について処理する代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、頂点テクスチャマッピング装置１は、１つの固定位置から撮像した被写体の凹凸を再現する三次元モデルの生成に用いることもできる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、立体形状を有する対象物の三次元モデルを頂点テクスチャマッピングして表示する際に、対象物の三次元モデルの頂点間隔と、撮影画像の解像度、対象物から撮影点までの距離に応じて自動的に折り返しノイズの少ない頂点テクスチャマッピングを施すことができるので、対象物の三次元モデルを生成する任意の用途に有用である。

本発明による実施例の頂点テクスチャマッピング装置の動作環境例を示す図である。 本発明による実施例の頂点テクスチャマッピング装置のブロック図を示す図である。 本発明による実施例の頂点テクスチャマッピング装置の動作を示すフローチャートである。 本発明による実施例の頂点テクスチャマッピング装置の動作説明図である。 本発明による実施例の頂点テクスチャマッピング装置の動作説明図である。 一般的なテクスチャマッピングの概略説明図である。 頂点テクスチャマッピングの概略説明図である。

符号の説明

１ 頂点テクスチャマッピング装置
２−１ 第１カメラ
２−２ 第２カメラ
２−３ 第３カメラ
２−４ 第４カメラ
３ 撮影画像入力部
４ テクスチャ画像選択部
５ 三次元距離算出部
６ マッピング領域算出部
７ 頂点テクスチャ算出部
８ 頂点画素値算出部
９ 制御情報入力部

Claims (5)

1. 立体形状を有する対象物の三次元モデルに対して、前記対象物を予め１つ以上の撮影点から撮影した画像の中から、前記三次元モデル表面の頂点群に画素値を与える頂点テクスチャマッピング装置であって、
   前記撮影点に対応するカメラパラメータと前記三次元モデル表面の頂点群のうちの各頂点の三次元座標を利用して、前記各頂点から前記テクスチャマッピングに利用するテクスチャ画像の撮影点までの三次元距離を算出する手段と、
   前記三次元距離と、前記カメラ内部パラメータ、及び前記各頂点に隣接する頂点との頂点間距離から、前記テクスチャ画像上のマッピング画像領域を算出する手段と、
   前記マッピング画像領域から、前記各頂点に与える画素値を算出する手段と、
   を有することを特徴とする頂点テクスチャマッピング装置。
2. 前記カメラパラメータは、テクスチャマッピングに利用する画像の撮影点の位置、姿勢、及びカメラ内部パラメータからなることを特徴とする、請求項１に記載の頂点テクスチャマッピング装置。
3. 前記各頂点に与える画素値は、前記マッピング画像領域内の画素値を移動平均して得られる値であることを特徴とする、請求項２に記載の頂点テクスチャマッピング装置。
4. 前記１つ以上の撮影点は、前記被写体を囲む複数の撮影点からなり、前記三次元モデルは、前記対象物が有する立体形状の表面頂点の画素値から形成されることを特徴とする、請求項１〜３のいずれか一項に記載の頂点テクスチャマッピング装置。
5. 立体形状を有する対象物の三次元モデルに対して、前記対象物を予め１つ以上の撮影点から撮影した画像の中から、前記三次元モデル表面の頂点群に画素値を与える頂点テクスチャマッピング装置として構成するコンピュータに、
   前記撮影点に対応するカメラパラメータと前記三次元モデル表面の頂点群のうちの各頂点の三次元座標を利用して、前記各頂点から前記テクスチャマッピングに利用するテクスチャ画像の撮影点までの三次元距離を算出するステップと、
   前記三次元距離と、前記カメラ内部パラメータ、及び前記各頂点に隣接する頂点との頂点間距離から、前記テクスチャ画像上のマッピング画像領域を算出するステップと、
   前記マッピング画像領域から、前記各頂点に与える画素値を算出するステップと、
   を実行させるためのプログラム。

Images