JP2004227095A

JP2004227095A - テクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置

Info

Publication number: JP2004227095A
Application number: JP2003011586A
Authority: JP
Inventors: Kiichi Kobayashi; 希一小林; Gyoka Cho; 暁華張; Yoshinari Nakanishi; 良成中西
Original assignee: NHK Engineering Services Inc
Current assignee: NHK Engineering System Inc
Priority date: 2003-01-20
Filing date: 2003-01-20
Publication date: 2004-08-12

Abstract

【課題】テクスチャマップのメモリ量の増加を抑えて、３ＤＣＧ用ソフトウェアを用いて３Ｄオブジェクトを描画するためのテクスチャマップを作成し、画質の劣化を著しく低減して３Ｄオブジェクトを描画することを可能とする。
【解決手段】３Ｄオブジェクトを複数視点から撮像して複数の画像を取得する手段と、取得された複数の画像の中から３Ｄオブジェクト表面の三角形の面積が最大となる視点の画像を用いて、３Ｄオブジェクト表面の三角形データを２次元画像上の三角形データに変換し、その２次元三角形の頂点座標およびテクスチャデータから、テクスチャマップ上の直角２等辺三角形の座標値とテクスチャデータを計算によって求める手段（投影処理部２、オクルージョン処理部３、テクスチャデータマッピング処理部４）を備え、テクスチャ空間上の各三角形に２次元画像上の三角形の周辺領域のテクスチャデータを含めてマッピングする。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元（３Ｄ）コンピュータグラフィックス（ＣＧ）用ソフトウェアを用いて３Ｄオブジェクトを描画するに当り、カメラの実写映像をテクスチャデータとして、これをオブジェクト表面にマッピングするためのテクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置に関する。
【０００２】
［発明の概要］
この発明は、３次元（３Ｄ）コンピュータグラフィックス（ＣＧ）用ソフトウェアを用いて３Ｄオブジェクトを描画するに当り、カメラの実写映像を３Ｄオブジェクト表面に貼付（マッピング）するためのテクスチャデータ、即ち、実写映像に基づくテクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置に関するもので、
被写体を複数視点から撮像して取得した画像の中から、３Ｄオブジェクトの形状モデルとしての３Ｄポリゴンデータの構成要素である３Ｄ三角形パッチの最適視点画像を選択し、３Ｄ三角形パッチを最適視点画像上に投影した時の２次元（２Ｄ）画像上の三角形パッチの２Ｄ座標データとテクスチャデータを取得し、この２Ｄ画像上の三角形パッチを２等辺長が２のべき乗の長さを持つ直角２等辺三角形に変換し、この直角２等辺三角形上に、２Ｄ画像上の三角形パッチの周辺部分のテクスチャデータを含めてマッピングし、これらを碁盤目状に配置することにより、
テクスチャマップのメモリ量の増加を抑えて、３ＤＣＧ用ソフトウェアを用いて３Ｄオブジェクトを描画するためのテクスチャマップを作成し、画質の劣化を著しく低減して３Ｄオブジェクトを描画することを可能としたものである。
【０００３】
【従来の技術】
コンピュータグラフィックス（ＣＧ）分野においては、当初、フライトシミュレータや、ドライブシミュレータなどにおいて、合成された画像が仮想空間にマッピングされ、利用されてきた。しかしながら、バーチャルスタジオ、バーチャルミュージアム、電子カタログ、建築設計などにおいて、視覚的なリアリティの高さが強く要求されるようになり、実写映像と３次元（３Ｄ）オブジェクトのモデルとの統合が求められるようになった。
【０００４】
ＣＧ分野においては、３Ｄオブジェクト表面上の模様（テクスチャ）を描画する方法、すなわち、テクスチャマッピングの方法としては、現在、３Ｄオブジェクト表面をポリゴンデータとしてモデル化し、その三角形パッチの位置を２変数のパラメータ（ｕ，ｖ）で表し、予め与えられたパターン配列ｆ（ｕ，ｖ）すなわちテクスチャマップを参照して描画するのが通例となっている。
【０００５】
上記テクスチャマップを作成するための方法としては、レンジファインダ（ｒａｎｇｅ−ｆｉｎｄｅｒ）で取得した３Ｄ画像（距離画像）やディジタル化した写真画像を用いて作成する方法が提案されている。下記の非特許文献１では、複数の距離画像とカラー画像からカラーの３Ｄ三角形を得る方法を提案し、また、下記の非特許文献２では、同様な手法でテクスチャマップの中に合成した三角形のテクスチャを置いて描画している。
【０００６】
しかしながら、従来のテクスチャマップの作成方法においては、３Ｄオブジェクト上の隣接した三角形パッチはテクスチャマップ上では隣接して配置されることはなく、したがって、視点画像上の２次元三角形の領域をそのままテクスチャマップ上の三角形に変換した場合、これを用いて描画すると三角形のエッジに沿ってギザギザ（エリアシング：折り返し歪み）が生じ、画質が劣化する問題があった。この問題を避けるために、下記の非特許文献３では高画質のテクスチャと形状データを持った法線のマップを統合することにより、オブジェクトの正確なモデルを作る方法を提案した。この方法はオブジェクト表面の三角形の位置をパラメータで表すと言うよりは、ミップマップ手法で表示するための３Ｄオブジェクト表面の分割方法と言える。
【０００７】
【非特許文献１】
Ｍ．Ｓｏｕｃｙ，Ｇ．Ｇｏｄｉｎ，ａｎｄＭ．Ｒｉｏｕｘ， ”Ａｔｅｘｔｕｒｅ−ｍａｐｐｉｎｇａｐｐｒｏａｃｈｆｏｒｔｈｅｃｏｍｐｒｅｓｓｉｏｎｏｆｃｏｌｏｒｅｄ３Ｄｔｒｉａｎｇｕｌａｔｉｏｎｓ”，ＴｈｅＶｉｓｕａｌＣｏｍｐｕｔｅｒ，Ｖｏｌ．１２，ｐｐ．５０３−５１４，１９９６
【非特許文献２】
Ｙ．Ｙｕ，Ａ．Ｆｒｅｎｃｚ，ａｎｄＪ．Ｍａｌｉｋ，”Ｃｏｍｐｒｅｓｓｉｎｇｔｅｘｔｕｒｅｍａｐｓｆｏｒｌａｒｇｅｅｎｖｉｒｏｎｍｅｎｔｓ”，ＳＩＧＧＲＡＰＨ２０００，ＮｅｗＯｒｌｅａｎｓ，ＬＡ，Ｊｕｌｙ２０００
【非特許文献３】
Ｆ．Ｂｅｒｎａｒｄｉｎｉ，Ｉ．Ｍ．Ｍａｒｔｉｎ，ａｎｄＨ．Ｒｕｓｈｍｅｉｅｒ，”Ｈｉｇｈ−ｑｕａｌｉｔｙｔｅｘｔｕｒｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｆｒｏｍｍｕｌｔｉｐｌｅｓｃａｎｓ”，ＩＥＥＥＴｒａｎｓ．ｏｎＶｉｓｕａｌｉｚａｔｉｏｎａｎｄＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，Ｖｏｌ．７，Ｎｏ．４，ｐｐ．３１８−３３２，２００１
【０００８】
【発明が解決しようとする課題】
しかしながら、上述したように、従来法では３Ｄオブジェクトの表面にテクスチャをマッピングするに当って、オブジェクト表面の三角形の位置を２変数のパラメータ（ｕ，ｖ）で表し、予め与えられたパターン配列ｆ（ｕ，ｖ）すなわちテクスチャマップを参照してマッピングするのが通例となっている。このテクスチャマップを実写映像に基づいて作成するに当っては、３Ｄオブジェクトの各三角形パッチを視点画像上の２次元三角形パッチに変換し、これらをさらに２等辺長が２のべき乗の長さを持つ直角２等辺三角形に拡張変換し、その大きさの順に碁盤目状に配置する方法を採るのが一般的となっている。
【０００９】
この場合、３Ｄオブジェクト上の隣接した三角形パッチはテクスチャマップ上では隣接して配置されることはなく、したがって、テクスチャマップ上の三角形はそのエッジ境界におけるテクスチャデータの急激な変化が避けられない。このテクスチャマップを用いて３Ｄオブジェクトを描画すると、着目している三角形のエッジ近傍では、当該画素のデータを隣接する三角形のテクスチャデータを利用して復元することとなり、三角形のエッジに沿ってギザギザ（エリアシング：折り返し歪み）が生じ、描画した画像の画質が劣化する問題があった。
【００１０】
本発明は上記事情に鑑みて成されたものであり、その目的は、３Ｄオブジェクトを高精細でリアリティ高く描画するため、上記エリアシングによる画質劣化の問題を排除するとともに、そのテクスチャマップのデータ量を圧縮符号化し、これを復号して復元されたテクスチャマップを用いて描画しても、画質の劣化が少ないテクスチャマップを作成するテクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために本発明は、３Ｄオブジェクトを複数視点から撮像して複数の画像を取得し、この複数の画像の中から３Ｄオブジェクト表面の三角形の面積が最大となる視点の画像を用いて、３Ｄオブジェクト表面の三角形データを２次元画像上の三角形データに変換し、その２次元三角形の頂点座標およびテクスチャデータから、テクスチャマップ上の直角２等辺三角形の（ｕ，ｖ）座標値とテクスチャデータを計算によって求めることを特徴としている。
【００１２】
かかるテクスチャマップの作成に当り、本発明においては、２次元画像上の三角形を直角２等辺三角形に変換するに当り、２次元画像上の三角形の内角が最大である頂点を直角２等辺三角形の内角が９０度である頂点に対応させることを特徴としている。
【００１３】
また、本発明においては、２次元画像上の三角形のテクスチャデータから直角２等辺三角形のテクスチャデータを取得するに当り、２次元画像上の三角形の周辺領域のテクスチャデータを含めて取得することと、その周辺領域の距離は直角２等辺三角形上の距離として１±０．５ピクセルの距離とすることを特徴としている。
【００１４】
また、本発明においては、３Ｄオブジェクト上の三角形のデータから２次元画像上の三角形のデータに変換するに当り、予め、ベクトル演算を用いた簡易な手法により、複数の視点の中から３次元オブジェクト上の三角形パッチが見えるか否かをチェックし、見える視点の中から２次元画像上の三角形の面積が最大となる視点を選択し、その２次元画像上の三角形のデータに変換することを特徴としている。
【００１５】
さらに、本発明においては、２次元画像上の三角形のテクスチャデータを、直角２等辺三角形上のテクスチャデータに変換するに当り、キュービック補間法を用いて変換することを特徴としている。
【００１６】
【発明の実施の形態】
＜本発明の原理＞
本発明によるテクスチャマップ作成方法の実施の形態の説明に先立ち、先ず、本発明によるテクスチャマップ作成方法の原理を図２から図１０を用いて説明する。
【００１７】
図２は複数の視点からの３Ｄオブジェクトの実写映像を用い、３Ｄオブジェクト表面上の３次元空間における三角形のデータから、ＣＧソフトウェアでこの３Ｄオブジェクトを描画するためのテクスチャマップを作成する手順の概要を示した図である。
【００１８】
ここでは３次元のオブジェクト空間１１における三角形パッチが手前の２視点１２，１３の方向からは見え、後方の視点１４からは見えないこと、手前２方向の内、右側視点１２の画像上に投影された三角形パッチの方が左側視点１３の三角形パッチよりも面積が大きく、右側視点１２の三角形を直角２等辺三角形に変換し、これからテクスチャマップが作成されることが示されている。
【００１９】
上記テクスチャマップは次の手順１〜５に従って作成される。
【００２０】
手順１：各視点１２，１３，１４から、着目している３次元空間（オブジェクト空間１１）の三角形パッチが見える位置にあるか否かのチェックを行う（以後、ビジビリティテスト（ｖｉｓｉｂｉｌｉｔｙｔｅｓｔ）と称する）。
【００２１】
手順２：見える位置にある場合には、予め取得してあるカメラのパラメータを用いて、この三角形を各視点１２，１３の２次元画像空間に投影し、この着目している三角形パッチが他の三角形パッチに覆われているか否かを２次元画像上でチェックする。覆われている場合には各三角形パッチの奥行きをチェックし、最も視点に近い距離にある三角形のみを選択する（以後、オクルージョン（ｏｃｃｌｕｓｉｏｎ）処理と称する）。
【００２２】
手順３：各視点１２，１３の２次元画像上に投影された２次元三角形パッチの面積を計算し、面積が最大となる視点（図２では右側視点１２）の２次元三角形パッチを選択して、その最長辺長を計算し、それを２のべき乗に拡張して、これを２等辺長とする直角２等辺三角形に対応付ける。
【００２３】
手順４：上記直角２等辺三角形のデータに基づいて、２次元テクスチャ空間（（ｕ，ｖ）座標系）を碁盤目状に分割、整理し、３次元空間の三角形パッチをこのテクスチャ空間のどこに確保するかを決定する（以後、テセレーション（ｔｅｓｓｅｌｌａｔｉｏｎ）と称する）。このテクスチャ空間は複数のファイルで構成される場合もある。
【００２４】
手順５：テクスチャ空間の各三角形パッチ上のテクスチャデータを、対応する２次元画像上の画素データから補間法を用いて求め、これをテクスチャ空間のテクスチャデータとして保管する。これがテクスチャマップである。
【００２５】
次に、本発明による上記手順の処理内容を図３から図１０を用いて説明する。
【００２６】
図３は、上記手順１のビジビリティテスト（ｖｉｓｉｂｉｌｉｔｙｔｅｓｔ）を示す説明図である。３次元空間の三角形パッチＰ_０Ｐ_１Ｐ_２と、その法線方向ベクトル、頂点から視点へのベクトルを、カメラの位置、光軸方向、画像平面の位置等と併せて示した図である。一般にカメラの視角は１８０度より小さく、ズームレンズを使用している場合には視角はズーム比によって異なる。したがってカメラの光軸方向から三角形パッチの前面が見えるか否かを判定するのは簡単ではない。
【００２７】
本発明では図３に示すように、先ず、三角形パッチの法線方向ベクトルと三角形の頂点から視点位置への方向ベクトルを同一の座標系（例えばカメラ座標系）で計算する。三角形パッチＰ_０Ｐ_１Ｐ_２の法線方向ベクトルＮは、
【００２８】
【数１】

であり、頂点Ｐ_０から視点位置への方向ベクトルをＡとすれば、この２つのベクトルの内積Ｎ・Ａの符号によって頂点Ｐ_０が視点位置から見えるか否かを判断する。すなわち図２の場合、２つのベクトルをカメラ座標系で計算しており、内積Ｎ・Ａが正の場合に見えると判断する。
【００２９】
図４は本発明による上記手順２のオクルージョン（ｏｃｃｌｕｓｉｏｎ）処理の手法を示す説明図である。オクルージョン（ｏｃｃｌｕｓｉｏｎ）処理は、先ず、３次元空間の三角形パッチを２次元画像空間に投影し（三角形Ａとする）、この三角形Ａが投影された他の三角形（Ｂとする）と交差するか否かを判定し（以後、オクルージョンテスト（ｏｃｃｌｕｓｉｏｎｔｅｓｔ）と称する）、次に、交差する場合には交差する三角形パッチの３次元空間における視点からの奥行き距離を計算し、最も視点に近い三角形パッチを選択し、それ以外の三角形を排除する。
【００３０】
本発明においては上記オクルージョンテスト（ｏｃｃｌｕｓｉｏｎｔｅｓｔ）を２段階で行っている。
【００３１】
すなわち、先ず、三角形Ａに外接する四角形を決定し（四角形Ｓと記す）、三角形Ｂがこの四角形Ｓと交差するか否かを判定する（図４（ａ））。この判定は最悪１２回の比較演算で実行でき、算術演算が不要で演算時間の短縮に効果的である。
【００３２】
次に、三角形Ｂが四角形Ｓと交差する場合において、三角形Ａと三角形Ｂが交差するか否かを判定する。三角形Ｂと四角形Ｓが交差する場合としては、図４（ｂ）、図４（ｃ）、図４（ｄ）の３つのケースが考えられる。図４（ｂ）と図４（ｃ）は三角形の頂点の１つが相手の三角形の中に含まれる場合であって、同一のケースとみなして良い。図４（ｄ）は三角形の辺が相手の三角形の辺と交差する場合である。
【００３３】
図５は本発明による、ある点Ｐが三角形ＡＢＣの中にあるか否かの判定を説明するための図である。本発明ではベクトル演算を用いて計算量少なくその判定を実行可能としている。図５に示す通り、先ず、点Ｐから三角形の頂点を通るベクトル
【００３４】
【数２】

を作り、これらと三角形の各辺（エッジと記す）のベクトル（エッジベクトル）との外積
【００３５】
【数３】

を計算する。但し、この計算においてはｚ成分以外はゼロであるため、ｚ成分のみを計算する。そしてこれらの外積が同符合であれば、点Ｐは三角形ＡＢＣの中にあると判断できる。なお、図５の場合の判定は、１頂点座標につき減算５回、乗算２回、比較演算３回で実行できるが、図４（ｂ）および図４（ｃ）のように、２つの三角形の相互について判定が必要であり、減算６×５＝３０回、乗算６×２＝１２回、比較演算６×３＝１８回の演算により実行できる。
【００３６】
図６は本発明による、２つの三角形のエッジが交差するか否かの判定を説明するための図である。本発明では図５の場合と同様ベクトル演算を用いて計算量少なく判定している。図６に示す通り、線分Ｐ_１Ｐ_２と線分ＳＥの端点座標を与えた場合、その交点は両線分上にあるから（１）式が成立する。
【００３７】
【数４】

（１）式を展開し、ｘ、ｙ座標毎に書き改めると（２）式が成立する。
【００３８】
【数５】

（２）式からパラメータｕ_ａとｕ_ｂを計算するため、次のΔを計算する。
【００３９】
【数６】

上式のΔがゼロの場合、両線分は平行で交差しない。Δがゼロでない場合、パラメータｕ_ａとｕ_ｂを計算し、パラメータｕ_ａとｕ_ｂが両方とも［０，１］内であれば二つの線分は交差し、そうでなければ交差しない。なお、上記計算は１つの三角形エッジ当り、減算１５回、乗算６回、比較演算４回を必要とし、三角形Ａのエッジ全てに関しては、最悪でも、減算４５回、乗算１８回、比較演算１２回で判定可能である。両線分が交差する場合には三角形Ａと三角形Ｂのカメラ位置からの奥行きを判定し、カメラに近い方の三角形を選択する。この奥行き判定は、厳密には複雑な計算を必要とするが、２次元画像上の三角形と３次元空間の三角形の対応関係を利用して、簡易に決定することも可能である。
【００４０】
図７は、上記手順４のテセレーション（ｔｅｓｓｅｌｌａｔｉｏｎ）の概要を説明する図である。
【００４１】
現在市販されているＣＧ用ソフトウェアにおいては、殆どの場合、そのテクスチャマップの画像ファイルの大きさは２のべき乗の大きさであり、２つの直角２等辺三角形を１組として正方形を構成し、図７（ａ）に示すように碁盤目状に並べられている。したがってテクスチャマップ上の直角２等辺三角形のサイズは、図７（ｂ）に示すように、一方の三角形の２等辺は２^ｎで他方は２^ｎ−１の大きさとするのが一般的である。従って、本発明におけるテクスチャマップ上の三角形のサイズは２次元画像上に投影した三角形の最長辺の長さを２^ｎあるいは２^ｎ−１に拡張して決定している。
【００４２】
図８は、上記手順５に示した本発明における２次元画像空間上の三角形とテクスチャマップ上の三角形の、頂点の対応関係の最適化とテクスチャデータのマッピングを説明するための図である。
【００４３】
本発明においては、先ず、３次元空間の三角形を２次元画像上に投影した時の三角形の最長辺が、テクスチャ空間の直角２等辺三角形の２等辺の一方に対応するよう、頂点関係を対応させる。このときの対応関係は、図８に示すように、（Ａ_ｉ，Ｂ_ｉ，Ｃ_ｉ）⇒（Ａ_ｔ，Ｂ_ｔ，Ｃ_ｔ）である。
【００４４】
次に、最長辺の対角の頂点をテクスチャマップ上の直角の頂点に対応させ、その他の頂点は同一方向に回転させて対応付ける。この時頂点の対応関係は、（Ａ_ｉ，Ｂ_ｉ，Ｃ_ｉ）⇒（Ｂ_ｔ，Ｃ_ｔ，Ａ_ｔ）となる。この対応関係の最適化はエッジの長さの計算のみで実行可能である。
【００４５】
上述した発明が解決しようとする課題の欄で記載したように、３Ｄオブジェクト上の隣接した三角形パッチはテクスチャマップ上では隣接して配置されることはなく、このテクスチャマップを用いて３Ｄオブジェクトを描画した場合、エリアシングにより三角形のエッジに沿ってギザギザ（折り返し歪み）が生じ、描画した画像の画質が劣化する問題がある。
【００４６】
本発明では、上記問題を避けるため、テクスチャマップ上の三角形内にこれに対応する２次元画像上の三角形の周辺領域を取込んでテクスチャマップを作成することを特徴としている。これを実現するには、先ず、テクスチャマップ上の三角形を一定距離だけ収縮させ、その開いたスペース分だけ２次元画像上の三角形を拡張し、その中のテクスチャを取込むことが求められる。
【００４７】
図９は、テクスチャマップ上の三角形を収縮する場合を示したもので、三角形ＡＢＣは三角形Ａ’Ｂ’Ｃ’まで収縮される。収縮した三角形のエッジＡ’Ｂ’は以下により決定される。
【００４８】
図９において、三角形ＡＢＣの頂点座標をＡ（ｘ_ａ，ｙ_ａ），Ｂ（ｘ_ｂ，ｙ_ｂ），Ｃ（ｘ_ｃ，ｙ_ｃ）とする。エッジＡＢをベクトルで表すと、
【００４９】
【数７】

また、エッジＡＢをパラメータで記述すると、
【００５０】
【数８】

さらに、頂点ＣからエッジＡＢおよびエッジＡ’Ｂ’への垂線を下ろし、両エッジとの交点をＤおよびＤ’とすれば、交点Ｄの座標（ｘ_ｄ，ｙ_ｄ）は（５）式で表現できる。したがって頂点ＣからエッジＡＢまでの距離の自乗Ｅは、
【００５１】
【数９】

であり、Ｄ点では
【００５２】
【数１０】

であるからｔは次式から求まる。
【００５３】
【数１１】

（７）式を（５）式に代入することによって点Ｄの座標（ｘ_ｄ，ｙ_ｄ）が求まり、頂点Ｃから点Ｄまでの距離ｓは、
【００５４】
【数１２】

で、点Ｄを点Ｄ’まで圧縮すれば、点Ｄ’の座標を（ｘ_ｄ’，ｙ_ｄ’）、圧縮距離をＳとして、
【００５５】
【数１３】

となる。（９）式を用いることにより、点Ｄ’の座標を（ｘ_ｄ’，ｙ_ｄ’）は、
【００５６】
【数１４】

となり、エッジＡ’Ｂ’の方程式は、
【００５７】
【数１５】

で表され、これらの式を用いて三角形Ａ’Ｂ’Ｃ’の各頂点座標が計算できる。
【００５８】
図１０は、２次元画像上の三角形を拡張する場合を説明するための図であって、三角形Ａ_ｉＢ_ｉＣ_ｉは三角形Ａ_ｉ’Ｂ_ｉ’Ｃ_ｉ’まで拡張され、三角形Ａ_ｉＢ_ｉＣ_ｉの外側周辺領域がテクスチャマップ上にマッピングされる。拡張された三角形Ａ_ｉ’Ｂ_ｉ’Ｃ_ｉ’の各頂点座標は拡張距離が不明であり、簡単には求まらないが、本発明ではテクスチャ空間の三角形ＡＢＣおよび三角形Ａ’Ｂ’Ｃ’の座標が既知であることを利用して、バリセントリック（Ｂａｒｙｃｅｎｔｒｉｃ）座標を用いて三角形Ａ_ｉ’Ｂ_ｉ’Ｃ_ｉ’の各頂点座標を決定している。バリセントリック（Ｂａｒｙｃｅｎｔｒｉｃ）座標は三角形の面積を利用して簡単に計算でき、これを用いると三角形Ａ’Ｂ’Ｃ’の各頂点座標は（１２）式で表現できる。
【００５９】
【数１６】

２次元画像上の三角形Ａ_ｉＢ_ｉＣ_ｉはテクスチャマップ上の三角形Ａ’Ｂ’Ｃ’と対応し、同一のバリセントリック（Ｂａｒｙｃｅｎｔｒｉｃ）座標を持つ。今三角形Ａ_ｉＢ_ｉＣ_ｉの各頂点を三角形Ａ_ｉ’Ｂ_ｉ’Ｃ_ｉ’の頂点で表すと、
【００６０】
【数１７】

となり、（１３）式をｘ，ｙ座標毎に展開すると、６個の方程式が成立し、三角形Ａ_ｉＢ_ｉＣ_ｉの座標とバリセントリック（Ｂａｒｙｃｅｎｔｒｉｃ）座標は既知として、未知数である三角形Ａ_ｉ’Ｂ_ｉ’Ｃ_ｉ’のｘ，ｙ座標、計６個の値が求まる。なお、この後の処理として、３次元空間の三角形の頂点に関連付けた（ｕ，ｖ）座標値を三角形ＡＢＣの（ｕ，ｖ）座標値から三角形Ａ’Ｂ’Ｃ’の頂点の（ｕ，ｖ）座標値に変更することが必要になる。
【００６１】
次に、２次元画像上のテクスチャデータをテクスチャマップにマッピングする方法を、再度、図８を用いて説明する。
【００６２】
テクスチャマップ上でテクスチャ三角形をスキャンニングする場合、例えば、現在のピクセル位置をＰ_ｔとすると、Ｐ_ｔのバリセントリック（Ｂａｒｙｃｅｎｔｒｉｃ）座標（ｕ，ｖ，ｗ）は（１４）式のように、各三角形の面積で求められる。
【００６３】
【数１８】

ここで、点Ｐ_ｔは必ず三角形Ａ_ｔＢ_ｔＣ_ｔの中にあるから、
【００６４】
【数１９】

であり、点Ｐ_ｔを三角形Ａ_ｔＢ_ｔＣ_ｔの頂点とバリセントリック（Ｂａｒｙｃｅｎｔｒｉｃ）座標で表現すれば、
【００６５】
【数２０】

となり、点Ｐ_ｔに対応する２次元画像上のピクセルＰ_ｉの座標は、頂点の最適対応後、
【００６６】
【数２１】

となる。
【００６７】
テクスチャマップへのテクスチャデータのマッピングや、テクスチャマップを用いてオブジェクトを描画する場合には、一般に座標値の変換は整数値の変換でなく、少数値への変換が必要で、ソース画像からターゲット画像への変換マトリックスをＴとして、
【００６８】
【数２２】

の関係にある。そして、ターゲット画像上の座標（ｘ’，ｙ’）はソース画像上での座標（ｘ，ｙ）と対応しており、一般的に座標（ｘ，ｙ）は整数ではなく、補間法を用いてターゲット座標（ｘ’，ｙ’）の信号値を決定する。
【００６９】
画像処理では一般的な補間法として、最近隣（ｎｅａｒｅｓｔｎｅｉｇｈｂｏｒ）補間、線形（ｂｉ−ｌｉｎｅａｒ）補間、キュービック（ｂｉ−ｃｕｂｉｃ）補間等が用いられている。最近隣（ｎｅａｒｅｓｔｎｅｉｇｈｂｏｒ）補間はアルゴリズムは簡単だが、位置誤差が最大０．５ピクセルとなり、画像上、エッジのところでギザギザが生じてしまう。線形（ｂｉ−ｌｉｎｅａｒ）補間は近傍２×２の４ピクセルの信号値を用いて線形補間するもので、ギザギザは改良できるが解像度の劣化が生じてしまう。キュービック（ｂｉ−ｃｕｂｉｃ）補間は近傍４×４ピクセルを用いて補間するもので、多少計算時間を要するが画像上のディテールが維持できる。キュービック（ｂｉ−ｃｕｂｉｃ）補間の核（ｋｅｒｎｅｌ）は１次元で記述すると、
【００７０】
【数２３】

となる。本発明においてはキュービック（ｂｉ−ｃｕｂｉｃ）補間法を用いている。
【００７１】
＜実施の形態の説明＞
次に、本発明が適用されたテクスチャマップ作成装置の実施形態を説明する。図１は、本発明が適用されたテクスチャマップ作成装置の実施形態の構成を示すブロック図である。
【００７２】
同図に示すように、このテクスチャマップ作成装置１は、投影処理部２と、オクルージョン処理部３と、テクスチャデータマッピング処理部４とを備えている。各処理部２，３，４の機能は図１１に示されている。
【００７３】
図１１は、本発明をソフトウェアにより実施する場合の処理フローの全体を示したものである。先ず初めに、複数の視点画像を取得した時の視点位置およびカメラの内部パラメータをデータファイルから読み込む（ステップＳ１）。次いで、３Ｄオブジェクトの形状モデルとしてのポリゴンデータ（三角形の頂点座標）を読み込み（ステップＳ２）、さらに、各視点画像のテクスチャデータを読み込む（ステップＳ３）。以上の各データを読み込んだ後、投影処理部２と、オクルージョン処理部３と、テクスチャデータマッピング処理部４を経てテクスチャマップが作成される。
【００７４】
投影処理部２では、３Ｄオブジェクト表面の三角形を各視点画像に投影する計算処理が実行される（ステップＳ４）、オクルージョン処理部３では、投影処理部２で投影された視点画像上においてオクルージョン（ｏｃｃｌｕｓｉｏｎ）処理を行う計算処理が実行される（ステップＳ５）、そして、テクスチャデータマッピング処理部４では、テクスチャ空間上の各三角形に最適の視点画像からテクスチャデータをマッピングする計算処理が実行される（ステップＳ６）。
【００７５】
図１２は、投影処理部２における処理フローを示したものであって、オブジェクト表面の３Ｄ三角形を視点画像へ投影するための処理フローである。この処理では先ず、３Ｄオブジェクト表面の全ての三角形ｊに対し、それが各視点ｉのカメラで見える視角の中にあるか否かを判定する（ステップＳ４１〜Ｓ４３）。視点ｉから三角形ｊが見える場合にはその三角形ｊを各視点画像に投影する（ステップＳ４４）。次に、視点画像上に投影された各三角形の面積を計算し（ステップＳ４５）、その三角形の最長辺の長さを計算し、それを２のｎべき乗の長さに拡張して保管する（ステップＳ４６）。ここでｎは２^ｎを上記最長辺の長さ以上とする最小の整数値である。以上のステップＳ４３〜Ｓ４６の処理を全ての視点ｉ及び各三角形ｊについて実行する（ステップＳ４７〜Ｓ４９）。
【００７６】
図１３は、オクルージョン処理部３における処理フローを示している。各視点画像上において、先ず、投影された三角形ｋが他の三角形と交差するか否かを判定する（ステップＳ５１〜Ｓ５３）、交差する場合には両三角形に対応する３Ｄ三角形の座標を参照して遠近関係を判断し（ステップＳ５５）、遠い方の３Ｄ三角形は見えないと判断してフラグを立てる（ステップＳ５６）。交差しない場合には、次の三角形ｋについて同様の処理を実行する（ステップＳ５４）。以上のステップＳ５３〜Ｓ５６の処理を全ての視点ｉ及び各三角形ｋについて実行する（ステップＳ５７〜Ｓ５８）。
【００７７】
図１４は、テクスチャデータマッピング処理部４における処理フローを示しており、テクスチャ空間の三角形上に最適の視点画像からテクスチャをマッピングする処理フローである。この処理では先ず、テクスチャ空間の各三角形をサイズの大きい順番に並べ替え（Ｓ６１〜Ｓ６４）、各三角形に対して頂点の最適対応化を行う（ステップＳ６５，Ｓ６６）。次に、その三角形を指定した収縮距離に従って収縮し（ステップＳ６７）、その三角形に対応する各視点画像上の三角形をそれぞれ拡張する（ステップＳ６８）。次いで、その三角形のテクスチャマップ上の位置を決定し（ステップＳ６９）、テクスチャ空間の三角形上の各ピクセルに対してバリセントリック（ｂａｒｙｃｅｎｔｒｉｃ）座標を計算して（ステップＳ７０）、この三角形に対応する視点画像の三角形の中から面積最大の三角形を選択し、バリセントリック（ｂａｒｙｃｅｎｔｒｉｃ）座標値を用いてテクスチャデータをマッピングする（ステップＳ７１）。以上の処理を全ての三角形について実行した後、処理を終了する（ステップＳ７２）。
【００７８】
以上の各処理により、本発明によるテクスチャマップの作成は終了する。
【００７９】
＜本発明の実施形態の効果＞
本発明の実施形態の効果を図１５から図２５および表１を用いて説明する。
【００８０】
図１５は、本発明によるテクスチャマップ作成法を評価するために用いた山水画のディジタル画像であり、これを円筒形（シリンダ）の３Ｄオブジェクトに貼付し、評価用の３Ｄオブジェクトとして用いた。
【００８１】
図１６は、上記図１５の画像を貼付した３Ｄオブジェクトを６方向の視点画像に投影し、その画像から作成したテクスチャマップを用いて３Ｄオブジェクトを描画した画像であって、従来法による場合（図１６（ａ））はエリアシングにより画質が劣化し、画像上縦縞として見える。これに対し、本発明により、２次元画像空間上の三角形の周辺部分を含めて作成したテクスチャマップを用いて描画した場合（図１６（ｂ））は、従来法に比べ画質が著しく改善されている。
【００８２】
上記本発明の実施形態の効果をより客観的に評価するため、各種の画像を原画像としてテクスチャマップ作成し、それを用いて描画した画像と原画像との標準誤差を求めた。原視点の画像をｇ（ｘ，ｙ）、これと同一視点で描画した画像をｆ（ｘ，ｙ）、両者の差分画像をｅ（ｘ，ｙ）とすれば、
【００８３】
【数２４】

であり、標準誤差は次の（２１）式で示される。
【００８４】
【数２５】

図１７〜図２０は、本発明の実施形態の効果を標準誤差により評価するために用いた各種の画像を示したものである。図１７は１２８×３２のチェックボード画像（１０２４×５１２ピクセル）であり、エッジの画質劣化の評価を目的としたものである。図１８はスター画像（１０２４×５１２ピクセル）であり、解像度の劣化の評価を目的としている。さらに自然画像としては、図１５に示した山水画（９１７×６３８ピクセル）と図１９に示したＨＤＴＶの画質評価用標準画像（ヨットハーバー、１９２０×１０８０ピクセル、著作権：（社）電波産業会，監修：（社）映像情報メディア学会）を用いた。なお、図２０は、熊の縫いぐるみをＨＤＴＶカメラで撮像した画像であって、その形状計測結果をマーチングトライアングルス法でポリゴンデータ化し、さらに、テクスチャマップを作成して描画した画像を評価するために用いた画像である。
【００８５】
図２１〜図２５は、図１７〜図２０および図１５に示した評価用画像を用いた時の標準誤差を、テクスチャ空間における収縮距離を変えて、頂点の最適対応を行った場合（実線で示す）と行わなかった場合（破線で示す）について計算した結果を示した図である。
【００８６】
結果はいずれの評価用画像を用いた場合についてもテクスチャマップ上の収縮距離が１ピクセル前後の場合に標準誤差が最小となり、ＨＤＴＶカメラの実写映像の場合を除き、頂点の最適対応の効果も顕著であることが明らかである。ＨＤＴＶの実写映像の場合、マーチングトライアングルス法でポリゴンデータを作成しており、各三角形が正三角形に近いため、頂点の最適対応の効果が顕著でなかったものと考えられる。
【００８７】
表１は、図１８のスター画像の場合について、テクスチャマップ上の収縮距離を１ピクセルとし、テクスチャマップの作成時の補間法と描画時の補間法を各種の補間法とした時の標準誤差を計算した結果であって、キュービック（ｂｉ−ｃｕｂｉｃ）補間法が最も優れていることを示している。
【００８８】
【表１】

【００８９】
【発明の効果】
以上説明したように本発明によれば、テクスチャマップのメモリ量の増加を抑えて、３ＤＣＧ用ソフトウェアを用いて３Ｄオブジェクトを描画するためのテクスチャマップを作成でき、画質の劣化を著しく低減して３Ｄオブジェクトを高精細でリアリティ高く描画することが可能となる。
【図面の簡単な説明】
【図１】本発明が適用されたテクスチャマップ作成装置の一例を示すブロック図である。
【図２】複数の視点からの３Ｄオブジェクトの実写映像を用い、３Ｄオブジェクト表面上の３次元空間における三角形のデータから、ＣＧソフトウェアでこの３Ｄオブジェクトを描画するためのテクスチャマップを作成する手順の概要を示した図である。
【図３】ビジビリティテスト（ｖｉｓｉｂｉｌｉｔｙｔｅｓｔ）を説明するための図であって、３次元空間の三角形パッチＰ_０Ｐ_１Ｐ_２と、その法線方向ベクトル、頂点から視点へのベクトルを、カメラの位置、光軸方向、画像平面の位置等と併せて示した図である。
【図４】オクルージョン（ｏｃｃｌｕｓｉｏｎ）処理の手法を説明する図であって、２つの三角形の交差するケースを示した図である。
【図５】オクルージョン（ｏｃｃｌｕｓｉｏｎ）処理の手法を説明する図であって、ある点Ｐが三角形ＡＢＣの中にあるか否かを説明するための図である。
【図６】オクルージョン（ｏｃｃｌｕｓｉｏｎ）処理の手法を説明する図であって、二つの三角形のエッジが交差するか否かの判定を説明するための図である。
【図７】テクスチャマップのテセレーション（ｔｅｓｓｅｌｌａｔｉｏｎ）の概要を説明する図であり、（ａ）は２つの直角２等辺三角形を１組として正方形を構成し、テクスチャ三角形が碁盤目状に並べられている様子、（ｂ）はテクスチャマップ上の直角２等辺三角形のサイズが、一方はｄで、他方がｄ−１であることを示す。
【図８】２次元画像空間上の三角形とテクスチャマップ上の三角形の、頂点の対応関係の最適化とテクスチャデータのマッピングを説明するための図である。
【図９】テクスチャマップ上の三角形を収縮する場合を示したもので、三角形ＡＢＣは三角形Ａ’Ｂ’Ｃ’まで収縮される様子を示した図である。
【図１０】２次元画像上の三角形を拡張する場合を説明するための図であって、三角形Ａ_ｉＢ_ｉＣ_ｉは三角形Ａ_ｉ’Ｂ_ｉ’Ｃ_ｉ’まで拡張され、三角形Ａ_ｉＢ_ｉＣ_ｉの外側周辺領域がテクスチャマップ上にマッピングされることを示す。
【図１１】本発明をソフトウェアにより実施する場合の処理フローの全体を示した図である。
【図１２】図１に示す投影処理部の処理フローであって、オブジェクト表面の３Ｄ三角形を視点画像へ投影するための処理フローを示した図である。
【図１３】図１に示すオクルージョン処理部の処理フローを示した図である。
【図１４】図１に示すテクスチャデータマッピング処理部の処理フローであって、テクスチャ空間の三角形上に最適の視点画像からテクスチャをマッピングする処理フローを示す図である。
【図１５】テクスチャマップ作成法を評価するために用いた山水画のディジタル画像であり、これを円筒形（シリンダ）の３Ｄオブジェクトに貼付し、評価用の３Ｄオブジェクトとして用いたことを示している。
【図１６】図１５の画像を貼付した３Ｄオブジェクトを６方向の視点画像に投影し、その画像から作成したテクスチャマップを用いて３Ｄオブジェクトを描画した結果を示し、（ａ）は従来法によるテクスチャマップを用いた場合の結果、（ｂ）は本発明によるテクスチャマップを用いた場合の結果を示す。
【図１７】本発明の効果を評価するために用いたチェックボード画像（１０２４×５１２ピクセル）である。
【図１８】本発明の効果を評価するために用いたスター画像（１０２４×５１２ピクセル）である。
【図１９】本発明の効果を評価するために用いたＨＤＴＶの画質評価用標準画像（ヨットハーバー、１９２０×１０８０ピクセル）である。
【図２０】本発明の効果を評価するために用いた熊の縫いぐるみをＨＤＴＶカメラで撮像した画像（１９２０×１０８０ピクセル）である。
【図２１】図１７に示した評価用画像（チェックボード画像）を用いた時の標準誤差を、頂点の最適対応を行った場合と行わなかった場合について計測した結果を示した説明図である。
【図２２】図１８に示した評価用画像（スター画像）を用いた時の標準誤差を、頂点の最適対応を行った場合と行わなかった場合について計測した結果を示した説明図である。
【図２３】図１５に示した評価用画像（山水画）を用いた時の標準誤差を、頂点の最適対応を行った場合と行わなかった場合について計測した結果を示した説明図である。
【図２４】図１９に示した評価用画像（ＨＤＴＶ標準画像）を用いた時の標準誤差を、頂点の最適対応を行った場合と行わなかった場合について計測した結果を示した説明図である。
【図２５】図２０に示した評価用画像（ＨＤＴＶ実写映像（熊の縫いぐるみ））を用いた時の標準誤差を、頂点の最適対応を行った場合と行わなかった場合について計測した結果を示した説明図である。
【符号の説明】
１テクスチャマップ作成装置
２投影処理部
３オクルージョン処理部
４テクスチャデータマッピング処理部

Claims

複数視点からのカメラの実写映像を用いて３次元ＣＧソフトウェアの描画用テクスチャマップを作成するに当り、３次元オブジェクトのポリゴンデータとしての各三角形パッチをその面積が最大となる視点画像上の２次元三角形パッチに変換し、これらを２等辺長が２のべき乗あるいは２のべき乗−１の長さを持つ直角２等辺三角形に拡張変換して碁盤目状に配置し、
これらの直角２等辺三角形上に前記２次元三角形パッチの周辺領域のテクスチャデータを含めてマッピングすることを特徴とするテクスチャマップ作成方法。
請求項１に記載のテクスチャマップ作成方法において、
２次元三角形パッチを直角２等辺三角形に変換するに当リ、２次元三角形パッチの内角が最大である頂点を直角２等辺三角形の内角が９０度である頂点に対応させ、
その他の頂点は同一回転方向に対応させることにより三角形頂点を対応させることを特徴とするテクスチャマップ作成方法。
請求項１に記載のテクスチャマップ作成方法において、
直角２等辺三角形上にマッピングする２次元三角形パッチの周辺領域のテクスチャデータは、直角２等辺三角形上の距離として１±０．５ピクセルの距離内のテクスチャデータとすることを特徴とするテクスチャマップ作成方法。
請求項１に記載のテクスチャマップ作成方法において、
予め、複数の各視点から３次元オブジェクト上の三角形パッチが見えるか否かをチェックする方法として、ベクトル演算手法を用いることを特徴とするテクスチャマップ作成方法。
請求項１に記載のテクスチャマップ作成方法において、
２次元画像上の三角形のテクスチャデータから、テクスチャマップ上のテクスチャデータに変換するに当り、キュービック補間法を用いることを特徴とするテクスチャマップ作成方法。
複数視点からのカメラの実写映像を用いて３次元ＣＧソフトウェアの描画用テクスチャマップを作成するに当り、３次元オブジェクトのポリゴンデータとしての各三角形パッチをその面積が最大となる視点画像上の２次元三角形パッチに変換し、これらを２等辺長が２のべき乗あるいは２のべき乗−１の長さを持つ直角２等辺三角形に拡張変換して碁盤目状に配置する機能、
これらの直角２等辺三角形上に前記２次元三角形パッチの周辺領域のテクスチャデータを含めてマッピングする機能を備えたことを特徴とするテクスチャマップ作成用プログラム。
請求項６に記載のテクスチャマップ作成用プログラムにおいて、
２次元三角形パッチを直角２等辺三角形に変換するに当リ、２次元三角形パッチの内角が最大である頂点を直角２等辺三角形の内角が９０度である頂点に対応させる機能、
その他の頂点は同一回転方向に対応させることにより三角形頂点を対応させる機能を含むことを特徴とするテクスチャマップ作成用プログラム。
請求項６に記載のテクスチャマップ作成用プログラムにおいて、
直角２等辺三角形上にマッピングする２次元三角形パッチの周辺領域のテクスチャデータは、直角２等辺三角形上の距離として１±０．５ピクセルの距離内のテクスチャデータとすることを特徴とするテクスチャマップ作成用プログラム。
請求項６に記載のテクスチャマップ作成用プログラムにおいて、
予め、複数の各視点から３次元オブジェクト上の三角形パッチが見えるか否かをチェックする方法として、ベクトル演算手法を用いることを特徴とするテクスチャマップ作成用プログラム。
請求項６に記載のテクスチャマップ作成用プログラムにおいて、
２次元画像上の三角形のテクスチャデータから、テクスチャマップ上のテクスチャデータに変換するに当り、キュービック補間法を用いることを特徴とするテクスチャマップ作成用プログラム。
複数視点からのカメラの実写映像を用いて３次元ＣＧソフトウェアの描画用テクスチャマップを作成する装置であって、
３Ｄオブジェクトを複数視点から撮像して複数の画像を取得する手段と、
取得された複数の画像の中から３Ｄオブジェクト表面の三角形の面積が最大となる視点の画像を用いて、３Ｄオブジェクト表面の三角形データを２次元画像上の三角形データに変換し、その２次元三角形の頂点座標およびテクスチャデータから、テクスチャマップ上の直角２等辺三角形の座標値とテクスチャデータを計算によって求める手段を備え、テクスチャ空間上の各三角形に最適の視点画像からテクスチャデータをマッピングするようにしたことを特徴とするテクスチャマップ作成装置。
請求項６から請求項１０のいずれかのテクスチャ作成用プログラムを内蔵して成るテクスチャマップ作成装置。