JP2000020735A - テクスチャ画像生成装置 - Google Patents

Abstract

(57)【要約】 【課題】 特徴点対応に基づく３次元オブジェクト復元
処理を用いた任意視点の画像表示処理に用いるテクスチ
ャ画像データとして、高品質かつ記憶容量の少ないテク
スチャ画像データを自動生成するテクスチャ画像生成装
置を提供する。 【解決手段】 特徴点配置部３１は３次元オブジェクト
から抽出した特徴点を座標空間に配置し、投影面生成部
３２はすべての特徴点を包含するように可展面・平面の
組み合わせである投影面を形成する。投影処理部３４は
投影中心点から各特徴点を通る投影線を引いて投影面上
の投影点を求める。分割部４０により投影面を投影点を
基に各小面に分割し、展開部５０によって平面に展開す
る。画像書き込み部６０により展開平面に対して撮影画
像を書き込む。書き込みにあたり、撮影画像として歪み
の少ない画像を選択し、展開平面上の各投影点と撮影画
像上の特徴点を基に面を当てはめて書き込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テクスチャ画像生
成装置に関する。特に、特徴点対応に基づく３次元形状
復元処理を用いた任意視点の画像表示方式において、高
品質かつ記憶容量が少なくて済むテクスチャ画像を自動
生成できるテクスチャ画像生成装置に関する。

【０００２】

【従来の技術】近年のコンピュータシステムの高性能
化、マルチメディア処理技術の発達により、パーソナル
コンピュータ等においても高度な３次元コンピュータグ
ラフィックス（以下、ＣＧと略記する）が処理できる環
境が整いつつある。３次元ＣＧ技術を利用した電子ショ
ッピング、電子博物館など、物体をコンピュータ画面上
に現実感をもって再現するシステムの構築において、実
在する物体を如何に効率良くコンピュータ上の３次元画
像データとして取り込むかが重要な課題となっている。

【０００３】３次元物体をコンピュータに取り込むため
のデータ生成の手法として最も簡単な方式は、３次元物
体を幾つかの視点から撮影した２次元画像データを生成
して用意しておき、再現時には利用者の視点に応じて最
も近い視点から撮影した２次元画像をディスプレイに表
示する方式である。しかし、この方式によれば、撮影し
た視点以外からの視点による３次元物体の画像を表示で
きないという問題があった。また、あくまでも２次元画
像であるので、３次元ＣＧデータとして生成されている
他の３次元物体との画像合成が実行しにくいという問題
もあった。そこで、取り込んだ３次元物体を任意の視点
から表示可能とするためには、物体を複数の視点から撮
影した２次元画像データに基づいて物体の３次元形状を
３次元画像データとして復元し、任意視点に対する３次
元形状の投影画像を生成して表示することが必要とな
る。

【０００４】ここで、撮影した２次元画像データから物
体の３次元形状を３次元画像データとして復元する方式
として幾つか提案されているが、代表的な方式として、
特徴点に基づく方式がある。この方式による３次元画像
データの生成処理は、図１９のフローチャートに示すよ
うに以下の処理ステップから構成される。また、図２０
に従来の特徴点に基づく３次元画像データ生成の概念を
示す。

【０００５】まず、撮影画像を読み込み、特徴点を抽出
する（ステップＳ１９０１）。この特徴点の抽出にあた
り、撮影した２次元画像の中で明度が変化している箇所
を選んで特徴点とすることが好ましい。この抽出処理
は、明度の変化を調べることによりコンピュータで自動
的に特徴点を抽出することにより実行しても良く、人手
で指定することにより実行しても良い。この様子を図２
０に示す。この例では図２０（ａ）の撮影画像から図２
０（ｂ）に示した４つの特徴点が抽出された。

【０００６】次に、撮影画像間で、抽出した特徴点同士
の対応付けを行う（ステップＳ１９０２）。この特徴点
同士の対応付けにあたっては、撮影画像の撮影位置関
係、画像の類似性、抽出特徴点間の位置関係を利用すれ
ば、コンピュータで自動的に処理することが可能であ
る。また、人手で指定することにより実行しても良い。
図２０の例では、図２０（ｃ）のように各特徴点１〜特
徴点４の対応付けが行われた。

【０００７】次に、特徴点の対応関係からステレオ計測
の原理により各特徴点の３次元座標を求める（ステップ
Ｓ１９０３）。この処理により、各特徴点は３次元空間
内の一点として表現される。

【０００８】次に、３次元空間内に表現された各特徴点
間に対して面を割り当て、多面体を形成する（ステップ
Ｓ１９０４）。ここで、面を形成する特徴点の組み合わ
せは任意の組み合わせではなく、再生物体の外表面を形
成するように選択されなければならない。図２０の例で
は、図２０（ｄ）のように面が割り当てられ、４面体が
形成された。

【０００９】次に、各面のテクスチャを生成する（ステ
ップＳ１９０５）。テクスチャの生成にあたっては、撮
影画像の模様を参照すれば各面に貼るテクスチャが計算
できる。

【００１０】以上のステップＳ１９０１〜ステップＳ１
９０５に示した処理により、撮影画像から３次元画像デ
ータが生成できる。図２０の例では、図２０（ｅ）に示
すように元の３次元物体の３次元画像データが生成でき
る。

【００１１】一方、生成した３次元画像データを用いた
３次元物体のコンピュータ画面上での再生処理は、図２
１のフローチャートに示すように以下の処理ステップか
ら構成される。

【００１２】まず、利用者の物体に対する視点の位置を
指定する。つまり、物体に対する視点の方向と距離が指
定される（ステップＳ２１０１）。次に、指定された物
体に対する視点の方向と距離に応じた投影面に対する各
特徴点の投影面上の位置を計算し、投影画像を得る（ス
テップＳ２１０２）。この段階では、まだテクスチャマ
ッピング処理は行われていない。

【００１３】次に、投影画像の各面に対してテクスチャ
を貼り込む（ステップＳ２１０３）。ここで、テクスチ
ャの貼り込みにあたっては、投影された各面の大きさ、
形、方向を計算してテクスチャを調整して貼り込む。

【００１４】最後に、ライティング、トレーシング、シ
ェーディングなど必要な特殊効果処理を施した後、コン
ピュータ画面上への表示が行われる（ステップＳ２１０
４）。

【００１５】以上のステップＳ２１０１〜ステップＳ２
１０４に示した処理により、生成した３次元画像データ
を用いてコンピュータ画面上へ３次元物体の任意の視点
における画像が表示できる。

【００１６】

【発明が解決しようとする課題】３次元画像として取り
込む物体は、その形状、模様も複雑なものが多く、ま
た、一層優れた仮想現実を実現するために高精細なデー
タが要求される。この場合、必要とされるデータ容量が
膨大なものとなるので、３次元画像データの記憶容量の
低減が重要な課題となる。また、３次元画像の再生は、
記録媒体やネットワークを介して時間的にも空間的にも
離れた場所で行う必要があり、回線費用の低減や転送時
間の短縮のために、一層のデータ容量の削減が求められ
ている。

【００１７】ここで、特徴点とその接続関係は、ＸＹＺ
値および特徴点の対応番号のデータセットで表現される
ので、通常、テクスチャに関するデータ量と比べ、特徴
点に関するデータ量は十分小さいものである。従って、
３次元画像データのデータ量の削減は、テクスチャに関
するデータ量を如何に削減するかという点が重要な課題
となる。

【００１８】以下に挙げる２つの従来のテクスチャ画像
生成処理方式には、それぞれデータ量低減の観点からは
問題点を有するものであった。第一番目のテクスチャ画
像生成処理方式としては、３次元画像データ生成時に
は、テクスチャデータを３次元形状に貼り込んだ形の３
次元物体としては復元せずに、撮影された画像データを
そのまま記憶し、表示処理時に指定された視点に応じて
各面に貼るテクスチャを生成する方式がある。この方式
によれば、指定された視点に近い視点から撮影された画
像データを用いて動的にテクスチャデータを生成すれば
良いが、あらゆる視点から撮影した画像データが必要と
なり、テクスチャ処理に必要となる画像データは膨大な
容量となる問題が発生する。

【００１９】第二番目のテクスチャ画像生成処理方式と
しては、各面ごとにその面に貼るテクスチャをそのまま
画像（テクスチャ画像）として記憶する方式がある。こ
れは、図２２に示すように、多面体を形成する各面を切
り離して平面上に配置しておき、その上に撮影画像の模
様を描き込んで記憶するものである。しかし、このテク
スチャ処理方式によれば、テクスチャ関連のデータとし
て保持するデータの中に無駄な部分が多く含まれ、余分
な記憶容量が必要になってしまう問題があった。つま
り、一般に多面体を平面に展開すると、図２２に示した
ように面と面の間に無駄な隙間が多く発生してしまう。
この隙間を埋めるように面を配置することは容易ではな
く、また、画像の品質向上のために面の総数を増やすに
つれて生じる隙間が増加し、無駄な記憶容量がさらに増
加する問題が発生する。

【００２０】ここで、隙間を埋めるために、面の形を適
宜に変形させることは可能であるが、画像は画素を単位
とする２次元配列データとして表現されるため、面の形
が元の形から歪むにつれ、画素を単位とする量子化誤差
の影響が大きくなり、再生画像の品質が劣化するという
問題が生じる。

【００２１】本発明は、上記従来のテクスチャ画像生成
処理方式の問題点に鑑み、特徴点対応に基づく３次元オ
ブジェクト復元処理を用いた任意視点の画像表示処理に
用いるテクスチャ画像データであって、高品質かつ記憶
容量の少ないテクスチャ画像データを自動生成するテク
スチャ画像生成装置を提供することを目的とする。

【００２２】

【課題を解決するための手段】上記課題を解決するため
に本発明のテクスチャ画像生成装置は、入力部と、投影
部と、分割部と、展開部と、画像書き込み部とを備え、
前記入力部は、３次元オブジェクトの特徴点のデータと
外表面の２次元撮影画像データの入力を受け付け、前記
投影部は、前記入力された３次元オブジェクトの特徴点
を、可展体面である既知形状面であって前記特徴点を包
含する投影面に投影して投影点を求め、前記分割部は、
前記投影面を前記特徴点の投影点により小面に分割し、
前記展開部は、前記投影面を平面に展開して前記小面か
らなる展開平面を生成し、前記画像書き込み部は、前記
展開平面上の各小面に対して、対応する特徴点が撮影さ
れた前記３次元オブジェクトの外表面の撮影画像を書き
込むことによりテクスチャ画像を生成することを特徴と
する。

【００２３】この構成により、３次元オブジェクトの特
徴点を可展体面である既知形状面の投影面に投影して平
面に展開することができ、前記展開平面への撮影画像デ
ータの書き込みにより効率の良いテクスチャ画像の生成
を行うことができる。

【００２４】次に、前記投影部は投影面調整部を備え、
前記投影面調整部が、前記投影部が生成する投影面の種
類とサイズを、前記特徴点により形成される３次元オブ
ジェクトの形状に合わせるように調整することにより、
前記投影面の形状と前記特徴点により形成される３次元
オブジェクトとの形状の歪みを最小化することが好まし
い。

【００２５】この構成により、投影面の種類とサイズを
特徴点により形成される３次元オブジェクトの形状に合
わせることができるため、投影により生じる投影面上に
形成される投影形成面と元の３次元オブジェクトの外表
面との歪みを最小化することができ、テクスチャ画像の
品質を向上することができる。

【００２６】次に、前記投影部は投影中心点適正確認部
を備え、前記投影中心点適正確認部により、前記画像書
き込み部による前記展開平面上の各小面への前記３次元
オブジェクトの外表面の撮影画像の書き込みをモニタ
し、前記展開平面上の各小面と、対応する特徴点が撮影
された撮影画像との対応が正しく得られているか確認す
ることができることが好ましい。

【００２７】この構成により、３次元オブジェクトの特
徴点の既知形状面への投影にあたり、形成される投影面
上において３次元オブジェクトの各面が重ならないこと
が保証でき、３次元オブジェクトのすべての面を平面上
に展開することができる。

【００２８】なお、投影中心点として、３次元オブジェ
クトの重心点、原点などあらかじめ定められた点などを
採用することができ、投影中心点適正確認部により投影
中心点の適正が確認できない場合は、投影中心点の選定
をやり直す。

【００２９】次に、前記投影部が投影中心点の指定を入
力する投影中心点指定部を備え、前記投影中心点指定部
からの指定に基づいて前記投影中心点を定めることが好
ましい。

【００３０】この構成により、投影中心点の指定を装置
利用者が行なうことができ、状況に応じてテクスチャ画
像生成装置の処理をチューニングすることができる。次
に、前記３次元オブジェクトの特徴点をグループに分け
る特徴点グループ情報が付され、前記投影部が、前記特
徴点グループ情報に従い、それぞれの特徴点のグループ
に対してそれぞれ投影処理を行うことが好ましい。

【００３１】この構成により、復元される３次元オブジ
ェクトの形状が複雑な場合に、各部分の形状が処理しや
すいようなオブジェクト部分に分けて投影処理すること
ができ、テクスチャ画像の品質を向上させることができ
る。

【００３２】次に、前記投影部が、前記特徴点の投影処
理によって形成される投影形成面のうち、前記投影面上
の可展面および平面にまたがって投影される越境面があ
る場合に、前記越境面を形成する特徴点を投影した際
に、特徴点のすべてが可展面上に投影されるように可展
面を調整する可展面投影調整部を備え、前記越境面の特
徴点の投影点のうち、前記可展面上にある投影点を可展
面境界投影点とし、前記平面上にある投影点を平面境界
投影点とし、前記可展面投影調整部は、前記投影中心点
から前記平面境界投影点を通る投影線を延長して前記可
展面の延長面と交わる点を可展面調整投影点として求
め、前記分割部は、前記可展面の境界稜線を前記可展面
境界投影点と前記可展面調整投影点とを順に結ぶ線と
し、前記平面の境界稜線を前記平面境界投影点を順に結
ぶ線として前記可展面と平面を分割することが好まし
い。

【００３３】この構成により、既知形状面上に投影され
た３次元オブジェクトの各面が可展面と平面にまたがっ
て形成されることがなく、可展面と平面の境界稜線を投
影形成面間の境界稜線とすることができ、歪みの少ない
テクスチャ画像を得ることができる。

【００３４】次に、前記投影部が、前記特徴点の投影処
理によって形成される投影形成面のうち、前記投影面上
の可展面および平面にまたがって投影される越境面があ
る場合に、前記越境面を形成する特徴点を投影した際
に、特徴点のすべてが平面上に投影されるように平面を
調整する平面投影調整部を備え、前記越境面の特徴点の
投影点のうち、前記可展面上にある投影点を可展面境界
投影点とし、前記平面上にある投影点を平面境界投影点
とし、前記平面投影調整部は、前記投影中心点から前記
可展面境界投影点を通る投影線を延長して前記平面の延
長面と交わる点を平面調整投影点として求め、前記分割
部は、前記平面の境界稜線を前記平面境界投影点と前記
平面調整投影点とを順に結ぶ線とし、前記可展面の境界
稜線を前記可展面境界投影点を順に結ぶ線として前記可
展面と平面を分割することが好ましい。

【００３５】この構成により、既知形状面上に投影され
た３次元オブジェクトの各面が可展面と平面にまたがっ
て形成されることがなく、可展面と平面の境界稜線を投
影形成面間の境界稜線とすることができ、歪みの少ない
テクスチャ画像を得ることができる。

【００３６】次に、前記投影部は、前記特徴点の投影処
理によって形成される投影形成面のうち、前記投影面上
の第一の可展面と第二の可展面にまたがって投影される
越境面がある場合に、前記越境面を形成する特徴点を投
影した際に、特徴点のすべてが前記第一の可展面上に投
影されるように可展面を調整する可展面投影調整部を備
え、前記越境面の特徴点の投影点のうち、前記一の可展
面上にある投影点を第一の可展面境界投影点とし、前記
第二の可展面上にある投影点を第二の可展面境界投影点
とし、前記可展面投影調整部は、前記投影中心点から前
記第二の可展面境界投影点を通る投影線を延長して前記
第一の可展面の延長面と交わる点を可展面調整投影点と
して求め、前記分割部は、前記第一の可展面の境界稜線
を前記第一の可展面境界投影点と前記可展面調整投影点
とを順に結ぶ線とし、前記第二の可展面の境界稜線を前
記第二の可展面境界投影点を順に結ぶ線として前記第一
の可展面と第二の可展面を分割することが好ましい。

【００３７】この構成により、既知形状面上に投影され
た３次元オブジェクトの各面が２つの可展面間にまたが
って形成されることがなく、第一の可展面と第二の可展
面の境界稜線を投影形成面間の境界稜線とすることがで
き、歪みの少ないテクスチャ画像を得ることができる。

【００３８】次に、前記展開部は、前記可展面の平面へ
の展開処理において、特徴点の投影点を結ぶ稜線に沿っ
て切断・展開することが好ましい。この構成により、可
展面の切断・展開処理において、投影された特徴点によ
り形成される面が途中から切断されてしまうことがな
く、投影形成面間の稜線をもって切断することができ、
歪みの少ないテクスチャ画像を得ることができる。

【００３９】次に、前記分割部は、前記投影面の分割処
理において、前記特徴点の投影点を頂点とする凸包を生
成し、前記凸包を構成する小面をもって前記投影面を分
割した小面と近似して扱うことが好ましい。

【００４０】この構成により、特徴点の投影点を頂点と
する凸包をもって投影面と近似して平面に展開すること
ができ、効率良く、かつ、データ容量の無駄の少ないテ
クスチャ画像を生成することができる。

【００４１】次に、前記画像書き込み部は、前記展開平
面への前記３次元オブジェクトの撮影画像を書き込む処
理において、書き込むそれぞれの小面の撮影画像のデー
タとして、書き込む小面の面積が最も大きく撮影されて
いる画像データを用いることが好ましい。

【００４２】この構成により、実物の３次元オブジェク
ト外表面のテクスチャに最も近いテクスチャ画像を生成
することができる。次に、前記画像書き込み部は、前記
展開平面への前記３次元オブジェクトの撮影画像を書き
込む処理において、書き込むそれぞれの小面の撮影画像
のデータとして、書き込む小面を最も近い視点から撮影
した画像データを用いることが好ましい。

【００４３】この構成により、指定の視点から見た場合
の３次元オブジェクト外表面のテクスチャに最も近いテ
クスチャ画像を生成することができる。次に、前記画像
書き込み部は、前記展開平面への前記３次元オブジェク
トの撮影画像を書き込む処理において、書き込むそれぞ
れの小面の撮影画像のデータの形状を、展開平面上の対
応する小面の形状に合うようにアフィン変換して書き込
むことが好ましい。

【００４４】この構成により、可展面および平面からな
る既知形状への投影処理において実際の３次元オブジェ
クトの面とその投影形成面との形状の歪みを調整するこ
とができ、生成されるテクスチャ画像の歪みも矯正する
ことができる。

【００４５】次に、本発明のテクスチャ画像生成装置を
実現する処理プログラムを記録したコンピュータ読み取
り可能な記録媒体は、３次元オブジェクトの特徴点のデ
ータと外表面の撮影画像データの入力を受け付ける入力
処理ステップと、前記入力された３次元オブジェクトの
特徴点を、可展体面である既知形状面であって前記特徴
点を包含する投影面に投影して投影点を求める投影処理
ステップと、前記投影処理ステップにより投影した投影
面を前記特徴点の投影点により小面に分割する分割処理
ステップと、前記投影面を平面に展開して前記小面から
なる展開平面を生成する展開処理ステップと、前記展開
平面上の各小面に対して、対応する特徴点が撮影された
前記３次元オブジェクトの外表面の撮影画像を書き込む
画像書き込み処理ステップとを備え、テクスチャ画像を
生成することを特徴とする処理プログラムを記録したこ
とを特徴とする。

【００４６】この処理プログラムをコンピュータに読み
取らせることより、コンピュータを利用して、３次元オ
ブジェクトの特徴点を可展体面である既知形状面の投影
面に投影して平面に展開することができ、前記展開平面
への撮影画像データの書き込みにより効率の良いテクス
チャ画像の生成を行うテクスチャ画像生成装置を構成す
ることができる。

【００４７】

【発明の実施の形態】本発明のテクスチャ画像生成装置
について図面を参照しつつ説明する。まず始めに、本発
明のテクスチャ画像生成装置の処理方式の基本的な考え
方を以下に説明する。

【００４８】従来技術の説明において記述したように、
テクスチャ画像は、３次元オブジェクトの外表面の展開
面に対して３次元オブジェクトの外表面を撮影して得た
テクスチャデータを描き込んだものであるので、展開平
面間の隙間が少ない方がデータ容量は小さくて済む。い
ま、３次元オブジェクトの形状が既知であれば、画像デ
ータ生成処理において事前に３次元オブジェクトの平面
への展開方法を検討して展開平面間の隙間が少なくなる
ように最適化しておくことが可能となる。

【００４９】例えば、３次元オブジェクトの形状が円筒
体であるとすると、平面への展開は、図１に示すよう
に、上面、側面、下面の３つの部分に切り離すだけで済
む。この展開平面にテクスチャ画像を書き込めば高品質
で記憶容量が少なくて済むテクスチャ画像とすることが
できる。この性質は、展開対象となった円筒体である３
次元オブジェクトの形状が、可展体であったことに起因
している。このように、３次元オブジェクトの形状が既
知の可展体面であれば、所定の手順で展開した展開平面
間の隙間が少なくなるので高品質かつ記憶容量の少ない
テクスチャ画像とすることができる。

【００５０】ここで、可展面とは、一般に狭義には平面
に展開可能な曲面を指す。例えば、円筒体の外表面は可
展面である側面と平面である上面および下面の組み合わ
せである。本発明で言う「可展体」とは、その外表面が
可展面同士の組み合わせ、または、可展面と平面の組み
合わせであり適切に平面に展開できるものをいう。つま
り、展開処理による面間の切断境界線は可展面同士の
間、または可展面と平面との間のみ生じ、平面同士の間
には生じないものを言う。「可展体面」とは、可展体を
形成する面をいい、後述する投影処理においては投影面
となる可展体の外表面をいう。

【００５１】本発明の可展体の例としては、図２に示す
ように、上記の円筒体に加え、柱体、錐体、台錐体があ
る。ここで、柱体には円柱体、楕円柱体などが含まれ、
錐体には円錐体、楕円錐体などが含まれ、台錐体には台
円錐体などが含まれる。また、可展面同士の組み合わせ
からなる可展体としては、２つの錐体を組み合わせたも
の、球体などがある。なお、球体面は厳密には可展面で
はないが、展開平面と球面の一対一の対応に注目すれ
ば、球面を緯度と経度に着目して方形の平面に展開する
ことが可能である。しかし、方形に展開したときに投影
面上の形は大きく歪むことが予想されるので、球面を投
影面として採用することはかならずしも好ましいとは言
えない。

【００５２】ところで、画像処理で扱う３次元オブジェ
クトは一般には複雑な形状が多く、上記のような可展体
とはなっていない。そこで、３次元オブジェクトを上記
の可展体面からなる既知形状の中に入れ、その既知形状
を投影面として、図３に示すように内部の投影中心点か
ら３次元オブジェクトを投影面に投影し、その投影面を
扱うことを考える。

【００５３】図３において、３０１は投影面であり、可
展面及び平面の組み合わせである円筒体面である。３０
２は投影中心点、３０３は投影される３次元オブジェク
ト、３０４は３次元オブジェクト外表面のうちの注目す
る一つの面である。投影処理は、まず投影中心点３０２
から３次元オブジェクト３０３の各特徴点に向けて半直
線が引かれる。これら半直線をそのまま投影面３０１ま
で延長し、投影面３０１上の投影点を求める。それぞれ
の特徴点に対するそれぞれの投影点が得られ、３次元オ
ブジェクトの面３０４に対する投影面３０１上に投影さ
れた面３０４’が得られる。このように、３次元オブジ
ェクト３０３のすべての特徴点を投影面３０１上に投影
すれば、展開すべき元の３次元オブジェクトの特徴点に
対応する投影点が得られる。ここで、投影面をそれら投
影点を頂点とする各面（投影形成面）の集合とみると、
３次元オブジェクトは投影処理の結果、可展体面である
投影面３０１の形状を持つ物体として表現できる。投影
面３０１は、図１に示したように平面に展開でき、展開
平面は余分な隙間がないものとなるので、この展開平面
に対して撮影画像のテクスチャを描き込んで作成したテ
クスチャ画像をもって３次元オブジェクトに対するテク
スチャ画像とすれば、３次元オブジェクトのテクスチャ
画像は、高品質かつ記憶容量の少ないものとすることが
できる。

【００５４】３次元オブジェクトの形状は一般には未知
であり、その各外表面もテクスチャ画像と合わせて３次
元特徴点から推定（もしくは算出）する必要がある。上
述したように、３次元オブジェクトは投影処理の結果、
投影点を頂点とする物体として表現されるので、逆に投
影面を投影点を頂点とする小面に分割し、各小面を構成
する投影点に対応する特徴点の組みを３次元オブジェク
トの外表面とみなすことで、外表面の推定を行うことが
できる。これにより、テクスチャ画像と対応する外表面
が得られる。

【００５５】以上、本発明のテクスチャ画像生成装置に
おけるテクスチャ画像生成の基本的な流れをまとめる
と、図４に示すように、３次元オブジェクト（ステップ
Ｓ４０１）の画像データから、３次元オブジェクト形状
の特徴点の３次元点列での表現（ステップＳ４０２）と
し、投影処理により投影面上での投影点列での表現（ス
テップＳ４０３）とし、投影点列を基に面を形成して投
影面上の投影形成面での表現（ステップＳ４０４）と
し、展開処理により展開平面上の投影形成面での表現
（ステップＳ４０５）とし、最後に撮影画像を投影面に
当てはめ、テクスチャ画像（ステップＳ４０６）として
生成する。

【００５６】上記のように、可展体面からなる既知形状
である投影面への投影を利用したテクスチャ画像の生成
処理ができるテクスチャ画像生成装置を実現すれば、高
品質かつ記憶容量の少ないテクスチャ画像を生成でき
る。

【００５７】以上に示した本発明における基本的な処理
方式を実現した実施形態１のテクスチャ画像生成装置を
以下に示す。本実施形態１のテクスチャ画像生成装置の
全体構成の概略と本装置による処理流れの全体像を図面
を参照しつつ説明する。図５は、本装置の概略構成図を
示している。図６は本装置が扱うデータ構造例を示して
いる。

【００５８】図５に示すように、本実施形態１のテクス
チャ画像生成装置は、大別して入力部１０、特徴点抽出
部２０、投影部３０、分割部４０、展開部５０、画像書
き込み部６０、出力部７０を備えている。なお、図示し
ていないが、システム全体の制御処理に必要な制御部、
メモリ、モニタ、デバイス類は装備しているものとす
る。

【００５９】以下に、各部の動作を順を追って説明す
る。入力部１０によるデータ入力処理を説明する。図６
ａに本発明のテクスチャ画像生成装置の扱うデータ構造
例を示す。データ１００は、画像情報領域１０１、特徴
点情報領域１０２、投影情報領域１０３、投影面情報領
域１０４、その他情報領域１０５およびヘッダ１０６を
備えている。

【００６０】データ１００の構造におけるそれぞれの領
域には、図６ｂに示したようなデータが与えられる。図
６ｂに示すように、入力データは、必須の情報として撮
影画像情報を備え、任意の情報として特徴点３次元座標
情報、特徴点グループ情報、投影中心情報、投影面情報
を備えている。ここで、特徴点グループ情報とは、特徴
点の集合を複数の小グループに分ける情報であり、それ
ぞれの特徴点の小グループごとに適切な投影面と投影中
心点を個別に選択して投影処理する場合に利用する情報
である。この特徴点グループ情報を利用して特徴点小グ
ループごとに適切な投影面と投影中心点を個別に選択し
て投影処理するものは実施形態２として後述する。

【００６１】次に、特徴点抽出部２０による特徴点抽出
処理を説明する。特徴点抽出部２０は、入力データの特
徴点情報として特徴点３次元座標情報が与えられている
場合には、その特徴点３次元座標情報をもって特徴点と
し、投影部３０に渡す。特徴点３次元座標情報が与えら
れていない場合には、撮影画像情報から明るさが変化し
ている箇所を検出し、その点を特徴点として自動的に抽
出し、ステレオ計測の原理から３次元オブジェクトの特
徴点を座標空間上の３次元点列として計算する。

【００６２】特徴点抽出部２０は、撮影画像の状態によ
っては画像の明るさの変化による特徴点の抽出が困難な
場合もあることに鑑み、特徴点指定部２１を備えること
が好ましい。装置利用者は、特徴点指定部２１を介して
自ら必要に応じて特徴点の指定を行うことができ、特徴
点抽出処理をチューニングできることが好ましい。

【００６３】次に、投影部３０による投影処理を説明す
る。図５に示すように投影部３０は、特徴点配置部３
１、投影面生成部３２、投影中心点指定部３３、投影処
理部３４を備えている。

【００６４】特徴点配置部３１は、特徴点抽出部２０の
特徴点抽出処理で得られた特徴点データをもとに３次元
座標空間上に配置する。投影面生成部３２は、入力デー
タ１００中に投影面情報が与えられている場合は、その
指定に従った種類の投影面を選択し、また投影面情報が
ない場合はデフォルトとして特定の投影面、ここでは円
筒面を選択する。選択した種類の投影面をもって特徴点
配置部３１の配した特徴点をすべて含むように投影面を
生成する。

【００６５】投影中心点指定部３３は、入力データ１０
０中に投影中心情報が与えられている場合は投影中心情
報に従って投影処理における投影中心点を決定し、ま
た、投影中心情報が与えられていない場合はデフォルト
として特定の投影中心点の計算、ここでは特徴点列の重
心を計算して指定する。

【００６６】投影処理部３４は、特徴点の投影処理を実
行する。投影中心点から各特徴点に向けて投影線が引か
れ、その投影線を投影面まで延長し、投影面との交点を
特徴点の投影点とする。

【００６７】次に、分割部４０による分割処理を説明す
る。分割部４０は、投影部３０により投影処理された投
影面を、投影面上に形成されている特徴点の投影点を基
に分割する。つまり、投影面上で投影点を頂点とした小
面を形成して行き、その形成された小面により投影面全
体を埋めることにより分割する。

【００６８】分割部４０による上記の投影面の分割処理
は、投影面上に形成されている投影点の３次元点列の凸
包を求めることによっても近似的に実現できる。ここ
で、３次元点列の凸包とは、図７に示すように、３次元
点列を空間上に配してそれらすべてを内側に含む巨大な
ゴム風船をできる限り縮小して得られる形状のことであ
る。例えば円筒面など凸形状の面上に分布している点列
の凸包は、点の数がある程度あれば円筒面にほぼ近似で
き、円筒面を多角形の面によって分割したものと言える
からである。

【００６９】次に、展開部５０による展開処理を説明す
る。展開部５０は投影面を事前に最適化された平面に展
開する。ここで、投影面は可展体面であるので、それぞ
れ隙間なく展開することができることとなる。投影面が
円筒面の場合は、可展面である側面、平面である上面、
下面により構成されているので図１に示したように展開
が可能である。展開された平面上において、３次元オブ
ジェクトのそれぞれの特徴点に対応する投影点の位置が
決まることとなる。

【００７０】次に、画像書き込み部６０により撮影画像
のテクスチャを当てはめ、テクスチャ画像を生成する。
面の当てはめは、入力された撮影画像上の特徴点と、そ
れに対応する展開平面上における投影点とを一致するよ
うに重ねて割り当てることにより自動的に行うことがで
きる。

【００７１】出力部７０は、生成したテクスチャ画像を
出力する部分である。出力データの例を図６ｂに示す。
出力データのそれぞれの領域には、必須の情報として、
テクスチャ画像情報、特徴点の接続関係情報を備えてい
る。任意の情報として投影中心情報、投影面情報、特徴
点グループ情報がある。特徴点グループ情報は入力情報
で説明したように、特徴点の集合を複数の小グループに
分ける情報であり、それぞれの特徴点の小グループごと
に適切な投影面と投影中心点を個別に選択して投影処理
を行った場合に利用する情報である。この特徴点グルー
プ情報を利用するものは実施形態２として後述する。

【００７２】以上、上記のシステム構成および処理の流
れにより、高品質かつ記憶容量の小さいテクスチャ画像
を生成することができることを特徴とするテクスチャ画
像生成装置が提供される。

【００７３】なお、上記例では、投影面として円筒面を
用いて説明したが、その他の円錐面などの可展体面であ
っても良いことは言うまでもない。 （実施形態２）実施形態２のテクスチャ画像生成装置
は、実施形態１と同様、可展体面からなる既知形状面を
投影面として投影・展開し、展開平面に撮影画像のテク
スチャを貼り込んでテクスチャ画像を自動生成するもの
であるが、実施形態１のテクスチャ画像生成装置の投影
部をさらに高性能化した投影部を備えたものである。

【００７４】本実施形態２のテクスチャ画像生成装置の
全体構成の概略と本装置による処理流れの概略を図面を
参照しつつ説明する。図８は、実施形態２のテクスチャ
画像生成装置の概略構成図を示している。図８に示すよ
うに、本実施形態２の装置では、実施形態１の構成にお
ける投影部３０に代え、投影部３０ａを備えている。投
影部３０ａは実施形態１の投影部３０の構成に加えてさ
らに、投影面調整部３５、投影中心点適正確認部３６を
備えた構成となっている。投影部３０ａの投影面調整部
３５、投影中心点適正確認部３６を除いた各構成要素
は、実施形態１で同じ番号を付して説明した各構成要素
と同様であるのでここでの説明は省略し、投影部３０ａ
を中心に説明する。なお、実施形態１と同様、図示して
いないが、システム全体の制御処理に必要なメモリ、デ
バイス類などは装備している。

【００７５】まず、投影面調整部３５の働きを以下に説
明する。投影面調整部３５は、投影処理に用いる投影面
の種類の選択、投影面形状・サイズの調整を行うもので
ある。テクスチャ画像生成装置で扱う３次元オブジェク
トの形状は、一般に多種多様なものが予想される。投影
処理において、３次元オブジェクトの形状と投影面の形
状の違いのために、投影処理の結果、形成される投影形
成面の形状は実際の３次元オブジェクトの面の形状から
少し歪むこととなる。このような歪みを抑えるために投
影面として３次元オブジェクトにできるだけ近い可展体
面を選ぶことが好ましい。投影面調整部３５は、投影処
理に用いる投影面の種類として３次元オブジェクト形状
に近い適切なものを選択し、さらに３次元オブジェクト
形状に近くなるように可展体面のサイズを調整する。投
影面の種類の選定基準としては、例えば、特徴点から投
影面までの距離の総和を計算し、もっとも値の小さくな
る投影面の種類を選ぶ方法がある。

【００７６】また、投影面調整部３５は、３次元オブジ
ェクトの形状が複雑な場合は、３次元オブジェクトを幾
つかのオブジェクト部分に分け、それぞれのオブジェク
ト部分の形状に対して適切な投影面の選択・サイズの調
整ができる。

【００７７】上記のオブジェクト部分それぞれに投影面
を割り当てる処理を以下詳しく説明する。まず、入力部
１０から入力データが入力される（図９ステップＳ９０
１）。ここでは、図６ｂにおいて示した入力データ中の
特徴点情報として、特徴点グループ情報が与えられてい
たとする。

【００７８】投影面調整部３５は、特徴点グループ情報
に従って特徴点をグルーピングして各オブジェクト部分
として把握する（ステップＳ９０２）。投影面調整部３
５は、ステップＳ９０２で把握した各オブジェクト部分
ごとに投影面の種類を選定する（ステップＳ９０３）。
投影面の種類の選定にあたり、ここでは、オブジェクト
部分の特徴点から投影面までの距離の総和を計算し、も
っとも値の小さくなる投影面の種類を選ぶものとする。

【００７９】投影面調整部３５は、投影面生成部３２に
対して投影面の種類を通知し、投影面の生成処理を行わ
せ、投影面のサイズの調整も制御する（ステップＳ９０
４）。

【００８０】なお、各オブジェクト部分に対する、特徴
点配置部３１、投影面生成部３２、投影中心点指定部３
３、投影処理部３４による一連の投影処理は、それぞれ
実施形態１と同様に行われる（ステップＳ９０５）。

【００８１】以上より、本実施形態２のテクスチャ画像
生成装置は、対象となる３次元オブジェクトの形状が複
雑な場合でも、各オブジェクト部分ごとに最適な投影処
理を行うことができ、高品質かつ記憶容量の少ないテク
スチャ画像の生成を行うことができる。

【００８２】次に、投影中心点適正確認部３６の動作を
説明する。投影中心点適正確認部３６は、投影処理にお
ける投影中心点の選定が適切に行われた否かを確認する
ものである。

【００８３】ここで言う投影中心点の適正について以下
に説明する。図１０は、不適切な投影中心点の例であ
る。図１０に示すように、面１００４と１００５の投影
形成面１００４’と１００５’が重なるように、一部の
投影形成面が投影面上で重なり合うため、正常な展開平
面が得ることができないものとなっている。この場合に
は本発明の投影処理、展開処理によるテクスチャ画像生
成を行うことができない。このような投影形成面の重な
りがないことを投影中心点の適正と言う。

【００８４】ただし、図１０の面１００４、１００５は
３次元オブジェクトの真の外表面であり、本装置にはこ
の情報は与えられないため、投影形成面の重なりを直接
判定することはできない。投影中心点適正確認部３６
は、投影面の分割によって得られる外表面の推定結果と
３次元オブジェクトの撮影画像の矛盾を特徴点の並びか
た（時計回りもしくは反時計回り）を用いて間接的に判
定することにより、投影中心点が適正か否かを確認す
る。具体的には、分割によって得られるすべての外表面
に対して、その面を構成する特徴点が面を外側から見た
ときに時計回りに並んでいるか反時計回りに並んでいる
かを判定し、その結果と撮影画像上で各面を３次元オブ
ジェクトの外側から見た時の特徴点の並びかたが一致し
ていれば、投影中心点は適正であると判断する。分割に
よって得られる外表面の外側方向として、投影面の外側
方向を用いる。撮影画像上の各面の外側方向として、そ
の面を構成する全部の特徴点が抽出された撮影画像の撮
影方向を用いる。

【００８５】投影面として円筒面が採用された例を説明
する。実施形態１において説明したように、特徴点配置
部３１により配置された３次元特徴点列を包含するよう
に投影面生成部３２により投影面が生成されている。

【００８６】投影中心点指定部３３は、まず、実施形態
１で示した基準に従って投影中心点を指定する（ステッ
プＳ１１０１）。つまり、入力データ中の投影中心デー
タ、または、特徴点の重心計算、利用者による指定入力
に従って指定する。

【００８７】次に、実施形態１と同様、投影処理部３４
は、指定した投影中心点から各特徴点に対して投影線を
引いて投影面上の投影点を求め（ステップＳ１１０
２）、投影点を頂点とする多角形で投影面である円筒面
を隙間なく分割して多角形の面で埋めつくす（ステップ
Ｓ１１０３）。次に、展開部５０は、投影面である円筒
面を平面に展開する（ステップＳ１１０４）。ここで、
投影面である円筒面は図１に示したように可展面である
側面と平面である上面と下面に展開される。

【００８８】ここで、投影中心点適正確認部３６は、画
像書き込み部６０による特徴点間の関係を基に３次元オ
ブジェクトの各面の撮影画像を当てはめ・書き込み処理
をモニタする（ステップＳ１１０５）。ここで、ステッ
プＳ１１０４で得られた特徴点の並びかたと３次元オブ
ジェクトの各面の撮影画像上での特徴点の並びかたが一
致していれば、投影中心点が適切に選択されたことが確
認できる（ステップＳ１１０６）。その後も同じ３次元
オブジェクトと投影中心点を用いる限り正常な投影処理
が保証される。

【００８９】投影中心点の適正が確認できない場合は、
投影中心点の選定をやり直すか、または特徴点を適切に
グルーピングしてオブジェクト部分に分けて投影処理を
実行すれば良い。

【００９０】以上より、本実施形態２のテクスチャ画像
生成装置は、投影処理において、対象となる３次元オブ
ジェクトの形状と投影中心点の関係が適正なものである
ことを確認することができ、適切な投影処理を保証する
ことができ、高品質かつ記憶容量の少ないテクスチャ画
像の生成を行うことができる。

【００９１】（実施形態３）本実施形態３のテクスチャ
画像生成装置は、実施形態１と同様、可展体面からなる
既知形状面を投影面として投影・展開し、展開平面に撮
影画像のテクスチャを貼り込んでテクスチャ画像を自動
生成するものであるが、実施形態１のテクスチャ画像生
成装置の投影部および分割部をさらに高性能化した投影
部および分割部を備えたものである。

【００９２】実施形態３のテクスチャ画像生成装置の全
体構成の概略と本装置による処理流れの概略を図面を参
照しつつ説明する。図１２は、実施形態３のテクスチャ
画像生成装置の概略構成図を示している。図１２に示す
ように、本実施形態３の装置では、実施形態１の構成に
おける投影部３０に代えて投影部３０ｂを備え、分割部
４０に代えて分割部４０ａを備えている。投影部３０ｂ
は実施形態１の投影部３０の構成に加えてさらに、投影
調整部３７を備えた構成となっている。投影部３０ｂの
投影調整部３７を除いた各構成要素は、実施形態１で同
じ番号を付して説明した各構成要素と同様であるのでこ
こでの説明は省略し、投影部３０ｂを中心に説明する。
また、分割部４０ａは展開境界線調整部４１と可展面展
開境界線調整部４２を備えている。なお、実施形態１と
同様、図示していないが、システム全体の制御処理に必
要なメモリ、デバイス類などは装備している。

【００９３】投影部３０ｂの投影調整部３７と分割部４
０ａの展開境界線調整部４１は、投影面上への投影処理
において可展面および平面をまたがる越境面が発生する
場合に、可展面、平面の延長・縮退を実行して両者の展
開境界線を調整し、投影形成面の境界稜線をもって展開
境界線とするものである。

【００９４】ここで、越境面について説明する。投影処
理において、投影点列は投影面上に配置されているが、
投影点が可展面上と平面上に形成されるので、投影形成
面を形成する頂点となる投影点一部が可展面上に形成さ
れ、他の部分が平面上に形成されたような面（越境面と
呼ぶ）が生じる場合がある。例えば、図１３ａに示すよ
うに投影面として円筒面が採用された例において、投影
形成面１３０３は上面１３０１と可展面１３０２にまた
がって形成された越境面となっている。このような場合
に可展面、平面を調整し、展開境界線を調整することに
より投影形成面の境界稜線をもって展開境界線とするこ
とができれば、テクスチャ画像を貼り込む面が分断され
ることなく歪みも少ないものとすることができ、テクス
チャ画像生成装置の性能を一層向上させることができ
る。

【００９５】可展面、平面の延長・縮退調整、展開境界
線の調整は以下のように行う。第一番目の調整方式は、
越境面を形成する特徴点の投影を調整してすべて可展面
上に投影する可展面投影調整部３７ａおよび展開境界線
調整部４１を備える方式である。図１３ａに示すよう
に、越境面１３０３を形成する投影点のうち、可展面上
にある投影点１３０５、１３０６を可展面境界投影点と
し、平面上にある投影点１３０７を平面境界投影点とす
る。可展面投影調整部３７ａは、まず、図１３ｂに示す
１３０２’のように可展面を延長する。さらに、投影中
心点１３０４から平面境界投影点１３０７を通る投影線
を延長し、可展面の延長面と交わる点を可展面調整投影
点１３０７’として求める。この処理をすべての可展面
と平面との境界面に沿って実行する。次に、分割処理に
おいて展開境界線調整部４１は、可展面の境界稜線を生
成された可展面調整投影点を順に結ぶ線とし、平面の境
界稜線を平面境界投影点を順に結ぶ線とすれば、図１３
ｃに示すように、可展面と平面の展開境界線は投影形成
面の境界稜線となり、一つの投影形成面が可展面と平面
に分断されることがなくなる。このように、テクスチャ
画像生成装置は、可展面投影調整部３７ａおよび展開境
界線調整部４１を備えることによりテクスチャ画像生成
の性能を一層向上させることができる。

【００９６】第二番目の調整方式は、越境面を形成する
特徴点の投影を調整してすべて平面上に投影する平面投
影調整部３７ｂと展開境界線調整部４１を備える方式で
ある。図１４ｂに示すように、越境面１３０３を形成す
る投影点のうち、可展面上にある投影点１３０５、１３
０６を可展面境界投影点とし、平面上にある投影点１３
０７を平面境界投影点とする。平面投影調整部３７ｂ
は、投影中心点１３０４から可展面境界投影点１３０
５、１３０６を通る投影線を延長して平面の延長面と交
わる点を平面調整投影点１３０５’、１３０６’として
求める。この処理をすべての可展面と平面との境界面に
沿って実行する。展開境界線調整部４１は、平面の境界
稜線を生成された平面調整投影点を順に結ぶ線とし、可
展面の境界稜線を可展面境界投影点を順に結ぶ線とすれ
ば、図１４ｃに示すように、可展面と平面の境界線は投
影形成面の境界稜線となり、一つの投影形成面が可展面
と平面に分断されることがなくなる。このように、テク
スチャ画像生成装置は、平面投影調整部３７ｂおよび展
開境界線調整部４１を備えることによりテクスチャ画像
生成の性能を一層向上させることができる。

【００９７】第三番目の調整方式は、投影面が可展面同
士の境界を持つ場合における越境面を形成する特徴点の
投影を調整してすべて一方の可展面上に投影する方式で
ある。可展面投影調整部３７ｃと展開境界線調整部４１
を備える方式である。基本的な考え方は上記の第一番目
の調整方式、第二番目の調整方式と同様であるのでここ
では、説明を省略する。

【００９８】次に、可展面展開境界線調整部４２は、可
展面の展開にあたり可展面の一部を切断処理する際に、
可展面上の投影形成面の境界稜線に沿って切断するもの
である。図１５ａに示すように、投影形成面１５０１、
１５０２は、デフォルトとして与えられている可展面の
展開境界線１５００をまたがって形成されている。可展
面展開境界線調整部４２は図１５ｂに示すように、可展
面展開境界線１５００を左右に調整して投影形成面の境
界稜線もって新たな可展面境界稜線１５００’とする。
この可展面展開境界調整をすべての可展面展開境界に沿
って行うことにより、可展面の展開処理において一つの
投影形成面が左右に分断されることがなくなる。

【００９９】以上のように、実施形態３のテクスチャ画
像生成装置は、可展面展開境界線調整部４２を備えるこ
とによりテクスチャ画像生成の性能を一層向上させるこ
とができる。

【０１００】（実施形態４）実施形態４のテクスチャ画
像生成装置は、実施形態１と同様、可展面および平面か
らなる既知形状面を投影面として投影・展開し、展開平
面に撮影画像のテクスチャを貼り込んでテクスチャ画像
を自動生成するものであるが、実施形態１のテクスチャ
画像生成装置の画像書き込み部６０をさらに高性能化し
た画像書き込み部６０ａを備えたものである。

【０１０１】図１６は、実施形態４のテクスチャ画像生
成装置の概略構成図を示している。図１６に示すよう
に、本実施形態４の装置では、実施形態１の構成におけ
る画像書き込み部６０に代えて画像書き込み部６０ａを
備えている。画像書き込み部６０ａは実施形態１の画像
書き込み部６０の構成に加えてさらに、撮影画像選択部
６１とアフィン変換部６２を備えた構成となっている。
画像書き込み部６０ａの撮影画像選択部６１とアフィン
変換部６２を除いた各構成要素は、実施形態１で同じ番
号を付して説明した各構成要素と同様であるのでここで
の説明は省略し、撮影画像選択部６１とアフィン変換部
６２を中心に説明する。なお、実施形態１と同様、図示
していないが、システム全体の制御処理に必要なメモ
リ、デバイス類などは装備している。

【０１０２】撮影画像選択部６１とアフィン変換部６２
は、画像書き込み処理において、撮影画像のテクスチャ
の展開平面への当てはめ・書き込みにおける両者の歪み
の調整を行うものである。

【０１０３】まず、撮影画像選択部６１の備える第一番
目の調整方式は、撮影画像上の各面は多方向から撮影さ
れているので当てはめる面の形状ともっとも近い形状で
撮影されている撮影画像のテクスチャを当てはめる撮影
画像として選択することである。この撮影画像の選択に
より当てはめる撮影画像のテクスチャデータとして、も
っとも歪みの少ないデータを選択することができ、テク
スチャ画像生成の性能を一層向上させることができる。

【０１０４】撮影画像選択部６１の備える第二番目の調
整方式は、撮影画像上の各面は多方向から撮影されてい
るので当てはめる面をもっとも近い視点から撮影した撮
影画像のテクスチャを当てはめる撮影画像として選択す
ることである。この撮影画像の選択により当てはめる撮
影画像のテクスチャデータとして、もっとも歪みの少な
いデータを選択することができ、テクスチャ画像生成の
性能を一層向上させることができる。

【０１０５】次に、アフィン変換部６２は、撮影画像の
テクスチャデータをアフィン変換することにより書き込
む面の形状に変形して歪みを調整する。投影面上に形成
された投影形成面は、元の３次元オブジェクトを投影面
に投影して形成されたために元の３次元オブジェクトの
外表面とは多少歪んだ形状となっている。そこで、面の
当てはめ・テクスチャの書き込みに先立ち、アフィン変
換部６２により撮影画像のテクスチャデータの形状を調
整することが好ましい。ここで、アフィン変換とは、座
標の一次式で表わされる変換であり、画像の拡大、縮
小、平行移動、回転などによって画像の形状を変化させ
る変換をいう。

【０１０６】アフィン変換部６２の処理の流れを以下に
説明する。まず、アフィン変換の係数を決定する（図１
７ステップＳ１７０１）。つまり、撮影画像上の特徴点
の座標と、展開平面上に投影された対応する特徴点の投
影点の座標から両者を一致させるアフィン変換の係数を
求める。

【０１０７】投影により発生した形状の歪みを調整した
画像を生成するためにはテクスチャ画像として生成する
面の各画素値として、撮影画像上の対応する画素値をア
フィン変換して対応する座標に書き込めば良い。まず、
テクスチャ画像の注目する面の注目する画素、例えばＸ
Ｙ座標において一番ＸＹ座標値が小さい左下の画素を注
目画素として指定する（ステップＳ１７０２）。

【０１０８】その注目画素の位置に対する撮影画像上の
画素の位置をアフィン変換により決定する（ステップＳ
１７０３）。ステップＳ１７０３により求めた位置の撮
影画像の画素値を読み取り、テクスチャ画像上の注目画
素の画素値として書き込む（ステップＳ１７０４）。

【０１０９】このステップＳ１７０２〜ステップＳ１７
０４をすべての画素に対して実行する。つまり、ステッ
プＳ１７０２において注目した注目画素の指定をＸ方向
Ｙ方向に走査するように移動して行くことにより次々と
注目画素を指定し、その注目画素に対してステップＳ１
７０３〜ステップＳ１７０４により対応する画素値を書
き込んで行く。

【０１１０】以上、実施形態４のテクスチャ画像生成装
置は、画像選択部６１を備えるにより、入力画像のう
ち、書き込む面の画像としてもっとも歪みの少ない画像
を選択することができ、さらにアフィン変換部６２を備
えることにより、投影により発生した形状の歪みを調整
して正しく面の当てはめ・書き込みが実行でき、テクス
チャ画像生成の性能を一層向上させることができる。

【０１１１】（実施形態５）本発明のテクスチャ画像生
成装置は、上記に説明した構成を実現する処理ステップ
を記述したプログラムをコンピュータ読み取り可能な記
録媒体に記録して提供することにより、各種コンピュー
タを用いて構築することができる。本発明のテクスチャ
画像生成装置を実現する処理ステップを備えたプログラ
ムを記録した記録媒体は、図１８に図示した記録媒体の
例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルデ
ィスク２０３等の可搬型記録媒体２０１だけでなく、ネ
ットワーク上にある記録装置内の記録媒体２００や、コ
ンピュータのハードディスクやＲＡＭ等の記録媒体２０
５のいずれであっても良く、プログラム実行時には、プ
ログラムはコンピュータ２０４上にローディングされ、
主メモリ上で実行される。

【０１１２】

【発明の効果】本発明のテクスチャ画像生成装置によれ
ば、可展面および平面からなる既知形状面を投影面とし
て投影・展開し、展開平面に撮影画像のテクスチャを貼
り込んでテクスチャ画像を自動生成することができ、高
品質かつ記憶容量の少ないテクスチャ画像を生成するこ
とができる。

【０１１３】また、本発明のテクスチャ画像生成装置に
よれば、３次元オブジェクトの形状に応じた適切な投影
面を選定することができ、３次元オブジェクトが複雑な
場合でもオブジェクト部分ごとに投影面を最適化して選
定することができる。

【０１１４】また、本発明のテクスチャ画像生成装置に
よれば、投影処理における投影中心点が適正かどうかを
確認することができ、適正なテクスチャ画像が生成でき
る。また、本発明のテクスチャ画像生成装置によれば、
投影面が可展面、平面の組み合わせである場合に、展開
処理における展開境界線を投影形成面の境界稜線とする
ことができ、投影形成面を分断することがなく、歪みの
少ないテクスチャ画像が得られる。

【０１１５】また、本発明のテクスチャ画像生成装置に
よれば、展開平面への画像書き込みにおいて最も歪みの
少ない画像を選択することができ、また、アフィン変換
により形状の歪みを調整して画像を書き込むことがで
き、テクスチャ画像の品質を向上することができる。

【図面の簡単な説明】

【図１】 円筒面の展開例を示す図

【図２】 可展面の組み合わせの例を示す図

【図３】 投影面を利用した投影処理の概念を示す図

【図４】 本発明のテクスチャ画像生成装置におけるテ
クスチャ画像生成の基本的な流れを示す図

【図５】 本発明の実施形態１のテクスチャ画像生成装
置の概略構成図

【図６】 本発明の実施形態１のテクスチャ画像生成装
置が扱うデータ構造例

【図７】 凸包の形成を説明する図

【図８】 本発明の実施形態２のテクスチャ画像生成装
置の概略構成図

【図９】 オブジェクト部分それぞれに投影面を割り当
てる処理を示すフローチャート

【図１０】 不適切な投影中心点の例を示す図

【図１１】 本発明の実施形態２の投影中心点適正確認
部３６による投影中心点が適正が否かを確認する処理ス
テップを示したフローチャート

【図１２】 本発明の実施形態３のテクスチャ画像生成
装置の概略構成図

【図１３】 本発明の実施形態３の可展面投影調整部３
７ａ、平面投影調整部３７ｂによる投影調整を説明する
図

【図１４】 本発明の実施形態３の可展面投影調整部３
７ｃによる投影調整を説明する図

【図１５】 本発明の実施形態３の可展面展開境界線調
整部４２による展開境界線の調整を説明する図

【図１６】 本発明の実施形態４のテクスチャ画像生成
装置の概略構成図

【図１７】 本発明の実施形態４のアフィン変換部６２
の処理ステップを示したフローチャート

【図１８】 記録媒体の例

【図１９】 従来のテクスチャ画像生成処理ステップを
示したフローチャート

【図２０】 従来の特徴点に基づく３次元画像データ生
成の概念を示す図

【図２１】 従来のコンピュータ画面上での３次元画像
再生処理ステップを示したフローチャート

【図２２】 従来の各面ごとに貼るテクスチャ画像を平
面上に配置して記憶する方式を説明する図

【符号の説明】

１０ 入力部 ２０ 特徴点抽出部 ２１ 特徴点指定部 ３０，３０ａ，３０ｂ 投影部 ３１ 特徴点配置部 ３２ 投影面生成部 ３３ 投影中心点指定部 ３４ 投影処理部 ３５ 投影面調整部 ３６ 投影中心点適正確認部 ３７，３７ａ 投影調整部 ４０，４０ａ 分割部 ４１ 展開境界線調整部 ４２ 可展面展開境界線調整部 ５０ 展開部 ６０，６０ａ 画像書き込み部 ６１ 撮影画像選択部 ６２ アフィン変換部 ７０ 出力部 １００ データ １０１ 画像情報領域 １０２ 特徴点情報領域 １０３ 投影情報領域 １０４ 投影面情報領域 １０５ その他情報領域 １０６ ヘッダ ２００ 回線先のハードディスク等の記録媒体 ２０１ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬
型記録媒体 ２０２ ＣＤ−ＲＯＭ ２０３ フレキシブルディスク ２０４ コンピュータ ２０５ コンピュータ上のＲＡＭ／ハードディスク等の
記録媒体

Claims (14)

【特許請求の範囲】
1. 【請求項１】 ３次元オブジェクトから抽出した特徴点
   のデータと撮影された３次元オブジェクトの外表面の２
   次元画像データとを基に３次元画像データのテクスチャ
   画像を生成するテクスチャ画像生成装置であって、 入力部と、投影部と、分割部と、展開部と、画像書き込
   み部とを備え、 前記入力部は、３次元オブジェクトの特徴点のデータと
   外表面の２次元撮影画像データの入力を受け付け、前記
   投影部は、前記入力された３次元オブジェクトの特徴点
   を、可展体面である既知形状面であって前記特徴点を包
   含する投影面に投影して投影点を求め、前記分割部は、
   前記投影面を前記特徴点の投影点により小面に分割し、
   前記展開部は、前記投影面を平面に展開して前記小面か
   らなる展開平面を生成し、前記画像書き込み部は、前記
   展開平面上の各小面に対して、対応する特徴点が撮影さ
   れた前記３次元オブジェクトの外表面の撮影画像を書き
   込むことによりテクスチャ画像を生成することを特徴と
   するテクスチャ画像生成装置。
2. 【請求項２】 前記投影部は投影面調整部を備え、前記
   投影面調整部が、前記投影部が生成する投影面の種類と
   サイズを、前記特徴点により形成される３次元オブジェ
   クトの形状に合わせるように調整することにより、前記
   投影面の形状と前記特徴点により形成される３次元オブ
   ジェクトとの形状の歪みを最小化する請求項１に記載の
   テクスチャ画像生成装置。
3. 【請求項３】 前記投影部が、投影中心点適正確認部を
   備え、前記投影中心点適正確認部により、前記画像書き
   込み部による前記展開平面上の各小面への前記３次元オ
   ブジェクトの外表面の撮影画像の書き込みをモニタし、
   前記展開平面上の各小面と、対応する特徴点が撮影され
   た撮影画像との対応が正しく得られているか確認するこ
   とができる請求項１に記載のテクスチャ画像生成装置。
4. 【請求項４】 前記投影部が、投影中心点の情報を入力
   する投影中心点指定部を備え、前記投影中心点指定部か
   らの指定に基づいて前記投影中心点を定める請求項１に
   記載のテクスチャ画像生成装置。
5. 【請求項５】 前記３次元オブジェクトの特徴点をグル
   ープに分ける特徴点グループ情報が付され、前記投影部
   が、前記特徴点グループ情報に従い、それぞれの特徴点
   のグループに対して投影処理を行う請求項１に記載のテ
   クスチャ画像生成装置。
6. 【請求項６】 前記投影部が、前記特徴点の投影処理に
   よって形成される投影形成面のうち、前記投影面上の可
   展面および平面にまたがって投影される越境面がある場
   合に、前記越境面を形成する特徴点を投影した際に、特
   徴点のすべてが可展面上に投影されるように可展面を調
   整する可展面投影調整部を備え、前記越境面の特徴点の
   投影点のうち、前記可展面上にある投影点を可展面境界
   投影点とし、前記平面上にある投影点を平面境界投影点
   とし、前記可展面投影調整部は、前記投影中心点から前
   記平面境界投影点を通る投影線を延長して前記可展面の
   延長面と交わる点を可展面調整投影点として求め、 前記分割部は、前記可展面の境界稜線を前記可展面境界
   投影点と前記可展面調整投影点とを順に結ぶ線とし、前
   記平面の境界稜線を前記平面境界投影点を順に結ぶ線と
   して前記可展面と平面を分割する請求項１に記載のテク
   スチャ画像生成装置。
7. 【請求項７】 前記投影部が、前記特徴点の投影処理に
   よって形成される投影形成面のうち、前記投影面上の可
   展面および平面にまたがって投影される越境面がある場
   合に、前記越境面を形成する特徴点を投影した際に、特
   徴点のすべてが平面上に投影されるように平面を調整す
   る平面投影調整部を備え、前記越境面の特徴点の投影点
   のうち、前記可展面上にある投影点を可展面境界投影点
   とし、前記平面上にある投影点を平面境界投影点とし、
   前記平面投影調整部は、前記投影中心点から前記可展面
   境界投影点を通る投影線を延長して前記平面の延長面と
   交わる点を平面調整投影点として求め、 前記分割部は、前記平面の境界稜線を前記平面境界投影
   点と前記平面調整投影点とを順に結ぶ線とし、前記可展
   面の境界稜線を前記可展面境界投影点を順に結ぶ線とし
   て前記可展面と平面を分割する請求項１に記載のテクス
   チャ画像生成装置。
8. 【請求項８】 前記投影部が、前記特徴点の投影処理に
   よって形成される投影形成面のうち、前記投影面上の第
   一の可展面と第二の可展面にまたがって投影される越境
   面がある場合に、前記越境面を形成する特徴点を投影し
   た際に、特徴点のすべてが前記第一の可展面上に投影さ
   れるように可展面を調整する可展面投影調整部を備え、
   前記越境面の特徴点の投影点のうち、前記一の可展面上
   にある投影点を第一の可展面境界投影点とし、前記第二
   の可展面上にある投影点を第二の可展面境界投影点と
   し、前記可展面投影調整部は、前記投影中心点から前記
   第二の可展面境界投影点を通る投影線を延長して前記第
   一の可展面の延長面と交わる点を可展面調整投影点とし
   て求め、 前記分割部は、前記第一の可展面の境界稜線を前記第一
   の可展面境界投影点と前記可展面調整投影点とを順に結
   ぶ線とし、前記第二の可展面の境界稜線を前記第二の可
   展面境界投影点を順に結ぶ線として前記第一の可展面と
   第二の可展面を分割する請求項１に記載のテクスチャ画
   像生成装置。
9. 【請求項９】 前記展開部は、前記可展面の平面への展
   開処理において、特徴点の投影点を結ぶ稜線に沿って切
   断・展開する請求項１に記載のテクスチャ画像生成装
   置。
10. 【請求項１０】 前記分割部は、前記投影面の分割処理
    において、前記特徴点の投影点を頂点とする凸包を生成
    し、前記凸包を構成する小面をもって前記投影面を分割
    した小面と近似して扱う請求項１に記載のテクスチャ画
    像生成装置。
11. 【請求項１１】 前記画像書き込み部は、前記展開平面
    への前記３次元オブジェクトの撮影画像を書き込む処理
    において、書き込むそれぞれの小面の撮影画像のデータ
    として、書き込む小面の面積が最も大きく撮影されてい
    る画像データを用いる請求項１に記載のテクスチャ画像
    生成装置。
12. 【請求項１２】 前記画像書き込み部は、前記展開平面
    への前記３次元オブジェクトの撮影画像を書き込む処理
    において、書き込むそれぞれの小面の撮影画像のデータ
    として、書き込む小面を最も近い視点から撮影した画像
    データを用いる請求項１に記載のテクスチャ画像生成装
    置。
13. 【請求項１３】 前記画像書き込み部は、前記展開平面
    への前記３次元オブジェクトの撮影画像を書き込む処理
    において、書き込むそれぞれの小面の撮影画像のデータ
    の形状を、展開平面上の対応する小面の形状に合うよう
    にアフィン変換して書き込む請求項１に記載のテクスチ
    ャ画像生成装置。
14. 【請求項１４】 ３次元オブジェクトから抽出した特徴
    点のデータと３次元オブジェクトの外表面の画像データ
    とを基に３次元画像データのテクスチャ画像を生成する
    テクスチャ画像生成装置を実現する処理プログラムを記
    録したコンピュータ読み取り可能な記録媒体であって、 ３次元オブジェクトの特徴点のデータと外表面の撮影画
    像データの入力を受け付ける入力処理ステップと、前記
    入力された３次元オブジェクトの特徴点を、可展体面で
    ある既知形状面であって前記特徴点を包含する投影面に
    投影して投影点を求める投影処理ステップと、前記投影
    処理ステップにより投影した投影面を前記特徴点の投影
    点により小面に分割する分割処理ステップと、前記投影
    面を平面に展開して前記小面からなる展開平面を生成す
    る展開処理ステップと、前記展開平面上の各小面に対し
    て、対応する特徴点が撮影された前記３次元オブジェク
    トの外表面の撮影画像を書き込む画像書き込み処理ステ
    ップとを備え、テクスチャ画像を生成することを特徴と
    する処理プログラムを記録したことを特徴とする記録媒
    体。