JP2002183761A - 画像生成の方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像内に現れる物体の生成された３次元コン
ピュータ・モデルをテクスチャ・レンダリングするため
のテクスチャ・マップ・データを生成するために入力画
像が処理される、画像処理装置（２）を開示する。 【解決手段】 使用される画像の部分を選択するため
に、モデルの表面の部分が画像のそれぞれで可視である
範囲を表す信頼データを生成する。この信頼データを使
用して画像を組み合わせ、異なる空間周波数を表す画像
データが、信頼データを使用して異なる形でブレンディ
ングされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願は、画像を生成する方法
および装置に関する。具体的には、本願は、他の視点か
らの同一の物体の複数の画像から、選択された視点から
の物体の画像を生成する方法および装置に関する。

【０００２】

【従来の技術】２次元画像を複数の周波数バンドに分割
し、異なる周波数バンドの画像を別々に処理することが
既知である。同一の物体の複数の異なるビューから３次
元物体の画像を生成する時には、３次元物体の画像デー
タを類似する形で処理できることが望ましい。

【０００３】２次元画像の既知の処理を拡張する方法の
１つが、使用可能な２次元画像からのデータを物体の表
面に投影することと、低バンド・テクスチャ付きの表面
を得るために、３次元物体の表面にわたって生成された
テクスチャをぼかすことと、対応する高バンド・テクス
チャ付きの表面を得るために、元のテクスチャ付きの表
面を減算することと、異なるバンドについて異なる空間
情報を使用してテクスチャ付きの表面をブレンディング
することとによって画像を処理することである。

【０００４】

【発明が解決しようとする課題】しかし、効率的で一貫
性のある形でモデルの表面のテクスチャのブラー動作を
実行する方法は既知でない。したがって、選択された視
点からの３Ｄ物体の画像の空間周波数画像データを生成
する代替方法が必要である。

【０００５】

【課題を解決するための手段】本発明の１態様によれ
ば、物体の複数の画像から前記物体の指定されたビュー
に関する空間周波数データを生成する方法であって、物
体の使用可能な画像を、複数のバンドの空間周波数情報
に分割するステップと、別々のバンドの空間周波数情報
を指定されたビューに投影するステップと、前記投影を
使用して前記指定されたビューに関する空間周波数デー
タを生成するステップとを含む方法が提供される。

【０００６】物体の使用可能な画像から直接に空間周波
数データを生成することによって、物体の表面を決定す
るブラー動作を必要としない、選択された画像の高周波
数データおよび低周波数データを生成する一貫性があり
効率的な方法を保証する手段が提供される。

【０００７】本発明のもう１つの態様によれば、物体の
複数の画像から前記物体の指定されたビューに関する空
間周波数データを生成する装置であって、物体の使用可
能な画像を、複数のバンドの空間周波数情報に分割する
手段と、別々のバンドの空間周波数情報を指定されたビ
ューに投影する手段と、前記投影を使用して前記指定さ
れたビューに関する空間周波数データを生成する手段と
を備える装置が提供される。

【０００８】本発明のさらなる態様および実施形態は、
以下の説明および図面から明白になる。

【０００９】

【発明の実施の形態】これから第１の実施形態を説明す
るが、第１の実施形態では、同一の視点に対応する生成
され投影された複数の画像を組み合わせて、画像に現れ
る物体の３Ｄコンピュータ・モデルのテクスチャ・レン
ダリング用の合成テクスチャ・マップを生成する。

【００１０】［第１の実施形態］図１を参照すると、本
発明の実施形態は、パーソナルコンピュータ等の処理装
置２を含み、処理装置２は、１つまたは複数のプロセッ
サと、メモリと、グラフィックス・カードなどを、通常
のパーソナル・コンピュータ・モニタなどの表示装置４
と、キーボード、マウスなどのユーザ入力装置６と、プ
リンタ８と共に通常の形で含む。

【００１１】処理装置２は、たとえば、ディスク１２な
どのデータ記憶媒体に保管されたデータとして、及び／
又は、たとえばリモート・データベースから、インター
ネットなどの通信ネットワーク（図示せず）を介する伝
送によって、または大気を介する伝送によって処理装置
２に入力される信号１４として、及び／又は、キーボー
ドなどのユーザ入力装置６を介してユーザによって入力
される、プログラミング命令入力に従って動作するよう
にプログラムされる。

【００１２】下で詳細に説明するように、プログラミン
グ命令には、処理装置２に、異なる視点から記録された
対象物体の複数の画像を定義する入力データを処理する
ように構成されるようにならせる命令が含まれる。入力
データは、入力画像が記録された位置および向きを識別
するデータを生成するために処理される。これらの計算
された位置および向きと画像データを使用して、対象物
体の３次元コンピュータ・モデルを定義するデータを生
成する。

【００１３】プログラミング命令によってプログラムさ
れた時に、処理装置２は、効果的に、処理動作を実行す
るための複数の機能ユニットにより構成されている。そ
のような機能ユニットおよびそれらの相互接続の例が、
図１に示されている。しかし、図１に示されたユニット
および相互接続は、概念的であり、理解を助けるために
のみ例示のために示されたものであり、必ずしも処理装
置２のプロセッサ、メモリなどが構成される正確なユニ
ットおよび接続を表してはいない。

【００１４】図１に示された機能ユニットを参照する
と、中央コントローラ２０は、ユーザ入力装置６からの
入力を処理し、他の機能ユニットに対する制御および処
理も提供する。メモリ２４が、中央コントローラ２０お
よび他の機能ユニットによる使用のために設けられる。

【００１５】データ・ストア２６には、たとえばディス
ク２８などの記憶装置に保管されたデータとして、処理
装置２に送信される信号３０として、またはユーザ入力
装置６を使用することによって、処理装置２に入力され
る入力データが保管される。入力データによって、異な
る位置および向きで記録された１つまたは複数の物体の
複数のカラー画像が定義される。さらに、本実施形態で
は、入力データに、画像を記録したカメラに固有のパラ
メータすなわち、アスペクト比、焦点距離、主点（光学
軸が結像面と交差する点）、一次半径方向ひずみ係数、
およびスキュー角（画素グリッド上の軸の間の角度。軸
が正確に直交しない場合があるので）を定義するデータ
も含まれる。

【００１６】入力画像を定義する入力データは、たとえ
ば、画像を記録したディジタル・カメラから画素データ
をダウンロードすることによるか、スキャナ（図示せ
ず）を使用して写真をスキャンすることによって生成す
ることができる。固有のカメラ・パラメータを定義する
入力データは、ユーザがユーザ入力装置６を使用するこ
とによって入力することができる。

【００１７】位置決定モジュール３２は、入力データ・
ストア２６によって受け取られた入力画像を処理して、
画像によって表される物体の画像データがそこから得ら
れたカメラ視点の相対位置および向きを決定する。本実
施形態では、これが、入力画像に存在する特徴の識別お
よびマッチングと、これらの一致を使用するカメラ・ビ
ューの相対位置の計算によって、達成される。

【００１８】表面モデラ３４は、入力画像を定義するデ
ータと、画像が記録された位置および向きを定義するデ
ータとを処理して、画像内の物体の実際の表面を表す３
Ｄコンピュータ・ワイヤ・メッシュ・モデルを定義する
データを生成する。本実施形態では、この３Ｄモデルに
よって、モデリングされる対象物体の表面を表す複数の
三角形が定義される。

【００１９】表面テクスチャラ３６は、表面モデラ３４
によって作られる表面モデルへのレンダリングのため
に、入力画像データからテクスチャ・データを生成す
る。具体的に言うと、本実施形態では、表面テクスチャ
ラ３６が、入力画像データを処理して、対象物体を囲む
箱から見られた対象物体の６つのビューを含む６つのテ
クスチャ・マップを生成する。これらの生成されたテク
スチャ・マップは、その後、表面モデルのテクスチャ・
レンダリングに使用され、その結果、任意の視点からの
モデリングされた対象物体の画像を生成できるようにな
る。入力画像データからこれらのテクスチャ・マップを
生成する表面テクスチャラ３６の処理は、後で詳細に説
明する。

【００２０】表示プロセッサ４０は、中央コントローラ
２０の制御の下で、表示装置４を介してユーザに指示を
表示する。さらに、中央コントローラ２０の制御の下
で、表示プロセッサ４０は、表面モデラ３４によって生
成された表面モデルを処理し、表面モデル上に表面テク
スチャラ３６によって作られたテクスチャ・データをレ
ンダリングすることによって、ユーザが選択した視点か
らの物体の３Ｄコンピュータ・モデルの画像も表示す
る。

【００２１】プリンタ・コントローラ４２は、中央コン
トローラ２０の制御の下で、選択され、表示装置４に表
示された物体の３Ｄコンピュータ・モデルの画像のハー
ド・コピーを、プリンタ８によって印刷させる。

【００２２】出力データ・ストア４４は、表面モデラ３
４および表面テクスチャラ３６によって生成された表面
モデルおよびテクスチャ・データを保管する。中央コン
トローラ２０は、たとえばディスク４６などの記憶装置
上のデータとして、または信号４８としての、出力デー
タ・ストア４４からのデータの出力を制御する。

【００２３】表面モデラ３４によって作られた表面モデ
ル上でのレンダリングのためのテクスチャ・データを生
成する、表面テクスチャラ３６の構造および処理を、こ
れから詳細に説明する。

【００２４】＜カノニカル・テクスチャ・マップ＞異な
る視点から記録された対象物体の複数の画像が使用可能
である時には、これによって、対象物体の表面的な外見
に関する大量のデータがもたらされる。画像が異なる視
点から記録される場合に、これらの画像が、対象物体の
異なる部分のデータ量の変化をもたらす。というのは、
これらの部分が、画像内で異なる量だけ可視になるから
である。物体の外見のモデルを作成するためには、これ
らの画像を処理して、テクスチャ・データを生成し、そ
の結果、対象物体の一貫性のあるテクスチャ・モデルを
作成できるようにする必要がある。

【００２５】本実施形態では、これが、表面テクスチャ
ラ３６によって達成され、表面テクスチャラ３６は、表
面モデラ３４によって作られた表面モデルをレンダリン
グするためのテクスチャ・データを生成するために、異
なる視点から記録された対象物体の入力画像データを処
理する。本実施形態では、このテクスチャ・データに、
６つのテクスチャ・マップが含まれ、６つのテクスチャ
・マップには、対象物体を中心とする立方体の６面から
の対象物体のビューが含まれる。

【００２６】図２は、例示的な対象物体５６を囲む６つ
のテクスチャ・マップ５０〜５５の位置および向きの例
示的な図である。本実施形態では、６つのテクスチャ・
マップに、上５０、下５１、前５２、後５３、左５４、
および右５５からの物体のビューである、物体の６つの
カノニカル・ビューのテクスチャ・マップが含まれる。

【００２７】６つのカノニカル・ビュー５０〜５５に
は、３対の平行な画像面５０および５１、５２および５
３、５４および５５が含まれ、これらは、モデルの座標
系の原点を中心とし、３対の画像面のそれぞれが、めい
めいの座標系の３つの座標軸の１つに沿って整列され
る。カノニカル・ビューが物体の中心から等間隔にな
り、各画像面から見られた物体の範囲が、範囲内の画素
の閾値数を超えないように、表面モデラ３４によって作
成される対象物体のモデル５６のサイズに対して相対的
な物体からの距離が選択されるように、カノニカル・ビ
ュー５０〜５５の視点の相対位置が選択される。本実施
形態では、閾値が、５１２画素に設定される。その後、
モデルのテクスチャ・マップのそれぞれが、定義された
画像面への対象物体５６の弱い透視投影によって定義さ
れる。

【００２８】６つのカノニカル・ビュー５０〜５５のそ
れぞれの画像データを決定した後に、任意の視点からの
対象物体のモデル５６の画像データを、通常のテクスチ
ャ・レンダリング技法を使用して生成することができ、
ここで、モデル５６の表面の各部分のテクスチャ・レン
ダリング・データが、カノニカル・ビュー５０〜５５の
選択された部分を使用して生成される。

【００２９】この形で対象物体のモデルのテクスチャ・
データを生成することによって、必要なテクスチャ・マ
ップの数が、６つのカノニカル・ビュー５０〜５５に制
限される。さらに、カノニカル・ビューのそれぞれが、
実世界の物体の投影のビューに対応するので、カノニカ
ル・ビュー５０〜５５は、対象物体の現実的なビューを
表さなければならず、したがって、実世界の画像の圧縮
に最適化されたＪＰＥＧなどの標準画像圧縮アルゴリズ
ムによる圧縮に適する。

【００３０】対象物体のモデルの生成された画像では、
６つのカノニカル・テクスチャ・マップのどれからでも
テクスチャ・レンダリング・データが入手される可能性
があるので、テクスチャ・マップのすべてが互いに一貫
性を有する形で、すべてのテクスチャ・マップを生成す
ることが必要である。したがって、対象物体の画像の異
なる部分が、異なるビューからのテクスチャ・マップを
使用してレンダリングされる、この形では、顕著な境界
が生じない。どの３Ｄ物体でも、６つのカノニカル・ビ
ュー５０〜５５のすべてからの対象物体の表面のすべて
が、単一の入力画像で可視ではないので、表面テクスチ
ャ３６で、６つのカノニカル・ビュー５０〜５５のテク
スチャ・マップを生成するのに使用可能な複数の画像か
らの画像データを組み合わせることが必要である。

【００３１】使用可能な入力画像から６つの一貫性のあ
るテクスチャ・マップの組を生成できるようにする、表
面テクスチャラ３６による処理の詳細を説明する前に、
概念的な機能処理ユニットに関する表面テクスチャラ３
６の構造を、これから説明する。

【００３２】＜表面テクスチャラの構造＞図３は、本発
明の本実施形態に従った表面テクスチャラ３６の概略ブ
ロック図である。本実施形態では、表面テクスチャラ３
６に、重み決定モジュール５８と、テクスチャ・マップ
決定モジュール５９が含まれる。

【００３３】６つのカノニカル・テクスチャ・マップ５
０〜５５を生成するのに使用される使用可能な画像デー
タの部分を選択するために、表面テクスチャラ３６は、
データが入手された視点を識別する位置決定モジュール
３２によって生成された位置データと、表面モデラによ
って出力された３Ｄモデル・データを使用する。この位
置データおよび３Ｄモデル・データは、重み決定モジュ
ール５８によって処理され、重み決定モジュール５８
は、まず、モデル化される対象物体の表面の諸部分が使
用可能な画像のそれぞれでどの範囲まで可視であるかを
決定する。その後、重み決定モジュール５８は、この決
定を使用して、対象物体のモデルの表面の各部分のテク
スチャ・データを生成するために使用可能な入力画像を
使用するための相対的な優先度を識別する重み関数デー
タを生成する。

【００３４】この重み関数データは、テクスチャ・マッ
プ決定モジュール５９に渡され、テクスチャ・マップ決
定モジュール５９は、位置決定モジュール３２によって
生成された位置データ、表面モデラ３４によって生成さ
れたモデル・データ、および入力データ・ストア２６に
保管された使用可能な画像データと共に重み関数データ
を処理して、カノニカル・ビュー５０〜５５の６つの一
貫性のあるテクスチャ・マップの組を生成する。

【００３５】＜重み関数データの生成＞対象物体のモデ
ルの異なる部分のテクスチャ・データを生成するための
異なる入力画像の使用の相対的な優先度を示す重み関数
データを生成する重み決定モジュール５８の処理を、こ
れから図４〜９、図１０Ａ、および図１０Ｂを参照して
詳細に説明する。

【００３６】図４は、重み決定モジュール５８の処理の
流れ図である。

【００３７】まず、重み決定モジュール５８は、表面モ
デラ３４によって生成された３Ｄモデルの三角形のそれ
ぞれが入力データ・ストア２６内の画像のそれぞれで可
視である範囲を示すデータを決定する（Ｓ４−１）。

【００３８】特定の入力画像のどれについても、表面モ
デラ３４によって生成された３次元モデルの三角形によ
って表される対象物体のある部分が可視でなくなること
は、不可避である。しかし、同一の三角形が、他の画像
で可視になる可能性がある。したがって、３Ｄモデルの
表面の各部分の現実的なテクスチャ・データは、画像デ
ータの異なる項目のうちで、対象物体の表面の対応する
部分が可視である部分を使用することによってのみ生成
することができる。したがって、各画像内でどの三角形
が可視であるかを決定することによって、テクスチャ・
マップを生成するための情報の潜在的なソースを識別す
ることができる。

【００３９】さらに、各三角形が使用可能な画像内でど
の程度まで可視であるかを決定することも有用である。
このようにすることで、テクスチャ・マップの諸部分を
生成する画像データの好ましいソースとして、三角形
が、可視ではあるが、鋭角でまたは遠い距離から見られ
る画像ではなく、三角形が、たとえばクローズ・アップ
画像で、明瞭に可視である画像を選択することが可能に
なる。

【００４０】図５は、表面モデラ３４によって生成され
た３Ｄモデル・データおよび位置決定モジュール３２に
よって決定された入力画像の位置データを使用して、入
力画像内の三角形の可視性を決定するための重み決定モ
ジュール５８の処理の詳細を示す流れ図である。

【００４１】まず（Ｓ５−１）、重み決定モジュール５
８が、位置決定モジュール３２によって位置データが生
成された最初のビューを選択する。

【００４２】その後、重み決定モジュール５８が、表面
モデラ３４によって生成された３Ｄモデルの最初の三角
形を選択する（Ｓ５−２）。

【００４３】重み決定モジュール５８が、その後（Ｓ５
−３）、処理中の位置データによって定義される視野か
ら見られる、処理中の三角形の可視性値を決定する。

【００４４】本実施形態では、これが、処理中の画像の
位置データによって定義される視野から見られる、表面
モデラ３４によって生成される３Ｄモデルをレンダリン
グために、通常のＯｐｅｎＧＬ呼出しを使用することに
よって達成される。生成された画像データは、可視性値
の計算に使用される。

【００４５】具体的に言うと、まず、選択された位置デ
ータによって定義される視点から見られた３Ｄモデルの
三角形のすべてを、Ｚバッファリングを使用可能にして
単一の色を使用してレンダリングする。このＺバッファ
・データは、深さマップと同等である。その後、処理中
の三角形を、Ｚバッファリングを使用不能にして異なる
色（第２の色）を使用して再レンダリングする。その
後、選択された三角形を、Ｚバッファに既に存在する深
さ値を使用するように、Ｚバッファリングを再度使用に
して、第３の色を使用して再レンダリングする。再レン
ダリングの時に、ｇｌＰｏｌｙｇｏｎＯｆｆｓｅｔ Ｏ
ｐｅｎＧＬ関数を使用して、位置データによって定義さ
れるカメラ視点に向かって三角形をわずかにシフトし
て、エイリアス効果を防ぐ。

【００４６】現在選択されている位置データによって定
義される視点から見られた、処理中の三角形の可視性値
は、第２および第３の色でレンダリングされた画像の画
素の数を計算することによって決定される。

【００４７】具体的に言うと、生成された画像データに
第２の色に対応する画素がある場合に、これらは、現在
選択されている三角形のうちで、他の三角形によってさ
えぎられる部分であり、したがって、選択された三角形
は、位置データによって定義される視点からは部分的に
隠される。定義された視点から知覚される三角形の可視
性値が以下の式に基づいて計算され、その三角形につい
てセットされる。ここで、

【００４８】

【数１】 ただし、閾値は、本実施形態では０．７５にセットされ
る値である。

【００４９】したがって、このようにすることで、三角
形の全体が画像内で可視である場合に、１の可視性値
が、三角形および位置データに関連付けられる。三角形
が、処理中の位置データによって定義される位置から見
られた時に他の三角形によってわずかにさえぎられるだ
けの場合すなわち、第２もしくは第３のいずれかの色で
レンダリングされた画素の総数に対する第３の色でレン
ダリングされた画素の分数が、閾値より大きいが１より
小さい場合には、１未満の値の可視性値が、画像位置の
三角形に関連付けられる。総数に対する第３の色でレン
ダリングされた画素の分数が、閾値未満の場合には、０
の可視性値が、位置データによって定義される位置から
見られた三角形に割り当てられる。

【００５０】前に説明した、レンダリングによる三角形
とＺバッファに保管された値を使用する三角形とに色を
付ける重み決定モジュール５８の処理によって、２つの
小さい隣接する三角形が選択された視点で同一画素に写
像される場合であっても、三角形を処理できるようにな
る。具体的に言うと、三角形の深さが、画像の同一部分
に対応する三角形について類似する場合に、ｇｌＰｏｌ
ｙｇｏｎＯｆｆｓｅｔ呼出しが、選択された視点から同
一の距離の他の三角形の前に第２の色をレンダリングす
る効果を有する。したがって、選択された三角形の可視
性を決定する時に、三角形は、定義された視点により近
い他の三角形によってさえぎられ、単に画像の同一部分
への同一距離の三角形のレンダリングによってさえぎら
れるのでない場合に限って、より低い可視性値を与えら
れる。

【００５１】選択されたビューの三角形の可視性値を決
定した後に、重み決定モジュール５８は、この可視性値
を使用して、選択された視点での三角形の可視性スコア
を計算し、保管する（Ｓ５−４）。

【００５２】上で述べた形で可視性値を計算することに
よって、モデル内の三角形が選択された視点からさえぎ
らるまたはさえぎられない程度を示す値が決定される。
しかし、他の要因も、テクスチャ・データを生成するた
めの特定部分画像データの使用が好ましくなる可能性が
ある範囲に影響する。たとえば、クローズ・アップ画像
は、物体のテクスチャに関するより多くの情報を含む傾
向があり、したがって、テクスチャ・データの生成のた
めの好ましいソースになる可能性がある。特定の画像が
テクスチャ・データの生成のための使用に好ましいかど
うかを決定できるもう１つの要因が、画像の部分がどの
程度の斜角で見られるかである。したがって、本実施形
態では、ビューでの三角形の可視性スコアを、次式を使
用して重み決定モジュール５８によって決定する。

【００５３】

【数２】 ここで、θは、選択された三角形の重心の法線に対す
る、処理中の位置データによって識別される画像面を定
義するカメラの光心からの光線の入射の角度であり、距
離は、選択された三角形の重心とカメラの光心の間の距
離である。

【００５４】したがって、この形で、本実施形態では、
オクルージョンの量、ビューの斜角、および画像面とモ
デリングされる三角形の間の距離のすべてが、可視性ス
コアに影響する。他の実施形態としては、これらの要因
の一部だけを使用するか、特定の要因により大きい重み
をおくかのいずれかが可能である。

【００５５】特定の視点から知覚される特定の三角形の
可視性スコアを計算し、保管した後に、重み決定モジュ
ール５８は、データが保管されたばかりの三角形が、表
面モデラ３４によって生成されたモデル・データによっ
て識別される最後の三角形であるかどうかを決定する
（Ｓ５−５）。そうではない場合には、重み決定モジュ
ール５８は、表面モデラ３４によって生成されたデータ
・モデルの次の三角形を選択（Ｓ５−６）し、その後、
その、次の三角形について、可視性値を決定し（Ｓ５−
３）、可視性スコアを計算し、保管する（Ｓ５−４）。

【００５６】重み決定モジュール５８が、可視性スコア
が保管された三角形が表面モデラ３４によって生成され
た３Ｄモデル・データの最後の三角形であると決定する
時には、重み決定モジュール５８は、入力データ・スト
ア２６に保管された入力画像の位置を定義する現在選択
されている位置が、位置決定モジュール３２によって生
成された位置データの組の最後であるかどうかを決定す
る（Ｓ５−７）。そうでない場合には、重み決定モジュ
ール５８は、位置データの次の組を選択し（Ｓ５−
８）、その新しい位置から知覚される三角形のそれぞれ
の可視性スコアを生成し、保管する（Ｓ５−２〜Ｓ５−
７）。

【００５７】したがって、このようにして、重み決定モ
ジュール５８は、入力データ・ストア２６の入力画像デ
ータの視点に対応する視点のそれぞれから知覚される、
すべての三角形の可視性スコアを生成し、保管する。

【００５８】図４に戻って、位置決定モジュール３２に
よって生成された位置データに対応するカメラ・ビュー
のそれぞれから知覚される三角形のそれぞれについて可
視性スコアを保管した後に、重み決定モジュール５８
は、隣接する三角形にまたがるスコアの滑らかな変動を
保証するために、各ビューで知覚された三角形の可視性
スコアの変更（Ｓ４−２）に進む。

【００５９】本発明の本実施形態では、可視性スコア
が、テクスチャ・レンダリング・データを生成するため
に入力データ・ストア２６に保管される異なる入力画像
の部分の使用に関する相対的な優先度を示す重み関数の
生成に使用される。異なる入力画像からの画像データの
選択が、テクスチャ・データの生成に異なる入力画像が
使用される場合の顕著な境界の作成をもたらさないよう
にするために、連続的で適度に滑らかな重み関数を生成
する重み関数データを生成し、その結果、異なるソース
からの画像データが互いにブレンディングされるように
する必要がある。本実施形態では、３Ｄモデル・データ
を形成する三角形が、かなり異なるサイズを有する可能
性があるので、そのような重みづけ関数の生成の第１ス
テージは、三角形サイズのこの変動を考慮するために、
モデルの諸区域にまたがって重みづけ値の平均をとるこ
とである。

【００６０】図６は、特定の視点から知覚される三角形
に関連する可視性スコアを変更する、重み決定モジュー
ル５８の詳細な処理の流れ図である。重み決定モジュー
ル５８は、入力データ・ストア２６に保管されている画
像データのビューのそれぞれに対応する三角形に関連す
る可視性スコア・データの組のそれぞれについて図６に
示された処理を繰り返し、その結果、位置決定モジュー
ル３２によって決定された位置データによって識別され
る各視点から知覚される隣接する三角形に関連する可視
性スコア・データが、モデルの表面にわたって比較的滑
らかに変動するようにする。

【００６１】まず（Ｓ６−１）、重み決定モジュール５
８が、表面モデラ３４から出力された３Ｄモデル・デー
タによって識別される最初の三角形を選択する。

【００６２】重み決定モジュール５８は、その後（Ｓ６
−２）、処理中の視点から知覚された三角形の可視性の
保管された可視性スコアに、０がセットされているかど
うかを決定する。そうである場合には、可視性スコアの
変更は行われない（Ｓ６−３）。これによって、処理中
の視点から完全にさえぎられるか実質的にさえぎられる
と決定された三角形に関連する可視性スコアが、０の可
視性スコアに関連付けられたままになり、したがって、
その後に、テクスチャ・マップ・データの生成に使用さ
れないことが保証される。

【００６３】重み決定モジュール５８が、処理中の三角
形の可視性スコアが０と等しくないと決定する（Ｓ６−
２）場合には、重み決定モジュール５８は、標準的な方
法を使用して、３Ｄ頂点から三角形の表面積を決定する
（Ｓ６−４）。重み決定モジュールは、その後（Ｓ６−
５）、総表面積が閾値を超えるかどうかを決定する。本
実施形態では、閾値が、６つのカノニカル・ビュー５０
〜５５によって定義される境界ボックスの長さの５％の
自乗と等しくなるようにセットされる。

【００６４】重み決定モジュール５８が、総表面積がこ
の閾値を超えないと決定する場合に、重み決定モジュー
ルは、検討中の三角形と２つの頂点を共有する３Ｄモデ
ル・データを有する、検討中の三角形に隣接する三角形
を選択する（Ｓ６−６）。重み決定モジュール５８は、
選択された三角形および選択された三角形に隣接する三
角形の総表面を計算して（Ｓ６−４、Ｓ６−５）、処理
中の三角形に対する視点に対応する画像面へのこれらの
区域の投影の画素数が閾値を超えるかどうかをもう一度
決定する。この処理は、選択された三角形に対応する総
表面積が閾値を超えるまで繰り返される。

【００６５】閾値を超えると決定される時に、重み決定
モジュール５８は、中央の三角形に初期の改訂された可
視性スコアとしてセットし（Ｓ６−７）、ここで、初期
の改訂されたスコアは、表面によって重みづけされた現
在選択されている三角形のすべてに関係する可視性スコ
アの平均に等しい。

【００６６】通常は最大の未変更の重みの１０％にセッ
トされる閾値が、この改訂された初期可視性スコアから
減算される。三角形に関連する負の値は、すべて０にセ
ットされる。この閾値によって、低い重みに関連する三
角形が、０の可視性スコアに関連付けられるようにな
る。カメラ位置の計算の誤差、それ故の可視性スコアの
計算の誤差が、表面が実際には可視でない三角形に低い
重みを関連づける可能性がある。このようにして可視性
スコアを減らすことによって、そのような誤差が、生成
されるテクスチャ・マップ・データに後続の誤差を導入
しないことが保証される。その後、三角形に関する最終
的な改訂された可視性スコアを保管する。

【００６７】図７および図８は、三角形のサイズとは無
関係に滑らかなスコアの変動を保証するために可視性ス
コアを改訂するためのモデルの区域の処理の例示的な図
である。

【００６８】図７は、９つの三角形を含むモデルの区域
の例示的な図であり、これらの三角形のそれぞれは、め
いめいの三角形の中に示された数に対応する可視性スコ
アに関連する。

【００６９】図７の中央の数１．０を有する中央のクロ
ス・ハッチングされた三角形に対応する三角形が最初に
処理される時に、三角形の面積が決定される。この面積
が、閾値未満と決定される場合に、図７では陰付きの三
角形である隣接する三角形が、選択され、クロス・ハッ
チングされた三角形および陰付きの三角形に対応する面
積が、決定される。

【００７０】この値が、閾値より大きい場合には、三角
形に対する、面積によって重みづけされた平均が決定さ
れ、このスコアから閾値を引き、負の値に０をセットし
た後に、最終的な値が、中央の三角形の改訂された可視
性スコアとして保管される。

【００７１】図８は、三角形の可視性スコアのすべてが
処理され、必要な場合に変更された後の、図７に示され
たものと同一の区域に対応するモデルの区域の例示的な
図である。図７および図８の三角形に関連する値を比較
することによってわかるように、図７で三角形が０に関
連する場合には必ず、その三角形が、図８で０に関連す
るままになっている。しかし、残りの三角形にまたがる
変動は、図７に示された変動よりなだらかである。とい
うのは、これらの新しいスコアが、図７の可視性スコア
の面積によって重みづけされた平均に対応するからであ
る。

【００７２】図６に戻って、三角形について改訂された
可視性スコアを決定した後に、重み決定モジュール５８
は、ある視点から見られた、モデル内の三角形に関する
可視性スコアのすべてを処理したかどうかを決定する
（Ｓ６−８）。そうでない場合には、重み決定モジュー
ル５８は、処理のために次の三角形を選択する（Ｓ６−
９）。

【００７３】したがって、このようにして、三角形に関
連する可視性スコアのすべてが処理され、その結果、可
視性スコアが、モデルの表面にわたって徐々に変化し、
モデルのうち、可視性スコアが生成された視点から実質
的に可視ではない全ての部分には０を与える。

【００７４】図４に戻って、モデルの全体にわたる可視
性スコアの滑らかな変動を保証するために必要であっ
た、すべてのビューのすべての三角形の可視性スコアを
修正した後に、重み決定モジュール５８は、すべてのビ
ューのすべての三角形の重み関数データを計算し（Ｓ４
−３）、その結果、定義された視点のそれぞれから見ら
れたモデルの表面の可視性を示す滑らかな重み関数を生
成できるようにする。

【００７５】単一のビューに関するモデルの重み関数デ
ータを生成する重み決定モジュール５８の処理を、図
９、図１０Ａ、および図１０Ｂを参照して詳細に説明す
る。この処理は、他のビューについて繰り返され、その
結果、すべてのビューの重み関数データが生成される。

【００７６】図９は、可視性スコアが決定され、修正さ
れた、位置決定モジュール３２によって出力された位置
データの１組によって定義されるビューの表面モデラ３
４から受け取られた３Ｄモデル・データによって定義さ
れるモデルの表面の重み関数データを生成する重み決定
モジュール５８の処理の流れ図である。

【００７７】まず、重み決定モジュール５８が、モデル
の最初の三角形を選択する（Ｓ９−１）。重み決定モジ
ュール５８が、その後（Ｓ９−２）、選択された三角形
の頂点のそれぞれについて、その頂点を共有する、モデ
ル内の三角形に関連する最小の可視性スコアをセットす
る。この最小可視性スコアが、これらの頂点に対応する
モデルの点の重み関数データとして保管される。

【００７８】重み決定モジュール５８は、その後（Ｓ９
−３）、選択された三角形の辺のそれぞれについて、現
在選択されている三角形と、その共通の辺を共有する隣
接する三角形のうちでより小さい可視性スコアをセット
する。これらの値が、識別された辺のそれぞれの中点に
関連する重みを定義する重み関数データとして保管され
る。

【００７９】重み決定モジュール５８は、その後（Ｓ９
−４）、選択された三角形の重心に関連する重み関数デ
ータとして、現在選択されている三角形に関連する可視
性スコアを、重み関数データとして保管する。表面モデ
ラ３４によって生成されたモデルの三角形のそれぞれの
頂点、辺、および重心について重み関数データを割り当
てることによって、後で説明するように、物体のモデル
の表面の全体の値を、モデルの表面の残りの点を補間す
ることによって決定することができる。

【００８０】図１０Ａは、それぞれが可視性スコアに関
連する三角形の選択の例示的な例である。

【００８１】図１０Ｂは、０．５の可視性スコアに関連
する、図１０Ａの三角形の頂点、辺、および重心に関連
する重み関数の例である。

【００８２】図１０Ｂからわかるように、重み関数が共
通の辺または頂点を有する三角形に関連するスコアの最
小値になるように、三角形の頂点および辺の重み関数デ
ータを選択することによって、０の可視性スコアを有す
る三角形に隣接する三角形の辺または頂点に関連する重
み関数に、すべて０がセットされることが保証される。

【００８３】各三角形の重心、辺、および頂点に重み関
数データを関連付けることによって、三角形の辺にその
後に関連付けられる重み値を、三角形の頂点が同一の値
に関連する場合であっても変更できることが保証され
る。したがって、たとえば図１０Ｂでは、三角形の底辺
の中央部分に、０．５の値が関連し、三角形の底辺の２
つの頂点の両方に、０が関連する。単純な重み関数が使
用され、三角形の辺に沿った位置に関連する重みが、頂
点に割り当てられた重みだけによって決定される場合に
は、この変更を行うことができない。

【００８４】図９に戻って、現在検討中の三角形の頂
点、辺、および重心について重み関数データを決定し、
保管した後に、重み決定モジュール５８は、現在検討中
の三角形が、表面モデラ３４によって生成されたモデル
の最後の三角形であるかどうかを決定する（Ｓ９−
５）。

【００８５】そうでない場合には、次の三角形を選択し
（Ｓ９−６）、新たに選択された三角形について、重み
関数データを決定し、保管する（Ｓ９−２〜Ｓ９−
４）。

【００８６】したがって、このようにすることで、モデ
ル化される物体の表面にまたがって滑らかに変化し、モ
デルのうちで重み関数に関連する視点から可視でないす
べての部分について０になる重み関数を生成するための
重み関数データが、生成される。

【００８７】図４に戻って、位置決定モジュール３２に
よって生成された位置データに対応するカメラ・ビュー
のそれぞれについて重み関数データを決定した後に、こ
の重み関数データが、重み決定モジュール５８によって
テクスチャ・マップ決定モジュール５９に出力され（Ｓ
４−４）、その結果、テクスチャ・マップ決定モジュー
ル５９が、生成されたモデルのテクスチャ・マップを生
成するのに使用される画像データの部分を選択するの
に、計算された重み関数データを使用できるようにな
る。

【００８８】＜テクスチャ・マップの生成＞通常のテク
スチャ・レンダリング技法を使用すると、カノニカル・
ビュー５０〜５５のそれぞれから知覚される投影された
画像に対応する画像データを生成することが可能にな
り、対象物体のモデルの表面が、画像データについて位
置決定モジュール３２によって出力された位置データに
対応するカメラ視点から記録されたものとして識別され
る入力画像データを使用してテクスチャ・レンダリング
される。

【００８９】出力重み関数データからの、カノニカル・
ビュー５０〜５５のそれぞれから見られたモデルの表面
の計算された重み関数に従ってテクスチャ・レンダリン
グされたモデルの表面の投影に対応する、投影された画
像を生成するために従来の技法を使用することも可能で
ある。

【００９０】上で説明したように、重み決定モジュール
５８によって生成され出力された重み関数データは、定
義された視点からのモデルの表面の諸部分の相対的な可
視性を表すように計算される。したがって、重み関数の
投影された画像は、カノニカル・ビューのそれぞれにつ
いてテクスチャ・マップのテクスチャ・データを生成す
るための、対応する視点からの画像データの投影の対応
する部分の使用の相対優先度を示す。したがって、これ
らの投影された重み関数画像（以下ではカノニカル信頼
画像と称する）を使用して、カノニカル・ビュー５０〜
５５の出力テクスチャ・マップを生成するためにブレン
ディングされる、投影された画像データの部分を選択す
ることができる。

【００９１】図１１は、入力データ・ストア２６に保管
された画像データ、位置決定モジュール３２によって出
力された位置データ、表面モデラ３４によって生成され
た３Ｄモデル・データ、および重み決定モジュール５８
によって出力された重み関数データから、カノニカル・
ビュー５０〜５５のそれぞれのカノニカル・テクスチャ
・マップを生成する、テクスチャ・マップ決定モジュー
ル５９の概念的機能モジュールの概略図である。

【００９２】本出願人は、画像内でハイライトおよび影
などの高周波数の詳細を維持しながらグローバルな照明
効果を平均化するために異なる形で画像をブレンディン
グすることによって、対象物体のモデルの現実的なテク
スチャの生成を達成できることを認識した。

【００９３】したがって、本発明の本実施形態によれ
ば、テクスチャ生成モジュール５９に、入力データ・ス
トア２６に保管された画像データから低周波数画像情報
を抽出する低周波数画像生成モジュール６０と、高周波
数カノニカル画像投影および低周波数カノニカル画像投
影を生成する画像投影モジュール６２と、カノニカル信
頼画像を生成する信頼画像生成モジュール６４と、ブレ
ンディングされた高周波数カノニカル画像および低周波
数カノニカル画像を生成するために高周波数カノニカル
投影および低周波数カノニカル投影とカノニカル信頼画
像を処理する加重平均フィルタ６６およびブレンディン
グ・モジュール６８と、高周波数画像と低周波数画像を
組み合わせ、カノニカル・ビュー５０〜５５のそれぞれ
のテクスチャ・マップとして組み合わされた画像を出力
する出力の再組合せモジュール７０が含まれる。

【００９４】６つのカノニカル・ビューのそれぞれに投
影される、入力データ・ストア２６に保管された入力画
像のそれぞれの高周波数カノニカル投影および低周波数
カノニカル投影を生成するために、まず、入力データ・
ストア２６内の画像データの各項目を、低周波数画像生
成モジュール６０に渡す。

【００９５】このモジュール６０は、各画像のブラーお
よびサブサンプリングを行うことにより、従来の方法で
ビューのそれぞれの画像データを処理することによっ
て、低周波数画像の組を生成する。本実施形態では、ブ
ラー動作が、ガウス・ブラー動作を実行することによっ
て達成され、ガウス・ブラー動作では、ブラー半径が、
６つのカノニカル・ビュー５０〜５５によって定義され
る物体境界ボックスの中央に配置され、境界ボックスの
対角線の長さの５％の辺を有する立方体の投影のサイズ
になるように選択される。このようなブラー半径の選択
によって、半径が画像解像度とは独立しており、画像が
対象物体のクローズ・アップである（大きい半径）か対
象が画像内で小さく見える（小さい半径）かに応じて変
化することが保証される。

【００９６】これらの低周波数画像は、入力データ・ス
トア２６に保管された元の画像データのコピー、位置決
定モジュール３２によって決定された画像のそれぞれの
位置データ、および表面モデラ３４によって生成された
モデルの３Ｄモデル・データと共に、画像投影モジュー
ル６２に渡される。

【００９７】入力データ・ストア２６からの入力画像の
それぞれについて、画像投影モジュールは、画像に関連
する位置データおよび表面モデラ３４によって出力され
た３Ｄモデル・データを使用して、標準的なテクスチャ
・レンダリング技法を使用することによって、６つのカ
ノニカル・ビュー５０〜５５から知覚される入力画像の
計算された投影を決定する。

【００９８】同じようにして、画像投影モジュール６２
は、低周波数画像生成モジュール６０によって処理され
た画像データに対応する低周波数画像のそれぞれについ
て、６つのカノニカル・ビュー５０〜５５の６つの低周
波数カノニカル投影を生成する。

【００９９】各画像の６つの高周波数カノニカル画像投
影は、画像投影モジュール６２によって差分動作を実行
することにより決定される。すなわち画像投影モジュー
ル６２は、指定されたカノニカル・ビューから見られた
画像の低周波数カノニカル画像投影をそのビューの生画
像データの対応する画像投影から引く処理を行う。

【０１００】その後、６つのカノニカル・ビューのそれ
ぞれの各画像の低周波数カノニカル投影および高周波数
カノニカル投影が、後で説明する処理のために、加重平
均フィルタ６６およびブレンディング・モジュール６８
に渡される。

【０１０１】このようにして、入力データ・ストア２６
からの画像データを処理することによって、この画像の
処理によって、互いに一貫性がある各画像の高周波数カ
ノニカル投影および低周波数カノニカル投影が生成され
ることを保証することができる。対照的に、ブラー動作
が、入力データ・ストア２６に保管された画像データか
ら作成されたカノニカル画像投影に対して実行される場
合には、これらの生成された投影の画素データが、通常
は元の画像データの異なる領域に依存するので、ブラー
動作が、６つのすべてのカノニカル画像にまたがって一
貫性を有しなくなり、したがって、生成されるテクスチ
ャ・マップに誤差が導入される。

【０１０２】信頼画像生成モジュール６４は、表面モデ
ラ３４からの３Ｄモデル・データおよび重み決定モジュ
ール５８からの重み関数データを受け取るように配置さ
れる。信頼画像生成モジュール６４は、３Ｄモデル・デ
ータおよび重み関数データを処理して、入力データ・ス
トア２６内の各入力画像の視点に対応する視点に関連す
る重み関数のそれぞれについて、６つのカノニカル・ビ
ュー５０〜５５のカノニカル信頼画像の組を生成する。

【０１０３】具体的に言うと、重み関数が保管された三
角形のそれぞれが、まず、三角形の各辺の中点を他の２
つの辺の中点に連結し、各辺の中点のそれぞれを三角形
の重心に連結することによって処理される。これらの定
義された小さい三角形のそれぞれが、６つのカノニカル
・ビューに投影され、各小さい三角形の投影の各部分に
対応する点の値が、これらの小さい三角形の頂点に関連
する重み関数データから、標準ＯｐｅｎＧＬ「スムーズ
・シェーディング」補間を使用して補間される。

【０１０４】したがって、このようにすることで、６つ
のカノニカル・ビューのそれぞれについて、重み関数の
それぞれについてカノニカル信頼画像が生成される。こ
のようにして生成されたカノニカル信頼画像の画素値
は、それぞれ、テクスチャ・マップ・データを生成する
ために重み関数が生成された視点を表す画像データのカ
ノニカル投影の対応する部分の使用の相対的案優先度を
表す。これらのカノニカル信頼画像は、加重平均フィル
タ６６およびブレンディング・モジュール６８に渡さ
れ、その結果、６つのカノニカル・ビューのテクスチャ
・データを、テクスチャ・マップ・データの部分を生成
するための好ましいソースを識別するデータを使用して
生成することができるようになる。

【０１０５】したがって、低周波数画像生成モジュール
６０、画像投影モジュール６２、および信頼画像生成モ
ジュール６４による画像データおよび重み関数データの
処理の後に、加重平均フィルタ６６およびブレンディン
グ・モジュール６８が、入力データ・ストア２６に保管
された画像データの各項目について、指定された画像か
ら導出された投影された画像の諸部分がテクスチャ・デ
ータの生成に好ましい程度を識別する６つのカノニカル
信頼画像の組と、画像データの項目に対応する高周波数
画像または低周波数画像のいずれかの６つの投影の組を
受け取る。加重平均フィルタ６６およびブレンディング
・モジュール６８は、これから詳細に説明するように、
カノニカル・ビューのそれぞれについて、信頼画像およ
び関連する低周波数カノニカル投影および高周波数カノ
ニカル投影の処理を交互に行う。

【０１０６】＜低周波数カノニカル投影の処理＞図１２
は、入力データ・ストア２６に保管された入力画像の組
のそれぞれの、指定されたカノニカル・ビューの低周波
数カノニカル投影および関連するカノニカル信頼画像の
処理の流れ図である。

【０１０７】まず（Ｓ１２−１）、加重平均フィルタ６
６が、最初の低周波数カノニカル投影およびそれに関連
する位信頼画像を選択する。これは、加重平均フィルタ
６６によって生成される初期低周波数カノニカル画像の
基礎にされる。加重平均フィルタ６６は、同一のカノニ
カル・ビューの次の低周波数投影を、その投影に関連す
る信頼画像と共に選択する（Ｓ１２−２）。

【０１０８】加重平均フィルタ６６は、その後（Ｓ１２
−３）、新しい低周波数カノニカル画像として、画像内
の画素ごとに、次式を使用して信頼スコアによって重み
を付けられた、現在の低周波数カノニカル画像と選択さ
れた低周波数カノニカル投影の加重平均を含むカノニカ
ル画像を決定する。

【０１０９】

【数３】 ここで、Ｃは、カノニカル画像について処理中の画素に
関連する現在の信頼スコアであり、Ｃｉは、選択された
投影に関連する信頼画像の画素に関連する信頼スコアで
ある。

【０１１０】その後、カノニカル画像内の画素の信頼ス
コアを、処理される最新の投影の信頼スコアを現在の信
頼スコアに加算することによって更新する。すなわち、
新しい信頼スコアＣ_newは、次式によって計算される。

【０１１１】Ｃ_new＝Ｃ_old＋Ｃｉここで、Ｃ_oldは、現
在の画素に関連する信頼スコアの前の信頼スコアであ
り、Ｃｉは、処理中の投影内の現在の画素の信頼スコア
である。

【０１１２】加重平均フィルタ６６は、その後（Ｓ１２
−４）、最新の選択された低周波数カノニカル投影が、
現在計算中のカノニカル・ビューの最後の低周波数カノ
ニカル投影であるかどうかを決定する。そうでない場合
には、加重平均フィルタ６６は、決定された組み合わさ
れた画像を使用して、次の信頼画像および関連する低周
波数画像投影を使用して新しい組み合わされた画像を生
成する処理に進む（Ｓ１２−２〜Ｓ１２−４）。

【０１１３】加重平均フィルタ６６が、指定されたカノ
ニカル・ビュー５０〜５５の最後の低周波数カノニカル
投影を処理したと決定する時（Ｓ１２−４）には、加重
平均フィルタ６６は、ブレンディングされたカノニカル
低周波数画像として、加重平均フィルタ６６によって処
理された最後の投影された画像の加重平均を使用して生
成された画像を出力する（Ｓ１２−５）。

【０１１４】したがって、このようにして、加重平均フ
ィルタ６６が、カノニカル・ビュー５０〜５５のそれぞ
れについて、カノニカル信頼画像内のモデルの表面テク
スチャを最もよく表すものとして識別される画像の部分
を示す信頼スコアによって重みを付けられた低周波数カ
ノニカル投影のそれぞれを組み合わせることによって、
低周波数画像の生成を可能にする。低周波数画像は、グ
ローバル照明効果によって影響される表面の平均ローカ
ル色を表す。加重平均フィルタ６６によるこの処理によ
って、モデルの諸部分が最も簡単に見られる画像により
大きい重みが置かれ、これらのグローバル照明効果が最
適の使用可能な画像にまたがって平均される場合に、カ
ノニカル低周波数画像の生成が可能になり、カノニカル
低周波数画像に、現実的な外見と自然な色合いが見える
ようにする。

【０１１５】＜高周波数カノニカル投影の処理＞図１３
は、カノニカル・ビュー５０〜５５のうちの１つのカノ
ニカル高周波数画像を生成するための、カノニカル信頼
画像および関連する高周波数カノニカル投影の処理の流
れ図である。この処理は、カノニカル・ビュー５０〜５
５のそれぞれについて繰り返される。

【０１１６】高周波数カノニカル画像を生成するための
ブレンディング・モジュール６８の処理は、カノニカル
投影およびカノニカル画像の画素の加重平均を決定する
のではなく、この実施形態ではブレンディング・モジュ
ール６８がカノニカル画像データ画像データとして、最
も大きい信頼スコアに関連する画素データを選択するこ
とを除いて、加重平均フィルタ６６の処理のそれと同一
である。

【０１１７】具体的に言うと、初期の高周波数投影およ
び関連する信頼画像が初期高周波数カノニカル画像およ
び関連する信頼画像になるように選択し（Ｓ１３−
１）、処理のために次の投影および信頼画像を選択し
（Ｓ１３−２）た後に、ブレンディング・モジュール６
８は、現在の高周波数カノニカル画像内の画素を更新す
る（Ｓ１３−３）。

【０１１８】これは、ブレンディング・モジュール６８
が、画像内の画素ごとに、処理中の高周波数カノニカル
投影内の対応する画素の画素データまたは現在の高周波
数カノニカル画像の画素データのいずれかを選択するこ
とによって達成される。選択は、画素ごとに、処理中の
高周波数投影に関連する信頼画像内の対応する画素が、
現在のカノニカル画像内の画素に関連する信頼スコアよ
り高い信頼スコアを有するかどうかを決定することによ
って行われる。最高のスコアに関連する画素データが、
カノニカル画像の画素データとして使用される。更新さ
れたカノニカル画像内の画素に関連する信頼スコアに
は、カノニカル画像に関連する信頼画像または現在処理
中の投影のいずれかによって識別される画素の信頼スコ
アの大きい方がセットされる。

【０１１９】ブレンディング・モジュール６８は、カノ
ニカル・ビューの高周波数画像投影のすべてが処理され
たかどうかを決定する（Ｓ１３−４）。そうでない場合
には、次の投影および信頼画像を使用して、生成される
高周波数カノニカル画像を更新する（Ｓ１３−２〜Ｓ１
３−４）。すべてのカノニカル投影を処理した時に、最
終的なカノニカル画像を出力する（Ｓ１３−５）。

【０１２０】したがって、このようにすることで、高周
波数カノニカル画像の各画素が、その画素の信頼スコア
のうちの最も大きい信頼スコアに関連する、使用可能な
高周波数画像投影からの画素データに対応する場合に、
使用可能な高周波数画像投影のすべてを使用して、高周
波数カノニカル画像が生成される。信頼スコアは、画像
データを生成するための画素の選択の相対的なよさを示
すので、高周波数カノニカル画像は、高周波数カノニカ
ル画像の各部分の最良の使用可能な画素データのパッチ
ワークに対応する。

【０１２１】したがって、このようにすることで、６つ
のカノニカル・ビュー５０〜５５の６つの低周波数カノ
ニカル画像と、６つの高周波数カノニカル画像が、それ
ぞれ加重平均フィルタ６６およびブレンディング・モジ
ュール６８によって生成される。カノニカル低周波数画
像では、グローバル照明効果が、投影に関連するカノニ
カル信頼画像によって識別される画像の部分の使用の相
対的な優先度に比例して、使用可能な低周波数カノニカ
ル投影の間で平均される。高周波数カノニカル画像で
は、高周波数カノニカル投影が、上で説明した形で選択
されて、異なる高周波数カノニカル投影が組み合わされ
る時に、カノニカル画像内の高周波数の詳細およびコン
トラストが維持されることが保証される。

【０１２２】６つのカノニカル低周波数画像および６つ
のカノニカル高周波数画像が、その後、カノニカル・ビ
ュー５０〜５５のそれぞれについて、再組合せ出力モジ
ュール７０によって受け取られ、再組合せおよび出力モ
ジュール７０が、各ビューの高周波数画像および低周波
数画像を加算することによって、単一のカノニカル・テ
クスチャ・マップを生成する。組み合わされたカノニカ
ル・テクスチャ・マップは、表面モジュール３４によっ
て生成された３Ｄモデル・データと共に、出力データ・
ストア４４での保管のために、再組合せおよび出力モジ
ュール７０によって出力される。

【０１２３】出力カノニカル・テクスチャ・マップは、
３次元モデル・データによって識別される三角形のそれ
ぞれをテクスチャ・マップの１つと関連付けることによ
って、表面モデラ３４によって生成されたモデルの画像
表現をテクスチャ・レンダリングするのに使用すること
ができる。本実施形態では、各三角形をテクスチャ・レ
ンダリングするためのテクスチャ・データの選択が、三
角形が最大の可視性スコアを有するマップを、使用され
るマップとして選択することによって決定され、ここ
で、可視性スコアは、図５に関して前に説明したのと同
一の形で、カノニカル・ビュー５０〜５５のそれぞれに
ついて計算される。表面モデラ３４によって生成された
モデルをテクスチャ・レンダリングするためのテクスチ
ャ座標は、選択されたカノニカル・ビュー５０〜５５へ
の三角形の投影によって暗黙のうちに定義される。

【０１２４】その後、対象物体のモデルの画像を、表示
装置４での表示のために、出力データ・ストア４４に保
管された出力カノニカル・テクスチャ・マップおよび３
Ｄモデル・データを使用して、すべての視点について得
ることができ、生成された画像のハード・コピーは、プ
リンタを使用して作ることができる。出力データ・スト
ア４４に保管されたモデル・データおよびテクスチャ・
マップは、記憶装置４６および４８にデータとして出力
することもできる。

【０１２５】［第２の実施形態］本発明の第１の実施形
態では、異なる視点から記録された対象物体の複数の画
像を定義する入力データを処理して、対象物体のモデル
を囲む立方体のビューである６つのカノニカル・テクス
チャ・マップを含むテクスチャ・データを生成する画像
処理装置について説明した。このようにしてテクスチャ
・マップを生成することによって、必要なビューの総数
が６個に制限されることが保証されるが、モデル内のす
べての三角形がカノニカル・ビューのうち、少なくとも
一つで可視になることは保証されない。その結果、モデ
ルのある部分が、モデルの表面の異なる部分に対応する
表面情報を使用してテクスチャ・レンダリングされる可
能性がある。本発明の本実施形態では、３Ｄモデルのす
べての三角形が、対象物体の対応する部分を表す画像デ
ータが使用可能である場合に、対象物体の表面の対応す
る部分のテクスチャ・データを使用してレンダリングさ
れることを保証するテクスチャ・データを生成する画像
処理装置について説明する。

【０１２６】本発明の本実施形態に従った画像処理装置
は、表面テクスチャラ３６が、修正された表面テクスチ
ャラ８０によって置換されることを除いて、前述の第１
の実施形態の画像処理装置と同一である。

【０１２７】図１４は、修正された表面テクスチャラ・
モジュール８０の概念的機能モジュールの概略ブロック
図である。修正された表面テクスチャラ８０には、カノ
ニカル・ビュー決定モジュール８２、前の実施形態の表
面テクスチャラ３６の重み決定モジュール５８と同一の
重み決定モジュール５８、および修正されたテクスチャ
・マップ決定モジュール８６が含まれる。

【０１２８】本実施形態では、カノニカル・ビュー決定
モジュール８２が、表面モデラ３４によって出力された
３Ｄモデル・データから、３Ｄモデルの表面の部分が６
つの初期カノニカル・ビューから可視でないかどうかを
決定するように配置される。そうであると決定される場
合には、カノニカル・ビュー決定モジュール８２は、こ
れらの三角形のテクスチャ・データを保管するためのカ
ノニカル・ビューのさらなる組の定義に進む。これらの
ビュー定義は、テクスチャ・マップ決定モジュール８６
に渡される。修正されたテクスチャ・マップ決定モジュ
ール８６は、初期カノニカル・ビューおよびこれらの追
加のカノニカル・ビューのカノニカル・テクスチャ・マ
ップ・データを生成し、これらが、表面モデラ３４によ
って生成されたモデルの表面のテクスチャ・レンダリン
グに使用される。

【０１２９】本発明の本実施形態によるカノニカル・ビ
ュー決定モジュール８２の処理を、カノニカル・ビュー
決定モジュール８２の処理の流れ図である図１５を参照
して、これから説明する。

【０１３０】まず（Ｓ１５−１）、カノニカル・ビュー
決定モジュール８２が、表面モデラ３４によって生成さ
れたモデルの最初の三角形を選択する。カノニカル・ビ
ュー決定モジュール８２は、その後（Ｓ１５−２）、前
の実施形態に関して前に説明したように可視性値が重み
決定モジュール５８によって生成されるのに類似する形
で、６つのカノニカル・ビューのそれぞれから知覚され
る三角形の可視性値および可視性スコアを生成する。

【０１３１】カノニカル・ビュー決定モジュール８２
は、その後（Ｓ１５−３）、処理中の三角形に関連する
可視性値が、閾値より大きく、その三角形がビューの少
なくとも１つで少なくとも実質的に可視であることが示
されるかどうかを決定する。本実施形態では、この閾値
に０がセットされ、その結果、ビューの１つで少なくと
も７５％可視であるすべての三角形が、実質的に可視と
して識別される。

【０１３２】カノニカル・ビュー決定モジュール８２
が、処理中の三角形が可視である、すなわち、少なくと
も１つのビューで０より大きい可視性値を有すると決定
する場合には、カノニカル・ビュー決定モジュールは、
使用可能なカノニカル・ビューから、前に説明した形で
生成される最大の可視性スコアが三角形に関連付けられ
るビューを選択する。選択された三角形が最も可視であ
るカノニカル・ビューを識別するデータを、保管する。
したがって、このようにして、後に使用される三角形を
レンダリングするためのテクスチャ・データのカノニカ
ル・ビューを識別するデータが、生成される。

【０１３３】カノニカル・ビュー決定モジュール８２
は、その後（Ｓ１５−５）、現在選択されている三角形
が、表面モデラ３４によって生成された３Ｄモデルの最
後の三角形に対応するかどうかを決定する。そうでない
場合には、カノニカル・ビュー決定モジュール８２は、
次の三角形の選択に進み、その、次の三角形の可視性値
および可視性スコアを決定する（Ｓ１５−６〜Ｓ１５−
５）。

【０１３４】カノニカル・ビュー決定モジュール８２
が、三角形のすべてが処理されたと決定する（Ｓ１５−
５）時には、カノニカル・ビュー決定モジュール８２
は、最良のビューを識別するデータが、すべての三角形
について保管されたかどうかを決定する（Ｓ１５−
７）。

【０１３５】そうでない場合には、カノニカル・ビュー
決定モジュール８２は、最良ビュー・データが保管され
ていない三角形のリストを生成し、保管し（Ｓ１５−
８）、カノニカル・ビュー決定モジュール８２は、その
後、最良ビュー・データが既に保管された三角形なし
で、６つのカノニカル・ビューでのこれらの残りの三角
形の可視性の確立に進む（Ｓ１５−１〜Ｓ１５−７）。
この処理は、すべての三角形について最良ビュー・デー
タが保管されるまで繰り返される。

【０１３６】カノニカル・ビュー決定モジュール８２
が、すべての三角形について最良ビュー・データを保管
したと決定する（Ｓ１５−７）時には、カノニカル・ビ
ュー決定モジュール８２は、三角形のそれぞれについ
て、その三角形が最も可視であるカノニカル・ビュー
を、三角形不可視カノニカル・ビューの生成されたリス
トと共に含むビュー定義データを出力する（Ｓ１５−
９）。これらのリストおよび、三角形を最もよく表現す
ると識別されたビューが、出力され、修正されたテクス
チャ・マップ決定モジュール８６に渡される。

【０１３７】修正されたテクスチャ・マップ決定モジュ
ール８６は、３Ｄモデル・データ、重み関数データ、画
像データ、および位置データを処理する時に、第１の実
施形態に関して説明したものと同一の形で、６つの元の
カノニカル・ビューを生成する。

【０１３８】しかし、テクスチャ・マップ決定モジュー
ル８６は、さらに、カノニカル・ビュー決定モジュール
８２によって出力されたリストによって、元の６つのカ
ノニカル・ビューで可視でないと識別される三角形につ
いて、他の三角形なしで６つのカノニカル・ビューでカ
ノニカル・ビュー決定モジュール８２によって生成され
た三角形のリストによって識別される三角形の投影に対
応するさらなるテクスチャ・マップを生成する。これら
の追加のカノニカル・ビューは、修正されたテクスチャ
・マップ決定モジュール８６の画像投影モジュール６２
によって生成された画像データの高周波数カノニカル投
影および低周波数カノニカル投影と、カノニカル・ビュ
ー決定モジュール８２によって出力された三角形のリス
トによって識別される三角形だけのカノニカル投影であ
る追加のカノニカル信頼画像から生成される。これらの
追加の信頼画像は、第１の実施形態に関して前に説明し
たものと同一の形で、重み決定モジュール５８によって
生成された重み関数データを使用してリスト内で識別さ
れた三角形について計算される。

【０１３９】したがって、このようにして、追加のテク
スチャ・マップが、モデルの表面のうちで元の６つのカ
ノニカル・ビューに現れない部分について生成される。
これらの部分的な追加のテクスチャ・マップは、主カノ
ニカル・ビューに類似する形で生成されるので、これら
も、画像の部分の投影を表し、標準的な画像圧縮技法を
使用する圧縮に適する。

【０１４０】元のカノニカル・ビューを、これらの追加
のカノニカル・ビューと共に使用して、各三角形のレン
ダリングに使用されるテクスチャ・マップが、カノニカ
ル・ビュー決定モジュール８２によって出力されるリス
トおよび最良のビューを識別するデータを使用して選択
される場合に、モデルのテクスチャ・レンダリングに使
用することができる。

【０１４１】［第３の実施形態］本発明の第３の実施形
態を、これから説明する。第１の実施形態では、関連す
る信頼画像内の対応する画素の最高の信頼スコアに関連
する画素に対応する画素データを選択するブレンディン
グ・モジュール６８について説明した。そのような選択
システムに関する問題は、異なる画像ソースからの画素
データの選択を表す境界が、生成されるテクスチャ・マ
ップ・データ内に現れる可能性があることである。加重
平均フィルタ６６によって実行されるものなどの平均化
動作を実行するというこの問題に対する明白な解決策
は、テクスチャ・マップ・データ内のコントラストが失
われるので、望ましくない。本実施形態では、ブレンデ
ィング・モジュール６８が、画像コントラストを維持し
ながら、テクスチャ・マップ・データ内で顕著な境界が
生じないようにする形で高周波数カノニカル投影を処理
するように配置される。

【０１４２】図１６は、本発明の本実施形態による、ブ
レンディング・モジュール６８によるカノニカル信頼画
像および関連する高周波数カノニカル画像投影の処理の
流れ図である。

【０１４３】まず（Ｓ１６−１）、ブレンディング・モ
ジュール６８が、カノニカル高周波数画像を生成するカ
ノニカル・ビューの高周波数カノニカル投影の最初の１
つを選択し、選択された最初の高周波数投影に対応する
画像を、初期カノニカル高周波数画像としてセットす
る。

【０１４４】ブレンディング・モジュール６８は、その
後（Ｓ１６−２）、そのカノニカル・ビューの次の高周
波数カノニカル投影と、それに関連するカノニカル信頼
画像を処理のために選択する。

【０１４５】その後（Ｓ１６−３）、カノニカル高周波
数画像の最初の画素を選択し、ブレンディング・モジュ
ール６８は、その後（Ｓ１６−４）、高周波数カノニカ
ル画像内の選択された画素について、現在の高周波数カ
ノニカル画像内の画素と、処理中の高周波数カノニカル
投影内の対応する画素内との間の差分値を決定する。

【０１４６】本実施形態では、高周波数カノニカル投影
およびカノニカル高周波数画像に、カラー・データが含
まれる場合には、この差分値は、選択された高周波数カ
ノニカル投影および生成中のカノニカル高周波数画像の
対応する画素の赤チャネル、緑チャネル、および青チャ
ネルのそれぞれの対応する値の間の差分の合計を決定す
ることによって計算することができる。

【０１４７】一方、処理中の画像にグレイ・スケール・
データが含まれる場合には、この差分値を、カノニカル
高周波数画像の画素と、処理中の高周波数カノニカル投
影の対応する画素との間の差分を計算することによって
決定することができる。

【０１４８】より一般的に、カラー・データが処理され
る本発明のさらなる実施形態で、処理中の高周波数カノ
ニカル投影と生成中のカノニカル高周波数画像の対応す
る画素の赤チャネル、緑チャネル、および青チャネルの
値の適当な関数を使用して、画素の差分値を生成できる
ことを了解されたい。

【０１４９】処理中の画素の差分値を決定した後に、ブ
レンディング・モジュール６８は、画素に関連する信頼
スコアおよび決定された画素の差分値から、選択された
画素のブレンド関数を決定する（Ｓ１６−５）。

【０１５０】本実施形態では、このブレンド関数が、ま
ず、決定された画素の差分値に依存する勾配Ｇを選択す
ることによって決定される。具体的に言うと、本実施形
態では、値Ｇが、次式によって計算される。

【０１５１】

【数４】 ここで、Ｄは、決定された画素の差分値であり、Ｄ
₀は、重みづけ係数が画像間で検出された差分に起因し
て変更される範囲を固定するブレンド定数である。本実
施形態では、差分値Ｄが、それぞれが０から２５５まで
変化する３つのカラー・チャネルについてカラー画像デ
ータから計算される場合、Ｄ０の値には６０がセットさ
れる。

【０１５２】現在のカノニカル高周波数画像内の処理中
の画素と、処理中の高周波数カノニカル投影内の対応す
る画素との間の加重平均を計算するための初期重みづけ
分数は、次式を計算することによってセットされる。

【０１５３】

【数５】 ここで、Ｃｉ／（Ｃ＋Ｃｉ）は、選択された高周波数カ
ノニカル投影に関連する信頼画像内の処理中の画素に関
連する相対信頼スコアであり、カノニカル画像によって
画素に関連付けられた信頼スコアに対する処理中の現在
の画像内の画素に関連する信頼スコアＣｉの比率であ
り、Ｇは、画素の決定された差分値Ｄを使用して決定さ
れる勾配である。

【０１５４】最終的な重みづけ分数は、次式によって重
みづけ値Ｗをセットすることによって決定される。

【０１５５】Ｗ₀＜０の場合、Ｗ＝０ Ｗ₀＞１の場合、Ｗ＝１ ０≦Ｗ₀≦１の場合、Ｗ＝Ｗ₀ 図１７は、このようにして計算される最終的な重みづけ
値Ｗが、処理中の画素の相対信頼スコアＣｉ／（Ｃ＋Ｃ
ｉ）および画素の決定された差分値Ｄに応じて変化する
形を示す、生成されるブレンド関数のグラフである。

【０１５６】図示のグラフでは、実線７２が、Ｄが高い
値に等しい場合、たとえば、Ｄが０と７６５の間の範囲
であるこの実施形態では、７００を超える値の場合の、
重みづけ値のＷを計算するためのグラフを示す。したが
って、このグラフでは、特定のソースの相対信頼スコア
が低い場合に、０の重みづけ値が選択され、高い画素信
頼スコアの場合に、１の重みづけ値が選択されることが
示されている。中間の画素信頼スコアの場合、中間の重
みづけ係数が決定され、この重みづけ係数は、信頼スコ
アが増えるにつれて増える。

【０１５７】図１７の破線７４は、ある画素に関する第
１画像および第２画像の画像データの間の差分の計算さ
れた値Ｄが、ブレンド定数Ｄ₀以下である場合のブレン
ド関数を示す図である。この場合、ブレンド関数は、重
みづけ値に画素の画素相対信頼スコアに等しい値をセッ
トする関数からなる。

【０１５８】Ｄの中間の値の場合、ブレンド関数は、実
線７２と破線７４の間で変化する。閾値がそれを下回る
か上回る場合に０または１の重みづけ値が出力され、Ｄ
の減少につれて減少し、増加する。したがって、Ｄが減
少するにつれて、相対信頼スコアのうちで、０または１
以外の重みづけ値が出力される部分の比率が、増える。

【０１５９】図１６に戻って、最終的な重みづけ値Ｗを
決定した後に、ブレンディング・モジュール６８は、検
討中の画素のブレンディングされた画素データの計算お
よび保管（Ｓ１６−６）に進む。本実施形態では、画像
データにカラー画像データが含まれる場合、計算される
ブレンディングされた画素データが、次式によって３つ
のカラー・チャネルのそれぞれについて決定される。

【０１６０】新しい画素値＝Ｗ×［選択された画像の画
素値］＋（１−Ｗ）×［カノニカル画像の画素値］ その後、ブレンディングされた画素に関連する信頼値
も、カノニカル画像内の画素に関連する現在の信頼スコ
アと処理中の投影内の画素の信頼スコアのうちの大きい
方を画素の新しい信頼スコアとして選択し、保管するこ
とによって、更新される。

【０１６１】このようにして、高周波数カノニカル画像
の画素の画素データを計算することの効果は、画素デー
タが、差分データと、選択された高周波数カノニカル投
影の処理される画素に関連する信頼データとの両方に依
存するようになることである。具体的に言うと、画素の
差分データが小さい（すなわち、ブレンド定数Ｄ₀以
下）の場合に、関連するカノニカル画像の画素の相対信
頼スコアに比例する加重平均に対応する計算された画素
データが、使用される。差分データが大きい（すなわ
ち、ブレンド定数Ｄ₀を超える）場合には、１対の閾値
が、差分データの実際の値に基づいて設定される。その
後、画素データが、関連するカノニカル画像の画素の相
対信頼スコアに応じて、２つの異なる形で生成される。
相対信頼スコアが、これらの閾値の両方より大きいか両
方より小さい場合に、カノニカル画像の元の画素データ
または選択された高周波数カノニカル投影の画素データ
のいずれかだけが、合成画像データとして使用される。
相対信頼スコアが、閾値の間にある場合には、元の画素
データと選択された投影からの画素データの加重平均が
使用される。

【０１６２】生成された画素データを保管した後に、ブ
レンディング・モジュール６８は、現在検討中の画素
が、カノニカル画像の最後の画素であるかどうかを決定
する（Ｓ１６−７）。そうでない場合には、非線形平均
フィルタが、次の画素を選択し（Ｓ１６−８）、次の画
素に関する、差分値の決定（Ｓ１６−４）、ブレンド関
数の決定（Ｓ１６−５）、および画素データの計算およ
び保管（Ｓ１６−６）を繰り返す。

【０１６３】画素に関して生成された画素データおよび
改訂された信頼スコアを保管した後に、ブレンディング
・モジュール６８が、ブレンディングされた画素データ
が、高周波数カノニカル画像のすべての画素について保
管されたと決定する（Ｓ１６−７）場合に、ブレンディ
ング・モジュール６８は、選択された高周波数カノニカ
ル投影および関連する信頼画像が、処理される最後の高
周波数カノニカル投影および信頼画像であるかどうかを
決定する（Ｓ１６−９）。そうでない場合には、次の高
周波数カノニカル投影を選択し（Ｓ１６−２）、この新
たに選択された投影およびそれに関連する信頼画像を使
用して、カノニカル高周波数画像を更新する（Ｓ１６−
３〜Ｓ１６−６）。

【０１６４】ブレンディング・モジュール６８が、カノ
ニカル高周波数画像の更新に使用された最新の高周波数
カノニカル投影が、最後の高周波数カノニカル投影であ
ると決定する時に、ブレンディング・モジュール６８
は、カノニカル・ビュー５０〜５５の高周波数画像とし
て、最終的な高周波数投影によって更新された高周波数
カノニカル画像を出力する（Ｓ１６−１０）。

【０１６５】本出願人は、詳細を表すデータを含む高周
波数画像データからの画素の加重平均を決定することに
よる合成画像データ生成の望ましくない効果が、画像の
うちで、ソース・データの異なる項目が大きく異なる区
域で生じることを認識した。したがって、たとえば、ハ
イライトが、あるソース画像のある点で発生するが、別
のソース画像の同一の点で発生しない場合に、画像にま
たがる平均が、ハイライトのコントラストの消失をもた
らす。２つの画像のハイライトが、２つのソース画像内
の異なる点で発生する場合には、平均によって、合成画
像の別の部分での「ゴースト」ハイライトの生成ももた
らされる可能性がある。同様に、ソース・データの異な
る項目が、大きく異なる場合に、他の望ましくない影響
が、影の点で発生し、この場合、平均動作が、画像が均
一に照らされて見え、したがって平坦に見えるようにす
るという傾向を有する。

【０１６６】ソース画像の間の差の区域が異なり、異な
るソース画像内の対応する点が類似する外見を有する場
合には、平均動作によって、明白な画像品質の劣化は生
じない。したがって、合成画像のそのような区域にわた
って平均を実行することによって、ソース画像から得ら
れる合成画像の区域の間の境界を目立たなくするよう
に、画像データの異なるソースに付加された相対重みを
変更できる手段が提供される。

【０１６７】したがって、本発明の本実施形態によれ
ば、重みづけ係数が、画素の信頼データと差分データの
両方に基づいて選択され、その結果、加重平均フィルタ
６６で発生する信頼データだけに比例する重みづけ係数
に対して相対的に、ブレンディング・モジュール６８内
で、ソース画像の間の差分が大きいと決定される場合
に、好ましいソース・データに与えられる重みづけが増
やされ、より好ましくないデータに与えられる対応する
重みづけが減らされる。

【０１６８】したがって、信頼データと差分データの両
方が大きい場合に、より大きい重みを特定のソースに与
えるか、好ましいソース・データだけを使用して、合成
画像データを生成する。これらの区域は、高周波数画像
の詳細およびハイライトまたは影の区域に対応するの
で、結果の生成されるデータの詳細およびコントラスト
が維持される。

【０１６９】画像データの異なるソースの間の差が小さ
い区域では、信頼データに比例する重みづけ値が、全く
変更されないかごくわずかに変更され、その結果、異な
る画像から生成された画像データの部分の間の境界が、
これらの区域にまたがって最小化される。したがって、
このようにすることで、元の高周波数ソース・データの
コントラストおよび詳細のレベルを維持しながら、合成
画像のうちでソース・データの異なる項目から生成され
る部分の間の明白な境界が最小化された、合成画像デー
タを得ることができる。

【０１７０】上記の実施形態では、対象物体の画像の組
を、その対象物体の表現を生成するための３Ｄモデル・
データおよびテクスチャ・レンダ・データを生成するの
に使用されるものとして説明した。しかし、ある物体の
画像を使用して得られるテクスチャ・レンダ・データ
は、たとえば、第２の物体の表現を生成するのに使用す
ることができる。ある物体について得られたモデルと、
第２の物体から導出されたテクスチャの混合を使用し
て、異なる物体からのテクスチャの適用によってモデル
の外見を変更する方法を確立することができる。

【０１７１】具体的に言うと、任意の数のビューからの
第１の物体の信頼画像を、前に説明したのものに類似す
る形で生成することができる。異なる物体のソース画像
を、そのソース画像が生成されたかのように信頼画像を
使用して処理することができる。この形でのソース画像
の処理によって、ソース画像のテクスチャが第１の物体
の表面にわたって滑らかにブレンディングされたテクス
チャ・データが生成される。

【０１７２】したがって、たとえば、複数の信頼画像
を、モデルのビューについて生成することができる。複
数の視点からモデルの１側面に向かって見られたモデル
の信頼画像を、たとえば木目などの第１テクスチャの画
像と関連付けることができる。モデルの残りの信頼画像
を、たとえば大理石などの第２テクスチャに関連付ける
ことができる。生成された信頼画像を用いてこれら２つ
のソース画像を処理することによって、モデルの１側面
が木目のテクスチャを有して現れ、他の側面が大理石の
テクスチャを有して現れ、これら２つのテクスチャがモ
デルの表面にわたって滑らかにブレンディングされたテ
クスチャ・データが生成される。

【０１７３】一方では、限られた数のテクスチャ画像だ
けを使用するのではなく、信頼画像が生成された視点か
ら見られた異なる物体の画像を使用することができる。
したがって、たとえば、第１物体のモデルの画像を、複
数の視点について、前に説明したように生成することが
できる。第２物体の信頼画像を、これらの対応する視点
について生成することができ、第２物体のテクスチャ・
データを、第２物体の信頼画像を使用して第１物体の画
像を処理することによって得ることができる。

【０１７４】図面に関して説明した本発明の実施形態に
は、コンピュータ装置およびコンピュータ装置内で実行
される処理が含まれるが、本発明は、本発明を実行する
ように適合された、コンピュータ・プログラム、具体的
には担体上または担体内のコンピュータ・プログラムに
も拡張される。プログラムは、ソースまたはオブジェク
ト・コードの形式、もしくは、本発明に従った処理を実
行する用途に適した他の形式のいずれでもよい。担体
は、プログラムを担持することができるあらゆる実体ま
たは装置である。

【０１７５】たとえば、担体には、ＲＯＭ、たとえばＣ
Ｄ−ＲＯＭまたは半導体ＲＯＭなどの記憶媒体、もしく
は、たとえばフロッピ・ディスクまたはハード・ディス
クなどの磁気記録媒体を含めることができる。さらに、
担体は、電気ケーブルまたは光ケーブルを介するか無線
または他の手段によって伝えることができる電気信号ま
たは光学信号などの伝送可能な担体とすることができ
る。

【０１７６】プログラムが、ケーブルもしくは他の装置
または手段によって直接に伝えることができる信号で実
施される時に、担体は、ケーブルもしくは他の装置また
は手段によって構成される。

【０１７７】一方、担体を、プログラムが組み込まれる
集積回路とすることができ、その集積回路は、関連する
処理を実行するためまたはその実行に使用するために適
合される。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の概略ブロック図であ
る。

【図２】例示的対象物体を囲む６つのテクスチャ・マッ
プの位置および向きの例示的な図である。

【図３】図１の表面テクスチャラの概略ブロック図であ
る。

【図４】図３の重み決定モジュールの処理の流れ図であ
る。

【図５】入力画像内の物体の表面の諸部分の可視性を決
定するための処理の流れ図である。

【図６】スコアの比較的滑らかな変動を保証するための
可視性スコアの処理の流れ図である。

【図７】スコアの滑らかな変動を保証するモデルの区域
の処理の例示的な図である。

【図８】スコアの滑らかな変動を保証するモデルの区域
の処理の例示的な図である。

【図９】重み関数データの生成の流れ図である。

【図１０Ａ】関連する可視性スコアに関する三角形の選
択の例示的な例である。

【図１０Ｂ】生成された重み関数データの例示的な例で
ある。

【図１１】テクスチャ・マップ決定モジュールの概略ブ
ロック図である。

【図１２】低周波数カノニカル投影の処理の流れ図であ
る。

【図１３】高周波数カノニカル投影の処理の流れ図であ
る。

【図１４】本発明の第２の実施形態による表面テクスチ
ャラの概略ブロック図である。

【図１５】図１４の表面テクスチャラのカノニカル・ビ
ュー決定モジュールの処理の流れ図である。

【図１６】本発明の第３の実施形態による高周波数カノ
ニカル投影の処理の流れ図である。

【図１７】生成されたブレンド関数を示すグラフであ
る。

フロントページの続き Ｆターム(参考） 5B050 BA06 BA09 EA26 EA28 FA02 FA03 5B080 BA02 BA05 GA22 5L096 AA09 CA04 EA26 FA26

Claims (38)

【特許請求の範囲】
1. 【請求項１】 事前に定義されたビューからの対象の少
   なくとも一部の画像の複数の異なる空間周波数の画像情
   報を表す周波数成分画像データを生成する方法であっ
   て、 複数の視点からの対象を表す画像データを含む複数の画
   像を受け取るステップと、 受け取った前記複数の画像のそれぞれについて、前記受
   け取られた画像内の複数の異なる空間周波数の画像情報
   を表す周波数成分画像データを決定し、前記事前に定義
   されたビューに投影された前記周波数成分画像データの
   投影を決定するステップと、 前記複数の異なる空間周波数のそれぞれについて、前記
   事前に定義されたビューからの前記対象の少なくとも一
   部の画像の空間周波数情報を表す周波数成分画像データ
   を生成するために、周波数成分画像データの前記投影を
   使用するステップとを含む方法。
2. 【請求項２】 より低い空間周波数を表す周波数成分画
   像データの決定が、前記受け取られた画像データを使用
   するブラーおよびサブサンプリング動作を実行すること
   によって決定されることを特徴とする請求項１に記載の
   方法。
3. 【請求項３】 より高い周波数を表す周波数成分画像デ
   ータの決定が、前記より低い周波数成分画像データおよ
   び前記受け取られた画像データを使用して差分動作を実
   行することによって決定されることを特徴とする請求項
   ２に記載の方法。
4. 【請求項４】 前記周波数成分画像データの前記投影
   が、 前記複数の受け取られた画像から、前記画像によって表
   される対象の視点の相対位置を決定するステップと、 前記複数の画像および前記決定された位置から、前記対
   象の表面を表すモデル・データを決定するステップと、 前記位置データおよび前記対象の表面の前記モデル・デ
   ータを使用して前記投影を決定するステップとを実行す
   ることによって決定されることを特徴とする請求項１乃
   至３のいずれか１項に記載の方法。
5. 【請求項５】 前記受け取られた画像の前記複数の視点
   の相対位置を示す位置データの前記決定が、視点の相対
   位置および向きを決定するために前記画像内の特徴をマ
   ッチングすることを特徴とする請求項４に記載の方法。
6. 【請求項６】 モデル・データの前記生成が、前記複数
   の受け取られた画像のそれぞれについて、 画像のうちで対象に対応する部分を決定するステップ
   と、 前記画像の前記部分の周囲の決定および前記画像の視点
   を示す位置データを使用してモデル・データを生成する
   ステップとを含むことを特徴とする請求項４又は５に記
   載の方法。
7. 【請求項７】 周波数成分画像データの前記生成が、周
   波数成分画像データが生成される空間周波数のそれぞれ
   について、 前記画像の対応する部分に関する前記空間周波数の空間
   周波数情報を表す周波数成分画像データを決定するため
   に、周波数成分画像データの前記投影の各部分を使用す
   るステップを含むことを特徴とする請求項１乃至６のい
   ずれか１項に記載の方法。
8. 【請求項８】 画像の異なる空間周波数の周波数成分画
   像データの前記生成が、異なる空間周波数について異な
   る形で周波数成分画像データの投影の前記対応する部分
   から生成されることを特徴とする請求項７に記載の方
   法。
9. 【請求項９】 周波数成分画像データの前記生成が、さ
   らに、 前記複数の画像のそれぞれについて、前記視点からの前
   記対象の表面の部分の相対可視性を示す可視性データを
   決定するステップと、 周波数成分画像データの前記投影の部分を前記可視性デ
   ータに関連付けるステップと、 前記事前に定義されたビューからの前記対象の画像の周
   波数画像情報を表す周波数成分画像データを決定するた
   めに、前記投影の部分に関連する前記可視性データを使
   用するステップとを含むことを特徴とする請求項７又は
   ８に記載の方法。
10. 【請求項１０】 前記異なる空間周波数の少なくとも１
    つの周波数成分画像データの前記生成が、前記空間周波
    数の前記画像の各部分について、画像データの前記部分
    に関連する前記可視性データによって重みを付けられ
    た、前記画像の前記部分の周波数成分画像データの投影
    の対応する部分の加重平均を計算することによって生成
    されることを特徴とする請求項９に記載の方法。
11. 【請求項１１】 前記異なる空間周波数の少なくとも１
    つの周波数成分画像データの前記生成が、前記空間周波
    数の前記画像データの各画素について、最高の可視性を
    示す可視性データに関連する周波数成分画像データの投
    影の前記対応する部分を選択することによって生成され
    ることを特徴とする請求項９に記載の方法。
12. 【請求項１２】 事前に定義された視点からの対象の画
    像を表す画像データを生成する方法であって、 請求項１乃至１１のいずれか１項に記載の方法に従っ
    て、前記事前に定義されたビューからの対象の画像の複
    数の異なる空間周波数の画像情報を表す周波数成分画像
    データを生成するステップと、 前記周波数成分画像データを使用して、前記対象の前記
    画像を表す画像データを生成するステップとを含むこと
    を特徴とする方法。
13. 【請求項１３】 画像データの前記生成が、前記画像の
    各部分について、前記異なる空間周波数の周波数成分画
    像データの合計を決定することを含むことを特徴とする
    請求項１２に記載の方法。
14. 【請求項１４】 前記生成された画像データを出力する
    ステップをさらに含むことを特徴とする請求項１２又は
    請求項１３に記載の方法。
15. 【請求項１５】 対象のモデルをテクスチャ・レンダリ
    ングするためのテクスチャ・マップ・データを生成する
    方法であって、 請求項１２又は１３に記載の方法に従って、複数の事前
    に定義されたビューからの対象の複数の画像を生成する
    ステップを含むことを特徴とする方法。
16. 【請求項１６】 前記複数の事前に定義されたビュー
    が、前記対象を囲む立方体の表面からのビューを示す視
    点からの対象のビューを含むことを特徴とする請求項１
    ５に記載の方法。
17. 【請求項１７】 選択された視点からの対象の画像の画
    像データを生成する方法であって、 請求項１５又は１６に従ってテクスチャ・マップ・デー
    タを生成するステップと、 前記選択された視点から知覚される前記モデル・データ
    によって定義される３次元モデルの投影を決定するステ
    ップと、 前記テクスチャ・マップ・データを使用して前記モデル
    の前記投影をテクスチャ・レンダリングするステップと
    を含むことを特徴とする方法。
18. 【請求項１８】 選択された視点からの対象の前記生成
    された画像データを出力するステップをさらに含むこと
    を特徴とする請求項１７に記載の方法。
19. 【請求項１９】 事前に定義されたビューからの対象の
    少なくとも一部の画像の複数の異なる空間周波数の画像
    情報を表す周波数成分画像データを生成する装置であっ
    て、 複数の視点からの対象を表す画像データを含む複数の画
    像を受け取る手段と、 前記複数の受け取られた画像のそれぞれについて、前記
    受取手段によって受け取られた前記画像内の複数の異な
    る空間周波数の画像情報を表す周波数成分画像データを
    決定し、前記事前に定義されたビューに投影された前記
    周波数成分画像データの投影を決定する手段と、 前記複数の異なる空間周波数のそれぞれについて、前記
    事前に定義されたビューからの前記対象の少なくとも一
    部の画像の空間周波数情報を表す周波数成分画像データ
    を生成するために、周波数成分画像データの前記投影を
    使用する手段とを備えることを特徴とする装置。
20. 【請求項２０】 前記決定する手段が、より低い空間周
    波数を表す周波数成分画像データを、前記受取手段によ
    って受け取られた前記画像データを使用するブラーおよ
    びサブサンプリング動作を実行することによって決定す
    るように配置されることを特徴とする請求項１９に記載
    の装置。
21. 【請求項２１】 前記決定する手段が、より高い周波数
    を表す周波数成分画像データの決定を、前記より低い周
    波数成分画像データおよび前記受取手段によって受け取
    られた前記画像データを使用して差分動作を実行するこ
    とによって決定するように配置されることを特徴とする
    請求項２０に記載の装置。
22. 【請求項２２】 前記周波数成分データを決定する手段
    が、 前記複数の受け取られた画像から、前記画像によって表
    される対象の視点の相対位置を決定する手段と、 前記複数の画像および前記決定された位置から、前記対
    象の表面を表すモデル・データを決定するモデリング手
    段と、 前記位置データおよび前記対象の表面の前記モデル・デ
    ータを使用して前記投影を決定する手段とを備えること
    を特徴とする請求項１９乃至２１のいずれか１項に記載
    の装置。
23. 【請求項２３】 相対位置を決定する前記手段が、前記
    受け取られた画像の前記複数の視点の相対位置を示す位
    置データを、視点の相対位置および向きを決定するため
    に前記画像内の特徴をマッチングすることによって決定
    するように配置されることを特徴とする請求項２２に記
    載の装置。
24. 【請求項２４】 前記モデリング手段が、 画像のうちで対象に対応する部分を決定することと、 前記画像の前記部分の周囲の決定および前記画像の視点
    を示す位置データを使用してモデル・データを生成する
    こととによってモデル・データを生成するように配置さ
    れることを特徴とする請求項２２又は２３に記載の装
    置。
25. 【請求項２５】 前記使用する手段が、異なる空間周波
    数の周波数成分画像データを、前記画像の対応する部分
    に関する前記空間周波数の空間周波数情報を表す周波数
    成分画像データを決定するために、ある周波数の周波数
    成分画像データの前記投影の各部分を使用することによ
    って生成するように配置されることを特徴とする請求項
    １９乃至２４のいずれか１項に記載の装置。
26. 【請求項２６】 前記使用する手段が、画像の異なる空
    間周波数の周波数成分画像データを、異なる空間周波数
    について異なる形で周波数成分画像データの投影の前記
    対応する部分から生成するように配置されることを特徴
    とする請求項２５に記載の装置。
27. 【請求項２７】 前記使用する手段が、さらに、 前記視点からの前記対象の表面の部分の相対可視性を示
    す可視性データを決定する手段と、 周波数成分画像データの前記投影の部分を前記可視性デ
    ータに関連付ける手段と、 前記事前に定義されたビューからの前記対象の画像の周
    波数画像情報を表す周波数成分画像データを決定するた
    めに、前記投影の部分に関連する前記可視性データを使
    用する処理手段とを備えることを特徴とする請求項２５
    又は請求項２６に記載の装置。
28. 【請求項２８】 前記処理手段が、前記空間周波数の前
    記画像の各部分について、画像データの前記部分に関連
    する前記可視性データによって重みを付けられた、前記
    画像の前記部分の周波数成分画像データの投影の対応す
    る部分の加重平均を計算することによって、周波数成分
    画像データを生成するように配置されることを特徴とす
    る請求項２７に記載の装置。
29. 【請求項２９】 前記処理手段が、前記空間周波数の前
    記画像データの各画素について、最高の可視性を示す可
    視性データに関連する周波数成分画像データの投影の前
    記対応する部分を選択することによって、周波数成分画
    像データを生成するように配置されることを特徴とする
    請求項２７に記載の装置。
30. 【請求項３０】 事前に定義された視点からの対象の画
    像を表す画像データを生成する装置であって、 請求項１９乃至２９のいずれか１項に記載の装置を含
    む、前記事前に定義されたビューからの対象の画像の複
    数の異なる空間周波数の画像情報を表す周波数成分画像
    データを生成する手段と、 前記周波数成分画像データを使用して、前記対象の前記
    画像を表す画像データを生成する手段とを備えることを
    特徴とする装置。
31. 【請求項３１】 画像データを生成する前記手段が、前
    記画像の各部分について、前記異なる空間周波数の周波
    数成分画像データの合計を決定するように配置されるこ
    とを特徴とする請求項３０に記載の装置。
32. 【請求項３２】 前記生成された画像データを出力する
    出力手段をさらに備えることを特徴とする請求項３０又
    は請求項３１に記載の装置。
33. 【請求項３３】 選択された視点からの対象の画像デー
    タを生成する装置であって、 請求項３０、請求項３１、又は３２のいずれか１項に記
    載の装置を含み、前記対象のモデルをテクスチャ・レン
    ダリングするためのテクスチャ・マップ・データを生成
    するマップ生成手段と、 前記選択された視点から知覚される３次元コンピュータ
    ・モデルの投影を決定する手段と、 前記マップ生成手段によって生成されたテクスチャ・マ
    ップ・データを使用して前記投影をテクスチャ・レンダ
    リングする手段とを備えることを特徴とする装置。
34. 【請求項３４】 テクスチャ・レンダリング・データを
    生成する装置であって、 複数の信頼画像を生成するように動作可能な信頼画像ジ
    ェネレータであって、前記信頼画像が定義された視点か
    らの物体の表面の部分の相対可視性を表す、信頼画像ジ
    ェネレータと、 前記信頼画像のそれぞれをソース画像に関連付けるよう
    に動作可能な関連付けユニットであって、ソース画像の
    少なくとも１つが、前記信頼画像によって表される定義
    された視点からの前記物体の画像以外の画像を含む、関
    連付けユニットと、 前記関連付けられた信頼画像の対応する部分に基づいて
    前記ソース画像の部分を選択することによってテクスチ
    ャ・レンダリング・データを生成するように動作可能な
    テクスチャ・ジェネレータとを備えることを特徴とする
    装置。
35. 【請求項３５】 テクスチャ・レンダリング・データを
    生成する方法であって、 複数の信頼画像を生成するステップであって、前記信頼
    画像は定義された視点からの物体の表面の部分の相対可
    視性を表すステップと、 前記信頼画像のそれぞれをソース画像に関連付けるステ
    ップであって、ソース画像の少なくとも１つが、前記信
    頼画像によって表される定義された視点からの前記物体
    の画像以外の画像を含むステップと、 前記関連付けられた信頼画像の対応する部分に基づいて
    前記ソース画像の部分を選択することによってテクスチ
    ャ・レンダリング・データを生成するステップとを含む
    ことを特徴とする方法。
36. 【請求項３６】 請求項１９乃至３４のいずれか１項に
    記載の装置をプログラム可能コンピュータ内で生成する
    コンピュータ実施可能処理ステップを保管する記録媒
    体。
37. 【請求項３７】 請求項１乃至１８又は３５のいずれか
    １項に記載の方法をプログラム可能コンピュータに実行
    させるコンピュータ実施可能処理ステップを保管する記
    録媒体。
38. 【請求項３８】 コンピュータ・ディスクを含むことを
    特徴とする請求項３６又は３７に記載の記録媒体。