JP2003077004A - ３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置 - Google Patents
３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置Info
- Publication number
- JP2003077004A JP2003077004A JP2002192460A JP2002192460A JP2003077004A JP 2003077004 A JP2003077004 A JP 2003077004A JP 2002192460 A JP2002192460 A JP 2002192460A JP 2002192460 A JP2002192460 A JP 2002192460A JP 2003077004 A JP2003077004 A JP 2003077004A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- bvo
- vertex
- octree
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
- G06T15/87—Gouraud shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 ３次元の静止したオブジェクト及び動くオブ
ジェクトの階層的イメージベース表現及びレンダリング
方法及び装置を提供する。 【解決手段】 オブジェクトの表面に属する点の座標に
対応する２進体積オクツリー（ＢＶＯ）の各バーテック
スの色が、ＢＶＯバーテックスに対応する３次元イメー
ジ要素であるボクセルを表わす立方体の内部に座標を有
するオブジェクト表面の点の色の平均となるように、３
次元オブジェクトの原データをＢＶＯフォーマットに変
換する。ＢＶＯリーフに対応するボクセルの中心のロー
カル３次元座標を求め、その座標をボクセル中心の２次
元座標及び投影されたボクセルイメージの大きさの情報
に変換し、各々のＢＶＯリーフに対し、色情報を用い
て、投影されたボクセルイメージ領域をカバーする対応
するスプラットを生成してディスプレーする。オクツリ
ーをルートバーテックスからリーフまで階層的にトラバ
ースすることによってＢＶＯをレンダリングし、３次元
オブジェクトを視覚化する。
ジェクトの階層的イメージベース表現及びレンダリング
方法及び装置を提供する。 【解決手段】 オブジェクトの表面に属する点の座標に
対応する２進体積オクツリー（ＢＶＯ）の各バーテック
スの色が、ＢＶＯバーテックスに対応する３次元イメー
ジ要素であるボクセルを表わす立方体の内部に座標を有
するオブジェクト表面の点の色の平均となるように、３
次元オブジェクトの原データをＢＶＯフォーマットに変
換する。ＢＶＯリーフに対応するボクセルの中心のロー
カル３次元座標を求め、その座標をボクセル中心の２次
元座標及び投影されたボクセルイメージの大きさの情報
に変換し、各々のＢＶＯリーフに対し、色情報を用い
て、投影されたボクセルイメージ領域をカバーする対応
するスプラットを生成してディスプレーする。オクツリ
ーをルートバーテックスからリーフまで階層的にトラバ
ースすることによってＢＶＯをレンダリングし、３次元
オブジェクトを視覚化する。
Description
【０００１】
【発明の属する技術分野】本発明はコンピュータグラフ
ィックスに係り、特に、現実の物体の写真及びその幾何
学的表現から得られた３次元（３Ｄ）の静止したオブジ
ェクト及び動くオブジェクトの表現、並びに、２進体積
オクツリー（Binary Volumeric Octree）を用いた表現
及びレンダリングの方法及び装置に関する。
ィックスに係り、特に、現実の物体の写真及びその幾何
学的表現から得られた３次元（３Ｄ）の静止したオブジ
ェクト及び動くオブジェクトの表現、並びに、２進体積
オクツリー（Binary Volumeric Octree）を用いた表現
及びレンダリングの方法及び装置に関する。
【０００２】対話処理可能な速度での３Ｄオブジェクト
の高品質レンダリングは、近い将来、現代グラフィック
システムにおける主要な関心事になると考えられてい
る。３Ｄオブジェクトの高品質なレンダリングの要求
は、電子商取引き、コンピュータゲーム、科学、工学、
医学などの分野において、オブジェクトを圧縮し、通信
網を介して伝送するために効率良いアルゴリズムが考案
されることを必要とする。過去数十年にわたり、これら
の要求をすべて同時に満たすものとして、３Ｄオブジェ
クトのポリゴン（多角形）モデルが利用されてきたが、
これによっては所望の結果を得ることはできなかった。
ポリゴンモデルには主に２つの短所がある。すなわち、
データ容量（例えば、実物らしく見えるモデルは数千万
個の三角形を必要とする）が膨大になることと、構築が
困難であることである。３Ｄグラフィックにおけるこの
ような難点を克服するためのアプローチが、最近何年か
の間に、いくつか提案されてきている。中でも、最も優
れているものは、物体のイメージを用いることに基づく
方法と、３Ｄ空間において三角形の代わりに点を用いる
ことに基づく方法であろう。
の高品質レンダリングは、近い将来、現代グラフィック
システムにおける主要な関心事になると考えられてい
る。３Ｄオブジェクトの高品質なレンダリングの要求
は、電子商取引き、コンピュータゲーム、科学、工学、
医学などの分野において、オブジェクトを圧縮し、通信
網を介して伝送するために効率良いアルゴリズムが考案
されることを必要とする。過去数十年にわたり、これら
の要求をすべて同時に満たすものとして、３Ｄオブジェ
クトのポリゴン（多角形）モデルが利用されてきたが、
これによっては所望の結果を得ることはできなかった。
ポリゴンモデルには主に２つの短所がある。すなわち、
データ容量（例えば、実物らしく見えるモデルは数千万
個の三角形を必要とする）が膨大になることと、構築が
困難であることである。３Ｄグラフィックにおけるこの
ような難点を克服するためのアプローチが、最近何年か
の間に、いくつか提案されてきている。中でも、最も優
れているものは、物体のイメージを用いることに基づく
方法と、３Ｄ空間において三角形の代わりに点を用いる
ことに基づく方法であろう。
【０００３】イメージベースの方法は与えられたオブジ
ェクトを、その目に見える面を完全にカバーする複数の
異なるカメラ位置から撮られたイメージ（該オブジェク
トの「写真」）の集合として表現する。さらに、その各
々のイメージは対応する深度マップを伴っている。深度
マップとは、イメージ平面上のピクセルからオブジェク
トの表面までの距離の配列である。このような表現の長
所は、参照イメージが、ポリゴンモデルの複雑性とは無
関係に、クオリティの高いオブジェクトの視覚化を可能
にすることとともに、通常用いられるイメージ圧縮技術
によりクオリティをそれほど犠牲にせずに圧縮可能であ
るということである。また、レンダリング時間が、参照
イメージ及び出力イメージのピクセル数に比例し、物体
の複雑性に比例しないことも特筆される。
ェクトを、その目に見える面を完全にカバーする複数の
異なるカメラ位置から撮られたイメージ（該オブジェク
トの「写真」）の集合として表現する。さらに、その各
々のイメージは対応する深度マップを伴っている。深度
マップとは、イメージ平面上のピクセルからオブジェク
トの表面までの距離の配列である。このような表現の長
所は、参照イメージが、ポリゴンモデルの複雑性とは無
関係に、クオリティの高いオブジェクトの視覚化を可能
にすることとともに、通常用いられるイメージ圧縮技術
によりクオリティをそれほど犠牲にせずに圧縮可能であ
るということである。また、レンダリング時間が、参照
イメージ及び出力イメージのピクセル数に比例し、物体
の複雑性に比例しないことも特筆される。
【０００４】これに対し、この方法の短所は、実物（例
えば、彫刻品など）に対する深度マップを得るための過
程が複雑であるということと、そのような表現を取り扱
う技術がまだ十分に開発されていないということであ
る。
えば、彫刻品など）に対する深度マップを得るための過
程が複雑であるということと、そのような表現を取り扱
う技術がまだ十分に開発されていないということであ
る。
【０００５】点をベースとする方法は、オブジェクト
を、明示された局所的ポリゴン構造を用いずに「点の
雲」として表現する。この方法において、深度を有する
イメージの集合は、イメージ平面に対して垂直方向の対
応する深度値を用いて、各参照イメージの各ピクセルを
転写することにより、物体の表面上に（対応する色を有
する）点の集合を定義する。従って、イメージベース表
現は点ベース表現の特別の場合である。本願でのアプロ
ーチにより近いのは、イメージベース表現なので、以
下、これに重点をおいて説明する。
を、明示された局所的ポリゴン構造を用いずに「点の
雲」として表現する。この方法において、深度を有する
イメージの集合は、イメージ平面に対して垂直方向の対
応する深度値を用いて、各参照イメージの各ピクセルを
転写することにより、物体の表面上に（対応する色を有
する）点の集合を定義する。従って、イメージベース表
現は点ベース表現の特別の場合である。本願でのアプロ
ーチにより近いのは、イメージベース表現なので、以
下、これに重点をおいて説明する。
【０００６】文献を参照すると、レリーフ・テクスチャ
ー・マッピング［１］、階層化した深度イメージ
［２］、階層化した深度イメージツリー［３］、キュー
スプラット（Ｑｓｐｌａｔ）［４］、サーフェル（Ｓｕ
ｒｆｅｌ）［５］、及びその他の幾つかの先行公知技術
のような、３Ｄオブジェクト表現及びレンダリング手法
を記述したものとして、下記の参考文献［１］から［１
３］があり、前述した２つの傾向が記載されている。先
行技術のアプローチについての以下の記述において、下
記の刊行物を参考文献とする。 ［１］Ｍａｎｕｅｌ Ｍ． Ｏｌｉｖｅｉｒａ， Ｇａｒ
ｙ Ｂｉｓｈｏｐ， Ｄａｖｉｄ ＭｃＡｌｌｉｓｔｅ
ｒ． Ｒｅｌｉｅｆ Ｔｅｘｔｕｒｅｓ Ｍａｐｐｉｎ
ｇ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ
'００． ［２］Ｊｏｎａｔｈａｎ Ｓｈａｄｅ， Ｓｔｅｖｅｎ
Ｇｏｒｔｌｅｒ， Ｌｉ−ｗｅｉ Ｈｅ， Ｒｉｃｈａｒ
ｄ Ｓｚｅｌｉｓｋｉ， Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｉ
ｍａｇｅｓ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲ
ＡＰＨ '９８．１９９８ ［３］Ｃｈｕｎ−Ｆａ Ｃｈａｎｇ，Ｇａｒｙ Ｂｉｓｈ
ｏｐ， ＡｎｓｅｌｍｏＬａｓｔｒａ． ＬＤＩ Ｔｒｅ
ｅ：Ａ Ｈｉｅｒａｒｃｈｉｃａｌ Ｒｅｐｒｅｓｅｎｔ
ａｔｉｏｎ ｆｏｒ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄ
ｅｒｉｎｇ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲ
ＡＰＨ '９９． ［４］Ｓｚｙｍｏｎ Ｒｕｓｉｎｋｉｅｗｉｃｚ， Ｍａ
ｒｃ Ｌｅｖｏｙ．ＱＳｐｌａｔ：Ａ Ｍｕｌｔｉｒｅｓ
ｏｌｕｔｉｏｎ Ｐｏｉｎｔ Ｒｅｎｄｅｒｉｎｇ Ｓｙ
ｓｔｅｍ ｆｏｒ Ｌａｒｇｅ Ｍｅｓｈｅｓ．Ｐｒｏｃ
ｅｅｄｉｎｇｓｏｆ ＳＩＧＧＲＡＰＨ '００ ［５］Ｈａｎｓｐｅｔｅｒ Ｐｆｉｓｔｅｒ， Ｍａｔｔ
ｈｉａｓ Ｚｗｉｃｋｅｒ， Ｊｅｒｏｅｎ ｖａｎ Ｂａ
ａｒ，Ｍａｒｋｕｓ Ｇｒｏｓｓ．Ｓｕｒｆｅｌｓ：Ｓ
ｕｒｆａｃｅ Ｅｌｅｍｅｎｔｓ ａｓ Ｒｅｎｄｅｒｉ
ｎｇ Ｐｒｉｍｉｔｉｖｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆ ＳＩＧＧＲＡＰＨ '００． ［６］Ｃｈａｍｂｅｒｌａｉｎ ｅｔ ａｌ．，Ｆａｓｔ
Ｒｅｎｄｅｒｉｎｇｏｆ Ｃｏｍｐｌｅｘ Ｅｎｖｉｒ
ｏｎｍｅｎｔｓ Ｕｓｉｎｇ ａ Ｓｐａｔｉａｌ Ｈｉｅ
ｒａｒｃｈｙ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧ
ＧＲＡＰＨ '９６． ［７］Ｇｒｏｓｓｍａｎ ａｎｄ Ｄａｌｌｙ， Ｐｏｉ
ｎｔ ｓａｍｐｌｅ ｒｅｎｄｅｒｉｎｇ． Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋ
ｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｉｑｕ
ｅｓ '９８． ［８］Ｌｉｓｃｈｉｎｓｋｉ ａｎｄ Ｒａｐｐｏｐｏｒ
ｔ， Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ ｆ
ｏｒ Ｎｏｎ−Ｄｉｆｆｕｓｅ Ｓｙｎｔｈｅｔｉｃ Ｓ
ｃｅｎｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｕｒｏ
ｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒ
ｉｎｇ Ｔｅｃｈｉｎｑｕｅｓ '９８． ［９］Ｍ．Ｌｅｖｏｙ ａｎｄ Ｔ．Ｗｈｉｔｔｅｄ．Ｔ
ｈｅ Ｕｓｅ ｏｆ Ｐｏｉｎｔｓ ａｓ Ｄｉｓｐｌａｙ
Ｐｒｉｍｉｔｉｖｅｓ．ＴｅｃｈｎｉｃａｌＲｅｐｏｒ
ｔ ＴＲ ８５−０２２，Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ
ｏｆ Ｎｏｒｔｈ Ｃａｒｏｌｉｎａ ａｔ Ｃｈａｐｅｌ
Ｈｉｌｌ，Ｄｅｐａｒｔｍｅｎｔｏｆ Ｃｏｍｐｕｔｅ
ｒ Ｓｃｉｅｎｃｅ，１９８５． ［１０］Ｌ．Ｗｅｓｔｏｖｅｒ． Ｆｏｏｔｐｒｉｎｔ
Ｅｖａｌｕａｔｉｏｎｆｏｒ Ｖｏｌｕｍｅ Ｒｅｎｄｅ
ｒｉｎｇ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡ
ＰＨ '９０． ［１１］Ｃ．Ｉ．Ｃｏｎｎｏｌｌｙ．Ｃｕｍｕｌａｔｉ
ｖｅ ｇｅｎｅｒａｔｉｏｎ ｏｆ ｏｃｔｒｅｅ ｍｏｄ
ｅｌｓ ｆｒｏｍ ｒａｎｇｅ ｄａｔａ．ＩｎＰｒｏｃ
ｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｌ．Ｃｏｎｆ．Ｒｏｂｏｔ
ｉｃｓ， ｐｐ２５−３２， Ｍａｒｃｈ １９８４． ［１２］Ｇ．Ｈ Ｔａｒｂｏｘ ａｎｄ Ｓ．Ｎ．Ｇｏｔ
ｔｓｃｈｌｉｃｈ． ＩＶＩＳ：Ａｎ ｉｎｔｅｇｒａｔ
ｅｄ ｖｏｌｕｍｅｔｒｉｃ ｉｎｓｐｅｃｔｉｏｎ ｓ
ｙｓｔｅｍ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈ
ｅ １９９４ Ｓｅｃｏｎｄ ＣＡＤ−Ｂａｓｅｄ Ｖｉｓ
ｉｏｎ Ｗｏｒｋｓｈｏｐ， ｐｐ２２０−２２７， Ｆ
ｅｂｒｕａｒｙ １９９４． ［１３］Ｃｕｒｌｅｓｓ，Ｂ．， Ｌｅｖｏｙ， Ｍ．
Ａ ｖｏｌｕｍｅｔｒｉｃ ｍｅｔｈｏｄ ｆｏｒ ｂｕｉ
ｌｄｉｎｇ ｃｏｍｐｌｅｘ ｍｏｄｅｌｓ ｆｒｏｍ ｒ
ａｎｇｅ ｉｍａｇｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ Ｓ
ＩＧＧＲＡＰＨ’９６． ［１４］Ｃ．Ｂｒｅｇｌｅｒ，Ｖｉｄｅｏ Ｂａｓｅｄ
ＡｎｉｍａｔｉｏｎＴｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｈｕ
ｍａｎ Ｍｏｔｉｏｎ， ＳＩＧＧＲＡＰＨ '００ Ｃｏ
ｕｒｓｅ ３９： Ｉｍａｇｅ−ｂａｓｅｄ ｍｏｄｅｌ
ｉｎｇ ａｎｄｒｅｎｄｅｒｉｎｇ． ［１５］Ｐａｕｌ Ｅ．Ｄｅｂｅｖｅｃ， Ｃａｍｉｌｌ
ｏ Ｊ． Ｔａｙｌｏｒ，Ｊｉｔｅｎｄｒａ Ｍａｌｉ
ｋ， Ｍｏｄｅｌｉｎｇ ａｎｄ ＲｅｎｄｅｒｉｎｇＡ
ｒｃｈｉｔｅｃｔｕｒｅ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐ
ｈｓ：Ａ ｈｙｂｒｉｄ ｇｅｏｍｅｔｒｙ−ａｎｄ ｉ
ｍａｇｅ−ｂａｓｅｄ ａｐｐｒｏａｃｈ．Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９６．
ー・マッピング［１］、階層化した深度イメージ
［２］、階層化した深度イメージツリー［３］、キュー
スプラット（Ｑｓｐｌａｔ）［４］、サーフェル（Ｓｕ
ｒｆｅｌ）［５］、及びその他の幾つかの先行公知技術
のような、３Ｄオブジェクト表現及びレンダリング手法
を記述したものとして、下記の参考文献［１］から［１
３］があり、前述した２つの傾向が記載されている。先
行技術のアプローチについての以下の記述において、下
記の刊行物を参考文献とする。 ［１］Ｍａｎｕｅｌ Ｍ． Ｏｌｉｖｅｉｒａ， Ｇａｒ
ｙ Ｂｉｓｈｏｐ， Ｄａｖｉｄ ＭｃＡｌｌｉｓｔｅ
ｒ． Ｒｅｌｉｅｆ Ｔｅｘｔｕｒｅｓ Ｍａｐｐｉｎ
ｇ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ
'００． ［２］Ｊｏｎａｔｈａｎ Ｓｈａｄｅ， Ｓｔｅｖｅｎ
Ｇｏｒｔｌｅｒ， Ｌｉ−ｗｅｉ Ｈｅ， Ｒｉｃｈａｒ
ｄ Ｓｚｅｌｉｓｋｉ， Ｌａｙｅｒｅｄ Ｄｅｐｔｈ Ｉ
ｍａｇｅｓ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲ
ＡＰＨ '９８．１９９８ ［３］Ｃｈｕｎ−Ｆａ Ｃｈａｎｇ，Ｇａｒｙ Ｂｉｓｈ
ｏｐ， ＡｎｓｅｌｍｏＬａｓｔｒａ． ＬＤＩ Ｔｒｅ
ｅ：Ａ Ｈｉｅｒａｒｃｈｉｃａｌ Ｒｅｐｒｅｓｅｎｔ
ａｔｉｏｎ ｆｏｒ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄ
ｅｒｉｎｇ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲ
ＡＰＨ '９９． ［４］Ｓｚｙｍｏｎ Ｒｕｓｉｎｋｉｅｗｉｃｚ， Ｍａ
ｒｃ Ｌｅｖｏｙ．ＱＳｐｌａｔ：Ａ Ｍｕｌｔｉｒｅｓ
ｏｌｕｔｉｏｎ Ｐｏｉｎｔ Ｒｅｎｄｅｒｉｎｇ Ｓｙ
ｓｔｅｍ ｆｏｒ Ｌａｒｇｅ Ｍｅｓｈｅｓ．Ｐｒｏｃ
ｅｅｄｉｎｇｓｏｆ ＳＩＧＧＲＡＰＨ '００ ［５］Ｈａｎｓｐｅｔｅｒ Ｐｆｉｓｔｅｒ， Ｍａｔｔ
ｈｉａｓ Ｚｗｉｃｋｅｒ， Ｊｅｒｏｅｎ ｖａｎ Ｂａ
ａｒ，Ｍａｒｋｕｓ Ｇｒｏｓｓ．Ｓｕｒｆｅｌｓ：Ｓ
ｕｒｆａｃｅ Ｅｌｅｍｅｎｔｓ ａｓ Ｒｅｎｄｅｒｉ
ｎｇ Ｐｒｉｍｉｔｉｖｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆ ＳＩＧＧＲＡＰＨ '００． ［６］Ｃｈａｍｂｅｒｌａｉｎ ｅｔ ａｌ．，Ｆａｓｔ
Ｒｅｎｄｅｒｉｎｇｏｆ Ｃｏｍｐｌｅｘ Ｅｎｖｉｒ
ｏｎｍｅｎｔｓ Ｕｓｉｎｇ ａ Ｓｐａｔｉａｌ Ｈｉｅ
ｒａｒｃｈｙ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧ
ＧＲＡＰＨ '９６． ［７］Ｇｒｏｓｓｍａｎ ａｎｄ Ｄａｌｌｙ， Ｐｏｉ
ｎｔ ｓａｍｐｌｅ ｒｅｎｄｅｒｉｎｇ． Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋ
ｓｈｏｐ ｏｎ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｉｑｕ
ｅｓ '９８． ［８］Ｌｉｓｃｈｉｎｓｋｉ ａｎｄ Ｒａｐｐｏｐｏｒ
ｔ， Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ ｆ
ｏｒ Ｎｏｎ−Ｄｉｆｆｕｓｅ Ｓｙｎｔｈｅｔｉｃ Ｓ
ｃｅｎｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｅｕｒｏ
ｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐ ｏｎ Ｒｅｎｄｅｒ
ｉｎｇ Ｔｅｃｈｉｎｑｕｅｓ '９８． ［９］Ｍ．Ｌｅｖｏｙ ａｎｄ Ｔ．Ｗｈｉｔｔｅｄ．Ｔ
ｈｅ Ｕｓｅ ｏｆ Ｐｏｉｎｔｓ ａｓ Ｄｉｓｐｌａｙ
Ｐｒｉｍｉｔｉｖｅｓ．ＴｅｃｈｎｉｃａｌＲｅｐｏｒ
ｔ ＴＲ ８５−０２２，Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ
ｏｆ Ｎｏｒｔｈ Ｃａｒｏｌｉｎａ ａｔ Ｃｈａｐｅｌ
Ｈｉｌｌ，Ｄｅｐａｒｔｍｅｎｔｏｆ Ｃｏｍｐｕｔｅ
ｒ Ｓｃｉｅｎｃｅ，１９８５． ［１０］Ｌ．Ｗｅｓｔｏｖｅｒ． Ｆｏｏｔｐｒｉｎｔ
Ｅｖａｌｕａｔｉｏｎｆｏｒ Ｖｏｌｕｍｅ Ｒｅｎｄｅ
ｒｉｎｇ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡ
ＰＨ '９０． ［１１］Ｃ．Ｉ．Ｃｏｎｎｏｌｌｙ．Ｃｕｍｕｌａｔｉ
ｖｅ ｇｅｎｅｒａｔｉｏｎ ｏｆ ｏｃｔｒｅｅ ｍｏｄ
ｅｌｓ ｆｒｏｍ ｒａｎｇｅ ｄａｔａ．ＩｎＰｒｏｃ
ｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｌ．Ｃｏｎｆ．Ｒｏｂｏｔ
ｉｃｓ， ｐｐ２５−３２， Ｍａｒｃｈ １９８４． ［１２］Ｇ．Ｈ Ｔａｒｂｏｘ ａｎｄ Ｓ．Ｎ．Ｇｏｔ
ｔｓｃｈｌｉｃｈ． ＩＶＩＳ：Ａｎ ｉｎｔｅｇｒａｔ
ｅｄ ｖｏｌｕｍｅｔｒｉｃ ｉｎｓｐｅｃｔｉｏｎ ｓ
ｙｓｔｅｍ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈ
ｅ １９９４ Ｓｅｃｏｎｄ ＣＡＤ−Ｂａｓｅｄ Ｖｉｓ
ｉｏｎ Ｗｏｒｋｓｈｏｐ， ｐｐ２２０−２２７， Ｆ
ｅｂｒｕａｒｙ １９９４． ［１３］Ｃｕｒｌｅｓｓ，Ｂ．， Ｌｅｖｏｙ， Ｍ．
Ａ ｖｏｌｕｍｅｔｒｉｃ ｍｅｔｈｏｄ ｆｏｒ ｂｕｉ
ｌｄｉｎｇ ｃｏｍｐｌｅｘ ｍｏｄｅｌｓ ｆｒｏｍ ｒ
ａｎｇｅ ｉｍａｇｅｓ． Ｐｒｏｃｅｅｄｉｎｇｓ Ｓ
ＩＧＧＲＡＰＨ’９６． ［１４］Ｃ．Ｂｒｅｇｌｅｒ，Ｖｉｄｅｏ Ｂａｓｅｄ
ＡｎｉｍａｔｉｏｎＴｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｈｕ
ｍａｎ Ｍｏｔｉｏｎ， ＳＩＧＧＲＡＰＨ '００ Ｃｏ
ｕｒｓｅ ３９： Ｉｍａｇｅ−ｂａｓｅｄ ｍｏｄｅｌ
ｉｎｇ ａｎｄｒｅｎｄｅｒｉｎｇ． ［１５］Ｐａｕｌ Ｅ．Ｄｅｂｅｖｅｃ， Ｃａｍｉｌｌ
ｏ Ｊ． Ｔａｙｌｏｒ，Ｊｉｔｅｎｄｒａ Ｍａｌｉ
ｋ， Ｍｏｄｅｌｉｎｇ ａｎｄ ＲｅｎｄｅｒｉｎｇＡ
ｒｃｈｉｔｅｃｔｕｒｅ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐ
ｈｓ：Ａ ｈｙｂｒｉｄ ｇｅｏｍｅｔｒｙ−ａｎｄ ｉ
ｍａｇｅ−ｂａｓｅｄ ａｐｐｒｏａｃｈ．Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ＳＩＧＧＲＡＰＨ '９６．
【０００７】イメージベースの方法に共通の問題は、生
成したイメージに穴があくということである。オブジェ
クトの表面が全てのポリゴン（普通、三角形）の内部に
おいて線形的に補間されるという意味で‘連続的な’ポ
リゴンモデルとは異なり、イメージベースの、そして点
ベースの表現方式は、オブジェクトの‘不連続的な’近
似値を提供する。イメージベース表現の場合、オブジェ
クトの表面は、実際には、小さいカラー正方形、すなわ
ち参照イメージのシフトされたピクセルに近似される。
しかし、観測方向が各参照イメージ平面の垂直方向と大
きく異なる時、近似した正方形の投影は一般的にオブジ
ェクトの表面の投影を完全にはカバーしない。これらの
穴を第１タイプ穴と呼ぶ。イメージベースの表現におい
て、生成したイメージに穴があく他の原因は、表面に、
すべての参照イメージで見えないのに、ビューポイント
によっては見える部分があるということである（これを
第２タイプ穴と呼ぶ。）。これら穴は個々のイメージベ
ース表現に含まれる情報が不十分なために生ずる。
成したイメージに穴があくということである。オブジェ
クトの表面が全てのポリゴン（普通、三角形）の内部に
おいて線形的に補間されるという意味で‘連続的な’ポ
リゴンモデルとは異なり、イメージベースの、そして点
ベースの表現方式は、オブジェクトの‘不連続的な’近
似値を提供する。イメージベース表現の場合、オブジェ
クトの表面は、実際には、小さいカラー正方形、すなわ
ち参照イメージのシフトされたピクセルに近似される。
しかし、観測方向が各参照イメージ平面の垂直方向と大
きく異なる時、近似した正方形の投影は一般的にオブジ
ェクトの表面の投影を完全にはカバーしない。これらの
穴を第１タイプ穴と呼ぶ。イメージベースの表現におい
て、生成したイメージに穴があく他の原因は、表面に、
すべての参照イメージで見えないのに、ビューポイント
によっては見える部分があるということである（これを
第２タイプ穴と呼ぶ。）。これら穴は個々のイメージベ
ース表現に含まれる情報が不十分なために生ずる。
【０００８】レリーフテクスチャ法［１］は線形補間法
と類似した手法を用いて第１タイプ穴があかないように
するが、この方法によると、前記補間が前記オブジェク
トの３Ｄ投影ではなく２次元（２Ｄ）投影で行われるた
め、歪みやアーティファクトが生じることがある。より
重要なのは、この方法では、第２タイプ穴が同じ方法で
取り扱われるしかないということである。［１］の方法
ではわずか６つの参照イメージ、すなわち、外接する立
方体の表面にオブジェクトを投影したイメージを用いる
ため、立方体のどの６面からも見えない点が存在する場
合など複雑な形態に適用される場合には深刻な制限をき
たしてしまう。
と類似した手法を用いて第１タイプ穴があかないように
するが、この方法によると、前記補間が前記オブジェク
トの３Ｄ投影ではなく２次元（２Ｄ）投影で行われるた
め、歪みやアーティファクトが生じることがある。より
重要なのは、この方法では、第２タイプ穴が同じ方法で
取り扱われるしかないということである。［１］の方法
ではわずか６つの参照イメージ、すなわち、外接する立
方体の表面にオブジェクトを投影したイメージを用いる
ため、立方体のどの６面からも見えない点が存在する場
合など複雑な形態に適用される場合には深刻な制限をき
たしてしまう。
【０００９】階層化した深度イメージ（Layered Depth
Image:ＬＤＩ）［２］は第２タイプ穴に関連した問題を
回避するようデザインされたデータ構造である。ＬＤＩ
はそのピクセルが参照イメージ平面のある固定された地
点に投影される全てのオブジェクト点を含むイメージで
ある。［１］の高速プレワーピングアルゴリズムはここ
でも適用される。しかし、第１タイプ穴に関する問題が
解決されずに残ってしまう。（［１０］において初めて
紹介された）スプラットは第１タイプ穴の問題を解決す
るために用いられる。スプラットは特定のカラー分布
（例えば、パッチの中央を中心とするガウス分布、又は
定数分布）が与えられた小さい２次元の直線状ないし楕
円形表面パッチである。ＬＤＩ法の短所は、その表現方
式が特定の固定された方向への投影に基づくがゆえに生
じる非対称性にある。これにより、その固定された方向
と大幅に異なる観測方向に対する穴を埋めることが極め
て困難になる。
Image:ＬＤＩ）［２］は第２タイプ穴に関連した問題を
回避するようデザインされたデータ構造である。ＬＤＩ
はそのピクセルが参照イメージ平面のある固定された地
点に投影される全てのオブジェクト点を含むイメージで
ある。［１］の高速プレワーピングアルゴリズムはここ
でも適用される。しかし、第１タイプ穴に関する問題が
解決されずに残ってしまう。（［１０］において初めて
紹介された）スプラットは第１タイプ穴の問題を解決す
るために用いられる。スプラットは特定のカラー分布
（例えば、パッチの中央を中心とするガウス分布、又は
定数分布）が与えられた小さい２次元の直線状ないし楕
円形表面パッチである。ＬＤＩ法の短所は、その表現方
式が特定の固定された方向への投影に基づくがゆえに生
じる非対称性にある。これにより、その固定された方向
と大幅に異なる観測方向に対する穴を埋めることが極め
て困難になる。
【００１０】ＬＤＩツリー［３］は各オクツリーセル
（ノード）にＬＤＩが付いているオクツリーである。階
層モデルを有する長所は、オクツリー内の全てのＬＤＩ
をレンダリングしなくても良いということである。より
遠くにあるセルはより高い階層のＬＤＩに保存されたフ
ィルタリングされた点を用いることにより、やや粗くレ
ンダリングされる。このような表現方式は多くの参照イ
メージを用いることでＬＤＩの非対称性を克服するため
に考案された。しかし、保存容量が極めて大きくなって
しまう難点がある。例えば、（３６枚の参照イメージか
ら得られた）５１２×５１２のイメージに対するＬＤＩ
ツリーは［３］で報告されたように３０メガバイトを占
め、この内半分はツリー構造自体のためのものである。
［３］で報告されたように、このオブジェクトはレンダ
リング時間も長く、（並列処理を用いない場合の）３
２，２５０ＭＨｚ ＭＩＰＳ(R) Ｒ１００００プロセッ
サを有するシリコングラフィックス（Ｓｉｌｉｃｏｎ
Ｇｒａｐｈｉｃｓ(R)） Ｏｎｙｘ(R)２でフレーム当り
２ないし３秒かかる。
（ノード）にＬＤＩが付いているオクツリーである。階
層モデルを有する長所は、オクツリー内の全てのＬＤＩ
をレンダリングしなくても良いということである。より
遠くにあるセルはより高い階層のＬＤＩに保存されたフ
ィルタリングされた点を用いることにより、やや粗くレ
ンダリングされる。このような表現方式は多くの参照イ
メージを用いることでＬＤＩの非対称性を克服するため
に考案された。しかし、保存容量が極めて大きくなって
しまう難点がある。例えば、（３６枚の参照イメージか
ら得られた）５１２×５１２のイメージに対するＬＤＩ
ツリーは［３］で報告されたように３０メガバイトを占
め、この内半分はツリー構造自体のためのものである。
［３］で報告されたように、このオブジェクトはレンダ
リング時間も長く、（並列処理を用いない場合の）３
２，２５０ＭＨｚ ＭＩＰＳ(R) Ｒ１００００プロセッ
サを有するシリコングラフィックス（Ｓｉｌｉｃｏｎ
Ｇｒａｐｈｉｃｓ(R)） Ｏｎｙｘ(R)２でフレーム当り
２ないし３秒かかる。
【００１１】イメージベースのデータをツリー構造に結
合するさらに他の方法が最近考案されたサーフェル法
［５］である。これはノードが１本のＬＤＩツリーの代
わりに３つの直交平面に対応する３つのＬＤＩを含む階
層化した深度立方体（ＬＤＣ）である特定のツリー
［８］を取り扱う。８１，０００個の三角形を含む元の
モデルに対して、［５］で報告された結果が得られた。
２５６×２５６出力バッファーに対して秒当たり１１フ
レーム（ｆｐｓ）のフレームレートがペンティアム（Ｐ
ｅｎｔｉｕｍ(R)）ＩＩＩ ７００ＭＨｚプロセッサ上で
得られた。サーフェルは対応する深度ベクトルによりシ
フトされた参照イメージピクセルである。ツリー構造は
可視的な要素を決める計算の速度を速めるために用いら
れる。穴埋めは最隣接法（Ｎｅａｒｅｓｔ−Ｎｅｉｇｈ
ｂｏｒ）、あるいはガウスフィルタリングにより得られ
る。スプラッティングはこの構造で実行される。生成イ
メージの高品質とひきかえに、データの量が増え、しか
も速度が限られる短所がある。
合するさらに他の方法が最近考案されたサーフェル法
［５］である。これはノードが１本のＬＤＩツリーの代
わりに３つの直交平面に対応する３つのＬＤＩを含む階
層化した深度立方体（ＬＤＣ）である特定のツリー
［８］を取り扱う。８１，０００個の三角形を含む元の
モデルに対して、［５］で報告された結果が得られた。
２５６×２５６出力バッファーに対して秒当たり１１フ
レーム（ｆｐｓ）のフレームレートがペンティアム（Ｐ
ｅｎｔｉｕｍ(R)）ＩＩＩ ７００ＭＨｚプロセッサ上で
得られた。サーフェルは対応する深度ベクトルによりシ
フトされた参照イメージピクセルである。ツリー構造は
可視的な要素を決める計算の速度を速めるために用いら
れる。穴埋めは最隣接法（Ｎｅａｒｅｓｔ−Ｎｅｉｇｈ
ｂｏｒ）、あるいはガウスフィルタリングにより得られ
る。スプラッティングはこの構造で実行される。生成イ
メージの高品質とひきかえに、データの量が増え、しか
も速度が限られる短所がある。
【００１２】イメージベース手法であるよりは点ベース
の手法に近いものではあるが、最近導入されたキュース
プラット［４］の表現手法にも言及する必要がある。こ
のアプローチは重複されたボールに基づく階層的点構造
を用いる。レンダリング段階では、適切な大きさの楕円
形スプラットが用いられる。しかし、［４］では、多少
複雑で且つ相対的に時間がかかるトランケーテッドカリ
ング（ｔｒｕｎｃａｔｅｄ ｃｕｌｌｉｎｇ）が用いら
れた。なお、データ構造がより複雑であり、その処理に
多くの時間がかかる。
の手法に近いものではあるが、最近導入されたキュース
プラット［４］の表現手法にも言及する必要がある。こ
のアプローチは重複されたボールに基づく階層的点構造
を用いる。レンダリング段階では、適切な大きさの楕円
形スプラットが用いられる。しかし、［４］では、多少
複雑で且つ相対的に時間がかかるトランケーテッドカリ
ング（ｔｒｕｎｃａｔｅｄ ｃｕｌｌｉｎｇ）が用いら
れた。なお、データ構造がより複雑であり、その処理に
多くの時間がかかる。
【００１３】深度イメージの集合と同じ範囲のデータか
らオクツリー構造を有する３Ｄモデルを得るアイデア及
び具現方法が［１］〜［１２］で開発された。［１３］
はオクツリーを用いて原データからポリゴンモデルを構
成することを取り扱っている。
らオクツリー構造を有する３Ｄモデルを得るアイデア及
び具現方法が［１］〜［１２］で開発された。［１３］
はオクツリーを用いて原データからポリゴンモデルを構
成することを取り扱っている。
【００１４】
【発明が解決しようとする課題】以上の全ての方法は３
Ｄ静止したイメージをベースとした表現に関連してい
る。動く３Ｄオブジェクトについて述べれば、今までこ
の問題に取り組み、提案されたイメージベース方法はほ
とんどないということを認識しなければならない。［１
４］では、ほぼ一定した３Ｄ表面形状に対する表面イメ
ージの修正に関するアイデアが展開されている。これは
動くオブジェクトの限られたクラスのみに適用可能であ
り、実際の３Ｄオブジェクトのアニメーションには適用
できない。［１５］では、幾つかの写真に基づき複数の
視点から建築物のビューを再構成するビュー依存的テキ
スチャマッピングを用いて建築物映像がアニメーション
化されている。
Ｄ静止したイメージをベースとした表現に関連してい
る。動く３Ｄオブジェクトについて述べれば、今までこ
の問題に取り組み、提案されたイメージベース方法はほ
とんどないということを認識しなければならない。［１
４］では、ほぼ一定した３Ｄ表面形状に対する表面イメ
ージの修正に関するアイデアが展開されている。これは
動くオブジェクトの限られたクラスのみに適用可能であ
り、実際の３Ｄオブジェクトのアニメーションには適用
できない。［１５］では、幾つかの写真に基づき複数の
視点から建築物のビューを再構成するビュー依存的テキ
スチャマッピングを用いて建築物映像がアニメーション
化されている。
【００１５】従って、小さな保存容量で、高品質の出力
イメージを高速レンダリング可能で、且つ、アニメーシ
ョン目的に適したイメージベース表現が必要であるとい
うことが明らかである。
イメージを高速レンダリング可能で、且つ、アニメーシ
ョン目的に適したイメージベース表現が必要であるとい
うことが明らかである。
【００１６】本発明が解決しようとする技術的課題は、
前述した先行技術の短所を縮減ないし解消した、保存に
要する領域が比較的小さくてすみ、高速で且つ高品質な
レンダリングを可能にする、深度イメージに基づく３Ｄ
オブジェクト表現を提供することである。
前述した先行技術の短所を縮減ないし解消した、保存に
要する領域が比較的小さくてすみ、高速で且つ高品質な
レンダリングを可能にする、深度イメージに基づく３Ｄ
オブジェクト表現を提供することである。
【００１７】本発明が解決しようとする他の技術的課題
は、座標変換の高速計算、２進体積オクツリー（ＢＶ
Ｏ）の用いられた要素のオーダの自動的な決定、及び正
確に定義された大きさのスプラットの形成を可能にす
る、３Ｄオブジェクト表現及びレンダリングのための方
法及び装置を提供することである。
は、座標変換の高速計算、２進体積オクツリー（ＢＶ
Ｏ）の用いられた要素のオーダの自動的な決定、及び正
確に定義された大きさのスプラットの形成を可能にす
る、３Ｄオブジェクト表現及びレンダリングのための方
法及び装置を提供することである。
【００１８】本発明が解決しようとするさらに他の技術
的課題は、高速で且つ正確なレンダリングを可能にす
る、動く３Ｄオブジェクトのコンパクトな表現のための
方法を提供することである。
的課題は、高速で且つ正確なレンダリングを可能にす
る、動く３Ｄオブジェクトのコンパクトな表現のための
方法を提供することである。
【００１９】
【課題を解決するための手段】前記技術的課題を達成す
るために、本発明に係る３Ｄオブジェクトの表現及びレ
ンダリングの方法は、オブジェクトの表面に属する点の
座標に対応する２進体積オクツリー（ＢＶＯ）の各バー
テックスが属性として有する色が、前記ＢＶＯバーテッ
クスに対応する３次元イメージ要素であるボクセルを表
わす立方体の内部に座標を有するオブジェクト表面の点
の色の平均となるように、３次元オブジェクトの原デー
タをＢＶＯフォーマットに変換する段階と、ＢＶＯリー
フに対応するボクセルの中心のローカル３次元座標を求
め、前記求められた３次元座標をボクセル中心の２次元
座標及び投影されたボクセルイメージの大きさの情報に
変換し、各々のＢＶＯリーフに対し、色情報を用いて、
投影されたボクセルイメージ領域をカバーする対応する
スプラットを生成してディスプレーし、前記オクツリー
をルートバーテックスからリーフまで階層的にトラバー
スすることによって前記ＢＶＯをレンダリングし、前記
ディスプレーされた複数のスプラットにより３次元オブ
ジェクトを視覚化する段階を含むことを特徴とする。
るために、本発明に係る３Ｄオブジェクトの表現及びレ
ンダリングの方法は、オブジェクトの表面に属する点の
座標に対応する２進体積オクツリー（ＢＶＯ）の各バー
テックスが属性として有する色が、前記ＢＶＯバーテッ
クスに対応する３次元イメージ要素であるボクセルを表
わす立方体の内部に座標を有するオブジェクト表面の点
の色の平均となるように、３次元オブジェクトの原デー
タをＢＶＯフォーマットに変換する段階と、ＢＶＯリー
フに対応するボクセルの中心のローカル３次元座標を求
め、前記求められた３次元座標をボクセル中心の２次元
座標及び投影されたボクセルイメージの大きさの情報に
変換し、各々のＢＶＯリーフに対し、色情報を用いて、
投影されたボクセルイメージ領域をカバーする対応する
スプラットを生成してディスプレーし、前記オクツリー
をルートバーテックスからリーフまで階層的にトラバー
スすることによって前記ＢＶＯをレンダリングし、前記
ディスプレーされた複数のスプラットにより３次元オブ
ジェクトを視覚化する段階を含むことを特徴とする。
【００２０】３Ｄオブジェクトの原データは、深度イメ
ージの集合、ポリゴンモデルデータ、あるいは色を有す
る点の集合である。
ージの集合、ポリゴンモデルデータ、あるいは色を有す
る点の集合である。
【００２１】また、オクツリーの階層的トラバースは、
見る人から最も遠いＢＶＯボクセルから近いＢＶＯボク
セルの順序に行われる。
見る人から最も遠いＢＶＯボクセルから近いＢＶＯボク
セルの順序に行われる。
【００２２】変換過程において、計算上の複雑性を最小
化させるために、前記オクツリーのトラバース前に、前
記方法は、 を計算する段階を含み、３次元座標を２次元座標へと階
層的変換して得られた結果を用いるとともに、各ＢＶＯ
バーテックスに対し、ＢＶＯルートからリーフまでの全
ての経路をトラバースしつつ を計算することによって、ローカル座標（ｘ，ｙ，ｚ）
として特定される全てのＢＶＯリーフに対する
化させるために、前記オクツリーのトラバース前に、前
記方法は、 を計算する段階を含み、３次元座標を２次元座標へと階
層的変換して得られた結果を用いるとともに、各ＢＶＯ
バーテックスに対し、ＢＶＯルートからリーフまでの全
ての経路をトラバースしつつ を計算することによって、ローカル座標（ｘ，ｙ，ｚ）
として特定される全てのＢＶＯリーフに対する
【００２３】前記技術的課題を達成するために、本発明
の３次元オブジェクトの表現及びレンダリング装置は、
３次元オブジェクトの原データを生じる３次元オブジェ
クト原データ生成手段と、前記３次元オブジェクト原デ
ータ生成手段と連結されて、オブジェクトの表面に属す
る点の座標に対応する２進体積オクツリー（ＢＶＯ）の
各バーテックスが属性として有する色が、前記ＢＶＯバ
ーテックスに対応する３次元イメージ要素であるボクセ
ルを表わす立方体の内部に座標を有するオブジェクト表
面の点の色の平均となるように、３次元オブジェクト原
データをＢＶＯフォーマットに変換する３次元オブジェ
クト原データ変換手段と、前記３次元オブジェクト原デ
ータ変換手段に連結されたＢＶＯレンダリング手段とを
含むことを特徴とする。
の３次元オブジェクトの表現及びレンダリング装置は、
３次元オブジェクトの原データを生じる３次元オブジェ
クト原データ生成手段と、前記３次元オブジェクト原デ
ータ生成手段と連結されて、オブジェクトの表面に属す
る点の座標に対応する２進体積オクツリー（ＢＶＯ）の
各バーテックスが属性として有する色が、前記ＢＶＯバ
ーテックスに対応する３次元イメージ要素であるボクセ
ルを表わす立方体の内部に座標を有するオブジェクト表
面の点の色の平均となるように、３次元オブジェクト原
データをＢＶＯフォーマットに変換する３次元オブジェ
クト原データ変換手段と、前記３次元オブジェクト原デ
ータ変換手段に連結されたＢＶＯレンダリング手段とを
含むことを特徴とする。
【００２４】前記３次元オブジェクト原データ生成手段
は、複数の点の３次元座標を出力する３次元実物スキャ
ナー、３次元オブジェクトポリゴンモデル生成手段、ま
たは深度イメージ生成手段である。
は、複数の点の３次元座標を出力する３次元実物スキャ
ナー、３次元オブジェクトポリゴンモデル生成手段、ま
たは深度イメージ生成手段である。
【００２５】さらに、前記技術的課題を達成するため
に、３次元の動くオブジェクトの表現方法は、一連の３
次元オブジェクトに対し、３次元の動くオブジェクトに
対応する一連の２進体積オクツリー（ＢＶＯ）を生成す
るために、オブジェクトの表面に属する点の座標に対応
するＢＶＯの各バーテックスが属性として有する色が、
前記ＢＶＯバーテックスに対応する３次元イメージ要素
であるボクセルを表わす立方体の内部に座標を有するオ
ブジェクト表面の点の色の平均となるように、一連の３
次元オブジェクトの原データをそれぞれＢＶＯフォーマ
ットに変換する段階を含むことを特徴とする。
に、３次元の動くオブジェクトの表現方法は、一連の３
次元オブジェクトに対し、３次元の動くオブジェクトに
対応する一連の２進体積オクツリー（ＢＶＯ）を生成す
るために、オブジェクトの表面に属する点の座標に対応
するＢＶＯの各バーテックスが属性として有する色が、
前記ＢＶＯバーテックスに対応する３次元イメージ要素
であるボクセルを表わす立方体の内部に座標を有するオ
ブジェクト表面の点の色の平均となるように、一連の３
次元オブジェクトの原データをそれぞれＢＶＯフォーマ
ットに変換する段階を含むことを特徴とする。
【００２６】この方法は、各立方体の表面に対して動く
オブジェクトのイメージに対応するビデオストリームを
取得してオクツリーバイトストリームを生成し、該オク
ツリーバイトストリームの各バイトはオクツリーバーテ
ックスに対応し、各バイトの各ビットは各々前記オクツ
リーバーテックスに対してサブツリーの存否を表示し、
６本のビデオストリーム及びオクツリーバイトストリー
ムは共に３次元の動くオブジェクトの表現を形成するオ
クツリーバイトストリームを生成するように、一連のＢ
ＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対
応する立方体の表面に投影する段階をさらに含む。
オブジェクトのイメージに対応するビデオストリームを
取得してオクツリーバイトストリームを生成し、該オク
ツリーバイトストリームの各バイトはオクツリーバーテ
ックスに対応し、各バイトの各ビットは各々前記オクツ
リーバーテックスに対してサブツリーの存否を表示し、
６本のビデオストリーム及びオクツリーバイトストリー
ムは共に３次元の動くオブジェクトの表現を形成するオ
クツリーバイトストリームを生成するように、一連のＢ
ＶＯの内各々のＢＶＯをＢＶＯルートバーテックスに対
応する立方体の表面に投影する段階をさらに含む。
【００２７】好ましくは、前記６本のビデオストリーム
はＭＰＥＧビデオ圧縮フォーマットを用いてコンパクト
な形態で保存される。また、前記オクツリーバイトスト
リームは、好ましくは、エントロピー圧縮を用いて保存
される。
はＭＰＥＧビデオ圧縮フォーマットを用いてコンパクト
な形態で保存される。また、前記オクツリーバイトスト
リームは、好ましくは、エントロピー圧縮を用いて保存
される。
【００２８】上述した表現方法により表現された３次元
の動くオブジェクトは、ビデオデータの圧縮を解凍し、
各ＢＶＯバーテックスの色を決めるために６本の参照イ
メージストリームをＢＶＯに投影し、３次元の動くオブ
ジェクトを視覚化させるために色を有したＢＶＯを投影
することによって、視覚化される。
の動くオブジェクトは、ビデオデータの圧縮を解凍し、
各ＢＶＯバーテックスの色を決めるために６本の参照イ
メージストリームをＢＶＯに投影し、３次元の動くオブ
ジェクトを視覚化させるために色を有したＢＶＯを投影
することによって、視覚化される。
【００２９】また、本発明の別の側面としての、３次元
の動くオブジェクトを表現する方法は、（ａ）一連の３
次元オブジェクトに対して３次元の動くオブジェクトに
対応する一連の２進体積オクツリー（ＢＶＯ）を生成す
るために、オブジェクトの表面に属する点の座標に対応
するＢＶＯの各バーテックスが属性として有する色が、
前記ＢＶＯバーテックスに対応する３次元イメージ要素
であるボクセルを表わす立方体の内部に座標を有するオ
ブジェクト表面の点の色の平均となるように、一連の３
次元オブジェクトの原データをＢＶＯフォーマットに変
換する段階と、（ｂ）各立方体の表面に対して動くオブ
ジェクトのイメージに対応するビデオストリームを取得
してオクツリーバイトストリームを生成し、該オクツリ
ーバイトストリームの各バイトはオクツリーバーテック
スに対応し、各バイトの各ビットは各々前記オクツリー
バーテックスに対してサブツリーの存否を表示し、６本
のビデオストリーム及びオクツリーバイトストリームは
共に３次元の動くオブジェクトの表現を形成するオクツ
リーバイトストリームを生成するように、一連のＢＶＯ
の内各々のＢＶＯをＢＶＯルートバーテックスに対応す
る立方体の表面に投影する段階とを含むことを特徴とす
る。
の動くオブジェクトを表現する方法は、（ａ）一連の３
次元オブジェクトに対して３次元の動くオブジェクトに
対応する一連の２進体積オクツリー（ＢＶＯ）を生成す
るために、オブジェクトの表面に属する点の座標に対応
するＢＶＯの各バーテックスが属性として有する色が、
前記ＢＶＯバーテックスに対応する３次元イメージ要素
であるボクセルを表わす立方体の内部に座標を有するオ
ブジェクト表面の点の色の平均となるように、一連の３
次元オブジェクトの原データをＢＶＯフォーマットに変
換する段階と、（ｂ）各立方体の表面に対して動くオブ
ジェクトのイメージに対応するビデオストリームを取得
してオクツリーバイトストリームを生成し、該オクツリ
ーバイトストリームの各バイトはオクツリーバーテック
スに対応し、各バイトの各ビットは各々前記オクツリー
バーテックスに対してサブツリーの存否を表示し、６本
のビデオストリーム及びオクツリーバイトストリームは
共に３次元の動くオブジェクトの表現を形成するオクツ
リーバイトストリームを生成するように、一連のＢＶＯ
の内各々のＢＶＯをＢＶＯルートバーテックスに対応す
る立方体の表面に投影する段階とを含むことを特徴とす
る。
【００３０】前記６本のビデオストリームは、好ましく
は、ＭＰＥＧビデオ圧縮フォーマットを用いてコンパク
トな形態で保存される。また、前記オクツリーバイトス
トリームは、好ましくは、エントロピー圧縮を用いて保
存される。
は、ＭＰＥＧビデオ圧縮フォーマットを用いてコンパク
トな形態で保存される。また、前記オクツリーバイトス
トリームは、好ましくは、エントロピー圧縮を用いて保
存される。
【００３１】上述した３次元の動くオブジェクトを視覚
化する方法は、ビデオデータの圧縮を解凍し、各ＢＶＯ
バーテックスの色を決めるために６本の参照イメージス
トリームをＢＶＯに投影し、３次元の動くオブジェクト
を視覚化させるために色を有したＢＶＯを投影する段階
を含む。
化する方法は、ビデオデータの圧縮を解凍し、各ＢＶＯ
バーテックスの色を決めるために６本の参照イメージス
トリームをＢＶＯに投影し、３次元の動くオブジェクト
を視覚化させるために色を有したＢＶＯを投影する段階
を含む。
【００３２】
【発明の実施の形態】本発明は添付した図面と共に好ま
しい実施形態に関する次の詳細な説明を参照することに
より一層明確になる。
しい実施形態に関する次の詳細な説明を参照することに
より一層明確になる。
【００３３】コンパクトなデータストリーム表現方式は
ＢＶＯの幾何学的構成要素及び色彩構成要素を分離し、
幾何学的構成要素の圧縮にはオクツリーの２進表現方式
を用い、色彩構成要素の圧縮には２Ｄイメージ圧縮アル
ゴリズムを用いることにより達成される。
ＢＶＯの幾何学的構成要素及び色彩構成要素を分離し、
幾何学的構成要素の圧縮にはオクツリーの２進表現方式
を用い、色彩構成要素の圧縮には２Ｄイメージ圧縮アル
ゴリズムを用いることにより達成される。
【００３４】図１に示すように、種々異なるタイプの原
データを用いて３Ｄオブジェクトを表現してレンダリン
グする装置は、複数の点の３Ｄ座標を出力する実物３Ｄ
スキャナー１やポリゴンモデル生成手段２や深度イメー
ジ生成手段３などの３Ｄオブジェクト原データ生成手段
と、３Ｄオブジェクト原データをＢＶＯフォーマットに
変換する手段４とを含む。前記変換手段４は、３つの座
標（ｘ，ｙ，ｚ）及びＲ，Ｇ，Ｂなど３つの色座標を含
む複数の６次元ベクトルを生成する手段５、及びＢＶＯ
構成手段６を含む。前記ＢＶＯ構成手段６はイメージバ
ッファを含むＢＶＯ視覚化手段７、及び座標変換マトリ
ックス生成手段８と連結している。
データを用いて３Ｄオブジェクトを表現してレンダリン
グする装置は、複数の点の３Ｄ座標を出力する実物３Ｄ
スキャナー１やポリゴンモデル生成手段２や深度イメー
ジ生成手段３などの３Ｄオブジェクト原データ生成手段
と、３Ｄオブジェクト原データをＢＶＯフォーマットに
変換する手段４とを含む。前記変換手段４は、３つの座
標（ｘ，ｙ，ｚ）及びＲ，Ｇ，Ｂなど３つの色座標を含
む複数の６次元ベクトルを生成する手段５、及びＢＶＯ
構成手段６を含む。前記ＢＶＯ構成手段６はイメージバ
ッファを含むＢＶＯ視覚化手段７、及び座標変換マトリ
ックス生成手段８と連結している。
【００３５】図２は、２台の垂直カメラを用いた場合
に、現実の表面からどのように深度イメージが生成さ
れ、どのようにこれらが組合わせられてボクセルを生じ
るのかを示している。図２において、実物の表面の一部
９、第１カメラ（図示せず）により撮られた実物の表面
に近似した直四角形の深度イメージピクセルの離散値に
対応する投影１０、第２カメラ（図示せず）により撮ら
れた表面９のサンプリングされた深度値１１、２台のカ
メラによって撮られた表面の深度値の結合された値に対
応するボクセル１２が示されている。
に、現実の表面からどのように深度イメージが生成さ
れ、どのようにこれらが組合わせられてボクセルを生じ
るのかを示している。図２において、実物の表面の一部
９、第１カメラ（図示せず）により撮られた実物の表面
に近似した直四角形の深度イメージピクセルの離散値に
対応する投影１０、第２カメラ（図示せず）により撮ら
れた表面９のサンプリングされた深度値１１、２台のカ
メラによって撮られた表面の深度値の結合された値に対
応するボクセル１２が示されている。
【００３６】図３は、３Ｄの点とＢＶＯの各種のスケー
ルレベルの対応図を示す（２Ｄビュー）。図３におい
て、３Ｄ座標を有した複数の点１３、点１３に対応する
ＢＶＯ構造１４、色情報を含みＢＶＯノードに位置する
マークされたボクセル１６を有するＢＶＯのスケールレ
ベル１５が示されている。図４は、ＢＶＯ立方体１７及
びこれを８つのサブ立方体１８に分割したものを示す図
である。
ルレベルの対応図を示す（２Ｄビュー）。図３におい
て、３Ｄ座標を有した複数の点１３、点１３に対応する
ＢＶＯ構造１４、色情報を含みＢＶＯノードに位置する
マークされたボクセル１６を有するＢＶＯのスケールレ
ベル１５が示されている。図４は、ＢＶＯ立方体１７及
びこれを８つのサブ立方体１８に分割したものを示す図
である。
【００３７】図５（ａ）及び図５（ｂ）は、単一階層レ
ベルにおいてＢＶＯバーテックスのトラバース順序をい
かに定めているかを示すものである。図５（ａ）及び図
５（ｂ）において、投影面１９、投影方向２０、ＢＶＯ
バーテックスの内一つに対応し表面に平行な面２２、２
３、２４によって分割された立方体２１、分析される立
方体の８つのサブ立方体各々のトラバース投影順序２５
が示されている。
ベルにおいてＢＶＯバーテックスのトラバース順序をい
かに定めているかを示すものである。図５（ａ）及び図
５（ｂ）において、投影面１９、投影方向２０、ＢＶＯ
バーテックスの内一つに対応し表面に平行な面２２、２
３、２４によって分割された立方体２１、分析される立
方体の８つのサブ立方体各々のトラバース投影順序２５
が示されている。
【００３８】図６は、スプラットが時間及び空間上にい
かに投影されるか、及びスプラットの大きさを決める幾
何学的条件を示す。図６において、全体８×８ ＢＶＯ
２６、ボクセル１６、スプラット２７、垂直投影方向２
８、イメージバッファ２９が示されている。
かに投影されるか、及びスプラットの大きさを決める幾
何学的条件を示す。図６において、全体８×８ ＢＶＯ
２６、ボクセル１６、スプラット２７、垂直投影方向２
８、イメージバッファ２９が示されている。
【００３９】図７は、動くオブジェクトの幾何学的構造
変化に対応するＢＶＯバイトストリームのシーケンス３
１及びビデオストリーム（各アニメーションフレームに
対する参照イメージのシーケンス）３２を含むＢＶＯア
ニメーションシーケンス３０の構造を示す。
変化に対応するＢＶＯバイトストリームのシーケンス３
１及びビデオストリーム（各アニメーションフレームに
対する参照イメージのシーケンス）３２を含むＢＶＯア
ニメーションシーケンス３０の構造を示す。
【００４０】図８は、データストリームにより表現され
る動く３Ｄオブジェクトの視覚化過程の段階３３〜段階
３９を示すフローチャートである。
る動く３Ｄオブジェクトの視覚化過程の段階３３〜段階
３９を示すフローチャートである。
【００４１】本発明において要求される３Ｄオブジェク
ト表現方法はＢＶＯであり、これは現在用いられるほと
んどの３Ｄモデル表現から得られる。図１は、３Ｄスキ
ャナー１のデータ、手段２で生成されたポリゴンモデ
ル、手段３で生成された深度イメージの集合などの入力
表現を生成する従来の手段を示す。ＢＶＯを適用する主
な目的は、深度イメージの集合を入力表現として用いる
ことである。深度イメージによるモデル表現の長所は、
難しいモデリング過程の代わりに、実物モデルの写真か
ら直接、３Ｄモデルを生成可能であるという点である。
ト表現方法はＢＶＯであり、これは現在用いられるほと
んどの３Ｄモデル表現から得られる。図１は、３Ｄスキ
ャナー１のデータ、手段２で生成されたポリゴンモデ
ル、手段３で生成された深度イメージの集合などの入力
表現を生成する従来の手段を示す。ＢＶＯを適用する主
な目的は、深度イメージの集合を入力表現として用いる
ことである。深度イメージによるモデル表現の長所は、
難しいモデリング過程の代わりに、実物モデルの写真か
ら直接、３Ｄモデルを生成可能であるという点である。
【００４２】ＢＶＯを生成するために、前記手段１、
２、３の内一つにより提供された入力表現は３つの座標
（ｘ，ｙ，ｚ）及び３つの色座標Ｒ、Ｇ、Ｂを成分とし
て有する複数の６次元ベクトルを生じる手段５の助けを
借りて中間表現に変換される。ＢＶＯを構成するため
に、高さｎが指定されなければならず、ローカルＢＶＯ
座標においてＢＶＯ立方体のエッジ長はＬ＝２nとな
る。中間表現は下記のような方式により手段５によって
生成される。
２、３の内一つにより提供された入力表現は３つの座標
（ｘ，ｙ，ｚ）及び３つの色座標Ｒ、Ｇ、Ｂを成分とし
て有する複数の６次元ベクトルを生じる手段５の助けを
借りて中間表現に変換される。ＢＶＯを構成するため
に、高さｎが指定されなければならず、ローカルＢＶＯ
座標においてＢＶＯ立方体のエッジ長はＬ＝２nとな
る。中間表現は下記のような方式により手段５によって
生成される。
【００４３】ポリゴンモデルについて：移動及びスケー
ル（大きさ）変換によって、モデルポリゴンの全てのバ
ーテックスは、一つのバーテックスが座標系の原点に位
置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）を有す
る点に位置する立方体の内部に配置されるように生成さ
れる。ポリゴンの部分分割法により、全てのポリゴンの
二つの隣接したバーテックス間の距離は１より大きくな
らないようにする。原ポリゴンモデルのテクスチャ及び
テクスチャ座標を用い、ポリゴンの各バーテックスに色
が属性として与えられる。
ル（大きさ）変換によって、モデルポリゴンの全てのバ
ーテックスは、一つのバーテックスが座標系の原点に位
置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）を有す
る点に位置する立方体の内部に配置されるように生成さ
れる。ポリゴンの部分分割法により、全てのポリゴンの
二つの隣接したバーテックス間の距離は１より大きくな
らないようにする。原ポリゴンモデルのテクスチャ及び
テクスチャ座標を用い、ポリゴンの各バーテックスに色
が属性として与えられる。
【００４４】深度イメージについて：深度イメージは、
イメージの共通座標系に再計算された後、ピクセルに対
応する長方形の線形的な大きさが１を超えず、全ての長
方形がＢＶＯ立方体に取り囲まれた空間内に位置するよ
うに、スケール（大きさ）が調節されて移動する。共通
座標系への再計算のために、イメージを得るためのカメ
ラの位置情報及びイメージのピクセルに対応する深度値
が用いられる。これにより、色座標及びイメージに共通
する座標を有する複数の点が得られる。各点の色座標は
元のスケール調節されたイメージのピクセルの色に対応
する。
イメージの共通座標系に再計算された後、ピクセルに対
応する長方形の線形的な大きさが１を超えず、全ての長
方形がＢＶＯ立方体に取り囲まれた空間内に位置するよ
うに、スケール（大きさ）が調節されて移動する。共通
座標系への再計算のために、イメージを得るためのカメ
ラの位置情報及びイメージのピクセルに対応する深度値
が用いられる。これにより、色座標及びイメージに共通
する座標を有する複数の点が得られる。各点の色座標は
元のスケール調節されたイメージのピクセルの色に対応
する。
【００４５】３Ｄモデルスキャニングデータについて：
スキャニングされたモデルの全ての点は、移動及びスケ
ール変換によって、一つのバーテックスが座標系の原点
に位置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）に
位置するＢＶＯ立方体の内部領域に位置するように生成
される。座標（ｘ，ｙ，ｚ）がＢＶＯ立方体に含まれた
複数点｛ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ｝の形を有する中間表
現を得た後、手段６は、図３に示すＢＶＯを構成する。
立方体１７はルートバーテックスの次の階層レベルにあ
るバーテックスに対応して８つのサブ立方体１８に階層
的に分割され（図４）、第１スケールレベルのＢＶＯが
得られる。ＢＶＯは高さが増加した一連のスケールレベ
ル（図３の１５）として考えることができ、ここで、低
いツリーの使用によって、必ずしもより高いツリーを有
した全てのアルゴリズムに用いて処理することが必要と
なるわけではない。後述する過程において、ＢＶＯサブ
ツリーはこのサブツリーに対応する立方体が少なくとも
一つの点１３を含む場合に限って保存され、逆に、ＢＶ
Ｏサブツリーが保存される時に限ってこのサブツリーに
対応する立方体が少なくても一つの点１３を含む。ＢＶ
Ｏ構造１４は複数の点１３から得られる。（単に最後の
ものだけではなく）全てのＢＶＯバーテックスに対して
色が属性として与えられる。各バーテックスに属性とし
て与えられる色は、このバーテックスに対応する立方体
に属する点の色の平均値となる。
スキャニングされたモデルの全ての点は、移動及びスケ
ール変換によって、一つのバーテックスが座標系の原点
に位置し反対側のバーテックスが座標（Ｌ，Ｌ，Ｌ）に
位置するＢＶＯ立方体の内部領域に位置するように生成
される。座標（ｘ，ｙ，ｚ）がＢＶＯ立方体に含まれた
複数点｛ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ｝の形を有する中間表
現を得た後、手段６は、図３に示すＢＶＯを構成する。
立方体１７はルートバーテックスの次の階層レベルにあ
るバーテックスに対応して８つのサブ立方体１８に階層
的に分割され（図４）、第１スケールレベルのＢＶＯが
得られる。ＢＶＯは高さが増加した一連のスケールレベ
ル（図３の１５）として考えることができ、ここで、低
いツリーの使用によって、必ずしもより高いツリーを有
した全てのアルゴリズムに用いて処理することが必要と
なるわけではない。後述する過程において、ＢＶＯサブ
ツリーはこのサブツリーに対応する立方体が少なくとも
一つの点１３を含む場合に限って保存され、逆に、ＢＶ
Ｏサブツリーが保存される時に限ってこのサブツリーに
対応する立方体が少なくても一つの点１３を含む。ＢＶ
Ｏ構造１４は複数の点１３から得られる。（単に最後の
ものだけではなく）全てのＢＶＯバーテックスに対して
色が属性として与えられる。各バーテックスに属性とし
て与えられる色は、このバーテックスに対応する立方体
に属する点の色の平均値となる。
【００４６】ＢＶＯレンダリング手段７は手段８により
指定された３Ｄ座標システム変換を用いて座標変換４×
４マトリックスＴを生成する。変換により生成された座
標はＢＶＯに対する相対的な視点の位置を指定する。
指定された３Ｄ座標システム変換を用いて座標変換４×
４マトリックスＴを生成する。変換により生成された座
標はＢＶＯに対する相対的な視点の位置を指定する。
【００４７】レンダリングを行うために、ＢＶＯのルー
トバーテックスからツリーのリーフまで全てのバーテッ
クスをトラバースさせなければならない。リーフをトラ
バースする間に、スプラットと呼ばれる特定パターンが
イメージバッファ２９に保存される。図６に示すよう
に、分析されるバーテックスのスプラット２７は分析さ
れるバーテックスに対応する投影立方体２６の領域をカ
バーしなければならない。スプラットの色は分析される
ＢＶＯバーテックスの色に対応しなければならない。ス
プラットは、イメージバッファへの高速保存が可能な形
状が選択されるが、それは一般的には正方形または円形
である。スプラット２７中心の座標はこのバーテックス
に対応する投影立方体２６の中心の座標に対応しなけれ
ばならない。
トバーテックスからツリーのリーフまで全てのバーテッ
クスをトラバースさせなければならない。リーフをトラ
バースする間に、スプラットと呼ばれる特定パターンが
イメージバッファ２９に保存される。図６に示すよう
に、分析されるバーテックスのスプラット２７は分析さ
れるバーテックスに対応する投影立方体２６の領域をカ
バーしなければならない。スプラットの色は分析される
ＢＶＯバーテックスの色に対応しなければならない。ス
プラットは、イメージバッファへの高速保存が可能な形
状が選択されるが、それは一般的には正方形または円形
である。スプラット２７中心の座標はこのバーテックス
に対応する投影立方体２６の中心の座標に対応しなけれ
ばならない。
【００４８】視点に対する立方体の相対的な位置を考慮
した正確なＢＶＯレンダリングを提供するために、レン
ダリング過程において、イメージバッファの各点におい
て最後に投影されたスプラットはイメージバッファ中の
分析された点に対して先に投影された他のスプラットよ
りも観視者に近いところに位置するように注意を払わな
ければならない。ＢＶＯレンダリングの速度は立方体中
心に対応する点の座標タイプ変換の速度に実質的に依存
する。ハードウェアグラフィック加速器において、前述
した問題は、ハードウェアｚ−バッファによって正確な
レンダリングを提供し、ハードウェアの助けを借りてマ
トリックス乗法を加速して立方体中心点の変換を計算す
ることにより解決できる。
した正確なＢＶＯレンダリングを提供するために、レン
ダリング過程において、イメージバッファの各点におい
て最後に投影されたスプラットはイメージバッファ中の
分析された点に対して先に投影された他のスプラットよ
りも観視者に近いところに位置するように注意を払わな
ければならない。ＢＶＯレンダリングの速度は立方体中
心に対応する点の座標タイプ変換の速度に実質的に依存
する。ハードウェアグラフィック加速器において、前述
した問題は、ハードウェアｚ−バッファによって正確な
レンダリングを提供し、ハードウェアの助けを借りてマ
トリックス乗法を加速して立方体中心点の変換を計算す
ることにより解決できる。
【００４９】特別のグラフィック加速器を採用しないＢ
ＶＯレンダリング方法は、ＢＶＯトラバースの正しい順
序を取り決める方法及び立方体中心座標の高速階層的座
標タイプ変換方法を伴う。本発明によるＢＶＯのトラバ
ース順序の使用はｚ−バッファに依存せずに正しいスプ
ラットの投影を可能にする。
ＶＯレンダリング方法は、ＢＶＯトラバースの正しい順
序を取り決める方法及び立方体中心座標の高速階層的座
標タイプ変換方法を伴う。本発明によるＢＶＯのトラバ
ース順序の使用はｚ−バッファに依存せずに正しいスプ
ラットの投影を可能にする。
【００５０】スプラットの正しい投影を可能ならしめる
ＢＶＯのトラバース順序を決定する方法は、各ＢＶＯバ
ーテックスに対してそのルートバーテックスがこのバー
テックスから由来するサブツリーのトラバース順序を決
定することに基づく。図５に示すように、分析されるＢ
ＶＯバーテックスに対応する立方体２１のバーテックス
のトラバース順序を決定するために、立方体２１を、３
種の可能な方法をすべて用いて、平面により二つの同じ
平行六面体に分割する。図５（ａ）及び図５（ｂ）にお
いて、平面は線２２、２３、２４で示されている。各部
分に対する正しい投影順序の決定は、平行六面体の共通
面２２，２３の法線と投影方向１９との間の角の方向を
決定することにより行われる。この動作を行った後に
は、分析される立方体２１の８つのサブ立方体の各々を
トラバースする順序２５が３つの場合のいずれからも得
られる。
ＢＶＯのトラバース順序を決定する方法は、各ＢＶＯバ
ーテックスに対してそのルートバーテックスがこのバー
テックスから由来するサブツリーのトラバース順序を決
定することに基づく。図５に示すように、分析されるＢ
ＶＯバーテックスに対応する立方体２１のバーテックス
のトラバース順序を決定するために、立方体２１を、３
種の可能な方法をすべて用いて、平面により二つの同じ
平行六面体に分割する。図５（ａ）及び図５（ｂ）にお
いて、平面は線２２、２３、２４で示されている。各部
分に対する正しい投影順序の決定は、平行六面体の共通
面２２，２３の法線と投影方向１９との間の角の方向を
決定することにより行われる。この動作を行った後に
は、分析される立方体２１の８つのサブ立方体の各々を
トラバースする順序２５が３つの場合のいずれからも得
られる。
【００５１】前記立方体投影の順序を決定する過程は、
後述するＢＶＯのトラバース順序の決定及び高速階層的
変換を含む全体レンダリング過程によって再帰的に行わ
れる： ａ．視点の変化ごとに前処理を行う。 ｂ．ルートバーテックスを現在のバーテックスとする。 ｃ．現在のバーテックスに対応する８つのサブ立方体を
いずれも投影する正しい順序を決定する。垂直投影にお
いては、全てのノードは対応するルートバーテックスの
立方体分割部分からこの順序を引き継ぐ。 ｄ．現在バーテックスの全てのサブ立方体に対して下記
の処理を行う： １）このバーテックスに対して必要な、立方体中心座標
の変換を計算する。 ２）現在バーテックスがツリーのリーフであれば、前述
の図６において説明した通り、スプラットを投影する。 ３）現在バーテックスがツリーのリーフではなければ、
このサブ立方体に対応するバーテックスを現在バーテッ
クスとして定め、ｂ段階に戻る。
後述するＢＶＯのトラバース順序の決定及び高速階層的
変換を含む全体レンダリング過程によって再帰的に行わ
れる： ａ．視点の変化ごとに前処理を行う。 ｂ．ルートバーテックスを現在のバーテックスとする。 ｃ．現在のバーテックスに対応する８つのサブ立方体を
いずれも投影する正しい順序を決定する。垂直投影にお
いては、全てのノードは対応するルートバーテックスの
立方体分割部分からこの順序を引き継ぐ。 ｄ．現在バーテックスの全てのサブ立方体に対して下記
の処理を行う： １）このバーテックスに対して必要な、立方体中心座標
の変換を計算する。 ２）現在バーテックスがツリーのリーフであれば、前述
の図６において説明した通り、スプラットを投影する。 ３）現在バーテックスがツリーのリーフではなければ、
このサブ立方体に対応するバーテックスを現在バーテッ
クスとして定め、ｂ段階に戻る。
【００５２】ａ段階及びｄ１段階の演算は下記の手順に
より行われる。Ｔは４×４変換マトリックスを表示す
る。この変換は４次元空間における線形的な変換を表わ
す。ＢＶＯ高さをｎとし、ボクセルのローカル法線座標
をｖとする。ボクセル座標が標準的な暗黙的２進形態
（各バイトがルートバーテックスを含む内部オクツリー
バーテックスに対応し、バイトの各ビットは各々このオ
クツリーバーテックスの存否を表わす、ＢＶＯフォーマ
ットの標準的な２進レコード）として保存されており、
ノード座標を下記式（１）のように表わすとする。
より行われる。Ｔは４×４変換マトリックスを表示す
る。この変換は４次元空間における線形的な変換を表わ
す。ＢＶＯ高さをｎとし、ボクセルのローカル法線座標
をｖとする。ボクセル座標が標準的な暗黙的２進形態
（各バイトがルートバーテックスを含む内部オクツリー
バーテックスに対応し、バイトの各ビットは各々このオ
クツリーバーテックスの存否を表わす、ＢＶＯフォーマ
ットの標準的な２進レコード）として保存されており、
ノード座標を下記式（１）のように表わすとする。
【００５３】
【数１】
【００５４】これにより、好ましいバーテックス座標の
変換は、次式（２）の形態を有する。
変換は、次式（２）の形態を有する。
【００５５】
【数２】
【００５６】
【００５７】
【数３】
【００５８】固定されたＴに対し、前記式（３）の各成
分は前処理段階ａで、次式（４）によって計算される。
分は前処理段階ａで、次式（４）によって計算される。
【００５９】
【数４】
【００６０】前記式はｎ×８テーブルに保存され、変換
は全てのバーテックスに対して単にテーブル参照及び足
し算を行って前記式（３）を計算することにより行われ
る。その結果、ルートバーテックスからリーフまでの全
ての経路を通れば、（ｘ，ｙ，ｚ）座標として特定され
る各ＢＶＯに対し、値Ｔvを求めることができる。
は全てのバーテックスに対して単にテーブル参照及び足
し算を行って前記式（３）を計算することにより行われ
る。その結果、ルートバーテックスからリーフまでの全
ての経路を通れば、（ｘ，ｙ，ｚ）座標として特定され
る各ＢＶＯに対し、値Ｔvを求めることができる。
【００６１】
【数５】
【００６２】前記座標変換方法はオクツリーの全てのリ
ーフに対して直接的にマトリックス掛け算を行うことに
比べて計算能力面で１０倍以上の向上が得られる。
ーフに対して直接的にマトリックス掛け算を行うことに
比べて計算能力面で１０倍以上の向上が得られる。
【００６３】前述したＢＶＯ多重スケール法は、その性
質上、ＢＶＯにより表現される３Ｄモデルの所望のディ
テールレベル及びモデルにおいて、観視者までの距離に
比例して特定の多重スケールレベルを直接的に選択可能
にするという点は特記される。
質上、ＢＶＯにより表現される３Ｄモデルの所望のディ
テールレベル及びモデルにおいて、観視者までの距離に
比例して特定の多重スケールレベルを直接的に選択可能
にするという点は特記される。
【００６４】動く３Ｄオブジェクトの表現方法は、下記
の手順で実施される。一連の３Ｄオブジェクトにおける
各３Ｄオブジェクトの原データがＢＶＯフォーマットに
変換される。各３Ｄアニメーションフレームに対し、オ
ブジェクトの立方体面に対する投影に対応する６枚の深
度イメージが生成される。これにより、ビデオストリー
ムが、各立方体面毎に１本ずつ生成され、各フレーム毎
に６つの深度マップが生成される。各フレームに対し、
前述したように、ＢＶＯフォーマットがバイトストリー
ムの形で生成される。ビデオストリームはＭＰＥＧ−２
など、効率良い圧縮方法の助けを借りて圧縮される。図
８に示すように、ＢＶＯアニメーションシーケンス３０
は、動くオブジェクトの幾何学的構造変化に対応するバ
イトストリームのシーケンス３１、及び前述した６本の
ビデオストリーム（アニメーションの各フレームの参照
イメージのシーケンス）３２を含む。
の手順で実施される。一連の３Ｄオブジェクトにおける
各３Ｄオブジェクトの原データがＢＶＯフォーマットに
変換される。各３Ｄアニメーションフレームに対し、オ
ブジェクトの立方体面に対する投影に対応する６枚の深
度イメージが生成される。これにより、ビデオストリー
ムが、各立方体面毎に１本ずつ生成され、各フレーム毎
に６つの深度マップが生成される。各フレームに対し、
前述したように、ＢＶＯフォーマットがバイトストリー
ムの形で生成される。ビデオストリームはＭＰＥＧ−２
など、効率良い圧縮方法の助けを借りて圧縮される。図
８に示すように、ＢＶＯアニメーションシーケンス３０
は、動くオブジェクトの幾何学的構造変化に対応するバ
イトストリームのシーケンス３１、及び前述した６本の
ビデオストリーム（アニメーションの各フレームの参照
イメージのシーケンス）３２を含む。
【００６５】動く３Ｄオブジェクトの視覚化方法を、図
８のフローチャートに示す。６枚の参照イメージのデー
タ及び前述のように生成されたバイトストリームのデー
タがアニメーションシーケンスから抽出される（第３３
段階）。６枚のイメージの圧縮を解凍し、ＢＶＯ構造が
生成される（第３４段階）。各ＢＶＯバーテックスの色
を決定するために、得られた６本の参照イメージストリ
ームがＢＶＯ上に投影される（第３５段階）。圧縮解凍
されたＢＶＯを視覚化させるかどうかを決める（第３６
段階）。もし、視覚化させるのであれば、動くオブジェ
クトフレームに対応するＢＶＯが視覚化される（第３７
段階）。次のフレームを読み出すか否かを決める（第３
８段階）。読み出す場合には、第３３段階に戻り、読み
出さないのであれば、第３９段階に進んで、ビューポイ
ント（視点）が変化すれば視覚化段階（第３７段階）へ
戻る。
８のフローチャートに示す。６枚の参照イメージのデー
タ及び前述のように生成されたバイトストリームのデー
タがアニメーションシーケンスから抽出される（第３３
段階）。６枚のイメージの圧縮を解凍し、ＢＶＯ構造が
生成される（第３４段階）。各ＢＶＯバーテックスの色
を決定するために、得られた６本の参照イメージストリ
ームがＢＶＯ上に投影される（第３５段階）。圧縮解凍
されたＢＶＯを視覚化させるかどうかを決める（第３６
段階）。もし、視覚化させるのであれば、動くオブジェ
クトフレームに対応するＢＶＯが視覚化される（第３７
段階）。次のフレームを読み出すか否かを決める（第３
８段階）。読み出す場合には、第３３段階に戻り、読み
出さないのであれば、第３９段階に進んで、ビューポイ
ント（視点）が変化すれば視覚化段階（第３７段階）へ
戻る。
【００６６】実験によれば、本発明に係る方法により得
られた単一ＢＶＯフォーマットフレームは最近の先行技
術である垂直ＬＤＩフォーマットに比べて４ないし１０
倍ほど小さい。ＢＶＯレンダリング速度は、２５６×２
５６の解像度を有する参照イメージ及び出力イメージに
対し、パンティアムセラーロン５００ＭＨｚコンピュー
タ（ハードウェアに基づく加速を用いない場合、固定ス
ケールレベルにおいて）約２０ｆｐｓであり、これもま
たハードウェアに基づく加速によらない場合の先行技術
の方法におけるレンダリング速度よりも２ないし３倍ほ
ど速い。
られた単一ＢＶＯフォーマットフレームは最近の先行技
術である垂直ＬＤＩフォーマットに比べて４ないし１０
倍ほど小さい。ＢＶＯレンダリング速度は、２５６×２
５６の解像度を有する参照イメージ及び出力イメージに
対し、パンティアムセラーロン５００ＭＨｚコンピュー
タ（ハードウェアに基づく加速を用いない場合、固定ス
ケールレベルにおいて）約２０ｆｐｓであり、これもま
たハードウェアに基づく加速によらない場合の先行技術
の方法におけるレンダリング速度よりも２ないし３倍ほ
ど速い。
【００６７】
【発明の効果】以上述べたように、本発明に係る３Ｄの
静止したオブジェクト及び動くオブジェクトの階層的イ
メージベース表現及びレンダリング方法及び装置によれ
ば、ＢＶＯの幾何学的構成要素と色彩構成要素とを分離
することにより、深度イメージに基づくと共に、相対的
に小さい貯蔵領域を要し、しかも高速で高品質のレンダ
リングが可能である。
静止したオブジェクト及び動くオブジェクトの階層的イ
メージベース表現及びレンダリング方法及び装置によれ
ば、ＢＶＯの幾何学的構成要素と色彩構成要素とを分離
することにより、深度イメージに基づくと共に、相対的
に小さい貯蔵領域を要し、しかも高速で高品質のレンダ
リングが可能である。
【図１】各種のタイプの原データを用いた３Ｄオブジェ
クト表現及びレンダリング装置の機能的概念図である。
クト表現及びレンダリング装置の機能的概念図である。
【図２】垂直カメラから得られた一対の深度イメージか
らＢＶＯを生成する例を示す概念図である。
らＢＶＯを生成する例を示す概念図である。
【図３】３Ｄポイントと各種のＢＶＯ階層レベルとの間
の２Ｄ対応図である。
の２Ｄ対応図である。
【図４】ＢＶＯ立方体及びこれを８つのサブ立方体に分
割したものを示す概念図である。
割したものを示す概念図である。
【図５】（ａ）及び（ｂ）は、一つの階層レベルにおい
て、ＢＶＯバーテックスをトラバースする順序の決定を
示す２Ｄ及び３Ｄ概念図である。
て、ＢＶＯバーテックスをトラバースする順序の決定を
示す２Ｄ及び３Ｄ概念図である。
【図６】スプラットを時間及び空間上に投影する過程及
びスプラットの大きさを決定する幾何学的条件を示す概
念図である。
びスプラットの大きさを決定する幾何学的条件を示す概
念図である。
【図７】動く３Ｄオブジェクトを示すデータストリーム
の構造ブロック図である。
の構造ブロック図である。
【図８】データストリームにより表現される動く３Ｄオ
ブジェクトの視覚化過程を示すフローチャートである。
ブジェクトの視覚化過程を示すフローチャートである。
４ ３Ｄオブジェクト原データをＢＶＯフォーマット
に変換する手段
に変換する手段
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 アレクサンダー オレゴヴィッチ ジルコ
フ
ロシア連邦、モスクワ 117335、アルキテ
クトラ ヴラソヴァ 11−４、16
Ｆターム(参考） 5B050 AA08 BA08 BA09 BA18 CA07
EA24 EA27 EA28 EA29 FA02
FA05
5B080 AA13 AA17 BA05 FA02 GA02
GA11
Claims (15)
- 【請求項１】 ３次元オブジェクトの表現及びレンダリ
ングの方法において、 （ａ）オブジェクトの表面に属する点の座標に対応する
２進体積オクツリー（ＢＶＯ）の各バーテックスが属性
として有する色が、前記ＢＶＯバーテックスに対応する
３次元イメージ要素であるボクセルを表わす立方体の内
部に座標を有するオブジェクト表面の点の色の平均とな
るように、３次元オブジェクトの原データをＢＶＯフォ
ーマットに変換する段階と、 （ｂ）ＢＶＯリーフに対応するボクセルの中心のローカ
ル３次元座標を求め、前記求められた３次元座標をボク
セル中心の２次元座標及び投影されたボクセルイメージ
の大きさの情報に変換し、各々のＢＶＯリーフに対し、
色情報を用いて、投影されたボクセルイメージ領域をカ
バーする対応するスプラットを生成してディスプレー
し、前記オクツリーをルートバーテックスからリーフま
で階層的にトラバースすることによって前記ＢＶＯをレ
ンダリングし、前記ディスプレーされた複数のスプラッ
トにより３次元オブジェクトを視覚化する段階を含むこ
とを特徴とする３次元オブジェクトの表現及びレンダリ
ングの方法。 - 【請求項２】 前記３次元オブジェクトの原データは、
深度イメージの集合、ポリゴンモデルデータ、あるいは
色を有する点の集合であることを特徴とする請求項１に
記載の３次元オブジェクトの表現及びレンダリング方
法。 - 【請求項３】 前記オクツリーの階層的トラバースは、
見る人から最も遠いＢＶＯボクセルから近いＢＶＯボク
セルの順序に行われることを特徴とする請求項１又は２
に記載の３次元オブジェクトの表現及びレンダリング方
法。 - 【請求項４】 前記オクツリーのトラバース前に、前記
方法は、 を計算し、３次元座標を２次元座標へと階層的変換して
得られた結果を用いるとともに、各ＢＶＯバーテックス
に対し、ＢＶＯルートからリーフまでの全ての経路をト
ラバースしつつ を計算することによって、ローカル座標（ｘ，ｙ，ｚ）
として特定される全てのＢＶＯリーフに対する を計算する段階を含むことを特徴とする請求項１ないし
３のいずれか一項に記載の３次元オブジェクトの表現及
びレンダリング方法。 - 【請求項５】 ３次元オブジェクトの表現及びレンダリ
ング装置において、 ３次元オブジェクトの原データを生じる３次元オブジェ
クト原データ生成手段と、 前記３次元オブジェクト原データ生成手段と連結され
て、オブジェクトの表面に属する点の座標に対応する２
進体積オクツリー（ＢＶＯ）の各バーテックスが属性と
して有する色が、前記ＢＶＯバーテックスに対応する３
次元イメージ要素であるボクセルを表わす立方体の内部
に座標を有するオブジェクト表面の点の色の平均となる
ように、３次元オブジェクト原データをＢＶＯフォーマ
ットに変換する３次元オブジェクト原データ変換手段
と、 前記３次元オブジェクト原データ変換手段に連結された
ＢＶＯレンダリング手段とを含むことを特徴とする３次
元オブジェクトの表現及びレンダリング装置。 - 【請求項６】 前記３次元オブジェクト原データ生成手
段は、複数の点の３次元座標を出力する３次元実物スキ
ャナーであることを特徴とする請求項５に記載の３次元
オブジェクトの表現及びレンダリング装置。 - 【請求項７】 前記３次元オブジェクト原データ生成手
段は、３次元オブジェクトポリゴンモデル生成手段であ
ることを特徴とする請求項５に記載の３次元オブジェク
トの表現及びレンダリング装置。 - 【請求項８】 前記３次元オブジェクト原データ生成手
段は、深度イメージ生成手段であることを特徴とする請
求項５に記載の３次元オブジェクトの表現及びレンダリ
ング装置。 - 【請求項９】 ３次元の動くオブジェクトの表現方法に
おいて、 （ａ）一連の３次元オブジェクトに対し、３次元の動く
オブジェクトに対応する一連の２進体積オクツリー（Ｂ
ＶＯ）を生成するために、オブジェクトの表面に属する
点の座標に対応するＢＶＯの各バーテックスが属性とし
て有する色が、前記ＢＶＯバーテックスに対応する３次
元イメージ要素であるボクセルを表わす立方体の内部に
座標を有するオブジェクト表面の点の色の平均となるよ
うに、一連の３次元オブジェクトの原データをそれぞれ
ＢＶＯフォーマットに変換する段階を含むことを特徴と
する３次元の動くオブジェクトの表現方法。 - 【請求項１０】 （ｂ）各立方体の表面に対して動くオ
ブジェクトのイメージに対応するビデオストリームを取
得してオクツリーバイトストリームを生成し、該オクツ
リーバイトストリームの各バイトはオクツリーバーテッ
クスに対応し、各バイトの各ビットは各々前記オクツリ
ーバーテックスに対してサブツリーの存否を表示し、６
本のビデオストリーム及びオクツリーバイトストリーム
は共に３次元の動くオブジェクトの表現を形成するオク
ツリーバイトストリームを生成するように、一連のＢＶ
Ｏの内各々のＢＶＯをＢＶＯルートバーテックスに対応
する立方体の表面に投影する段階をさらに含むことを特
徴とする請求項９に記載の３次元の動くオブジェクトの
表現方法。 - 【請求項１１】 （ｃ）前記６本のビデオストリームを
ＭＰＥＧビデオ圧縮フォーマットを用いてコンパクトな
形態で保存し、前記オクツリーバイトストリームをエン
トロピー圧縮を用いて保存する段階をさらに含むことを
特徴とする請求項１０に記載の３次元の動くオブジェク
トの表現方法。 - 【請求項１２】 請求項１０又は１１に記載の方法によ
り表現された３次元の動くオブジェクトを視覚化させる
方法において、 ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの
色を決めるために６本の参照イメージストリームをＢＶ
Ｏに投影し、３次元の動くオブジェクトを視覚化させる
ために色を有したＢＶＯを投影する段階を含むことを特
徴とする３次元の動くオブジェクトを視覚化させる方
法。 - 【請求項１３】 ３次元の動くオブジェクトを表現する
方法において、 （ａ）一連の３次元オブジェクトに対して３次元の動く
オブジェクトに対応する一連の２進体積オクツリー（Ｂ
ＶＯ）を生成するために、オブジェクトの表面に属する
点の座標に対応するＢＶＯの各バーテックスが属性とし
て有する色が、前記ＢＶＯバーテックスに対応する３次
元イメージ要素であるボクセルを表わす立方体の内部に
座標を有するオブジェクト表面の点の色の平均となるよ
うに、一連の３次元オブジェクトの原データをＢＶＯフ
ォーマットに変換する段階と、 （ｂ）各立方体の表面に対して動くオブジェクトのイメ
ージに対応するビデオストリームを取得してオクツリー
バイトストリームを生成し、該オクツリーバイトストリ
ームの各バイトはオクツリーバーテックスに対応し、各
バイトの各ビットは各々前記オクツリーバーテックスに
対してサブツリーの存否を表示し、６本のビデオストリ
ーム及びオクツリーバイトストリームは共に３次元の動
くオブジェクトの表現を形成するオクツリーバイトスト
リームを生成するように、一連のＢＶＯの内各々のＢＶ
ＯをＢＶＯルートバーテックスに対応する立方体の表面
に投影する段階とを含むことを特徴とする３次元の動く
オブジェクトを表現する方法。 - 【請求項１４】 前記６本のビデオストリームをＭＰＥ
Ｇビデオ圧縮フォーマットを用いてコンパクトな形態で
保存し、前記オクツリーバイトストリームをエントロピ
ー圧縮を用いて保存する段階をさらに含むことを特徴と
する請求項１３に記載の３次元の動くオブジェクトを表
現する方法。 - 【請求項１５】 請求項１３又は１４に記載の方法によ
り表現された３次元の動くオブジェクトを視覚化する方
法において、 ビデオデータの圧縮を解凍し、各ＢＶＯバーテックスの
色を決めるために６本の参照イメージストリームをＢＶ
Ｏに投影し、３次元の動くオブジェクトを視覚化させる
ために色を有したＢＶＯを投影する段階を含むことを特
徴とする３次元の動くオブジェクトを視覚化させる方
法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2001118222 | 2001-06-29 | ||
| RU2001118222/09A RU2215326C2 (ru) | 2001-06-29 | 2001-06-29 | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003077004A true JP2003077004A (ja) | 2003-03-14 |
| JP3981302B2 JP3981302B2 (ja) | 2007-09-26 |
Family
ID=20251333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002192460A Expired - Fee Related JP3981302B2 (ja) | 2001-06-29 | 2002-07-01 | ３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6778173B2 (ja) |
| EP (2) | EP1271411A3 (ja) |
| JP (1) | JP3981302B2 (ja) |
| KR (1) | KR100468848B1 (ja) |
| CN (1) | CN1215443C (ja) |
| CA (1) | CA2391670C (ja) |
| RU (1) | RU2215326C2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006172479A (ja) * | 2004-12-16 | 2006-06-29 | Samsung Electronics Co Ltd | ３次元映像の階層的構造に基づいた適応的レンダリング装置、セルデータ生成装置、セルデータ生成方法、レンダリング方法、及び、それらの方法を行うためのコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体 |
| JP2007220121A (ja) * | 2006-02-15 | 2007-08-30 | Samsung Electronics Co Ltd | ３次元ポイントに基づくモデリング装置及び方法 |
| KR100755684B1 (ko) | 2004-08-07 | 2007-09-05 | 삼성전자주식회사 | 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치 |
| JP2007528529A (ja) * | 2003-11-28 | 2007-10-11 | ブラッコ イメージング エス．ピー．エー． | ３ｄデータ集合のサーフェスを識別するための方法及びシステム（「ボクセル分割」） |
| JP2009545044A (ja) * | 2006-07-28 | 2009-12-17 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 最小にされたメモリ帯域幅要件を有するキャッシュ利用が最適化された光線トラバースアルゴリズム |
| JP2018510416A (ja) * | 2015-02-26 | 2018-04-12 | クアルコム，インコーポレイテッド | 単一パスの表面スプラッティング |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3855053B2 (ja) * | 2003-01-30 | 2006-12-06 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US20050151734A1 (en) * | 2004-01-14 | 2005-07-14 | Gubkin Andrew A. | Method and apparatus for rendering, storing and editing voxel objects |
| EP1574996A3 (en) * | 2004-03-08 | 2007-03-21 | Samsung Electronics Co., Ltd. | Adaptive 2n-ary tree generating method, and method and apparatus for encoding and decoding 3D volume data using it |
| WO2006017771A1 (en) * | 2004-08-06 | 2006-02-16 | University Of Washington | Variable fixation viewing distance scanned light displays |
| KR100624457B1 (ko) * | 2005-01-08 | 2006-09-19 | 삼성전자주식회사 | 깊이-영상 기반의 모델링 방법 및 장치 |
| CN101176118B (zh) * | 2005-03-30 | 2011-03-09 | 独立行政法人海洋研究开发机构 | 结构网格数据的可视化方法 |
| KR100738095B1 (ko) * | 2005-09-23 | 2007-07-12 | 삼성전자주식회사 | 3차원 객체의 효율적 렌더링 방법 및 장치 |
| ITMI20060505A1 (it) * | 2006-03-21 | 2007-09-22 | Eni Spa | Metrodo per visualizzare e comparare immagini e volumi di dati di grandezze fisiche |
| US9478062B2 (en) * | 2006-09-19 | 2016-10-25 | Imagination Technologies Limited | Memory allocation in distributed memories for multiprocessing |
| US9641822B2 (en) | 2008-02-25 | 2017-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) images |
| KR101526948B1 (ko) * | 2008-02-25 | 2015-06-11 | 삼성전자주식회사 | 3ｄ 영상 처리 방법 |
| DE102008020579B4 (de) * | 2008-04-24 | 2014-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur automatischen Objektlageerkennung und Bewegung einer Vorrichtung relativ zu einem Objekt |
| KR20100000671A (ko) * | 2008-06-25 | 2010-01-06 | 삼성전자주식회사 | 영상 처리 방법 |
| KR100947595B1 (ko) * | 2008-07-29 | 2010-03-15 | 중앙대학교 산학협력단 | 폴리곤의 컬러 코드를 이용한 복셀화 방법 |
| US8098247B2 (en) * | 2009-09-24 | 2012-01-17 | Crucs Holdings, Llc | Systems and methods for geometric data compression and encryption |
| US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
| US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
| US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
| US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
| CN101763649B (zh) * | 2009-12-30 | 2012-07-25 | 北京航空航天大学 | 一种增强模型轮廓的表面点绘制方法 |
| CN102682419B (zh) * | 2011-03-14 | 2015-04-22 | 扬智科技股份有限公司 | 用于向量图形的动态线段对照表产生方法及装置 |
| GB201113683D0 (en) * | 2011-08-09 | 2011-09-21 | Imorphics Ltd | Image processing method |
| US9100642B2 (en) * | 2011-09-15 | 2015-08-04 | Broadcom Corporation | Adjustable depth layers for three-dimensional images |
| CN103150761A (zh) * | 2013-04-02 | 2013-06-12 | 乐淘奇品网络技术（北京）有限公司 | 通过网页高速逼真3d渲染进行物品设计定制的方法 |
| US20140368504A1 (en) * | 2013-06-12 | 2014-12-18 | Microsoft Corporation | Scalable volumetric 3d reconstruction |
| CN103310489B (zh) * | 2013-06-24 | 2016-01-20 | 中南大学 | 一种基于动态深度层次结构的三维模型交互方法 |
| EP2829993B1 (en) * | 2013-07-25 | 2020-09-30 | Dassault Systèmes | Design of a path connecting a first point to a second point in a three-dimensional scene |
| US9530226B2 (en) * | 2014-02-18 | 2016-12-27 | Par Technology Corporation | Systems and methods for optimizing N dimensional volume data for transmission |
| CN105335993B (zh) * | 2014-08-01 | 2018-07-06 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| US9900583B2 (en) * | 2014-12-04 | 2018-02-20 | Futurewei Technologies, Inc. | System and method for generalized view morphing over a multi-camera mesh |
| US10661506B2 (en) | 2015-01-30 | 2020-05-26 | Hewlett-Packard Development Company, L.P. | Indexing cells of N-dimensional objects |
| KR101651827B1 (ko) * | 2015-02-26 | 2016-08-30 | 한밭대학교 산학협력단 | 파일 및 병렬 처리를 이용한 객체의 복셀화 방법 |
| WO2018070993A1 (en) * | 2016-10-11 | 2018-04-19 | Hewlett-Packard Development Company, L.P. | Generating data for a three-dimensional (3d) printable object |
| EP3389265A1 (en) * | 2017-04-13 | 2018-10-17 | Ultra-D Coöperatief U.A. | Efficient implementation of joint bilateral filter |
| US20180310025A1 (en) * | 2017-04-24 | 2018-10-25 | Nokia Technologies Oy | Method and technical equipment for encoding media content |
| CN107220925B (zh) * | 2017-05-05 | 2018-10-30 | 珠海全志科技股份有限公司 | 一种实时虚拟现实加速方法及装置 |
| US10692249B2 (en) | 2017-10-12 | 2020-06-23 | Sony Corporation | Octree traversal for anchor point cloud compression |
| US10089796B1 (en) * | 2017-11-01 | 2018-10-02 | Google Llc | High quality layered depth image texture rasterization |
| US10769960B2 (en) * | 2017-11-27 | 2020-09-08 | Cae Inc. | Method and system for simulating a radar image |
| WO2019138163A1 (en) * | 2018-01-15 | 2019-07-18 | Nokia Technologies Oy | A method and technical equipment for encoding and decoding volumetric video |
| US11127189B2 (en) * | 2018-02-23 | 2021-09-21 | Canon Kabushiki Kaisha | 3D skeleton reconstruction from images using volumic probability data |
| GB2571307B (en) * | 2018-02-23 | 2020-10-21 | Canon Kk | 3D skeleton reconstruction from images using volumic probability data |
| US10977856B2 (en) * | 2018-03-29 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using a low-detail representation of surfaces to influence a high-detail representation of the surfaces |
| CN108492365B (zh) * | 2018-04-03 | 2021-10-01 | 中国林业科学研究院资源信息研究所 | 一种基于颜色分级的树叶自适应贴图可视化模拟方法 |
| EP3973140A4 (en) * | 2019-05-21 | 2023-01-25 | Services Pétroliers Schlumberger | GEOLOGICAL MODEL AND PROPERTY VISUALIZATION SYSTEM |
| CN110310367A (zh) * | 2019-07-03 | 2019-10-08 | 武汉大势智慧科技有限公司 | 基于大场景实景三维多角度2.5d影像轻量级浏览方法 |
| CN113516751B (zh) * | 2020-03-26 | 2023-06-30 | 网易（杭州）网络有限公司 | 游戏中云的显示方法、装置以及电子终端 |
| CN111627059B (zh) * | 2020-05-28 | 2023-05-30 | 桂林市思奇通信设备有限公司 | 一种棉花叶片中心点位置定位方法 |
| CN111768452B (zh) * | 2020-06-30 | 2023-08-01 | 天津大学 | 一种基于深度学习的非接触式自动贴图方法 |
| CN112238603B (zh) * | 2020-09-15 | 2021-07-27 | 山东大学 | 面向3d打印的堆叠打印生成方法及系统 |
| CN112085826A (zh) * | 2020-09-27 | 2020-12-15 | 广州海格星航信息科技有限公司 | 一种高效的三维空间网格渲染方法及装置 |
| CN113115021B (zh) * | 2021-04-09 | 2023-12-19 | 天海欧康科技信息(厦门)有限公司 | 一种物流三维可视化场景中的相机位动态聚焦方法 |
| CN113379851B (zh) * | 2021-07-16 | 2024-05-24 | 安徽工布智造工业科技有限公司 | 一种用于机器人场景从图像提取三维坐标值的方法 |
| CN116740300B (zh) * | 2023-06-16 | 2024-05-03 | 广东工业大学 | 一种基于多模态的素体与纹理融合家具模型重建方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5557711A (en) * | 1990-10-17 | 1996-09-17 | Hewlett-Packard Company | Apparatus and method for volume rendering |
| EP0809913B1 (en) * | 1995-12-19 | 2002-06-12 | Koninklijke Philips Electronics N.V. | Parallactic depth-dependent pixel shifts |
| KR980010875A (ko) * | 1996-07-23 | 1998-04-30 | 김광호 | 3차원 렌더링 방법 |
| US6310620B1 (en) * | 1998-12-22 | 2001-10-30 | Terarecon, Inc. | Method and apparatus for volume rendering with multiple depth buffers |
-
2001
- 2001-06-29 RU RU2001118222/09A patent/RU2215326C2/ru not_active IP Right Cessation
-
2002
- 2002-04-13 KR KR10-2002-0020241A patent/KR100468848B1/ko not_active IP Right Cessation
- 2002-06-18 US US10/173,434 patent/US6778173B2/en not_active Expired - Fee Related
- 2002-06-26 EP EP02254451A patent/EP1271411A3/en not_active Withdrawn
- 2002-06-26 EP EP06122587.6A patent/EP1744282B1/en not_active Expired - Lifetime
- 2002-06-26 CA CA002391670A patent/CA2391670C/en not_active Expired - Fee Related
- 2002-06-28 CN CNB02125124XA patent/CN1215443C/zh not_active Expired - Fee Related
- 2002-07-01 JP JP2002192460A patent/JP3981302B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007528529A (ja) * | 2003-11-28 | 2007-10-11 | ブラッコ イメージング エス．ピー．エー． | ３ｄデータ集合のサーフェスを識別するための方法及びシステム（「ボクセル分割」） |
| KR100755684B1 (ko) | 2004-08-07 | 2007-09-05 | 삼성전자주식회사 | 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치 |
| US7917868B2 (en) | 2004-08-07 | 2011-03-29 | Samsung Electronics Co., Ltd. | Three-dimensional motion graphic user interface and method and apparatus for providing the same |
| JP2006172479A (ja) * | 2004-12-16 | 2006-06-29 | Samsung Electronics Co Ltd | ３次元映像の階層的構造に基づいた適応的レンダリング装置、セルデータ生成装置、セルデータ生成方法、レンダリング方法、及び、それらの方法を行うためのコンピュータプログラムを保存するコンピュータで読み取り可能な記録媒体 |
| JP2007220121A (ja) * | 2006-02-15 | 2007-08-30 | Samsung Electronics Co Ltd | ３次元ポイントに基づくモデリング装置及び方法 |
| JP2009545044A (ja) * | 2006-07-28 | 2009-12-17 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 最小にされたメモリ帯域幅要件を有するキャッシュ利用が最適化された光線トラバースアルゴリズム |
| JP2018510416A (ja) * | 2015-02-26 | 2018-04-12 | クアルコム，インコーポレイテッド | 単一パスの表面スプラッティング |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030004017A (ko) | 2003-01-14 |
| EP1744282B1 (en) | 2014-11-05 |
| EP1271411A3 (en) | 2005-01-19 |
| US6778173B2 (en) | 2004-08-17 |
| KR100468848B1 (ko) | 2005-01-29 |
| CA2391670A1 (en) | 2002-12-29 |
| RU2215326C2 (ru) | 2003-10-27 |
| EP1744282A2 (en) | 2007-01-17 |
| EP1744282A3 (en) | 2007-02-07 |
| EP1271411A2 (en) | 2003-01-02 |
| CA2391670C (en) | 2006-06-06 |
| US20030052878A1 (en) | 2003-03-20 |
| JP3981302B2 (ja) | 2007-09-26 |
| CN1395221A (zh) | 2003-02-05 |
| CN1215443C (zh) | 2005-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3981302B2 (ja) | ３次元の静止した又は動くオブジェクトの階層イメージベース表現並びに該表現をオブジェクトのレンダリングに使用する方法及び装置 | |
| EP1271410B1 (en) | Image-based method of representation and rendering of three-dimensional object | |
| Decoret et al. | Multi‐layered impostors for accelerated rendering | |
| Sillion et al. | Efficient impostor manipulation for real‐time visualization of urban scenery | |
| Pulli et al. | Surface reconstruction and display from range and color data | |
| US8217931B2 (en) | System and method for processing video images | |
| US20120032948A1 (en) | System and method for processing video images for camera recreation | |
| US6317139B1 (en) | Method and apparatus for rendering 3-D surfaces from 2-D filtered silhouettes | |
| Wang et al. | A new upsampling method for mobile lidar data | |
| Waschbüsch et al. | 3d video billboard clouds | |
| Park et al. | Arbitrary view generation from multiple cameras | |
| Pulli et al. | Surface modeling and display from range and color data | |
| Xiao et al. | From Images to Video: View Morphing of Three Images. | |
| JP4102091B2 (ja) | レンジ画像から勾配の大きさによる画像を判定するための方法 | |
| Yaguchi et al. | Arbitrary-view image generation from multiple silhouette images in projective grid space | |
| Peng et al. | A new approach of point-based rendering | |
| Verma et al. | 3D Rendering-Techniques and challenges | |
| Besora Vilardaga | Real time city visualization | |
| Davis et al. | Interactive Dynamic Environments Using Image-Based Modeling and Rendering. | |
| Wu et al. | Construction of complex environments from a set of depth images | |
| Kuzu | Volumetric object reconstruction by means of photogrammetry | |
| Winberg | Examining automatic texture mapping of arbitrary terrains | |
| Waschbüsch et al. | Visual recording and replay of rigid objects | |
| Maunder et al. | Virtual View Synthesis using Visual Hulls | |
| Webb | An extension to optic flow analysis for the generation of computer animated images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050803 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20051102 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20051108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061130 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070115 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070119 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070122 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070629 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |