JP2008536234A

JP2008536234A - 三次元客体の深さ映像基盤表現方法及びこれを利用したモデリング及びレンダリング方法及び装置

Info

Publication number: JP2008536234A
Application number: JP2008506372A
Authority: JP
Inventors: ジャン，ギョン−ジャ; ハン，マン−ジン; キム，クン−ホ; リー，シン−ジュン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-04-11
Filing date: 2006-04-11
Publication date: 2008-09-04
Anticipated expiration: 2026-04-11
Also published as: US8111254B2; KR100707206B1; CN101156175B; US20060227132A1; JP4777416B2; CN101156175A; KR20060107899A

Abstract

三次元客体のＤＩＢＲ方法、及びこれを利用したモデリング及びレンダリング方法及び装置が開示される。該三次元客体のＤＩＢＲ方法は、深さ情報または幾何情報、色相情報及びカメラパラメータにより表現される三次元客体のＤＩＢＲ方法において、カメラパラメータは、位置情報、回転情報、カメラ視野の縦横範囲または角度（fieldOfView）情報、カメラボリュームの前面（nearPlane）情報、カメラボリュームの背面（farPlane）情報及び客体がカメラに直交投影されているか、または遠近投影されているかの投影方式選択（orthographic）情報を含み、三次元客体に対してモデリング及びレンダリングのうち少なくとも一つを行うとき、カメラパラメータの値は、リアルタイム変更可能であり、そのフィールドタイプは、リアルタイム変更可能なフィールドであることを表すexposedFieldとすることを特徴とする。これにより、モデリングでは、動的物体の動き、変形されることによるカメラの自由な動作及び制御可能なview frustrumを付与して簡単な著作が可能であり、レンダリングでは、DepthImage node specification内のカメラをexposedField typeにセットし、画質低下なしに適応的にアニメーションをレンダリングできる。

Description

本発明は、三次元客体の深さ映像基盤表現に係り、特に三次元客体の動的機能向上のために、動的データのカメラパラメータをリアルタイムで変更できるようにする三次元客体の深さ映像基盤表現方法、及びこれを利用した三次元客体のモデリング及びレンダリング方法及び装置に関する。

図１は、深さ映像基盤表現（ＤＩＢＲ）客体を生成するモデリング段階と、モデラで生成されたＤＩＢＲフォーマットを使用してＤＩＢＲ客体をレンダリングする段階とを図示したものである。図１を参照するに、ＤＩＢＲモデリングは、次の通りになされる。まず、著作ツール（authoring tool）を利用して三次元（３Ｄ）客体を静的な３Ｄデータまたは動的な３Ｄデータにする。前記３ＤデータをＤＩＢＲモデラ（ＤＩＢＲ modeler）を使用し、固定されたカメラパラメータと、前記カメラパラメータでの深さ（depth）と色相（color）情報とで表現し、ＭＰＥＧＤＩＢＲフォーマットに生成する。

また、ＤＩＢＲレンダリングは、図１に図示されているように、ＤＩＢＲレンダラ（ＤＩＢＲ renderer）を利用し、前記モデラで生成されたカメラパラメータと、depthとcolor情報とを使用し、view volumeとＤＩＢＲ客体とを生成する。そして、カメラview frustrumを作り、view frustrum内のＤＩＢＲ客体をスクリーンに投影する。

ＤＩＢＲを使用して３Ｄデータを生成したりレンダリングするとき、必要なカメラパラメータと深さ（depth）情報と色相（color）情報は、ＭＰＥＧ規格（specification）のDepthImageノードとDepthImageV2ノードとに表現されている。ＭＰＥＧのDepthImageノードとDepthImageV2ノードとについて述べれば、次の通りである。ここで、カメラパラメータは、DepthIamgeノードとDepthImageV2ノードとのフィールド（field）に含まれている。

DepthImage{#%NDT=SF3DNode
Field SFVec3f position 0010
Field SFRotation orientation 0010
Field SFVec2f fieldOfView 0.785398 0.785398
Field SFFloat nearPlane 10
Field SFFloat farPlane 100
Field SFBool orthographic TRUE
Field SFDepthTextureNode diTexture NULL
}
DepthImageV2{#%NDT=SF3DNode
Field SFVec3f position 0010
Field SFRotation orientation 0010
Field SFVec2f fieldOfView 0.785398 0.785398
Field SFFloat nearPlane 10
Field SFFloat farPlane 100
Field SFVec2f splatMinMax 0.1115 0.9875
Field SFBool orthographic FALSE
Field SFDepthTextureNode diTexture NULL
}
前記DepthImageノードとDepthImageV2ノードとの規格は、次の通りである。カメラパラメータ情報を表すフィールドは、カメラの位置（position）と回転（orientation）情報、カメラ視野の縦横範囲または視野の縦横角度情報（fieldOfView）、カメラボリュームの前面情報（nearPlane）、ボリュームの背面情報（farPlane）、及び客体がカメラに直交投影されているか、または遠近投影されているかの投影方式選択（orthographic）情報のためのフィールドと；depthとcolor情報を有するdiTextureフィールドとにより構成されている。そして、DepthImageV2ノードは、前記フィールド以外に、スクリーンに映される様子、すなわちスプラットベクトル長の最小値と最大値とを表すフィールド（splatMinMax）をさらに含んでいる。

前記DepthImageノードとDepthIamgeV2ノードとにいずれも含まれている、カメラパラメータ情報を表すフィールドは、カメラの位置と回転情報、カメラ視野の縦横範囲または視野の縦横角度情報、カメラボリュームの前面、背面情報、客体がカメラに直交投影されているか、または遠近投影されているかの投影方式選択情報（camera parameters：position，orientation，fieldOfView，nearPlane，farPlane，orthographic）であり、field typeとして定義されている。

ここで、カメラパラメータフィールドがfield typeとして定義されていれば、そのカメラパラメータ値が一度セットされれば、変更不可能である。従って、DepthImageノードまたはDepthImageV2ノードを使用して静的（still）または動的（animated／deformed）ＤＩＢＲデータを生成するとき、カメラパラメータを一回しかセットできない。そして、ＤＩＢＲデータをレンダリングするとき、モデラで設定したカメラパラメータをそのまま使用してview volumeを作り、その中にＤＩＢＲ客体を表現しなければならない。

field typeを有する固定されたカメラパラメータ（カメラの位置と回転情報、カメラ視野の縦横範囲または視野の縦横角度情報、カメラボリュームの前面、背面情報、客体がカメラに直交投影されているかまたは遠近投影されているかの投影方式選択情報）を使用し、静的ＤＩＢＲデータまたは動的ＤＩＢＲデータを生成し、レンダリングする過程は、図２の通りである。カメラパラメータ値がモデリング段階で一回設定されれば、その値を変更できないために、カメラアニメーションを考慮していない。そのため、レンダリング段階でも、モデリング段階で設定された固定されたカメラパラメータ値のみを使用しなければならなかった。

またモデリング段階で、field typeを有する固定されたカメラパラメータを使用するので、動的に変形された物体に対するアニメーションをモデリングするために、動的に変形される物体に適するように、カメラパラメータを変更できなかった。それにより、動的に変形される物体のアニメーションを生成するときは、図３のように、作ろうとするアニメーションの全体フレーム（frame）をいずれも観察した後、物体の最大バウンディングボックス（ＢＢ：Bounding Box）を計算しなければならなかった。これは、モデリング時にあらゆる物体に対して適切な解像度を維持するために、物体のバウンディングボックスを適切に設定するために必要な作業である。このため、view frustrumに該当するカメラパラメータが設定される。従って、モデリング過程で、バウンディングボックスを外れるアニメーションフレームが追加されるとき、最大バウンディングボックスの更新が必要であった。バウンディングボックスを更新し、最初のフレームから再びアニメーションを作らねばならなかった（2Pass）。従って、従来固定されたカメラパラメータに対して映像をモデリング及び／またはレンダリングする方法は付加的な操作であり、著作速度が低下し、かつ使用しにくいという短所があった。また、不要なメモリ使用量があった。それにより、カメラパラメータが反映されたリアルタイムアニメーションを作ることができなかった。

また、モデリングとレンダリングとを行うとき、復元映像の画質低下の可能性がある。さらに詳細に説明すれば、カメラパラメータ値を変更できない静的カメラは、経時的に変動する動的物体の追跡が不可能である。そして、静的カメラは、動的物体の隠された領域と変形された領域とで、データの損失が発生しうるという短所がある。

本発明がなそうとする技術的課題は、ＤＩＢＲモデラで変形された動的物体をモデリングするのに適したカメラパラメータを有する三次元客体のＤＩＢＲ方法を提供することである。

また、本発明がなそうとする技術的課題は、前記三次元客体のＤＩＢＲ方法を利用し、ＤＩＢＲアニメーションに適した三次元客体モデリング方法及び装置を提供することである。

また、本発明がなそうとする技術的課題は、前記三次元客体のＤＩＢＲ方法を利用してモデリングされたデータをレンダリングする、カメラパラメータ値の変化をリアルタイム反映するＤＩＢＲアニメーションのレンダリング方法及び装置を提供することである。

前記技術的課題をなすための本発明による三次元客体のＤＩＢＲ方法は、深さ情報、色相情報及びカメラパラメータまたは幾何情報、色相情報及びカメラパラメータにより表現される三次元客体のＤＩＢＲ方法において、前記カメラパラメータは、位置情報、回転情報、カメラ視野の縦横範囲または角度（fieldOfView）情報、カメラボリュームの前面（nearPlane）情報、カメラボリュームの背面（farPlane）情報及び客体がカメラに直交投影されているか、または遠近投影されているかの投影方式選択（orthographic）情報を含み、三次元客体に対してモデリング及びレンダリングのうち少なくとも一つを行うとき、前記カメラパラメータの値は、リアルタイム変更可能であることを特徴とする。前記リアルタイム変更可能なカメラパラメータを表現するデータ構造のフィールドタイプは、リアルタイム変更可能なフィールドであることを表すexposedFieldとすることを特徴とする。

前記技術的課題をなすための本発明による三次元客体のＤＩＢＲを利用したＤＩＢＲモデリング装置は、入力される三次元客体の静的データ及び動的データのうち少なくとも一つのデータに対してカメラパラメータを付加し、前記動的データがリアルタイムで変更されれば、それに相応するカメラパラメータをリアルタイムで変更し、前記静的データまたは動的データから前記三次元客体を表現するポイントまたはポイント集合プリミティブを抽出する３Ｄデータ処理部と、前記３Ｄデータ処理部で生成されたデータをＤＩＢＲデータフォーマットに変換するＤＩＢＲデータ生成部と、前記３Ｄデータ処理部で生成されたデータからアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を抽出するカメラアニメーションデータ生成部とを備えることを特徴とする。

前記技術的課題をなすための本発明による三次元客体のＤＩＢＲを利用したＤＩＢＲモデリング方法は、（ａ）入力される三次元客体の静的データ及び動的データのうち少なくとも一つに対してカメラパラメータを付加するが、前記動的データがリアルタイムで変更されれば、それに相応するカメラパラメータをリアルタイムで変更する段階と、（ｂ）前記静的データまたは動的データから前記三次元客体を表現するポイントまたはポイント集合プリミティブを抽出する段階と、（ｃ）前記（ａ）及び（ｂ）段階で処理されたデータをＤＩＢＲデータフォーマットに変換する段階と、（ｄ）前記（ａ）及び（ｂ）段階で処理されたデータからアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を抽出する段階とを含むことを特徴とする。

前記技術的課題をなすための本発明による三次元客体のＤＩＢＲを利用したＤＩＢＲレンダリング装置は、三次元客体のＤＩＢＲデータを受け取るＤＩＢＲデータ入力部と、三次元客体のアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を受け取るカメラアニメーションデータ入力部と、前記ＤＩＢＲデータと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とを使用して三次元客体のアニメーションを再生するアニメーション再生部とを備える。

前記技術的課題をなすための本発明による三次元客体のＤＩＢＲを利用したＤＩＢＲレンダリング方法は、三次元客体のＤＩＢＲデータを受け取る段階と、三次元客体のアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を受け取る段階と、前記ＤＩＢＲデータと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とを使用して三次元客体のアニメーションを再生する段階とを含む。

前記技術的課題をなすための本発明による三次元客体のＤＩＢＲを利用したＤＩＢＲレンダリング方法は、三次元客体をモデリングして生成されたカメラ動き情報と、変形可能なview frustrum情報と、参照映像とを受け取る段階と、前記カメラ動き情報、view frustrum情報及び参照映像を使用してレンダリングでのview frustrum情報とＤＩＢＲ客体とを生成する段階を含むことを特徴とする。

そして、前記記載された方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明による三次元客体のＤＩＢＲ方法、及びこれを利用したモデリング及びレンダリング方法及び装置によれば、DepthImageノードはカメラパラメータをexposedFieldに変形することにより、ＤＩＢＲ客体の動きまたは変形によってカメラ動きとview frustrumとを変化させることができる。また、前記DepthImageのカメラパラメータを使用することにより、モデリング段階でＤＩＢＲモデルの特徴に適した参照映像を得ることができる。そして、前記モデリングの結果として生成されたカメラ動きと変形可能なview frustrumと参照映像とを使用し、レンダリングでは、view frustrumとＤＩＢＲ客体とを生成する。

すなわち、モデリング側面で動的物体に適したモデリング、すなわち動的物体の動き、変形されるにことによるカメラの自由な動作及び制御可能なview frustrumを付与して簡単な著作が可能である。

また、レンダリング側面では、DepthImage node specification内のカメラを、修正されたfield typeすなわちexposedField typeにセットし、画質低下なしに適応的にアニメーションをレンダリングできる。

前記exposedField typeに変更されたカメラパラメータを使用し、カメラアニメーションを行うとき、長所は次の通りである。カメラview volumeを物体のバウンディングボックスに合うように設定することができ、メモリを節約できる。また、モデリングするとき、図４に図示されているように、生成中であるアニメーションの各フレームの客体に適したバウンディングボックスを抽出するので、生成中であるアニメーションのあらゆるフレームの最大バウンディングボックス（ＢＢ）を含むカメラアニメーション情報の抽出が不要なので、モデリング速度低下なしに著作が容易である（1Pass）。また、各フレームに適した大きさのバウンディングボックスを抽出するので、レンダリング画質が向上する。

そして、モデリング段階では、カメラパラメータ変更機能があり、カメラの位置と回転、view frustrumの調節が可能である。また、物体のアニメーション経路（path）により、カメラの位置が変更可能である。またモデリングするとき、著作が容易である。レンダリング段階では、動的カメラパラメータを利用して画質調節機能がある。従って、適応的に解像度を調節するので、既存の方法より画質向上が可能である。

以下、添付された図面を参照しつつ、本発明による三次元客体のＤＩＢＲ方法、及びこれを利用したモデリング及びレンダリング方法及び装置について詳細に説明する。

まず、本発明による三次元客体のＤＩＢＲ方法を説明する。カメラパラメータがリアルタイム反映されたＤＩＢＲアニメーションを作るためには、ＭＰＥＧのDepthImageノードとDepthImageV2ノードとで、カメラの位置と回転情報、カメラ視野の縦横範囲または視野の縦横角度情報、カメラボリュームの前面及び背面情報及び客体がカメラに直交投影されているか、または遠近投影されているかの投影方式選択情報を意味するposition、orientation、fieldOfview、nearPlane、farPlane、orthographicのカメラパラメータフィールドのtypeが変更されねばならない。次の通り、前記フィールドのtypeを、固定されたカメラパラメータを表すfield typeからリアルタイムで変更されるカメラパラメータ情報を反映するexposedFieldtypeに変更する。

DepthImage{#%NDT=SF3DNode
exposedField SFVec3f position 0010
exposedField SFRotation orientation 0010
exposedField SFVec2f fieldOfView π/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
exposedField SFBool orthographic TRUE
field SFDepthTextureNode diTexture NULL
}
DepthImageV2{#%NDT=SF3DNode
exposedField SFVec3f position 0010
exposedField SFRotation orientation 0010
exposedField SFVec2f fieldOfView π/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
fieldSF Vec2f splatMinMax 0.1115 0.9875
exposedField SFBool orthographic FALSE
field SFDepthTextureNode diTexture NULL
}
前記exposedField typeに変更されたカメラパラメータを使用し、カメラアニメーションを行えば、カメラview volume（カメラview frustrum）を物体のバウンディングボックスに合うように設定することができる。そして、モデリングするとき、図４のように、生成中であるアニメーションの各フレームの客体に適したバウンディングボックスを抽出し、生成中であるアニメーションのあらゆるフレームの最大バウンディングボックス（ＢＢ）を含むカメラアニメーション情報の抽出が不要である。それにより、モデリング速度低下なしに著作が容易である（1Pass）。また、各フレームに適した大きさのバウンディングボックスを抽出するので、レンダリング画質が向上する。また、モデリング段階では、カメラパラメータ変更機能があり、カメラの位置と回転、view frustrumの調節が可能である。また、物体のアニメーション経路により、カメラの位置が変更可能である。レンダリング過程では、動的カメラパラメータを利用して画質調節が可能である。

ＭＰＥＧ標準化では、前記DepthImageノードとDepthImageV2ノードとのカメラパラメータ関連fieldsのtypeをexposedFieldに変更した。従って、モデリング過程でカメラパラメータの変更が可能であり、ＤＩＢＲ内の外部カメラパラメータ（extrinsic camera parameters）の修正案が採択された。

図５は、本発明によるカメラアニメーション支援機能が追加された、三次元客体のＤＩＢＲのモデリング装置の構成をブロック図で図示したものであり、該モデリング装置は、３Ｄデータ処理部５００、ＤＩＢＲデータ生成部５２０及びカメラアニメーションデータ生成部５４０を備えてなる。

３Ｄデータ処理部５００は、入力される三次元客体の静的データ及び動的データのうち少なくとも一つのデータに対してカメラ情報を付加し、前記動的データがリアルタイムで変更されれば、それに相応するカメラパラメータをリアルタイムで変更し、前記静的データまたは動的データから前記三次元客体を表現するPointまたはPoint cloudプリミティブを抽出する。

前記静的データまたは動的データは、一般的に著作ツール（図１０）で生成される。また前記カメラ情報は、カメラ台数、カメラパラメータ情報を含む。

ＤＩＢＲデータ生成部５２０は、前記３Ｄデータ処理部で生成されたデータをＤＩＢＲデータフォーマットに変換する。例えば、ＭＰＥＧで提供されるノード（DepthImage、SimpleTexture、PointTexture、OctreeImage、DepthImageV2、SimpleTextureV2、PointTextureV2など）をＤＩＢＲデータで生成する。前記ＤＩＢＲデータフォーマットは、参照映像を含む。

カメラアニメーションデータ生成部５４０は、前記３Ｄデータ処理部で生成されたデータからアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を抽出する。

前記カメラパラメータは、前述の本発明による三次元客体のＤＩＢＲ方法と同一である。すなわち、位置情報、回転情報、カメラ視野の縦横範囲または角度（fieldOfView）情報、カメラボリュームの前面（nearPlane）情報、カメラボリュームの背面（farPlane）情報及び客体がカメラに直交投影されているかまたは遠近投影されているかの投影方式選択（orthographic）情報を含み、三次元客体に対してモデリング及びレンダリングのうち少なくとも一つを行うとき、前記カメラパラメータの値は、リアルタイム変更可能である。

図６は、本発明による三次元客体のＤＩＢＲモデリング方法をフローチャートで図示したものであり、図５及び図６を参照し、三次元客体のＤＩＢＲモデリング方法及びそのモデリング装置の動作を説明する。

三次元客体の静的データ及び動的データのうち少なくとも一つが３Ｄデータ処理部５００に入力されれば、３Ｄデータ処理部５００は、前記静的データまたは動的データにカメラ情報を付加する（６００段階）。ここで、もし前記動的データがリアルタイムで変更されれば（６１０段階）、それに相応するカメラパラメータをリアルタイムで変更する（６２０段階）。また、３Ｄデータ処理部５００は、前記静的データまたは動的データから前記三次元客体を表現するPointまたはPoint cloudプリミティブを抽出する（６３０段階）。

ＤＩＢＲデータ生成部５２０によって前記６００段階ないし６３０段階で処理されたデータは、ＤＩＢＲデータフォーマットに変換される（６４０段階）。前記ＤＩＢＲデータフォーマットは、参照映像を含む。

また、カメラアニメーションデータ生成部５４０は、前記６００段階及び６３０段階で処理されたデータからアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を抽出する（６５０段階）。

図７は、本発明によるカメラアニメーション支援機能が追加された、三次元客体のＤＩＢＲのレンダリング装置の構成をブロック図で図示したものであり、該レンダリング装置は、ＤＩＢＲデータ入力部７００、カメラアニメーションデータ入力部７２０、アニメーション再生部７４０を備えてなる。

ＤＩＢＲデータ入力部７００は、三次元客体のＤＩＢＲデータを受け取る。カメラアニメーションデータ入力部７２０は、三次元客体のアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を受け取る。アニメーション再生部７４０は、前記ＤＩＢＲデータと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とを使用して三次元客体のアニメーションを再生する。

図８は、本発明による三次元客体のＤＩＢＲレンダリング方法をフローチャートで図示したものであり、図７及び図８を参照しつつ、三次元客体のＤＩＢＲモデリング方法及びそのレンダリング装置の動作を説明する。

ＤＩＢＲデータ入力部７００を介して三次元客体のＤＩＢＲデータを受け取る（８００段階）。また、カメラアニメーションデータ入力部７２０を介して前記三次元客体のアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を受け取る（８２０段階）。

前記ＤＩＢＲデータと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とが受け取られれば、ＤＩＢＲアニメーション再生部７４０は、前記ＤＩＢＲデータと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とを使用して三次元客体のアニメーションを再生する（８４０段階）。その結果、カメラパラメータが反映されたリアルタイムＤＩＢＲアニメーションが可能である。

図９は、本発明によるカメラアニメーション支援機能が追加された、三次元客体のモデリング及びレンダリング装置の全体的な構成をブロック図で図示したものである。

一方、本発明は、静的または動的ＤＩＢＲデータを生成及びレンダリングするのに使われうる。

本発明は、コンピュータで読み取り可能な記録媒体にコンピュータ（情報処理機能を有する装置をいずれも含む）で読み取り可能なコードとして具現しうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ＲＯＭ（リード−オンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。

本発明は、図面に図示された実施形態を参考にして説明されたが、それらは例示的なものに過ぎず、本技術分野の当業者ならば、それらから多様な変形及び均等な他の実施形態が可能であるという点を理解することができるであろう。従って、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によってのみ決まるのである。

ＤＩＢＲ客体を生成するモデリング段階と、モデラで生成されたＤＩＢＲフォーマットを使用してＤＩＢＲ客体をレンダリングする段階とを示す図である。従来の固定されたカメラパラメータで映像をモデリングし、かつレンダリングする過程を表す概念図である。固定されたカメラパラメータを使用してＤＩＢＲアニメーションを具現するとき、物体のバウンディングボックスを求める方法を示す図である。本発明によるＤＩＢＲアニメーションを具現するとき、物体のバウンディングボックスを求める方法を示す図である。本発明によるカメラアニメーション支援機能が追加された、三次元客体のＤＩＢＲのモデリング装置の構成を示すブロック図である。本発明による三次元客体のＤＩＢＲモデリング方法を示すフローチャートである。本発明によるカメラアニメーション支援機能が追加された、三次元客体のＤＩＢＲのレンダリング装置の構成を示すブロック図である。本発明による三次元客体のＤＩＢＲレンダリング方法を示すフローチャートである。本発明によるカメラアニメーション支援機能が追加された、三次元客体のモデリング及びレンダリング装置の全体的な構成を示すブロック図である。３Ｄグラフィックスデータを著作するツールであって、３ＤＳＭＡＸ著作ツール画面を示す図である。

Claims

深さ情報、色相情報、及びカメラパラメータまたは幾何情報、色相情報、及びカメラパラメータにより表現される三次元客体の深さ映像基盤表現方法において、
前記カメラパラメータは、
位置情報、回転情報、カメラ視野の縦横範囲または角度（fieldOfView）情報、カメラボリュームの前面（nearPlane）情報、カメラボリュームの背面（farPlane）情報、及び客体がカメラに直交投影されているかまたは遠近投影されているかの投影方式選択（orthographic）情報を含み、
三次元客体に対してモデリング及びレンダリングのうち少なくとも一つを行うとき、前記カメラパラメータの値は、リアルタイム変更可能であることを特徴とする三次元客体の深さ映像基盤表現方法。
前記リアルタイム変更可能なカメラパラメータを表現するデータ構造のフィールドタイプは、
リアルタイム変更可能なフィールドであることを表すexposedFieldとすることを特徴とする請求項１に記載の三次元客体の深さ映像基盤表現方法。
前記リアルタイム変更可能なカメラパラメータは、
DepthImageノードである場合、ノードの名称、フィールドのタイプ、フィールドのデータフォーマット、フィールドの名称、フィールドの初期値は、
DepthImage{#%NDT=SF3DNode
exposedField SFVec3f position 0010
exposedField SFRotation orientation 0010
exposedField SFVec2f fieldOfView π/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
exposedField SFBool orthographic TRUE
field SFDepthTextureNode diTexture NULL
}
前記データ構造で表現されることを特徴とする請求項２に記載の三次元客体の深さ映像基盤表現方法。
前記リアルタイム変更可能なカメラパラメータは、
DepthImageV2である場合、ノードの名称、フィールドのタイプ、フィールドのデータフォーマット、フィールドの名称、フィールドの初期値は、
DepthImageV2 {#%NDT=SF3DNode
exposedField SFVec3f position 0010
exposedField SFRotation orientation 0010
exposedField SFVec2f fieldOfView π/4π/4
exposedField SFFloat nearPlane 10
exposedField SFFloat farPlane 100
field SFVec2f splatMinMax 0.1115 0.9875
exposedField SFBool orthographic FALSE
field SFDepthTextureNode diTexture NULL
}
前記データ構造で表現されることを特徴とする請求項２に記載の三次元客体の深さ映像基盤表現方法。
入力される三次元客体の静的データ及び動的データのうち少なくとも一つのデータに対してカメラパラメータを付加し、前記動的データがリアルタイムで変更されれば、それに相応するカメラパラメータをリアルタイムで変更し、前記静的データまたは動的データから前記三次元客体を表現するポイントまたはポイント集合プリミティブを抽出する３Ｄデータ処理部と、
前記３Ｄデータ処理部で生成されたデータを深さ映像基盤表現データフォーマットに変換する深さ映像基盤表現データ生成部と、
前記３Ｄデータ処理部で生成されたデータからアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を抽出するカメラアニメーションデータ生成部とを備えることを特徴とする三次元客体の深さ映像基盤表現モデリング装置。
前記カメラパラメータは、
位置情報、回転情報、カメラ視野の縦横範囲または角度（fieldOfView）情報、カメラボリュームの前面（nearPlane）情報、カメラボリュームの背面（farPlane）情報及び客体がカメラに直交投影されているかまたは遠近投影されているかの投影方式選択（orthographic）情報を含み、
三次元客体に対してモデリング及びレンダリングのうち少なくとも一つを行うとき、前記カメラパラメータの値は、リアルタイム変更可能であることを特徴とする請求項５に記載の三次元客体の深さ映像基盤表現モデリング装置。
前記深さ映像基盤表現データ生成部の深さ映像基盤表現データフォーマットは、
参照映像を含むことを特徴とする請求項５に記載の三次元客体の深さ映像基盤表現モデリング装置。
（ａ）入力される三次元客体の静的データ及び動的データのうち少なくとも一つに対してカメラパラメータを付加するが、前記動的データがリアルタイムで変更されれば、それに相応するカメラパラメータをリアルタイムで変更する段階と、
（ｂ）前記静的データまたは動的データから前記三次元客体を表現するポイントまたはポイント集合プリミティブを抽出する段階と、
（ｃ）前記（ａ）及び（ｂ）段階で処理されたデータを深さ映像基盤表現データフォーマットに変換する段階と、
（ｄ）前記（ａ）及び（ｂ）段階で処理されたデータからアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を抽出する段階とを含むことを特徴とする三次元客体の深さ映像基盤表現モデリング方法。
前記（ｃ）段階の深さ映像基盤表現データフォーマットは、
参照映像を含むことを特徴とする請求項８に記載の三次元客体の深さ映像基盤表現モデリング方法。
前記カメラパラメータは、
位置情報、回転情報、カメラ視野の縦横範囲または角度（fieldOfView）情報、カメラボリュームの前面（nearPlane）情報、カメラボリュームの背面（farPlane）情報及び客体がカメラに直交投影されているかまたは遠近投影されているかの投影方式選択（orthographic）情報を含み、
三次元客体に対してモデリング及びレンダリングのうち少なくとも一つを行うとき、前記カメラパラメータの値は、リアルタイム変更可能であることを特徴とする請求項８に記載の三次元客体の深さ映像基盤表現モデリング方法。
三次元客体の深さ映像基盤表現データを受け取る深さ映像基盤表現データ入力部と、
三次元客体のアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を受け取るカメラアニメーションデータ入力部と、
前記深さ映像基盤表現データと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とを使用し、三次元客体のアニメーションを再生するアニメーション再生部とを備える三次元客体の深さ映像基盤表現レンダリング装置。
前記カメラパラメータは、
位置情報、回転情報、カメラ視野の縦横範囲または角度（fieldOfView）情報、カメラボリュームの前面（nearPlane）情報、カメラボリュームの背面（farPlane）情報及び客体がカメラに直交投影されているかまたは遠近投影されているかの投影方式選択（orthographic）情報を含み、
三次元客体に対してモデリング及びレンダリングのうち少なくとも一つを行うとき、前記カメラパラメータの値は、リアルタイム変更可能であることを特徴とする請求項１１に記載の三次元客体の深さ映像基盤表現レンダリング装置。
（ａ）三次元客体の深さ映像基盤表現データを受け取る段階と、
（ｂ）三次元客体のアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を受け取る段階と、
（ｃ）前記深さ映像基盤表現データと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とを使用し、三次元客体のアニメーションを再生する段階とを含むことを特徴とする三次元客体の深さ映像基盤表現レンダリング方法。
三次元客体をモデリングして生成されたカメラ動き情報と、変形可能なview frustrum情報と、参照映像とを受け取る段階と、
前記カメラ動き情報、view frustrum情報及び参照映像を使用し、レンダリングでのview frustrum情報とカメラ動きとを利用して深さ映像基盤表現客体を生成する段階とを含むことを特徴とする三次元客体の深さ映像基盤表現レンダリング方法。
請求項１に記載の方法ををコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
請求項８に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
請求項１３に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
請求項１４に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
カメラアニメーション支援機能が追加された、三次元客体の深さ映像基盤表現レンダリング装置において、
三次元客体の深さ映像基盤表現データを受け取る深さ映像基盤表現データ入力部と、
リアルタイムで変更される三次元客体のアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を受け取るカメラアニメーションデータ入力部と、
前記深さ映像基盤表現データと、アニメーションデータの時間情報と、それに相応するリアルタイムで変更されるカメラパラメータ値とを使用して三次元客体のアニメーションを再生するアニメーション再生部とを備えることを特徴とする装置。
入力される三次元客体の映像データに対してカメラパラメータを付加するが、前記映像データがリアルタイムで変更されれば、それに相応するカメラパラメータをリアルタイムで変更し、前記映像データから前記三次元客体を表現するデータを抽出し、前記抽出されたデータを深さ映像基盤表現データに変換する３Ｄデータ処理部と、
前記３Ｄデータ処理部により抽出されたデータからアニメーションデータの時間情報及びそれに相応するリアルタイムで変更されるカメラパラメータ値を抽出するカメラアニメーションデータ生成部と、
深さ映像基盤表現データを受け取る深さ映像基盤表現データ入力部と、
前記時間情報と前記カメラパラメータ値とを受け取るカメラアニメーションデータ入力部と、
前記深さ映像基盤表現データ、前記時間情報及び前記カメラパラメータ値を使用して三次元客体のアニメーションを再生するアニメーション再生部とを備えることを特徴とする三次元客体の深さ映像基盤表現モデリング及びレンダリング装置。
映像情報及びカメラパラメータで表現される三次元客体をモデリング及び／またはレンダリングする深さ映像基盤表現方法において、
リアルタイムで変更されるカメラパラメータ値を使用して三次元客体をモデリング及び／またはレンダリングすることを特徴とする方法。