JP2003323631A - ３ｄシーンのモデリング方法 - Google Patents
３ｄシーンのモデリング方法Info
- Publication number
- JP2003323631A JP2003323631A JP2003080969A JP2003080969A JP2003323631A JP 2003323631 A JP2003323631 A JP 2003323631A JP 2003080969 A JP2003080969 A JP 2003080969A JP 2003080969 A JP2003080969 A JP 2003080969A JP 2003323631 A JP2003323631 A JP 2003323631A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- point
- model
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】
【課題】 １つの閾値のみを使用する従来のモデリング
方法の不利点を解決する方法を提供する。 【解決手段】 本発明の方法は、モデルを有効にするた
めに、モデル（２）に固有の近似によって生成される、
２Ｄ合成画像（４）上の最大許容歪み（５）を前もって
決定する段階と、基準画像（７）の点Ｉに対し、且つ、
点Ｉに対応する、シーンの３Ｄ点を表す合成画像のセッ
トに基いて、最大許容歪みに対応する、点Ｉの奥行きｚ
ｉの最小奥行き値（ｚｉ−Δｚｉ １）及び最大奥行き値
（ｚｉ＋Δ ｚｉ ２）を計算する段階と、合成画像のセッ
トに対し計算された値から、誤差Δ ｚｉ ２の最小値、及
び、誤差Δｚｉ １の最小値に依存する、点Ｉの奥行きｚ
ｉの範囲を計算する段階とを含むことを特徴とする。本
発明は特に、画像の合成又はデータの圧縮のためのモデ
ルの構成に適用される。
方法の不利点を解決する方法を提供する。 【解決手段】 本発明の方法は、モデルを有効にするた
めに、モデル（２）に固有の近似によって生成される、
２Ｄ合成画像（４）上の最大許容歪み（５）を前もって
決定する段階と、基準画像（７）の点Ｉに対し、且つ、
点Ｉに対応する、シーンの３Ｄ点を表す合成画像のセッ
トに基いて、最大許容歪みに対応する、点Ｉの奥行きｚ
ｉの最小奥行き値（ｚｉ−Δｚｉ １）及び最大奥行き値
（ｚｉ＋Δ ｚｉ ２）を計算する段階と、合成画像のセッ
トに対し計算された値から、誤差Δ ｚｉ ２の最小値、及
び、誤差Δｚｉ １の最小値に依存する、点Ｉの奥行きｚ
ｉの範囲を計算する段階とを含むことを特徴とする。本
発明は特に、画像の合成又はデータの圧縮のためのモデ
ルの構成に適用される。
Description
【０００１】
【発明の属する技術分野】本発明は、３Ｄシーンモデリ
ング処理方法に係り、特に、合成画像における歪みの制
御を可能にする、平面を有する（plane faceted）３Ｄ
モデルによって３Ｄ物体をモデリングする又は近似する
方法に係る。
ング処理方法に係り、特に、合成画像における歪みの制
御を可能にする、平面を有する（plane faceted）３Ｄ
モデルによって３Ｄ物体をモデリングする又は近似する
方法に係る。
【０００２】
【従来の技術】本発明は、奥行き画像を有する基準画像
に基いた、シーンの３Ｄモデルの構成を必要とする。
に基いた、シーンの３Ｄモデルの構成を必要とする。
【０００３】図１は、３Ｄ空間１における物体のサーフ
ェイスを表す。ファセット化（facetization）及び三角
測量によってこの物体を近似することによって、サーフ
ェイス２を有するモデルがもたらされる。合成画像は、
モデルを、視点６から平面４上に投影することにより得
られる。物体のサーフェイスからモデルのサーフェイス
への近似に起因する誤差３は、２Ｄの歪み５として合成
画像に現れる。図１は、平面による３Ｄ物体のサーフェ
イスの近似に起因する誤差は、合成画像においてその輪
郭の位置の誤差として現れることを示す。より一般的に
は、合成画像における物体の形状及びテクスチャの歪み
として現れ得る。
ェイスを表す。ファセット化（facetization）及び三角
測量によってこの物体を近似することによって、サーフ
ェイス２を有するモデルがもたらされる。合成画像は、
モデルを、視点６から平面４上に投影することにより得
られる。物体のサーフェイスからモデルのサーフェイス
への近似に起因する誤差３は、２Ｄの歪み５として合成
画像に現れる。図１は、平面による３Ｄ物体のサーフェ
イスの近似に起因する誤差は、合成画像においてその輪
郭の位置の誤差として現れることを示す。より一般的に
は、合成画像における物体の形状及びテクスチャの歪み
として現れ得る。
【０００４】従来のタイプの３Ｄモデルは、３Ｄのファ
セット（facet）による再現である。奥行き画像のファ
セット化に対し、既知の方法がある。１つのスキーム
は、奥行き画像の最初の三角測量に基いた反復方法を必
要とする。この方法は、例えば、非特許文献１に記載さ
れる。
セット（facet）による再現である。奥行き画像のファ
セット化に対し、既知の方法がある。１つのスキーム
は、奥行き画像の最初の三角測量に基いた反復方法を必
要とする。この方法は、例えば、非特許文献１に記載さ
れる。
【０００５】図２は、このような種類の「粗いから細か
い」タイプのインクリメンタルなファセット化を示す。
より正確には、図２（ａ）乃至２（ｄ）は、連続する反
復に対応する。図２（ａ）は第１の反復であり、矩形画
像から２つの三角形を作成する。尚、ファセット化は、
最初のモデルを構成するために前もって多角形及び三角
形に分割された画像の１つの領域に限定することが可能
である。
い」タイプのインクリメンタルなファセット化を示す。
より正確には、図２（ａ）乃至２（ｄ）は、連続する反
復に対応する。図２（ａ）は第１の反復であり、矩形画
像から２つの三角形を作成する。尚、ファセット化は、
最初のモデルを構成するために前もって多角形及び三角
形に分割された画像の１つの領域に限定することが可能
である。
【０００６】各反復において、近似誤差画像が計算され
る。画像の全ての点で計算されるこの誤差は、画素の奥
行き値と、ファセット化による画素の近似値との差に対
応する。この誤差画像に基いて、最も劣悪に近似される
点が検出される。最も劣悪に近似される点とは、絶対値
で最大誤差を有する点である。この誤差は閾値と比較さ
れる。誤差が閾値以下の場合、ファセット化スキームは
終了する。誤差が閾値以上の場合、その対応する点は、
新しいファセットの頂点として導入され、その点が属す
るファセットは、次の反復のために、図２（ｂ）に示す
ように３つの新しいファセットに分解されるか、又は、
その点が稜線に位置する場合は、図２（ｃ）に示すよう
に、４つの新しいファセットに分解される。
る。画像の全ての点で計算されるこの誤差は、画素の奥
行き値と、ファセット化による画素の近似値との差に対
応する。この誤差画像に基いて、最も劣悪に近似される
点が検出される。最も劣悪に近似される点とは、絶対値
で最大誤差を有する点である。この誤差は閾値と比較さ
れる。誤差が閾値以下の場合、ファセット化スキームは
終了する。誤差が閾値以上の場合、その対応する点は、
新しいファセットの頂点として導入され、その点が属す
るファセットは、次の反復のために、図２（ｂ）に示す
ように３つの新しいファセットに分解されるか、又は、
その点が稜線に位置する場合は、図２（ｃ）に示すよう
に、４つの新しいファセットに分解される。
【０００７】最も劣悪に近似される点を用いるファセッ
ト化の既知の方法では、画像の全ての点に対し１つの閾
値が使用される。その結果、得られる品質は均一ではな
い。更に、モデリング費用、モデルを画成するのに必要
とする情報、又は、再現費用は、最低限必要な品質に対
し、少なくない。
ト化の既知の方法では、画像の全ての点に対し１つの閾
値が使用される。その結果、得られる品質は均一ではな
い。更に、モデリング費用、モデルを画成するのに必要
とする情報、又は、再現費用は、最低限必要な品質に対
し、少なくない。
【０００８】
【非特許文献１】シン・チェン、フランシス・シュミッ
ト、「制限されたサーフェイス三角測量による適応間隔
データ近似」、ＩＦＩＰ、“コンピュータグラフィック
スにおけるモデリング」の運営会議、イタリア、ジェノ
バ、１９９３年７月、ｐ．９５−１１３（Xin CHEN, Fr
ancis SCHMITT, “Adaptive interval data approximat
ion by constrained surface triangulation”, IFIP,
Working conferenceon “Modelling in Computer Graph
ics”, Genova, Italy, July 1993, p. 95-113）
ト、「制限されたサーフェイス三角測量による適応間隔
データ近似」、ＩＦＩＰ、“コンピュータグラフィック
スにおけるモデリング」の運営会議、イタリア、ジェノ
バ、１９９３年７月、ｐ．９５−１１３（Xin CHEN, Fr
ancis SCHMITT, “Adaptive interval data approximat
ion by constrained surface triangulation”, IFIP,
Working conferenceon “Modelling in Computer Graph
ics”, Genova, Italy, July 1993, p. 95-113）
【発明が解決しようとする課題】本発明は上述した欠点
を解決することを目的とする。
を解決することを目的とする。
【０００９】
【課題を解決するための手段】本発明の主題は、モデル
を記述する近似奥行き画像を計算することにより、視点
に関連付けられる基準画像とオリジナルの奥行き画像に
基いて画成される３Ｄシーンをモデリングする方法であ
る。この方法は、以下の段階を含むことを特徴とする。
−モデルに固有の近似によって生成される、２Ｄ合成画
像上の最大許容歪みを前もって決定する段階と、−基準
画像の点Ｉに対し、且つ、点Ｉに対応する、３Ｄシーン
の３Ｄ点を表す合成画像のセットに基いて、最大許容歪
みに対応する、点Ｉの奥行きｚｉの最小奥行き値（ｚｉ
−Δｚｉ １）及び最大奥行き値（ｚｉ＋Δｚｉ ２）を計
算する段階と、−合成画像のセットに対し計算された値
から、誤差Δｚｉ ２の最小値、及び、誤差Δｚｉ １の最
小値に依存する、点Ｉの奥行きｚｉの範囲を計算する段
階と、−基準画像の点Ｉに関連する、対応するモデルの
３Ｄ点の近似奥行きｚａｐｐの関数として、反復によっ
て計算される近似奥行き画像が、点Ｉに対し計算された
範囲に属するか否かに依存して、近似奥行き画像を有効
にする段階。
を記述する近似奥行き画像を計算することにより、視点
に関連付けられる基準画像とオリジナルの奥行き画像に
基いて画成される３Ｄシーンをモデリングする方法であ
る。この方法は、以下の段階を含むことを特徴とする。
−モデルに固有の近似によって生成される、２Ｄ合成画
像上の最大許容歪みを前もって決定する段階と、−基準
画像の点Ｉに対し、且つ、点Ｉに対応する、３Ｄシーン
の３Ｄ点を表す合成画像のセットに基いて、最大許容歪
みに対応する、点Ｉの奥行きｚｉの最小奥行き値（ｚｉ
−Δｚｉ １）及び最大奥行き値（ｚｉ＋Δｚｉ ２）を計
算する段階と、−合成画像のセットに対し計算された値
から、誤差Δｚｉ ２の最小値、及び、誤差Δｚｉ １の最
小値に依存する、点Ｉの奥行きｚｉの範囲を計算する段
階と、−基準画像の点Ｉに関連する、対応するモデルの
３Ｄ点の近似奥行きｚａｐｐの関数として、反復によっ
て計算される近似奥行き画像が、点Ｉに対し計算された
範囲に属するか否かに依存して、近似奥行き画像を有効
にする段階。
【００１０】特定の実施例では、本発明の方法は、合成
画像に対する、点Ｉの奥行きの最小値及び最大値の計算
は、合成画像における点Ｉに対応するエピポーラライン
を用いることによって行われ、最小値及び最大値は、最
大許容歪みに対応する距離に関連することを特徴とす
る。
画像に対する、点Ｉの奥行きの最小値及び最大値の計算
は、合成画像における点Ｉに対応するエピポーラライン
を用いることによって行われ、最小値及び最大値は、最
大許容歪みに対応する距離に関連することを特徴とす
る。
【００１１】特定の実施例では、モデルはエレメンタリ
領域のセットによって画成され、有効化段階において、
その奥行きが使用される３Ｄ点は、モデルのエレメンタ
リ領域の点であることを特徴とする。
領域のセットによって画成され、有効化段階において、
その奥行きが使用される３Ｄ点は、モデルのエレメンタ
リ領域の点であることを特徴とする。
【００１２】特定の実施例では、エレメンタリ領域はフ
ァセットであり、反復による計算は、上記奥行き画像の
ファセット化であり、反復は、方法が、「粗いから細か
い」タイプ、又は、「細かいから粗い」タイプであるか
に依存して、モデルの新しい３Ｄファセット頂点の作
成、又は、モデルの３Ｄファセット頂点の削除を含むこ
とを特徴とする。
ァセットであり、反復による計算は、上記奥行き画像の
ファセット化であり、反復は、方法が、「粗いから細か
い」タイプ、又は、「細かいから粗い」タイプであるか
に依存して、モデルの新しい３Ｄファセット頂点の作
成、又は、モデルの３Ｄファセット頂点の削除を含むこ
とを特徴とする。
【００１３】特定の特徴では、「粗いから細かい」タイ
プの方法では、反復は、１つのファセットに関連し、範
囲から外れる複数の近似値のうち、最も劣悪に近似され
る値の計算を含み、新しい３Ｄファセット頂点は、最も
劣悪に近似される値に対応する点に関することを特徴と
する。
プの方法では、反復は、１つのファセットに関連し、範
囲から外れる複数の近似値のうち、最も劣悪に近似され
る値の計算を含み、新しい３Ｄファセット頂点は、最も
劣悪に近似される値に対応する点に関することを特徴と
する。
【００１４】特定の特徴では、誤差の計算が行われる合
成画像のセットは、基準画像を使用する視点のセットの
代表サンプルに対応する。
成画像のセットは、基準画像を使用する視点のセットの
代表サンプルに対応する。
【００１５】別の特定の特徴は、誤差の計算が行われる
合成画像のセットは、基準画像と共通の３Ｄ点の閾値よ
り大きい数を有する画像から構成されることである。
合成画像のセットは、基準画像と共通の３Ｄ点の閾値よ
り大きい数を有する画像から構成されることである。
【００１６】特定の実施例では、最大許容歪みは、画像
の特徴、例えば、輝度勾配の関数として前もって決定さ
れる。
の特徴、例えば、輝度勾配の関数として前もって決定さ
れる。
【００１７】本発明は更に、画像を生成する方法に係
り、この応報は、上述した方法によるシーンのモデリン
グに基いて、画像が生成されることを特徴とする。
り、この応報は、上述した方法によるシーンのモデリン
グに基いて、画像が生成されることを特徴とする。
【００１８】本発明は更に、３Ｄシーンを画成するデー
タを圧縮する方法に係り、これらのデータは、レンディ
ションのための基準画像、及び、関連付けられる奥行き
画像に関連し、この方法は、奥行き画像は、請求項４の
方法によるファセット化によってモデリングされ、基準
画像、及び、奥行き画像に関連するデータは、ファセッ
トを画成するデータに置換されることを特徴とする。
タを圧縮する方法に係り、これらのデータは、レンディ
ションのための基準画像、及び、関連付けられる奥行き
画像に関連し、この方法は、奥行き画像は、請求項４の
方法によるファセット化によってモデリングされ、基準
画像、及び、奥行き画像に関連するデータは、ファセッ
トを画成するデータに置換されることを特徴とする。
【００１９】本発明は更に、３Ｄシーンを画成するデー
タを圧縮する方法に係り、これらのデータは、レンディ
ションのための基準画像、及び、関連付けられる奥行き
画像に関連し、この方法は、請求項３のモデリング方法
によるモデリング段階を含み、モデルのエレメンタリ領
域は、奥行き画像を画像ブロックに分割することによっ
て画成され、近似奥行き画像の、反復による計算は、画
像ブロックの量子化ステップサイズを変更して、近似奥
行きである量子化された奥行きを与えることを含むこと
を特徴とする。
タを圧縮する方法に係り、これらのデータは、レンディ
ションのための基準画像、及び、関連付けられる奥行き
画像に関連し、この方法は、請求項３のモデリング方法
によるモデリング段階を含み、モデルのエレメンタリ領
域は、奥行き画像を画像ブロックに分割することによっ
て画成され、近似奥行き画像の、反復による計算は、画
像ブロックの量子化ステップサイズを変更して、近似奥
行きである量子化された奥行きを与えることを含むこと
を特徴とする。
【００２０】この方法の特定の実施例では、量子化ステ
ップサイズの変更は、１つのブロックに対し同一の量子
化奥行き値が得られるよう行われる。
ップサイズの変更は、１つのブロックに対し同一の量子
化奥行き値が得られるよう行われる。
【００２１】各画素に適応され、補助的な手順によって
計算される可変閾値を使用することにより、得られる画
像画像の画質を制御することが可能となる。
計算される可変閾値を使用することにより、得られる画
像画像の画質を制御することが可能となる。
【００２２】本発明の原理は、モデルから合成される視
点を表すサンプルを用い、サンプルの様々な視点におい
て生じた歪みを制御しながらモデルの構成を行うことに
ある。より正確には、画像における歪みの最大固定値
が、全ての点において、３Ｄ物体の、そのモデルによる
近似の誤差について上限を決めることができる。従っ
て、本発明の方法は、レンディションの過程において生
じた歪み誤差を制御することを可能にする。
点を表すサンプルを用い、サンプルの様々な視点におい
て生じた歪みを制御しながらモデルの構成を行うことに
ある。より正確には、画像における歪みの最大固定値
が、全ての点において、３Ｄ物体の、そのモデルによる
近似の誤差について上限を決めることができる。従っ
て、本発明の方法は、レンディションの過程において生
じた歪み誤差を制御することを可能にする。
【００２３】本発明は、ファセット化の結果得られる３
Ｄモデルの使用空間が既知であるとき、つまり、モデル
から生成される視点のセットが既知であるときに、或い
は、これらの視点の代表サンプルが既知であるときに、
可変閾値を正確に画成することを提案する。１つの視点
に対し、ファセット化手順によって作成される奥行き画
像の近似の誤差は、３Ｄモデルに持ち越され、一般的
に、モデルから合成される、他の視点に対する画像に、
２Ｄの幾何歪みとして現れる。
Ｄモデルの使用空間が既知であるとき、つまり、モデル
から生成される視点のセットが既知であるときに、或い
は、これらの視点の代表サンプルが既知であるときに、
可変閾値を正確に画成することを提案する。１つの視点
に対し、ファセット化手順によって作成される奥行き画
像の近似の誤差は、３Ｄモデルに持ち越され、一般的
に、モデルから合成される、他の視点に対する画像に、
２Ｄの幾何歪みとして現れる。
【００２４】本発明は、再構成される画像の画質の損
失、ここでは、２Ｄの幾何歪み、を制御しながら、あま
り高価でない再現を得られるよう、奥行き画像の単純化
を可能にする。モデルの費用は減少される。
失、ここでは、２Ｄの幾何歪み、を制御しながら、あま
り高価でない再現を得られるよう、奥行き画像の単純化
を可能にする。モデルの費用は減少される。
【００２５】
【発明の実施の形態】本発明の他の特徴及び利点は、非
制限的な例により与えられ、添付図面と共に提供される
以下の説明から明らかとなろう。
制限的な例により与えられ、添付図面と共に提供される
以下の説明から明らかとなろう。
【００２６】図３は、３Ｄ物体のサーフェイスの近似の
誤差の結果生じる、合成画像における誤差を示す。この
近似は、基準画像７の奥行き画像のファセット化に対応
する。奥行き近似誤差３は、視点Ｊからの横方向の眺め
に対し、２Ｄの歪み誤差５として現れる。
誤差の結果生じる、合成画像における誤差を示す。この
近似は、基準画像７の奥行き画像のファセット化に対応
する。奥行き近似誤差３は、視点Ｊからの横方向の眺め
に対し、２Ｄの歪み誤差５として現れる。
【００２７】考え方としては、既知の視点Ｊ又は任意に
決められる視点に対し、２Ｄ画像におけるこの歪み誤差
を考慮に入れることである。これらの視点の数量は、代
表サンプルに対応するよう十分でなくてはならない。最
大誤差は、２Ｄ画像のレベルにおいて決められ、これ
は、２Ｄ画像の歪みの最大許容値に対応する。
決められる視点に対し、２Ｄ画像におけるこの歪み誤差
を考慮に入れることである。これらの視点の数量は、代
表サンプルに対応するよう十分でなくてはならない。最
大誤差は、２Ｄ画像のレベルにおいて決められ、これ
は、２Ｄ画像の歪みの最大許容値に対応する。
【００２８】目的としては、歪みを制限しながら基準画
像７の奥行き画像をモデリングすることであり、この歪
みは、このモデリングが、視点Ｊに対する画像に生じさ
せるものである。このためには、基準画像７の全ての点
において、近似誤差を制限する最小値及び最大値を計算
し、それにより、画像Ｊに必要とされる画質を保証す
る。基準画像７の各点において、Ｎ個の対の最小値及び
最大値が計算される。これは、各点を見るＮ個の画像Ｊ
に対応する。次に、点の最終値の対が、Ｎ個の画像Ｊ全
体のレンディションの質を保証するよう計算される。
像７の奥行き画像をモデリングすることであり、この歪
みは、このモデリングが、視点Ｊに対する画像に生じさ
せるものである。このためには、基準画像７の全ての点
において、近似誤差を制限する最小値及び最大値を計算
し、それにより、画像Ｊに必要とされる画質を保証す
る。基準画像７の各点において、Ｎ個の対の最小値及び
最大値が計算される。これは、各点を見るＮ個の画像Ｊ
に対応する。次に、点の最終値の対が、Ｎ個の画像Ｊ全
体のレンディションの質を保証するよう計算される。
【００２９】従って、基準画像７について、画像の各画
素に対し、最小奥行きに対応する最小値を有する画像
と、最大奥行きに対応する最大値を有する画像とが作成
される。これらの奥行きを超えると、視点Ｊのセットか
らの少なくとも１つの画像上に、許容値より大きい２Ｄ
の歪みが現れる。これらの閾値、即ち、実際の３Ｄの奥
行きと、最小値及び最大値との逸脱が、新しいファセッ
トの作成の決定に使用される。
素に対し、最小奥行きに対応する最小値を有する画像
と、最大奥行きに対応する最大値を有する画像とが作成
される。これらの奥行きを超えると、視点Ｊのセットか
らの少なくとも１つの画像上に、許容値より大きい２Ｄ
の歪みが現れる。これらの閾値、即ち、実際の３Ｄの奥
行きと、最小値及び最大値との逸脱が、新しいファセッ
トの作成の決定に使用される。
【００３０】基準画像７は、物体を特徴付けることを可
能にするのに十分であるよう数多くなければならない。
例えば、基準画像は、物体の様々な特徴、又は、より一
般的には、どのようなシーンであるのかを決めるため
に、物体の周りに割当てられるべきである。物体又はシ
ーンは、これらの基準視点によってのみ既知となる。
能にするのに十分であるよう数多くなければならない。
例えば、基準画像は、物体の様々な特徴、又は、より一
般的には、どのようなシーンであるのかを決めるため
に、物体の周りに割当てられるべきである。物体又はシ
ーンは、これらの基準視点によってのみ既知となる。
【００３１】図４は、物体１の点Ｏの、視点Ｊに関連す
る選択画像４への投影ＰＪと、視点Ｉに関連する基準画
像７への投影Ｐｉを示す。図４は、基準画像７又は再現
画像の点の、選択画像又はレンダリング画像４上への透
視投影８を示す。これは、再現における点Ｐｉの奥行き
における誤差と、点ＰＩの再構成されるべき画像への投
影の結果として得られる点ＰＪの２Ｄ位置における誤差
とを結びつける関係の計算が関連する。
る選択画像４への投影ＰＪと、視点Ｉに関連する基準画
像７への投影Ｐｉを示す。図４は、基準画像７又は再現
画像の点の、選択画像又はレンダリング画像４上への透
視投影８を示す。これは、再現における点Ｐｉの奥行き
における誤差と、点ＰＩの再構成されるべき画像への投
影の結果として得られる点ＰＪの２Ｄ位置における誤差
とを結びつける関係の計算が関連する。
【００３２】（ｕ，ｖ）は、画像における点の座標であ
り、ｚはこの点に対する奥行き値、従って光学中心（Ｉ
又はＪ）から物体Ｏまでの距離である。指数は、視点Ｉ
又はＪとして見なされる画像に対応する。従って、画像
は画像Ｉ又は画像Ｊと称する。
り、ｚはこの点に対する奥行き値、従って光学中心（Ｉ
又はＪ）から物体Ｏまでの距離である。指数は、視点Ｉ
又はＪとして見なされる画像に対応する。従って、画像
は画像Ｉ又は画像Ｊと称する。
【００３３】点ＰＪの座標（ｕｊ，ｖｊ，ｚｊ）は、画
素Ｐｉ（ｕｉ，ｖｉ，ｚｉ）の画像Ｊへの透視投影によ
り得られる。
素Ｐｉ（ｕｉ，ｖｉ，ｚｉ）の画像Ｊへの透視投影によ
り得られる。
【００３４】式は以下の形式で書き表すことができる。
【数１】
係数ａ及びｔは、２つの視点についての基準フレーム、
回転、平行移動、及び、カメラ固有のパラメータの変更
に関する数学演算に対応する。
回転、平行移動、及び、カメラ固有のパラメータの変更
に関する数学演算に対応する。
【００３５】図５は、画像Ｉの点Ｐｉの投影により生じ
る、画像Ｊにおける点ＰＪを示す。この点は一般的に、
ターゲット画像Ｊの画素に対応しない。
る、画像Ｊにおける点ＰＪを示す。この点は一般的に、
ターゲット画像Ｊの画素に対応しない。
【００３６】実際の物体のモデルへの近似により、つま
り、基準画像における、（ｚｉ＋Δ ｚｉ）による奥行き
ｚｉの近似により、投影点の位置に誤差が現れる。座標
（ｕ ｊ，ｖｊ）を有するＰＪは、実際の物体に基いた透
視投影であり、座標（ｕｊ＋εｕ，ｖｊ＋εｖ）を有す
るＰ´Ｊはモデルに基いた透視投影である。ｚｊは、点
ＰＪの奥行きに対応し、ｚＪ＋εｚは、点Ｐ´Ｊの奥行
きに対応する。
り、基準画像における、（ｚｉ＋Δ ｚｉ）による奥行き
ｚｉの近似により、投影点の位置に誤差が現れる。座標
（ｕ ｊ，ｖｊ）を有するＰＪは、実際の物体に基いた透
視投影であり、座標（ｕｊ＋εｕ，ｖｊ＋εｖ）を有す
るＰ´Ｊはモデルに基いた透視投影である。ｚｊは、点
ＰＪの奥行きに対応し、ｚＪ＋εｚは、点Ｐ´Ｊの奥行
きに対応する。
【００３７】（ｚｉ＋Δｚｉ）によるｚｉの近似と、レ
ンダリング画像におけるサーフェイスの歪みに対応する
投影された点（ｕｊ＋εｕ，ｖｊ＋εｖ）の位置におけ
る誤差との関係は、以下の式により与えられる。
ンダリング画像におけるサーフェイスの歪みに対応する
投影された点（ｕｊ＋εｕ，ｖｊ＋εｖ）の位置におけ
る誤差との関係は、以下の式により与えられる。
【数２】
歪みが、観察者にとって支障でない限り、許容可能であ
ると考えると、値εｕ及びεｖにおいて、歪みが許容可
能である間隔を決めることができる。これは、言い換え
ると、奥行きｚｉにおける許容可能な下限（ｚｉ−Δ１
ｚｉ）及び上限（ｚｉ＋Δ２ ｚｉ）を見つけることが可
能となる。これらの値は、上述の式から容易に推論する
ことができる。
ると考えると、値εｕ及びεｖにおいて、歪みが許容可
能である間隔を決めることができる。これは、言い換え
ると、奥行きｚｉにおける許容可能な下限（ｚｉ−Δ１
ｚｉ）及び上限（ｚｉ＋Δ２ ｚｉ）を見つけることが可
能となる。これらの値は、上述の式から容易に推論する
ことができる。
【００３８】空間における点、第１の画像への３Ｄ投影
は、エピポーララインと称する第１の画像の直線上にあ
り、第１の画像は、第２の画像への投影点と全く同一の
投影点を有することは既知である。このライン上の投影
点の位置は、視点から第２の画像までの奥行き、つま
り、値ｚｉに依存する。このラインは、図６に破線で示
す。
は、エピポーララインと称する第１の画像の直線上にあ
り、第１の画像は、第２の画像への投影点と全く同一の
投影点を有することは既知である。このライン上の投影
点の位置は、視点から第２の画像までの奥行き、つま
り、値ｚｉに依存する。このラインは、図６に破線で示
す。
【００３９】投影点の許容される位置誤差は、例えば、
図６において記号［ ］により表すことができ、ここ
で、投影点についての最大距離が画成される。例えば、
半画素以下の歪みがある場合、これらの位置は、画素間
の距離の半分に等しいεｕ及びεｖの最大値、及び、対
応する負の値に対応する。これらの２つの制限値は、エ
ピポーラライン上の２点を画成し、その２点から、ｚ
ｍｉｎ（ｉ，ｊ）＝（ｚｉ−Δ１ ｚｉ）と、ｚ
ｍａｘ（ｉ，ｊ）＝（ｚｉ+Δ２ ｚｉ）の値を計算でき
る。
図６において記号［ ］により表すことができ、ここ
で、投影点についての最大距離が画成される。例えば、
半画素以下の歪みがある場合、これらの位置は、画素間
の距離の半分に等しいεｕ及びεｖの最大値、及び、対
応する負の値に対応する。これらの２つの制限値は、エ
ピポーラライン上の２点を画成し、その２点から、ｚ
ｍｉｎ（ｉ，ｊ）＝（ｚｉ−Δ１ ｚｉ）と、ｚ
ｍａｘ（ｉ，ｊ）＝（ｚｉ+Δ２ ｚｉ）の値を計算でき
る。
【００４０】従って、再現における各点Ｐｉは、画像Ｊ
に投影される。画像Ｊの再構成に各点Ｐｉは参加する。
基準画像の点Ｐｉは、各画像Ｊにおいて、対（ｚｍｉｎ
（ｉ，ｊ），ｚｍａｘ（ｉ，ｊ））に関連付けられる点
Ｐｊに対応する。値ｚｍｉｎ（ｉ，ｊ）と値ｚ
ｍａｘ（ｉ，ｊ）が、各画像Ｊに対し計算される。
に投影される。画像Ｊの再構成に各点Ｐｉは参加する。
基準画像の点Ｐｉは、各画像Ｊにおいて、対（ｚｍｉｎ
（ｉ，ｊ），ｚｍａｘ（ｉ，ｊ））に関連付けられる点
Ｐｊに対応する。値ｚｍｉｎ（ｉ，ｊ）と値ｚ
ｍａｘ（ｉ，ｊ）が、各画像Ｊに対し計算される。
【００４１】これらの値のうち、複数の値ｚ
ｍｉｎ（ｉ，ｊ）から最大値ｚＭ（ｉ）が、複数の値ｚ
ｍａｘ（ｉ，ｊ）から最小値ｚｍ（ｉ）が選択される。
点Ｐｉに対するｚｉ＋ΔＺｉの値が、この範囲［ｚ
ｍ（ｉ），ｚＭ（ｉ）］内にある場合、画像Ｊが何であ
ろうと、そこから、画像Ｊセット全体の、点Ｉを表す画
素に関連する歪みは、所定の制限より少ないことを推論
することができ、それにより、全ての再構成画像の画質
制御が保証される。
ｍｉｎ（ｉ，ｊ）から最大値ｚＭ（ｉ）が、複数の値ｚ
ｍａｘ（ｉ，ｊ）から最小値ｚｍ（ｉ）が選択される。
点Ｐｉに対するｚｉ＋ΔＺｉの値が、この範囲［ｚ
ｍ（ｉ），ｚＭ（ｉ）］内にある場合、画像Ｊが何であ
ろうと、そこから、画像Ｊセット全体の、点Ｉを表す画
素に関連する歪みは、所定の制限より少ないことを推論
することができ、それにより、全ての再構成画像の画質
制御が保証される。
【００４２】ファセット化手順において、適応閾値が以
下のように用いられる：各画素の近似奥行き値ｚａｐｐ
（ｉ）は、間隔［ｚｍ（ｉ），ｚＭ（ｉ）］への従属性
に関して試験される。全ての画素において、近似奥行き
値ｚａｐｐ（ｉ）がこの間隔に属する場合、この奥行き
画像は、「よい近似」として見なされ、ファセット化ス
キームは停止される。一方で、近似奥行き値ｚ
ａｐｐ（ｉ）が、この間隔から外れる画素が存在する場
合、最も劣悪に近似される点Ｐｉが選択され、ファセッ
ト頂点として導入され、そして、反復スキームが続行さ
れる。
下のように用いられる：各画素の近似奥行き値ｚａｐｐ
（ｉ）は、間隔［ｚｍ（ｉ），ｚＭ（ｉ）］への従属性
に関して試験される。全ての画素において、近似奥行き
値ｚａｐｐ（ｉ）がこの間隔に属する場合、この奥行き
画像は、「よい近似」として見なされ、ファセット化ス
キームは停止される。一方で、近似奥行き値ｚ
ａｐｐ（ｉ）が、この間隔から外れる画素が存在する場
合、最も劣悪に近似される点Ｐｉが選択され、ファセッ
ト頂点として導入され、そして、反復スキームが続行さ
れる。
【００４３】図７ａ及び図７ｂは、曲線を、直線セグメ
ントで近似する原理を説明するが、第１の場合では固定
閾値を用い、第２の場合では適応閾値を用いる。近似さ
れるべき曲線には参照符号９が付けられ、間隔、即ち、
閾値には参照符号１０が付けられ、近似により得られる
曲線には、参照符号１１が付けられる。
ントで近似する原理を説明するが、第１の場合では固定
閾値を用い、第２の場合では適応閾値を用いる。近似さ
れるべき曲線には参照符号９が付けられ、間隔、即ち、
閾値には参照符号１０が付けられ、近似により得られる
曲線には、参照符号１１が付けられる。
【００４４】ファセットによりサーフェイスを近似する
場合は、この実例から容易に推定することができる。シ
ーンに対応するオリジナルの奥行き画像と、モデルに対
応する近似奥行き画像は、それぞれ、近似されるべき曲
線９と直線セグメント１１と比較される。奥行き画像の
画素に割当てられる範囲は可変閾値１０に対応する。
場合は、この実例から容易に推定することができる。シ
ーンに対応するオリジナルの奥行き画像と、モデルに対
応する近似奥行き画像は、それぞれ、近似されるべき曲
線９と直線セグメント１１と比較される。奥行き画像の
画素に割当てられる範囲は可変閾値１０に対応する。
【００４５】シーンを画成する３Ｄモデルは、例えば、
ファセットであるエレメンタリ領域に基いて記述され
る。最初の奥行き画像は、図２で説明したように反復に
よりファセット化され、近似奥行き画像、即ち、合成奥
行き画像が得られる。
ファセットであるエレメンタリ領域に基いて記述され
る。最初の奥行き画像は、図２で説明したように反復に
よりファセット化され、近似奥行き画像、即ち、合成奥
行き画像が得られる。
【００４６】反復は、例えば、以下の通りに行われる。
【００４７】近似奥行き画像に基いて、３Ｄシーンのエ
レメンタリ領域、即ち、ファセットに関するこの奥行き
画像の各領域に対し、各画素の近似値が、各画素に割当
てられる範囲と比較される。例えば、複数のファセット
の頂点の奥行きからの補間により、周知の方法で計算さ
れる、近似奥行き画像の画素に割当てられる奥行きは、
シーンを記述するするオリジナルの奥行き画像の対応す
る画素の奥行きと比較される。画素の近似値が、割当て
られている範囲から外れる場合、その画素に対応する近
似誤差が計算される。次に、その近似値が範囲から外れ
る画素のうち、その誤差が最大であるものが選択され
る。そして、このエレメンタリ領域に対し、新しいファ
セット化が決められる。この処理は、このように、奥行
き画像の領域セットに対し続けられる。奥行き画像に行
われる反復は、近似奥行き画像において、全ての点が、
それらの点に割当てられる範囲内にある近似奥行きを有
すると、停止する。
レメンタリ領域、即ち、ファセットに関するこの奥行き
画像の各領域に対し、各画素の近似値が、各画素に割当
てられる範囲と比較される。例えば、複数のファセット
の頂点の奥行きからの補間により、周知の方法で計算さ
れる、近似奥行き画像の画素に割当てられる奥行きは、
シーンを記述するするオリジナルの奥行き画像の対応す
る画素の奥行きと比較される。画素の近似値が、割当て
られている範囲から外れる場合、その画素に対応する近
似誤差が計算される。次に、その近似値が範囲から外れ
る画素のうち、その誤差が最大であるものが選択され
る。そして、このエレメンタリ領域に対し、新しいファ
セット化が決められる。この処理は、このように、奥行
き画像の領域セットに対し続けられる。奥行き画像に行
われる反復は、近似奥行き画像において、全ての点が、
それらの点に割当てられる範囲内にある近似奥行きを有
すると、停止する。
【００４８】適応閾値の利点は、特に、特定のカメラ動
作構成において現れる。例えば、カメラ動作がフロンタ
ルタイプの場合、カメラが向けられるゾーンのレリーフ
は、粗く近似することができる。同様に、カメラ動作が
回転の場合、奥行き情報は有用でなくなるので、間隔は
無限であり、そして、ファセットによる表示は最小で済
む。
作構成において現れる。例えば、カメラ動作がフロンタ
ルタイプの場合、カメラが向けられるゾーンのレリーフ
は、粗く近似することができる。同様に、カメラ動作が
回転の場合、奥行き情報は有用でなくなるので、間隔は
無限であり、そして、ファセットによる表示は最小で済
む。
【００４９】適応閾値は、全ての投影点に対し固定の許
容最大歪み誤差に基いて、各点において決められる。こ
の歪み自体は、以下の点に応じて多少許容可能となる。
‐レンダリングされた画像における投影点が、２Ｄ物体
の輪郭上であるか、又は、中であるかに応じる。正確な
輪郭を保持することも重要であるが、内部の歪みは、例
えば、可視ではない。‐再現の画像上の点が、物体の幾
何学タイプに関しての特徴、例えば、正確に維持される
ことが望まれる線形に突出したエッジ、テクスチャライ
ズされたエッジ、又は、欠陥がほとんど見えない均等な
テクスチャの領域に位置しているかに応じる。
容最大歪み誤差に基いて、各点において決められる。こ
の歪み自体は、以下の点に応じて多少許容可能となる。
‐レンダリングされた画像における投影点が、２Ｄ物体
の輪郭上であるか、又は、中であるかに応じる。正確な
輪郭を保持することも重要であるが、内部の歪みは、例
えば、可視ではない。‐再現の画像上の点が、物体の幾
何学タイプに関しての特徴、例えば、正確に維持される
ことが望まれる線形に突出したエッジ、テクスチャライ
ズされたエッジ、又は、欠陥がほとんど見えない均等な
テクスチャの領域に位置しているかに応じる。
【００５０】従って、許容された歪み自体は、そのよう
なファクタの関数として変化し得る。従って、ファセッ
ト化閾値は、例えば、各点について、対応する投影点に
最も近い画素に割当てられる最大歪み値を考慮に入れる
ことによって計算される。
なファクタの関数として変化し得る。従って、ファセッ
ト化閾値は、例えば、各点について、対応する投影点に
最も近い画素に割当てられる最大歪み値を考慮に入れる
ことによって計算される。
【００５１】この最大歪み値は、例えば、輝度勾配であ
る画像を決めるパラメータの関数として自動的に計算す
ることができる。
る画像を決めるパラメータの関数として自動的に計算す
ることができる。
【００５２】上述した、閾値を計算する方法は、１つ以
上の奥行き画像のモデリングのコンテキストにあり、結
果として得られるモデルは、一方で、情報を圧縮するの
に必要とされ、他方で、視点を合成し、そのレンディシ
ョンの質は制御することが望ましい。このコンテキスト
において、奥行き値の近似を含む、他のモードのモデリ
ングも、レンディションの質を制御するために適応閾値
に基いてもよい。ファセット化は、奥行き画像に関する
データを圧縮する手段である。従って、３Ｄシーンは、
各画素に割当てられる奥行き値に基づくのではなく、フ
ァセットを決めるデータに基いて決められる。空間的な
相関関係を利用する別の手段は、従来の方法で、画像の
画像ブロックへの分割、及び、画像ブロックの量子化後
に離散コサイン変換を行う。例えば、画像ブロックの全
ての点において、この近似が計算された下限及び上限に
適合する場合、その画像ブロックの全ての点を同一の奥
行き値に設定することにより、変換前に画像ブロックの
コンテンツを単純化することができる。
上の奥行き画像のモデリングのコンテキストにあり、結
果として得られるモデルは、一方で、情報を圧縮するの
に必要とされ、他方で、視点を合成し、そのレンディシ
ョンの質は制御することが望ましい。このコンテキスト
において、奥行き値の近似を含む、他のモードのモデリ
ングも、レンディションの質を制御するために適応閾値
に基いてもよい。ファセット化は、奥行き画像に関する
データを圧縮する手段である。従って、３Ｄシーンは、
各画素に割当てられる奥行き値に基づくのではなく、フ
ァセットを決めるデータに基いて決められる。空間的な
相関関係を利用する別の手段は、従来の方法で、画像の
画像ブロックへの分割、及び、画像ブロックの量子化後
に離散コサイン変換を行う。例えば、画像ブロックの全
ての点において、この近似が計算された下限及び上限に
適合する場合、その画像ブロックの全ての点を同一の奥
行き値に設定することにより、変換前に画像ブロックの
コンテンツを単純化することができる。
【００５３】オリジナルの奥行き画像は、画像ブロック
に分割される。物体に投影される各ブロックは、エレメ
ンタリ領域を表す。モデルを画成するための奥行き画像
の近似は、ここでは、画像ブロックを構成する奥行き値
を量子化することにより行われる。量子化ステップサイ
ズは、例えば、反復の間に増加するよう選択され、量子
化された画像ブロックとオリジナル画像ブロックとの誤
差は、モデルへの近似を表す。奥行きが、画像ブロック
内における最大誤差に対応する、画素に関連する範囲
は、近似誤差と比較されて、次の反復が決められる。
に分割される。物体に投影される各ブロックは、エレメ
ンタリ領域を表す。モデルを画成するための奥行き画像
の近似は、ここでは、画像ブロックを構成する奥行き値
を量子化することにより行われる。量子化ステップサイ
ズは、例えば、反復の間に増加するよう選択され、量子
化された画像ブロックとオリジナル画像ブロックとの誤
差は、モデルへの近似を表す。奥行きが、画像ブロック
内における最大誤差に対応する、画素に関連する範囲
は、近似誤差と比較されて、次の反復が決められる。
【００５４】図３を共に参照するに、図８は、それぞれ
単一の物体及び１つのファセット化されたモデルに必ず
しも制限されない、シーン及び関連付けられるモデルを
概括したものである。
単一の物体及び１つのファセット化されたモデルに必ず
しも制限されない、シーン及び関連付けられるモデルを
概括したものである。
【００５５】本出願人が所有する「Process for constr
ucting a 3D scene model by analysis of image seque
nces」なる名称の仏国特許第２７９８７６１号は、モデ
ル構成のために選択された画素であり、一連の画像の画
像のマスクと奥行き画像に基いた３Ｄシーンの記述を説
明する。上述したファセット化をモデルの構成に適用す
ることが可能である。一連の画像に基いて構成され、２
Ｄ領域、奥行き画像、及び視点の位置を記述する２値マ
スクである３Ｄの再現は、基準画像に相当する。レンデ
ィションにおいて全く同一の領域を必要とする視点のリ
スト、つまり、全く同一の３Ｄ点と共通の画素を有する
画像に対応する視点のリスト、又は、リストが大きい場
合には、そのリストの当該のサブセットが、適応閾値の
計算に用いられる。
ucting a 3D scene model by analysis of image seque
nces」なる名称の仏国特許第２７９８７６１号は、モデ
ル構成のために選択された画素であり、一連の画像の画
像のマスクと奥行き画像に基いた３Ｄシーンの記述を説
明する。上述したファセット化をモデルの構成に適用す
ることが可能である。一連の画像に基いて構成され、２
Ｄ領域、奥行き画像、及び視点の位置を記述する２値マ
スクである３Ｄの再現は、基準画像に相当する。レンデ
ィションにおいて全く同一の領域を必要とする視点のリ
スト、つまり、全く同一の３Ｄ点と共通の画素を有する
画像に対応する視点のリスト、又は、リストが大きい場
合には、そのリストの当該のサブセットが、適応閾値の
計算に用いられる。
【００５６】本発明は、「粗いから細かい」又は「細か
いから粗い」タイプのモデルの構成に、同等に関連す
る。
いから粗い」タイプのモデルの構成に、同等に関連す
る。
【００５７】「粗いから細かい」タイプのモデルのイン
クリメンタルな構成は、最初の粗いモデルに基いて、モ
デリングされるべき物体の新しい３Ｄ点を各反復におい
て導入することによりそのモデルの構成を高めることに
ある。この手順の間、各反復にて、画像における最大歪
みを計算することにより、基準セットの各視点について
モデルの有効性を試験することができ、また、最大歪み
が閾値より大きい場合に、新しい３Ｄ点を導入すること
ができる。従って、この手順は、全ての基準視点が、全
ての点において、固定の閾値より少ない歪みを有する
と、停止される。視点の画像における歪みが、全ての点
において、閾値より小さくなると、その視点がもはや考
慮に入れられなくてよいようにすることが可能である。
クリメンタルな構成は、最初の粗いモデルに基いて、モ
デリングされるべき物体の新しい３Ｄ点を各反復におい
て導入することによりそのモデルの構成を高めることに
ある。この手順の間、各反復にて、画像における最大歪
みを計算することにより、基準セットの各視点について
モデルの有効性を試験することができ、また、最大歪み
が閾値より大きい場合に、新しい３Ｄ点を導入すること
ができる。従って、この手順は、全ての基準視点が、全
ての点において、固定の閾値より少ない歪みを有する
と、停止される。視点の画像における歪みが、全ての点
において、閾値より小さくなると、その視点がもはや考
慮に入れられなくてよいようにすることが可能である。
【００５８】「細かいから粗い」タイプのモデルのイン
クリメンタルな構成は、最大分解能を有するモデルに基
いて、モデルの質が許容可能である限り、点を取り除く
ことにある。このコンテキストにおいても、各反復にお
いて、所与の視点のそれぞれについて、モデルの有効性
を試験し、そして、各画像において視点からもたらされ
る歪みが閾値より小さい場合、その点を削除することが
可能である。従って、この手順は、点を削除することに
よって、少なくともＮ個の視点において固定の閾値より
大きい歪みがもたらすようになる停止される。
クリメンタルな構成は、最大分解能を有するモデルに基
いて、モデルの質が許容可能である限り、点を取り除く
ことにある。このコンテキストにおいても、各反復にお
いて、所与の視点のそれぞれについて、モデルの有効性
を試験し、そして、各画像において視点からもたらされ
る歪みが閾値より小さい場合、その点を削除することが
可能である。従って、この手順は、点を削除することに
よって、少なくともＮ個の視点において固定の閾値より
大きい歪みがもたらすようになる停止される。
【００５９】本発明は特に、画像の品質又はデータの圧
縮のためのモデルの構成に適用される。
縮のためのモデルの構成に適用される。
【図１】３Ｄ空間におけるシーンとそのモデリングを示
す図である。
す図である。
【図２】「粗いから細かい」タイプのファセット化を示
す図である。
す図である。
【図３】物体のモデリングに起因する、合成画像におけ
る誤差を示す図である。
る誤差を示す図である。
【図４】合成画像における、基準画像の点の透視投影を
示す図である。
示す図である。
【図５】実際のシーンから合成画像上に投影される点
と、モデルから合成画像上に投影される点を示す図であ
る。
と、モデルから合成画像上に投影される点を示す図であ
る。
【図６】投影点に関連するエピポーララインを示す図で
ある。
ある。
【図７ａ】固定閾値に基づく、セグメントによる曲線の
近似を示す図である。
近似を示す図である。
【図７ｂ】可変閾値に基づく、セグメントによる曲線の
近似を示す図である。
近似を示す図である。
【図８】シーンのモデリングに起因する誤差を示す図で
ある。
ある。
１ ３Ｄ空間
２ モデル
３ 近似誤差
４ 平面
５ ２Ｄの歪み
６ 視点
７ 基準画像
８ 透視投影
９ 近似されるべき曲線
１０ 閾値
１１ 近似により得られる曲線
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 フィリップ ロベール
フランス国 35235 トリニュ・フィヤー
ル アレ・デュ・ブワ・ルウェ ７
(72)発明者 ヤニック ニコラ
フランス国 22480 ケルペール ル・ゲ
ルニュ（番地なし)
Ｆターム(参考） 5B080 AA19 DA06 FA08 GA02
5C061 AA21 AB08
Claims (13)
- 【請求項１】 モデルを記述する近似奥行き画像を計算
することにより、視点（Ｉ）に関連付けられる基準画像
（７）、及び、オリジナルの奥行き画像に基いて画成さ
れる３Ｄシーン（１）をモデリングする方法であって、 上記モデル（２）に固有の近似によって生成される、２
Ｄ合成画像（４）上の最大許容歪み（５）を前もって決
定する段階と、 上記基準画像（７）の点Ｉに対し、且つ、上記点Ｉに対
応する、上記３Ｄシーンの３Ｄ点を表す上記合成画像
（４）のセットに基いて、上記最大許容歪みに対応す
る、上記点Ｉの奥行きｚｉの最小奥行き値（ｚｉ−Δ
ｚｉ １）及び最大奥行き値（ｚｉ＋Δｚｉ ２）を計算す
る段階と、 上記合成画像のセットに対し計算された値から、誤差Δ
ｚｉ ２の最小値、及び、誤差Δｚｉ １の最小値に依存す
る、上記点Ｉの奥行きｚｉの範囲を計算する段階と、 上記基準画像の点Ｉに関連する、対応するモデルの３Ｄ
点の近似奥行きｚａｐ ｐの関数として、反復によって計
算される近似奥行き画像が、上記点Ｉに対し計算された
範囲に属するか否かに依存して、上記近似奥行き画像を
有効にする段階とを含むことを特徴とする方法。 - 【請求項２】 上記合成画像（４）に対する、上記点Ｉ
の奥行きの上記最小値及び上記最大値の計算は、上記合
成画像における上記点Ｉに対応するエピポーララインを
用いることによって行われ、上記最小値及び上記最大値
は、上記最大許容歪みに対応する距離に関連することを
特徴とする請求項１記載の方法。 - 【請求項３】 上記モデルはエレメンタリ領域のセット
によって画成され、 上記有効化段階において、その奥行きが使用される上記
３Ｄ点は、上記モデルのエレメンタリ領域の点であるこ
とを特徴とする請求項１記載の方法。 - 【請求項４】 上記エレメンタリ領域はファセットであ
り、 上記反復による計算は、上記奥行き画像のファセット化
であり、 上記反復は、上記方法が、「粗いから細かい」タイプ、
又は、「細かいから粗い」タイプであるかに依存して、
上記モデルの新しい３Ｄファセット頂点の作成、又は、
上記モデルの３Ｄファセット頂点の削除を含むことを特
徴とする請求項３記載の方法。 - 【請求項５】 「粗いから細かい」タイプの方法では、
上記反復は、１つのファセットに関連し、上記範囲から
外れる複数の近似値のうち、最も劣悪に近似される値の
計算を含み、 上記新しい３Ｄファセット頂点は、上記最も劣悪に近似
される値に対応する点に関することを特徴とする請求項
４記載の方法。 - 【請求項６】 上記誤差の計算が行われる上記合成画像
（４）のセットは、上記基準画像（７）を使用する視点
のセットの代表サンプルに対応することを特徴とする請
求項１記載の方法。 - 【請求項７】 上記誤差の計算が行われる上記合成画像
のセットは、上記基準画像と共通の３Ｄ点の閾値より大
きい数を有する画像から構成されることを特徴とする請
求項６記載の方法。 - 【請求項８】 上記最大許容歪みは、画像の特徴の関数
として前もって決定されることを特徴とする請求項１記
載の方法。 - 【請求項９】 上記画像の特徴は、輝度勾配であること
を特徴とする請求項８記載の方法。 - 【請求項１０】 請求項１の方法によるシーンのモデリ
ングに基いて、画像が生成されることを特徴とする、画
像生成方法。 - 【請求項１１】 レンディションのための基準画像、及
び、関連付けられる奥行き画像に関連し、３Ｄシーンを
画成するデータを圧縮する方法であって、上記奥行き画
像は、請求項４の方法によるファセット化によってモデ
リングされ、 上記基準画像、及び、上記奥行き画像に関連する上記デ
ータは、ファセットを画成するデータに置換されること
を特徴とする方法。 - 【請求項１２】 レンディションのための基準画像、及
び、関連付けられる奥行き画像に関連し、３Ｄシーンを
画成するデータを圧縮する方法であって、 請求項３のモデリング方法によるモデリング段階を含
み、 上記モデルの上記エレメンタリ領域は、上記奥行き画像
を画像ブロックに分割することによって画成され、 近似奥行き画像の、反復による計算は、上記画像ブロッ
クの量子化ステップサイズを変更して、近似奥行きであ
る量子化された奥行きを与えることを含むことを特徴と
する方法。 - 【請求項１３】 上記量子化ステップサイズの変更は、
最大幅の量子化ステップサイズ、又は、ブロックに対し
同一の量子化された奥行き値を得るための上記量子化ス
テップサイズにおける増加であることを特徴とする請求
項１２記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0203663 | 2002-03-25 | ||
| FR0203663A FR2837597A1 (fr) | 2002-03-25 | 2002-03-25 | Procede de modelisation d'une scene 3d |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003323631A true JP2003323631A (ja) | 2003-11-14 |
| JP4376532B2 JP4376532B2 (ja) | 2009-12-02 |
Family
ID=27799215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003080969A Expired - Fee Related JP4376532B2 (ja) | 2002-03-25 | 2003-03-24 | ３ｄシーンのモデリング方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7113635B2 (ja) |
| EP (1) | EP1349116B1 (ja) |
| JP (1) | JP4376532B2 (ja) |
| KR (1) | KR20030077985A (ja) |
| CN (1) | CN100337252C (ja) |
| FR (1) | FR2837597A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015033047A (ja) * | 2013-08-05 | 2015-02-16 | Kddi株式会社 | 複数カメラを用いた奥行き推定装置 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| AU2003292490A1 (en) * | 2003-01-17 | 2004-08-13 | Koninklijke Philips Electronics N.V. | Full depth map acquisition |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8072470B2 (en) * | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US7660436B2 (en) * | 2003-06-13 | 2010-02-09 | Sarnoff Corporation | Stereo-vision based imminent collision detection |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| KR100682935B1 (ko) * | 2005-02-17 | 2007-02-15 | 삼성전자주식회사 | 데이터베이스의 비정상샘플 제거 방법 및 장치 |
| US20060233461A1 (en) * | 2005-04-19 | 2006-10-19 | Honeywell International Inc. | Systems and methods for transforming 2d image domain data into a 3d dense range map |
| EP2016559A2 (en) * | 2006-05-05 | 2009-01-21 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US20080158254A1 (en) * | 2006-12-29 | 2008-07-03 | Hong Jiang | Using supplementary information of bounding boxes in multi-layer video composition |
| KR101483659B1 (ko) * | 2008-07-11 | 2015-01-16 | 삼성디스플레이 주식회사 | 입체영상 표시방법, 이를 수행하기 위한 표시장치 |
| KR101556593B1 (ko) * | 2008-07-15 | 2015-10-02 | 삼성전자주식회사 | 영상 처리 방법 |
| US8180167B2 (en) * | 2008-07-16 | 2012-05-15 | Seiko Epson Corporation | Model-based error resilience in data communication |
| US8233664B2 (en) * | 2008-11-12 | 2012-07-31 | Eastman Kodak Company | Determining relative depth of points in multiple videos |
| US8248410B2 (en) * | 2008-12-09 | 2012-08-21 | Seiko Epson Corporation | Synthesizing detailed depth maps from images |
| US8194097B2 (en) * | 2008-12-12 | 2012-06-05 | Seiko Epson Corporation | Virtual masking using rigid parametric modeling |
| US8705852B2 (en) | 2011-01-27 | 2014-04-22 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for defining distortion function for synthesized image of intermediate view |
| KR101332628B1 (ko) * | 2011-11-23 | 2013-11-25 | 에스케이플래닛 주식회사 | 3차원 입체영상의 입체감 측정 장치 및 방법 |
| WO2013077510A1 (ko) * | 2011-11-23 | 2013-05-30 | 에스케이플래닛 주식회사 | 3차원 입체영상의 입체감, 안정성 또는 오류성 측정 장치 및 방법 |
| EP2728306A1 (en) * | 2012-11-05 | 2014-05-07 | Hexagon Technology Center GmbH | Method and device for determining three-dimensional coordinates of an object |
| CN104768018B (zh) * | 2015-02-04 | 2016-09-21 | 浙江工商大学 | 一种基于深度图的快速视点预测方法 |
| KR101768532B1 (ko) * | 2016-06-08 | 2017-08-30 | 주식회사 맥스트 | 증강 현실을 이용한 화상 통화 시스템 및 방법 |
| US11245888B2 (en) * | 2018-03-19 | 2022-02-08 | Ricoh Company, Ltd. | Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels |
| CN108961404B (zh) * | 2018-06-27 | 2022-02-08 | 衡阳师范学院 | 一种积木式构建不规则模型的方法和系统 |
| CN113096254B (zh) * | 2021-04-23 | 2023-09-22 | 北京百度网讯科技有限公司 | 目标物渲染方法及装置、计算机设备和介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69232403T2 (de) * | 1991-08-06 | 2002-08-22 | Canon K.K., Tokio/Tokyo | Dreidimensionales Modellverarbeitungsverfahren und -gerät |
| FR2724033B1 (fr) * | 1994-08-30 | 1997-01-03 | Thomson Broadband Systems | Procede de generation d'image de synthese |
| IL113496A (en) * | 1995-04-25 | 1999-09-22 | Cognitens Ltd | Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof |
| US5905500A (en) * | 1997-02-19 | 1999-05-18 | Seiko Epson Corporation | Method and apparatus for adaptive nonlinear projective rendering |
| US6198486B1 (en) * | 1998-09-23 | 2001-03-06 | Intel Corporation | Method of using a hybrid error metric for multi-resolution mesh generation |
| FR2798761B1 (fr) * | 1999-09-17 | 2002-03-29 | Thomson Multimedia Sa | Procede de construction d'un modele de scene 3d par analyse de sequence d'images |
| JP3906615B2 (ja) * | 1999-10-29 | 2007-04-18 | 株式会社明電舎 | 回帰的対応点探索方法、これを利用した三次元位置計測方法、これらの装置、並びに、記録媒体 |
| JP4192377B2 (ja) * | 1999-12-27 | 2008-12-10 | コニカミノルタセンシング株式会社 | 三次元形状データのデータ削減方法及びデータ削減装置 |
-
2002
- 2002-03-25 FR FR0203663A patent/FR2837597A1/fr active Pending
-
2003
- 2003-03-07 EP EP03290554.9A patent/EP1349116B1/en not_active Expired - Lifetime
- 2003-03-20 KR KR10-2003-0017419A patent/KR20030077985A/ko not_active Application Discontinuation
- 2003-03-24 JP JP2003080969A patent/JP4376532B2/ja not_active Expired - Fee Related
- 2003-03-25 US US10/396,182 patent/US7113635B2/en active Active
- 2003-03-25 CN CNB031073883A patent/CN100337252C/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015033047A (ja) * | 2013-08-05 | 2015-02-16 | Kddi株式会社 | 複数カメラを用いた奥行き推定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1447288A (zh) | 2003-10-08 |
| EP1349116A1 (en) | 2003-10-01 |
| KR20030077985A (ko) | 2003-10-04 |
| FR2837597A1 (fr) | 2003-09-26 |
| US20030179194A1 (en) | 2003-09-25 |
| JP4376532B2 (ja) | 2009-12-02 |
| CN100337252C (zh) | 2007-09-12 |
| US7113635B2 (en) | 2006-09-26 |
| EP1349116B1 (en) | 2018-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4376532B2 (ja) | ３ｄシーンのモデリング方法 | |
| US7542034B2 (en) | System and method for processing video images | |
| EP1640915B1 (en) | Method and system for providing a volumetric representation of a 3-dimensional object | |
| KR100967701B1 (ko) | 3차원 유화 데이터의 복원 | |
| JP2007305133A (ja) | ３次元スキャンデータを使用して本来の設計意図を確認するためのシステム及び方法 | |
| JP2005038426A (ja) | 映像基盤レンダリングおよび編集の方法ならびにその装置 | |
| JPH07121700A (ja) | 画像データの表現方法および復元方法 | |
| CN101119442A (zh) | 基于全景图拼接的视频编辑方法 | |
| CN110827408B (zh) | 一种基于深度传感器的实时三维重建方法 | |
| Xu et al. | Anisotropic denoising of 3D point clouds by aggregation of multiple surface-adaptive estimates | |
| Na et al. | Hierarchical retargetting of fine facial motions | |
| KR20050063994A (ko) | 경계셀 축소 방식을 이용하여 3차원 측정점들로부터 3차원메쉬를 생성하는 방법 | |
| Park | Interactive 3D reconstruction from multiple images: A primitive-based approach | |
| KR100265720B1 (ko) | 2차원삼각형선격자모델을이용한동영상의움직임보상방법 | |
| Takai et al. | Harmonised texture mapping | |
| CN111028349B (zh) | 一种适用于海量三维实景数据快速可视化的层级构建方法 | |
| CN110766117B (zh) | 一种二维码的生成方法及系统 | |
| CN111199572B (zh) | 基于连续简化的超大几何体实时渲染方法 | |
| Pintus et al. | A Streaming Framework for Seamless Detailed Photo Blending on Massive Point Clouds. | |
| JP4166646B2 (ja) | デジタル画像の拡大補間方法、デジタル画像の圧縮方法、デジタル画像の復元方法、デジタル画像の拡大補間プログラムが記録された記録媒体、デジタル画像の圧縮プログラムが記録された記録媒体、デジタル画像の復元プログラムが記録された記録媒体 | |
| JP7040422B2 (ja) | 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム | |
| JPH11195139A (ja) | 自由曲面生成装置および方法、並びに提供媒体 | |
| Rasmuson et al. | User-guided 3D reconstruction using multi-view stereo | |
| Zhang et al. | Superpixel-based image inpainting with simple user guidance | |
| JP7312040B2 (ja) | テクスチャマッピング装置およびテクスチャマッピング用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090427 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090501 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4376532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |