JP2012507181A - 画像特性のための遮蔽データの発生 - Google Patents

画像特性のための遮蔽データの発生 Download PDF

Info

Publication number
JP2012507181A
JP2012507181A JP2011532755A JP2011532755A JP2012507181A JP 2012507181 A JP2012507181 A JP 2012507181A JP 2011532755 A JP2011532755 A JP 2011532755A JP 2011532755 A JP2011532755 A JP 2011532755A JP 2012507181 A JP2012507181 A JP 2012507181A
Authority
JP
Japan
Prior art keywords
image
image characteristic
occlusion
viewpoint
characteristic map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011532755A
Other languages
English (en)
Inventor
フェリックス グレムセ
バサンス フィロミン
ファン リウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012507181A publication Critical patent/JP2012507181A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する方法が提供される。上記遮蔽画像特性マップは、上記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有する。該方法は、前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生することが可能なアルゴリズムを使用する。該方法は、異なる視点に対する画像特性マップを、これらの視点に対して上記アルゴリズムを実行することにより発生する。前記遮蔽画像特性マップは、異なる視点の画像特性マップから発生される。特に、画像特性マップは、幾つかの例においては、遮蔽視点にシフトされ得る。次いで、遮蔽画像特性マップのデータが、シフトされた画像特性マップからの、最も前方のピクセルに対応しない(全ピクセルが等しい奥行きを有さない限り)ピクセルとして選択される。

Description

本発明は、画像特性のための遮蔽(オクルージョン)データの発生に係り、専らではないが、特には三次元画像データのレイヤ(層化)表現のための遮蔽データの発生に関する。
三次元表示器(三次元ディスプレイ)は、益々興味を持たれており、如何にして視聴者に三次元的知覚を与えるかについての活発な研究がなされている。三次元(3D)ディスプレイは、視聴者の2つの目に、視聴されているシーン(情景)の異なるビューを供給することにより、視聴体験に第3の次元を追加する。これは、ユーザに、表示される2つのビューを分けるための眼鏡を装着させることにより達成することができる。しかしながら、これはユーザにとり不便であると思われるので、多くの計画では、ディスプレイにおいてビューを分離する手段(レンチキュラレンズ、又は障壁)を使用し、これらビューをユーザの目に個別に到達するような異なる方向に送る裸眼立体ディスプレイ(autostereoscopic display)を用いることが好まれている。立体ディスプレイでは、2つのビューが必要とされる一方、裸眼立体ディスプレイは、典型的には、より多くのビュー(例えば、9つのビュー等)を必要とする。
3D提示を効果的に支援するためには、発生された3Dコンテンツの適切なデータ表現が使用されることが重要である。例えば、異なる立体ディスプレイに対しては、2つのビューは必ずしも同一ではなく、最適な視聴体験は、典型的には、スクリーンのサイズと視聴者の距離との特定の組み合わせに対する当該コンテンツデータの適応化を必要とする。同様の考え方が、裸眼立体ディスプレイに対しても当てはまりそうである。
三次元画像を表すための良く知られた方法は、1以上のレイヤに層化された二次元画像に奥行き表現を加えたものを使用することである。例えば、各々が関連する奥行き情報を持つ前景及び背景画像を、三次元シーンを表すために使用することができる。
このような方法は、三次元ビューが相対的に少ない複雑さで発生されるのを可能にする、並びに効率的なデータ表現をもたらし、これにより、三次元画像(及びビデオ)信号に対する例えば記憶及び通信資源の要件を低減することを含む多数の利点を提供する。また、該方法は、当該三次元表現に含まれる二次元画像とは異なる視点及び視角で二次元画像が発生されることも可能にする。更に、該表現は、例えば5、9又は15等の異なる数のビューを持つ異なるディスプレイ構成に容易に適応化され得、及び斯かる異なるディスプレイをサポートすることができる。
レイヤ画像により表されたものとは異なる視角からのビューをレンダリングする場合、前景ピクセルは、これらピクセルの奥行きに応じてシフトされる。この結果、元の視角に対しては遮蔽されていた領域が見えるようになる(即ち、カメラ位置/視点(viewing position)が横に平行移動/シフトされることにより)。次いで、これらの領域は、背景レイヤを用いて、又は、適切な背景レイヤデータが利用可能でない場合は、前景画像のピクセルを繰り返すことにより書き込まれる。しかしながら、このようなピクセルの複製は、見えるアーチファクトを生じかねない。上記背景情報は、典型的には前景画像オブジェクトのエッジ(縁部)の周囲でのみ必要とされ、従って殆どのコンテンツに対しては高度に圧縮可能である。
高品質の3D知覚を達成するためには、3D画像コンテンツの発生が重要である。例えば、三次元シーンを記述するデータに基づいて画像を発生することができるコンピュータ発生コンテンツツールを含む、種々の3Dコンテンツを作成する方法が知られている。例えば、例えばコンピュータゲーム用の、コンピュータにより発生される前景及び背景画像を、前景画像オブジェクト等を含む周囲を特徴付けるデータに基づいて発生することができる。例えば、3Dモデルを発生する幾つかのプログラムが知られており、これらのプログラムの多くは、関連する奥行きマップ(及び、恐らくは透明度マップ)を伴う1以上のレイヤ画像の形の3D画像表現を発生することが可能なソフトウェアプラグインにより向上させることができる。かくして、3Dモデル化プログラムにおける3Dモデルの設計に従って、アルゴリズムは、この3Dモデルに基づいて、当該ビューを定められた視角から表す1以上の前景レイヤ及び背景を発生することができる。更に、このビューに対して、1以上の奥行きマップ及び透明度マップを発生することもできる。この場合、上記画像レイヤ並びに奥行き及び透明度マップは、例えば立体又は裸眼立体ディスプレイにより使用するのに適した3D表現を提供することができる。
しかしながら、上記のような方法は多くの実施例において有用であり得るものの、これら方法は幾つかの関連する欠点を有しがちである。例えば、上記複数のレイヤの発生は、非常に複雑で、大幅な手による介入を必要とする傾向がある。例えば、背景レイヤを発生するためには、何の画像オブジェクト又は領域が前景と見なされ、従って背景画像を発生する際に削除されなければならないかが指定されねばならない。しかしながら、これは、正確な3D表現及び高品質の背景を提供するためには、典型的には操作者により手により実行されねばならず、結果的に、非常に複雑で且つ時間の掛かる3D画像データの発生となる。かくして、現在の方法においては、背景レイヤは、典型的には、手作業により幾つかの前景オブジェクトを削除して、当該コンテンツを再度レンダリングすることにより作成されている。しかしながら、これは、例えば或るオブジェクトが自身を遮蔽するか又は背景上に影を投じる場合に多くの努力を必要とするのみならず、問題を生じる。
他の技術は、所与の閾より近い全ての画像領域及びオブジェクトを削除するような切断面を指定することである。しかしながら、このような方法は最適でない背景レイヤとなる傾向がある。何故なら、最適な背景レイヤは、異なる領域においては異なる切断閾を必要とするからである(即ち、前景画像オブジェクトを削除するのに適した適切な奥行きレベルは、特定の3Dモデルに依存し、画像にわたり一定ではない)。確かなことに、単一の切断面はおよそ最適とは言えない一方、複数の切断面を選択することは処理を一層複雑にしがちである。
このように、前景のための遮蔽データ情報を提供する情報の発生は、準最適となりがちであり、特に、複雑で、資源を要求するものとなり、及び/又は準最適な品質となる傾向がある。確かなことに、上述した問題は遮蔽画像データの発生のみに限られるものではなく、透明度又は奥行き情報等の他の画像特性を表すデータの発生にも関係する。
従って、遮蔽データを発生するための改善された方法が有利であり、特に、柔軟性を増加させ、複雑さを低減し、処理を簡略化し、資源要件を低減し、品質を改善し及び/又は性能を改善するのを可能にする方法が有利である。
従って、本発明は、上述した欠点の1上を、好ましくは単独又は何れかの組み合わせで緩和、軽減又は除去することを追求するものである。
本発明の一態様によれば、三次元シーンに関し遮蔽視点(occlusion view position)に対する遮蔽画像特性マップ(occlusion image property map)を発生する方法であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該方法が、前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するように構成されたアルゴリズムを設けるステップと、 前記アルゴリズムを第1視点に対して実行することにより第1画像特性を発生するステップと、前記アルゴリズムを、前記第1視点に対し第1のオフセットを有する第2視点に対して実行することにより第2画像特性マップを決定するステップと、前記第1画像特性マップ及び前記第2画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップとを有する方法が提供される。
本発明は、多くの実施例において、遮蔽画像特性マップの改善された及び/又は簡略化された発生を行うことを可能にする。該遮蔽画像特性マップは、特に、遮蔽視点に対して発生される(より)前景の画像特性マップレイヤにより遮蔽される画像領域に関する画像特性データを有することができる。例えば、上記遮蔽画像特性マップは、前景(又は、より前側の中景)の画像レイヤにより遮蔽される画像データを供給する背景(又は中景)の画像レイヤとすることができる。
本発明は、特に、遮蔽情報が、当該情報に関して手による介入を要せずに及び/又は如何なる切断線も定めることを要せずに、発生されるのを可能にする。むしろ、上記アルゴリズムの簡単な反復実行を使用して、遮蔽画像特性マップを形成することができる。本発明は、特に、シーンのレイヤ(層化された)3D画像特性表現が、同一の3Dモデルに基づくが、異なる視点で発生される異なる画像特性マップから発生されるのを可能にする。このように、3Dモデルに基づく簡単なレンダリングアルゴリズムを繰り返し使用して、複数の画像特性マップを発生することができ、次いで、これら画像特性マップは後処理されて、レイヤ3D表現を発生する。本発明は、視点の使用及び/又は複雑さを低減させることができる。特に、上記(非レイヤで、変化する視角の)画像特性マップの後処理は、典型的には、低複雑度で及び/又は少ない資源使用で実施することができる。
上記の異なる視点は、特に、第1視点に関する視方向(viewing direction)に対して垂直な面内でシフトされた、特には該面に対して横方向にシフトされた、視点に対応することができる。各視点に対する視角/視方向は実質的に同一とすることができる。即ち、第1及び第2視点(従って、第1及び第2画像特性マップ)に対する視方向は実質的に同一とすることができる。
本方法は、多くの既存のアルゴリズムに対して、改善された後方互換性を可能にし得る。例えば、最初のアルゴリズムは既存の3Dモデル化アプリケーションとすることができ、該3Dモデル化アプリケーションは、レイヤ(層化された)3D画像特性マップ表現を発生するソフトウェアツール/プラグインにより更に向上される。このように、前記後処理は、コンテンツ作成ツールに対するプラグインとして設けることができる。
前記遮蔽画像特性マップは、遮蔽データが供給される画像特性マップと同一の視角を表すことができる。特に、上記遮蔽画像特性マップは、遮蔽視点を表す他の画像特性マップを伴うレイヤ画像特性マップであり得る。遮蔽画像特性マップは、特に、第1画像特性マップに対する遮蔽画像特性マップであり得、第1視点を表すことができる。特に、該遮蔽視点は前記第1視点と実質的に同一とすることができる。
最初のアルゴリズムは、特に、3Dモデルアルゴリズム(に基づくもの)とすることができる。このように、第1及び第2画像特性マップは、当該シーンに対して同一の3Dモデルを用いて発生することができる。上記視点(又は複数の視点)は、特には、視角とすることができる。幾つかの実施例では、及び幾つかの筋書きに関しては、距離は考慮されない。視点なる用語は、多くの筋書きでは、視角なる用語と等価であると考えることができる。前記第1及び第2視点は、異なる視角に対応する。前記画像特性マップは、特に、第1画像の各ピクセルに関する画像特性を有することができる。
前記遮蔽画像特性マップは、更に他の(タイプの)画像特性マップに応答して発生され得る。例えば、第1及び第2画像特性マップは、例えば遮蔽視点に対応する画像特性マップのレンダリング前の前景オブジェクトを手で削除することにより発生された画像特性マップにより補足することができる。
本発明のオプション的フィーチャによれば、前記遮蔽画像特性マップを発生するステップは、前記遮蔽視点に対応する修正された画像特性マップの群を、少なくとも前記第1画像特性マップ及び前記第2画像特性マップを前記遮蔽視点にシフトすることにより発生するステップと、前記遮蔽画像特性マップを、該遮蔽画像特性マップのピクセルに関する画像特性を前記修正された画像特性マップの群における対応するピクセルから選択することにより決定するステップとを有する。
この構成は、多くの実施例において遮蔽画像特性マップの改善された及び/又は簡略化された発生を行うのを可能にする。前記画像特性マップの群は、異なる視点に対する画像特性マップの遮蔽視点へのシフト/平行移動(translation)により得られた複数の修正された画像特性マップを有することができる。上記シフト/平行移動は、特に、同一の視角に対するものとすることができる。前記アルゴリズムにより実質的に遮蔽視点に対して発生された画像特性マップの場合、上記の修正された画像特性マップは、上記の発生された画像特性マップと同一であり得る。特に、遮蔽視点に対するシフト/平行移動は、既に遮蔽視点を表している画像特性マップに対しては空処理であり得る。
幾つかの実施例において、前記遮蔽画像特性マップのピクセルに関する画像特性を選択するステップは、第1の対応するピクセルが遮蔽解除された(de-occluded)ピクセルではなく、第2の対応するピクセルが遮蔽解除されたピクセルである場合、第2の対応するピクセルに優先して第1の対応するピクセルに関する画像特性を選択するステップを有することができる。例えば、修正された画像特性マップを発生する場合、元の画像においては遮蔽されているが、遮蔽視点からは遮蔽されない値は、遮蔽解除される。このように、上記の修正された画像特性マップにおいては、幾つかのピクセル値は典型的には遮蔽解除されたピクセル(例えば、ピクセルの繰り返しにより発生された)となる一方、他のピクセルは遮蔽解除されない。特に、非繰り返しピクセルを、繰り返しピクセルに優先して選択することができる。
本発明のオプション的フィーチャによれば、前記修正された画像特性マップの群における対応するピクセルからの選択は、これら対応するピクセルに関する奥行き値に応答するものである。
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び/又は簡略化された発生を行うのを可能にする。
本発明のオプション的フィーチャによれば、前記対応するピクセルからの選択は、前記遮蔽画像特性マップの第1ピクセルに対する画像特性を、該第1ピクセルに対する対応するピクセルに関して最も前側の奥行きに対応する奥行き値を有さない対応するピクセルに関する画像特性として選択するステップを有する。
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び/又は簡略化された発生を行うのを可能にする。特に、各ピクセルに対して(前側から)2番目の奥行き値に関する画像特性を選択することは、前景画像の背後の最初のオブジェクトに関する遮蔽データを提供する傾向がある。これらは、典型的には、異なる視角でレンダリングするのに最も適しており、従って、最も有用な遮蔽情報を提供する傾向がある。
本発明のオプション的フィーチャによれば、前記対応するピクセルからの選択は、前記遮蔽画像特性マップの第1ピクセルに対する画像特性を、該第1ピクセルに対する対応するピクセルに関して2番目に最も前側の奥行きに対応する奥行き値を有する対応するピクセルに関する画像特性として選択するステップを有する。
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び/又は簡略化された発生を行うのを可能にする。特に、各ピクセルに対して(前側から)2番目の奥行き値に関する画像特性を選択することは、前景画像の背後の最初のオブジェクトに関する遮蔽データを提供する傾向がある。これらは、典型的には、異なる視角でレンダリングするのに最も適しており、従って、最も有用な遮蔽情報を提供する傾向がある。
代わりに、前記対応するピクセルからの選択は、前記遮蔽画像特性マップの第1ピクセルに対する画像特性を、該第1ピクセルに対する対応するピクセルに関して3番目、4番目、5番目等の最も前側の奥行きに対応する奥行き値を有する対応するピクセルに関する画像特性として選択するステップを有することも理解される。この構成は、例えば、複数のレイヤの画像特性マップの効率的な発生を可能にする。
本発明のオプション的なフィーチャによれば、前記修正された画像特性マップの群の少なくとも1つを発生するステップは、前記シフトに続いて、重なり合う画像領域に対応するピクセルに関する複数の画像特性値を発生するステップを有する。
この構成は、多くの実施例において、遮蔽画像特性マップの改善された及び/又は簡略化された発生を行うのを可能にする。特に、これは、遮蔽画像特性マップを発生する場合に、異なる視点の画像特性マップにより供給される全ての情報が考慮されるのを可能にし得る。
上記複数のピクセルは、特には、遮蔽視点において同一のピクセル位置に変位されるピクセルとすることができる。
本発明のオプション的なフィーチャによれば、前記遮蔽画像特性マップ、前記第1画像特性マップ及び前記第2画像特性マップにより表される画像特性は、画像明度(image luminosity)、画像色(image color)、画像オブジェクト識別情報(image object identification)、透明度(transparency)及び奥行きからなる群から選択される少なくとも1つの画像特性を有する。
本発明は、3D画像表現にとり有用な複数の異なる特性に関して遮蔽情報の改善された及び/簡略化された発生を可能にし得る。
本発明のオプション的なフィーチャによれば、本方法は、前記第1視点に対して第2のオフセットを有する第3視点に対して前記アルゴリズムを実行することにより第3画像特性マップを決定するステップを更に有し、前記遮蔽画像特性マップを発生するステップは、該第3画像特性マップに更に応答するものである。
この構成は、多くの実施例において、改善された遮蔽画像特性マップが発生されるのを可能にし得る。特に、これは、付加的な遮蔽データが決定されると共に、上記遮蔽画像特性マップにより表されるのを可能にし得る。上記第2及び第3画像特性マップは、例えば、遮蔽情報が、中央のビューの両側へのシフトに関して発生されるのを可能にし得る。
前記遮蔽画像特性マップを発生するステップは、修正された第3画像特性マップを、前記第3画像特性マップを前記第3視点から前記遮蔽視点へシフト/平行移動することにより発生するステップを更に有することができ、該修正された第3画像特性マップは、当該遮蔽画像特性マップのピクセルに関する画像特性を選択することができる前記修正された画像特性マップの群に含めることができる。該方法は、異なる視点から発生される第4、第5等の画像特性マップに拡張することもできる。
本発明のオプション的なフィーチャによれば、前記第1のオフセットは前記第2のオフセットとは実質的に反対側である。特に、第1視点と第3視点との間の視角オフセットは、第1視点と第2視点との間の視角オフセットと実質的に同一であるが、反対方向であるとすることができる。
この構成は、多くの実施例において、改善された遮蔽画像特性マップが発生されるのを可能にし得る。特に、異なる方向における視角の変化に適した遮蔽データ発生させることができる。
上記第1のオフセット及び/又は第2のオフセットは、特には、実質的に水平面内におけるものとすることができる。
本発明のオプション的なフィーチャによれば、本方法は、前記遮蔽画像特性マップを有すると共に前記遮蔽視点に対する画像特性マップのみを含む画像信号を発生するステップを更に有する。
本発明は、3D画像に関する効率的な表現を発生することができる。所与の視角(遮蔽視点に対応する)に対する(より)前景の画像特性マップ(前景画像等の)、及び同じ視角を表す遮蔽画像特性マップを含むレイヤ表現を形成することができる。しかしながら、異なる視角を表す画像又は画像特性マップは、含まれ得ない。特に、上記画像信号は複数のチャンネル(画像データ、奥行きデータ及び透明度データ等の異なる画像特性に対応する)を有することができ、これらチャンネルの少なくとも1つは、当該方法により発生された遮蔽画像特性マップを含むレイヤ画像特性表現を有する。
本発明のオプション的なフィーチャによれば、前記第1のオフセットは、スクリーンの奥行きにおけるオブジェクトに対して2°から10°までの範囲内の視角オフセットに対応する。
この構成は、殆どの立体ディスプレイ及び/又は裸眼立体ディスプレイに対して画像をレンダリングするのに特に適した遮蔽画像特性マップを形成することができる。特に、これは、発生される遮蔽画像特性マップを用いてレンダリングすることが可能な視角の範囲と、該遮蔽画像特性マップのデータにおけるギャップ又は孔の危険性との間の改善された相殺取引を果たさせ得る。
本発明のオプション的なフィーチャによれば、前記遮蔽画像特性マップ、前記第1画像特性マップ及び前記第2画像特性マップは、画像である。
このように、遮蔽された画像オブジェクトに関する少なくとも幾つかの画像値を有する遮蔽画像を発生する方法であって、当該方法が、シーンを表す画像を視点に応じて発生するように構成されたレンダリングアルゴリズムを設けるステップと、前記アルゴリズムを第1視点に対して実行することにより第1画像を発生するステップと、前記アルゴリズムを、前記第1視点に対し第1のオフセットを有する第2視点に対して実行することにより第2画像を決定するステップと、前記第1画像及び前記第2画像に応答して、前記遮蔽画像を発生するステップとを有する方法が提供され得る。
本発明は、多くの実施例において、遮蔽画像の改善された及び/又は簡略化された発生を行い得る。該遮蔽画像は、特に、(より)前景の画像レイヤにより遮蔽される画像領域に関する画像データを有し得る。
本発明の他の態様によれば、上述した方法を実行するコンピュータプログラム製品が提供される。
本発明の他の態様によれば、三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生するための三次元モデル化コンピュータプログラムと共に使用するソフトウェアツールであって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、前記三次元モデル化コンピュータプログラムは前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するように構成されたアルゴリズムを有し、当該ソフトウェアツールが、前記アルゴリズムを第1視点に対して実行することにより第1画像特性を発生するステップと、前記アルゴリズムを、前記第1視点に対し第1のオフセットを有する第2視点に対して実行することにより第2画像特性マップを決定するステップと、前記第1画像特性マップ及び前記第2画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップとを実行するように構成されたソフトウェアツールが提供される。
本発明の他の態様によれば、三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する装置であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該装置が、前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するように構成されたアルゴリズムを設ける手段と、前記アルゴリズムを第1視点に対して実行することにより第1画像特性を発生する手段と、前記アルゴリズムを、前記第1視点に対し第1のオフセットを有する第2視点に対して実行することにより第2画像特性マップを決定する手段と、前記第1画像特性マップ及び前記第2画像特性マップに応答して、前記遮蔽画像特性マップを発生する手段とを有する装置が提供される。
本発明の上記及び他の態様、フィーチャ及び利点は、以下に説明する実施例から明らかとなり、斯かる実施例を参照して解説されるであろう。
図1は、本発明の幾つかの実施例による遮蔽画像特性マップを発生する装置の一例を示す。 図2は、三次元モデルに基づいた画像のレンダリングの一例を示す。 図3は、三次元モデルに基づいた画像のレンダリングの一例を示す。 図4は、本発明の幾つかの実施例による異なる視点に対応する画像特性マップから遮蔽画像特性マップを発生する方法の一例を示す。 図5は、或る視点から他のものへの画像特性マップのシフト/平行移動の一例を示す。 図6は、本発明の幾つかの実施例による異なる視点に対応する画像特性マップから遮蔽画像特性マップを発生する方法の一例を示す。 図7は、本発明の幾つかの実施例による遮蔽画像特性マップを発生する方法の一例を示す。
以下、本発明の実施例を、図面を参照して例示的にのみ説明する。
以の説明は、前景画像のための遮蔽画像の発生に適用可能な本発明の実施例に焦点を合わせる。しかしながら、本発明はこの適用例に限定されるものではなく、例えば画像オブジェクト識別、透明度及び奥行き特性を反映する画像特性マップを含む他の画像特性マップの発生にも適用することができることが理解されるであろう。
明瞭化及び簡略化のために、以下の説明は、静止画像等の単一画像の処理に焦点を合わせている。しかしながら、記載された原理は、例えばアニメーション及び動画にも等しく当てはまることが理解される。例えば、記載された処理は、レイヤ奥行きモデルに基づいて三次元ビデオ信号の各画像及び奥行きマップにも個別に適用されて、マルチビュー画像シーケンスにおける各タイムスタンプに対して全てのビューを発生することができる。
図1は、遮蔽画像特性マップを発生する装置の一例を示す。
該装置はマップ発生器101を有し、該マップ発生器はシーンを表す画像のための画像特性マップを発生するように構成される。画像特性マップは、視点の関数として、及び特には視角の関数として発生される。特に、上記マップ発生器は、所与の指定された視角に対する画像マップを3Dモデルに基づいて発生することができる。該3Dモデルは、背景画像と、該背景画像の前の複数の3Dオブジェクトとにより定義される人工的シーンを特に定めることができる。
本例において、マップ発生器101は、定められた視点において及び特には定められて視角においてカメラにより捕捉(キャプチャ)されるであろう画像に対応する画像を発生するように構成されている。かくして、特定の視角から見える3Dモデルのオブジェクトを反映する各ピクセルに対して明度(luminosity)及び/又は色値(color value)を有する画像が発生される。このように、3Dモデルにより表される定義された人工的シーンに基づいて、マップ発生器101は、単に視角入力パラメータに基づいて画像を発生することができる。
3Dモデル及び視点の定義に基づいて人工的シーンに対する画像及び関連する画像特性データを発生することができる多数の異なるアルゴリズム及びツールが既知であることが理解される。例えば、オフラインコンピュータ3Dモデル化ツールが、既知であり、例えばコンピュータ支援設計、ゲーム設計、コンピュータアニメーション等のために広く使用されている。また、人工的3Dシーンに対する画像のリアルタイムレンダリングが、例えばゲーム又はリアルタイムコンピュータ支援設計アプリケーションから知られている。マップ発生器101は画像特性マップを発生するために如何なる好適な方法も使用することができることが理解される。
マップ発生器101が他の画像特性に対応する画像又はマップを発生することができることも理解される。かくして、画像特性は、画像をどの様にレンダリングすることができるかについての情報を提供する如何なる特性とすることもでき、特には、画像を異なる視角で発生するために有用な情報を提供する3D画像特性とすることができる。
例えば、マップ発生器101は、所与の視角のための画像及び該視角に対する奥行きマップの両方を発生することができる。上記奥行きマップは、当該画像の各ピクセルに関する奥行き指示情報(奥行きレベル又は視差(disparity)値)を特に有することができ、その場合において、該奥行き指示情報は当該ピクセルにより表される画像オブジェクトの画像における奥行きを反映する。
また、マップ発生器101は、発生される画像の各ピクセルに関する透明度値も発生することができる。該透明度値は、当該画像ピクセルの透明度を特に表すことができる。
他の例として、マップ発生器101は、発生される画像の各ピクセルに関して該ピクセルに対応する画像オブジェクトを識別する画像オブジェクト識別マップを発生することができる。
特定の実施例において、マップ発生器101は、当該視角に対して複数の対応する画像特性マップを発生する。各画像特性(タイプ)はチャンネルと称することができ、特定の例において、該マップ発生器101は、画像を有する画像チャンネル、発生される画像に対する奥行きマップを有する奥行きチャンネル、並びに幾つかのシナリオでは、発生される画像に関する透明度マップ及び/又は発生される画像に関する画像オブジェクト識別マップを発生する。
当該例において、各チャンネルは単一の画像特性マップのみを有し、かくして、各画像特性は単一の非レイヤ画像特性マップにより表される。
他の実施例において、マップ発生器101は、単一のチャンネルに関する、即ち単一の画像特性に関する画像特性マップのみを発生することができることが分かる。
当該装置は、更に、上記マップ発生器101に結合された第1画像特性マップ発生器103を有する。該第1画像特性マップ発生器103は、第1視点に対してマップ発生器101のアルゴリズムを実行することにより第1画像特性マップを発生するよう構成されている。即ち、第1画像特性マップ発生器103は、当該シーンに対して視角又は視点を定義すると共に、これをマップ発生器101に供給することができる。これに応答して、マップ発生器101は当該3Dモデルを評価して、この視点に対応する画像特性マップを発生する。
当該固有の例において、マップ発生器101は複数の単一レイヤチャンネルを発生し、ここで、各チャンネルは異なるタイプの画像特性に対応する。このように、マップ発生器101は、指定された視点/視角からの当該シーン/3Dモデルのビューを表す画像、並びに合致する奥行きマップ及び、幾つかのシナリオでは、合致する透明度マップ及び/又は合致するオブジェクト識別マップを発生する。次いで、異なる画像特性マップを有するチャンネルは、第1画像特性マップ発生器103にフィードバックされる。
図2は、背景オブジェクト203及び前景画像オブジェクト205を有する三次元シーン/モデルに対して視点201が定められる例を示す。この場合、マップ発生器101は、異なる方向で見られる特定の画像オブジェクトを反映する画像を発生する。更に、該画像において見える画像オブジェクトの奥行きを反映する、対応する奥行きマップが発生される。マップ発生器101は、各ピクセルに対して色値、輝度値及び奥行きを計算する。色/輝度は、ピクセルの視線(ray)に沿いカメラ/視点に対し最も近いオブジェクトにより決定される。かくして、前景画像オブジェクト205に対応するピクセルに対しては、前景オブジェクト205の画像及び奥行き値が含められ、背景オブジェクト203に対応するピクセルに対しては、背景オブジェクト203の画像及び奥行き値が含められる。また、オブジェクト識別マップを発生することができ、該オブジェクト識別マップは、各ピクセルに対して、当該ピクセルにより表される画像オブジェクトを(例えば、オブジェクト203であるか又は205であるかを)示す。同様に、各ピクセルに対する透明度指示情報を持つ、透明度マップを発生することができる。
上記マップ発生器101により、3シーン又はモデルから画像特性マップ(画像又は奥行きマップ等の)を発生するための如何なる好適なアルゴリズムを使用することもできることが分かる。
図1の装置は、マップ発生器101に結合された第2画像特性マップ発生器105を更に有する。該第2画像特性マップ発生器105は、前記第1視点に対してオフセットされた第2視点に関してマップ発生器101のアルゴリズムを実行することにより第2画像特性マップを発生するよう構成されている。第2視点は、第1視点とは異なる視角に対応する。従って、発生された画像特性マップにおける全てが、たまたま正確に同一の奥行きレベルにある場合を除き、第1及び第2画像特性マップは、幾つかの領域では、異なる画像オブジェクトを表し得る。このように、第1及び第2画像特性マップは、他方の画像特性マップにおいては(更に前の)前景画像オブジェクトにより遮蔽される画像オブジェクト領域に関する画像特性データを有し得る。
図3は、第2視点301が第1視点201に対して相対的オフセット303を有するような、図2の例を図示している。視角のオフセットにより、第2視点301に対して発生される画像特性マップは、第1視点201に対する画像特性マップに含まれない背景オブジェクト203の領域305(この視角に対しては前景オブジェクト205により遮蔽されているから)を含む。同様にして、背景オブジェクト203の領域307は、第1視点に対して発生される第1画像特性マップにおいてのみ見える。
このようにして、3Dモデルにより表されるシーンは、シフト/平行移動/移転された視点から再びレンダリングされる。この第2視点は、第1視点に対して、"見回す"オブジェクトを提供する。第2視点からのビューにおいては、オブジェクトは右にシフトされて見え、該シフトは透視変換により奥行きに逆比例する。
当該特定の例において、マップ発生器101は第2視点に対して複数の単一レイヤチャンネルを発生し、ここで、各チャンネルは異なるタイプの画像特性に対応する。即ち、第2画像特性マップ発生器105は、第2視点に関して、画像、関連する奥行きマップ、並びに、恐らくは、透明度及びオブジェクト識別マップを受ける。
図1の装置は、マップ発生器101に結合された第3画像特性マップ発生器107を更に有する。該第3画像特性マップ発生器107は、前記第1視点及び第2視点に対してオフセットされた第3視点に関してマップ発生器101のアルゴリズムを実行することにより第3画像特性マップを発生するよう構成されている。該第3視点は、第1視点及び第2視点とは異なる視角に対応する。
上記第3視点は、特に、第1視点から第2視点とは実質的に反対方向にオフセットされたものとすることができる。また、該オフセットは、第1視点に対して、第1及び第2視点の間の視角が第1及び第3視点の間の視角と同一となるように対称とすることができる。例えば、図3において、第2視点301は第1視点201から左にオフセットされる一方、第3視点309は第1視点201から右に同じ量だけオフセットすることができる。第3の視点の使用は、結果的に遮蔽データが、異なる方向の視角オフセットに対する画像の遮蔽解除にとり有用になるのを可能にし得る。例えば、第1視点に対する画像が前景画像として使用される場合、第2及び第3(左及び右の)視点から発生され得る遮蔽データは、中央の画像が、該中央画像の左及び右の両方向への視角を反映するように修正されるのを可能にする。
第1及び第2視点の間のオフセット(並びに第1及び第3視点の間のオフセット)は、特定の例では、スクリーンの奥行きにおけるオブジェクトに対して2°から10°(両端値を含む)までの範囲に属する視角オフセットに対応するように選択される。この選択は、多くの実際の3Dディスプレイ用途に対して特に適した遮蔽データを提供し得る。というのは、この選択が、このような用途で使用される典型的な視角変化に対して特に適した遮蔽データを提供するからである。更に、視角のオフセットを限定することにより、発生される遮蔽データ内にギャップを有するという危険性(例えば、前景オブジェクトにおける小さな孔から生じる)を低減することができる。
図3の例においては、3つの対称な視点に対して画像特性マップが発生される。しかしながら、他の例においては、2、4又はそれ以上の視点を使用することができ、及び/又は非対称な視点を使用することもできることが分かる。
前記第1画像特性マップ発生器103、第2画像特性マップ発生器105及び第3画像特性マップ発生器107は、遮蔽プロセッサ109に結合され、該遮蔽プロセッサは第1画像特性マップ発生器103、第2画像特性マップ発生器105及び第3画像特性マップ発生器107から画像特性マップを入力する。次いで、該遮蔽プロセッサ109は、第1、第2及び第3視点の各々の3つの画像特性マップから遮蔽画像特性マップを発生する。
当該特定の例において、遮蔽プロセッサ109は、例えば上記3つの視点の各々に関する画像及び奥行きマップを入力することができる。次いで、該遮蔽プロセッサは斯かる3つの画像及び奥行きマップの各々から値を選択することにより、遮蔽画像及び奥行きマップを発生することができる。遮蔽画像特性マップのためのピクセルは、前景におけるものではない画像オブジェクトを反映する対応する値が利用可能なら、前景画像オブジェクトを表すものでないように選択される。例えば、図3の例において、ピクセルは、領域305に関しては第2視点の画像特性マップから、領域307に関しては第1視点の画像特性マップからピクセルを選択することができる。
即ち、遮蔽プロセッサ109は、横の視点のオフセット及び各視点に関する仮想カメラの視野を供給され得る(又は、既に分かる)。これを、上記横のビューから中央のビューにピクセルを移転するために使用することができる。該処理は、逆投影変換により横のビューからのピクセルを投影解除し、次いで該ピクセルを中央のビューに投影することに対応するものと考えることができる。これらの方式は、平行カメラ(parallel cameras)が使用される場合、視差に比例したシフトとなる。
このように、如何なる単一視点に対して利用可能なものよりも多くの情報の非前景画像特性を提供する遮蔽画像特性マップを発生することができる。特に、該遮蔽データは、如何なる単一視点から得られるものよりも多くの、非前景画像オブジェクトを反映するデータを含むように発生することができる。該遮蔽画像特性マップは、特に、所与の視点又は視角(遮蔽視点又は視角と称する)からの、且つ、この視点/視角からは(より多くの)前景画像オブジェクトにより遮蔽される少なくとも幾つかの画像特性データを含むビューを表すように発生される。該遮蔽画像特性マップは、当該画像のレイヤ3D表現を提供するために、上記遮蔽視点を表す他の画像特性マップと組み合わせることができる。
例えば、上記遮蔽画像及び前記第1画像(前記第1の中央視点に対する)は、(混合された)前景及び背景レイヤ表現を形成するために組み合わせることができ、その場合において、上記遮蔽画像は、少なくとも幾つかのピクセルに対して、第1視点から見える前景画像オブジェクトの一部ではない画像オブジェクトに関する画像値を表す。このように、この例においては、上記遮蔽視点は第1視点と同一であり得る。
遮蔽プロセッサ109は信号発生器111に結合され、該信号発生器は3D情報を有する画像信号を発生する。即ち、該信号発生器11は、遮蔽視点/視角に対する画像、遮蔽画像、当該画像に対する奥行きマップ、及び、オプションとして、遮蔽画像特性マップに関する遮蔽奥行きマップを有する画像信号を発生する。幾つかの実施例又はシナリオにおいては、透明度マップ及び遮蔽透明度マップ、及び/又はオブジェクト識別マップ及び遮蔽オブジェクト識別マップを、付加的に又は代替的に含むことができる。
上記画像信号が各画像特性チャンネルに対して3以上のレイヤを有することができることも分かる。例えば、複数の異なるレベルの遮蔽画像を発生し、画像チャンネルに含めることができる。しかしながら、遮蔽画像特性マップは異なる視角のビューから発生されるものの、発生される画像信号は、遮蔽視角に対してのみ画像特性マップを有することができる。
上記画像信号は、特に、マップ発生器101により発生された画像特性マップのうちの少なくとも1つが当該画像信号に含まれる一方、該マップ発生器により発生された何れの他のものも該画像信号に含まれないように発生される。確かに、これらの例では、上記マップ発生器からの発生された画像特性マップのうちの1つのみが上記画像信号に含まれるか又はいずれも含まれないようにすることができる。即ち、上記画像信号の画像は、第1視点に対して発生された画像に、この視点に対する追加の遮蔽データを提供する遮蔽画像が備わったものに対応し得る。他のチャンネルに関して、対応する画像特性マップを含めることができる。このように、上記画像信号は、1つのみの視角、即ち遮蔽画像特性マップに対応する遮蔽視角に対する画像特性マップを有することができる。この視角は、特には、マップ発生器101により画像特性マップを発生するために使用された視角の1つと同一とすることができるが、そのようである必要はない。
上記方法は、複雑さの低減、少ない資源の使用及び遮蔽データを含むレイヤ画像表現の完全に自動的な発生を可能にすることができる。確かに、該方法は、手による介入及び切断面等の如何なる定義も必要としない。このように、3D画像データの効率的な表現の低複雑で高品質の発生を達成することができる。該方法は、更に、既存のコンテンツ作成ツールが使用されるのを可能にし、これにより、改善された後方互換性及び柔軟性を提供する。
図4は、前記遮蔽プロセッサ109により上記特定の例が使用される方法を図示している。該方法は、発生された全画像特性マップ(この場合においては、3つの異なる視点に対する)を同じ視角にシフトし、次いで、この視角に対する異なる画像特性マップの間で奥行きレベルに応じて選択を行うことにより遮蔽画像特性マップを発生することに基づくものである。
図4の方法はステップ401で開始し、該ステップにおいて、画像特性マップは、遮蔽画像特性マップが発生される視点に、即ち遮蔽視点/視角に、シフト/転移/平行移動される。該特定の例においては、当該画像信号は、第1視点に対応するデータを有するように発生されるので、シフトされる画像特性マップの視点は、第1視点に対して発生される画像特性マップに対する視点と同一である。即ち、横のビューからの各ピクセルは、中央ビューにおける、もし遮蔽されていなかったら見えるであろう位置にシフト/転移することができる。
ステップ401にはステップ403が後続し、該ステップにおいては、全ての視点に対する画像特性マップが、当該共通の遮蔽視点にシフト/転移/平行移動されたかが判断される。もしされていないなら、当該方法はステップ405に進み、該ステップにおいて次の視点が選択される。次いで、当該方法はステップ401に戻り、該ステップにおいて、上記次の視点に対する画像特性マップが遮蔽視角に転移される。
このようにして、遮蔽プロセッサ109は全ての視点を処理し、各視点に対して、当該画像特性マップに含まれる情報を反映するが、当該遮蔽視点に一致するように転移又はゆがめられた(warped)修正された画像特性マップが発生される。かくして、本例では、遮蔽プロセッサ109は、第1、第2及び第3視点/視角に対して発生された画像、奥行きマップ並びにオプションとして透明度及び画像オブジェクトマップから、遮蔽視角に対応する3つの修正された画像、奥行きマップ並びにオプションとして透明度及び画像オブジェクトマップを決定する。該特定の例では、上記遮蔽視点は前記中央視点と、即ち第1視点と等価であり、従って第1画像特性マップ発生器103から供給される画像特性マップの平行移動は、単に、如何なる処理又は修正もせず該画像特性マップを維持することであり得ることが分かる。
画像特性マップの遮蔽視角への平行移動(変換)は、別々のピクセルに対する変位を、これらピクセルの奥行きに基づいて決定することにより特に達成することができる。次いで、これには、如何なる結果としての遮蔽解除された領域もの埋め込みが続く。このような視角のシフトを実行する種々のアルゴリズムは当業者により知られており、如何なる好適な方法も使用することができることが分かる。
特定の例として、図5は第2視点に対して発生された画像からの、修正された第2画像の発生の一例を示す。
遮蔽プロセッサ109は、先ず、各ピクセル又は画像領域に対して該ピクセルの奥行きに依存する変位ベクトル501、503を発生する。即ち、ピクセルは、これらピクセルの視差に比例してシフトされ(実際には、隣接するピクセルの間のラインを変位及びラスター化することができる)、従って、シフトは一層遠い(更に背景の)画像オブジェクト507に対するよりも一層近い(更に前景の)画像オブジェクトに対して一層大きくなる。
結果として、異なる画像領域(異なる奥行きの画像オブジェクトに対応する)における異なるピクセルは、異なるようにシフトされ、その結果、遮蔽視角における潜在的なピクセルの重なり509及びピクセル間のギャップ511が生じる。上記ギャップは視角変更に続く遮蔽解除された画像に対応し、適切な単一レイヤ遮蔽解除アルゴリズムにより充填される。特に、近傍のピクセルが遮蔽解除ピクセルにコピーされるようなピクセル複製を利用することができる。
しかしながら、重なり領域509に対しては、両ピクセル値及び両奥行きレベルは維持される。このように、共通の視角に対する発生された修正画像特性マップは、転移されている画像特性マップの複数のピクセルに対応するピクセルに対する複数の画像特性値を含むことができる。特に、元の画像特性マップの別の画像オブジェクトが同じピクセルに変位されるような重なり領域に入る全ピクセルに対しては、複数の画像特性値を維持することができ。
上述した方法は、画像特性チャンネルの何れか又は全てに適用することができることが分かる。特に、遮蔽視角に対する画像、奥行きマップ、透明度マップ及び/又は画像オブジェクトマップを、上述した方法を用いて発生することができる。
全ての視角に対する画像特性マップが、当該遮蔽視角に転移されたなら、当該方法はステップ407に進み、該ステップでは上記遮蔽視角に対して遮蔽マップが発生される。この段階では、一群の(この場合は)3つの画像特性マップが、各画像特性チャンネルに対して形成され、その場合、全ての画像特性マップは同一の視角、即ち遮蔽視角を反映する。従って、これらは互いに直接的に重なり合い得、結果として、各ピクセルに対して選択すべき複数の値が生じる。次いで、遮蔽プロセッサ109は、関連する奥行き値に基づいて、何の値を選択するかに進む。
例えば、遮蔽画像は、各ピクセル位置に対して、ステップ401において発生された一群の画像における当該ピクセル位置の全ピクセル値からピクセル値を選択することにより発生される。選択される該ピクセル値は、ステップ401において発生された一群の奥行きマップに記憶された当該ピクセル位置に対する奥行き値に依存する。
特に、各ピクセル位置に対し、遮蔽プロセッサ109は、二番目に最も前の奥行き値に対応する画像特性値を選択することができる。このように、全ての奥行き値が同一のレベルを表すピクセル位置に対しては、如何なるピクセルを選択することもできる。この状況は、全ての元の視点が同一の情報を提供するような、例えば全ての視点が同一の前景又は背景オブジェクトを見えるようにさせる、状況に対応する。
しかしながら、異なる視覚が別の見えるオブジェクトを見えるようにさせる場合、この方法は、最も前景の画像オブジェクトではなく、これの背後の画像オブジェクトの値をとる遮蔽画像特性マップを生じさせる。かくして、該遮蔽画像特性マップは、前景画像を遮蔽解除するために使用することが可能な遮蔽データを含むことができる。
例えば、遮蔽視角が中央/第1視角と同一である例において、図6は、如何にして画像ピクセル601を3つのシフト/転移/平行移動された画像603、605から、発生される遮蔽画像609の対応する画像ピクセル607が第1視点から見える前景よりも背景を表すように選択することができるかを示している。このように、遮蔽画像609は、第1画像605に対して付加的背景情報及び遮蔽解除データを含むように発生される。更に、第1画像605及び遮蔽画像609は同一の視角に対応するから、これらはシーンのレイヤ3D表現を表す。
奥行きレベルは、これらの間の差が所与の値より小さい場合、選択の目的のために同一の奥行きレベルと見なすことができるか、又は代わりに又は付加的に奥行きレベルは選択ステップに対しては相対的に粗い量子化を使用することができることが分かる。
また、幾つかの実施例又は筋書きにおいては、遮蔽レイヤを第2、第3、第4等の最も前景の奥行きレベルを選択することにより発生することができることも分かる。確かに、上記方法を各反復において異なるレベルが選択されるようにして、及び各遮蔽レイヤにより繰り返すことにより複数の遮蔽レイヤを発生することもできる。
幾つかの実施例では、奥行きレベルの選択基準の結果、前記一群の転移された画像から複数の好適な画像特性値が利用可能になり得る。この場合、当該選択は他の要因又はパラメータを考慮に入れることができる。例えば、平行移動前の元の画像特性マップ内に存在する画像特性値を、当該平行移動処理において発生された画像特性値よりも優先的に選択することができる。例えば、元の画像ピクセル値を、ピクセル複製により発生された画像ピクセル値より優先して選択することができる。
図7は、第1画像に対する遮蔽画像特性マップを発生する方法の一例を示し、該遮蔽画像特性マップは第1画像において遮蔽される少なくとも幾つかの画像特性値を含む。該方法は、シーンを表す画像のための画像特性マップを視点に応じて発生することが可能なレンダリングアルゴリズムを使用する。
この方法はステップ701で開始し、該ステップにおいては、第1画像特性マップが第1視点に対して第1アルゴリズムを実行することにより発生される。
該方法はステップ703に続き、該ステップにおいては、第2画像特性マップが第2視点に対して上記第1アルゴリズムを実行することにより発生される。ステップ701及び/又は703は、更なる視点に対応する更なる画像特性マップに関して繰り返すことができることが分かる。
ステップ703にはステップ705が後続し、該ステップにおいては、第1画像及び第2画像に応答して遮蔽画像特性マップが発生される。該ステップ705は、特に、図4の方法を実行する。
次いで、上記の遮蔽画像特性マップは上記第1画像又は他の画像特性マップと組み合わされて、3D画像データの効率的な表現を行うことができる。
上記方法は、特に、例えば図1を参照して説明したもののようなプロセッサ又は計算プラットフォーム上で実行することができる。更に、上記方法は、ソフトウェアツールが三次元モデル化コンピュータプログラムを用いて使用されて、三次元シーンに関して遮蔽視点に対する遮蔽画像特性マップを発生するのを可能にすることができることが分かる。該遮蔽画像特性マップは、遮蔽視点からは遮蔽される少なくとも幾つかの画像特性値を有する。また、上記三次元モデル化コンピュータプログラムは、上記三次元シーンを表す画像に関する画像特性マップを視点の関数として発生するよう構成されたアルゴリズムを有する。特に、上記ソフトウェアツールは3Dモデル化ソフトウェアプログラム又はアプリケーションのためのソフトウェアプラグインとすることができ、特に、第1視点に対して上記アルゴリズムを実行することにより第1画像特性マップを発生するステップと、第1視点に対して第1のオフセットを有する第2視点に対して上記アルゴリズムを実行することにより第2画像特性マップを決定するステップと、第1及び第2画像に応答して遮蔽画像特性マップを発生するステップとを実施化するように構成することができる。
上記記載は、明瞭化のために、本発明の実施例を異なる機能ユニット及びプロセッサを参照して説明したことが分かる。しかしながら、異なる機能ユニット又はプロセッサの間の機能の如何なる適切な分散も、本発明を損なうことなく使用することができることは明らかであろう。例えば、特定の機能ユニットに対する参照は、厳格な論理的又は物理的構造若しくは構成を示すというよりは、記載された機能を提供するための適切な手段の参照とのみ見られるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの組み合わせを含む如何なる適切な形態でも実施化することができる。また、本発明は、オプションとして、少なくとも部分的に、1以上のデータプロセッサ及び/又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施化することができる。本発明の実施例における構成要素及び構成部品は、物理的に、機能的に及び論理的に、如何なる適切な態様でも実施化することができる。確かなことに、斯かる機能は、単一のユニット内で、複数のユニット内で、又は他の機能ユニットの一部として実施化することができる。そのようであるので、本発明は単一のユニット内で実施化することができるか、又は異なるユニット及びプロセッサ間で物理的に及び機能的に分散させることができる。
以上、本発明を幾つかの実施例に関連して説明したが、これは、ここで述べた特定の形態に限定されることを意図するものではない。むしろ、本発明の範囲は、添付請求項によってのみ限定されるものである。更に、フィーチャは特定の実施例に関連して説明されているように見えるが、当業者であれば、記載された実施例の種々のフィーチャは本発明に従い組み合わせることができると理解するであろう。尚、請求項において、有するなる用語は他の構成要素又はステップの存在を排除するものではない。
更に、個別に掲載されていても、複数の手段、構成要素又は方法のステップは、例えば単一のユニット又はプロセッサにより実施化することができる。更に、個々のフィーチャが異なる請求項に含まれていても、これらは有利に組み合わせることができ、異なる請求項に含まれることは、これらのフィーチャの組み合わせが可能でない及び/又は有利でないことを意味するものではない。また、一つのフィーチャが1つの分類の請求項に含まれることは、この分類への限定を意味するものではなく、むしろ、該フィーチャが他の請求項の分類にも、適宜、等しく適用可能であることを示す。更に、請求項におけるフィーチャの順序は、斯かるフィーチャが実行されるべき如何なる特定の順序を意味するものではなく、特に、方法の請求項における個別ステップの順序は、これらステップが該順序で実行されねばならないことを意味するものではない。むしろ、斯かるステップは如何なる適切な順序でも実行することができる。更に、単数形の参照は、複数を排除するものではない。従って、"一つの"、"或る"、"第1の"、"第2の"等は、複数を排除するものではない。また、請求項における符号は、明瞭化する例としてのみ設けられたもので、如何なる形でも当該請求項の範囲を限定するものとみなしてはならない。

Claims (15)

  1. 三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する方法であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該方法が、
    前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するアルゴリズムを設けるステップと、
    前記アルゴリズムを第1視点に対して実行することにより第1画像特性を発生するステップと、
    前記アルゴリズムを、前記第1視点に対し第1のオフセットを有する第2視点に対して実行することにより第2画像特性マップを決定するステップと、
    前記第1画像特性マップ及び前記第2画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップと、
    を有する方法。
  2. 前記遮蔽画像特性マップを発生するステップが、
    前記遮蔽視点に対応する修正された画像特性マップの群を、少なくとも前記第1画像特性マップ及び前記第2画像特性マップを前記遮蔽視点にシフトすることにより発生するステップと、
    前記遮蔽画像特性マップを、該遮蔽画像特性マップのピクセルに関する画像特性を前記修正された画像特性マップの群における対応するピクセルから選択することにより決定するステップと、
    を有する請求項1に記載の方法。
  3. 前記修正された画像特性マップの群における対応するピクセルからの選択が、これら対応するピクセルに関する奥行き値に応答するものである請求項2に記載の方法。
  4. 前記対応するピクセルからの選択が、前記遮蔽画像特性マップの第1ピクセルに対する画像特性を、該第1ピクセルに対する対応するピクセルに関して最も前側の奥行きに対応する奥行き値を有さない対応するピクセルに対する画像特性として選択するステップを有する請求項2に記載の方法。
  5. 前記対応するピクセルからの選択が、前記遮蔽画像特性マップの第1ピクセルに対する画像特性を、該第1ピクセルに対する対応するピクセルに関して2番目に最も前側の奥行きに対応する奥行き値を有する対応するピクセルに対する画像特性として選択するステップを有する請求項2に記載の方法。
  6. 前記修正された画像特性マップの群の少なくとも1つを発生するステップが、前記シフトに続いて、重なり合う画像領域に対応するピクセルに対する複数の画像特性値を発生するステップを有する請求項2に記載の方法。
  7. 前記遮蔽画像特性マップ、前記第1画像特性マップ及び前記第2画像特性マップにより表される画像特性が、
    画像明度、
    画像色、
    画像オブジェクト識別情報、
    透明度、及び
    奥行き、
    からなる群から選択される少なくとも1つの画像特性を有する請求項1に記載の方法。
  8. 前記第1視点に対して第2のオフセットを有する第3視点に対して前記アルゴリズムを実行することにより第3画像特性マップを決定するステップを更に有し、前記遮蔽画像特性マップを発生するステップが前記第3画像特性マップに更に応答するものである請求項1に記載の方法。
  9. 前記第1のオフセットが前記第2のオフセットとは実質的に反対側である請求項8に記載の方法。
  10. 前記遮蔽画像特性マップを有すると共に前記遮蔽視点に対する画像特性マップのみを含む画像信号を発生するステップを更に有する請求項1に記載の方法。
  11. 前記第1のオフセットが、スクリーンの奥行きにおけるオブジェクトに対して2°から10°までの範囲内の視角オフセットに対応する請求項1に記載の方法。
  12. 前記遮蔽画像特性マップ、前記第1画像特性マップ及び前記第2画像特性マップが画像である請求項1に記載の方法。
  13. 請求項1ないし12の何れか一項の方法を実行するコンピュータプログラム。
  14. 三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生するための三次元モデル化コンピュータプログラムと共に使用するソフトウェアツールであって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、前記三次元モデル化コンピュータプログラムは前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するアルゴリズムを有し、当該ソフトウェアツールが、
    前記アルゴリズムを第1視点に対して実行することにより第1画像特性を発生するステップと、
    前記アルゴリズムを、前記第1視点に対し第1のオフセットを有する第2視点に対して実行することにより第2画像特性マップを決定するステップと、
    前記第1画像特性マップ及び前記第2画像特性マップに応答して、前記遮蔽画像特性マップを発生するステップと、
    を実行するソフトウェアツール。
  15. 三次元シーンに関し遮蔽視点に対する遮蔽画像特性マップを発生する装置であって、前記遮蔽画像特性マップは前記遮蔽視点から遮蔽される少なくとも幾つかの画像特性値を有し、当該装置が、
    前記三次元シーンを表す画像に対する画像特性マップを視点の関数として発生するアルゴリズムを設ける手段と、
    前記アルゴリズムを第1視点に対して実行することにより第1画像特性を発生する手段と、
    前記アルゴリズムを、前記第1視点に対し第1のオフセットを有する第2視点に対して実行することにより第2画像特性マップを決定する手段と、
    前記第1画像特性マップ及び前記第2画像特性マップに応答して、前記遮蔽画像特性マップを発生する手段と、
    を有する装置。
JP2011532755A 2008-10-28 2009-10-21 画像特性のための遮蔽データの発生 Withdrawn JP2012507181A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08167688.4 2008-10-28
EP08167688 2008-10-28
PCT/IB2009/054638 WO2010049850A1 (en) 2008-10-28 2009-10-21 Generation of occlusion data for image properties

Publications (1)

Publication Number Publication Date
JP2012507181A true JP2012507181A (ja) 2012-03-22

Family

ID=41508282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011532755A Withdrawn JP2012507181A (ja) 2008-10-28 2009-10-21 画像特性のための遮蔽データの発生

Country Status (9)

Country Link
US (1) US20110205226A1 (ja)
EP (1) EP2342900A1 (ja)
JP (1) JP2012507181A (ja)
KR (1) KR20110090958A (ja)
CN (1) CN102204262A (ja)
BR (1) BRPI0914466A2 (ja)
RU (1) RU2011121550A (ja)
TW (1) TW201031177A (ja)
WO (1) WO2010049850A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016534466A (ja) * 2013-08-30 2016-11-04 クアルコム,インコーポレイテッド 拡張現実環境内の平面の広がりを判定するためのシステムおよび方法
US10991144B2 (en) 2016-07-29 2021-04-27 Sony Corporation Image processing apparatus and image processing method

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008224440A1 (en) * 2007-03-15 2008-09-18 Bioprotect Ltd. Soft tissue fixation devices
CN103299619A (zh) * 2010-09-14 2013-09-11 汤姆逊许可公司 遮挡数据的压缩方法和装置
EP2458877A1 (en) * 2010-11-26 2012-05-30 Thomson Licensing Occlusion layer extension
KR200465456Y1 (ko) * 2011-08-01 2013-02-21 최홍섭 차량용 후방카메라
AU2012306059A1 (en) 2011-09-08 2014-03-27 Paofit Holdings Pte Ltd System and method for visualizing synthetic objects withinreal-world video clip
WO2013049388A1 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
US8705071B2 (en) * 2012-04-03 2014-04-22 Infoprint Solutions Company Llc Bitmap compare mechanism
TWI485653B (zh) * 2012-06-28 2015-05-21 Imec Taiwan Co 成像系統及方法
US9866813B2 (en) 2013-07-05 2018-01-09 Dolby Laboratories Licensing Corporation Autostereo tapestry representation
RU2016118442A (ru) * 2013-10-14 2017-11-21 Конинклейке Филипс Н.В. Переотображение карты глубины для 3d визуализации
KR102156402B1 (ko) 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
US10423858B2 (en) 2014-07-21 2019-09-24 Ent. Services Development Corporation Lp Radial histogram matching
EP3192259A4 (en) * 2014-09-09 2018-05-16 Nokia Technologies Oy Stereo image recording and playback
CN105513112B (zh) * 2014-10-16 2018-11-16 北京畅游天下网络技术有限公司 图像处理方法和装置
WO2016087702A1 (en) * 2014-12-03 2016-06-09 Nokia Technologies Oy Digital video rendering
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
WO2017020806A1 (en) * 2015-07-31 2017-02-09 Versitech Limited A multi-overlay variable support and order kernel-based representation for image deformation and view synthesis
WO2017131735A1 (en) * 2016-01-29 2017-08-03 Hewlett Packard Enterprise Development Lp Image skew identification
EP3273686A1 (en) * 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN110800020B (zh) * 2017-07-28 2021-07-09 深圳配天智能技术研究院有限公司 一种图像信息获取方法、图像处理设备及计算机存储介质
WO2019077199A1 (en) * 2017-10-18 2019-04-25 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
US20220353530A1 (en) * 2021-04-29 2022-11-03 Active Theory Inc Method and System for Encoding a 3D Scene
US11682101B2 (en) 2021-04-30 2023-06-20 Mobeus Industries, Inc. Overlaying displayed digital content transmitted over a communication network via graphics processing circuitry using a frame buffer
US11475610B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
KR102571457B1 (ko) 2021-11-29 2023-08-28 (주)테슬라시스템 인공지능 학습용 오클루젼된 이미지 형성 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751927A (en) * 1991-03-26 1998-05-12 Wason; Thomas D. Method and apparatus for producing three dimensional displays on a two dimensional surface
US5973700A (en) * 1992-09-16 1999-10-26 Eastman Kodak Company Method and apparatus for optimizing the resolution of images which have an apparent depth
ZA962306B (en) * 1995-03-22 1996-09-27 Idt Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
US6784885B1 (en) * 1996-10-10 2004-08-31 Samsung Electronics Co., Ltd. Method and apparatus for three-dimensional parallax drawing
KR100239132B1 (ko) * 1996-10-10 2000-01-15 윤종용 3차원 시차 그리기 장치 및 방법
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP2006513502A (ja) * 2003-01-17 2006-04-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 完全な奥行きマップを得る方法
KR100505334B1 (ko) * 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
US7369139B2 (en) * 2003-11-20 2008-05-06 Honeywell International, Inc. Background rendering of images
US7555158B2 (en) * 2004-12-07 2009-06-30 Electronics And Telecommunications Research Institute Apparatus for recovering background in image sequence and method thereof
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
KR100866491B1 (ko) * 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
CN101690249B (zh) * 2007-06-26 2012-06-20 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、用于3d视频信号解码器的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016534466A (ja) * 2013-08-30 2016-11-04 クアルコム,インコーポレイテッド 拡張現実環境内の平面の広がりを判定するためのシステムおよび方法
US10991144B2 (en) 2016-07-29 2021-04-27 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
RU2011121550A (ru) 2012-12-10
WO2010049850A1 (en) 2010-05-06
TW201031177A (en) 2010-08-16
KR20110090958A (ko) 2011-08-10
EP2342900A1 (en) 2011-07-13
US20110205226A1 (en) 2011-08-25
CN102204262A (zh) 2011-09-28
BRPI0914466A2 (pt) 2015-10-27

Similar Documents

Publication Publication Date Title
JP2012507181A (ja) 画像特性のための遮蔽データの発生
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
EP2150065B1 (en) Method and system for video rendering, computer program product therefor
US9843776B2 (en) Multi-perspective stereoscopy from light fields
US8471898B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
CN103179416B (zh) 使用多层表现的图像处理方法和设备
US9445072B2 (en) Synthesizing views based on image domain warping
KR101960844B1 (ko) 영상 처리 장치 및 방법
US10095953B2 (en) Depth modification for display applications
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
JP4489610B2 (ja) 立体視可能な表示装置および方法
Ceulemans et al. Robust multiview synthesis for wide-baseline camera arrays
US9196080B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
US20180249145A1 (en) Reducing View Transitions Artifacts In Automultiscopic Displays
KR20210001254A (ko) 가상 시점 영상 생성 방법 및 장치
WO2012140397A2 (en) Three-dimensional display system
dos Anjos et al. A navigation paradigm driven classification for video-based rendering techniques
US10504265B2 (en) Methods, systems and tools for 3D animation
Shishido et al. Pseudo-Dolly-In Video Generation Combining 3D Modeling and Image Reconstruction
Jeong et al. Depth image‐based rendering for multiview generation
KR101336955B1 (ko) 다시점 영상 생성 방법 및 시스템
CN117635454A (zh) 多源光场融合渲染方法、装置及存储介质
Byalmarkova et al. Approaches in Creation of 3D Content for Autostereoscopic Displays
Le Feuvre et al. Graphics Composition for Multiview Displays
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130108