JP2011508557A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2011508557A5 JP2011508557A5 JP2010540199A JP2010540199A JP2011508557A5 JP 2011508557 A5 JP2011508557 A5 JP 2011508557A5 JP 2010540199 A JP2010540199 A JP 2010540199A JP 2010540199 A JP2010540199 A JP 2010540199A JP 2011508557 A5 JP2011508557 A5 JP 2011508557A5
- Authority
- JP
- Japan
- Prior art keywords
- image
- occlusion
- graphics
- graphics object
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims description 62
- 238000009877 rendering Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 24
- 230000000875 corresponding Effects 0.000 claims description 14
- 238000007906 compression Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001419 dependent Effects 0.000 claims description 2
- 239000000470 constituent Substances 0.000 description 18
- 239000000203 mixture Substances 0.000 description 18
- 239000002585 base Substances 0.000 description 14
- 230000003287 optical Effects 0.000 description 12
- 235000008469 Oxalis tuberosa Nutrition 0.000 description 8
- 240000000645 Oxalis tuberosa Species 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 4
- 210000002683 Foot Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 230000000295 complement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 229920002496 poly(ether sulfone) Polymers 0.000 description 3
- 229920003208 poly(ethylene sulfide) Polymers 0.000 description 3
- 239000003637 basic solution Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000026969 oncogene-induced senescence Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010019233 Headache Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 150000003271 galactooligosaccharides Chemical class 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Description
本発明は主に、基本画像の上にグラフィックスオブジェクトを重ね合わせることができる画像プロセッサに関する。該画像プロセッサは、例えば立体映像出力データを提供することができるBlu‐ray(登録商標)ディスク再生機器の形をとってもよい。本発明の他の態様は、立体映像レンダリングシステム、基本画像とグラフィックスオブジェクトを規定するデータの集合を処理する方法、及びプログラマブルプロセッサ用のコンピュータプログラムに関する。
拡張された映像体験は、映像を構成する基本画像又は基本画像のシーケンスの上にグラフィックスオブジェクトを重ね合わせることによって得られることができる。字幕の追加は、グラフィックスオブジェクトがテキストの形をとる基本的な例である。より高度な応用では、1つ以上のグラフィックスオブジェクトが、基本画像と概念的な関係を持ち得る図をあらわし得る。1つ以上のグラフィックスオブジェクトに基づいて映像にアニメーションを加えることもまた可能である。
拡張された映像体験を提供することができる、いわゆるBlu‐ray(登録商標)ディスク応用のための規格が開発されている。該規格は、エンコードされた形でグラフィックスオブジェクトの基本表現を与えるいわゆるグラフィックスオブジェクトセグメントを指定する。該規格はさらにいわゆる構成セグメントを指定する。構成セグメントは、該構成セグメントが関連するグラフィックスオブジェクトの所与の外観をあらわす。グラフィックスオブジェクトの基本表現は、この所与の外観を得るために処理される必要がある。この処理は、例えばトリミング、位置調整、カラーマッピングなどの動作を含み得る。グラフィックスコントローラは通常、関連する構成セグメントに基づいてこれらの動作を規定する。基本表現の処理から得られるグラフィックスオブジェクトは、通常はいわゆるグラフィックス平面に置かれる。そしてこのグラフィックス平面は、映像の画像に対応する映像平面上に重ね合わされる。従って映像平面は、その上にグラフィックスオブジェクトが重ね合わされる基本画像とみなされることができる。
願番US 2006/0294543で公開されている米国特許出願は背景技術を記載しており、それによれば、再生装置が映像ストリームとグラフィックスストリームを別々にデコードし、再生画像を作り出すために、得られる映像とグラフィックスを重ね合わせる。グラフィックスストリームはいわゆるPESパケットの配列であり、これらのパケットは、制御情報を持つPESパケットと、グラフィックスをあらわすグラフィックスデータを持つPESパケットという2つのタイプに分類されることができる。制御情報とグラフィックスデータの1つのペアは1つのグラフィックス表示を作り出す。再生装置は制御情報とグラフィックスデータを順に読み出し、制御情報をデコードし、またグラフィックスデータもデコードして、非圧縮グラフィックスを生成する。再生装置は、制御情報のデコード結果に従って所望の表示タイミングで非圧縮グラフィックスを表示する。
従って本発明の目的は、グラフィックスオブジェクトが基本画像に重なり合う画像の、満足のいく立体画像レンダリングを、比較的低コストで可能にする方法を提供することである。独立請求項は本発明の様々な態様を規定する。従属請求項は本発明を有利に実施するための追加の特徴を規定する。
本発明は以下の点を考慮する。基本画像の上にグラフィックスオブジェクトを重ね合わせることによって得られた画像が立体的な方法でレンダリングされると、遮蔽問題が生じ得る。画像を立体的な方法でレンダリングするためには、深さ情報が必要とされる。この深さ情報は、各オブジェクトが仮想観察者に対してとる各距離を示すが、多重ビューを生成するためにプロセッサによって使用されることができる。各ビューは特定の観察位置に対応し、これは他の観察位置とわずかに異なる。グラフィックスオブジェクトは基本画像の一部分を遮蔽する。遮蔽されている部分の少なくとも一部は、立体レンダリング用に生成される1つ以上のビューにおいて遮蔽が解除され得る(de‐occluded)。これは、プロセッサが上述の画像に基づいて多重ビューを生成する必要がある場合には問題を引き起こす。情報が欠けているのである。
遮蔽問題への基本的解決法は次の通りである。立体レンダリング用の多重ビューを生成するプロセッサは、グラフィックスオブジェクトが基本画像に重なり合う画像ではなく、基本画像を完全な形で与えられる。つまり、プロセッサは基本画像とグラフィックスオブジェクトだけでなく、関連する深さ情報も受け取る。従ってプロセッサは、正確に多重ビューを生成するために必要な情報全てを持つ。
しかしながら、上述の基本的解決法は比較的実施コストが高くなる可能性がある。関連プロセッサは好ましくは、多数の異なるタイプの映像機器に結合されることができる立体表示機器の一部を形成する。これは、立体表示機器と、それに結合する映像機器との間の接続が、基本画像だけでなく、グラフィックスオブジェクト、及びもしあれば、レンダリングされる必要がある他の視覚情報も伝達する必要があることを示唆する。該接続はこれら全ての情報を伝達するために比較的大きなバンド幅を持つことが必要になる。関連タイプの接続は標準化されている。標準化された接続は所与の最大バンド幅を持つ。この所与の最大バンド幅を超えるバンド幅が必要とされる場合は、複数の接続が必要になる。これは比較的コストがかかり、また面倒なことにもなり得る。
遮蔽問題はまた、いわゆる穴埋め技術によっても解決され得る。穴埋め技術は外挿に基づき得る。すなわち、ある画像における利用可能な視覚情報が、その画像において欠落ししている視覚情報を再構成するために使用される。別の例としては、グラフィックスオブジェクトが遮蔽する基本画像の部分は、同じ映像の前の画像若しくは後の画像、又はその両方に基づいて再構成され得る。映像は一般的に動いているオブジェクトを有する。従って、所与の画像において遮蔽される基本画像の部分は、その所与の画像に先行する画像若しくは後続する画像、又はその両方において少なくとも部分的に目に見える可能性がある。しかしながら、そうした穴埋め技術は典型的には複雑な処理を必要とし、従って実施コストが高い。
本発明によれば、画像プロセッサは基本画像とグラフィックスオブジェクトを規定するデータの集合を処理する。データの集合は、出力画像におけるグラフィックスオブジェクトの所与の外観を規定する構成データを有し、グラフィックスオブジェクトは基本画像の一部分に重なり合う。画像プロセッサは構成データに基づいて遮蔽指標を作るための遮蔽分析器を有する。遮蔽指標は、グラフィックスオブジェクトが出力画像において遮蔽するが、出力画像の立体レンダリングにおいて遮蔽が解除され得る、基本画像における領域を指定する。遮蔽データ生成器は、遮蔽指標と基本画像とに基づいて遮蔽画像を構成する。遮蔽画像は、遮蔽指標によって指定される領域に対応する基本画像の部分をあらわす。
例えばBlu‐ray(登録商標)ディスク応用では、構成データは前述の構成セグメントの形で利用可能である。構成セグメントは、どこで遮蔽が起こるかを決定することができる。さらに、その目的のために最初に生成される必要がある、関連グラフィックスオブジェクトを分析する必要が無い。どこで遮蔽が起こるかの表示を与えるためには、比較的単純であり得る、比較的少ない動作で十分である。この表示は、穴埋め技術を全く使用する必要なく、プロセッサが多重ビューを生成することを可能にする、基本画像における補完的視覚情報を特定するために使用されることができる。この補完的視覚情報は、グラフィックスオブジェクトが基本画像に重なり合う関連画像と一緒に、表示機器に送信されることができる。補完的視覚情報は、典型的には基本画像の比較的小さな部分のみをあらわすことになる。これは、基本画像がグラフィックスオブジェクトを重ね合わされる表示機器及び映像機器の間の接続のバンド幅に対する要件を緩和する。これらの理由のため、本発明は比較的低コストで、グラフィックスオブジェクトが基本画像に重なり合う画像の満足のいく立体レンダリングを可能にする。
本発明の一実施例は、個々の独立請求項に対応する個別の段落に記載される、以下の追加の特徴のうちの1つ以上を有利に有する。これらの追加の特徴の各々は、満足のいく立体画像レンダリングを比較的低コストで実現することに貢献する。
遮蔽分析器は、好ましくは構成データの改作物として遮蔽指標を与える。そして画像プロセッサは、構成データと遮蔽指標を同様の方法で処理するグラフィックスコントローラを有する。遮蔽指標の処理は、遮蔽データ生成器に対して遮蔽データ生成制御パラメータを与える。従って、グラフィックスコントローラは、グラフィックス構成と遮蔽データ生成という2つの目的のために使用される。これは、例えばBlu‐ray(登録商標)ディスク応用における既存のグラフィックスコントローラに基づくことができる、非常に効率的で、従って費用効果的な実施例を可能にする。
遮蔽分析器は好ましくは、グラフィックスオブジェクトが遮蔽する基本画像における領域を、グラフィックスオブジェクトの固定サイズの境界部分として規定する。
遮蔽分析器はまた、グラフィックスオブジェクトが遮蔽する基本画像における領域を、グラフィックスオブジェクトの可変サイズの境界部分として指定することもできる。境界部分は、グラフィックスオブジェクトと、グラフィックスオブジェクトが遮蔽する領域との深さの差を示す、深さ表示に基づくサイズを持つ。
遮蔽データ生成器は好ましくは、遮蔽指標と、基本画像に関連する深さマップとに基づいて遮蔽深さマップを構成する、遮蔽深さマップコンポーザを有する。遮蔽深さマップは、遮蔽指標によって規定される領域に対応する深さマップの部分をあらわす。
画像プロセッサは、遮蔽画像を出力画像に含めるためのバックエンドモジュールを有し得る。
バックエンドモジュールは出力画像にヘッダを組み込むことができる。ヘッダは、遮蔽画像が含まれている出力画像における領域を示すことができる。
詳細な説明は、図面を参照して、上記で要約された本発明と追加の特徴を説明する。
図1は、再生機器PLY及び表示機器DPLを有する立体映像システムVSYを図示する。再生機器PLYは例えばBlu‐ray(登録商標)ディスクプレーヤであってもよい。再生機器PLYは、例えばデジタルビジュアルインターフェース(DVI)又はハイディフィニションマルチメディアインターフェース(HDMI)など(両方とも示されていない)の、標準化された接続を介して表示機器DPLと通信する。表示機器DPLは自動立体式であってもよい。立体映像システムVSYはさらに、ユーザが再生機器PLY及び表示機器DPLを制御することを可能にする遠隔制御装置RCDを有してもよい。例えば、ユーザは立体映像システムVSYに、遠隔制御装置RCDを用いてそこからある項目を選択するようなメニューを表示させてもよい。
再生機器PLYは、光ディスクリーダODR、再生プロセッサPRP、表示インターフェースDIP、及びメインコントローラCTMを有する。再生機器PLYはさらに、ネットワークNWを介して遠隔サーバSRVと通信するためのネットワークインターフェースNIFを有してもよい。再生プロセッサPRPは適切なソフトウェアプログラムを搭載しているプログラマブルプロセッサの形をとってもよい。同じことが、メインコントローラCTM、表示インターフェースDIPの少なくとも一部、及びネットワークインターフェースNIFにも当てはまる。例えば再生プロセッサPRP及びメインコントローラCTMなどの様々な機能エンティティは、単一のプログラマブルプロセッサを用いて実装されてもよい。
表示機器DPLは、表示インターフェースDID、表示プロセッサPRD、表示コントローラCTD、及び立体映像レンダリングを可能にするスクリーンSCRを有する。表示プロセッサPRDは適切なソフトウェアプログラムを搭載しているプログラマブルプロセッサの形をとってもよい。同じことが、表示コントローラCTD、及び表示インターフェースDIDの少なくとも一部にも当てはまる。
スクリーンSCRは液晶(LCD)ディスプレイ及びレンチキュラレンズのシートを有し得る。レンチキュラレンズは、視聴者の左目と右目が異なる画素からの光を受信するように、ディスプレイから発する光を回折する。従って、ある画素のセットを用いて表示されるビューは左目の方へ向けられることができる。異なる画素のセットを用いて同時に表示される別のビューは右目の方へ向けられることができる。このような自動立体スクリーンは、特殊な眼鏡をかける必要なく、三次元視覚体験を提供する立体映像をユーザが見ることを可能にする。しかしながら、多重ビューをレンダリングするために解像度が犠牲にされる。従って立体画像は、例えば960×540画素など、比較的低い解像度をとり得る。
立体映像システムVSYは基本的に以下のように動作する。ユーザが、立体映像データを有するBlu‐ray(登録商標)ディスクを再生機器PLYに挿入したとする。初期段階において、メインコントローラCTMは光ディスクリーダODRに、光ディスク上に格納されているアプリケーションデータを読み出させる。メインコントローラCTMは、表示機器DPLを用いてユーザにメニューを提示するためにこのアプリケーションデータを使用する。メニューは例えば、グラフィックスアニメーションを含まない基本立体モードで、又はグラフィックスアニメーションを含む拡張立体モードで、所与のタイトルの再生を提案し得る。
ユーザが、光ディスク上にあるマルチメディアコンテンツの特殊なレンダリングである、拡張立体モードを選択するとする。これに反応して、メインコントローラCTMは、アプリケーションデータに含まれ、かつ拡張立体モードに関連する1つ以上の再生定義に基づいて、再生プロセッサPRPを適切に設定する。メインコントローラCTMは、ユーザが選択した特殊なレンダリングを確実にするためにさらなる動作を実行してもよい。
初期段階が完了すると、光ディスクリーダODRは、関心のあるマルチメディアコンテンツを有するディスクデータストリームDDSを提供する。初期段階で適切に設定されている再生プロセッサPRPは、ユーザが選択した特殊なレンダリングに対応する視聴覚データストリームAVDを得るためにディスクデータストリームDDSを処理する。視聴覚データストリームAVDは出力画像を構成し、これは例えば映像とグラフィックスなどの様々な異なるタイプのコンテンツの合成物であってもよい。加えて、再生プロセッサPRPは、表示機器DPLがこのデータストリームを正しく解釈するのを助けるために、視聴覚データストリームAVDに追加情報を含めてもよい。視聴覚データストリームAVDは、上述の表示インターフェースDIP,DID、及び、再生機器PLYと表示機器DPLそれぞれの該インターフェースDIP,DIDの間の接続CXを介して、表示機器DPLの表示プロセッサPRDに達する。
表示プロセッサPRDは、スクリーンSCRに対してドライバ信号DRSを作るために視聴覚データストリームAVDを処理する。より具体的には、表示プロセッサPRDは視聴覚データストリームAVDから視覚画像のシーケンスと深さマップのシーケンスを読み出す。視覚画像は二次元である。深さマップは特定の視覚画像に関連し、その視覚画像における各オブジェクトが仮想観察者に対してとる各距離についての情報を与える。つまり、深さマップは視覚画像における各領域に対する深さ情報を与える。深さマップのシーケンスは関連シーンの立体レンダリングを可能にし、これは三次元レンダリングとも称され得る。
深さマップは、視覚画像において、各値が特定の画素又は特定の画素クラスタに関連する、値の行列の形をとってもよい。画素又は画素クラスタは、典型的には特定オブジェクトの特定部分をあらわす。従って、関連画素又は関連画素クラスタに関連する深さマップからの値は、関連オブジェクトの関連部分が仮想観察者に対してとる距離をあらわす。該値がその距離を表現することができる様々な異なる方法がある。例えば、該値は関連距離を直接示してもよい。別の例としては、該値は左目ビュー及び右目ビューにおける関連画素に対する角度シフトの量を示してもよい。こうした値は一般にパララックス値又は視差値と称される。
深さマップはグレースケール値の行列である白黒画像としてあらわされ得る。グレースケール値は例えば8ビットを用いて表現され得る。通常の表記法においては、これはグレースケール値が0から255の範囲内に含まれることを意味する。0のグレースケール値は仮想観察者からの最大可能距離を示す。これは深さマップをあらわす白黒画像における最も暗い可能な画素に対応する。反対に、255のグレースケール値は仮想観察者からの最小可能距離を示す。これは深さマップをあらわす白黒画像における最も明るい可能画素に対応する。
図2は、表示プロセッサPRDが視聴覚データストリームAVDから読み出し得る、視覚画像VIとそれに関連する深さマップDMを図示する。視覚画像VIは、前に木がある家をあらわす。家と木は深さマップDMにおいても確認されることができる。より正確に言えば、木は、この木が仮想観察者に比較的近いことを示す白色表面を囲む輪郭を持つ。家は、この家が木よりも仮想観察者からさらに離れて位置することを示す灰色表面を囲む輪郭をもつ。深さマップDMにおける暗い領域は視覚画像における背景に対応する。任意の背景オブジェクトは仮想観察者から比較的遠く離れて位置する。
図3は、図2に図示された視覚画像VIと深さマップDMに基づいて表示プロセッサPRDが生成し得る、9個の異なるビューのセットMVSを図示する。各ビューは特定の観察位置から見られる家とその前にある木をあらわす。つまり、わずかに異なる9個の観察位置がある。木と仮想観察者の間の比較的わずかな距離のために、観察位置におけるわずかな変化は木の比較的大きな変位を引き起こす。対照的に、家は仮想観察者からより離れて位置するので、家はビュー全体を通して比較的わずかな程度まで動く。一般的に、表示プロセッサPRDは深さマップに基づいて2つの異なるビュー間のオブジェクトの適切な変位を決定する。オブジェクトが仮想観察者に近いほど、変位は大きくなる。いわば、視覚画像において奥深くに位置するオブジェクトは、比較的小さな変位を受けるか、又は同じ位置にとどまる可能性がある。従って、三次元体験は深さマップに基づいて作られることができる。
スクリーンSCRは前述の通り自動立体式であってもよく、レンチキュラレンズのシートを有する。その場合、表示プロセッサPRDは、レンチキュラレンズのシートに対して特定位置をとるスクリーンSCR上の特定の画素のセットに対して特定のビューが適用されることを確実にする。従って表示プロセッサPRDは、各ビューがいわば適切な方向に発せられることを確実にする。これは、視聴者がかけなければならない特殊な眼鏡を必要としない立体視覚体験を可能にする。
図2にあらわされた視覚画像VIにおいて、木は家の一部分を遮蔽している。図3にあらわされた9個のビューのセットMVSにおいて、遮蔽されている家の部分は、図2にあらわされた視覚画像に対応する中央のビューを除いて、部分的に目に見えるようになる。つまり、立体レンダリング用に生成されるビューは、立体レンダリングが基づく視覚画像には存在しない部分を有し得る。いわゆる穴埋め技術を用いて、視覚画像に存在する情報に基づいてこれらの欠落部分を適切に再構成することが可能である。しかしながら、穴埋め技術は部分的に遮蔽されているオブジェクトが仮想観察者から比較的離れている場合には不十分である可能性がある。
図4はBlu‐ray(登録商標)ディスク規格に従って動作することができる再生プロセッサPRPを図示する。再生プロセッサPRPは、フロントエンドモジュールFEM、グラフィックスプロセッサGPR、立体映像デコーダSVD、遮蔽データ生成器ODG、平面コンバイナPLC、及びバックエンドモジュールBEMといった様々な主要機能エンティティを有する。再生プロセッサPRPはさらに、図1に図示されたメインコントローラCTMと協働する内部コントローラを有してもよい。グラフィックスプロセッサGPRは適切なソフトウェアプログラムを搭載しているプログラマブルプロセッサの形をとってもよい。同じことが他の機能エンティティにも当てはまる。全ての機能エンティティは適切にプログラムされている単一プロセッサ上に統合されてもよい。
グラフィックスプロセッサGPRは、グラフィックスストリームプロセッサGSP、グラフィックスオブジェクトコンポーザGOC、構成バッファCB1、及びグラフィックスコントローラGCTといった様々な機能エンティティを有する。これらの機能エンティティ、というよりその同等物は、従来のBlu‐ray(登録商標)ディスク再生機器に見られることができる。図4に図示されたグラフィックスプロセッサGPRはさらに、次の機能エンティティ、すなわち遮蔽分析器OCA及び補助構成バッファCB2を有する。これらの機能エンティティは、従来のBlu‐ray(登録商標)ディスクグラフィックスプロセッサに既に存在するものに加えられるものとみなされることができる。遮蔽データ生成器ODGは、遮蔽画像コンポーザOIC及び遮蔽深さマップコンポーザODCという2つの機能エンティティを有する。
上記の機能エンティティのうちのいずれも、プログラマブルプロセッサに搭載されるソフトウェアプログラムを用いて実装され得る。こうしたソフトウェアベースの実装において、ソフトウェアプログラムはプログラマブルプロセッサに、関連機能エンティティに属する特定の動作を実行させる。例えば、適切にプログラムされる単一のプログラマブルプロセッサは、グラフィックスプロセッサGPRだけでなく遮蔽データ生成器ODGも実装し得る。いずれの機能エンティティも、処理ステップ又は一連の処理ステップとして同様にみなされることができることに留意すべきである。例えば、遮蔽分析器OCAは遮蔽分析ステップをあらわすことができる。機能エンティティは、説明を容易にするためにこれらがステップではなく物理的エンティティであるかのように記載されているに過ぎない。
再生プロセッサPRPは基本的に以下のように動作する。フロントエンドモジュールFEMが、多重化形式でディスクデータストリームDDSに存在する様々な異なるデータストリームを読み出すために、光ディスクリーダODRからディスクデータストリームDDSを処理する。そのために、フロントエンドモジュールFEMはエラーデコーディング及びデマルチプレキシングを含み得る様々な動作を実行する。従ってフロントエンドモジュールFEMは、Blu‐ray(登録商標)ディスク規格に従うグラフィックスデータストリームGDS、及び立体映像データストリームSVDSを読み出す。立体映像データストリームSVDSは、例えば視覚情報を伝えるデータストリームと深さ情報を伝える別のデータストリームとを有するデータストリームの多重送信であってもよい。
グラフィックスデータストリームGDSはいわゆるグラフィックスオブジェクトセグメントといわゆる構成セグメントを有する。グラフィックスオブジェクトセグメントはエンコードされた形でグラフィックスオブジェクトを持つ。Blu‐ray(登録商標)ディスク規格ではランレングスエンコーディングがグラフィックスオブジェクトに対して典型的に使用される。構成セグメントは、レンダリングの目的のために再生機器PLYにおいてグラフィックスオブジェクトがどのように処理されるべきかについての情報を有する。つまり、構成セグメントはいわゆるグラフィックス平面上にグラフィックスオブジェクトがどのようにあらわれるべきかを規定する。このレンダリングの目的のためのグラフィックス処理は、例えばトリミング、オブジェクト配置、及びカラーマッピングなどの動作を含み得る。従って、構成セグメントはグラフィックスオブジェクトセグメントに対するメタデータを構成する。メタデータは、データを解釈若しくは処理する、又はその両方を行うために使用され得る、該データについての情報を与えるようなデータである。Blu‐ray(登録商標)ディスクにおけるグラフィックスに関するさらなる情報は、番号WO 2005/006747及びWO 2005/004478で公開されている国際出願に見られることができる。
グラフィックスストリームプロセッサGSPはグラフィックスデータストリームGDSからグラフィックスオブジェクトセグメントを読み出し、これらのグラフィックスオブジェクトセグメントをデコードする。従って、グラフィックスストリームプロセッサGSPはデコードされたグラフィックスオブジェクトを作り出し、これらは典型的には一時的にバッファに格納される。グラフィックスオブジェクトコンポーザGOCは、典型的にはいわゆるタイムスタンプによって規定される適切な瞬間において、このバッファからデコードされたグラフィックスオブジェクトを受信する。従ってグラフィックスストリームプロセッサGSPは、図4に図示される通り、グラフィックスオブジェクトのシーケンスGOSをグラフィックスオブジェクトコンポーザGOCに適用する。
グラフィックスストリームプロセッサGSPはさらにグラフィックスデータストリームGDSに存在する構成セグメントCSを読み出す。これらの構成セグメントCSは図4に図示された構成バッファCB1に一時的に格納される。構成セグメントCSはさらに遮蔽分析器OCAに送信される。
グラフィックスコントローラGCTは、タイムスタンプによって規定されるタイミングスキームに従って構成バッファCB1から構成セグメントCSをフェッチする。グラフィックスオブジェクトコンポーザGOCが特定のデコードされたグラフィックスオブジェクトを受信しようとしているとする。このデコードされたグラフィックスオブジェクトには特定の構成セグメントが関連する。グラフィックスコントローラGCTは、グラフィックスオブジェクトコンポーザGOCがデコードされた関連グラフィックスオブジェクトを処理し始める前に、構成バッファCB1からこの構成セグメントをフェッチする。グラフィックスコントローラGCTは、グラフィックスオブジェクトコンポーザGOCに対してグラフィックス‐構成制御パラメータのセットPGを作るために、関連構成セグメントを解釈する。
グラフィックスオブジェクトコンポーザGOCはグラフィックス‐構成制御パラメータのセットPGに従って、デコードされたグラフィックスオブジェクトを処理する。グラフィックスオブジェクトコンポーザGOCは、例えばトリミング又はスケーリング、オブジェクト配置、及びカラールックアップテーブルに基づくカラーマッピングなどの様々な異なる動作を実行し得る。これらの動作は、デコードされたグラフィックスオブジェクトにグラフィックス平面上で所与の外観をとらせる。グラフィックスコントローラGCTがグラフィックス‐構成制御パラメータのセットPGに変換した構成セグメントが、この外観を規定する。グラフィックス平面は基本画像とみなされることができ、これは表示用の出力画像を得るために他の基本画像と組み合わされてもよい。このことは以下でより詳細に説明される。
立体映像デコーダSVDは、映像平面のシーケンスVPSと深さマップのシーケンスDMSを得るために立体映像データストリームSVDSをデコードする。映像平面は、光ディスク上に記録されている映像に属する基本画像とみなされることができる。従って映像平面のシーケンスVPSは関連映像をあらわす。深さマップは特定の映像平面に関連し、上述した通り、映像平面に存在するオブジェクトについての深さ情報を与える。つまり、深さマップにおける値は、関連映像平面における特定領域に関連し、この特定領域が仮想観察者に対してとる距離を示す。関連領域は、例えば単一画素又は画素クラスタを有し得る。
平面コンバイナPLCは、立体映像デコーダSVDから映像平面のシーケンスVPSを、グラフィックスプロセッサGPRからグラフィックス平面のシーケンスGPSを受信する。グラフィックス平面は特定の映像平面に関連する。平面コンバイナPLCはグラフィックス平面とそれに関連する映像平面を合成する。グラフィックス平面は通常、グラフィックスオブジェクトが最前面位置をとるように、映像平面の上に重ね合わされる。最前面位置は、グラフィックスオブジェクトに関連し、かつ仮想観察者に対する距離を示す深さ表示を用いて指定され得る。あるいは、グラフィックスオブジェクトはあらかじめ定められた固定深さを持ってもよい。オブジェクトを含まないグラフィックス平面における領域は透明であるとみなされることができる。従って、1つ以上のグラフィックスオブジェクトが重ね合わされている関連映像の画像に対応する視覚画像が得られる。従って平面コンバイナPLCは、映像平面のシーケンスVPSとグラフィックス平面のシーケンスGPSに応じて視覚画像のシーケンスVISを提供する。
視覚画像において最前面位置をとるグラフィックスオブジェクトは、通常、視覚画像が基づく映像平面に存在する1つ以上のオブジェクトを遮蔽する。例えば、図2に図示された家は映像平面に含まれるオブジェクトであり得る。同じ図に図示された木は、その映像平面の上に重ね合わされる、グラフィックス平面に含まれるグラフィックスオブジェクトであり得る。木は家の一部分を遮蔽し、これは図2及び図3を参照して前文で説明されたように立体レンダリングにおけるアーチファクトを生じさせ得る。
立体レンダリングアーチファクトは、グラフィックスオブジェクトが映像平面の一部分を遮蔽する時、比較的高い可視度、従って比較的高い妨害度を持つ可能性がある。これは、グラフィックスオブジェクトが典型的には仮想観察者に比較的近く、一方映像平面における1つ以上の遮蔽されるオブジェクトは典型的には仮想観察者から比較的遠く離れるためである。つまり、深さに比較的大きな差があることになる。そのような場合、前述の穴埋め技術を用いて前述のアーチファクトを軽減することは一般的に困難である。遮蔽分析器OCA、補助構成バッファCB2、及び遮蔽データ生成器ODGを含む、アーチファクトを防止する洗練された技術が以下で提示される。
遮蔽分析器OCAは、グラフィックスデータストリームGDSに存在する構成セグメントCSに基づいて遮蔽構成セグメントOCSを生成する。前文で説明した通り、構成セグメントは特定のグラフィックスオブジェクトに適用される。構成セグメントは、グラフィックスオブジェクトが視覚画像において占める領域を示す。典型的な場合として、グラフィックスオブジェクトが最前面位置をとるとする。するとグラフィックスオブジェクトによって占められる領域は遮蔽領域を構成する。構成セグメントはこの遮蔽領域を示す。遮蔽分析器OCAは、関連グラフィックスオブジェクトがあらわれることになる視覚画像に関連する遮蔽構成セグメントを生成するためにこの情報を使用する。随意的に、遮蔽分析器OCAは、もし利用可能であれば、遮蔽構成セグメントを生成するために深さ情報も使用し得る。遮蔽構成セグメントOCSは補助構成バッファCB2に一時的に格納される。
遮蔽構成セグメントは、構成セグメントの適合バージョンとみなされることができる。遮蔽構成セグメントは視覚画像における遮蔽領域を示す。遮蔽領域は関連グラフィックスオブジェクトが占める領域に対応し得る。遮蔽領域はまた、関連グラフィックスオブジェクトが占める領域の境界部分にも対応し得る。概念的には、境界部分は以下のように作られ得る。グラフィックスオブジェクトの輪郭から所与の距離において、関連領域内にいわばカッターが置かれる。カッターは所与の距離を保ちながら輪郭をたどる。境界部分は、グラフィックスオブジェクトの輪郭と、カッターがたどる経路との間に構成される。しかしながら、境界部分を作るために異なる技術が使用されてもよい。例えば境界部分は、遮蔽を補うために必要な実際の境界部分の丸め(rounding off)に対応する、固定サイズブロックで規定されてもよい。
境界部分は固定サイズをとってもよい。つまり、前述のカッターが置かれる所与の距離が固定されてもよく、又は境界部分を規定するブロックの数が固定されてもよい。境界部分はまた、関連グラフィックスオブジェクトと1つ以上の遮蔽されたオブジェクトとの深さの差を示す、深さ情報に依存するサイズをとってもよい。この深さにおける差が大きいほど、境界部分のサイズは大きくなるはずである。この最後のアプローチは、境界部分が固定サイズをとるアプローチと比較してより多くの計算量を要する。
実際には、固定サイズの境界部分は一般的に満足のいく結果をもたらす。これは立体表示が一般的に比較的低量の深さのみを再生することができるためである。さらに、視聴者は通常、比較的低量の深さしか快適な方法で経験することができない。比較的大きな深さ変動を伴う立体レンダリングは視聴者に頭痛を与え得る。従って境界部分は、表示技術若しくは人間生理学、又はその両方によって規定される、最大深さ変動に対応する固定サイズを与えられ得る。
グラフィックスコントローラGCTは、適用可能なタイミングスキームに従って補助構成バッファCB2に一時的に格納される遮蔽構成セグメントOCSをフェッチする。例えば、グラフィックスコントローラGCTは各グラフィックスオブジェクトに対して以下のスキームを適用し得る。グラフィックスコントローラGCTはまず、グラフィックス‐構成制御パラメータのセットPGをグラフィックスオブジェクトコンポーザGOCに適用するために、関連グラフィックスオブジェクトに属する構成セグメントをフェッチし、処理する。グラフィックスコントローラGCTは続いて、遮蔽分析器OCAが関連構成セグメントに基づいて生成した遮蔽構成セグメントをフェッチする。グラフィックスコントローラGCTは、構成セグメントが処理されたのと同様の方法で遮蔽構成セグメントを処理する。従って、グラフィックスコントローラGCTは遮蔽データ生成制御パラメータのセットPOを確立する。遮蔽データ生成制御パラメータのセットPOは、特定の視覚画像、すなわち関連するグラフィックスオブジェクトが現れることになる視覚画像に関連する。
遮蔽データ生成器ODGは遮蔽データ生成制御パラメータのセットPOを受信する。遮蔽データ生成制御パラメータのセットPOは、映像平面のシーケンスVPSにおける特定の映像平面、すなわち関連グラフィックスオブジェクトがあらわれることになる視覚画像を形成するために使用される映像平面に関連する。遮蔽データ生成制御パラメータのセットPOはさらに、特定の深さマップ、すなわち関連映像平面に関連する深さマップに関連する。遮蔽画像コンポーザOICは立体映像デコーダSVDから関連映像平面を得ることができる。関連映像平面を一時的に格納するためにバッファが使用され得る。同様の方法で、遮蔽深さマップコンポーザODCは立体映像デコーダSVDから関連深さマップを得ることができる。
遮蔽画像コンポーザOICは、関心映像平面と、グラフィックスコントローラGCTが提供する遮蔽データ生成制御パラメータのセットPOとに基づいて遮蔽画像を形成する。遮蔽画像は関心映像平面の選択された部分を有する。選択された部分は、関心遮蔽構成セグメントが示す遮蔽領域に対応する。前述の通り、遮蔽領域は、関連視覚画像において関連グラフィックスオブジェクトが占める領域の境界部分に対応し得る。つまり、この境界部分は関心映像平面の選択された部分を構成し得る。遮蔽画像コンポーザOICはいわば、関心映像平面から選択された部分を切り取り、遮蔽画像を得るためにその選択された部分を空白画像に貼り付け得る。
同様の方法で、遮蔽深さマップコンポーザODCは、関心深さマップと、遮蔽データ生成制御パラメータのセットPOとに基づいて遮蔽深さマップを形成する。遮蔽深さ画像は、映像平面の選択された部分に対応する深さマップの選択された部分を有する。遮蔽深さマップコンポーザODCはいわば、関心深さマップから選択された部分を切り取り、遮蔽深さマップを得るためにその選択された部分を空白深さマップに貼り付け得る。遮蔽構成セグメントと、これに由来する遮蔽データ生成制御パラメータのセットPOは、概念的には、関連映像平面と関連深さマップの特定部分を規定するステンシルとみなされ得、この特定部分はそれぞれ遮蔽画像と遮蔽深さマップを構成する。
遮蔽データ生成器ODGは遮蔽画像のシーケンスOISと遮蔽深さマップのシーケンスODSを提供する。これらのシーケンスは、表示機器DPLがアーチファクトの無い立体視覚体験を提供するのを助け得る。これは例えば図2及び図3に基づいて理解されることができる。遮蔽画像は、視覚画像において欠落しているが、立体レンダリング用の異なるビューの適切なセットを生成するために必要とされ得る部分を有する。遮蔽画像は、前文で説明された通り、好ましくは視覚画像における遮蔽領域の関連境界部分のみを有する。遮蔽深さマップは、それに関連する遮蔽画像にあらわされる欠落部分に関する深さ情報を提供する。
バックエンドモジュールBEMは、視覚画像のシーケンスVIS、深さマップのシーケンスDMS、遮蔽画像のシーケンスOIS、及び遮蔽深さマップのシーケンスODSに基づいて視聴覚データストリームAVDを提供する。視聴覚データストリームAVDは、図1に図示された接続CXを介して表示機器DPLに伝送される出力画像のシーケンスを有する。出力画像は、視覚画像、深さマップ、遮蔽画像、及び深さ遮蔽画像を有する。出力画像が、視覚情報、at情報、及び遮蔽情報を伝達し得る多数の異なる方法がある。
図5は、視聴覚データストリームAVD内の出力画像OIを図示する。出力画像OIは、左上クワドラント、右上クワドラント、左下クワドラント、及び右下クワドラントという4つのクワドラントを持つモザイク画像である。左上クワドラントは映像平面とグラフィックス平面の合成である視覚画像を有する。映像平面は城をあらわす。グラフィックス平面はグラスを満たしているボトルをあらわす。ボトルとグラスは個別のグラフィックスオブジェクトであってもよいし、又は単一のグラフィックスオブジェクトによってあらわされてもよい。いずれの場合にも、グラスを満たしているボトルが城の一部分を遮蔽するように、グラフィックス平面は映像平面の上に重ね合わされている。
右上クワドラントは深さマップを有する。深さマップはグラスを満たしているボトルに対応する白色領域を有する。この白色領域は、前述のオブジェクトが仮想観察者に比較的近いことを示す。深さマップの残りは、城などの映像平面におけるオブジェクトが仮想観察者から比較的離れていることを示す、灰色で暗い外観を持つ。
左下クワドラントは遮蔽画像を有する。簡略化と明確化のため、遮蔽画像は実質的に、視覚画像においてグラスを満たしているボトルによって遮蔽される映像平面の部分に対応する。要は、遮蔽画像は映像平面全体の代わりに映像平面の特定部分のみを有する。これはバンド幅を節約する。同様の所見は遮蔽深さマップを有する右下クワドラントにも当てはまる。遮蔽深さマップは、視覚画像において遮蔽されたオブジェクトについての深さ情報を与える、深さマップの特定部分のみを有する。
視覚画像は水平方向と垂直方向における出力画像の解像度の半分の解像度を持つことに留意すべきである。例えば、出力画像OIは例えば1920×1080画素の行列の形をとってもよい。つまり、出力画像OIは各々1920画素の1080ラインを有し得る。その場合、視覚画像は各々960画素の540ラインを有する。従って視覚画像は比較的低解像度を持つ。しかしながらこれは、立体表示機器が同程度の低解像度を持ち得るので、問題となる必要がない。前文で説明された通り、自動立体表示機器は、深さの影響を実現するサイズに多重ビューをレンダリングするために、事実上解像度を犠牲にする。立体表示機器DPLの解像度を超える解像度を持つ視覚画像は必要ない。
図4に図示されたバックエンドモジュールBEMは出力画像にヘッダを組み込み得る。ヘッダは、ビットシーケンス又はバイトシーケンスの形をとり得るが、出力画像においてどこに特定のタイプの情報が存在するかの指標となる。例えば、ヘッダは左上クワドラントが深さマップを有し、左クワドラントが遮蔽画像を有し、右下クワドラントが遮蔽深さマップを有することを示してもよい。ヘッダは、出力画像、というよりもその中に含まれる視覚画像を適切にレンダリングするために有用となり得るさらなる指標を与えてもよい。
ヘッダは以下の方法で出力画像に組み込まれ得る。画素のセットがヘッダからのビットのキャリアとして指定される。画素のセットは好ましくは、そのセットに属する任意の所与の画素のペア間に、そのセットに属さない出力画像における少なくとも1つの画素があるように指定される。言い換えれば、出力画像における2つの隣接画素がヘッダビットキャリアとしてはたらくことが防止される。該セットの一部を形成する各画素ごとに、所与の画素コンポーネントはヘッダからの1つ以上のビットに対応する値を割り当てられる。好ましくは、所与の画素コンポーネントの各ビットは、ヘッダからの特定ビットをあらわす同一の値を割り当てられる。こうした冗長性は、明度の変化、コントラスト設定、及び雑音に対してヘッダをより強固にする。
[結論]
図面を参照する上記の詳細な説明は、請求項において規定される本発明と追加の特徴の説明に過ぎない。本発明は多数の異なる方法で実施されることができる。これを説明するために、いくつかの代替案が簡潔に示される。
図面を参照する上記の詳細な説明は、請求項において規定される本発明と追加の特徴の説明に過ぎない。本発明は多数の異なる方法で実施されることができる。これを説明するために、いくつかの代替案が簡潔に示される。
本発明は立体画像レンダリングを含むいかなるタイプの製品又は方法においても有利に適用され得る。図5に図示されるように、光ディスクプレーヤを有する立体レンダリングシステムは一実施例に過ぎない。本発明は、例えばBlu‐ray(登録商標)ディスク規格に従ってデータストリームを受信及び処理する受信器などに等しく有利に適用され得る。こうしたデータストリームは、例えばインターネットなどのネットワークを介して受信器に到達し得る。データキャリアは必ずしも光ディスクの形である必要はない。例えば集積回路の形をとり得る書き込み可能メモリは、本発明に従って1つ以上の画像をエンコードすることによって得られたデータの集合を有することができる。本発明はいかなる特定タイプの立体表示機器も必要としない。詳細な説明において述べられた自動立体表示は一実施例に過ぎない。立体表示機器はまた、片方が左目ビュー又はそのシーケンスを左目に伝え、他方が右目ビュー又はそのシーケンスを右目に伝える眼鏡をかけることを視聴者に要求するタイプのものであってもよい。このような立体表示機器は左目ビューと右目ビューを交互に表示する。
本発明は多数の異なるタイプの用途に有利に適用され得る。上記の詳細な説明はBlu‐ray(登録商標)ディスク応用について述べている。しかしながら、本発明はDVD応用(DVDはデジタル多用途ディスクの頭字語である)にも適用され得る。DVD応用は、アニメーション、メニュー、及び字幕用のグラフィックスの重ね合わせのためのサブピクチャをサポートする。これらのサブピクチャはランレングスエンコードされたビットマップである。DVDプレーヤはこれらのランレングスエンコードされたビットマップをデコードし、この結果得られるサブピクチャを映像背景の上に重ね合わせ得る。この重ね合わせは、サブピクチャがどのように重ね合わされるべきかをあらわすいわゆるサブピクチャ制御コマンドにおいて指定される情報に従ってなされる。あるサブピクチャ制御コマンドは、そのサブピクチャが重ね合わされるべき映像背景上の領域を指定する矩形をあらわす。この情報はBlu‐ray(登録商標)ディスク応用内の構成セグメントに含まれる情報と類似している。
グラフィックスデータを再生機器が利用できるようにする多数の異なる方法がある。図5を参照して説明された実施例においては、グラフィックスデータは光ディスク上に視覚データと共に記録されている。しかしながら、再生機器PLYはネットワークNW及びネットワークインターフェースNIFを介して遠隔サーバSRVからグラフィックスデータを読み出してもよい。従って再生プロセッサPRPはネットワークインターフェースNIFからネットワークデータストリームNDSの形でグラフィックスデータを受信してもよい。光ディスク上にあるコンテンツの立体レンダリングモードを選択するユーザは、関連コンテンツに関連するグラフィックスデータのこうした検索を始動させてもよい。同様に光ディスク上にあるアプリケーションデータは、立体視を可能にする(stereo‐enabling)データが読み出されることができる特定のインターネットアドレス、又はこうしたアドレスのセットを示してもよい。検索は支払いを条件としてもよい。
遮蔽関連情報が表示機器に伝送されることができる多数の異なる方法がある。図5は遮蔽関連情報が出力画像に含まれる一実施例を図示する。つまり、全ての関連情報を表示機器DPLに伝送するために、接続CXの形で、単一のチャネルが使用される。別の実施例においては、遮蔽関連情報は別々のチャネルを介して表示機器に送信されてもよい。こうした別々のチャネルは、遮蔽関連情報が通常は少ないデータ量を要するため、比較的低いバンド幅を持ち得る。これは、本発明のおかげで、遮蔽関連情報が、アーチファクトの無い立体レンダリングの目的のために実際に必要とされるものに限られるためである。いかなるオーバーヘッドも防止されることができる。さらに、遮蔽関連情報がいわばさらに少ないデータ量に組み込まれることができるように、圧縮技術が使用されてもよい。別々のチャネルを介して遮蔽関連情報を送信することは利点があり、これは比較的低いバンド幅を持ち得、従って本発明のおかげで比較的低コストとなり得る。この利点は、映像伝送チャネルがバンド幅に関して完全に使用されることができるということであり、これは映像の高解像度立体レンダリングを可能にする。この点において、立体表示機器は近い将来にさらに高解像度を提供することが期待されることに留意すべきである。
遮蔽関連情報が出力画像に含まれる場合、そのようにする多数の方法がある。図5は、各々が異なるタイプの情報を持つ4つのクワドラントに出力画像が効果的に分割される一実施例を図示する。別の実施例においては、遮蔽関連情報は上部ラインのセットと下部ラインのセットに含まれてもよい。遮蔽関連情報を、出力画像において比較的少数のライン又は比較的小さな領域に組み込むために、圧縮技術が使用されてもよい。同じことが深さ関連情報にも当てはまる。さらに、視覚情報以外の出力画像における情報は、いわばランダム化され得る。ランダム化は、出力画像が誤使用により"そのまま"表示される場合に、こうした他の情報を目立たなくする。
表示プロセッサが特定フォーマットの出力画像を検出することができる多数の異なる方法がある。出力画像におけるヘッダは必要とされない。例えば、表示プロセッサは特定フォーマットに従って出力画像を解釈及び処理するようにプログラムされてもよい。さらに別の実施例においては、表示プロセッサは、立体視を可能にするデータが存在し得る1つ以上の特定領域を特定するために、出力画像又は一連の出力画像を解析し得る。こうした自動検出は統計分析に基づくことができる。すなわち、視覚データを有する領域と立体視を可能にするデータを有する領域の間には不連続性がある。さらに、この不連続性は各画像においてあらわれる。
図1及び図4において図示された実施例のいずれも、方法の形で実施されてもよい。つまり、これらの図面にあらわれる任意のブロックは、方法の1つ以上の特定のステップをあらわすことができる。例えば、図4においてGSPと指定されたブロックは、グラフィックスストリームプロセッサだけでなくグラフィックスストリームを処理するステップもあらわす。図1においてGCTと指定されたブロックは、グラフィックスコントローラだけでなくグラフィックス構成のための制御ステップもあらわす。図1においてOICと指定されたブロックは、遮蔽画像コンポーザだけでなく遮蔽画像構成ステップもあらわすなど、前述の図面の各々における各ブロックに対しても同様であり、これらはフローチャートとして解釈されることができる。
ハードウェア若しくはソフトウェア、又はその両方の項目を用いて機能を実装する多数の方法がある。この点において、図面は非常に図式的であり、各々は本発明のある考えられる実施形態のみをあらわす。従って、図面は異なる機能を異なるブロックとして示すが、これは決して、ハードウェア又はソフトウェアの単一の項目が複数の機能を実行することを除外するものではない。また、ハードウェア若しくはソフトウェア又はその両方の項目の組み合わせが1つの機能を実行することを除外するものでもない。図2に図示された機能エンティティのいずれも、ソフトウェア若しくはハードウェア、又はソフトウェア及びハードウェアの組み合わせを用いて実装され得ることに留意すべきである。例えば任意の機能エンティティは、ソフトウェアベースの実装であるプログラマブルプロセッサを適切にプログラムすることによって、又はハードウェアベースの実装である専用回路の形で、実装されてもよい。ハイブリッド実装は、1つ以上の適切にプログラムされたプロセッサと1つ以上の専用回路を含んでもよい。
前文でなされた見解は、図面を参照して、詳細な説明が本発明を限定するのではなく説明することを示す。添付の請求項の範囲内にある多数の代替案がある。請求項におけるいかなる参照符号も、その請求項を限定するものと解釈されるべきではない。"有する"という語は、請求項に列挙されたもの以外の他の要素又はステップの存在を除外しない。ある要素又はステップに先行する"a"又は"an"という語は、かかる要素又はステップの複数形の存在を除外しない。
Claims (11)
- 立体表示機器に接続されることにより、立体画像を表示するためのデータを前記立体表示機器に提供するための再生装置であって、
基本画像、当該基本画像の部分に重なり合うグラフィックスオブジェクト、及び、前記基本画像と前記グラフィックスオブジェクトとが合成された視覚画像において前記グラフィックスオブジェクトが前記基本画像のどこに重なり合うかを少なくとも規定する構成データを含むデータの集合を受信するためのフロントエンドモジュール、
前記データの集合を処理するための画像プロセッサであって、当該画像プロセッサは、
前記構成データに基づいて遮蔽指標を作るための遮蔽分析器であって、前記遮蔽指標は、前記グラフィックスオブジェクトが前記視覚画像において遮蔽するが、前記立体表示機器において前記視覚画像及び深さ情報に基づいて生成される他のビューにおいて遮蔽が解除され得る、前記基本画像における領域を指定する、遮蔽分析器と、
前記遮蔽指標と前記基本画像とに基づいて遮蔽画像を構成するための遮蔽データ生成器であって、前記遮蔽画像は前記遮蔽指標によって指定される前記領域に対応する前記基本画像の部分をあらわす、遮蔽データ生成器と、
を有し、
前記再生装置はさらに、
前記立体表示機器に送信されるべき出力画像の視聴覚データストリームを提供するためのバックエンドモジュールであって、前記視聴覚データストリームは、前記視覚画像、当該視覚画像に関する深さ情報及び前記遮蔽画像を有する、
再生装置。 - 前記バックエンドモジュールが、
別のチャネルにおいて前記遮蔽画像を提供すること、
前記遮蔽画像に圧縮技術を適用すること、
各々が異なるタイプの情報を伝達する4つのクワドラントに前記出力画像を分割すること、
前記遮蔽画像を上部ラインのセット又は下部ラインのセットに含めること、
のうちの少なくとも1つによって前記視聴覚データストリームを提供する、請求項1に記載の再生装置。 - 前記遮蔽分析器が、前記グラフィックスオブジェクトが遮蔽する前記基本画像における前記領域を、前記グラフィックスオブジェクトの固定サイズの境界部分として規定する、請求項1に記載の再生装置。
- 前記遮蔽分析器が、前記グラフィックスオブジェクトが遮蔽する前記基本画像における前記領域を、前記グラフィックスオブジェクトの可変サイズの境界部分として規定し、前記境界部分は、前記グラフィックスオブジェクトと前記グラフィックスオブジェクトが遮蔽する前記領域との深さの差を示す深さ表示に依存するサイズを持つ、請求項1に記載の再生装置。
- 前記遮蔽データ生成器が、前記遮蔽指標と、前記基本画像に関連する深さマップとに基づいて遮蔽深さマップを構成するための遮蔽深さマップコンポーザを有し、前記遮蔽深さマップは前記遮蔽指標によって規定される前記領域に対応する前記深さマップの部分をあらわす、請求項1に記載の再生装置。
- 前記遮蔽分析器が前記構成データに基づいて作られた前記遮蔽指標を与え、前記画像プロセッサが、
前記構成データと前記遮蔽指標を同様の方法で処理するためのグラフィックスコントローラであって、前記遮蔽指標の処理は前記遮蔽データ生成器に対して遮蔽データ生成制御パラメータを与える、グラフィックスコントローラを有する、請求項1に記載の再生装置。 - 前記バックエンドモジュールが前記出力画像にヘッダを組み込み、前記ヘッダは前記遮蔽画像が含まれている前記出力画像における領域を示す、請求項1に記載の画像プロセッサ。
- 前記データの集合が、前記グラフィックスオブジェクトをあらわす少なくとも1つのグラフィックスオブジェクトセグメントと、前記構成データを有する少なくとも1つの構成セグメントとを有する、Blu‐ray(登録商標)ディスク規格に従って動作する請求項1に記載の再生装置。
- 請求項1に記載の再生装置と、前記再生装置が与える前記出力画像を表示するための立体表示機器とを有する、立体映像レンダリングシステム。
- 再生装置から立体表示機器に視聴覚データストリームを提供する方法であって、
基本画像、当該基本画像の部分に重なり合うグラフィックスオブジェクト、及び、前記基本画像と前記グラフィックスオブジェクトとが合成された視覚画像において前記グラフィックスオブジェクトが前記基本画像のどこに重なり合うかを少なくとも規定する構成データを含むデータの集合を受信するステップと、
前記データの集合を処理するステップと、
を有し、前記処理するステップが、
前記構成データに基づいて遮蔽指標が作られる遮蔽分析ステップであって、前記遮蔽指標は、前記グラフィックスオブジェクトが前記視覚画像において遮蔽するが、前記立体表示機器において前記視覚画像及び深さ情報に基づいて生成される他のビューにおいて遮蔽が解除され得る、前記基本画像における領域を指定する、ステップと、
前記遮蔽指標と前記基本画像とに基づいて遮蔽画像が構成される遮蔽データ生成ステップであって、前記遮蔽画像は前記遮蔽指標によって指定される前記領域に対応する前記基本画像の部分をあらわす、ステップと、
を有し、
当該方法はさらに、前記立体表示機器に送信されるべき出力画像の視聴覚データストリームを提供するステップを有し、前記視聴覚データストリームは、前記視覚画像、当該視覚画像に関する深さ情報及び前記遮蔽画像を有する、方法。 - プログラマブルプロセッサにロードされて実行され、前記プログラマブルプロセッサに請求項10に記載の方法を実行させる、命令のセットを有する、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP07301742 | 2007-12-26 | ||
EP07301742.8 | 2007-12-26 | ||
PCT/IB2008/055450 WO2009083885A1 (en) | 2007-12-26 | 2008-12-19 | Image processor for overlaying a graphics object |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011508557A JP2011508557A (ja) | 2011-03-10 |
JP2011508557A5 true JP2011508557A5 (ja) | 2014-04-17 |
JP5697989B2 JP5697989B2 (ja) | 2015-04-08 |
Family
ID=40514039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010540199A Expired - Fee Related JP5697989B2 (ja) | 2007-12-26 | 2008-12-19 | グラフィックスオブジェクトを重ね合わせるための画像プロセッサ |
Country Status (6)
Country | Link |
---|---|
US (1) | US8717355B2 (ja) |
EP (1) | EP2235685B1 (ja) |
JP (1) | JP5697989B2 (ja) |
KR (1) | KR101512988B1 (ja) |
CN (1) | CN101911124B (ja) |
WO (1) | WO2009083885A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8269821B2 (en) * | 2009-01-27 | 2012-09-18 | EchoStar Technologies, L.L.C. | Systems and methods for providing closed captioning in three-dimensional imagery |
JP5627860B2 (ja) | 2009-04-27 | 2014-11-19 | 三菱電機株式会社 | 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置 |
GB2473282B (en) * | 2009-09-08 | 2011-10-12 | Nds Ltd | Recommended depth value |
CN102812711B (zh) * | 2010-02-25 | 2016-11-02 | 汤姆森特许公司 | 利用视差估计和视差时间变化限制的立体字幕加载 |
US9628755B2 (en) * | 2010-10-14 | 2017-04-18 | Microsoft Technology Licensing, Llc | Automatically tracking user movement in a video chat application |
US9237305B2 (en) * | 2010-10-18 | 2016-01-12 | Apple Inc. | Overlay for a video conferencing application |
WO2012055892A1 (en) * | 2010-10-29 | 2012-05-03 | Thomson Licensing | Method for generation of three-dimensional images encrusting a graphic object in the image and an associated display device |
US20120224037A1 (en) * | 2011-03-02 | 2012-09-06 | Sharp Laboratories Of America, Inc. | Reducing viewing discomfort for graphical elements |
US20120313932A1 (en) * | 2011-06-10 | 2012-12-13 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
KR101334187B1 (ko) | 2011-07-25 | 2013-12-02 | 삼성전자주식회사 | 다시점 렌더링 장치 및 방법 |
WO2013080071A1 (en) * | 2011-11-28 | 2013-06-06 | Koninklijke Philips Electronics N.V. | Image processing apparatus. |
ITTO20120413A1 (it) * | 2012-05-08 | 2013-11-09 | Sisvel Technology Srl | Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione. |
US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
CN107111598B (zh) * | 2014-12-19 | 2020-09-15 | 深圳市大疆创新科技有限公司 | 使用超声深度感测的光流成像系统以及方法 |
US9542722B2 (en) | 2014-12-29 | 2017-01-10 | Sony Corporation | Automatic scaling of objects based on depth map for image editing |
TWI526992B (zh) | 2015-01-21 | 2016-03-21 | 國立清華大學 | 擴充實境中基於深度攝影機之遮蔽效果優化方法 |
TWI595446B (zh) * | 2016-10-19 | 2017-08-11 | 國立清華大學 | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 |
CN110798677B (zh) * | 2018-08-01 | 2021-08-31 | Oppo广东移动通信有限公司 | 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备 |
CN109461199B (zh) | 2018-11-15 | 2022-12-30 | 腾讯科技(深圳)有限公司 | 画面渲染方法和装置、存储介质及电子装置 |
US10853994B1 (en) | 2019-05-23 | 2020-12-01 | Nvidia Corporation | Rendering scenes using a combination of raytracing and rasterization |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0434595A (ja) * | 1990-05-31 | 1992-02-05 | Fujitsu General Ltd | 画面合成方法 |
GB9611938D0 (en) * | 1996-06-07 | 1996-08-07 | Philips Electronics Nv | Stereo image generation |
US6057847A (en) * | 1996-12-20 | 2000-05-02 | Jenkins; Barry | System and method of image generation and encoding using primitive reprojection |
JPH11289555A (ja) * | 1998-04-02 | 1999-10-19 | Toshiba Corp | 立体映像表示装置 |
JP2002525988A (ja) * | 1998-09-24 | 2002-08-13 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | 意味的映像オブジェクト分割のためのシステムおよび方法 |
JP2000276613A (ja) * | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
IL136430A0 (en) * | 2000-05-29 | 2001-06-14 | Zviaguina Natalia | Ray tracing method and system for determining visible parts of surfaces of three-dimensional objects and their parameters of shading accounting for light and shadow volumes |
US6956566B2 (en) | 2002-05-23 | 2005-10-18 | Hewlett-Packard Development Company, L.P. | Streaming of images with depth for three-dimensional graphics |
US7558402B2 (en) | 2003-03-07 | 2009-07-07 | Siemens Medical Solutions Usa, Inc. | System and method for tracking a global shape of an object in motion |
KR100897466B1 (ko) * | 2003-06-30 | 2009-05-14 | 파나소닉 주식회사 | 기록매체, 재생장치, 기록방법, 재생방법 |
PL1940166T3 (pl) | 2003-07-03 | 2011-05-31 | Panasonic Corp | Nośnik zapisu, urządzenie odtwarzające, sposób zapisywania, układ scalony, program i sposób odtwarzania |
KR100882077B1 (ko) | 2003-07-11 | 2009-02-10 | 파나소닉 주식회사 | 디스플레이 세트의 병렬처리를 수행할 수 있는 재생장치, 기록매체, 기록방법, 재생방법, 및 컴퓨터 판독가능한 기록매체 |
FR2880455A1 (fr) | 2005-01-06 | 2006-07-07 | Thomson Licensing Sa | Methode et dispositif de segmentation d'une image |
WO2006095300A2 (en) | 2005-03-10 | 2006-09-14 | Koninklijke Philips Electronics N.V. | Method and device for displaying virtual objects |
JP2006325165A (ja) * | 2005-05-20 | 2006-11-30 | Excellead Technology:Kk | テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法 |
KR20080019719A (ko) | 2005-06-22 | 2008-03-04 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 데이터 콘텐트 표시방법 및 장치 |
US8879823B2 (en) * | 2005-06-23 | 2014-11-04 | Koninklijke Philips N.V. | Combined exchange of image and related data |
US9131279B2 (en) * | 2009-08-06 | 2015-09-08 | Qualcomm Incorporated | Preparing video data in accordance with a wireless display protocol |
WO2011049519A1 (en) * | 2009-10-20 | 2011-04-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for multi-view video compression |
CN103299619A (zh) * | 2010-09-14 | 2013-09-11 | 汤姆逊许可公司 | 遮挡数据的压缩方法和装置 |
US20120262545A1 (en) * | 2011-04-18 | 2012-10-18 | Paul Kerbiriou | Method for coding and decoding a 3d video signal and corresponding devices |
-
2008
- 2008-12-19 WO PCT/IB2008/055450 patent/WO2009083885A1/en active Application Filing
- 2008-12-19 JP JP2010540199A patent/JP5697989B2/ja not_active Expired - Fee Related
- 2008-12-19 CN CN2008801230126A patent/CN101911124B/zh not_active Expired - Fee Related
- 2008-12-19 KR KR1020107016425A patent/KR101512988B1/ko not_active IP Right Cessation
- 2008-12-19 US US12/809,078 patent/US8717355B2/en not_active Expired - Fee Related
- 2008-12-19 EP EP08867911.3A patent/EP2235685B1/en not_active Not-in-force
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5697989B2 (ja) | グラフィックスオブジェクトを重ね合わせるための画像プロセッサ | |
JP2011508557A5 (ja) | ||
JP5553310B2 (ja) | 立体的なレンダリングのための画像エンコード方法 | |
CN102257825B (zh) | 用于在3d视频上覆盖3d图形的方法和设备 | |
KR101749893B1 (ko) | 다목적 3―d 화상 포맷 | |
KR101716636B1 (ko) | 3d 비디오 및 보조 데이터의 결합 | |
AU2010250871B2 (en) | Entry points for 3D trickplay | |
KR20110129903A (ko) | 3d 시청자 메타데이터의 전송 | |
MX2011000785A (es) | Gestion de subtitulos en pantallas de imagen tridimensional. | |
KR20120093243A (ko) | 3d 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법 | |
KR20110113186A (ko) | 비디오 인터페이스를 통해 송신하고 3d 비디오 및 3d 오버레이들을 합성하기 위한 방법 및 시스템 | |
US20110085024A1 (en) | 3d multiview display | |
TW201215102A (en) | Signaling for multiview 3D video | |
WO2011114745A1 (ja) | 映像再生装置 | |
CN104471932A (zh) | 数字信号的处理装置和方法 |