JP5647242B2 - ３ｄビデオ及び補助データの結合 - Google Patents

３ｄビデオ及び補助データの結合 Download PDF

Info

Publication number
JP5647242B2
JP5647242B2 JP2012522289A JP2012522289A JP5647242B2 JP 5647242 B2 JP5647242 B2 JP 5647242B2 JP 2012522289 A JP2012522289 A JP 2012522289A JP 2012522289 A JP2012522289 A JP 2012522289A JP 5647242 B2 JP5647242 B2 JP 5647242B2
Authority
JP
Japan
Prior art keywords
depth
data
metadata
video
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012522289A
Other languages
English (en)
Other versions
JP2013500664A (ja
Inventor
フィリップ ステフェン ニュートン
フィリップ ステフェン ニュートン
デニス ダニエル ロベルトヨゼフ ボリオ
デニス ダニエル ロベルト ヨゼフ ボリオ
マルク ヨゼフ マリア クルフェルス
マルク ヨゼフ マリア クルフェルス
デル ハイデン ヒェラルドゥス ウィルヘルムス テオドルス ファン
デル ハイデン ヒェラルドゥス ウィルヘルムス テオドルス ファン
ウィルヘルムス ヘンドリクス アルフォヌス ブルルス
ウィルヘルムス ヘンドリクス アルフォヌス ブルルス
ハーン ウィーベ デ
ハーン ウィーベ デ
ヨハン コルネリス タルストラ
ヨハン コルネリス タルストラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP09166465A external-priority patent/EP2282550A1/en
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013500664A publication Critical patent/JP2013500664A/ja
Application granted granted Critical
Publication of JP5647242B2 publication Critical patent/JP5647242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、3D宛先装置に転送するための三次元[3D]ビデオ信号を提供する方法に関し、当該方法は、3Dビデオ・データに存在する深さを示す深さメタデータを決定し、深さメタデータは、ユーザに最も近いビデオ・データの深さを示す近接値を含む。
本発明はさらに、3Dソース装置、3D宛先装置、信号、記録担体及びコンピュータ・プログラム製品に関する。
本発明は、3D表示装置で、字幕、ロゴ又は更なる3D画像データのような補助データと組み合わせて3Dビデオ・データをレンダリングする分野に関する。
2Dビデオ・データを発生させるための装置が知られている(例えばビデオ・サーバ、放送装置又はオーサリング装置)。現在、三次元(3D)画像データを提供するための3D拡張装置が提案されている。同様に、光学ディスク(例えばブルーレイ（登録商標）・ディスク; BD)のためのプレーヤー又は受信されたデジタル・ビデオ信号をレンダリングするセットトップボックスのような表示3Dビデオ・データをレンダリングするための宛先装置が提案されている。宛先装置は、TVセット又はモニタのような表示装置に結合される。ビデオ・データは、ソース装置から適切なインタフェース(好ましくはHDMIのような高速デジタル・インタフェース)を介して転送される。3Dディスプレイが宛先装置と一体化されることもできる(例えば受信セクション及び3Dディスプレイを有するテレビ(TV))。
3Dコンテンツ(例えば3D動画又はTV放送)のために、付加的な補助データが、画像データと組み合わせて表示されることができる(例えば字幕、ロゴ、ゲーム・スコア、金融ニュース又は他のアナウンス若しくはニュースのためのチッカー・テープ)。
文献WO2008/115222は、テキストを三次元コンテンツと組み合わせるシステムを述べる。このシステムは、3Dコンテンツ中の最も近い深さ値と同じレベルにテキストを挿入する。3Dコンテンツの１つの例は、二次元画像及び関連する深さマップである。この場合には、挿入されるテキストの深さ値は、所与の深さマップの最も近い深さ値と一致するように調整される。3Dコンテンツの他の例は、複数の二次元画像及び関連する深さマップである。この場合には、挿入されるテキストの深さ値は、所与の深さマップの最も近い深さ値と一致するように連続的に調整される。3Dコンテンツの他の例は、右目ビュー及び左目ビューを有する立体視コンテンツである。この場合には、左目ビュー及び右目ビューのうちの一方の中のテキストは、立体画像中の最も近い視差値と一致するようにシフトされる。3Dコンテンツのさらに他の例は、複数の右目ビュー及び左目ビューを持つ立体視コンテンツである。この場合には、左目ビュー又は右目ビュー中のテキストは、立体画像中の最も近い深さ値と一致するように連続的にシフトされる。結果として、このシステムは、3Dコンテンツと組み合わせられたテキストを生成し、テキストは、観察者によって観察されるときに、3Dコンテンツにおける3D効果を妨げず、視覚疲労を引き起こさない。
文献WO2008/115222は、補助グラフィカル・データは画像データの最も近い部分の面に表示されるべきであると述べる。限られた処理リソースを持つ宛先装置において補助データが3Dビデオ・データと組み合わせられる必要がある場合に、問題が生じる。3Dビデオ・ストリームから最も近い深さ値を取り出すには、深さ情報を処理することを必要とする。特に、例えば左ビュー及び右ビューを含むマルチビュー3Dビデオ・ストリームでは、最も近い深さ、又はそれに対応する視差値を検出することは、相当な処理を必要とする。
より都合のよい態様で補助データ及び3Dビデオ・コンテンツを組み合わせるシステムを提供することが本発明の目的である。
この目的のために、本発明の第１の態様によれば、冒頭の段落に記載の方法は、
3Dビデオ・データを含む3Dビデオ信号を生成し、
3Dビデオ信号中に深さメタデータを含めて、
3D宛先装置が、
深さメタデータを読み出し、
補助データを提供し、及び
3Dビデオ・データと組み合わせて補助データを表示するために読み出されたメタデータに依存して補助深さに補助データを配置することを可能にする。
この目的のために、本発明の第２の態様によれば、3D宛先装置に転送するための三次元[3D]ビデオ信号を提供するための3Dソース装置は、
3Dビデオ・データに存在する深さを示す深さメタデータを決定し、深さメタデータは、ユーザに最も近いビデオ・データの深さを示す近接値を含み、
3Dビデオ・データを含む3Dビデオ信号を生成し、及び
3Dビデオ信号中に深さメタデータを含めて、
3D宛先装置が、
深さメタデータを読み出し、
補助データを提供し、及び
3Dビデオ・データと組み合わせて補助データを表示するために読み出されたメタデータに依存して補助深さに補助データを配置する、
ことを可能にするための処理手段を有する。
この目的のために、本発明のさらに別の態様では、三次元[3D]ビデオ信号を受信するための3D宛先装置は、3Dビデオ・データ、及び、3Dビデオ・データに存在する深さを示す深さメタデータであって、ユーザに最も近いビデオ・データの深さを示す近接値を含む深さメタデータを含む3Dビデオ信号を受信するための受信手段、
並びに、
3Dビデオ信号から深さメタデータを読み出し、
補助データを提供し、及び
3Dビデオ・データと組み合わせて補助データを表示するために読み出されたメタデータに依存して補助深さに補助データを配置する、
ための処理手段を有する。
この目的のために、本発明のさらに別の態様では、3Dビデオ・データを3D宛先装置へと転送するための三次元[3D]ビデオ信号は、3Dビデオ・データ、及び、3Dビデオ・データ中に存在する深さを示す深さメタデータであって、ユーザに最も近いビデオ・データの深さを示す近接値を含む深さメタデータを有し、3D宛先装置が、
深さメタデータを読み出し、
補助データを提供し、及び
3Dビデオ・データと組み合わせて補助データを表示するために読み出されたメタデータに依存して補助深さに補助データを配置することを可能にする。
これらの方策は、ソースにおいて、3Dビデオ・データ中に存在する深さ値を決定すること、例えば、左/右3Dフォーマットにおいて左及び右ビューから視差値を計算すること、2D+深さストリームから深さデータを処理すること、又は、任意の他の3D画像フォーマットからそのような深さ値を導き出すという効果がある。深さメタデータは、3Dビデオ信号中にその後含まれる。長所として、宛先装置において、任意の補助データは、3Dビデオ・データと組み合わせられることができ、前記最も近いビデオ・データによって補助データを隠すこと及び/又は補助データの境界における効果を妨害することが回避されるように、深さメタデータに基づいて深さ方向に配置されることができる。なお、そのような妨害効果は、補助データが、より近い物体より遠くに配置されるが依然として表示される場合に発生する。特に、補助データはソース装置において利用可能である必要はなく、宛先装置において動的に提供され、宛先装置が、深さメタデータを導き出すための相当な処理リソースを必要とすることなく適切な深さに補助データを配置することによって、組み合わされた3Dビデオ信号を生成する。
本発明はさらに以下の認識に基づく。従来技術文献は、3Dビデオ・ソース・システムにおいて画像中の最も近い要素の前の深さにテキストを配置することを述べる。しかしながら、補助データがソースにおいて利用可能でない場合がある。従来の技術に基づいて宛先装置において補助データを配置することは、相当な処理を必要とする。そのうえ、メニューのような動的な補助データ又はゲーム・キャラクタのような生成された補助グラフィカル・オブジェクトを表示するために、3Dビデオ・データの適切な部分が、深さメタデータに基づいて選択されることができる（例えば、観察者に近くない近接値を持つ期間）。そのような位置決めは、テキスト又はオブジェクトを観察者から遠ざける。最終的に、システムは、3Dビデオの作成者が深さメタデータを設定することを可能にして、レンダリング装置で追加される任意の補助データの位置決めに影響を及ぼす。
実施の形態において、深さメタデータは、3D宛先装置が、近接値よりユーザから遠い補助深さを設定して、補助深さよりユーザから離れた深さに前記最近接ビデオ・データをシフトするために、ユーザから離れる方向に3Dビデオ・データにシフトを適用することを可能にするために、ユーザから最も遠い3Dビデオ・データ中に存在する深さを示す遠隔値を有し、前記シフトは、遠隔値に基づいて最大化される。効果は、三次元ビデオ信号が、遠隔値に基づく深さ方向のシフトによって(観察者から離れて)後方に入力三次元ビデオ信号をシフトすることによって適応されることである。したがって、深さの範囲は、シフトされた三次元ビデオの前で深さ方向に補助データを配置するために自由にされる。
実施の形態において、近接値は視差値である。効果は、宛先装置が、最も近いビデオ・データの視差値を知って、視差値を用いることにより、ビデオの前に補助データを容易に配置することができることである。宛先装置の実施の形態において、補助データが二次元[2D]データであり、近接値が視差値である場合、処理手段は、2D補助データに、視差値に基づく少なくとも１つの水平シフトを適用することによって、少なくとも左補助画像及び右補助画像を生成するように準備される。有利には、左ビューをシフトすることによって右ビューを生成するために直接用いられるか、又は、左及び右ビューを生成するために左右に視差値の50%でビューをシフトする。
実施の形態において、3Dビデオ信号は、事前に決められた規格による復号情報を伝達するために用意される符号化されたビデオ・データ・ストリームを有し、3Dビデオ信号中に深さメタデータを含めることは、
ユーザ・データ・メッセージ、
通知基本ストリーム情報[SEI]メッセージ、
エントリー・ポイント・テーブル、
XMLベースの記述、
のうちの少なくとも１つの中に深さメタデータを含めることを含む。効果は、付加的な深さメタデータが、事前に決められた規格による制御メッセージ又はパラメータを拡張することによって含まれることである。有利には、改善された符号化ビデオ・ストリームは、深さメタデータを効果的に転送しつつ、既存の事前に決められた規格と互換性がある。
本発明の方法、3D装置及び信号の更なる好ましい実施の形態は、添付の請求の範囲において与えられ、その開示は本明細書に参照として組み込まれる。
本発明のこれらの及び他の態様は、以下の詳細な説明及び添付の図面において一例として記載される実施の形態から明らかであり、それらを参照して説明される。
視差を定めるいくつかの一般的なコンセプト及びパラメータを示す図。 三次元入力信号の視差ヒストグラムを示す図。 三次元入力信号及び三次元オーバレイの更なる視差ヒストグラムを示す図。 本発明によるステレオ入力対の右ビュー画像の適応を示す図。 本発明による方法を示す図。 本発明によるシステムを示す図。 本発明による更なるシステムを示す図。 3D画像データを表示するシステムを示す図。 プライベート・ユーザ・データSEIメッセージ中の視差/深さメタデータを示す図。 3Dビデオ信号中の深さメタデータのデータ構造を示す図。 記録担体上の3Dビデオ信号中の深さメタデータのためのデータ構造を示す図。 深さメタデータを伝達するメタデータ・フィールドのフォーマットを示す図。 視差データを伝達するメタデータ・フィールドのフォーマットを示す図。
図において、既に述べられた要素に対応する要素は同じ参照符号を持つ。
なお、本発明は、深さ範囲を持つ任意のタイプの三次元ディスプレイのために用いられることができる。3Dディスプレイのためのビデオ・データは、電子的な(通常はデジタルの)データとして利用可能であることが想定される。本発明は、そのような画像データに関し、デジタル領域で画像データを処理する。
3D画像がフォーマットされて転送されることができる多くの異なる態様が存在し、3Dビデオ・フォーマットと呼ばれる。いくつかのフォーマットは、さらにステレオ情報を伝達するために2Dチャネルを用いることに基づく。例えば、左及び右のビューは、インタレースされるか、又は、サイド・バイ・サイドで及び上下に配置されることができる。これらの方法は、ステレオ情報を伝達するために、解像度を犠牲にする。他のオプションは色を犠牲にすることであり、このアプローチはアナグラフ・ステレオと呼ばれる。アナグラフ・ステレオは、補色で２つの別のオーバレイされた画像を表示することに基づくスペクトル多重化を用いる。着色したフィルタを有する眼鏡を用いることにより、各々の目は、その目の前のフィルタと同じ色の画像のみを見る。したがって、例えば、右目は赤の画像のみを見て、左目は緑の画像のみを見る。
異なる3Dフォーマットは、2D画像、及び、2D画像中のオブジェクトの深さに関する情報を伝達する付加的な深さ画像（いわゆる深さマップ）を用いた２つのビューに基づく。画像+深さと呼ばれるフォーマットは、それがいわゆる「深さ」又は視差マップと2D画像との組み合わせであるという点で異なる。これは、グレースケール画像であり、それによって、ピクセルのグレースケール値は、関連する2D画像中の対応するピクセルの視差(又は、深さマップの場合には深さ)の量を示す。表示装置は、入力としての2D画像を利用して追加のビューを計算するために視差、深さ又は像差マップを用いる。これは、様々な態様で行われることができ、最も単純な形態では、それは、それらのピクセルに関連する視差値に依存して左に又は右にピクセルをシフトする問題である。Christoph Fehnによる論文"Depth image based rendering, compression and transmission for a new approach on 3D TV"は、この技術の優れた概要を与える（http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdfを参照）。
図1は、視差を定めるいくつかの一般的なコンセプト及びパラメータを示す。図1は、二重矢印Eの端に位置して、目距離Eだけ離れて間隔を置いた２つの視点を示す。観察距離Zに、点線によって表現されるスクリーンSが位置し、三次元情報を表示するために用いられる。あるいは、実際にはそのようなスクリーンは、例えば、それぞれの視点のための適切な画像情報を適切なアイウェアを着用している観察者の目に提供する時間又はスペクトラム・シーケンシャル・ディスプレイであることができる。ここでは、スクリーンSはゼロ視差の所に配置され、Wはスクリーンの幅を示す。N(near)は、スクリーンSの前で知覚される最大の深さを表す。同様に、F(far)は、スクリーンSの後方で知覚される最大の深さを表す。
ラインdNは、スクリーンSの前のNの所に位置するオブジェクトの知覚される視差を表し、ここで視差値dNは負であり、交差非対応とも呼ばれ、
dN = N E/ (Z-N) [1]
として表現されることができる。
ラインdFは、スクリーンSの後方でFの所に位置するオブジェクトの知覚される視差を表し、ここで視差値dFは正であり、非交差非対応とも呼ばれ、
dF = F E / (Z+F) [2]
として表現されることができる。
実際には、最大の視差は、快適な表示を可能にするために、目距離E以下であるべきである。実際には、最大の視差は、好ましくは、人々の間での目距離の変動を許容するために、平均的な目距離E以下の値に設定される。
なお、最大の正のスクリーン・パララックス(すなわち最大の正の視差に対応するピクセルの数)は、スクリーン幅W及びスクリーンSの解像度によって決まる。
図2Aは、三次元入力信号の視差ヒストグラム205を示す。ヒストグラム205は、入力三次元信号に基づいて、すなわち三次元入力信号の空間領域全体に基づいて決定される。あるいは、視差ヒストグラムは、三次元入力信号の空間領域全体の代表標本に対して編集されることができる。
図2Aにおいて、d軸に沿った最も近い視差値は位置Cであり、負の視差を持つ。最も遠い視差値はd軸に沿った位置Bであり、正の視差を持つ。ヒストグラム205に基づいて、本発明による方法に用いられる遠隔視差推定値は位置Bに対応する。
ヒストグラム205は、観察者から離れて三次元入力の視差範囲をシフトする（ヒストグラムを右に移動させる）ためのヘッドルーム215が視差範囲内で利用可能であることを示す。
それぞれのビュー中の特定の空間領域内にオーバレイが配置される必要がある状況を考慮する。図2Aはさらに、重要な空間領域における入力された三次元信号の視差ヒストグラムを示す。この空間領域のための三次元入力信号のヒストグラムは太い破線205'によって示される。ヒストグラム205'に基づくと、この空間領域にとって最も小さい視差値を示す近視差推定値は位置Aに対応する。なお、この特定の空間領域がより小さい(すなわち、さらに負の)視差値を含まないので、オーバレイの配置のための相当なヘッドルーム210が空間領域中に既に存在する。
ここで、オーバレイの配置のための空間領域は、一般的に、ある輪郭によって定められるブロック又はセグメントであり、よって、上述のような全体としてビューのための視差推定値を決定するために用いられるサンプルポイントと、明らかに異なる。
オーバレイの配置のために空間領域中に既に相当なヘッドルームが存在するが、視差シフトDSによって観察者から離れるように入力された三次元ビデオ信号の視差範囲をシフトすることによって、更なるヘッドルームを生成することが可能である（ここでDS < E-B）。厳密に必要という訳ではないが、さまざまなユーザの異なる目距離に対応するためにマージン215'によって図2Bに示されるようにマージン(E-B) - DSを維持することが望ましい。結果として、本発明は、オーバレイの配置のために視差範囲中にさらなる利得を提供する。
ヒストグラム220は、オーバレイの視差ヒストグラムを示し、オーバレイはこの空間領域中に全体に配置されるので、このヒストグラムはさらに画像全体にわたるオーバレイのヒストグラムである。視差シフトの結果として、字幕のようなオーバレイ情報がゼロ視差面に又はその近傍に配置されることが可能であり、オーバレイ観察の快適性を改善する。
上で示されるように、遠隔及び近接視差推定値は、入力された三次元ビデオ信号によって提供される視差ヒストグラム情報に基づいて決定されることができる。あるいは、遠隔及び近接視差推定値は、当業者に知られているアルゴリズムを用いて入力された三次元ビデオ信号から導き出されることができる。そのようなアルゴリズムの例は、"Dense disparity estimation from feature correspondences" by Konrad, et al, IS&T/SPIE Symposium on Electronic Imaging Stereoscopic Displays and Virtual Reality Syst., Jan. 23-28, 2000, San Jose, CA, USAに示される。
図3は、本発明によって提案されるように視差をシフトするプロセスを示す。左側には、ステレオ入力ビデオ信号からの画像ペアLV1及びRV1が示される。画像は、それぞれ画像LV1及びRV1において、ゼロ視差に配置されるグレーのブロック310及び310'並びに負の視差でブロックの前に配置される白いディスク305及び305'を示す。
グレーのブロック310及び310'の端の微細な垂直破線から分かるように、左及び右画像において同じ位置で配置されるので、矩形はゼロ視差を持つ。
ディスク305及び305'は負のスクリーン・パララックスを持ち、すなわち、右画像RV1において、ディスク305'は、左画像LV1中のディスク305の位置の左にある。結果として、それはディスプレイの前で視覚化される。
後方にシーンをシフトするために、我々は、RV1'を得るために右にRV1をシフトする。RV1'をLV1と比べて、ディスク305'はゼロ視差を持ち、そして矩形は正の視差を持つ。
シフトされた画像をステレオ表示に適合させるために、シフトされた画像RV1'は、右手側で切り取られて、RV''に至るように左手側で同じ量だけ拡張される。LV1及びRV1''は、次に、新たなステレオ・ペアとして一緒に視覚化されることができ、シーンは、元のLV1-RV1ペアと比較して、後方にシフトされている。結果として、ペアLV1-RV1''は、ペアLV1-RV1よりオーバレイの配置のための更なるヘッドルームを持つ。
上記の例ではビューのうちの１つのみがシフトされるが、左画像LV1及び右画像RV1の両方を反対に等しい量だけシフトすることも可能であることに留意すべきであり、合計量がRV1'のシフトに対応する。結果として、シフトされた画像の両方が拡張されなければならないが、拡張領域は、図3において切り取られて拡張された領域の半分のサイズである。結果として、拡張により生じるアーチファクトが、より均等に分配されることができる。
マルチビュー・コンテンツ（例えば３ビュー）をシフトする場合には、中央画像を維持して、左及び右画像をそれぞれシフトして拡張することが考えられる。視差範囲をシフトする上記の方法が更なるマルチビュー画像に、そして画像のシフトの任意の適切な量に引き続いて拡張されることができ、それらの間のシフトの同じ相対的な量をもたらすことは、当業者にとって明らかである。
入力された三次元ビデオ信号を適応させるときに、いくつかのオプションが利用可能であり、例えば、第１のオプションは、切り取ることのみを用いることである。ステレオ・ビデオ信号を考慮して、この場合には、等しい量だけビデオ信号中の左及び右画像の両方を切り取ることが考えられる。画像アスペクト比が問題でない場合には、切り取られたビューは拡張を必要とせず、そのままで用いられることができる。そうする利点は、拡張が必要ないので、拡張アーチファクトが導入されないことである。第２のオプションは、上述のように、切り取り及び拡張を用いることである。ステレオ・ビデオ信号を考慮すると、この場合には、図3に示されるように、等しい量だけビデオ信号中の左及び右画像の両方を切り取り、引き続いてそれぞれのビューを拡張することが考えられる。拡張を用いる利点は、入力された三次元ビデオ信号のアスペクト比が維持されることができることである。なお、オプションの上記リストは網羅的ではない。
図4は、複数のビューを含む入力三次元ビデオ信号を処理するための本発明による方法400のフローチャートを示す。この方法は、入力された三次元ビデオ信号に対して最も大きい視差値を示す遠視差推定値及び入力された三次元ビデオ信号の中のある空間領域に対して最も小さい視差値を示す近視差推定値を決定するためのステップ405を含む。上で示されるように、それぞれの視差推定値は、メタデータに基づくことができるか、あるいは、入力された三次元ビデオ信号の画像コンテンツに基づいて決定されることができる。
この方法は、遠視差推定値に基づく視差シフトによって入力された三次元ビデオ信号を後方にシフトすることによって三次元ビデオ信号を適応させるステップ410、及び、近視差推定値及び視差シフトに基づいてシフトされた三次元ビデオ信号の空間領域の中でオーバレイを生成するステップ415をさらに含む。
好ましくは、この方法は、シフトされた三次元ビデオ信号上にオーバレイをオーバレイするステップ420をさらに含む。
上に示されるように、入力された三次元ビデオ信号を適応させるステップは、変更された視差範囲を得るようにピクセルをパディングすることによりそれぞれのビューを切り取り（425）拡張する（430）ためのステップを含むことができる。
ステレオ信号の場合、一方又は好ましくは両方のビューが切り取られて、その後拡張される。N個のビューのマルチビュー画像では（Nは偶数）、N-1個又は好ましくはN個のビューが、上述のように切り取られて拡張される。
図5Aは、複数のビューを含む入力された三次元ビデオ信号を処理するための本発明によるシステム500を示す。システム500は、入力された三次元ビデオ信号に対する最も大きい視差値を示す遠視差推定値及び入力された三次元ビデオ信号の中のある空間領域に対する最も小さい視差値を示す近視差推定値を決定するための視差決定器505を含む。上に示されるように、視差決定器505は視差推定器として実施されることができる。システムは、遠視差推定値に基づく視差シフトによって三次元ビデオ信号を後方にシフトすることにより三次元ビデオ信号を適応させるように用意された視差シフト装置510をさらに有する。システム500は、近視差推定値及び視差シフトに基づいてシフトされた三次元ビデオ信号のためにオーバレイ・セーフエリアの中でオーバレイを生成するように用意されたオーバレイ生成器515をさらに有する。
好ましくは、システム500はさらに、シフトされた三次元ビデオ信号上にオーバレイをオーバレイするように用意されるビデオ・ミキサー520を含む。図5Aに示されるシステム500は、コンテンツのオフラインの処理のためのパーソナル・コンピューター又は他の計算プラットホームで実施されることができる。あるいは、Blu-rayディスク再生可能装置、セットトップボックス又は3D-TVに実装されることができる。
図5Bは本発明による更なるシステム500を示し、このシステムは、分析装置502及び合成装置503に分割され、組み合わせられた両方の装置は、図5Aに示されるシステム500において見いだされる機能を実施する。
なお、遠視差推定値及び近視差推定値は、例えば、上述のような入力された三次元ビデオ信号の粗粒視差分析を用いることにより、あるいは、入力された三次元ビデオ信号中に提供されるメタデータを用いることにより、決定されることができる。
実施の形態において、字幕の深さ及び/又は視差は、フレームごとに又はフレームのグループごとに、ビデオに関するメタデータとして供給される。映画の制作者又は撮影後の人々が、オーサリング・ツールによってこれらのメタデータを生成することができる。字幕の深さ及び/又は視差は、背景ビデオの前の対応する深さ又は視差に字幕を配置するために用いられる。
3Dビデオ信号中に深さメタデータを提供することが詳細に説明される。なお、深さメタデータは、3Dビデオ信号中の深さ情報の特性を記述する任意のデータである。ここで述べられるシステムのために、少なくとも近接値が深さメタデータ中に含まれ、それは、ユーザに最も近いビデオ・データの深さ、すなわち、3Dディスプレイ上に適切に表示されたときに観察者に最も近い3Dビデオ中の要素を示す。上述の近視差推定値並びに字幕の前記深さ及び/又は視差は、近接値の例である。
図6は、三次元(3D)画像データ(例えばビデオ、グラフィクス又は他の視覚的情報)を表示するためのシステムを示す。3Dソース装置40は、三次元ディスプレイ信号56を転送するために3D表示装置60に結合される宛先装置50へ3Dビデオ信号41を転送する。3D宛先装置は、3Dビデオ信号を受信するための入力ユニット51を持つ。例えば、装置は、DVD又はブルーレイ・ディスクのような光学記録担体54から3Dビデオ情報を読み出すための入力ユニットに結合された光学ディスク・ユニット58を含むことができる。別の態様では、装置は、ネットワーク45(例えばインターネット又はブロードキャスト・ネットワーク)への結合のためのネットワーク・インタフェース・ユニット59を含むことができ、そのような宛先装置は、通常、セットトップボックスと呼ばれる。3Dビデオ信号は、遠隔メディア・サーバ(例えばソース装置40)から読み出されることができる。宛先装置は、さらに衛星受信機又はメディア・プレーヤーであることができる。
3Dソース装置は、3Dビデオ・データ30中に存在する深さを示す深さメタデータを決定するための処理ユニット42を持つ。3Dビデオ・データは、記憶装置、3Dカメラなどから利用可能でありえる。深さメタデータは、ユーザに最も近いビデオ・データ、すなわち、3Dディスプレイ上に適切に表示された場合に観察者に最も近い3Dビデオ中の要素の深さを示す近接値を含む。深さメタデータ(例えば視差値)を決定すること及び近接値の例が、マルチ・ビュー・データに対して上で議論された(例えば入力された三次元ビデオ信号の中のある空間領域に対して最も小さい視差値を示す近視差推定値(A))。処理ユニットは、3Dビデオ・データを含む3Dビデオ信号を生成し、3Dビデオ信号中に深さメタデータを含める。
3Dソース装置は、サーバ、放送装置、記録装置、又は、ブルーレイ・ディスクのような記録キャリアを製造するためのオーサリング及び/又は製造システムであることができる。ブルーレイ・ディスクは、コンテンツ作成者のためのインタラクティブ・プラットホームをサポートする。それは、作成者が選ぶためのグラフィクス・オーバレイの２つのレイヤ及びプログラム可能な環境の２つのセットをサポートする。3D立体視ビデオのために、多くのフォーマットが存在する。主要なフォーマットは、ステレオ・フォーマット及び画像+深さフォーマットである。さらに加えて、これらの中に多くの考えられる態様が存在し、コンテンツは、新たな及び既存の3Dディスプレイ及び配布フォーマット用に適したようにフォーマット化されることができる。これはさらに、ブルーレイ・ディスク規格におけるグラフィック・システムを、3Dビデオの特定のフォーマットと組み合わせて用いられるために適合するように拡張する方法に影響する。ブルーレイ・ディスク・フォーマットに関する更なる情報は、視聴覚アプリケーション・フォーマットに関する文書において、ブルーレイ・ディスク協会のウェブサイトから利用可能である（http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf）。それゆえに、補助データは、レンダリングのさまざまな段階で追加されるために含まれることができる。製造プロセスは、深さメタデータを含んでいる3Dビデオ信号を実現するトラック中のマークの物理的パターンを導き出すステップ、及び、その後、少なくとも１つの記憶レイヤ上でマークのトラックを提供するために記録担体の材料を成形するステップをさらに含む。
3D宛先装置は、表示装置に出力インタフェース・ユニット55を介して転送される3D表示信号56、例えばHDMI規格に従う表示信号（http://hdmi.org/manufacturer/specification.aspxにおいて利用可能な"High Definition Multimedia Interface; Specification Version 1.3a of Nov 10 2006"を参照）を生成するために3D情報を処理するための入力ユニット51に結合される処理ユニット52を持つ。処理ユニット52は、表示装置60上での表示のための三次元表示信号56中に含まれる画像データを生成するように用意される。
宛先装置は、3Dディスプレイ上で3Dビデオ・データと組み合わせられる補助データを提供するための補助処理ユニット53を持つ。補助データは、ローカルに、すなわち宛先装置において、3Dビデオ・コンテンツと組み合わせられるべき任意の付加的なグラフィカル画像データ（例えば、字幕、放送会社のロゴ、メニュー又はシステム・メッセージ、エラー・コード、ニュース速報、チッカー・テープ、解説のような更なる3Dストリームなど)であることができる。下記のテキストにおいて、通常、あらゆるタイプの補助データを示すものとして字幕が用いられる。
3D表示装置60は、3D画像データを表示するための装置である。この装置は、宛先装置50から転送される3Dビデオ・データ及び補助データを含む三次元表示信号56を受信するための入力インタフェース・ユニット61を持つ。転送された3Dビデオ・データは、3Dディスプレイ63(例えばデュアル又はレンチキュラLCD)上で表示するために処理ユニット62において処理される。表示装置60は、任意のタイプの立体表示ディスプレイであることができ、三次元ディスプレイとも呼ばれ、矢印64によって示される表示深さ範囲を持つ。
あるいは、補助データを提供して配置するための処理は、表示装置の実施の形態において実行される。3Dビデオ・データ及びオプションの補助データは、表示信号56を介して転送される。補助データはさらに、表示装置においてローカルに生成されることができる(例えばメニュー)。処理ユニット62は、ここでは、3Dディスプレイ上で補助データを3Dビデオ・データと組み合わせる機能を実行する。処理手段62は、宛先装置中の処理手段52,53に対する以下に記載するような対応する機能のために用意されることができる。更なる実施の形態において、宛先装置及び表示装置は１つの装置に一体化され、１セットの処理手段が前記機能を実行する。
図6は、3Dビデオ信号のキャリアとしての記録担体54をさらに示す。記録担体は、ディスク形状であり、トラック及び中央のホールを持つ。トラックは、物理的に検出可能なマークの系列によって構成され、情報レイヤ上の実質的に平行の軌道を構成するターンの螺旋又は同心のパターンに従って配列される。記録担体は光学的に読取り可能であり、光学ディスクと呼ばれ、例えば、CD、DVD、又はBD（ブルーレイ・ディスク）である。情報は、トラックに沿った光学的に検出可能なマーク(例えばピット及びランド)によって情報レイヤ上に表現される。トラック構造は、さらに、情報のユニット(通常、情報ブロックと呼ばれる)の位置を示すための位置情報(例えばヘッダ及びアドレス)を含む。記録担体54は、デジタル的に符号化された、例えば、DVD又はBDフォーマットのような事前に決められた記録フォーマットへとMPEG2又はMPEG4符号化システムに従って符号化されたビデオのような画像データを表現する情報を運ぶ。
宛先装置中の処理手段52, 53は、以下の機能を実行するように準備される。3Dビデオ信号は、受信手段51,58,59によって受信される。3Dビデオ信号は、3Dビデオ・データ及び3Dビデオ・データに存在する深さを示す深さメタデータを含み、この深さメタデータは、上述のように、ユーザに最も近いビデオ・データの深さを示す近接値を含む。処理手段52,53は、3Dビデオ信号から深さメタデータを読み出し、補助データを提供し、前記最も近いビデオ・データによって補助データを隠すことが回避されるように3Dビデオ・データと組み合わせて補助データを表示するために、読み出されたメタデータに依存して補助深さに補助データを配置するように用意される。
3Dビデオ上に3Dグラフィクスをオーバレイすることに関する問題は、背景における立体視3DビデオのZ範囲を再生装置において知ることなく3D空間中にグラフィクス・オーバレイをどのように配置するかに関連している。これは、一般的に、ステレオ・フォーマットの立体視3Dビデオについての場合である。これが解決されることができる態様は、用いられる3Dビデオのフォーマットに、並びに、組み合わされたビデオ及びグラフィックスが3D表示装置にどのように送信されるかに、非常に依存する。
3D画像を合成するためにメタデータを用いることは、立体視画像を適切に合成することを可能にするためのジオメトリー、照明などを含む完結した3Dモデルに基づくことができる。このアプローチは、製造後段階におけるオーサリング環境において3D画像を合成するためのメカニズムを提供する。しかしながら完全な3Dモデルに関する問題は、画像中のピクセルごとに3D情報が提供されるので、これが多くのデータを必要とすることである。そのようなアプローチは、消費者向け装置(例えばブルーレイ・ディスク・プレーヤー又はセットトップボックス)において立体視ビデオに合成される必要があるリアルタイムで生成される立体視画像を取り扱う場合、実現性が低い。
深さメタデータを動的な補助データに対する背景である3Dビデオ・データに提供することがここで提案され、例えば、リアルタイムで生成されるグラフィクスがこのビデオ背景上に合成されることができる。
実施の形態において、フレーム又はGroup of Pictures (GOP)ごとに深さメタデータが3Dビデオ信号に追加される。この深さメタデータは、１バイトのデータを含むことができ、それによって、この値は、立体視ビデオ背景の左ビューと右ビューとの間の最も近い視差を示す。あるいは、この深さメタデータ値は、任意のグラフィクス・オーバレイの視差を示すことができ、プレーヤーがリアルタイム生成されたグラフィクスを合成する場合に、メタデータにおいて示される視差でグラフィクスを配置するべきである。
提案された深さメタデータは、フレームあたり又はGOPあたり１バイトから成ることができる。フレームごとに１バイトが追加される場合、2時間の立体視映画に対して、これは173KBのデータを必要とし、これは妥当である。Group of Picturesごとの使用は、(1秒のGop長さに対して) 7,2KBのデータまでこれを低減する。制限されたサイズによって、深さメタデータは、更なる3D関連フィールドを含むように拡張されることができる。
解決されるべき更なる問題は、深さメタデータを、それが互換性のある態様で含まれることができ、プレーヤーが実際にリアルタイム合成のためにそれを用いることを可能にするように、配布フォーマット中にどのように含めるかである。メタデータを含めるいくつかの態様が、以下で説明される。
宛先装置は、立体視ビデオ上に立体視グラフィクスをオーバレイすることができるいわゆる「Z」合成器を備えているべきである。例えば、「Z」合成器は、処理ユニット52中に含まれる。「Z」合成器は、深さメタデータを解釈して、これから3D空間においてビデオ上の補助データの位置を決定する。
実施の形態において、「Z」合成器は、従来技術において述べられたような完全な３次元モデル・ベースの「Z」合成器の単純化されたバージョンである。このバージョンは、ビデオ及びグラフィクスの両方の完全な幾何学的モデルを必要とするというわけではなく、立体視ビデオの深さ又は視差範囲を示す１バイトのみを用い、補助データのオーバレイのためにこれを用いる。
一実施例におけるメタデータの記憶に関して、ビデオ背景のための深さメタデータは、事前に決められた規格送信フォーマット(例えばMPEG4)に従うユーザ・データ・メッセージ中に含まれる（例えばH.264符号化されたストリームの通知基本ストリーム情報[SEI]メッセージ）。この方法は、H.264/AVC符号化規格に依存する全てのシステムと互換性があるという利点を持つ(例えばITU-TH.264及びISO/IECMPEG-4AVC(すなわちISO/IEC14496-10規格)を参照)。新たな符号器/復号器は新たなSEIメッセージを実施することができ、一方、既存のものはそれらを単に無視する。
図7は、プライベート・ユーザ・データSEIメッセージ中の深さメタデータを示す。3Dビデオ・ストリーム71が概略的に示される。ストリーム中の１つの要素は、復号器にストリームのパラメータを示す通知（いわゆる通知基本ストリーム情報[SEI]メッセージ72）である。より具体的には、深さメタデータ73は、ユーザデータ・コンテナ中に記憶されることができる。深さメタデータは、深さ値、視差値又は任意の他の表現の深さ情報を含むことができる。
図8は、3Dビデオ信号中の深さメタデータのためのデータ構造を示す。図に示されるテーブルは、ビデオ・ストリームにおけるそれぞれの制御データパケットの文法を定める（特にGOP_structure_map()）。データ構造は、深さメタデータ81のためのフィールド、すなわち、遠隔値を定めるVideo_max_disparity及び近接値を定めるVideo_min_disparityを定める（視差値を定めるために図1も参照）。ここで、video min disparityフィールドは、観察者に対する3D空間中の最も近いオブジェクトを示して、任意のグラフィクス(例えば字幕)をどこにオーバレイするかを決定するために用いられることができ、一方、video max disparityは、観察者から最も遠く離れたビデオ中のオブジェクトの視差を示す。なお、パブリックドメインのいくつかの文献は、最も近いオブジェクトを表現するために最大の視差値を定め、そのような定義に対して、視差値の符号は逆転される。スクリーン深さでは、視差は前記の定義にかかわらずゼロである。
図9は、記録担体上の3Dビデオ信号における深さメタデータのためのデータ構造を示す。ブルーレイ・ディスクのような記録担体上のビデオ・データに対して、エントリー・ポイントにおいて開始するビデオのレンダリングを可能にするエントリー・ポイントを示すエントリーポイント・マップが提供されることができる。エントリーポイント・マップ・データ構造は、エントリー・ポイントにおいて開始する3Dビデオ・データの断片のための深さ値を定めて、例えば次のエントリー・ポイントまで有効な深さメタデータを追加することによって拡張されることができる。ブルーレイ・ディスク規格に対しては特に、メタデータは、図に示されるようにEPマップ中に記憶される。EPマップは、ストリーム中の全ての有効な復号アクセス・ポイント（すなわち、復号が始まる可能性があるポイント）に対するエントリーを保持するテーブルを含む。
あるいは、メタデータはXMLベースの記述として提供され、この記述は、MPEG-2トランスポート・ストリームのデータ・カルーセルにおいて輸送される。このMPEGトランスポート・ストリームにおいて同様に送信されるインタラクティブTVアプリケーションは、ビデオ上へ立体視グラフィクスをどのように合成するかを決定するために、このXMLベースの記述を使用することができる。あるいは、メタデータは、プレイリストに対する拡張として提供されることができる。
更なる改善において、メタデータは、最小及び最大の視差範囲を含むように拡張される。これは、ビデオ及びグラフィクスの複数のプレーンのオーバレイを可能にする。
テキスト(例えば字幕)のオーバレイを対象とする更なる改善において、再生装置は、専用レジスタ中に深さメタデータの視差範囲の最大の値を記憶する。そしてそれは、どの深さ（又は視差）に字幕をオーバレイするかを決定するために、最も近い値を用いる。このレジスタ中に保持される値は、時間にわたって漸進的にのみ変化する。これは、字幕の深さが絶えず変化しないことを保証する（字幕の深さが絶えず変化すると観客に眼精疲労を引き起こす可能性がある）。
深さメタデータの更なる拡張は、ビデオ・フレーム中にいくつかの領域を定めて、特にその領域に深さメタデータ値を割り当てることである。実施の形態において、領域を選択することは、以下の通りに実行される。表示領域が複数の領域に再分割される。深さメタデータを検出することは、領域ごとに実行される。例えば、フレーム領域は、(例えば、水平ストライプである)２つ以上の領域に分割され、そして領域ごとに、最小及び最大深さが、ストリームに追加される。これは、それがさらに領域に依存して配置されることができるので、グラフィクス・オーバレイに対する自由を与える。
領域深さメタデータは、領域に依存した空間フィルタ関数に従って複数の領域の深さ値を空間的にフィルタリングすることに基づくことができる。例として、表示領域はタイルに分割される。各々のタイルにおいて、最大の深さが別々に計算される。例では、異なる領域中の他のオブジェクトの深さが観察者に非常に近い場合であっても、補助データは固有の深さにあることができる。これはさらに、例えばポップアップ・メニューとは異なる領域及び視差に字幕が合成されることを可能にする。「Z」合成器及び記憶されるデータの量は、領域を手渡すことに対応するために拡張される。
メタデータを記憶するための他の実施の形態において、GOPあたりのSEIメッセージは、視差又はオフセット値のリスト及び出力プレーンに対する視差又はオフセット方向インジケータを含む。視差又はオフセット値は、立体視出力の左出力プレーンと右出力プレーンとの間のピクセル・シフトを示し、方向インジケータは、ピクセル・シフトが左であるべきか又は右であるべきかを示す。ピクセル・シフトによって、位置xにおける左出力プレーン中の対応するピクセルは、右出力プレーンにおいてx+n又はx-nにシフトされる。オフセット値のこのリストは、さまざまな目的のために用いられることができる。一般に、そのようなオフセット値は、立体視ビデオ背景上の2D単一ビュー・グラフィクスのオーバレイのために用いられる。そのような場合、オフセット値nは、立体視ビデオ背景の第２ビュー("R")上のオーバレイのための第２画像を生成するために2D画像中のピクセルをシフトするために用いられ、一方、2D画像は、立体視ビデオ背景の第１ビュー("L")上にオーバレイされる。本発明者らは、方向インジケータを伴うオフセット値のそのようなリストは、さらに、ビデオ背景の最大及び/又は最小視差を表現するために用いられることができることを認識した。例えば、第２("R")プレーン中のピクセルの左方向へのシフトを示すプレーン・オフセット方向を伴うプレーン・オフセット値= xはvideo_max_disparityを示し、第２("R")プレーン中のピクセルの右方向へのシフトを示すプレーン・オフセット方向インジケータを伴うプレーン・オフセット値=yはvideo_min_disparityを示す。再生装置がプレゼンテーションの間に選択することができる再生可能なストリームを記載するテーブル中に付加的な信号伝達が含まれることが提案される。付加的な信号は、従属ストリームのSEIメッセージ中に埋め込まれるリスト中の埋め込まれたオフセット値のどれが、出力上の立体画像の最大及び/又は最小視差を通知するために用いられるべきであるかを示す。表１は、そのような信号の例を示す。
Figure 0005647242
深さメタデータを用いたシステムは、メタデータを生成して、そのデータを配布すること必要とし、そして最終的には、いわゆる「Z」合成器がメタデータを読んで、3Dビデオ上に補助データを、例えば立体視ビデオ上に立体視グラフィクスを合成することを必要とする。視差推定器及びメタデータ符号器は、ビデオ・コンテンツ中のフレームの最小及び/又は最大の視差を決定して、配布チャネル中にこれを符号化する。ブルーレイ・ディスクでは、これは、上述のように、EPマップ中か又は直接符号化されたストリーム中のSEIメッセージであることもできる。
EPマップは、一般的にトリックプレイの間に用いられ、次のフレームをデコードし始めるためのストリーム中の正しい位置へプレーヤーがすばやくジャンプすることを可能にする。我々は、深さメタデータによってこのテーブルを拡張する。図9は、アクセス・ポイントに関連づけられる任意のメタデータを担持するメタデータ・フィールドによって拡張されるこのテーブルの単純化されたバージョンを示す。
図10aは、深さメタデータを担持しているメタデータ・フィールドのフォーマットを示す。２つのフィールド92が存在し、一方はアクセス・ポイントの最大深さ範囲値を収容し、他方のオプションのフィールドはオフセットを担持するために用いられる。正しいオーバレイのために、グラフィクスの深さは、depth_max値より近いべきである。
図10bは、視差データを担持するメタデータ・フィールドのフォーマットを示す。視差データ93は、最小及び最大の視差範囲又は値を提供する深さメタデータの代わりのバージョンであり、これは、ビデオの複数のプレーンのオーバレイを可能にする。本発明を利用するためのシステムは、メタデータを生成し、そのデータを配布するための手段を必要とし、そして、受信宛先において、メタデータを読んで、立体視ビデオ上に立体視グラフィックを合成するためのいわゆる「Z」合成器を必要とする。
宛先装置におけるビデオ・データ処理は以下の通りである。復号のために、「Z」合成器は、グラフィクスがオーバレイされるべきであるフレームを決定する。そしてそれはそのフレームの「深さ」又は視差メタデータを読み、あるいは、それが利用可能でない場合には、それは、最も近いIフレーム(又はエントリーポイント)に関連付けられた値を用いる。次のステップにおいて、それは、左グラフィック画像と右グラフィック画像との間の視差が、ビデオ背景画像の視差より大きい(すなわち、より大きな負の値を持つ)か又はそれと同じかどうかを決定する。立体視グラフィクスの視差がビデオ・メタデータ中に示される値より大きいか又はそれと同じ場合、Z合成器は、単に左及び右ビデオ・フレーム上に左及び右グラフィック画像を合成する。その視差がより小さい場合、補助データはより遠く、「Z」合成器は、グラフィクスの視差を深さメタデータ中に示される値と一致させるために線形シフトを実行することによって、立体視グラフィック画像の視差を調整する。
あるいは、モノラル・グラフィクスのみが利用可能な場合、「Z」合成器は左ビデオ・フレーム上にグラフィクスを合成して、右ビデオ・フレーム上にグラフィクスを合成するが、水平方向に右にシフトされる。シフトの量は、「深さ」又は視差メタデータの値によって決まる。ここで、所望の視差を得るために必要とされるシフトは、いくつかのパラメータ(例えばディスプレイに対する観客の観察距離)によって決まる。ピクセルの数としてシフトを計算するとき、観客ディスプレイの幅及び解像度がわかっている必要がある。これらのパラメータは、さらに「深さ」メタデータへのオプションとして含まれることができる。実施の形態において、例えば、ディスプレイが1メートルの幅を持ち、観客はディスプレイから４メートルのところに座っている規格化された又は基準の構成が用いられる。
実際的な実施の形態において、字幕は3Dコンテンツにオーバレイされる。主要なコンテンツがステレオ(左/右)画像として存在し、字幕も画像として存在する。実施の形態は、適切な記述から字幕をレンダリングすることもできる。実施の形態は、以下のステップを用いる。
3Dビデオのそれぞれの期間の間、視差は、3Dビデオ信号と共に転送されたメタデータから読み出される。関連する領域及び/又は期間の中で最も近い視差がメタデータから読み出される。フィルタされた視差を決定するために最小視差のリストにフィルタリングが適用されることができる。
補助データはフィルタされた視差のところに配置され、例えば、字幕は、フィルタされた視差と同じである左右のピクセル変位を用いて左及び右画像の上に一体化される。
字幕が予めレンダリングされている場合、標準的なアルファ・ブレンディングが用いられる。字幕がテキスト・フォーマットで存在する場合、それらはサブ・ピクセル精度でレンダリングされる。
小さいオフセット(通常は１ピクセル)が、最前面のオブジェクトと字幕との間の小さい深さ範囲を生成するために適用されることができる。
なお、上記の方法は、補助深さ値より大きい深さ値が存在しない画像データの領域を選択することによってターゲット領域を選択することを可能にする。そのうえ、前記選択は、ターゲット領域中に補助深さ値より大きい深さ値が存在しないように、補助データを表示するための期間を選択することを含むことができる。例えば、字幕のレンダリングは、より前方のオブジェクトが消えることを可能にするために、遅延されるか又はシフトされることができる。
実施の形態において、深さパターンを決定することは、ビデオ・コンテンツの複数のフレームにおいて深さ値を検出すること、及び、時間フィルタ関数に従って深さ値を時間的にフィルタリングすること含む。例えば、字幕自体が表示されるべきである期間か、又は、オブジェクトが字幕の相当近くに現れること及び字幕より前に現れることを回避するために僅かにより長い期間が考慮されることができる。字幕を表示する期間は、通常、表示信号中に示される。
特に、深さパターンを決定することは、ビデオ・コンテンツの複数のフレームにおけるショット境界を検出することに基づいて時間フィルタ関数のための時間窓を設定することを含むことができる。これは、以下のように実施されることができる。
左又は右画像から、ショット境界が計算される。ショットの開始画像は、画像のカラー・ヒストグラムを用いて、画像コンテンツにおける大きい変化を検出することによって見つけだされる。最小視差リストが、前に検出されたショット・カットによって、ショットのために検出される。そして、各々のショットに対して、最小視差リストは、適切な時間窓関数によってフィルタリングされる（例えば以下を参照）。窓関数は、一部の選択された区間の外側ではゼロの値を有する関数である。例えば、区間内部では一定値で、他ではゼロである関数は、矩形窓と呼ばれ、それは、そのグラフィカル表現の形状を表す。画像信号(データ)は窓関数によって乗じられ、そしてその積は区間の外側でもゼロの値を有する。
各々のショットを別々にフィルタリングすることは、そのショット内からの値のみが用いられることを保証する。したがって、関心領域内の最前面のオブジェクトの視差がジャンプする場合、補助グラフィカル・データの深さ値はショット・カットにおいてジャンプすることが許可されるが、ショット内でジャンプすることは許可されない。さらに代わりとして、ショット間の深さ配置はフィルタリングされることができ、ショット境界における滑らかな遷移を可能にする。
窓関数を選択するために、実施の形態はハン窓関数を用いるが、他の窓関数(例えば矩形の窓関数)も適切である。オーストリアの気象学者Julius von Hannにちなんで名づけられハン関数 は、
Figure 0005647242
によって与えられる離散的確率質量関数である。窓は現時点の中央にあり、過去の及び将来の両方の値が考慮される。これは値を平滑化するという効果を持ち、したがって視差の急な変化を回避して、オーバレイが常に3Dコンテンツの前にあることを保証するという効果がある。例えばリアルタイム放送では、将来の値は利用できない場合があり、ウィンドウ処理は、過去の値のみに基づく場合がある。あるいは、レンダリングにわずかな遅延を適用しながら、将来のフレームの一部が、最初にバッファ中に記憶されることができる。
なお、遠隔値(すなわちビデオの最小の視差シフト[parallax shift：PS]又は最大の視差[disparity])を含むことは、補助データのための空間を得るために、ビデオをプッシュバックする(同じ値でL+Rに対してPSを減少させる又は視差を増加させる)ことを可能にする。過剰なプッシュバックを回避するために遠隔値が考慮され、すなわち、プッシュバックは、スクリーン上で眼間距離(通常6cm)を超える、すなわち無限を超える視差値を決してもたらすべきではない。遠隔値(例えば最大の視差)を含むことによって、これは、プレーヤーによって防止されることができる。プレーヤーはさらに、ピクセルの対応するシフトを計算するために、画面サイズを知っているべきである。
宛先装置の実施の形態において、最大値が、ビデオを後方に（十分に）シフトするための余地が無いような値かどうかが検出される。その場合、処理は一時的に特別なモードへ切り替わり、主要な3Dビデオは、モノラルがスクリーンの後ろに現れるようにシフトされた左及び右ビューを持つ１つの選択された深さを備えるモノラル・ビデオとして又はモノラル・ビデオへと表示される。ストリーム中の付加的なパラメータ(例えば3Dビデオのある期間に対して１バイト)は、モノラル・ビデオを選択された深さに(例えば幾分スクリーンの後ろに)配置するための適切な深さ(又は視差)を示すことができ、一方、補助ビデオは、例えばスクリーンの近くに表示される。
いうまでもなく、明確性のための前記説明は、異なる機能ユニット及びプロセッサを参照して本発明の実施の形態を述べた。しかしながら、異なる機能ユニット又はプロセッサ間での機能の任意の適切な分散が、本発明を損なわずに用いられることができることは明らかである。例えば、別のユニット、プロセッサ又はコントローラによって実行されるように示された機能は、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットに対する参照は、厳密に論理的な又は物理的な構造又は組織を示すというよりはむしろ、述べられた機能を提供するための適切な手段に対する参照としてのみ考えられるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式で実施されることができる。本発明は、１つ以上のデータ・プロセッサ及び/又はデジタル・シグナル・プロセッサ上で動作しているコンピュータ・ソフトウェアとして少なくとも部分的にオプションとして実施されることができる。本発明の実施の形態の要素及びコンポーネントは、任意の適切な態様で、物理的に、機能的に、そして、論理的に実施されることができる。実際、機能は、単一のユニットにおいて、複数のユニットにおいて、又は、他の機能ユニットの一部として、実施されることができる。よって、本発明は、単一ユニットにおいて実施されることができるか、又は、異なるユニットとプロセッサとの間で物理的にかつ機能的に分散されることができる。
本発明はいくつかの実施の形態に関連して述べられたが、それは、本願明細書において述べられる特定の形式に限定されることを意図しない。むしろ、本発明の範囲は、添付の請求の範囲によってのみ制限される。加えて、ある特徴が特定の実施の形態に関連して述べられると思われるかもしれないが、述べられた実施の形態のさまざまな特徴が本発明に従って組み合わせられることができることを当業者は認識する。請求の範囲において、用語「有する」「含む」などは、他の要素又はステップの存在を除外しない。
さらに、別々に記載されるが、複数の手段、要素又は方法ステップは、例えば単一ユニット又はプロセッサによって実施されることができる。加えて、個々の特徴が異なる請求項中に含まれる場合があるが、これらはおそらく有利に組み合わせられることができ、異なる請求項中への包含は、特徴の組み合わせが可能ではないこと及び/又は有利ではないことを意味しない。さらに、請求項の１つのカテゴリへの特徴の包含は、このカテゴリに対する制限を意味せず、むしろ、特徴が適切に他の請求項カテゴリに同様に適用可能であることを示す。さらに、請求項における特徴の順序は、それらの特徴が動作する必要がある特定の順序を意味せず、特に、方法の請求項における個々のステップの順序は、これらのステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。更に、単数形の参照は複数を除外しない。したがって、"a", "an", "first", "second"などは、複数を排除しない。請求の範囲における参照符号は、単に実施例を明確にするために提供されているのであって、請求の範囲を制限するものとして解釈されてはならない。

Claims (15)

  1. 3D宛先装置へ転送するための三次元[3D]ビデオ信号を提供する方法であって、
    3Dビデオ・データに存在する深さを示す深さメタデータであって、３Dディスプレイ上に表示されたときに観察者に最も近い前記３Dビデオ・データ中の要素の深さを示す近接値を含む深さメタデータを決定し、
    前記3Dビデオ・データを含む前記3Dビデオ信号を生成し、
    前記3Dビデオ信号中に前記深さメタデータを含めて、
    前記3D宛先装置が、
    前記深さメタデータを読み出し、
    補助データを提供し、及び
    前記3Dビデオ・データと組み合わせて前記補助データを表示するために読み出された前記メタデータに依存して補助深さに前記補助データを配置する、
    ことを可能にする、方法。
  2. 前記深さメタデータは、ユーザから最も離れた前記3Dビデオ・データに存在する深さを示す遠隔値を含み、前記3D宛先装置が、
    前記近接値よりユーザから離れた深さに前記補助深さを設定し、
    前記補助深さよりユーザから離れた深さに前記最も近いビデオ・データをシフトするためにユーザから離れる方向において前記3Dビデオ・データにシフトを適用する、
    ことを可能にし、前記シフトは前記遠隔値に基づいて最大化される、請求項１に記載の方法。
  3. 前記深さメタデータが、オフセット値及びオフセット方向インジケータのリストであって、前記オフセット値が前記補助データの左出力プレーンと右出力プレーンとの間のピクセル・シフトを示し、前記オフセット方向インジケータが前記ピクセル・シフトが左方向であるか右方向であるかを示す、リストであるか、又は、
    前記深さメタデータが、前記３Dビデオ・データの少なくとも１つの空間領域に存在する深さを示すデータを有する、請求項１に記載の方法。
  4. 前記3Dビデオ信号が、予め定められた規格による復号情報を伝達するように用意された符号化ビデオ・データ・ストリームを含み、前記3Dビデオ信号中に前記深さメタデータを含めることが、
    ユーザ・データ・メッセージ、
    通知基本ストリーム情報[SEI]メッセージ、
    エントリー・ポイント・テーブル、
    XMLベース記述、
    のうちの少なくとも１つに前記深さメタデータを含めることを含む、請求項１に記載の方法。
  5. 前記深さメタデータが、前記3Dビデオ・データの少なくとも１つの空間領域に存在する深さを示すデータを含む、請求項１に記載の方法。
  6. 記録担体を製造するステップを含み、前記記録担体は、前記3Dビデオ信号を表すマークのトラックを備える、請求項１に記載の方法。
  7. 3D宛先装置へ転送するための三次元[3D]ビデオ信号を提供するための3Dソース装置であって、
    3Dビデオ・データに存在する深さを示す深さメタデータであって、３Dディスプレイ上に表示されたときに観察者に最も近い前記３Dビデオ・データ中の要素の深さを示す近接値を含む深さメタデータを決定し、
    前記3Dビデオ・データを含む前記3Dビデオ信号を生成し、
    前記3Dビデオ信号中に前記深さメタデータを含めて、
    前記3D宛先装置が、
    前記深さメタデータを読み出し、
    補助データを提供し、及び
    前記3Dビデオ・データと組み合わせて前記補助データを表示するために読み出された前記メタデータに依存して補助深さに前記補助データを配置する、
    ことを可能にするための処理手段を有する3Dソース装置。
  8. 前記深さメタデータが、オフセット値及びオフセット方向インジケータのリストであって、前記オフセット値が前記補助データの左出力プレーンと右出力プレーンとの間のピクセル・シフトを示し、前記オフセット方向インジケータが前記ピクセル・シフトが左方向であるか右方向であるかを示す、リストであるか、又は、
    前記深さメタデータが、前記３Dビデオ・データの少なくとも１つの空間領域に存在する深さを示すデータを有する、請求項７に記載の３Dソース装置。
  9. 三次元[3D]ビデオ信号を受信するための3D宛先装置であって、
    3Dビデオ・データ、及び、前記3Dビデオ・データに存在する深さを示す深さメタデータであって、３Dディスプレイ上に表示されたときに観察者に最も近い前記３Dビデオ・データ中の要素の深さを示す近接値を含む深さメタデータを含む前記3Dビデオ信号を受信するための受信手段、並びに
    前記3Dビデオ信号から前記深さメタデータを読み出し、
    補助データを提供し、
    前記3Dビデオ・データと組み合わせて前記補助データを表示するために読み出された前記メタデータに依存して補助深さに前記補助データを配置する、
    ための処理手段、
    を有する宛先装置。
  10. 前記受信手段が、前記3Dビデオ信号を受信するために記録担体を読むための手段を有する、又は、
    前記宛先装置が、前記3Dビデオ・データと組み合わせて前記補助データを表示するための3D表示手段を有する、請求項９に記載の宛先装置。
  11. 前記深さメタデータが、ユーザから最も離れた前記3Dビデオ・データに存在する深さを示す遠隔値を含み、前記処理手段が、
    前記近接値よりユーザから離れた深さに前記補助深さを設定し、
    前記補助深さよりユーザから離れた深さに前記最も近いビデオ・データをシフトするためにユーザから離れる方向において前記3Dビデオ・データにシフトを適用し、前記シフトは前記遠隔値に基づいて最大化される、ように用意される、請求項９に記載の宛先装置。
  12. 前記深さメタデータが、オフセット値及びオフセット方向インジケータのリストであって、前記オフセット値が前記補助データの左出力プレーンと右出力プレーンとの間のピクセル・シフトを示し、前記オフセット方向インジケータが前記ピクセル・シフトが左方向であるか右方向であるかを示す、リストであり、前記処理手段が、前記補助データに、前記オフセット値及び前記オフセット方向インジケータに基づく水平シフトを適用することによって少なくとも左補助出力プレーン及び右補助出力プレーンを生成するために用意される、請求項９に記載の装置。
  13. 3D宛先装置へ3Dビデオ・データを転送するための三次元[3D]ビデオ信号を記録する記録担体であって、当該3Dビデオ信号は、前記3Dビデオ・データ、及び、前記3Dビデオ・データに存在する深さを示す深さメタデータであって、３Dディスプレイ上に表示されたときに観察者に最も近い前記３Dビデオ・データ中の要素の深さを示す近接値を含む深さメタデータを含み、前記3D宛先装置が、
    前記深さメタデータを読み出し、
    補助データを提供し、及び
    前記3Dビデオ・データと組み合わせて前記補助データを表示するために読み出された前記メタデータに依存して補助深さに前記補助データを配置する、
    ことを可能にする、記録担体。
  14. 前記深さメタデータが、オフセット値及びオフセット方向インジケータのリストであって、前記オフセット値が前記補助データの左出力プレーンと右出力プレーンとの間のピクセル・シフトを示し、前記オフセット方向インジケータが前記ピクセル・シフトが左方向であるか右方向であるかを示す、リストである、請求項１３に記載の記録担体。
  15. 3D宛先装置に転送するための三次元[3D]ビデオ信号を提供するためのコンピュータ・プログラムであって、請求項１から請求項６のいずれか一項に記載の方法のそれぞれのステップをプロセッサに実行させるように動作するプログラム。
JP2012522289A 2009-07-27 2010-07-20 ３ｄビデオ及び補助データの結合 Active JP5647242B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP09166465.6 2009-07-27
EP09166465A EP2282550A1 (en) 2009-07-27 2009-07-27 Combining 3D video and auxiliary data
EP09179557 2009-12-17
EP09179557.5 2009-12-17
PCT/IB2010/053302 WO2011013030A1 (en) 2009-07-27 2010-07-20 Combining 3d video and auxiliary data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014226195A Division JP2015092669A (ja) 2009-07-27 2014-11-06 ３ｄビデオ及び補助データの結合

Publications (2)

Publication Number Publication Date
JP2013500664A JP2013500664A (ja) 2013-01-07
JP5647242B2 true JP5647242B2 (ja) 2014-12-24

Family

ID=42937817

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012522289A Active JP5647242B2 (ja) 2009-07-27 2010-07-20 ３ｄビデオ及び補助データの結合
JP2014226195A Pending JP2015092669A (ja) 2009-07-27 2014-11-06 ３ｄビデオ及び補助データの結合

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014226195A Pending JP2015092669A (ja) 2009-07-27 2014-11-06 ３ｄビデオ及び補助データの結合

Country Status (8)

Country Link
US (1) US10021377B2 (ja)
EP (1) EP2460360A1 (ja)
JP (2) JP5647242B2 (ja)
KR (1) KR101716636B1 (ja)
CN (1) CN102474638B (ja)
RU (1) RU2554465C2 (ja)
TW (1) TWI542191B (ja)
WO (1) WO2011013030A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6990131B2 (ja) 2018-03-19 2022-01-12 日立Astemo株式会社 鋳造品の生産管理方法，多品種鋳造品の生産管理方法

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284236B2 (en) * 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
EP2334089A1 (en) * 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
CN103119948A (zh) 2010-09-19 2013-05-22 Lg电子株式会社 用于处理针对3d（三维）广播业务的广播信号的方法和装置
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US9420258B1 (en) * 2011-02-07 2016-08-16 Google Inc. Streaming-time 3D metadata injection
JP5817135B2 (ja) * 2011-02-10 2015-11-18 株式会社セガゲームス ３次元画像処理装置、そのプログラム及びその記憶媒体
EP2495979A1 (en) * 2011-03-01 2012-09-05 Thomson Licensing Method, reproduction apparatus and system for display of stereoscopic 3D video information
US9578299B2 (en) * 2011-03-14 2017-02-21 Qualcomm Incorporated Stereoscopic conversion for shader based graphics content
EP3267398A3 (en) 2011-03-18 2018-03-28 Sony Corporation Image processing apparatus and image processing method
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
KR101845052B1 (ko) * 2011-04-20 2018-04-04 코닌클리케 필립스 엔.브이. 3ｄ 디스플레이용 위치 표시자
US20120293636A1 (en) * 2011-05-19 2012-11-22 Comcast Cable Communications, Llc Automatic 3-Dimensional Z-Axis Settings
JP5914838B2 (ja) * 2011-05-23 2016-05-11 パナソニックＩｐマネジメント株式会社 画像表示装置
CN102217322B (zh) * 2011-05-27 2013-10-09 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
US9445077B2 (en) * 2011-06-21 2016-09-13 Lg Electronics Inc. Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
KR20140057269A (ko) 2011-08-31 2014-05-12 소니 주식회사 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US9560334B2 (en) 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
JP5579329B2 (ja) * 2011-09-29 2014-08-27 富士フイルム株式会社 立体画像表示制御方法、立体画像表示制御装置、及び撮像装置
JP5791818B2 (ja) * 2011-11-01 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 突出ベース視差マッピング
US20140078248A1 (en) * 2012-01-13 2014-03-20 Sony Corporation Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
EP2675174A4 (en) * 2012-01-19 2015-05-06 Sony Corp RECEIVING DEVICE, RECEIVING METHOD AND ELECTRONIC DEVICE
JP6145779B2 (ja) * 2012-02-02 2017-06-14 サン パテント トラスト 符号化方法、復号方法、符号化装置、および復号装置
JP6090168B2 (ja) 2012-02-16 2017-03-08 ソニー株式会社 送信装置および送信方法
EP2822280A4 (en) * 2012-02-27 2015-08-12 Sony Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
TWI586143B (zh) * 2012-04-05 2017-06-01 皇家飛利浦電子股份有限公司 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置
KR20150008408A (ko) * 2012-04-13 2015-01-22 코닌클리케 필립스 엔.브이. 깊이 시그널링 데이터
JP2013239833A (ja) * 2012-05-14 2013-11-28 Sony Corp 画像処理装置、画像処理方法およびプログラム
TWI555400B (zh) * 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
US20130321572A1 (en) * 2012-05-31 2013-12-05 Cheng-Tsai Ho Method and apparatus for referring to disparity range setting to separate at least a portion of 3d image data from auxiliary graphical data in disparity domain
US9471864B2 (en) * 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
WO2014013405A1 (en) * 2012-07-20 2014-01-23 Koninklijke Philips N.V. Metadata for depth filtering
JP6158929B2 (ja) * 2012-09-06 2017-07-05 ノキア テクノロジーズ オーユー 画像処理装置、方法及びコンピュータプログラム
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
WO2014165744A1 (en) * 2013-04-05 2014-10-09 Koninklijke Philips N.V. Re-targeting a three-dimensional image signal
CN105122809A (zh) * 2013-04-11 2015-12-02 联发科技股份有限公司 帧内编码的预测值派生的方法和装置
WO2015123775A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Systems and methods for incorporating a real image stream in a virtual image stream
US9769498B2 (en) 2014-03-28 2017-09-19 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
JP6690536B2 (ja) * 2015-01-09 2020-04-28 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
US20160277751A1 (en) * 2015-03-19 2016-09-22 Patrick J. Sweeney Packaging/mux and unpackaging/demux of geometric data together with video data
TWI744245B (zh) * 2015-08-19 2021-11-01 新加坡商海特根微光學公司 產生具有減少過度平滑之視差圖
US9865305B2 (en) 2015-08-21 2018-01-09 Samsung Electronics Co., Ltd. System and method for interactive 360-degree video creation
US9600938B1 (en) * 2015-11-24 2017-03-21 Eon Reality, Inc. 3D augmented reality with comfortable 3D viewing
GB2548346B (en) * 2016-03-11 2020-11-18 Sony Interactive Entertainment Europe Ltd Image processing method and apparatus
US11025882B2 (en) * 2016-04-25 2021-06-01 HypeVR Live action volumetric video compression/decompression and playback
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US20170374364A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
KR102498815B1 (ko) * 2016-07-21 2023-02-13 삼성전자주식회사 전자 장치 및 전자 장치의 비디오 편집 방법
US10616566B2 (en) * 2016-07-22 2020-04-07 Korea Institute Of Science And Technology 3D image display system and method
CN108280851B (zh) 2017-01-05 2024-04-19 钰立微电子股份有限公司 深度图产生装置
KR20210025527A (ko) * 2018-07-06 2021-03-09 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果
EP3687166A1 (en) * 2019-01-23 2020-07-29 Ultra-D Coöperatief U.A. Interoperable 3d image content handling
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11297116B2 (en) * 2019-12-04 2022-04-05 Roblox Corporation Hybrid streaming
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
KR20220121574A (ko) * 2021-02-25 2022-09-01 삼성전자주식회사 Ar/vr 환경을 제공하는 전자 장치 및 그 운용 방법
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4520816A (en) * 1983-01-12 1985-06-04 Schachar Ronald A Method and apparatus for delivering laser energy for ophthalmic use
US4792829A (en) * 1986-04-03 1988-12-20 Firmani Alexander D Light-exposure control unit
JP3259272B2 (ja) * 1990-10-23 2002-02-25 ソニー株式会社 画像表示制御装置および方法
JP2846830B2 (ja) * 1994-11-22 1999-01-13 三洋電機株式会社 ２次元映像を３次元映像に変換する方法
US5532777A (en) * 1995-06-06 1996-07-02 Zanen; Pieter O. Single lens apparatus for three-dimensional imaging having focus-related convergence compensation
JPH099300A (ja) 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体表示装置
JP2848291B2 (ja) * 1995-08-24 1999-01-20 松下電器産業株式会社 立体ｔｖ装置
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
GB9613039D0 (en) * 1996-06-21 1996-08-28 Philips Electronics Nv Image data compression for interactive applications
US5973722A (en) * 1996-09-16 1999-10-26 Sony Corporation Combined digital audio/video on demand and broadcast distribution system
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
CN1173296C (zh) * 1997-12-05 2004-10-27 动力数字深度研究有限公司 改进的图像转换和编码技术
US6373485B2 (en) * 1998-02-17 2002-04-16 Sun Microsystems, Inc. Mitigating the effects of object approximations
US7139767B1 (en) * 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP2002041014A (ja) * 2000-05-19 2002-02-08 Sony Computer Entertainment Inc 表示制御プログラムが記憶された記憶媒体、エンタテインメント装置および表示制御プログラム
US20030169369A1 (en) * 2002-03-05 2003-09-11 Michael Kahn Consumer video captioning system
AU2003281138A1 (en) * 2002-07-16 2004-02-02 Electronics And Telecommunications Research Institute Apparatus and method for adapting 2d and 3d stereoscopic video signal
AU2003263557A1 (en) * 2002-10-23 2004-05-13 Koninklijke Philips Electronics N.V. Method for post-processing a 3d digital video signal
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
KR100547136B1 (ko) * 2003-08-05 2006-01-26 삼성전자주식회사 방송/예비 컨텐츠를 부호화/복호화하는 장치 및 방법
US20070008840A1 (en) 2003-10-09 2007-01-11 Koninklijke Philips Electronics N.V. Optical disc having focus offset area
RU2339083C2 (ru) * 2003-12-19 2008-11-20 ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви Система трехмерной видеоигры
US7450120B1 (en) * 2003-12-19 2008-11-11 Nvidia Corporation Apparatus, system, and method for Z-culling
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
US8418075B2 (en) * 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
WO2006137000A1 (en) 2005-06-23 2006-12-28 Koninklijke Philips Electronics N.V. Combined exchange of image and related data
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
US20080007567A1 (en) * 2005-12-18 2008-01-10 Paul Clatworthy System and Method for Generating Advertising in 2D or 3D Frames and Scenes
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
EP2067360A1 (en) * 2006-09-25 2009-06-10 Nokia Corporation Supporting a 3d presentation
CN101523924B (zh) * 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
US8631012B2 (en) * 2006-09-29 2014-01-14 A9.Com, Inc. Method and system for identifying and displaying images in response to search queries
JP2010510558A (ja) * 2006-10-11 2010-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 三次元グラフィックスのデータの作成
US8358301B2 (en) * 2006-10-30 2013-01-22 Koninklijke Philips Electronics N.V. Video depth map alignment
ATE472230T1 (de) 2007-03-16 2010-07-15 Thomson Licensing System und verfahren zum kombinieren von text mit dreidimensionalem inhalt
WO2008139351A1 (en) * 2007-05-11 2008-11-20 Koninklijke Philips Electronics N.V. Method, apparatus and system for processing depth-related information
US8487957B1 (en) * 2007-05-29 2013-07-16 Google Inc. Displaying and navigating within photo placemarks in a geographic information system, and applications thereof
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
JP5231563B2 (ja) * 2007-10-19 2013-07-10 サムスン エレクトロニクス カンパニー リミテッド 立体映像データを記録する方法
WO2009061489A1 (en) * 2007-11-09 2009-05-14 Wms Gaming Inc. Real three dimensional display for wagering game machine events
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8182870B1 (en) * 2008-05-29 2012-05-22 The United States Of America As Represented By The United States Department Of Energy Method for generating small and ultra small apertures, slits, nozzles and orifices
US20110074924A1 (en) * 2008-06-02 2011-03-31 Koninklijke Philips Electronics N.V. Video signal with depth information
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
CN102100076B (zh) * 2008-07-24 2013-06-12 松下电器产业株式会社 能够进行立体视觉再生的再生装置、再生方法
MY155378A (en) * 2008-07-24 2015-10-15 Koninkl Philips Electronics Nv Versatile 3-d picture format
ES2435669T3 (es) * 2008-07-25 2013-12-20 Koninklijke Philips N.V. Gestión de subtítulos en visualización en 3D
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
EP2356818B1 (en) * 2008-12-01 2016-04-13 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
US8284236B2 (en) * 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
JP5510700B2 (ja) * 2009-04-03 2014-06-04 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6990131B2 (ja) 2018-03-19 2022-01-12 日立Astemo株式会社 鋳造品の生産管理方法，多品種鋳造品の生産管理方法

Also Published As

Publication number Publication date
RU2554465C2 (ru) 2015-06-27
JP2013500664A (ja) 2013-01-07
EP2460360A1 (en) 2012-06-06
JP2015092669A (ja) 2015-05-14
US10021377B2 (en) 2018-07-10
RU2012106868A (ru) 2013-09-10
WO2011013030A1 (en) 2011-02-03
KR101716636B1 (ko) 2017-03-15
KR20120049292A (ko) 2012-05-16
CN102474638A (zh) 2012-05-23
TWI542191B (zh) 2016-07-11
US20120120200A1 (en) 2012-05-17
TW201130292A (en) 2011-09-01
CN102474638B (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
JP5647242B2 (ja) ３ｄビデオ及び補助データの結合
US11277600B2 (en) Switching between 3D video and 2D video
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
TWI573425B (zh) 產生三維視訊信號
JP5829604B2 (ja) ３ｄトリックプレイのためのエントリー・ポイント
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
WO2011033423A1 (en) 3d screen size compensation
EP2282550A1 (en) Combining 3D video and auxiliary data
JP5955851B2 (ja) ３ｄ画像データの転送
KR20150008408A (ko) 깊이 시그널링 데이터

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140519

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141106

R150 Certificate of patent or registration of utility model

Ref document number: 5647242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250