JP2012512554A - 画像ベースの3dビデオフォーマット - Google Patents

画像ベースの3dビデオフォーマット Download PDF

Info

Publication number
JP2012512554A
JP2012512554A JP2011540312A JP2011540312A JP2012512554A JP 2012512554 A JP2012512554 A JP 2012512554A JP 2011540312 A JP2011540312 A JP 2011540312A JP 2011540312 A JP2011540312 A JP 2011540312A JP 2012512554 A JP2012512554 A JP 2012512554A
Authority
JP
Japan
Prior art keywords
views
information
depth information
depth
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011540312A
Other languages
English (en)
Other versions
JP5734867B2 (ja
Inventor
ペテル−アンドレ レデルト
グンネウィーク ライニエル ビー エム クライン
バルトロメウス ダブリュ ディー ソンネフェルド
クリスティアーン ファレカムプ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012512554A publication Critical patent/JP2012512554A/ja
Application granted granted Critical
Publication of JP5734867B2 publication Critical patent/JP5734867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、三次元ビデオデータを符号化する方法及び装置580に関し、前記装置は、異なる視点からのシーンの複数の同時ビュー501を符号化する第1のエンコーダ505と、前記シーンの深度情報を符号化する第2のエンコーダ510と、前記複数のビューと前記深度情報との間の関係を示す追加情報を符号化する第3のエンコーダ515と、前記符号化された情報を前記三次元ビデオデータの表現513に結合する結合器520とを有する。前記追加情報は、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、対応する場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つが使用される。本発明は、更に、三次元ビデオデータを復号する方法及び装置585、並びに本発明による方法を実行するプログラム命令を有するコンピュータプログラムに関する。

Description

本発明は、三次元ビデオデータを符号化する装置及び方法、三次元ビデオデータを復号する装置及び方法、並びに三次元ビデオデータを有する信号に関する。
この20年間に、様々なステレオスコピック及びオートステレオスコピック表示システムが開発されている。これらのシステムは、静止及び/又はモーションビデオ画像の三次元(3D)印象を観察者に与えることを目的とする。一般的な(オート)ステレオスコピック装置は、観察者の人間視覚系により解釈される場合に3D印象を生じる適切な左及び右画像を観察者のそれぞれ左及び右目に与えることを目的とする。
ステレオスコピック表示システムは、シャッタ眼鏡を使用するもののようなアクティブ眼鏡ベースのシステムを有する。シャッタ眼鏡ベースのシステムにおいて、表示装置は、一般に、時分割形式で左画像及び右画像を表示する。シャッタ眼鏡は、前記表示システムと同期して動作され、それぞれ左及び右画像が観察者の対応する目に到達することを可能にする。他の眼鏡ベースのシステムは、3Dシネマで使用される偏光眼鏡のようなパッシブ型である。
上記のステレオスコピックシステムは、一般に納得のいく3D体験であると受け入れられているものを提供するが、ユーザは、特別な眼鏡の必要性が不愉快であると気付く傾向にある。結果として、2以上のビューが表示装置上に同時に提示されるオートステレオスコピックシステムが、開発されている。加えて、このような表示システムは、それぞれのビューを異なる観察方向に配向するバリア又はレンチキュラのような光配向手段を取り付けられる。例えば、米国特許6064424は、レンチキュラベースのオートステレオスコピック表示システムの一例を示している。
観察者が、前記オートステレオスコピック表示装置を見る場合、前記観察者は、一般に、2つの異なるビュー、左目に対するもの及び右目に対するものを受け取る。これらの画像は、人間の視覚系により3D印象に結合される。
ステレオスコピック及びオートステレオスコピック装置が高品質の3D印象を与えるためには、1より多い従来の2D画像を有するビデオ信号を提供することは、普通である。幅広い種類の代替例が、既に開示されている。ステレオスコピック表示装置は、一般に、時系列及び/又は多重化様式で左及び右画像を有する形式でコンテンツが供給されることを必要とする。
オートステレオスコピックディスプレイは、他方で、一般に、2より多いビューを必要とする。この理由のため、特定の表示装置は、時系列及び/又は多重化様式の複数のビューを必要とする。国際特許出願WO2006/137000は、三次元ビデオデータを符号化する他の方法の一例を与える。画像データを交換するこの特定の方法は、従来の2D画像、(観察方向における画素の距離を示す)対応する深度画像、及び遮蔽(occlusion)情報の交換を可能にする。このような情報は、"Layered Depth Images", by J. Shade, et al, ACM SIGGRAPH'98, pp.231-242に開示されるような技術を使用して、前記画像の1以上のビューをレンダリングするのに使用されることができる。
多くの異なるフォーマットが、三次元ビデオデータの交換に対して存在しているが、それぞれのフォーマットの特性は、一般に、表示装置の適合された1つのタイプである。
本発明の目的は、三次元ビデオデータの供給を容易化することである。
この目的は、三次元ビデオデータを符号化する方法により解決され、前記方法は、異なる視点からのシーンの複数のビューを符号化するステップと、前記シーンの深度情報を符号化するステップと、前記複数のビューと前記深度情報との間の関係を示す追加情報を符号化するステップと、前記符号化された情報を前記三次元ビデオデータの表現に結合するステップとを有し、前記追加情報は、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、対応する場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つが使用される。
本発明は、前記追加情報を用いて、他のビュー(すなわち前記符号化されたデータに存在しない追加のビュー)がレンダリングされるべきである場合に、処理装置又はレンダリング装置に対する前記三次元ビデオデータの使用の仕方の決定を単純化する。そうすることにより、本発明は、より多彩な三次元ビデオデータフォーマットの作成を効果的に可能にする。本発明による方法は、異なる視点からのシーンの少なくとも2つのビューを前記シーンの深度情報と一緒に符号化することを提案する。前記グループ分類子によりビュー情報を前記深度情報に関連付ける前記追加情報を含めることにより、従来のマルチビュー又は画像プラス深度表現より多彩である前記三次元ビデオデータの表現が得られる。実際に、三次元ビデオデータのこの特定の表現は、より多数のディスプレイに対する入力として使用されることができ、前記追加情報に基づいて、更に、画像レンダリングを単純化及び/又は改良することができる。
本発明は、三次元ビデオデータの表現において深度情報とステレオ又はマルチビュー画像との間に関連性が存在するかどうかを示す前記追加情報内の前記グループ分類子を提供することを提案する。結果として、三次元ビデオデータのこのような表現を受け取る処理装置は、このような関連性が存在しない場合に両方のソースを混合することによる品質の劣化を防ぐのにこの情報を使用することができる。更に、関連性が存在する場合、前記追加情報は、他のビューのレンダリング中にビュー情報及び深度情報の使用を可能にすることができる。
一実施例において、前記グループ分類子は、前記深度情報が前記複数のビューの少なくとも2つに存在する視差情報に対応するかどうかを示す情報を有する。このような情報は、複数の符号化されたビューが提供される場合にオートステレオスコピックディスプレイ上の表示に対して追加のビューを合成するか否かを決定する場合に有用でありうる。代替的には、前記深度情報は、例えばステレオ信号と一緒に提供される場合に、前記ステレオ画像におけるサブタイトル挿入に対して使用されることができる。前記深度マップが、前記ビュー情報を表す条件で、前記深度マップは、サブタイトル情報が表示されることができる前記シーン内の場所を決定する追加情報を提供するので、サブタイトル挿入又は画面表示(OSD)生成中に使用されることができる。
前記深度情報が、前記複数のビューの少なくとも2つに存在する視差情報に対応する場合、前記深度情報から前記視差情報への実際の変換も、提供されることができる。このような情報を利用可能にすることは、更に、サブタイトル挿入に役立つことができる。
他の実施例において、前記追加情報は、前記深度情報の視点と前記複数のビューの少なくとも1つの視点との間の関係を示すビュー分類子を有する。このビュー分類子は、符号化されたマルチビュー画像を、画像プラス深度情報を使用してレンダリングされたビューと結合するのに使用されることができる。後者は、合成されたビューを使用して補足されることができるビュー情報を含むコンテンツが提供される場合に特定の値を持つ。
他の実施例において、前記追加情報は、前記複数のビューの各々及び前記深度情報に対するグループ分類子値を有し、等しいグループ分類子値は、前記深度情報の視点とそれぞれのビューとの間の対応を示す。この情報は、特にビューの視差が前記深度情報に対応するかどうかを示す情報と結合される場合、符号化されたビュー情報を置き換えるように特定のビューをレンダリングするか否かを選択するのに使用されることができる。
他の実施例において、前記追加情報は、二次元でのみ表示装置上で三次元ビデオ信号をレンダリングする好適なビューを示す情報を有する。
他の実施例において、前記追加情報は、前記複数のビュー及び前記深度ビュー内の1以上の空間領域に対する前記複数のビューと前記深度情報との間の関係を示す情報を符号化する。前記ビュー全体よりむしろ、又はこれを補完する1以上の空間領域に対する追加情報を提供することにより、本発明は、前記領域を個別に、すなわち、より細かい粒度でアドレスすることができる。
前記追加情報は、前記画像の空間領域に関連付けられたラベルとして与えられることができる。このような空間領域は、ラベルづけされたセグメントであることができ、この場合、セグメント記述も必要とされる。代替的には、前記ラベルは、基本的な圧縮スキームの要素、例えばマクロ(ブロック)のような既知の画像要素に関連付けられることができる。
より細かい粒の表現は、特に部分画像又は部分深度マップと組み合わせて使用される場合に有用でありうる。前記部分画像及び/又は部分深度マップの使用は、符号化された三次元ビデオデータに対する帯域幅要件の更なる減少を可能にすることができる。
本発明の目的は、更に、三次元ビデオデータを復号する方法において取り組まれ、前記方法は、前記三次元ビデオデータの表現から追加情報を抽出するステップを有し、前記追加情報が、異なる視点からのシーンの複数のビューと前記シーンの深度情報との間の関係を示し、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、前記方法は、グループ分類子が対応関係を示す場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つを使用することにより前記追加情報に基づいて前記三次元ビデオデータをレンダリングするステップを有する。
本発明の目的は、更に、三次元ビデオデータを符号化する装置により取り組まれ、前記装置は、異なる視点からのシーンの複数のビューを符号化する第1のエンコーダと、前記シーンの深度情報を符号化する第2のエンコーダと、前記複数のビューと前記深度情報との間の関係を示す追加情報を符号化する第3のエンコーダと、前記符号化された情報を前記三次元ビデオデータの表現に結合する結合器とを有し、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、対応する場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つが使用される。
本発明の目的は、更に、三次元ビデオデータを復号する装置により取り組まれ、前記装置は、前記三次元ビデオデータの表現から追加情報を抽出する抽出器を有し、前記追加情報が、異なる視点からのシーンの複数のビューと前記シーンの深度情報との間の関係を示し、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、前記装置は、グループ分類子が対応関係を示す場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つを使用することにより前記追加情報に基づいて前記三次元ビデオデータをレンダリングするレンダリング手段を有する。
本発明の目的は、更に、三次元ビデオ信号により取り組まれ、前記信号は、異なる視点からのシーンの符号化された複数のビュー及び前記シーンの符号化された深度情報、並びに前記複数の画像と前記深度情報との間の関係を示す符号化された追加情報を有し、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、対応する場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つが使用される。記憶装置、例えば記録担体は、前記三次元ビデオ信号を有することができる。
本発明の実施例は、図面を参照して、例としてのみ、記載される。
視差を規定する幾つかの一般的な概念及びパラメータを示す。 視差と深度との間の関係を示す。 5つのビューを有する視野円錐を提供するオートステレオスコピック表示装置を示す。 本発明による三次元ビデオデータを符号化する方法を示す。 本発明による三次元ビデオデータを復号する方法を示す。 本発明による三次元ビデオデータを符号化する装置及び復号する装置を示す。
三次元ビデオ信号は、2以上の画像又はビューのいずれかを有する従来技術から既知である。前記画像又はビューは、同一のシーンの異なる観察方向から観測された画像又はビューに対応する。典型的には、このようなビューは、表示装置上で同時にレンダリングされる。しかしながら、これらは、人間の目が前記画像を実質的に同時であるように知覚するような多重化様式でレンダリングされることもできる。
例えばシャッタ眼鏡を使用する場合のような、時分割多重化コンテンツレンダリングの場合、これは、一般に、十分に高速での交互の様式で左及び右画像をインタリーブすることを意味する。
典型的には、三次元ビデオ信号は、単一の時間インスタンスにレンダリングする、又は同時と知覚される所定の時間スロット内にレンダリングする少なくとも2つのビューを符号化する。結果として生じるレンダリングされた画像は、この後に、観察者の適切な目に送られる場合に3D印象を提供する。
ステレオ画像を使用してステレオコンテンツを符号化することは、周知である。しかしながら、ステレオ画像又はより一般的に言うとマルチビュー画像の使用は、1つの重要な不利点を持ち、すなわち、それぞれの画像は、視差関係を固定する。結果として、特にディスプレイが比較的狭い視差範囲をレンダリングすることのみができる場合、これは、幅広い視差範囲を持つ表示装置に対して符号化されたコンテンツをレンダリングする場合に問題を生じうる。
コンテンツ視差を特定のディスプレイにマッチさせるためにマルチビュー画像を処理することが可能であるが、これは、一般に、追加の処理を伴う。
代替的な解決法は、いわゆる画像プラス深度フォーマットで三次元ビデオデータを符号化することである。このフォーマットは、追加のビューが、例えばシーンの前面画像及び対応する深度情報に基づいてレンダリングされることを可能にする。このような情報は、例えば遮蔽データを含むように拡張されることもできる。遮蔽データは、前記前面画像内に示されるシーンが前記符号化された前面画像のもの以外の観察方向から見られる場合に可視になる画像情報(又は深度情報)である。前記遮蔽データは、ビュー情報(例えばRGB又はYUV)のみを有することができるが、同様に追加の遮蔽深度情報を含むこともできる。
上記のフォーマットの不利点は、満足のいく3D体験を知覚することができるために、ビューがレンダリングされる必要があることである。しかしながら、そうすることの利点は、表示装置の視差範囲を考慮に入れることも可能になることである。加えて、サブタイトル、メニュー及び/又は他のOSD情報のような他の情報は、同じプロセスでレンダリングされることができる。
視差及び深度の関係
図1は、視差を規定する一般的な概念及びパラメータを示す。図1は、目距離Eだけ離間された両矢印Eの端に配置される2つの視点を示す。観察距離Zにおいて、点線で表される画面Sが、配置され、これは、三次元情報を表示するのに使用される。このような画面は、実際に、例えば、適切なアイウェアを着用した観察者の目に、それぞれの視点に対する適切な画像情報を交互に与える、時間又はスペクトル系列表示であることができる。
図1の画面Sは、ゼロ視差に配置される。ゼロ視差に対応する深度に配置された平面対象は、左画像及び右画像において正確に同じ位置に配置され、したがってゼロ視差である。両矢印Wは、前記画面の幅を示す。N(ニア)は、画面Sの前の最大知覚深度を表す。同様にF(ファー)は、画面Sの後ろの最大知覚深度を表す。
線dNは、画面Sの前のNに配置された対象の知覚される視差を表し、視差値dNは、ここで負であり、交差視差(crossed disparity)とも称され、
N=N×E/(Z−N) [1]
と表されることができる。
線dFは、画面Sの後ろのFに配置された対象の知覚される視差を表し、視差値dFは、ここで正であり、非交差視差とも称され、
F=F×E/(Z+F) [2]
と表されることができる。
実際に、前記最大視差は、快適な観察を可能にするように目距離Eを下回るべきである。実際に、前記最大視差は、好ましくは、人々の間の目距離の変動を可能にするように平均目距離Eより下の値にセットされる。
図1は、例えば位置F又はNに配置された対象に対して、視差に対する深度の関係を示す。式1及び2に見られるように、視差は、深度に反比例する。
図2は、更に、ステレオ画像内の視差及び深度の関係を説明し、更に、これを深度に関連付ける。ステレオ画像の対に対する視差は、典型的には、基準に対して決定される。典型的には、この基準は、前記画像の1つである。
図2は、ステレオ画像の対及び深度マップを示す。典型的には、前記ビュー情報は、ここに示される左画像及び右画像のような、複数の画像を有する。図2は、対応する深度情報を有する画像を示す。この例において、全ての画像は、同じ解像度で提示される。しかしながら、左及び/又は右画像及び/又は深度画像の1つが低い解像度であり、これにより三次元ビデオデータの要求されるフットプリントを減少させることは、珍しくない。明確性のため、ここで、全ての画像及び深度画像は、等しいサイズであると見なされる。
次に、深度と視差との間の関係は、図2の左及び右画像を使用して更に説明される。前記左画像は、ここで、視差を決定する基準画像として使用される。
画像Lは、2つの平面対象、暗い四角形110及び明るい円105を有する左目に対する画像を表す。前記明るい円は、前記暗い四角形を部分的に遮蔽し、前記暗い四角形の前に配置されていることを示す。画像Rは、同じ平面対象、暗い四角形110'及び明るい円105'を有する右目に対する画像を表す。
前記左及び右画像の両方において、暗い四角形110、110'は、同じ位置に配置される。これは、この対象が、いわゆるゼロ視差面に配置されることを意味する。白い円105、105'は、黒い四角形の前に配置される。結果として、右目画像内の前記白い円は、n画素だけ左に変位したように見える。
図2の画像Dは、前記それぞれの画像に対する視差に基づく対応する深度マップを表す。この深度マップにおける深度は、トーンが明るいほど、前記左画像の部分が前記観察者に近いように符号化される。円105"は、最も明るく、前記観察者に最も近い。ゼロ視差にある部分的に遮蔽された四角形11"は、グレイトーン上にマッピングされる。背景は、黒として符号化される。
ビュー情報及び深度情報の関係
本発明の発明者は、三次元ビデオデータに対する典型的な符号化フォーマットが、複数のビュー又は画像プラス深度データのいずれかの符号化に集中することに気がついた。しかしながら、より多彩な三次元ビデオデータ表現は、マルチビュー信号に深度情報を加え、更に、どれぐらい前記それぞれのビュー情報が前記深度情報に関係するかを示す追加情報を加えることにより得られることができる。
後者は必要とされないが、これは、前記三次元ビデオデータを復号及びレンダリングする場合に有用な情報を提供する。
以下に追加情報の一連の例が示され、論じされる。前記例において、前記追加情報は、グループ分類子及びビュー分類子を使用して符号化される。しかしながら、符号化のこの特定の様式が好適であるが、唯一の可能な符号化であると解釈されるべきでないことに注意すべきである。
以下で使用されるグループ分類子は、ビュー画像又は深度画像が同じ視差/深度ソース材料に関するか否かを示す。これに関して、マルチビューカメラを使用して記録された画像は、関連したソース材料を表すと見なされ、したがって、同じグループ分類子を受け取る。同様に、ステレオ対から得られた視差に基づく深度画像も、同じグループ分類子を受け取る。しかしながら、ユーザ分類に基づいて構築されたような手製(hand-made)深度マップは、同じグループ分類子を受け取らない。
以下で使用されるビュー分類子は、前記画像の観察方向を示す。例えば、ステレオ対を符号化する場合、前記ビュー分類子は、典型的には0及び1であり、これにより右の視点が特定の(水平)角度だけオフセットされることを示す。しかしながら、これらは、他の中心ビューに対して示されることもでき、この場合、それぞれ−1/2及び+1/2であると示される。同様に、5ビューディスプレイに対するビューは、ビュー分類子0、1、2、3及び4又は代替的にー2、−1、0、1及び2を持つように分類されることができる。
図3は、オートステレオスコピックディスプレイによりレンダリングされる視野円錐を示す5ビューオートステレオスコピックディスプレイの上面図の概略的表現を提供する。5つのビュー201、202、203、204及び205の各々は、特定の観察方向内で可視である。前記ビューの各々は、特定の角度で方向的にオフセットされる。加えて、これらのビューの各々に対する前記ビュー分類子は、V=−2からV=+2までの範囲を取るように前記画像内に示されている。
Figure 2012512554
表1、ステレオプラス深度。
表1は、ステレオ及び深度情報を両方とも有する三次元ビデオデータ内のビュー及び深度情報の関係を示す追加情報エントリの一例を提供する。表1内のグループ分類子は、全ての深度情報及び視差情報が、同じソース材料に対応することを示す。表1内のビュー分類子は、この信号内の深度情報が、I0と関連付けられることを示す。結果として、I0は、例えば前記信号が5ビューオートステレオスコピックディスプレイ上でレンダリングされる場合に、他のビューをレンダリングするのに深度情報D0と併せて画像情報として使用されることができる。
更に、この情報の知識は、前記それぞれのビューの符号化中に及び/又は前記深度情報を符号化する場合に使用されることもできる。
前記5ビューオートステレオスコピックディスプレイの場合に、前記ビューの2つがI0及びI1に対応するならば、追加のビューをレンダリングするよりこれらを使用することが好ましいことは、当業者に明らかである。
上記情報は、特にサブタイトル又は画面表示(OSD)情報をレンダリングする場合に、ステレオスコピックディスプレイに対して有利に使用されることもできる。前記深度情報は、この場合、このようなサブタイトル又はOSD情報を収容する三次元視野空間内の場所が存在するかどうかに関する情報を提供する。
前記グループ分類子により示される対応関係は、正確に、すなわち前記深度が前記視差に反比例することを示すように使用されることができる。しかしながら、典型的には、深度値は、0ないし255の範囲の値のような深度範囲上にマッピングされる。この場合、前記深度値は、依然として反比例関係を保つが、効果的に係数によりスケーリングされる。この係数も、符号化されることができる。
深度マップを作成するプロセスにおいて、前記深度情報が視差との反比例関係を保たないような様式で前記深度/視差データを変換することは珍しくはないので、前記グループ分類子は、より自由な様式で使用されることもできる。最も単純な例は、例えば、実際の深度が切り取られる状況である。代替的には、シーン内の全ての情報は、サブタイトルを挿入するヘッドルームを作成するためにわずかに後ろに移動されることができる。加えて、例えば前記深度マップを"圧縮"する際に人間視覚系の特性を利用する非線形変換が、使用される。変換が使用された場合に、前記変換及び/又は逆変換を記述する情報を追加的に記憶することは有益でありうる。
Figure 2012512554
表2、ステレオプラス手製深度。
表2は、ステレオプラス手製深度情報を有する三次元ビデオデータ内のビュー情報の関係を示す追加情報エントリの他の例を示す。
表2のグループ分類子は、前記信号が、視差/深度情報の2つの対応しないソースを有することを示す。実際に、前記三次元ビデオデータ内の深度情報D0は、全体的に異なる視差/深度情報に基づきうる。しかしながら、前記ビュー分類子は、D0のビューがI0のものに対応することを示し、これは、I0が新しいビューをレンダリングするのにD0と一緒に使用されることができることを示す。
上記のフィールドを持つ三次元ビデオデータの表現が、ステレオスコピックシャッタ眼鏡ベースディスプレイにおいてレンダリングされる場合に、好ましくは、画像I0及びI1が、レンダリングプロセスにおいて使用される。しかしながら、このようなコンテンツが5ビューオートステレオスコピックディスプレイ上でレンダリングされる場合に、好ましくは、I1が、未使用のままであり、全てのビューが、I0及びD0に基づいてレンダリングされる。異なる深度/視差情報に基づいているI1は、人間視覚系により解釈される場合に合成/レンダリングされた画像内のものと相反する深度キューを提供しうる。
Figure 2012512554
表3、ステレオプラス中途(half-way)深度。
表3は、ステレオプラス手製深度情報を有する三次元ビデオデータ内のビュー情報の関係を示す追加情報エントリの他の例を提供する。この例において、ステレオビューは、それぞれI0及びI1画像に対してコード化されるが、深度情報D0は、それぞれ左ビューの視角と右ビューの視角との間の中心にある視角からの画像に対してコード化される。左及び右が中心画像に対して等しく変位されるという事実により、単一の深度マップが、I0及びI1画像のいずれか一方及びD0に基づいて画像を合成するのに十分である。
Figure 2012512554
表4、ステレオプラス視差ベース及び手製深度。
表4は、ステレオプラス視差に基づく深度情報及び手製深度情報を有する三次元ビデオデータ内のビュー情報の関係を示す追加情報エントリの例を提供する。
非慣習的な2つの深度マップが、ここで与えられるが、D0及びD1両方が、I0のビューに関連付けられ、両方が、他のビューの合成を可能にする。2つの完全な深度マップを提供することにより、又は1つの完全な深度マップ及び1つの部分的な深度マップを提供することにより、追加の深度情報が提供されることができる。
深度情報D1は、例えば、3D効果に関することができる。この深度情報は、この後に、ディスプレイ上の視覚化に対してI0に基づいて画像を合成するのに使用されることができる。しかしながら、深度情報D1が、I0と同じグループの一部ではないので、前記合成された画像は、対I0及びI1に存在する深度情報とは異なる深度情報を提供しうる。
以上に示された2つの深度マップD0及びD1を使用する代わりに、単一のビューに対する全ての深度値を有する単一の深度マップを使用し、これを、前記深度/視差がI0及びI1内の深度/視差に対応するか否かを示すようにバイナリマスクと一緒に使用することが可能でありうる。
上で示されたバイナリマスクは、画素単位で(又は代替的には、より大きなスケール、例えばマクロブロックレベルで)特定の領域が同じグループ及び/又はビューに属するかどうかにフラグを立てることを可能にする。
同じ情報は、領域とグループ/ビューとの間の関連を示す他の表現で表されてもよい。例えば、ビットマップを使用する代わりに、同じ情報は、ラベルづけされた画像セグメントを使用して及び/又は例えば(マクロ)ブロックのような基本的な圧縮スキームにおいて使用されるラベルづけされた要素を使用して表されることができる。このようにして、より細かい粒の表現が、提供されることができる。
より細かい粒の表現は、部分画像又は部分深度マップと組み合わせて使用される場合に特に有用でありうる。部分画像及び/又は部分深度マップの使用は、コード化された三次元ビデオデータに対する帯域幅要件の更なる減少を可能にすることができる。更に、OSD又はサブタイトルのようなアプリケーションは、典型的には、部分画像のみを必要とする。
上記のように、画像の部分を特定のビュー若しくはグループ分類子又は更に他の分類子と関連付ける追加情報が、提供されうる。前記画像の空間領域に対してこのような情報を提供することにより、本発明は、画像レベルより低い粒度において使用されることができる。
前記追加情報が、典型的には、三次元ビデオ信号の符号化に存在するので、前記情報は、圧縮器が、例えばD0及びI0に基づいてI1を予測することにより、例えばD0がI1のデータ圧縮を改良するのに使用されることができるかどうかを決定することを可能にするので、圧縮を援助する。
Figure 2012512554
表5、マルチビュープラスマルチ深度。
表5は、マルチビュー情報及び複数の深度マップを有する三次元ビデオデータ内のビュー情報の関係を示す追加情報エントリの他の例を提供する。
前記グループ分類子により示されるように、深度/視差情報が対応している。したがって、前記深度情報は、代替画像をレンダリングするのに使用されることができる。加えて、2組の深度情報が符号化され、I1及びD0が、同じビューを符号化し、I2及びD1が、同じビューを符号化する。加えて、前記追加情報は、いずれのビューが、それぞれの深度情報を使用して好適にレンダリングされるのかを示す情報を提供することができ、ここで括弧内に示される。
既に示されたように、前記複数の画像と前記深度情報との間の関係を示す前記追加情報は、上に示されたタイプ及びフォーマットに制限されない。
例えば、前記三次元ビデオデータが、左及び右ビューの少なくとも一方とともに使用するために符号化された深度情報及びステレオ信号を有する本発明の特定の単純な実施例において、前記追加情報は、前記深度情報が前記ステレオ対の左ビューと右ビューとの間の画像視差に基づくかどうかを示す単一のビットであることができる。
この単一のビットは、例えば他のビットの形式で、他の追加情報により補足されてもよく、前記他の追加情報は、前記深度情報が前記画像内の視差と所定の様式で対応するかどうかを示す。同様に、更に他のビットは、前記ステレオ対のいずれのビューが、視差を決定する基準画像として使用されるかを示してもよい。このビットは、いずれのビューが前記ビデオ信号の二次元表現をレンダリングするのに好適に使用されるかを示すのに使用されてもよい。
以上に、主として、ビュー情報及び深度情報が記載されているが、特定のビューに対して、存在する場合に、例えば遮蔽情報に関する、より多くの情報が追加されてもよい。
図4は、三次元ビデオデータを符号化する方法のブロック図を提供する。前記方法は、異なる視点からのシーンの複数のビューを符号化するステップ305を有する。実際に、このような符号化は、必ずではないが、圧縮を有することができる。典型的には、前記符号化の結果は、符号化されたビュー情報であり、これは、特定のコード化フォーマットに依存しうる。前記方法は、前記シーンの深度情報を符号化するステップ310を更に有する。前記深度情報は、前記それぞれのビューの視差情報から部分的に算出されることができるが、代替的には、例えば距離計又は(半)手動深度マップ生成のような他の入力に基づいてもよい。前記方法は、前記複数の画像と前記深度情報との間の関係を示す追加情報を符号化するステップ315を更に有する。
ここで、特定の好適な実施例において、この追加情報が、前記ビュー情報及び/又は深度情報の符号化に使用されてもよいことに注意する。実際に、特に圧縮を実行する場合、有利に圧縮を援助するのに前記深度情報を使用することも可能でありうる。
前記追加情報は、以上に記載された情報を有することができる。前記ブロック図に示されるように、前記方法の様々なステップは、並列に実行されてもよく、又はデータ依存の場合、例えば図4の破線により示されるように前記生成された追加情報を使用する場合、これは、順次的に実行される又はパイプライン型であることができる。
前記方法は、前記符号化された情報が前記三次元ビデオデータの表現に結合されるステップを更に有する。この表現は、例えば、2地点間リンクを使用して又はネットワーク情報の放送を用いて、他の装置に転送するための電子信号であることができる。代替的には、この表現は、コンピュータ間で画像又はビデオファイルを記憶又は交換するファイルシステム内のファイルであることができる。
前記三次元ビデオデータの表現は、記憶装置(例えば以下に記載される記憶装置525)に記憶されることができる。特に、前記三次元ビデオ信号は、インターネットのようなネットワークに結合されたサーバに、放送局により配信用の記憶システムに、記録装置により記憶媒体に、又はDVD又はBlu−rayディスクのような記録担体を製造するオーサリング及び/又は製造システムを介して複数のメディアに記憶されることができる。前記追加情報は、記憶プロセスの様々な段階において前記三次元ビデオ信号に及び/又は前記記憶媒体に含められることができる。前記記録担体の製造プロセスは、前記追加情報を含む前記3Dビデオ信号を具体化するトラック内のマークの物理的パターンを提供するステップと、少なくとも1つの記憶層に前記マークのトラックを提供するように前記記録担体の材料を成形するステップとを更に有することができる。
図5は、三次元ビデオデータを復号する方法のブロック図を示す。ここに示される前記方法は、前記三次元ビデオデータの表現から追加情報を抽出するステップ405を有する。前記追加情報は、異なる視点からのシーンの複数のビューと前記シーンの深度情報との間の関係を示す。前記方法は、前記追加情報及び前記複数のビューの少なくとも1つ及び前記深度情報に基づいて前記三次元ビデオデータをレンダリングするステップ410を更に有する。
前記復号する方法は、好ましくは、前記複数のビュー及び前記深度情報を使用してレンダリングすることを含む。本発明によって提供される前記追加情報は、左及び右画像をレンダリングする場合に有用であることもできる。例えば、シャッタ眼鏡ベースのステレオスコピック表示装置においてレンダリングするために前記三次元ビデオデータを復号する場合、前記深度情報は、三次元シーン内にOSD情報を挿入する最良の位置を決定するのに使用されることができる。
しかしながら、他の応用において、前記追加情報は、前記表現内で提供された前記複数のビューをレンダリングするか否かを決定する、又は(オプションとして)ビュー及び深度情報の両方に基づいて追加ビューをレンダリングするのに有利に使用されることができる。
図6は、本発明による三次元ビデオデータを符号化する装置580及び三次元ビデオデータをレンダリングする装置585を有するブロック図を示す。
三次元ビデオデータを符号化する装置580は、異なる視点からのシーンの複数のビュー501を符号化する第1のエンコーダ505と、前記シーンの深度情報を符号化する第2のエンコーダ510と、前記複数の画像及び前記深度情報との間の関係を示す追加情報を符号化する第3のエンコーダ515とを有する。オプションとして、前記第3のエンコーダは、上に記載されたように前記第1の及び/又は第2のエンコーダにおいて使用する情報511を出力することができることに更に注意する。
この特定の図に示された実施例において、第2のエンコーダ510は、複数のビュー501以外の入力データ503を受け取る。この入力は、例えば、手動深度マップ生成プロセスからの結果であることができ、代替的には、複数のビュー501を使用する外部深度マップ生成装置により生成された入力でありうる。
第1、第2及び第3のエンコーダ505、510及び515のそれぞれの出力505、507及び509は、この後に、結合器520により前記三次元ビデオデータの表現513に結合される。前記結合器が、前記三次元ビデオデータのファイル表現を生成する場合、前記結合器は、コンピュータの中央処理ユニット(CPU)上で実施されることができる。代替的には、前記表現が、電子信号である場合、前記結合器は、デジタル・アナログコンバータ及び例えばラインドライバ回路を更に有することができる。
表現513は、記憶装置525に記憶されてもよく又は代替的には他の装置にネットワーク530上で転送されることができる。前記他の装置は、例えば、三次元ビデオデータを復号する装置585であることができる。装置585は、前記三次元ビデオデータの表現513から異なる視点からのシーンの複数のビューと前記シーンの深度マップとの間の関係を示す追加情報を抽出する抽出器535を有する。前記抽出器は、例えばコンピュータのCPU上で、又は代替的には前記コンピュータ内の他の処理ユニット上で実施されることができる。表現513が、特定のファイルフォーマットのファイルである場合、前記抽出器は、例えば、表現513から関連するフィールド又はストリームを抽出するデマルチプレクサ又はパーサを有することができる。
装置585は、前記追加の情報及び前記複数のビューの少なくとも1つ及び前記深度情報に基づいて前記三次元ビデオデータをレンダリングするレンダリング手段540を更に有する。前記レンダリング手段は、例えば画像及び深度情報に基づいてオートステレオスコピック表示装置に表示する複数のビューをレンダリングするソフトウェアレンダリングスタックを有することができる。
上記記載が、明確性のために、異なる機能ユニット及びプロセッサを参照して本発明の実施例を記載していると理解される。しかしながら、異なる機能ユニット又はプロセッサ間の機能の如何なる適切な分散も本発明から逸脱することなしに使用されることができることは、明らかである。例えば、別個のプロセッサ又はコントローラにより実行されるように示された機能は、同じプロセッサ又はコントローラにより実行されてもよい。したがって、特定の機能ユニットの参照は、厳密な論理又は物理構造又は組織を示すのではなく記載された機能を提供する適切な手段の参照と見なされるだけである。
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む如何なる適切な形式でも実施されることができる。本発明は、オプションとして、1以上のデータプロセッサ及び/又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実施されることができる。本発明の実施例の要素及びコンポーネントは、如何なる適切な形でも物理的に、機能的に及び論理的に実施されることができる。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの一部として実施されてもよい。このように、本発明は、単一のユニットで実施されてもよく、又は異なるユニット及びプロセッサ間に物理的に及び機能的に分散されてもよい。
本発明は、幾つかの実施例に関連して記載されているが、ここに記載された特定の形式に限定されること意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、フィーチャは、特定の実施例に関連して記載されるよう見えるかもしれないが、当業者は、記載された実施例の様々なフィーチャが、本発明によって結合されてもよいことを認識する。請求項において、用語有するは、他の要素又はステップの存在を除外しない。
更に、個別にリストされているが、複数の手段、要素又は方法ステップは、例えば単一のユニット又はプロセッサにより実施されてもよい。加えて、個別のフィーチャは、異なる請求項に含められることができるが、これらは、有利に結合されることができ、異なる請求項における包含は、フィーチャの組み合わせが実行可能及び/又は有利ではないことを意味しない。また、請求項の1つのカテゴリにおけるフィーチャの包含は、このカテゴリに対する限定を意味せず、むしろ前記フィーチャが適切に他の請求項カテゴリに同等に適用可能であることを示す。更に、請求項内のフィーチャの順序は、前記フィーチャが動作されなくてはならない特定の順序を意味せず、特に方法請求項内の個別のステップの順序は、前記ステップがこの順序で実行されなくてはならないことを意味しない。むしろ、前記ステップは、如何なる適切な順序でも実行されることができる。加えて、単数形は、複数を除外しない。したがって、"1つの"("a"、"an")、"第1の"、"第2の"等は、複数を除外しない。請求項内の参照符号は、単に明確化する例として提供され、いかなる形にも請求項の範囲を限定するように解釈されるべきでない。

Claims (15)

  1. 三次元ビデオデータを符号化する方法において、前記方法が、
    異なる視点からのシーンの複数のビューを符号化するステップと、
    前記シーンの深度情報を符号化するステップと、
    前記複数のビューと前記深度情報との間の関係を示す追加情報を符号化するステップと、
    前記符号化された情報を前記三次元ビデオデータの表現に結合するステップと、
    を有し、
    前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、対応する場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つが使用される、
    方法。
  2. 前記グループ分類子は、前記深度情報が前記複数のビューの少なくとも2つに存在する視差情報に対応するかどうかを示す情報を有する、請求項1に記載の方法。
  3. 前記追加情報が、どれだけ前記深度情報が前記複数のビューの少なくとも2つに関連しているかを示す、請求項2に記載の方法。
  4. 前記追加情報が、前記複数のビューの少なくとも2つに存在する視差情報と前記深度情報との間の関係を示す変換情報を有する、請求項1ないし3のいずれか一項に記載の方法。
  5. 前記追加情報が、前記深度情報の視点と前記複数のビューの少なくとも1つの視点との間の関係を示すビュー分類子を有する、請求項1ないし4のいずれか一項に記載の方法。
  6. 前記追加情報が、前記深度情報及び前記複数のビューの各々に対するグループ分類子値を有し、等しいグループ分類子値が、それぞれの前記ビューの視点と前記深度情報の視点との間の対応を示す、請求項1に記載の方法。
  7. 前記追加情報が、二次元ディスプレイにおいて前記三次元ビデオ信号をレンダリングするための好適なビューを示す情報を有する、請求項1に記載の方法。
  8. 前記追加情報が、前記複数のビュー及び前記深度情報内の1以上の空間領域に対する前記複数のビューと前記深度情報との間の関係を示す情報を符号化する、請求項1ないし3のいずれか一項に記載の方法。
  9. 三次元ビデオデータを復号する方法において、
    前記三次元ビデオデータの表現から追加情報を抽出するステップであって、前記追加情報が、異なる視点からのシーンの複数のビューと前記シーンの深度情報との間の関係を示し、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有する、当該抽出するステップと、
    グループ分類子が対応を示す場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つを使用することにより前記追加情報に基づいて前記三次元ビデオデータをレンダリングするステップと、
    を有する方法。
  10. 前記グループ分類子が、前記深度情報が前記複数のビューの少なくとも2つに存在する視差情報に対応するかどうかを示す情報を有する、請求項9に記載の方法。
  11. 三次元ビデオデータを符号化する装置において、
    異なる視点からのシーンの複数のビューを符号化する第1のエンコーダと、
    前記シーンの深度情報を符号化する第2のエンコーダと、
    前記複数のビューと前記深度情報との間の関係を示す追加情報を符号化する第3のエンコーダと、
    前記符号化された情報を前記三次元ビデオデータの表現に結合する結合器であって、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、対応する場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つが使用される、当該結合器と、
    を有する装置。
  12. 三次元ビデオデータを復号する装置において、
    前記三次元ビデオデータの表現から追加情報を抽出する抽出器であって、前記追加情報が、異なる視点からのシーンの複数のビューと前記シーンの深度情報との間の関係を示し、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有する、当該抽出器と、
    グループ識別子が対応を示す場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つを使用することにより前記追加情報に基づいて前記三次元ビデオデータをレンダリングするレンダリング手段と、
    を有する装置。
  13. 異なる視点からのシーンの符号化された複数のビューと、
    前記シーンの符号化された深度情報と、
    前記複数の画像と前記深度情報との間の関係を示す符号化された追加情報であって、前記追加情報が、前記深度情報及び前記複数のビューの少なくとも1つが同じソース材料に対応するか否かを示すグループ分類子を有し、対応する場合に、他の異なる視点からの前記シーンの他のビューをレンダリングするのに前記深度情報及び前記複数のビューの少なくとも1つが使用される、当該符号化された追加情報と、
    を有する三次元ビデオ信号。
  14. 請求項13に記載の三次元ビデオ信号を有する記憶装置。
  15. 請求項1ないし11のいずれか一項に記載の方法を実行するプログラム命令を有するコンピュータプログラム。
JP2011540312A 2008-12-15 2009-12-10 画像ベースの3dビデオフォーマット Active JP5734867B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP08171627A EP2197217A1 (en) 2008-12-15 2008-12-15 Image based 3D video format
EP08171627.6 2008-12-15
PCT/IB2009/055638 WO2010070545A1 (en) 2008-12-15 2009-12-10 Image based 3d video format

Publications (2)

Publication Number Publication Date
JP2012512554A true JP2012512554A (ja) 2012-05-31
JP5734867B2 JP5734867B2 (ja) 2015-06-17

Family

ID=40551343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011540312A Active JP5734867B2 (ja) 2008-12-15 2009-12-10 画像ベースの3dビデオフォーマット

Country Status (6)

Country Link
US (1) US8767046B2 (ja)
EP (2) EP2197217A1 (ja)
JP (1) JP5734867B2 (ja)
KR (1) KR101651442B1 (ja)
CN (1) CN102246529B (ja)
WO (1) WO2010070545A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0823512A2 (pt) 2007-04-12 2013-11-26 Thomson Licensing Ladrilhamento em codificação e decodificação de vídeo
WO2010010521A2 (en) 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
US8890868B2 (en) * 2008-09-25 2014-11-18 Koninklijke Philips N.V. Three dimensional image data processing
RU2543954C2 (ru) 2009-01-26 2015-03-10 Томсон Лайсенсинг Упаковка кадров для кодирования видео
EP2399394B1 (en) * 2009-02-19 2020-09-30 InterDigital Madison Patent Holdings 3d video formats
WO2010126612A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Reference picture lists for 3dv
JP5722349B2 (ja) 2010-01-29 2015-05-20 トムソン ライセンシングThomson Licensing ブロックに基づくインターリーブ
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
BR112013006006A2 (pt) 2010-09-14 2017-07-18 Thomson Licensing método de compressão e aparelho para dados de oclusão
TWI532009B (zh) 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
US9338426B2 (en) 2010-10-27 2016-05-10 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
US20130250051A1 (en) * 2010-12-13 2013-09-26 Electronics And Telecommunications Research Institute Signaling method for a stereoscopic video service and apparatus using the method
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
PL397016A1 (pl) * 2011-11-17 2013-05-27 Politechnika Poznanska Sposób kodowania glebi stereoskopowej
WO2013112796A1 (en) * 2012-01-25 2013-08-01 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
TW201336293A (zh) * 2012-02-22 2013-09-01 Chunghwa Picture Tubes Ltd 顯示3d影像的裝置及其方法
US8644596B1 (en) * 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
CN104335579B (zh) * 2013-02-06 2017-11-14 皇家飞利浦有限公司 对供多视图立体显示设备所用的视频数据信号进行编码的方法
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
KR20140115854A (ko) 2013-03-22 2014-10-01 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
CN105230011B (zh) * 2013-04-05 2018-05-22 皇家飞利浦有限公司 重瞄准三维图像信号
WO2014166119A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
RU2667605C2 (ru) 2013-05-10 2018-09-21 Конинклейке Филипс Н.В. Способ кодирования сигнала видеоданных для использования с многовидовым устройством визуализации
TWI508526B (zh) * 2013-10-01 2015-11-11 Wistron Corp 產生視角平移影像之方法及其可攜式電子設備
US9369727B2 (en) 2014-07-10 2016-06-14 Intel Corporation Storage of depth information in a digital image file
JP6384744B2 (ja) * 2015-11-11 2018-09-05 ソニー株式会社 符号化装置および符号化方法
CN106780686B (zh) * 2015-11-20 2020-07-10 网易(杭州)网络有限公司 一种3d模型的合并渲染系统及方法、终端
WO2017122543A1 (ja) * 2016-01-13 2017-07-20 ソニー株式会社 情報処理装置および情報処理方法
TW201727537A (zh) * 2016-01-22 2017-08-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
CN106791776B (zh) * 2016-11-30 2019-04-30 努比亚技术有限公司 一种实现视频播放的方法和装置
CN106791764A (zh) * 2016-11-30 2017-05-31 努比亚技术有限公司 一种实现视频编解码的方法和装置
US10873733B2 (en) * 2017-06-23 2020-12-22 Mediatek Inc. Methods and apparatus for deriving composite tracks
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
CN111937042A (zh) * 2018-02-14 2020-11-13 松下电器(美国)知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
KR102413098B1 (ko) * 2018-05-31 2022-06-24 한국전자통신연구원 영상 처리 방법 및 이를 이용한 영상 재생 장치
CN110008904A (zh) * 2019-04-08 2019-07-12 万维科研有限公司 生成基于视频文件格式的形状识别列表的方法
CN110855997B (zh) * 2019-11-06 2023-03-28 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质
CN110784722B (zh) * 2019-11-06 2022-08-16 Oppo广东移动通信有限公司 编解码方法、编解码装置、编解码系统及存储介质
CN112788325B (zh) * 2019-11-06 2023-06-02 Oppo广东移动通信有限公司 一种图像处理方法、编码装置、解码装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd 3次元映像情報記録装置及びプログラム
JP2009531927A (ja) * 2006-03-31 2009-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数の視野の効率的な符号化
JP2010512039A (ja) * 2006-12-04 2010-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データ及び深度データの組合せを処理する画像処理システム
JP2010530160A (ja) * 2007-06-07 2010-09-02 エンハンスト チップ テクノロジー インコーポレイテッド 符号化されたステレオスコピック映像データファイルのフォーマット

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568268A (ja) * 1991-03-04 1993-03-19 Sharp Corp 立体視画像作成装置および立体視画像作成方法
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
EP2252071A3 (en) * 1997-12-05 2017-04-12 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
EP1501317A4 (en) * 2002-04-25 2006-06-21 Sharp Kk Image data generation device, image data reproduction device and image data recording medium
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置
JP4259884B2 (ja) * 2003-01-20 2009-04-30 シャープ株式会社 画像データ作成装置およびそのデータを再生する画像データ再生装置
KR101187550B1 (ko) 2004-02-27 2012-10-04 티디비전 코포레이션 에스.에이. 데 씨.브이. 입체적 3d-비디오 이미지 디지털 코딩 시스템 및 방법
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
PL1897056T3 (pl) 2005-06-23 2017-01-31 Koninklijke Philips N.V. Połączona wymiana danych obrazu i powiązanych
KR100894874B1 (ko) * 2007-01-10 2009-04-24 주식회사 리얼이미지 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
WO2009034519A1 (en) * 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal
CN100563340C (zh) * 2008-07-07 2009-11-25 浙江大学 基于深度图像渲染的多通道视频流编码器和解码器
CN100563339C (zh) * 2008-07-07 2009-11-25 浙江大学 一种利用深度信息的多通道视频流编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd 3次元映像情報記録装置及びプログラム
JP2009531927A (ja) * 2006-03-31 2009-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数の視野の効率的な符号化
JP2010512039A (ja) * 2006-12-04 2010-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データ及び深度データの組合せを処理する画像処理システム
JP2010530160A (ja) * 2007-06-07 2010-09-02 エンハンスト チップ テクノロジー インコーポレイテッド 符号化されたステレオスコピック映像データファイルのフォーマット

Also Published As

Publication number Publication date
EP2377325A1 (en) 2011-10-19
KR20110106367A (ko) 2011-09-28
EP2377325B1 (en) 2017-03-01
JP5734867B2 (ja) 2015-06-17
EP2197217A1 (en) 2010-06-16
US8767046B2 (en) 2014-07-01
WO2010070545A1 (en) 2010-06-24
CN102246529B (zh) 2014-11-26
KR101651442B1 (ko) 2016-08-26
CN102246529A (zh) 2011-11-16
US20110242279A1 (en) 2011-10-06

Similar Documents

Publication Publication Date Title
JP5734867B2 (ja) 画像ベースの3dビデオフォーマット
US10567728B2 (en) Versatile 3-D picture format
US8488869B2 (en) Image processing method and apparatus
US8482654B2 (en) Stereoscopic image format with depth information
JP5553310B2 (ja) 立体的なレンダリングのための画像エンコード方法
JP5544361B2 (ja) 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム
US20130033586A1 (en) System, Method and Apparatus for Generation, Transmission and Display of 3D Content
JP6231125B2 (ja) マルチビュー立体視ディスプレイデバイスと共に使用するビデオデータ信号を符号化する方法
TW200945250A (en) Rendering a multiple viewpoint image into a single frame buffer using off-screen rendering surfaces
JP2015534745A (ja) 立体画像の生成、送信、及び受信方法、及び関連する装置
EP2982107B1 (en) Re-targeting a three-dimensional image signal
Bourge et al. MPEG-C part 3: Enabling the introduction of video plus depth contents
Zinger et al. iGLANCE project: free-viewpoint 3D video
CN116866540A (zh) 图像渲染方法、系统、装置及存储介质
Vetro 3D in the Home: Mass Market or Niche?

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130919

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150415

R150 Certificate of patent or registration of utility model

Ref document number: 5734867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250