JP2016514432A - デプスルックアップテーブルを符号化する方法 - Google Patents

デプスルックアップテーブルを符号化する方法 Download PDF

Info

Publication number
JP2016514432A
JP2016514432A JP2015561948A JP2015561948A JP2016514432A JP 2016514432 A JP2016514432 A JP 2016514432A JP 2015561948 A JP2015561948 A JP 2015561948A JP 2015561948 A JP2015561948 A JP 2015561948A JP 2016514432 A JP2016514432 A JP 2016514432A
Authority
JP
Japan
Prior art keywords
depth
lookup table
dlt
representation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015561948A
Other languages
English (en)
Other versions
JP6318181B2 (ja
Inventor
イエーガー,ファビアン
ウィーン,マティアス
コニエチュニー,ヤセク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2016514432A publication Critical patent/JP2016514432A/ja
Application granted granted Critical
Publication of JP6318181B2 publication Critical patent/JP6318181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、デプスルックアップテーブル(DLT)(201、211)を符号化する方法(100)に関し、デプスルックアップテーブルは、3Dピクチャの少なくとも一部のデプス値情報を有する。この方法(100)は、参照デプスルックアップテーブル(203、213)を選択するステップ(101)と、符号化されるデプスルックアップテーブル(201、211)のデプス値情報と参照デプスルックアップテーブル(203、213)のデプス値情報との間の比較に基づいて差値デプスルックアップテーブル(205、215)を決定するステップ(103)と、所定の符号化ルールに従って差値デプスルックアップテーブル(205、215)のデプス値情報を符号化するステップ(105)とを有する。

Description

本発明は、特にコンピュータビジョンの分野において、具体的に3Dビデオ処理及び3Dビデオ符号化において、デプスルックアップテーブル(DLT:Depth Lookup Table)を符号化する方法及び装置に関し、デプスルックアップテーブルを復号化する方法及び装置に関する。
3Dビデオでは、デプスデータは、通常では、テクスチャビデオの各フレームに対応する一式のデプスマップとして表される。デプスマップの各ポイントの強度は、このポイントにより表される視覚場面のカメラからの距離を記述する。或いは、値がデプスマップのものに反比例してデプスマップを導出するために使用され得るデプスマップが使用されることがある。
3Dビデオ符号化では、各ビューのデプスマップは、従来のビデオデータに加えて符号化される必要がある。これらのデプスマップは、ビデオデータに比べて異なる信号特性を示す。この理由は、これらは強いエッジにより境界される区分的に円滑な領域を含むからである。デプスマップは、しばしばテクスチャデータから推定されるか、或いは前処理されるため、これらのヒストグラムは比較的散在する可能性がある。その結果、残余デプス値自体をシグナリングする代わりに、DLTの差値インデックスのみをシグナリングすることによりヒストグラム特性を利用するためのデプスルックアップテーブル(DLT)が提案されている[F. Jager, “3D-CE6.h Results on Simplified Depth Coding with an optional Depth Lookup Table,” Joint Collaborative Team on 3D Video Coding Extension Development (JCT-3V) of ITU-T VCEG and ISO/IEC MPEG, Shanghai, China, JCT3V-B0036, 2012]。この手法により、これらの残余値のビットデプスが低減可能になり、その結果、高い符号化効率を生じる。
DLTは、元の圧縮されていないデプスマップのヒストグラムを分析することにより符号器で構成される。その後、このDLTは、実際のデプス値へのインデックスのマッピングを可能にするために復号器に送信される。デプスマップのヒストグラム値は、時間と共に変化する可能性があり、従って、更新機構の要求が存在する。更に、マルチビュー符号化のシナリオでは、複数のデプスマップは異なるデプスマップヒストグラムを有する可能性があり、この場合、このような更新機構も全体の符号化性能にとって有益になる。
高性能ビデオ符号化のための3D拡張の最新の仕様[G. Tech, K. Wegner, Y. Chen, S. Yea, “3D-HEVC test model 2,” Document of Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-B1005, October, 2012]では、DLTは、全てのビューについて別々に、シーケンスパラメータセット(SPS:Sequence Parameter Set)におけるシーケンス毎に1回のみ送信される。この手法は、DLTシグナリングのオーバーヘッドを比較的低く保持する。
また、ベースビューの各IスライスのスライスヘッダでDLTをシグナリングすることも提案されている[I. Lim, H. C. Wey, and D. S. Park, “3D-CE6.h Related: Improved depth lookup table (DLT),” Joint Collaborative Team on 3D Video Coding Extension Development (JCT-3V) of ITU-T VCEG and ISO/IEC MPEG, Geneva, Switzerland, JCT3V-C0093, 2013]。この手法では、DLT値は、時間と共にヒストグラムの変化を可能にするために、時間方向により規則的に更新される。この場合、全てのビューに渡るデプスマップヒストグラムは同じであると仮定されるため、全ての従属ビューはベースビューのDLTを継承する。
また、図8に示すように範囲制限ビットマップ(RCBM:range constrained bit map)符号化800と呼ばれる、DLT値をシグナリングする他の方法も提案されている[Kai Zhang, Jicheng An, Shawmin Lei, “3D-CE6.h related: An efficient coding method for DLT in 3DVC”, Document of Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-C0142, January, 2013]。この方法800は、DLTに存在するデプス値の範囲のシグナリングを使用する(図8参照)。min_dlt_value及びdiff_max_dlt_valueは、DLTの値の範囲を制限するために、符号なし整数として符号化される。DLTの最小値はmin_dlt_valueであり、最大値はMaxDltValueであり、これは、min_dlt_value+diff_max_dlt_valueに等しい。次に、範囲内のデプス値がDLTに存在するか否かをシグナリングするために、2進列bit_map_flagが使用される。bit_map_flagのビットが1に等しい場合、2進列のこの部分に対応するデプス値はDLTに属するか、或いはDLTに生じる。そうでない場合、デプス値は、DLTに属さないか、或いはDLTに生じない。
DLTシグナリングのための従来技術の符号化方法は、信号の特性を十分に利用しておらず、従って、DLTの符号化効率を更に増加させる可能性が存在する。ビュー毎に別々にシーケンス毎に1回のみDLTをシグナリングすることは、DLT値の非常に低いオーバーヘッドを生じるが、時間及び空間(ビュー間)の更新に関して比較的柔軟性がない。
ベースビューのIスライスのスライスヘッダでDLTをシグナリングし、従属ビューについてDLTを継承する別の対策は、より規則的に時間方向にルックアップテーブルを更新する機能を欠き、また、DLTのビュー間の更新を可能にしない。DLT値が全ての符号化ビューについて常に同じであるという仮定は、多くの場合で非常に限定的であり、従属ビューにおいて低減したデプスマップの品質を生じる。従属ビューのデプスマップがベースビューに比べて異なるヒストグラム特性を示す場合、そのデプスマップの再構成は、最適でないDLTの単なるコピーのため、全ての元のデプス値に到達することすらできない。
デプスルックアップテーブルの改善した符号化/復号化技術を提供することが本発明の目的である。
この目的は、独立請求項の特徴により実現される。更なる実装形式は、従属請求項、詳細な説明及び図面から明らかになる。
本発明は、デプスルックアップテーブルの改善した符号化/復号化技術がDLT予測を使用することにより提供可能であるという所見に基づく。現在のDLTの全ての値をシグナリングする代わりに、現在のDLTと参照DLTとの間の差値のみがシグナリングされる。従って、例えば、DLTルックアップテーブルの時間的及びビュー間の冗長性が、DLTの必要なビットレートを低減するために利用されてもよい。DLT予測の変形では、現在のDLTルックアップテーブルと参照DLTルックアップテーブルとの間のゼロ差値をシグナリングするために単一のフラグが使用される。
DLTルックアップテーブルの間の異なる時間的及び空間的(ビュー間)依存関係が利用可能なDLT符号化/復号化のための複数の予測シナリオについて説明する。予測に基づく符号化/復号化方法の実施において送信誤りの影響を低減する方法が提示される。これらの方法によれば、高い符号化レベル(例えば、PPS)における値のビット長がシグナリングされ、失った参照DLTが専用のSEIメッセージで送信される。XOR論理演算子に基づく現在のDLTルックアップテーブルと参照DLTルックアップテーブルとの間の差値を計算する簡単な方法が提示される。
本発明を詳細に説明するために、以下の用語、略語及び表記が使用される。
HEVC ‐ 高性能ビデオ符号化(High-Efficiency Video Coding)
CU ‐ 符号化単位(Coding Unit)
DLT ‐ デプスルックアップテーブル(Depth Lookup Table)
RAP ‐ ランダムアクセスポイント(Random Access Point)
SEI ‐ 付加エンハンスメント情報(Supplemental Enhancement Information)
SH ‐ スライスヘッダ(Slice Header)
SPS ‐ シーケンスパラメータセット(Sequence Parameter Set)
PPS ‐ ピクチャパラメータセット(Picture Parameter Set)
ビデオシーケンス 動画を表す一式の生じたフレーム。
3Dビデオ 2つのテクスチャビュー及び対応するデプス又は視差マップを有する信号。
視覚場面 3Dビデオに表される実世界又は合成場面。
デプスマップ ピクチャの各ポイントの値がこのポイントにより表される視覚場面のカメラまでの距離を決定するグレースケールピクチャ。或いは、デプスマップを表すため又は導出するために、値がデプスマップのものに反比例する視差マップが使用されてもよい。
テクスチャビュー 視覚場面の色及びテクスチャについての情報を含む、指定の視点で取得されたビデオ。通常ではRBG又はYUVフォーマットで表される。
ランダムアクセスポイント 復号器がビデオストリームの前の部分の認識なしにシーケンスを復号化し始めることができるビデオシーケンスの構造における規定のポイント。
SPS ビデオストリームを適切に復号化するために必要な基本情報を含む整理されたメッセージの形式で送信される一式のパラメータ。各ランダムアクセスポイントの始まりにシグナリングされなければならない。
PPS ビデオシーケンスのピクチャを適切に復号化するために必要な基本情報を含む整理されたメッセージの形式で送信される一式のパラメータ。
ピクチャ ビデオシーケンスの全ピクチャを含むビデオシーケンスの構造。フレームとも呼ばれる。
スライス ビデオシーケンスの一部又は全ピクチャを含むビデオシーケンスの構造。
スライスヘッダ スライスの始まりに送信されるスライスを記述する一式のパラメータ。
CU ピクチャの一部(例えば、64×64画素)を含む予め規定されたサイズのビデオシーケンスの構造を符号化する基礎。
Iスライス 全ての符号化単位がイントラ予測されるため、他のピクチャへの参照が許可されないスライス。
SEI ビデオシーケンス、符号化ツール等についての更なる情報又は任意選択の情報を含むビデオシーケンスのストリームでシグナリングされ得るメッセージ。
第1の態様によれば、本発明は、デプスルックアップテーブルを符号化する方法に関し、デプスルックアップテーブルは、3Dピクチャの少なくとも一部のデプス値情報を有する。この方法は、参照デプスルックアップテーブルを選択するステップと、符号化されるデプスルックアップテーブルのデプス値情報と参照デプスルックアップテーブルのデプス値情報との間の比較に基づいて差値デプスルックアップテーブルを決定するステップと、所定の符号化ルールに従って差値デプスルックアップテーブルのデプス値情報を符号化するステップとを有する。
この種類の符号化は、予測符号化、差値符号化又は差分符号化と呼ばれてもよい。
実現形式では、“差値符号化(Difference coding)”は、DLT予測(例えば、時間及びビュー)と、(例えば、単一ビュー/ベースビューの)DLTの更新との双方をカバーする。
実現形式では、デプス値情報は、(2進列又は整数インデックス値のシーケンスとして)デプス値を表すインデックス又はデプス値自体でもよい。DLTの双方の選択肢又は表現はDLTと呼ばれてもよい。DLTは、デプスマップを符号化及び復号化するために使用される。
“3Dピクチャ”という用語は、単一ビューのテクスチャ情報(例えば、RGB等)及びデプス情報として理解される。更なるデプス情報は、テクスチャ情報のみを有する対応する2Dピクチャへの差値である。
実現形式は、3Dビデオ(3Dピクチャシーケンス)、単一の3Dピクチャ、及び3Dピクチャ又は3Dピクチャシーケンスの“部分”(例えば、スライス、符号化単位、マクロブロック)のDLTをカバーし、具体的な場合又は極端な場合には、1つの時点、1つのビュー及び1つの“部分”に特有の1つのDLTをカバーする。実現形式では、DLTは、テクスチャ情報と共に符号化されてもよく、別々に符号化されてもよい。更なる実現形式では、DLTのみが符号化される。
実現形式では、参照デプスルックアップテーブル(例えば、参照DLT)を選択するステップは、選択基準に基づく。
実現形式では、固定された選択基準が予め決定される。実現形式では、選択基準は採択可能である。
実現形式では、差値デプスルックアップテーブル(例えば、Δ-DLT)を決定するステップは、符号化されるデプスルックアップテーブル(例えば、現在のDLT)のデプス値情報と、参照デプスルックアップテーブル(例えば、参照DLT)に含まれるデプス値情報との比較に基づく。
実現形式では、所定の符号化ルールは、参照DLTを符号化するために使用されるもの(すなわち、“全DLTの通常の符号化”、例えば、参照DLT及び差値DLTを符号化するための範囲制限ビットマップ符号化)と同じである。
デプスルックアップテーブル符号化/復号化の新たに提示される方法は、DLTの必要なビットレートを同時に低減しつつ、符号器/復号器の高い柔軟性を提供する。デプスマップ特性は、異なるシーケンスの間でかなり変化する可能性があり、同じシーケンス内ですら(フレーム間及びビュー間で)変化する可能性があるため、DLTを符号化/復号化する高い柔軟性は、この方法の実現により提供される。
異なる時点(ビデオシーケンスの場合)又は時点及びビュー(マルチビューのシーケンスの場合)の値を表すDLTルックアップテーブルの類似性を利用するために、ここで提示されるDLT符号化/復号化のための新たな方法は、DLTルックアップテーブルを表すために符号化/復号化される必要のある情報量を減少させるために、DLT値のDLT予測を使用する。
第1の態様による方法の第1の可能な実装形式では、差値デプスルックアップテーブルは、符号化されるデプスルックアップテーブルに発生し、参照デプスルックアップテーブルに発生しないデプス値情報を有し、参照ルックアップテーブルに発生し、符号化されるデプスルックアップテーブルに発生しないデプス値情報を有する。
差値デプスルックアップテーブルがこのようなデプス値情報を有する場合、デプスルックアップテーブルの符号化は、非常に効率的に実現可能になり、差値符号化されたDLTは、従来の符号化されたDLTに比べて少ないビット又は帯域幅を必要とする。
実現形式では、比較は、デプス値自体又は整数のインデックスの比較に基づく。実現形式では、比較は、例えば2進列におけるデプス値インデックスの存在又は発生(1)の比較に基づく。
第1の態様自体又は第1の態様の第1の実装形式による方法の第2の可能な実装形式では、符号化されるデプスルックアップテーブルにおけるデプス値の発生及び参照デプスルックアップテーブルにおけるデプス値の発生は、2進列として表され、2進列の第1の2進値(例えば、“1”)は、対応するデプスルックアップテーブルにおけるデプス値の発生、特に個々のデプス値の発生を示し、2進列の第2の2進値(例えば、“0”)は、対応するデプスルックアップテーブルにおけるデプス値の不発生、特に個々のデプス値の不発生を示す。
このような2進列を使用することにより、符号化は、DLTにおけるデプス値の存在若しくは不在、又は発生及び不発生を示すように低減され、これは非常に効率的な符号化を可能にする。
実現形式では、2進列の第1の2進値は、2進数の“1”であり、2進列の第2の2進値は、2進数の“0”である。他の実現形式では、2進列の第1の2進値は、2進数の“0”であり、2進列の第2の2進値は、2進数の“1”である。
実現形式では、符号化されるデプスルックアップテーブルにおける個々のデプス値の発生及び参照デプスルックアップテーブルにおける個々のデプス値の発生は、2進列として表され、2進列の第1の2進値(“1”)は、対応するデプスルックアップテーブルにおける個々のデプス値の発生を示す。
第1の態様の第2の実装形式による方法の第3の可能な実装形式では、差値デプスルックアップテーブルを決定するステップは、符号化されるデプスルックアップテーブルのデプス値情報及び参照デプスルックアップテーブルのデプス値情報を表す2進列に、論理XOR演算及び論理XNOR演算のうち1つを適用するステップを有する。
論理XORゲート又はXNORゲートは、実装するのが容易な標準的な回路である。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第4の可能な実装形式では、この方法は、参照デプスルックアップテーブルの範囲制限ビットマップ符号化を使用して参照ルックアップテーブルのデプス値情報を符号化するステップであり、差値デプスルックアップテーブルのデプス値情報を符号化するステップもまた、差値デプスルックアップテーブルの範囲制限ビットマップ符号化を使用して実行されるステップを更に有する。
差値デプスルックアップテーブルの範囲制限ビットマップ符号化を使用することは、符号化値の範囲が制限されるため効率的な符号化である。換言すると、2進列の長さが低減され、これにより、低減した情報量を提供する。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第5の可能な実装形式では、この方法は、符号化されるデプスルックアップテーブルと参照デプスルックアップテーブルとの間の同一性を示すためにフラグを使用するステップを有する。
第1の態様の第5の実装形式による方法の第6の可能な実装形式では、所定の符号化ルールに従って差値デプスルックアップテーブルを符号化ステップは、フラグが符号化されるデプスルックアップテーブルと参照デプスルックアップテーブルとの間の同一性を示す場合、そのフラグを提供するステップになる。
このフラグを使用することにより、デプスルックアップテーブルと参照ルックアップテーブルとの間の同一性の場合に、情報の非常に効率的な表現である単一のビットにより、全デプスルックアップテーブルが符号化されてもよい。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第7の可能な実装形式では、参照デプスルックアップテーブルは、他のビューに関連する他の3Dピクチャ、3Dピクチャを有する3Dビデオシーケンスの他のビュー及び/又は時点に関連する他の3Dピクチャ、又は同じ3Dピクチャの他の部分、他のビュー及び/又は時点に関連する他の3Dピクチャの対応する部分についての、例えば前に符号化されたデプスルックアップテーブルの中から選択され、3Dピクチャの一部は、3Dピクチャのスライス、符号化単位、符号化ブロック又はマクロブロックを有する。
他のデプスルックアップテーブル、例えば前に符号化されたデプスルックアップテーブルの中から参照デプスルックアップテーブルを選択する場合、参照デプスルックアップテーブルは、容易に提供可能になる。
第1の態様の第7の実装形式による方法の第8の可能な実装形式では、単一ビューのビデオシーケンスの場合、参照デプスルックアップテーブルは、他の時点についての、例えば前に符号化されたデプスルックアップテーブルの中から、特に3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つの前に符号化されたデプスルックアップテーブルの中から選択される。
参照デプスルックアップテーブルが、他の時点についての、例えば前に符号化されたデプスルックアップテーブルの中から選択される場合、多くのDLTが選択に利用可能になる。
第1の態様の第7の実装形式による方法の第9の可能な実装形式では、マルチビューのビデオシーケンスの場合、参照デプスルックアップテーブルは、マルチビューのビデオシーケンスの他のビュー及び/又は時点についての前に符号化されたデプスルックアップテーブルの中から、特に3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つの前に符号化されたデプスルックアップテーブルの中から選択される。
参照デプスルックアップテーブルが、他のビュー及び/又は時点についての前に符号化されたデプスルックアップテーブルの中から選択される場合、予測を開始するために、例えば、符号化利得に関して最善のDLTが選択可能になる。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第10の可能な実装形式では、参照デプスルックアップテーブルは、同じ符号化レベルの、例えば前に符号化されたデプスルックアップテーブルの中から、特にスライスヘッダ符号化レベル、符号化単位符号化レベル、SPS符号化レベル、PPS符号化レベル又はSEI符号化レベルのデプスルックアップテーブルの中から選択される。
参照デプスルックアップテーブルが、同じ符号化レベルの、例えば前に符号化されたデプスルックアップテーブルの中から選択される場合、参照DLTは、容易に見つけられることが可能になる。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第11の可能な実装形式では、参照デプスルックアップテーブルは、より高い符号化レベルの、例えば前に符号化されたデプスルックアップテーブルの中から、特にスライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル、SEI符号化レベル、SPS符号化レベル、ピクチャヘッダ符号化レベル、スライスヘッダ符号化レベル又はSEI符号化レベルのデプスルックアップテーブルの中から選択される。
参照デプスルックアップテーブルが、より高い符号化レベルの、例えば前に符号化されたデプスルックアップテーブルの中から選択される場合、単一の参照DLTは、予測される複数のDLTに使用可能になる。
符号化レベル及びレベルのランキングは、例えば、最低の“マクロブロックレベル”から始まり最高の“SPSレベル”まで規定される。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第12の可能な実装形式では、この方法は、特に、より高い符号化レベルで、特にスライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル、SEI符号化レベル、ピクチャヘッダ符号化レベル又はスライスヘッダ符号化レベルで、参照デプスルックアップテーブルのデプス値のビット長をシグナリングすることにより、或いは専用の付加エンハンスメント情報(SEI)メッセージで失われた参照デプスルックアップテーブルを送信することにより、参照デプスルックアップテーブルの破損に対して差値デプスルックアップテーブルを保護するステップを更に有する。
より高い符号化レベルで参照デプスルックアップテーブルのデプス値のビット長をシグナリングする場合、差値DLTは、破損に対して効率的に保護可能になる。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第13の可能な実装形式では、差値デプスルックアップテーブルの符号化は、ITU-T及びISO/IEC標準の3D Video Coding Extension Developmentに従った範囲制限ビットマップ符号化を有する。
差値デプスルックアップテーブルの符号化が、ITU-T及びISO/IEC標準の3D Video Coding Extension Developmentに従った範囲制限ビットマップ符号化を有する場合、この方法は標準に準拠する。
第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法の第14の可能な実装形式では、この方法は、差値デプスルックアップテーブルのデプス値情報を符号化するために使用したものと同じ符号化アルゴリズム、例えば、参照DLT及び差値DLTを符号化するための範囲制限ビットマップ符号化を使用して、参照ルックアップテーブルのデプス値情報を符号化するステップを更に有する。
同じ符号化アルゴリズムを使用して参照ルックアップテーブルのデプス値情報を符号化することは、1つのみの符号化アルゴリズムが従来のDLT及び差値DLTを符号化するために実装しさえすればよいため、非常に効率的である。
第2の態様によれば、本発明は、デプスルックアップテーブルを符号化する装置に関し、デプスルックアップテーブルは、3Dピクチャの少なくとも一部のデプス値情報を有する。この装置は、第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる方法を実装するように構成されたプロセッサを有する。
この種類の符号化は、予測符号化、差値符号化又は差分符号化と呼ばれてもよい。
実現形式では、“差値符号化(Difference coding)”は、DLT予測(例えば、時間及びビュー)と、(例えば、単一ビュー/ベースビューの)DLTの更新との双方をカバーする。
実現形式では、デプス値情報は、(2進列又は整数インデックス値のシーケンスとして)デプス値を表すインデックス又はデプス値自体でもよい。DLTの双方の選択肢又は表現はDLTと呼ばれてもよい。DLTは、デプスマップを符号化及び復号化するために使用される。
“3Dピクチャ”という用語は、単一ビューのテクスチャ情報(例えば、RGB等)及びデプス情報として理解される。更なるデプス情報は、テクスチャ情報のみを有する対応する2Dピクチャへの差値である。
実現形式は、3Dビデオ(3Dピクチャシーケンス)、単一の3Dピクチャ、及び3Dピクチャ又は3Dピクチャシーケンスの“部分”(例えば、スライス、符号化単位、マクロブロック)のDLTをカバーし、具体的な場合又は極端な場合には、1つの時点、1つのビュー及び1つの“部分”に特有の1つのDLTをカバーする。実現形式では、DLTは、テクスチャ情報と共に符号化されてもよく、別々に符号化されてもよい。更なる実現形式では、DLTのみが符号化される。
実現形式では、参照デプスルックアップテーブル(例えば、参照DLT)を選択するステップは、選択基準に基づく。
実現形式では、固定された選択基準が予め決定される。実現形式では、選択基準は採択可能である。
実現形式では、差値デプスルックアップテーブル(例えば、Δ-DLT)を決定するステップは、符号化されるデプスルックアップテーブル(例えば、現在のDLT)のデプス値情報と、参照デプスルックアップテーブル(例えば、参照DLT)に含まれるデプス値情報との比較に基づく。
実現形式では、所定の符号化ルールは、参照DLTを符号化するために使用されるもの(すなわち、“全DLTの通常の符号化”、例えば、範囲制限ビットマップ符号化が参照DLT及び差値DLTを符号化するためのものである)と同じである。
デプスルックアップテーブル符号化/復号化の新たに提示される装置は、DLTの必要なビットレートを同時に低減しつつ、符号器/復号器の高い柔軟性を提供する。デプスマップ特性は、異なるシーケンスの間でかなり変化する可能性があり、同じシーケンス内ですら(フレーム間及びビュー間で)変化する可能性があるため、DLTを符号化/復号化する高い柔軟性は、この装置の実現により提供される。
異なる時点(ビデオシーケンスの場合)又は時点及びビュー(マルチビューのシーケンスの場合)の値を表すDLTルックアップテーブルの類似性を利用するために、ここで提示されるDLT符号化/復号化のための装置は、DLTルックアップテーブルを表すために符号化/復号化される必要のある情報量を減少させるために、DLT値のDLT予測を使用する。
第1の態様並びにその実装及び実現についての説明は、第2の態様並びにその実装及び実現に対応して当てはまる。
第3の態様によれば、本発明は、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルの表現を提供する方法に関する。この方法は、3Dピクチャの少なくとも一部に関連する差値デプスルックアップテーブルの同じ種類の表現に存在し、参照デプスルックアップテーブルの表現に存在しないデプス値情報を、デプスルックアップテーブルの表現に追加することにより、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルを提供するステップと、差値デプスルックアップテーブルの表現に存在しない参照DLTの表現のデプス値情報をデプスルックアップテーブルにコピーするステップとを有する。
3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルの表現を提供する方法は、デプスルックアップテーブルを復号化する方法、特にデプスルックアップテーブル又はデプスルックアップテーブルの対応する表現を予測復号化、差値復号化又は差分復号化する方法と呼ばれてもよい。
デプスルックアップテーブルの表現を提供する新たに提示される方法は、符号化されたDLTを送信又は格納する必要なビットレートを同時に低減しつつ、符号化及び復号化の高い柔軟性を提供する。デプスマップ特性は、異なるシーケンスの間でかなり変化する可能性があり、同じシーケンス内ですら(フレーム間及びビュー間で)変化する可能性があるため、DLTを符号化及び復号化する高い柔軟性が提供される。
第3の態様による方法の第1の可能な実装形式では、差値デプスルックアップテーブルの表現は、差値ルックアップテーブル、例えば、差値DLTに対応し、参照ルックアップテーブルの表現は、参照ルックアップテーブルに対応し、デプス値情報は、デプス値に対応する。
従って、この方法は、いずれかの差値ルックアップテーブル、参照ルックアップテーブル及びデプス値がこの方法に使用可能であるため、高い柔軟度を提供する。
“対応する”という用語は、“である”の意味又は“により形成される”の意味を有してもよい。
第1の態様の第1の実装形式による方法の第2の可能な実装形式では、この方法は、差値ルックアップテーブルを取得するために差値デプスルックアップテーブルの符号化された表現を復号化するステップと、参照ルックアップテーブルを取得するために参照デプスルックアップテーブルの符号化された表現を復号化するステップとを更に有する。
このような復号化は、差値デプスルックアップテーブル及び参照デプスルックアップテーブルの更なる符号化された表現、例えば、インデックス符号化された表現、2進列符号化された表現又は範囲制限ビットマップ符号化された表現が使用されるため、かなり効率的な種類の復号化である。
第3の態様自体による方法の第3の可能な実装形式では、差値デプスルックアップテーブルの表現は、対応する差値ルックアップテーブルのデプス値を表すインデックスの差値リストに対応し、参照デプスルックアップテーブルの表現は、対応する参照ルックアップテーブルのデプス値を表すインデックスの参照リストに対応し、デプス値情報は、インデックス、すなわち、デプス値インデックスに対応する。
インデックス及びインデックスのリストの適用は、低い計算上の複雑性で高い柔軟性を提供する。
第3の態様自体による方法の第4の可能な実装形式では、差値デプスルックアップテーブルの表現は、2進値の列を有する差値2進列に対応し、2進値の位置は、デプス値に関連し、2進値の第1の2進値“1”は、対応する差値ルックアップテーブルにおけるデプス値の発生を示し、参照デプスルックアップテーブルの表現は、2進値の列を有する参照2進列に対応し、2進値の位置は、デプス値に関連し、2進値の第1の2進値“1”は、対応する参照ルックアップテーブルにおけるデプス値の発生を示し、デプス値情報は、2進列又は第1の2進値に対応する。
このような2進列及び2進値は、効率的に処理可能である。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第5の可能な実装形式では、差値デプスルックアップテーブルの表現は、範囲制限ビットマップ(RCBM)符号化された差値2進列に対応し、参照デプスルックアップテーブルの表現は、範囲制限ビットマップ(RCBM)符号化された参照2進列に対応する。
範囲制限ビットマップは、値の範囲が制限されるため、情報を表す非常に効率的な方法であり、これにより、処理される情報量を低減する。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第6の可能な実装形式では、この方法は、デプスルックアップテーブルの表現と参照デプスルックアップテーブルの表現との間の同一性を示すフラグを分析するステップと、フラグが同一性を示す場合、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルの表現として参照デプスルックアップテーブルの表現を使用するステップとを更に有する。
フラグの使用は、単一のビットまでのデプスルックアップテーブルの低減を可能にし、これは復号化の非常に効率的な方法である。
実現形式では、フラグの分析は、ビットストリームのフラグを構文解析することを示し、ビットストリームは、デプスルックアップテーブルの表現に関連するデータを有する。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第7の可能な実装形式では、参照デプスルックアップテーブルは、他のビューに関連する他の3Dピクチャ、3Dピクチャを有する3Dビデオシーケンスの他のビュー及び/又は時点に関連する他の3Dピクチャ、又は(同じ)3Dピクチャの他の部分、他のビュー及び/又は時点に関連する他の3Dピクチャの対応する部分についての、例えば前に復号化されたデプスルックアップテーブルの中から選択され、3Dピクチャの一部は、3Dピクチャのスライス、符号化単位、符号化ブロック又はマクロブロックを有する。
参照デプスルックアップテーブルが、他のビューに関連する他の3Dピクチャについての、例えば前に復号化されたデプスルックアップテーブルの中から選択される場合、例えば符号化利得に関して最適である最適な参照DLTを選択するために広いデータベースが利用可能になる。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第8の可能な実装形式では、この方法は、符号化単位符号化レベル、スライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルに含まれるタイプインジケータを分析するステップであり、タイプインジケータは、デプスルックアップテーブルの表現が差値符号化されているか否かを示すステップと、デプスルックアップテーブルの表現が差値符号化されていることをタイプインジケータが示す場合、第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルを差値復号化するステップとを更に有する。
タイプインジケータを使用することにより、DLTを差値復号化するか、従来通りに復号化するかの判断が効率的に提供可能になる。
実現形式では、タイプインジケータの分析は、ビットストリームのタイプインジケータ(フラグ、単一又はそれ以上のビット)の構文解析を示し、ビットストリームは、デプスルックアップテーブルの表現に関連するデータを有する。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第9の可能な実装形式では、この方法は、符号化単位符号化レベル、スライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルに含まれるタイプインジケータを分析するステップであり、タイプインジケータは、デプスルックアップテーブルの表現を符号化するために使用される差値符号化のタイプを示すステップと、タイプインジケータに従って参照デプスルックアップテーブルの表現を選択するステップと、第1の態様自体又は第1の態様の前述の実装形式のうちいずれかによる3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルの表現を提供するステップとを更に有する。
デプスルックアップテーブルの表現を符号化するために使用される差値符号化のタイプを分析する場合、復号化に適した表現の対応する復号化及び参照デプスルックアップテーブルが、そのタイプ情報に基づいて選択可能になる。従って、正確な復号化が選択可能になる。
実現形式では、タイプインジケータは、デプスルックアップテーブルの表現を差値符号化するために使用される差値符号化のタイプを示す。
実現形式では、タイプインジケータの分析は、ビットストリームのタイプインジケータ(フラグ、単一又はそれ以上のビット)の構文解析を示し、ビットストリームは、デプスルックアップテーブルの表現に関連するデータを有する。
実現形式では、タイプインジケータは、DLT表現を決定する。実現形式では、タイプインジケータは、どのDLTが参照DLTとして使用されるかを決定する。
実現形式では、参照デプスルックアップテーブルの表現の選択は、参照デプスルックアップテーブルの差値復号化を示す。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第10の可能な実装形式では、単一ビューのビデオシーケンスの場合、参照デプスルックアップテーブルの表現は、他の時点に関連するデプスルックアップテーブル、特に3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つのデプスルックアップテーブルに対応する。
このような参照DLTは、柔軟性のある復号化を可能にする。復号化は、単一ビュー及びマルチビューのビデオシーケンスに適用されてもよい。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第11の可能な実装形式では、マルチビューのビデオシーケンスの場合、参照デプスルックアップテーブルの表現は、マルチビューのビデオシーケンスの他のビュー及び/又は時点に関連するデプスルックアップテーブル、特に3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つのデプスルックアップテーブルに対応する。
このような参照DLTは、柔軟性のある復号化を可能にする。復号化は、単一ビュー及びマルチビューのビデオシーケンスに適用されてもよい。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第12の可能な実装形式では、参照デプスルックアップテーブルの表現は、同じ符号化レベル、特に、スライスヘッダ符号化レベル、符号化単位符号化レベル、SPS符号化レベル、PPS符号化レベル又はSEI符号化レベルのデプスルックアップテーブルに対応する。
参照デプスルックアップテーブルの表現が同じ符号化レベルのデプスルックアップテーブルに対応する場合、復号化は効率的に実行可能である。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第13の可能な実装形式では、参照デプスルックアップテーブルの表現は、同じスライスヘッダ符号化レベル、同じ符号化単位符号化レベル、同じSPS符号化レベル、同じPPS符号化レベル又は同じSEI符号化レベルのデプスルックアップテーブルに対応する。
参照デプスルックアップテーブルの表現が同じ符号化レベルのデプスルックアップテーブルに対応する場合、復号化は効率的に実行可能である。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第14の可能な実装形式では、参照デプスルックアップテーブルの表現は、より高い符号化レベル、特にスライスヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルのデプスルックアップテーブルに対応する。
参照デプスルックアップテーブルの表現がより高い符号化レベルのデプスルックアップテーブルに対応する場合、単一の参照DLTが複数のDLTを復号化するために使用可能になるため、復号化は効率的に実行可能である。
第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法の第15の可能な実装形式では、差値デプスルックアップテーブルは、符号化されるデプスルックアップテーブルに発生し、参照デプスルックアップテーブルに発生しないデプス情報を有し、参照デプスルックアップテーブルに発生し、符号化されるデプスルックアップテーブルに発生しないデプス値情報を有する。
差値デプスルックアップテーブルが符号化されるデプスルックアップテーブに発生し、参照デプスルックアップテーブルに発生しないデプス値情報を有し、参照デプスルックアップテーブルに発生し、符号化されるデプスルックアップテーブルに発生しないデプス値情報を有する場合、冗長な情報が除去されるため、復号化は、効率的な方法で実行可能である。
第4の態様によれば、本発明は、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルの表現を提供する装置に関する。この装置は、3Dピクチャの少なくとも一部に関連する差値デプスルックアップテーブルの同じ種類の表現に存在し、参照デプスルックアップテーブルの表現に存在しないデプス値情報を、デプスルックアップテーブルの表現に追加し、差値デプスルックアップテーブルの表現に存在しない参照DLTの表現のデプス値情報をデプスルックアップテーブルに追加又はコピーするように構成されたプロセッサを有する。
DLTを提供するこのような装置は、DLTに必要なビットレートを同時に低減しつつ、符号化/復号化の高い柔軟性を提供する。デプスマップ特性は、異なるシーケンスの間でかなり変化する可能性があり、同じシーケンス内ですら(フレーム間及びビュー間で)変化する可能性があるため、DLTを符号化/復号化する高い柔軟性が提供される。
第5の態様によれば、本発明は、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルを提供する装置に関する。この装置は、第3の態様自体又は第3の態様の前述の実装形式のうちいずれかによる方法を実装するように構成されたプロセッサを有する。
DLTを提供するこのような装置は、DLTに必要なビットレートを同時に低減しつつ、符号化/復号化の高い柔軟性を提供する。
第6の態様によれば、本発明は、3DビデオシーケンスにおいてDLTルックアップテーブルを符号化する方法に関する。この方法は、予め規定された基準に基づいてどのDLTが予測処理を受けるか、どれが予測されないかを決定するステップと、この予測されたDLTと対応する参照DLTとの間の差値を計算し、Δ-DLTを取得するステップと、従来技術と同様に入力信号を符号するステップとを有する。
DLTを提供するこのような方法は、DLTの必要なビットレートを同時に低減しつつ、符号化の高い柔軟性を提供する。
第7の態様によれば、本発明は、DLTテーブルを復号化する方法に関する。復号化は、第6の態様の符号化に対応する。
復号化が符号化に対応する場合、1つのみのハードウェア又はソフトウェア機能が必要であるため、この方法は容易に実装可能になる。
第6の態様又は第7の態様による第1の可能な実装形式では、参照及びΔ-DLTは、状況に応じて(例えば、入力信号がΔ-DLTであるか参照DLTであるかに応じて)、適応的に選択されてもよい。
このような適応的な選択は、高い柔軟度を提供する。
第6の態様又は第7の態様による第2の可能な実装形式では、この方法は、単一のフラグを使用してゼロΔ-DLTをシグナリングするステップを有する。
単一のフラグを使用することによるシグナリングは、1つのみのフラグが必要であるため、計算上かなり効率的になる。
第6の態様又は第7の態様による第3の可能な実装形式では、この方法は、参照DLT及びΔ-DLTから現在のDLTを計算するステップを有する。
参照DLT及びΔ-DLTから現在のDLTを計算することは、シンタックスで独立して実装可能であるため、柔軟性がある。
第6の態様又は第7の態様による第4の可能な実装形式では、この方法は、XOR又はXNOR論理演算子を使用してDLTの2進表現についての参照DLT及びΔ-DLTから現在のDLTを計算するステップを有する。
XOR又はXNOR論理演算子は、ハードウェア又はソフトウェアで効率的に実装可能な標準ゲート関数である。
第6の態様又は第7の態様による第5の可能な実装形式では、この方法は、DLT予測シナリオを有する。
DLT予測シナリオの使用は、高度の柔軟性を可能にする。
第6の態様又は第7の態様による第6の可能な実装形式では、この方法は、階層的DLTシグナリングを有する。
階層的DLTシグナリングは、実装が容易である。
第6の態様又は第7の態様による第7の可能な実装形式では、この方法は、DLTをシグナリングするために使用されるもの(例えば、PPS)より高い符号化レベルでDLT値のビット長をシグナリングすることにより、可能な送信誤りの影響を最小化するステップを有する。
より高い符号化レベルでDLT値のビット長をシグナリングすることは、送信誤りの影響を低減することを可能にする。
第6の態様又は第7の態様による第8の可能な実装形式では、この方法は、SEIメッセージを使用して参照DLTを回復するステップを有する。
SEIメッセージを使用することにより、参照DLTは容易に回復可能である。
第8の態様によれば、本発明は、DLTが符号化ツールとして使用される場合には常に、DLT予測機構を利用する方法に関する。
第8の態様による第1の可能な実装形式では、この方法は、シーケンス毎、ビュー毎、ピクチャ毎、スライス毎及び/又は符号単位毎に、DLT予測の使用を切り替え可能にするステップを有する。
従って、DLT予測は、シーケンス毎、ビュー毎、ピクチャ毎、スライス毎及び/又は符号化単位毎に切り替えられるように柔軟になる。
第8の態様による第2の可能な実装形式では、この方法は、SPS、PPS、ピクチャヘッダ、SH、又は符号化単位シンタックスでシグナリングするステップを有する。
従って、シグナリングは、異なるシンタックスエンティティで実行されてもよい。従って、この方法は、このようなシンタックスエンティティに柔軟に適用可能になる。
第8の態様による第3の可能な実装形式では、この方法は、シーケンス毎、特にSPS毎、ピクチャ毎、特にPPS毎及びスライス毎にDLT値のビットデプスをシグナリングするステップを有する。
従って、DLT値のビットデプスが柔軟にシグナリング可能になる。
第8の態様による第4の可能な実装形式では、この方法は、ピクチャ毎及び/又はスライス毎に予測機能をシグナリングするステップを有する。
従って、予測機能は柔軟にシグナリング可能になる。
本発明によれば、DLT予測及び/又は選択されたDLT予測タイプのタイプを使用するという事実は、これらのシンタックス要素の専用のシンタックスの変更を使用してSPS、PPS、ピクチャヘッダ、SH又はCUでシグナリング可能である。また、本発明は、SEIメッセージがDLT予測設定、DLT予測が使用されるか否かを示すフラグ、及び/又は使用されるDLT予測タイプを示す値で構成されることを示すSEIメッセージタイプを用いて典型的なSEIメッセージヘッダを構成する専用のSEIメッセージを提案する。
ここに記載の方法、システム及びデバイスは、デジタルシグナルプロセッサ(DSP)、マイクロコントローラ、又は他のサイドプロセッサのソフトウェアとして実装されてもよく、特定用途向け集積回路(ASIC)内のハードウェア回路として実装されてもよい。
本発明は、デジタル電子回路に実装されてもよく、コンピュータハードウェア、ファームウェア、ソフトウェア又はこれらの組み合わせで実装されてもよく、例えば、従来のモバイルデバイスの利用可能なハードウェア又はここに記載の方法を処理するための専用の新たなハードウェアに実装されてもよい。
以下の図面に関して本発明の更なる実施例について説明する。
実装形式によるデプスルックアップテーブル(DLT)を符号化する方法100を示す概略図 実装形式に従ってDLT値を比較することにより、Δ-DLT及び参照DLTに基づいて現在のDLTを計算する方法を示す概略図 実装形式に従ってDLT値を表す2進列を比較することにより、Δ-DLT及び参照DLTに基づいて現在のDLTを計算する方法を示す概略図 実装形式に従って異なる時間及び空間(ビュー間)のDLT予測シナリオを示す概略図 実装形式に従ってPPSでシグナリングされる共通の参照DLTを用いた階層的DLT予測を示す概略図 実装形式に従ってDLT予測アルゴリズムを使用してDLTを符号化する装置の概略ブロック図 実装形式によるDLTを復号化する方法700の概略図 実装形式によるDLTを復号化する装置の概略ブロック図 従来の範囲制限ビットマップ(RCBM)を使用したデプスルックアップテーブル(DLT)符号化方法800を示す概略図
図1は、実装形式によるデプスルックアップテーブル(DLT)を符号化する方法100を示す概略図を示している。デプスルックアップテーブルは、3Dピクチャの少なくとも一部のデプス値情報を有する。この方法100は、参照DLTとも呼ばれる参照デプスルックアップテーブルを選択するステップ101を有する。この方法100は、現在のDLTとも呼ばれる符号化されるデプスルックアップテーブルのデプス値情報と参照デプスルックアップテーブルのデプス値情報との間の比較に基づいて、差値DLT又はΔ-DLTとも呼ばれる差値デプスルックアップテーブルを決定するステップ103を有する。この方法100は、所定の符号化ルールに従って差値デプスルックアップテーブル(Δ-DLT)のデプス値情報を符号化するステップ105を有する。
実装形式では、差値デプスルックアップテーブル(Δ-DLT)は、符号化されるデプスルックアップテーブル(現在のDLT)に発生し、参照デプスルックアップテーブル(参照DLT)に発生しないデプス値情報を有し、参照ルックアップテーブル(参照DLT)に発生し、符号化されるデプスルックアップテーブル(現在のDLT)に発生しないデプス値情報を有する。
実装形式では、符号化されるデプスルックアップテーブル(現在のDLT)におけるデプス値の発生及び参照デプスルックアップテーブル(参照DLT)におけるデプス値の発生は、2進列として表され、2進列の第1の2進値は、対応するデプスルックアップテーブルにおけるデプス値の発生を示す。
実装形式では、差値デプスルックアップテーブル(Δ-DLT)を決定するステップは、符号化されるデプスルックアップテーブル(現在のDLT)のデプス値情報及び参照デプスルックアップテーブル(参照DLT)のデプス値情報を表す2進列に、論理XOR演算及び論理XNOR演算のうち1つを適用するステップを有する。
実装形式では、この方法100は、参照デプスルックアップテーブルの範囲制限ビットマップ符号化を使用して参照ルックアップテーブルのデプス値情報を符号化するステップであり、差値デプスルックアップテーブル(Δ-DLT)のデプス値情報を符号化するステップもまた、差値デプスルックアップテーブルの範囲制限ビットマップ符号化を使用して実行されるステップを更に有する。
実装形式では、この方法は、符号化されるデプスルックアップテーブル(現在のDLT)と参照デプスルックアップテーブル(参照DLT)との間の同一性を示すためにフラグを使用するステップを有する。
実装形式では、この方法100は、特に、より高い符号化レベルで、参照デプスルックアップテーブル(参照DLT)のデプス値のビット長をシグナリングすることにより、或いは専用の付加エンハンスメント情報(SEI)メッセージで失われた参照デプスルックアップテーブル(参照DLT)を送信することにより、参照デプスルックアップテーブル(参照DLT)の破損に対して差値デプスルックアップテーブル(Δ-DLT)を保護するステップを更に有する。
実装形式では、差値デプスルックアップテーブル(Δ-DLT)の符号化は、ITU-T及びISO/IEC標準の3D Video Coding Extension Developmentに従った範囲制限ビットマップ符号化を有する。
図2aは、実装形式に従ってDLT値を比較することにより、Δ-DLT205及び参照DLT203に基づいて現在のDLT201を計算する方法200aを示す概略図を示している。
現在のDLT201は、現在符号化/復号化されているDLTである。参照DLT203は、参照DLTルックアップテーブルとして選択されたDLTであり、例えば、規定の順序に基づいて既に符号化/復号化されたDLTルックアップテーブルの中から選択されたDLTである。参照DLT203の選択は、使用されるDLT符号化/復号化の予測シナリオと、既に符号化/復号化されたDLTの可用性とに依存する。参照DLTが利用可能ではない場合、現在のDLT201は、従来技術を使用して符号化/復号化される。
図2aによれば、符号化/復号化される現在のDLT201の値の範囲をシグナリングする代わりに、範囲内の現在のDLT201と参照DLT203との間の差値のみがシグナリングされる。Δ-DLT205と呼ばれる差値は、現在のDLT201に存在するが、参照DLT203に存在しない新たな値と、現在のDLT201に存在しないが、参照DLT203に存在する値との双方で構成される。従って、参照DLT203及びΔ-DLT205に基づいて、現在のDLT205は、以下の手順を使用して復号化又は計算可能である(図2a参照)。
Δ-DLT205の各値について、特定の値が参照DLT203にも存在するか否かが検査される。値が参照DLT203に存在する場合、その対応する値は、現在のDLTに追加されない。すなわち、その対応する値が除去される。値が参照DLT203に存在しない場合、その対応する値は、現在のDLTに追加される。すなわち、値が追加される。参照DLT203の全ての他の値は、現在のDLTにコピー又は追加される。
図2bは、実装形式に従ってDLT値を表す2進列を比較することにより、Δ-DLT215及び参照DLT213に基づいて現在のDLT211を計算する方法200bを示す概略図を示している。
例えば、従来技術([Kai Zhang, Jicheng An, Shawmin Lei, “3D-CE6.h related: An efficient coding method for DLT in 3DVC”, Document of Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-C0142, January, 2013]参照)に記載のRCBMと呼ばれる範囲制限ビットマップDLT符号化方法において、DLTの値の範囲が2進列として表される場合、現在のDLT211と参照DLT213との間の差値、すなわち、Δ-DLT215は、XOR(排他的OR)論理演算子を使用して効率的に計算可能である。このような場合、現在のDLT211と参照DLT213との間の差値を表す2進列は、2つのDLTの値の関係する範囲を表す2進列に適用されるXOR演算子に等しい。その結果、差値DLT215を表す2進列は、参照DLT213及び現在のDLT211を表す2進列にXOR演算子を適用することにより計算可能である(図2b参照)。別の実現では、Δ-DLT215を表す2進列を計算する処理において、XNOR演算子が使用される。
他方、復号化側では、元の現在のDLT211は、XOR(排他的OR)論理演算子を適用することにより、参照DLT213及びΔ-DLT215に基づいて効率的に取得又は計算可能である。このような場合、現在のDLT211を表す2進列は、値の関係する範囲において参照DLT213及びΔ-DLT215を表す2進列に適用されるXOR演算子に等しい。その結果、現在のDLT211を表す2進列は、参照DLT213及びΔ-DLT215を表す2進列にXOR演算子を適用することにより計算可能である(図2b参照)。別の実現では、参照DLT213を取得するためにΔ-DLT215及び参照DLT211を表す2進列を計算する処理において、XNOR演算子が使用される。
現在のDLTと参照DLTとが似ているほど、例えば、共通に有するデプス値又は対応するデプス値情報が多いほど、対応するΔ-DLTのデプス値の数は小さくなる。図2bに示す2進列表現を参照すると、現在のDLT211と参照DLT213とが似ているほど、差値ビット列とも呼ばれてもよい、Δ-DLT215の2進列における第1の値(図1を参照すると“1”)の数が小さくなる。すなわち、差値符号化された現在のDLTを表すために必要な情報量が小さくなる。図1に基づいて記載した範囲制限ビットマップ(RCBM)符号化を参照すると、現在のDLT211と参照DLT213との類似性は、RCBMを使用して直接符号化された現在のDLTに比べて、図1ではdiff_max_dlt_valueと呼ばれる低減した範囲を示す或いは低減した範囲を有するΔ-DLT215をしばしば生じる。これは、現在のDLTの従来のRCBM符号化に比べて、差値符号化又は差値RCBM符号化を使用して現在のDLTを表すために送信又は格納されるビット値の更なる低減をもたらす。同時に、差値ビット列は、従来のRCBMに使用されるものと同じアルゴリズム及びシンタックスを使用して符号化されてもよい。これは、図5に基づいて説明する複雑でない符号器を提供する。
現在のDLT211と参照DLT213との間に差値がないことをΔ-DLT215が示す場合、例えば、Δ-DLTが第2の2進値“0”のみを有する場合、実装形式では、このようなΔ-DLT215をシグナリングするために単一のフラグが使用される。この方法では、フラグが設定されている場合、Δ-DLT215は、参照DLT213及び現在のDLT211が同一であり、他の情報がΔ-DLT215でシグナリングされる必要がないことを示す。そうでない場合、Δ-DLT215は、参照DLT213に基づいて現在のDLT211を計算するために必要な全ての情報で構成される。
参照DLT213の選択は、使用される予測シナリオと、既に符号化/復号化されたDLTの可用性とに依存する。ランダムアクセスユニットの第1の符号化/復号化されたDLT、例えば、SPSでシグナリングされるシーケンス、又は、例えば、IスライスのSHでシグナリングされるイントラ期間は、ここに記載のDLT予測方法を利用することができない。この理由は、参照DLT213がまだ利用可能でないからである。全ての他のDLTの符号化/復号化では、予測方法が適用される。参照DLT213が利用可能でない場合、現在のDLT211は、従来技術に従って、すなわち、[Kai Zhang, Jicheng An, Shawmin Lei, “3D-CE6.h related: An efficient coding method for DLT in 3DVC”, Document of Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-C0142, January, 2013]に記載のように明示的に符号化/復号化される。そうでない場合、参照DLT213は、現在のDLT211と参照DLT213との間の類似性を利用するために、他の既に符号化/復号化されたDLTから選択される。単一ビューのビデオシーケンスの場合、実装形式では、参照DLT213は、他の時点、例えば、イントラ期間、ピクチャ、スライス等について符号化/復号化されたDLTの中から選択される。マルチビューのビデオシーケンスの場合、実装形式では、参照DLT213は、マルチビューのビデオシーケンスの他のビューで符号化/復号化されたDLTの中から選択される。従って、図3に示すように、時間及び/又は空間、すなわちビュー間の予測タイプが利用されてもよい。
図3は、実装形式に従って異なる時間及び空間(ビュー間)のDLT予測シナリオを示す概略図を示している。
シナリオ1は、DLTがビューインデックスのみにおいて順次予測される第1のDLT予測シナリオ301を示している。シナリオ2は、DLTが時間インデックスのみにおいて順次予測される第2のDLT予測シナリオ302を示している。シナリオ3は、DLTがビューインデックス及び時間インデックスにおいて順次予測される第3のDLTシナリオ303を示している。シナリオ3の第1の予測は、ビューインデックスにおいて順次適用され、この順次のビューインデックスの予測の結果は、時間インデックスにおいて順次予測される。シナリオ4は、DLTが時間インデックス及びビューインデックスにおいて順次予測される第4のDLT予測シナリオ304を示している。シナリオ4の第1の予測は、時間インデックスにおいて順次適用され、この順次の時間インデックスの予測の結果は、ビューインデックスにおいて順次予測される。シナリオ5は、DLTがビューインデックスにおいて順次予測され、時間インデックスにおいて並列して予測される第5のDLT予測シナリオ305を示している。シナリオ5の第1の予測は、ビューインデックスにおいて順次適用され、この順次のビューインデックスの予測の結果は、時間インデックスにおける並列の予測に使用される。すなわち、予測は、同じ順次のビューインデックスの予測結果から始まる。シナリオ6は、DLTがビューインデックスにおいて順次予測され、時間及びビューインデックスにおいて並列して予測される第6のDLT予測シナリオ306を示している。シナリオ6の元のDLTは、順次のビューインデックスの予測に使用され、並列の時間及びビューインデックスの予測に使用される。すなわち、予測は、ビューインデックス及び時間インデックスの双方において同じ元のDLTから始まる。
図4は、実装形式に従ってPPSでシグナリングされる共通の参照DLTを用いた階層的DLT予測を示す概略図を示している。
通常では、全てのDLTは、同じ符号化レベル、例えば、SHでシグナリングされる。しかし、図4に示す実装形式では、参照DLT403は、より高い符号化レベル、例えば、ピクチャパラメータセット(PPS)407に設定される。このような場合、実装形式では、参照DLT403は、予め規定されたグループ409、例えば、イントラ期間又は他のランダムアクセスユニット内の全てのDLTを符号化/復号化するための共通の参照として使用される。図4は、このような階層的シグナリング方法を示している。DLTは、参照DLT403から始まり、時間及びビューインデックスにおいて並列して予測される。予測は、ビューインデックス及び時間インデックスの双方において同じ参照DLT403から始まる。
実装形式では、図1に関して前述した予測に基づく符号化/復号化方法100の実施において送信誤りの影響を低減する方法は、より高い符号化レベル、例えば、PPSでDLT値のビット長をシグナリングするステップを有する。これは、中間のΔ-DLTが失われたとしても、DLT値が復号化可能であることを確保する。この方法を適用することにより、参照DLTが破損した場合又は復号器に配信されない場合に、この参照DLTに基づいて予測される全ての他のDLTが適切に復号化できないという問題が解決される。
実現形式では、図1に関して前述した予測に基づく符号化/復号化方法100の実施において送信誤りの影響を低減する方法は、SEIメッセージが特定の時点(POC)及びビューの参照DLTで構成されることを示すSEIメッセージタイプを備えた典型的なSEIメッセージヘッダで構成される専用のSEIメッセージにおいて、失われた参照DLTを送信するステップを有する。任意選択で、SEIメッセージはまた、例えば、シグナリングされる参照DLTが始まる時点(POC)及びビューを決定する参照DLT識別子で構成されてもよい。これは、中間のΔ-DLTが失われたとしても、DLT値が復号化可能であることを確保する。この方法を適用することにより、参照DLTが破損した場合又は復号器に配信されない場合に、この参照DLTに基づいて予測される全ての他のDLTが適切に復号化できないという問題が解決される。
図5は、実装形式に従ってDLT予測アルゴリズムを使用してDLTを符号化する装置500の概略ブロック図を示している。装置500は、DLT予測を使用してDLTルックアップテーブルを符号化するために使用される。ブロック501において、現在のDLTのDLT符号化方法が、従来技術のように、すなわち、[Kai Zhang, Jicheng An, Shawmin Lei, “3D-CE6.h related: An efficient coding method for DLT in 3DVC”, Document of Joint Collaborative Team on 3D Video Coding Extension Development, JCT3V-C0142, January, 2013]に従って実行される。入力信号を符号化するためにこのブロック501で利用される実際の符号化方法は、状況に応じて、例えば、入力信号がΔ-DLT515であるか参照DLT513であるかに応じて、適応的に選択されてもよい。ブロック503において、DLT予測が実行され、Δ-DLT515は、現在のDLT511と参照DLT513との間の差値として計算される。ブロック505において、DLT予測を使用することについての判断が行われる。DLT予測が使用される場合、ブロック501においてΔ-DLT515が符号化される。そうでない場合、ブロック501において現在のDLTが符号化される。
参照デプスルックアップテーブル513は、図2aに関して前述した参照DLT203に対応してもよく、図2bに関して前述した参照DLT213に対応してもよい。現在のデプスルックアップテーブル511は、図2aに関して前述した現在のDLT201に対応してもよく、図2bに関して前述した現在のDLT211に対応してもよい。差値デプスルックアップテーブル515は、図2aに関して前述した差値DLT205に対応してもよく、図2bに関して前述した差値DLT215に対応してもよい。
図6は、実装形式に従って3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルを復号化する方法600の概略ブロック図を示している。この方法は、3Dピクチャの少なくとも一部に関連する差値デプスルックアップテーブルの同じ種類の表現に存在し、参照デプスルックアップテーブルの表現に存在しないデプス値情報を、デプスルックアップテーブルの表現に追加するステップ601を有する。この方法600は、差値デプスルックアップテーブルの表現に存在しない参照DLTの表現のデプス値情報をデプスルックアップテーブルにコピーするステップを有する。
実装形式では、差値デプスルックアップテーブルの表現は、差値ルックアップテーブルに対応し、参照ルックアップテーブルの表現は、参照ルックアップテーブルに対応し、デプス値情報は、デプス値に対応する。
実装形式では、この方法600は、差値デプスルックアップテーブルを取得するために差値デプスルックアップテーブルの符号化された表現を復号化するステップと、参照ルックアップテーブルを取得するために参照デプスルックアップテーブルの符号化された表現を復号化するステップとを更に有する。
実装形式では、差値デプスルックアップテーブルの表現は、対応する差値ルックアップテーブルのデプス値を表すインデックスの差値リストに対応し、参照デプスルックアップテーブルの表現は、対応する参照ルックアップテーブルのデプス値を表すインデックスの参照リストに対応し、デプス値情報は、インデックスに対応する。
実装形式では、差値デプスルックアップテーブルの表現は、2進値の列を有する差値2進列に対応し、2進値の位置は、デプス値に関連し、2進値の第1の2進値は、対応する差値ルックアップテーブルにおけるデプス値の発生を示し、参照デプスルックアップテーブルの表現は、2進値の列を有する参照2進列に対応し、2進値の位置は、デプス値に関連し、2進値の第1の2進値は、対応する参照ルックアップテーブルにおけるデプス値の発生を示し、デプス値情報は、2進列に対応する。
実装形式では、差値デプスルックアップテーブルの表現は、範囲制限ビットマップ(RCBM)符号化された差値2進列に対応し、参照デプスルックアップテーブルの表現は、範囲制限ビットマップ(RCBM)符号化された参照2進列に対応する。
実装形式では、この方法600は、デプスルックアップテーブルの表現と参照デプスルックアップテーブルの表現との間の同一性を示すフラグを分析するステップと、フラグが同一性を示す場合、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルの表現として参照デプスルックアップテーブルの表現を使用するステップとを更に有する。
実装形式では、参照デプスルックアップテーブルは、他のビューに関連する他の3Dピクチャ、3Dピクチャを有する3Dビデオシーケンスの他のビュー及び/又は時点に関連する他の3Dピクチャ、又は3Dピクチャの他の部分、他のビュー及び/又は時点に関連する他の3Dピクチャの対応する部分についての、前に復号化されたデプスルックアップテーブルの中から選択され、3Dピクチャの一部は、3Dピクチャのスライス、符号化単位、符号化ブロック又はマクロブロックを有する。
実装形式では、この方法600は、符号化単位符号化レベル、スライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルに含まれるタイプインジケータを分析するステップであり、タイプインジケータは、デプスルックアップテーブルの表現が符号化されているか否かを示すステップと、デプスルックアップテーブルの表現が符号化されていることをタイプインジケータが示す場合、請求項1ないし21のうちいずれか1項に記載の3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルを復号化するステップとを更に有する。
実装形式では、この方法600は、符号化単位符号化レベル、スライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルに含まれるタイプインジケータを分析するステップであり、タイプインジケータは、デプスルックアップテーブルの表現を符号化するために使用される符号化のタイプを示すステップと、タイプインジケータに従って参照デプスルックアップテーブルを復号化するステップと、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブルを復号化するステップとを更に有する。
実装形式では、単一ビューのビデオシーケンスの場合、参照デプスルックアップテーブルの表現は、他の時点に関連するデプスルックアップテーブル、特に3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つのデプスルックアップテーブルに対応する。
実装形式では、マルチビューのビデオシーケンスの場合、参照デプスルックアップテーブルの表現は、マルチビューのビデオシーケンスの他のビュー及び/又は時点に関連するデプスルックアップテーブル、特に3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つのデプスルックアップテーブルに対応する。
実装形式では、参照デプスルックアップテーブルの表現は、同じ符号化レベルのデプスルックアップテーブルに対応する。実装形式では、参照デプスルックアップテーブルの表現は、より高い符号化レベル、特にスライスヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルのデプスルックアップテーブルに対応する。
図7は、実装形式に従ってDLTを復号化する装置700の概略ブロック図を示している。装置700は、3Dピクチャの少なくとも一部に関連するデプスルックアップテーブル704を提供する。この装置700は、3Dピクチャの少なくとも一部に関連する差値デプスルックアップテーブルの同じ種類の表現に存在し、参照デプスルックアップテーブル702の表現に存在しないデプス値情報を、デプスルックアップテーブルの表現に追加するように構成されたプロセッサ701を有する。プロセッサ701は、差値デプスルックアップテーブルの表現に存在しない参照DLT702の表現のデプス値情報をデプスルックアップテーブル704にコピーするように構成される。
参照デプスルックアップテーブル702は、図2aに関して前述した参照DLT203に対応してもよく、図2bに関して前述した参照DLT213に対応してもよい。(現在の)デプスルックアップテーブル704は、図2aに関して前述した現在のDLT201に対応してもよく、図2bに関して前述した現在のDLT211に対応してもよい。差値デプスルックアップテーブルは、図2aに関して前述した差値DLT205に対応してもよく、図2bに関して前述した差値DLT215に対応してもよい。
前述のことから、様々な方法、システム、記録媒体上のコンピュータプログラム等が提供されることが当業者に明らかになる。
本発明はまた、実行された場合、少なくとも1つのコンピュータに対してここに記載の実行及び計算ステップを実行させるコンピュータ実行可能コード又はコンピュータ実行可能命令を含むコンピュータプログラムプロダクトもサポートする。
前述の教示を鑑みて、多くの代案、変更及び変形が当業者に明らかになる。当然に、当業者は、ここに記載のもの以外の本発明の多数の用途が存在することを容易に認識する。1つ以上の特定の実施例を参照して本発明について説明したが、当業者は、本発明の範囲を逸脱することなく、多くの変更が行われてもよいことを認識する。従って、特許請求の範囲及びこれらの均等の範囲内で、ここに具体的に記載したもの以外で本発明が実施されてもよいことを理解すべきである。

Claims (22)

  1. デプスルックアップテーブル(DLT)(201、211)を符号化する方法(100)であり、前記デプスルックアップテーブルは、3Dピクチャの少なくとも一部のデプス値情報を有する方法(100)であって、
    参照デプスルックアップテーブル(203、213)を選択するステップ(101)と、
    符号化される前記デプスルックアップテーブル(201、211)のデプス値情報と参照デプスルックアップテーブル(203、213)のデプス値情報との間の比較に基づいて差値デプスルックアップテーブル(205、215)を決定するステップ(103)と、
    所定の符号化ルールに従って前記差値デプスルックアップテーブル(205、215)のデプス値情報を符号化するステップ(105)と
    を有する方法(100)。
  2. 前記差値デプスルックアップテーブル(205、215)は、前記符号化されるデプスルックアップテーブル(201、211)に発生し、前記参照デプスルックアップテーブル(203、213)に発生しないデプス値情報を有し、前記参照ルックアップテーブル(203、213)に発生し、前記符号化されるデプスルックアップテーブル(201、211)に発生しないデプス値情報を有する、請求項1に記載の方法(100)。
  3. 前記符号化されるデプスルックアップテーブル(201、211)におけるデプス値の発生及び前記参照デプスルックアップテーブル(203、213)におけるデプス値の発生は、2進列として表され、前記2進列の第1の2進値は、対応するデプスルックアップテーブルにおけるデプス値の発生を示す、請求項1又は2に記載の方法(100)。
  4. 前記差値デプスルックアップテーブル(205、215)を決定するステップは、前記符号化されるデプスルックアップテーブル(201、211)の前記デプス値情報及び前記参照デプスルックアップテーブル(203、213)の前記デプス値情報を表す前記2進列に、論理XOR演算及び論理XNOR演算のうち1つを適用するステップを有する、請求項3に記載の方法(100)。
  5. 前記参照デプスルックアップテーブルの範囲制限ビットマップ符号化を使用して前記参照ルックアップテーブルのデプス値情報を符号化するステップであり、前記差値デプスルックアップテーブル(205、215)の前記デプス値情報を符号化するステップもまた、前記差値デプスルックアップテーブルの範囲制限ビットマップ符号化を使用して実行されるステップを更に有する、請求項1ないし4のうちいずれか1項に記載の方法(100)。
  6. 前記符号化されるデプスルックアップテーブル(201、211)と前記参照デプスルックアップテーブル(203、213)との間の同一性を示すためにフラグを使用するステップを有する、請求項1ないし5のうちいずれか1項に記載の方法(100)。
  7. 特に、より高い符号化レベルで、前記参照デプスルックアップテーブル(203、213)のデプス値のビット長をシグナリングすることにより、或いは専用の付加エンハンスメント情報(SEI)メッセージで失われた参照デプスルックアップテーブル(203、213)を送信することにより、前記参照デプスルックアップテーブル(203、213)の破損に対して前記差値デプスルックアップテーブル(205、215)を保護するステップを更に有する、請求項1ないし6のうちいずれか1項に記載の方法(100)。
  8. 前記差値デプスルックアップテーブル(205、215)の符号化は、ITU-T及びISO/IEC標準の3D Video Coding Extension Developmentに従った範囲制限ビットマップ符号化を有する、請求項1ないし7のうちいずれか1項に記載の方法(100)。
  9. 3Dピクチャの少なくとも一部に関連するデプスルックアップテーブル(現在のDLT)の表現を提供する方法(600)であって、
    3Dピクチャの少なくとも一部に関連する差値デプスルックアップテーブル(205、215)の表現に存在し、参照デプスルックアップテーブル(203、213)の表現に存在しないデプス値情報を、前記デプスルックアップテーブル(201、211)の表現に追加するステップ(601)と、
    前記差値デプスルックアップテーブルの表現に存在しない(203、213)の表現のデプス値情報を前記デプスルックアップテーブル(201、211)にコピーするステップ(603)と
    を有する方法(600)。
  10. 前記差値デプスルックアップテーブルの表現は、前記差値ルックアップテーブルに対応し、前記参照ルックアップテーブルの表現は、前記参照ルックアップテーブルに対応し、前記デプス値情報は、デプス値に対応する、請求項9に記載の方法(600)。
  11. 前記差値ルックアップテーブルを取得するために前記差値デプスルックアップテーブルの符号化された表現を復号化するステップと、
    前記参照ルックアップテーブルを取得するために前記参照デプスルックアップテーブルの符号化された表現を復号化するステップと
    を更に有する、請求項10に記載の方法(600)。
  12. 前記差値デプスルックアップテーブルの表現は、対応する差値ルックアップテーブルのデプス値を表すインデックスの差値リストに対応し、前記参照デプスルックアップテーブルの表現は、対応する参照ルックアップテーブルのデプス値を表すインデックスの参照リストに対応し、前記デプス値情報は、インデックスに対応する、請求項9に記載の方法(600)。
  13. 前記差値デプスルックアップテーブルの表現は、2進値の列を有する差値2進列に対応し、2進値の位置は、デプス値に関連し、2進値の第1の2進値は、対応する差値ルックアップテーブルにおけるデプス値の発生を示し、前記参照デプスルックアップテーブルの表現は、2進値の列を有する参照2進列に対応し、2進値の位置は、デプス値に関連し、2進値の前記第1の2進値は、対応する参照ルックアップテーブルにおけるデプス値の発生を示し、前記デプス値情報は、2進列に対応する、請求項9に記載の方法(600)。
  14. 前記差値デプスルックアップテーブルの表現は、範囲制限ビットマップ(RCBM)符号化された差値2進列に対応し、前記参照デプスルックアップテーブルの表現は、範囲制限ビットマップ(RCBM)符号化された参照2進列に対応する、請求項9又は13に記載の方法(600)。
  15. 前記デプスルックアップテーブル(201、211)の表現と前記参照デプスルックアップテーブル(203、213)の表現との間の同一性を示すフラグを分析するステップと、
    前記フラグが同一性を示す場合、3Dピクチャの少なくとも一部に関連する前記デプスルックアップテーブルの表現として前記参照デプスルックアップテーブルの表現を使用するステップと
    を更に有する、請求項9ないし15のうちいずれか1項に記載の方法(600)。
  16. 前記参照デプスルックアップテーブル(203、213)は、
    他のビューに関連する他の3Dピクチャ、
    3Dピクチャを有する3Dビデオシーケンスの他のビュー及び/又は時点に関連する他の3Dピクチャ、又は
    前記3Dピクチャの他の部分、他のビュー及び/又は時点に関連する他の3Dピクチャの対応する部分
    についてのデプスルックアップテーブルに関連し、前記3Dピクチャの一部は、前記3Dピクチャのスライス、符号化単位、符号化ブロック又はマクロブロックを有する、請求項9ないし15のうちいずれか1項に記載の方法(600)。
  17. 符号化単位符号化レベル、スライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルに含まれるタイプインジケータを分析するステップであり、前記タイプインジケータは、前記デプスルックアップテーブルの表現が差値符号化されているか否かを示すステップと、
    前記デプスルックアップテーブルの表現が差値符号化されていることを前記タイプインジケータが示す場合、請求項1ないし21のうちいずれか1項に記載の3Dピクチャの少なくとも一部に関連するデプスルックアップテーブル(現在のDLT)を復号化するステップと
    を更に有する、請求項9ないし16のうちいずれか1項に記載の方法(600)。
  18. 符号化単位符号化レベル、スライスヘッダ符号化レベル、ピクチャヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルに含まれるタイプインジケータを分析するステップであり、前記タイプインジケータは、前記デプスルックアップテーブルの表現が差値符号化されているか否か、及び/又は前記デプスルックアップテーブルの表現を差値符号化するために使用される差値符号化のタイプ、及び/又は差値復号化に使用される参照の表現を示すステップと、
    前記タイプインジケータに従って参照デプスルックアップテーブル(参照DLT)の表現を選択するステップと、
    請求項9ないし17のうちいずれか1項に記載の3Dピクチャの少なくとも一部に関連するデプスルックアップテーブル(現在のDLT)を復号化するステップと
    を更に有する、請求項9ないし17のうちいずれか1項に記載の方法(600)。
  19. 単一ビューのビデオシーケンスの場合、前記参照デプスルックアップテーブル(203、213)の表現は、他の時点に関連するデプスルックアップテーブル、特に前記3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つのデプスルックアップテーブルに対応する、請求項9ないし18のうちいずれか1項に記載の方法(600)。
  20. マルチビューのビデオシーケンスの場合、前記参照デプスルックアップテーブル(203、213)の表現は、前記マルチビューのビデオシーケンスの他のビュー及び/又は時点に関連するデプスルックアップテーブル、特に前記3Dピクチャを有する3Dビデオシーケンスのイントラ期間、ピクチャ及びスライスのうち1つのデプスルックアップテーブルに対応する、請求項9ないし18のうちいずれか1項に記載の方法(600)。
  21. 前記参照デプスルックアップテーブル(203、213)の表現は、同じ符号化レベルのデプスルックアップテーブルに対応する、或いは
    前記参照デプスルックアップテーブル(203、213)の表現は、より高い符号化レベル、特にスライスヘッダ符号化レベル、ピクチャパラメータセット符号化レベル、SPS符号化レベル又はSEI符号化レベルのデプスルックアップテーブルに対応する、請求項9ないし20のうちいずれか1項に記載の方法(600)。
  22. 3Dピクチャの少なくとも一部に関連するデプスルックアップテーブル(704)を提供する装置(700)であって、
    3Dピクチャの少なくとも一部に関連する差値デプスルックアップテーブル(205、215)の同じ種類の表現に存在し、参照デプスルックアップテーブル(702、203、213)の表現に存在しないデプス値情報を、前記デプスルックアップテーブル(201、211)の表現に追加し、
    前記差値デプスルックアップテーブル(205、215)の表現に存在しない203、213の表現のデプス値情報を前記デプスルックアップテーブル(201、211)にコピーする
    ように構成されたプロセッサ(701)を有する装置(700)。
JP2015561948A 2013-03-13 2013-03-13 デプスルックアップテーブルを符号化する方法 Active JP6318181B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/055178 WO2014139566A1 (en) 2013-03-13 2013-03-13 Method for coding a depth lookup table

Publications (2)

Publication Number Publication Date
JP2016514432A true JP2016514432A (ja) 2016-05-19
JP6318181B2 JP6318181B2 (ja) 2018-04-25

Family

ID=47891705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015561948A Active JP6318181B2 (ja) 2013-03-13 2013-03-13 デプスルックアップテーブルを符号化する方法

Country Status (6)

Country Link
US (1) US10499075B2 (ja)
EP (1) EP2974309B1 (ja)
JP (1) JP6318181B2 (ja)
KR (2) KR101806949B1 (ja)
CN (1) CN105009576B (ja)
WO (1) WO2014139566A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762882B2 (en) 2013-01-11 2017-09-12 Hfi Innovation Inc. Method and apparatus for efficient coding of depth lookup table
CN104079941B (zh) * 2013-03-27 2017-08-25 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
EP2985996B1 (en) * 2013-04-10 2018-11-21 ZTE Corporation Depth information encoding and decoding method and device
US20150063464A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Lookup table coding
WO2015139203A1 (en) * 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
FR3093884A1 (fr) * 2019-03-15 2020-09-18 Orange Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100473A (ja) * 2007-10-15 2009-05-07 Thomson Licensing 階層的lutを利用したビット深度スケーラビリティのためのエンハンスメントレイヤ残差予測
JP2011166816A (ja) * 2003-09-07 2011-08-25 Microsoft Corp インターレース・ビデオおよびプログレッシブ・ビデオのマクロブロックおよび動き情報の符号化および復号における新機軸

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011166816A (ja) * 2003-09-07 2011-08-25 Microsoft Corp インターレース・ビデオおよびプログレッシブ・ビデオのマクロブロックおよび動き情報の符号化および復号における新機軸
JP2009100473A (ja) * 2007-10-15 2009-05-07 Thomson Licensing 階層的lutを利用したビット深度スケーラビリティのためのエンハンスメントレイヤ残差予測

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ILSOON LIM(外2名): "3D-CE6.h Related: Improved Depth Lookup Table (DLT)", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, JPN6016041715, 23 January 2013 (2013-01-23), US, pages 1 - 12 *
KAI ZHANG(外2名): "3D-CE6.h related: An efficient coding method for DLT in 3DVC", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, JPN6016041716, 23 January 2013 (2013-01-23), US, pages 1 - 5 *

Also Published As

Publication number Publication date
CN105009576B (zh) 2018-12-14
KR20150126037A (ko) 2015-11-10
CN105009576A (zh) 2015-10-28
EP2974309B1 (en) 2017-12-13
WO2014139566A1 (en) 2014-09-18
US10499075B2 (en) 2019-12-03
JP6318181B2 (ja) 2018-04-25
EP2974309A1 (en) 2016-01-20
KR101806949B1 (ko) 2017-12-08
KR20170038095A (ko) 2017-04-05
US20160029036A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
US11418809B2 (en) Signaling of state information for a decoded picture buffer and reference picture lists
US10142610B2 (en) Method for sub-range based coding a depth lookup table
US11234002B2 (en) Method and apparatus for encoding and decoding a texture block using depth based block partitioning
JP6318181B2 (ja) デプスルックアップテーブルを符号化する方法
WO2013103522A1 (en) Specifying visual dynamic range coding operations and parameters
JP6511677B2 (ja) ピクチャ順序カウントの符号化方法及び装置、復号化方法及び装置、電子機器
US20130034156A1 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP2004242318A (ja) 映像ブロック分割方法及びその装置
CN114930828B (zh) 视频解码的方法、装置、系统和存储介质
US20170019683A1 (en) Video encoding apparatus and method and video decoding apparatus and method
Jäger Segment-wise prediction in 3D video coding
WO2022198144A1 (en) Weighted prediction for video coding
WO2015103747A1 (en) Motion parameter hole filling

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180402

R150 Certificate of patent or registration of utility model

Ref document number: 6318181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250