JP2017505025A - 3dビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング(sdc)のシグナリング - Google Patents

3dビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング(sdc)のシグナリング Download PDF

Info

Publication number
JP2017505025A
JP2017505025A JP2016538769A JP2016538769A JP2017505025A JP 2017505025 A JP2017505025 A JP 2017505025A JP 2016538769 A JP2016538769 A JP 2016538769A JP 2016538769 A JP2016538769 A JP 2016538769A JP 2017505025 A JP2017505025 A JP 2017505025A
Authority
JP
Japan
Prior art keywords
depth
sdc
video
predicted
syntax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016538769A
Other languages
English (en)
Other versions
JP6462693B2 (ja
Inventor
ジャン、リ
リウ、ホンビン
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017505025A publication Critical patent/JP2017505025A/ja
Application granted granted Critical
Publication of JP6462693B2 publication Critical patent/JP6462693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、HEVCに対する3D−HEVC拡張によって定義される処理のような3Dビデオコーディング処理における、深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング(SDC)を示す情報をシグナリングして処理するための技法を説明する。いくつかの例によれば、本開示は、3Dビデオコーディングにおける、深度イントラ予測モードおよび深度インター予測モードのためのSDCのシグナリングを統一するための技法を説明する。SDCのシグナリングは、ビデオエンコーダまたはビデオデコーダが、深度イントラ予測モードと深度インター予測モードの両方のためのSDCをシグナリングするために同じシンタックス要素を使用するように、統一され得る。また、いくつかの例では、ビデオコーダは、深度イントラ予測モードと深度インター予測モードの両方のために、同じシンタックス構造、または同じタイプのシンタックス構造を使用して、SDCモードにおいて生成される残差値をシグナリングおよび/または処理することができる。

Description

[0001]本開示は、ビデオコーディングに関し、より具体的には、3次元(3D)ビデオコーディング処理における深度データに対する残差値をコーディングするための技法に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、タブレットコンピュータ、スマートフォン、携帯情報端末(PDA)、ラップトップコンピュータまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、ビデオ遠隔会議デバイス、セットトップデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part10、Advanced Video Coding(AVC)、High Efficiency Video Coding(HEVC)規格によって定義された規格、およびそのような規格の拡張に記述されているビデオ圧縮技法などのビデオ圧縮技法を実装する。ビデオデバイスは、デジタルビデオ情報をより効率的に送信し、受信し、記憶することができる。
[0003]エンコーダ−デコーダ(コーデック)は、ビデオシーケンスに固有の冗長性を低減または除去するように空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を実行するために、ビデオ圧縮技法を適用する。ブロックベースのビデオコーディングの場合、ビデオスライスが、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもあるビデオブロックに分割され得る。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用することができる。ピクチャは代替的に「フレーム」と呼ばれ得る。
[0004]空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされるブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コーディングされたブロックと予測ブロックとの差分を示す。イントラコーディングされるブロックは、イントラコーディングモードおよび残差データに従って符号化される。さらなる圧縮のために、残差データは空間領域から変換領域に変換されて、残差変換係数をもたらすことができ、次いで、残差変換係数は量子化され得る。最初に2次元アレイで構成される量子化された変換係数は、変換係数の1次元ベクトルを生成するために走査されてよく、エントロピーコーディングがさらなる圧縮を達成するために適用されてよい。
[0005]マルチビューコーディングビットストリームは、たとえば、複数の視点からのビューを符号化することによって生成され得る。マルチビューコーディングは、デコーダが、異なるビューを選択すること、または場合によっては複数のビューをレンダリングすることを可能にし得る。加えて、開発されている、または開発中のいくつかの3次元(3D)ビデオ技法および規格は、マルチビューコーディングの態様を利用する。たとえば、いくつかの3Dビデオコーディング処理では、3Dビデオをサポートするために、異なるビューが左眼のビューと右眼のビューとを送信するために使用され得る。他の3Dビデオコーディング処理は、マルチビュープラス深度コーディングを使用し得る。HEVCに対する3D−HEVC拡張によって定義される処理のような、マルチビュープラス深度コーディング処理では、3Dビデオビットストリームは、テクスチャビュー成分だけではなく深度ビュー成分も含む複数のビューを含み得る。たとえば、所与のビューは、1つのテクスチャビュー成分と1つの深度ビュー成分とを備え得る。テクスチャビュー成分および深度ビュー成分は、3Dビデオデータを構築するために使用され得る。
[0006]全般に、本開示は、HEVCに対する3D−HEVC拡張によって定義される処理のような3Dビデオコーディング処理における、深度イントラ予測モードおよび深度インター予測モードのために簡易深度コーディング(SDC)を使用することを示す情報をシグナリングして処理するための技法を説明する。いくつかの例では、本開示は、たとえば、深度イントラ予測と深度インター予測の両方のためにSDCを使用することを示すために1つのシンタックス要素を使用することによって、3Dビデオコーディングにおける深度イントラ予測モードと深度インター予測モードのためにSDCを使用することのシグナリングを統一するための技法を説明する。
[0007]SDCのシグナリングは、ビデオエンコーダまたはビデオデコーダ、すなわちビデオコーダが、深度イントラ予測モードと深度インター予測モードの両方のためのSDCをシグナリングするために、別々のシンタックス要素ではなく同じシンタックス要素を使用するように、統一され得る。たとえば、SDCがCUのために使用されるかどうか、CUがイントラ予測されるかインター予測されるかを示すために、単一のシンタックス要素がCUレベルでシグナリングされ得る。
[0008]また、いくつかの例では、ビデオコーダは、深度イントラ予測モードと深度インター予測モードの両方のために、同じシンタックス構造、同じタイプのシンタックス構造、または同じシンタックス構造の異なる実体を使用して、SDCモードにおいて生成される残差値をシグナリングおよび/または処理することができる。各々の場合において、残差値、たとえばDC残差値をシグナリングするために、同じシンタックス要素が使用され得る。いくつかの例では、深度インター予測モードのためのSDCをシグナリングするためのシンタックス要素は、深度イントラ予測モードのためのSDCをシグナリングするためのシンタックス要素の一部であり得る。この場合、共通のシンタックス要素が、深度イントラSDCモードと深度インターSDCモードによって共有され得る。
[0009]SDCによって生成される残差値のために使用されるシンタックス構造中の共有されるシンタックス要素に対しては、深度イントラ予測モードと深度インター予測モードの両方のための関連するシンタックス要素について、たとえばコンテキスト適応型バイナリ算術コーディング(CABAC:context-adaptive binary arithmetic coding)エントロピーコーディング処理のための、コンテキストモデルおよびバイナリ化処理が統一され得る。たとえば、SDCによって生成される残差値のためのシンタックス要素は、深度イントラ予測モードと深度インター予測モードの両方に対する同じコンテキストモデルおよび/またはバイナリ化処理によってコーディングされ得る。
[0010]いくつかの例では、ビデオコーダは、SDCが有効にされるとき、パルス符号変調(PCM)コーディングが無効にされるように、制約を適用し得る。また、いくつかの例では、ビデオコーダは、ある特定の1つの区分サイズまたは複数の区分サイズを有するコーディングユニットだけのために、SDCが深度イントラ予測モードと深度インター予測モードの両方に対して適用されるように、制約を適用することができる。
[0011]さらに、いくつかの例では、コーディングされたビデオシーケンス全体またはスライス中のCUのための深度イントラ予測モードと深度インター予測モードの両方に対してSDCが有効にされるか無効にされるかをシグナリングするために、単一のシンタックス要素が使用され得る。シンタックス要素は、たとえば、ビデオパラメータセット(VPS)拡張、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスセグメントヘッダ、またはビデオコーディングシンタックス情報をシグナリングするための別のデータ構造において提示され得る。例として、SDCがあるシーケンスに対して有効にされることをこのシンタックス要素が示す場合、各々のそれぞれのCUにおいてSDCが使用されるかどうかを示すために、そのシーケンス中のCUのためにCUレベルで別のシンタックス要素がシグナリングされ得る。SDCがあるシーケンスに対して無効にされることをこのシンタックス要素が示す場合、SDCが無効にされるので、そのシーケンス中のCUのためにCUレベルでシンタックス要素をシグナリングする必要はない。代替的に、スライスのピクチャ中のCUのためにSDCを使用することを有効または無効にするために、シンタックス要素が提供され得る。
[0012]一例では、本開示は、ビデオデータを復号する方法を提供し、この方法は、ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために簡易深度コーディング(SDC)モードが使用されるかどうかを示すシンタックス要素を受信することと、深度CUがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行することと、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行することと、SDCモードが使用されることをシンタックス要素が示すとき、深度CUの予測ユニット(PU)の各区分に対して、深度CUに対する少なくとも1つのDC残差値を表す情報を受信することと、ここにおいて、少なくとも1つのDC残差値は深度CUのPUの区分と予測される深度CUの対応する区分との間のピクセル差分を表す、少なくとも1つのDC残差値と予測される深度CUとを使用して深度CUを再構築することとを備える。
[0013]別の例では、本開示は、ビデオデータを符号化する方法を提供し、この方法は、深度CUがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行することと、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行することと、簡易深度コーディング(SDC)モードが使用されるとき、深度CUの予測ユニット(PU)の各区分に対して、深度CUに対する少なくとも1つのDC残差値を表す情報を生成することと、ここにおいて、少なくとも1つのDC残差値は深度CUのPUの区分と予測される深度CUの対応する区分との間のピクセル差分を表す、SDCモードが使用されるとき、ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のためにSDCモードが使用されることを示すシンタックス要素を生成することと、少なくとも1つのDC残差値とシンタックス要素とを表す情報に基づいて、ビデオエンコーダにおいて深度CUを符号化することとを備える。
[0014]別の例では、本開示は、ビデオデータを記憶するメモリと、1つまたは複数のプロセッサとを備えるビデオコーダを提供し、1つまたは複数のプロセッサは、ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために簡易深度コーディング(SDC)モードが使用されるかどうかを示すシンタックス要素をコーディングし、深度CUがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行し、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行し、SDCモードが使用されるとき、深度CUの予測ユニット(PU)の各区分に対して、深度CUに対する少なくとも1つのDC残差値を表す情報をコーディングするように構成され、少なくとも1つのDC残差値は深度CUのPUの区分と予測される深度CUの対応する区分との間のピクセル差分を表す。
[0015]別の例では、本開示は、ビデオデータを復号する方法を提供し、この方法は、ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行することと、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行することと、簡易深度コーディング(SDC)モードが使用されるとき、深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造を取得することと、ここにおいて、シンタックス構造のシンタックス要素はイントラ予測とインター予測に対して同じである、少なくとも1つのDC残差値と予測される深度CUとを使用して深度CUを再構築することとを備える。
[0016]別の例では、本開示は、ビデオデータを符号化する方法を提供し、この方法は、ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行することと、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行することと、簡易深度コーディング(SDC)モードが使用されるとき、深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造をコーディングすることと、ここにおいて、シンタックス構造のシンタックス要素はイントラ予測とインター予測に対して同じである、少なくとも1つのDC残差値を表す情報に基づいて深度CUを符号化することとを備える。
[0017]別の例では、本開示は、ビデオデータを記憶するメモリを備えるビデオコーダを提供し、ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、ビデオデータの予測される深度CUを生成するためにイントラ予測を実行し、深度CUがインター予測されるとき、ビデオデータの予測される深度CUを生成するためにインター予測を実行し、簡易深度コーディング(SDC)モードが使用されるとき、深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造をコーディングし、シンタックス構造のシンタックス要素はイントラ予測モードとインター予測モードに対して同じである。
[0018]別の例では、本開示は、ビデオデータを復号する方法を提供し、この方法は、コーディングされるビデオデータのシーケンス全体の深度コーディングユニット(CU)に対して簡易深度コーディング(SDC)モードが有効にされるかどうかを示す第1のシンタックス要素を受信することと、シーケンスの深度CUの1つのイントラ予測とインター予測の両方のためにSDCモードが使用されるかどうかを示す第2のシンタックス要素を受信することと、シーケンスの深度CUの1つがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行することと、シーケンスの深度CUの1つがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行することと、SDCモードが使用されることを第2のシンタックス要素が示すとき、シーケンスの深度CUの1つの予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報を取得することと、少なくとも1つのDC残差値とそれぞれの予測される深度CUとを使用して、シーケンスの深度CUの1つのPUの区分を再構築することとを備える。
[0019]別の例では、本開示は、ビデオデータを符号化する方法を提供し、この方法は、コーディングされるビデオデータのシーケンス全体の深度コーディングユニット(CU)に対して簡易深度コーディング(SDC)モードが有効にされるかどうかを示すシンタックス要素を符号化することと、シーケンスの深度CUの1つのイントラ予測とインター予測の両方のためにSDCモードが使用されるかどうかを示す第2のシンタックス要素を符号化することと、シーケンスの深度CUの1つがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行することと、シーケンスの深度CUの1つがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行することと、SDCモードが使用されることを第2のシンタックス要素が示すとき、シーケンスの深度CUの1つの予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報を符号化することとを備える。
[0020]別の例では、本開示は、ビデオデータを記憶するメモリと、1つまたは複数のプロセッサとを備えるビデオコーダを提供し、1つまたは複数のプロセッサは、ビデオデータのコードシーケンス全体の深度コーディングユニット(CU)に対して簡易深度コーディング(SDC)モードが有効にされるかどうかを示すシンタックス要素をコーディングし、シーケンスの深度CUの1つのイントラ予測とインター予測の両方のためにSDCモードが使用されるかどうかを示す第2のシンタックス要素をコーディングし、シーケンスの深度CUの1つがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行し、シーケンスの深度CUの1つがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行し、SDCモードが使用されることを第2のシンタックス要素が示すとき、シーケンスの深度CUの1つのための予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報をコーディングするように構成される。
[0021]本開示の1つまたは複数の態様の詳細が、添付の図面および以下の説明において記載される。本開示で説明される技法の他の特徴、目的、および利点は、これらの説明および図面から、および特許請求の範囲から明らかになろう。
[0022]本開示の技法を利用することができる、例示的なビデオコーディングシステムを示すブロック図。 [0023]high efficiency video coding(HEVC)において使用されるイントラ予測モードを示す図。 [0024]ピクセルサンプルの8×8のブロックをコーディングする際に使用するための1つのwedgelet区分パターンの例を示す図。 [0025]ピクセルサンプルの8×8のブロックをコーディングする際に使用するための1つの輪郭区分パターンの例を示す図。 [0026]本開示の技法を実装することができる、例示的なビデオエンコーダを示すブロック図。 [0027]本開示の技法を実装することができる、例示的なビデオデコーダを示すブロック図。 [0028]深度イントラ予測モードと深度インター予測モードのCU両方のためにSDCを使用することを示すためのシンタックス要素の符号化を示す流れ図。 [0029]CUのための深度イントラ予測モードと深度インター予測モードの両方のためにSDCを使用することを示すためのシンタックス要素の復号を示す流れ図。 [0030]符号化されたビデオシーケンス全体の中の深度CUに対してSDCが有効にされるか無効にされるかを示すためのシンタックス要素の復号を示す流れ図。 [0031]イントラ予測モードおよびインター予測モードでのCUのPU区分のためのSDC残差データを取得するための単一のシンタックス構造の復号を示す流れ図。 [0032]デコーダ側におけるSDCコーディングに対するアー例示的な制約の使用を示す流れ図。 [0033]デコーダ側におけるSDCコーディングに対する別の例示的な制約の使用を示す流れ図。
[0034]本開示は、HEVCに対する3D−HEVC拡張のような、3Dビデオコーディング処理における深度コーディングモードに関する。より具体的には、本開示は、深度イントラ予測モードおよび深度インター予測モードに適用されるSDCのシグナリングが統一される技法を説明する。いくつかの場合、SDCは代替的に、簡易残差コーディングまたはセグメントごとのDCコーディングと呼ばれ得る。簡易深度コーディング、簡易残差コーディング、およびセグメントごとのDCコーディングは、本明細書では簡易深度コーディング(SDC)と呼ばれる。いずれにしても、本開示で説明されるように、SDCは、統一されたシグナリング技法とともに深度イントラコーディングおよび深度インターコーディングに適用され得る。
[0035]3D−HEVCでは、イントラSDCモードとインターSDCモードの両方が使用される。しかしながら、SDCの現在の設計では、3D−HEVCにおいてイントラSDCおよびインターSDCの使用を示すために異なるシンタックス要素およびコンテキストモデルが使用され、このことはコーディングユニットの解析処理をより複雑にする。いくつかの例では、本開示で説明される技法は、部分的には、イントラSDCおよびインターSDCに対するシンタックスとコンテキストとを統一することによって、この問題に対処し得る。
[0036]SDCでは、一般に、ビデオエンコーダは、深度コーディングユニット(CU)の予測ユニット(PU)の各区分に対して1つだけの残差を符号化する。したがって、SDCでは、ビデオエンコーダは、PUの区分と関連付けられるピクセルのセットに対する1つの残差値、たとえばDC残差値を符号化することができる。PUは、イントラコーディングされた深度CUまたはインターコーディングされた深度CUに属する。
[0037]PUの各区分に対して、区分中の各ピクセルのための差分をコーディングする代わりに、ビデオエンコーダ20は、元の信号の平均値(すなわち、コーディングされるべき1つのブロックの区分中のピクセルの平均値)と予測信号の平均値(すなわち、予測ブロックの対応する区分中の選択されたピクセルサンプルの平均値)との間の差分を決定し、この差分をPU中のすべてのピクセルに対するDC残差として使用し、この残差値をビデオデコーダにシグナリングすることができる。
[0038]深度値は、任意選択で、全体のビデオシーケンスを符号化する前に第1のイントラ期間内のフレームを分析することによって構築され得る、深度参照テーブル(DLT)を使用してインデックスにマッピングされ得る。DLTが使用される場合、たとえばシーケンスパラメータセット(SPS)または他のシンタックス構造において、DLTがビデオエンコーダによってビデオデコーダに送信されてよく、復号されたインデックス値が、DLTに基づいてビデオデコーダによって深度値にマッピングし返され得る。DLTの使用により、さらなるコーディングの利点が認められ得る。
[0039]イントラ予測モードのシグナリングおよびインター予測モードのシグナリングは、コーディングユニット(CU)レベルにおいて実行され得る。同様に、SDCモードの使用の指示は、CUレベルでシグナリングされ得る。しかしながら、1つのCU(イントラコーディングされたCUまたはインターコーディングされたCUのいずれか)がSDCモードによってコーディングされるとき、CUはいくつかの予測ユニット(PU)に分割され得る。各PUはさらに、いくつかの区分へと分割され得る。SDCモードでは、DC残差値がCUの各PUの各区分のためにシグナリングされ得る。すなわち、複数のDC残差値がCU中のPUの複数のそれぞれの区分のために提供され得る。
[0040]SDCモードにおける残差のシグナリングでは、上で説明されたように、現在の予測とその予測子のそれぞれの値の差分が、符号化されたビットストリームにおいてビデオエンコーダによってシグナリングされ得る。いくつかの例では、差分は、差分の変換および量子化を伴わずにシグナリングされ得る。残差は、DLTが使用されるかどうかに応じて、2つの異なる方法を使用してシグナリングされ得る。DLTが使用されないとき、現在の予測とその予測子のそれぞれの値の間の差分は、符号とともに、たとえばDC残差値として直接送信される。DLTが使用されるとき、深度値の差分を直接シグナリングする代わりに、DLTインデックスの差分、すなわち、現在の予測のそれぞれの値のDLTインデックスと予測子のDLTインデックスとの間の差分がシグナリングされ得る。
[0041]SDCの既存の設計では、3D−HEVCにおける深度イントラ予測モードおよび深度インター予測モードに対してそれぞれSDCを使用することを示すために、異なるシンタックス要素およびコンテキストモデルが使用され得る。3D−HEVCでは、深度イントラ予測モードおよび深度インター予測モードのためにSDCを使用することを示すために異なるシンタックス要素を使用することは、デコーダ側におけるコーディングユニット(CU)の解析処理を複雑にする。
[0042]上で論じられたように、イントラ予測モードおよびインター予測モードのシグナリングは各深度CUのために実行され得るが、SDCモードの使用の指示もCUレベルでシグナリングされる。様々な例によれば、本開示は、3D−HEVCのような3Dビデオコーディング処理における、深度イントラ予測モードおよび深度インター予測モードのためのSDCのシグナリングを統一するための技法を説明する。イントラ予測されたCUおよびインター予測されたCUのためにSDCを使用することを別々にシグナリングする代わりに、CUがイントラ予測されるかインター予測されるかにかかわらず、CUのためにSDCを使用することを示すために単一のSDCシンタックス要素が提供され得る。本技法は、3Dビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのためのSDCのシグナリングを統一するために、ビデオエンコーダおよび/またはビデオデコーダ、すなわちビデオコーダによって実行され得る。3Dビデオコーディング処理における深度イントラ予測モードおよび深度インター予測モードのための、本明細書では簡易深度コーディング、簡易残差コーディング、またはセグメントごとのDCコーディングと呼ばれ得るSDCのシグナリングは、本開示に従って統一され得る。SDCシグナリングを統一するための技法の様々な態様が以下で説明される。
[0043]いくつかの例では、深度コーディングでは、ビデオコーダは、深度イントラモードと深度インターモードのいずれかのためにSDCを使用することを示すために、1つだけのシンタックス要素(たとえば、sdc_flag)を使用することができる。たとえば、ビデオエンコーダは、深度イントラ予測モードと深度インター予測モードの両方のためにSDCを使用することをシグナリングするために、同じSDCシンタックス要素(たとえば、sdc_flag)を使用することができる。ビデオデコーダは、SDCが深度イントラ予測モードのために使用されるべきか深度インター予測モードのために使用されるべきかを決定するために、同じシンタックス要素(たとえば、sdc_flag)を処理することができる。SDCが使用されるべきであることをシンタックス要素が示す場合、深度イントラ予測と深度インター予測のいずれかで、CUのためにSDCが使用されるべきである。このようにすると、深度イントラ予測と深度インター予測のためのSDCの使用をそれぞれ示すために、異なるシンタックス要素をシグナリングすることは必要ではない。むしろ、イントラとインターのいずれのモードがCUのために使用されるかに関係なく、単一のシンタックス要素がSDCの使用を示す。イントラ予測とインター予測の両方のために1つのシンタックス要素をシグナリングすることで、シグナリングオーバーヘッドが減り、コンピューティング効率が向上し、場合によってはメモリ要件が下がり得る。
[0044]たとえば、ビデオコーダは、深度イントラ予測と深度インター予測のためにSDCを使用することを別々にシグナリングするための異なるシンタックス要素の代わりに、深度イントラ予測と深度インター予測の両方のためにSDCを使用することをシグナリングするために同じシンタックス要素を使用することができる。したがって、sdc_flagのような単一のシンタックス要素が使用される場合、現在のコーディングユニット(CU)が深度インター予測モードのためにSDCを利用することを示す、inter_sdc_flagのような別のシンタックス要素は除去され得る。同様に、現在のCUが深度イントラ予測モードのためにSDCを利用することを示すシンタックス要素も、除去され得る。したがって、現在のCUが深度イントラ予測モードによってコーディングされるか、または深度インター予測モードによってコーディングされるかにかかわらず、たとえばsdc_flagのような形態の新たなシンタックス要素が導入される。このフラグが1に等しいとき、深度イントラ予測モードと深度インター予測の両方に対してSDCが有効にされる。
[0045]また、いくつかの例では、深度コーディングにおいて、現在の深度CUがSDCを使用してコーディングされるとき、各区分に対して、深度インターコーディングされたCUまたは深度イントラコーディングされたCUの各PUの各区分に対するDC残差値を表すDC残差情報は、1つのSDC残差シンタックス構造によって提示され得るという意味で統一されることが可能であり、1つのSDCシンタックス構造は、直接、またはDLTインデックス値の使用によって、DC残差値の絶対値とその符号とを示す情報を含む。たとえば、ビデオコーダは、深度イントラ予測モードまたは深度インター予測モードによってコーディングされるCUの中のPUの両方の区分に対して、同じシンタックス構造、または同じタイプのシンタックス構造を使用して、SDCモードにおいて生成される残差値を記憶および/または回収することができる。たとえば、ビデオエンコーダは、深度CUのPUの区分に対する残差値を含むシンタックス構造を生成することができ、ビデオデコーダは、深度イントラ予測モードと深度インター予測モードの両方に対して、そのようなシンタックス構造から深度CUのPUの区分に対する残差値を取得することができる。したがって、SDCをシグナリングするために使用されるシンタックス要素およびシンタックス構造は、深度イントラコーディングおよび深度インターコーディングのために統一され得る。
[0046]代替的に、または加えて、深度CUがイントラコーディングされSDCが利用される場合、現在のCUがその区分のいずれかに0ではないDC残差値を含むかどうかを示すフラグ(1に等しい)がさらに、ビデオエンコーダによってシグナリングされ、ビデオデコーダによって処理され得る。このフラグが0である場合、ビデオエンコーダはDC残差値をシグナリングせず、ビデオデコーダは、各区分に対して、DC残差値が0に等しいと推測する。
[0047]さらなる代替例として、または加えて、現在のCUがPU区分のいずれかにおいて0ではないDC残差値を含むかどうかを示すフラグは、イントラコーディングされたCUとインターコーディングされたCUの両方に適用され得る。具体的には、フラグが1に等しい場合、ビデオデコーダは適宜、イントラコーディングされたCUとインターコーディングされたCUの両方に対して0ではないDC残差値があると決定する。したがって、上で説明されたように、このフラグは、イントラコーディングされたCUとインターコーディングされたCUのPUの区分のためのDC残差値を表すために使用される、同じシンタックス構造、または同じタイプのシンタックス構造とともに使用され得る。
[0048]別の代替例として、または加えて、現在のCUがその区分のいずれかに0ではないDC残差値を含むかどうかを示すこのフラグは、イントラコーディングされたCUおよびインターコーディングされたCUに対するDC残差値を表すために使用されるシンタックス構造とともに使用されないことがある。この場合、上で説明されたように、同じシンタックス構造、または同じタイプのシンタックス構造が、イントラコーディングされたCUとインターコーディングされたCUのために使用され得るが、DC残差値は、現在のCUがその区分のいずれかに0ではないDC残差値を含むかどうかを示すフラグを使用することなく、シグナリングされる。
[0049]いくつかの例では、深度イントラ予測モードおよび深度インター予測モードにおけるSDCに対するDC残差値のために使用されるシンタックス構造は、同じシンタックス要素を共有するので、エントロピーコーディング(たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC))のためのコンテキストモデルおよびバイナリ化処理関連するシンタックス要素も統一されてよく、すなわち、SDCの使用を示す、またはCUの深度イントラ予測モードおよび深度インター予測モードに対するDC残差値を含むシンタックス要素に対して、同じコンテキストモデルが使用され得る。結果として、深度イントラコーディングモードと深度インターコーディングモードの両方のためにSDCによって生成される残差値に対する同じシンタックス要素および/またはシンタックス構造の使用は、特にエントロピーコーディングにおいて、計算の複雑さの低減を助け得る。たとえば、SDCをシグナリングするためのシンタックス要素は、深度イントラ予測モードと深度インター予測モードの両方で、同じコンテキストモデルおよび/またはバイナリ化処理によってコーディングされ得る。また、SDCによって生成された残差値を表す情報を示すシンタックス要素を搬送するシンタックス構造も、イントラ予測およびインター予測のための同じコンテキストモデルおよび/またはバイナリ化処理によってエントロピーコーディングされ得る。たとえば3D−HEVCコーディングにおける、深度イントラ予測モードおよび深度インター予測モードのために同じコンテキストモデルを使用することで、特にデコーダ側で、エントロピーコーディングと関連付けられる計算負荷とメモリ要件とを低減することができる。
[0050]別の例として、深度イントラモードおよび深度インターモードのためのSDCシグナリングがDC残差値に対して同じシンタックス構造を使用できるとしても、ビデオエンコーダおよびデコーダは、深度イントラコーディングと深度インターコーディングのために同じシンタックス構造の異なる実体をそれぞれ使用するように構成され得る。シンタックス構造の各実体は、SDCの使用とDC残差値とをシグナリングするために、同じシンタックス要素または同じタイプのシンタックス要素と同じ構造とを含み得るが、シンタックス構造の実体は、深度イントラ予測モードおよび深度インター予測モードに対して別々にそのようなシンタックス要素の値をシグナリングすることができ、たとえば、深度イントラ予測のためのシンタックス構造の1つの実体と、深度インター予測のためのシンタックス構造の1つの実体とをシグナリングすることができる。したがって、この例では、ビデオエンコーダおよび/もしくはビデオデコーダは、同じシンタックス構造の異なる実体のエントロピーコーディング、たとえばCABACコーディングのために、同じコンテキストおよび/もしくはバイナリ化処理を使用することができ、または、深度イントラ予測モードおよび深度インター予測モードにおけるSDCの使用のために、シンタックス構造の異なる実体をエントロピーコーディングすること、たとえばCABACコーディングすることのための、コンテキストおよび/またはバイナリ化処理を別々に保持することができる。いくつかの例では、イントラモードまたはインターモードに対するCUのためにSDCを使用することは、フラグsdc_flagによってシグナリングされ得る。各区分に対するシンタックス構造により示されるDC残差では、DC残差値は、いくつかの例では、depth_dc_absによって示される大きさとdepth_dc_sign_flagによって示される符号とともにシグナリングされ得る。
[0051]本開示に従ったいくつかの例では、ビデオデコーダは、SDCが使用されるとき、パルス符号変調(PCM)コーディングが無効にされるように、制約を適用するように構成され得る。たとえば、デコーダ側における制約は、たとえば所与の深度CUに対して、sdc_flagが1に等しいときにpcm_flagが1に等しくならないように、適用され得る。SDCがCUの深度イントラ予測モードと深度インター予測モードの両方に対して有効にされるとき、PCMはCUのために使用されない。したがって、そのような制約は、SDCの使用を示すシンタックス要素(sdc_flag)が1に等しいとき、デコーダがPCMを有効にするのを防ぐ。
[0052]また、いくつかの例では、ビデオデコーダは、ある特定の1つの区分サイズまたは様々な区分サイズを有するコーディングユニットだけのために、SDCが深度イントラ予測モードと深度インター予測モードの両方のために使用されるように、SDCに対する制約を適用することができる。たとえば、ビデオデコーダは、イントラSDCモードとインターSDCモードの両方が、区分サイズが2Nx2NであるCUだけに対して使用されるように、デコーダ側においてSDCに対する制約を適用することができる。代替形態として、ビデオデコーダは、区分サイズが2Nx2NおよびNxNであるCUに対してイントラSDCモードが使用されるように、制約を適用することができる。したがって、一例では、SDCは、2Nx2Nの区分サイズだけについて、深度イントラ予測および深度インター予測のために使用され得る。別の例では、SDCは、2Nx2Nの区分サイズだけについて深度インター予測のために使用され得るが、SDCは、2Nx2NおよびNxNの区分サイズだけについて深度イントラ予測のために使用され得る。
[0053]いくつかの例では、ビデオエンコーダおよび/またはビデオデコーダは、たとえばコーディングされたビデオシーケンス全体のための復号処理における深度イントラ予測モードと深度インター予測モードの両方に対してSDCを有効にし無効にするために、1ビットのフラグまたは多ビットのシンタックス要素のような、単一のシンタックス要素を使用するように構成され得る。たとえば、そのようなシンタックス要素は、SDCが深度イントラ予測モードと深度インター予測モードの両方のために有効にされるかどうかを示すために、ビデオパラメータセット(VPS)拡張、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスセグメントヘッダ、または別のデータ構造においてコーディングされ得る。この例では、単一のシンタックス要素が、SDCがコーディングされたビデオシーケンスのために深度イントラモードと深度インターモードの両方に対して有効にされるかどうかを示す。別の例では、代替形態として、ビデオエンコーダおよび/またはビデオデコーダは、SDCが深度イントラモードに対して有効にされコーディングされたビデオシーケンス全体に対して有効にされるかどうかを示すための1つのフラグと、これが真である場合に、加えて、コーディングされたビデオシーケンス全体またはスライス全体についてSDCが深度インターモードに対して有効にされるかどうかを示すための別のフラグとをコーディングすることができる。この例では、コーディングされたビデオシーケンスに対するSDCを有効または無効にするために、1つのシンタックス要素が使用される。SDCが有効にされる場合、別のシンタックス要素(たとえば、sdc_flag)が、コーディングされたビデオシーケンス内のCUに対するCUレベルでのSDCの使用を示すために、エンコーダによってシグナリングされ得る。SDCが無効にされる場合、CUレベルでのSDCの使用を示すためのシンタックス要素はエンコーダによってシグナリングされず、デコーダはそのようなシンタックス要素を受信しない。
[0054]いくつかの例では、SDCが有効にされるかどうかを示すために、フラグ(たとえば、SdcEnableFlag)が提供され得る。このフラグは、VPS、SPS、PPS、またはスライスヘッダ中の対応する値の関数である値を有し得る。SdcEnableFlagの値を一部決定し得るVPSシンタックス要素の例は、vps_inter_sdc_flagとvps_depth_modes_flagとを含む。シンタックス要素(sdc_flag)が次いで、SDCがCUのために使用されるかどうかを示し得る。これらのシンタックス要素の例が以下で与えられる。適宜、コードビデオシーケンス、ピクチャ、またはスライス全体に対してSDCを有効または無効にするために、VPS、SPS、PPS、またはスライスセグメントヘッダにおいて、同様のシンタックス要素が提供され得る。
[0055]図1は、本開示で説明されるような、深度イントラ予測モードおよび深度インター予測モードのためにSDCをシグナリングするための、本開示の様々な技法を利用するように構成され得る、例示的なビデオ符号化および復号システム10を示すブロック図である。いくつかの例では、システム10のビデオエンコーダ20および/またはビデオデコーダ30は、たとえば3D−HEVCのような3Dビデオコーディング処理における深度イントラ予測モードおよび深度インター予測モードのためのSDCのシグナリングを統一する技法を実行するように構成され得る。
[0056]図1に示されるように、システム10は、宛先デバイス14によって後で復号されるべき符号化されたビデオデータを提供するソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体16を介して宛先デバイス14にビデオデータを提供する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14はワイヤレス通信に対応し得る。
[0057]宛先デバイス14は、コンピュータ可読媒体16を介して、復号されるべき符号化されたビデオデータを受信することができる。コンピュータ可読媒体16は、符号化されたビデオデータをソースデバイス12から宛先デバイス14に移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、符号化されたビデオデータをソースデバイス12がリアルタイムで宛先デバイス14に直接に送信することを可能にするための、送信チャネルのような通信媒体を備え得る。
[0058]符号化されたビデオデータは、ワイヤレス通信プロトコルのような通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、高周波(RF)スペクトルまたは1つもしくは複数の物理伝送線路のような、任意のワイヤレスまたは有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークのような、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を容易にするために有用であり得る任意の他の機器を含み得る。
[0059]いくつかの例では、符号化されたデータは、出力インターフェース22から、非一時的コンピュータ可読記憶媒体のようなコンピュータ可読記憶媒体、すなわちデータ記憶デバイスへ出力され得る。同様に、符号化されたデータは、記憶デバイスから入力インターフェースによってアクセスされ得る。記憶デバイスは、ハードドライブ、ブルーレイ(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散されたまたはローカルにアクセスされる非一時的データ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイスは、ソースデバイス12によって生成された符号化されたビデオを記憶することができるファイルサーバまたは別の中間記憶デバイスに対応し得る。
[0060]宛先デバイス14は、ストリーミングまたはダウンロードを介して、記憶デバイスから記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶することができ、ビデオデータを宛先デバイス14に送信することができる、任意のタイプのサーバであり得る。例示的なファイルサーバには、ウェブサーバ(たとえば、ウェブサイト用の)、FTPサーバ、ネットワークアタッチドストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む、任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスすることができる。これは、ファイルサーバ上に記憶されている符号化されたビデオデータにアクセスするのに適した、ワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、有線接続(たとえば、DSL、ケーブルモデムなど)、またはその両方の組合せを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0061]本開示の技法は、ワイヤレスの適用例または設定に必ずしも限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、Dynamic Adaptive Streaming over HTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例のような、種々のマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および/またはビデオ電話などの適用例をサポートするために一方向または双方向のビデオ送信をサポートするように構成され得る。
[0062]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。本開示によれば、ソースデバイス12のビデオエンコーダ20は、非方形区分を伴う区分ベースの深度コーディングのための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他のコンポーネントまたは配置を含み得る。たとえば、ソースデバイス12は、外部カメラなどの外部のビデオソース18からビデオデータを受信することができる。同様に、宛先デバイス14は、統合されたディスプレイデバイスを含むのではなく、外部のディスプレイデバイスとインターフェースしてもよい。
[0063]図1の例示されたシステム10は、一例にすぎない。深度イントラ予測モードに対するSDCのための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実行され得る。一般に、本開示の技法は、ビデオエンコーダ20/ビデオデコーダ30によって実行されるが、技法は、通常「コーデック」と呼ばれるビデオエンコーダ/デコーダによって実行されてもよい。その上、本開示の技法は、ビデオプリプロセッサによって実行されてもよい。ソースデバイス12および宛先デバイス14は、ソースデバイス12が、コーディングされたビデオデータを宛先デバイス14への送信のために生成するようなコーディングデバイスの例にすぎない。いくつかの例では、デバイス12、14は、デバイス12、14の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントとを含むように実質的に対称的な方式で動作することができる。したがって、システム10は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のために、ビデオデバイス12と14の間の一方向または双方向のビデオ送信をサポートすることができる。
[0064]ソースデバイス12のビデオソース18は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースのような、ビデオキャプチャデバイスを含み得る。さらなる代替形態として、ビデオソース18は、ソースビデオとしてコンピュータグラフィックスベースのデータを生成し、または、ライブビデオと、アーカイブされたビデオと、コンピュータで生成されたビデオとの組合せを生成することができる。場合によっては、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるスマートフォン、タブレットコンピュータ、またはビデオ電話を形成し得る。しかしながら、上で言及されたように、本開示で説明される技法は、ビデオコーディング全般に適用可能であってよく、ワイヤレスの適用例および/または有線の適用例に適用され得る。各々の場合において、キャプチャされたビデオ、事前にキャプチャされたビデオ、またはコンピュータで生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は次いで、出力インターフェース22によってコンピュータ可読媒体16上に出力され得る。
[0065]コンピュータ可読媒体16は、ワイヤレスブロードキャストもしくは有線ネットワーク送信のような一時的媒体、またはデータ記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示されず)は、ソースデバイス12から符号化されたビデオデータを受信し、たとえば、ネットワーク送信を介して、その符号化されたビデオデータを宛先デバイス14に提供することができる。同様に、ディスクスタンピング設備のような、媒体製造設備のコンピューティングデバイスは、ソースデバイス12から符号化されたビデオデータを受信し、その符号化されたビデオデータを含むディスクを生成することができる。したがって、様々な例では、コンピュータ可読媒体16は、様々な形態の1つまたは複数のコンピュータ可読媒体を含むと理解され得る。
[0066]本開示は全般に、ビデオエンコーダ20が、ある情報をビデオデコーダ30のような別のデバイスに「シグナリング」することに言及することがある。しかしながら、ビデオエンコーダ20は、いくつかのシンタックス要素をビデオデータの様々な符号化された部分と関連付けることによって情報をシグナリングできることを理解されたい。すなわち、ビデオエンコーダ20は、ビデオデータの様々な符号化される部分のヘッダまたはペイロードにいくつかのシンタックス要素を格納することによって、データを「シグナリング」することができる。場合によっては、そのようなシンタックス要素は、ビデオデコーダ30によって受信されおよび復号されるより前に、符号化されおよび記憶され(たとえば、コンピュータ可読媒体16に記憶され)得る。したがって、「シグナリング」という用語は全般に、そのような通信がリアルタイムで発生するか、ほぼリアルタイムで発生するか、またはある期間にわたって発生するかにかかわらず、圧縮されたビデオデータを復号するためのシンタックスまたは他のデータの通信を指すことがあり、ある期間にわたる通信は、シンタックス要素を符号化の時点で媒体に記憶し、次いで、シンタックス要素がこの媒体に記憶された後の任意の時点で復号デバイスによって取り出され得るときに発生し得る。
[0067]宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ブロックおよび他のコーディングされたユニット、たとえば、GOPの特性および/または処理を記述するシンタックス要素を含む、ビデオエンコーダ20によって定義されビデオデコーダ30によっても使用される、シンタックス情報を含み得る。ディスプレイデバイス32は、ユーザに復号されたビデオデータを表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、プロジェクションデバイス、または別のタイプのディスプレイデバイスのような、種々のディスプレイデバイスのいずれかを備え得る。
[0068]図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は各々、オーディオエンコーダおよびデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能なとき、MUX−DEMUXユニットは、一例としてITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)のような他のプロトコルに準拠し得る。
[0069]ビデオエンコーダ20およびビデオデコーダ30は各々、適用可能なとき、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せのような、種々の好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダに含まれてよく、そのいずれもが複合ビデオエンコーダ/デコーダ(コーデック)の一部として統合されてよい。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/または携帯電話のようなワイヤレス通信デバイスを備え得る。
[0070]ビデオエンコーダ20およびビデオデコーダ30は、HEVC規格のようなビデオコーディング規格、およびより具体的には、本開示で参照されるようなHEVC規格の3D−HEVC拡張に従って動作することができる。HEVCは、たとえば、ITU−T H.264/AVCのような他の処理に従ってコーディングを実行するように構成されるデバイスと比較して、ビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、H.264は9個のイントラ予測符号化モードを提供するが、HMは35個ものイントラ予測符号化モードを提供することができる。
[0071]一般に、HEVCは、ビデオピクチャ(または「フレーム」)が、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット(LCU)に分割され得ることを規定する。ビットストリーム内のシンタックスデータは、LCUのサイズを定義することができ、このLCUは、ピクセルの個数に関して最大のコーディングユニットである。スライスは、コーディングの順序で、いくつかの連続するツリーブロックを含む。ピクチャは、1つまたは複数のスライスに区分され得る。各ツリーブロックは、4分木に従ってコーディングユニット(CU)に分割され得る。一般に、4分木データ構造は、1CUあたり1つのノードを含み、ルートノードがツリーブロックに対応する。CUが4つのサブCUに分割される場合、CUに対応するノードは4つのリーフノードを含み、その各々はサブCUの1つに対応する。
[0072]4分木データ構造の各ノードは、対応するCUのためのシンタックスデータを与え得る。たとえば、4分木中のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのシンタックス要素は、再帰的に定義されてよく、CUがサブCUに分割されるかどうかに依存してよい。CUがさらに分割されない場合、そのCUはリーフCUと呼ばれる。元のリーフCUの明示的な分割がない場合でも、リーフCUの4つのサブCUはリーフCUと呼ばれることもある。たとえば、16×16サイズのCUがさらに分割されない場合、この16×16CUが決して分割されなくても、4つの8×8サブCUはリーフCUとも呼ばれる。
[0073]HEVCのCUは、CUがサイズの差異を有しないことを除いて、H.264規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、(サブCUとも呼ばれる)4つの子ノードに分割されてよく、各子ノードは、今度は親ノードとなり、別の4つの子ノードに分割されてよい。4分木のリーフノードと呼ばれる、最後の分割されない子ノードは、リーフCUとも呼ばれるコーディングノードを備える。コーディングされたビットストリームと関連付けられるシンタックスデータは、最大CU深度と呼ばれる、ツリーブロックが分割され得る最大の回数を定義することができ、コーディングノードの最小サイズを定義することもできる。それに応じて、ビットストリームは最小コーディングユニット(SCU)を定義することもできる。本開示は、HEVCの文脈においてCU、PU、もしくはTUのいずれか、または他の規格の文脈において類似のデータ構造(たとえば、H.264/AVCのマクロブロックおよびそのサブブロック)を指すために、「ブロック」という用語を使用する。
[0074]CUは、コーディングノードと、コーディングノードと関連付けられた予測ユニット(PU)および変換ユニット(TU)とを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。CUのサイズは、8×8ピクセルから最大で64×64ピクセル以上のツリーブロックのサイズにまでわたり得る。各CUは、1つまたは複数のPUと1つまたは複数のTUとを包含し得る。CUと関連付けられるシンタックスデータは、たとえば、CUの1つまたは複数のPUへの区分を記述することができる。区分モードは、CUがスキップモード符号化もしくは直接モード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかで異なり得る。本開示で説明される深度コーディングの場合、PUは、形状が非正方形となるように区分されてよく、または、形状が非方形である区分を含んでよい。CUと関連付けられるシンタックスデータは、たとえば、4分木に従う1つまたは複数のTUへのCUの区分を記述することができる。TUは、形状が正方形または非正方形(たとえば、長方形)であってよい。
[0075]HEVC規格は、異なるCUに対しては異なり得る、TUに従った変換を可能にする。TUは通常、区分されたLCUに対して定義される所与のCU内のPUのサイズに基づくサイズにされるが、必ずそうであるとは限らない。TUは通常、PU以下のサイズである。いくつかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT)として知られる4分木構造を使用して、より小さいユニットに再分割され得る。RQTのリーフノードは、変換ユニット(TU)と呼ばれ得る。TUと関連付けられるピクセル差分値は、変換係数を生成するために変換されてよく、変換係数は量子化され得る。
[0076]リーフCUは、1つまたは複数の予測ユニット(PU)を含み得る。一般に、PUは、対応するCUのすべてまたは一部分に対応する空間エリアを表し、そのPUの参照サンプルを取り出すためのデータを含み得る。参照サンプルは、参照ブロックからのピクセルであり得る。いくつかの例では、参照サンプルは、たとえば、補間または他の技法によって、参照ブロックから取得され、または生成され得る。PUはまた、予測に関するデータを含む。たとえば、PUが、イントラモード符号化されるとき、PUのデータは、残差4分木(RQT)に含まれてよく、このRQTは、PUに対応するTUのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモードで符号化されるとき、PUは、PUのための1つまたは複数の動きベクトルを定義するデータを含み得る。PUのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの分解能(たとえば、1/4ピクセル精度または1/8ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトルの参照ピクチャリスト(たとえば、リスト0、リスト1、またはリストC)を記述することができる。
[0077]1つまたは複数のPUを有するリーフCUは、1つまたは複数の変換ユニット(TU)を含み得る。変換ユニットは、上で論じられたように、RQT(TUの4分木構造とも呼ばれる)を使用して規定され得る。たとえば、分割フラグは、リーフCUが4つの変換ユニットに分割されるかどうかを示し得る。次いで、各変換ユニットは、さらなるサブTUに、さらに分割され得る。TUがこれ以上分割されないとき、そのTUはリーフTUと呼ばれ得る。一般に、イントラコーディングの場合、リーフCUに属するすべてのリーフTUは同じイントラ予測モードを共有する。すなわち、同じイントラ予測モードが一般に、リーフCUのすべてのTUに対する予測値を計算するために適用される。イントラコーディングの場合、ビデオエンコーダ20は、イントラ予測モードを使用して各リーフTUの残差値を、TUに対応するCUの部分と元のブロックとの間の差分として計算することができる。TUは、必ずしもPUのサイズに制限されるとは限らない。したがって、TUは、PUよりも大きくまたは小さくなり得る。イントラコーディングの場合、PUは、同じCUの対応するリーフTUと併置され得る。いくつかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに対応し得る。
[0078]その上、リーフCUのTUはまた、残差4分木(RQT)と呼ばれる、それぞれの4分木データ構造と関連付けられ得る。すなわち、リーフCUは、そのリーフCUがTUにどのように区分されるかを示す4分木を含み得る。TU4分木のルートノードは一般に、リーフCUに対応し、CU4分木のルートノードは一般に、ツリーブロック(またはLCU)に対応する。分割されないRQTのTUはリーフTUと呼ばれる。一般に、本開示では、別段に明記されていない限り、リーフCUおよびリーフTUに言及するためにそれぞれCUおよびTUという用語を使用する。
[0079]ビデオシーケンスは通常、一連のピクチャを含む。本明細書で説明されるように、「ピクチャ」と「フレーム」は交換可能に使用され得る。すなわち、ビデオデータを含んでいるピクチャは、ビデオフレームまたは単に「フレーム」と呼ばれ得る。ピクチャグループ(GOP)は一般に、一連の1つまたは複数のビデオピクチャを備える。GOPは、GOPのヘッダ中、ピクチャの1つまたは複数のヘッダ中、または他のところに、そのGOPに含まれるピクチャの数を記述するシンタックスデータを含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、CU内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し、指定されるコーディング規格に応じてサイズが異なり得る。
[0080]ある例として、HEVCは、様々なPUサイズにおける予測をサポートする。特定のCUのサイズが2Nx2Nであると仮定すると、HEVCは、2Nx2NまたはNxNのPUサイズにおけるイントラ予測と、2Nx2N、2NxN、Nx2N、またはNxNという対称なPUサイズにおけるインター予測とをサポートする。2Nx2Nのサイズを有するPUは、それが存在するCUと同じサイズであるので、分割されないCUを表す。言い換えると、2Nx2NのPUは、そのCUと同じサイズである。HMはまた、2NxnU、2NxnD、nLx2N、およびnRx2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方の方向は区分されず、他方の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、または「Right」という指示によって示される。したがって、たとえば、「2NxnU」は、上部の2Nx0.5N PU、および下部の2Nx1.5N PUへと水平に区分される2Nx2N CUを指す。
[0081]本開示では、「NxN」および「N×N(N by N)」は、垂直方向の寸法および水平方向の寸法に関するビデオブロックのピクセル寸法、たとえば、16x16ピクセルまたは16×16(16 by16)ピクセルを指すために互換的に使用され得る。一般に、16x16ブロックは、垂直方向に16ピクセルを有し(y=16)、水平方向に16ピクセルを有する(x=16)。同様に、NxNブロックは、一般に、垂直方向にNピクセル、水平方向にNピクセルを有し、Nは、非負の整数値を表す。ブロック内のピクセルは、行と列とに配置され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有するとは限らない。たとえば、ブロックはNxMピクセルを備えることがあり、ここで、Mは必ずしもNに等しいとは限らない。
[0082]CUのPUを使用したイントラ予測コーディングまたはインター予測コーディングに続いて、ビデオエンコーダ20は、CUのTUのための残差データを計算することができる。PUは、空間領域(ピクセル領域とも呼ばれる)において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備えてよく、TUは、変換、たとえば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後の、変換領域における係数を備えてよい。残差データは、符号化されていないピクチャのピクセルとPUに対応する予測値との間のピクセル差に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、CUのための変換係数を生成するために、TUを変換することができる。
[0083]変換係数を生成するための任意の変換の後で、ビデオエンコーダ20は、変換係数の量子化を実行することができる。量子化は一般に、係数を表すために使用されるデータの量をできるだけ低減するために、変換係数が量子化され、さらなる圧縮を実現する処理を指す。量子化プロセスは、係数の一部またはすべてと関連付けられたビット深度を低減し得る。たとえば、nビット値が、量子化中にmビット値へと切り捨てられてよく、nはmより大きい。
[0084]量子化の後に、ビデオエンコーダ20は、変換係数を走査して、量子化された変換係数を含む2次元行列から1次元ベクトルを生成することができる。走査は、アレイの前部により高いエネルギー(したがって、より低い周波数)係数を配置し、アレイの後部により低いエネルギー(したがって、より高い周波数)係数を配置するように設計され得る。
[0085]いくつかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化されたベクトルを生成するために、量子化された変換係数を走査するために所定の走査順序を利用することができる。他の例では、ビデオエンコーダ20は、適応走査を実行することができる。量子化された変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、たとえば、コンテキスト適応型可変長コーディング(CAVLC:context-adaptive variable length coding)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コーディング、または別のエントロピー符号化方法に従って、1次元ベクトルをエントロピー符号化することができる。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための、符号化されたビデオデータと関連付けられるシンタックス要素をエントロピー符号化することができる。
[0086]ビデオエンコーダ20はさらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびGOPベースのシンタックスデータのようなシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはGOPヘッダ中でビデオデコーダ30に送ることができる。GOPシンタックスデータは、それぞれのGOP中のピクチャの数を記述することができ、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化/予測モードを示すことができる。
[0087]ビデオエンコーダ20および/またはビデオデコーダ30は、深度データのイントラピクチャ予測コーディングと深度データのインター予測コーディングとを実行することができる。加えて、本開示の例によれば、ビデオエンコーダ20および/またはビデオデコーダ30は、説明されるように、たとえば種々の例のいずれかに従って、ビデオデータの深度イントラ予測コーディングおよび/またはビデオデータの深度インター予測コーディングに起因する残差データをコーディングするために、SDCを使用することができる。より具体的には、ビデオエンコーダ20および/またはビデオデコーダ30は、たとえば3D−HEVCのような3Dビデオコーディング処理においてより統一された方式で、深度イントラ予測および深度インター予測のためにSDCを使用することをシグナリングするように、本開示の技法に従って構成され得る。
[0088]本開示は、High Efficiency Video Coding(HEVC)コーデックのような、進化したコーデックに基づく3Dビデオコーディングのための技法を説明する。本開示で説明される3Dコーディング技法は、現在開発中のHEVCに対する3D−HEVC拡張のような、マルチビュープラス深度ビデオコーディング処理における、深度ビューの進化したインターコーディングに関する深度コーディング技法を含む。本開示に関するビデオコーディング規格およびHEVC技法が下で概観される。
[0089]HEVC規格の最近のドラフト、JCTVC−L1003、Benjamin Bross、Woo−Jin Han、Jens−Ranier Ohm、Gary Sullivan、Ye−Kui Wang、Thomas Wiegand、「High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS&Last Call)」、Joint Collaborative Team on Video Coding(JCT−VC)of ITU−T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11、第12回会合:ジュネーブ、スイス、2013年1月14〜23日(「HEVC WD10」)が、参照によって全体が本明細書に組み込まれ、以下のリンクから入手可能である。
http://phenix.it−sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC−L1003−v34.zip
[0090]3D−HEVCの最近のドラフトは、JCTVC−F1001−v1、Gerhard Tech、Krzysztof Wegner、Ying Chen、およびSehoon Yea、「3D−HEVC Draft Text 2」、Joint Collaborative Team on 3D Video Coding Extension Development of ITU−T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11、第6回会合:ジュネーブ、スイス、2013年10月25日〜11月1日(“3D−HEVC”)が、参照によって全体が本明細書に組み込まれ、以下のリンクから入手可能である。
http://phenix.it−sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V−F1001−v1.zip
[0091]HEVCでは、コーディングユニット(CU)のサイズが2Nx2Nであると仮定すると、ビデオエンコーダ20およびビデオデコーダ30は、イントラ予測に対して2Nx2NまたはNxNという様々な予測ユニット(PU)サイズをサポートすることができ、インター予測に対して2Nx2N、2NxN、Nx2N、NxN、または同様の対称のPUサイズをサポートすることができる。ビデオエンコーダおよびビデオデコーダはまた、インター予測のための2NxnU、2NxnD、nLx2N、およびnRx2NのPUサイズに対して非対称な区分をサポートすることができる。
[0092]3D−HEVCにおいて提供されるような深度コーディングでは、ビデオエンコーダおよびビデオデコーダは、非方形の区分を使用するモードを含む、イントラ予測のための種々の異なる深度コーディング区分モードをサポートするように構成され得る。非方形区分を伴う深度コーディングの例としては、Wedgelet区分ベースの深度コーディング、輪郭区分ベースの深度コーディング、および領域境界チェーン区分ベースのコーディングがある。例として、wedgelet区分または輪郭区分のような、非方形区分の区分ベースのイントラコーディングのための技法は、イントラ予測コーディングから得られる残差情報のコーディングのための簡易深度コーディング(SDC)モードとともに実行され得る。加えて、HEVCにおける従来のイントラ/インターモードに対して、本技法はまた、深度データのイントラ予測コーディングまたはインター予測コーディングに起因する残差情報のコーディングのためにSDCモードとともに実行され得る。
[0093]3Dビデオコーディング技法を使用してコーディングされたビデオデータは、3次元効果を生成するためにレンダリングされ、表示され得る。一例として、異なるビューの2つの画像(すなわち、わずかに異なる水平位置を有する2つのカメラの視点に対応する)は、一方の画像が閲覧者の左眼によって見られ、他方の画像が閲覧者の右眼によって見られるように、実質的に同時に表示され得る。
[0094]3D効果は、たとえば、立体視ディスプレイまたは自動立体視ディスプレイを使用して達成され得る。立体視ディスプレイは、2つの画像を相応にフィルタリングするアイウェアとともに使用され得る。たとえば、パッシブ眼鏡は、適切な眼が適切な画像を見ることを保証するために、偏光レンズ、または異なるカラーレンズ、または他の光学的フィルタリング技法を使用して、画像をフィルタリングすることができる。アクティブ眼鏡は、別の例として、立体視ディスプレイと協調して交互にレンズを高速に閉じることができ、それにより、左眼画像を表示することと右眼画像を表示することとを交互に行い得る。自動立体視ディスプレイは、眼鏡が必要とされないような方法で2つの画像を表示する。たとえば、自動立体視ディスプレイは、各画像が閲覧者の適切な眼に投影されるように構成された鏡またはプリズムを含み得る。
[0095]本開示の技法は、3Dビデオをサポートするために深度データをコーディングすることによって、3Dビデオデータをコーディングするための技法に関する。一般に、「テクスチャ」という用語は、画像のルミナンス(すなわち、輝度または「ルーマ」)値と画像のクロミナンス(すなわち、色または「クロマ」)値とを表すために使用される。いくつかの例では、テクスチャ画像は、1セットのルミナンスデータ(Y)と、青色相(Cb)および赤色相(Cr)のための2セットのクロミナンスデータとを含み得る。4:2:2または4:2:0などの特定のクロマフォーマットでは、クロマデータは、ルーマデータに関してダウンサンプリングされる。すなわち、クロミナンスピクセルの空間解像度は、対応するルミナンスピクセルの空間解像度よりも低く、たとえば、ルミナンス解像度の1/2または1/4であり得る。
[0096]深度データは一般に、対応するテクスチャデータの深度値を表す。たとえば、深度画像は、たとえばビューのテクスチャ成分中の対応するテクスチャデータに対する、たとえばビューの深度成分中の深度を各々表す、深度ピクセルのセット(または深度値)を含み得る。各ピクセルは、1つまたは複数のテクスチャ値(たとえば、ルミナンスおよびクロミナンス)を有してよく、1つまたは複数の深度値も有してよい。テクスチャピクチャおよび深度マップは、同じ空間解像度を有することがあるが、そうである必要はない。たとえば、深度マップは、対応するテクスチャピクチャよりも多数または少数のピクセルを含み得る。深度データは、対応するテクスチャデータの水平視差を決定するために使用されてよく、およびいくつかの場合には、垂直視差も使用されてよい。
[0097]したがって、テクスチャデータと深度データとを受信するデバイスは、一方のビュー(たとえば、左眼ビュー)のための第1のテクスチャ画像を表示し、深度値に基づいて決定された水平視差値だけ第1の画像のピクセル値をオフセットすることによって、他方のビュー(たとえば、右眼ビュー)のための第2のテクスチャ画像を生成するように第1のテクスチャ画像を修正するために深度データを使用することができる。一般に、水平視差(または単に「視差」)は、右ビュー中の対応するピクセルに対する第1のビュー中のピクセルの水平空間オフセットを表し、2つのピクセルは、2つのビュー中で表される同じオブジェクトの同じ部分に対応する。
[0098]さらに他の例では、画像について定義されたゼロ視差平面に対して所与のピクセルと関連付けられる深度が定義されるように、画像平面に直交するz次元におけるピクセルに対して深度データが定義され得る。そのような深度は、ピクセルを表示するための水平視差を作成するために使用されてよく、その結果、ピクセルは、ゼロ視差平面に対するピクセルのz次元深度値に応じて、左眼と右眼とで異なるように表示される。ゼロ視差平面は、ビデオシーケンスの異なる部分に対して変化してよく、ゼロ視差平面に対する深度の量も変化してよい。
[0099]ゼロ視差平面上に位置するピクセルは、左眼と右眼とに対して同様に定義され得る。ゼロ視差平面の前に位置するピクセルは、ピクセルが画像平面に直交するz方向の画像から出てくるように見える知覚を生み出すために、(たとえば、水平視差とともに)左眼と右眼とに対して異なる位置に表示され得る。ゼロ視差平面の後ろに位置するピクセルは、深度のわずかな知覚まで、わずかなぼかしとともに表示されてよく、または(たとえば、ゼロ視差平面の前に位置するピクセルの水平視差とは反対の水平視差とともに)左眼と右眼とに対して異なる位置に表示され得る。他の多くの技法も、画像の深度データを伝達または定義するために使用され得る。
[0100]2次元ビデオデータは一般に、その各々が特定の時間インスタンスに対応する、個別ピクチャのシーケンスとしてコーディングされる。すなわち、各ピクチャは、シーケンス中の他の画像の再生時間に対して、関連付けられる再生時間を有する。これらのピクチャはテクスチャピクチャまたはテクスチャ画像と考えられ得る。深度ベースの3Dビデオコーディングでは、シーケンス中の各テクスチャピクチャは深度マップにも対応し得る。すなわち、テクスチャピクチャに対応する深度マップは、対応するテクスチャピクチャのための深度データを表す。マルチビュービデオデータは、様々な異なるビューのためのデータを含んでよく、各ビューは、テクスチャ成分および対応する深度成分のそれぞれのシーケンスを含み得る。
[0101]ピクチャは一般に、特定の時間インスタンスに対応する。ビデオデータは、アクセスユニットのシーケンスを使用して表されてよく、各アクセスユニットは、特定の時間インスタンスに対応するすべてのデータを含む。したがって、たとえば、マルチビュービデオデータプラス深度コーディングの場合、共通時間インスタンスに対する各ビューからのテクスチャ画像+テクスチャ画像の各々に対する深度マップがすべて、特定のアクセスユニット内に含まれ得る。したがって、アクセスユニットは複数のビューを含んでよく、各ビューは、テクスチャ画像に対応するテクスチャ成分のためのデータと、深度マップに対応する深度成分のためのデータとを含み得る。
[0102]各アクセスユニットは、複数のビュー成分またはピクチャを含み得る。特定のビューのビュー成分は、固有のビューidまたはビュー順序インデックスと関連付けられ、その結果、異なるビューのビュー成分は異なるビューidまたはビュー順序インデックスと関連付けられる。ビュー成分はテクスチャビュー成分ならびに深度ビュー成分を含み得る。同じビューの中のテクスチャビュー成分および深度ビュー成分は、異なるレイヤidを有し得る。テクスチャビュー成分は1つまたは複数のテクスチャスライスとしてコーディングされ得るが、深度ビュー成分は1つまたは複数の深度スライスとしてコーディングされ得る。マルチビュープラス深度は、ピクチャ内予測、ピクチャ間予測、ビュー内予測、ビュー間予測、動き予測などのような、種々のコーディングの可能性を生み出す。
[0103]このようにして、3Dビデオデータは、キャプチャまたは生成されたビューが対応する深度マップと関連付けられるテクスチャ成分を含む、マルチビュービデオプラス深度フォーマットを使用して表され得る。その上、3Dビデオコーディングでは、テクスチャと深度マップがコーディングされ、3Dビデオビットストリームの中に多重化され得る。深度マップはグレースケール画像としてコーディングされてよく、深度マップの「ルーマ」サンプル(すなわち、ピクセル)は深度値を表す。
[0104]一般に、深度データのブロック(たとえばピクセルに対応する、深度マップのサンプルのブロック)は深度ブロックと呼ばれ得る。深度値は、深度サンプルと関連付けられるルーマ値と呼ばれ得る。すなわち、深度マップは一般に、モノクロームテクスチャピクチャ、言い換えると、ルミナンス値を含みクロミナンス値を含まないテクスチャピクチャとして扱われ得る。いずれの場合も、従来のイントラコーディングおよびインターコーディング方法が深度マップコーディングのために適用され得る。
[0105]深度マップは、通常、鋭いエッジおよび一定のエリアによって特徴付けられ、深度マップ中のエッジは、典型的には、対応するテクスチャデータとの強い相関を呈する。テクスチャと対応する深度との間の異なる統計値および相関により、様々なコーディング方式が、2Dビデオコーデックに基づく深度マップのために設計されている。
[0106]本開示に関するHEVC技法が下で概観される。ビデオコーディング規格の例としては、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、および、スケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含む(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264がある。MVCの最新のジョイントドラフトは、「Advanced video coding for generic audiovisual services」、ITU−T勧告H.264、2010年3月に記載されている。
[0107]加えて、上で言及されたHigh Efficiency Video Coding(HEVC)は、Joint Collaboration Team on Video Coding(JCT−VC)of ITU−T Video Coding Experts Group(VCEG)and ISO/IEC Motion Picture Experts Group(MPEG)によって開発されている、新たな今後来るビデオコーディング規格である。
[0108]図2は、HEVCにおいて使用されるイントラ予測モードを示す図である。図2は一般に、HEVCにおけるイントラコーディングに利用可能な様々な方向性イントラ予測モードと関連付けられる予測方向を示す。現在のHEVCでは、各予測ユニット(PU)のルーマ成分のために、図2に示されるように、(2から34までインデックス付けされた)33個の角度予測モードと、(1とインデックス付けされた)DCモードと、(0とインデックス付けされた)平面モードとを有するイントラ予測方法が利用される。
[0109]平面モード(0とインデックス付けされた)では、ビデオデータのブロック、たとえばPU内のピクセルの各々に対する予測子の値を決定するために、いわゆる「平面」機能を使用して予測が実行される。DCモード(1とインデックス付けされる)によれば、ブロック内のピクセルの各々に対する予測子の値を決定するために、ブロック内のピクセル値の平均を使用して予測が実行される。方向性予測モードによれば、(そのモードによって示される)特定の方向に沿った隣接ブロックの再構築されたピクセルに基づいて予測が実行される。一般に、図2に示されている矢印の尾部は、値がそこから取り出される隣接ピクセルのうちの相対的な1つを表し、矢印の頭部は、予測ブロックを形成するために取り出された値が伝播される方向を表す。
[0110]HEVCイントラ予測モードでは、ビデオエンコーダ20および/またはビデオデコーダ30は、たとえば、モード2から34に対するPUの隣接サンプルを使用することによって、上で論じられた様々なモードを使用してPU中の各ピクセルのためのピクセル固有の予測子の値を生成する。ビデオエンコーダ20は、ブロックのピクセルのための実際の深度の値と予測子の値との差分に基づいてビデオブロックのための残差値を決定し、残差値をビデオデコーダ30に提供する。HEVC WD10によれば、ビデオエンコーダ20は、残差値を変換し、変換係数を量子化し、量子化された変換係数をエントロピー符号化することもできる。ビデオデコーダ30は(たとえば、エントロピー復号、逆量子化、および逆変換の後で)、残差値を予測子の値に加算することによって、ブロックのピクセルの再構築された値を決定する。HEVCイントラ予測モードに関するさらなる詳細が、HEVC WD10において規定されている。
[0111]JCT−3Vでは、マルチビュー拡張(MV−HEVC)および3Dビデオ拡張(3D−HEVC)という2つのHEVC拡張が開発されている。参照ソフトウェアの最近のバージョン、3D−HEVCのための「3D−HTM version8.2」の全体が参照によって本明細書に組み込まれ、以下のリンクからダウンロード可能である。
[3D−HTM version 8.2−dev0]: https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/branches/HTM−8.2−dev0/
参照ソフトウェアの新しいバージョン、3D−HTM 9.0は、3D−HTMバージョン8.2の上位にあり、まもなく利用可能になる。
最新のワーキングドラフト(文書番号:F1001)は、以下から入手可能である。
http://phenix.it−sudparis.eu/jct2/doc_end_user/documents/6_Geneva/wg11/JCT3V−F1001−v1.zip
[0112]3D−HEVCでは、上で参照された3D−HEVCのドラフトにおいて定義されるように、各アクセスユニットは複数のピクチャを含み、各ビュー中のピクチャの各々は、固有のビュー識別情報(id)またはビュー順序インデックスを有する。しかしながら、同じビューの深度ピクチャおよびテクスチャピクチャは、異なるレイヤidを有することがある。
[0113]3Dビデオコーディングにおける深度イントラコーディングがここで説明される。3Dビデオデータは、キャプチャされたビュー(テクスチャ)が対応する深度マップと関連付けられる、マルチビュービデオプラス深度フォーマットを使用して表される。3Dビデオコーディングでは、テクスチャおよび深度マップはコーディングされ、3Dビデオビットストリーム中に多重化される。深度マップはグレースケールビデオとしてコーディングされ、ここで、ルーマサンプルは深度値を表し、従来のイントラコーディングおよびインターコーディング方法が深度マップコーディングのために適用され得る。
[0114]上で論じられたように、深度マップは、鋭いエッジおよび一定のエリアによって特徴付けられる。深度マップのサンプルの異なる統計値により、様々なコーディング方式が、2Dビデオコーデックに基づく深度マップのために設計される。
[0115]3D−HEVCでは、イントラ予測モードの、HEVCと同じ定義が利用される。すなわち、3D−HEVCにおいて使用されるイントラモードは、HEVCのイントラモードを含む。また、3D−HEVCでは、深度モデリングモード(DMM)が、深度スライスのイントラ予測ユニットをコーディングするためにHEVCイントラ予測モードとともに導入される。深度マップにおける鋭いエッジのより良好な表現のために、現在のHTM(3D−HTMバージョン8.2)は、深度マップのイントラコーディングのためにDMM方法を適用する。DMMには2つの新しいイントラモードがある。両方のモードにおいて、深度ブロックは、DMMパターンによって指定された2つの領域に区分され、各領域は一定の値によって表される。
[0116]DMMパターンは、明示的にシグナリングされる(DMMモード1)か、または併置されるテクスチャブロックによって予測される(DMMモード4)かのいずれかであり得る。Wedgelet区分と輪郭区分とを含む、DMMにおいて定義されている2つのタイプの区分モデルがある。図3は、ピクセルサンプルのブロックをコーディングする際に使用するためのWedgelet区分パターンの例を示す図である。図4は、ピクセルサンプルのブロックをコーディングする際に使用するための輪郭区分パターンの例を示す図である。
[0117]Wedgelet区分では、深度ブロックが、図3に示されているように、直線によって2つの領域に区分される。輪郭区分では、深度ブロックは、図4に示されるように、2つの不規則な領域に区分され得る。輪郭区分は、Wedgelet区分よりも柔軟であるが、明示的にシグナリングするのが難しい。DMMモード4では、輪郭区分パターンは、併置されたテクスチャブロックの再構築されたルーマサンプルを使用して暗黙的に導出される。
[0118]一例として、図3は、8×8のブロック40に対するWedgeletパターンの例示を与える。Wedgelet区分では、深度ブロック、たとえばPUは、直線46によって2つの領域42、44に区分され、図3に示されるように始点48は(Xs,Ys)に位置し、終点50は(Xe,Ye)に位置し、2つの領域42、44はそれぞれP0およびP1とも標識される。ブロック40中の各パターンは、対応するサンプルが領域P0またはP1に属するかどうかを標識する、サイズuB×vBの2進数の配列からなり、uBおよびvBはそれぞれ、現在のPUの水平方向のサイズと垂直方向のサイズを表す。領域P0およびP1は、白い影付きサンプルによってそれぞれ図3において表されている。Wedgeletパターンは、符号化と復号の両方の最初に初期化される。
[0119]図4の例に示されるように、深度ブロック60のような深度ブロックは、輪郭区分を使用して、3つの不規則な形状の領域62、64A、および64Bへと区分されてよく、ここで領域62はP0と標識され、2つの領域64Aおよび64BはそれぞれP1と一緒に標識される。領域64A中のピクセルは領域64B中のピクセルに直接隣接しないが、領域64Aおよび64Bは、深度ブロック60のPUを予測する目的で1つの単一の領域を形成するように定義され得る。輪郭区分は、Wedgelet区分よりも柔軟であり得るが、シグナリングすることが相対的により困難であり得る。DMMモード4では、3D−HEVCの場合、輪郭区分パターンは、併置されたテクスチャブロックの再構築されたルーマサンプルを使用して暗黙的に導出される。
[0120]図3および図4を参照すると、深度ブロック40および60内の各々の個々の正方形は、それぞれ、深度ブロック40および60のそれぞれの個々のピクセルを表す。正方形内の数値は、対応するピクセルが領域42(図3の例における値「0」)に属するか、領域44(図3の例における値「1」)に属するかを表す。また、図3において、ピクセルが領域42(白い正方形)に属するか、領域44(灰色の影付き正方形)に属するかを示すために陰影が使用される。
[0121]上で論じられたように、各パターン(すなわち、Wedgeletと輪郭の両方)は、対応するサンプル(すなわち、ピクセル)が領域P0に属するかP1に属するか(ただし、P0は図3中の領域42と図4中の領域62とに対応し、P1は図3中の領域44と図4中の領域64A、64Bとに対応する)を標識する、サイズuB×vBの2進数の配列によって定義されてよく、uBおよびvBはそれぞれ、現在のPUの水平方向のサイズおよび垂直方向のサイズを表す。図3および図4の例では、PUは、それぞれブロック40および60に対応する。ビデオエンコーダ20およびビデオデコーダ30などのビデオコーダは、コーディングの最初に、たとえば、符号化の最初または復号の最初に、Wedgeletパターンを初期化することができる。
[0122]HEVCイントラ予測モードでは、HEVC WD10の8.4.2項において規定されるように、PUの隣接サンプルを使用することによって、ピクセル固有のイントラ予測子の値が、PU中の各ピクセルに対して生成される。
[0123]他の深度イントラモードでは、区分固有のDC予測子が、PUの最大で2つの隣接するサンプルを使用することによって、PU内の各区分に対して計算される。<italic<bPattern>>(以下で、原文において斜体が使用されている場合、<italic<…>>によって印を付けます。)[x][y]をPUの区分パターンとし、ここでx=0..<italic<N>>−1,y=0..<italic<N>>−1であり、NはPUの幅である。<italic<bPattern>>[x][y]はピクセル(x,y)がどの区分に属するかを示し、bPattern[x][y]は0または1に等しくてよい。<italic<BitDepth>>を深度サンプルのビット深度とし、<italic<RecSample>>[x][y]をPUの再構築された隣接サンプルとし、x=−1およびy=0..N−1(PUの左の隣接ピクセルに対応する)であり、またはy=−1,x=0..N−1(PUの上の隣接ピクセルに対応する)である。次いで、区分XのDC予測子、すなわちx=0または1である<italic<DCPred>>[X]は、次のように導出される。
<italic<bT>>=(<italic<bPattern>>[0][0]!=<italic<bPattern>>[N−1][0])?1:0 に設定する
<italic<bL>>=(<italic<bPattern>>[0][0]!=<italic<bPattern>>[0][N−1])?1:0 に設定する
<italic<bT>>が<italic<bL>>に等しい場合、
Figure 2017505025
Figure 2017505025
それ以外の場合、
Figure 2017505025
Figure 2017505025
[0124]上で論じられたように、深度参照テーブル(DLT:Depth Lookup Table)は、深度インデックスを深度値にマッピングする。DLTは、ビデオシーケンス全体を符号化する前に第1のイントラ期間内のフレームを分析することによって構築され得る。3D−HEVCの現在の設計では、有効な深度値のすべてが、昇順で並べ替えられ、インデックスの増大とともにDLTに挿入される。
[0125]DLTは任意選択のコーディングツールである。現在のHTMでは、エンコーダ20は、分析段階において元の深度マップ中に0からMAX_DEPTH_VALUE(たとえば、8ビット深度サンプルの場合は255)までの値の1/2よりも多くが現れる場合、DLTを使用しない。それ以外の場合、DLTは、シーケンスパラメータセット(SPS)および/またはビデオパラメータセット(VPS)においてコーディングされる。DLTをコーディングするために、有効な深度値の数が指数ゴロムコードによってまずコーディングされる。次いで、各々の有効な深度値も、指数ゴロムコードによってコーディングされ得る。
[0126]エンコーダ20は、コーディングされるべき入力ビデオシーケンスから事前に定義された数のフレームを読み取り、利用可能な深度マップ値のためにすべてのサンプルを走査する。この処理の間、エンコーダ20は、元の圧縮されていない深度マップに基づいて深度値を有効な深度値にマッピングする、マッピングテーブルを生成する。
[0127]エンコーダ20は、深度参照テーブルIdx2Depth(・)と、インデックス参照テーブルDepth2Idx(・)と、深度マッピングテーブルM(・)と、有効な深度値の数d_validとを、深度マップD_tを分析する以下のアルゴリズムを使用して導出する。
1. 初期化
ブーリアンベクトル<italic<B(d)>>=すべての深度値<italic<d>>に対して<italic<FALSE>>
インデックスカウンタ<italic<i>>=0
2. 複数の時間インスタンス<italic<t>>に対して<italic<Dt>>の中の各ピクセル位置<italic<p>>を処理する:
有効な深度値に印を付けるために<italic<B>>(<italic<Dt>>(<italic<p>>))=<italic<TRUE>>に設定する
3. <italic<B(d)>>→<italic<dvalid>>までの<italic<TRUE>>値の数を数える
4. <italic<B(d)>>==<italic<TRUE>>である各<italic<d>>に対して、
<italic<Idx2Depth(i)>>=<italic<d>>に設定する
<italic<M(d)>>=<italic<d>>に設定する
<italic<Depth2Idx(d)>>=<italic<i>>に設定する
Figure 2017505025
5. <italic<B(d)>>==<italic<FALSE>>である各<italic<d>>に対して、
<italic<d’>>=<italic<arg min>>|<italic<d−d’>>|および<italic<B(d’)>>==<italic<TRUE>>である<italic<d’>>を見つける
<italic<M(d)=d’>>に設定する
<italic<Depth2Idx(d)>>=<italic<Depth2Idx(d’)>>に設定する
[0128]インデックス<italic<Idx>>から深度値<italic<d>>へのマッピングは、次のようなもの、すなわち<italic<d>>=<italic<Idx2Depth>>[<italic<Idx>>]である。深度値<italic<d>>からインデックス<italic<Idx>>へのマッピングは、次のようなもの、すなわち<italic<Idx>>=<italic<Depth2Idx>>[<italic<d>>]である。
[0129]イントラSDCモード(簡易深度コーディング、簡易残差コーディング、またはセグメントごとのDCコーディングとも呼ばれ得る)が、深度スライスのイントラPUをコーディングするために、HEVCイントラ予測モード、DMMモード、およびチェーンコーディングモードとともに3D−HEVCに導入される。現在の3D−HEVCでは、SDCは、2Nx2NのPU区分サイズだけに対して適用される。量子化された変換係数をコーディングする代わりに、SDCモードは、以下の2つのタイプの情報によって深度ブロックを表す。
1. 以下のものを含む、現在の深度ブロックの区分タイプ:
a.DMMモード1(2つの区分)
b.平面(1つの区分)
2. 各区分に対して、残差値(ピクセル領域中の)がビットストリームにおいてシグナリングされる。
それぞれ平面およびDMMモード1の区分タイプに対応するSDCモード1とSDCモード2とを含む、2つのサブモードがSDCにおいて定義される。
[0130]簡易残差コーディングがSDCにおいて使用される。上で説明されたような簡易残差コーディングでは、PUの各区分に対して1つのDC残差値がシグナリングされ、変換または量子化は適用されない。
[0131]上で論じられたような、各区分のDC残差値を表す情報をシグナリングするために、2つの方法が適用され得る。
1. 現在のPU中の現在の区分のDC値(すなわち、Averによって示される平均値)から、隣接サンプルによって生成されるPredにより示される予測子を差し引くことによって計算される、各区分のDC残差値を直接コーディングする。
2. DLTが送信されるとき、DC残差値をコーディングする代わりに、インデックス参照テーブルからマッピングされるAverおよびPredのインデックスの差分がコーディングされる。インデックス差分は、AverのインデックスからPredのインデックスを差し引くことによって計算される。デコーダ側において、復号されたインデックス差分とPredのインデックスとの合計が、DLTに基づいて深度値にマッピングし返される。
[0132]テクスチャコーディングと同様のビュー間サンプル予測およびビュー間動き予測に加えて、新たな道具、すなわち簡易インターモード深度コーディング(SIDC:Simplified inter-mode depth coding)も3D−HEVCによって利用される。
[0133]SIDCは、SDCの基本的な考え方をモード間深度コーディングに拡張する。したがって、SIDCは、以下の文脈では、省略して「インターSDC」と呼ばれ得る。しかしながら、多くの事例において、SDCは、本開示全体で、イントラコーディングまたはインターコーディングのためにSDCを適用することを指すために、全般に使用される。インターSDCは、それによってエンコーダ20がPUに対する1つだけのDC残差値を符号化する、代替的な残差コーディング方法を提供する。変換および量子化はエンコーダ20および/またはビデオデコーダ30によって飛ばされ、変換木のような追加の残差がエンコーダによって生成される必要はない。インターSDCが使用されるかどうかが、CUレベルの一般的なコーディングユニットパラメータにおいて、エンコーダ20によってシグナリングされ、デコーダ30によって解析される。インターSDCコーディングされたCUでは、1つのDC残差値が各PUに対してシグナリングされ、PU中のすべてのサンプルに対する残差として使用される。たとえば、SDCシグナリングは、深度イントラモードシグナリングまたは深度インターモードシグナリングとともに、CUレベルでエンコーダ20によって実行されデコーダ30によって受信され得る。しかしながら、CUがSDCモードとともにコーディングされるとき、CUはいくつかのPUに分割されてよく、各PUはさらに、たとえばwedgelet区分または輪郭区分のような区分へと分割され得る。SDC残差データは、各PU内の各区分に対してシグナリングされるDC残差値を含み得る。したがって、SDCモードでは、PUの各区分はDC残差値を有し得る。
[0134]インターSDCモードのためのシグナリングビットを減らすために、ビデオエンコーダ20および/またはビデオデコーダ30は、インターSDCを非スキップCUだけに適用することができる。たとえば、インターSDCモードとスキップモードとの起こり得る重複を防ぐために、ビデオエンコーダ20および/またはビデオデコーダ30は、CU内の各PUのDC残差が0ではないときにだけインターSDCモードを適用する。PUのDC残差は、元のサンプル値とPUの区分内のすべてのサンプルの予測サンプル値との間の差分の平均として計算され得る。元のブロックの区分と予測ブロックとの間のDC差分だけがシグナリングされるので、AC差分を補償するために、平均が除去された動き推定が、深度インターモードコーディングのために利用される。
[0135]図5は、本開示の技法を実装するように構成され得る例示的なビデオエンコーダ20を示すブロック図である。図5は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、HEVCコーディング、より具体的には3D−HEVCの文脈においてビデオエンコーダ20を説明する。しかしながら、本開示の技法は他のコーディング規格または方法に適用可能であり得る。
[0136]図5の例において、ビデオエンコーダ20は、予測処理ユニット100と、残差生成ユニット102と、変換処理ユニット104と、量子化ユニット106と、逆量子化ユニット108と、逆変換処理ユニット110と、再構築ユニット112と、フィルタユニット114と、復号ピクチャバッファ116と、エントロピー符号化ユニット118とを含む。予測処理ユニット100は、インター予測処理ユニット120と、イントラ予測処理ユニット126とを含む。インター予測処理ユニット120は、動き推定(ME)ユニット122と、動き補償(MC)ユニット124とを含む。例示を簡単にするために、予測処理ユニット100のコンポーネントは、テクスチャ符号化と深度符号化の両方を実行するものとして、示され説明されている。いくつかの例では、テクスチャ符号化および深度符号化は、予測処理ユニット100の同じコンポーネントまたは予測処理ユニット100内の異なるコンポーネントによって実行され得る。たとえば、いくつかの実装形態では、別々のテクスチャエンコーダおよび深度エンコーダが提供され得る。また、複数のテクスチャエンコーダおよび深度エンコーダが、たとえばマルチビュープラス深度コーディングに対して、複数のビューを符号化するために提供され得る。いずれの場合でも、予測処理ユニット100は、3D−HEVC処理のような3Dコーディング処理の一部として、テクスチャデータと深度データとをイントラ符号化またはインター符号化するように構成され得る。したがって、予測処理ユニット100は、イントラ予測モードおよびインター予測モードのためのSDCのシグナリングに関するもののような、本開示で説明される修正および/または追加を受けて、実質的に3D−HEVCに従って動作することができる。予測処理ユニット100は、本開示で説明されるように、SDC残差コーディング技法または非SDC残差コーディング技法を使用して、イントラ符号化またはインター符号化された深度データに対する残差データを生成し符号化することができる。SDCが使用されるとき、ビデオエンコーダ20は、深度イントラ予測モードと深度インター予測モードの両方のためのSDCの使用を示すシンタックス要素を符号化しシグナリングすることができる。他の例では、ビデオエンコーダ20は、より多数の、より少数の、または異なる機能コンポーネントを含み得る。
[0137]ビデオエンコーダ20は、ビデオデータを受信することができる。ビデオエンコーダ20は、ビデオデータのピクチャのスライス中の各CTUを符号化することができる。CTUの各々は、等しいサイズのルーマコーディングツリーブロック(CTB)およびピクチャの対応するCTBと関連付けられ得る。CTUを符号化することの一部として、予測処理ユニット100は、CTUのCTBを徐々により小さくなるブロックに分割するために、4分木区分を実行することができる。より小さいブロックは、CUのコーディングブロックであり得る。たとえば、予測処理ユニット100は、CTUと関連付けられたCTBを4つの等しいサイズのサブブロックに区分することができ、サブブロックの1つまたは複数を4つの等しいサイズのサブサブブロックに区分することができ、以下同様である。
[0138]ビデオエンコーダ20は、CUの符号化された表現(すなわち、コーディングされたCU)を生成するために、CTUのCUを符号化することができる。CUを符号化することの一部として、予測処理ユニット100は、CUの1つまたは複数のPUの間で、CUと関連付けられたコーディングブロックを区分することができる。したがって、各PUは、ルーマ予測ブロックおよび対応するクロマ予測ブロックと関連付けられ得る。
[0139]ビデオエンコーダ20およびビデオデコーダ30は、様々なサイズを有するPUをサポートすることができる。上で示されたように、CUのサイズはCUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズはPUのルーマ予測ブロックのサイズを指すことがある。特定のCUのサイズを2Nx2Nと仮定すると、ビデオエンコーダ20およびビデオデコーダ30は、イントラ予測の場合は2Nx2NまたはNxNのPUサイズをサポートすることができ、インター予測の場合は2Nx2N、2NxN、Nx2N、NxN、または同様の対称のPUサイズをサポートすることができる。ビデオエンコーダ20およびビデオデコーダ30はまた、インター予測のための2NxnU、2NxnD、nLx2N、およびnRx2NのPUサイズについて非対称区分をサポートすることができる。本開示の態様によれば、ビデオエンコーダ20およびビデオデコーダ30はまた、深度インターコーディングのためのPUの非方形区分をサポートする。
[0140]インター予測処理ユニット120は、CUの各PUに対してインター予測を実行することによって、PUのための予測データを生成することができる。PUの予測データは、PUの予測サンプルブロックと、PUの動き情報とを含み得る。インター予測処理ユニット120は、PUがIスライス中にあるか、Pスライス中にあるか、またはBスライス中にあるかに応じて、CUのPUに対して異なる動作を実行することができる。Iスライスでは、すべてのPUがイントラ予測される。したがって、PUがIスライス中にある場合、インター予測処理ユニット120はPUに対してインター予測を実行しない。したがって、Iモードで符号化されるブロックでは、予測されるブロックは、同じフレーム内の以前に符号化された隣接ブロックからの空間的予測を使用して形成される。
[0141]PUがPスライス中にある場合、動き推定(ME)ユニット122は、PUのための参照領域について参照ピクチャのリスト(たとえば、「RefPicList0」)中の参照ピクチャを探索することができる。参照ピクチャは、復号ピクチャバッファ116に記憶され得る。PUの参照領域は、PUのサンプルブロックに最も密接に対応するサンプルブロックを含む参照ピクチャ内の領域であり得る。動き推定(ME)ユニット122は、PUの参照領域を含む参照ピクチャのRefPicList0中の位置を示す参照インデックスを生成することができる。加えて、動き推定(ME)ユニット122は、PUのコーディングブロックと、参照領域と関連付けられる参照位置との間の空間変位を示すMVを生成することができる。たとえば、MVは、現在の復号されたピクチャ中の座標から参照ピクチャ中の座標までのオフセットを提供する2次元ベクトルであり得る。動き推定(ME)ユニット122は、PUの動き情報として参照インデックスとMVとを出力することができる。動き補償(MC)ユニット124は、PUの動きベクトルによって示された参照位置における実際のまたは補間されたサンプルに基づいて、PUの予測サンプルブロックを生成することができる。
[0142]PUがBスライス中にある場合、動き推定ユニット122は、PUのために単予測または双予測を実行することができる。PUのための単予測を実行するために、動き推定ユニット122は、PUのための参照領域についてRefPicList0または第2の参照ピクチャリスト(「RefPicList1」)の参照ピクチャを探索することができる。動き推定(ME)ユニット122は、PUの動き情報として、参照領域を含む参照ピクチャのRefPicList0またはRefPicList1中の位置を示す参照インデックスと、PUのサンプルブロックと参照領域と関連付けられる参照位置との間の空間変位を示すMVと、参照ピクチャがRefPicList0中にあるかRefPicList1中にあるかを示す1つまたは複数の予測方向インジケータとを出力することができる。動き補償(MC)ユニット124は、PUの動きベクトルによって示される参照領域における実際のサンプルまたは補間されたサンプルに少なくとも部分的に基づいて、PUの予測サンプルブロックを生成することができる。
[0143]PUのための双方向インター予測を実行するために、動き推定ユニット122は、PUの参照領域についてRefPicList0中の参照ピクチャを探索することができ、また、PUの別の参照領域についてRefPicList1中の参照ピクチャを探索することができる。動き推定(ME)ユニット122は、参照領域を含む参照ピクチャのRefPicList0およびRefPicList1中での位置を示す参照ピクチャインデックスを生成することができる。加えて、動き推定(ME)ユニット122は、参照領域と関連付けられる参照位置とPUのサンプルブロックとの間の空間変位を示すMVを生成することができる。PUの動き情報は、PUの参照インデックスとMVとを含み得る。動き補償(MC)ユニット124は、PUの動きベクトルによって示される参照領域における実際のサンプルまたは補間されたサンプルに少なくとも部分的に基づいて、PUの予測サンプルブロックを生成することができる。
[0144]イントラ予測処理ユニット126は、PUに対してイントラ予測を実行することによって、PUのための予測データを生成することができる。PUのための予測データは、PUのための予測サンプルブロックと様々なシンタックス要素とを含み得る。イントラ予測処理ユニット126は、Iスライス、Pスライス、およびBスライス中のPUに対してイントラ予測を実行することができる。
[0145]PUに対してイントラ予測を実行するために、イントラ予測処理ユニット126は、複数のイントラ予測モードを使用してPUのための予測データの複数のセットを生成し、次いで、たとえばレート歪み最適化技法を使用して、受け入れ可能な、または最適なコーディング性能を生み出すイントラ予測モードの1つを選択することができる。イントラ予測モードを使用してPUのための予測データのセットを生成するために、イントラ予測処理ユニット126は、そのイントラ予測モードと関連付けられた方向へ、PUのサンプルブロック全体にわたって、隣接PUのサンプルブロックからのサンプルを延ばすことができる。隣接PUは、PU、CU、およびCTUについて左から右、上から下の符号化順序を仮定すると、PUの上、右上、左上、または左にあり得る。イントラ予測処理ユニット126は、様々な数のイントラ予測モード、たとえば33個の方向性イントラ予測モードを使用することができる。いくつかの例では、イントラ予測モードの数はPUと関連付けられた領域のサイズに依存し得る。
[0146]予測処理ユニット100は、PUについてインター予測処理ユニット120によって生成された予測データ、またはPUについてイントラ予測処理ユニット126によって生成された予測データの中から、CUのPUのための予測データを選択することができる。いくつかの例では、予測処理ユニット100は、予測データのセットのレート/歪みの尺度に基づいて、CUのPUのための予測データを選択する。選択された予測データの予測サンプルブロックは、本明細書では、選択された予測サンプルブロックと呼ばれ得る。
[0147]残差生成ユニット102は、CUのルーマコーディングブロック、Cbコーディングブロック、およびCrコーディングブロック、ならびにCUのPUの選択された予測ルーマブロック、予測Cbブロック、および予測Crブロックに基づいて、CUのルーマ残差ブロックと、Cb残差ブロックと、Cr残差ブロックとを生成することができる。たとえば、残差生成ユニット102は、残差ブロック中の各サンプルがCUのコーディングブロック中のサンプルとCUのPUの対応する選択された予測サンプルブロック中の対応するサンプルとの間の差に等しい値を有するように、CUの残差ブロックを生成することができる。
[0148]変換処理ユニット104は、CUと関連付けられる残差ブロックをCUのTUと関連付けられる変換ブロックに区分するために、4分木区分を実行することができる。したがって、TUは、ルーマ変換ブロックおよび2つのクロマ変換ブロックと関連付けられ得る。CUのTUのルーマ変換ブロックおよびクロマ変換ブロックのサイズおよび位置は、CUのPUの予測ブロックのサイズおよび位置に基づくことも基づかないこともある。「残差4分木」(RQT)として知られる4分木構造は、領域の各々に関連付けられたノードを含み得る。CUのTUは、RQTのリーフノードに対応し得る。
[0149]変換処理ユニット104は、TUの変換ブロックに1つまたは複数の変換を適用することによって、CUの各TUに対して変換係数ブロックを生成することができる。変換処理ユニット104は、TUと関連付けられた変換ブロックに様々な変換を適用することができる。たとえば、変換処理ユニット104は、離散コサイン変換(DCT)、方向性変換、または概念的に同様の変換を変換ブロックに適用することができる。いくつかの例では、変換処理ユニット104は変換ブロックに変換を適用しない。そのような例では、変換ブロックは変換係数ブロックとして扱われ得る。
[0150]量子化ユニット106は、係数ブロック中の変換係数を量子化することができる。量子化処理は、変換係数の一部またはすべてと関連付けられるビット深度を低減することができる。たとえば、量子化の間にnビット変換係数がmビット変換係数へと切り捨てられてよく、この場合、nはmよりも大きい。量子化ユニット106は、CUと関連付けられた量子化パラメータ(QP)値に基づいてCUのTUと関連付けられた係数ブロックを量子化することができる。ビデオエンコーダ20は、CUと関連付けられたQP値を調整することによって、CUと関連付けられた係数ブロックに適用される量子化の程度を調整することができる。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は、元の係数よりも低い精度を有することがある。
[0151]逆量子化ユニット108および逆変換処理ユニット110は、係数ブロックから残差ブロックを再構築するために、それぞれ、係数ブロックに逆量子化と逆変換とを適用することができる。再構築ユニット112は、再構築された残差ブロックを、予測処理ユニット100によって生成された1つまたは複数の予測サンプルブロックからの対応するサンプルに追加して、TUと関連付けられる再構築された変換ブロックを生成することができる。ビデオエンコーダ20は、このようにCUの各TUのための変換ブロックを再構築することによって、CUのコーディングブロックを再構築することができる。
[0152]フィルタユニット114は、1つまたは複数のデブロッキング動作を実行して、CUと関連付けられたコーディングブロック中のブロッキングアーティファクトを低減することができる。復号ピクチャバッファ116は、フィルタユニット114が、再構築されたコーディングブロックに対して1つまたは複数のデブロッキング動作を実行した後、再構築されたコーディングブロックを記憶することができる。インター予測ユニット120は、再構築されたコーディングブロックを含む参照ピクチャを使用して、他のピクチャのPUに対してインター予測を実行することができる。加えて、イントラ予測処理ユニット126は、CUと同じピクチャ中の他のPUに対してイントラ予測を実行するために、復号ピクチャバッファ116中の再構築されたコーディングブロックを使用することができる。
[0153]エントロピー符号化ユニット118は、ビデオエンコーダ20の他の機能コンポーネントからデータを受信することができる。たとえば、エントロピー符号化ユニット118は、量子化ユニット106から係数ブロックを受信することができ、予測処理ユニット100からシンタックス要素を受信することができる。エントロピー符号化ユニット118は、エントロピー符号化されたデータを生成するために、データに対して1つまたは複数のエントロピー符号化動作を実行することができる。たとえば、エントロピー符号化ユニット118は、コンテキスト適応型可変長コーディング(CAVLC)演算、CABAC演算、変数−変数(V2V)レングスコーディング演算、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)演算、確率間隔区分化エントロピー(PIPE)コーディング演算、指数ゴロム符号化演算、または別のタイプのエントロピー符号化演算をデータに対して実行することができる。ビデオエンコーダ20は、エントロピー符号化ユニット118によって生成されたエントロピー符号化されたデータを含むビットストリームを出力することができる。たとえば、ビットストリームは、CUのRQTを表すデータを含み得る。
[0154]ビデオエンコーダ20は、本明細書で説明されるような深度イントラ予測または深度インター予測のための簡易残差コーディングのための技法のいずれかを実行するように構成されるビデオエンコーダの例である。本開示の1つまたは複数の技法によれば、ビデオエンコーダ20内の1つまたは複数のユニットは、ビデオ符号化処理の一部として、本明細書で説明される1つまたは複数の技法を実行することができる。同様に、ビデオエンコーダ20は、後でコーディングされるビデオデータのための参照として使用されるビデオデータを再生するために、本開示の技法のいずれかを使用してビデオ復号処理を実行することができる。上で論じられたように、ビデオエンコーダ20の要素の中でも、逆量子化ユニット108、逆変換処理ユニット110、および再構築ユニット112が、ビデオ復号処理において利用され得る。追加の3D処理コンポーネントもビデオエンコーダ20内に含まれ得る。
[0155]たとえば、予測処理ユニット100、およびより具体的には、インター予測処理ユニット120およびイントラ予測処理ユニット126は、本明細書で説明されるように、深度ブロックの深度インター予測符号化および深度イントラ予測符号化のためにそれぞれ、SDCモードを実行することができる。インター予測処理ユニット120およびイントラ予測処理ユニット126は各々、使用されると、深度ブロック、たとえばPUのための、またはPUの各区分のためのDC残差値を決定することができる。予測処理ユニット120は、本開示の様々な例で説明されるように、深度イントラ予測および深度インター予測についてSDCが現在のPUのために統一された方式で使用されることを示す、シンタックス要素および/またはシンタックス構造を生成することができる。
[0156]たとえば図5において破線で示されるように、イントラ予測処理ユニット126またはインター予測処理ユニット120は、深度ブロックのためのDC残差値を、他のシンタックス情報とともにエントロピー符号化ユニット118に提供することができる。イントラ予測処理ユニット126またはインター予測処理ユニット120は、DC残差値を、変換処理ユニット104および量子化ユニット106によって処理されることなく、エントロピー符号化ユニット118に提供することができる。他の例では、量子化ユニット106は、エントロピー符号化ユニット118によるエントロピーコーディングの前に、DC残差値を量子化することができる。シンタックス情報は、本開示の技法に関連するシグナリングのための、様々な情報、フラグ、または本明細書で説明される他のシンタックス要素を含み得る。
[0157]たとえば、シンタックス情報は、例として、SDCモードが深度ブロックのために実行されるかどうか、DC残差値を決定するために区分ベースの(たとえば、3D−HEVC)モードが使用されたか非区分ベースの(HEVC)モードが使用されたか、および、DC残差値を決定するためにどの深度イントラ予測モードが使用されたかを示し得る。加えて、シンタックス情報は、統一された方式で、SDCモードが使用されたCUであるかどうかを、CUのためにイントラ予測が使用されるかインター予測が使用されるかに関係なく、すなわち場合に応じて深度イントラ予測と深度インター予測のいずれかのために、示すことができる。SDCモードに従って、ビデオエンコーダ20は、深度イントラ予測モードまたは深度インター予測モードの示された1つに基づいて、深度ブロック(たとえば、CUのPUの区分)に対する少なくとも1つのDC残差値を決定し、ここにおいて、DC残差値は深度ブロックの複数のピクセルの残差値を表す、ビットストリームの中にDC残差値またはDC残差値を表す情報を符号化するように構成される。
[0153]ビデオエンコーダ20は、ビデオデータを記憶するメモリと、1つまたは複数のプロセッサとを備えるビデオエンコーダの例であり、1つまたは複数のプロセッサは、深度CUがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測をビデオエンコーダにおいて実行することと、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測をビデオエンコーダにおいて実行することと、簡易深度コーディング(SDC)モードが使用されるとき、深度CUの予測ユニット(PU)の各区分に対して、深度CUに対する少なくとも1つのDC残差値を表す情報をビデオエンコーダにおいて生成することと、ここにおいて、少なくとも1つのDC残差値は深度CUのPUの区分と予測される深度CUの対応する区分との間のピクセル差分を表す、SDCモードが使用されるとき、ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のためにSDCモードが使用されることを示すシンタックス要素をビデオデコーダにおいて生成することと、少なくとも1つのDC残差値とシンタックス要素とを表す情報に基づいて、ビデオエンコーダにおいて深度CUを符号化することとを備える、方法を実行するように構成される。
[0154]ビデオエンコーダ20はまた、ビデオデータを記憶するメモリと、1つまたは複数のプロセッサとを備えるビデオエンコーダの例であり、1つまたは複数のプロセッサは、ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測をビデオエンコーダにおいて実行することと、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測をビデオエンコーダにおいて実行することと、簡易深度コーディング(SDC)モードが使用されるとき、深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造をビデオ符号化においてコーディングすることと、ここにおいて、シンタックス構造のシンタックス要素はイントラ予測とインター予測に対して同じである、少なくとも1つのDC残差値を表す情報に基づいて深度CUをビデオエンコーダにおいて符号化することとを備える、方法を実行するように構成される。
[0155]ビデオエンコーダ20はまた、ビデオデータを記憶するメモリと、1つまたは複数のプロセッサとを備えるビデオエンコーダの例であり、1つまたは複数のプロセッサは、コーディングされるビデオデータのシーケンス全体の深度コーディングユニット(CU)に対して簡易深度コーディング(SDC)モードが有効にされるかどうかを示すシンタックス要素をビデオエンコーダにおいて符号化することと、シーケンスの深度CUの1つのイントラ予測とインター予測の両方のためにSDCモードが使用されるかどうかを示す第2のシンタックス要素を符号化することと、シーケンスの深度CUの1つがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測をビデオエンコーダにおいて実行することと、シーケンスの深度CUの1つがインター予測されるとき、予測される深度CUを生成するためにインター予測をビデオエンコーダにおいて実行することと、SDCモードが使用されることを第2のシンタックス要素が示すとき、シーケンスの深度CUの1つの予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報を符号化することとを備える、方法を実行するように構成される。
[0158]図6は、本開示の技法を実行するように構成された例示的なビデオデコーダ30を示すブロック図である。図6は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示は、HEVCコーディング、特に3D−HEVCの文脈においてビデオデコーダ30を説明する。しかしながら、本開示の技法は他の3Dビデオコーディング規格または方法に適用可能であり得る。
[0159]図6の例では、ビデオデコーダ30は、エントロピー復号ユニット150と、予測処理ユニット152と、逆量子化ユニット154と、逆変換処理ユニット156と、再構築ユニット158と、フィルタユニット160と、復号ピクチャバッファ162とを含む。予測処理ユニット152は、動き補償(MC)ユニット164と、イントラ予測処理ユニット166とを含む。例示を簡単にするために、予測処理ユニット152のコンポーネントは、テクスチャ復号と深度復号の両方を実行するものとして、示され説明されている。いくつかの例では、テクスチャ復号および深度復号は、予測処理ユニット152の同じコンポーネントまたは予測処理ユニット152内の異なるコンポーネントによって実行され得る。たとえば、いくつかの実装形態では、別々のテクスチャデコーダおよび深度デコーダが提供され得る。また、複数のテクスチャデコーダおよび深度デコーダが、たとえばマルチビュープラス深度コーディングに対して、複数のビューを復号するために提供され得る。いずれの場合でも、予測処理ユニット152は、3D−HEVC処理のような3Dコーディング処理の一部として、テクスチャデータと深度データとをイントラ復号またはインター復号するように構成され得る。したがって、予測処理ユニット152は、イントラ予測モードおよびインター予測モードのためのSDCのシグナリングに関するもののような、本開示で説明される修正および/または追加を受けて、実質的に3D−HEVCに従って動作することができる。予測処理ユニット152は、本開示で説明されるようなSDCまたは非SDC残差コーディング技法を使用して、イントラ復号またはインター復号された深度データのために、符号化されたビデオビットストリームから残差データを取得し、イントラ予測またはインター予測された深度データと残差データとを使用してCUを再構築することができる。SDCが使用されるとき、ビデオデコーダ30は、深度イントラ予測モードと深度インター予測モードの両方のためのSDCの使用を示すシンタックス要素を復号することができる。他の例では、ビデオデコーダ30は、より多数の、より少数の、または異なる機能的なコンポーネントを含み得る。
[0160]ビデオデコーダ30は、ビットストリームを受信することができる。エントロピー復号ユニット150は、ビットストリームからシンタックス要素を復号するためにビットストリームを解析することができる。エントロピー復号ユニット150は、ビットストリーム中のエントロピー符号化されたシンタックス要素をエントロピー復号することができる。予測処理ユニット152、逆量子化ユニット154、逆変換処理ユニット156、再構築ユニット158、およびフィルタユニット160は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成することができる。
[0161]ビットストリームは、一連のNALユニットを備え得る。ビットストリームのNALユニットは、コーディングされたスライスNALユニットを含み得る。ビットストリームを復号することの一部として、エントロピー復号ユニット150は、コーディングされたスライスNALユニットからシンタックス要素を抽出し、エントロピー復号することができる。コーディングされたスライスの各々は、スライスヘッダと、スライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含み得る。スライスヘッダ中のシンタックス要素は、スライスを含むピクチャと関連付けられたPPSを特定するシンタックス要素を含み得る。PPSはSPSを参照することができ、SPSは次いでVPSを参照することができる。エントロピー復号ユニット150はまた、SEIメッセージのようなシンタックス情報を含み得る他の要素をエントロピー復号することができる。
[0162]スライスヘッダ、パラメータセット、またはSEIメッセージのいずれかの中の復号されたシンタックス要素は、本開示で説明される例示的な技法に従ってSDCモードを実行するためにシグナリングされるものとして本明細書で説明される情報を含み得る。たとえば、復号されたシンタックス要素は、本開示で説明されるように、深度イントラ予測モードと深度インター予測モードの両方のための深度ブロックについてSDCモードが統一された方式で実行されるかどうかを示し得る。そのようなシンタックス情報は、本開示で説明される技法に従った深度ブロックの復号および再構築のために、予測処理ユニット152に提供され得る。
[0163]一般に、ビデオデコーダ30は、ビットストリームからのシンタックス要素を復号することに加えて、区分されていないCUに対して再構築動作を実行することができる。区分されていないCUに対して再構築動作を実行するために、ビデオデコーダ30は、CUの各TUに対して再構築動作を実行することができる。CUの各TUに対して再構築動作を実行することによって、ビデオデコーダ30は、CUのブロックを再構築することができる。
[0164]CUのTUに対して再構築動作を実行することの一部として、逆量子化ユニット154は、TUと関連付けられる係数ブロックを逆量子化(inverse quantize)、すなわち逆量子化(de−quantize)することができる。逆量子化ユニット154は、量子化の程度と、同様に、逆量子化ユニット154が適用するための逆量子化の程度とを決定するために、TUのCUと関連付けられるQPの値を使用することができる。すなわち、圧縮比、すなわち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用されるQPの値を調整することによって制御され得る。圧縮比は、利用されるエントロピーコーディングの方法に依存し得る。
[0165]逆量子化ユニット154が係数ブロックを逆量子化した後、逆変換処理ユニット156は、TUと関連付けられる残差ブロックを生成するために、係数ブロックに1つまたは複数の逆変換を適用することができる。たとえば、逆変換処理ユニット156は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向性変換、または別の逆変換を、係数ブロックに適用することができる。
[0166]イントラ予測を使用してPUが符号化される場合、イントラ予測処理ユニット166は、PUの予測ブロックを生成するためにイントラ予測を実行することができる。イントラ予測処理ユニット166は、空間的に隣接するPUの予測ブロックに基づいて、PUのための予測ルーマブロックと、予測Cbブロックと、予測Crブロックとを生成するために、イントラ予測モードを使用することができる。イントラ予測処理ユニット166は、ビットストリームから復号された1つまたは複数のシンタックス要素に基づいて、PUのためのイントラ予測モードを決定することができる。
[0167]予測処理ユニット152は、ビットストリームから抽出されたシンタックス要素に基づいて、第1の参照ピクチャリスト(RefPicList0)と第2の参照ピクチャリスト(RefPicList1)とを構築することができる。さらに、PUがインター予測を使用して符号化される場合、エントロピー復号ユニット150は、PUの動き情報を抽出することができる。動き補償(MC)ユニット164は、PUの動き情報に基づいて、PUのための1つまたは複数の参照領域を決定することができる。動き補償(MC)ユニット164は、PUの1つまたは複数の参照ブロックにおけるサンプルブロックに基づいて、PUの予測ルーマブロックと、予測Cbブロックと、予測Crブロックとを生成することができる。
[0168]続いて、ここで図6が参照される。再構築ユニット158は、CUのTUと関連付けられたルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロック、ならびにCUのPUの予測ルーマブロック、予測Cbブロック、および予測Crブロックを、すなわち、イントラ予測データまたはインター予測データのいずれかを適宜使用して、CUのルーマコーディングブロックと、Cbコーディングブロックと、Crコーディングブロックとを再構築することができる。たとえば、再構築ユニット158は、ルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロックのサンプルを予測ルーマブロック、予測Cbブロック、および予測Crブロックの対応するサンプルに加算して、CUのルーマコーディングブロックと、Cbコーディングブロックと、Crコーディングブロックとを再構築することができる。
[0169]フィルタユニット160は、デブロッキング動作を実行して、CUのルーマコーディングブロック、Cbコーディングブロック、およびCrコーディングブロックと関連付けられたブロッキングアーティファクトを低減することができる。ビデオデコーダ30は、CUのルーマコーディングブロックと、Cbコーディングブロックと、Crコーディングブロックとを、復号ピクチャバッファ162に記憶することができる。復号ピクチャバッファ162は、後続の動き補償、イントラ予測、および図1のディスプレイデバイス32のようなディスプレイデバイス上での提示のために、参照ピクチャを提供することができる。たとえば、ビデオデコーダ30は、復号ピクチャバッファ162中のルーマブロック、Cbブロック、およびCrブロックに基づいて、他のCUのPUに対してイントラ予測演算またはインター予測演算を実行することができる。このようにして、ビデオデコーダ30は、有意なルーマ係数ブロックの変換係数レベルをビットストリームから抽出し、変換係数レベルを逆量子化し、変換係数レベルに変換を適用して変換ブロックを生成し、変換ブロックに少なくとも一部基づいてコーディングブロックを生成し、コーディングブロックを表示のために出力することができる。
[0170]ビデオデコーダ30は、本明細書で説明されるように、深度イントラ予測モードと深度インター予測モードの両方のためにSDCを使用することを示すシンタックス要素の統一されたシグナリングおよび解析のための技法のいずれかを実行するように構成される、ビデオデコーダの例である。本開示の1つまたは複数の技法によれば、ビデオデコーダ30内の1つまたは複数のユニットは、ビデオ復号処理の一部として、本明細書で説明される1つまたは複数の技法を実行することができる。追加の3Dコーディングコンポーネントもビデオエンコーダ30内に含まれ得る。
[0171]たとえば、予測処理ユニット152、より具体的にはイントラ予測処理ユニット166および動き補償(MC)ユニット164は適宜、3D−HEVCのような3Dビデオコーディング処理の深度イントラ予測モードおよび深度インター予測モードにおいてSDCを実行するかどうかを決定することができる。エントロピー復号ユニット150は、深度ブロックのための1つまたは複数のDC残差値、さらには本明細書で説明されるシンタックス情報、たとえば、ブロックを符号化するために深度イントラ予測が使用されたか、または深度インター予測が使用されたか、さらにはブロックを符号化するためにSDCモードが深度イントラ予測または深度インター予測のために実行されたかどうかを、エントロピー復号することができる。このようにして、デコーダ30は、sdc_flagのようなシンタックス要素に基づいて、現在のCU、すなわち深度ブロックを復号するためにSDCを使用するかどうかを決定し、CUを再構築するためにイントラ予測された深度ブロックまたはインター予測された深度ブロックとともに使用されるべき残差値を取得するために、同じシンタックス構造またはシンタックス構造の異なる実体を使用することができる。
[0172]エントロピー復号ユニット150は、図6において破線によって示されるように、ブロックのためのDC残差値とシンタックス情報とを予測処理ユニット152に提供することができる。このようにして、DC残差値は、逆量子化および逆変換のために逆量子化ユニット154および逆変換処理ユニット156へ最初に提供されなくてよい。他の例では、逆量子化ユニット154は、DC残差値を逆量子化し、逆量子化されたDC残差値を予測処理ユニット152に提供することができる。
[0173]動き補償(MC)ユニット164は、たとえば本明細書で説明される技法のいずれかに従って、シンタックス情報によって示されるような深度インター予測モードに基づいて、深度ブロックのための予測子の値を決定することができる。動き補償(MC)ユニット164は、インター予測された深度ブロックの予測子の値を決定するために、復号ピクチャバッファ162に記憶されている参照ピクチャからの、再構築された深度ブロックを利用することができる。SDCモードが示される場合、すなわち深度イントラ予測と深度インター予測の両方に対して、動き補償(MC)ユニット164は、深度ブロックを再構築するためにSDCを適用する。動き補償(MC)ユニット164は、DC残差値と予測子の値とを足すことによって、深度ブロックを再構築することができる。いくつかの例では、動き補償(MC)ユニット164は、インター予測された深度ブロックのための残差値と予測子の値との加算のために、再構築ユニット158を利用することができる。たとえば、エントロピー復号ユニット150は、DC残差値を再構築ユニット158に提供することができ、動き補償(MC)ユニット164は、予測子の値を再構築ユニットに提供することができる。
[0174]イントラ予測処理ユニット166は、たとえば本明細書で説明される技法のいずれかに従って、シンタックス情報によって示される深度イントラ予測モードに基づいて、深度ブロックのための予測子の値を決定することができる。イントラ予測処理ユニット166は、予測子の値を決定するために、復号ピクチャバッファ162に記憶されている再構築された深度ブロックを利用することができる。本明細書で説明されるように、イントラ予測処理ユニット166は、DC残差値と予測子の値とを足すことによって、深度ブロックを再構築することができる。いくつかの例では、イントラ予測処理ユニット166は、深度ブロックのための残差値と予測子の値との加算のために、再構築ユニット158を利用することができる。たとえば、エントロピー復号ユニット150は、DC残差値を再構築ユニットに提供することができ、イントラ予測処理ユニット166は、予測子の値を再構築ユニットに提供することができる。
[0175]ビデオデコーダ30は、1つまたは複数のプロセッサを備えるビデオデコーダの例であり、1つまたは複数のプロセッサは、ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために簡易深度コーディング(SDC)モードが使用されるかどうかを示すシンタックス要素をコーディングし、深度CUがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行し、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行し、SDCモードが使用されることをシンタックス要素が示すとき、深度CUのための少なくとも1つのDC残差値を生成するように構成され、少なくとも1つのDC残差値は深度CUと予測される深度CUとの間のピクセル差分を表す。ビデオデコーダ30の1つまたは複数のプロセッサは、シンタックス要素を復号し、少なくとも1つのDC残差値と予測される深度CUとを使用して深度CUを再構築するように構成され得る。
[0176]加えて、ビデオデコーダ30は、1つまたは複数のプロセッサを備えるビデオデコーダの例であり、1つまたは複数のプロセッサは、ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測モードを実行し、深度CUがインター予測されるとき、予測される深度CUを生成するためにインター予測モードを実行し、簡易深度コーディング(SDC)モードが使用されるとき、深度CUに対する少なくとも1つのDC残差値を表す情報を備えるシンタックス構造をコーディングするように構成され、シンタックス構造のシンタックス要素はイントラ予測モードとインター予測モードに対して同じである。ビデオデコーダ30はさらに、シンタックス構造を復号し、少なくとも1つのDC残差値と予測される深度CUとを使用して深度CUを再構築するように構成され得る。
[0177]別の例では、ビデオデコーダ30は、1つまたは複数のプロセッサを備えるビデオデコーダの例であり、1つまたは複数のプロセッサは、コーディングされたビデオデータのシーケンス全体の深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために簡易深度コーディング(SDC)モードが使用されるかどうかを示すシンタックス要素をコーディングし、シーケンスの深度CUの1つがイントラ予測されるとき、予測される深度CUを生成するためにイントラ予測を実行し、シーケンスの深度CUの1つがインター予測されるとき、予測される深度CUを生成するためにインター予測を実行し、SDCモードが使用されることをシンタックス要素が示すとき、シーケンスの深度CUの各々のための少なくとも1つのDC残差値を表す情報をコーディングするように構成され、少なくとも1つのDC残差値はそれぞれの深度CUとそれぞれの予測される深度CUとの間のピクセル差分を表す。ビデオデコーダ30は、深度CUの各々およびそれぞれの予測される深度CUの各々に対する少なくとも1つのDC残差値を使用して、深度CUを再構築するように構成され得る。
[0178]3D−HEVCの既存のドラフトのシンタックスおよびセマンティクスがここで説明される。以下に記載されるのは、3D−HEVCにおけるイントラ/インターSDCモードを示すシンタックス要素であり、ここで3D−HEVCに対するセクションおよび表の参照が行われる。
H.7.3.2.1.2 ビデオパラメータセット拡張2シンタックス
Figure 2017505025
H.7.3.8.5 コーディングユニットシンタックス
Figure 2017505025
Figure 2017505025
Figure 2017505025
H.7.3.8.5.1 深度モードパラメータシンタックス
Figure 2017505025
セマンティクス
1に等しい<bold<vps_inter_sdc_flag>>[layerId](以下で、原文が太字になっている箇所には、<bold<…>>で印を付けます。)は、インターSDCコーディングがlayerIdに等しいnuh_layer_idを伴うレイヤのために使用されることを指定する。0に等しいvps_inter_sdc_flag[layerId]は、インターSDCコーディングがlayerIdに等しいnuh_layer_idを伴うレイヤのために使用されないことを指定する。存在しないとき、vps_inter_sdc_flag[layerId]の値は0に等しいと推測される。
1に等しい<bold<inter_sdc_flag>>は、残差ブロックの簡易深度コーディングが現在のコーディングユニットのために使用されることを指定する。0に等しいinter_sdc_flagは、残差ブロックの簡易深度コーディングが現在のコーディングユニットのために使用されないことを指定する。存在しないとき、inter_sdc_flagは0に等しいと推測される。
<bold<inter_sdc_resi_abs_minus1>>[x0][y0][i]、<bold<inter_sdc_resi_sign_flag>>[x0][y0][i]は、次のようにInterSdcResi[x0][y0][i]を導出するために使用される。
Figure 2017505025
<bold<<H.7.4.9.5.1 深度モードパラメータセマンティクス>>
変数Log2MaxDmmCbSizeは、5に等しく設定される。
変数depthIntraModeSetは、下で規定されているように導出される。
− log2CbSizeが6に等しい場合、depthIntraModeSetは0に等しく設定される。
− そうではなく、log2CbSizeが3に等しくPartMode[xC][yC]がPART_NxNに等しい場合、depthIntraModeSetは1に等しく設定される。
− それ以外の場合、depthIntraModeSetは2に等しく設定される。
<bold<depth_intra_mode>>[x0][y0]は、現在の予測ユニットの深度イントラモードを指定する。表H−2は、depthIntraModeSetに応じた変数depthIntraModeMaxLenの値と、変数DepthIntraModeの値と、depth_intra_modeおよびdepthIntraModeSetに応じた関連する名前とを指定する。
変数SdcFlag[x0][y0]は、下で規定されているように導出される。
Figure 2017505025
変数DmmFlag[x0][y0]は、下で規定されているように導出される。
Figure 2017505025
<bold<表H−2 − depthIntraModeSetおよびdepth_intra_modeに応じたDepthIntraModeおよび関連する名前の指定ならびにdepthIntraModeSetに応じたdepthIntraModeMaxLenの指定>>
Figure 2017505025
<bold<wedge_full_tab_idx>>[x0][y0]は、DepthIntraMode[x0][y0]がINTRA_DEP_DMM_WFULLに等しいときの、対応するパターンリストにおけるwedgeletパターンのインデックスを指定する。
1に等しい<bold<depth_dc_flag>>[x0][y0]は、depth_dc_abs[x0][y0][i]およびdepth_dc_sign_flag[x0][y0][i]が存在することを指定する。0に等しいdepth_dc_flag[x0][y0]は、depth_dc_abs[x0][y0][i]およびdepth_dc_sign_flag[x0][y0][i]が存在しないことを指定する。
<bold<depth_dc_abs>>[x0][y0][i]、<bold<depth_dc_sign_flag>>[x0][y0][i]は、次のようにDcOffset[x0][y0][i]を導出するために使用される。
Figure 2017505025
[0179]SDCに関するいくつかの最近の進歩がここで論じられる。JCT3V−F0126、Liu他、「CE5 related: Generic SDC for all Intra modes in 3D−HEVC」、Joint Collaborative Team on 3D Video Coding Extensions of ITU−T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11、第6回会合:ジュネーブ、スイス、2013年10月25日〜11月1日において、深度コーディングでは、追加の深度イントラ予測モードおよび元のHEVCイントラ予測モードに対して簡易残差コーディングが適用され得ることが提案された。簡易残差コーディングでは、1つのDC残差値がPUの各区分に対してシグナリングされ、すなわちHEVCイントラ予測モードによってコーディングされたPUが1つの区分を有するので、PU内のすべてのピクセルが同じ区分の中にあり、追加の深度イントラ予測モードによってコーディングされたPUが2つの区分を有し、変換と量子化の両方が飛ばされ、追加の残差が生成されず、すなわち変換木がHEVCに基づいて3Dコーデックにおいて存在しない。
[0180]上で論じられたように、SDCの現在の設計には、3D−HEVCにおいてイントラモードおよびインターモードの使用を示すために異なるシンタックス要素およびコンテキストモデルが使用されるという問題があり、このことはコーディングユニットの解析処理をより複雑にする。
[0181]3D−HEVCにおける深度イントラ予測モードおよび深度インター予測モードのセグメントごとのDCコーディング(SDC)のシグナリングは、本開示で説明される技法に従って統一され得る。上で論じられた様々な態様はまた、ここで次のように要約される。
1. 深度コーディングのいくつかの例では、イントラモードとインターモードのいずれかのためにSDCを使用することを示すために、1つだけのシンタックス要素(たとえば、sdc_flag)が使用されることが、本開示において提案される。
a. 現在のインターCUがSDCを利用することを示すinter_sdc_flagは除去される。
b. イントラモードのためのSDCモードの指示も除去される。
c. 現在のコーディングユニットがイントラ予測またはインター予測によってコーディングされるかどうかにかかわらず、新たなフラグ、すなわちsdc_flagが導入される。このフラグが1であるとき、SDCは有効にされる。
2. 深度コーディングのいくつかの例では、現在のCUが各区分に対してSDCとしてコーディングされるとき、インターコーディングされたCUまたはイントラコーディングされたCUに対するDC残差値は、1つのシンタックス構造によって存在するように統一され、このシンタックス構造は、DC残差値の絶対値とその符号とを含むことが、本開示において提案される。
a. 代替的に、または加えて、CUがイントラによってコーディングされる場合、現在のCUがその区分のいずれかに0ではないDC残差値を含むかどうかを示すフラグ(1に等しい)がさらにシグナリングされ得る。このフラグが0である場合、DC残差値はシグナリングされず、各区分に対して0に等しいと推測される。
b. 代替的に、上のフラグは、イントラモードとインターモードの両方に適用される。
c. 代替的に、上のフラグは、イントラモードとインターモードのいずれかには使用されない。
3. さらに、いくつかの例では、インターモードおよびイントラモードのDC残差値のために使用されるシンタックス構造は、同じシンタックス要素を共有するので、関連するシンタックス要素に対するコンテキストモデルおよびバイナリ化処理が統一され、すなわち同じコンテキストモデルであることが、本開示において提案される。
a. 代替的に、いくつかの例では、イントラSDCモードおよびインターSDCモードがDC残差値に対して同じシンタックス構造を使用できるとしても、それらはシンタックス構造の異なる事例を使用するので、DC残差値に関する要素に対するコンテキストは、イントラSDCモードおよびインターSDCモードに対して分離されたままである。
4. いくつかの例では、デコーダ側における制約が適用され得ること、すなわち、sdc_flagが1に等しいときpcm_flagが1に等しくてはならないことが、本開示において提案される。
5. 加えて、いくつかの例では、デコーダ側におけるSDCに対する制約が適用され得ること、すなわち、イントラSDCモードとインターSDCモードの両方が2Nx2Nの区分サイズだけのために使用されることが、本開示において提案される。
a. 代替的に、2Nx2NとNxNとを含むすべての区分サイズに対して、イントラSDCモードが使用される。
6. 加えて、いくつかの例では、コーディングされたビデオシーケンス全体に対して、復号処理においてイントラSDCモードとインターSDCモードの両方を復号処理において有効/無効にするために1つのシンタックス要素が使用されることが、本開示において提案される。SDCがあるシーケンスに対して有効にされることを1つのシンタックス要素が示す場合、たとえば、上の項目1における統一されたsdc_flag要素の使用を参照して説明されたように、エンコーダは、SDCがCUレベルで使用されることを示すために別のシンタックス要素をシグナリングする。
a. いくつかの例では、このシンタックス要素は、ビデオパラメータセット拡張、シーケンスパラメータセット、ピクチャパラメータセット、またはスライスセグメントヘッダなどにおいて設定され得る。
b. 代替的に、いくつかの例では、イントラモードのためのSDCがコーディングされたビデオシーケンス全体に対して有効にされるかどうかを示すために1つのフラグが使用され、これが真である場合、加えて、インターモードのためのSDCがコーディングされたビデオシーケンス全体に対して有効にされるかどうかを示すために別のフラグが使用される。
[0182]種々の実装の例が下で説明される。以下の例によれば、3D−HEVCのシンタックス要素およびセマンティクスに対して変更が行われる。以下のシンタックス要素およびセマンティクスでは、3D−HEVCの関連する部分が、JCT3V−F0126文書において提案されるシンタックス要素とセマンティクスとを追加するように変更されている。JCT3V−F0126文書において提案される変更は、<italic<斜字>>によって示される追加と、取り消し線付きの斜字(以下で、原文において取り消し線付きの斜体が使用されている場合、<strike-through/italic<…>>によって印を付けます。)によって示される削除とによって示される。本開示のこの例によれば、シンタックス要素およびセマンティクスに対する追加の変更は、<bold<太字>によって示される新たに追加された部分と、取り消し線付きの太字(以下で、原文において取り消し線付きの太字が使用されている場合、< strike-through/bold<…>>によって印を付けます。)(本明細書によってマークされた新たに削除された部分とによって示される。
[0183]例示的なシンタックス表が下で提示され、関連するセマンティクスが後に続き、セクションおよびテーブルの参照は、3D−HEVCにおける対応するセクションと表の参照とを指す。
[0184]以下の例は、CUレベルでのSDCの使用を指定するためのsdc_flag[x0][y0]シンタックス要素の使用と、SDCが有効にされるかどうかを示すためのSdcEnableFlagシンタックス要素の使用と、DC残差値と符号とを示すためのdepth_dc_abs[x0][y0][i]およびdepth_dc_sign_flag[x0][y0][i]シンタックス要素とをそれぞれ示す。シンタックス要素は、SDCの使用と、SDCの有効/無効のステータスと、SDC残差値とをそれぞれシグナリングするための、本開示で説明されるシンタックス要素の例である。いくつかの例では、オブSdcEnableFlagシンタックス要素は、vps_inter_sdc_flag[nuh_layer_id]およびvps_depth_mode_flag[nuh_layer_id]のような、VPSに記載される1つまたは複数の値から少なくとも一部導出されてよく、コーディングされたビデオシーケンス全体に対してSDCを有効または無効にするように構成され得る。
H.7.3.8.5 コーディングユニットシンタックス
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
[0185]代替的に、イントラSDCとインターSDCの両方が2Nx2Nに等しい区分サイズのCUだけに適用されるとき、次のシンタックスが使用され得る。
Figure 2017505025
[0186]例示的なセマンティクスおよび復号処理がここで、3D−HEVCを参照して説明される。やはり、JCT3V−F0126文書において提案される変更は、<italic<斜字>>によって示される追加と、<strike-through/italic<取り消し線付きの斜字>>によって示される削除とによって示される。本開示のこの例によれば、シンタックス要素およびセマンティクスに対する追加の変更は、<bold<太字>>によって示される新たに追加された部分と、<strike-through/bold<取り消し線付きの太字>>によってマークされた新たに削除された部分とによって示される。
H.7.4.9.5 コーディングユニットセマンティクス
<bold<変数SdcEnableFlagは、次のように導出される。>>
Figure 2017505025
<bold<1に等しいsdc_flag[x0][y0]は、残差ブロックのセグメントごとのDCコーディングが現在のコーディングユニットのために使用されることを指定する。0に等しいsdc_flag[x0][y0]は、残差ブロックのセグメントごとのDCコーディングが現在のコーディングユニットのために使用されないことを指定する。存在しないとき、sdc_flag[x0][y0]は、0に等しいと推測される。>>
<italic<1に等しいhevc_intra_flag[x0][y0]は、0から34までの範囲のintraPredModeを伴うイントラモードが現在の予測ユニットのために使用されることを指定する。0に等しいhevc_intra_flag[x0][y0]は、別のイントラモードが現在の予測ユニットのために使用されることを指定する。存在しないとき、hevc_intra_flag[x0][y0]は1に等しいと推測される。
変数DmmFlag[x0][y0]は、下で規定されているように導出される。>>
Figure 2017505025
depth_intra_mode[x0][y0]は、現在の予測ユニットの深度イントラモードを指定する。<italic<0に等しいdepth_intra_mode[x0][y0]は、DepthIntraMode[x0][y0]がINTRA_DEP_DMM_WFULLに等しいことを指定し、1に等しいdepth_intra_mode[x0][y0]は、DepthIntraMode[x0][y0]がINTRA_DEP_DMM_CPREDTEXに等しいことを指定する。存在しないとき、DepthIntraMode[x0][y0]は、INTRA_DEP_NONEに等しいと推測される。>><strike-through/italic<表H−2は、depthIntraModeSetに応じた変数depthIntraModeMaxLenの値と、変数DepthIntraModeの値と、depth_intra_modeおよびdepthIntraModeSetに応じた関連する名前とを指定する。>>
<strike-through/bold<変数SdcFlag[x0][y0]は、下で規定されているように導出される。>>
Figure 2017505025
<strike-through/italic<変数DmmFlag[x0][y0]は、下で規定されているように導出される。>>
Figure 2017505025
<strike-through/bold<1に等しいinter_sdc_flagは、残差ブロックの簡易深度コーディングが現在のコーディングユニットのために使用されることを指定する。0に等しいinter_sdc_flagは、残差ブロックの簡易深度コーディングが現在のコーディングユニットのために使用されないことを指定する。存在しないとき、inter_sdc_flagは0に等しいと推測される。
inter_sdc_resi_abs_minus1[x0][y0][i]、inter_sdc_resi_sign_flag[x0][y0][i]は、次のようにInterSdcResi[x0][y0][i]を導出するために使用される。>>
Figure 2017505025
wedge_full_tab_idx[x0][y0]は、DepthIntraMode[x0][y0]がINTRA_DEP_DMM_WFULLに等しいときの、対応するパターンリストにおけるwedgeletパターンのインデックスを指定する。
H.7.4.9.5.1 深度DC残差セマンティクス
1に等しいdepth_dc_flag[x0][y0]は、depth_dc_abs[x0][y0][i]およびdepth_dc_sign_flag[x0][y0][i]が存在することを指定する。0に等しいdepth_dc_flag[x0][y0]は、depth_dc_abs[x0][y0][i]およびdepth_dc_sign_flag[x0][y0][i]が存在しないことを指定する。<bold<存在しないとき、depth_dc_flag[x0][y0]は1に等しいと推測される。>>
depth_dc_abs[x0][y0][i]、depth_dc_sign_flag[x0][y0][i]は、次のようにDcOffset[x0][y0][i]を導出するために使用される。
Figure 2017505025
H8.4.2 ルーマイントラ予測モードのための導出処理
このプロセスへの入力は、現在のピクチャの左上ルーマサンプルに対する現在のルーマ予測ブロックの左上サンプルを指定するルーマ位置(xPb,yPb)である。
この処理では、ルーマイントラ予測モードIntraPredModeY[xPb][yPb]が導出される。
表H−3は、イントラ予測モードの値と関連する名前とを指定する。
Figure 2017505025
0..34と標識されたIntraPredModeY[xPb][yPb]は、図8−1に示されるような予測の方向を表す。
<strike-through/italic<DepthIntraMode[xPb][yPb]がINTRA_DEP_SDC_PLANARに等しい場合、IntraPredModeY[xPb][yPb]はINTRA_PLANARに等しく設定される。
それ以外の場合、DepthIntraMode[xPb][yPb]がINTRA_DEP_SDC_DMM_WFULLに等しい場合、IntraPredModeY[xPb][yPb]はINTRA_DMM_WFULLに等しく設定される。
それ以外の場合、>>DepthIntraMode[xPb][yPb]がINTRA_DEP_DMM_WFULLに等しい場合、IntraPredModeY[xPb][yPb]はINTRA_DMM_WFULLに等しく設定される。
それ以外の場合、DepthIntraMode[xPb][yPb]がINTRA_DEP_DMM_CPREDTEXに等しい場合、IntraPredModeY[xPb][yPb]はINTRA_DMM_CPREDTEXに等しく設定される。
それ以外の場合(DepthIntraMode[xPb][yPb]がINTRA_DEP_NONEに等しい場合)、IntraPredModeY[xPb][yPb]は次の順序付けられたステップとして導出される。
...
H8.4.4.2.1 一般的なイントラサンプル予測
この処理への入力は以下の通りである。
− 現在のピクチャの左上サンプルに対する現在の変換ブロックの左上サンプルを指定するサンプル位置(xTbCmp,yTbCmp)
− イントラ予測モードを指定する変数predModeIntra
− 変換ブロックサイズを指定する変数nTbS
− 現在のブロックの色成分を規定する変数cIdx
この処理の出力は、x,y=0...nTbS−1である予測されたサンプルpredSamples[x][y]である。
<italic<変数bSamplePredFlagを1に設定する。>>
...
− そうではなく、predModeIntraがINTRA_DEP_DMM_CPREDTEXに等しい場合、H8.4.4.2.8項において規定される対応するイントラ予測モードが、位置(xTbY,yTbY)について、サンプルアレイp、変換ブロックサイズnTbS、<italic<およびbSamplePredFlag>を入力として実施され、出力は予測サンプルアレイpredSamplesである。
<bold<H.8.4.4.2.8 イントラ予測モードINTRA_DMM_CPREDTEXの指定>>
この処理への入力は以下の通りである。
− 現在のピクチャの左上サンプルに対する現在のブロックの左上サンプルを指定するサンプル位置(xTb,yTb)
− x=−1、y=−1..nTbS×2−1、およびx=0..nTbS×2−1、y=−1である、隣接サンプルp[x][y]
− 変換ブロックサイズを指定する変数nTbS
− <italic<予測サンプルを生成するかどうかを指定する変数bSamplePredFlag>
このプロセスの出力は以下の通りである。
− x,y=0..nTbS−1である、予測サンプルpredSamples[x][y]
− <italic<x,y=0..nT−1である、wedgeletパターンwedgePattern[x][y]>>
x,y=0..nTbS−1である予測サンプルpredSamples[x][y]の値は、次の順序のステップによって指定されるように導出される。
1. 変数recTextPicは、TexturePic..の再構築されたルーマピクチャサンプルのアレイに等しく設定される。
2. recTextPicのセグメント化のための閾値を指定する変数textThreshが、以下で規定されるように導出される。
− 変数sumTextPicValsが0に等しく設定される。
− x=0..nTbS−1として、次のことが当てはまる。
− y=0..nTbS−1として、次のことが当てはまる。
Figure 2017505025
− 変数textThreshが(sumTextPicVals>>(2×log2(nTbS)))に等しく設定される。
3. バイナリの区分パターンを指定する、x,y=0..nTbS−1である変数wedgeletPattern[x][y]が、以下で規定されるように導出される。
− x=0..nTbS−1として、次のことが当てはまる。
− y=0..nTbS−1として、次のことが当てはまる。
Figure 2017505025
4.<italic<bSamplePredFlagが1に等しいとき、>>H8.4.4.2.9項において規定されるような深度区分値の導出および割当ての処理が、隣接サンプルp[x][y]、バイナリパターンwedgeletPattern[x][y]、変換サイズnT、depth_dc_flag[xTb][yTb]に等しく設定されたdcOffsetAvailFlag、DC Offsets DcOffset[xTb][yTb][0]、およびDcOffset[xTb][yTb][1]を入力として実施され、出力がpredSamples[x][y]に割り当てられる。
<bold<H.8.4.4.3 深度値再構築処理>>
この処理への入力は以下の通りである。
− 現在のピクチャの左上ルーマサンプルに対する現在のブロックの左上ルーマサンプルを指定するルーマ位置(xTb,yTb)
− 変換ブロックサイズを指定する変数nTbS
− x,y=0..nTbS−1である、予測サンプルpredSamples[x][y]
− イントラ予測モードpredModeIntra
このプロセスの出力は以下の通りである。
− x,y=0..nTbS−1である、再構築された深度値サンプルresSamples[x][y]
<italic<変数bSamplePredFlagを0に設定する。>>
predModeIntraに応じて、2進セグメント化パターンを指定する、x,y=0..nTbs−1である、アレイwedgePattern[x][y]は、次のように導出される。
− predModeIntraがINTRA_DMM_WFULLに等しい場合、次のことが当てはまる。
Figure 2017505025
− <italic<そうではなく、predModeIntraがINTRA_DMM_CPREDTEXに等しい場合、H8.4.4.2.8項が、位置(xB,yB)について、予測サンプルpredSamples、変換ブロックサイズnT、およびbSamplePredFlagを入力として実施され、出力はwedgeletパターンwedgePatternである。>>
− それ以外の場合(predModeIntraがINTRA_DMM_WFULLに等しくなく、<italic<predModeIntraがINTRA_DMM_CPREDTEXに等しくない>>場合)、次のことが当てはまる。
− x,y=0..nTbS−1として、wedgePattern[x][y]が0に等しく設定される。
dlt_flag[nuh_layer_id]に応じて、再構築された深度値サンプルresSamples[x][y]が、以下で指定されるように導出される。
− dlt_flag[nuh_layer_id]が0に等しい場合、次のことが当てはまる。
− x,y=0..nTbS−1として、再構築された深度値サンプルresSamples[x][y]が、以下で規定されるように導出される。
Figure 2017505025
− そうではない(dlt_flag[nuh_layer_id]が1に等しい)場合、次のことが当てはまる。
− 変数dcPred[0]およびdcPred[1]が、以下で規定されるように導出される。
<strike-through/italic<− predModeIntraがINTRA_DCに等しい場合、次のことが当てはまる。>>
Figure 2017505025
<strike-through/italic<− そうではなく、predModeIntraがINTRA_PLANARに等しい場合、>><italic<predModeIntraがINTRA_DMM_WFULLに等しくなく、predModeIntraがINTRA_DMM_CPREDTEXに等しくない場合、次のことが当てはまる。>>
Figure 2017505025
− そうではなく<strike-through/italic<(predModeIntraがINTRA_DMM_WFULLに等しくない場合)、>><italic<predModeIntraがINTRA_DMM_WFULLに等しい場合、>>次のことが当てはまる。
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
<italic<− そうではない場合(intraPredModeがINTRA_DMM_CPREDTEXに等しい場合)、次のことが当てはまる。>>
Figure 2017505025
− x,y=0..nTbS−1として、再構築された深度値サンプルresSamples[x][y]が、以下で規定されるように導出される。
Figure 2017505025
Figure 2017505025
Figure 2017505025
<bold<H.8.5.4.1 全般>
...
− <strike-through/bold<inter_sdc_flag>><bold<sdc_flag>>が0に等しい場合、次のことが当てはまり、rqt_root_cbfの値に応じて、次のことが当てはまる。
− rqt_root_cbfが0に等しい場合、またはskip_flag[xCb][yCb]が1に等しい場合、(nCbSL)x(nCbSL)のアレイresSamplesLのすべてのサンプル、および2つの(nCbSC)x(nCbSC)のアレイresSamplesCbおよびresSamplesCrのすべてのサンプルが0に等しく設定される。
− そうではない場合(rqt_root_cbfが1に等しい場合)、次の順序付けられたステップが適用される。
下のH8.5.4.2項において規定されるようなルーマ残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、nCbSLに等しく設定される変数nCbS、および(nCbSL)x(nCbSL)のアレイresSamplesLを入力として実施され、出力は(nCbSL)x(nCbSL)のアレイresSamplesLの修正されたバージョンである。
下のH8.5.4.3項において規定されるようなクロマ残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、1に等しく設定される変数cIdx、nCbSCCに等しく設定される変数nCbS、および(nCbSC)x(nCbSC)のアレイresSamplesCbを入力として実施され、出力は(nCbSC)x(nCbSC)のアレイresSamplesCbの修正されたバージョンである。
下のH8.5.4.3項において規定されるようなクロマ残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、2に等しく設定される変数cIdx、nCbSCCに等しく設定される変数nCbS、および(nCbSC)x(nCbSC)のアレイresSamplesCrを入力として実施され、出力は(nCbSC)x(nCbSC)のアレイresSamplesCrの修正されたバージョンである。
− それ以外の場合(<strike-through/bold<inter_sdc_flag>><bold<sdc_flag>>が1に等しい場合)、下のH8.5.4.4項において規定されるような簡易深度コーディングされた残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、nCbSLに等しく設定される変数nCbS、および(nCbSL)x(nCbSL)のアレイresSamplesLを入力として実施され、出力は(nCbSL)x(nCbSL)のアレイresSamplesLの修正されたバージョンである。
...
<bold<H8.5.4.4 簡易深度コーディングされた残差ブロックのための復号処理>>
...
0からnCbSの範囲のxに対して、次のことが当てはまる。
− 0からnCbSの範囲のyに対して、次のことが当てはまる。
− 変数iは、下で規定されているように導出される。
− xがxOff未満であり、yがyOff未満である場合、iは0に等しく設定される。
− そうではなく、xがxOff以上であり、yがyOff未満である場合、iは1に等しく設定される。
− そうではなく、xがxOff未満であり、yがyOff以上である場合、iは2に等しく設定される。
− それ以外の場合(xがxOff以上であり、yがyOff以上である場合)、iは3に等しく設定される。
− resSamples[x][y]の値は、<bold<DcOffset>><strike-through/bold<InterSdcResi>>[xCb][yCb][interSdcResiIdx[i]]に等しく設定される。
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
[0187]別の例によれば、3D−HEVCのシンタックス要素およびセマンティクスに対して変更が行われる。以下のシンタックス要素およびセマンティクスでは、3D−HEVCの関連する部分が、本開示の例に従って提案されるシンタックス要素とセマンティクスとを追加するように変更されている。本開示のこの例によれば、シンタックス要素およびセマンティクスに対する変更は、<bold<太字>>によって示される新たに追加された部分と、<strike-through/bold<取り消し線付きの太字>>によってマークされた新たに削除された部分とによって示される。
[0188]シンタックス表が以下で提示され、関連するセマンティクスがそれに続く。
H.7.3.8.5 一般的なコーディングユニットシンタックス
Figure 2017505025
Figure 2017505025
Figure 2017505025
<bold<セマンティクスおよび復号処理>>
<bold<H.7.4.9.5 コーディングユニットセマンティクス>>
<strike-through/bold<1に等しいinter_depth_sdc_flagは、残差ブロックの簡易深度コーディングが現在のコーディングユニットのために使用されることを指定する。0に等しいinter_sdc_flagは、残差ブロックの簡易深度コーディングが現在のコーディングユニットのために使用されないことを指定する。存在しないとき、inter_sdc_flagは0に等しいと推測される。
inter_depth_sdc_resi_abs_minus1[x0][y0][i]、inter_depth_sdc_resi_sign_flag[x0][y0][i]は、次のようにInterSdcResi[x0][y0][i]を導出するために使用される。>>
Figure 2017505025
<bold<変数SdcEnableFlagは0に等しく設定され、次のことが当てはまる。>>
Figure 2017505025
<bold<1に等しいsdc_flag[x0][y0]は、残差ブロックのセグメントごとのDCコーディングが現在のコーディングユニットのために使用されることを指定する。0に等しいsdc_flag[x0][y0]は、残差ブロックのセグメントごとのDCコーディングが現在のコーディングユニットのために使用されないことを指定する。存在しないとき、sdc_flag[x0][y0]は、0に等しいと推測される。
H.7.4.9.5.1 深度モードパラメータセマンティクス>>
変数Log2MaxDmmCbSizeは、5に等しく設定される。
変数depthIntraModeSetは、下で規定されているように導出される。
− log2CbSizeが6に等しい場合、depthIntraModeSetは0に等しく設定される。
− そうではなく、log2CbSizeが3に等しくPartMode[xC][yC]がPART_NxNに等しい場合、depthIntraModeSetは1に等しく設定される。
− それ以外の場合、depthIntraModeSetは2に等しく設定される。
<bold<depth_intra_mode>>[x0][y0]は、現在の予測ユニットの深度イントラモードを指定する。表H−2は、depthIntraModeSetに応じた変数depthIntraModeMaxLenの値と、変数DepthIntraModeの値と、depth_intra_modeおよびdepthIntraModeSetに応じた関連する名前とを指定する。
<strike-through/bold<変数SdcFlag[x0][y0]は、下で規定されているように導出される。>>
Figure 2017505025
変数DmmFlag[x0][y0]は、下で規定されているように導出される。
Figure 2017505025
Figure 2017505025
<bold<H.7.4.9.5.2 深度DC残差セマンティクス>>
1に等しい<bold<depth_dc_flag>>[x0][y0]は、depth_dc_abs[x0][y0][i]およびdepth_dc_sign_flag[x0][y0][i]が存在することを指定する。0に等しいdepth_dc_flag[x0][y0]は、depth_dc_abs[x0][y0][i]およびdepth_dc_sign_flag[x0][y0][i]が存在しないことを指定する。<bold<存在しないとき、depth_dc_flag[x0][y0]は1に等しいと推測される。>
<bold<depth_dc_abs>>[x0][y0][i]、<bold<depth_dc_sign_flag>>[x0][y0][i]は、次のようにDcOffset[x0][y0][i]を導出するために使用される。
Figure 2017505025
<bold<H.8.5.4.1 全般>>
...
− <strike-through/bold<inter_sdc_flag>><bold<sdc_flag>>が0に等しい場合、次のことが当てはまり、rqt_root_cbfの値に応じて、次のことが当てはまる。
− rqt_root_cbfが0に等しい場合、またはskip_flag[xCb][yCb]が1に等しい場合、(nCbSL)x(nCbSL)のアレイresSamplesLのすべてのサンプル、および2つの(nCbSC)x(nCbSC)のアレイresSamplesCbおよびresSamplesCrのすべてのサンプルが0に等しく設定される。
− そうではない場合(rqt_root_cbfが1に等しい場合)、次の順序付けられたステップが適用される。
下のH8.5.4.2項において規定されるようなルーマ残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、nCbSLに等しく設定される変数nCbS、および(nCbSL)x(nCbSL)のアレイresSamplesLを入力として実施され、出力は(nCbSL)x(nCbSL)のアレイresSamplesLの修正されたバージョンである。
下のH8.5.4.3項において規定されるようなクロマ残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、1に等しく設定される変数cIdx、nCbSCCに等しく設定される変数nCbS、および(nCbSC)x(nCbSC)のアレイresSamplesCbを入力として実施され、出力は(nCbSC)x(nCbSC)のアレイresSamplesCbの修正されたバージョンである。
下のH8.5.4.3項において規定されるようなクロマ残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、2に等しく設定される変数cIdx、nCbSCに等しく設定される変数nCbS、および(nCbSC)x(nCbSC)のアレイresSamplesCrを入力として実施され、出力は(nCbSC)x(nCbSC)のアレイresSamplesCrの修正されたバージョンである。
− それ以外の場合(<strike-through/bold<inter_sdc_flag>><bold<sdc_flag>>が1に等しい場合)、下のH8.5.4.4項において規定されるような簡易深度コーディングされた残差ブロックの復号処理が、ルーマ位置(xCb,yCb)、(0,0)に等しく設定されるルーマ位置(xB0,yB0)、log2CbSizeに等しく設定される変数log2TrafoSize、0に等しく設定される変数trafoDepth、nCbSLに等しく設定される変数nCbS、および(nCbSL)x(nCbSL)のアレイresSamplesLを入力として実施され、出力は(nCbSL)x(nCbSL)のアレイresSamplesLの修正されたバージョンである。
...
<bold<H8.5.4.4 簡易深度コーディングされた残差ブロックのための復号処理>>
...
0からnCbSの範囲のxに対して、次のことが当てはまる。
− 0からnCbSの範囲のyに対して、次のことが当てはまる。
− 変数iは、下で規定されているように導出される。
− xがxOff未満であり、yがyOff未満である場合、iは0に等しく設定される。
− そうではなく、xがxOff以上であり、yがyOff未満である場合、iは1に等しく設定される。
− そうではなく、xがxOff未満であり、yがyOff以上である場合、iは2に等しく設定される。
− それ以外の場合(xがxOff以上であり、yがyOff以上である場合)、iは3に等しく設定される。
− resSamples[x][y]の値は、<bold<DcOffset>><strike-through/bold<InterSdcResi>>[xCb][yCb][interSdcResiIdx[i]]に等しく設定される。
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
Figure 2017505025
[0189]図7〜12は、本開示による、ビデオエンコーダ20および/またはビデオデコーダ30によって実行される様々な例示的な動作を示す流れ図である。流れ図は、例示のために与えられ、限定的と見なされるべきではない。様々な動作の順序は、例示を目的に提示され、示された順序で動作が実行されるべきであることを必ずしも示すとは限らない。また、多くの場合、図7〜図12に示される動作は、互いに様々な組合せで実施され得る。
[0190]図7は、たとえばCUレベルにおいて、深度イントラ予測モードと深度インター予測モードの両方のためにSDCを使用することを示すためのシンタックス要素の符号化を示す流れ図である。ビデオエンコーダ20は、図7の動作を実行するように構成され得る。たとえば、ビデオエンコーダ30は、深度CUのPUのコーディング区分のためのSDCモードを選択することができる。いくつかの例では、ビデオエンコーダ30は、符号化されたビデオシーケンス全体の中の深度CUをコーディングするためにSDCモードを有効または無効にするために、シンタックス要素を送信することができる。次いで、いくつかの例では、SDCがシーケンスに対して有効にされる場合、ビデオエンコーダ30は、SDCが深度CUのために選択されるかどうかを示すために、シーケンス中の各深度CUのためのシンタックス要素をシグナリングすることができる。ビデオエンコーダ30は、各CUに対してインターコーディングモードまたはイントラコーディングモードを選択し(202)、次いで、深度CUのインター予測(204)または深度CUのイントラ予測(206)のいずれかを適用する。
[0191]様々なタイプのSDCイントラ予測が使用され得る。いくつかの例では、SDCでは、現在のイントラコーデッドに対して、SDCモードが現在の深度CUのために使用されるかどうかをシンタックス要素が示す場合、コーディングは、予測される深度CUを生成するためにイントラ予測を実行するとき、深度CUの深度成分に対応するテクスチャ成分からのサンプルを使用することを含み得る。
[0192]深度コーディングのために、ビデオエンコーダ30は、通常のHEVCイントラ予測モードもしくはインター予測モード、または、wedgelet、輪郭、もしくは平面区分モードのようなDMMモードを使用することができる。いずれの場合でも、ビデオエンコーダ20は、深度CUの1つまたは複数の区分に対して1つまたは複数のDC残差値を生成するためにSDCを適用することができる(208)。たとえば、SDCによって、ビデオエンコーダ20は、深度CUの各PUと関連付けられる区分に対して1つだけのDC残差値を符号化することができる。したがって、ビデオエンコーダ20は、各PUに対して1つのDC残差値をシグナリングし、1つのDC残差値は、PU中のすべてのサンプルに対する残差として使用される。PUは、CU全体、または、wedgelet区分もしくは輪郭区分によって定義される区分のようなCU中の個々の区分であり得る。
[0193]図7をさらに参照すると、ビデオエンコーダ20は、イントラモードに対してかインターモードに対してかにかかわらず、すなわち、深度イントラ予測と深度インター予測の両方に対して、SDCがCUのために使用されることを示すシンタックス要素を符号化することができる(210)。したがって、深度イントラ予測と深度インター予測に対して別々にSDCを独立にシグナリングする代わりに、ビデオエンコーダ20は、CUが深度イントラ予測および深度インター予測によってコーディングされるかどうかにかかわらず、SDCがCUを適用することを示す、CUのための単一のシンタックス要素を生成する。シンタックス要素は、sdc_flagシンタックス要素であり得る。sdc_flagシンタックス要素は、1ビットフラグであり得る。例として、1というsdc_flagの値は、深度イントラ予測と深度インター予測の両方のためにSDCが使用されるべきであることを示し、0というsdc_flagの値は、深度イントラ予測と深度インター予測のいずれかのためにSDCが使用されるべきではないことを示す。やはり、別のシンタックス要素が、シーケンス全体に対してSDCを有効または無効にすることができる。SDCが有効にされる場合、sdc_flagはCUレベルでシグナリングされ得る。SDCがシーケンスに対して無効にされる場合、いくつかの例では、sdc_flagはシグナリングされない。やはり、SDCの有効化または無効化が、シーケンス、ピクチャ、またはスライスごとに適用され得るが、一方、sdc_flagは、CUレベルでの実際のSDCの使用を示すために送信され得る。
[0194]いくつかの例では、ビデオエンコーダ20は、CUレベルの一般的なコーディングユニットパラメータ中でSDCシンタックス要素sdc_flagをシグナリングすることができる。したがって、ビデオエンコーダ20は、CUごとにSDCシンタックス要素をシグナリングすることができる。他の例では、上でディスキューズされたように、ビデオエンコーダ20は、スライスセグメント中のすべての深度CUに対してSDCが有効にされる(または無効にされる)ことを示す別のシンタックス要素をスライスセグメントヘッダ中でシグナリングすることができる。さらに他の例では、ビデオエンコーダ20によって生成されるSDCシンタックス要素は、ピクチャ全体またはビデオシーケンス全体の中のすべての深度CUに対してSDCが有効にされる(または無効にされる)ことを示し得る。たとえば、ビデオエンコーダ20は、たとえば3D−HEVCのためのビデオパラメータセット(VPS)拡張において、シーケンスパラメータセット(SPS)において、またはピクチャパラメータセット(PPS)において、有効化/無効化SDCシンタックス要素をシグナリングすることができる。いくつかの例では、VPS、SPS、PPS、スライスヘッダなどにおいてシグナリングされる1つまたは複数のシンタックス要素は、たとえばCUレベルで別々にシグナリングされ得る有効化フラグまたは無効化フラグの値を計算するために使用され得る。したがって、第1のSDC有効化シンタックス要素は、たとえば、すべての深度CUがスライスであるに対して、ピクチャ中のすべての深度CUに対して、または符号化されたビデオシーケンス全体の中のすべてのCUに対して、SDCを有効化または無効化するために使用されてよく、第2のSDCシンタックス要素(たとえば、sdc_flag)は、個々の深度CUのための深度イントラ予測と深度インター予測の両方に対してSDCが実際に使用されることを示すように構成され得る。
[0195]ビデオエンコーダ20はまた、SDC残差データによってシンタックス構造を符号化することができる。たとえば、現在の深度CUが各区分に対してSDCによってコーディングされるとき、インターコーディングされたCUまたはイントラコーディングされたCUの各PUの各区分に対するDC残差値は、1つのシンタックス構造において提示され得る。DC残差値は、ピクセル値領域におけるDCオフセットであり得る。区分のこの単一のシンタックス構造は、区分がイントラ予測されるかインター予測されるかにかかわらず、区分に対するDC残差データを含む。たとえば、イントラ予測とインター予測のいずれかに対して、シンタックス構造は、DC残差値の絶対値とその符号(プラスまたはマイナス)とを含み得る。DC残差シンタックス要素の例は、残差を示すためのdepth_dc_absと、符号を示すためのdepth_dc_sign_flagとを含む。たとえば、depth_dc_absおよびdepth_dc_sign_flagは、DcOffsetの値を導出するために使用され得る。このようにして、ビデオエンコーダ20は、1つのシンタックス構造によって提示されるべきインターコーディングされたCUまたはイントラコーディングされたCUに対するDC残差データを統一するように構成され得る。いくつかの例では、シンタックス構造におけるDC残差データは、DC残差値と符号とを含み得る。他の例では、DC残差データは、DLTを使用してシグナリングされ得る。この場合、DC残差データは、たとえば深度PUまたは区分に対して、元のDC値のDLTインデックスと予測されるDC値のDLTインデックスとの間の差分としてシグナリングされ得る。
[0196]代替形態として、または加えて、ビデオエンコーダ20は、CUが区分のいずれかに0ではないDC残差値を含むかどうかを示す、イントラコーディングされたCUに対するフラグをシグナリングし符号化するように構成され得る。このフラグが0である場合、ビデオエンコーダ20は、イントラコーディングされたCUに対するDC残差値をシグナリングせず、DC残差値は、CUの各区分に対して0に等しくなるようにデコーダ30によって推測される。さらなる代替形態として、CUが区分のいずれかに0ではないDC残差値を含むかどうかを示すためにビデオエンコーダ20によって生成されるフラグは、イントラコーディングされたCUとインターコーディングされたCUの両方に適用され得る。
[0197]ビデオエンコーダ20によって生成され、イントラ予測されたCUおよびインター予測されたCUに対するDC残差値をシグナリングするために使用されるシンタックス構造は、上で説明されたように、単一のシンタックス構造であり得る。すなわち、CUがイントラ予測されるかインター予測されるかにかかわらず、単一のシンタックス構造が各深度CUに対して生成され得る。このようにして、イントラ予測モードおよびインター予測モードは、深度CUの区分に対するDC残差値をシグナリングするために、同じシンタックス要素を共有することができる。ビデオエンコーダ20は、深度CUがイントラ予測されるかインター予測されるかにかかわらず、関連するシンタックス要素に対して同じコンテキストモデルおよび/またはバイナリ化処理を使用してシンタックス構造のシンタックス要素をエントロピーコーディングすることができ、これによって、SDCによるイントラ予測およびインター予測のためのエントロピーコーディング処理を統一する。
[0198]代替的に、ビデオエンコーダ20は、シンタックス構造の別の実体、すなわち、イントラ予測のためのDC残差データを含む1つのシンタックス構造とインター予測のためのDC残差データを含む1つのシンタックス構造とを生成することができ、ここでシンタックス構造の実体は、同じシンタックス要素がシンタックス構造の各実体に含まれるという点で、同一または実質的に同一である。この場合、ビデオエンコーダ30は、シンタックス構造の別の実体を別々にエントロピーコーディングし、シンタックス構造のイントラ予測の実体およびシンタックス構造のインター予測の実体に対して、同一である、または別々に保持されている、コンテキストと場合によってはバイナリ化とを使用することができる。コンテキストが別々に保持されている場合でも、イントラSDCモードおよびインターSDCモードはそれでも、深度CUのPUの区分に対するDC残差値を搬送するために、異なる実体においても同じシンタックス要素と同じシンタックス構造とを使用することができる。
[0199]ビデオエンコーダ214は、深度CUと関連付けられる1つまたは複数のPUの区分に対するイントラ予測情報またはインター予測情報を符号化する(214)。たとえば、ビデオエンコーダ214は、各PUに対するコーディングモードの指示と、デコーダ側における各PUのインター予測またはイントラ予測のための任意の他の情報とを符号化することができる。SDCイントラ予測のために、たとえば、ビデオエンコーダ20は、HEVCイントラ予測モード、DMMモード、または他のイントラモードのために、イントラコーディングモード情報を符号化することができる。イントラ予測のために、たとえば、ビデオエンコーダ20は、インター予測された深度PUおよび/または区分の生成のための動き情報を符号化することができる。ビデオエンコーダ214は、SDCシンタックス要素(すなわち、CUレベルにおけるSDCの使用を示す)と、SDCシンタックス構造(すなわち、PUの区分に対するDC値を示す)と、デコーダ側における3D−HEVC復号処理のような3D復号処理の一部として深度CUを復号し再構築する際にデコーダ30により使用するためのイントラ予測情報またはインター予測情報をエントロピーコーディングすることができる。
[0200]図8は、深度イントラ予測モードと深度インター予測モードの両方のためにSDCを使用することを示すために、図7を参照して上で説明されたシンタックス要素のような、SDCシンタックス要素の復号を示す流れ図である。一般に、図8は、ビデオデコーダ30のデコーダ側の観点からの、図7に示される処理を記述する。したがって、図7を参照して説明された様々な動作およびシンタックスの詳細は、図8と同様の方式で、しかしビデオデコーダ30の観点から適用され得る。図8に示されるように、ビデオデコーダ30は、予測される深度情報を生成するために、深度CUに対するイントラ予測モードおよび/またはインター予測モードの情報を復号するように構成され得る。加えて、ビデオデコーダ30は、すなわち、深度イントラ予測モードおよび深度インター予測モードが使用されるかどうかにかかわらず、SDCがCUのために使用されるべきであるかどうかを示すSDCシンタックス要素(たとえば、sdc_flag)を受信し復号することができる。言い換えると、シンタックス要素は、イントラCUとインターCUの両方のためのSDCをシグナリングするために使用される。
[0201]図7を参照して論じられるように、深度イントラ予測および深度インター予測のためのSDCのシグナリングを別々に独立に受信する代わりに、ビデオデコーダ20は、深度イントラ予測と深度インター予測の両方にSDCが適用されることを示すSDCシンタックス要素を受信する。やはり、SDCシンタックス要素は、sdc_flagシンタックス要素であってよく、図7を参照して上で説明されたシンタックス要素の説明に別様に準拠してよい。1というsdc_flagの値は、CUに対する深度イントラ予測と深度インター予測の両方のためにSDCが使用されるべきであることを示してよく、0というsdc_flagの値は、CUに対する深度イントラ予測と深度インター予測のいずれかのためにSDCが使用されるべきではないことを示してよい。
[0202]ビデオデコーダ30は、CUレベルの一般的なコーディングユニットパラメータ中でSDCシンタックス要素を受信することができる。したがって、ビデオデコーダ30は、CUごとにSDCシンタックス要素を受信し復号することができる。いくつかの例では、ビデオデコーダ30は、スライスセグメント中のすべての深度CUに対してSDCが有効にされることを示す別のSDCシンタックス要素をスライスセグメントヘッダ中で受信することができる。さらに他の例では、ビデオデコーダ30は、コーディングされたビデオシーケンス全体の中の、またはピクチャの中の深度CUのイントラ予測およびインター予測のためにSDCが有効にされることを示す、別のシンタックス要素を受信することができる。たとえば、ビデオデコーダ30は、たとえば3D−HEVCのためのビデオパラメータセット(VPS)拡張において、シーケンスパラメータセット(SPS)において、またはピクチャパラメータセット(PPS)において、追加のSDCシンタックス要素(SDCが有効化または無効化されることを示す)を受信することができる。したがって、ビデオデコーダ30は、SDCがシーケンス、ピクチャ、またはスライス中のCUのために有効にされることを示す第1のSDCシンタックス要素と、SDCが特定のCUのために実際に使用されることを示すCUレベルの第2のSDC要素(たとえば、sdc_flag)とを受信することができる。
[0203]SDCがイントラ予測およびインター予測のために使用されない(たとえば、sdc_flag=0)ものとして示される場合(224)、デコーダ30は、イントラ予測またはインター予測されたPUの再構築において使用するための非SDC残差データを取得するために、ビットストリームを復号する。SDCがイントラ予測およびインター予測のために使用される(たとえば、sdc_flag=1)ことをシンタックス要素が示す場合(224)、デコーダ30は、現在のCUの深度PUの区分に対してSDC残差データを生成するためにシンタックス構造を復号する。これは、CU中のPUの複数の区分に対して繰り返され得る。デコーダ30は、複数のシンタックス構造を受信することができ、シンタックス構造はそれぞれの深度PUの区分に対するSDC残差データを含む。図8を参照して説明されたように、各深度PUに対するシンタックス構造は、深度PUがイントラコーディングされるかインターコーディングされるかにかかわらず単一のシンタックス構造であってよく、または、イントラコーディングされた深度PUおよびインターコーディングされた深度PUのためのそれぞれの同じシンタックス構造の別の実体であってよい。現在の深度CUが各区分に対してSDCによってコーディングされるとき、インターコーディングされたCUまたはイントラコーディングされたCUに対するDC残差値は、シンタックス構造において提示され得る。したがって、区分のこのシンタックス構造は、区分がイントラ予測されるかインター予測されるかにかかわらず、区分に対するDC残差データを含む。
[0204]たとえば、イントラ予測とインター予測のいずれかに対して、ビデオデコーダ30によって復号されるシンタックス構造は、DC残差値の絶対値とその符号(プラスまたはマイナス)とを含み得る。シンタックス構造中のDC残差シンタックス要素の例は、残差を示すためのdepth_dc_absと、符号を示すためのdepth_dc_sign_flagとを含む。このようにして、同じシンタックス構造、または少なくとも同じシンタックス要素を使用することによって、深度イントラコーディングと深度インターコーディングの両方のためのDC残差データを搬送するために、ビデオデコーダ30は、インターコーディングされたCUまたはイントラコーディングされたCUのためのDC残差値を統一するように構成され得る。いくつかの例では、シンタックス構造におけるDC残差データは、DC残差値と符号とを含み得る。他の例では、DC残差データは、DLTを使用してシグナリングされ得る。この場合、DC残差データは、たとえば深度PUまたは区分に対して、元のDC値のDLTインデックスと予測されるDC値のDLTインデックスとの間の差分としてシグナリングされ得る。
[0205]いくつかの例では、図7を参照して説明されたように、図8の動作において、ビデオデコーダ30は、CUが区分のいずれかに0ではないDC残差値を含むかどうかを示す、イントラコーディングされたCUに対するフラグをシグナリングし復号するように構成され得る。このフラグが0である場合、ビデオデコーダ20は、イントラコーディングされたCUに対するDC残差値を解析せず、代わりに、CUの各区分に対して0に等しいものとしてDC残差値を推測する。さらなる代替形態として、CUが区分のいずれかに0ではないDC残差値を含むかどうかを示すためにビデオデコーダ30によって復号されるフラグは、イントラコーディングされたCUとインターコーディングされたCUの両方に適用され得る。
[0206]ビデオデコーダ30によって復号されるシンタックス構造は、上で説明されたように、単一のシンタックス構造であり得る。すなわち、CUがイントラ予測されるかインター予測されるかにかかわらず、単一のシンタックス構造が各深度CUに対して生成され得る。このようにして、イントラ予測モードおよびインター予測モードは、深度CUの区分に対するDC残差値をシグナリングするために、同じシンタックス要素を共有することができる。ビデオデコーダ20は、深度CUがイントラ予測されるかインター予測されるかにかかわらず、関連するシンタックス要素に対して同じコンテキストモデルとバイナリ化処理の少なくとも1つを使用してシンタックス構造をエントロピー復号することができ、これによって、SDCによるイントラ予測およびインター予測のためのエントロピー復号処理を統一する。コンテキスト適応型エントロピーコーディング処理のために使用されるコンテキストモデルおよびバイナリ化処理の少なくとも1つは、シンタックス構造中の同じシンタックス要素、たとえばdepth_dc_absおよびdepth_dc_sign_flagに対しては同じであり得る。
[0207]代替的に、図8の動作では、ビデオデコーダ30は、シンタックス構造の別の実体、すなわち、イントラ予測のためのDC残差データを含む1つのシンタックス構造とインター予測のためのDC残差データを含む1つのシンタックス構造とを受信し復号することができ、ここでシンタックス構造の実体は、図7を参照して説明されたように、同じシンタックス要素がシンタックス構造の各実体に含まれるという点で実質的に同一である。この場合、ビデオデコーダ30は、シンタックス構造の別の実体を別々に、しかし同じシンタックス要素によってエントロピー復号し、シンタックス構造のイントラ予測の実体およびシンタックス構造のインター予測の実体に対して、同一である、または別々に保持されている、コンテキストと場合によってはバイナリ化とを使用することができる。やはり、残差を示すための同じシンタックス要素、たとえばdepth_dc_abs、および符号を示すためのdepth_dc_sign_flagが、単一のシンタックス構造が提供されるかシンタックス構造の別の実体が提供されるかにかかわらず使用され得る。各々の場合において、イントラ予測モードとインター予測モードの両方のためのSDC残差データを搬送するために、同じシンタックス要素が使用され得る。いくつかの例では、コンテキスト適応型エントロピーコーディング処理のために使用されるコンテキストモデルおよびバイナリ化処理の少なくとも1つは、シンタックス構造の異なる実体の中の同じシンタックス要素、たとえばdepth_dc_absおよびdepth_dc_sign_flagに対しては同じであり得る。他の例では、コンテキスト適応型エントロピーコーディング処理のために使用されるコンテキストモデルおよびバイナリ化処理の1つまたは両方が、シンタックス構造の異なる実体の中のシンタックス要素、たとえばdepth_dc_absおよびdepth_dc_sign_flagに対しては異なり得る。
[0208]SDCコーディングまたは非SDCコーディングの場合、ビデオデコーダ30は、深度イントラモードまたは深度インターモードが現在のCUに適用されるかどうかを決定する(230)。ビデオデコーダ30は適宜、符号化されたビデオビットストリームにおいて提供されるモード情報を使用して、各深度PUをインター予測し(232)、または各深度PUをイントラ予測する(234)。モード情報は、たとえば、イントラ予測される深度PUおよび/もしくは区分の生成のための、HEVCイントラ予測モード、DMMモード、もしくは他のイントラモードのためのイントラコーディングモード情報、または、インター予測された深度PUおよび/もしくは区分の生成のためのインターコーディングモード情報と動き情報とを含み得る。そのような情報を使用して、ビデオデコーダ30は、深度PUおよび/または区分のための予測サンプルを生成する。
[0209]ビデオデコーダ30は、SDC残差データと非SDC残差データのいずれかと、予測される深度PUとを使用して、深度CUのPUの区分を再構築する。たとえば、SDCコーディングの場合、所与のPUに対して、ビデオデコーダ30は、SDCシンタックス構造においてシグナリングされるDC残差値を適用し、または、SDCシンタックス構造において提供されるインデックス値の差分もしくは他の情報に基づいて、DLTからDC残差値を導出する。ビデオデコーダ30は、元のサンプルを再構築するために、予測されるPU区分の予測されるサンプルにDC残差値を加算する。このようにして、ビデオデコーダ30は、イントラコーディングおよびインターコーディングのためにそれぞれ別々のシンタックス要素とシンタックス構造とを使用する代わりに、SDCイントラ復号とSDCインター復号とを統一するためにSDCシンタックス要素とSDCシンタックス構造とを使用する。
[0210]図9は、符号化されたビデオシーケンス全体の中の深度ブロックに対してSDCを使用することを示すためのシンタックス要素の復号を示す流れ図である。一般に、デコーダ側の観点からの図9に示される動作は、図7および図8に示される方法とともに使用するための可能性のある特徴を表す。図9の例では、ビデオデコーダ30は、深度イントラ予測と深度インター予測の両方のためにSDCが有効にされるか無効にされるかを示す、SDCシンタックス要素を復号する(240)。ビデオデコーダ30は、たとえば、ビデオパラメータセット(VPS)拡張、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、またはスライスセグメントヘッダにおいて、SDCシンタックス要素を受信することができる。VPSまたはSPSにおいて受信されるとき、SDCシンタックス要素がSDCの有効化を示す場合、ビデオデコーダ30は、ビデオシーケンス全体について、すべてのイントラ予測モードおよびインター予測モードに対して有効にされるものとしてSDCを見なすべきであり、SDCがCUのために使用されるかどうかを示すCUレベルの別のシンタックス要素(たとえば、sdc_flag)を受信するべきである。代替形態として、SDCシンタックス要素がPPSにおいて受信され、SDCの有効化を示すとき、ビデオデコーダ30は、対応するピクチャのすべての深度ブロックに対して、CUレベルで追加のSDCシンタックス要素(たとえば、sdc_flag)を受信することができる。さらなる代替形態として、SDCシンタックス要素がスライスセグメントヘッダにおいて受信され、SDCの有効化を示すとき、ビデオデコーダ30は、対応するスライスセグメントのすべての深度ブロックに対して、CUレベルで追加のSDCシンタックス要素(たとえば、sdc_flag)を受信することができる。
[0211]SDCが有効にされるものとして示される場合(242)、図9の例では、ビデオデコーダは、コーディングされるビデオシーケンス全体について、深度イントラコーディングモードおよび深度インターコーディングモードに対して有効にされるものとしてSDCを解釈し、シーケンス中のCUに対するCUレベルのsdc_flagシンタックス要素のためのビットストリームを解析することができる。SDCが有効にされない場合(242)、ビデオデコーダ30は、コーディングされたビデオシーケンス全体に対する、通常の非SDC残差コーディングを深度ブロックに適用する。このようにして、SDCの有効化または無効化は、深度イントラモードと深度インターモードの両方に対して、コーディングされたビデオシーケンス全体に対して、1回シグナリングされ得る。したがって、コーディングされたビデオシーケンス全体のための復号処理においてイントラSDCモードとインターSDCモードの両方を有効/無効にするために、1つのシンタックス要素が使用され得る。代替的に、SDC有効化/無効化は、ピクチャまたはスライスセグメントの全体に対してシンタックス要素によって1回シグナリングされ得る。各々の場合において、CUのための実際のSDCの使用は、CUレベルの一般的なコーディングユニットパラメータにおいてシンタックス要素によってシグナリングされ得る。
[0212]いくつかの例では、コーディングされたビデオシーケンス全体に対して、またはピクチャもしくはスライスセグメントに対して、SDCがイントラモードおよびインターモードのために有効にされるかどうかを1つのシンタックス要素によって示す代わりに、SDCが深度イントラ予測モードのために有効にされるかどうかを示すための単一の(第1の)フラグを、ビデオエンコーダ20が符号化し、ビデオデコーダ30が復号することができる。たとえば、この第1のフラグは、SDCがコーディングされたビデオシーケンス全体に対してイントラモードのために有効にされるかどうかを示すために使用され得る。いくつかの例では、この第1のフラグが真である場合、すなわち、SDCがコーディングされたビデオシーケンス全体に対してイントラモードのために有効にされるべきである場合、SDCがコーディングされたビデオシーケンス全体に対してインターモードのために有効にされるかどうか、すなわち、SDCがコーディングされたビデオシーケンス全体に対してインターモードのためにも有効にされるかどうかを示すために使用される、追加の(第2の)フラグを、ビデオエンコーダ20は符号化し、ビデオデコーダ30は復号する。
[0213]第1のフラグが真ではなく、SDCがイントラモードのために有効にされない場合、SDCがインターモードのために有効にされるかどうかを示す第2のフラグを、ビデオエンコーダ20は生成する必要はなく、ビデオデコーダ30は解析する必要はない。いくつかの例では、SDCイントラの有効化を示すための第1のフラグ、およびSDCインターの有効化を示すための第2のフラグが、コーディングされたビデオシーケンス全体に対してVPSまたはSPSにおいて提供され得る。代替的に、いくつかの例では、SDCイントラの有効化を示すための第1のフラグ、およびSDCインターの有効化を示すための第2のフラグが、PPSまたはスライスセグメントヘッダにおいて提供され得る。各々の場合において、CUのための実際のSDCの使用は、たとえばsdc_flagを使用して、CUレベルで示され得る。
[0214]図10は、イントラ予測モードおよびインター予測モードのためのSDC残差データを取得するための単一のシンタックス構造の復号を示す流れ図である。図10の例では、ビデオデコーダ30は、図7および図8を参照して上で説明されたように、深度イントラモードと深度インターモードの両方のための単一のSDCシンタックス構造を復号する。図10に示されるように、ビデオデコーダ30は、たとえば深度CUに対してSDCが深度イントラ予測と深度インター予測の両方のためにCUレベルで使用されるかどうかを示す、SDCシンタックス要素を復号する。図10ではSDCが使用されることをシンタックス要素が示すと仮定され、この場合、ビデオデコーダ30はさらに、所与の深度CUのPUの1つまたは複数の区分のためのSDC残差データを含む単一のSDCシンタックス構造を復号する。
[0215]図10の例では、図7および図8を参照して上で説明されたように、単一のSDCシンタックス構造は、深度イントラモードと深度インターモードの両方のために送信される単一のシンタックス構造であってよく、または、それぞれ深度イントラモードおよび深度インターモードのための同じシンタックス構造の別の実体であってよい。各々の場合において、シンタックス構造は、深度イントラモードおよび深度インターモードのために同じシンタックス要素を使用する。たとえば、SDCシンタックス構造は、1つまたは複数のDC残差値もしくは符号、または、DC残差値の導出のためのDLTインデックス差分値を示す、シンタックス要素を含み得る。DC残差データを示すためのシンタックス要素の例は、残差を示すためのdepth_dc_absと、符号を示すためのdepth_dc_sign_flagとを含む。
[0216]深度CUがインターコーディングされるかイントラコーディングされるかを決定すると(254)、ビデオデコーダ30は、現在の深度PUのための参照サンプルをインター予測し(256)、またはイントラ予測する(258)。ビデオデコーダ30は次いで、深度イントラモードまたは深度イントラモードのための単一のSDCシンタックス要素においてシグナリングされる、または、それぞれ深度イントラモードもしくは深度インターモードのために同じSDCシンタックス構造の別の実体においてシグナリングされる、SDC残差データを使用して深度CUのPUの区分を再構築する。たとえば、ビデオデコーダ30は、元のサンプルを再構築するために、イントラ予測またはインター予測されるPUの予測サンプルにDC残差値を加算する。
[0217]SDCによって生成される残差値のために使用されるシンタックス構造が同じシンタックス要素および/または同じシンタックス構造を共有する場合、たとえばビデオエンコーダ20およびビデオデコーダ30によって実行されるコンテキスト適応型バイナリ算術コーディング(CABAC)エントロピーコーディング処理のために、深度イントラ予測モードと深度インター予測モードの両方のための関連するシンタックス要素に対するコンテキストモデルおよびバイナリ化処理は、統一され得る。たとえば、SDCによって生成される残差値のためのシンタックス要素は、深度イントラ予測モードと深度インター予測モードの両方について、同じコンテキストモデルを使用してビデオエンコーダ20によってエントロピー符号化されビデオデコーダ30によってエントロピー復号され得る。
[0218]やはり、単一のSDCシンタックス構造を使用することの代わりとして、同じSDCシンタックス構造の別の実体が、深度イントラモードおよび深度インターモードのためにSDC残差データを提供するために、ビデオエンコーダ20によって符号化されビデオデコーダ30によって復号され得る。SDCシンタックス構造の第1の実体は、深度イントラモードのためのSDC残差データを提供するためにコーディングされ(すなわち、符号化または復号され)てよく、SDCシンタックス構造の第2の実体は、深度インターモードのためのSDC残差データを提供するためにコーディングされ得る。どの深度モード(イントラまたはインター)が深度CUのために使用されるかに応じて、ビデオデコーダ30は、SDCシンタックス構造の関連する実体(たとえば、イントラのための第1の実体およびインターのための第2の実体)からシンタックス要素を復号して回収し、深度CUを再構築するためにシンタックス要素によって示されるDC残差データを使用する。この例では、シンタックス構造の各実体のためのシンタックス構造において、同じシンタックス要素が使用される。ビデオエンコーダ20およびビデオエンコーダ30によってSDCシンタックス構造の別の実体をエントロピーコーディングするために、別のコンテキストおよび/またはバイナリ化が維持され得る。代替的に、別の実体は、同じコンテキストおよび/またはバイナリ化を使用してエントロピーコーディングされ得る(CABAC)。
[0219]図11は、デコーダ側におけるSDCコーディングに対する例示的な制約の使用を示す流れ図である。図11に示されるように、ビデオデコーダ30は、sdc_flagのようなSDCシンタックス要素を復号する(262)。SDCが使用されることをSDCシンタックス要素が示すとき(264)、たとえばCUに対して、ビデオデコーダ30は、たとえば現在のCUのためにパルス符号変調(PCM)が無効にされるように制約を適用する(266)。SDCコーディングがCUのために使用されないとき、PCMは有効にされたままであり得る(267)。このようにして、ビデオデコーダ30は、SDCがCUのためにシグナリングされるときにPCMを除外するように、コーディング動作を制約する。PCMが無効にされるという制約によって、いくつかの例では、ビデオデコーダ30は、PCMモードの情報を解析する必要がない。
[0220]図12は、デコーダ側におけるSDCコーディングに対する別の例示的な制約の使用を示す流れ図である。追加の制約の例として、ビデオデコーダ30は、現在のCUの区分サイズを決定し(268)、または、スライス、ピクチャ、もしくはビデオシーケンスにおけるコーディングされるべき各CUの区分サイズを決定することができる。一例では、現在のCUの区分サイズが2Nx2Nに等しくない場合、ビデオデコーダ30は、関連するCUに対してSDCを無効にする(272)。区分サイズが2Nx2Nに等しい場合、SDCはビデオデコーダ30によって使用され得る(270)。SDCの使用は、CUのためのsdc_flagの値に依存する。このようにして、ビデオデコーダ30は、SDCが2Nx2Nの区分サイズを伴うCUだけのために使用されるように、制約を適用する。代替例として、ビデオデコーダ30は、2Nx2Nの区分サイズを伴うインターCUおよび2Nx2NまたはNxNの区分サイズを伴うイントラCUだけのためにSDCが使用されるという制約を適用することができる。ビデオエンコーダ20は、上で説明されたように、特定の区分サイズだけのためにSDCモードを適用するように構成され得る。しかしながら、デコーダ側において制約を適用することによって、ビデオエンコーダ20は、どの特定のCUがSDCモード予測を使用するかをシグナリングする必要がなくなり得る。代わりに、ビデオエンコーダ20は、深度イントラモードと深度インターモードの両方のためにSDCが使用されるかどうかを示すためにSDCシンタックス要素を単に生成し、次いで、区分サイズの要件を満たすCUにSDCを適用することができる。この制約によって、ビデオデコーダ30は、適用可能な区分サイズの要件を満たさないCUに、非SDCコーディングを適用する。
[0221]上で説明された技法は、その両方が一般にビデオコーダと呼ばれ得る、ビデオエンコーダ20(図1および図5)および/またはビデオデコーダ30(図1および図6)によって実行され得る。加えて、ビデオコーディングは一般に、適用可能な場合、ビデオ符号化および/またはビデオ復号を指し得る。
[0222]本開示の技法は全般に3D−HEVCに関して説明されたが、本技法はこのように限定されない。上で説明された技法は、ビデオコーディングのための他の現在の規格または将来の規格にも適用可能であり得る。たとえば、深度コーディングのための技法は、たとえば3Dビデオコーディングまたは他の用途のために、深度成分のコーディングを必要とする他の現在のまたは将来の規格にも適用可能であり得る。
[0223]1つまたは複数の例では、本明細書で説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、たとえば、データ記憶媒体などの有形媒体、または、たとえば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的である有形のコンピュータ可読記憶媒体、または(2)信号もしくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明される技法の実施のための命令、コードおよび/またはデータ構造を取り出すために、1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
[0224]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、任意の接続が、コンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0225]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積回路もしくはディスクリート論理回路のような、1つまたは複数のプロセッサによって実施され得る。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれかまたは本明細書で説明された技法の実装に適切な任意の他の構造を指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成されるか、または複合コーデックに組み込まれる、専用のハードウェアモジュールおよび/またはソフトウェアモジュール内で提供され得る。また、本技法は、1つまたは複数の回路または論理素子において完全に実装され得る。
[0226]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置で実装され得る。様々なコンポーネント、モジュール、またはユニットは、開示されている技術を実行するように構成されたデバイスの機能的態様を強調するように本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。そうではなく、上で説明されたように、様々なユニットは、コーデックハードウェアユニット中で組み合わせられるか、または上で説明された1つまたは複数のプロセッサを含む、適切なソフトウェアおよび/またはファームウェアとともに相互動作可能なハードウェアユニットの集合体によって提供され得る。
[0227]様々な例が説明されてきた。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。

Claims (87)

  1. ビデオデータを復号する方法であって、
    簡易深度コーディング(SDC)モードが前記ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために使用されるかどうかを示す、シンタックス要素を受信することと、
    前記深度CUがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行することと、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行することと、
    前記SDCモードが使用されることを前記シンタックス要素が示すとき、前記深度CUの予測ユニット(PU)の各区分に対して、前記深度CUに対する少なくとも1つのDC残差値を表す情報を受信することと、ここにおいて、前記少なくとも1つのDC残差値は、前記深度CUの前記PUの前記区分と前記予測された深度CUの対応する区分との間のピクセル差分を表す、
    前記少なくとも1つのDC残差値と前記予測された深度CUとを使用して、前記深度CUを再構築することとを備える、方法。
  2. 前記シンタックス要素が、前記SDCモードが前記深度CUのイントラ予測とインター予測の両方のために使用されることを示す第1の値と、前記SDCモードが前記深度CUのイントラ予測とインター予測のいずれかのために使用されないことを示す第2の値とを有する、1ビットのフラグを備える、請求項1に記載の方法。
  3. 前記シンタックス要素が第1のシンタックス要素であり、前記SDCモードが使用されることを前記第1のシンタックス要素が示すとき、前記ビデオデコーダにおいて、前記深度CUの前記PUの1つの区分に対する前記少なくとも1つのDC残差値を表す前記情報を示す1つまたは複数の第2のシンタックス要素を備えるシンタックス構造を取得することを備え、前記シンタックス構造の前記第2のシンタックス要素が、前記深度CUの前記イントラ予測および前記インター予測に対して同じである、請求項1に記載の方法。
  4. 前記シンタックス構造を取得することが、前記イントラ予測および前記インター予測のための単一のシンタックス構造を取得することを備え、前記単一のシンタックス構造が、前記深度CUの前記イントラ予測と前記インター予測の1つに対する前記少なくとも1つのDC残差値を表す前記情報を示す前記第2のシンタックス要素を備える、請求項3に記載の方法。
  5. 前記シンタックス構造を取得することが、前記イントラ予測および前記インター予測に対して前記同じシンタックス構造の異なる実体をそれぞれ取得することを備え、前記シンタックス構造の前記異なる実体の各々が前記同じ第2のシンタックス要素を含む、請求項3に記載の方法。
  6. 前記シンタックス構造を取得することが、コンテキスト適応型エントロピー復号処理を使用してシンタックス構造の前記異なる実体をエントロピー復号することを備え、前記コンテキスト適応型エントロピー復号処理のために使用される前記コンテキストモデルとバイナリ化処理の少なくとも1つが、前記シンタックス構造の前記異なる実体において前記同じシンタックス要素に対して同じである、請求項5に記載の方法。
  7. 前記SDCモードが使用されることを前記シンタックス要素が示すとき、前記ビデオデコーダにおいて、少なくとも1つまたは前記イントラ予測または前記インター予測に対する前記深度CUの任意の区分に対して0ではないDC残差値があるかどうかを示すフラグを受信することをさらに備え、前記深度CUの任意の区分に対する0ではないDC残差値がないことを前記フラグが示すとき、前記深度CUに対する前記少なくとも1つのDC残差値を表す前記情報を受信しないことと、前記少なくとも1つのDC残差値を0であると推測することとをさらに備える、請求項1に記載の方法。
  8. 前記SDCモードが使用されることを前記シンタックス要素が示すとき、前記深度CUに対する前記ビデオデコーダによるパルス符号変調(PCM)復号の前記使用を無効にすることをさらに備える、請求項1に記載の方法。
  9. 2Nx2Nの区分サイズを有する深度CUへの前記SDCモードの前記使用を制約することをさらに備える、請求項1に記載の方法。
  10. 前記SDCモードの前記使用を、インター予測された深度CUは2Nx2Nの区分サイズを有すると、2Nx2NまたはNxNの区分サイズを有するイントラ予測された深度CUとに制約することをさらに備える、請求項1に記載の方法。
  11. 前記SDCモードが使用されることを前記シンタックス要素が示すとき、コーディングされたビデオシーケンス全体において、複数の深度CUの各々の再構築のために前記SDCモードを使用することをさらに備える、請求項1に記載の方法。
  12. 前記シンタックス要素を取得することが、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記シンタックス要素を取得することを備える、請求項11に記載の方法。
  13. 前記シンタックス要素を取得することが、前記深度CUと関連付けられるスライスセグメントヘッダにおいて前記シンタックス要素を取得することを備える、請求項1に記載の方法。
  14. 前記深度CUが現在の深度CUであり、前記シンタックス要素が、前記SDCモードが前記現在の深度CUのために使用されるかどうかを示し、前記SDCモードが使用されることを前記シンタックス要素が示すとき、前記現在の深度CUの前記再構築のために前記SDCモードを使用することをさらに備える、請求項1に記載の方法。
  15. 前記深度CUが現在のイントラコーディングされた深度CUであり、前記シンタックス要素が、前記SDCモードが前記現在の深度CUのために使用されるかどうかを示し、前記予測される深度CUを生成するために前記イントラ予測を実行するとき、前記深度CUの深度成分に対応するテクスチャ成分からのサンプルを使用することをさらに備える、請求項1に記載の方法。
  16. ビデオデータを符号化する方法であって、
    深度CUがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行することと、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行することと、
    簡易深度コーディング(SDC)モードが使用されるとき、前記深度CUの予測ユニット(PU)の各区分に対して、前記深度CUに対する少なくとも1つのDC残差値を表す情報を生成することと、ここにおいて、前記少なくとも1つのDC残差値は、前記深度CUの前記PUの前記区分と前記予測された深度CUの対応する区分との間のピクセル差分を表す、
    前記SDCモードが使用されるとき、前記ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために前記SDCモードが使用されることを示すシンタックス要素を生成することと、
    前記ビデオエンコーダにおいて、前記少なくとも1つのDC残差値と前記シンタックス要素とを表す前記情報に基づいて、前記深度CUを符号化することとを備える、方法。
  17. 前記シンタックス要素が、前記SDCモードが前記深度CUのイントラ予測とインター予測の両方のために使用されることを示す第1の値と、前記SDCモードが前記深度CUのイントラ予測とインター予測のいずれかのために使用されないことを示す第2の値とを有する、1ビットのフラグを備える、請求項16に記載の方法。
  18. 前記シンタックス要素が第1のシンタックス要素であり、前記SDCモードが使用されるとき、
    前記ビデオエンコーダにおいて、前記深度CUに対する前記少なくとも1つのDC残差値を表す情報を示す1つまたは複数の第2のシンタックス要素を備えるシンタックス構造を生成することと、ここにおいて、前記シンタックス構造の前記第2のシンタックス要素は前記深度CUの前記イントラ予測および前記インター予測に対して同じである、
    前記深度CUのための前記シンタックス構造を符号化することとをさらに備える、請求項16に記載の方法。
  19. 前記シンタックス構造を生成することが、前記イントラ予測および前記インター予測のための単一のシンタックス構造を生成することを備え、前記単一のシンタックス構造が、前記深度CUの前記イントラ予測と前記インター予測の1つに対する前記少なくとも1つのDC残差値を表す情報を示す前記第2のシンタックス要素を備える、請求項18に記載の方法。
  20. 前記シンタックス構造を生成することが、前記イントラ予測および前記インター予測に対して前記シンタックス構造の異なる実体をそれぞれ取得することを備え、前記シンタックス構造の前記異なる実体の各々が前記同じ第2のシンタックス要素を含む、請求項18に記載の方法。
  21. 前記シンタックス構造を生成することが、コンテキスト適応型エントロピー符号化処理を使用して前記シンタックス構造の前記異なる実体をエントロピー復号することを備え、前記コンテキスト適応型エントロピー符号化処理のために使用されるコンテキストモデルが、前記シンタックス構造の前記異なる実体に対して同じである、請求項20に記載の方法。
  22. 前記SDCモードが使用されるとき、少なくとも1つまたは前記イントラ予測または前記インター予測に対する前記深度CUの任意の区分に対して0ではないDC残差値があるかどうかを示すフラグを生成することをさらに備え、前記深度CUの任意の区分に対する0ではないDC残差値がないことを前記フラグが示すとき、前記深度CUに対する前記少なくとも1つのDC残差値を表す前記情報を生成しないことをさらに備える、請求項16に記載の方法。
  23. 2Nx2Nの区分サイズを有する深度CUへの前記SDCモードの前記使用を制約することをさらに備える、請求項16に記載の方法。
  24. 前記SDCモードの前記使用を、インター予測された深度CUは2Nx2N区分サイズを有すると、2Nx2NまたはNxNの区分サイズを有するイントラ予測された深度CUとに制約することをさらに備える、請求項16に記載の方法。
  25. コーディングされたビデオシーケンス全体において、複数の深度CUの各々に対する前記SDCモードの前記使用を示すために、前記シンタックス要素を符号化することをさらに備える、請求項16に記載の方法。
  26. 前記シンタックス要素を符号化することが、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記シンタックス要素を符号化することを備える、請求項25に記載の方法。
  27. 前記シンタックス要素を符号化することが、前記深度CUと関連付けられるスライスセグメントヘッダにおいて前記シンタックス要素を符号化することを備える、請求項16に記載の方法。
  28. 前記深度CUが現在の深度CUであり、前記シンタックス要素が、前記SDCモードが前記現在の深度CUのために使用されるかどうかを示し、前記現在の深度CUに対する前記シンタックス要素を符号化することをさらに備える、請求項16に記載の方法。
  29. 前記深度CUが現在のイントラコーディングされた深度CUであり、前記シンタックス要素が、前記SDCモードが前記現在の深度CUのために使用されるかどうかを示し、前記予測される深度CUを生成するために前記イントラ予測を実行するとき、前記深度CUの深度成分に対応するテクスチャ成分からのサンプルを使用することをさらに備える、請求項1に記載の方法。
  30. ビデオデータを記憶するメモリと、
    1つまたは複数のプロセッサとを備えるビデオコーダであって、前記1つまたは複数のプロセッサが、
    簡易深度コーディング(SDC)モードが前記ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために使用されるかどうかを示す、シンタックス要素をコーディングし、
    前記深度CUがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行し、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行し、
    前記SDCモードが使用されるとき、前記深度CUの予測ユニット(PU)の各区分に対して、前記深度CUに対する少なくとも1つのDC残差値を表す情報をコーディングするように構成され、前記少なくとも1つのDC残差値が、前記深度CUの前記PUの前記区分と前記予測された深度CUの対応する区分との間のピクセル差分を表す、ビデオコーダ。
  31. 前記ビデオコーダがビデオデコーダを備え、前記1つまたは複数のプロセッサが、前記シンタックス要素を復号し、前記少なくとも1つのDC残差値を表す情報を復号し、前記少なくとも1つのDC残差値と前記予測された深度CUとを使用して前記深度CUを再構築するように構成される、請求項30に記載のビデオコーダ。
  32. 前記ビデオコーダが、ビデオエンコーダを備え、前記1つまたは複数のプロセッサが、前記少なくとも1つのDC残差値と前記シンタックス要素とを表す前記情報を符号化するように構成される、請求項30に記載のビデオコーダ。
  33. 前記シンタックス要素が、前記SDCモードが前記深度CUのイントラ予測とインター予測の両方のために使用されることを示す第1の値と、前記SDCモードが前記深度CUのイントラ予測とインター予測のいずれかのために使用されないことを示す第2の値とを有する、フラグを備える、請求項30に記載のビデオコーダ。
  34. 前記シンタックス要素が第1のシンタックス要素であり、前記1つまたは複数のプロセッサが、前記SDCモードが使用されることを前記第1のシンタックス要素が示すとき、前記深度CUに対する前記少なくとも1つのDC残差値を表す前記情報を示す1つまたは複数の第2のシンタックス要素を備えるシンタックス構造をコーディングするように構成され、前記シンタックス構造の前記第2のシンタックス要素が、前記深度CUの前記イントラ予測および前記インター予測に対して同じである、請求項30に記載のビデオコーダ。
  35. 前記シンタックス構造が、前記イントラ予測および前記インター予測のための単一のシンタックス構造を備え、前記単一のシンタックス構造が、前記深度CUの前記イントラ予測と前記インター予測の1つに対する前記少なくとも1つのDC残差値を表す前記情報を示す前記第2のシンタックス要素を備える、請求項34に記載のビデオコーダ。
  36. 前記シンタックス構造が、前記イントラ予測および前記インター予測に対して前記シンタックス構造の異なる実体を備え、前記シンタックス構造の前記異なる実体の各々が前記同じ第2のシンタックス要素を含む、請求項34に記載のビデオコーダ。
  37. 1つまたは複数のプロセッサが、コンテキスト適応型エントロピー復号処理を使用して前記シンタックス構造の前記異なる実体をエントロピーコーディングするように構成され、前記コンテキスト適応型エントロピー復号処理のために使用されるコンテキストモデルが、前記シンタックス構造の前記異なる実体に対して同じである、請求項36に記載のビデオコーダ。
  38. 前記1つまたは複数のプロセッサが、前記SDCモードが使用されるとき、前記深度CUの任意の区分に対して0ではないDC残差値があるかどうかを示すフラグをコーディングし、前記深度CUの任意の区分に対する0ではないDC残差値がないことを前記フラグが示すとき、前記深度CUに対する前記少なくとも1つのDC残差値を表す前記情報をコーディングしないように構成される、請求項30に記載のビデオコーダ。
  39. 前記ビデオコーダがビデオデコーダを備え、前記1つまたは複数のプロセッサが、前記SDCモードが使用されることを前記シンタックス要素が示すとき、前記深度CUに対する前記ビデオデコーダによるパルス符号変調(PCM)復号の前記使用を無効にするように構成される、請求項30に記載のビデオコーダ。
  40. 前記ビデオコーダが、ビデオデコーダを備え、前記1つまたは複数のプロセッサが、2Nx2Nの区分サイズを有する深度CUへと前記SDCモードの前記使用を制約するように構成される、請求項30に記載のビデオコーダ。
  41. 前記ビデオコーダが、ビデオデコーダを備え、前記1つまたは複数のプロセッサが、インター予測された深度CUが2Nx2Nの区分サイズを有する、および2Nx2NまたはNxNの区分サイズを有するイントラ予測された深度CUへと前記SDCモードの前記使用を制約するように構成される、請求項30に記載のビデオコーダ。
  42. 前記ビデオコーダがビデオデコーダを備え、前記1つまたは複数のプロセッサが、前記SDCモードが使用されることを前記シンタックス要素が示すとき、コーディングされたビデオシーケンス全体の中の複数の深度CUの各々の再構築のために前記SDCモードを使用するように構成される、請求項30に記載のビデオコーダ。
  43. 前記1つまたは複数のプロセッサが、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記シンタックス要素をコーディングするように構成される、請求項30に記載のビデオコーダ。
  44. 前記1つまたは複数のプロセッサが、前記深度CUと関連付けられるスライスセグメントヘッダにおいて前記シンタックス要素をコーディングするように構成される、請求項30に記載のビデオコーダ。
  45. 前記ビデオコーダが、ビデオデコーダを備え、前記深度CUが現在の深度CUであり、前記シンタックス要素が、前記SDCモードが前記現在の深度CUのために使用されるかどうかを示し、前記1つまたは複数のプロセッサが、前記SDCモードが使用されることを前記シンタックス要素が示すとき、前記現在の深度CUの前記再構築のために前記SDCモードを使用するように構成される、請求項30に記載のビデオコーダ。
  46. 簡易深度コーディング(SDC)モードが前記ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために使用されるかどうかを示す、シンタックス要素をコーディングするための手段と、
    前記深度CUがイントラ予測されるとき、予測された深度CUを生成するためにパフォームイントラ予測を実行するための手段と、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行するための手段と、
    前記SDCモードが使用されるとき、前記深度CUの予測ユニット(PU)の各区分に対して、前記深度CUに対する少なくとも1つのDC残差値を表す情報をコーディングするための手段とを備え、前記少なくとも1つのDC残差値が、前記深度CUの前記PUの前記区分と前記予測された深度CUの対応する区分との間のピクセル差分を表す、ビデオコーダ。
  47. 前記ビデオコーダが、ビデオデコーダを備え、前記シンタックス要素をコーディングするための前記手段が前記シンタックス要素を復号するための手段を備え、前記コーダがさらに、前記ビデオデコーダにおいて、前記少なくとも1つのDC残差値と前記予測された深度CUとを使用して前記深度CUを再構築するための手段とを備える、請求項46に記載のビデオコーダ。
  48. 実行されると、ビデオコーダの1つまたは複数のプロセッサに、
    簡易深度コーディング(SDC)モードが前記ビデオデータの深度コーディングユニット(CU)のイントラ予測とインター予測の両方のために使用されるかどうかを示す、シンタックス要素をコーディングさせ、
    前記深度CUがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行させ、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行させ、
    前記SDCモードが使用されるとき、前記深度CUの予測ユニット(PU)の各区分に対して、前記深度CUに対する少なくとも1つのDC残差値を表す情報をコーディングさせる命令を記憶しており、前記少なくとも1つのDC残差値が、前記深度CUの前記PUの前記区分と前記予測された深度CUの対応する区分との間のピクセル差分を表す、非一時的コンピュータ可読記憶媒体。
  49. 前記ビデオコーダが、ビデオデコーダを備え、前記1つまたは複数のプロセッサに前記シンタックス要素をコーディングさせる前記命令が、前記1つまたは複数のプロセッサに前記シンタックス要素を復号させる命令を備え、前記コンピュータ可読記憶媒体がさらに、前記1つまたは複数のプロセッサに、前記少なくとも1つのDC残差値と前記予測された深度CUとを使用して前記深度CUを再構築させる命令を備える、請求項48に記載のコンピュータ可読媒体。
  50. ビデオデータを復号する方法であって、
    前記ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行することと、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行することと、
    簡易深度コーディング(SDC)モードが使用されるとき、前記深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造を取得することと、ここにおいて、前記シンタックス構造の前記シンタックス要素は前記イントラ予測および前記インター予測に対して同じである、
    前記少なくとも1つのDC残差値と前記予測された深度CUとを使用して、前記深度CUを再構築することとを備える、方法。
  51. 前記シンタックス構造を取得することが、前記イントラ予測および前記インター予測のための単一のシンタックス構造を取得することを備え、前記単一のシンタックス構造が、前記深度CUの前記イントラ予測と前記インター予測の1つに対する前記少なくとも1つのDC残差値を表す情報を示す前記シンタックス要素を備える、請求項50に記載の方法。
  52. 前記シンタックス構造を取得することが、前記イントラ予測および前記インター予測に対して前記同じシンタックス構造の異なる実体を取得することを備え、前記同じシンタックス構造の前記異なる実体の各々が前記同じシンタックス要素を含む、請求項50に記載の方法。
  53. 前記同じシンタックス構造の前記異なる実体を取得することが、コンテキスト適応型エントロピー復号処理を使用して前記シンタックス構造の前記異なる実体をエントロピー復号することを備え、前記コンテキスト適応型エントロピー復号処理のために使用されるコンテキストモデルが、前記シンタックス構造の前記異なる実体に対して同じである、請求項52に記載の方法。
  54. 前記シンタックス要素によって示される前記情報が、前記深度CUの前記DC残差値の絶対値と前記DC残差値の符号とを表す、請求項50に記載の方法。
  55. ビデオデータを符号化する方法であって、
    前記ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行することと、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行することと、
    簡易深度コーディング(SDC)モードが使用されるとき、前記深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造をコーディングすることと、ここにおいて、前記シンタックス構造の前記シンタックス要素は前記イントラ予測および前記インター予測に対して同じである、
    前記少なくとも1つのDC残差値を表す前記情報に基づいて、前記深度CUを符号化することとを備える、方法。
  56. 前記シンタックス構造を符号化することが、前記イントラ予測および前記インター予測のための単一のシンタックス構造を符号化することを備え、前記単一のシンタックス構造が、前記深度CUの前記イントラ予測と前記インター予測の1つに対する前記少なくとも1つのDC残差値を表す情報を示す前記シンタックス要素を備える、請求項55に記載の方法。
  57. 前記シンタックス構造を符号化することが、前記イントラ予測および前記インター予測に対して前記同じシンタックス構造の異なる実体を符号化することを備え、前記同じシンタックス構造の前記異なる実体の各々が前記同じシンタックス要素を含む、請求項55に記載の方法。
  58. 前記同じシンタックス構造の前記異なる実体を符号化することが、コンテキスト適応型エントロピー復号処理を使用して前記シンタックス構造の前記異なる実体をエントロピー符号化することを備え、前記コンテキスト適応型エントロピー符号化処理のために使用されるコンテキストモデルが、前記シンタックス構造の前記異なる実体に対して同じである、請求項57に記載の方法。
  59. 前記シンタックス要素によって示される前記情報が、前記深度CUの前記DC残差値の絶対値と前記DC残差値の符号とを表す、請求項50に記載の方法。
  60. ビデオデータを記憶するメモリと、
    1つまたは複数のプロセッサとを備えるビデオコーダであって、前記1つまたは複数のプロセッサが、
    前記ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、前記ビデオデータの予測された深度CUを生成するためにイントラ予測を実行し、
    前記深度CUがインター予測されるとき、前記ビデオデータの前記予測された深度CUを生成するためにインター予測を実行し、
    簡易深度コーディング(SDC)モードが使用されるとき、前記深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造をコーディングするように構成され、前記シンタックス構造の前記シンタックス要素が前記イントラ予測モードおよび前記インター予測モードに対して同じである、ビデオコーダ。
  61. 前記ビデオコーダがビデオデコーダを備え、前記1つまたは複数のプロセッサが、前記少なくとも1つのDC残差値を表す前記情報を取得するために前記シンタックス構造中の前記シンタックス要素を復号し、前記少なくとも1つのDC残差値と前記予測された深度CUとを使用して前記深度CUを再構築するように構成される、請求項60に記載のビデオコーダ。
  62. 前記ビデオコーダが、ビデオエンコーダを備え、前記1つまたは複数のプロセッサが、前記少なくとも1つのDC残差値と前記シンタックス要素とを表す前記情報を示すために前記シンタックス構造中の前記シンタックス要素を符号化するように構成される、請求項60に記載のビデオコーダ。
  63. 前記シンタックス構造が、前記イントラ予測および前記インター予測のための単一のシンタックス構造を備え、前記単一のシンタックス構造が、前記深度CUの前記イントラ予測と前記インター予測の1つに対する前記少なくとも1つのDC残差値を表す情報を示す前記シンタックス要素を備える、請求項60に記載のビデオコーダ。
  64. 前記シンタックス構造が、前記イントラ予測および前記インター予測に対して前記同じシンタックス構造の異なる実体を備え、前記同じシンタックス構造の前記異なる実体の各々が前記同じシンタックス要素を含む、請求項60に記載のビデオコーダ。
  65. 前記1つまたは複数のプロセッサが、コンテキスト適応型エントロピーコーディング処理を使用して前記シンタックス構造の前記異なる実体をエントロピーコーディングするように構成され、前記コンテキスト適応型エントロピーコーディングのために使用されるコンテキストモデルが、前記シンタックス構造の前記異なる実体に対して同じである、請求項64に記載の方法。
  66. 前記シンタックス要素によって示される前記情報が、前記深度CUの前記DC残差値の絶対値と前記DC残差値の符号とを表す、請求項60に記載の方法。
  67. 前記ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行するための手段と、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行するための手段と、
    簡易深度コーディング(SDC)モードが使用されるとき、前記深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造をコーディングするための手段とを備え、前記シンタックス構造の前記シンタックス要素が前記イントラ予測モードおよび前記インター予測モードに対して同じである、ビデオコーダ。
  68. 前記ビデオコーダが、前記少なくとも1つのDC残差値と前記予測される深度CUとを使用して前記深度CUを再構築するための手段を備えるビデオデコーダである、請求項67に記載のビデオコーダ。
  69. 実行されると、ビデオコーダの1つまたは複数のプロセッサに、
    前記ビデオデータの深度コーディングユニット(CU)がイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行させ、
    前記深度CUがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行させ、
    簡易深度コーディング(SDC)モードが使用されるとき、前記深度CUの予測ユニット(PU)の区分に対する少なくとも1つのDC残差値を表す情報を示す1つまたは複数のシンタックス要素を備えるシンタックス構造をミーンズフォアコーディングさせる命令を記憶しており、前記シンタックス構造の前記シンタックス要素が前記イントラ予測モードおよび前記インター予測モードに対して同じである、非一時的コンピュータ可読記憶媒体。
  70. 前記ビデオコーダがビデオデコーダであり、前記ビデオコーダが前記少なくとも1つのDC残差値と前記予測される深度CUとを使用して前記深度CUを再構築するための手段を備える、請求項69に記載のビデオコーダ。
  71. ビデオデータを復号する方法であって、
    簡易深度コーディング(SDC)モードがコーディングされたビデオデータのシーケンス全体の深度コーディングユニット(CU)に対して有効にされるかどうかを示す、第1のシンタックス要素を受信することと、
    前記SDCモードが前記シーケンスの前記深度CUの1つのイントラ予測とインター予測の両方のために使用されるかどうかを示す、第2のシンタックス要素を受信することと、
    前記シーケンスの前記深度CUの前記1つがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行することと、
    前記シーケンスの前記深度CUの前記1つがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行することと、
    前記SDCモードが使用されることを前記第2のシンタックス要素が示すとき、前記シーケンスの前記深度CUの前記1つに対する予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報を取得することと、
    前記少なくとも1つのDC残差値と前記それぞれの予測される深度CUとを使用して、前記シーケンスの前記深度CUの前記1つの前記PUの前記区分を再構築することとを備える、方法。
  72. 前記第1のシンタックス要素を受信することが、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記第1のシンタックス要素を受信することを備える、請求項71に記載の方法。
  73. 前記DC残差値が、前記シーケンスの前記CUの1つの前記PUの前記区分の中のピクセルの平均深度値と、予測される深度区分の中のピクセルの平均深度値との間の差分を示す、請求項71に記載の方法。
  74. 前記第1のシンタックス要素が、前記SDCモードが有効にされることを示す第1の値と前記SDCモードが有効にされないことを示す第2の値とを有する1ビットのフラグを備える、請求項71に記載の方法。
  75. ビデオデータを符号化する方法であって、
    簡易深度コーディング(SDC)モードがコーディングされたビデオデータのシーケンス全体の深度コーディングユニット(CU)に対して有効にされるかどうかを示す、シンタックス要素を符号化することと、
    前記SDCモードが前記シーケンスの前記深度CUの1つのイントラ予測とインター予測の両方のために使用されるかどうかを示す、第2のシンタックス要素を符号化することと、
    前記シーケンスの前記深度CUの1つがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行することと、
    前記シーケンスの前記深度CUの1つがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行することと、
    前記SDCモードが使用されることを前記第2のシンタックス要素が示すとき、前記シーケンスの前記深度CUの前記1つに対する予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報を符号化することとを備える、方法。
  76. 前記第1のシンタックス要素を符号化することが、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記シンタックス要素を符号化することを備える、請求項75に記載の方法。
  77. 前記DC残差値が、前記シーケンスの前記CUの1つの前記PUの前記区分の中のピクセルの平均深度値と、予測される深度区分の中のピクセルの平均深度値との間の差分を示す、請求項75に記載の方法。
  78. 前記第1のシンタックス要素が、前記SDCモードが有効にされることを示す第1の値と前記SDCモードが有効にされないことを示す第2の値とを有する1ビットのフラグを備える、請求項75に記載の方法。
  79. ビデオデータを記憶するメモリと、
    1つまたは複数のプロセッサとを備えるビデオコーダであって、前記1つまたは複数のプロセッサが、
    簡易深度コーディング(SDC)モードが前記ビデオデータのコードシーケンス全体の深度コーディングユニット(CU)に対して有効にされるかどうかを示す、シンタックス要素をコーディングし、
    前記SDCモードが前記シーケンスの前記深度CUの1つのイントラ予測とインター予測の両方のために使用されるかどうかを示す、第2のシンタックス要素をコーディングし、
    前記シーケンスの前記深度CUの1つがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行し、
    前記シーケンスの前記深度CUの1つがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行し、
    前記SDCモードが使用されることを前記第2のシンタックス要素が示すとき、前記シーケンスの前記深度CUの前記1つに対する予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報をコーディングするように構成される、ビデオコーダ。
  80. 前記ビデオコーダがビデオデコーダであり、前記1つまたは複数のプロセッサが、前記少なくとも1つのDC残差値と前記それぞれの予測される深度CUとを使用して、前記シーケンスの前記深度CUの前記1つの前記PUの前記区分を再構築するように構成される、請求項79に記載のビデオコーダ。
  81. 前記1つまたは複数のプロセッサが、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記シンタックス要素をコーディングするように構成される、請求項79に記載のビデオコーダ。
  82. 前記DC残差値が、前記CUの予測ユニットの区分の中のピクセルの平均深度値と、予測される深度区分の中のピクセルの平均深度値との間の差分を示す、請求項79に記載のビデオコーダ。
  83. 前記第1のシンタックス要素が、前記少なくとも1つのDC残差値と前記それぞれの予測される深度CUとを使用して、前記シーケンスの前記深度CUの前記1つの前記PUの前記区分を前記ビデオデコーダにおいて再構築する1ビットのフラグを備える、請求項79に記載のビデオコーダ。
  84. 簡易深度コーディング(SDC)モードがコーディングされたビデオデータのシーケンス全体の深度コーディングユニット(CU)に対して有効にされるかどうかを示す、シンタックス要素をコーディングするための手段と、
    前記SDCモードが前記シーケンスの前記深度CUの1つのイントラ予測とインター予測の両方のために使用されるかどうかを示す、第2のシンタックス要素をコーディングするための手段と、
    前記シーケンスの前記深度CUの1つがイントラ予測されるとき、前記ビデオエンコーダにおいて、予測された深度CUを生成するためにイントラ予測を実行するための手段と、
    前記シーケンスの前記深度CUの1つがインター予測されるとき、前記ビデオエンコーダにおいて、前記予測された深度CUを生成するためにインター予測を実行するための手段と、
    前記SDCモードが使用されることを前記第2のシンタックス要素が示すとき、前記シーケンスの前記深度CUの前記1つに対する予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報をコーディングするための手段とを備える、ビデオコーダ。
  85. ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記第1のシンタックス要素をコーディングするための手段をさらに備える、請求項84に記載のビデオコーダ。
  86. 命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオコーダの1つまたは複数のプロセッサに、
    簡易深度コーディング(SDC)モードがコーディングされたビデオデータのシーケンス全体の深度コーディングユニット(CU)に対して有効にされるかどうかを示す、シンタックス要素をコーディングさせ、
    前記SDCモードが前記シーケンスの前記深度CUの1つのイントラ予測とインター予測の両方のために使用されるかどうかを示す、第2のシンタックス要素をコーディングさせ、
    前記シーケンスの前記深度CUの1つがイントラ予測されるとき、予測された深度CUを生成するためにイントラ予測を実行させ、
    前記シーケンスの前記深度CUの1つがインター予測されるとき、前記予測された深度CUを生成するためにインター予測を実行させ、
    前記SDCモードが使用されることを前記第2のシンタックス要素が示すとき、前記シーケンスの前記深度CUの前記1つに対する予測ユニット(PU)の区分の少なくとも1つのDC残差値を表す情報をコーディングさせる、非一時的コンピュータ可読記憶媒体。
  87. 前記1つまたは複数のプロセッサに、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、またはピクチャパラメータセット(PPS)の1つにおいて、前記第1のシンタックス要素をコーディングさせる命令をさらに備える、請求項86に記載のコンピュータ可読記憶媒体。
JP2016538769A 2013-12-13 2013-12-13 3dビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング(sdc)のシグナリング Active JP6462693B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/001562 WO2015085449A1 (en) 2013-12-13 2013-12-13 Signaling of simplified depth coding (sdc) for depth intra-and inter – prediction modes in 3d video coding

Publications (2)

Publication Number Publication Date
JP2017505025A true JP2017505025A (ja) 2017-02-09
JP6462693B2 JP6462693B2 (ja) 2019-01-30

Family

ID=53370425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538769A Active JP6462693B2 (ja) 2013-12-13 2013-12-13 3dビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング(sdc)のシグナリング

Country Status (7)

Country Link
US (2) US10110895B2 (ja)
EP (1) EP3080987B1 (ja)
JP (1) JP6462693B2 (ja)
KR (1) KR102057369B1 (ja)
CN (1) CN105934948B (ja)
HK (1) HK1224117A1 (ja)
WO (1) WO2015085449A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423132B2 (ja) 2020-10-02 2024-01-29 テンセント・アメリカ・エルエルシー ビデオ符号化のための方法および装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110895B2 (en) 2013-12-13 2018-10-23 Qualcomm Incorporated Signaling of simplified depth coding (SDC) for depth intra- and inter-prediction modes in 3D video coding
JP2017505037A (ja) * 2013-12-26 2017-02-09 サムスン エレクトロニクス カンパニー リミテッド デプス符号化方法及びその装置、デプス復号化方法及びその装置
WO2015200822A1 (en) * 2014-06-26 2015-12-30 Huawei Technologies Co., Ltd Method and device for reducing a computational load in high efficiency video coding
US20170134732A1 (en) * 2015-11-05 2017-05-11 Broadcom Corporation Systems and methods for digital media communication using syntax planes in hierarchical trees
US10944963B2 (en) * 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
US10771781B2 (en) * 2018-03-12 2020-09-08 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra prediction mode
US11611757B2 (en) * 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
EP3837835A4 (en) 2018-09-18 2021-06-23 Huawei Technologies Co., Ltd. CODING PROCESS, DEVICE AND SYSTEM
EP3847818B1 (en) 2018-09-18 2023-12-13 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods
JP7342118B2 (ja) * 2018-10-12 2023-09-11 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド 多重仮定予測を用いるビデオ信号処理方法及び装置
BR112021007038A2 (pt) * 2018-10-25 2021-07-20 Interdigital Vc Holdings, Inc. método e aparelho para codificação e decodificação de vídeo com sinalização de tipo de codificação ou tipo de árvore de codificação
US10848763B2 (en) * 2018-11-14 2020-11-24 Tencent America LLC Method and apparatus for improved context design for prediction mode and coded block flag (CBF)
EP3906672A1 (en) * 2018-12-31 2021-11-10 VID SCALE, Inc. Combined inter and intra prediction
WO2020185145A1 (en) * 2019-03-08 2020-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing encoding/decoding of dependent/independent partitions and related devices
WO2020196655A1 (ja) * 2019-03-25 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN111279699A (zh) * 2019-04-26 2020-06-12 深圳市大疆创新科技有限公司 视频编解码的方法和装置
US11284093B2 (en) * 2019-05-09 2022-03-22 Qualcomm Incorporated Affine linear weighted intra prediction in video coding
EP3973450A4 (en) * 2019-06-28 2023-02-22 ByteDance Inc. CHROMINANCE INTRA MODE DERIVATION IN SCREEN CONTENT ENCODING
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
BR112022001411A2 (pt) * 2019-08-01 2022-03-22 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes de derivação de modo intra de croma
WO2021037277A1 (en) 2019-09-01 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Rules for video coding using geometric partitioning mode
CN114556915B (zh) 2019-10-10 2023-11-10 北京字节跳动网络技术有限公司 几何分割模式中被编解码的块的去块
CN117156133B (zh) * 2023-10-27 2024-02-09 淘宝(中国)软件有限公司 一种视频编码的帧间预测模式选择方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002816A1 (en) * 2010-12-29 2013-01-03 Nokia Corporation Depth Map Coding
US20130022113A1 (en) * 2011-07-22 2013-01-24 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100319155B1 (ko) 1999-02-01 2001-12-29 구자홍 신뢰도를 이용한 대표칼라 지정방법
EP2237557A1 (en) 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
US9497472B2 (en) * 2010-11-16 2016-11-15 Qualcomm Incorporated Parallel context calculation in video coding
KR20120052739A (ko) * 2010-11-16 2012-05-24 삼성전자주식회사 디스플레이 구동 장치 및 그것의 영상 데이터 압축 및 복원 방법
US20120189052A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US8929455B2 (en) 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
US9800870B2 (en) 2011-09-16 2017-10-24 Qualcomm Incorporated Line buffer reduction for short distance intra-prediction
EP2579592A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Method and device for inter-view-predictive encoding of data of a view, device for decoding and computer-readable storage medium carrying encoded data of a view
EP2829065B1 (en) * 2012-03-21 2020-05-13 MediaTek Singapore Pte Ltd. Method and apparatus for intra mode derivation and coding in scalable video coding
CN103533324B (zh) * 2012-07-03 2017-04-05 乐金电子(中国)研究开发中心有限公司 一种深度图像帧内编码方法、装置及编码器
CN103200405B (zh) * 2013-04-03 2016-06-01 清华大学 一种3dv视频编码方法及编码器
CN104104964B (zh) * 2013-04-09 2019-03-12 乐金电子(中国)研究开发中心有限公司 一种深度图像帧间编码、解码方法、编码器及解码器
US9571809B2 (en) * 2013-04-12 2017-02-14 Intel Corporation Simplified depth coding with modified intra-coding for 3D video coding
CN103237216B (zh) * 2013-04-12 2017-09-12 华为技术有限公司 深度图像的编解码方法和编解码装置
US9497485B2 (en) * 2013-04-12 2016-11-15 Intel Corporation Coding unit size dependent simplified depth coding for 3D video coding
CN103327336B (zh) * 2013-06-28 2016-08-31 华为技术有限公司 一种三维编码的方法及设备
JP6866157B2 (ja) 2013-09-27 2021-04-28 クゥアルコム・インコーポレイテッドQualcomm Incorporated 深度イントラ予測モードのための残差コーディング
KR20150043227A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 뎁스 인터 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10110895B2 (en) 2013-12-13 2018-10-23 Qualcomm Incorporated Signaling of simplified depth coding (SDC) for depth intra- and inter-prediction modes in 3D video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002816A1 (en) * 2010-12-29 2013-01-03 Nokia Corporation Depth Map Coding
US20130022113A1 (en) * 2011-07-22 2013-01-24 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL.: "High efficiency video coding (HEVC) text specification draft 7", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 9TH M, vol. JCTVC-I1003_d9, JPN6017037939, 14 July 2012 (2012-07-14), pages 45、84−85頁 *
BENJAMIN BROSS ET AL.: "High efficiency video coding (HEVC) text specification draft 7", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 9TH M, vol. JCTVC-I1003_d9, JPN6018009705, 14 July 2012 (2012-07-14) *
FABIAN JAGER ET AL.: "3D-CE6.h: Simplified Depth Coding with an optional Depth Lookup Table", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-B0036, JPN6017037940, 17 October 2012 (2012-10-17), SW *
GERHARD TECH ET AL.: "3D-HEVC Draft Text 1", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-E1001-v3, JPN6017037941, 2 August 2013 (2013-08-02), pages 17−19、27頁 *
GERHARD TECH FRAUNHOFER ET AL.: "3D-HEVC Test Model 2", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT 2ND MEETING: SHANGHAI, vol. JCT3V-B1005_d0, JPN6018009702, 21 January 2013 (2013-01-21) *
GERHARD TECH, ET AL.: "3D-HEVC Draft Text 2", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT 6TH MEETING: GENEVA, vol. JCT3V-F1001-v2, JPN6018009713, 5 December 2013 (2013-12-05), pages 18−24頁 *
HONGBIN LIU ET AL.: "CE5 related: Generic SDC for all intra modes in 3D-HEVC", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-F0126, JPN6017037938, 1 November 2013 (2013-11-01), SW *
HONGBIN LIU, ET AL.: "CE6.h: Results on Simplified Inter Mode Coding of Depth", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT 5TH MEETING: VIENNA, vol. JCT3V-E0156_r2, JCT3V-E0156-spec.docx, JPN6018009703, 19 July 2013 (2013-07-19) *
ZHIPIN DENG ET AL.: "3D-CE6-related: SDC without per-pixel prediction", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS 4TH MEETING: INCHEON, JPN6018009708, 26 April 2013 (2013-04-26) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423132B2 (ja) 2020-10-02 2024-01-29 テンセント・アメリカ・エルエルシー ビデオ符号化のための方法および装置

Also Published As

Publication number Publication date
CN105934948B (zh) 2019-04-02
US10110895B2 (en) 2018-10-23
EP3080987A1 (en) 2016-10-19
KR20160096624A (ko) 2016-08-16
US20160316200A1 (en) 2016-10-27
BR112016013489A2 (pt) 2017-08-08
EP3080987B1 (en) 2021-04-07
KR102057369B1 (ko) 2020-01-22
EP3080987A4 (en) 2017-05-03
JP6462693B2 (ja) 2019-01-30
US20180241992A1 (en) 2018-08-23
CN105934948A (zh) 2016-09-07
HK1224117A1 (zh) 2017-08-11
US11039129B2 (en) 2021-06-15
WO2015085449A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP6462693B2 (ja) 3dビデオコーディングにおける深度イントラ予測モードおよび深度インター予測モードのための簡易深度コーディング(sdc)のシグナリング
JP6312854B2 (ja) 3dビデオコーディングにおけるデルタdc残差コーディングの簡易化
US10687079B2 (en) Constrained depth intra mode coding for 3D video coding
JP6866157B2 (ja) 深度イントラ予測モードのための残差コーディング
JP6396493B2 (ja) 3dビデオコーディングにおける大型予測ブロックのセグメントごとのdcコーディングの簡易化
JP6698351B2 (ja) ビュー内でのおよびビューにわたる深度ルックアップテーブルの予測コーディング
US20150172717A1 (en) Large blocks and depth modeling modes (dmm&#39;s) in 3d video coding
JP2016524408A (ja) 隣接ベースの視差ベクトル導出を用いた3dビデオコーディングのための、並列に導出された視差ベクトル
KR20140120900A (ko) 심도를 갖는 3d 비디오 코딩에서의 멀티-가설 디스패리티 벡터 구성
WO2015131388A1 (en) Simplification of depth intra mode coding in 3d video coding
US20150063464A1 (en) Lookup table coding
WO2015042751A1 (en) Residual coding for depth intra prediction modes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181227

R150 Certificate of patent or registration of utility model

Ref document number: 6462693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250