JP2016514431A - 深度マップイントラコード化のための予測子 - Google Patents

深度マップイントラコード化のための予測子 Download PDF

Info

Publication number
JP2016514431A
JP2016514431A JP2015561876A JP2015561876A JP2016514431A JP 2016514431 A JP2016514431 A JP 2016514431A JP 2015561876 A JP2015561876 A JP 2015561876A JP 2015561876 A JP2015561876 A JP 2015561876A JP 2016514431 A JP2016514431 A JP 2016514431A
Authority
JP
Japan
Prior art keywords
partition
block
samples
predicted value
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015561876A
Other languages
English (en)
Other versions
JP6262260B2 (ja
Inventor
ジャオ、シン
ジャン、リ
チェン、イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016514431A publication Critical patent/JP2016514431A/ja
Application granted granted Critical
Publication of JP6262260B2 publication Critical patent/JP6262260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

一例では、ビデオデータをコード化するためのプロセスが、深度値のブロックの1つ以上のサンプルを第1の区分に割り当てることと、そのブロックの1つ以上の他のサンプルを第2の区分に割り当てることとを備える、そのブロックのための区分パターンを決定することを含む。本プロセスはまた、決定された区分パターンに基づいて、第1の区分及び第2の区分のうちの少なくとも1つのための予測値を決定することを含む。本プロセスはまた、予測値に基づいて、第1の区分及び第2の区分のうちの少なくとも1つをコード化することを含む。

Description

[0001]本開示は、ビデオコード化に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,高度ビデオコード化(AVC:Advanced Video Coding)、現在開発中の高効率ビデオコード化(HEVC:High Efficiency Video Coding)規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び/又は記憶し得る。
[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的(イントラピクチャ)予測及び/又は時間的(インターピクチャ)予測を実行する。ブロックベースのビデオコード化の場合、ビデオスライス(即ち、ピクチャ又はピクチャの一部分)は、ツリーブロック、コード化単位(CU:coding unit)及び/又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化された(I)スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化された(P又はB)スライス中のビデオブロックは、同じピクチャの中の近隣ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。
[0004]空間的予測又は時間的予測は、コード化されるべきブロックのための予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化されたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化されたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化されたブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは空間領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初は2次元アレイに構成される量子化変換係数は、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するためにエントロピーコード化が適用され得る。
[0005]本開示の技法は、概して、ビデオコード化において深度データをイントラコード化することに関する。例えば、深度データをイントラコード化することは、ブロックに近隣する深度サンプルに基づいて、現在イントラコード化されているブロックのための予測深度値を決定することを含み得る。幾つかの事例では、現在コード化されているブロックは2つ以上の部分に区分され得る。そのような事例では、ブロックに近隣する参照サンプルの全てが、ブロックの各区分(partition)のための予測値を決定するために使用され得る。本開示の態様は、より少数の参照サンプルに基づいてブロックの区分のための予測値を決定することに関し、これは、複雑さを低減し、精度を増加させ得る。
[0006]一例では、本開示の態様は、深度値のブロックの1つ又は複数のサンプルを第1の区分に割り当てることと、そのブロックの1つ又は複数の他のサンプルを第2の区分に割り当てることとを備える、そのブロックのための区分パターンを決定することと、決定された区分パターンに基づいて、第1の区分及び第2の区分のうちの少なくとも1つのための予測値を決定することと、予測値に基づいて、第1の区分及び第2の区分のうちの少なくとも1つをコード化することとを含む、ビデオデータをコード化する方法に関する。
[0007]別の例では、本開示の態様は、深度値のブロックの1つ又は複数のサンプルを第1の区分に割り当てることと、そのブロックの1つ又は複数の他のサンプルを第2の区分に割り当てることとを備える、そのブロックのための区分パターンを決定することと、決定された区分パターンに基づいて、第1の区分及び第2の区分のうちの少なくとも1つのための予測値を決定することと、予測値に基づいて、第1の区分及び第2の区分のうちの少なくとも1つをコード化することとを行うように構成された1つ又は複数のプロセッサを含む、ビデオデータをコード化するための装置に関する。
[0008]別の例では、本開示の態様は、深度値のブロックの1つ又は複数のサンプルを第1の区分に割り当てることと、そのブロックの1つ又は複数の他のサンプルを第2の区分に割り当てることとを備える、そのブロックのための区分パターンを決定するための手段と、決定された区分パターンに基づいて、第1の区分及び第2の区分のうちの少なくとも1つのための予測値を決定するための手段と、予測値に基づいて、第1の区分及び第2の区分のうちの少なくとも1つをコード化するための手段とを含む、ビデオデータをコード化するための装置に関する。
[0009]別の例では、本開示の態様は、記憶された命令を備える非一時的コンピュータ可読媒体であって、実行されたとき、1つ又は複数のプロセッサに、深度値のブロックの1つ又は複数のサンプルを第1の区分に割り当てることと、そのブロックの1つ又は複数の他のサンプルを第2の区分に割り当てることとを備える、そのブロックのための区分パターンを決定することと、決定された区分パターンに基づいて、第1の区分及び第2の区分のうちの少なくとも1つのための予測値を決定することと、予測値に基づいて、第1の区分及び第2の区分のうちの少なくとも1つをコード化することとを行わせる、非一時的コンピュータ可読媒体に関する。
[0010]本開示の1つ又は複数の例の詳細を添付の図面及び以下の説明に記載する。他の特徴、目的、及び利点は、その説明及び図面、ならびに特許請求の範囲から明らかになろう。
[0011]深度コード化のための本開示の技法を利用し得る例示的なビデオ符号化及び復号システム10を示すブロック図。 [0012]深度コード化のための技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0013]深度コード化のための技法を実装し得るビデオデコーダの一例を示すブロック図。 [0014]方向性イントラ予測モードに関連する予測方向を概して示す図。 [0015]深度モデリングモード(DMM:depth modeling mode)の例を示す概念図。 深度モデリングモード(DMM)の例を示す概念図。 [0016]領域境界チェーンコード化(region boundary chain coding)モードを示す概念図。 [0017]簡略深度コード化(SDC:simplified depth coding)を使用して深度情報をイントラコード化することを示すブロック図。 [0018]深度データのブロックと、そのブロックの1つ又は複数の区分のための予測深度値を決定するために使用され得る近隣サンプルとを示すブロック図。 [0019]第1の区分と第2の区分とを有するブロックの深度値と、近隣サンプルの値とを示すブロック図。 [0020]図9Aに示されたブロックの第1の区分と第2の区分とのための予測深度値を示すブロック図。 [0021]本開示の態様による、深度データのブロックと、そのブロックの1つ又は複数の区分のための予測深度値を決定するために使用され得る近隣サンプルとを示すブロック図。 [0022]本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 本開示の態様による、深度データのブロック例示的な区分パターンと、予測深度値をそれから決定すべき近隣サンプルとを示すブロック図。 [0023]本開示の態様による、深度データのブロックの1つ又は複数の区分のための予測値を決定するための例示的なプロセスを示す流れ図。 [0024]本開示の態様による、深度データのブロックの区分をコード化するための例示的なプロセスを示す流れ図。
[0025]概して、本開示の技法は3次元(3D)ビデオコード化に関する。即ち、これらの技法を使用してコード化されたビデオデータは、3次元効果を生成するためにレンダリングされ、表示され得る。例えば、異なるビューの2つの画像(即ち、僅かに異なる水平位置を有する2つのカメラ構文解析ペクティブ(camera perspectives)に対応する)は、一方の画像が閲覧者の左眼によって見られ、他方の画像が閲覧者の右眼によって見られるように、実質的に同時に表示され得る。
[0026]この3D効果は、例えば、立体視表示器(stereoscopic displays)又は自動立体視表示器(autostereoscopic displays)を使用して達成され得る。立体視表示器は、2つの画像を相応にフィルタ処理するアイウェア(eyewear)とともに使用され得る。例えば、パッシブ眼鏡は、正しい眼が正しい画像を閲覧することを保証するために偏光レンズ又は異なるカラーレンズを使用して画像をフィルタ処理し得る。アクティブ眼鏡は、別の例として、立体視表示器と協調して交互のレンズを迅速に閉じ得、それにより、左眼画像を表示することと右眼画像を表示することとを交互に行い得る。自動立体視表示器は、眼鏡が必要とされないような方法で2つの画像を表示する。例えば、自動立体視表示器は、各画像が閲覧者の適切な眼に投影されるように構成されたミラー又はプリズムを含み得る。
[0027]本開示の技法は、テクスチャデータと深度データとをコード化することによって3Dビデオデータをコード化することに関する。概して、「テクスチャ」という用語は、画像のルミナンス(即ち、輝度又は「ルーマ」)値と画像のクロミナンス(即ち、色又は「クロマ」)値とを表すために使用される。幾つかの例では、テクスチャ画像は、1セットのルミナンスデータと、青色相(Cb)及び赤色相(Cr)のための2セットのクロミナンスデータとを含み得る。4:2:2又は4:2:0などの特定のクロマフォーマットでは、クロマデータは、ルーマデータに関してダウンサンプリングされる。即ち、クロミナンス画素の空間解像度は、対応するルミナンス画素の空間解像度よりも低く、例えば、ルミナンス解像度の1/2又は1/4であり得る。
[0028]深度データは、概して、対応するテクスチャデータの深度値を表す。例えば、深度画像は、各々が対応するテクスチャデータの深度を表す深度画素のセットを含み得る。深度データは、対応するテクスチャデータの水平視差を決定するために使用され得る。従って、テクスチャデータと深度データとを受信する機器は、一方のビュー(例えば、左眼ビュー)のための第1のテクスチャ画像を表示し、深度値に基づいて決定された水平視差値だけ第1の画像の画素値をオフセットすることによって、他方のビュー(例えば、右眼ビュー)のための第2のテクスチャ画像を生成するように第1のテクスチャ画像を変更するために深度データを使用し得る。概して、水平視差(又は単に「視差」)は、右ビュー中の対応する画素に対する第1のビュー中の画素の水平空間オフセットを表し、2つの画素は、2つのビュー中で表される同じオブジェクトの同じ部分に対応する。
[0029]更に他の例では、画像について定義されたゼロ視差平面に対して所与の画素に関連する深度が定義されるように、画像平面に直交するz次元における画素について深度データが定義され得る。そのような深度は、画素を表示するための水平視差を作成するために使用され得、その結果として、画素は、ゼロ視差平面に対する画素のz次元深度値に応じて、左眼と右眼とで異なるように表示される。ゼロ視差平面は、ビデオシーケンスの異なる部分に対して変化し得、ゼロ視差平面に対する深度の量も変化し得る。ゼロ視差平面上に位置する画素は、左眼と右眼とに対して同様に定義され得る。ゼロ視差平面の前に位置する画素は、画素が画像平面に直交するz方向の画像から出てくるように見える知覚を作成するように、(例えば、水平視差を用いて)左眼と右眼とに対して異なる位置(locations)で表示され得る。ゼロ視差平面の後ろに位置する画素は、深度の僅かな知覚まで、僅かなぼかしとともに表示され得るか、又は(例えば、ゼロ視差平面の前に位置する画素の水平視差とは反対の水平視差を用いて)左眼と右眼とに対して異なる位置で表示され得る。他の多くの技法も、画像の深度データを伝達又は定義するために使用され得る。
[0030]2次元ビデオデータは、概して、その各々が特定の時間インスタンスに対応する、個別ピクチャのシーケンスとしてコード化される。即ち、各ピクチャは、シーケンス中の他の画像の再生時間に対する関連する再生時間を有する。これらのピクチャはテクスチャピクチャ又はテクスチャ画像と考えられ得る。深度ベースの3Dビデオコード化では、シーケンス中の各テクスチャピクチャは深度マップにも対応し得る。即ち、テクスチャピクチャに対応する深度マップは、対応するテクスチャピクチャのための深度データを表す。マルチビュービデオデータは、様々な異なるビューのためのデータを含み得、各ビューは、テクスチャピクチャと、対応する深度ピクチャとのそれぞれのシーケンスを含み得る。
[0031]上述したように、画像は特定の時間インスタンスに対応し得る。ビデオデータは、アクセス単位のシーケンスを使用して表され得、各アクセス単位は、特定の時間インスタンスに対応する全てのデータを含む。従って、例えば、マルチビュービデオデータ+深度の場合、共通時間インスタンスについての各ビューからのテクスチャ画像+テクスチャ画像の各々についての深度マップは全て、特定のアクセス単位内に含まれ得る。アクセス単位は、テクスチャ画像に対応するテクスチャコンポーネントのためのデータと、深度マップに対応する深度コンポーネントのためのデータとを含み得る。
[0032]このようにして、3Dビデオデータは、撮影又は生成されたビュー(テクスチャ)が対応する深度マップに関連する、マルチビュービデオ+深度フォーマットを使用して表され得る。その上、3Dビデオコード化では、テクスチャと深度マップとはコード化され、3Dビデオビットストリーム中に多重化され得る。深度マップはグレースケール画像としてコード化され得、深度マップの「ルーマ」サンプル(即ち、画素)は深度値を表す。一般に、深度データのブロック(深度マップのサンプルのブロック)は深度ブロックと呼ばれることがある。深度値は、深度サンプルに関連するルーマ値を指すことがある。いずれの場合も、従来のイントラコード化及びインターコード化方法が深度マップコード化のために適用され得る。
[0033]深度マップは、通常、シャープエッジ(sharp edges)と一定のエリアとを含み、深度マップ中のエッジは、一般に、対応するテクスチャデータとの強い相関を提示する。テクスチャと対応する深度との間の異なる統計値及び相関により、異なるコード化方式が、2Dビデオコーデックに基づく深度マップのために設計されており、設計され続ける。
[0034]本開示の技法は、概して、深度データをコード化することに関し、高効率ビデオコード化(HEVC)規格に適用可能であり得る。例えば、ジョイントビデオチーム(JVT:Joint Video Team)は、最近、前に開発されたビデオコード化規格よりも高い効率を与えるHEVCのベースバージョン(2D)を開発した。ジョイントコラボレーションチームオン3Dビデオコード化(JCT−3V:Joint Collaboration Team on 3D Video Coding)は、現在、HEVCへの拡張として2つの3次元ビデオ(3DV)ソリューションの研究を進めている。一例は、MV−HEVCと呼ばれるHEVCのマルチビュー拡張を含む。別の例は深度向上3Dビデオ拡張(3D−HEVC)を含む。3D−HEVCのための最新の参照ソフトウェア3D−HTMバージョン5.1がhttps://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.1/において公的に入手可能である。最新のソフトウェア説明書(文書番号:B1005)がhttp://phenix.it-sudparis.eu/jct2/doc_end_user/documents/2_Shanghai/wg11/JCT3V-B1005-v1.zipから入手可能である。
[0035]3D−HEVCでは、各アクセス単位が複数のビューコンポーネントを含み、各々が、一意のビューid、又はビュー順序インデックス、又はレイヤidを含んでいる。ビューコンポーネントはテクスチャビューコンポーネントならびに深度ビューコンポーネントを含んでいる。テクスチャビューコンポーネントは1つ又は複数のテクスチャスライスとしてコード化され得、深度ビューコンポーネントは1つ又は複数の深度スライスとしてコード化され得る。
[0036]幾つかの事例では、深度データがイントラコード化され得、これは、所与のピクチャ内の空間的冗長性を低減又は除去するために空間的予測に依拠する。例えば、3D−HEVCでは、ビデオコーダ(例えば、ビデオエンコーダ又はビデオデコーダ)は、深度スライスのイントラ予測単位をコード化するためにベース(2D)HEVC規格からのイントラ予測モードを使用し得る。HEVC規格のイントラモードについて、図4に関して以下でより詳細に説明する。
[0037]別の例では、ビデオコーダは、深度スライスのイントラ予測単位をコード化するために深度モデリングモード(DMM)を使用し得る。3D−HEVCのDMMについて、図5A及び図5Bに関して以下でより詳細に説明する。DMMを用いて、ビデオコーダは、(一般に深度ブロックと呼ばれる)深度データのブロックを予測領域に区分し得る。例えば、ビデオコーダは、深度データのブロックを通して描画される任意のラインによって画定されるウェッジレット(Wedgelet)パターン、又は深度ブロックを2つの不規則形状領域に区分する輪郭(Contour)パターンを使用して、深度データのブロックを区分し得る。
[0038]別の例では、ビデオコーダは、深度スライスのイントラ予測単位をコード化するために領域境界チェーンコード化を使用し得る。(単に「チェーンコード化」と呼ばれる)領域境界チェーンコード化について、図6に関して以下でより詳細に説明する。概して、ビデオコーダは、チェーンコード化を使用して深度データのブロックを不規則形状領域に区分し得、不規則形状領域は、次いでイントラコード化され得る。
[0039]更に別の例では、ビデオコーダは、深度スライスのイントラ予測単位をコード化するために簡略深度コード化(SDC)モードを使用し得る。SDCについて、図7に関して以下でより詳細に説明する。幾つかの事例では、以下でより詳細に説明するように、SDCはDMMとともに実装され得る。しかしながら、上記で説明したイントラモードコード化方式とは対照的に、SDCモードを使用するとき、ビデオコーダは残差深度値を変換又は量子化しない。むしろ、幾つかの例では、ビデオコーダは残差深度値を直接コード化し得る。
[0040]上述のように、深度マップコード化に特有である幾つかのコード化方式は、深度マップのブロックを様々な予測領域に区分することを含む。例えば、深度マップのブロックは、ウェッジレットパターン、輪郭パターン、又はチェーンコード化パターンを使用して区分され得る。概して、ビデオコーダは、深度ブロックをコード化するとき、深度ブロックの各区分のための予測値を生成し得る。幾つかの事例では、ビデオコーダは予測DC深度値を決定し得る。
[0041]予測DC深度値は、区分全体を予測するために適用される単一の予測値である。例えば、「DC値」は、概して、ブロック又は区分のコンポーネントを同様の方法でバイアスする値を指す。説明のための一例では、予測DC値は、一般に、コード化されているブロックの上及び左に位置する近隣深度サンプルの平均に基づいて決定され得、予測DC値は、次いで、ブロックの深度値の全てを予測するために適用される。但し、以下でより詳細に説明するように、予測DC値は、概して、必ずしも平均化が実行されることを暗示することなしに、単一の予測値を区分に適用することを指すことがある。例えば、幾つかの事例では、予測DC値は(平均化が実行されることなしに)単一の値に基づき得る。いずれの場合も、予測DC値は、値の広い変動を含まないブロックのために有用であり得、これは、予測DC値を一定の深度値に特に好適にし得る。
[0042]各区分のための予測DC値は、深度データをコード化するために使用され得る。例えば、ビデオエンコーダは、各区分の実際の深度値と各区分のそれぞれの予測DC値との間の差分を含む、深度ブロックのための残差を決定し得る。ビデオエンコーダは、符号化されたビットストリーム中に残差を含め得る。ビデオデコーダは、符号化されたビットストリームからの残差を構文解析(parse)し、各区分のための予測DC値を決定し、ブロックのための実際の深度値を決定するために、各区分のための残差を各区分のためのそれぞれの予測DC値と組み合わせ得る。
[0043]いずれの場合も、上述のように、区分の予測値は、現在コード化されている深度データのブロックに近隣する深度サンプルに基づいて決定され得る。例えば、ビデオコーダは、深度ブロックの上に位置する近隣サンプルの行と、深度ブロックの左に位置する近隣サンプルの列とに基づいて、深度ブロックの各区分のための予測値を決定し得る。
[0044]この例では、ブロックを区分した後に、ビデオコーダは、第1の区分に近隣する近隣サンプルを、第1の区分のための予測子(predictor)に寄与するものとして指定し得る。例えば、ビデオコーダは、第1の区分のための予測子を生成するために、第1の区分の隣接である、深度ブロックの最上行又は左列に近隣する全てのサンプルを平均し得る。同様に、ビデオコーダは、第2の区分に近隣する近隣サンプルを、第2の区分の予測子に寄与するものとして指定し得る。例えば、ビデオコーダは、第2の区分のための予測子を生成するために、第2の区分の隣接である、深度ブロックの最上行又は左列に近隣する全てのサンプルを平均し得る。
[0045]上記で説明した例では、予測DC値を生成することに関連する幾つかの数学演算がある。例えば、平均値を決定するために各寄与近隣サンプルが加算されなければならない。更に、平均値を決定するために各寄与近隣サンプルが計数されなければならない。更に、平均値を決定するために除算演算が必要である。
[0046]その上、実行されるべき演算の数が、深度ブロックのサイズが増加するときに増加することがある。以下でより詳細に説明するように、幾つかの例では、HEVCは、サイズが32×32であるブロックを可能にする。これらの例では、32×32ブロックの場合、各区分に属する参照サンプルの和を計算するために64回の加算がある。また、各区分に属する参照サンプルの数を計数するために64回の加算がある。そのような演算は、予測DC値を決定することに関連する計算複雑さを増加させ得る。
[0047]更に、参照サンプル(近隣サンプル)は、上記で説明した例では不正確に区分されることがある。例えば、参照サンプルと近隣深度値とは、区分のエッジの近くで実質的に異なる値を有し得る。この例では、参照サンプルは区分の予測値をゆがめることがあり、これはコード化非効率性をもたらすことがある。
[0048]本開示の態様は、概して、深度マップをイントラコード化するときに予測深度値を決定するための技法に関する。例えば、本開示の態様によれば、ビデオコーダは、最初に深度値のブロックのための区分パターンを決定し得る。区分パターンは、ブロックの深度値の最上行が、第1の区分のみに割り当てられた深度値を含むのか、第2の区分のみに割り当てられた深度値を含むのか、第1の区分と第2の区分の両方に割り当てられた深度値を含むのかを示し得る。区分パターンはまた、ブロックの深度値の左列が、第1の区分のみに割り当てられた深度値を含むのか、第2の区分のみに割り当てられた深度値を含むのか、第1の区分と第2の区分の両方に割り当てられた深度値を含むのかを示し得る。
[0049]区分パターンに基づいて、ビデオコーダは、第1の区分及び/又は第2の区分のための予測深度値をそれから決定すべき近隣サンプルを決定し得る。例えば、ビデオコーダは、区分パターンに基づいて1つ又は複数の所定の近隣サンプルを選択し得る。ビデオコーダは、区分の一方又は両方のための予測DC値を決定するために、選択された値を使用し得る。
[0050]説明のための一例では、深度値の最上行が、第1の区分に割り当てられた深度値のみを含む場合、ビデオコーダは、深度ブロックの上の行中の単一の近隣参照サンプルを第1の区分のための予測深度値として選択し得る。この例は、大きい一定のエリアを含むために深度データの一般的な特性を活用する。例えば、ブロックの最上行の深度値の全てが同じ区分中に含まれるので、どの近隣深度値もその区分と同じ又は同様の値を有すると仮定される。従って、(上記で説明したように)近隣サンプルの全てを平均するのではなく、ビデオコーダは、1つ又は複数の代表的サンプルを区分のための予測DC値として選択し得る。
[0051]このようにして、本技法は、区分のための予測深度値を決定することに関連する計算コストを低減し得る。例えば、全ての近隣サンプルが考慮される上記で説明した例に関して、本技法は、実行される加算及び除算演算の数を低減するか又はなくし得る。更に、本技法は予測深度値の精度を増加させ得る。例えば、以下でより詳細に説明するように、ビデオコーダは、区分境界から離れて位置する1つ又は複数の代表的近隣サンプルを選択することによって、区分境界の近くの(不正確な予測子を生成することがある)区分誤差の導入を低減し得る。
[0052]図1は、深度コード化のための本開示の技法を利用し得る例示的なビデオ符号化及び復号システム10を示すブロック図である。図1に示されているように、システム10は、宛先機器14によって後で復号されるべき符号化されたビデオデータを与える発信源機器12を含む。特に、発信源機器12は、コンピュータ可読媒体16を介してビデオデータを宛先機器14に与える。発信源機器12及び宛先機器14は、デスクトップコンピュータ、ノートブック(即ち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示器機器、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器12及び宛先機器14はワイヤレス通信のために装備され得る。
[0053]宛先機器14は、コンピュータ可読媒体16を介して復号されるべき符号化されたビデオデータを受信し得る。コンピュータ可読媒体16は、発信源機器12から宛先機器14に符号化されたビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体16は、発信源機器12が、符号化されたビデオデータを宛先機器14にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。
[0054]符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器14に送信され得る。通信媒体は、無線周波数(RF)スペクトル又は1つ又は複数の物理伝送線路など、任意のワイヤレス又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器12から宛先機器14への通信を可能にするために有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
[0055]幾つかの例では、符号化されたデータは、出力インターフェース22から記憶装置に出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性又は不揮発性メモリ、又は符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置は、発信源機器12によって生成された符号化されたビデオを記憶し得るファイルサーバ又は別の中間記憶装置に対応し得る。
[0056]宛先機器14は、ストリーミング又はダウンロードを介して、記憶装置から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先機器14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)装置、又はローカルディスクドライブがある。宛先機器14は、インターネット接続を含む、任意の標準のデータ接続を介して、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル(例えば、Wi−Fi(登録商標)接続)、ワイヤード接続(例えば、DSL、ケーブルモデムなど)、又はその両方の組合せを含み得る。記憶装置からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
[0057]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び/又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0058]図1の例では、発信源機器12は、ビデオ発信源18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先機器14は、入力インターフェース28と、ビデオデコーダ30と、表示器機器32とを含む。本開示によれば、発信源機器12のビデオエンコーダ20は、マルチビューコード化における動きベクトル予測のための技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は他のコンポーネント又は構成を含み得る。例えば、発信源機器12は、外部カメラなどの外部ビデオ発信源18からビデオデータを受信し得る。同様に、宛先機器14は、内蔵表示器機器を含むのではなく、外部表示器機器とインターフェースし得る。
[0059]図1の図示のシステム10は一例にすぎない。深度コード化のための技法は、任意のデジタルビデオ符号化及び/又は復号機器によって実行され得る。概して、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ/デコーダによっても実行され得る。その上、本開示の技法はビデオプリプロセッサによっても実行され得る。発信源機器12及び宛先機器14は、発信源機器12が宛先機器14に送信するためのコード化されたビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、機器12、14は、機器12、14の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、システム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、又はビデオテレフォニーのための、ビデオ機器12とビデオ機器14との間の一方向又は双方向のビデオ送信をサポートし得る。
[0060]発信源機器12のビデオ発信源18は、ビデオカメラなどの撮像装置、前に撮影されたビデオを含んでいるビデオアーカイブ、及び/又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源18は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ発信源18がビデオカメラである場合、発信源機器12及び宛先機器14は、所謂カメラフォン又はビデオフォンを形成し得る。但し、上述のように、本開示で説明する技法は、概してビデオコード化に適用可能であり得、ワイヤレス及び/又はワイヤード適用例に適用され得る。各場合において、撮影されたビデオ、前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は、次いで、出力インターフェース22によってコンピュータ可読媒体16上に出力され得る。
[0061]コンピュータ可読媒体16は、ワイヤレスブロードキャスト又はワイヤードネットワーク送信などの一時媒体、若しくはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、又は他のコンピュータ可読媒体などの記憶媒体(即ち、非一時的記憶媒体)を含み得る。幾つかの例では、ネットワークサーバ(図示せず)は、例えば、ネットワーク送信を介して、発信源機器12から符号化されたビデオデータを受信し、宛先機器14に符号化されたビデオデータを与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器12から符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体16は、様々な例において、様々な形態の1つ又は複数のコンピュータ可読媒体を含むことが理解されよう。
[0062]本開示では、概して、ビデオエンコーダ20が、ある情報をビデオデコーダ30などの別の機器に「信号伝達(signaling)」することに言及することがある。但し、ビデオエンコーダ20は、幾つかのシンタックス要素をビデオデータの様々な符号化された部分に関連付けることによって情報を信号伝達し得ることを理解されたい。即ち、ビデオエンコーダ20は、幾つかのシンタックス要素をビデオデータの様々な符号化された部分のヘッダに格納することによってデータを「信号伝達」し得る。場合によっては、そのようなシンタックス要素は、ビデオデコーダ30によって受信され、復号されるより前に、符号化され、記憶され(例えば、コンピュータ可読媒体16に記憶され)得る。従って、「信号伝達」という用語は、そのような通信が、リアルタイム又はほぼリアルタイムで行われるのか、符号化時にシンタックス要素を媒体に記憶し、次いで、この媒体に記憶された後の任意の時間にそのシンタックス要素が復号機器によって取り出され得るときに行われ得るなど、ある時間期間にわたって行われるのかにかかわらず、概して、圧縮ビデオデータを復号するためのシンタックス又は他のデータの通信を指すことがある。
[0063]宛先機器14の入力インターフェース28はコンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオエンコーダ20によって定義され、またビデオデコーダ30によって使用される、ブロック及び他のコード化されたユニット、例えば、GOPの特性及び/又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示器機器32は、復号されたビデオデータをユーザに対して表示し、陰極線管(CRT)、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器、又は別のタイプの表示器機器など、様々な表示器機器のいずれかを備え得る。
[0064]図1には示されていないが、幾つかの態様では、ビデオエンコーダ20及びビデオデコーダ30は、それぞれオーディオエンコーダ及びデコーダと統合され得、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット、又は他のハードウェア及びソフトウェアを含み得る。適用可能な場合、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、又はユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0065]ビデオエンコーダ20及びビデオデコーダ30はそれぞれ、適用可能なとき、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ又はデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。ビデオエンコーダ20及びビデオデコーダ30の各々は1つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ/デコーダ(コーデック)の一部として統合され得る。ビデオエンコーダ20及び/又はビデオデコーダ30を含む機器は、集積回路、マイクロプロセッサ、及び/又はセルラー電話などのワイヤレス通信機器を備え得る。
[0066]ビデオエンコーダ20及びビデオデコーダ30は、ジョイントビデオチーム(JVT)として知られる共同パートナーシップの成果としてISO/IECムービングピクチャエキスパートグループ(MPEG:Moving Picture Experts Group)とともにITU−Tビデオコード化エキスパートグループ(VCEG:Video Coding Experts Group)によって策定された、ITU−T H.264/MPEG−4(AVC)規格など、ビデオコード化規格に従って動作し得る。別のビデオコード化規格は、それのスケーラブルビデオコード化(SVC:Scalable Video Coding)及びマルチビュービデオコード化(MVC:Multiview Video Coding)拡張を含む、H.264規格を含む。H.264規格は、ITU−T Study GroupによるITU−T勧告H.264、Advanced Video Coding for generic audiovisual servicesに記載されている。ジョイントビデオチーム(JVT)はH.264/MPEG−4 AVCへの拡張に取り組み続けている。MVCの最新のジョイントドラフトは、「Advanced video coding for generic audiovisual services」、ITU−T勧告H.264、2010年3月に記載されている。
[0067]代替的に、ビデオエンコーダ20及びビデオデコーダ30は、高効率ビデオコード化(HEVC)規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。HEVCは、ITU−T VCEGとISO/IEC MPEGとのJCT−VCによって開発された。HEVCの最近のドラフトは、http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v14.zipから入手可能である。HEVC規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコード化機器の発展的モデルに基づいていた。HMは、例えば、ITU−T H.264/AVCに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、H.264は9個のイントラ予測符号化モードを与えるが、HMは35個ものイントラ予測符号化モードを与え得る。
[0068]概して、HMの作業モデルは、ビデオピクチャ(又は「フレーム」)が、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロック又は最大コード化単位(LCU:largest coding unit)に分割され得ることを記述する。ビットストリーム内のシンタックスデータが、画素の数に関して最大コード化単位であるLCUのサイズを定義し得る。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ピクチャは、1つ又は複数のスライスに区分され得る。各ツリーブロックは、4分木(quadtree)に従ってコード化単位(CU)に分割され得る。概して、4分木データ構造はCUごとに1つのノードを含み、ルートノードはツリーブロックに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。
[0069]4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。例えば、4分木のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのためのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるかどうかに依存し得る。CUが更に分割されない場合、そのCUはリーフCUと呼ばれる。本開示では、元のリーフCUの明示的分割が存在しない場合でも、リーフCUの4つのサブCUをリーフCUとも呼ぶ。例えば、16×16サイズのCUが更に分割されない場合、この16×16CUが決して分割されなくても、4つの8×8サブCUをリーフCUとも呼ぶ。
[0070]CUは、CUがサイズ差異を有しないことを除いて、H.264規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、(サブCUとも呼ばれる)4つの子ノードに分割され得、各子ノードは、今度は親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフCUとも呼ばれるコード化ノードを備える。コード化されたビットストリームに関連するシンタックスデータは、最大CU深度と呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コード化ノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コード化単位(SCU:smallest coding unit)をも定義し得る。本開示では、HEVCのコンテキストにおけるCU、PU、又はTU、若しくは他の規格のコンテキストにおける同様のデータ構造(例えば、H.264/AVCにおけるマクロブロック及びそれのサブブロック)のいずれかを指すために「ブロック」という用語を使用する。
[0071]CUは、コード化ノードと、コード化ノードに関連する予測単位(PU:prediction unit)及び変換単位(TU:transform unit)とを含む。CUのサイズは、コード化ノードのサイズに対応し、形状が正方形でなければならない。CUのサイズは、8×8画素から最大64×64以上の画素をもつツリーブロックのサイズまでに及び得る。各CUは、1つ又は複数のPUと1つ又は複数のTUとを含み得る。CUに関連するシンタックスデータは、例えば、CUを1つ又は複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化又はダイレクトモード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なり得る。PUは、形状が非正方形になるように区分され得る。CUに関連するシンタックスデータは、例えば、4分木に従って、CUを1つ又は複数のTUに区分することも記述し得る。TUは、形状が正方形又は非正方形(例えば、矩形)であり得る。
[0072]HEVC規格は、CUごとに異なり得るTUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。TUは、一般に、PUと同じサイズであるか又はPUよりも小さい。幾つかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用して、より小さい単位に再分割され得る。RQTのリーフノードは変換単位(TU)と呼ばれることがある。TUに関連する画素差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
[0073]リーフCUは、1つ又は複数の予測単位(PU)を含み得る。概して、PUは、対応するCUの全部又は一部分に対応する空間エリアを表し、そのPUの参照サンプルを取り出すためのデータを含み得る。その上、PUは、予測に関係するデータを含む。例えば、PUがイントラモード符号化されるとき、PUのためのデータは、PUに対応するTUのためのイントラ予測モードを記述するデータを含み得る残差4分木(RQT)中に含まれ得る。別の例として、PUがインターモード符号化されるとき、PUは、PUのための1つ又は複数の動きベクトルを定義するデータを含み得る。PUのための動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての解像度(例えば、1/4画素精度又は1/8画素精度)、動きベクトルが指す参照ピクチャ、及び/又は動きベクトルの参照ピクチャリスト(例えば、リスト0、リスト1、又はリストC)を記述し得る。
[0074]1つ又は複数のPUを有するリーフCUはまた、1つ又は複数の変換単位(TU)を含み得る。変換単位は、上記で説明したように、(TU4分木構造とも呼ばれる)RQTを使用して指定され得る。例えば、分割フラグは、リーフCUが4つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は、更なるサブTUに更に分割され得る。TUが更に分割されないとき、そのTUはリーフTUと呼ばれることがある。概して、イントラコード化の場合、リーフCUに属する全てのリーフTUは同じイントラ予測モードを共有する。即ち、概して、リーフCUの全てのTUの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダ20は、イントラ予測モードを使用して各リーフTUの残差値をTUに対応するCUの一部と元のブロックとの間の差分として計算し得る。TUは、必ずしもPUのサイズに制限されるとは限らない。従って、TUは、PUよりも大きいことも小さいこともある。イントラコード化の場合、PUは、同じCUの対応するリーフTUと同一位置配置され得る。幾つかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに対応し得る。
[0075]その上、リーフCUのTUはまた、残差4分木(RQT)と呼ばれる、それぞれの4分木データ構造に関連し得る。即ち、リーフCUは、リーフCUがどのようにTUに区分されるかを示す4分木を含み得る。TU4分木のルートノードは概してリーフCUに対応し、CU4分木のルートノードは概してツリーブロック(又はLCU)に対応する。分割されないRQTのTUはリーフTUと呼ばれる。概して、本開示では、別段に明記されていない限り、リーフCU及びリーフTUに言及するためにそれぞれCU及びTUという用語を使用する。
[0076]ビデオシーケンスは、一般に一連のピクチャを含む。本明細書で説明する「ピクチャ」及び「フレーム」という用語は互換的に使用され得る。即ち、ビデオデータを含んでいるピクチャは、ビデオフレーム又は単に「フレーム」と呼ばれることがある。グループオブピクチャ(GOP:group of pictures)は、概して、ビデオピクチャのうちの一連の1つ又は複数を備える。GOPは、GOP中に含まれる幾つかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはCU内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。
[0077]一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測をサポートし、2N×2N、2N×N、N×2N、又はN×Nの対称的なPUサイズでのインター予測をサポートする。HMはまた、2N×nU、2N×nD、nL×2N、及びnR×2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、又は「Right」という表示によって示される。従って、例えば、「2N×nU」は、上部の2N×0.5N PUと下部の2N×1.5N PUとで水平方向に区分された2N×2N CUを指す。
[0078]本開示では、「N×N(NxN)」及び「N×N(N by N)」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、16×16(16x16)画素又は16×16(16 by 16)画素を指すために互換的に使用され得る。概して、16×16ブロックは、垂直方向に16画素を有し(y=16)、水平方向に16画素を有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にN画素を有し、水平方向にN画素を有し、但し、Nは非負整数値を表す。ブロック中の画素は行と列とに構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数の画素を有する必要があるとは限らない。例えば、ブロックはN×M画素を備え得、但し、Mは必ずしもNに等しいとは限らない。
[0079]CUのPUを使用したイントラ予測コード化又はインター予測コード化の後に、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(画素領域とも呼ばれる)空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備え得、TUは、変換、例えば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、PUに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、TUを変換して、CUのための変換係数を生成し得る。
[0080]変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にnビット値がmビット値に丸められ得、但し、nはmよりも大きい。
[0081]量子化の後に、ビデオエンコーダ20は、変換係数を走査して、量子化変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー(従って、より低い周波数)係数を配置し、アレイの後部により低いエネルギー(従って、より高い周波数)係数を配置するように設計され得る。
[0082]幾つかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応型走査を実行し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、例えば、コンテキスト適応型可変長コード化(CAVLC:context-adaptive variable length coding)、コンテキスト適応型バイナリ算術コード化(CABAC:context-adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コード化、又は別のエントロピー符号化方法に従って1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための符号化されたビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0083]ビデオエンコーダ20は、更に、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、及びGOPベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、又はGOPヘッダ中でビデオデコーダ30に送り得る。GOPシンタックスデータは、それぞれのGOP中のピクチャの数を記述し得、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化/予測モードを示し得る。
[0084]幾つかの事例では、ビデオエンコーダ20及び/又はビデオデコーダ30は深度データをイントラコード化し得る。例えば、3D−HEVCでは、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度スライスのイントラ予測単位をコード化するためにベース(2D)HEVC規格からのイントラ予測モードを使用し得る。別の例では、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度スライスのイントラ予測単位をコード化するために深度モデリングモード(DMM)を使用し得る。別の例では、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度スライスのイントラ予測単位をコード化するために領域境界チェーンコード化を使用し得る。更に別の例では、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度スライスのイントラ予測単位をコード化するために簡略深度コード化(SDC)モードを使用し得る。
[0085]上記のイントラコード化モードのうちの1つ又は複数は、深度ブロックのための予測DC値を生成することを含み得る。例えば、上述のように、予測DC値は、近隣サンプル値に基づく、区分全体に適用される単一の予測値であり得る。ビデオエンコーダ20及び/又はビデオデコーダ30が(例えば、DMMウェッジレットパターン、DMM輪郭パターン、チェーンコード化、SDCモード2などを使用して)深度ブロックを2つ以上の領域に区分する例では、ビデオエンコーダ20及び/又はビデオデコーダ30は深度ブロックの各区分のための予測DC値を決定し得る。
[0086]一般に、ビデオエンコーダ20及び/又はビデオデコーダ30は、コード化されている深度ブロックの上の行、及びコード化されている深度ブロックの左の列に位置する、全ての(参照サンプルと呼ばれる)近隣サンプルの平均に基づいて予測DC値を決定し得る。しかしながら、そのような手法は、ビデオエンコーダ20及び/又はビデオエンコーダ30が比較的多数の数学演算を実行することを必要とする。例えば、ビデオエンコーダ20及び/又はビデオエンコーダ30は、各区分のための平均値に寄与する各参照サンプルを加算及び計数しなければならない。更に、ビデオエンコーダ20及び/又はビデオエンコーダ30は、各区分のための平均値を決定するために、各区分について除算演算を実行しなければならず、これはビデオエンコーダ20及び/又はビデオエンコーダ30のハードウェア構成要素に複雑さを追加し得る。
[0087]上記で説明した予測DC値を生成することに関連する計算コストは、コード化されている深度ブロックのサイズが増加するにつれて増加することがある。例えば、上述のように、HEVC規格はサイズが32×32であるブロックを可能にする。従って、32×32ブロックの場合、ビデオエンコーダ20及び/又はビデオエンコーダ30は、各区分に対してのための参照サンプルの和を計算するための64回の加算と、各区分のための参照サンプルの数を計数するための64回の加算とを実行する。
[0088]更に、予測DC値を生成するために全ての近隣参照サンプルを使用するとき、ビデオエンコーダ20及び/又はビデオデコーダ30は区分のエッジの近くの予測誤差を導入することがある。例えば、参照サンプルと近隣深度値とは、区分のエッジの近くで実質的に異なる値を有し得る。従って、以下で図9A及び図9Bに関してより詳細に説明するように、区分のエッジの近くの参照サンプルは区分のための予測DC値をゆがめることがあり、これはコード化非効率性(例えば、コード化のための大きい残差値)をもたらすことがある。
[0089]本開示の態様は、概して、深度マップをイントラコード化するときに予測DC深度値を決定する技法に関する。例えば、本開示の態様は、上記で説明したように、全ての参照サンプルに対する平均化演算を実行することなしに、深度データの区分のための単一の予測値を決定するための技法に関する。本開示の態様では、予測値が、上記で説明したイントラモード(例えば、HEVCイントラモード、DMM、チェーンコード化モード、SDCモードなど)のうちの1つに関連するDCイントラモードを使用して生成され得るので、概して「DC」予測値に言及することがある。但し、予測DC値への言及は、必ずしも、平均化が実行されることを暗示するとは限らない。
[0090]本開示の態様によれば、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度値のブロックの1つ又は複数のサンプルを第1の区分に割り当てることと、そのブロックの1つ又は複数の他のサンプルを第2の区分に割り当てることとを含む、そのブロックのための区分パターンを決定し得る。ビデオエンコーダ20及び/又はビデオデコーダ30は、次いで、決定された区分パターンに基づいて、第1の区分及び第2の区分のうちの少なくとも1つのための予測値を決定し、予測値に基づいて、第1の区分及び第2の区分のうちの少なくとも1つをコード化し得る。
[0091]例えば、区分パターンを決定するとき、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度値をブロックの区分に割り当てるために、以下で説明する区分プロセス(例えば、DMM、チェーンコード化、SDCなどで区分すること)のうちの1つを実行し得る。ビデオエンコーダ20及び/又はビデオデコーダ30は、次いで、深度値の最上行が、第1の区分のみに割り当てられた深度値を含むのか、第2の区分のみに割り当てられた深度値を含むのか、第1の区分と第2の区分の両方に割り当てられた深度値を含むのかを示す区分パターンを決定し得る。区分パターンはまた、深度値の左列が、第1の区分のみに割り当てられた深度値を含むのか、第2の区分のみに割り当てられた深度値を含むのか、第1の区分と第2の区分の両方に割り当てられた深度値を含むのかを示し得る。
[0092]幾つかの例では、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度値の最上行及び左列の各区分割当てを分析することによって区分パターンを決定し得る。即ち、ビデオエンコーダ20及び/又はビデオデコーダ30は、ブロックの最上行及び左列の各深度値の区分割当てを決定することによって、第1の区分と第2の区分との間の遷移を(そのような遷移が起こる場合)識別し得る。他の例では、ビデオエンコーダ20及び/又はビデオデコーダ30は、最上行及び左列からの深度値のサブセットを分析することによって区分パターンを決定し得る。即ち、ビデオエンコーダ20及び/又はビデオデコーダ30は、深度ブロックの所定の位置(例えば、左上コーナー、右上コーナー、及び左下コーナー)における深度値の区分割当てを決定することによって、第1の区分と第2の区分との間の遷移を(そのような遷移が起こる場合)識別し得る。
[0093]ビデオエンコーダ20及び/又はビデオデコーダ30は、次いで、決定された区分パターンに基づいて、第1の区分及び第2の区分のうちの少なくとも1つのための予測値を決定し得る。例えば、ビデオエンコーダ20及び/又はビデオデコーダ30は、第1の区分及び/又は第2の区分のための予測深度値をそれから決定すべき代表的近隣参照サンプルを識別し得る。識別される近隣参照サンプルは区分パターンに依存し得る。
[0094]例えば、ビデオエンコーダ20及び/又はビデオデコーダ30は、ブロックが深度値の最上行中に第1の区分と第2の区分との間の遷移を含むとき、ブロックが第1の区分と第2の区分との間の遷移を含まないときとは異なる参照サンプルを使用して予測値を決定し得る。ビデオエンコーダ20及び/又はビデオデコーダ30は、区分境界の近くに位置しない代表的参照サンプルを選択し得、これは、区分境界によって導入される予測誤差を低減し得る。例示的な区分パターン及び代表的近隣参照サンプルについて、以下で図11A〜図11Hに関してより詳細に説明する。
[0095]ビデオエンコーダ20及び/又はビデオデコーダ30は、次いで、予測値に基づいて、第1の区分及び第2の区分のうちの少なくとも1つをコード化し得る。例えば、ビデオエンコーダ20は、ブロックの実際の深度値と各区分の予測深度値との間の差分を含む残差深度値を生成し得、その残差深度値を符号化されたビットストリーム中に含め得る。ビデオデコーダ30は、符号化されたビットストリームからの残差値を構文解析し、各区分のための予測深度値を生成し、実際の深度値を決定するために残差深度値を予測深度値と組み合わせ得る。
[0096]このようにして、本開示の技法は、ビデオエンコーダ20及び/又はビデオデコーダ30が深度区分のための予測DC値をより効率的に及びより正確に生成することを可能にし得る。例えば、本技法は、予測DC値を生成するために実行される加算及び除算演算の数を低減するか又はなくし得る。更に、本技法は、不正確な予測子をもたらすことがある区分境界の近くの区分誤差の導入を低減し得る。
[0097]図2は、深度コード化のための技法を実装し得るビデオエンコーダ20の一例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード(Iモード)は、幾つかの空間ベースのコード化モードのいずれかを指すことがある。単方向予測(Pモード)又は双方向予測(Bモード)などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指すことがある。
[0098]上述のように、ビデオエンコーダ20は、マルチビュービデオコード化を実行するように適応され得る。幾つかの事例では、ビデオエンコーダ20は、時間インスタンス中の各ビューがビデオデコーダ30のなどのデコーダによって処理され得るように、マルチビューHEVCをコード化するように構成され得る。HEVC−3Dの場合、各ビューに対するテクスチャマップ(即ち、ルーマ値及びクロマ値)を符号化することに加えて、ビデオエンコーダ20は更に、各ビューに対する深度マップを符号化し得る。
[0099]いずれの場合も、図2に示されているように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40と、参照フレームメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピーコード化ユニット56とを含む。モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、区分化ユニット48とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換ユニット60と、加算器62とを含む。再構成されたビデオからブロック歪み(blockiness artifacts)を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ(図2に図示せず)も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタ処理することになる。追加のフィルタ(ループ内又はループ後)もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、(ループ内フィルタとして)加算器50の出力をフィルタ処理し得る。
[0100]符号化プロセス中に、ビデオエンコーダ20は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは複数のビデオブロックに分割され得る。動き推定ユニット42及び動き補償ユニット44は、時間的予測を行うために、1つ又は複数の参照フレーム中の1つ又は複数のブロックに対する受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット46は、代替的に、空間的予測を行うために、コード化されるべきブロックと同じフレーム又はスライス中の1つ又は複数の近隣ブロックに対する受信されたビデオブロックのイントラ予測コード化を実行し得る。ビデオエンコーダ20は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。
[0101]その上、区分化ユニット48は、前のコード化パスにおける前の区分化方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、区分化ユニット48は、初めにフレーム又はスライスをLCUに区分し、レート歪み分析(例えば、レート歪み最適化)に基づいてLCUの各々をサブCUに区分し得る。モード選択ユニット40は、更に、LCUをサブCUに区分することを示す4分木データ構造を生成し得る。4分木のリーフノードCUは、1つ又は複数のPUと1つ又は複数のTUとを含み得る。
[0102]モード選択ユニット40は、例えば、誤差結果に基づいてコード化モード、即ち、イントラ又はインターのうちの1つを選択し、残差ブロックデータを生成するために、得られたイントラコード化されたブロック又はインターコード化されたブロックを加算器50に与え、参照フレームとして使用するための符号化されたブロックを再構成するために、得られたイントラコード化されたブロック又はインターコード化されたブロックを加算器62に与え得る。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、及び他のそのようなシンタックス情報など、シンタックス要素をエントロピーコード化ユニット56に与え得る。
[0103]動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム(又は他のコード化された単位)内でコード化されている現在ブロックに対する参照フレーム(又は他のコード化された単位)内の予測ブロックに対する現在ビデオフレーム又はピクチャ内のビデオブロックのPUの変位を示し得る。予測ブロックは、絶対差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ20は、参照フレームメモリ64に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ20は、参照ピクチャの1/4画素位置、1/8画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット42は、フル画素位置と分数画素位置とに関して動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
[0104]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化されたスライスにおけるビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)又は第2の参照ピクチャリスト(リスト1)から選択され得、それらの参照ピクチャリストの各々は、参照フレームメモリ64に記憶された1つ又は複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
[0105]動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することに関与し得る。この場合も、幾つかの例では、動き推定ユニット42と動き補償ユニット44とは機能的に統合され得る。現在ビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいて指す予測ブロックの位置を特定し得る。加算器50は、以下で説明するように、コード化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット42はルーマ成分に対して動き推定を実行し、動き補償ユニット44は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0106]イントラ予測ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット46は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット46(又は、幾つかの例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
[0107]例えば、イントラ予測ユニット46は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み(又は誤差)の量、及び符号化されたブロックを生成するために使用されるビットレート(即ち、ビット数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化されたブロックの歪み及びレートから比を計算し得る。
[0108]更に、イントラ予測ユニット46は、深度マップの深度ブロックをコード化するように構成され得る。例えば、イントラ予測ユニット46は、深度スライスのイントラ予測されたPUをコード化するために、(例えば、以下で図4に関して説明するように)ベース(2D)HEVC規格からのイントラ予測モードと、(例えば、以下で図5A及び図5Bに関して説明するように)深度モデリングモード(DMM)と、(例えば、以下で図6に関して説明するように)領域境界チェーンコード化と、(例えば、以下で図7に関して説明するように)簡略深度コード化(SDC)とを使用する。
[0109]幾つかの例では、イントラ予測ユニット46は、深度PUを2つ以上の領域に区分し得、各領域を別々にイントラ予測し得る。例としては、DMM、チェーンコード化、SDCモード2などがある。そのような例では、イントラ予測ユニット46は区分ごとに単一の予測DC値を生成し得る。予測DC値は近隣サンプル値に基づき得る。
[0110]本開示の態様によれば、イントラ予測ユニット46は、深度PUの区分パターンに基づいて、そのPUの各区分のための単一の予測値を決定し得る。上述のように、本技法は、イントラ予測ユニット46が、予測DC値を生成することに一般に関連する平均化演算を実行することなしに予測DC値を決定することを可能にし得る。
[0111]例えば、本開示の態様によれば、イントラ予測ユニット46は、深度PUのサンプルに2つの領域(例えば、第1の区分及び第2の区分)を割り当てるために区分を実行し得る。イントラ予測ユニット46は、次いで、PUの最上行が、第1の区分のみに割り当てられたサンプルを含むのか、第2の区分のみに割り当てられたサンプルを含むのか、第1の区分と第2の区分の両方に割り当てられたサンプルを含むのかを示す区分パターンを決定し得る。イントラ予測ユニット46はまた、PUの左列が、第1の区分のみに割り当てられたサンプルを含むのか、第2の区分のみに割り当てられたサンプルを含むのか、第1の区分と第2の区分の両方に割り当てられたサンプルを含むのかを決定し得る。
[0112]幾つかの例では、イントラ予測ユニット46は、PUの最上行及び左列のサンプルの各区分割当てを分析することによって区分パターンを決定し得る。即ち、イントラ予測ユニット46は、PUの最上行及び左列の各サンプルの区分割当てを決定することによって、第1の区分と第2の区分との間の遷移を(そのような遷移が起こる場合)識別し得る。他の例では、イントラ予測ユニット46は、PUの最上行及び左列からのサンプルのサブセットを分析することによって区分パターンを決定し得る。即ち、イントラ予測ユニット46は、PUの所定の位置(例えば、左上コーナー、右上コーナー、及び左下コーナー)におけるサンプルの区分割当てを決定することによって、第1の区分と第2の区分との間の遷移を(そのような遷移が起こる場合)識別し得る。
[0113]イントラ予測ユニット46は、次いで、決定された区分パターンに基づいて、PUの区分のための予測DC値を決定し得る。例えば、イントラ予測ユニット46は、区分のための予測DC値をそれから決定すべき1つ又は複数の近隣PUからの代表的参照サンプルを識別し得る。識別される近隣参照サンプルは区分パターンに依存し得る。
[0114]概して、イントラ予測ユニット46は、区分境界の近くに位置しない参照サンプルを選択し得、これは、区分境界によって導入される予測誤差を低減し得る。イントラ予測ユニット46は、単一の参照サンプルの値に基づいて、又は2つ以上の参照サンプルの組合せに基づいて、予測DC値を決定し得る。別の例では、イントラ予測ユニット46は、以下でより詳細に説明するように、デフォルト予測DC値に従って予測DC値を決定し得る。
[0115]いずれの場合も、ビデオエンコーダ20は、コード化されている元のビデオブロックから、モード選択ユニット40からの予測データを減算することによって残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つ又は複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット52は、DCTと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。
[0116]いずれの場合も、変換処理ユニット52は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。幾つかの例では、量子化ユニット54は、次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行し得る。
[0117]量子化の後に、エントロピーコード化ユニット56は量子化された変換係数をエントロピーコード化する。例えば、エントロピーコード化ユニット56は、コンテキスト適応型可変長コード化(CAVLC)、コンテキスト適応型バイナリ算術コード化(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC)、確率間隔区分化エントロピー(PIPE)コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースエントロピーコード化の場合、コンテキストは近隣ブロックに基づき得る。エントロピーコード化ユニット56によるエントロピーコード化の後に、符号化されたビットストリームは、別の機器(例えば、ビデオデコーダ30)に送信されるか、又は後で送信するか若しくは取り出すためにアーカイブされ得る。
[0118]逆量子化ユニット58及び逆変換ユニット60は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域において残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照フレームメモリ64のフレームのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つ又は複数の補間フィルタを適用して、動き推定において使用するためのサブ整数画素値を計算し得る。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに加算して、参照フレームメモリ64に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット42及び動き補償ユニット44によって参照ブロックとして使用され得る。
[0119]図3は、深度コード化のための技法を実装し得るビデオデコーダ30の一例を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、逆量子化ユニット76と、逆変換ユニット78と、参照フレームメモリ82と、加算器80とを含む。ビデオデコーダ30は、幾つかの例では、ビデオエンコーダ20(図2)に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
[0120]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化されたビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。ビデオデコーダ30のエントロピー復号ユニット70は、量子化された係数と、動きベクトル又はイントラ予測モードインジケータと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトルと他の予測シンタックス要素とを動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルでシンタックス要素を受信し得る。
[0121]上述のように、ビデオデコーダ30は、マルチビュービデオコード化を実行するように適応され得る。幾つかの例では、ビデオデコーダ30は、マルチビューHEVCを復号するように構成され得る。HEVC−3Dの場合、各ビューに対するテクスチャマップ(即ち、ルーマ値及びクロマ値)を復号することに加えて、ビデオデコーダ30は更に、各ビューに対する深度マップを復号し得る。
[0122]いずれの場合も、ビデオスライスがイントラコード化された(I)スライスとしてコード化されるとき、イントラ予測ユニット74は、信号伝達されたイントラ予測モードと、現在フレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。
[0123]イントラ予測ユニット74はまた、深度データをイントラコード化し得る。例えば、イントラ予測ユニット74は、深度スライスのイントラ予測されたPUをコード化するために、(例えば、以下で図4に関して説明するように)ベース(2D)HEVC規格からのイントラ予測モードと、(例えば、以下で図5A及び図5Bに関して説明するように)深度モデリングモード(DMM)と、(例えば、以下で図6に関して説明するように)領域境界チェーンコード化と、(例えば、以下で図7に関して説明するように)簡略深度コード化(SDC)とを使用する。
[0124]幾つかの例では、イントラ予測ユニット74は、深度PUを2つ以上の領域に区分し得、各領域を別々にイントラ予測し得る。例としては、DMM、チェーンコード化、SDCモード2などがある。そのような例では、イントラ予測ユニット74は区分ごとに単一の予測DC値を生成し得る。予測DC値は近隣サンプル値に基づき得る。
[0125]本開示の態様によれば、イントラ予測ユニット74は、深度PUの区分パターンに基づいて、そのPUの各区分のための単一の予測値を決定し得る。上述のように、本技法は、イントラ予測ユニット74が、予測DC値を生成することに一般に関連する平均化演算を実行することなしに予測DC値を決定することを可能にし得る。
[0126]例えば、本開示の態様によれば、イントラ予測ユニット74は、深度PUのサンプルに2つの領域(例えば、第1の区分及び第2の区分)を割り当てるために区分化を実行し得る。イントラ予測ユニット74は、次いで、PUの最上行が、第1の区分のみに割り当てられたサンプルを含むのか、第2の区分のみに割り当てられたサンプルを含むのか、第1の区分と第2の区分の両方に割り当てられたサンプルを含むのかを示す区分パターンを決定し得る。イントラ予測ユニット74はまた、PUの左列が、第1の区分のみに割り当てられたサンプルを含むのか、第2の区分のみに割り当てられたサンプルを含むのか、第1の区分と第2の区分の両方に割り当てられたサンプルを含むのかを決定し得る。
[0127]幾つかの例では、イントラ予測ユニット74は、PUの最上行及び左列のサンプルの各区分割当てを分析することによって区分パターンを決定し得る。即ち、イントラ予測ユニット74は、PUの最上行及び左列の各サンプルの区分割当てを決定することによって、第1の区分と第2の区分との間の遷移を(そのような遷移が起こる場合)識別し得る。他の例では、イントラ予測ユニット74は、PUの最上行及び左列からのサンプルのサブセットを分析することによって区分パターンを決定し得る。即ち、イントラ予測ユニット74は、PUの所定の位置(例えば、左上コーナー、右上コーナー、及び左下コーナー)におけるサンプルの区分割当てを決定することによって、第1の区分と第2の区分との間の遷移を(そのような遷移が起こる場合)識別し得る。
[0128]イントラ予測ユニット74は、次いで、決定された区分パターンに基づいて、PUの区分のための予測DC値を決定し得る。例えば、イントラ予測ユニット74は、区分のための予測DC値をそれから決定すべき1つ又は複数の近隣PUからの代表的参照サンプルを識別し得る。識別される近隣参照サンプルは区分パターンに依存し得る。
[0129]概して、イントラ予測ユニット74は、区分境界の近くに位置しない参照サンプルを選択し得、これは、区分境界によって導入される予測誤差を低減し得る。イントラ予測ユニット74は、単一の参照サンプルの値に基づいて、又は2つ以上の参照サンプルの組合せに基づいて、予測DC値を決定し得る。別の例では、イントラ予測ユニット74は、以下でより詳細に説明するように、デフォルト予測DC値に従って予測DC値を決定し得る。
[0130]ビデオフレームがインターコード化された(即ち、B(双方向予測された)、P(前のフレームから予測された)又はGPB(一般化されたP又はBスライス))スライスとしてコード化されるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、参照フレームメモリ92に記憶された参照ピクチャに基づいて、デフォルト構成技法を使用して、参照フレームリスト、即ち、リスト0とリスト1とを構成し得る。
[0131]動き補償ユニット72は、動きベクトルと他のシンタックス要素とを構文解析することによって現在ビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット72は、ビデオスライスのビデオブロックをコード化するために使用される予測モード(例えば、イントラ又はインター予測)と、インター予測スライスタイプ(例えば、Bスライス、Pスライス、又はGPBスライス)と、スライスの参照ピクチャリストのうちの1つ又は複数のための構成情報と、スライスの各インター符号化されたビデオブロックのための動きベクトルと、スライスの各インターコード化されたビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素の幾つかを使用する。
[0132]動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0133]逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット80によって復号された、量子化された変換係数を逆量子化(inverse quantize)、即ち、逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ30によって計算される量子化パラメータQPYの使用を含み得る。
[0134]逆変換ユニット78は、逆変換、例えば、逆DCT、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用して、画素領域において残差ブロックを生成する。
[0135]動き補償ユニット82又はイントラ予測ユニット74が、動きベクトル又は他のシンタックス要素に基づいて現在ビデオブロック(例えば、テクスチャブロック又は深度ブロック)のための予測ブロックを生成した後、ビデオデコーダ30は、逆変換ユニット78からの残差ブロックを、動き補償ユニット82又はイントラ予測ユニット74によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器90は、この加算演算を実行する1つ又は複数の構成要素を表す。
[0136]所望される場合、ブロック歪みを除去するために、復号されたブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。画素遷移を平滑化するために、又は場合によってはビデオ品質を改善するために、他のループフィルタも(コード化ループ中又はコード化ループ後のいずれかで)使用され得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ92に記憶される。参照フレームメモリ82はまた、図1の表示器機器32などの表示器機器上での後の提示のために、復号されたビデオを記憶する。
[0137]図4に、方向性イントラ予測モードに関連する予測方向を概して示す。例えば、上述のように、HEVC規格は、平面モード(モード0)と、DCモード(モード1)と、33個の方向性予測モード(モード2〜34)とを含む、35個のイントラ予測モードを含み得る。平面モードの場合、所謂「平面」関数を使用して予測が実行される。(例えば、DC予測値を生成するための)DCモードの場合、ブロック内の画素値の平均化に基づいて予測が実行され得る。方向性予測モードの場合、(そのモードによって示される)特定の方向に沿った近隣ブロックの再構成された画素に基づいて予測が実行される。概して、図4に示されている矢印の尾部は、値がそこから取り出される近隣画素のうちの相対的な1つを表し、矢印の頭部は、予測ブロックを形成するために、取り出された値が伝搬される方向を表す。
[0138]図4に示されているイントラモードは、深度値を予測するために使用され得る。例えば、図4に示されている角度イントラ予測モードの各々は、図5A及び図5Bに関して以下でより詳細に説明するように、ウェッジレットパターンのセットに関連し得る。
[0139]図5A及び図5Bは、深度モデリングモード(DMM)の例を示す概念図である。図5Aは、例えば、ウェッジレット区分を使用して区分された深度ブロック110を示しており、図5Bは、別の例として、輪郭区分を使用して区分された深度ブロック130を示している。3D−HEVCは、深度スライスのイントラ予測単位をコード化するために、イントラ予測モードとともに、ブロックを区分するための深度モデリングモード(DMM)のための技法を含む。HTMバージョン3.1は、場合によっては深度マップ中のより鋭いエッジをより良く表し得る、深度マップのイントラコード化のためのDMM方法を適用する。
[0140]例えば、3D−HEVCは、4つのDMMモード、即ち、モード1(明示的ウェッジレット信号伝達)と、モード2(イントラ予測ウェッジレット区分)と、モード3(コンポーネント間ウェッジレット区分)と、モード4(コンポーネント間輪郭区分)とを与える。全ての4つのモードにおいて、ビデオエンコーダ20又はビデオデコーダ30などのビデオコーダは、深度ブロックをDMMパターンによって指定された2つの領域に区分し得、ここで、各領域は一定値によって表される。DMMパターンは、明示的に信号伝達される(モード1)か、空間的に近隣するブロックによって予測される(モード2)か、又は同一位置配置テクスチャブロックを使用して予測される(モード3及びモード4)かのいずれかであり得る。
[0141]ウェッジレット区分と輪郭区分とを含む、DMMにおいて定義されている2つの区分モデルがある。再び、図5Aはウェッジレット区分の一例を示しており、図5Bは輪郭区分の一例を示している。深度ブロック110及び130内の各個々の正方形は、それぞれ、深度ブロック110及び130のそれぞれの個々の画素を表す。正方形内の数値は、対応する画素が領域112(図5Aの例における値「0」)に属するのか、領域114(図5Aの例における値「1」)に属するのかを表す。また、図5Aにおいて、画素が領域112(白い正方形)に属するのか、領域114(灰色の影つき正方形)に属するのかを示すために陰影が使用される。
[0142]各パターン(即ち、ウェッジレットと輪郭の両方)は、対応するサンプル(即ち、画素)が領域P1に属するのかP2に属するのか(但し、P1は図5A中の領域112と図5B中の領域132とに対応し、P2は図5A中の領域114と図5B中の領域134A、134Bとに対応する)のサイズuB×vB2進数字ラベリングのアレイによって画定され得、但し、uB及びvBは、それぞれ、現在PUの水平サイズ及び垂直サイズを表す。図5A及び図5Bの例では、PUは、それぞれブロック110及び130に対応する。ビデオエンコーダ20及びビデオデコーダ30などのビデオコーダは、コード化の開始、例えば、符号化の開始又は復号の開始時に、ウェッジレットパターンを初期化し得る。
[0143]図5Aの例に示されているように、ウェッジレット区分の場合、深度ブロック110は、(Xs,Ys)に位置する開始点118と(Xe,Ye)に位置する終了点120とをもつ直線116によって2つの領域、即ち、領域112と領域114とに区分される。図5Aの例では、開始点118は点(8,0)として定義され得、終了点120は点(0,8)として定義され得る。
[0144]図5Bの例に示されているように、輪郭区分の場合、深度ブロック130などの深度ブロックは2つの不規則形状領域に区分され得る。図5Bの例では、深度ブロック130は領域132と領域134A、134Bとに区分される。領域134A中の画素は領域134B中の画素に直接隣接しないが、領域134A及び134Bは、深度ブロック130のPUを予測する目的で1つの単一の領域を形成するように画定される。輪郭区分は、ウェッジレット区分よりもフレキシブルであるが、信号伝達することが相対的により困難であり得る。DMMモード4では、3D−HEVCの場合、輪郭区分パターンは、同一位置配置テクスチャブロック(co-located texture block)の再構成されたルーマサンプルを使用して暗黙的に導出される。
[0145]このようにして、ビデオエンコーダ20及びビデオデコーダ30などのビデオコーダは、深度ブロック110の画素が(領域「P1」と呼ばれることもある)領域112に属するのか、(領域「P2」と呼ばれることもある)領域114に属するのかを決定するために、開始点118と終了点120とによって画定された線116を使用し得る。同様に、ビデオコーダは、深度ブロック130の画素が(領域「P1」と呼ばれることもある)領域132に属するのか、(領域「P2」と呼ばれることもある)領域134に属するのかを決定するために、図5Bの線136、138を使用し得る。領域「P1」及び「P2」は、DMMに従って区分された異なる領域のためのデフォルト命名規則であり、従って、深度ブロック110の領域P1は、深度ブロック130の領域P1と同じ領域と考えられるべきでない。
[0146]上記のように、DMMの各々は、DMMがウェッジレット区分を使用するのか輪郭区分を使用するのかと、パターンが明示的に信号伝達されるのか暗黙的に決定されるのかとによって定義され得る。DMMプロセスは、(図4に示された)HEVCにおいて指定されたイントラ予測モードの代替として組み込まれ得る。DMMが適用されるのか従来のイントラ予測が適用されるのかを指定するために、1ビットフラグが各PUについて信号伝達され得る。
[0147]本開示の態様は、概して、深度ブロックの1つ又は複数の区分のための予測DC値を決定するための技法に関する。例えば、本開示の態様によれば、ビデオエンコーダ20又はビデオデコーダ30などのビデオコーダは、線116(図5A)又は線136、138(図5B)によって画定される区分パターンなど、区分パターンに基づいて予測DC値を決定し得る。以下でより詳細に説明するように、線118の位置が、領域112及び/又は領域114(図5A)について予測DC値がそれから導出される近隣サンプルを決定し得る。同様に、線136、138の位置が、領域132及び/又は領域134(図5B)について予測DC値がそれから導出される近隣サンプルを決定し得る。
[0148]図6は、領域境界チェーンコード化モードを示す概念図である。例えば、3D−HEVCは、(例えば、DMMに関して上記で説明した、同一位置配置されたテクスチャに基づく区分ではなく)区分境界の明示的信号伝達を可能にする領域境界チェーンコード化モードを含む。本開示では、「領域境界チェーンコード化モード」を「チェーンコード化」と呼ぶことがある。
[0149]概して、チェーンは、サンプルとそれの8連結性サンプルのうちの1つとの間の連結である。図6のブロック160によって示されているように、8つの異なるチェーン方向タイプがあり、各々は、0から7にわたる方向インデックスを割り当てられる。チェーン方向タイプは、ビデオコーダが深度ブロックの区分を決定するのを助け得る。
[0150]例えば、図6の例は、区分構造を示すチェーン166によって分離された第1の区分162と第2の区分164とを含む。(ビデオエンコーダ20などの)ビデオエンコーダは、PUのためのチェーン166を決定し、それを符号化されたビットストリーム中で信号伝達し得、(ビデオデコーダ30などの)ビデオデコーダは、符号化されたビットストリームからのチェーン166を表すデータを構文解析し得る。
[0151]概して、チェーン166は、開始位置と、チェーン中のリンクの数(例えば、チェーンコードの数)の指示と、チェーンコードごとの方向インデックスとを含む。チェーン166のための他のタイプの信号伝達も使用され得る。一例では、図6の例に示された任意の区分パターンを信号伝達するために、ビデオエンコーダ20は、チェーン166が上境界から開始することを示すために1ビット(例えば、0)を符号化し得る。ビデオエンコーダ20は、チェーン166が上境界の第3の深度サンプルの後に開始することを示すために汝ビット(例えば、011)を符号化し得る。ビデオエンコーダ20は、チェーン166中に合計7つのリンクがあることを示すために4ビット(例えば、0110)を符号化し得る。ビデオエンコーダ20はまた、(例えば、ブロック160に従って)各チェーンリンクの方向を示すために一連の連結チェーンインデックス(例えば、3,3,3,7,1,1,1)を符号化し得る。幾つかの例では、ビデオエンコーダ20は、ルックアップテーブルを使用して各インデックスをコードワードに変換し得る。ビデオデコーダ30などのビデオデコーダは、ブロックの区分パターンを決定するために、上記で説明した信号伝達を構文解析し得る。ビデオデコーダ30は、次いで、各区分のための深度値を復号し得る。
[0152]本開示の態様は、概して、深度ブロックの1つ又は複数の区分のための予測DC値を決定するための技法に関する。例えば、本開示の態様によれば、ビデオエンコーダ20又はビデオデコーダ30などのビデオコーダは、チェーン166によって画定される区分パターンなど、区分パターンに基づいて予測DC値を決定し得る。以下でより詳細に説明するように、チェーン166の位置が、区分162及び/又は区分164について予測DC値がそれから導出される近隣サンプルを決定し得る。
[0153]図7は、簡略深度コード化(SDC)を使用して深度情報をイントラコード化することを示すブロック図である。図7の例では、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、左分岐180を使用して深度情報をイントラ予測するために、上記で説明したイントラ予測モード(HEVCモード、DMM、チェーンコード化)のいずれかを使用し得る。そのような例では、ビデオコーダは、区分(例えば、ウェッジレット、輪郭、チェーンなど)182を実行し、予測モード184(例えば、HEVCイントラモード、DMMなど)を決定し、残差コード化186を実行し得る。
[0154]代替的に、SDCシンタックス要素(例えば、sdc_enable_flag)が、右分岐190に従うSDCコード化を示し得る。例えば、SDCを実装するとき、ビデオコーダは、SDCサブモード192を決定し、(例えば、変換及び量子化なしに)残差値194を直接コード化し得る。
[0155]幾つかの事例では、SDCは2N×2N PU区分サイズにのみ適用され得る。上述のように、コード化された量子化された変換係数の代わりに、SDCモードは、現在の深度ブロックの区分のタイプ(例えば、DC(1つの区分)、DMMモード1(2つの区分)、DMMモード2(2つの区分)、又は平面(1つの区分)に基づいて深度ブロックを表す。更に、上述のように、画素領域における残差値が各区分に与えられる。
[0156]従って、DC、DMMモード1、DMMモード2及び平面の区分タイプにそれぞれ対応する、SDCモード1、SDCモード2、SDCモード3及びSDCモード4を含む、4つのサブモードがSDCにおいて定義され得る。幾つかの事例では、深度値は、場合によっては、フルシーケンスを符号化する前に第1のイントラ期間内のフレームを分析することによって構成され得る深度ルックアップテーブル(DLT:Depth Lookup Table)を使用してインデックスにマッピングされ得る。DLTが使用される場合、DLT全体がシーケンスパラメータセット中でデコーダに送信され、復号されたインデックス値が、DLTに基づいて深度値にマッピングされる。
[0157]いずれの場合も、本開示の態様は、概して、深度ブロックの1つ又は複数の区分のための予測DC値を決定するための技法に関する。例えば、本開示の態様によれば、ビデオエンコーダ20又はビデオデコーダ30などのビデオコーダは、SDCモード2(例えば、2つの区分を有するDMMモード1)に従って画定される区分パターンなど、区分パターンに基づいて予測DC値を決定し得る。以下でより詳細に説明するように、SDCモード2において使用される区分構造が、各区分について予測DC値がそれから導出される近隣サンプルを決定し得る。
[0158]図8は、深度データのブロックと、そのブロックの1つ又は複数の区分のための予測深度値を決定するために使用され得る近隣サンプルとを示すブロック図である。例えば、上記で説明したように、DMM、チェーンコード化、SDCモード2などを用いて、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、特定の区分パターンに基づいて深度PUを領域に区分し得る。更に、ビデオコーダは、1つ又は複数の近隣参照サンプルから導出され得る単一の値、例えば、予測DC値を使用して各区分を予測し得る。
[0159]図8の例では、サンプルci,j、但し、i,j=0、1、...、7(C0,0〜C7,7)、をもつ8×8深度ブロック200は、ビデオコーダがDC予測深度値をそれから導出し得る、近隣サンプルの最上行202(P0,−1〜P7,−1)及び近隣サンプルの左列204(P−1,0〜P−1,7)(即ち、pi,j、但し、i=−1、j=−1..7及びi=0..7、j=−1)に接している。ビデオコーダは、一般に、予測DC値を決定するとき、近隣サンプル202及び204の全てを平均し得る。
[0160]説明のための一例では、深度値はBビット表現で表されると仮定する。例えば、Bが8であるとき、深度値は0から255にわたり得る。更に、深度ブロック200(例えば、2進値から構成されたN×Nブロック)は所与の区分パターン、即ち、bPatternx,y、但し、x=0..N−1、y=0..N−1、に区分されていると仮定する。上記で与えられた仮定の場合、ビデオコーダは、一般に、所与の区分パターンの各区分のための予測DC値、即ち、DC0及びDC1を導出するために、以下のステップを実行し得る。
1. DC0及びDC1を2B-1として設定し、変数S0、S1、N0及びN1を0に等しく設定する。
2. i=0..N−1である場合、以下が適用される。
i. bPatterni,0が0に等しい場合、S0をS0+pi,-1として設定し、N0をN0+1として設定し、
ii. そうでない場合、S1をS1+pi,-1として設定し、N1をN1+1として設定する。
3. i=0..N−1である場合、以下が適用される。
i. bPattern0,iが0に等しい場合、S0をS0+p-1,iとして設定し、N0をN0+1として設定し、
ii. そうでない場合、S1をS1+p-1,iとして設定し、N1をN1+1として設定する。
[0161]従って、この例では、区分パターンを決定し、予測DC値が導出された後、ビデオコーダは、ブロックの区分0及び区分1中にあるサンプルをそれぞれDC0及びDC1として設定することによって予測ブロックを生成し得る。
[0162]上記の例では、ビデオコーダは、最初に両方の予測DC値を所定のデフォルト値に設定し、予測値導出のために変数のセットを初期化する。次いで、深度ブロック200の最上行の各サンプル(C0,0〜C7,0)について、ビデオコーダは、サンプルが第1の区分(0)に属するのか第2の区分に属するのかを決定する。
[0163]深度ブロック200のサンプルが第1の区分に属する場合、ビデオコーダは、近隣参照サンプル(例えば、第1のサンプルの場合、(P0,−1))を第1の区分和(S0)に加算し、第1の区分へのコントリビュータ(contributor)のカウント(N0)を増加させる。そうではなく、深度ブロック200のサンプルが第2の区分に属する場合、ビデオコーダは、近隣参照サンプル(例えば、第1のサンプルの場合、(P0,−1))を第2の区分和(S1)に加算し、第2の区分へのコントリビュータのカウント(N1)を増加させる。ビデオコーダは、深度ブロック200の左列の各サンプル(C0,0〜C0,7)についてこのプロセスを繰り返す。
[0164]各区分が近隣参照サンプルからの少なくとも1つの寄与値を有する場合、ビデオコーダは、寄与近隣サンプルを平均することによってDC予測値を決定し得る(例えば、N0で除算されたS0、N1で除算されたS1)。区分へのコントリビュータがない場合、DC予測値は初期デフォルト値のままであり得る。
[0165]ビデオコーダは、次いで、予測ブロックの区分0及び区分1中にある予測ブロックのサンプルをそれぞれDC0及びDC1として設定することによって、予測ブロックを生成することができる。即ち、ビデオコーダは、予測ブロックの第1の区分の全てのサンプルを予測DC値DC0に設定し、予測ブロックの第2の区分の全てのサンプルを予測DC値DC1に設定することができる。ビデオコーダは、上記で説明したように、深度ブロック200の残差サンプルを生成するために予測ブロックを使用し得る。
[0166]上記で説明した例では、予測DC値を生成することに関連する幾つかの数学演算がある。例えば、平均値を決定するために各寄与近隣サンプル(contributing neighboring sample)が加算されなければならない。更に、平均値を決定するために各寄与近隣サンプルが計数されなければならない。更に、平均値を決定するために除算演算が必要である。更に、平均値を決定することに関連する除算演算があり、これは、ビデオエンコーダとビデオデコーダの両方にとって複雑である。
[0167]その上、実行されるべき演算の数が深度ブロックのサイズとともに増加する。例えば、ビデオコーダは、32×32ブロックのための各区分に属する参照サンプルの和を計算するために64回の加算を実行する。ビデオコーダはまた、各区分に属する参照サンプルの数を計数するために64回の加算を実行する。
[0168]本明細書でより十分に説明するように、本開示の態様は、区分パターンに基づいてDC予測値を決定する技法に関し、これは、DC予測値を決定するときにビデオコーダによって実行される演算の数を低減し得る。例えば、図8に関して上記で説明した平均化プロセスに従って区分のためのDC予測値を決定するのではなく、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、決定された予測パターンに基づいて代表的近隣サンプルを識別することによってDC予測値を決定し得る。
[0169]図9A及び図9Bに、概して、近隣サンプルの平均化に基づいて深度値のブロックをコード化するためのDC予測値の予測ブロックを決定する技法を示す。図9A及び図9Bの例は、区分境界の近くの近隣サンプルが予測ブロックの値をどのようにゆがめることがあるかを示している。
[0170]例えば、図9Aは、第1の区分222(深度値58、影つき灰色)と第2の区分224(深度値121)とを有する深度ブロック220を示すブロック図である。図9Aはまた、近隣サンプルの最上行226と近隣サンプルの左列228とを含む。
[0171]図9Aに示されているように、第1の区分222と第2の区分224との間の境界の近くの近隣サンプル値はブロック220の深度値に一致しない。例えば、サンプル226の近隣サンプル230(深度値58)はブロック220の対応する深度値(深度値121)に一致しない。同様に、サンプル228の近隣サンプル232(深度値58)はブロック220の対応する深度値(深度値121)に一致しない。
[0172]この例では、DC予測値を決定するために、図8に関して上記で説明した平均化プロセスを使用することは、予測誤差を導入することがある。例えば、サンプル230に隣接するブロック220の最上行中のサンプルは第2の区分224中に含まれるので、ビデオコーダは、(サンプル232の値が第1の区分222と整合するにもかかわらず)サンプル230を第2の区分224のための平均値のほうへ計数する。同様に、サンプル232に隣接するブロック220の左列中のサンプルは第2の区分224中に含まれるので、ビデオコーダはまた、(サンプル232の値が第1の区分222と整合するにもかかわらず)サンプル232を第2の区分224のための平均値のほうへ計数する。
[0173]図9Bは、図9Aに示された深度ブロック220の第1の区分222及び第2の区分224にそれぞれ対応する第1のDC予測値242及び第2のDC予測値244を有する予測ブロック240を示すブロック図である。図9Bに示されているように、区分境界の近くのサンプル230及び232は比較的大きい予測誤差を導入する。例えば、サンプル230及び232は不正確に区分され、それにより、(58及び121ではなく)58及び89のDC0値及びDC1値が生じる。そのような予測誤差はコード化効率に影響を及ぼすことがある。
[0174]再び、本開示の態様は、区分パターンに基づいてDC予測値を決定するための技法に関し、これは区分誤差の導入を低減し得る。例えば、図8に関して上記で説明した平均化プロセスに従って区分のためのDC予測値を決定するのではなく、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、決定された予測パターンに基づいて代表的近隣サンプルを識別することによってDC予測値を決定し得る。ビデオコーダは、区分境界から離れて位置する1つ又は複数の代表的近隣サンプルを選択することによって、エッジ境界の近くの区分誤差の導入を低減し得る。
[0175]図10は、本開示の態様による、深度データのブロックと、そのブロックの1つ又は複数の区分のための予測深度値を決定するために使用され得る近隣サンプルとを示すブロック図である。例えば、上記で説明したように、DMM、チェーンコード化、SDCモード2などを用いて、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、特定の区分パターンに基づいて深度PUを2つの領域に区分し得る。更に、ビデオコーダは、1つ又は複数の近隣参照サンプルから導出され得る単一の値、例えば、予測DC値を使用して各区分を予測し得る。
[0176]図10の例では、サンプルci,j、但し、i,j=0、1、...、7(C0,0〜C7,7)、をもつ8×8深度ブロック260は、ビデオコーダがDC予測深度値をそれから導出し得る、近隣サンプルの最上行262(pT0〜pT7)及び近隣サンプルの左列264(pL0〜pL7)に接している。深度ブロック260は、区分パターンPを有するコード化された深度画像中のN×N予測単位PUに対応し得、区分パターンPは、そのPUを2つの別々に予測される領域(例えば、別個の予測子を有する各領域)にスプリットする。
[0177]本開示の態様によれば、図8に関して説明したように、最上行262及び左列264からの全てのサンプル(即ち、それぞれ、iが0..N−1を含み、jが0..N−1を含む、pLi及びpTj)を使用する代わりに、ビデオエンコーダ20又はビデオデコーダ30などのビデオコーダは、PUの区分のためのDC値を計算するために最上行262及び左列264から幾つかの近隣参照サンプルを選択し得る。
[0178]幾つかの事例では、ビデオコーダは、DC予測値を決定するために、最上行262及び/又は左列264の開始サンプルと終了サンプルとを含む参照サンプルのみを選択し得る。例えば、最上行262に関して、ビデオコーダは、DC予測値を決定するために、参照サンプルpT0及びpTN-1(例えば、図10の例ではpT0及びpT7)を選択し得る。左列264に関して、ビデオコーダは、DC予測値を決定するために、参照サンプルpL0及びpLN-1(例えば、図10の例ではpL0及びpL7)を選択し得る。
[0179]幾つかの事例では、ビデオコーダは、追加又は代替として、DC予測値を決定するために、最上行262及び/又は左列264の相対中心に向かって最高2つの近隣参照サンプル(2つを含めて)を選択する。例えば、ビデオコーダは、DC予測値を決定するために、xが(N−1)>>1に等しいか、又はxがN>>1に等しい、参照サンプルpTX又はpLXを選択し得る。
[0180]ビデオコーダは、区分パターンPに基づいて、DC予測値を決定するための適切な近隣参照サンプルを選択し得る。説明のための一例では、以下の図11Aに示されているように、例えば、パターン0として本明細書で説明する、区分が、ブロック260の最上行中にサンプルを含んでおらず(C0,0〜C7,0のいずれも区分に割り当てられず)、ブロック260の左列中にサンプルを含んでいない(C0,0〜C0,7のいずれも区分に割り当てられない)場合、ビデオコーダは、区分のためのDC予測値を決定するために、最上行262又は左列264から参照サンプルを選択しないことがある。そうではなく、ビデオコーダは、区分にデフォルト予測子、例えば、Bが、ブロック260の深度値を表すために使用されるビット数に等しい、2B-1を割り当て得る。例えば、一般的な8ビット表現の場合、ビデオコーダは区分に128のデフォルト値を割り当て得る。
[0181]説明のための別の例では、以下の図11Cに示されているように、例えば、パターン1として本明細書で説明する、区分が、ブロック260の最上行の全てのサンプルを含んでおり(C0,0〜C7,0の全てが区分に割り当てられ)、ブロック260の左列のサンプルのうちの1つ又は複数を含んでいる(C0,0〜C0,7のうちの1つ又は複数が区分に割り当てられる)場合、ビデオコーダは、近隣サンプル行262の相対中心からの1つの参照サンプルを区分のための代表値として選択し得る。例えば、ビデオコーダは、xが(N−1)>>1に等しいか、又はxがN>>1に等しい、サンプルpTXを代表的サンプルとして選択し得る。
[0182]この例では、ビデオコーダは、区分のためのDC予測値を、選択された代表的サンプルに等しく設定し得る。サンプルの全てが、同じ区分に割り当てられ、従って同じ又は同様の値を有するので、近隣参照サンプルの大部分も(例えば、上記で説明したように、一定深度値のエリアなど、深度マップに一般に関連する特性により)同じ又は同様の深度値を有するはずである。近隣参照サンプルが同じ(又は同様の)値を有すると仮定することによって、ビデオコーダは、図8に関して説明したように、追加の平均化演算を実行する必要がない。そうではなく、ビデオコーダは、単一の近隣参照サンプルを使用してDC予測値を決定し得る。
[0183]その上、単一の近隣参照サンプル(又は、以下で説明するように、比較的少数の近隣参照サンプル)を選択することは、上記で説明した平均化プロセスよりも正確なDC予測値を与え得る。例えば、上記で説明したパターン1例では、ビデオコーダは、DC予測値をそれから導出すべき中心近隣参照サンプルを、区分境界を回避するように選択し得る。単一の近隣参照サンプルを使用することは、図9A及び図9Bに関して上記で説明したように、不正確に区分された近隣参照サンプルを含むことの可能性をなくす。
[0184]追加の区分パターンと、DC予測値を決定するためのそれぞれの代表的近隣サンプルとが、以下の図11A〜図11Gに示されている。各区分のためのDC予測値を決定した後に、ビデオコーダは、DC予測値を使用してブロック260をコード化し得る。例えば、(ビデオエンコーダ20などの)エンコーダにおいて、ブロック260の実際のサンプル値とそれぞれの区分のためのDC予測値との間の差分に基づいて残差が決定され得る。(ビデオデコーダ30などの)デコーダにおいて、残差は、ブロック260のための実際値を再構成するために、それぞれの区分のためのDC予測値と組み合わされ得る。
[0185]上記で説明した例は、概して、第1の区分(例えば、区分0)と第2の区分(例えば、区分1)との間の遷移を識別するために、ブロック260の最上行の各サンプル及びブロック260の左列の各サンプルの区分割当てを検査するプロセスを含む。本開示の他の態様によれば、ビデオコーダは、ブロック260の最上行及びブロック260の左列中の区分間の遷移を識別するために、区分割当てのサブセットを検査し得る。例えば、本開示の態様によれば、ビデオコーダは、ブロック260の3つのサンプルに基づいて区分パターンを決定し得る。この例では、ビデオコーダは、ブロック260の左上サンプル(C0,0)の区分割当てと、ブロック260の右上サンプル(C7,0)の区分割当てと、ブロック260の左下サンプル(C0,7)の区分割当てとを識別し得る。他の例では、ビデオコーダはブロック260の他のサンプルの区分割当てを識別し得る。
[0186]上記で説明した例では、ブロック260の左上サンプル(C0,0)がブロック260の右上サンプル(C7,0)それ異なる区分に割り当てられる場合、ビデオコーダは、深度サンプルの最上行に沿った区分遷移を識別し得る。即ち、ビデオコーダは、ブロック260の最上行の少なくとも1つのサンプルが第1の区分に割り当てられ、ブロック260の最上行の少なくとも1つのサンプルが第2の区分に割り当てられることを識別し得る。同様に、ブロック260の左上サンプル(C0,0)がブロック260の左下サンプル(C0,7)それ異なる区分に割り当てられる場合、ビデオコーダは、深度サンプルの最上行に沿った区分遷移を識別し得る。即ち、ビデオコーダは、ブロック260の左列の少なくとも1つのサンプルが第1の区分に割り当てられ、ブロック260の最上行のサンプルのうちの少なくとも1つが第2の区分に割り当てられることを識別し得る。
[0187]ビデオコーダは、ブロック260のための区分パターンを決定するために上記の情報を使用し得る。しかしながら、区分遷移が起こる正確な位置(例えば、区分境界の位置)を決定する必要はない。そうではなく、上述のように、代表的近隣サンプルの位置が、区分境界を回避するように選択される。従って、ビデオコーダは、区分パターンを決定し、区分遷移の正確な位置を決定することなしにDC予測値のための代表的近隣サンプルを識別し得る。
[0188]上記で説明した技法は、区分方式に従って区分される任意の深度ブロックのために実行され得る。例えば、本技法は、DMMモード、チェーンコード化、SDCモード2などとともに使用され得る。
[0189]幾つかの例では、ビデオコーダは、ブロックの区分に基づいて、区分のDC予測値を決定するために選択される近隣参照サンプルの数を決定し得る。例えば、図11A〜図11Gに関して以下で説明するように、ある区分パターン得るでは、ビデオコーダは、DC予測値をそれから決定すべき単一の代表的近隣参照サンプルを識別し得る。別の区分パターンでは、ビデオコーダは、DC予測値をそれから決定すべき2つ以上の代表的近隣参照サンプルを識別し得る。
[0190]従って、DC予測値をそれから決定すべき近隣参照サンプルの数は可変であり得る。例えば、ビデオコーダは、DC予測値を決定するときに2L個(但し、Lは0よりも大きい)の近隣参照サンプルを選択し得る(例えば、1、2、4など)。DC計算のための選択された近隣参照サンプルの数及び位置は、幾つかの例では、ブロック260のPUサイズ又は他の特性に依存し得る。
[0191]図11A〜図11Hは、本開示の態様による、深度データのブロックのための例示的な区分パターンと、予測深度値をそれから決定すべき近隣参照サンプルとを示すブロック図である。概して、図11A〜図11Hについて、区分パターンを決定し、DC予測値を生成することに対して、(影つき「1」ブロックで示されている)第2の区分の観点から説明する。同じ技法が、(影なし「0」ブロックで示されている)第1の区分の観点から、区分パターンを決定し、DC予測値を生成するために適用され得ることを理解されたい。
[0192]図11Aは、概して、第1の区分282と第2の区分284とを有する深度ブロック280を示している。図11Aに示された区分パターンは、一般にパターン0と呼ばれることがある。この例では、第2の区分284(DC予測値がそれのために生成されている区分)は、ブロック280の最上行286又は左列288中にサンプルを含まない。即ち、ブロック280の右下サンプルは、左上、右上及び左下サンプルを含んでいる区分(第1の区分282)とは異なる区分(第2の区分284)に割り当てられる。
[0193]パターン0を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、所定のデフォルト値に基づいて第2の区分284のためのDC予測値を決定し得る。例えば、近隣参照サンプルのいずれも第2の区分284に接していないので、ビデオコーダは、近隣参照サンプルに依存しない第2の区分284のためのDC予測値を決定し得る。幾つかの例では、ビデオコーダは、Bが、ブロック280中の深度値を表すために使用されるビット数に等しい、2B-1に等しいデフォルトDC予測値を設定し得る。他の例では、ビデオコーダは異なるデフォルトDC予測値を設定し得る。
[0194]図11Bは、概して、第1の区分292と第2の区分294とを有する深度ブロック290を示している。図11Bに示された区分パターンは、一般にパターン1と呼ばれることがある。この例では、第2の区分294(DC予測値がそれのために生成されている区分)は、ブロック290の最上行296の少なくとも1つのサンプルと左列298のサンプルの全てとを含む。ブロック280の左上サンプル及び左下サンプルは、右上サンプルを含んでいる区分(第1の区分292)とは異なる区分(第2の区分284)に割り当てられる。
[0195]パターン1を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、左列298の中心の近くに位置する代表的近隣サンプル300に基づいて、第2の区分294のためのDC予測値を決定し得る。例えば、図10に関して上述したように、ビデオコーダは、xが(N−1)>>1に等しいか、又はxがN>>1に等しい、中心サンプルpLXを選択し得、但し、Nは左列298のサンプルの数である。左列298の中心サンプルを選択することは、代表的サンプルが区分境界の近くに位置しないことを保証するのに役立て得る、これは、上記で説明したように予測精度を増加させ得る。近隣サンプル300を選択した後に、ビデオコーダは、第2の区分294のためのDC予測値を近隣サンプル300の値に設定し得る。
[0196]図11Cは、概して、第1の区分312と第2の区分314とを有する深度ブロック310を示している。図11Cに示された区分パターンはパターン1の第2の例である。この例では、第2の区分314(DC予測値がそれのために生成されている区分)は、ブロック310の最上行316の全てのサンプルと左列318の少なくとも1つのサンプルとを含む。ブロック310の左上サンプル及び右上サンプルは、左下サンプルを含んでいる区分(第1の区分312)とは異なる区分(第2の区分314)に割り当てられる。
[0197]パターン1を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、最上行316の中心の近くに位置する代表的近隣サンプル320に基づいて、第2の区分314のためのDC予測値を決定し得る。例えば、図10に関して上述したように、ビデオコーダは、xが(N−1)>>1に等しいか、又はxがN>>1に等しい、中心サンプルpTXを選択し得、但し、Nは最上行316のサンプルの数である。最上行316の中心サンプルを選択することは、代表的サンプルが区分境界の近くに位置しないことを保証するのを助け得、これは、上記で説明したように予測精度を増加させ得る。近隣サンプル320を選択した後に、ビデオコーダは、第2の区分314のためのDC予測値を近隣サンプル320の値に設定し得る。
[0198]図11Dは、概して、第1の区分342と第2の区分344とを有する深度ブロック340を示している。図11Dに示された区分パターンは、一般にパターン2と呼ばれることがある。この例では、第2の区分344(DC予測値がそれのために生成されている区分)は、ブロック340の最上行346のサンプルを含まず、左列348の少なくとも1つのサンプルを含む。ブロック340の左上サンプル及び右上サンプルは、左下サンプルを含んでいる区分(第2の区分344)とは異なる区分(第1の区分342)に割り当てられる。
[0199]パターン2を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、左列348の下部に位置する(即ち、ブロック340の左下コーナーサンプルに隣接する)代表的近隣サンプル350に基づいて、第2の区分344のためのDC予測値を決定し得る。即ち、ビデオコーダは、左列348中の最後のサンプルを第2の区分344のための代表的近隣サンプルとして選択し得る。左列348の最後のサンプルを選択することは、代表的サンプルが、左列348に沿った第1の区分342と第2の区分344との間の遷移の近くに位置しないことを保証するのを助け得る。上述のように、区分境界から離れて位置するサンプルを選択することは予測精度を増加させ得る。近隣サンプル350を選択した後に、ビデオコーダは、第2の区分344のためのDC予測値を近隣サンプル350の値に設定し得る。
[0200]図11Eは、概して、第1の区分362と第2の区分364とを有する深度ブロック360を示している。図11Eに示された区分パターンはパターン2の別の例である。この例では、第2の区分364(DC予測値がそれのために生成されている区分)は、ブロック360の最上行366の少なくとも1つのサンプルを含むが、左列368のサンプルを含まない。ブロック360の左上サンプル及び左下サンプルは、右上サンプルを含んでいる区分(第2の区分364)とは異なる区分(第1の区分362)に割り当てられる。
[0201]パターン2を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、最上行366の終端に位置する(即ち、ブロック360の右上コーナーサンプルに隣接する)代表的近隣サンプル370に基づいて、第2の区分364のためのDC予測値を決定し得る。即ち、ビデオコーダは、最上行366中の最後のサンプルを第2の区分364のための代表的近隣サンプルとして選択し得る。最上行366の最後のサンプルを選択することは、代表的サンプルが、最上行366に沿った第1の区分362と第2の区分364との間の遷移の近くに位置しないことを保証するのを助け得る。上述のように、区分境界から離れて位置するサンプルを選択することは予測精度を増加させ得る。近隣サンプル370を選択した後に、ビデオコーダは、第2の区分364のためのDC予測値を近隣サンプル370の値に設定し得る。
[0202]図11Fは、概して、第1の区分382と第2の区分384とを有する深度ブロック380を示している。図11Fに示された区分パターンは、一般にパターン3と呼ばれることがある。この例では、第2の区分384(DC予測値がそれのために生成されている区分)は、ブロック380の最上行386の少なくとも1つのサンプルと左列388の少なくとも1つのサンプルとを含む。ブロック380の左上サンプルは、右上サンプルと左下サンプルとを含んでいる区分(第1の区分382)とは異なる区分(第2の区分384)に割り当てられる。
[0203]パターン3を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、ブロック380の左上コーナーサンプルの上に位置する第1の代表的近隣サンプル390と、ブロック380の左上コーナーサンプルの左に位置する第2の代表的近隣サンプル392と(例えば、図10に示されているサンプルpL0及びpT0)に基づいて、第2の区分384のためのDC予測値を決定し得る。この例では、ビデオコーダは、第1のサンプル390と第2のサンプル392とを組み合わせ、(除算演算を実行することなしに)サンプルの平均値を決定するために右シフト演算を実行し得る。ブロック380の最上コーナーにあるサンプルを選択することは、代表的サンプルが、最上行386又は左列388に沿った第1の区分382と第2の区分384との間の遷移の近くに位置しないことを保証するのを助け得る。幾つかの例では、DC予測値を決定するためにサンプル390とサンプル392の両方を選択するのではなく、ビデオコーダはサンプル390及びサンプル392のうちの1つを選択し得る。
[0204]図11Gは、概して、第1の区分402と第2の区分404とを有する深度ブロック400を示している。図11Gに示された区分パターンはパターン3の別の例である。この例では、第2の区分404(DC予測値がそれのために生成されている区分)は、ブロック400の最上行406の少なくとも1つのサンプルと左列408の少なくとも1つのサンプルとを含む。ブロック380の左上サンプルは、右上サンプルと左下サンプルとを含んでいる区分(第2の区分404)とは異なる区分(第1の区分402)に割り当てられる。
[0205]パターン3を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、ブロック400の右上コーナーサンプルの上に位置する第1の代表的近隣サンプル410と、ブロック400の左下コーナーサンプルの左に位置する第2の代表的近隣サンプル412と(例えば、図10に示されているサンプルpLN-1及びpTN-1)に基づいて、第2の区分404のためのDC予測値を決定し得る。この例では、ビデオコーダは、第1のサンプル410と第2のサンプル412とを組み合わせ、(除算演算を実行することなしに)サンプルの平均値を決定するために右シフト演算を実行し得る。ブロック400の対向するコーナーにあるサンプルを選択することは、代表的サンプルが、最上行406又は左列408に沿った第1の区分402と第2の区分404との間の遷移の近くに位置しないことを保証するのに役立ち得る。幾つかの例では、DC予測値を決定するためにサンプル410とサンプル412の両方を選択するのではなく、ビデオコーダはサンプル410及びサンプル412のうちの1つを選択し得る。
[0206]図11Hは、概して、第1の区分422と第2の区分424とを有する深度ブロック420を示している。図11Hに示された区分パターンは、一般にパターン4と呼ばれることがある。この例では、第2の区分424(DC予測値がそれのために生成されている区分)は、ブロック420の最上行426の全てのサンプルならびに左列428の全てのサンプルを含む。ブロック420の左上サンプル、右上サンプル、及び左下サンプルは全て同じ区分(第2の区分424)に割り当てられる。
[0207]パターン4を識別すると、(ビデオエンコーダ20又はビデオデコーダ30などの)ビデオコーダは、ブロック420の左上コーナーサンプルの上に位置する第1の代表的近隣サンプル430と、ブロック420の左上コーナーサンプルの左に位置する第2の代表的近隣サンプル432と(例えば、図10に示されているサンプルpL0及びpT0)に基づいて、第2の区分424のためのDC予測値を決定し得る。この例では、ビデオコーダは、第1のサンプル430と第2のサンプル432とを組み合わせ、(除算演算を実行することなしに)サンプルの平均値を決定するために右シフト演算を実行し得る。幾つかの例では、DC予測値を決定するためにサンプル430とサンプル432の両方を選択するのではなく、ビデオコーダはサンプル430及びサンプル432のうちの1つを選択し得る。
[0208]図11A〜図11Hに関して与えた例は説明のために与えたものにすぎないことを理解されたい。即ち、上記で説明した技法は、他のサイズを有し、深度サンプルの異なる構成を有する(幾つかの深度サンプルが異なる区分に割り当てられる、深度値のブロックに適用され得る。その上、DC予測値をそれから決定すべき近隣参照サンプルはまた、上記で説明した技法から逸脱することなく異なり得る。例えば、図11A〜図11Hの例では、1つ又は2つの代表的近隣参照サンプルを選択することについて説明したが、他の例では、ビデオコーダはより多い又はより少ない参照サンプルを選択し得る。
[0209]図12は、本開示の態様による、深度データのブロックの1つ又は複数の区分のための予測値を決定するための1つの例示的なプロセスを示す流れ図である。図12に示されたプロセスについて、概して、ビデオコーダによって実行されるものとして説明するが、本技法は、ビデオエンコーダ20、ビデオデコーダ30、又は様々な他のプロセッサによって実行され得ることを理解されたい。
[0210]図12の例では、ビデオコーダは深度ブロック区分を実行する(430)。例えば、ビデオコーダは、最初に、DMMモード、チェーンコード化モード、SDCモード2などを使用して深度ブロックを領域に区分し得る。区分を実行するとき、ビデオコーダは、上記で説明したように、ブロックのサンプルを第1の区分又は第2の区分に割り当てる。説明のための一例では、ビデオコーダは、深度値のN×Nブロックを2進値ブロック、即ち、区分を表すbPatternx,y、但し、x=0..N−1、y=0..N−1、に区分し、アレイpx,y、但し、x=−1、y=−1..N−1及びx=0..N−1、y=−1、の近隣参照サンプルを有すると仮定する。
[0211]ビデオコーダは、次いで、深度ブロックのための区分パターンを決定する(432)。上記で説明した例を続けると、ビデオコーダは、以下のステップに基づいて区分パターンを決定し得る。
1. 変数bL及びbTを偽に設定し、変数V0及びV1を0に設定する。
2. x=0..N−2である場合、bTは、bPatternx,0がbPatternx+1,0に等しくないとき、真として設定され、bLは、bPattern0,xがbPattern0,x+1に等しくないとき、真として設定される。
この例では、ビデオコーダは、0の2進区分値から1の2進区分値へ(又はその逆)の遷移を識別するために、最上行及び左列の各サンプルを検査することによって、ブロックの最上行に沿った及びブロックの左列に沿った区分境界を識別する。この情報を用いて、ビデオコーダは、上記の図11A〜図11Hに示された例示的な区分パターンのうちの1つなど、区分パターンを決定する。
[0212]別の例では、ビデオコーダは、深度値のサブセットに基づいて区分パターンを決定し得る。例えば、上述のように、区分パターンを決定するために区分境界の正確な位置を決定することは必要ないことがある。一例では、上記のステップ2は以下のステップと置き換えられ得る。
2. bPattern0,0がbPatternN-1,0に等しくないとき、bTを真に設定し、bPattern0,0がbPattern0,N-1に等しくないとき、bLを真に設定する。
この例では、ビデオコーダは、上記で説明したように、深度ブロックの最外サンプルに基づいて区分パターンを決定する。
[0213]決定された区分パターンに基づいて、ビデオコーダは、1つ又は複数の近隣参照サンプルをDC予測値のための代表的サンプルとして識別する(434)。例えば、ビデオコーダは、区分境界を回避するように位置する近隣参照サンプルを識別し得る。上記で説明した例を続けると、ビデオコーダは、以下のステップに基づいて近隣参照サンプルを識別し得る。
3. bL及びbTについて、
i. bLがbTに等しい場合、
a. V1を(p-1,0+p0,-1)>>1として設定する。
b. bLが真である場合、V0を(p-1,N-1+pN-1,-1)>>1として設定し、そうでない場合、V0を1<<(B−1)として設定する。
ii. そうでない場合、
a. bLが真である場合、V0をp-1,N-1として設定し、V1をp(N-1)>>1,-1として設定する。
b. そうでない場合、V0をpN-1,-1として設定し、V1をp-1,(N-1)>>1として設定する。
[0214]上記の例では、遷移変数bLとbTとが等しい(最上行又は左列中に区分境界がないか、又は最上行と左列の両方中に区分境界がある)場合、ビデオコーダは、1つの区分変数V1を、ブロックの左上コーナーサンプルの上に位置する近隣参照サンプルと、ブロックの左上コーナーサンプルの左に位置する近隣参照サンプルとの右シフトされた組合せに設定する。更に、左列bLのための遷移変数が真である(左列中に区分境界がある)場合、ビデオコーダは、区分変数V0を、深度サンプルの最上行の終端の近隣参照値と、深度サンプルの左列の終端の近隣参照値との右シフトされた組合せに設定する。
[0215]遷移変数bLとbTとが等しくなく(最上行又は左列のいずれか中に1つの区分境界のみがあり)、bLが真である(区分境界がサンプルの左列に沿っている)場合、ビデオコーダは、一方の区分変数V0を、ブロックの左列の終端(下部)に位置する近隣参照サンプルに設定する。ビデオコーダはまた、他方の区分変数V1を、ブロックの最上行の終端(最も遠い右側)に位置する近隣参照サンプルに設定する。
[0216]遷移変数bLとbTとが等しくなく(最上行又は左列のいずれか中に1つの区分境界のみがあり)、bLが真でない(区分境界がサンプルの最上行に沿っている)場合、ビデオコーダは、一方の区分変数V0を、ブロックの最上行の終端(最も遠い右側)に位置する近隣参照サンプルに設定する。ビデオコーダはまた、他方の区分変数V1を、ブロックの左列の終端(下部)に位置する近隣参照サンプルに設定する。
[0217]ビデオコーダは、次いで、識別された近隣参照サンプルに基づいて各区分のための予測DC値を設定する(436)。上記の例を続けると、ビデオコーダは以下のステップを実行し得る。
4. bPattern0,0が1に等しい場合、DC0をV0として設定し、DC1をV1として設定する。そうでない場合、DC0をV1として設定し、DC1をV0として設定する。
この例では、ブロックの左上コーナーサンプルが第2の区分(区分1)に属する場合、ビデオコーダは、第1のDC予測値DC0を変数V0として設定し、第2のDC予測値DC1を変数V1として設定する。ブロックの左上コーナーサンプルが第1の区分(区分0)に属する場合、ビデオコーダは、第1のDC予測値DC0を変数V1として設定し、第2のDC予測値DC1を変数V0として設定する。
[0218]一例では、(上記の第1のステップ2に関して説明したように)最上行及び左列の全てのサンプルに基づいて区分境界を識別するプロセスについて3D−HEVCの現在のドラフトへの変更を以下に示す。
G.8.4.4.2.12 深度区分値導出及び割当てプロセス
このプロセスへの入力は以下の通りである。
− x,y=−1..2*nT−1である、近隣サンプルp[x][y]、
− 区分0及び区分1中の予測ブロックの区分を指定する、x,y=0..nT−1である、2進アレイpartitionPattern[x][y]。
− 変換サイズを指定する変数nT、
− DCオフセット値が利用可能であるかどうかを指定するフラグdcOffsetAvailFlag
− ブロック区分のためのDCオフセットを指定する変数quantDcOffsetP0及びquantCcOffsetP1
このプロセスの出力は以下の通りである。
− x,y=0..nT−1によって、予測サンプルpredSamples[x][y]。
− x=0..nT−1である場合、以下が適用される。
− partitionPattern[x][0]がXpartitionPattern[x+1][0]に等しくないとき、以下が適用される。
− y=0..nT−1である場合、以下が適用される。
− partitionPattern[0,y]がXpartitionPattern[0][y+1]に等しくないとき、以下が適用される。
− bLがbTに等しい場合、以下が適用される。
− そうでない場合、以下が適用される。
Xが0及び1と置き換えられる場合、以下が適用される。
1. 逆量子化されたDCオフセットを指定する変数deQuantDcOffsetは以下のように導出される。
− dcOffsetAvailFlagが1に等しい場合、以下が適用される。
− そうでない(dcOffsetAvailFlagが0に等しい)場合、deQuantDcOffsetは0に等しく設定される。
2. 予測サンプル値predSamplesは、x=0..nT−1である場合、及びy=0..nT−1である場合、以下のように導出される。
− partitionPattern[x][y]がXに等しいとき、以下が適用される。
[0219]別の例では、(上記の第2のステップ2に関して説明したように)最上行及び左列のサンプルのサブセットに基づいて区分境界を識別するプロセスについて3D−HEVCの現在のドラフトへの変更を以下に示す。
G.8.4.4.2.12 深度区分値導出及び割当てプロセス
このプロセスへの入力は以下の通りである。
− x,y=−1..2*nT−1によって、近隣サンプルp[x][y]、
− 区分0及び区分1中の予測ブロックの区分を指定する、x,y=0..nT−1によって、2進アレイpartitionPattern[x][y]。
− 変換サイズを指定する変数nT、
− DCオフセット値が利用可能であるかどうかを指定するフラグdcOffsetAvailFlag
− ブロック区分のためのDCオフセットを指定する変数quantDcOffsetP0及びquantCcOffsetP1
このプロセスの出力は以下の通りである。
− x,y=0..nT−1である、予測サンプルpredSamples[x][y]。
1. 以下が適用される。
− bLがbTに等しい場合、以下が適用される。
− そうでない場合、以下が適用される。
Xが0及び1と置き換えられる場合、以下が適用される。
1. 逆量子化されたDCオフセットを指定する変数deQuantDcOffsetは以下のように導出される。
− dcOffsetAvailFlagが1に等しい場合、以下が適用される。
− そうでない(dcOffsetAvailFlagが0に等しい)場合、deQuantDcOffsetは0に等しく設定される。
2. 予測サンプル値predSamplesは、x=0..nT−1である場合、及びy=0..nT−1である場合、以下のように導出される。
− partitionPattern[x][y]がXに等しいとき、以下が適用される。
[0220]図12に示されたステップは一例として与えたものにすぎないことを理解されたい。即ち、図12に示されたステップは必ずしも示された順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。
[0221]図13は、本開示の態様による、深度データのブロックの区分をコード化するための例示的なプロセスを示す流れ図である。図13に示されたプロセスについて、概して、ビデオコーダによって実行されるものとして説明するが、本技法は、ビデオエンコーダ20、ビデオデコーダ30、又は様々な他のプロセッサによって実行され得ることを理解されたい。
[0222]図13の例では、ビデオコーダは区分パターンを決定する(440)。上述のように、ビデオコーダは、深度ブロックの最上行及び左列のサンプルの全てに基づいて区分パターンを決定し得る。別の例では、ビデオコーダは、深度ブロックの最上行及び左列のサンプルのサブセットに基づいて区分パターンを決定し得る。いずれの場合も、ビデオコーダは、上記で説明したように、深度ブロックのサンプルの最上行及び/又は左列に沿った区分境界の位置に基づいて区分パターンを決定し得る。
[0223]ビデオコーダは、次いで、区分パターンに基づいてブロックの少なくとも1つの区分のための予測値を決定する(442)。例えば、ビデオコーダは、所定のデフォルト値を決定し得るか、又は1つ又は複数の近隣参照サンプルに基づく値を決定し得る。上記で説明したように、ビデオコーダは、区分パターン(例えば、区分境界の位置)に基づいて代表的近隣参照サンプルを選択し得る。
[0224]ビデオコーダは、次いで、予測値に基づいて少なくとも1つの区分をコード化し得る。例えば、(ビデオエンコーダ20などの)ビデオエンコーダは、区分の実際の深度値とその区分の予測深度値との間の差分に基づいて残差値を生成し得、その残差値を表すデータを符号化されたビットストリーム中に含め得る。ビデオデコーダは、符号化されたビットストリームからの残差値を表すデータを構文解析し、区分の予測値を生成し、区分のための実際の深度値を決定するために残差値を予測値と組み合わせ得る。
[0225]図13に示されたステップは一例として与えたものにすぎないことを理解されたい。即ち、図13に示されたステップは必ずしも示された順序で実行される必要があるとは限らず、より少数の、追加の、又は代替のステップが実行され得る。
[0226]上記で説明した技法は、その両方が一般にビデオコーダと呼ばれることがある、ビデオエンコーダ20(図1及び図2)及び/又はビデオデコーダ30(図1及び図3)によって実行され得る。更に、ビデオコード化は、概して、適用可能な場合、ビデオ符号化及び/又はビデオ復号を指すことがある。
[0227]本開示の技法について概して3D−HEVCに関して説明したが、本技法はこのように限定されない。上記で説明した技法はまた、他の現在の規格又はまだ開発されていない将来の規格に適用可能であり得る。例えば、深度コード化のための技法はまた、HEVCのマルチビュー拡張(例えば、所謂MV−HEVC)、HEVCへのスケーラブル拡張、又は深度コンポーネントを有する他の現在又は将来の規格に適用可能であり得る。
[0228]例によっては、本明細書で説明した方法のうちのいずれかの幾つかの行為又はイベントは、異なるシーケンスで実行され得、追加、マージ、又は完全に除外され得る(例えば、全ての説明した行為又はイベントが、本方法の実施のために必要であるとは限らない)ことを理解されたい。その上、幾つかの例では、行為又はイベントは、連続してではなく、同時に、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通じて実行され得る。更に、本開示の幾つかの態様について、明快のために単一のモジュール又はユニットによって実行されるものとして説明したが、本開示の技法は、ビデオコーダに関連するユニット又はモジュールの組合せによって実行され得ることを理解されたい。
[0229]技法の様々な態様の特定の組合せについて上記で説明したが、これらの組合せは、本開示で説明した技法の例を示すために与えたものにすぎない。従って、本開示の技法は、これらの例示的な組合せに限定されるべきでなく、本開示で説明した技法の様々な態様の任意の想起可能な組合せを包含し得る。
[0230]1つ又は複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。
[0231]このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コード及び/又はデータ構造を取り出すために、1つ又は複数のコンピュータあるいは1つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読記憶媒体とパッケージング材料とを含み得る。
[0232]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROM又は他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気記憶装置、フラッシュメモリ、あるいは命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
[0233]但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)及びblu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0234]命令は、1つ又は複数のデジタル信号プロセッサ(DSP)などの1つ又は複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、又は本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つ又は複数の回路又は論理要素中に十分に実装され得る。
[0235]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置において実装され得る。本開示では、開示する技法を実行するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び/又はファームウェアとともに、上記で説明した1つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
[0236]本開示の様々な態様について説明した。これら及び他の態様は以下の特許請求の範囲内に入る。

Claims (48)

  1. ビデオデータを処理する方法であって、前記方法が、
    深度値のブロックの1つ以上のサンプルを第1の区分に割り当てることと、前記ブロックの1つ以上の他のサンプルを第2の区分に割り当てることとを備える、前記ブロックのための区分パターンを決定することと、
    決定された区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための予測値を決定することと、
    前記予測値に基づいて、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化することと
    を備える、方法。
  2. 前記第1の区分のための前記予測値を決定することが、前記第1の区分に近隣する丁度1つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度1つの参照サンプルの値に設定することを更に備える、請求項1に記載の方法。
  3. 前記第1の区分のための前記予測値を決定することが、前記第1の区分に近隣する丁度2つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度2つの参照サンプルの平均値に設定することを更に備える、請求項1に記載の方法。
  4. 前記第1の区分のための前記予測値を決定することが、前記第1の区分に近隣する参照サンプルを識別し、前記第1の区分のための前記予測値を前記参照サンプルの値に設定することを更に備え、
    前記第2の区分のための前記予測値を決定することが、デフォルト値を決定し、前記第2の区分のための前記予測値を前記デフォルト値に設定することを更に備える、請求項1に記載の方法。
  5. 決定された前記区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための前記予測値を決定することは、
    第1の区分境界が前記ブロックの最上行中に含まれるかどうかを決定するために、前記ブロックの前記最上行のサンプルを比較することと、
    第2の区分境界が前記ブロックの左列中に含まれるかどうかを決定するために、前記ブロックの前記左列のサンプルを比較することと、
    前記第1の区分境界が前記最上行中に含まれるかどうかと、前記第2の区分境界が前記ブロックの前記左列中に含まれるかどうかとに基づいて、前記第1の予測値と前記第2の予測値とを決定することと
    を備える、請求項1に記載の方法。
  6. 前記ブロックの前記最上行のサンプルを比較することが、前記ブロックの前記最上行の全てのサンプルを比較することを備え、
    前記ブロックの前記左列のサンプルを比較することが、前記ブロックの前記左列の全てのサンプルを比較することを備える、請求項5に記載の方法。
  7. 前記ブロックの前記最上行のサンプルを比較することが、前記ブロックの前記最上行の第1のサンプルを前記ブロックの前記最上行のN−1番目のサンプルと比較することを備え、ここで、前記最上行がN個のサンプルを有し、
    前記ブロックの前記左列のサンプルを比較することが、前記ブロックの前記左列の第1のサンプルを前記ブロックの前記左列のN−1番目のサンプルと比較することを備え、ここで、前記左列がN個のサンプルを有する、請求項5に記載の方法。
  8. ブロックが前記第1の区分境界と前記第2の区分境界の両方を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定することが、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルと前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと、ここで、前記最上行及び前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと
    を備える、請求項5に記載の方法。
  9. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定することが、
    前記第1の予測値を所定のデフォルト値に設定することと、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと
    を備える、請求項5に記載の方法。
  10. 前記ブロックが前記第1の区分境界を含み、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定することが、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定することと、ここで、前記最上行がN個のサンプルを有する、
    前記第2の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定することと、ここで、前記左列がN個のサンプルを有する、
    を備える、請求項5に記載の方法。
  11. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定することが、
    前記第1の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定することと、ここで、前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定することと、ここで、前記最上行がN個のサンプルを有する、
    を備える、請求項5に記載の方法。
  12. 前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化することが、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つを復号することを備え、ここにおいて、復号することが、
    符号化されたビットストリームからの1つ以上の残差値を構文解析することと、
    前記ブロックの深度値を再構成するために、前記1つ以上の残差値を、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための決定された前記予測値と組み合わせることと
    を備える、請求項1に記載の方法。
  13. 前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化することが、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つを符号化することを備え、ここにおいて、符号化することが、
    前記ブロックの深度値と、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための決定された前記予測値との間の差分に基づいて、1つ以上の残差値を決定することと、
    符号化されたビットストリームを形成するために、前記1つ以上の残差値を表すデータを符号化することと
    を備える、請求項1に記載の方法。
  14. ビデオデータを処理するための装置であって、前記装置が、
    深度値のブロックの1つ以上のサンプルを第1の区分に割り当てることと、前記ブロックの1つ以上の他のサンプルを第2の区分に割り当てることとを備える、前記ブロックのための区分パターンを決定することと、
    決定された区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための予測値を決定することと、
    前記予測値に基づいて、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化することと
    を行うように構成された1つ以上のプロセッサを備える、装置。
  15. 前記第1の区分のための前記予測値を決定するために、前記1つ以上のプロセッサが、前記第1の区分に近隣する丁度1つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度1つの参照サンプルの値に設定することを行うように更に構成された、請求項14に記載の装置。
  16. 前記第1の区分のための前記予測値を決定するために、前記1つ以上のプロセッサが、前記第1の区分に近隣する丁度2つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度2つの参照サンプルの平均値に設定することを行うように更に構成された、請求項14に記載の装置。
  17. 前記第1の区分のための前記予測値を決定するために、前記1つ以上のプロセッサが、前記第1の区分に近隣する参照サンプルを識別し、前記第1の区分のための前記予測値を前記参照サンプルの値に設定することを行うように更に構成され、
    前記第2の区分のための前記予測値を決定するために、前記1つ以上のプロセッサが、デフォルト値を決定し、前記第2の区分のための前記予測値を前記デフォルト値に設定することを行うように更に構成された、請求項14に記載の装置。
  18. 前記決定された区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための前記予測値を決定するために、前記1つ以上のプロセッサは、
    第1の区分境界が前記ブロックの最上行中に含まれるかどうかを決定するために、前記ブロックの前記最上行のサンプルを比較することと、
    第2の区分境界が前記ブロックの左列中に含まれるかどうかを決定するために、前記ブロックの前記左列のサンプルを比較することと、
    前記第1の区分境界が前記最上行中に含まれるかどうかと、前記第2の区分境界が前記ブロックの前記左列中に含まれるかどうかとに基づいて、前記第1の予測値と前記第2の予測値とを決定することと
    を行うように更に構成された、請求項14に記載の装置。
  19. 前記ブロックの前記最上行のサンプルを比較するために、前記1つ以上のプロセッサが、前記ブロックの前記最上行の全てのサンプルを比較するように構成され、
    前記ブロックの前記左列のサンプルを比較するために、前記1つ以上のプロセッサが、前記ブロックの前記左列の全てのサンプルを比較するように構成された、請求項18に記載の装置。
  20. 前記ブロックの前記最上行のサンプルを比較するために、前記1つ以上のプロセッサが、前記ブロックの前記最上行の第1のサンプルを前記ブロックの前記最上行のN−1番目のサンプルと比較するように構成され、ここで、前記最上行がN個のサンプルを有し、
    前記ブロックの前記左列のサンプルを比較するために、前記1つ以上のプロセッサが、前記ブロックの前記左列の第1のサンプルを前記ブロックの前記左列のN−1番目のサンプルと比較するように構成され、ここで、前記左列がN個のサンプルを有する、請求項18に記載の装置。
  21. ブロックが前記第1の区分境界と前記第2の区分境界の両方を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記1つ以上のプロセッサが、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルと前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと、ここで、前記最上行及び前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと
    を行うように構成された、請求項18に記載の装置。
  22. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記1つ以上のプロセッサが、
    前記第1の予測値を所定のデフォルト値に設定することと、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと
    を行うように構成された、請求項18に記載の装置。
  23. 前記ブロックが前記第1の区分境界を含み、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記1つ以上のプロセッサが、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定することと、ここで、前記最上行がN個のサンプルを有する、
    前記第2の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定することと、ここで、前記左列がN個のサンプルを有する、
    を行うように構成された、請求項18に記載の装置。
  24. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記1つ以上のプロセッサが、
    前記第1の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定することと、ここで、前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定することと、ここで、前記最上行がN個のサンプルを有する、
    を行うように構成された、請求項18に記載の装置。
  25. 前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化するために、前記1つ以上のプロセッサが、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つを復号するように構成され、ここにおいて、復号するために、前記1つ以上のプロセッサが、
    符号化されたビットストリームからの1つ以上の残差値を構文解析することと、
    前記ブロックの深度値を再構成するために、前記1つ以上の残差値を、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための決定された前記予測値と組み合わせることと
    を行うように構成された、請求項14に記載の装置。
  26. 前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化するために、前記1つ以上のプロセッサが、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つを符号化するように構成され、ここにおいて、符号化するために、前記1つ以上のプロセッサが、
    前記ブロックの深度値と、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための決定された前記予測値との間の差分に基づいて、1つ以上の残差値を決定することと、
    符号化されたビットストリームを形成するために、前記1つ以上の残差値を表すデータを符号化することと
    を行うように構成された、請求項14に記載の装置。
  27. ビデオデータを処理するための装置であって、前記装置が、
    深度値のブロックの1つ以上のサンプルを第1の区分に割り当てることと、前記ブロックの1つ以上の他のサンプルを第2の区分に割り当てることとを備える、前記ブロックのための区分パターンを決定するための手段と、
    決定された区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための予測値を決定するための手段と、
    前記予測値に基づいて、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化するための手段と
    を備える、装置。
  28. 前記第1の区分のための前記予測値を決定するための前記手段が、前記第1の区分に近隣する丁度1つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度1つの参照サンプルの値に設定するための手段を更に備える、請求項27に記載の装置。
  29. 前記第1の区分のための前記予測値を決定するための前記手段が、前記第1の区分に近隣する丁度2つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度2つの参照サンプルの平均値に設定するための手段を更に備える、請求項27に記載の装置。
  30. 前記第1の区分のための前記予測値を決定するための前記手段が、前記第1の区分に近隣する参照サンプルを識別し、前記第1の区分のための前記予測値を前記参照サンプルの値に設定するための手段を更に備え、
    前記第2の区分のための前記予測値を決定するための前記手段が、デフォルト値を決定し、前記第2の区分のための前記予測値を前記デフォルト値に設定するための手段を更に備える、請求項27に記載の装置。
  31. 決定された前記区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための前記予測値を決定するための前記手段は、
    第1の区分境界が前記ブロックの最上行中に含まれるかどうかを決定するために、前記ブロックの前記最上行のサンプルを比較するための手段と、
    第2の区分境界が前記ブロックの左列中に含まれるかどうかを決定するために、前記ブロックの前記左列のサンプルを比較するための手段と、
    前記第1の区分境界が前記最上行中に含まれるかどうかと、前記第2の区分境界が前記ブロックの前記左列中に含まれるかどうかとに基づいて、前記第1の予測値と前記第2の予測値とを決定するための手段と
    を備える、請求項27に記載の装置。
  32. 前記ブロックの前記最上行のサンプルを比較するための前記手段が、前記ブロックの前記最上行の全てのサンプルを比較するための手段を備え、
    前記ブロックの前記左列のサンプルを比較するための前記手段が、前記ブロックの前記左列の全てのサンプルを比較するための手段を備える、請求項31に記載の装置。
  33. 前記ブロックの前記最上行のサンプルを比較するための前記手段が、前記ブロックの前記最上行の第1のサンプルを前記ブロックの前記最上行のN−1番目のサンプルと比較するための手段を備え、ここで、前記最上行がN個のサンプルを有し、
    前記ブロックの前記左列のサンプルを比較するための前記手段が、前記ブロックの前記左列の第1のサンプルを前記ブロックの前記左列のN−1番目のサンプルと比較するための手段を備え、ここで、前記左列がN個のサンプルを有する、請求項31に記載の装置。
  34. ブロックが前記第1の区分境界と前記第2の区分境界の両方を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するための前記手段が、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルと前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルとの組合せに設定するための手段と、ここで、前記最上行及び前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定するための手段と
    を備える、請求項31に記載の装置。
  35. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するための前記手段が、
    前記第1の予測値を所定のデフォルト値に設定するための手段と、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定するための手段と
    を備える、請求項31に記載の装置。
  36. 前記ブロックが前記第1の区分境界を含み、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するための前記手段が、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定するための手段と、ここで、前記最上行がN個のサンプルを有する、
    前記第2の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定するための手段と、ここで、前記左列がN個のサンプルを有する、
    を備える、請求項31に記載の装置。
  37. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するための前記手段が、
    前記第1の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定するための手段と、ここで、前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定するための手段と、ここで、前記最上行がN個のサンプルを有する、請求項31に記載の装置。
  38. 記憶された命令を備える非一時的コンピュータ可読媒体であって、前記命令が、実行されたとき、1つ以上のプロセッサに、
    深度値のブロックの1つ以上のサンプルを第1の区分に割り当てることと、前記ブロックの1つ以上の他のサンプルを第2の区分に割り当てることとを備える、前記ブロックのための区分パターンを決定することと、
    決定された区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための予測値を決定することと、
    前記予測値に基づいて、前記第1の区分及び前記第2の区分のうちの前記少なくとも1つをコード化することと
    を行わせる、非一時的コンピュータ可読媒体。
  39. 前記第1の区分のための前記予測値を決定するために、前記命令が、前記1つ以上のプロセッサに、前記第1の区分に近隣する丁度1つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度1つの参照サンプルの値に設定することを行わせる、請求項38に記載のコンピュータ可読媒体。
  40. 前記第1の区分のための前記予測値を決定するために、前記命令が、前記1つ以上のプロセッサに、前記第1の区分に近隣する丁度2つの参照サンプルを識別し、前記第1の区分のための前記予測値を前記丁度2つの参照サンプルの平均値に設定することを行わせる、請求項38に記載のコンピュータ可読媒体。
  41. 前記第1の区分のための前記予測値を決定するために、前記命令が、前記1つ以上のプロセッサに、前記第1の区分に近隣する参照サンプルを識別し、前記第1の区分のための前記予測値を前記参照サンプルの値に設定することを行わせ、
    前記第2の区分のための前記予測値を決定するために、前記命令が、前記1つ以上のプロセッサに、デフォルト値を決定し、前記第2の区分のための前記予測値を前記デフォルト値に設定することを行わせる、請求項38に記載のコンピュータ可読媒体。
  42. 決定された前記区分パターンに基づいて、前記第1の区分及び前記第2の区分のうちの少なくとも1つのための前記予測値を決定するために、前記命令は、前記1つ以上のプロセッサに、
    第1の区分境界が前記ブロックの最上行中に含まれるかどうかを決定するために、前記ブロックの前記最上行のサンプルを比較することと、
    第2の区分境界が前記ブロックの左列中に含まれるかどうかを決定するために、前記ブロックの前記左列のサンプルを比較することと、
    前記第1の区分境界が前記最上行中に含まれるかどうかと、前記第2の区分境界が前記ブロックの前記左列中に含まれるかどうかとに基づいて、前記第1の予測値と前記第2の予測値とを決定することと
    を行わせる、請求項38に記載のコンピュータ可読媒体。
  43. 前記ブロックの前記最上行のサンプルを比較するために、前記命令が、前記1つ以上のプロセッサに、前記ブロックの前記最上行の全てのサンプルを比較させ、
    前記ブロックの前記左列のサンプルを比較するために、前記命令が、前記1つ以上のプロセッサに、前記ブロックの前記左列の全てのサンプルを比較させる、請求項18に記載のコンピュータ可読媒体。
  44. 前記ブロックの前記最上行のサンプルを比較するために、前記命令が、前記1つ以上のプロセッサに、前記ブロックの前記最上行の第1のサンプルを前記ブロックの前記最上行のN−1番目のサンプルと比較させ、ここで、前記最上行がN個のサンプルを有し、
    前記ブロックの前記左列のサンプルを比較するために、前記命令が、前記1つ以上のプロセッサに、前記ブロックの前記左列の第1のサンプルを前記ブロックの前記左列のN−1番目のサンプルと比較させ、ここで、前記左列がN個のサンプルを有する、請求項18に記載のコンピュータ可読媒体。
  45. ブロックが前記第1の区分境界と前記第2の区分境界の両方を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記命令が、前記1つ以上のプロセッサに、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルと前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと、ここで、前記最上行及び前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと
    を行わせる、請求項18に記載のコンピュータ可読媒体。
  46. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記命令が、前記1つ以上のプロセッサに、
    前記第1の予測値を所定のデフォルト値に設定することと、
    前記第2の予測値を、前記最上行の第1のサンプルの上に位置する近隣参照サンプルと前記左列の第1のサンプルの左に位置する近隣参照サンプルとの組合せに設定することと
    を行わせる、請求項18に記載のコンピュータ可読媒体。
  47. 前記ブロックが前記第1の区分境界を含み、前記第2の区分境界を含まず、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記命令が、前記1つ以上のプロセッサに、
    前記第1の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定することと、ここで、前記最上行がN個のサンプルを有する、
    前記第2の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定することと、ここで、前記左列がN個のサンプルを有する、
    を行わせる、請求項18に記載のコンピュータ可読媒体。
  48. 前記ブロックが前記第1の区分境界を含まず、前記第2の区分境界を含み、前記ブロックの前記左上コーナーのサンプルが前記第1の区分に割り当てられるとき、前記第1の予測値と前記第2の予測値とを決定するために、前記命令が、前記1つ以上のプロセッサに、
    前記第1の予測値を、前記左列のN−1番目のサンプルの左に位置する近隣参照サンプルに設定することと、ここで、前記左列がN個のサンプルを有する、
    前記第2の予測値を、前記最上行のN−1番目のサンプルの上に位置する近隣参照サンプルに設定することと、ここで、前記最上行がN個のサンプルを有する、
    を行わせる、請求項18に記載のコンピュータ可読媒体。
JP2015561876A 2013-03-15 2013-03-15 深度マップイントラコード化のための予測子 Active JP6262260B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/000287 WO2014139049A1 (en) 2013-03-15 2013-03-15 Predictor for depth map intra coding

Publications (2)

Publication Number Publication Date
JP2016514431A true JP2016514431A (ja) 2016-05-19
JP6262260B2 JP6262260B2 (ja) 2018-01-17

Family

ID=51535759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015561876A Active JP6262260B2 (ja) 2013-03-15 2013-03-15 深度マップイントラコード化のための予測子

Country Status (8)

Country Link
US (1) US10375411B2 (ja)
EP (1) EP2974316B1 (ja)
JP (1) JP6262260B2 (ja)
KR (1) KR102136913B1 (ja)
CN (1) CN105308956B (ja)
ES (1) ES2698515T3 (ja)
HU (1) HUE040137T2 (ja)
WO (1) WO2014139049A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016537844A (ja) * 2013-09-27 2016-12-01 クゥアルコム・インコーポレイテッドQualcomm Incorporated 深度イントラ予測モードのための残差コーディング

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079941B (zh) * 2013-03-27 2017-08-25 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
WO2014166116A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Direct simplified depth coding
CN105594214B (zh) * 2013-04-12 2019-11-26 联发科技股份有限公司 在三维编码系统中深度区块的帧内编码方法及装置
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
US10129542B2 (en) * 2013-10-17 2018-11-13 Futurewei Technologies, Inc. Reference pixel selection and filtering for intra coding of depth map
AU2015327521B2 (en) * 2014-09-30 2018-07-26 Hfi Innovation Inc. Method of lookup table size reduction for depth modelling mode in depth coding
WO2016072757A1 (ko) * 2014-11-05 2016-05-12 삼성전자 주식회사 블록과 관련하여 결정된 적어도 하나의 샘플값 및 적어도 하나의 패턴에 기초한 인트라 예측을 수행하는 영상 부호화 방법 및 장치 또는 영상 복호화 방법 및 장치
RU2718164C1 (ru) * 2016-05-28 2020-03-30 МедиаТек Инк. Способы и устройства для обработки видео данных с условным направлением сигнала информации параметра квантования
CN106791768B (zh) * 2016-12-16 2019-01-04 浙江大学 一种基于图割优化的深度图帧率提升方法
CN111034197B (zh) * 2017-08-22 2022-07-12 松下电器(美国)知识产权公司 图像编码器、图像解码器、图像编码方法和图像解码方法
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
CN113225564B (zh) 2018-07-12 2022-11-11 华为技术有限公司 视频译码中的边界块分割
TWI820197B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 與擴展四叉樹相關的分割的二值化
US11039139B2 (en) 2018-09-14 2021-06-15 Tencent America LLC Method and apparatus for identity transform in multiple transform selection
WO2020140948A1 (en) 2019-01-02 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Motion vector derivation between dividing patterns
WO2020183849A1 (ja) * 2019-03-08 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013022297A2 (ko) * 2011-08-09 2013-02-14 삼성전자 주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치
WO2013032423A1 (en) * 2011-08-26 2013-03-07 Thomson Licensing Depth coding
JP2013509022A (ja) * 2009-10-14 2013-03-07 トムソン ライセンシング フィルタ処理およびエッジ符号化
JP2013074304A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
WO2013068567A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective prediction using partition coding
WO2014008951A1 (en) * 2012-07-13 2014-01-16 Huawei Technologies Co., Ltd. Apparatus for coding a bit stream representing a three-dimensional video

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR101495724B1 (ko) * 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US20110249734A1 (en) * 2010-04-09 2011-10-13 Segall Christopher A Methods and Systems for Intra Prediction
US20120147961A1 (en) 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013509022A (ja) * 2009-10-14 2013-03-07 トムソン ライセンシング フィルタ処理およびエッジ符号化
WO2013022297A2 (ko) * 2011-08-09 2013-02-14 삼성전자 주식회사 다시점 비디오 데이터의 깊이맵 부호화 방법 및 장치, 복호화 방법 및 장치
WO2013032423A1 (en) * 2011-08-26 2013-03-07 Thomson Licensing Depth coding
JP2013074304A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
WO2013068567A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective prediction using partition coding
WO2014008951A1 (en) * 2012-07-13 2014-01-16 Huawei Technologies Co., Ltd. Apparatus for coding a bit stream representing a three-dimensional video

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN BARTNIK ET AL.: "HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding", ITU - TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP, vol. VCEG-AR13, JPN6016001523, February 2012 (2012-02-01), pages 1 - 42, ISSN: 0003605459 *
GERHARD TECH ET AL.: "3D-HEVC Test Model 2", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JT, vol. JCT3V-B1005_d0, JPN6017000064, December 2012 (2012-12-01), pages 1 - 11, ISSN: 0003605460 *
XIN ZHAO ET AL.: "CE6.h related: Simplified DC predictor for depth intra modes", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-D0183, JPN6017000066, April 2013 (2013-04-01), pages 1 - 5, ISSN: 0003605461 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016537844A (ja) * 2013-09-27 2016-12-01 クゥアルコム・インコーポレイテッドQualcomm Incorporated 深度イントラ予測モードのための残差コーディング

Also Published As

Publication number Publication date
KR20150132308A (ko) 2015-11-25
US10375411B2 (en) 2019-08-06
CN105308956B (zh) 2019-04-16
EP2974316A4 (en) 2016-11-16
EP2974316A1 (en) 2016-01-20
HUE040137T2 (hu) 2019-02-28
WO2014139049A1 (en) 2014-09-18
US20160029038A1 (en) 2016-01-28
EP2974316B1 (en) 2018-08-22
CN105308956A (zh) 2016-02-03
KR102136913B1 (ko) 2020-07-22
JP6262260B2 (ja) 2018-01-17
ES2698515T3 (es) 2019-02-05

Similar Documents

Publication Publication Date Title
JP6262260B2 (ja) 深度マップイントラコード化のための予測子
JP6046246B2 (ja) 3dビデオコーディングのための深度マップのイントラコーディング
JP6246919B2 (ja) 深度イントラコーディングのためのウェッジレットパターン拡張
JP6158420B2 (ja) 3d−hevcのための深度データの深度コーディングモードシグナリング
US10687079B2 (en) Constrained depth intra mode coding for 3D video coding
JP6133489B2 (ja) 3d−hevcのための深度データの深度コーディングモードシグナリング
JP5805849B2 (ja) ビデオコード化における動きベクトル予測
US10271034B2 (en) Simplified depth coding
US20160050419A1 (en) Depth modeling modes for depth map intra coding
US10306265B2 (en) Simplification of segment-wise DC coding of large prediction blocks in 3D video coding
JP2016537844A (ja) 深度イントラ予測モードのための残差コーディング
US9762914B2 (en) Method and apparatus of derivation for a binary partition pattern

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171213

R150 Certificate of patent or registration of utility model

Ref document number: 6262260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250