JP2017526315A

JP2017526315A - 高効率映像符号化においてデプスベースのブロック分割を提供するための方法および装置

Info

Publication number: JP2017526315A
Application number: JP2017520757A
Authority: JP
Inventors: ジョウイェ・グ; ジエンファ・ジェン; ナム・リン; チェン−シオン・ジャン
Original assignee: ホアウェイ・テクノロジーズ・カンパニー・リミテッド; サンタ・クララ・ユニヴァーシティ
Priority date: 2014-06-26
Filing date: 2015-06-26
Publication date: 2017-09-07
Anticipated expiration: 2035-06-26
Also published as: WO2015200820A1; EP3162055A1; EP3162055A4; KR101894512B1; CN106464855A; JP6407423B2; US10057586B2; US20150382025A1; CN106464855B; KR20170018386A; EP3162055B1

Abstract

バイナリセグメンテーションマスクを用いて映像画像ブロックを異なる区画へと分割すること（1102）によって、高効率映像符号化におけるデプスベースのブロック分割が提供される。区画の間の境界にある画素にフィルタをかけるかどうかの判定（1108）がなされる。特定の画素に関して垂直面および水平面にある各隣接する画素が同じ値を有する場合、特定の画素にはフィルタをかけない（1110）。特定の画素に関して垂直面および水平面にある任意の隣接する画素が特定の画素に関して垂直面および水平面にある任意の他の隣接する画素とは異なる値を有する場合、特定の画素にフィルタをかける（1112）。フィルタリング判定に応じて、フィルタリング処理（1114）に従って、画素にフィルタをかける。

Description

本開示は、一般的に、高効率映像符号化技法に関し、より詳細には、高効率映像符号化（HEVC）においてデプスベースのブロック分割を提供するための方法および装置に関する。

現行の3D HEVC標準規格のデプスベースのブロック分割（DBBP）では、同一位置のテクスチャブロックに関する任意の形状のブロック分割は、対応するデプスブロックによって計算されるバイナリセグメンテーションマスクから得られる。2つの区画は、動き補償された後、デプスベースのバイナリセグメンテーションマスクに基づいてこれらを平均化することによってマージされる。次いで、フィルタリング処理が適用される。現在、マージした区画に不要なフィルタリング処理が適用されている。

上記より、当業者であれば、三次元映像符号化器および復号化器にあるインター予測部が行う画素のフィルタリングを簡素化する必要が生じていることを認識されよう。本開示によれば、従来の符号化器および復号化器の処理の実装に関連する問題を大幅に減らして実質的に解決する、高効率映像符号化においてデプスベースのブロック分割を提供するための方法および装置が提供される。

一実施形態によれば、現テクスチャブロックに対応するデプスブロックに基づいてバイナリマスクを取得し、バイナリマスクをテクスチャブロック分割に使うことによって、高効率映像符号化においてデプスベースのブロック分割を提供するための方法が提供される。現テクスチャブロックは、バイナリマスクに従って分割される。現テクスチャブロック内の異なる区画の間のブロック分割境界にある特定の画素に関して垂直面および水平面にあるバイナリマスクの隣接する画素の値を確認する。画素処理を行って、隣接する画素の値に従って特定の画素にフィルタをかける。特定の画素に関して垂直面および水平面にある各隣接する画素が同じ値を有する場合、特定の画素にはフィルタをかけない。特定の画素に関して垂直面および水平面にある任意の隣接する画素が特定の画素に関して垂直面および水平面にある任意の他の隣接する画素とは異なる値を有する場合、特定の画素にフィルタをかける。フィルタリング判定に応じて、フィルタリング処理プロセスに従って、特定の画素にフィルタをかける。

本開示は、従来の映像符号化技法に勝る、多くの技術的利点を説明する。例えば、1つの技術的利点は、デプスベースのブロック分割を行う際に境界画素をフィルタ処理する条件の数を簡素化することである。別の技術的利点は、フィルタリング条件を満たすこれらの画素に対して特定のフィルタリング処理を実施することである。他の技術的利点は、以下の図面、説明、および特許請求の範囲を見れば、当業者には容易に明らかとなり得、かつ認識し得る。

本発明およびその利点をより完全に理解するために、ここで、添付の図面と併せて読まれる、以下の説明を参照するものであり、ここで、類似の参照番号は、類似の部品を表す。

高効率映像符号化（HEVC）において実施される四分木符号化構造を示す図である。デプスデータ符号化のための技法を実装し得る映像符号化器の例を示すブロック図である。デプスデータ符号化のための技法を実装し得る映像復号化器の例を示すブロック図である。符号化ユニットのコンポーネントブロックを拡大した状態で、バイナリセグメンテーションマスクの生成を描く、テストシーケンスを示す図である。バイナリセグメンテーションマスクで作成された2つの区画のマージ機能を示す図である。分割境界にある特定の画素のための平均化フィルタリング技法を示す図である。 2つの区画の境界画素に対して行われる簡素なフィルタリング技法を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。図8Aから図8Dの条件確認のさらなる簡素化を示す図である。図8Aから図8Dの条件確認のさらなる簡素化を示す図である。図9Aおよび図9Bの条件確認簡素化技法に対する代替策を示す図である。デプスベースのブロック分割を行うための処理を示す図である。バイナリセグメンテーションマスクに関して重ね合わせた予測ユニットの形状を示す図である。デプスベースのブロック分割を行うのに好適な簡素化した汎用コンピューティングコンポーネントを示す図である。

以下に説明する図1から図13、ならびに本明細書において本発明の原理を説明するために使われる様々な実施形態は、ほんの一例であり、多少なりとも本発明の範囲を限定するものとして解釈されるべきではない。当業者であれば、本発明の原理を、任意のタイプの適切に構成した装置またはシステムにおいて実施できること理解するはずである。必要に応じて、1つの図面で示され、説明された特徴は、1つ以上の他の図面において実施され得る。

一般的に、本開示は、HEVC標準規格に基づく様々なデプス符号化モードを用いる、三次元（3D）映像データのデプスデータを符号化および復号化するための技法に関する。撮像された、3D映像データのビュー（例えば、テクスチャ）は、テクスチャデータのデプスデータを記述する、対応するデプスマップと関連付けられている。3D-HEVC処理などの3D映像符号化処理に従って、テクスチャビューおよびデプスマップは、3D映像ビットストリームへと符号化および多重化され得る。

図1は、高効率映像符号化（HEVC）において実施される四分木符号化構造を示す。HEVC標準規格は、高度に柔軟な四分木符号化構造を採用しており、映像ピクチャまたはフレームは、輝度（Y）標本と色差（Cb、Cr）標本とを含む符号化ツリーユニット（CTU）のシーケンスに分けられる。CTUサイズは、符号化器において64x64、32x32、および16x16から選択でき、シーケンスパラメータセット（SPS）において指定できる。CTUは、符号化ツリーの根として用いられ、四分木の各葉は、符号化ユニット（CU）と呼ばれる。したがって、1つのCTUは、複数のCUへと分割でき、各CUは、イントラ符号化またはインター符号化のいずれか1つの符号化カテゴリを指定する。CUは、予測のための基本的な情報を運ぶ1つ、2つ、または4つの予測ユニット（PU）へとさらに分割される。効率的な予測のため、HEVCは、2つのイントラPU形状と8つのインターPU形状とを規定して可変サイズPUをサポートする。イントラPUは、2Nx2NおよびNxNの形状を有し得る。インターPU形状は、2つの正方形形状2Nx2NおよびNxN、2つの長方形形状2NxNおよびNx2N、ならびにそれぞれ上、下、左、および右の位置に、4つの非対称形状2NxnU、2NxnD、nLx2N、およびnRx2Nを含む。各CUの残差ブロックは、サイズが4×4から32×32までの範囲である変換ユニット（TU）から作られる残差四分木（RQT）と通常呼ばれる四分木構造で変換され得る。TUは、予測画像と実際の画像との間の残差を符号化するための、空間的なブロック変換および量子化のための係数を含む。

符号化器は、網羅的に計算することによって、最良の符号化ツリー構造、PU細分割、およびRQT構成を選択する。候補となる各構成の圧縮効率を評価するために、符号化器は、J＝D＋λRで表されるラグランジュ未定乗数最適化手法を利用し、ここで、Jは、ラグランジュのレート歪（RD）コスト関数であり、Dは、元の標本に対する再構成された標本の2乗誤差和で得られる歪であり、Rは、エントロピー符号化のビットレートであり、λは、ラグランジュ形式においてRとDとをつなぐラグランジュ乗数である。RDコストの最小化処理は、レート歪最適化（RDO）として知られ、これにより、ビットレートと歪との折り合いがつき、圧縮効率と画質との間の妥協点に至る。

符号化効率は、あるレベルの映像品質を維持しながら、可能な限り低いビットレートで映像を符号化する能力である。符号化器は、RDO処理を用いて、最小値となるイントラ符号化モードを選択する。RDO処理は、主に2つの理由のために、非常に時間がかかる。第1番目の理由は、CU／PU／TUの組み合わせが多過ぎることである。例えば、イントラ予測モード符号化だけで、35回のRDコスト計算処理が行われて、特定のPUのモードを決定し、これは、1つのPUは、DC（フラット）予測モード、プレーナ（Planar）（曲面あてはめ）予測モード、および33方向の方向性予測モードを含む、35のイントラ予測モードのうちの1つで符号化され得るためである。第2番目の理由は、RDコスト計算の計算量が多いことである。各候補に対して、正確なDおよびRを取得するために、符号化器が行うRDコスト計算は、イントラ予測、残差計算、変換、量子化、エントロピー符号化、逆変換、逆量子化、画素再構成、そして最後にRDコスト計算を含む。

一般的に、HEVC符号化器は、フレームを、格納または送信可能な圧縮映像ビットストリームへと圧縮する。符号化処理は、単一のピクチャまたはフレームを、複数のCUへとさらに分割できる複数のCTUへと分割することによって開始する。フレーム内のピクチャを分割したならば、CUをPUへとさらに分割する予測処理が開始する。HEVC符号化器は、2つのタイプの予測、すなわち、イントラ予測およびインター予測を使う。イントラ予測は、隣接する画像データから、すなわち、同じピクチャフレームからPUを予測する。インター予測は、動き補償予測を用いて、現表示の前または後に見られるピクチャ、すなわち、ストリーム内の他のピクチャフレーム内の画像データから参照されるPUを予測する。離散コサイン変換（DCT）を用いて、予測後に残っているあらゆるデータをブロックに入れる。元のブロックとその予測との間の差は、線形空間変換によって変換される。HEVC符号化器は、これらのブロックを各CUの残りのデータに適用する。最後に、符号化されたビットストリームは、エントロピー符号化として知られる処理を介してコンテキスト適応型2値算術符号化（CABAC）をさらに用いて符号化される。これは、HEVC符号化器が変換データをその別個のコンポーネント、すなわち、動きベクトル、予測モード、分割情報、および他のヘッダデータへと構成および圧縮する最後のステップである。スケーリングされ、量子化され、エントロピー符号化されると、変換係数は、が予測情報と一緒に送信される。この時点で、映像は圧縮されており、格納できる。

映像が伝送されると、HEVC復号化器は、映像ソースからの画像を見るために、データを復号化する。エントロピー復号化によって、HEVC復号化器は、符号化されたシーケンスの要素を抽出する。符号化処理の変換段階をリスケールかつ反転し、ピクチャのユニットを予測された、その元の形に復元し、逆変換の出力に予測が加えられる。

動画を見るための最終ステップは、表示用に復号化された映像を再構成する処理である。符号化器は、復号化器処理ループを複製して、後続のデータに関して両方が同一の予測を生成するようにする。量子化された変換係数は、逆スケーリングによって構成され、次いで、逆変換されて、残差信号の復号化された近似を複製する。次いで、残差を予測に加え、その加算の結果を、1つまたは2つのループフィルタに供給して、ブロック単位の処理および量子化によって生じたアーティファクトを取り除いてよい。（復号化器の出力の複製である）最終的なピクチャ表現は、後続のピクチャの予測に使用されるべく、復号ピクチャバッファに格納される。

図2は、デプスデータ符号化のための技法を実装し得る映像符号化器200の例を示すブロック図である。映像符号化器200は、本明細書に開示される3D-HEVCにおけるデプスマップの簡素化した符号化モードシグナリングのための技法を行うように構成され得る装置を表す。映像符号化器200は、映像スライス内の映像ブロックのイントラ符号化およびインター符号化を行うことができる。イントラ符号化は、空間的予測を利用して、所与の映像フレームまたはピクチャ内にある映像の空間的冗長性を減らしたり、除去したりする。インター符号化は、時間的予測を利用して、映像シーケンスの隣接するフレームまたはピクチャ内にある映像の時間的冗長性を減らしたり、除去したりする。イントラ予測モード（Iモード）は、いくつかの空間ベースの符号化モードのうちのいずれかを指し得る。一方向予測（Pモード）または双予測（Bモード）などのインター予測モードは、いくつかの時間ベースの符号化モードのうちのいずれかを指し得る。各ビューのテクスチャマップ（すなわち、輝度値および色差値）を符号化することに加えて、映像符号化器200は、各ビューのデプスマップをさらに符号化できる。

映像符号化器200は、映像データメモリ202と、モード選択部204と、復号ピクチャバッファ（DPB）206と、加算器208と、変換処理部210と、量子化部212と、エントロピー符号化部214とを含み得る。モード選択部204には、動き補償部220と、動き推定部222と、イントラ予測部224と、分割部226とが含まれる。映像ブロック再構成のために、映像符号化器200はまた、逆量子化部230と、逆変換部232と、加算器234とを含む。デブロッキングフィルタ240もまた含まれて、ブロック境界にフィルタをかけ、再構成した映像からブロックノイズアーティファクトを除去する。必要に応じて、デブロッキングフィルタ240は、一般的に、加算器234の出力にフィルタをかける。デブロッキングフィルタに加えて、付加的なフィルタ（ループ内またはループ後）もまた使用できる。そのようなフィルタは、（ループ内フィルタとして）加算器208の出力にフィルタをかけることができる。フィルタ例として、適応ループフィルタ、サンプルアダプティブオフセット（SAO）フィルタ、または他のタイプのフィルタを挙げることができる。

映像符号化器200は、符号化する映像フレーム内の現映像ブロックを受信する。映像データメモリ202は、映像符号化器200のコンポーネントが符号化する映像データを格納し得る。映像データメモリ202に格納される映像データは、例えば映像ソースから、取得され得る。復号ピクチャバッファ206は、例えばイントラ符号化モードまたはインター符号化モードにおいて、映像符号化器200によって映像データを符号化する際に使うために参照映像データを格納する参照ピクチャメモリであり得る。映像データメモリ202と復号ピクチャバッファ206とは、シンクロナスDRAM（SDRAM）、磁気抵抗RAM（MRAM）、抵抗変化型RAM（RRAM(登録商標)）、または他のタイプのメモリ装置を含むダイナミックランダムアクセスメモリ（DRAM）などの様々なメモリ装置のうちのいずれかによって形成されてよい。映像データメモリ202と復号ピクチャバッファ206とは、同じメモリ装置によって提供されてもよいし、別個のメモリ装置によって提供されてもよい。様々な例では、映像データメモリ202は、映像符号化器200の他のコンポーネントと共にオンチップであってもよいし、これらのコンポーネントに対してオフチップであってもよい。

符号化処理の間、映像符号化器200は、符号化する映像フレームまたはスライスを受信する。フレームまたはスライスは、複数の映像ブロックへと分割され得る。動き推定部222と動き補償部220とは、1つ以上の参照フレームにおける1つ以上のブロックに対して、受信した映像ブロックのインター予測符号化を行って、時間的予測を提供する。イントラ予測部224は、符号化するブロックとして同じフレームまたはスライスにある1つ以上の隣接したブロックに対する受信した映像ブロックのイントラ予測符号化を代替的に行って、空間的予測を提供することができる。映像符号化器200は、複数の符号化パスを行って、映像データの各ブロックに対する適切な符号化モードを選択することができる。

さらに、分割部226は、先の符号化パスの先の分割スキームの評価に基づいて、映像データのブロックをサブブロックへと分割できる。例えば、分割部226は、フレームまたはスライスをLCUへと最初に分割し、レート歪解析（例えば、レート歪最適化）に基づいてLCUのそれぞれをサブCUへと分割する。モード選択部204は、LCUをサブCUに分割したことを示す四分木データ構造をさらに作り出し得る。四分木の葉ノードCUは、1つ以上のPUと1つ以上のTUとを含み得る。モード選択部204は、誤差結果に基づいて、イントラまたはインターの符号化モードのうちの1つを選択し、結果として得られるイントラまたはインター符号化されるブロックを、加算器208に提供して、残差ブロックデータを生成し、参照フレームとして使用するために、加算器234に提供して、符号化ブロックを再構成し得る。モード選択部204はまた、動きベクトル、イントラ符号化モード指標、分割情報、およびエントロピー符号化部214のための他のそのようなシンタックス情報などのシンタックス要素を提供する。

動き推定部222と動き補償部220とは、高度に統合されてよいが、概念に関わる目的のために別個に示されている。動き推定部222が行う動き推定は、映像ブロックに関する動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現フレーム（または他の符号化されたユニット）内で符号化された現ブロックに対する参照フレーム（または他の符号化されたユニット）内にある予測ブロックに対する、現映像フレームまたはピクチャ内にある映像ブロックのPUの変位を示し得る。

予測ブロックは、画素間差分値の観点から、符号化するブロックとよく一致すると認められるブロックであり、これは、差分絶対値和（SAD）、差分2乗和（SSD）、または他の差分評価基準により判定できる。一部の例では、映像符号化器200は、復号ピクチャバッファ206に格納された参照ピクチャの小数画素位置に関する値を計算し得る。例えば、映像符号化器200は、参照ピクチャの1／4画素位置、1/8画素位置、または他の分数の画素位置の値を補間し得る。したがって、動き推定部222は、1画素位置および分数画素位置に対する動き探索を行い、分数画素予測で動きベクトルを出力することができる。

動き推定部222は、PUの位置を参照ピクチャの予測ブロックの位置に対して比較することによって、インター符号化されたスライスにおける映像ブロックのPUに関する動きベクトルを計算する。参照ピクチャは、複数の参照ピクチャリストのうちの1つから選択でき、そのそれぞれは、復号ピクチャバッファ206に格納された1つ以上の参照ピクチャを特定する。動き推定部222は、エントロピー符号化部214と動き補償部220とのために計算された動きベクトルを生成する。

動き補償部220が行う動き補償は、動き推定部222が判定した動きベクトルに基づく予測ブロックの取り出しまたは生成を含み得る。現映像ブロックのPUに関する動きベクトルを受信すると、動き補償部220は、参照ピクチャリストのうちの1つにある動きベクトルが指す予測ブロックを特定する。加算器208は、符号化された現映像ブロックの画素値から予測ブロックの画素値を差し引いて、画素間差分値を形成することによって、残差映像ブロックを形成する。一般的に、動き推定部222は、輝度成分に対する動き推定を行い、動き補償部220は、輝度成分に基づいて計算された動きベクトルを色差成分と輝度成分との両方に使う。モード選択部204はまた、映像スライスの映像ブロックを復号化する際に使うために、映像ブロックと映像スライスとに関連付けられているシンタックス要素を生成する。

イントラ予測部224は、動き推定部222と動き補償部220とが行うインター予測の代わりに、現ブロックをイントラ予測できる。特に、イントラ予測部224は、イントラ符号化モードを判定して、現ブロックを符号化するために使うことができる。一部の例では、イントラ予測部224は、例えば別個の符号化パスの間、様々なイントラ予測モードを用いて現ブロックを符号化でき、イントラ予測部224（または、一部の例では、モード選択部204）は、調べたモードから適切なイントラ符号化モードを選択して使うことができる。

例えば、イントラ予測部224は、様々な調べたイントラ符号化モードに関してレート歪解析を用いてレート歪値を計算し、調べたモードの中でも最良のレート歪特性を有するイントラ符号化モードを選択できる。レート歪解析は、一般的に、符号化されたブロックと、符号化されて符号化されたブロックを作り出した元の符号化されていないブロックとの間の歪（または誤差）の量、ならびに符号化されたブロックを作り出すために使われたビットレートまたはビット数を判定する。イントラ予測部224は、様々な符号化されたブロックに関して歪およびレートから比を計算して、ブロックに関し、どのイントラ符号化モードが最良のレート歪値を呈しているかを判定できる。

加えて、イントラ予測部224は、デプスマップのデプスブロックを符号化するように構成され得る。例えば、イントラ予測部224は、基礎となる（2D）HEVC標準規格、領域境界チェーン符号化モード（CCM）、簡素化またはセグメント単位のデプス符号化モード（SDC）、またはデプスモデリングモード（DMM）からイントラ予測モードを使って、デプススライスのイントラ予測されたPUを符号化することができる。一部の例では、動き推定部222と動き補償部220とはまた、デプスマップのデプスブロックを符号化するように構成され得る。動き推定部222と動き補償部220とは、基礎となる（2D）HEVC標準規格またはインターSDCモードに従って、インター予測を行って、デプススライスのインター予測されたPUを符号化することができる。

変換処理部210は、残差ブロックに変換を適用し、残差変換する係数のブロックを作り出す。この変換により、画素値領域からの残差情報を周波数領域などの変換領域へと変換できる。変換処理部210は、離散コサイン変換（DCT）またはDCTと概念的に類似する他の変換などの変換を行うことができる。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換もまた使用できる。変換処理部210は、結果として得られる変換係数を量子化部212に送信できる。一部の例では、変換処理は、省略されることもある。

量子化部212は、変換係数を量子化して、ビットレートをさらに減らす。量子化処理は、係数の一部またはすべてに関連付けられているビットデプスを減らすことができる。量子化の程度は、量子化パラメータを調整することによって修正できる。一部の例では、次いで、量子化部212は、量子化された変換係数を含むマトリックスの走査を行うことができる。あるいは、エントロピー符号化部214が走査を行うこともできる。

量子化の後、エントロピー符号化部214は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化部214は、コンテキスト適応型2値算術符号化（CABAC）またはコンテキスト適応型可変長符号化（CAVLC）、シンタックスベースコンテキスト適応型2値算術符号化（SBAC）、または確率区間分割エントロピー（PIPE）符号化などの他のエントロピー符号化処理を行うことができる。コンテキストベースエントロピー符号化の場合、コンテキストは、隣接するブロックに基づき得る。エントロピー符号化部214によるエントロピー符号化の後、符号化されたビットストリームは、別の装置（例えば、映像復号化器300）に送信されてもよいし、後で送信または検索するためにアーカイブされてもよい。

逆量子化部230と逆変換部232とは、それぞれ、逆量子化と逆変換とを適用して、参照ブロックとして後で使用するために画素領域の残差ブロックを再構成する。動き補償部220は、残差ブロックを復号ピクチャバッファ206のフレームのうちの1つの予測ブロックに加えることによって参照ブロックを計算できる。動き補償部220はまた、再構成された残差ブロックに1つ以上の補間フィルタを適用して、動き推定で用いるための少数画素値を計算する。

加算器234は、再構成された残差ブロックを動き補償部220が作り出した動き補償予測ブロックに加えて、復号ピクチャバッファ206に格納するための再構成された映像ブロックを作り出す。再構成された映像ブロックは、動き推定部222および動き補償部220で参照ブロックとして使用して、後続の映像フレームのブロックをインター符号化できる。

本開示で説明される技法によれば、映像符号化器200は、3D映像符号化処理で利用可能なデプスイントラ符号化モードを用いて、3D映像データのためのデプスデータを符号化するように構成できる。一例では、映像符号化器200は、デプスモデリングテーブルにおける、3D映像データのためのデプスデータを符号化するために使われるデプスイントラ符号化モードをシグナリングする。デプスモデリングテーブルは、HEVCイントラ符号化モードのためのシンタックスとは別に、追加的なデプスイントラ符号化モードのためのシンタックスをシグナリングする。加えて、映像符号化器200は、フラグなどのシンタックス要素をシグナリングして、HEVCイントラ符号化モードとは異なるデプスイントラ符号化モードのうちのいずれかが3D映像データのために有効化されているかどうかを示す。一部の例では、シンタックス要素は、デプスイントラ符号化モードのすべてが3D映像データのために有効化されているかどうかを示し得る。シンタックス要素は、映像データの映像パラメータセット（VPS）、シーケンスパラメータセット（SPS）、またはピクチャパラメータセット（PPS）のうちの1つに含まれ得る。デプスイントラ符号化モードが有効である場合、映像符号化器200がシグナリングしたフラグは、映像復号化器300に、デプスモデリングテーブルを復号化して、デプスデータを符号化するために使われるデプスイントラ符号化モードのうちの1つを判定するように指示する。デプスモデリングテーブルは、映像データの符号化ユニット（CU）レベルまたは予測ユニット（PU）レベルのうちの1つにおいて符号化され得る。本開示の技法によれば、映像符号化器200のシグナリングは、HEVCイントラ符号化モードとは別に、デプスモデリングテーブルのデプスイントラ符号化モードをシグナリングし、デプスイントラ符号化モードが有効である場合に、デプスモデリングテーブルを復号化するように指示することによって、復号化器が負荷を解析することを減らすことができる。

別の例では、映像符号化器200は、2つ以上のデプス符号化モードを統一したシンタックス要素セットを用いて、3D映像データのためのデプスデータの残差情報をシグナリングするように構成される。デプス符号化モードは、デプスイントラ符号化モードとデプスインター符号化モードとを含み得る。シンタックス要素セットは、デプス符号化モードのうちのいずれかに対して、残差値が符号化されるかどうかを示すシンタックス要素を含み得る。シンタックス要素セットはまた、デプス符号化モードのうちのいずれかに対して、残差値の絶対値と符号とを示すシンタックス要素を含み得る。3つ以上のデプス符号化モードのための残差情報を示すために、同じシンタックス要素セットを共有することによって、映像符号化器200はまた、共有シンタックス要素のそれぞれのコンテキストモデル選択および2値化方法を統一できる。加えて、デプスイントラ符号化モードについては、映像符号化器200は、デプスデータの残差値の生成中、隣接する参照標本にフィルタをかけないことを判定できる。本開示の技法によれば、映像符号化器200の符号化メカニズムおよびシグナリングは、デプス符号化モードための残差情報シンタックスを統一することによって、復号化器が、負荷を解析することを減らし、必要とされるコンテキストモデルおよび2値化方法の数を減らすことができる。

図3は、デプスデータ符号化のための技法を実装し得る映像復号化器300の例を示すブロック図である。映像復号化器300は、映像データメモリ302と、エントロピー復号化部304と、動き補償部306と、イントラ予測部308と、逆量子化部310と、逆変換部312と、復号ピクチャバッファ（DPB）314と、加算器316とを含む。映像復号化器300は、本明細書で提供される3D-HEVCにおけるデプスマップの簡素化した符号化モードシグナリングのための技法を行うように構成され得る装置を表す。

映像データメモリ302は、映像復号化器300のコンポーネントが復号化する、符号化された映像ビットストリームなどの映像データを格納し得る。映像データメモリ302に格納された映像データは、例えばコンピュータ可読媒体から、例えばカメラなどのローカルの映像ソースから、映像データの有線もしくは無線ネットワーク通信を介して、または物理的なデータ記憶媒体にアクセスすることによって取得できる。映像データメモリ302は、符号化された映像ビットストリームからの符号化映像データを格納する符号化ピクチャバッファ（CPB）を形成し得る。復号ピクチャバッファ314は、例えばイントラ符号化モードまたはインター符号化モードによって、映像復号化器300によって映像データを復号化する際に使うために参照映像データを格納する参照ピクチャメモリであり得る。映像データメモリ302と復号ピクチャバッファ314とは、シンクロナスDRAM（SDRAM）、磁気抵抗RAM（MRAM）、抵抗変化型RAM（RRAM）、または他のタイプのメモリ装置を含むダイナミックランダムアクセスメモリ（DRAM）などの様々なメモリ装置のうちのいずれかによって形成されてよい。映像データメモリ302と復号ピクチャバッファ314とは、同じメモリ装置によって提供されてもよいし、別個のメモリ装置によって提供されてもよい。様々な例では、映像データメモリ302は、映像復号化器300の他のコンポーネントと共にオンチップであってもよいし、これらのコンポーネントに対してオフチップであってもよい。

復号化処理の間、映像復号化器300は、映像符号化器200から、符号化映像スライスの映像ブロックを表す符号化された映像ビットストリームと、関連するシンタックス要素とを受信する。エントロピー復号化部304は、ビットストリームをエントロピー復号化して、量子化された係数、動きベクトル、イントラ符号化モード指標、および他のシンタックス要素を生成する。映像復号化器300は、映像スライスレベルおよび／または映像ブロックレベルでシンタックス要素を受信し得る。各ビューのテクスチャマップ（すなわち、輝度値および色差値）を復号化することに加えて、映像復号化器300は、各ビューのデプスマップをさらに復号化できる。

映像スライスがイントラ符号化（I）スライスとして符号化される場合、イントラ予測部308は、現フレームまたはピクチャの先に復号化されたブロックからシグナリングされたイントラ符号化モードおよびデータに基づいて、現映像スライスの映像ブロックに関する予測データを生成できる。イントラ予測部308はまた、デプスデータをイントラ符号化できる。例えば、イントラ予測部308は、基礎となる（2D）HEVC標準規格、領域境界チェーン符号化モード（CCM）、簡素化デプス符号化またはセグメント単位のDC符号化（SDC）モード、またはデプスモデリングモード（DMM）からイントラ予測モードを使って、デプススライスのイントラ予測されたPUを符号化することができる。

映像フレームがインター符号化（すなわち、BまたはP）スライスとして符号化される場合、動き補償部306は、動きベクトルおよびエントロピー復号化部304から受信した他のシンタックス要素に基づいて、現映像スライスの映像ブロックに関する予測ブロックを作り出す。予測ブロックは、参照ピクチャリストのうちの1つにある参照ピクチャのうちの1つから作り出され得る。映像復号化器300は、復号ピクチャバッファ314に格納された参照ピクチャに基づいて、デフォルトコンストラクション技法を用いて参照フレームリストを構築できる。

動き補償部306は、動きベクトルおよび他のシンタックス要素と解析することによって、現映像スライスの映像ブロックに関する予測情報を判定し、予測情報を使用して、復号化される現映像ブロックに関する予測ブロックを作り出す。例えば、動き補償部306は、受信したシンタックス要素の一部を使用して、映像スライスの映像ブロックを符号化するために使われる予測モード（例えば、イントラまたはインター予測）、インター予測スライスタイプ（例えば、BスライスまたはPスライス）、スライスに関する参照ピクチャリストのうちの1つ以上の構築情報、スライスの各インター符号化された映像ブロックの動きベクトル、スライスの各インター符号化された映像ブロックに関するインター予測状態、および現映像スライスの映像ブロックを復号化するための他の情報を判定する。

動き補償部306はまた、補間フィルタに基づいて、補間を行うことができる。動き補償部306は、映像ブロックの符号化の間に映像符号化器200が使うように補間フィルタを使って、参照ブロックの小数画素に関する補間された値を計算することができる。この場合、動き補償部306は、受信したシンタックス要素から映像符号化器200が使う補間フィルタを判定し、補間フィルタを使って、予測ブロックを作り出すことができる。動き補償部306はまた、デプスデータをインター符号化できる。例えば、動き補償部306は、基礎となる（2D）HEVC標準規格またはインターSDCモードに従って、インター予測を行って、デプススライスのイントラ予測されたPUを符号化することができる。

逆量子化部310は、ビットストリームにおいて提供され、エントロピー復号化部304が復号化した量子化された変換係数を逆量子化する（inversequantizes）、すなわち、逆量子化する（de-quantizes）。逆量子化処理は、映像スライス内の各映像ブロックについて映像復号化器300によって計算されて、量子化の程度と、同様に適用すべき逆量子化の程度とを判定する、量子化パラメータQP_Yの使用を含み得る。逆変換部312は、逆変換、例えば、逆DCT、逆整数変換、または概念的に類似する逆変換処理を適用して、画素領域において残差ブロックを作り出すために、係数を変換する。

動き補償部306またはイントラ予測部308が、動きベクトルまたは他のシンタックス要素に基づいて、現映像ブロック（例えば、テクスチャブロックまたはデプスブロック）に関する予測ブロックを生成した後、映像復号化器300は、逆変換部312からの残差ブロックを動き補償部306またはイントラ予測部308が生成した対応する予測ブロックと加算することによって、復号化された映像ブロックを形成する。加算器316は、この加算演算を行うコンポーネントまたは複数のコンポーネントを表す。

必要に応じて、ブロックノイズアーティファクトを除去するために、デブロッキングフィルタを適用して、復号化されたブロックにフィルタをかけることもできる。他のループフィルタを（符号化ループ内または符号化ループの後で）用いて、画素遷移平滑化したり、別の方法で映像品質を改善したりしてよい。次いで、所与のフレームまたはピクチャにある復号化された映像ブロックは、後続の動き補償に使われる参照ピクチャを格納する復号ピクチャバッファ314に格納される。復号ピクチャバッファ314はまた、後で表示装置上に提示するために、復号化された映像を格納する。

動き補償部220と306とは、ブロックを別個の区画に分割するデプスベースのブロック分割（DBBP）を行うことができる。同一位置のテクスチャブロックに関する任意の形状のブロック分割は、同一位置の（仮想）デプスマップから計算されるバイナリセグメンテーションマスクに基づいて得られる。2つの区画のそれぞれは、動き補償され、その後、デプスベースセグメンテーションマスクに基づいてマージされる。DBBP処理の最終ステップは、区画の境界にある画素にフィルタをかけることである。前景および背景オブジェクト領域へと分割されるとして本明細書で説明したが、テクスチャブロックは、バイナリセグメンテーションマスクによって決められた任意の所望の方式で分割されてよい。

初期ステップでは、テクスチャコンポーネントの現符号化ツリーブロック（CTB）の同一位置のデプスブロックは、2つの任意の形状セグメントへと分割される。デプスコンポーネントは、現共通実験条件（CTC）では、対応するテクスチャビューの後で符号化されるため、仮想デプスマップは、基礎となるビューの再構成されたデプスから得られ、視差ベクトルによってシフトされる。視差ベクトルは、同じ時間インスタンスの既に符号化されたピクチャにおける現CU／PUの対応するブロックを特定するために使われる。視差ベクトルは、初め、CUの視差補償予測で符号化された隣接ブロックの空間および時間の動きベクトルから、またはCUの動き補償予測で符号化された隣接ブロックに関連付けられている視差ベクトルから得られる。次いで、視差ベクトルは、基礎となるビューのデプスマップから取得される。視差ベクトルは、既に符号化されたデプスビューにおけるデプスブロックを識別し、得られる視差ベクトルの精度をさらに高めるための後方ワーピングを行うために利用される。得られた視差ベクトルは、デプス指向隣接ブロックベースの視差ベクトル（DoNBDV）として知られる。

視差ベクトルを取得し、参照ビューにおいて対応するデプスブロックを識別すると、対応するデプスブロック内のすべてのデプス標本の平均に基づいて閾値が計算される。（仮想）デプスマップのセグメンテーションは、閾値
が平均デプス値から計算される、非常に単純な閾値処理メカニズムに基づいて行われる。
ここで、2Nは、現テクスチャブロックの幅／高さを規定するものであり、d（x，y）は、参照ビューのテクスチャフレームの、既に符号化された、対応するデプスマップとなる。その後、バイナリセグメンテーションマスクm_D（x，y）が、デプス値および以下のような閾値dに基づいて生成される。

図4は、符号化ユニットのコンポーネントブロックを拡大した状態で、バイナリセグメンテーションマスクの生成を描く、テストシーケンスを示す。同一位置のデプスブロックは、ブロックを前景領域と背景領域とに分割して、バイナリセグメンテーションマスクm_D（x，y）をもたらす。結果として得られるバイナリセグメンテーションマスクの平均値は、テクスチャブロックの分割の形状を規定する。関連座標（x，y）において特定されるデプス値が閾値よりも大きい場合、バイナリマスクm_D（x，y）は1に設定される。関連座標（x，y）において特定されるデプス値が閾値よりも小さい場合、バイナリマスクm_D（x，y）は0に設定される。

DBBPスキームでは、実際の動きまたは視差補償は、2Nx2N分割で行われ、このことは、符号化されたベクトル情報によって1つのCTBがシフトされることを意味している。このフルサイズ動き／視差補償が、各セグメントに対して1回ずつの2回行われ、2つの予測信号p_T0（x，y）およびp_T1（x，y）をもたらす。その結果、DBBPブロックでは、2つセットのベクトル情報を符号化する必要がある。この手法が前提としているのは、テクスチャブロックが、一般的に、同一位置のデプスブロックに基づいて、前景と背景とに分割されていることである。次いで、これらの2つのデプス階層は、それら自体の動きまたは視差ベクトルセットによって、独立に補償される。

DBBP符号化ブロックに関して、2つのフルサイズ予測信号p_T0（x，y）およびp_T1（x，y）を生成した後、セグメンテーションマスクm_D（x，y）を用いて、次のように、これらを現テクスチャCTBの最終予測信号p_T（x，y）へとマージする。

図5は、マージ機能を示す。2つの復号化された動きパラメータのそれぞれについて、2Nx2N動き補償が行われる。結果として得られる予測信号p_T0（x，y）およびp_T1（x，y）は、DBBPマスクm_D（x，y）を用いて組み合わされる。2つの予測信号をマージすることによって、デプスマップからの形状情報により、同じテクスチャブロック内の前景オブジェクトと背景オブジェクトとの独立な補償が可能になる。同時に、DBBPは、画素単位の動き／視差補償を必要としない。DBBP符号化ブロックの参照バッファへのメモリアクセスは、常に変わらない（ブロックベース）。さらに、DBBPは、補償にはフルサイズのブロックを常に用いる。このことは、メモリキャッシュにおいてデータを見つける可能性が高いことから、複雑さに関して好ましい。

上記の説明では、DBBPは、ブロックを前景オブジェクト領域と背景オブジェクト領域とに分割する。各区画に関する予測信号を生成した後、境界標本フィルタリングが適用されて、境界標本の強度値を変える。境界標本フィルタリング方法では、現境界標本の隣接する標本に基づいて確認条件が適用され、境界標本フィルタリングを使って、現境界標本の強度値を変えるかどうかを判定する。確認条件が満たされている場合、フィルタリング技法が現境界標本に適用される。フィルタリング技法は、複数位置標本を使うことに基づくものであって、フィルタ標本値として現位置に関する更新値を生成してよい。複数位置標本は、現境界標本もまた含む、あるいは含まない、現境界標本の隣接する位置標本を含む。

図6は、分割境界にある特定の画素のための平均化フィルタリング技法を示す。（例えば、HEVCの）最新の映像符号化器における動きまたは視差補償は、ブロックベースで行われるが、任意の形状のブロック分割では、一般的に、画素ベースの補償が必要とされる。マージ処理から上記予測信号を生成した後、セグメントマスクが画定する境界区画にある画素に対して水平または垂直フィルタリング処理が行われる。区画付近の前景または背景画素の場合、フィルタリングの際の1つの試みは、2つの区画の画素の値を平均化することであった。しかしながら、同一位置の画素は、前景にも背景にも分類されない。そのため、境界付近に歪がもたらされ得る。

図7は、図6の平均化技法の代わりに、境界画素pおよびqに対して行われる簡素なフィルタリング技法を示すフィルタリング方向は、PUサイズに基づく。水平フィルタが、Nx2Nに行われ、垂直フィルタが、2NxNに行われる。図示のように、1つの区画にある1つの境界標本は、位置pを有し、他の区画にある境界標本は、位置qを有する。隣接する位置は、p-1およびq-1である。各色成分Iについて、位置pおよびqの強度値が、次のように変更され、
I’_p＝（（I_p-1）＋（I_p）＜＜1＋（I_q））＞＞2
I’_q＝（（I_p）＋（I_q）＜＜1＋（I_q＋1））＞＞2
ここでp-1、p、q、およびq＋1は、1つの行の連続する標本であり、I’_pおよびI’_qは、フィルタリング後の位置pおよびqの新しい強度値である。記号＞＞は、右ビットシフト演算子（すなわち2の冪乗の乗算）を示し、記号＜＜は、左ビットシフト演算子（すなわち2の冪乗の乗算）を示し、付随する整数値は、2の冪乗の冪数である。各現標本位置について、水平または垂直フィルタリング方向に沿った2つの最も近くの隣接する標本位置を用いて、現標本位置が境界標本であるかどうかを決定する。2つの隣接した標本が、バイナリセグメンテーションマスクによって同じ値に割り当てられている場合、現標本位置は、境界標本位置として識別される。このフィルタリング処理は、より効率のよい方式で任意の区画の周囲の領域を平滑化する。

図8Aから図8Dは、画素フィルタリング処理に関して確認され得る4つのフィルタリング条件を示す。境界フィルタリング処理は、さらに簡素化でき、各画素位置に関してフィルタリングを行う必要がなくなる。フィルタリング条件は、隣接する画素位置のマスク値に基づいて確立され得る。フィルタリングマスクは、各画素位置に適用される。フィルタリングマスクは、左、右、上、下、および中央に関するものであり、現画素位置は、マスクの中央である。図8Aから図8Dにおいて、ハッシングは、同じ値を有する位置を表す。図8Aは、水平の行において、左および右の画素位置は、中央の現画素位置と同じマスク値を共有する一方、垂直の列において、上および下の画素位置は、中央の現画素位置と同じ値を共有していない場合を示している。図8Bは、垂直の列において、上および下の画素位置は、中央の現画素位置と同じマスク値を共有する一方、水平の行において、左および右の画素位置は、中央の現画素位置と同じマスク値を共有していない場合を示している。図8Cは、左、右、上、および下の画素位置がすべて、中央の現画素位置と同じマスク値を共有する場合を示している。図8Dは、水平の行において、左および右の画素位置は、中央の現画素位置と同じマスク値を共有しておらず、垂直の列において、上および下の画素位置は、中央の現画素位置と同じ値を共有していない場合を示している。

バイナリセグメンテーションマスクの境界にある各画素位置について、左、右、上、および下の画素位置の値を中央現画素位置の値に対して比較して、どのフィルタリング処理を適用するべきかを判定する。

図8Aで提示された場合では、フィルタリング処理は、
I’_c＝（（I_t）＋（I_c）＜＜1＋（I_b））＞＞2
であり得る。

図8Bで提示された場合では、フィルタリング処理は、
I’_c＝（（I_l）＋（I_c）＜＜1＋（I_r））＞＞2
であり得る。

図8Cで提示された場合では、フィルタリングは行われず、
I’_c＝（I_c）
である。

図8Dで提示された場合では、フィルタリング処理は、
I’_c＝（（I_l）＋（I_r）＋（I_c）＜＜2＋（I_t）＋（I_b））＞＞3
であり得る。

図9Aおよび図9Bは、フィルタリング処理のさらなる簡素化を示す。5つの位置および4つのフィルタリングの場合を確認するのではなく、マスク確認処理を、4つの位置および2つのフィルタリングの場合にまで減らすことができる。図9Aおよび図9Bでは、現画素位置に関して垂直面および水平面にある現画素位置に隣接する画素（すなわち、中央の現画素位置に関して左、右、上、および下の画素位置）の値のみを確認する。現中央画素位置は、確認条件において除外される。図9Aは、左、右、上、および下の画素位置が、同じマスク値を共有する場合を示している。図9Bは、左、右、上、および下の画素位置が、同じマスク値を共有していない場合を示している。

図9Aで提示された場合では、フィルタリングは行われず、
I’_c＝（I_c）
である。

図9Bで提示された場合では、フィルタリング処理は、
I’_c＝（（I_l）＋（I_r）＋（I_c）＜＜2＋（I_t）＋（I_b））＞＞3
であり得る。
具体的なフィルタリング処理を示したが、フィルタリング処理の一部として特定の係数を使うこと、および／または特定の強度値を使わないことを含み、フィルタリング処理を変化させてよい。フィルタリング処理は、任意の他の望ましい計算の中でも、平均、重み付き平均、およびメジアンフィルタリングなどの計算を含み得る。

表1は、HEVC用の共通実験条件（CTC）を用いた試験結果を示している。表1に示されているように、図9Aおよび図9Bのフィルタリング条件を用いて、BDビットレートの損失は生じなかった。

図10は、確認条件およびフィルタリング処理に対する代替的な技法を示す。フィルタリング条件確認に使われるマスクは、左、右、上、下、および中央の位置に限定されない。関係する垂直の面において、左および右の位置に隣接する位置（すなわち、現画素の左上、右上、左下、および右下）にあるマスクもまた、確認条件およびフィルタリング処理に使用できる。フィルタリング処理例は、以下のとおりであり得る。
I’_c＝（I_l＋I_r＋I_t＋I_b＋I_tl＋I_tr＋I_bl＋I_br＋（I_c＜＜3））＞＞4
各位置または位置の具体的な組み合わせにおける値により、フィルタリングを行うかどうか、そしてどのフィルタリング処理を適用するかを判定できる。

別の実施形態では、フィルタリング処理において、必要に応じて、フィルタ係数を適用できる。フィルタ係数を用いるフィルタリング処理例は、以下のとおりなどであり得る。
I’_c＝a₁（I_l）＋a₂（I_r）＋a₃（I_c）＋a₄（I_t）＋a₅（I_b）

a₁＝a₂＝a₃＝a₄＝a₅＝1／5の場合、フィルタをかけた画素値I’_cは、画素I_l、I_r、I_c、I_t、およびI_bの平均値となる。フィルタ係数として任意の実数を用いることができる。

別の実施形態では、境界標本の方向位置（例えば、左および下、上および右、上および左、または右および下）が選択されて、境界標本の確認条件を判定する。ただし、現中央画素位置は、分割領域のうちの1つにおいて分割されるほど安定していないため、現中央画素位置は、確認条件を判定する際に除外する。

別の実施形態では、2つの区画は、動き補償された後、デプスベースセグメンテーションマスクに基づいてこれらを平均化することによってマージされる。平均化の後、次いで、より良い再構成品質のために上で説明した任意の方式で2つの区画の境界にフィルタをかける。

別の実施形態では、境界フィルタリングに使われるフィルタは、平滑化／ローパスフィルタに限定されない。他のフィルタの中でも、メジアンフィルタおよびガウスフィルタなどの他のフィルタリング技法を用いてよい。

上で説明した様々な実施形態は、DBBPに適用できる確認条件およびフィルタリング処理の単なる例である。さらに、画素位置に関して確認条件およびフィルタリング処理を行う場合に2つ以上の実施形態を適用できることから、これらの実施形態は、互いに相反するものではない。

前項で説明したように、DBBPは、各分割されたセグメントに対して1つとして、2つの動き情報セットを符号化する必要がある。HEVCなどの最新の映像符号化器により、より精細な動き補償のために、符号化ツリーユニット（CTU）内で、長方形の、非正方形分割モードを使用できる。CTU内の区画のそれぞれに関して、別個の動き情報セットが符号化される。この符号化スキームは、デプスベースのブロック分割において再利用される。

図11は、本開示による、デプスベースのブロック分割を行う際の処理1100を示す。処理1100は、ブロック1102において開始し、映像画像ブロックは、前景オブジェクト領域と背景オブジェクト領域とに分割される。ブロック1104において、前景オブジェクト領域と背景オブジェクト領域とに対して動き補償が行われる。前景オブジェクト領域と背景オブジェクト領域とは、ブロック1106においてマージされる。マージ処理では、境界画素の強度値を場合により平均化できる。ブロック1108において、前景オブジェクト領域と背景オブジェクト領域との境界にある各画素に関して、特定の画素の強度値を調整するためにフィルタ処理を行うべきかどうかの判定がなされる。上で説明した1つ以上の確認条件を用いて、フィルタリング処理を適用すべきかどうかを判定できる。フィルタリング処理を行うべきではない場合、ブロック1110において、画素の強度値は維持される。フィルタリングを行うべきである場合、ブロック1112において、フィルタパラメータおよびフィルタリング処理が選択される。次いで、ブロック1114において、フィルタ処理を特定の画素に適用して、強度値を取得する。

図12は、バイナリセグメンテーションマスクに関して重ね合わせたPUの形状を示す。各DBBPセグメントに関して最適な動き／視差情報を得た後、この情報を、上で説明したHEVCの利用可能な長方形の、非正方形の分割モードのうちの1つにマッピングする。6つの利用可能な2セグメント分割モードのうちの1つへのバイナリセグメンテーションマスクのマッピングが、相関分析によって行われる。利用可能な分割モードi∈［0，5］のそれぞれについて、2つのバイナリマスクm_2i（x，y）およびm_T2i＋1（x，y）が生成され、m_2i＋1（x，y）は、m_2i（x，y）の否定である。現デプスベースのセグメンテーションマスクM_D（x，y）に関して、最良のマッチングする分割モードi_optを見つけるために、以下のアルゴリズムが行われる。

ブール変数b_invは、得られたセグメンテーションマスクm_D（x，y）を反転すべきか否かを規定する。このことは、従来の分割スキームのインデクシングがセグメンテーションマスクにおけるインデクシングと相補的である一部の場合で必要となり得る。従来の分割モードでは、インデックス0は、現ブロックの左上角の区画を常に規定するが、セグメンテーションマスクにおける同じインデックスは、より低いデプス値（背景オブジェクト）でセグメントを規定する。m_D（x，y）とi_optとの間の対応する動き情報セットの位置を整合するには、b_invが設定されている場合、m_D（x，y）におけるインデックスを反転させる。

最良のマッチングする従来の分割モードを見つけた後、この最適なモードi_optにより、動き情報が格納および符号化される。高度動きベクトル予測（AMVP）または動きベクトルマージのための動きベクトル候補を得る場合、後続の符号化ユニット（CU）は、既に符号化された動き情報に従来方式でアクセスできる。

符号化シンタックスに単一のフラグを加えて、ブロックが予測にDBBPを使うことを復号化器に知らせる。当然の選択は、従来の分割モードのすべてについて、このフラグを送信することであろう。しかし、この手法は、DBBPを使用しないブロックに不要な符号化オーバーヘッドをもたらす。したがって、DBBP符号化されたブロックのための分割モードは、分割モードを符号化する前に、2NxNに設定される。その後、2NxNで分割されたブロックのためだけに、DBBPフラグをビットストリーム内に符号化する。すべての他の分割モードについては、DBBPフラグは、符号化されない。復号化器側で、DBBPフラグを復号化した後に、真の（従来の）分割が得られる。復号化器におけるすべてのさらなる処理ステップは、HEVCの基礎となる仕様におけるものと同じである。

図13は、本明細書に開示される1つ以上の実施形態を実施するのに適する簡素化した、汎用コンピューティングコンポーネント1300を示す。上で説明した、映像符号化器200および映像復号化器300のためのコンポーネントは、そこにかかる必要な作業負荷を扱うのに十分な処理能力、メモリリソース、およびネットワークスループット能力を有するコンピュータなどの任意の汎用コンピューティングコンポーネントまたはネットワークコンポーネント上に実装されてよい。コンピューティングコンポーネント1300は、補助記憶装置1304と、読み出し専用メモリ（ROM）1306と、ランダムアクセスメモリ（RAM）1308と、入出力（I／O）装置1310と、ネットワーク／コンポーネント接続装置1312とを含むメモリ装置と通信可能なプロセッサ1302（中央処理装置またはCPUと呼ばれることもある）を含む。プロセッサ1302は、1つ以上のCPUチップとして実装されてもよいし、1つ以上の特定用途向け集積回路（ASIC）の一部であってもよい。

補助記憶装置1304は、一般的に、1つ以上のディスクドライブまたはテープドライブを備え、データの不揮発性記憶用、かつRAM1308がすべての作業データを保持するのに十分に大きくない場合のオーバーフローデータの記憶装置として使用される。補助記憶装置1304は、そのようなプログラムが実行すべく選択された場合にRAM1308にロードされるプログラムを格納するために使うことができる。ROM1306は、プログラム実行の際に読み出される命令そしておそらくデータを格納するために使われる。ROM1306は、補助記憶装置1304のより大きいメモリ容量と比べてメモリ容量が一般的に小さい不揮発性メモリ装置である。RAM1308は、揮発性データを格納するために、そしておそらく命令を格納するために使われる。ROM1306とRAM1308との両方へのアクセスは、一般的に、補助記憶装置1304へのアクセスよりも速い。映像符号化器200および映像復号化器300内の各コンポーネントの機能に基づいて、追加的なプロセッサおよびメモリ装置を組み込んでもよい。

一部の実施形態では、装置のうちの1つ以上の機能または処理の一部またはすべては、コンピュータ可読プログラムコードから形成され、かつコンピュータ可読媒体に記録されたコンピュータプログラムによって実施またはサポートされる。「コード」の句は、ソースコード、オブジェクトコード、および実行可能コードを含む、任意のタイプのコンピュータコードを含む。「コンピュータ可読媒体」の句は、読み出し専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、ハードディスクドライブ、コンパクトディスク（CD）、デジタルビデオディスク（DVD）、または任意の他のタイプのメモリなど、コンピュータによってアクセスされ得る任意のタイプの媒体を含む。

本明細書を通して使用される特定の語および句の定義を説明すると有利であることもあろう。「含む（include）」および「備える（comprise）」の語ならびにその派生語は、限定することなく包含すること（inclusion without limitation）を意味する。「または（or）」の語は、包括的であり、および／またはを意味する。「と関連している（associated with）」および「それと関連している（associated therewith）」の句ならびにその派生語は、「含む（include）」、「に含まれる（be included within）」、「と相互接続する（interconnect with）」、「含む（contain）」、「に含まれる（be contained within）」、「と接続する（connect to or with）」、「と接続する（couple to or with）」、「と通信可能である（be communicable with）」、「と協力する（cooperate with）」、「交互に扱う（interleave）」、「並置する（juxtapose）」、「に隣接する（be proximate to）」、「と結合する（be bound to or with）」、「有する（have）」、「という特性を有する（have a property of）」などを意味する。

本開示は、特定の実施形態および一般的に関連する方法について説明してきたが、これらの実施形態および方法の変更および並べ替えは、当業者にとって明らかであり、かつ容易に認識し得るはずである。したがって、上記の実施形態例の説明は、本開示を規定または制限するものではない。以下の特許請求の範囲によって定義される本開示の範囲から逸脱することなしに、他の変更、置き換え、および変更もまた可能である。

200 映像符号化器
202 映像データメモリ
204 モード選択部
206 復号ピクチャバッファ
208 加算器
210 変換処理部
212 量子化部
214 エントロピー符号化部
220 動き補償部
222 動き推定部
224 イントラ予測部
226 分割部
230 逆量子化部
232 逆変換部
234 加算器
240 デブロッキングフィルタ
300 映像復号化器
302 映像データメモリ
304 エントロピー復号化部
306 動き補償部
308 イントラ予測部
310 逆量子化部
312 逆変換部
314 復号ピクチャバッファ
316 加算器
1100 処理
1102 ブロック
1104 ブロック
1106 ブロック
1108 ブロック
1110 ブロック
1112 ブロック
1114 ブロック
1300 コンピューティングコンポーネント
1302 プロセッサ
1304 補助記憶装置
1306 読み出し専用メモリ、ROM
1308 ランダムアクセスメモリ、RAM
1310 入出力（I／O）装置
1312 ネットワーク／コンポーネント接続装置

本開示は、一般的に、高効率映像符号化技法に関し、より詳細には、高効率映像符号化（HEVC，High Efficiency Video Coding）においてデプスベースのブロック分割を提供するための方法および装置に関する。

現行の3D HEVC標準規格のデプスベースのブロック分割（DBBP，Depth Based Block Partitioning）では、同一位置のテクスチャブロックに関する任意の形状のブロック分割は、対応するデプスブロックによって計算されるバイナリセグメンテーションマスクから得られる。2つの区画は、動き補償された後、デプスベースのバイナリセグメンテーションマスクに基づいてこれらを平均化することによってマージされる。次いで、フィルタリング処理が適用される。現在、マージした区画に不要なフィルタリング処理が適用されている。

高効率映像符号化（HEVC，High Efficiency Video Coding）において実施される四分木符号化構造を示す図である。デプスデータ符号化のための技法を実装し得る映像符号化器の例を示すブロック図である。デプスデータ符号化のための技法を実装し得る映像復号化器の例を示すブロック図である。符号化ユニットのコンポーネントブロックを拡大した状態で、バイナリセグメンテーションマスクの生成を描く、テストシーケンスを示す図である。バイナリセグメンテーションマスクで作成された2つの区画のマージ機能を示す図である。分割境界にある特定の画素のための平均化フィルタリング技法を示す図である。 2つの区画の境界画素に対して行われる簡素なフィルタリング技法を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。境界画素に対するフィルタリング処理の適用に関して確認され得る4つのフィルタリング条件を示す図である。図8Aから図8Dの条件確認のさらなる簡素化を示す図である。図8Aから図8Dの条件確認のさらなる簡素化を示す図である。図9Aおよび図9Bの条件確認簡素化技法に対する代替策を示す図である。デプスベースのブロック分割を行うための処理を示す図である。バイナリセグメンテーションマスクに関して重ね合わせた予測ユニットの形状を示す図である。デプスベースのブロック分割を行うのに好適な簡素化した汎用コンピューティングコンポーネントを示す図である。

一般的に、本開示は、HEVC標準規格に基づく様々なデプス符号化モードを用いる、三次元（3D，Three-dimensional）映像データのデプスデータを符号化および復号化するための技法に関する。撮像された、3D映像データのビュー（例えば、テクスチャ）は、テクスチャデータのデプスデータを記述する、対応するデプスマップと関連付けられている。3D-HEVC処理などの3D映像符号化処理に従って、テクスチャビューおよびデプスマップは、3D映像ビットストリームへと符号化および多重化され得る。

図1は、高効率映像符号化（HEVC）において実施される四分木符号化構造を示す。HEVC標準規格は、高度に柔軟な四分木符号化構造を採用しており、映像ピクチャまたはフレームは、輝度（Y）標本と色差（Cb、Cr）標本とを含む符号化ツリーユニット（CTU，Coding Tree Units）のシーケンスに分けられる。CTUサイズは、符号化器において64x64、32x32、および16x16から選択でき、シーケンスパラメータセット（SPS）において指定できる。CTUは、符号化ツリーの根として用いられ、四分木の各葉は、符号化ユニット（CU，Coding Unit）と呼ばれる。したがって、1つのCTUは、複数のCUへと分割でき、各CUは、イントラ符号化またはインター符号化のいずれか1つの符号化カテゴリを指定する。CUは、予測のための基本的な情報を運ぶ1つ、2つ、または4つの予測ユニット（PU，Prediction Units）へとさらに分割される。効率的な予測のため、HEVCは、2つのイントラPU形状と8つのインターPU形状とを規定して可変サイズPUをサポートする。イントラPUは、2Nx2NおよびNxNの形状を有し得る。インターPU形状は、2つの正方形形状2Nx2NおよびNxN、2つの長方形形状2NxNおよびNx2N、ならびにそれぞれ上、下、左、および右の位置に、4つの非対称形状2NxnU、2NxnD、nLx2N、およびnRx2Nを含む。各CUの残差ブロックは、サイズが4×4から32×32までの範囲である変換ユニット（TU）から作られる残差四分木（RQT，Residual Quadtree）と通常呼ばれる四分木構造で変換され得る。TUは、予測画像と実際の画像との間の残差を符号化するための、空間的なブロック変換および量子化のための係数を含む。

符号化器は、網羅的に計算することによって、最良の符号化ツリー構造、PU細分割、およびRQT構成を選択する。候補となる各構成の圧縮効率を評価するために、符号化器は、J＝D＋λRで表されるラグランジュ未定乗数最適化手法を利用し、ここで、Jは、ラグランジュのレート歪（RD）コスト関数であり、Dは、元の標本に対する再構成された標本の2乗誤差和で得られる歪であり、Rは、エントロピー符号化のビットレートであり、λは、ラグランジュ形式においてRとDとをつなぐラグランジュ乗数である。RDコストの最小化処理は、レート歪最適化（RDO，Rate-distortion optimization）として知られ、これにより、ビットレートと歪との折り合いがつき、圧縮効率と画質との間の妥協点に至る。

一般的に、HEVC符号化器は、フレームを、格納または送信可能な圧縮映像ビットストリームへと圧縮する。符号化処理は、単一のピクチャまたはフレームを、複数のCUへとさらに分割できる複数のCTUへと分割することによって開始する。フレーム内のピクチャを分割したならば、CUをPUへとさらに分割する予測処理が開始する。HEVC符号化器は、2つのタイプの予測、すなわち、イントラ予測およびインター予測を使う。イントラ予測は、隣接する画像データから、すなわち、同じピクチャフレームからPUを予測する。インター予測は、動き補償予測を用いて、現表示の前または後に見られるピクチャ、すなわち、ストリーム内の他のピクチャフレーム内の画像データから参照されるPUを予測する。離散コサイン変換（DCT，Discrete Cosine Transform）を用いて、予測後に残っているあらゆるデータをブロックに入れる。元のブロックとその予測との間の差は、線形空間変換によって変換される。HEVC符号化器は、これらのブロックを各CUの残りのデータに適用する。最後に、符号化されたビットストリームは、エントロピー符号化として知られる処理を介してコンテキスト適応型2値算術符号化（CABAC，Context Adaptive Binary Arithmetic Coding）をさらに用いて符号化される。これは、HEVC符号化器が変換データをその別個のコンポーネント、すなわち、動きベクトル、予測モード、分割情報、および他のヘッダデータへと構成および圧縮する最後のステップである。スケーリングされ、量子化され、エントロピー符号化されると、変換係数は、が予測情報と一緒に送信される。この時点で、映像は圧縮されており、格納できる。

映像符号化器200は、映像データメモリ202と、モード選択部204と、復号ピクチャバッファ（DPB， Decoded Picture Buffer）206と、加算器208と、変換処理部210と、量子化部212と、エントロピー符号化部214とを含み得る。モード選択部204には、動き補償部220と、動き推定部222と、イントラ予測部224と、分割部226とが含まれる。映像ブロック再構成のために、映像符号化器200はまた、逆量子化部230と、逆変換部232と、加算器234とを含む。デブロッキングフィルタ240もまた含まれて、ブロック境界にフィルタをかけ、再構成した映像からブロックノイズアーティファクトを除去する。必要に応じて、デブロッキングフィルタ240は、一般的に、加算器234の出力にフィルタをかける。デブロッキングフィルタに加えて、付加的なフィルタ（ループ内またはループ後）もまた使用できる。そのようなフィルタは、（ループ内フィルタとして）加算器208の出力にフィルタをかけることができる。フィルタ例として、適応ループフィルタ、サンプルアダプティブオフセット（SAO， Sample Adaptive Offset）フィルタ、または他のタイプのフィルタを挙げることができる。

映像符号化器200は、符号化する映像フレーム内の現映像ブロックを受信する。映像データメモリ202は、映像符号化器200のコンポーネントが符号化する映像データを格納し得る。映像データメモリ202に格納される映像データは、例えば映像ソースから、取得され得る。復号ピクチャバッファ206は、例えばイントラ符号化モードまたはインター符号化モードにおいて、映像符号化器200によって映像データを符号化する際に使うために参照映像データを格納する参照ピクチャメモリであり得る。映像データメモリ202と復号ピクチャバッファ206とは、シンクロナスDRAM（SDRAM）、磁気抵抗RAM（MRAM）、抵抗変化型RAM（RRAM（登録商標））、または他のタイプのメモリ装置を含むダイナミックランダムアクセスメモリ（DRAM，Dynamic Random Access Memory）などの様々なメモリ装置のうちのいずれかによって形成されてよい。映像データメモリ202と復号ピクチャバッファ206とは、同じメモリ装置によって提供されてもよいし、別個のメモリ装置によって提供されてもよい。様々な例では、映像データメモリ202は、映像符号化器200の他のコンポーネントと共にオンチップであってもよいし、これらのコンポーネントに対してオフチップであってもよい。

加えて、イントラ予測部224は、デプスマップのデプスブロックを符号化するように構成され得る。例えば、イントラ予測部224は、基礎となる（2D）HEVC標準規格、領域境界チェーン符号化モード（CCM，Chain Coding Mode）、簡素化またはセグメント単位のデプス符号化モード（SDC，Simplified or Segment-wise Depth Coding mode）、またはデプスモデリングモード（DMM，Depth Modeling Mode）からイントラ予測モードを使って、デプススライスのイントラ予測されたPUを符号化することができる。一部の例では、動き推定部222と動き補償部220とはまた、デプスマップのデプスブロックを符号化するように構成され得る。動き推定部222と動き補償部220とは、基礎となる（2D）HEVC標準規格またはインターSDCモードに従って、インター予測を行って、デプススライスのインター予測されたPUを符号化することができる。

量子化の後、エントロピー符号化部214は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化部214は、コンテキスト適応型2値算術符号化（CABAC，Context Adaptive Binary Arithmetic Coding）またはコンテキスト適応型可変長符号化（CAVLC，Context Adaptive Variable Length Coding）、シンタックスベースコンテキスト適応型2値算術符号化（SBAC, Syntax-based context-adaptive Binary Arithmetic Coding）、または確率区間分割エントロピー（PIPE, Probability Interval Partitioning Entropy）符号化などの他のエントロピー符号化処理を行うことができる。コンテキストベースエントロピー符号化の場合、コンテキストは、隣接するブロックに基づき得る。エントロピー符号化部214によるエントロピー符号化の後、符号化されたビットストリームは、別の装置（例えば、映像復号化器300）に送信されてもよいし、後で送信または検索するためにアーカイブされてもよい。

本開示で説明される技法によれば、映像符号化器200は、3D映像符号化処理で利用可能なデプスイントラ符号化モードを用いて、3D映像データのためのデプスデータを符号化するように構成できる。一例では、映像符号化器200は、デプスモデリングテーブルにおける、3D映像データのためのデプスデータを符号化するために使われるデプスイントラ符号化モードをシグナリングする。デプスモデリングテーブルは、HEVCイントラ符号化モードのためのシンタックスとは別に、追加的なデプスイントラ符号化モードのためのシンタックスをシグナリングする。加えて、映像符号化器200は、フラグなどのシンタックス要素をシグナリングして、HEVCイントラ符号化モードとは異なるデプスイントラ符号化モードのうちのいずれかが3D映像データのために有効化されているかどうかを示す。一部の例では、シンタックス要素は、デプスイントラ符号化モードのすべてが3D映像データのために有効化されているかどうかを示し得る。シンタックス要素は、映像データの映像パラメータセット（VPS, Video Parameter Set）、シーケンスパラメータセット（SPS, Sequence Parameter Set）、またはピクチャパラメータセット（PPS, Picture Parameter Set）のうちの1つに含まれ得る。デプスイントラ符号化モードが有効である場合、映像符号化器200がシグナリングしたフラグは、映像復号化器300に、デプスモデリングテーブルを復号化して、デプスデータを符号化するために使われるデプスイントラ符号化モードのうちの1つを判定するように指示する。デプスモデリングテーブルは、映像データの符号化ユニット（CU, Coding Unit）レベルまたは予測ユニット（PU, Prediction Unit）レベルのうちの1つにおいて符号化され得る。本開示の技法によれば、映像符号化器200のシグナリングは、HEVCイントラ符号化モードとは別に、デプスモデリングテーブルのデプスイントラ符号化モードをシグナリングし、デプスイントラ符号化モードが有効である場合に、デプスモデリングテーブルを復号化するように指示することによって、復号化器が負荷を解析することを減らすことができる。

図3は、デプスデータ符号化のための技法を実装し得る映像復号化器300の例を示すブロック図である。映像復号化器300は、映像データメモリ302と、エントロピー復号化部304と、動き補償部306と、イントラ予測部308と、逆量子化部310と、逆変換部312と、復号ピクチャバッファ（DPB, Decoded Picture Buffer）314と、加算器316とを含む。映像復号化器300は、本明細書で提供される3D-HEVCにおけるデプスマップの簡素化した符号化モードシグナリングのための技法を行うように構成され得る装置を表す。

映像データメモリ302は、映像復号化器300のコンポーネントが復号化する、符号化された映像ビットストリームなどの映像データを格納し得る。映像データメモリ302に格納された映像データは、例えばコンピュータ可読媒体から、例えばカメラなどのローカルの映像ソースから、映像データの有線もしくは無線ネットワーク通信を介して、または物理的なデータ記憶媒体にアクセスすることによって取得できる。映像データメモリ302は、符号化された映像ビットストリームからの符号化映像データを格納する符号化ピクチャバッファ（CPB, Coded Picture Buffer）を形成し得る。復号ピクチャバッファ314は、例えばイントラ符号化モードまたはインター符号化モードによって、映像復号化器300によって映像データを復号化する際に使うために参照映像データを格納する参照ピクチャメモリであり得る。映像データメモリ302と復号ピクチャバッファ314とは、シンクロナスDRAM（SDRAM）、磁気抵抗RAM（MRAM）、抵抗変化型RAM（RRAM）、または他のタイプのメモリ装置を含むダイナミックランダムアクセスメモリ（DRAM）などの様々なメモリ装置のうちのいずれかによって形成されてよい。映像データメモリ302と復号ピクチャバッファ314とは、同じメモリ装置によって提供されてもよいし、別個のメモリ装置によって提供されてもよい。様々な例では、映像データメモリ302は、映像復号化器300の他のコンポーネントと共にオンチップであってもよいし、これらのコンポーネントに対してオフチップであってもよい。

映像スライスがイントラ符号化（I）スライスとして符号化される場合、イントラ予測部308は、現フレームまたはピクチャの先に復号化されたブロックからシグナリングされたイントラ符号化モードおよびデータに基づいて、現映像スライスの映像ブロックに関する予測データを生成できる。イントラ予測部308はまた、デプスデータをイントラ符号化できる。例えば、イントラ予測部308は、基礎となる（2D）HEVC標準規格、領域境界チェーン符号化モード（CCM, Chain Coding Mode）、簡素化デプス符号化またはセグメント単位のDC符号化（SDC, Segment-wise DC Coding）モード、またはデプスモデリングモード（DMM, Depth Modeling Mode）からイントラ予測モードを使って、デプススライスのイントラ予測されたPUを符号化することができる。

動き補償部220と306とは、ブロックを別個の区画に分割するデプスベースのブロック分割（DBBP, Depth Based Block Partitioning）を行うことができる。同一位置のテクスチャブロックに関する任意の形状のブロック分割は、同一位置の（仮想）デプスマップから計算されるバイナリセグメンテーションマスクに基づいて得られる。2つの区画のそれぞれは、動き補償され、その後、デプスベースセグメンテーションマスクに基づいてマージされる。DBBP処理の最終ステップは、区画の境界にある画素にフィルタをかけることである。前景および背景オブジェクト領域へと分割されるとして本明細書で説明したが、テクスチャブロックは、バイナリセグメンテーションマスクによって決められた任意の所望の方式で分割されてよい。

初期ステップでは、テクスチャコンポーネントの現符号化ツリーブロック（CTB, Coded Tree Block）の同一位置のデプスブロックは、2つの任意の形状セグメントへと分割される。デプスコンポーネントは、現共通実験条件（CTC, Common Test Configuration）では、対応するテクスチャビューの後で符号化されるため、仮想デプスマップは、基礎となるビューの再構成されたデプスから得られ、視差ベクトルによってシフトされる。視差ベクトルは、同じ時間インスタンスの既に符号化されたピクチャにおける現CU／PUの対応するブロックを特定するために使われる。視差ベクトルは、初め、CUの視差補償予測で符号化された隣接ブロックの空間および時間の動きベクトルから、またはCUの動き補償予測で符号化された隣接ブロックに関連付けられている視差ベクトルから得られる。次いで、視差ベクトルは、基礎となるビューのデプスマップから取得される。視差ベクトルは、既に符号化されたデプスビューにおけるデプスブロックを識別し、得られる視差ベクトルの精度をさらに高めるための後方ワーピングを行うために利用される。得られた視差ベクトルは、デプス指向隣接ブロックベースの視差ベクトル（DoNBDV, Depth oriented neighboring Block Based Disparity Vector）として知られる。

最良のマッチングする従来の分割モードを見つけた後、この最適なモードi_optにより、動き情報が格納および符号化される。高度動きベクトル予測（AMVP, Advanced Motion Vector Prediction）または動きベクトルマージのための動きベクトル候補を得る場合、後続の符号化ユニット（CU）は、既に符号化された動き情報に従来方式でアクセスできる。

Claims

高効率映像符号化においてデプスベースのブロック分割のためのブロック分割境界フィルタリングを提供するための方法であって、
現テクスチャブロックに対応するデプスブロックに基づいてバイナリマスクを取得するステップであって、前記バイナリマスクは、テクスチャブロック分割に使われる、ステップと、
前記バイナリマスクに従って、前記現テクスチャブロックを分割するステップと、
前記現テクスチャブロック内の異なる区画の間のブロック分割境界にある特定の画素に関して垂直面および水平面にある前記バイナリマスクの隣接する画素の値を確認するステップと、
画素処理を行って、前記隣接する画素の前記値に従って、前記特定の画素にフィルタをかける、ステップと、
前記画素処理に従って、前記特定の画素の値を更新するステップと、
を含む、方法。
前記ブロック分割境界において前記特定の画素に対して行われた前記画素処理は、
前記特定の画素に関して垂直面および水平面にある前記バイナリマスクの前記隣接する画素の前記値に基づいて、前記特定の画素にフィルタをかけるかどうかを判定するステップ
を含む、請求項1に記載の方法。
前記特定の画素にフィルタをかけるかどうかを判定する、前記ステップが、
前記特定の画素に関して垂直面および水平面にある各隣接する画素が同じ値を有する場合、前記特定の画素にフィルタをかけないステップと、
前記特定の画素に関して前記垂直面および水平面にある任意の隣接する画素が前記特定の画素に関して前記垂直面および水平面にある任意の他の隣接する画素とは異なる値を有する場合、前記特定の画素にフィルタをかけるステップと、
をさらに含む、請求項2に記載の方法。
前記特定の画素に関して前記垂直面および水平面にある各隣接する画素が同じ値を有する場合、前記特定の画素の値が、その現在の値に留まる、請求項1に記載の方法。
前記特定の画素の値が、各隣接する画素の値に基づいて調整される、請求項1に記載の方法。
前記特定の画素にフィルタをかけるかどうか判定する、前記ステップにおいて、前記特定の画素の左と右との画素に隣接する垂直面にある画素を用いるステップ
をさらに含む、請求項2に記載の方法。
前記特定の画素にフィルタをかけるかどうか判定する、前記ステップにおいて、前記特定の画素の上と下との画素に隣接する水平面にある画素を用いるステップ
をさらに含む、請求項2に記載の方法。
前記特定の画素の前記値を調整するために行われた前記画素処理は、平均、重み付き平均、およびメジアンフィルタリングの計算のうちの少なくとも1つを含む、請求項1に記載の方法。
高効率映像符号化においてデプスベースのブロック分割のためのブロック分割境界フィルタリングを提供するための装置であって、
データと命令とを格納するように構成されるメモリと、
プロセッサであって、前記命令を実行する際に、
現テクスチャブロックに対応するデプスブロックに基づいてバイナリマスクを取得し、前記バイナリマスクは、テクスチャブロック分割に使われ、
前記バイナリマスクに従って、前記現テクスチャブロックを分割し、
前記現テクスチャブロック内の異なる区画の間のブロック分割境界にある特定の画素に関して垂直面および水平面にある前記バイナリマスクの隣接する画素の値を確認し、
画素処理を行って、前記隣接する画素の前記値に従って、前記特定の画素にフィルタをかけ、
前記画素処理に従って、前記特定の画素の値を更新する
ように構成されるプロセッサと、
を備える、装置。
前記ブロック分割境界において前記特定の画素に対して行われた前記画素処理は、
前記特定の画素に関して垂直面および水平面にある前記バイナリマスクの前記隣接する画素の前記値に基づいて、前記特定の画素にフィルタをかけるかどうかを判定するステップ
を含む、請求項9に記載の装置。
前記特定の画素にフィルタをかけるかどうかを判定する、前記ステップが、
前記特定の画素に関して垂直面および水平面にある各隣接する画素が同じ値を有する場合、前記特定の画素にフィルタをかけないステップと、
前記特定の画素に関して前記垂直面および水平面にある任意の隣接する画素が前記特定の画素に関して前記垂直面および水平面にある任意の他の隣接する画素とは異なる値を有する場合、前記特定の画素にフィルタをかけるステップと、
をさらに含む、請求項10に記載の装置。
前記特定の画素に関して前記垂直面および水平面にある各隣接する画素が同じ値を有する場合、前記特定の画素の値が、その現在の値に留まる、請求項9に記載の装置。
前記特定の画素の値が、各隣接する画素の値に基づいて調整される、請求項9に記載の装置。
前記プロセッサが、
前記特定の画素にフィルタをかけるかどうか判定する、前記ステップにおいて、前記特定の画素の左と右との画素に隣接する垂直面にある画素を用いる
ようにさらに構成される、請求項10に記載の装置。
前記プロセッサが、
前記特定の画素にフィルタをかけるかどうか判定する、前記ステップにおいて、前記特定の画素の上と下との画素に隣接する水平面にある画素を用いる
ようにさらに構成される、請求項10に記載の装置。
前記特定の画素の前記値を調整するために行われた前記画素処理は、平均、重み付き平均、およびメジアンフィルタリングの計算のうちの少なくとも1つを含む、請求項1に記載の装置。
高効率映像符号化においてデプスベースのブロック分割のためのブロック分割境界フィルタリングを提供するためのコードを含む非一時的コンピュータ可読媒体であって、前記コードが、実行時に、
現テクスチャブロックに対応するデプスブロックに基づいてバイナリマスクを取得し、前記バイナリマスクは、テクスチャブロック分割に使われ、
前記バイナリマスクに従って、前記現テクスチャブロックを分割し、
前記現テクスチャブロック内の異なる区画の間のブロック分割境界にある特定の画素に関して垂直面および水平面にある前記バイナリマスクの隣接する画素の値を確認して、前記特定の画素に関して垂直面および水平面にある前記バイナリマスクの前記隣接する画素の前記値に基づいて、前記特定の画素にフィルタをかけるかどうかを判定し、
画素処理を行って、前記隣接する画素の前記値に従って、前記特定の画素にフィルタをかけ、
前記画素処理に従って、前記特定の画素の値を更新する
ように動作可能である、非一時的コンピュータ可読媒体。
前記特定の画素に関して前記垂直面および水平面にある各隣接する画素が同じ値を有する場合、前記特定の画素の値が、その現在の値に留まり、
前記特定の画素に関して前記垂直面および水平面にある任意の隣接する画素が任意の他の隣接する画素と異なる値を有する場合、前記特定の画素の値を調整する、請求項17に記載の非一時的コンピュータ可読媒体。
前記特定の画素にフィルタをかけるかどうか判定する、前記ステップにおいて、前記特定の画素の左と右との画素に隣接する垂直面にある画素を用いる、請求項17に記載の非一時的コンピュータ可読媒体。
前記特定の画素の前記値を調整するために行われた前記画素処理は、平均、重み付き平均、およびメジアンフィルタリングの計算のうちの少なくとも1つを含む、請求項17に記載の非一時的コンピュータ可読媒体。