JP2014534734A - イントラ予測ビデオコーディングにおける非正方形変換 - Google Patents

Abstract

本開示では、イントラコード化ブロックで非正方形変換区分を可能にするビデオ符号化プロセスにおいて変換区分を決定するための技法について説明する。本開示の一例によれば、ビデオ符号化方法は、コーディングユニットを複数の予測ユニットに区分することと、予測ユニットの各々の変換区分を決定することであって、少なくとも１つの変換区分が非正方形区分であることとを備える。

Description

関連出願
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１１年１０月２７日に出願された米国仮出願第６１／５５２，３２７号の利益を主張する。

本開示は、ビデオコーディングに関し、より詳細には、ビデオデータをコーディングするときにイントラ予測を実行するための技法に関する。

デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送信、受信および記憶するための、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）によって定義された規格、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装(implement)する。

ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および／または時間的予測を含む。ブロックベースのビデオコーディングの場合、ビデオフレームまたはスライスはブロックに区分され得る。各ブロックはさらに区分され得る。イントラコード化（Ｉ）フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。インターコード化（ＰまたはＢ）フレームまたはスライス中のブロックは、同じフレームまたはスライス中の隣接ブロック中の参照サンプルに対する空間的予測、あるいは他の参照フレーム中の参照サンプルに対する時間的予測を使用し得る。空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。

インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初は２次元アレイに構成される量子化された変換係数は、エントロピーコーディングのための変換係数の１次元ベクトルを生成するために、特定の順序で走査され得る。

概して、本開示では、ビデオデータをコーディングするための技法について説明する。本開示では、非正方形変換区分を可能にするビデオ符号化プロセスにおいて変換区分を選択するための技法について説明する。

本開示の一例によれば、ビデオ符号化方法は、コーディングユニットを複数の予測ユニットに区分することであって、コーディングユニットがイントラ予測(intra-prediction)を使用して符号化されることと、予測ユニットの各々の変換区分を決定することであって、少なくとも１つの変換区分が非正方形区分であることとを含む。一例では、複数の予測ユニットの各々は同じ変換区分を有する。別の例では、複数の予測ユニットの各々の変換区分は別々に決定される。一例では、シンタックス要素(syntax elements)は、区分のタイプ（たとえば、正方形または非正方形）と、非正方形区分の場合に区分の方向（たとえば、垂直方向または水平方向）とを示すためにシグナリングされる。

本開示の別の例によれば、ビデオ復号方法は、コーディングユニットを複数の予測ユニットに区分することであって、コーディングユニットがイントラ予測を使用して符号化されることと、予測ユニットの各々の変換区分を決定することであって、少なくとも１つの変換区分が非正方形区分であることとを含む。一例では、複数の予測ユニットの各々は同じ変換区分を有する。別の例では、複数の予測ユニットの各々の変換区分は別々に決定される。一例では、シンタックス要素は、区分のタイプ（たとえば、正方形または非正方形）と、非正方形区分の場合に区分の方向（たとえば、垂直方向または水平方向）とを示すために符号化ビデオビットストリームで受信される。

本開示ではまた、開示した方法を実行するように構成された装置、デバイス、およびコンピュータ可読記憶媒体について説明する。

１つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。

例示的なビデオ符号化および復号システムを示すブロック図。 例示的なイントラ予測モード方向を示す概念図。 イントラ予測のための例示的な予測ユニットの概念図。 例示的な４分木ブロック構造の概念図。 イントラ予測されたブロックの例示的な正方形変換ユニット区分の概念図。 イントラ予測されたブロックの例示的な非正方形変換区分の概念図。 Ｎ×Ｎ予測ユニットの例示的な非正方形変換区分の概念図。 Ｎ×Ｎ予測ユニットの別の例示的な非正方形変換区分の概念図。 変換区分のさらなる分割の一例の概念図。 変換区分のさらなる分割の別の例の概念図。 変換区分のさらなる分割の別の例の概念図。 例示的なビデオエンコーダを示すブロック図。 例示的なビデオデコーダを示すブロック図。 本開示の技法による例示的なビデオ符号化方法を示すフローチャート。 本開示の技法による例示的なビデオ復号方法を示すフローチャート。

概して、本開示では、ビデオデータをコーディングするための技法について説明する。いくつかの例では、本開示では、非正方形変換区分を可能にするビデオコーディングプロセスにおいて変換区分(transform partitions)を選択するための技法について説明する。本開示の技法は、イントラ予測ビデオコーディング(intra-prediction video coding)において非正方形変換区分を選択し使用し、したがって、コーディング圧縮および／またはビデオ品質を改善するためのさらなる機会を与える、より柔軟な手法を可能にする。 図１は、本開示の例によるイントラ予測コーディング(intra-prediction coding)のための技法を利用するように構成され得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、通信チャネル１６を介して符号化ビデオを宛先デバイス１４に送信するソースデバイス１２を含む。符号化ビデオデータはまた、記憶媒体３４またはファイルサーバ３６に記憶され得、必要に応じて宛先デバイス１４によってアクセスされ得る。記憶媒体またはファイルサーバに記憶されたとき、ビデオエンコーダ２０は、コード化ビデオデータを記憶媒体に記憶するための、ネットワークインターフェース、コンパクトディスク（ＣＤ）、ブルーレイ（登録商標）またはデジタルビデオディスク（ＤＶＤ）バーナーまたはスタンピングファシリティデバイス、あるいは他のデバイスなど、別のデバイスにコード化ビデオデータを与え得る。同様に、ネットワークインターフェース、ＣＤまたはＤＶＤリーダーなど、ビデオデコーダ３０とは別個のデバイスが、記憶媒体からコード化ビデオデータを取り出し、取り出されたデータをビデオデコーダ３０に与え得る。

ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆるスマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソールなどを含む、多種多様なデバイスのいずれかを備え得る。多くの場合、そのようなデバイスはワイヤレス通信用に装備され得る。したがって、通信チャネル１６は、符号化ビデオデータの送信に好適なワイヤレスチャネル、ワイヤードチャネル、またはワイヤレスチャネルとワイヤードチャネルとの組合せを備え得る。同様に、ファイルサーバ３６は、インターネット接続を含む任意の標準的なデータ接続を通じて宛先デバイス１４によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または両方の組合せを含み得る。

本開示の例による、イントラ予測コーディングのための技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、変調器／復調器２２と、送信機２４とを含む。ソースデバイス１２において、ビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／または、ソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例、あるいは符号化ビデオデータがローカルディスクに記憶された適用例に適用され得る。

キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、ワイヤレス通信プロトコルなどの通信規格に従ってモデム２２によって変調され、送信機２４を介して宛先デバイス１４に送信され得る。モデム２２は、信号変調のために設計された様々なミキサ、フィルタ、増幅器または他の構成要素を含み得る。送信機２４は、増幅器、フィルタ、および１つまたは複数のアンテナを含む、データを送信するために設計された回路を含み得る。

ビデオエンコーダ２０によって符号化された、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオはまた、後で消費するために記憶媒体３４またはファイルサーバ３６に記憶され得る。記憶媒体３４は、ブルーレイディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、または符号化ビデオを記憶するための任意の他の好適なデジタル記憶媒体を含み得る。記憶媒体３４に記憶された符号化ビデオは、次いで、復号および再生のために宛先デバイス１４によってアクセスされ得る。

ファイルサーバ３６は、符号化ビデオを記憶すること、およびその符号化ビデオを宛先デバイス１４に送信することが可能な、任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、ローカルディスクドライブ、または、符号化ビデオデータを記憶すること、および符号化ビデオデータを宛先デバイスに送信することが可能な任意の他のタイプのデバイスを含む。ファイルサーバ３６からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。ファイルサーバ３６は、インターネット接続を含む任意の標準的なデータ接続を通じて宛先デバイス１４によってアクセスされ得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデム、イーサネット（登録商標）、ＵＳＢなど）、または両方の組合せを含み得る。

宛先デバイス１４は、図１の例では、受信機２６と、モデム２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。宛先デバイス１４の受信機２６はチャネル１６を介して情報を受信し、モデム２８はその情報を復調して、ビデオデコーダ３０のための復調されたビットストリームを生成する。チャネル１６を介して通信される情報は、ビデオデータを復号する際にビデオデコーダ３０が使用する、ビデオエンコーダ２０によって生成された様々なシンタックス情報を含み得る。そのようなシンタックスはまた、記憶媒体３４またはファイルサーバ３６に記憶される符号化ビデオデータとともに含まれ得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、ビデオデータを符号化または復号することが可能であるそれぞれのエンコーダデコーダ（コーデック）の一部を形成し得る。

ディスプレイデバイス３２は、宛先デバイス１４と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は、復号ビデオデータ(decoded video data)をユーザに対して表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

図１の例では、通信チャネル１６は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。通信チャネル１６は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成することができる。通信チャネル１６は、概して、ワイヤード媒体またはワイヤレス媒体の任意の好適な組合せを含む、ビデオデータをソースデバイス１２から宛先デバイス１４に送信するための任意の好適な通信媒体、または様々な通信媒体の集合体を表す。通信チャネル１６は、ソースデバイス１２から宛先デバイス１４への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格およびＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）などのビデオ圧縮規格に従って動作し得る。以下でＨＥＶＣ ＷＤ８と呼ぶ、ＨＥＶＣの最近の最新のワーキングドラフト（ＷＤ）は、２０１２年９月２４日現在のｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓｔｏｃｋｈｏｌｍ／ｗｇ１１／ＪＣＴＶＣ−Ｊ１００３−ｖ８．ｚｉｐから入手可能である。ビデオエンコーダ２０およびビデオデコーダ３０は、ＨＥＶＣテストモデル（ＨＭ：HEVC Test Model）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。他の例にはＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。

図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

ビデオエンコーダ２０は、ビデオ符号化プロセスにおけるイントラ予測コーディングのための本開示の技法のいずれかまたはすべてを実装し得る。同様に、ビデオデコーダ３０は、ビデオコーディングプロセスにおけるイントラ予測コーディングのためのこれらの技法のいずれかまたはすべてを実装し得る。本開示で説明するビデオコーダは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオコーディングユニットは、ビデオエンコーダまたはビデオデコーダを指し得る。同様に、ビデオコーディングはビデオ符号化またはビデオ復号を指し得る。

本開示の技法によれば、ビデオエンコーダ２０は、コーディングユニット(coding unit)を複数の予測ユニットに区分することであって、コーディングユニットがイントラ予測(intra-prediction)を使用して符号化されることと、予測ユニットの各々の変換区分を決定することであって、予測ユニットの変換区分のうちの少なくとも１つが非正方形区分(non-square partition)であることとを行うように構成され得る。

同様に、本開示の技法によれば、ビデオデコーダ３０は、コーディングユニットを複数の予測ユニットに区分することであって、コーディングユニットがイントラ予測を使用して符号化されることと、予測ユニットの各々の変換区分を決定することであって、予測ユニットの変換区分のうちの少なくとも１つが非正方形区分であることとを行うように構成され得る。ビデオデコーダ３０は、変換タイプを示す第１のシンタックス要素を受信することであって、変換タイプが正方形変換区分(square transform partition)および非正方形変換区分(non-square transform partition)のうちの少なくとも１つから選択されることと、第１のシンタックス要素が非正方形変換タイプ(non-square transform type)を示す場合、非正方形変換タイプを有する各変換区分の変換方向を示す第２のシンタックス要素を受信することであって、変換方向が水平方向に配向した方向および垂直方向に配向した方向のうちの少なくとも１つから選択されることと、コーディングユニットを複数の予測ユニットに区分することであって、コーディングユニットがイントラ予測を使用して符号化されることと、受信した第１および第２のシンタックス要素に従って予測ユニットの各々の変換区分を決定することとを行うようにさらに構成され得る。

図１のビデオ符号化および復号システム１０などのデジタルビデオデバイスは、ビデオ圧縮技法を実施して、デジタルビデオ情報をより効率的に符号化し、復号する。ビデオ圧縮は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（フレーム内）予測および／または時間的（フレーム間）予測技法を適用し得る。

典型的なビデオエンコーダは、元のビデオシーケンスの各フレームを、「ブロック」または「コーディングユニット」と呼ばれる連続矩形領域に区分する。これらのブロックは、「イントラモード」（Ｉモード、または概してイントラ予測）で、または「インターモード」（Ｐモード、Ｂモード、または概してインター予測）で符号化される。

ＰモードおよびＢモードの場合、エンコーダは最初に、Ｆ_refによって示される「参照フレーム」中で符号化されるものに類似した１つまたは複数のブロックを探索する。探索は、概して、符号化されるべきブロックからのある空間変位のみになるように制限される。最良の一致、または「予測」が識別されたとき、それは２次元（２Ｄ）動きベクトル（Δｘ，Δｙ）の形態で表され、Δｘは水平変位であり、Δｙは垂直変位である。動きベクトルは参照フレームとともに使用されて、次のように予測ブロックＦ_predを構成する。

フレーム内のピクセルの位置は（ｘ，ｙ）によって示される。Ｉモードで符号化されたブロックの場合、予測ブロックは、同じフレーム内の前に符号化された隣接ブロックからの空間的予測を使用して形成される。

ＩモードとＰモードまたはＢモードの両方の場合、予測誤差、すなわち、符号化されているブロック中および予測ブロック中のピクセル値間の差分は、離散コサイン変換（ＤＣＴ）などの何らかの離散変換の重み付けされた基底関数のセットとして表される。変換は、４×４、８×８または１６×１６およびそれ以上などの様々なサイズのブロックに基づいて実行され得る。いくつかの状況では（たとえば、インターコーディングでは）、変換ブロックの形状は必ずしも正方形ではない。矩形形状の変換ブロックはまた、たとえば、１６×４、３２×８などの変換ブロックサイズで使用され得る。

重み（すなわち、変換係数）はその後量子化される。量子化は情報の損失をもたらし、したがって、量子化係数は、元の変換係数よりも低い精度を有する。

量子化された変換係数および動きベクトルは、「シンタックス要素」の例である。一部の制御情報に加えて、これらのシンタックス要素は、ビデオシーケンスのコード化表現を形成する。シンタックス要素はまた、エントロピーコード化され、それによって、その表現に必要なビット数をさらに低減し得る。エントロピーコーディングは、送信または記憶されたシンボル（我々のケースでは、シンタックス要素）を表すのに必要なビット数を、それらの分布の性質（いくつかのシンボルは他のシンボルよりも頻繁に生じる）を利用することによって最小限に抑えることを目的としたロスレス演算である。

デコーダでは、現在のフレーム中のブロックは、最初にエンコーダの場合と同様の方法でそれの予測を構成し、予測誤差を予測に追加することによって得られる。予測誤差は、量子化係数を使用して変換基底関数を重み付けすることによって発見される。再構成されたフレームと元のフレームとの間の差分は、再構成誤差と呼ばれる。

圧縮比、すなわち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用される量子化パラメータ（ＱＰ）の値を調整することによって制御され得る。圧縮比はまた、採用されるエントロピーコーディングの方法に依存し得る。

新生のＨＥＶＣ規格に従うビデオコーディングの場合、ビデオフレームはコーディングユニットに区分され得る。コーディングユニット（ＣＵ）は、概して、ビデオ圧縮のために様々なコーディングツールが適用される基本ユニットとして働く画像領域を指す。ＣＵは通常、時としてＹとして示されるルミナンス成分と、時としてＵおよびＶとして示される２つのクロマ成分とを有する。ビデオサンプリングフォーマットに応じて、Ｕ成分およびＶ成分のサイズは、サンプル数に関して、Ｙ成分のサイズと同じであるか、またはＹ成分のサイズとは異なっていてもよい。ＣＵは、一般に正方形であり、たとえば、ＩＴＵ−Ｔ Ｈ．２６４などの他のビデオコーディング規格の下でのいわゆるマクロブロックと同様であると見なされ得る。本出願では、例示のために、開発中のＨＥＶＣ規格の現在提案されている態様のいくつかに従うコーディングについて説明する。ただし、本開示で説明する技法は、Ｈ．２６４または他の規格に従って定義されるビデオコーディングプロセスあるいはプロプライエタリビデオコーディングプロセスなど、他のビデオコーディングプロセスのために有用であり得る。

ＨＥＶＣの規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスのモデルに基づく。ＨＭは、たとえば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣによるデバイスに勝るビデオコーディングデバイスのいくつかの能力を仮定する。たとえば、Ｈ．２６４は９つのイントラ予測符号化モードを与えるが、ＨＭは３５個ものイントラ予測符号化モードを与える。

ＨＥＶＣにおける３５個のイントラ予測モードは、１つのＤＣモードと、１つの平面モードと、３３個の異なる方向予測モードとを含む。方向予測モードを用いて、そのモードによって示されるある方向に沿った隣接ブロックの再構成されたピクセルに基づいて予測が実行される。異なる予測モードに関連する方向を図２に示す。

ＨＭによれば、ＣＵは、１つまたは複数の予測ユニット（ＰＵ）および／または１つまたは複数の変換ユニット（ＴＵ）を含み得る。ビットストリーム内のシンタックスデータは、ピクセルの数に関して最大ＣＵである最大コーディングユニット（ＬＣＵ）を定義し得る。概して、ＣＵは、ＣＵがサイズの差異を有しないことを除いて、Ｈ．２６４のマクロブロックと同様の目的を有する。したがって、ＣＵはサブＣＵに分割され得る。概して、本開示におけるＣＵへの言及は、ピクチャの最大コーディングユニットまたはＬＣＵのサブＣＵを指すことがある。ＬＣＵはサブＣＵに分割され得、各サブＣＵはさらにサブＣＵに分割され得る。ビットストリームのシンタックスデータは、ＣＵ深さと呼ばれる、ＬＣＵが分割され得る最大回数を定義し得る。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ）も定義し得る。本開示ではまた、ＣＵ、ＰＵ、またはＴＵのいずれかを指すために「ブロック」、「区分」または「部分」という用語を使用する。概して、「部分」は、ビデオフレームの任意のサブセットを指し得る。

ＬＣＵは４分木データ構造(quadtree data structure)に関連付けられ得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはＬＣＵに対応する。ＣＵが４つのサブＣＵに分割される場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。たとえば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義されてよく、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵがさらに分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しなくても、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。たとえば、１６×１６サイズのＣＵがさらに分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。

リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部または一部分を表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。たとえば、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルがポイントする参照フレーム、および／または動きベクトルの参照リスト（たとえば、リスト０もしくはリスト１）を記述し得る。（１つまたは複数の）ＰＵを定義するリーフＣＵのデータはまた、たとえば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵがコーディングされないか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかに応じて異なり得る。イントラコーディングの場合、ＰＵは、以下で説明するリーフ変換ユニットと同じように扱われ得る。

新生のＨＥＶＣ規格は、ＣＵごとに異なり得る変換ユニット（ＴＵ）に従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般にＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。

概して、ＰＵは、予測プロセスに関係するデータを指す。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵの動きベクトルを定義するデータを含み得る。

概して、ＴＵは、変換プロセスと量子化プロセスとのために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数の変換ユニット（ＴＵ）も含み得る。予測に続いて、ビデオエンコーダ２０は、ＰＵに従ってコーディングノードによって識別されたビデオブロックから残差値を計算し得る。コーディングノードは、次いで、元のビデオブロックではなく残差値を参照するように更新される。残差値はピクセル差分値を備え、ピクセル差分値は、エントロピーコーディングのためのシリアル化変換係数（serialized transform coefficient）を生成するためにＴＵ中で指定された変換と他の変換情報とを使用して変換係数に変換され、量子化され、走査され得る。コーディングノードはこれらのシリアル化変換係数を指すようにもう一度更新され得る。本開示は、一般に、ＣＵのコーディングノードを指す「ビデオブロック」という用語を使用する。いくつかの特定の場合において、本開示は、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを指す「ビデオブロック」という用語も使用し得る。

ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはＣＵ内のコーディングノードに対応し得る。ビデオブロックは、サイズを固定することも変更することもでき、指定のコーディング規格に応じてサイズが異なることがある。

図３に示すように、サイズ２Ｎ×２Ｎのイントラ予測されたＣＵの場合、ＨＥＶＣの１つの提案において指定された２つのＰＵ区分タイプ、すなわち、２Ｎ×２Ｎ ＰＵ区分１９とＮ×Ｎ ＰＵ区分２１とがある。ＨＥＶＣの１つの提案では、Ｎ×Ｎは最小のＣＵレベルでのみ許容される。しかしながら、本開示の技法は任意のサイズのＮ×Ｎ ＰＵ区分に適用され得る。２Ｎ×２Ｎ ＰＵ区分は、ＣＵと同じサイズであるＰＵをもたらす。Ｎ×Ｎ ＰＵ区分の場合、ＣＵは４つのＮ×Ｎ ＰＵを有し、Ｎ×Ｎ ＰＵの各々は関連するＣＵのサイズの４分の１である。４つのＰＵの各々はそれ独自のイントラ予測モード方向を有し得る。

ＨＥＶＣは４分木変換ユニット区分構造を可能にする。図４に示すように、たとえば、外側ブロック２３はＣＵまたはＬＣＵ２３である。ＨＥＶＣの１つの提案では、ＬＣＵは６４×６４もの大きさであってもよいが、本開示の技法は任意のサイズのＣＵまたはＬＣＵに適用可能である。外側ブロック２３の内部ブロックは４分木構造による変換ブロック（たとえば、ＴＵ）分解の結果を表す。もちろん、そのような結果は多くの可能な分解のうちの１つにすぎない。分解は、コーディングユニットのあるエリアに適用される変換のサイズを示す。実際、分解はＣＵ内のＴＵのサイズを示す。

図４の例では、３つのレベルの変換ブロック分解がある。レベル１分解により、ブロック全体が４つの４分の１サイズの変換ブロック、２５Ａ、２５Ｂ、２５Ｃおよび２５Ｄに分割される。次いで、レベル２分解では、レベル１の４分の１サイズの変換ブロック２５Ｄは、４つの１６の１サイズの変換ブロック、２７Ａ、２７Ｂ、２７Ｃおよび２７Ｄにさらに分割される。次いで、レベル３分解では、変換ブロック２７Ｄは４つのより一層小さい（６４分の１サイズの）変換ブロックにさらに分割される。レベル０における変換ブロックは、ＣＵ全体がさらなる分割なしに一緒に変換されることを意味する。この場合、ＴＵは同じサイズのＣＵを有する。実際には、ＴＵがさらに分割されるかどうかはレートひずみ最適化に基づいて決定される。

２Ｎ×２Ｎ ＰＵの場合、ＨＥＶＣの１つの提案によれば、正方形のＴＵのみが許容される。加えて、イントラ予測されるブロックに対して、ＴＵは常にＰＵと整合される。すなわち、イントラ予測されるブロック中のＴＵは、そのブロック中のＰＵと同じサイズおよび形状を有する。正方形ＴＵの例を図５に示す。ブロック２９は４つの４分の１サイズのＰＵ／ＴＵに区分される。ブロック３１では、右上の４分の１サイズのＰＵ／ＴＵは、元のブロックサイズの１６分の１のサイズを有する４つのより小さいＰＵ／ＴＵにさらに区分される。ＨＥＶＣの提案に基づいて、ブロック２９および３１の各々が別々に予測され、変換され、再構成される。変換ブロック（すなわち、ＴＵ）サイズは予測ブロック（すなわち、ＰＵ）サイズと同じである。

より最近では、２Ｎ×２Ｎ ＰＵ／ＴＵ（すなわち、４分木分解のレベル０）とともに使用する非正方形変換の使用が提案されている。非正方形変換のいくつかの例を図６に示す。ブロック３３は垂直方向に配向した変換区分を示し、ブロック３５は水平方向に配向した変換区分を示す。ブロック３３の区分は時としてｈＮ×２Ｎ区分と呼ばれる。この文脈では、ｈは「半分（half）」を指す。したがって、ｈＮ×２Ｎ区分の幅（すなわち、ｈＮ）はその区分の高さ（すなわち、２Ｎ）の４分の１の長さである。同様に、ブロック３５の区分は時として２Ｎ×ｈＮ区分と呼ばれる。したがって、２Ｎ×ｈＮ区分の高さ（すなわち、ｈＮ）はその区分の幅（すなわち、２Ｎ）の４分の１の長さである。各場合において、ＴＵ区分は矩形形状を有する。非正方形変換は短距離イントラ予測（ＳＤＩＰ：short distance intra-prediction）と呼ばれる技法で使用され得る。ＳＤＩＰは、（図６に示すＴＵ区分に類似した）非正方形ＰＵ区分を利用して、イントラ予測技法を適用する。

本開示で提案されるように、非正方形変換の使用は、レベル１を含む、４分木構造の他のレベルに拡張される。したがって、ビデオエンコーダ（たとえば、ビデオエンコーダ２０）はレベル１のＮ×Ｎ変換区分（すなわち、正方形変換）と非正方形レベル１のＳＤＩＰ変換区分とから選択し得る。やはり、非正方形変換区分はｈＮ×２Ｎ（たとえば、図６のブロック３３）区分と２Ｎ×ｈＮ（たとえば、図６のブロック３５）区分とを含み得る。本開示全体にわたって、変換区分および変換ユニットという用語は互換的に使用される。具体的には、変換区分という用語は、得られる変換ユニットと、コーディングユニットまたは予測ユニットの変換ユニットへの分割の両方に適用され得る。加えて、ブロックまたはサブブロック(sub-block)という用語は、コーディングユニット、予測ユニット、変換区分、または変換ユニットのいずれかを指すために使用され得る。具体的には、サブブロックという用語は、変換区分がさらにサブ分割されたときに得られる変換ユニットを指すために使用され得る。

変換区分の選択をシグナリングするために使用されるシンタックスは次の通りである。

ＮＳ＿Ｆｌａｇ：このフラグはＮ×Ｎ変換区分が選択されるかどうかを示す。たとえば、ＮＳ＿Ｆｌａｇ＝０の場合、Ｎ×Ｎ変換が選択されることを意味し、ＮＳ＿Ｆｌａｇ＝１の場合、非正方形（たとえば、ｈＮ×２Ｎまたは２Ｎ×ｈＮ）変換が選択されることを意味する。

ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇ：このフラグはどの非正方形変換が選択されているかを指す。たとえば、ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇ＝０の場合、垂直方向に配向された変換（ｈＮ×２Ｎ）が選択されることを意味し、ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇ＝１の場合、水平方向に配向された変換（２Ｎ×ｈＮ）が選択されることを意味する。

上記で説明したように、非正方形変換区分は２Ｎ×２Ｎ ＣＵの４分木構造のレベル１で適用され得る。本開示では、非正方形変換区分をＮ×Ｎ ＰＵ／ＴＵ区分に適用するためのおよび／または非正方形変換区分の使用を４分木構造の他のレベルに拡張するための方法および技法についてさらに説明する。

本開示の一例では、ＮＳ＿ＦｌａｇおよびＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇはＣＵレベルでシグナリング(signaling)される。これは、Ｎ×Ｎ ＰＵ区分の場合、ＣＵ中のすべての４つのＰＵがＮＳ＿ＦｌａｇおよびＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇの同じ値を共有することを意味する。したがって、ＰＵの各々に対するＴＵは同じである。例を図７に示す。ＣＵ３７は４つのＮ×Ｎ ＰＵに分割される。ＣＵレベルでは、ＮＳ＿Ｆｌａｇ＝１およびＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇ＝１である。この場合、ＣＵ３７のすべての４つのＮ×Ｎ ＰＵは同じ非正方形変換（すなわち、水平方向に配向された２Ｎ×ｈＮ変換区分）を有する。ＣＵ３９も４つのＮ×Ｎ ＰＵに分割される。ＣＵレベルでは、ＣＵ３９の場合、ＮＳ＿Ｆｌａｇ＝１およびＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇ＝０である。この場合、ＣＵ３９のすべての４つのＮ×Ｎ ＰＵは同じ非正方形変換（すなわち、垂直方向に配向されたｈＮ×２Ｎ変換区分）を有する。

図７の例では、ＣＵ内のＰＵのサイズおよび形状はＴＵのサイズおよび形状と異なっていてもよい。他の例では、ＰＵはまた、ＳＤＩＰに使用される非正方形ＰＵ区分などの非正方形形状を有し得る。

本開示の別の例では、ＮＳ＿ＦｌａｇおよびＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇはＮ×Ｎ ＰＵ区分ごとに別々にシグナリングされる。これは、各ＰＵがそれ独自のＮＳ＿ＦｌａｇとＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇとに関連付けられることを意味する。したがって、各ＰＵは異なる変換区分を有し得る。一例を図８に示す。ＣＵ４１は４つのＮ×Ｎ ＰＵ（左上がＰＵ０であり、右上がＰＵ１であり、左下がＰＵ２であり、右下がＰＵ３である）に分割される。この例では、ＰＵ０の場合、ＮＳ＿Ｆｌａｇ＝１であり、ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＝０である。したがって、垂直方向に配向されたｈＮ×２Ｎ非正方形変換区分が使用される。ＰＵ１の場合、ＮＳ＿Ｆｌａｇ＝０である。したがって、正方形変換区分が使用される。ＰＵ２の場合、ＮＳ＿Ｆｌａｇ＝１であり、ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＝１である。したがって、水平方向に配向された２Ｎ×ｈＮ非正方形変換区分が使用される。同様に、ＰＵ３の場合、ＮＳ＿Ｆｌａｇ＝１であり、ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＝１である。したがって、水平方向に配向された２Ｎ×ｈＮ非正方形変換区分が使用される。

本開示の別の例では、さらに非正方形変換を４分木構造のレベル１に適用するために、図７および図８に示すように、非正方形変換が４分木構造分解の他のレベル（たとえば、レベル２、レベル３など）で適用される。一例として、４つのＮ×Ｎ ＰＵを有するＣＵの場合を考える。図９に示すように、第１のＮ×Ｎ ＰＵ（たとえば、ＮＳ＿Ｆｌａｇ＝１、ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＝０を有する図８のＰＵ０）は最初に、４つの垂直方向に配向された、サイズ（１／４Ｎ）×Ｎの非正方形変換サブブロック４３Ａ、４３Ｂ、４３Ｃおよび４３Ｄに分割され得る。各サブブロックについて、サブブロックがさらに分割されるかどうかを示すために（１つまたは複数の）追加のフラグがシグナリングされ得る。たとえば、このフラグが１である場合、（１／４Ｎ）×Ｎブロックがさらに分割される。

１つの具体的な例では、図９に示すように、垂直方向に配向されたサブブロック４３Ａは４つの（１／１６Ｎ）×Ｎ変換区分にさらに分割され得る。他の例では、サブブロック４３Ａは４つの（１／４Ｎ）×（１／４Ｎ）変換区分に分割されるか、または４つの（１／８Ｎ）×（１／２Ｎ）変換区分に分割され得る。図１０は、４つの（１／４Ｎ）×（１／４Ｎ）変換区分にさらに分割される、垂直方向に配向されたＴＵ区分の一例を示す。図１１は、４つの（１／８Ｎ）×（１／２Ｎ）変換区分にさらに分割される、垂直方向に配向されたＴＵ区分の一例を示す。

さらなる区分を示すために、追加のビットが区分（たとえば、ＰＵ０）レベルでシグナリングされる。一例として、ＮＳ＿ｆｌａｇ＿ＰＵＸおよびＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＿ＰＵＸが使用され得る。ＮＳ＿ｆｌａｇ＿ＰＵＸ＝０の場合、これは４つの（１／８Ｎ）×（１／２Ｎ）変換区分への分割を示す。ＮＳ＿ｆｌａｇ＿ＰＵＸ＝１の場合、ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＿ＰＵＸがさらにシグナリングされる。ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＿ＰＵＸ＝０は４つの（１／１６Ｎ）×Ｎ変換区分への分割を示す。ＮＳ＿ｄｉｒｅｃｔｉｏｎ＿ｆｌａｇ＿ＰＵＸ＝１は４つの（１／４Ｎ）×（１／４Ｎ）変換区分への分割を示す。

上記の例では、さらなる分割のための３つの可能な変換区分があり、したがって、オーバーヘッドビットが使用され得る（すなわち、２つのフラグが必要となる）。複数のフラグの使用を回避するために、本開示は、レベル１分解を超えたさらなる分割の場合に１つの変換区分タイプが許容される例示的な技法を提案する。たとえば、ｈＮ×２Ｎ変換区分のさらなる分割は、４つの（１／８Ｎ）×２Ｎ変換区分を生成することのみに限定される。別の例として、２Ｎ×ｈＮ変換区分のさらなる分割は、４つの２Ｎ×（１／８Ｎ）変換区分を生成することのみに限定される。別の例として、Ｎ×Ｎ変換区分のさらなる分割は、４つの１／４Ｎ×１／４Ｎ変換区分を生成することのみに限定される。区分および分割の他の組合せが使用され得ることを理解されたい。

イントラ予測されるブロックの非正方形変換の例示的な一実装形態では、非正方形変換を適用するかどうかはＣＵのサイズに依存する。サイズ２Ｎ×２Ｎを有するＣＵについて最小の許容された／利用可能な非正方形変換サイズがｈ×２Ｎおよび２Ｎ×ｈＮである例を考える。ビデオエンコーダ（たとえば、ビデオエンコーダ２０）はＮＳ＿ＦｌａｇとＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇとをシグナリングして、非正方形変換区分の選択を指定するように構成され得る。場合によっては、これはビットを浪費し得る。たとえば、ビデオエンコーダが４分木構造のレベル１におけるコーディングブロックである（変換ブロックはサイズＮ×Ｎである）と仮定する。したがって、ｈ×２Ｎまたは２Ｎ×ｈＮ変換区分はいずれもそのレベルにおけるブロックサイズに収まることができない。しかしながら、例示的な実装形態における決定はＣＵサイズに基づき、ＣＵサイズ２Ｎ×２Ｎは（１／２Ｎ）×２Ｎおよび２Ｎ×（１／２Ｎ）よりも大きいので、エンコーダは依然としてＮＳ＿ＦｌａｇとＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇとをシグナリングし、したがってビットを浪費し得る。

この潜在的な欠点を改善するために、本開示はＮＳ＿ＦｌａｇとＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇとをシグナリングするという決定が変換ブロックサイズに基づくことをさらに提案する。たとえば、変換ブロックサイズをＭ×Ｍとし、最小の非正方形変換サイズをＡ×ＢおよびＢ×Ａとする。Ｍ＜ｍａｘ（Ａ，Ｂ）の場合、非正方形変換区分をこの変換ブロックに適用することができず、したがって、エンコーダはＮＳ＿ＦｌａｇとＮＳ＿ｄｉｒｅｃｔｉｏｎ＿Ｆｌａｇとをシグナリングしない。そうでない場合、これらのシンタックス要素がシグナリングされる。

図１２は、本開示で説明するイントラ予測コーディングのための技法を使用し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０について、例示のためにＨＥＶＣコーディングのコンテキストにおいて説明するが、変換係数の走査を必要とし得る他のコーディング規格または方法に関して本開示を限定するものではない。ビデオエンコーダ２０は、ビデオフレーム内のＰＵのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレーム内のビデオデータの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの現在のフレームと前にコーディングされたフレームとの間の時間的冗長性を低減または除去するために時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースのビデオ圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースのビデオ圧縮モードのいずれかを指し得る。

図１２に示すように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図１２の例では、ビデオエンコーダ２０は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、参照フレームバッファ６４と、加算器５０と、変換ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図１２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理するであろう。

符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロック、たとえば、最大コーディングユニット（ＬＣＵ）に分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間圧縮を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対して受信したビデオブロックのインター予測コーディングを実行する。イントラ予測ユニット４６は、空間圧縮を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して受信したビデオブロックのイントラ予測コーディングを実行し得る。

モード選択ユニット４０は、たとえば、各モードについてのレートひずみ分析に基づいて、コーディングモードのうちの１つ、すなわち、イントラまたはインターを選択し得、得られたイントラまたはインター予測ブロック（たとえば、予測ユニット（ＰＵ））を、残差ブロックデータを生成するために加算器５０に与え、参照フレーム中で使用する符号化ブロックを再構成するために加算器６２に与える。加算器６２は、以下でより詳細に説明するように、予測ブロックを、そのブロックについての、逆変換ユニット６０からの逆量子化され逆変換されたデータと合成して、符号化ブロックを再構成する。いくつかのビデオフレームがＩフレームとして指定されることがあり、Ｉフレーム中のすべてのブロックはイントラ予測モードで符号化される。場合によっては、たとえば、動き推定ユニット４２によって実行された動き探索によって得られたブロックの予測が不十分であったとき、イントラ予測ユニット４６は、ＰフレームまたはＢフレーム中のブロックのイントラ予測符号化を実行し得る。

動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定（または動き探索）は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照フレームの参照サンプルに対する、現在のフレーム中の予測ユニットの変位を示し得る。動き推定ユニット４２は、予測ユニットを参照フレームバッファ６４に記憶された参照フレームの参照サンプルと比較することによって、インターコード化フレームの予測ユニットの動きベクトルを計算する。参照サンプルは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of squared difference）、または他の差分メトリックによって求められ得るピクセル差分に関して、コーディングされているＰＵを含むＣＵの部分とぴったり一致することがわかるブロックであり得る。参照サンプルは、参照フレームまたは参照スライス内のどこにでも発生する可能性があり、必ずしも、参照フレームまたはスライスのブロック（たとえば、コーディングユニット）境界において発生するとは限らない。いくつかの例では、参照サンプルは分数ピクセル位置において発生し得る。

動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。動きベクトルによって識別される参照フレームの部分は参照サンプルと呼ばれることがある。動き補償ユニット４４は、たとえば、ＰＵの動きベクトルによって識別される参照サンプルを取り出すことによって、現在のＣＵの予測ユニットについての予測値を計算し得る。

イントラ予測ユニット４６は、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測の代替として、受信したブロックに対してイントラ予測を実行し得る。イントラ予測ユニット４６は、隣接する、前にコーディングされたブロック、たとえば、ブロックについての左から右へ、上から下への符号化順序を仮定すると、現在のブロックの上、右上、左上、または左のブロックに対して、受信したブロックを予測し得る。イントラ予測ユニット４６は、様々なイントラ予測モードで構成され得る。たとえば、イントラ予測ユニット４６は、符号化されているＣＵのサイズに基づいて、一定数の方向予測モード、たとえば、３５個の方向予測モードで構成され得る。

イントラ予測ユニット４６は、たとえば、様々なイントラ予測モードの誤差値を計算し、最も低い誤差値を生じるモードを選択することによって、イントラ予測モードを選択し得る。方向予測モードは、空間的に隣接するピクセルの値を合成し、その合成された値をＰＵ中の１つまたは複数のピクセル位置に適用するための機能を含み得る。ＰＵ中のすべてのピクセル位置の値が計算されると、イントラ予測ユニット４６は、ＰＵと符号化されるべき受信したブロックとの間のピクセルの差分に基づいて、予測モードの誤差値を計算し得る。イントラ予測ユニット４６は、許容できる誤差値を生じるイントラ予測モードが発見されるまでイントラ予測モードをテストし続け得る。イントラ予測ユニット４６は、次いで、ＰＵを加算器５０に送り得る。

ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、動き補償ユニット４４またはイントラ予測ユニット４６によって計算された予測データを減算することによって残差ブロックを形成する。加算器５０は、この減算演算を実行する１つまたは複数の構成要素を表す。残差ブロックはピクセル差分値の２次元行列に対応してよく、残差ブロック中の値の数は、残差ブロックに対応するＰＵ中のピクセルの数と同じである。残差ブロック中の値は、ＰＵ中のコロケートピクセルの値と、コーディングされるべき元のブロック中のコロケートピクセルの値との間の差分、すなわち、誤差に対応し得る。差分は、コーディングされるブロックのタイプに応じてクロマ差分またはルーマ差分であり得る。

変換ユニット５２は、残差ブロックから１つまたは複数の変換ユニット（ＴＵ）を形成し得る。変換ユニット５２は、複数の変換の中から変換を選択する。変換は、ブロックサイズ、コーディングモードなど、１つまたは複数のコーディング特性に基づいて選択され得る。変換ユニット５２は、次いで、選択された変換をＴＵに適用して、変換係数の２次元アレイを備えるビデオブロックを生成する。変換ユニット５２は、本開示の上記で説明した技法に従って、イントラコード化ブロックの変換区分を選択し得る。変換ユニット５２、またはビデオエンコーダ２０の別のユニットは、選択された変換区分タイプおよび／または符号化ビデオビットストリーム中の方向をシグナリングし得る。

変換ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、次いで、その変換係数を量子化し得る。エントロピー符号化ユニット５６は、次いで、走査モードに従って、行列中の量子化された変換係数の走査を実行し得る。本開示は、エントロピー符号化ユニット５６が走査を実行するものとして説明する。ただし、他の例では、量子化ユニット５４などの他の処理ユニットが走査を実行することができることを理解されたい。

変換係数が１次元アレイに走査されると、エントロピー符号化ユニット５６は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＰＩＰＥ、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、または別のエントロピーコーディング方法などのエントロピーコーディングを係数に適用し得る。

ＣＡＶＬＣを実行するために、エントロピー符号化ユニット５６は、送信されるべきシンボルの可変長コードを選択し得る。ＶＬＣのコードワードは、相対的により短いコードがより可能性が高いシンボルに対応し、より長いコードがより可能性が低いシンボルに対応するように構築され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。

ＣＡＢＡＣを実行するために、エントロピー符号化ユニット５６は、送信されるべきシンボルを符号化するために、あるコンテキストに適用すべきコンテキストモデルを選択し得る。コンテキストは、たとえば、隣接値が非ゼロか否かに関係し得る。エントロピー符号化ユニット５６はまた、選択された変換を表す信号などのシンタックス要素をエントロピー符号化し得る。本開示の技法によれば、エントロピー符号化ユニット５６は、コンテキストモデル選択に使用される要因の中でも、たとえば、イントラ予測モードのためのイントラ予測方向、シンタックス要素に対応する係数の走査位置、ブロックタイプ、および／または変換タイプに基づいて、これらのシンタックス要素を符号化するために使用されるコンテキストモデルを選択し得る。

エントロピー符号化ユニット５６によるエントロピーコーディングの後に、得られた符号化ビデオは、ビデオデコーダ３０などの別のデバイスに送信されてよく、または、後で送信するかまたは取り出すためにアーカイブされてよい。場合によっては、エントロピー符号化ユニット５６またはビデオエンコーダ２０の別のユニットは、エントロピーコーディングに加えて他のコーディング機能を実行するように構成され得る。たとえば、エントロピー符号化ユニット５６は、ＣＵおよびＰＵのコード化ブロックパターン（ＣＢＰ）値を決定するように構成され得る。また、場合によっては、エントロピー符号化ユニット５６は、係数のランレングスコーディングを実行し得る。

逆量子化ユニット５８および逆変換ユニット６０は、それぞれ逆量子化(inverse quantization)および逆変換(inverse transformation)を適用して、たとえば参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照フレームバッファ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照フレームバッファ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

図１３は、符号化ビデオシーケンスを復号するビデオデコーダ３０の一例を示すブロック図である。図１３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、参照フレームバッファ８２と、加算器８０とを含む。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図１２参照）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。

エントロピー復号ユニット７０は、変換係数の１次元アレイを取り出すために、符号化ビットストリームに対してエントロピー復号プロセスを実行する。使用されるエントロピー復号プロセスは、ビデオエンコーダ２０によって使用されたエントロピーコーディング（たとえば、ＣＡＢＡＣ、ＣＡＶＬＣなど）に依存する。エンコーダによって使用されたエントロピーコーディングプロセスは、符号化ビットストリーム中でシグナリングされ得るか、または所定のプロセスであり得る。

いくつかの例では、エントロピー復号ユニット７０（または逆量子化ユニット７６）は、ビデオエンコーダ２０のエントロピー符号化ユニット５６（または量子化ユニット５４）によって使用された走査モードをミラーリングする走査を使用して、受信した値を走査し得る。係数の走査は逆量子化ユニット７６において実行され得るが、走査は、例示のために、エントロピー復号ユニット７０によって実行されるものとして説明される。さらに、説明しやすいように別個の機能ユニットとして示されているが、ビデオデコーダ３０のエントロピー復号ユニット７０、逆量子化ユニット７６、および他のユニットの構造および機能は互いに高度に統合され得る。

逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された、量子化された変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化プロセスは、たとえば、ＨＥＶＣのために提案されたプロセスまたはＨ．２６４復号規格によって定義されたプロセスと同様の、従来のプロセスを含み得る。逆量子化プロセスは、量子化の程度を判断し、同様に、適用されるべき逆量子化の程度を判断するための、ＣＵについてビデオエンコーダ２０によって計算される量子化パラメータＱＰの使用を含み得る。逆量子化ユニット７６は、係数が１次元アレイから２次元アレイに変換される前または変換された後に変換係数を逆量子化し得る。

逆変換ユニット７８は、逆量子化された変換係数に逆変換を適用する。いくつかの例では、逆変換ユニット７８は、ビデオエンコーダ２０からのシグナリングに基づいて、またはブロックサイズ、コーディングモードなどの１つまたは複数のコーディング特性から変換を推論することによって、逆変換を判断し得る。いくつかの例では、逆変換ユニット７８は、本開示の上記で説明した技法に従って、符号化ビデオビットストリームで受信されたシグナリングされた変換区分タイプに基づいて、現在のブロックに適用すべき変換を判断し得る。具体的には、正方形または非正方形区分タイプの使用を示すシンタックス要素、ならびに非正方形区分の区分方向を示すシンタックス要素は、イントラ予測されるブロックについて受信され得る。いくつかの例では、逆変換ユニット７８は、逆変換ユニット７８が、復号されている現在のブロックの変換係数に２つ以上の逆変換を適用する、カスケード逆変換を適用し得る。

イントラ予測ユニット７４は、シグナリングされたイントラ予測モードと、現在のフレームの前に復号されたブロックからのデータとに基づいて現在のフレームの現在のブロックについての予測データを生成し得る。

取り出された動き予測方向、参照フレームインデックス、および計算された現在の動きベクトルに基づいて、動き補償ユニットは現在の部分の動き補償ブロックを生成する。これらの動き補償ブロックは、本質的に、残差データを生成するために使用される予測ブロックを再現する。

動き補償ユニット７２は、動き補償ブロックを生成し、場合によっては、補間フィルタに基づいて補間を実行し得る。サブピクセル精度をもつ動き推定に使用されるべき補間フィルタの識別子は、シンタックス要素中に含まれ得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用される補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。動き補償ユニット７２は、受信したシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成し得る。

さらに、動き補償ユニット７２およびイントラ予測ユニット７４は、ＨＥＶＣの例では、（たとえば、４分木によって与えられる）シンタックス情報の一部を使用して、符号化ビデオシーケンスの（１つまたは複数の）フレームを符号化するために使用されるＬＣＵのサイズを判断し得る。動き補償ユニット７２およびイントラ予測ユニット７４はまた、シンタックス情報を使用して、符号化ビデオシーケンスのフレームの各ＣＵがどのように分割されるか（および、同様に、サブＣＵがどのように分割されるか）を記述する分割情報を決定し得る。シンタックス情報はまた、各分割がどのように符号化されるかを示すモード（たとえば、イントラまたはインター予測、およびイントラ予測の場合はイントラ予測符号化モード）と、各インター符号化ＰＵについての１つまたは複数の参照フレーム（および／またはそれらの参照フレームの識別子を含んでいる参照リスト）と、符号化ビデオシーケンスを復号するための他の情報とを含み得る。

加算器８０は、残差ブロックを、動き補償ユニット７２またはイントラ予測ユニット７４によって生成される対応する予測ブロックと合成して、復号ブロックを形成する。所望される場合、ブロッキネスアーティファクトを除去するために、デブロッキングフィルタを適用して復号ブロックをフィルタ処理することもある。復号ビデオブロックは、次いで、参照フレームバッファ８２に記憶され、参照フレームバッファ８２は、参照ブロックを後続の動き補償に与え、また、（図１のディスプレイデバイス３２などの）ディスプレイデバイス上での提示のために復号ビデオを生成する。

図１４は、本開示の技法による例示的なビデオ符号化方法を示すフローチャートである。図１４の方法は、ビデオエンコーダ２０の１つまたは複数の構成要素、ユニット、またはモジュールによって実行され得る。

ビデオエンコーダ２０は、本開示の技法に従ってビデオ符号化方法を実行するように構成され得る。一例では、ビデオエンコーダ２０は、コーディングユニットを複数の予測ユニットに区分することであって、コーディングユニットがイントラ予測を使用して符号化されること（１２０）と、予測ユニットの変換区分を決定することであって、変換区分のうちの少なくとも１つが非正方形区分であること（１２２）とを行うように構成され得る。このようにして、非正方形変換が４分木構造のレベル０よりも高いレベル（たとえば、レベル１）で適用される。たとえば、予測ユニットは４分木構造のレベル１にあり得る。

本開示の他の例では、区分すること（１２０）および決定すること（１２２）は４分木構造のより高いレベルで実行され得る。たとえば、ビデオエンコーダ２０は決定された変換区分に従って複数の予測ユニットのうちの１つまたは複数をサブブロックに区分し、サブブロックの各々のさらなる区分タイプを決定するようにさらに構成され得る。一例では、サブブロックは２またはそれ以上の４分木分解レベルにある。一例では、さらなる区分タイプは、複数の予測ユニットをサブブロックに区分するために使用される決定された変換区分に基づいて、決定される。別の例では、ビデオエンコーダ２０は、さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定するようにさらに構成され得る。別の例では、ビデオエンコーダ２０は、サブブロックの区分サイズに基づいて、サブブロックのさらなる区分タイプを決定するように構成され得る。

ビデオエンコーダ２０は、変換タイプを示す第１のシンタックス要素をシグナリングすることであって、変換タイプが正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されること（１２４）を行うようにさらに構成され得る。本開示の一例では、ビデオエンコーダ２０は、複数の予測ユニットの各々が同じ変換区分を有するように、コーディングユニットの変換区分を決定するように構成され得る。この場合、第１のシンタックス要素はコーディングユニットレベルでシグナリングされる。本開示の別の例では、ビデオエンコーダ２０は複数の予測ユニットの各々の変換区分を別々に決定するように構成され得る。この場合、第１のシンタックス要素は予測ユニットレベルでシグナリングされる。

ビデオエンコーダ２０は、第１のシンタックス要素が非正方形変換タイプを示す場合、非正方形変換タイプを有する各変換区分の変換方向を示す第２のシンタックス要素をシグナリングすることであって、変換方向が水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されること（１２６）を行うようにさらに構成され得る。ビデオエンコーダ２０は、変換を変換区分の各々に適用して、残差予測データ(residual prediction data)を符号化する（１２８）ようにさらに構成され得る。

図１５は、本開示の技法による例示的なビデオ復号方法を示すフローチャートである。図１５の方法は、ビデオエンコーダ３０の１つまたは複数の構成要素、ユニット、またはモジュールによって実行され得る。ビデオデコーダ３０による非正方形区分の使用は、ビデオエンコーダ（たとえば、ビデオエンコーダ２０）によって実行されたビットストリームシグナリングに応答したものであってもよく、またはビデオエンコーダによって用いられるルールに一致する所定のルールに基づいてもよい。

ビデオエンコーダ３０は、本開示の技法に従ってビデオ復号方法を実行するように構成され得る。一例では、ビデオデコーダ３０は、変換タイプを示す第１のシンタックス要素を受信することであって、変換タイプが正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されること（２２０）と、第１のシンタックス要素が非正方形変換タイプを示す場合、非正方形変換タイプを有する各変換区分の変換方向を示す第２のシンタックス要素を受信することであって、変換方向が水平方向に配向した方向および垂直方向に配向した方向のうちの少なくとも１つから選択されること（２２２）とを行うように構成され得る。ビデオデコーダ３０が非正方形区分の使用を、明示的なシグナリングによってではなく、暗黙的にまたは所定のルールによって決定するように構成される場合、受信するステップは任意選択であることに留意されたい。

暗黙的に（たとえば、ルールによって）または明示的に（たとえば、受信した第１および第２のシンタックス要素によって）にかかわらず、ビデオデコーダ３０は、コーディングユニットを複数の予測ユニットに区分することであって、コーディングユニットがイントラ予測を使用して符号化されること（２２４）と、予測ユニットの変換区分を決定することであって、変換区分のうちの少なくとも１つが非正方形区分であること（２２６）とを行うようにさらに構成され得る。

本開示の一例では、第１および第２のシンタックス要素はコーディングユニットレベルで受信される。したがって、ビデオデコーダ３０は、複数の予測ユニットの各々が同じ変換区分を有するように、コーディングユニットの変換区分を決定するように構成され得る。本開示の別の例では、第１および第２のシンタックス要素は予測ユニットレベルで受信される。したがって、ビデオデコーダ３０は複数の予測ユニットの各々の変換区分を別々に決定するように構成され得る。このようにして、非正方形変換が４分木構造のレベル０よりも高いレベル（たとえば、レベル１）で適用される。たとえば、予測ユニットは４分木構造のレベル１にあり得る。

本開示の他の例では、区分すること（２２４）および決定すること（２２６）は４分木構造のより高いレベルで実行され得る。たとえば、ビデオデコーダ３０は決定された変換区分に従って複数の予測ユニットのうちの１つまたは複数をサブブロックに区分し、サブブロックの各々のさらなる区分タイプを決定するようにさらに構成され得る。一例では、サブブロックは２またはそれ以上の４分木分解レベルにある。一例では、さらなる区分タイプは、複数の予測ユニットをサブブロックに区分するために使用される決定された変換区分に基づいて、決定される。別の例では、ビデオデコーダ３０は、さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定するようにさらに構成され得る。別の例では、ビデオデコーダ３０は、サブブロックの区分サイズに基づいて、サブブロックのさらなる区分タイプを決定するように構成され得る。

ビデオデコーダ３０は、逆変換を変換区分の各々に適用して、残差予測データを復号する（２２８）ようにさらに構成され得る。ビデオデコーダ３０は、イントラ予測を使用して残差予測データを復号して、復号ビデオデータを生成する（２３０）ようにさらに構成され得る。

１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー(登録商標）ディスク（disk）およびブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。

様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。

様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]
ビデオ符号化方法であって、当該方法は下記を具備する。
コーディングユニットを複数の予測ユニットに区分することと、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化され、
前記予測ユニットに関する変換区分を決定することと、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である。
[Ｃ２]
Ｃ１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記予測ユニットが４分木構造のレベル１にあることＣ。
[Ｃ３]
Ｃ１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記変換区分を決定することは、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定することＣ。
[Ｃ４]
Ｃ３に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記コーディングユニットに関する変換タイプを示す第１のシンタックス要素をシグナリングすることと、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択され、
前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素をシグナリングすることと、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されるＣ。
[Ｃ５]
Ｃ１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記変換区分を決定することは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定することＣ。
[Ｃ６]
Ｃ５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記複数の予測ユニットの各々の変換タイプを示す第１のシンタックス要素をシグナリングすることと、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択され、
前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有するそれぞれの変換区分について変換方向を示す第２のシンタックス要素をシグナリングすることと、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されるＣ。
[Ｃ７]
Ｃ１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記複数の予測ユニットのうちの前記１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
それぞれの前記サブブロックについてさらなる区分タイプを決定することと、
特定の予測ユニットが分離していることを示すため、第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記第１のシンタックス要素が前記サブブロックレベルでシグナリングされることＣ。
[Ｃ８]
Ｃ７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記サブブロックが２またはそれ以上の４分木分解レベルにあることＣ。
[Ｃ９]
Ｃ７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記第１のシンタックス要素がシグナリングされる場合、前記決定されたさらなる区分タイプを示す少なくとも第２のシンタックス要素をシグナリングすることＣ。
[Ｃ１０]
Ｃ７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定されることＣ。
[Ｃ１１]
Ｃ７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定すること
Ｃ。
[Ｃ１２]
Ｃ７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定されることＣ。
[Ｃ１３]
Ｃ１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
変換を前記変換区分の各々に適用して、残差予測データを符号化すること
Ｃ。
[Ｃ１４]
ビデオ復号化方法であって、当該方法は下記を具備する。
コーディングユニットを複数の予測ユニットに区分することと、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化され、
前記予測ユニットに関する変換区分を決定すること、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である。
[Ｃ１５]
Ｃ１４に記載のビデオ符号化方法であって、当該方法は下記を具備する。
変換タイプを示す第１のシンタックス要素を受信することと、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択され、
前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素を受信することと、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択され、
前記受信した第１および第２のシンタックス要素に従って、前記予測ユニットの前記変換区分を決定することＣ。
[Ｃ１６]
Ｃ１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記予測ユニットが４分木構造のレベル１にあることＣ。
[Ｃ１７]
Ｃ１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記第１および第２のシンタックス要素を前記コーディングユニットレベルで受信すること、ここにおいて、前記変換区分を決定することは、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定することＣ。
[Ｃ１８]
Ｃ１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記第１および第２のシンタックス要素を前記予測ユニットレベルで受信すること、ここにおいて、前記変換区分を決定することは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定するＣ。
[Ｃ１９]
Ｃ１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記複数の予測ユニットのうちの１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
特定の予測ユニットが分離していることを示す第３のシンタックス要素を受信することと、ここにおいて、前記第３のシンタックス要素が前記サブブロックレベルでシグナリングされ、
前記第３のシンタックス要素に基づいて、それぞれの前記サブブロックについてさらなる区分タイプを決定することＣ。
[Ｃ２０]
Ｃ１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記サブブロックが２またはそれ以上の４分木分解レベルにあることＣ。
[Ｃ２１]
Ｃ１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記第１のシンタックス要素が受信された場合、前記さらなる区分タイプを示す少なくとも第４のシンタックス要素を受信すること
Ｃ。
[Ｃ２２]
Ｃ１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定されることＣ。
[Ｃ２３]
Ｃ１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定すること
Ｃ。
[Ｃ２４]
Ｃ１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定されることＣ。
[Ｃ２５]
Ｃ１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
逆変換を前記変換区分の各々に適用して、残差予測データを復号化すること
Ｃ。
[Ｃ２６]
Ｃ２５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
イントラ予測を使用して前記残差予測データを復号化して、復号化ビデオデータを生成すること
Ｃ。
[Ｃ２７]
コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと、
を行うように構成されたビデオエンコーダ
を備えるビデオ符号化装置。
[Ｃ２８]
前記予測ユニットが４分木構造のレベル１にある、Ｃ２７に記載のビデオ符号化装置。
[Ｃ２９]
前記ビデオエンコーダが、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定するようにさらに構成される、Ｃ２７に記載のビデオ符号化装置。
[Ｃ３０]
前記ビデオエンコーダが、
前記コーディングユニットに関する変換タイプを示す第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されることと、
前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されることと
を行うようにさらに構成される、Ｃ２９に記載のビデオ符号化装置。
[Ｃ３１]
前記ビデオエンコーダは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定するようにさらに構成される、Ｃ２７に記載のビデオ符号化装置。
[Ｃ３２]
前記ビデオエンコーダが、
前記複数の予測ユニットの各々の変換タイプを示す第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されることと、
前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有するそれぞれの変換区分について変換方向を示す第２のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されることと
を行うようにさらに構成される、Ｃ３１に記載のビデオ符号化装置。
[Ｃ３３]
前記ビデオエンコーダが、
前記複数の予測ユニットのうちの前記１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
それぞれの前記サブブロックについてさらなる区分タイプを決定することと、
特定の予測ユニットが分離していることを示すため、第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記第１のシンタックス要素が前記サブブロックレベルでシグナリングされることと
を行うようにさらに構成される、Ｃ２７に記載のビデオ符号化装置。
[Ｃ３４]
前記サブブロックが２またはそれ以上の４分木分解レベルにある、Ｃ３３に記載のビデオ符号化装置。
[Ｃ３５]
前記ビデオエンコーダが、
前記第１のシンタックス要素がシグナリングされる場合、前記決定されたさらなる区分タイプを示す少なくとも第２のシンタックス要素をシグナリングする
ようにさらに構成される、Ｃ３３に記載のビデオ符号化装置。
[Ｃ３６]
前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定される、Ｃ３３に記載のビデオ符号化装置。
[Ｃ３７]
前記ビデオエンコーダが、
前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定する
ようにさらに構成される、Ｃ３３に記載のビデオ符号化装置。
[Ｃ３８]
前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定される、Ｃ３３に記載のビデオ符号化装置。
[Ｃ３９]
前記ビデオエンコーダが、
変換を前記変換区分の各々に適用して、残差予測データを符号化する
ようにさらに構成される、Ｃ２７に記載のビデオ符号化装置。
[Ｃ４０]
コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと
を行うように構成されたビデオデコーダ
を備えるビデオ復号化装置。
[Ｃ４１]
前記ビデオデコーダが、
変換タイプを示す第１のシンタックス要素を受信することであって、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されることと、
前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素を受信することであって、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されることと、
前記受信した第１および第２のシンタックス要素に従って、前記予測ユニットの前記変換区分を決定することと
を行うようにさらに構成される、Ｃ４０に記載のビデオ復号化装置。
[Ｃ４２]
前記予測ユニットが４分木構造のレベル１にある、Ｃ４１に記載のビデオ復号化装置。
[Ｃ４３]
前記ビデオデコーダが、
前記第１および第２のシンタックス要素を前記コーディングユニットレベルで受信するようにさらに構成され、ここにおいて、前記変換区分を決定することは、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定することを備える、
Ｃ４１に記載のビデオ復号化装置。
[Ｃ４４]
前記ビデオデコーダが、
前記第１および第２のシンタックス要素を前記予測ユニットレベルで受信するようにさらに構成され、前記変換区分を決定することは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定することを備える、
Ｃ４１に記載のビデオ復号化装置。
[Ｃ４５]
前記ビデオデコーダが、
前記複数の予測ユニットのうちの１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
特定の予測ユニットが分離していることを示す第３のシンタックス要素を受信することであって、ここにおいて、前記第３のシンタックス要素が前記サブブロックレベルでシグナリングされることと、
前記第３のシンタックス要素に基づいて、それぞれの前記サブブロックについてさらなる区分タイプを決定することと
を行うようにさらに構成される、Ｃ４１に記載のビデオ復号化装置。
[Ｃ４６]
前記サブブロックが２またはそれ以上の４分木分解レベルにある、Ｃ４５に記載のビデオ復号化装置。
[Ｃ４７]
前記ビデオデコーダが、
前記第１のシンタックス要素が受信された場合、前記さらなる区分タイプを示す少なくとも第４のシンタックス要素を受信する
ようにさらに構成される、Ｃ４５に記載のビデオ復号化装置。
[Ｃ４８]
前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定される、Ｃ４５に記載のビデオ復号化装置。
[Ｃ４９]
前記ビデオデコーダが、
前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定する
ようにさらに構成される、Ｃ４５に記載のビデオ復号化装置。
[Ｃ５０]
前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定される、Ｃ４５に記載のビデオ復号化装置。
[Ｃ５１]
前記ビデオデコーダが、
逆変換を前記変換区分の各々に適用して、残差予測データを復号化する
ようにさらに構成される、Ｃ４１に記載のビデオ復号化装置。
[Ｃ５２]
前記ビデオデコーダが、
イントラ予測を使用して前記残差予測データを復号化して、復号化ビデオデータを生成する
ようにさらに構成される、Ｃ５１に記載のビデオ復号化装置。
[Ｃ５３]
コーディングユニットを複数の予測ユニットに区分するための手段であって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化される、
前記予測ユニットに関する変換区分を決定するための手段であって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である、
を備える、ビデオ符号化装置。
[Ｃ５４]
コーディングユニットを複数の予測ユニットに区分するための手段であって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化される、
前記予測ユニットに関する変換区分を決定するための手段であって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である、
を備える、ビデオ復号化装置。
[Ｃ５５]
実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、
コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと
を行わせる命令を記憶するコンピュータ可読記憶媒体。
[Ｃ５６]
実行されたとき、ビデオデータを復号化するように構成されたデバイスの１つまたは複数のプロセッサに、
コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと
を行わせる命令を記憶するコンピュータ可読記憶媒体。

Claims (56)

1. ビデオ符号化方法であって、当該方法は下記を具備する。
   コーディングユニットを複数の予測ユニットに区分することと、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化され、
   前記予測ユニットに関する変換区分を決定することと、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である。
2. 請求項１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記予測ユニットが４分木構造のレベル１にあること。
3. 請求項１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記変換区分を決定することは、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定すること。
4. 請求項３に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記コーディングユニットに関する変換タイプを示す第１のシンタックス要素をシグナリングすることと、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択され、
   前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素をシグナリングすることと、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択される。
5. 請求項１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記変換区分を決定することは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定すること。
6. 請求項５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記複数の予測ユニットの各々の変換タイプを示す第１のシンタックス要素をシグナリングすることと、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択され、
   前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有するそれぞれの変換区分について変換方向を示す第２のシンタックス要素をシグナリングすることと、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択される。
7. 請求項１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記複数の予測ユニットのうちの前記１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
   それぞれの前記サブブロックについてさらなる区分タイプを決定することと、
   特定の予測ユニットが分離していることを示すため、第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記第１のシンタックス要素が前記サブブロックレベルでシグナリングされること。
8. 請求項７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記サブブロックが２またはそれ以上の４分木分解レベルにあること。
9. 請求項７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
   前記第１のシンタックス要素がシグナリングされる場合、前記決定されたさらなる区分タイプを示す少なくとも第２のシンタックス要素をシグナリングすること。
10. 請求項７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定されること。
11. 請求項７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定すること
    。
12. 請求項７に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定されること。
13. 請求項１に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    変換を前記変換区分の各々に適用して、残差予測データを符号化すること
    。
14. ビデオ復号化方法であって、当該方法は下記を具備する。
    コーディングユニットを複数の予測ユニットに区分することと、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化され、
    前記予測ユニットに関する変換区分を決定すること、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である。
15. 請求項１４に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    変換タイプを示す第１のシンタックス要素を受信することと、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択され、
    前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素を受信することと、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択され、
    前記受信した第１および第２のシンタックス要素に従って、前記予測ユニットの前記変換区分を決定すること。
16. 請求項１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記予測ユニットが４分木構造のレベル１にあること。
17. 請求項１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記第１および第２のシンタックス要素を前記コーディングユニットレベルで受信すること、ここにおいて、前記変換区分を決定することは、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定すること。
18. 請求項１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記第１および第２のシンタックス要素を前記予測ユニットレベルで受信すること、ここにおいて、前記変換区分を決定することは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定する。
19. 請求項１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記複数の予測ユニットのうちの１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
    特定の予測ユニットが分離していることを示す第３のシンタックス要素を受信することと、ここにおいて、前記第３のシンタックス要素が前記サブブロックレベルでシグナリングされ、
    前記第３のシンタックス要素に基づいて、それぞれの前記サブブロックについてさらなる区分タイプを決定すること。
20. 請求項１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記サブブロックが２またはそれ以上の４分木分解レベルにあること。
21. 請求項１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記第１のシンタックス要素が受信された場合、前記さらなる区分タイプを示す少なくとも第４のシンタックス要素を受信すること
    。
22. 請求項１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定されること。
23. 請求項１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定すること
    。
24. 請求項１９に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定されること。
25. 請求項１５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    逆変換を前記変換区分の各々に適用して、残差予測データを復号化すること
    。
26. 請求項２５に記載のビデオ符号化方法であって、当該方法は下記を具備する。
    イントラ予測を使用して前記残差予測データを復号化して、復号化ビデオデータを生成すること
    。
27. コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
    前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと、
    を行うように構成されたビデオエンコーダ
    を備えるビデオ符号化装置。
28. 前記予測ユニットが４分木構造のレベル１にある、請求項２７に記載のビデオ符号化装置。
29. 前記ビデオエンコーダが、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定するようにさらに構成される、請求項２７に記載のビデオ符号化装置。
30. 前記ビデオエンコーダが、
    前記コーディングユニットに関する変換タイプを示す第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されることと、
    前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されることと
    を行うようにさらに構成される、請求項２９に記載のビデオ符号化装置。
31. 前記ビデオエンコーダは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定するようにさらに構成される、請求項２７に記載のビデオ符号化装置。
32. 前記ビデオエンコーダが、
    前記複数の予測ユニットの各々の変換タイプを示す第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されることと、
    前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有するそれぞれの変換区分について変換方向を示す第２のシンタックス要素をシグナリングすることであって、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されることと
    を行うようにさらに構成される、請求項３１に記載のビデオ符号化装置。
33. 前記ビデオエンコーダが、
    前記複数の予測ユニットのうちの前記１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
    それぞれの前記サブブロックについてさらなる区分タイプを決定することと、
    特定の予測ユニットが分離していることを示すため、第１のシンタックス要素をシグナリングすることであって、ここにおいて、前記第１のシンタックス要素が前記サブブロックレベルでシグナリングされることと
    を行うようにさらに構成される、請求項２７に記載のビデオ符号化装置。
34. 前記サブブロックが２またはそれ以上の４分木分解レベルにある、請求項３３に記載のビデオ符号化装置。
35. 前記ビデオエンコーダが、
    前記第１のシンタックス要素がシグナリングされる場合、前記決定されたさらなる区分タイプを示す少なくとも第２のシンタックス要素をシグナリングする
    ようにさらに構成される、請求項３３に記載のビデオ符号化装置。
36. 前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定される、請求項３３に記載のビデオ符号化装置。
37. 前記ビデオエンコーダが、
    前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定する
    ようにさらに構成される、請求項３３に記載のビデオ符号化装置。
38. 前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定される、請求項３３に記載のビデオ符号化装置。
39. 前記ビデオエンコーダが、
    変換を前記変換区分の各々に適用して、残差予測データを符号化する
    ようにさらに構成される、請求項２７に記載のビデオ符号化装置。
40. コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
    前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと
    を行うように構成されたビデオデコーダ
    を備えるビデオ復号化装置。
41. 前記ビデオデコーダが、
    変換タイプを示す第１のシンタックス要素を受信することであって、ここにおいて、前記変換タイプは正方形変換区分および非正方形変換区分のうちの少なくとも１つから選択されることと、
    前記第１のシンタックス要素が前記非正方形変換タイプを示す場合、前記非正方形変換タイプを有する各変換区分に関する変換方向を示す第２のシンタックス要素を受信することであって、ここにおいて、前記変換方向は水平方向に配向された方向および垂直方向に配向された方向のうちの少なくとも１つから選択されることと、
    前記受信した第１および第２のシンタックス要素に従って、前記予測ユニットの前記変換区分を決定することと
    を行うようにさらに構成される、請求項４０に記載のビデオ復号化装置。
42. 前記予測ユニットが４分木構造のレベル１にある、請求項４１に記載のビデオ復号化装置。
43. 前記ビデオデコーダが、
    前記第１および第２のシンタックス要素を前記コーディングユニットレベルで受信するようにさらに構成され、ここにおいて、前記変換区分を決定することは、前記複数の予測ユニットの各々が同じ変換区分を有するように、前記コーディングユニットに関する前記変換区分を決定することを備える、
    請求項４１に記載のビデオ復号化装置。
44. 前記ビデオデコーダが、
    前記第１および第２のシンタックス要素を前記予測ユニットレベルで受信するようにさらに構成され、前記変換区分を決定することは、前記複数の予測ユニットのそれぞれについて前記変換区分を別々に決定することを備える、
    請求項４１に記載のビデオ復号化装置。
45. 前記ビデオデコーダが、
    前記複数の予測ユニットのうちの１つまたは複数を、前記決定された変換区分に従ってサブブロックに区分することと、
    特定の予測ユニットが分離していることを示す第３のシンタックス要素を受信することであって、ここにおいて、前記第３のシンタックス要素が前記サブブロックレベルでシグナリングされることと、
    前記第３のシンタックス要素に基づいて、それぞれの前記サブブロックについてさらなる区分タイプを決定することと
    を行うようにさらに構成される、請求項４１に記載のビデオ復号化装置。
46. 前記サブブロックが２またはそれ以上の４分木分解レベルにある、請求項４５に記載のビデオ復号化装置。
47. 前記ビデオデコーダが、
    前記第１のシンタックス要素が受信された場合、前記さらなる区分タイプを示す少なくとも第４のシンタックス要素を受信する
    ようにさらに構成される、請求項４５に記載のビデオ復号化装置。
48. 前記さらなる区分タイプは、前記複数の予測ユニットをサブブロックに区分するために使用された前記決定された変換区分に基づいて決定される、請求項４５に記載のビデオ復号化装置。
49. 前記ビデオデコーダが、
    前記さらなる区分タイプを１つの変換タイプと１つの変換方向とに限定する
    ようにさらに構成される、請求項４５に記載のビデオ復号化装置。
50. 前記サブブロックの前記さらなる区分タイプは、前記サブブロックの区分サイズに基づいて決定される、請求項４５に記載のビデオ復号化装置。
51. 前記ビデオデコーダが、
    逆変換を前記変換区分の各々に適用して、残差予測データを復号化する
    ようにさらに構成される、請求項４１に記載のビデオ復号化装置。
52. 前記ビデオデコーダが、
    イントラ予測を使用して前記残差予測データを復号化して、復号化ビデオデータを生成する
    ようにさらに構成される、請求項５１に記載のビデオ復号化装置。
53. コーディングユニットを複数の予測ユニットに区分するための手段であって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化される、
    前記予測ユニットに関する変換区分を決定するための手段であって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である、
    を備える、ビデオ符号化装置。
54. コーディングユニットを複数の予測ユニットに区分するための手段であって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化される、
    前記予測ユニットに関する変換区分を決定するための手段であって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分である、
    を備える、ビデオ復号化装置。
55. 実行されたとき、ビデオデータを符号化するように構成されたデバイスの１つまたは複数のプロセッサに、
    コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
    前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと
    を行わせる命令を記憶するコンピュータ可読記憶媒体。
56. 実行されたとき、ビデオデータを復号化するように構成されたデバイスの１つまたは複数のプロセッサに、
    コーディングユニットを複数の予測ユニットに区分することであって、ここにおいて、前記コーディングユニットはイントラ予測を使用して符号化されることと、
    前記予測ユニットに関する変換区分を決定することであって、ここにおいて、前記変換区分のうちの少なくとも１つが非正方形区分であることと
    を行わせる命令を記憶するコンピュータ可読記憶媒体。

Images