JP2014535250A - ビデオコード化のための量子化行列の信号伝達 - Google Patents

Abstract

本開示の技術は、一般的に、量子化行列の値の信号伝達に関する。一部の例では、量子化行列の係数値は、係数値が量子化行列のどこに位置するかに基づいて、異なる係数でダウンサンプリングすることができる。

Description

本出願は、その全内容が参照によって本明細書に組み込まれる、２０１１年１１月７日に出願された米国仮出願第６１／５５６，７８５号、２０１２年２月３日に出願された米国仮出願第６１／５９４，８８５号、２０１２年２月９日に出願された米国仮出願第６１／５９７，１０７号、及び、２０１２年３月１日に出願された米国仮出願第６１／６０５，６５４号の優先権を主張するものである。

本開示は、データコード化に関し、より詳細には、ビデオデータをコード化するための技術に関する。

デジタルビデオ機能は、デジタルテレビ、デジタル直接放送システム、ワイヤレス放送システム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレイヤー、ビデオゲーム機器、ビデオゲーム機、セル方式電話又は衛星方式の無線電話、ビデオ会議機器などを含む多種多様の機器に組み込むことができる。デジタルビデオ情報をより効率的に送信、受信、及び格納するために、デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、パート１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）標準、及びそのような標準の拡張に規定された標準に記述されているものなど、画像圧縮技術を実装する。

画像圧縮技術は、ビデオシーケンスに固有の冗長性を減らす、又は取り除くために、空間的予測及び／又は時間的予測を含む。ブロックベースのビデオのコード化について、ビデオのフレーム又はスライスはブロックへと分割することができる。各ブロックは、更に分割することができる。イントラコード化（Ｉ）されたフレーム又はスライスのブロックは、同じフレーム又はスライスの隣接するブロックの参照サンプルに関して空間的予測を使用して符号化される。インターコード化（Ｐ又はＢ）されたフレーム又はスライスのブロックは、同じフレーム若しくはスライスの隣接するブロックの参照サンプルに関して空間的予測、又は他の参照フレームの参照サンプルに関して時間的な予測を使用することができる。空間的又は時間的な予測の結果として、コード化されるブロックの予測的なブロックが得られる。残余データは、コード化されるオリジナルブロックと予測的なブロックとの間の画素差を表している。

インターコード化されるブロックは、予測的なブロックを形成する参照サンプルのブロックを指し示す運動ベクトルと、コード化されたブロックと予測的なブロックとの間の差を示す残余データとに従って符号化される。イントラコード化されるブロックは、イントラコード化モードと残余データとに従って符号化される。さらなる圧縮のために、残余データは、画素領域から変換領域に変形させ、次いで量子化できる、残余の変換係数を得ることができる。２次元配列に最初に配置された、量子化された変換係数は、エントロピーコード化のために変換係数の一次元ベクトルを生成するために特定の順序でスキャンすることができる。

一般的に、本開示は、量子化行列の値の信号伝達について説明するものである。例えば、ビデオ符号器は、量子化行列の値を少なくとも値の第１のサブセットと値の第２のサブセットとに分割することができる。ビデオ符号器は、構文要素として第１のサブセットの値を符号化し信号伝達することができる。ビデオ復号器は、第１のサブセットの値の構文要素を受信し、第１のサブセットの値を生成するために構文要素を復号することができる。第２のサブセットの値を受信することなく、ビデオ復号器は、第１のサブセットの値から第２のサブセットの値を予測することができる。

本開示の一例では、ビデオデータを符号化する方法は、複数の値を含む量子化行列を生成することと、ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって量子化行列の値の第１の組をダウンサンプリングすることと、ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって量子化行列の値の第２の組をダウンサンプリングすることと、ダウンサンプリングされた値の第１の組とダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成することとを備える。

本開示の別の実施例では、ビデオデータを復号するための方法は、コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信することと、値の第１の組を生成するために、第１のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングすることと、値の第２の組を生成するために、第２のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングすることと、値の第１及び第２の組で変換係数のブロックを逆量子化することとを備える。

１つ又は複数の例の詳細は、添付の図面及び下記の記述に述べられている。他の特徴、目的、及び利点は、説明及び図、ならびに特許請求の範囲から明白になるだろう。

本開示で説明された技術を利用できる例示的なビデオ符号化及び復号化システムを示すブロック図。 本開示で説明された技術を実装できる例示的なビデオ符号器を示すブロック図。 本開示で説明された技術を実装できる例示的なビデオ復号器を示すブロック図。 例示的な量子化行列を示す概念図。 例示的な値を用いる量子化行列を示す概念図。 本開示の１つ又は複数の例示的な技術を利用する再構築された量子化行列を示す概念図。 量子化行列の一例における異なる部分のダウンサンプリング係数を示す概念図。 量子化行列の別の例における異なる部分のダウンサンプリング係数を示す概念図。 量子化行列の別の例における異なる部分のダウンサンプリング係数を示す概念図。 本開示の技術に従ったビデオ符号化方法を示す流れ図。 本開示の技術に従ったビデオ復号方法を示す流れ図。

本開示は、ビデオコード化における量子化行列の値を信号伝達するための技術について説明するものである。量子化行列は、複数の値を含む２次元行列の場合がある。例として、量子化行列は、ビデオコード化のために変換単位に関連する残余の変換係数を量子化するために使用される量子化ステップサイズを基準化するために使用することができる。量子化パラメータ（ＱＰ）は、量子化ステップサイズを指定するために、変換単位など、変換係数のブロックに割り当てることができる。量子化行列の各値は、量子化されるブロックの係数に対応し、ＱＰ値を前提として、係数に適用される量子化の程度を決定するために使用される。

特に、本開示は、より少ない量子化値を送信し、及び／又は符号化されたビデオのビットストリームに格納される必要があるように、量子化行列をダウンサンプリングするための技術を提案する。ビデオデータのブロックに関連する量子化行列全体を送信又は格納することは、大量のビットを必要とする可能性があるため、コード化されたビデオのビットストリームの帯域幅効率を減らすことになる。また、ビデオ復号器は、逆量子化プロセスのためにメモリに量子化行列全体を格納することができる。本開示の技術を用いて量子化行列をダウンサンプリングすることによって、コード化されたビデオの品質を実質的に下げることなくビットを節約することができる。

本開示では、例示を目的として、ビデオコード化について説明する。本開示に記述されているコード化技術は、また、他のタイプのデータコード化に適用可能な場合がある。デジタルビデオ機器は、デジタルビデオ情報をより効率的に符号化し復号するために画像圧縮技術を実装する。画像圧縮は、ビデオシーケンスに固有の冗長性を減らす、又は取り除くために、空間的（イントラフレーム）予測及び／又は時間的（インターフレーム）予測の技術を適用することができる。

「フレーム（ｆｒａｍｅ）」という用語は、「ピクチャ（ｐｉｃｔｕｒｅ）」という用語と区別なく使用できることを理解されたい。言い換えると、「フレーム」及び「ピクチャ」という用語はそれぞれをビデオの一部を表し、フレーム又はピクチャを連続して表示するとスムーズな再生が得られる。従って、本開示において「フレーム」という用語を使用する場合、本開示の技術は、「フレーム」という用語を利用するビデオコード化技術又は標準に限定するものと解釈されるべきではなく、技術は、開発済みの標準、開発中の標準、若しくは将来的な標準、又は「ピクチャ」という用語を利用する他のビデオコード化技術など、他の標準に拡張可能な可能性がある。

典型的なビデオ符号器は、「ブロック」又は「コード化単位」と呼ばれる隣接する方形領域へとオリジナルのビデオシーケンスの各フレームを分割する。これらのブロックは「イントラモード」（Ｉモード）又は「インターモード」（Ｐモード又はＢモード）で符号化される。

Ｐモード又はＢモードについて、符号器は最初に、Ｆ_refによって示された「参照フレーム」で符号化される対象に類似するブロックを検索する。検索は、一般的に、符号化されるブロックからの特定の空間的な変位だけに限定される。最適な一致、即ち予測的なブロック又は「予測」が識別された場合、二次元（２Ｄ）の運動ベクトル（Δｘ，Δｙ）の形で表現され、ここで、コード化されるブロックの画素の位置に関連する参照フレームの予測的なブロックにおける画素の位置において、Δｘは水平、Δｙは垂直な変位である。

参照フレームとともに運動ベクトルは、次のように予測されたブロックＦ_predを構成するために使用される。

フレーム内の画素の場所は、（ｘ，ｙ）によって示される。

Ｉモードで符号化されたブロックについて、予測されたブロックは、同じフレーム内で以前に符号化された隣接するブロックから空間的予測を使用して形成される。ＩモードとＰ又はＢモードの両方について、予測誤差、即ち符号化されるブロックと予測されたブロックとの画素値の残余の差は、離散コサイン変換（ＤＣＴ）など、一部の個別の変換の重み付き基底関数の組として表される。変換は、４×４、８×８、又は１６×１６以上など、異なるサイズのブロックに基づいて実行することができる。変換ブロックの形状は、必ずしも正方形とは限らない。例えば、１６×４、３２×８などの変換ブロックサイズを持つ方形の変換ブロックも使用することができる。

重み（即ち変換係数）は、次に量子化される。量子化により情報の消失が生じ、そのため量子化された係数は、オリジナルの変換係数より低い精度を持つ。量子化された変換係数及び運動ベクトルは「構文要素」の例である。これらの構文要素、及び一部の制御情報は、ビデオシーケンスのコード化された表現を形成する。構文要素は、また、エントロピーコード化できるため、表現に必要なビット数を更に減らすことができる。エントロピーコード化は、それらの分散の特性を利用することによって（一部の記号は他の記号より頻繁に出現する）、送信又は格納された記号（この場合、構文要素）を表すのに必要なビット数を最小限にすることを目的とした損失がない演算である。

圧縮比、即ち、オリジナルシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、量子化パラメータ（ＱＰ）の値と量子化行列の値の一方又は両方を調整することによって制御することができ、それらは両方、変換係数値を量子化するために使用することができる。圧縮比は、用いられるエントロピーコード化の方法に依存することができる。量子化行列は、典型的には、行列の量子化値が、一般的に、必ずしも例外がないとは限らないが、行（左から右）と列（上から下）の両方向に増加するように設計されている。例えば、変換係数のブロックは、左上（０，０）の角にあるＤＣ位置から、より高い周波数係数へと変換係数のブロックの右下（ｎ，ｎ）の角に向けて伸びるにつれて、量子化行列の対応する値は一般的に増加する。そのような設計の理由は、人間の視覚系（ＨＶＳ）のコントラスト感度機能（ＣＳＦ）は、水平と上下の両方向において、周波数の上昇とともに低下するためである。

復号器では、符号器と同じ方法でその予測を最初に構成することによって、そして圧縮された予測誤差を予測に追加することによって、現在のフレームのブロックが取得される。圧縮された予測誤差は、量子化された係数を使用して、変換基底関数に重み付けすることによって見つかる。再構築されたフレームとオリジナルのフレームとの間の差は、再構成誤差と呼ばれる。

図１は、本開示で説明した技術を利用できる例示的なビデオ符号化及び復号化システム１０を示すブロック図である。図１に示すように、システム１０は、通信チャネル１６を介して宛先機器１４に符号化されたビデオを送信する発信源機器１２を含む。符号化されたビデオデータは、また、記憶媒体３４又はファイルサーバ３６に格納することができ、希望に応じて宛先機器１４によってアクセスすることができる。記憶媒体又はファイルサーバに格納される場合、ビデオ符号器２０は、記憶媒体にコード化されたビデオデータを格納するために、ネットワークインターフェース、コンパクトディスク（ＣＤ）、Ｂｌｕ−ｒａｙ（登録商標）又はデジタルビデオディスク（ＤＶＤ）のバーナ若しくはスタンピング機能機器（stamping facility device）、又は他の機器など、他の機器にコード化されたビデオデータを提供することができる。同様に、ネットワークインターフェース、ＣＤ、又はＤＶＤリーダーなど、ビデオ復号器３０から離れた機器は、記憶媒体からコード化されたビデオデータを取得し、ビデオ復号器３０に取得されたデータを提供した。

発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ちラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂スマートフォンなどハンドセット電話機、テレビ、カメラ、表示装置、デジタルメディアプレイヤー、テレビゲームコンソールなどを含む多種多様な機器のいずれかを備えることができる。多くの場合において、ワイヤレス通信のためにそのような機器を装備することができる。よって、通信チャネル１６は、ワイヤレスチャネル、有線チャネル、又は符号化されたビデオデータの送信に適したワイヤレス及び有線のチャネルの組合せを備えることができる。同様に、ファイルサーバ３６は、インターネット接続を含む、任意の標準データ接続を通じた宛先機器１４によってアクセスすることができる。これは、ワイヤレスチャネル（例えばＷｉ−Ｆｉ（登録商標）接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又はファイルサーバに格納された符号化されたビデオデータにアクセスするのに適した両方の組合せを含むことができる。

本開示の例に従った量子化行列を信号伝達するための技術は、例えば、インターネット、データ記憶媒体に格納するためのデジタルビデオの符号化、データ記憶媒体に格納されたデジタルビデオの復号、又は他のアプリケーションを介して、無線経由のテレビ放送、ケーブルテレビ送信、衛星テレビ放送、ストリーミングビデオ送信など、様々なマルチメディアアプリケーションのいずれかをサポートするビデオコード化に適用することができる。一部の例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、及び／又はビデオ電話などのアプリケーションをサポートするために１方向又は２方向のビデオ送信をサポートするように構成することができる。

図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオ符号器２０と、変復調装置２２と、送信機２４とを含む。発信源機器１２において、ビデオ発信源１８は、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含むビデオのアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、及び／又は発信源ビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどの発信源、又はそのような発信源の組合せを含むことができる。一例として、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラ電話又はテレビ電話を形成することができる。しかし、本開示で説明した技術は、一般的にビデオのコード化に適用可能な場合があり、ワイヤレス及び／又は有線のアプリケーション、又は符号化されたビデオデータがローカルディスクに格納されるアプリケーションに適用することができる。

撮影、事前撮影、又はコンピュータで生成されたビデオは、ビデオ符号器２０によって符号化することができる。符号化されたビデオ情報は、ワイヤレス通信プロトコルなどの通信標準に従ってモデム２２によって変調し、送信機２４を介して宛先機器１４に送信することができる。モデム２２は、様々なミキサー、フィルタ、増幅器、又は信号変調のために設計された他のコンポーネントを含むことができる。送信機２４は、増幅器と、フィルタと、１つ又は複数のアンテナとを含む、データを送信するために設計された回路を含むことができる。

ビデオ符号器２０によって符号化された、撮影、事前撮影、又はコンピュータで生成されたビデオは、また、後で消費するために記憶媒体３４又はファイルサーバ３６に格納することができる。記憶媒体３４は、符号化されたビデオを格納するために、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、又は任意の他の適切なデジタル記憶媒体を含むことができる。次いで、記憶媒体３４に格納された符号化されたビデオは、復号及び再生のために宛先機器１４によってアクセスすることができる。図１に図示していないが、一部の例では、記憶媒体３４及び／又はファイルサーバ３６は、送信機２４の出力を格納することができる。

ファイルサーバ３６は、符号化されたビデオを格納することができ、宛先機器１４にその符号化されたビデオを送信することができる任意のタイプのサーバでもよい。例示的なファイルサーバは、ウェブサーバ（例えばウェブサイトのため）、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）機器、ローカルディスクドライブ、又は符号化されたビデオデータを格納することができ、宛先機器にそれを送信することができる任意の他のタイプの機器を含む。ファイルサーバ３６からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組合せでもよい。ファイルサーバ３６は、インターネット接続を含む、任意の標準データ接続を通じて宛先機器１４によってアクセスすることができる。これは、ワイヤレスチャネル（例えばＷｉ−Ｆｉ（登録商標）接続）、有線接続（例えば、ＤＳＬ、ケーブルモデム、イーサネット（登録商標）、ＵＳＢなど）、又はファイルサーバに格納された符号化されたビデオデータにアクセスするのに適した両方の組合せを含むことができる。

宛先機器１４は、図１の例では、受信機２６と、モデム２８と、ビデオ復号器３０と、表示装置３２とを含む。宛先機器１４の受信機２６は、チャネル１６を通じて情報を受信し、モデム２８は、ビデオ復号器３０のために復調されたビットストリームを生成するために情報を復調する。チャネル１６を通じて通信された情報は、ビデオデータの復号においてビデオ復号器３０によって使用するために、ビデオ符号器２０によって生成された様々な構文情報を含むことができる。そのような構文は、また、記憶媒体３４又はファイルサーバ３６に格納された符号化されたビデオデータに含まれていてもよい。ビデオ符号器２０及びビデオ復号器３０の各々は、ビデオデータを符号化又は復号できるそれぞれの符号器−復号器（ＣＯＤＥＣ）の一部を形成することができる。

表示装置３２は、宛先機器１４に統合されても、又は外付けされてもよい。一部の例では、宛先機器１４は、統合された表示装置を含むことができ、また、外部表示装置とインターフェースを取るように構成することができる。他の例では、宛先機器１４は、表示装置でもよい。一般的に、表示装置３２は、復号されたビデオデータをユーザに表示し、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備えることができる。

図１の例では、通信チャネル１６は、無線周波数（ＲＦ）スペクトル又は１つ以上の物理的送信路など、ワイヤレス若しくは有線の通信媒体、又はワイヤレス及び有線の媒体の任意の組合せも備えることができる。通信チャネル１６は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどグローバルなネットワークなど、パケットベースのネットワークの一部を形成することができる。通信チャネル１６は、一般的に、有線又はワイヤレスの媒体の任意の適切な組合せを含む、発信源機器１２から宛先機器１４にビデオデータを送信するための任意の適切な通信媒体、又は異なる通信媒体の集合を表している。通信チャネル１６は、ルータ、スイッチ、基地局、又は発信源機器１２から宛先機器１４への通信を促進するのに役に立つ可能性がある任意の他の装置を含むことができる。

ビデオ符号器２０及びビデオ復号器３０は、現在開発中の高能率ビデオコード化標準（ＨＥＶＣ）標準など、画像圧縮標準に従って動作することができ、ＨＥＶＣテストモデル（ＨＭ）に準拠することができる。或いは、ビデオ符号器２０及びビデオ復号器３０は、ＭＰＥＧ−４、パート１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）とも呼ばれるＩＴＵ−Ｔ Ｈ．２６４標準、又はそのような標準の拡張など、他の知的所有権下にある、又は業界標準に従って動作することができる。しかし、本開示の技術は、任意の特定のコード化標準にも限定されない。画像圧縮標準の他の例には、ＭＰＥＧ−２とＩＴＵ−Ｔ Ｈ．２６３とが含まれる。

図１に図示していないが、一部の態様では、ビデオ符号器２０及びビデオ復号器３０はそれぞれ、オーディオ符号器及び復号器に統合することができ、共通のデータストリーム又は個別のデータストリームにおいて、オーディオとビデオの両方の符号化を扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含むことができる。該当する場合は、一部の例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３多重化プロトコル（ｍｕｌｔｉｐｌｅｘｅｒ ｐｒｏｔｏｃｏｌ）、又はユーザデータグラムプロトコル（ＵＤＰ）など他のプロトコルに準拠することができる。

ビデオ符号器２０及びビデオ復号器３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別のロジック、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せなど、様々な適切な符号器回路のいずれかとして実装することができる。技術が部分的にソフトウェアで実装される場合、機器は、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を格納し、本開示の技術を実行するために１つ又は複数のプロセッサを使用してハードウェアで命令を実行することができる。ビデオ符号器２０及びビデオ復号器３０の各々は、１つ又は複数の符号器又は復号器に含まれていてもよく、そのいずれかは、それぞれの機器に組み合わせられた符号器／復号器（ＣＯＤＥＣ）の一部として統合することができる。

ビデオコード化のための共同協調チーム（ＪＣＴ−ＶＣ：Joint Cooperative Team for Video Coding）によって現在開発中の新たなＨＥＶＣ標準に従ったビデオコード化について、一例として、ビデオフレームはコード化単位へと分割することができる。コード化単位（ＣＵ）は、一般的に、画像圧縮のために様々なコード化ツールが適用される基本単位として役に立つ画像領域を表している。ＣＵは、通常、Ｙとして示される輝度成分とＵ及びＶとして示される２つの彩度成分とを持つ。ビデオのサンプリング形式に依存して、Ｕ及びＶの成分のサイズは、サンプル数に関して、Ｙ成分のサイズと同じ、又は異なる場合がある。ＣＵは、典型的に正方形であり、例えばＩＴＵ−Ｔ Ｈ．２６４など他のビデオコード化標準において、所謂マクロブロックに類似すると考えることができる。開発中のＨＥＶＣ標準の現在提案された態様の一部に従ったコード化について、例示を目的として本明細書に説明する。しかし、本開示で説明された技術は、Ｈ．２６４又は他の標準により規定されたものなど他のビデオコード化プロセス又は知的所有権下にあるビデオコード化プロセスに役に立つ場合がある。

ＨＥＶＣ標準化事業は、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器のモデルに基づいている。ＨＭは、例えばＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従った機器を通じたビデオコード化機器の複数の機能を想定する。例えば、Ｈ．２６４では、９つのイントラ予測符号化モードが提供されるが、ＨＭでは、３５ものイントラ予測符号化モードが提供される。以下ＨＥＶＣ ＷＤ７と呼ばれる、ＨＥＶＣの最近の最新作業草案（ＷＤ）は、２０１２年１０月３０日時点で、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｉ１００３−ｖ６．ｚｉｐから利用可能である。

一般的に、ＨＭの作業モデルは、ビデオフレーム又はピクチャは、輝度と彩度の両方のサンプルを含むツリーブロック（ｔｒｅｅｂｌｏｃｋ）又は最大のコード化単位（ＬＣＵ）のシーケンスへと分割できると説明している。ツリーブロックは、Ｈ．２６４標準のマクロブロックと同様の目的を持っている。スライスは、コード化の順序に多数の連続するツリーブロックを含む。ビデオフレーム又はピクチャは、１つ又は複数のスライスへと分割することができる。各ツリーブロックは、４分木に従ってコード化単位（ＣＵ）へと分割することができる。例えば、ツリーブロックは、４分木のルートノードとして、４つの子ノードへと分割することができ、各子ノードは、次に親ノードになることができ、更に４つの子ノードへと分割される。最終的な分割されていない子ノードは、４分木の葉ノードとして、コード化ノード、即ちコード化されたビデオブロックを備える。コード化されたビットストリームに関連する構文データは、ツリーブロックを分離できる最大数を規定することができ、またコード化ノードの最小サイズを規定することができる。

ＣＵは、コード化ノード及び予測ユニット（ＰＵ）、及びコード化ノードに関連する変換単位（ＴＵ）を含む。ＣＵのサイズは、コード化ノードのサイズに対応し、形状は正方形である必要がある。ＣＵのサイズは、８×８画素から、最大６４×６４画素以上であるツリーブロックのサイズまで及ぶことができる。各ＣＵは、１つ又は複数のＰＵ及び１つ又は複数ＴＵを含むことができる。ＣＵに関連する構文データは、例えば、１つ又は複数のＰＵへとＣＵを区分することについて記述することができる。モードの区分は、ＣＵがＳｋｉｐモード又はＤｉｒｅｃｔモードで符号化されているか、イントラ予測モードで符号化されているか、又はインター予測モードで符号化されているかによって異なる場合がある。ＰＵは、正方形以外の形状に区分することができる。ＣＵに関連する構文データは、また、例えば、４分木に従って１つ又は複数のＴＵへとＣＵを区分することについて記述することができる。ＴＵは、形状が正方形又は正方形以外でもよい。

ＨＥＶＣ標準では、異なるＣＵには異なる場合がある、ＴＵに従って変形が可能になる。ＴＵは、典型的には、区分されたＬＣＵに対して規定された所与のＣＵ内のＰＵのサイズに基づいてサイズが決定されるが、これが必ずしも当てはまるとは限らない。ＴＵは、典型的には、同じサイズであるか、又はＰＵより小さい。一部の例では、ＣＵに対応する残余のサンプルは、「残余４分木」（ＲＱＴ）として知られている４分木構造を使用して、より小さい単位へと細分化することができる。ＲＱＴの葉ノードは、変換単位（ＴＵ）と呼ぶことができる。ＴＵに関連する画素差異値は、量子化できる、変換係数を生成するために変形することができる。

一般的に、ＰＵは、予測プロセスに関係するデータを含む。例えば、ＰＵがイントラモード符号化されている場合、ＰＵは、ＰＵのイントラ予測モードについて記述するデータを含むことができる。別の例では、ＰＵがインターモード符号化されている場合、ＰＵは、ＰＵの運動ベクトルを規定するデータを含むことができる。ＰＵの運動ベクトルを規定するデータは、例えば、運動ベクトルの水平成分、運動ベクトルの垂直成分、運動ベクトルの解像度（例えば４分の１画素精度又は８分の１画素精度）、運動ベクトルが指し示す参照ピクチャ、及び／又は運動ベクトルの参照ピクチャリスト（例えばリスト０、リスト１、又はリストＣ）について記述することができる。

一般的に、ＴＵは、変換及び量子化のプロセスに使用される。１つ又は複数のＰＵを持つ所与のＣＵは、また、１つ又は複数の変換単位（ＴＵ）を含むことができる。予測に続いて、ビデオ符号器２０は、ＰＵに対応する残余の値を計算することができる。残余の値は、エントロピーコード化のために連続した変換係数を生成するためにＴＵを使用して変換係数に転換、量子化、及びスキャンできる画素差異値を備える。本開示は、典型的に、ＣＵのコード化ノードを示すために「ビデオブロック」という用語を使用する。一部の特定の場合には、本開示は、また、コード化ノード及びＰＵ及びＴＵを含む、ツリーブロック、即ちＬＣＵ又はＣＵを示すために「ビデオブロック」という用語を使用することができる。

ビデオシーケンスは、典型的には、一連のビデオフレーム又はピクチャを含む。ピクチャのグループ（ＧＯＰ）は、一般的に、ビデオピクチャの１つ又は複数の連続を備える。ＧＯＰは、ＧＯＰのヘッダに、ピクチャの１つ又は複数のヘッダに、又は他の場所に、ＧＯＰに含まれている多数のピクチャについて記述する構文データを含むことができる。ピクチャの各スライスは、それぞれのスライスに対する符号化モードについて記述するスライス構文データを含むことができる。ビデオ符号器２０は、典型的には、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコード化ノードを対応することができる。ビデオブロックは、固定されたサイズ又は変動するサイズを持つことができ、指定されたコード化標準に従ってサイズが異なる場合がある。

例えば、ＨＭは、様々なＰＵサイズの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると想定すると、ＨＭは、ＰＵサイズが２Ｎ×２Ｎ又はＮ×Ｎのイントラ予測、及び対称なＰＵサイズ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎのインター予測をサポートする。ＨＭは、また、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズにおいてインター予測に対して非対称の区分化をサポートする。非対称の区分化では、ＣＵの一方向は区分化されない一方、他の方向は、２５％及び７５％へと区分化される。２５％の区分化に対応するＣＵの部分は、「ｎ」と、後に続く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」の指示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上に２Ｎ×０．５Ｎ ＰＵ及び下に２Ｎ×１．５Ｎ ＰＵで水平に区分される２Ｎ×２Ｎ ＣＵを表している。

本開示では、例えば１６×１６画素又は１６かける１６画素など、「Ｎ×Ｎ」及び「ＮかけるＮ（Ｎ ｂｙ Ｎ）」は、垂直及び水平の寸法に関して、ビデオブロックの画素範囲を示すために区別なく使用することができる。一般的に、１６×１６ブロックは、垂直方向に１６個の画素を持ち（ｙ＝１６）、水平方向に１６個の画素を持つ（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般的に、垂直方向にＮ個の画素を持ち、水平方向にＮ個の画素を持ち、ここでＮは負でない整数値を表している。ブロックの画素は、列及び行に配置することができる。更に、ブロックは、必ずしも垂直方向と水平全方向に同じ画素数を持つ必要はない。例えば、ブロックはＮ×Ｍ画素を備えることができ、ここでＭはＮと必ずしも等しいとは限らない。

ＣＵのＰＵを使用するイントラ予測又はインター予測の符号化に続いて、ビデオ符号器２０は、ＣＵのＴＵの残余データを計算することができる。ＰＵは、空間的な領域に画素データを備えることができ（画素領域とも呼ばれる）、ＴＵは、例えば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は残余のビデオデータへの概念的に同様の変換など、変換の適用に続き変換領域において係数を備えることができる。残余データは、符号化されていないピクチャの画素とＰＵに対応する予測値との間の画素差に対応することができる。ビデオ符号器２０は、ＣＵの残余データを含むＴＵを形成し、次いでＣＵの変換係数を生成するためにＴＵを変形することができる。

変換係数を生成するための任意の変換に続き、ビデオ符号器２０は、変換係数の量子化を実行することができる。量子化は、一般的に、変換係数が、場合によっては、係数を表すために使用されるデータの量を減らすために量子化されるプロセスを表し、さらなる圧縮を提供する。量子化プロセスは、係数の一部又は全てに関連するビット深度を減らすことができる。例えば、ｎビット値は、量子化の間にｍビット値に切り捨てることができ、ここでｎはｍより大きい。

一部の例では、ビデオ符号器２０は、エントロピー符号化できる連続したベクトルを生成するために、量子化された変換係数をスキャンするために事前定義されたスキャン命令を利用することができる。他の例では、ビデオ符号器２０は、適応可能なスキャンを実行することができる。一次元のベクトルを形成するために量子化された変換係数をスキャンした後、ビデオ符号器２０は、例えば、コンテキスト適応可能な可変長コード化（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応可能な２進算術コード化（ＣＡＢＡＣ：context adaptive binary arithmetic coding）、構文ベースのコンテキスト適応可能な２進算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分化エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コード化、又は他のエントロピー符号化方法などに従って、一次元のベクトルをエントロピー符号化することができる。ビデオ符号器２０は、また、ビデオデータを復号する際にビデオ復号器３０によって使用するために符号化されたビデオデータに関連する構文要素をエントロピー符号化することができる。

ＣＡＢＡＣを実行するために、ビデオ符号器２０は、送信される記号にコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、例えば、記号の隣接する値が非ゼロかどうかに関することができる。ＣＡＶＬＣを実行するために、ビデオ符号器２０は、送信される記号の可変長コードを選択することができる。比較的より短いコードはより可能性の高い記号に対応し、より長いコードはより可能性の低い記号に対応するように、ＶＬＣのコードワードを構成することができる。このようにして、ＶＬＣを使用することで、例えば、送信される各記号に対して等しい長さのコードワードを使用することによって、ビットの節約を達成することができる。確率の決定は、記号に割り当てられたコンテキストに基づいてもよい。

ビデオ符号器２０は、ビデオコード化プロセスにおいて量子化行列をダウンサンプリング及び信号伝達するために、本開示の技術の一部又は全てを実装することができる。同様に、ビデオ復号器３０は、ビデオコード化プロセスにおいて、量子化行列をアップサンプリングするために、これらの技術の一部又は全てを実装することができる。本開示に記述したように、ビデオコーダは、ビデオ符号器又はビデオ復号器を表すことができる。同様に、ビデオコード化ユニットは、ビデオ符号器又はビデオ復号器を表すことができる。同様に、ビデオコード化は、ビデオ符号化又はビデオ復号化を表すことができる。

本開示の一例では、ビデオ符号器２０は、複数の値を含む量子化行列を生成し、ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって量子化行列の値の第１の組をダウンサンプリングし、ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって量子化行列の値の第２の組をダウンサンプリングし、ダウンサンプリングされた値の第１の組とダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成するように構成することができる。一部の例では、ダウンサンプリング係数は１つでもよく、その場合には、値はダウンサンプリングなしで直接的にコード化される。

本開示の別の例では、ビデオ復号器３０は、コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信し、値の第１の組を生成するために、第１のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングし、値の第２の組を生成するために、第２のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングし、値の第１及び第２の組で変換係数のブロックを逆量子化するように構成することができる。一部の例では、アップサンプリング係数は１でもよく、その場合には、値は、アップサンプリングなしで直接的にコード化される。

図２は、本開示で説明された技術を実装できる例示的なビデオ符号器２０を示すブロック図である。ビデオ符号器２０は、ビデオスライス内でビデオブロックのイントラコード化及びインターコード化を実行することができる。所与のビデオフレーム又はピクチャ内のビデオの空間的な冗長性を減らすか取り除くために、イントラコード化は空間的予測に依存する。ビデオシーケンスの隣接するフレーム又はピクチャ内のビデオの時間的な冗長性を減らすか取り除くために、インターコード化は、時間的予測に依存する。イントラモード（Ｉモード）は、いくつかの空間に基づく圧縮モードのいずれかを表すことができる。片方向予測（Ｐモード）又は両予測（Ｂモード）など、インターモードは、いくつかの時間に基づく圧縮モードのいずれかを表すことができる。

図２の例では、ビデオ符号器２０は、区分ユニット３５と、予測処理ユニット４１と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、運動推定ユニット４２と、運動補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロックの再構成について、ビデオ符号器２０は、また、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構築されたビデオからブロック歪み(blockiness artifacts)を削除するために、デブロッキングフィルタ（図２に図示せず）も、フィルタブロックの境界に含めることができる。望まれる場合は、デブロッキングフィルタは、典型的には、加算器６２の出力をフィルタする。追加的なループフィルタ（ループ内又はループ後）もデブロッキングフィルタに加えて使用することができる。

図２に示すように、ビデオ符号器２０は、ビデオデータを受信し、区分化ユニット３５は、ビデオブロックへとデータを区分する。この区分化は、また、例えば、ＬＣＵ及びＣＵの４分木構造に従って、ビデオブロックの区分化だけでなく、スライス、タイル、又は他のより大きな単位へと区分することを含むことができる。ビデオ符号器２０は、一般的に、符号化されるビデオスライス内のビデオブロックを符号化する成分を示している。スライスは、複数のビデオブロック（及び場合によってはタイルと呼ばれるビデオブロックの組）に分割することができる。予測処理ユニット４１は、誤差結果（例えばコード化レート及び歪みのレベル）に基づいて現在のビデオブロックについて、複数のイントラコード化モードの１つ、又は複数のインターコード化モードの１つなど、複数の可能なコード化モードの１つを選択することができる。予測処理ユニット４１は、結果として生じるイントラ又はインターコード化されたブロックを残余のブロックデータを生成するために加算器５０に、かつ参照ピクチャとして使用するために符号化されたブロックを再構築するために加算器６２に提供することができる。

予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間的な圧縮を提供するためにコード化される現在のブロックと同じフレーム又はスライスにおいて、１つ又は複数の隣接するブロックに関して現在のビデオブロックのイントラ予測コード化を実行することができる。予測処理ユニット４１内の運動推定ユニット４２及び運動補償ユニット４４は、時間的な圧縮を提供するために１つ又は複数の参照ピクチャの１つ又は複数の予測的なブロックに関して現在のビデオブロックのインター予測コード化を実行する。

運動推定ユニット４２は、ビデオシーケンスに対して事前に定めたパターンに従って、ビデオスライスに対してインター予測モードを決定するように構成することができる。事前に定めたパターンは、Ｐスライス、Ｂスライス、又はＧＰＢスライスとしてシーケンスにおいてビデオスライスを指定することができる。運動推定ユニット４２及び運動補償ユニット４４は、高度に統合することができるが、概念的な目的のために別々に示されている。運動推定ユニット４２によって実行される運動推定は、ビデオブロックの運動を推定する、運動ベクトルを生成するプロセスである。運動ベクトルは、例えば、参照ピクチャ内の予測的なブロックに関する現在のビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示すことができる。

予測的なブロックは、絶対差（ＳＡＤ）の合計、正方形差（ＳＳＤ）の合計、又は他の差の測定基準によって決定することができる、画素差に関してコード化されるビデオブロックのＰＵに厳密に一致することがわかるブロックである。一部の例では、ビデオ符号器２０は、参照ピクチャメモリ６４に格納された参照ピクチャの下位整数画素位置（sub-integer pixel position）に対する値を計算することができる。例えば、ビデオ符号器２０は、４分の１の画素位置、８分の１の画素位置、又は参照ピクチャの他の断片的な画素位置の値を補間することができる。従って、運動推定ユニット４２は、完全な画素位置及び断片的な画素位置に関して運動検索を実行し、断片的な画素精度を用いて運動ベクトルを出力することができる。

運動推定ユニット４２は、ＰＵの位置を参照ピクチャの予測的なブロックの位置と比較することによって、インターコード化されたスライスのビデオブロックのＰＵの運動ベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択することができ、その各々は参照ピクチャメモリ６４に格納された１つ又は複数の参照ピクチャを識別する。運動推定ユニット４２は、エントロピー符号化ユニット５６と運動補償ユニット４４とに計算された運動ベクトルを送る。

運動補償ユニット４４によって実行された運動補償は、運動推定によって決定された運動ベクトルに基づいて予測的なブロックを取り込むか、又は生成することを含み、場合によってはサブ画素精度への補間を実行することができる。現在のビデオブロックのＰＵの運動ベクトルを受信すると、運動補償ユニット４４は、参照ピクチャリストの１つで運動ベクトルが指し示す予測的なブロックを見つけることができる。ビデオ符号器２０は、コード化されている現在のビデオブロックの画素値から予測的なブロックの画素値を引くことによって、残差ビデオブロックを形成し、画素差異値を形成する。画素差異値は、ブロックに対して残余データを形成し、輝度と彩度との差成分の両方を含むことができる。加算器５０は、この減法演算を実行するコンポーネント（複数可）を表している。運動補償ユニット４４は、また、ビデオスライスのビデオブロックを復号する際に、ビデオ復号器３０によって使用するためにビデオブロック及びビデオスライスに関連する構文要素を生成することができる。

イントラ予測処理ユニット４６は、上に記述したように、運動推定ユニット４２及び運動補償ユニット４４によって実行されたインター予測の代替案として、現在のブロックをイントラ予測することができる。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用するためにイントラ予測モードを決定することができる。一部の例では、イントラ予測処理ユニット４６は、例えば個別の符号化パス（encoding pass）の間に、様々なイントラ予測モードを使用して、現在のブロックを符号化することができ、イントラ予測処理ユニット４６（又は一部の例ではモード選択ユニット４０）は、テスト済みのモードから使用するために適切なイントラ予測モードを選択することができる。例えば、イントラ予測処理ユニット４６は、様々なテスト済みのイントラ予測モードにレート歪み分析を使用して、レート歪み値を計算し、テスト済みのモードの中から最善のレート歪み特性を持つイントラ予測モードを選択することができる。レート歪み分析は、一般的に、符号化されたブロックを作成するために使用されるビットレート（即ちビット数）だけでなく、符号化されたブロックと、符号化されたブロックを作成するために符号化されたオリジナルのコード化されていないブロックとの間で歪み（又は誤差）の量を決定する。イントラ予測処理ユニット４６は、どのイントラ予測モードがブロックに対して最善のレート歪み値を示すかを決定するために、様々な符号化されたブロックの歪み及びレートからの比を計算することができる。

いずれの場合にも、ブロックにイントラ予測モードを選択した後、イントラ予測処理ユニット４６は、ブロックに対して選択されたイントラ予測モードを示す情報をエントロピーコード化ユニット５６に提供することができる。エントロピーコード化ユニット５６は、本開示の技術に従って選択されたイントラ予測モードを示す情報を符号化することができる。ビデオ符号器２０は、複数のイントラ予測モードインデックステーブルと複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）とを含むことのできる送信されたビットストリーム構成データにおいて、様々なブロックのコンテキストを符号化する定義と、最も可能性の高いイントラ予測モード、イントラ予測モードインデックステーブル、及びコンテキストの各々に使用する変更されたイントラ予測モードインデックステーブルの指示とを含むことができる。

予測処理ユニット４１がインター予測又はイントラ予測のいずれかを介して、現在のビデオブロックについて予測的なブロックを生成した後、ビデオ符号器２０は、現在のビデオブロックから予測的なブロックを引くことによって、残差ビデオブロックを形成する。残余のブロックの残余のビデオデータは、１つ又は複数のＴＵに含まれ、変換処理ユニット５２に適用することができる。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を使用して、残余のビデオデータを残余の変換係数に転換する。変換処理ユニット５２は、周波数領域など、残余のビデオデータを画素領域から変換領域に変換することができる。

変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、ビットレートを更に減らすために変換係数を量子化する。量子化プロセスは、係数の一部又は全てに関連するビット深度を減らすことができる。量子化の程度は、量子化パラメータを調整することによって、又は量子化行列の値を変更することによって変更することができる。一部の例では、次いで、量子化ユニット５４は、量子化された変換係数を含む行列のスキャンを実行することができる。或いは、エントロピー符号化ユニット５６は、スキャンを実行することができる。

場合によっては、量子化ユニット５４は、量子化演算に加えて変換後調整演算を実行することができる。変換後調整演算は、残余データのブロックに関して完全な空間から周波数への変換演算又はその概算を効果的に実行するために、変換ユニット５２によって実行された中核となる変換演算に関連して使用することができる。一部の例では、変換後調整演算は、量子化演算に統合できるため、変換後演算及び量子化演算は、量子化される１つ又は複数の変換係数に関して同じ１組の演算の一部として実行される。

一部の例では、量子化ユニット５４は、量子化行列に基づいて変換係数を量子化することができる。量子化行列は、複数の値を含むことができ、その各々は、量子化される変換係数ブロックの複数の変換係数のそれぞれ１つに対応する。量子化行列の値は、量子化ユニット５４によって、変換係数ブロックの対応する変換係数に適用される量子化の量を決定するために使用することができる。例えば、量子化される変換係数の各々について、量子化ユニット５４は、量子化される変換係数に対応する量子化行列の値のそれぞれ１つによって少なくとも部分的に決定される量子化の量に従ってそれぞれの変換係数を量子化することができる。

他の例では、量子化ユニット５４は、量子化パラメータ及び量子化行列に基づいて変換係数を量子化することができる。量子化パラメータは、変換係数ブロックに適用される量子化の量を決定するために使用できるブロックレベルパラメータ（即ち変換係数ブロック全体に割り当てられたパラメータ）でもよい。そのような例では、量子化行列及び量子化パラメータの値は、変換係数ブロックの対応する変換係数に適用される量子化の量を決定するためにともに使用することができる。言い換えると、量子化行列は、量子化パラメータを用いて、対応する変換係数に適用される量子化の量を決定するために使用できる値を指定することができる。例えば、変換係数ブロックで量子化される変換係数の各々について、量子化ユニット５４は、変換係数ブロックについてブロックレベルの量子化パラメータ（ＱＰ）によって少なくとも部分的に決定される量子化の量と、量子化される変換係数に対応する量子化行列の複数の係数に特有の値のそれぞれ１つとに従って、それぞれの変換係数を量子化することができる。よって、量子化行列は、各変換係数に対する対応する値を提供し、変換係数値の量子化の量を決定するためにＱＰに値を適用する。

一部の例では、量子化プロセスは、ＨＥＶＣについて提案された、及び／又はＨ．２６４復号標準によって規定されたプロセスの１つ又は複数に類似するプロセスを含むことができる。例えば、変換係数の値（即ちレベル）を量子化するために、量子化ユニット５４は、量子化行列の対応する値によって、及び変換後調整値によって変換係数を基準化することができる。次いで、量子化ユニット５４は、量子化パラメータに基づく量によって基準化された変換係数をシフトすることができる。場合によっては、変換後調整値は、量子化パラメータに基づいて選択することができる。他の量子化技術も使用することができる。

量子化ユニット５４は、一部の例では、変換係数の量子化について量子化ユニット５４によって使用される量子化行列を示すデータが、符号化されたビットストリームに含まれるようにすることができる。例えば、量子化ユニット５４は、符号化されたビットストリームのデータ及び続く配置をエントロピー符号化するために、エントロピー符号化ユニット５６に量子化行列を示すデータを提供することができる。

符号化されたビットストリームに含まれる量子化行列データは、ビットストリームを復号するためにビデオ復号器３０によって使用することができる（例えば逆量子化演算を実行するため）。一部の例では、データは、１組の量子化行列から事前に定めた量子化行列を識別するインデックス値でもよく、又は量子化行列を生成するための関数を識別することができる。他の例では、データは、量子化行列に含まれる実際の値を含むことができる。追加的な例では、データは、量子化行列に含まれる実際の値のコード化されたバージョンを含むことができる。例えば、量子化行列のコード化されたバージョンは、量子化行列の特定の場所にダウンサンプリングされた値を含むことができる。別の実施例では、コード化されたバージョンは、本開示で後に更に詳細に説明されるような予測値に基づいて生成することができる。一部の例では、データは、コード化されるビデオブロックに対応する変換係数ブロックを量子化するために、量子化ユニット５４によって使用される量子化行列を指定する１つ又は複数の構文要素の形を取ることができ、量子化ユニット５４は、１つ又は複数の構文要素をコード化されたビデオブロックのヘッダに含めさせることができる。

ＭＰＥＧ−２及びＡＶＣ／Ｈ．２６４などの以前の標準では、上に説明したような量子化行列は、主観的な品質を向上させるために使用された。量子化行列は、また、ＨＥＶＣ標準の一部として含まれている。

ＨＭ５．１では、４×４、８×８、１６×１６、及び３２×３２の変換サイズが可能である。３２×３２の変換は、輝度及び場合によっては（つまり、場合によっては彩度成分ではなく）輝度のみに使用することができる。合計２０の量子化行列を可能にすることが適切な場合がある（即ち、Ｙ、Ｕ、及びＶ成分について、４×４、８×８、１６×１６のイントラ及びインター予測されたボック（bocks)の個別の量子化行列、及びＹ成分について、３２×３２のイントラ及びインター予測されたブロック）。従って、全ての可能な順列を信号で送るために、符号器が４０６４の量子化行列値を信号伝達することが可能な場合がある。一部の例では、量子化行列を損失なく圧縮するために、一次予測（例えば差分コード化）及び指数関数的なゴロムコード化（exponential Golomb coding）（パラメータ＝０）に続いて、量子化行列エントリのジグザグスキャンを使用することができる。しかし、多数の量子化行列係数のためにＨＥＶＣでは、より良好な圧縮手法が望ましい場合がある。

量子化行列は、典型的に、人間の視覚系（ＨＶＳ）を利用するために設計されている。人間の視覚系は、典型的に、より高い周波数の量子化誤差で影響を受けにくい。この理由の１つは、人間の視覚系のコントラスト感度機能（ＣＳＦ）は、水平方向及び垂直方向の両方において、周波数の上昇とともに減少するからである。従って、良く設計された量子化行列について、行列エントリは、行（左から右）と列（上から下）方向の両方に増加する。特に、変換係数のブロックは、左上（０，０）の角にあるＤＣ位置から、より高い周波数係数へと右下（ｎ，ｎ）の角に向けて伸びるにつれて、量子化行列の対応する値は、一般的に増加するか、又は少なくとも減少しない。

量子化行列を信号伝達するための以前の技術では、量子化行列全体に対する全ての値（即ち係数）が信号伝達された。しかし、量子化行列の右下の角に向けたものなど一部の係数は、ビデオ品質に実質的に寄与しない場合があるため、量子化行列全体の信号伝達は必要ではない場合がある。

一例として、残余のブロックが平滑な場合、３２×３２などより高いブロックサイズが典型的に使用される。ここで、残余のブロックは、ビデオデータの実際のブロックとビデオデータの予測されたブロックとの間の差である。平滑な残余ブロックは、残余のブロック内の値に偏差をほとんど示さない。この場合、量子化の後、変換されたブロックのより高い周波数に（即ち右下の角に向けて）多くの非ゼロ係数がある可能性は低い場合がある。

符号化されたビデオシーケンスの統計は、この想定をサポートしている。例えば、部分的な周波数変換技術（例えば、３２×３２ブロックからの最小の１６×１６係数を符号化）を使用すると、コード化効率において損失はほとんど示されない。これは、１６×１６領域外の周波数について量子化行列エントリに対して非常に高い値を選択することと等しいと考えることができる（例えば、１６×１６領域外の周波数に対する量子化行列の係数に対する高い値）。この例では、コード化効率に損失がほとんどない可能性があるので、符号化されたビデオビットストリームにおいて、１０２４の値である３２×３２量子化行列値を全て信号伝達することは必要ない場合がある。

以下に、量子化行列の信号伝達及びコード化の例について説明する。例えば、信号伝達について、ビデオ符号器２０は、量子化行列全体又は量子化行列のサブセットだけがコード化されるかを示すために、１ビットのフラグを信号伝達することができる。量子化行列全体がコード化されることをフラグが示している場合、ＨＭ５．１、ＡＶＣ／Ｈ．２６４、ＪＣＴＶＣ−Ｆ０８５、ＪＣＴＶＣ−Ｅ０７３の方式など、又はその全体が参照により本明細書に組み込まれ、以下により詳細に記述した、米国仮特許出願第６１／５４７，６４７号に記述されている技術など、任意のコード化方式を使用することができる。

量子化行列のサブセットだけがコード化されることをフラグが示している場合（例えば第１のサブセット）、サブセットのサイズは１対の値（ｌａｓｔ＿ｒｏｗ、ｌａｓｔ＿ｃｏｌ）としてコード化することができる。この例では、サブセットは方形であり、位置（０，０）から位置（ｌａｓｔ＿ｒｏｗ、ｌａｓｔ＿ｃｏｌ）までの量子化行列エントリを対象にすることが想定される。しかし、他の形状を使用することが可能な場合がある。形状を正方形に限定することが可能な場合もあり、その場合、ｌａｓｔ＿ｒｏｗ及びｌａｓｔ＿ｃｏｌの値が同じになるので、単一の最終値のみをコード化する必要がある場合がある。最終値（ｌａｓｔ＿ｒｏｗ、ｌａｓｔ＿ｃｏｌ）は、量子化行列のサイズに依存する可能性がある固定数のビットを用いてコード化することができる。例えば、３２×３２の量子化行列について、最終値は５＋５＝１０ビット使用してコード化することができる。最終値をコード化するために、指数関数的ゴロム又はゴロムコードなど、可変長コードを使用することが可能な場合がある。

最終値（ｌａｓｔ＿ｒｏｗ、ｌａｓｔ＿ｃｏｌ）をコード化した後、サブセットに属する量子化行列エントリをコード化することができる（例えば第１のサブセットの値）。ＨＭ５．１の方法又は他の方法（ＡＶＣ／Ｈ．２６４、ＪＣＴＶＣ−Ｆ０８５、ＪＣＴＶＣ−Ｅ０７３、又は２０１２年１０月１１日に出願された米国特許出願第１３／６４９，８３６号に記述されている技術など）は、サブセットに属する量子化行列エントリをコード化するために使用することができる。コード化は、損失ありでも損失なしでもよい。

米国特許出願第１３／６４９，８３６号の技術に従って、ビデオ符号器２０及びビデオ復号器３０は、量子化行列の第１のサブセットの値の予測誤差をコード化するために、ラスタースキャン及び非線形の予測値技術を実行することができる。例示的な技術に従って、予測値は、量子化行列の現在のスキャン位置に関して、量子化行列の第１のサブセットにおいて左の値及び上の値の最大値である。言い換えると、量子化行列がラスター順にスキャンされると、量子化行列の現在値は、現在値の左の値及び現在値の上の値の最大値に基づいて予測される。ラスター順は、一般的に、量子化行列の値が、行において上から下に、各行内では左から右にスキャンされる順を表すことができる。一般的に、量子化行列の値は、変換係数のブロックのそれぞれの変換係数に対応し、ここで左上に向かう係数は周波数が低く、右下に近づく係数は周波数が高くなる。

サブセットに属する量子化行列エントリのコード化が完了した後、量子化行列エントリの残り（例えば第２のサブセットの係数値）は、サブセットに属する量子化行列エントリから予測することができる。このプロセスは、符号器と復号器の両方の後に続いてもよい。例えば、サブセットに属する量子化行列エントリが損失のある方法でコード化された場合、それらは再構築される。次いで、サブセット外の量子化行列エントリ（例えば第２のサブセットの係数値）は、一例として、第２のサブセットの係数値を予測するために、ラスタースキャン順にスキャンされる。

本開示の例では、ビデオ符号器２０は、量子化行列のサブセットに対して量子化行列値を信号伝達するように構成することができる。例えば、ビデオ符号器は、量子化行列を量子化行列値の少なくとも第１のサブセット及び第２のサブセットへと分割することができる。ビデオ符号器は、第１のサブセットの係数値を符号化し、構文要素としてこれらの符号化された値をビデオ復号器に信号伝達することができる。ビデオ復号器は、受信された構文要素から第１のサブセットの係数値を復号することができる。

本開示の一部の例では、ビデオ復号器３０は、第２のサブセットの値を予測することができる。例えば、一部の例では、ビデオ符号器２０は、第２のサブセットの量子化行列の係数値を導き出すために使用される構文要素を信号伝達する必要がない場合があるため、ビデオ復号器は、第２のサブセットの値を予測することができる。むしろ、ビデオ復号器３０は、そのような構文要素を利用せずに、第２のサブセットの値を予測するために本開示の技術を利用することができる。このようにして、量子化行列について信号伝達する必要のあるデータの量を減らすことができる。

一例として、ビデオ復号器２０は、より詳細には以下に説明するように、量子化行列値の第１のサブセットの復号された係数値に基づいて、量子化行列値の第２のサブセットに対して係数値を予測することができる。別の例では、量子化行列値の第２のサブセットに対する値を予測するために、ビデオ復号器３０は、第２のサブセットの各係数に定数値を割り当てることができ、ここで定数値は、限定を目的としない例を挙げると、最大許容量子化行列値でもよい。一部の例では、ビデオ符号器２０は、ビデオ復号器に定数値を信号伝達することができ、あるいはビデオ符号器２０及びビデオ復号器３０は、定数値を用いてプリプログラムすることもできる。

図４は、例示的な量子化行列を示す図である。図４は、残余の変換係数の３２×３２ブロックを量子化するために使用される３２×３２量子化行列である量子化行列９４を示している。図４に関する技術は、３２×３２量子化行列の文脈で説明されているが、本開示の態様はそのように限定されるものではなく、正方形でない量子化行列を含む、他のサイズの量子化行列に拡張することができる。量子化行列９４は、量子化行列９４のエントリの値のサブセットを含む第１のサブセット９６を含む。この例では、第１のサブセット９６は８×８行列である（左上の角に量子化行列値Ａ００１と、右下の角にＡ２３２とを含む）が、正方形でないサイズを含む他のサイズが可能である。この例では、第１のサブセット９６のエントリの係数値は、ビデオ符号器２０によって符号化され信号伝達することができる。第１のサブセット９６のサイズも符号化され信号伝達することができる。サイズは、第１のサブセット９６の最後の行及び最後の列でもよい。変数Ａ００１が量子化行列９４の（０，０）に位置すると想定すると、これは（７，７）である。このサブセットは正方形なので、１つの変数だけを信号伝達する必要がある可能性がある（例えば７）。正方形でないサブセットについて、最後の行及び最後の列の値は、符号化されて信号伝達することができる。

一部の例では、第２のサブセット９８のエントリの値は、第２のサブセット９８のエントリの値を予測するために利用されなくてもよい。第２のサブセットは、量子化行列値Ａ００９と、Ａ２５７と、Ａ１０２４とを含み、特に、点線によって境界が付けられている。楕円は追加的な量子化行列値を表し、図のサイズを減らすために使用されている。言い換えると、第２のサブセット９８のエントリの値は、第２のサブセットのエントリの係数値から計算される構文要素を利用せずに予測することができる。他の一部の例では、より詳細には以下に説明するように、第２のサブセット９８のエントリの値は、ビデオ符号器からの第２のサブセットの受信されたダウンサンプリングされた値から決定することができる。

一部の例では、第２のサブセット９８のエントリの値は、特定の値の上にある量子化行列値の最大又は特定の値の左にある量子化行列値の最大でもよい。左又は上の値が存在しない場合、左又は上の値はゼロであると想定される。例えば、量子化行列の第２のサブセットの係数値を予測するために、ビデオ符号器２０又はビデオ復号器３０は、座標位置［ｘ−１，ｙ］の左にある量子化行列のエントリの係数値、及び座標位置［ｘ，ｙ−１］の上にある量子化行列のエントリの係数値の大きい方として、座標位置［ｘ，ｙ］で第２のサブセットの現在のエントリについて係数値を設定することができる（ｎかけるｎの量子化行列において、左上の角は［０，０］であり、右下の角は［ｎ，ｎ］であると想定する）。

一部の例では、第１のサブセット９６のエントリの値は、ラスタースキャン順に予測することができる。しかし、他のスキャン順を使用することができる。この例では、量子化行列自体の値を信号伝達するのではなく、現在の量子化行列値と、ラスタースキャン順に沿った以前の量子化行列値との間の差が信号伝達される。量子化行列値は、一般的に、水平及び垂直方向に増加するため、提案された予測値（即ち上及び左の量子化行列値）に対する予測誤差（即ちスキャン順に沿った現在及び以前の量子化行列値の間の差）は、ほぼ常に負ではない。非対称の量子化行列が使用される場合、この提案された予測方式はうまく機能するが、ジグザグに基づくスキャンは、同じほどには効果的ではないだろうことに注意されたい。

一部の例では、予測誤差は、ゴロムコードを使用して符号化される。ゴロムコードパラメータは、（固定又は可変長コードを使用して）符号化されたビデオビットストリームで符号器によって含めることができるか、又は符号器と復号器の両方に認識させることができる。予測誤差を符号化するために、指数関数的なゴロムコード化など、他の方法を使用することが可能である。予測誤差にはわずかに広がる性質があるため、ゴロムコードが望ましい場合がある。時々発生する負の値を符号化できるように、再マッピング方法を用いることができる。

一部の例では、第２のサブセットの予測された係数値の１つ又は複数は、第２のサブセットの他の予測された係数値から予測することができる。例えば、第２のサブセットの一部でもある量子化行列のエントリの係数値は、第２のサブセットの現在のエントリの上にある場合があり、第２のサブセットの一部でもある量子化行列のエントリの係数値は、第２のサブセットの現在のエントリの左にある場合がある。この例では、現在のエントリの係数値を予測するために使用できるエントリに対する係数値は、予測された値自体でもよい。その理由は、これらのエントリは、第２のサブセットの一部でもあり、第２のサブセットのエントリに対する係数値は全て予測することができるためである。ビデオ符号器２０及びビデオ復号器３０は、サブセットの外（例えば第２のサブセット内）にある量子化エントリを全て導き出すために、このプロセスを使用することができる。量子化行列及び再構築された量子化行列を示す図が、図５及び図６に示されており、より詳細には以下に説明する。

図４に戻ると、一例として、Ａ００９の上では値は利用可能ではないので、第２のサブセット９８の係数Ａ００９の値は、第１のサブセット９６の係数Ａ００８に等しいことが予測される。Ａ２５７の左では値が利用可能ではないので、第２のサブセット９８の係数Ａ２５７の値は、第１のサブセット９６の係数Ａ２２５に等しいことが予測される。第２のサブセット９８の係数Ａ０４２の値は、両方とも第２のサブセット９８にある係数Ａ０１０及び係数Ａ０４１の値のより大きい方であると予測される。この例では、係数Ａ０１０及びＡ０４１の値は、両方の係数が第２のサブセット９８にあるので、予測された値である。

図５は、上に説明した技術に従って予測を使用して信号伝達できる例示的な値を用いる量子化行列を示す図である。図６は、本開示の１つ又は複数の例示的な技術を利用する再構築された量子化行列を示す図である。例えば、例を示す目的のために、図５は、８×８行列である量子化行列１００を示している。この例では、ビデオ符号器２０は、量子化行列１００の第１の５×５エントリに対する値を信号伝達することができる（太線で示す）。例えば、この例では、量子化行列１００の第１のサブセット１０１は、第１の５×５の値である。これが意味するのは、この例では、ゼロベースの行列を想定すると、ｌａｓｔ＿ｒｏｗ及びｌａｓｔ＿ｃｏｌの値はそれぞれ４であるということである。第１のサブセット１０１が正方形なので、ビデオ符号器２０は、５の値のみを信号伝達することができる（例えば、ｌａｓｔ＿ｒｏｗ及びｌａｓｔ＿ｃｏｌの値が同じであるので）。量子化行列１００の残りの値（即ち第１のサブセット１０１の外の値）は、第２のサブセットにあると考えられる。

図６は、再構築された量子化行列１０２を示している。この例では、ビデオ復号器３０（又は再構成ループのビデオ符号器２０）は、再構築された量子化行列１０２を生成するために例示的な技術の１つを利用することができる。例えば、ビデオ復号器３０及びビデオ符号器２０は、現在の係数に関して左の係数と上の係数との間の最大を使用することによって、量子化行列値の第２のサブセットの値を決定する技術を利用することができる。

再構築された量子化行列１０２は、この技術の結果を示している。例えば、第１のサブセット１０３の第１の５×５エントリは、これらの値は明示的に信号伝達されるため、量子化行列１００の第１のサブセット１０１の第１の５×５エントリと同じである。残りの値（例えば、第１のサブセット１０３の外の第２のサブセットの値）は、現在の係数に関して上及び左の係数の最大を決定することから得られる。

一部の例では、上に説明した予測及びラスタースキャンの代わりに、他のスキャン及び／又は予測を使用することができる。あるいは、サブセットの外の量子化行列エントリ（例えば第２のサブセットの係数値）は、最大許容量子化行列値など定数値に設定することができる。そのような定数値は、ビデオ符号器からビデオ復号器にビットストリームで信号伝達することができるか、又はビデオ符号器及びビデオ復号器を定数値でプリプログラムすることができる。

一部の例では、ビデオ復号器３０によって実行されるように、ビデオ符号器２０は、第２のサブセットの値を同様に予測することができる。例えば、ビデオ符号器２０は、第２のサブセットの値を予測し、第２のサブセットの予測された値で第２のサブセットの値を置き換えることができる。このように、ビデオ符号器側及びビデオ復号器側で使用される量子化行列は、同じでもよい。

一部のビデオコード化の例では、明示的に信号伝達されない量子化行列エントリ（即ち、長方形（０，０）から（ｌａｓｔ＿ｒｏｗ，ｌａｓｔ＿ｃｏｌ）の外のエントリ、第２のサブセットの値）を決定するために、量子化行列値の定数値又は第１のサブセットからの予測を使用することが十分でない場合がある。以下に、第２のサブセットの値を決定するために、異なる行列に対する値を使用する、ダウンサンプリングされた値を使用するなど、量子化行列値を信号伝達するための他の例について説明する。

一例として、明示的に信号伝達されないエントリ（例えば第２のサブセットの値）は、異なる行列（例えばサイズがより小さい量子化行列）から得られる。一例として、このサイズがより小さい量子化行列は、ビデオ符号器が信号伝達するビットストリームですでにコード化されている場合がある。一部の例では、異なる行列は量子化行列でもよい。ビデオ符号器２０は、以前にこの異なる行列を信号伝達したことがある場合がある。

例えば、ビデオ符号器は、４×４、８×８、１６×１６、又は３２×３２を含むサイズの量子化行列など、異なる量子化行列に対する値を信号伝達することができる。この例では、ビデオ復号器３０は、現在の量子化行列を再構築するために、以前にビットストリームで符号化された量子化行列のいずれかから係数値を利用することができる。例えば、再構築されることになっている量子化行列が３２×３２量子化行列であると想定する。この例では、ビデオ符号器２０は、３２×３２量子化行列の第１のサブセットの係数値を信号伝達することができる。ビデオ復号器は、サイズ４×４、８×８、又は１６×１６の量子化行列をすでに受信したと想定すると、ビデオ復号器は、３２×３２量子化行列を再構築するために、第２のサブセットの値を決定するために４×４、８×８、又は１６×１６の量子化行列を利用することができる。

一部の例では、３２×３２量子化行列を再構築するために、４×４、８×８、又は１６×１６の量子化行列のいずれかを使用することが可能な場合がある。例えば、３２×３２量子化行列を再構築するために、ビデオ復号器３０は、８×８量子化行列を使用することができ、８×８量子化行列は、再構成に４×４量子化行列を使用した再構築された量子化行列でもよい。しかし、量子化行列のそのような階層状の再構成は、全ての例において必要とは限らない。例えば、ビデオ符号器２０は、３２×３２量子化行列を再構築するためにビデオ復号器３０が使用する８×８量子化行列の全体を信号伝達することができる。３２×３２量子化行列の値の一部は信号伝達することができる一方、他の値は、より小さな行列の１つ又は複数から再構築することができる。

加えて、一部の例では、ビデオ符号器は、より小さな行列のサイズを信号伝達することができる（例えば第１のサブセット）。別の実施例では、ビデオ復号器３０及びビデオ符号器２０は、より小さい行列のサイズでプリプログラムすることができる（例えば、より小さい行列のサイズは、ビデオ符号器２０及びビデオ復号器３０に先験的に認識されていてもよい）。

具体的な一例として、量子化行列は３２×３２であり、ｌａｓｔ＿ｒｏｗ＝１４、ｌａｓｔ＿ｃｏｌ＝１４であることを想定する。この例では、ビデオ符号器２０は、３２×３２量子化行列の最低の１５×１５エントリに対する値を信号伝達する。ビデオ復号器３０が、インデックス（ｒ，ｃ）の行列エントリに対する値を導き出していると想定する。ここでｒ＞＝１５又はｃ＞＝１５である。この例では、量子化行列値を導き出すために、ビデオ復号器は、よりサイズが小さい量子化行列の場合がある異なる行列（例えば、８×８行列）からの値を使用することができる。

ビデオ復号器３０は、第２のサブセットに対する値を決定するために、より小さいサイズの量子化行列を使用する異なる方法を利用することができる。例えば、ビデオ復号器は、量子化行列のサイズと、異なるより小さいサイズの行列のサイズとの間の比を決定することができる。ビデオ復号器３０は、その値が比を用いて決定される量子化行列内のエントリの場所座標を分割することができ（例えば第２のサブセットのエントリに対する値）、異なるより小さいサイズの行列の対応する場所を決定するために天井及び床の関数を使用することができる。次いで、ビデオ復号器３０は、再構築されている量子化行列の第２のサブセットに対する値を決定するために、異なるより小さいサイズの行列内の識別された場所に対応する異なるサイズがより小さい行列の値を使用することができる。

ｒ_L＝ｆｌｏｏｒ（ｒ／４）、ｒ_H＝ｃｅｉｌ（ｒ／４）、ｃ_L＝ｆｌｏｏｒ（ｃ／４）、及びｃ_H＝ｃｅｉｌ（ｃ／４）であり、係数４は（３２／８）として導き出されるとする。ここで、ｆｌｏｏｒ（χ）は、χ以下の最も大きい整数を示している。同様に、ｃｅｉｌ（χ）は、χ以上の最も小さい整数を示している。

８×８量子化行列全体が復号器に送られた場合、再構築された８×８行列は、オリジナルの８×８量子化行列と同じである。双直線補間又は他のより高度な補間技術、及び／又はより長い補間フィルタを使用することができる。欠けている値を得られる行列のサイズは、ビットストリームで信号伝達することができるか、又はビデオ符号器及びビデオ復号器に先験的に認識されていてもよい。より小さい行列（例えば第１のサブセット）の値も、ビットストリームにも含まれていてもよい。

ＡＶＣ／Ｈ．２６４では、ジグザグスキャン及び差分パルス符号変調（ＤＰＣＭ、即ちスキャン順に最終値からの予測）が使用される。次いで、量子化行列値がゼロにコード化されている場合、これは、それ以上は量子化行列値がコード化されないこと、及び最後にコード化された正の量子化行列値が繰り返されることを示している。そのような場合は、すでに説明したように、最後にコード化された量子化行列値を繰り返す代わりに、残りの量子化行列値をより小さいサイズの量子化行列から得ることができる。

上記のように、一部の例では、ビデオ復号器３０は、第２のサブセットの値に基づいて、任意の構文要素を受信することなく、第２のサブセットの値を決定することができる。しかし、第２のサブセットの量子化行列値を信号伝達することを回避するのは、全ての例において有益とは限らない場合がある。つまり、量子化行列のより高い周波数成分に対して少なくとも一部の量子化行列値を信号伝達することは（例えば、値の第２のサブセットのもの）、再構築された量子化行列においてコード化効率と誤差との間でより良好なトレードオフを提供することができる。

本開示の別の例では、より詳細に以下に説明するように、ビデオ符号器２０は、量子化行列値のサブセットの値をダウンサンプリングし、ダウンサンプリングされた値を信号伝達することができる。ビデオ復号器は、ビデオ復号器側で量子化行列を再構築するために必要な値を決定するために、ダウンサンプリングされた値をアップサンプリングすることができる。ダウンサンプリングされた値には、オリジナルの値と比較して、より少ないデータがある場合があり、ダウンサンプリングされた値を信号伝達することによって、量子化行列のために信号伝達されるデータの量を減らすことができる。

ダウンサンプリングの一例では、量子化行列のサブセットの外の値（例えば（０，０）から（ｌａｓｔ＿ｒｏｗ，ｌａｓｔ＿ｃｏｌ）の値、即ち第２のサブセットの値）は、特定の係数（例えば２）によってダウンサンプリングすることができ、ダウンサンプリングされた値は、損失がない方法でビットストリームでコード化することができる。ダウンサンプリングされた値をコード化するために、ＡＶＣ／Ｈ．２６４、ＪＣＴＶＣ−Ｆ０８５、ＪＣＴＶＣ−Ｅ０７３、又は米国特許出願第１３／６４９，８３６号に記述されている技術に記述されているような任意のコード化方式を使用することができる。ダウンサンプリングは、単純な平均算出（例えば、Ｎ×Ｎ領域の量子化行列値の平均算出）を使用して、又はより高度なフィルタ及び／又は等式を使用して実行することができる。ビデオ符号器２０とビデオ復号器３０の両方は、第１のサブセットの外の値を生成するために、コード化された値のアップサンプリングを使用することができる（例えば、第２のサブセットに対する値）。アップサンプリングの技術は単純な画素複製を使用することができる（即ち、ダウンサンプリングされた領域内の全ての座標に対して、ダウンサンプリングされた値又はより高度な技術を使用することができる）。例えば、ダウンサンプリングされた量子化行列値は、ダウンサンプリングされたイメージと同様に処理することができる。次いで、ダウンサンプリングされた量子化行列をアップサンプリングするために、双直線補間、バイキュービック補間など、イメージのアップサンプリングを実行するために当技術分野で知られている技術を使用することができる。

上記のように、ビデオ符号器２０は、第１のサブセットの係数値を明示的に信号伝達し、何らかの形の予測を使用して、第２のサブセットに対して係数値を決定することができる。以下の例では、第１のサブセットの係数値を信号伝達し、予測を用いて第２のサブセットの値を決定するのではなく、以下の技術により、ビデオ符号器が、異なるレベルの粗さを持つ量子化行列の係数値を信号伝達するコード化されたビットストリームを生成することを可能にできる場合がある。例えば、量子化行列のより低い周波数成分に対応する係数値は、損失なく（即ち明示的に）信号伝達することができ、（例えば第２のサブセット、第３のサブセットなどの）他の係数値は、（例えば異なるダウンサンプリング係数を使用することによって）ますます粗く信号伝達することができる。より低い周波数位置に対応する係数値は、一般的に、量子化行列の起点に隣接して配置される（例えば、係数値に対する行及び列のインデックスは（０，０）に隣接する）。一般的に、以下の技術により、量子化行列値が量子化行列のどこに位置するかに基づいて、ビデオ符号器が、不均一な量のダウンサンプリングを量子化行列値に適用することが可能になる。

この例の技術は、量子化行列の起点から更に離れて配置された係数値が、量子化行列の起点により隣接して配置された係数値より粗く近似される方式を提供することができる。この例では、近似された量子化行列値（例えば、第２及び／又は第３のサブセット以上）は、ビットストリームでコード化され、信号伝達することができる。

しかし、一部の代替例では、第１のサブセットの係数値に対して以下の技術を利用することが可能な場合があり、ここで第１のサブセットは、上で説明しものに類似している。これらの代替例では、技術は、上記の例の技術のいずれかを使用して、第２のサブセットに対して係数値を決定することができる。

例えば、量子化行列の起点の近くの領域に位置する量子化行列値について（例えば、（０，０）に近い第１のサブセット）、ビデオ符号器２０は、ダウンサンプリングを適用しなくてもよい（即ち、ダウンサンプリング係数１を適用）この領域で、全ての量子化行列値が信号伝達される。量子化行列の係数値の場所が量子化行列の起点から更に遠い場合（例えば第１のサブセットの外の第２のサブセット）、ビデオ符号器２０は、より高いレベルのダウンサンプリングを適用することができる（例えば、ダウンサンプリング係数２、３、４などを適用）。１を超えるダウンサンプリング係数は、１つの値によって表される係数値の数を示すことができる。一例として、ダウンサンプリング係数２は、再構成に画素反復が使用される場合、量子化行列の２²（即ち４）の係数値を各符号化された値によって表すことができることを意味する場合がある。同様に、ダウンサンプリング係数４は、再構成に画素反復が使用される場合、量子化行列の２⁴（即ち１６）の係数値を各符号化された値によって表すことができることを意味する場合がある。

上記のように、ダウンサンプリング係数に従って計算された値は単純な平均でもよい。例えば、符号器側で、ダウンサンプリング係数２について、２×２正方形の４つの量子化行列値が平均され、それら４つの量子化行列値の平均が信号伝達される。同様に、ダウンサンプリング係数が４である場合、４×４正方形の１６の量子化行列値が平均され、それら１６の量子化行列値の平均が信号伝達される。ダウンサンプリングされた値を計算するために、他のより高度な等式又はフィルタ技術を使用することができる。

一部の例では、ビデオ符号器２０は、量子化行列内にダウンサンプリング遷移点（例えば境界）を確立することができる。第１の遷移点と量子化行列の起点との間の量子化行列に位置する係数値は、第１のダウンサンプリング係数（１と同じくらい低い場合がある。即ちダウンサンプリングなしを意味する）に従ってダウンサンプリングされ、第１の遷移点と第２の遷移点との間の量子化行列に位置する係数値は、第２のダウンサンプリング係数によってダウンサンプリングすることができ、第２の遷移点と第３の遷移点との間の量子化行列に位置する係数値は、第３のダウンサンプリング係数によってダウンサンプリングすることができる、のように続く。一部の例では、遷移点ごとにダウンサンプリング係数が変化する量は不均一でもよいが、本開示の態様はそのように限定されるものではない。

例えば、一部の例では、量子化行列値のサブセットの場所を示す構文要素は、ビットストリームに含まれていなくてもよい。代わりに、領域の場所は、ビデオ符号器と復号器の両方で先験的に認識されている。ダウンサンプリング係数１を使用することは、以前の例において低い周波数のサブセット値について行ったように、全ての値を送ることに等しい場合がある（例えば、低い周波数のサブセット値は、量子化行列の起点に隣接して配置される値を表している）。加えて、１を超えるダウンサンプリング係数を使用する他の領域について、追加的な量子化行列値をビットストリームに含めることができる。この一例は、１６×１６ブロックについて図７に示されている。

図７の例では、行と列の両方のインデックスが０＜＝インデックス＜＝３の範囲にある場合、ダウンサンプリング係数１が各方向に使用される（即ち、ダウンサンプリングなし）。行と列の両方のインデックスが０＜＝インデックス＜＝７の範囲にあるが、両方が０＜＝インデックス＜＝３の範囲にあるとは限らない場合、ダウンサンプリング係数２が各方向（行／列）に使用される。全ての残りの値について、ダウンサンプリング係数４が各方向に使用される。図７では、１つの量子化行列値が、番号が付けられた正方形のそれぞれ１つについてコード化される。この値は、対応する正方形に属するオリジナルの１６×１６量子化行列からの全ての量子化行列値の単純な平均算出によって導き出すことができる。この例では単純な平均算出が使用されているが、より高度なダウンサンプリングフィルタを使用することも可能な場合がある。この領域のダウンサンプリング係数は１であるため、正方形０〜１５は、それぞれ１つの量子化行列値に直接的に対応する。この領域のダウンサンプリング係数は２であるため、正方形１７〜２７は、量子化行列値の２×２ブロックに対応する（即ち４つの量子化行列値）。この領域のダウンサンプリング係数は４であるため、正方形２９〜３９は、量子化行列値の４×４ブロックに対応する（即ち１６の量子化行列値）。正方形内の数値は、ビットストリームで値がコード化されるジグザグスキャン順を表している。

各正方形に対応する１つの量子化行列値は、ビットストリームに含まれていてもよい。これは、各ダウンサンプリング係数について、特定の領域で個別のジグザグスキャンを使用して達成することができる。例えば、ダウンサンプリング係数１に対応する、第１の正方形０〜１５は、ジグザグ順にスキャンされる。この後に、ダウンサンプリング係数２に対応する、正方形１７〜２７のジグザグスキャンが続く。この後に、ダウンサンプリング係数４に対応する、正方形２８〜３９のジグザグスキャンが続く。より高いダウンサンプリング係数のジグザグスキャンが、より低いダウンサンプリング係数の別のジグザグスキャンの対象である領域に及ぶ場合、値はコード化されない（例えば、正方形１６から正方形１７に行く場合）。しかし、ダウンサンプリングされた値をコード化するためにＤＰＣＭが使用される場合、ジグザグスキャンでの次の値の予測値は、すでにビットストリームでコード化されている、より低いサブサンプリング係数に対する対応する量子化行列値から得ることができる。

例えば、図７では、サブサンプリング係数２に対応するジグザグスキャンについて考える。ジグザグスキャンは、インデックス１６及び１７を持つ正方形を通る。これら２つの正方形の間には、すでに、サブサンプリング係数１に対応するジグザグスキャンの対象にされている領域がある（正方形１１〜１５）。従って、この領域はすでにコード化されているため、その領域のビットストリームには値はコード化されない。しかし、ＤＰＣＭを使用してインデックス１７を持つ正方形に対して量子化行列値がコード化されている場合、予測値は、インデックス１１、１３、１４、及び１５を持つ正方形に対してすでにコード化されていた値から得られる。この量子化行列値は、最も近い整数へと端数を切り捨てたコード化された値の単純平均でもよい。

ダウンサンプリングされた量子化行列を受信すると、ビデオ復号器３０は、それらがビットストリームに含まれているのと同じ順に、係数値に対する量子化行列値を復号することができる。ビデオ復号器３０は、量子化行列値のアップサンプリングを実行するために単純な複製を使用することができる。つまり、正方形内の全ての位置は、同じ量子化行列値を使用する。これは、典型的には、その正方形に対応するコード化された値である。より高度なアップサンプリングフィルタを使用することもできる。

他の技術について上に説明したように、ダウンサンプリングされた量子化行列値は、ＤＰＣＭ（スキャンの以前の値からの予測）、続いて署名付き関数的ゴロムコード化を使用してコード化することができる。その領域がより低いサブサンプリング係数に対応するジグザグスキャンによってすでに対象にされていたので、一部の値がコード化されない場合、上に説明するように、次のコード化された値の予測が変更される。任意の他の予測及びコード化方式を使用することもできる。３つのダウンサンプリング係数の代わりに、図７に示すようになど、より少数又はより多くのダウンサンプリング係数及び領域を使用することができる。図８は、８×８ブロックに対して２つのダウンサンプリング係数を用いる例を示しており、ここでブロック０〜１５は、ダウンサンプリング係数１を持ち、ブロック１７〜２７は、ダウンサンプリング係数２を持つ。

上向き対角線など他のタイプのスキャンを使用できることも注意されたい。また、スキャンは逆順でもよい。例えば、最初に、ダウンサンプリング係数３に対応する値をコード化することができる。この後に、ダウンサンプリング係数２に対応する値などが続くことができる。

本開示の特定の一例では、量子化行列のＤＣ係数（即ち位置（０，０）での量子化行列値が、第１のサブセットの唯一の値であり、ダウンサンプリング係数１でダウンサンプリングされる（即ち明示的に信号伝達される）。量子化行列の他の全ての量子化行列値は、第２のサブセットにあると考えられ、２以上の係数でダウンサンプリングされる。図９は、この例に従ってコード化された１６×１６量子化行列を示している。図９に示すように、正方形０のＤＣ係数は明示的にコード化され（即ちダウンサンプリング係数１）、量子化行列の他の全ての量子化行列値は、係数２でダウンサンプリングされる。係数２でダウンサンプリングされた正方形１は、技術的にＤＣ係数を含んでいることに注意されたい。この特定の２×２ブロックに使用される値は、３つの残りの量子化行列値の平均として（即ち、ＤＣ係数以外のもの）、領域において４つの量子化行列値全ての平均として（即ち、ＤＣ係数を含む平均）、又は他の一部のフィルタ技術を使用して決定することができる。

本開示の別の例では、３２×３２ブロックについて、以下のダウンサンプリング遷移点を使用することができる。行と列の両方のインデックスが範囲０＜＝インデックス＜＝３にある場合、ダウンサンプリング係数１は、各方向に使用される（即ち、ダウンサンプリングなし）。行と列の両方のインデックスが、範囲が０＜＝インデックス＜＝１５にあるが、両方が範囲０＜＝インデックス＜＝３にあるとは限らない場合、ダウンサンプリング係数２は、各方向（行／列）に使用することができる。全ての残りの値について、ダウンサンプリング係数４を各方向に使用することができる。ダウンサンプリング係数が値を変更する遷移点（例えば１から２又は２から４）及び実際のダウンサンプリング係数は、ビットストリームに含めることができるか、又はビデオ符号器２０及びビデオ復号器３０の両方で先験的に認識することができる。

本開示の一例では、均一なサンプリングが使用される場合、８×８行列のみをコード化する必要がある。不均一なサンプリングについて、完全な量子化行列（３２×３２又は１６×１６）へのより正確な概算が達成されるため、より多くの量子化行列値がコード化される。

均一なサンプリング例について、１６×１６又は３２×３２の量子化行列をコード化する代わりに、より小さいサイズ（例えば８×８）の量子化行列がビットストリームでコード化される。次いで、より大きい行列のために量子化行列エントリの値を生成する必要がある場合、補間を使用することができる。最低の８×８周波数など、量子化行列エントリがより低い周波数サブセットの周波数を表している場合、より大きい量子化行列のために量子化行列エントリの値を計算するために、双直線補間が使用される。領域の残りについて、より小さいサイズの量子化行列からの対応する値の複製が使用される。最低の８×８周波数を使用する代わりに、他のサブセットを使用することができる。更に、双直線補間及び画素複製の代わりに、任意の２つの補間法を使用することができる。この技術は、２つを超える領域及び２つを超える補間法へと更に一般化することができる。

図７、図８、及び図９、並びに係数値がダウンサンプリングされる上に説明した例に関して、異なるダウンサンプリング係数が（即ち量子化行列値の異なるサブセットを表す）異なる領域で使用される。各サブセットについて、１つの量子化行列値をブロックごとに信号伝達することができ（例えば、図７〜図９の番号が付けられた正方形）、ここで各ブロックによって表される量子化行列値の数は、特定のサブセットに対するダウンサンプリング係数によって決定される。ダウンサンプリング係数間で切り換えが発生する位置は、ビデオ符号器及びビデオ復号器に認識されてもよいし、又は明示的に信号伝達されてもよい。

言い換えると、上に説明したダウンサンプリング技術は、ビデオ符号器２０が、より低い周波数の量子化行列値で損失がなく信号伝達することを可能にすることができ（ＤＣ係数の一例）、他の量子化行列値をますます粗く近似することができる。これにより、メモリに量子化行列全体を持つ必要を回避することができ、１６×１６及び３２×３２のブロックサイズにとって有益な場合がある（ただし、利点は、異なるサイズのブロックにも適用可能な場合がある）。

上に説明した技術に従って、ビデオ符号器２０は、複数の値を含む量子化行列を決定し、ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって量子化行列の値の第１の組をダウンサンプリングし、ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって量子化行列の値の第２の組をダウンサンプリングし、ダウンサンプリングされた値の第１の組とダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成するように構成することができる。

図２に戻ると、量子化に続いて、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応可能な可変長コード化（ＣＡＶＬＣ）、コンテキスト適応可能な２進算術コード化（ＣＡＢＡＣ）、構文ベースのコンテキスト適応可能な２進算術コード化（ＳＢＡＣ）、確率間隔区分化エントロピー（ＰＩＰＥ）コード化、又は別のエントロピー符号化方法若しくは技術を実行することができる。エントロピー符号化ユニット５６によるエントロピー符号化に続いて、符号化されたビットストリームは、ビデオ復号器３０に送信するか、又はビデオ復号器３０によって後の送信若しくは検索のためにアーカイブすることができる。エントロピー符号化ユニット５６は、また、コード化される現在のビデオスライスの運動ベクトル及び他の構文要素をエントロピー符号化することができる。

一部の例では、エントロピー符号化ユニット５６は、本開示の技術を実行するように動作可能な場合がある。しかし、本開示の態様はそのように限定されない。代替の例では、プロセッサなどビデオ符号器２０の他の一部のユニット、又はビデオ符号器２０の他のユニットは、本開示の技術を実行するように課することができる。一例として、エントロピー符号化ユニット５６は、量子化行列の第１のサブセットのサイズを符号化し、第１のサブセットの係数値を符号化し、量子化行列の第２のサブセットの係数値を予測するように動作可能な場合がある。また、一部の例では、本開示の技術は、ビデオ符号器２０のユニットの１つ又は複数の中で分割することができる。

逆量子化ユニット５８及び逆変換処理ユニット６０は、それぞれ、参照ピクチャの参照ブロックとして、後で使用するために画素領域において残余のブロックを再構築するために、逆量子化及び逆変換を適用する。運動補償ユニット４４は、参照ピクチャリストの１つ内の参照ピクチャの１つの予測的なブロックに、残余のブロックを追加することによって、参照ブロックを計算することができる。運動補償ユニット４４は、また、運動推定で使用される下位整数画素値を計算するために、再構築された残余ブロックに１つ又は複数補間フィルタを適用することができる。加算器６２は、参照ピクチャメモリ６４に格納するために参照ブロックを生成するために、運動補償ユニット４４によって生成された運動補正された予測ブロックに再構築された残余ブロックを追加する。参照ブロックは、続くビデオフレーム又はピクチャにおいてブロックをインター予測するために、参照ブロックとして運動推定ユニット４２及び運動補償ユニット４４によって使用することができる。

図３は、本開示で説明した技術を実装できる例示的なビデオ復号器３０を示すブロック図である。図３の例では、ビデオ復号器３０は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、参照ピクチャメモリ９２とを含む。予測処理ユニット８１は、運動補償ユニット８２とイントラ予測処理ユニット８４とを含む。ビデオ復号器３０は、一部の例では、図２からのビデオ符号器２０に関して説明した符号化段階に一般的に相互関係がある復号段階を実行することができる。

復号プロセスの間に、ビデオ復号器３０は、ビデオ符号器２０から符号化されたビデオスライスのビデオブロック、及び関連する構文要素を表す符号化されたビデオビットストリームを受信する。ビデオ復号器３０のエントロピー復号ユニット８０は、量子化された係数と、運動ベクトルと、他の構文要素とを生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、運動ベクトルと他の構文要素とを予測処理ユニット８１に転送する。ビデオ復号器３０は、ビデオスライスレベル及び／又はビデオブロックレベルで構文要素を受信することができる。

一部の例では、エントロピー復号ユニット８０は、本開示の技術を実行するように動作可能な場合がある。しかし、本開示の態様はそのように限定されない。代替の例では、プロセッサなどビデオ復号器３０の他の一部のユニット、又はビデオ復号器３０の他のユニットは、本開示の技術を実行するように課すことができる。一例として、エントロピー復号ユニット８０は、量子化行列の第１のサブセットのサイズを復号し、第１のサブセットの係数値を復号し、量子化行列の第２のサブセットの係数値を予測するように動作可能な場合がある。また、一部の例では、本開示の技術は、ビデオ復号器３０のユニットの１つ又は複数の中で分割することができる。

ビデオスライスがイントラ符号化（Ｉ）されたスライスとしてコード化される場合、予測処理ユニット８１のイントラ予測処理ユニット８４は、信号伝達されたイントラ予測モード、及び現在のフレーム又はピクチャの以前に復号されたブロックからのデータに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成することができる。ビデオフレームがインターコード化（即ちＢ、Ｐ、又はＧＰＢ）されたスライスとしてコード化される場合、予測処理ユニット８１の運動補償ユニット８２は、エントロピー復号ユニット８０から受信された運動ベクトル及び他の構文要素に基づいて、現在のビデオスライスのビデオブロックについて予測的なブロックを作成する。予測的なブロックは、参照ピクチャリストの１つ内の参照ピクチャの１つから作成することができる。ビデオ復号器３０は、参照ピクチャメモリ９２に格納された参照ピクチャに基づいて、デフォルト構造技術を使用して、参照フレームリスト、リスト０及びリスト１を構成することができる。

運動補償ユニット８２は、運動ベクトル及び他の構文要素を解析することによって、現在のビデオスライスのビデオブロックの予測情報を決定し、復号されている現在のビデオブロックについて予測的なブロックを作成するために予測情報を使用する。例えば、運動補償ユニット８２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えばイントラ又はインター予測）と、インター予測のスライスタイプ（例えばＢスライス、Ｐスライス、又はＧＰＢスライス）と、スライスの参照ピクチャリストの１つ又は複数の構築情報と、スライスの各インター符号化されたビデオブロックの運動ベクトルと、スライスの各インターコード化されたビデオブロックのインター予測ステータスと、現在のビデオスライスのビデオブロックを復号するための他の情報とを決定するために受信された構文要素の一部を使用する。

運動補償ユニット８２は、また、補間フィルタに基づいて補間を実行することができる。運動補償ユニット８２は、参照ブロックの下位整数画素に対する補間された値を計算するために、ビデオブロックの符号化の間にビデオ符号器２０によって使用されるような補間フィルタを使用することができる。この場合、運動補償ユニット８２は、受信された構文要素からのビデオ符号器２０によって使用される補間フィルタを決定し、予測的なブロックを作成するために補間フィルタを使用することができる。

逆量子化ユニット８６は、ビットストリームで提供され、エントロピー復号ユニット８０によって復号される、量子化された変換係数を逆量子化、即ち逆量子化する。逆量子化プロセスは、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定するために、ビデオスライスの各ビデオブロックのビデオ符号器２０によって計算され信号伝達される量子化パラメータ及び／又は量子化行列の使用を含むことができる。特に、逆量子化ユニット８６は、上に説明した技術に従ってコード化された、受信された量子化行列を復号するように構成することができる。特に、ビデオ復号器３０は、本開示の技術に従ってダウンサンプリングされた、受信された量子化行列をアップサンプリングするように構成することができる。

本開示の一例では、ビデオ復号器３０は、コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信し、値の第１の組を生成するために、第１のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングし、値の第２の組を生成するために、第２のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングし、値の第１及び第２の組で変換係数のブロックを逆量子化するように構成することができる。

逆変換処理ユニット８８は、画素領域において残余のブロックを作成するために、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスなどの逆変換を変換係数に適用する。

運動補償ユニット８２が運動ベクトル及び他の構文要素に基づいて現在のビデオブロックについて予測的なブロックを生成した後、ビデオ復号器３０は、運動補償ユニット８２によって生成された対応する予測的なブロックを用いて、逆変換処理ユニット８８からの残余のブロックを加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行するコンポーネント（複数可）を表している。望まれる場合は、デブロッキングフィルタは、また、ブロックノイズアーティファクトを取り除くために復号されたブロックをフィルタするために適用することができる。他のループフィルタは（コード化ループで、又はコード化ループの後）、また、画素移行を平滑化するか、又は他の場合にはビデオ品質を向上させるために使用することができる。次いで、所与のフレーム又はピクチャの復号されたビデオブロックは、続く運動補償に使用される参照ピクチャを格納する、参照ピクチャメモリ９２に格納される。参照ピクチャメモリ９２は、また、図１の表示装置３２など表示装置に後に表示するために復号されたビデオを格納する。

図１０は、本開示の技術に従ったビデオ符号化方法を示す流れ図である。図１０の方法は、ビデオ符号器２０によって実行することができる。ビデオ符号器２０は、複数の値を含む量子化行列を決定し（９２０）、ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって量子化行列の値の第１の組をダウンサンプリングし（９２２）、ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって量子化行列の値の第２の組をダウンサンプリングする（９２４）ように構成することができる。

本開示の一例では、ビデオ符号器２０は、量子化行列の値の第１の組の場所に基づいて第１のダウンサンプリング係数を決定し、量子化行列の値の第２の組の場所に基づいて第２のダウンサンプリング係数を決定することができる。特定の例では、値の第１の組は、量子化行列の場所（０，０）の値のみを含み、ここで第１のダウンサンプリング係数は１に決定され、ここで第２のダウンサンプリング係数は２及び４の１つであると決定される。

ビデオ符号器２０は、量子化行列値がどのようにダウンサンプリングされるかを決定するために、量子化行列の遷移点を決定するように構成することができる。一例では、ビデオ符号器２０は、量子化行列の第１の遷移点を決定することであって、第１の遷移点と量子化行列の起点との間に位置する値は、ダウンサンプリングされない、決定することと、量子化行列の第２の遷移点を決定することであって、量子化行列の値の第１の組は、第１の遷移点と第２の遷移点との間に位置する、決定することと、量子化行列の第３の遷移点を決定することであって、量子化行列の値の第２の組は、第２の遷移点と第３の遷移点との間に位置する、決定することとを行うように構成することができる。ビデオ符号器２０は、第１、第２、及び第３の遷移点と、コード化されたビットストリームの第１及び第２のダウンサンプリング係数とを信号伝達するように構成することができる。

本開示の一例では、ビデオ符号器２０は、ダウンサンプリングされた値の第１及び第２組のスキャン順に沿った以前のダウンサンプリングされた値からダウンサンプリングされた値の第１及び第２の組のスキャン順に沿ったダウンサンプリングされた値の１つを予測することによって、ダウンサンプリングされた値を信号伝達するように構成することができ、ここで第１の組のダウンサンプリングされた値は、第２の組のダウンサンプリングされた値を予測するために使用することができる。

本開示の別の例では、量子化行列の値の第１の組のダウンサンプリングは、ダウンサンプリングされた値の第１の組の値を生成するために、値の第１の組の量子化行列値の第１の数を平均することを備え、ここで第１の数は、第１のダウンサンプリング係数から決定され、ここで量子化行列の値の第２の組のダウンサンプリングは、ダウンサンプリングされた値の第２の組の値を生成するために、値の第２の組の量子化行列値の第２の数を平均することを備え、ここで第２の数は、第２のダウンサンプリング係数から決定される。

ビデオ符号器２０は、量子化された変換係数を形成するために、量子化行列に従って変換係数のブロックの変換係数の値を量子化するように更に構成することができる（９２６）。ビデオ符号器２０は、ダウンサンプリングされた値の第１の組とダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成するように更に構成することができる（９２８）。

図１１は、本開示の技術に従ったビデオ復号方法を示す流れ図である。図１１の方法は、ビデオ復号器３０によって実行することができる。ビデオ復号器３０は、コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信し（１０２０）、値の第１の組を生成するために、第１のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングし（１０２２）、値の第２の組を生成するために、第２のアップサンプリング係数によって量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングし（１０２４）、値の第１及び第２の組で変換係数のブロックを逆量子化する（１０２６）ように構成することができる。

本開示の一例では、ビデオ復号器３０は、量子化行列のダウンサンプリングされた値の第１の組の場所に基づいて、第１のアップサンプリング係数を決定し、量子化行列のダウンサンプリングされた値の第２の組の場所に基づいて、第２のアップサンプリング係数を決定するように構成することができる。特定の例では、ダウンサンプリングされた値の第１の組は、量子化行列の場所（０，０）の値のみを含み、ここで第１のアップサンプリング係数は１であると決定され、第２のアップサンプリング係数は、２及び４の１つであると決定される。

本開示の別の例では、ビデオ復号器３０は、量子化行列の第１の遷移点を決定することであって、第１の遷移点と量子化行列の起点との間に位置する量子化行列の値はダウンサンプリングされない、決定することと、量子化行列の第２の遷移点を決定することであって、量子化行列のダウンサンプリングされた値の第１の組は、第１の遷移点と第２の遷移点との間に位置する、決定することと、量子化行列の第３の遷移点を決定することであって、量子化行列のダウンサンプリングされた値の第２の組は、第２の遷移点と第３の遷移点との間に位置する、決定することとを行うように構成することができる。この例では、第１、第２、及び第３の遷移点と、第１及び第２のダウンサンプリング係数とは、コード化されたビットストリームで受信される。

本開示の別の例では、ビデオ復号器３０はダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値からダウンサンプリングされた値の第１及び第２の組のスキャン順に沿ったダウンサンプリングされた値の各連続する１つを予測するように構成され、第１の組のダウンサンプリングされた値は、第２の組のダウンサンプリングされた値を予測するために使用することができる。

本開示の別の例では、量子化行列の値の第１の組をアップサンプリングすることは、値の第１の組の第１の数に対するダウンサンプリングされた値の第１の組のダウンサンプリングされた値を複製することを備え、第１の数は、第１のアップサンプリング係数から決定され、量子化行列の値の第２の組をアップサンプリングすることは、値の第２の組の第２の数に対するダウンサンプリングされた値の第２の組のダウンサンプリングされた値を複製することを備え、第２の数は、第２のアップサンプリング係数から決定される。

本開示の一例では、ダウンサンプリングされた値の第１及び第２の組をアップサンプリングするために、異なるアップサンプリング技術が使用される。特定の例では、値の少なくとも第１及び第２の組は、双直線補間を使用してアップサンプリングされる。

ビデオ復号器３０は、ビデオデータの残余のブロックを形成するために変換係数の逆量子化されたブロックを逆変換し、ビデオデータの復号されたブロックを形成するためにビデオデータの残余のブロックに対して予測プロセスを実行するように更に構成することができる。

１つ又は複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せに実装することができる。ソフトウェアに実装した場合、機能は、１つ又は複数の命令又はコードとして、コンピュータ可読媒体に格納されるか、又はコンピュータ可読媒体を通じて送信され、ハードウェアベースの処理ユニットによって実行することができる。コンピュータ可読媒体は、データ記憶媒体など有形媒体に対応する、コンピュータ可読記憶媒体、又は例えば通信プロトコルに従って、ある場所から他の場所にコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般的に、（１）非一時的な有形のコンピュータ可読記憶媒体又は（２）信号若しくは搬送波などの通信媒体に対応することができる。データの記憶媒体は、本開示に説明した技術を実装するために、命令、コード、及び／又はデータ構造を取得するために、１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスできる任意の利用可能な媒体でもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。

限定を目的とせずに例を挙げると、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光学ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶装置、フラッシュメモリ、又は命令若しくはデータ構造の形で望まれるプログラムコードを格納するために使用でき、コンピュータによってアクセスできる他の媒体を備えることができる。また、どのような接続も正しくはコンピュータ可読媒体と呼ばれる。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などの無線技術を使用して、命令がウェブサイト、サーバ又は他の遠隔発信源から伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波など無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体及びデータの記憶媒体は、接続、搬送波、信号、又は他の一時的な媒体を含まないが、その代わりに、非一時的で有形の記憶媒体を示していることを理解するべきである。本明細書に使用する場合、ディスク（disk）及びディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタルバーサタイルディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びＢｌｕ−ｒａｙ（登録商標）ディスクを含み、ここでディスク（disk）は通常、磁気的にデータを再生する一方、ディスク（disc）は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれている。

命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）又は他の等しい統合されているか個別の論理回路など１つ又は複数のプロセッサによって実行することができる。従って、「プロセッサ」という用語は、本明細書に使用する場合、前述の構造のいずれか又は本明細書で説明した技術の実装に適した任意の他の構造を表すことができる。加えて、一部の態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用ハードウェア及び／又はソフトウェアモジュール内に提供することも、又は組み合わせたコーデックに組み込むこともできる。また、技術は、１つ以上の回路又は論理素子に完全に実装することができる。

本開示の技術は、ワイヤレスハンドセット、集積回路（ＩＣ）、又は１組のＩＣ（例えばチップセット）を含む、多種多様な機器又は装置に実装することができる。開示された技術を実行するように構成された機器の機能的な態様を強調するために、様々なコンポーネント、モジュール、又はユニットについて本開示で説明しているが、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記のように、各種ユニットは、コーデックハードウェアユニットに組み合わせることも、又は適切なソフトウェア及び／又はファームウェアに関連して、上に説明するような１つ又は複数のプロセッサを含む、相互に機能するハードウェアユニットの集合によって提供することもできる。

様々な例について説明してきた。これら及び他の例は、以下の特許請求の範囲に入るものである。

様々な例について説明してきた。これら及び他の例は、以下の特許請求の範囲に入るものである。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを符号化する方法であって、
複数の値を含む量子化行列を決定することと、
ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングすることと、
ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングすることと、
前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成することと
を備える方法。
［Ｃ２］
前記量子化行列の前記値の第１の組の位置に基づいて前記第１のダウンサンプリング係数を決定することと、
前記量子化行列の前記値の第２の組の位置に基づいて前記第２のダウンサンプリング係数を決定することと
を更に備えるＣ１に記載の方法。
［Ｃ３］
前記値の第１の組は、前記量子化行列の位置（０，０）の値のみを含み、前記第１のダウンサンプリング係数は１に決定され、前記第２のダウンサンプリング係数は２及び４の一方であると決定されるＣ２に記載の方法。
［Ｃ４］
前記量子化行列は、１６×１６又は３２×３２のサイズを持つＣ３に記載の方法。
［Ｃ５］
前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する値はダウンサンプリングされない、
前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
前記量子化行列の第３の遷移点を決定することと、前記量子化行列の前記値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを信号伝達することと
を更に備えるＣ１に記載の方法。
［Ｃ６］
前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の１つを予測することを更に含み、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができる、Ｃ１に記載の方法。
［Ｃ７］
前記量子化行列の前記値の第１の組のダウンサンプリングは、前記ダウンサンプリングされた値の第１の組の値を生成するために、前記値の第１の組の量子化行列値の第１の数を平均化することを備え、前記第１の数は、前記第１のダウンサンプリング係数から決定され、
前記量子化行列の前記値の第２の組のダウンサンプリングは、前記ダウンサンプリングされた値の第２の組の値を生成するために、前記値の第２の組の量子化行列値の第２の数を平均化することを備え、前記第２の数は、前記第２のダウンサンプリング係数から決定される
Ｃ１に記載の方法。
［Ｃ８］
残余のビデオデータのブロックを形成するために、ビデオデータのブロックに対して予測プロセスを実行することと、
変換係数のブロックを形成するために、前記残余のビデオデータを変換することと、
量子化された変換係数を形成するために、前記量子化行列に従って前記変換係数のブロックの変換係数の値を量子化することと、
前記量子化された変換係数を前記コード化されたビットストリームにエントロピーコード化することと
を更に備えるＣ１に記載の方法。
［Ｃ９］
コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信することと、
値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングすることと、
値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングすることと、
前記値の第１及び第２の組で変換係数のブロックを逆量子化することと
を備えるビデオデータを復号するための方法。
［Ｃ１０］
前記量子化行列の前記ダウンサンプリングされた値の第１の組の位置に基づいて前記第１のアップサンプリング係数を決定することと、
前記量子化行列の前記ダウンサンプリングされた値の第２の組の位置に基づいて前記第２のアップサンプリング係数を決定することと
を更に備えるＣ９に記載の方法。
［Ｃ１１］
ダウンサンプリングされた前記値の第１の組は、前記量子化行列の位置（０，０）の値のみを含み、前記第１のアップサンプリング係数は、１であると決定され、前記第２のアップサンプリング係数は、２及び４の一方であると決定されるＣ１０に記載の方法。
［Ｃ１２］
前記量子化行列は、１６×１６又は３２ｘ３２のサイズを持つ
Ｃ１１に記載の方法。
［Ｃ１３］
前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する前記量子化行列の値はダウンサンプリングされない、
前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記ダウンサンプリングされた値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
前記量子化行列の第３の遷移点を決定することと、前記量子化行列のダウンサンプリングされた値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを受信することと
を更に備えるＣ９に記載の方法。
［Ｃ１４］
前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の各連続する１つを予測することを更に含み、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができる、Ｃ９に記載の方法。
［Ｃ１５］
前記量子化行列の前記値の第１の組をアップサンプリングすることは、前記値の第１の組の第１の数に対する前記ダウンサンプリングされた値の第１の組のダウンサンプリングされた値を複製することを備え、前記第１の数は、前記第１のアップサンプリング係数から決定され、
前記量子化行列の前記値の第２の組をアップサンプリングすることは、前記値の第２の組の第２の数に対する前記ダウンサンプリングされた値の第２の組のダウンサンプリングされた値を複製することを備え、前記第２の数は、前記第２のアップサンプリング係数から決定される
Ｃ９に記載の方法。
［Ｃ１６］
前記ダウンサンプリングされた値の第１及び第２の組をアップサンプリングするために、異なるアップサンプリング技術が使用されるＣ９に記載の方法。
［Ｃ１７］
少なくとも前記値の第１及び第２の組は、双直線補間を使用してアップサンプリングされるＣ９に記載の方法。
［Ｃ１８］
ビデオデータの残余のブロックを形成するために、前記変換係数の逆量子化されたブロックを逆変換することと、
ビデオデータの復号されたブロックを形成するために、前記ビデオデータの残余のブロックに対して予測プロセスを実行することと
を更に備えるＣ９に記載の方法。
［Ｃ１９］
複数の値を含む量子化行列を決定し、
ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングし、
ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングし、
前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成する
ように構成されたビデオ符号器
を備えるビデオデータをコード化するように構成された装置。
［Ｃ２０］
前記ビデオ符号器は、
前記量子化行列の前記値の第１の組の位置に基づいて前記第１のダウンサンプリング係数を決定し、
前記量子化行列の前記値の第２の組の位置に基づいて前記第２のダウンサンプリング係数を決定する
ように更に構成されたＣ１９に記載の装置。
［Ｃ２１］
前記値の第１の組は、前記量子化行列の位置（０，０）の値のみを含み、
前記第１のダウンサンプリング係数は、１に決定され、前記第２のダウンサンプリング係数は、２及び４の一方であると決定されるＣ２０に記載の装置。
［Ｃ２２］
前記量子化行列は、１６×１６又は３２ｘ３２のサイズを持つ
Ｃ２１に記載の装置。
［Ｃ２３］
前記ビデオ符号器は、
前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する値は、ダウンサンプリングされない、
前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
前記量子化行列の第３の遷移点を決定することと、前記量子化行列の前記値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを信号伝達することと
を行うように更に構成されたＣ１９に記載の装置。
［Ｃ２４］
前記ビデオ符号器は、
前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の１つを予測するように更に構成され、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができるＣ１９に記載の装置。
［Ｃ２５］
前記量子化行列の前記値の第１の組のダウンサンプリングは、前記ダウンサンプリングされた値の第１の組の値を生成するために、前記値の第１の組の量子化行列値の第１の数を平均することを備え、前記第１の数は、前記第１のダウンサンプリング係数から決定され、
前記量子化行列の前記値の第２の組のダウンサンプリングは、前記ダウンサンプリングされた値の第２の組の値を生成するために、前記値の第２の組の量子化行列値の第２の数を平均することを備え、前記第２の数は、前記第２のダウンサンプリング係数から決定される
Ｃ１９に記載の装置。
［Ｃ２６］
前記ビデオ符号器は、
残余のビデオデータのブロックを形成するために、ビデオデータのブロックに対して予測プロセスを実行し、
変換係数のブロックを形成するために、前記残余のビデオデータを変換し、
量子化された変換係数を形成するために、前記量子化行列に従って前記変換係数のブロックの変換係数の値を量子化し、
前記量子化された変換係数を前記コード化されたビットストリームにエントロピーコード化する
ように更に構成されたＣ１９に記載の装置。
［Ｃ２７］
ビデオデータを復号するように構成された装置であって、
コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信し、
値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングし、
値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングし、
前記値の第１及び第２の組で変換係数のブロックを逆量子化する
ように構成されたビデオ復号器
を含む装置。
［Ｃ２８］
前記ビデオ復号器は、
前記量子化行列の前記ダウンサンプリングされた値の第１の組の位置に基づいて、前記第１のアップサンプリング係数を決定し、
前記量子化行列の前記ダウンサンプリングされた値の第２の組の位置に基づいて、前記第２のアップサンプリング係数を決定する
ように更に構成されたＣ２７に記載の装置。
［Ｃ２９］
ダウンサンプリングされた前記値の第１の組は、前記量子化行列の位置（０，０）の値のみを含み、前記第１のアップサンプリング係数は、１であると決定され、前記第２のアップサンプリング係数は、２及び４の１つであると決定されるＣ２８に記載の装置。
［Ｃ３０］
前記量子化行列は、１６×１６又は３２×３２のサイズを持つ
Ｃ２９に記載の装置。
［Ｃ３１］
前記ビデオ復号器は、
前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する前記量子化行列の値はダウンサンプリングされない、
前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記ダウンサンプリングされた値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
前記量子化行列の第３の遷移点を決定することと、前記量子化行列のダウンサンプリングされた値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを受信することと
を行うように更に構成されたＣ２７に記載の装置。
［Ｃ３２］
前記ビデオ復号器は、
前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の各連続する１つを予測するように更に構成され、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができるＣ２７に記載の装置。
［Ｃ３３］
前記量子化行列の前記値の第１の組をアップサンプリングすることは、前記値の第１の組の第１の数に対する前記ダウンサンプリングされた値の第１の組のダウンサンプリングされた値を複製することを備え、前記第１の数は、前記第１のアップサンプリング係数から決定され、
前記量子化行列の前記値の第２の組をアップサンプリングすることは、前記値の第２の組の第２の数に対する前記ダウンサンプリングされた値の第２の組のダウンサンプリングされた値を複製することを備え、前記第２の数は、前記第２のアップサンプリング係数から決定される
Ｃ２７に記載の装置。
［Ｃ３４］
前記ダウンサンプリングされた値の第１及び第２の組をアップサンプリングするために、異なるアップサンプリング技術が使用されるＣ２７に記載の装置。
［Ｃ３５］
値の少なくとも第１及び第２の組は、双直線補間を使用してアップサンプリングされるＣ２７に記載の装置。
［Ｃ３６］
前記ビデオ復号器は、
ビデオデータの残余のブロックを形成するために、前記変換係数の逆量子化されたブロックを逆変換し、
ビデオデータの復号されたブロックを形成するために、前記ビデオデータの残余のブロックに対して予測プロセスを実行する
ように更に構成されたＣ２７に記載の装置。
［Ｃ３７］
複数の値を含む量子化行列を決定するための手段と、
ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングするための手段と、
ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングするための手段と、
前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成するための手段と
を備えるビデオデータを符号化するように構成された装置。
［Ｃ３８］
コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信するための手段と、
値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングするための手段と、
値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングするための手段と、
前記値の第１及び第２の組で変換係数のブロックを逆量子化するための手段と
を含むビデオデータを復号するように構成された装置。
［Ｃ３９］
実行されたときに、ビデオデータを符号化するように構成された機器の１つ以上のプロセッサに、
複数の値を含む量子化行列を決定し、
ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングし、
ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングし、
前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成する
ことをさせる命令を格納するコンピュータ可読記憶媒体。
［Ｃ４０］
実行されたときに、ビデオデータを復号するように構成された機器の１つ以上のプロセッサに、
コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信し、
値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングし、
値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングし、
前記値の第１及び第２の組で変換係数のブロックを逆量子化する
ことをさせる命令を格納するコンピュータ可読記憶媒体。

Claims (40)

1. ビデオデータを符号化する方法であって、
   複数の値を含む量子化行列を決定することと、
   ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングすることと、
   ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングすることと、
   前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成することと
   を備える方法。
2. 前記量子化行列の前記値の第１の組の場所に基づいて前記第１のダウンサンプリング係数を決定することと、
   前記量子化行列の前記値の第２の組の場所に基づいて前記第２のダウンサンプリング係数を決定することと
   を更に備える請求項１に記載の方法。
3. 前記値の第１の組は、前記量子化行列の場所（０，０）の値のみを含み、前記第１のダウンサンプリング係数は１に決定され、前記第２のダウンサンプリング係数は２及び４の一方であると決定される請求項２に記載の方法。
4. 前記量子化行列は、１６×１６又は３２×３２のサイズを持つ請求項３に記載の方法。
5. 前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する値はダウンサンプリングされない、
   前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
   前記量子化行列の第３の遷移点を決定することと、前記量子化行列の前記値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
   前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを信号伝達することと
   を更に備える請求項１に記載の方法。
6. 前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の１つを予測することを更に含み、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができる、請求項１に記載の方法。
7. 前記量子化行列の前記値の第１の組のダウンサンプリングは、前記ダウンサンプリングされた値の第１の組の値を生成するために、前記値の第１の組の量子化行列値の第１の数を平均化することを備え、前記第１の数は、前記第１のダウンサンプリング係数から決定され、
   前記量子化行列の前記値の第２の組のダウンサンプリングは、前記ダウンサンプリングされた値の第２の組の値を生成するために、前記値の第２の組の量子化行列値の第２の数を平均化することを備え、前記第２の数は、前記第２のダウンサンプリング係数から決定される
   請求項１に記載の方法。
8. 残余のビデオデータのブロックを形成するために、ビデオデータのブロックに対して予測プロセスを実行することと、
   変換係数のブロックを形成するために、前記残余のビデオデータを変換することと、
   量子化された変換係数を形成するために、前記量子化行列に従って前記変換係数のブロックの変換係数の値を量子化することと、
   前記量子化された変換係数を前記コード化されたビットストリームにエントロピーコード化することと
   を更に備える請求項１に記載の方法。
9. コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信することと、
   値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングすることと、
   値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングすることと、
   前記値の第１及び第２の組で変換係数のブロックを逆量子化することと
   を備えるビデオデータを復号するための方法。
10. 前記量子化行列の前記ダウンサンプリングされた値の第１の組の場所に基づいて前記第１のアップサンプリング係数を決定することと、
    前記量子化行列の前記ダウンサンプリングされた値の第２の組の場所に基づいて前記第２のアップサンプリング係数を決定することと
    を更に備える請求項９に記載の方法。
11. ダウンサンプリングされた前記値の第１の組は、前記量子化行列の場所（０，０）の値のみを含み、前記第１のアップサンプリング係数は、１であると決定され、前記第２のアップサンプリング係数は、２及び４の一方であると決定される請求項１０に記載の方法。
12. 前記量子化行列は、１６×１６又は３２ｘ３２のサイズを持つ
    請求項１１に記載の方法。
13. 前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する前記量子化行列の値はダウンサンプリングされない、
    前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記ダウンサンプリングされた値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
    前記量子化行列の第３の遷移点を決定することと、前記量子化行列のダウンサンプリングされた値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
    前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを受信することと
    を更に備える請求項９に記載の方法。
14. 前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の各連続する１つを予測することを更に含み、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができる、請求項９に記載の方法。
15. 前記量子化行列の前記値の第１の組をアップサンプリングすることは、前記値の第１の組の第１の数に対する前記ダウンサンプリングされた値の第１の組のダウンサンプリングされた値を複製することを備え、前記第１の数は、前記第１のアップサンプリング係数から決定され、
    前記量子化行列の前記値の第２の組をアップサンプリングすることは、前記値の第２の組の第２の数に対する前記ダウンサンプリングされた値の第２の組のダウンサンプリングされた値を複製することを備え、前記第２の数は、前記第２のアップサンプリング係数から決定される
    請求項９に記載の方法。
16. 前記ダウンサンプリングされた値の第１及び第２の組をアップサンプリングするために、異なるアップサンプリング技術が使用される請求項９に記載の方法。
17. 少なくとも前記値の第１及び第２の組は、双直線補間を使用してアップサンプリングされる請求項９に記載の方法。
18. ビデオデータの残余のブロックを形成するために、前記変換係数の逆量子化されたブロックを逆変換することと、
    ビデオデータの復号されたブロックを形成するために、前記ビデオデータの残余のブロックに対して予測プロセスを実行することと
    を更に備える請求項９に記載の方法。
19. 複数の値を含む量子化行列を決定し、
    ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングし、
    ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングし、
    前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成する
    ように構成されたビデオ符号器
    を備えるビデオデータをコード化するように構成された装置。
20. 前記ビデオ符号器は、
    前記量子化行列の前記値の第１の組の場所に基づいて前記第１のダウンサンプリング係数を決定し、
    前記量子化行列の前記値の第２の組の場所に基づいて前記第２のダウンサンプリング係数を決定する
    ように更に構成された請求項１９に記載の装置。
21. 前記値の第１の組は、前記量子化行列の場所（０，０）の値のみを含み、
    前記第１のダウンサンプリング係数は、１に決定され、前記第２のダウンサンプリング係数は、２及び４の一方であると決定される請求項２０に記載の装置。
22. 前記量子化行列は、１６×１６又は３２ｘ３２のサイズを持つ
    請求項２１に記載の装置。
23. 前記ビデオ符号器は、
    前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する値は、ダウンサンプリングされない、
    前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
    前記量子化行列の第３の遷移点を決定することと、前記量子化行列の前記値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
    前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを信号伝達することと
    を行うように更に構成された請求項１９に記載の装置。
24. 前記ビデオ符号器は、
    前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の１つを予測するように更に構成され、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができる請求項１９に記載の装置。
25. 前記量子化行列の前記値の第１の組のダウンサンプリングは、前記ダウンサンプリングされた値の第１の組の値を生成するために、前記値の第１の組の量子化行列値の第１の数を平均することを備え、前記第１の数は、前記第１のダウンサンプリング係数から決定され、
    前記量子化行列の前記値の第２の組のダウンサンプリングは、前記ダウンサンプリングされた値の第２の組の値を生成するために、前記値の第２の組の量子化行列値の第２の数を平均することを備え、前記第２の数は、前記第２のダウンサンプリング係数から決定される
    請求項１９に記載の装置。
26. 前記ビデオ符号器は、
    残余のビデオデータのブロックを形成するために、ビデオデータのブロックに対して予測プロセスを実行し、
    変換係数のブロックを形成するために、前記残余のビデオデータを変換し、
    量子化された変換係数を形成するために、前記量子化行列に従って前記変換係数のブロックの変換係数の値を量子化し、
    前記量子化された変換係数を前記コード化されたビットストリームにエントロピーコード化する
    ように更に構成された請求項１９に記載の装置。
27. ビデオデータを復号するように構成された装置であって、
    コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信し、
    値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングし、
    値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングし、
    前記値の第１及び第２の組で変換係数のブロックを逆量子化する
    ように構成されたビデオ復号器
    を含む装置。
28. 前記ビデオ復号器は、
    前記量子化行列の前記ダウンサンプリングされた値の第１の組の場所に基づいて、前記第１のアップサンプリング係数を決定し、
    前記量子化行列の前記ダウンサンプリングされた値の第２の組の場所に基づいて、前記第２のアップサンプリング係数を決定する
    ように更に構成された請求項２７に記載の装置。
29. ダウンサンプリングされた前記値の第１の組は、前記量子化行列の場所（０，０）の値のみを含み、前記第１のアップサンプリング係数は、１であると決定され、前記第２のアップサンプリング係数は、２及び４の１つであると決定される請求項２８に記載の装置。
30. 前記量子化行列は、１６×１６又は３２×３２のサイズを持つ
    請求項２９に記載の装置。
31. 前記ビデオ復号器は、
    前記量子化行列の第１の遷移点を決定することと、前記第１の遷移点と前記量子化行列の起点との間に位置する前記量子化行列の値はダウンサンプリングされない、
    前記量子化行列の第２の遷移点を決定することと、前記量子化行列の前記ダウンサンプリングされた値の第１の組は、前記第１の遷移点と前記第２の遷移点との間に位置する、
    前記量子化行列の第３の遷移点を決定することと、前記量子化行列のダウンサンプリングされた値の第２の組は、前記第２の遷移点と前記第３の遷移点との間に位置する、
    前記コード化されたビットストリームで、前記第１、第２、及び第３の遷移点と、前記第１及び第２のダウンサンプリング係数とを受信することと
    を行うように更に構成された請求項２７に記載の装置。
32. 前記ビデオ復号器は、
    前記ダウンサンプリングされた値の第１及び第２の組のスキャン順に沿った以前のダウンサンプリングされた値から前記ダウンサンプリングされた値の第１及び第２の組の前記スキャン順に沿った前記ダウンサンプリングされた値の各連続する１つを予測するように更に構成され、前記第１の組のダウンサンプリングされた値は、前記第２の組のダウンサンプリングされた値を予測するために使用することができる請求項２７に記載の装置。
33. 前記量子化行列の前記値の第１の組をアップサンプリングすることは、前記値の第１の組の第１の数に対する前記ダウンサンプリングされた値の第１の組のダウンサンプリングされた値を複製することを備え、前記第１の数は、前記第１のアップサンプリング係数から決定され、
    前記量子化行列の前記値の第２の組をアップサンプリングすることは、前記値の第２の組の第２の数に対する前記ダウンサンプリングされた値の第２の組のダウンサンプリングされた値を複製することを備え、前記第２の数は、前記第２のアップサンプリング係数から決定される
    請求項２７に記載の装置。
34. 前記ダウンサンプリングされた値の第１及び第２の組をアップサンプリングするために、異なるアップサンプリング技術が使用される請求項２７に記載の装置。
35. 値の少なくとも第１及び第２の組は、双直線補間を使用してアップサンプリングされる請求項２７に記載の装置。
36. 前記ビデオ復号器は、
    ビデオデータの残余のブロックを形成するために、前記変換係数の逆量子化されたブロックを逆変換し、
    ビデオデータの復号されたブロックを形成するために、前記ビデオデータの残余のブロックに対して予測プロセスを実行する
    ように更に構成された請求項２７に記載の装置。
37. 複数の値を含む量子化行列を決定するための手段と、
    ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングするための手段と、
    ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングするための手段と、
    前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成するための手段と
    を備えるビデオデータを符号化するように構成された装置。
38. コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信するための手段と、
    値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングするための手段と、
    値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングするための手段と、
    前記値の第１及び第２の組で変換係数のブロックを逆量子化するための手段と
    を含むビデオデータを復号するように構成された装置。
39. 実行されたときに、ビデオデータを符号化するように構成された機器の１つ以上のプロセッサに、
    複数の値を含む量子化行列を決定し、
    ダウンサンプリングされた値の第１の組を生成するために、第１のダウンサンプリング係数によって前記量子化行列の値の第１の組をダウンサンプリングし、
    ダウンサンプリングされた値の第２の組を生成するために、第２のダウンサンプリング係数によって前記量子化行列の値の第２の組をダウンサンプリングし、
    前記ダウンサンプリングされた値の第１の組と前記ダウンサンプリングされた値の第２の組とを含むコード化されたビットストリームを生成する
    ことをさせる命令を格納するコンピュータ可読記憶媒体。
40. 実行されたときに、ビデオデータを復号するように構成された機器の１つ以上のプロセッサに、
    コード化されたビットストリームのダウンサンプリングされた値でコード化された量子化行列を受信し、
    値の第１の組を生成するために、第１のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第１の組をアップサンプリングし、
    値の第２の組を生成するために、第２のアップサンプリング係数によって前記量子化行列のダウンサンプリングされた値の第２の組をアップサンプリングし、
    前記値の第１及び第２の組で変換係数のブロックを逆量子化する
    ことをさせる命令を格納するコンピュータ可読記憶媒体。

Images