JP2007528675A - Ａｖｃ用解像度低下更新モード - Google Patents

Abstract

画像スライスのビデオ信号データを符号化及び復号するビデオエンコーダ、ビデオデコーダ、及び対応する符号化方法及び復号方法である。ビデオエンコーダは、予測残差の変換と量子化の前に画像スライスの少なくとも一部の予測残差をダウンサンプリングするスライス予測残差ダウンサンプラ（６４５）を含む。ビデオデコーダは、画像スライスの予測残差をアップサンプリングする予測残差アップサンプラ（７１５）を含む。

Description

発明の詳細な説明

［米国政府の資金協力を受けた研究開発における政府ライセンス権］
米国政府は本発明について一括払いライセンスを受けており、限定的な状況において特許権者に合理的な条件で他者にライセンスするよう求める権利を有している。その条件は、米国標準技術局により与えられたプロジェクトＩＤ契約番号第２００３００５６７６Ｂ号の条件に与えられている。
［関連出願への相互参照］
本発明は、２００４年３月９日に出願された米国仮出願第６０／５５１，４１７号（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ． ＰＵ０４００７３）（発明の名称「ＡＶＣ用解像度低下スライス更新モード」）の利益を主張するものである。この仮出願はここにその全体を参照援用する。

本発明は、ビデオコーダ及びデコーダに関し、特に、ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）用解像度低下スライス更新に関する。

国際電気通信連合・電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ）、またはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＭＰＥＧ）−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ））にはいくつかの新しい機能が導入された。この新しい機能により、ＭＰＥＧ−２／４やＨ．２６３等の従来の標準と比較して、符号化効率が大幅に改善する。そうは言っても、Ｈ．２６４は従来の標準のアルゴリズム的機能をほとんど含んでいるが、一部の機能は破棄され、及び／または移植されなかった。こうした機能の一つとして解像度低下更新モードがある。このモードはＨ．２６３にはあった。このモードにより、符号化ピクチャレートがよくなるが、一方見た目の（ｓｕｂｊｅｃｔｉｖｅ）品質は十分によいままである。これは解像度を低くして画像を符号化し、一方で高解像度基準を用いて予測を行うことによる。これにより、最終的な画像も全解像度で再構成できる。このモードはＨ．２６３において特にシーケンス内に大きな動きがある時に特に有用であることが分かっている。エンコーダのフレームレートを高く維持でき（それにより時間的解像度はよくなり）、一方で、静的領域の解像度と品質はよいままだからである。

このモードで符号化されたビットストリームのシンタックス（ｓｙｎｔａｘ）は全解像度で符号化されたビットストリームと基本的には同じであるが、主な違いは、ビットストリーム内の全てのモードをどのように解釈するか、残差情報をどのように考え動き補償後に加えるかという点である。より具体的には、このモードの画像はマクロブロック数が全解像度で符号化されたピクチャの１／４であり、一方、動きベクトルデータは、全解像度ピクチャの１６×１６や８×８のブロックサイズではなく、３２×３２や１６×１６のブロックサイズに関連している。他方、離散余弦変換（ＤＣＴ）とテクスチャのデータは解像度低下画像の８×８ブロックと関連しており、最終的な全解像度画像表示を得るためにはアップサンプリングプロセスが必要である。

このプロセスの結果、客観的な品質は低下するが、符号化する必要があるビットの減少により補って余りがある。モード数、動きデータ、及び残差が減少するからである。このことはビットレートが非常に低く、モードと動きのデータが残差よりも大幅に多い場合に特に重要である。主観的品質も客観的品質ほど悪くはならない。また、このプロセスは符号化前の残差データに対するローパスフィルタの適用と幾分類似している。しかし、このプロセスには全てのモード、動きデータ、及びフィルター後の残差の送信が必要であり、効率的ではない。このコンセプトはＨ．２６４には導入されず、コンセプト、方法論、シンタックスとしてサポートされていない。

本発明は、先行技術のこれらの欠点（ｄｒａｗｂａｃｋｓ ａｎｄ ｄｉｓａｄｖａｎｔａｇｅｓ）を解決するものであり、ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）用解像度低下スライス更新モードの開発とサポートに係る。ここに開示する解像度低下スライス更新モードはＨ．２６４（すなわちＪＶＴまたはＭＰＥＧ−４ ＡＶＣ）での使用に特に好適であるが、これに限定されるものではない。

本発明の一態様によると、画像スライスのビデオ信号データを符号化するビデオエンコーダを提供する。該ビデオエンコーダは、予測残差の変換と量子化の前に画像スライスの少なくとも一部の予測残差をダウンサンプリングするスライス予測残差ダウンサンプラを含む。

本発明の他の態様によると、画像のビデオ信号データを符号化するビデオエンコーダを提供する。該ビデオエンコーダは、マクロブロック整列手段とスライス予測残差ダウンサンプラを含む。マクロブロック整列手段は、画像に対応するマクロブロックを２つ以上のスライスグループに配置するものである。スライス予測残差ダウンサンプラは、画像スライスの少なくとも一部の予測残差をそれの変換と量子化の前にダウンサンプリングするものである。スライス予測残差ダウンサンプラは、さらに、ダウンサンプリングするために２つ以上のスライスグループの少なくとも１つを受け取るものである。

本発明のさらに別の態様によると、画像スライスのビデオ信号データを復号するビデオデコーダを提供する。該ビデオデコーダは画像スライスの予測残差をアップサンプリングする予測残差アップサンプラと、アップサンプリングされた予測残差を予測リファレンスに加える加算器とを含む。

本発明のさらに他の態様によると、画像スライスのビデオ信号データを符号化する方法を提供する。該方法は、画像の予測残差をその変換と量子化の前にダウンサンプリングする段階を有する。

本発明のさらに別の態様によると、画像スライスのビデオ信号データの復号方法を提供する。該方法は、画像スライスの予測残差をアップサンプリングする段階と、アップサンプリングされた予測残差を予測されたリファレンスに加える段階とを有する。

本発明のこれらの態様、特徴、有利性等は、以下に記載する実施形態例の詳細な説明から明らかになる。この詳細な説明は添付した図面を参照しながら読むべきである。

本発明は、ＡＶＣ（ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ）用解像度低下スライス更新に係わる。本発明は、解像度低下更新（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ（ＲＲＵ））のコンセプトを使用する。このモードはＩＴＵ−Ｔ Ｈ．２６３標準によりサポートされている。本発明により、ＲＲＵモードを導入して新しいＩＴＵ−Ｔ Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ／ＪＶＴ）ビデオ符号化標準で仕様することができる。このモードにより符号化ピクチャレートを大きくし、一方で主観的品質を十分保つことができる。これは、画像を解像度を低下させて符号化し、一方で高い解像度のｒｅｆｅｒｅｎｃｅを用いて予測を行うことにより行われる。これにより、画像を符号化するのに必要なビットレートを大幅に低下させるが、最終画像を全解像度かつよい品質で再構成することができる。Ｈ．２６４がＲＲＵモードをサポートしないことを考え、本発明はいくつかの新しく独自のツールとコンセプトを利用してＲＲＵを実装する。例えば、Ｈ．２６４用のＲＲＵを開発する場合、そのコンセプトを修正して新しい標準及び／またはその拡張の仕様に適合させなければならない。この修正には、新しいシンタックス要素と、インター及びイントラ予測モードに対する一定の語義及びエンコーダ／デコーダアーキテクチャの修正が含まれる。Ｈ．２６４標準がサポートするその他のツール／機能（例えばマクロブロックベース適応フィールド／フレームモード等）への影響もここで説明して解決する。

この説明は本発明の原理を例示する。言うまでもなく、ここでは明示的には説明も図示もしていないが、当業者は本発明の原理を化体しその精神と範囲に含まれる様々な構成を工夫することができる。

ここに記載した例や条件はすべて、読者が本発明の原理と発明者が貢献したコンセプトを理解するのを助ける教育的な目的を有するものであり、このように具体的に記載した実施例と条件に限定されることなく解釈すべきである。

さらに、本発明の原理、態様、実施形態を記載した全ての記述及びその特定の実施例は、それらの構造的均等物及び機能的均等物の両方を含む。また、これらの均等物には、現在知られている均等物及び将来開発される均等物（すなわち、構造にかかわらず同一の機能を実行するよう開発されるすべての要素）を含む。

よって、例えば、当業者には明らかであるが、ここに提示したブロック図は本発明の原理を化体する回路例のコンセプチュアルビューを表す。同様に、言うまでもなく、フローチャート、フロー図、状態遷移図、擬似コード等は、コンピュータ読み取り可能媒体に実質的に表されコンピュータやプロセッサにより実行されるプロセスを表す。そのコンピュータやプロセッサが明示的に示されているか否かにはよらない。

図示したいろいろな要素の機能は、専用ハードウェア及び適当なソフトウェアに関連してソフトウェアを実行できるハードウェアの使用を通じて提供される。プロセッサにより提供される場合、機能は単一の専用プロセッサ、単一の共通プロセッサ、またはその一部は共通である複数のプロセッサにより提供することもできる。さらに、「プロセッサ」や「コントローラ」という用語を用いても、必ずしもソフトウェアを実行できるハードウェアのみを指しているものではなく、黙示的にデジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェア記憶用読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置等を含むが、これに限定はされない。

他のハードウェアも従来のものでもカスタムでも含まれていてもよい。同様に、図示したスイッチは概念的なものである。これらの機能はプログラムロジック、専用ロジック、プログラム制御及び専用ロジックのインターラクション、または手作業で行われてもよい。具体的な方法は、状況からより具体的に分かる実施者が選択できる。

クレームでは、特定された機能を実行する手段として表された要素はその機能を実行するいかなる方法も含む。例えば、ａ）その機能を実行する回路要素の組み合わせ、ｂ）任意の形式のソフトウェアであって、ファームウェア、マイクロコード等を含み、そのソフトウェアを実行する適当な回路と結合して機能を実行するソフトウェアである。このようなクレームに記載した発明は、クレームが規定するように記載された様々な手段により提供される機能が組み合わされる。よって、出願人はこれらの機能を提供できる手段はどれもここに示した手段と均等であると考える。

有利にも、本発明はＨ．２６４に解像度低下更新（Ｒｅｄｕｃｅｄ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ （ＲＲＵ））を実装する装置と方法とを提供するものである。この新しいモードに関するコーデック（ＣＯＤＥＣ）の態様について考察する必要がある。具体的に、新しいスライスパラメータ（ｒｅｄｕｃｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｕｐｄａｔｅ）を作る必要があり、これによりカレントスライスを（ＲＲＵｗｉｄｔｈ×１６）×（ＲＲＵｈｅｉｇｈｔ×１６）サイズのマクロブロックに分割（ｓｕｂｄｉｖｉｄｅ）する。Ｈ．２６３と異なり、ＲＲＵｗｉｄｔｈはＲＲＵｈｅｉｇｈｔと必ずしも等しくなくてもよい。別のスライスパラメータを追加することもできる。より具体的には、ｒｒｕ＿ｗｉｄｔｈ＿ｓｃａｌｅ ＝ ＲＲＵｗｉｄｔｈとｒｒｕ＿ｈｅｉｇｈｔ＿ｓｃａｌｅ ＝ ＲＲＵｈｅｉｇｈｔ等である。これらのパラメータにより解像度を水平または垂直に所望の比率で低下させることができる。表１１は解像度低下更新（ＲＲＵ）を考慮したＨ．２６４スライスヘッダシンタックスを示す。これは本発明の原理によるものである。

可能なオプションとして含まれるスケーリングは、例えば、水平１・垂直２（マクロブロックのサイズは１６×３２）、垂直１・水平１（マクロブロックサイズは３２×１６）、または一般的にはマクロブロックサイズが（ｒｒｕ＿ｗｉｄｔｈ＿ｓｃａｌｅ×１６）×（ｒｒｕ＿ｈｅｉｇｈｔ＿ｓｃａｌｅ×１６）である。

一般性を失わずに、ＲＲＵｗｉｄｔｈ ＝ ＲＲＵｈｅｉｇｈｔ ＝ ２でありマクロブロックサイズが３２×３２である場合を説明する。この場合、全てのマクロブロックのパーティションとサブバーティションは水平２・垂直２にスケーリングしなければならない。図１に示したのは、Ｈ．２６４の解像度低下更新（ＲＲＵ）モードにおけるマクロブロックパーティション１００とサブマクロブロックパーティション１５０の例であり、本発明の原理によるものである。Ｈ．２６３では動きベクトルデータを２で割って標準仕様に合わせなければならないが、Ｈ．２６４ではその必要はなく、動きベクトルデータは全解像度／ｓｕｂｐｅｌの精度で符号化できる。Ｐスライス中のスキップされたマクロブロックのサイズは、このモードでは３２×３２であると考えられ、関連する動きデータを計算するプロセスには変化はない。しかし、３２×３２サイズの周辺のマクロブロックを考える必要があり、１６×１６のマクロブロックではない。

本発明の他の主要な相違点は、任意的ではあるが、Ｈ．２６４においては、テクスチャデータは低解像度画像からの情報を表さなくてもよいことである。Ｈ．２６４におけるイントラ符号化の実行は空間的予測方法を考慮して４×４または１６×１６のいずれかのブロックサイズを用いて行われるので、拡張することができ、インター予測モードと同様に、イントラ予測ブロックサイズを８×８及び３２×３２とすることができる。それにもかかわらず予測モードは多かれ少なかれ同じであるが、しかしより多くのサンプルを用いて予測信号を生成する。図２が示すものは、８×８イントラ予測に使用するサンプル例２００の図であり、本願発明の原理によるものである。サンプル２００はサンプルＣ０−Ｃ１５、Ｘ、Ｒ０−Ｒ７を含む。例えば、８×８垂直予測の場合、サンプルＣ０−Ｃ７を使用するが、ＤＣ予測はＣ０−Ｃ７とＲ０−Ｒ７の平均である。さらに、すべての斜め予測ではサンプルＣ８−Ｃ１５も考慮する必要がある。３２×３２イントラ予測モードの場合にも同様に拡張することができる。

次に、残差データをダウンサンプリングし、Ｈ．２６４で利用可能な同じ変換と量子化のプロセスを用いて符号化する。同じプロセスを輝度サンプルとクロマサンプルの両方に適用する。復号の時、残差データをアップサンプリングする必要がある。ダウンサンプリングはエンコーダでのみ行われるので、標準化する必要はない。アップサンプリングプロセスはエンコーダとデコーダで一致しなければならず、標準化しなければならない。可能なアップサンプリング方法として使用できるものには、ゼロ次または１次ホールド、またはＨ．２６３と同様のストラテジの使用があるが、これらに限定はされない。図３Ａと３Ｂが示しているのは、ブロック境界と内部位置のそれぞれに対する残差アップサンプリングプロセス３００と３５０であり、本発明の原理によるものである。図３ａでは、ブロックエッジのアップサンプリングプロセスはブロック境界内のサンプルのみを使用し、アップサンプリング値を計算する。図３ｂでは、ブロック内部において、すべての最近接位置を利用可能であり、そのためサンプルの相対的位置に基づく補間（例えば、２次元のバイリニア補間）を用いてアップサンプル値を計算する。

Ｈ．２６４ではループ内デブロッキングフィルタも考えられ、４×４ブロックエッジに適用される。現在、予測プロセスが適用されるブロックサイズは８×８以上であるから、このプロセスも修正して８×８ブロックエッジを考える。しかし、言うまでもなく、ここに提供する本発明の教示により、当業者はこのサイズやその他のサイズのブロックエッジを考え本発明の原理により利用し、一方本発明の精神を維持できるであろう。

同じピクチャでもスライスが違えばｒｅｄｕｃｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｕｐｄａｔｅ、ｒｒｕ＿ｗｉｄｔｈ＿ｓｃａｌｅ、及びｒｒｕ＿ｈｅｉｇｈｔ＿ｓｃａｌｅの値は異なる。ループ内デブロッキングフィルタをスライス境界を越えて適用するので、スライス境界のいずれの側のブロックも異なる解像度で符号化されている。この場合、デブロッキングフィルタのパラメータを計算するために、次の点を考慮しなければならない：所定の８×８エッジの２つの隣接４×４通常ブロックで最も大きい量以下パラメータ（ＱＰ）値。一方、デブロッキングの強さは２つのブロックのゼロでない係数の総数に基づく。

フレキシブルマクロブロックオーダリング（Ｆｌｅｘｉｂｌｅ Ｍａｃｒｏｂｌｏｃｋ Ｏｒｄｅｒｉｎｇ （ＦＭＯ））をサポートするため、ピクチャパラメータセット中の０より大きいｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１により示したように、解像度低下更新モードを用いて、ピクチャパラメータセット中のｒｅｄｕｃｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｕｐｄａｔｅ＿ｅｎａｂｌｅという名称の追加的パラメータを送信することも必要である。表１０は、解像度低下更新（ＲＲＵ）を考慮したＨ．２６４ピクチャパラメータシンタックスを表し、本発明の原理によるものである。解像度低下モードを用いてスライスを符号化できないのは、ＦＭＯがあり、このパラメータが設定されていない場合である。さらに、このパラメータが設定されていれば、パラメータｒｒｕ＿ｍａｘ＿ｗｉｄｔｈ＿ｓｃａｌｅとｒｒｕ＿ｍａｘ＿ｈｅｉｇｈｔ＿ｓｃａｌｅも送信する必要がある。これらのパラメータは、提供されるマップがカレントの解像度低下マクロブロックサイズを常にサポートできることを保証するために必要である。つまり、これらのパラメータが次の条件に従わねばならない：

送信されたＦＭＯスライスグループマップは、解像度低下の最も低いものに対応し、ｒｒｕ＿ｍａｘ＿ｗｉｄｔｈ＿ｓｃａｌｅとｒｒｕ＿ｍａｘ＿ｈｅｉｇｈｔ＿ｓｃａｌｅに対応する。留意すべきことは、複数のマクロブロック解像度を使用する場合、ｒｒｕ＿ｍａｘ＿ｗｉｄｔｈ＿ｓｃａｌｅとｒｒｕ＿ｍａｘ＿ｈｅｉｇｈｔ＿ｓｃａｌｅは、同じピクチャ内の全ての可能な解像度の最小公倍数の倍数であることが必要である。

Ｈ．２６４の直接モードは、カレントスライスが解像度低下モードであるかどうか、またはリスト１リファレンスが解像度低下モードであってカレントリファレンスが解像度低下モードでないかどうかに応じて影響を受ける。直接モードの場合、カレントピクチャが解像度低下されており、リファレンスピクチャが全解像度である場合、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇがイネーブルの時、Ｈ．２６４で現在使用されているのと同様の方法を借用する。この方法によると、８×８パーティションの４×４ブロック（コーナーはブロックインデックスに基づく）の対応するコーナーのみを考えて、同じ位置のパーティションが割り当てられる。今の場合、解像度低下スライスに含まれる場合、同じ位置のパーティションの動きデータはｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇが１に設定されているかのように求められる。これは、同じ位置のリファレンスの動きフィールドのダウンサンプリングであるとも見ることができる。必ずしも必要ではないが、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇがビットストリーム内に設定されている場合、このプロセスを２回適用することができる。このプロセスは図４Ａと４Ｂを見ればより明瞭に分かる。図４Ａ、４Ｂは、直接モードの場合の動き承継４００を示し、カレントスライスが解像度低下されており、第１のリスト１リファレンスが全解像度であり、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇがそれぞれ０と１に設定されている場合である。カレントスライスが解像度低下モードでなく、その第１のリスト１リファレンスが解像度低下モードである場合、この解像度低下モードリファレンスの全動きデータをまずアップサンプリングする必要がある。ゼロ次ホールドを用いて動きデータをアップサンプリングする。この方法が最も複雑でない方法である。他のフィルタリング方法として、例えば、残差データのアップサンプリングに使用するプロセスと同様のフィルタリング方法を使用することもできる。Ｈ．２６４の他のツールにもこのモードを考えることにより影響がある。より具体的に、マクロブロック適応フィールドフレームモード（ＭＢ−ＡＦＦ）を考えて３２×６４スーパーマクロブロック構造を用いることが必要である。アップサンプリングプロセスを個々の符号化ブロック残差に実行する。フィールドピクチャが符号化されている場合、ブロックはフィールド残差として符号化されており、よって、フィールドでアップサンプリングをする。同様に、ＭＢ−ＡＦＦを使用するとき、個々のブロックをフィールドモードまたはフレームモードで符号化し、それに対応する残差をそれぞれフィールドモードかフレームモードでアップサンプリングする。

解像度低減モードを全ての可能な解像度で機能させるため、ピクチャを常に垂直及び水平に拡大して、それぞれが常に１６＊ｒｒｕ＿ｈｅｉｇｈｔ＿ｓｃａｌｅと１６＊ｒｒｕ＿ｗｈｉｄｔｈ＿ｓｃａｌｅにより割り切れるようにする。ｒｒｕ＿ｈｅｉｇｈｔ＿ｓｃａｌｅ ＝ ｒｒｕ＿ｗｉｄｔｈ＿ｓｃａｌｅ ＝ ２である場合、画像の元の解像度はＨＲ×ＶＲであり、画像はＨｃ×Ｖｃと等しい解像度に詰め込まれる。ここで、

画像解像度を拡大するプロセスは、Ｈ．２６４で現在行われている、ピクチャを１６で割り切れるサイズに拡大するのに似ている。図５は、本発明の原理による、ＱＣＩＦ（Ｑｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）の解像度拡大を示す。

ＱＣＩＦ解像度ピクチャの拡張された輝度は次の式で与えられる：

同様のアプローチを用いてクロマサンプルを拡大するが、サイズは半分までである。

図６に戻って、ビデオエンコーダの例を示し、その全体を参照数字６００で示す。エンコーダ６００へのビデオ入力は、マクロブロック整列器６０２の入力に結合され信号をやりとりしている。マクロブロック整列器６０２の出力は、動き予測器６０５の第１の入力と、第１の加算器６１０の第１の（非反転）入力と結合され信号をやりとりしている。動き予測器６０５の第２の入力は、ピクチャレファレンス記憶装置６１５の出力と結合され信号をやりとりしている。動き検出器６０５の出力は、動き補償器６２０の第１の入力と結合され、信号をやりとりしている。動き補償器６２０の第２の入力は、ピクチャレファレンス記憶装置６１５の出力と結合し、信号をやりとりしている。動き補償器の出力は、第１の加算器６１０の第２の（反転）入力、第２の加算器６２５の第１の（非反転）入力、及び可変長コーダ（ＶＬＣ）６９５の第１の入力と結合し信号をやりとりしている。第２の加算器６２５の出力は、任意的時間的プロセッサ６３０の第１の入力と結合し信号をやりとりしている。任意的時間的プロセッサ６３０の第２の入力は、ピクチャリファレンス記憶装置６１５の他の出力と結合し信号をやりとりしている。任意的時間的プロセッサ６３０の出力は、ループフィルタ６３５の入力と結合し信号をやりとりしている。ループフィルタ６３５の出力は、ピクチャリファレンス記憶装置６１５の入力と結合し信号をやりとりしている。

第１の加算器６１０の出力は、第１のスイッチ６４０の入力と結合し信号をやりとりしている。第１のスイッチ６４０の出力は、ダウンサンプラ６４５の入力または変換器６５０の入力と結合し信号をやりとりできる。ダウンサンプラ６４５の出力は、変換器６５０の入力と結合し信号をやりとりしている。変換器６５０の出力は量子化器６５５の入力と結合し信号をやりとりしている。量子化器６５５の出力は可変長コーダ６９５の入力及び逆量子化器６６０の入力と結合し、信号をやりとりしている。逆量子化器６６０の出力は、逆変換器６６５の入力と結合し信号をやりとりしている。逆変換器６６５の出力は第２のスイッチ６７０の出力と結合し、信号をやりとりしている。第２のスイッチの出力は、第２の加算器６２５の第２の出力、またはアップサンプラ６７５の入力と結合し信号をやりとりしている。アップサンプラの出力は、第２の加算器６２５の第２の入力と結合し信号をやりとりしている。可変長コーダ６９５の出力は、エンコーダ６００の出力と結合している。留意すべきことは、第１のスイッチ６４０と第２のスイッチ６７０がそれぞれダウンサンプラ６４５とアップサンプラ６７５と結合し信号をやりとりしている場合、信号経路が第１の加算器６１０の出力から動き保証器６２０の第３の入力とアップサンプラ６７５の入力へ形成されていることである。言うまでもなく、第１のスイッチ６４０はＲＲＵモードを判断するＲＲＵモード判断手段を含む。マクロブロック整列器６０２は与えられた画像のマクロブロックをスライスグループに配列する。

図７を参照して、ビデオデコーダの実施例を示し、全体を参照数字７００で示した。デコーダ７００の第１の入力は、逆変換／量子化器７１０の入力と結合し信号をやりとりしている。逆変換／量子化器７１０の出力は、アップサンプラ７１５の入力と結合し信号をやりとりしている。アップサンプラ７１５の出力は、加算器７２０の第１の入力と結合し信号をやりとりしている。加算器７２０の出力は任意的な空間−時間的プロセッサ７２５と結合し信号をやりとりしている。空間−時間的プロセッサの出力はデコーダ７００の出力と結合し信号をやりとりしている。空間−時間的プロセッサを使用しない場合、デコーダ７００の出力は加算器７２０の出力から取られる。

デコーダ７００の第２の入力は、動き補償器７３０の第１の入力と結合し信号をやりとりしている。動き補償器７３０の出力は、加算器７２０の第２の入力と結合し信号をやりとりしている。加算器７２０を用いてアップサンプリングした予測残差を予測されたリファレンスと結合する。動き補償器７３０の第２の入力は、リファレンスバッファ７３５の第１の出力と結合し信号をやりとりしている。リファレンスバッファ７３５の第２の出力は、空間−時間的プロセッサと結合し信号をやりとりしている。リファレンスバッファ７３５への入力はデコーダ出力である。逆変換／量子化器７１０は、残差ビットストリームを入力し、復号された残差を出力する。リファレンスバッファ７３５はリファレンスピクチャを出力し、動き補償器７３０は動き補償予測を出力する。

図７に示したデコーダの実施形態は、追加的な処理要素を用いることにより拡張し改良することができる。例えば、エンコーダとデコーダの両方で空間−時間的分析手段を用いることができる。この使用により、残差のダウンサンプリング及びアップサンプリングプロセスにより生じたアーティファクト（ａｒｔｉｆａｃｔｓ）の一部を取り除くことができる。

上記のアプローチのバリエーションとして、スライスレベルだけでなく、マクロブロックレベルでも解像度低下をしようすることである。このアプローチには異なるバリエーションもあるだろうが、１つのアプローチとして、リファレンスピクチャインディケータの使用により解像度変化をシグナル（ｓｉｇｎａｌ）することが挙げられる。リファレンスピクチャを全解像度または解像度低下した残差の送信と黙示的に（例えば、偶奇リファレンス）または明示的に（例えば、スライスパラメータのテーブルを送信）関連づけてもよい。３２×３２マクロブロックを解像度低下して符号化した場合、単一の符号化ブロックパターン（ｃｏｄｅｄｂｌｏｃｋｐａｔｔｅｒｎ （ｃｂｐ））を１６個の解像度低下ブロックの変換係数に関連づけて送信する。さもないと、４ｃｂｐ（または単一の結合したもの）を送信しなければならない。これは６４全解像度ブロックと関連している。留意して欲しいことは、この方法がうまく行くには、このマクロブロック内の全てのブロックが同じ解像度で符号化される必要があることである。この方法には、追加的テーブルの送信が必要であり、このテーブルがスケーリングに関する情報を提供する。カレントリファレンスの送信は必要ない。スケーリングに関する情報にはスケーリングパラメータが含まれる。これは重みづけ予測の場合に現在行われていることと同様である。

図８を参照して、ビデオ符号化プロセスを参照数字８００で示した。プロセス８００は開始ブロック８０５を含む。制御はループ限定ブロック８１０に移る。ループ限定ブロック８１０において画像中のカレントブロックに対するループが始まり、制御は機能ブロック８１５に移る。機能ブロック８１５においてカレントブロックの動き補償予測が形成され、制御は機能ブロック８２０に移る。機能ブロック８２０においてカレントマクロブロックから動き補償予測を引いて、予測残差を求める。制御は機能ブロック８２５に移る。機能ブロック８２５において予測残差をダウンサンプリングし、制御は機能ブロック８３０に移る。機能ブロック８３０においてダウンサンプリングされた予測を変換・量子化する。制御は機能ブロック８３５に移る。機能ブロック８３５において、予測残差を逆変換・量子化して符号化予測残差を求める。制御は機能ブロック８４０に移る。機能ブロック８４０において符号化残差をアップサンプリングし、制御は機能ブロック８４５に移る。機能ブロック８４５においてアップサンプリングされた符号化残差を予測残差に加えて符号化ピクチャブロックを求める。制御は終了ループブロック８５０に移る。終了ループブロック８５０においてループは終了し、制御は終了ブロック８５５に移る。

図９を参照して、復号プロセス例を参照数字９００で示した。復号プロセス９００は開始ブロック９０５を含み、制御はループ限定ブロック９１０に移る。ループ限定ブロック９１０において画像中のカレントブロックに対するループが始まり、制御は機能ブロック９１５に移る。機能ブロック９１５において符号化残差をエントロピー復号し、制御は機能ブロック９２０に移る。機能ブロック９２０において復号された残差を逆変換・量子化する。制御は機能ブロック９２５に移る。機能ブロック９２５において符号化残差をアップサンプリングする。制御は機能ブロック９３０に移る。機能ブロック９３０においてアップサンプリングされた符号化残差を予測残差に加え、符号化ピクチャブロックを求める。制御はループ限定ブロック９３５に移る。ループ限定ブロック９３５においてループは終了し、制御は終了ブロック９４０に移る。

これらの、及びその他の本発明の特徴と有利性の確認は、当業者には、ここに記載した教示に基づき容易にできるであろう。言うまでもなく、本発明の教示の実施は、ハードウェア、ソフトウェア、ファームウェア、特定目的プロセッサ、これらの組み合わせであるいろいろな形式で行うことができる。

最も好ましくは、本発明の教示の実施はハードウェアとソフトウェアの組み合わせとして行われる。さらに、ソフトウェアの実施は、好ましくは、プログラム記憶ユニット上に有体的に化体されたアプリケーションプログラムとして行われる。アプリケーションプログラムのアップロードと実行は好適なアーキテクチャを有する機械により行われる。好ましくは、その機械の実施は、１つ異常の中央処理ユニット（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インターフェイスを有するハードウェアを有するコンピュータプラットフォーム上で行われる。コンピュータプラットフォームにはオペレーティングシステムとマイクロ命令コードも含まれる。ここに記載したいろいろなプロセスと機能は、マイクロ命令コードの一部、アプリケーションプログラムの一部、またはこれらの組み合わせのいずれであってもよい。これらはＣＰＵにより実行される。また、その他のいろいろな周辺ユニットが追加的データ記憶ユニット及び印刷ユニット等のコンピュータプラットフォームに結合される。

さらに、言うまでもなく、添付した図面に示したシステムコンポーネントや方法の一部の実装は、好ましくはソフトウェアで行われるので、システムコンポーネント間またはプロセス機能ブロック間の実際の接続は、本発明のプログラムのしかたに応じて異なるものとなる。ここに記載した教示により、当業者は、これらまたは同様の本発明の実施形態や構成を考えることができるであろう。

例示的な実施形態をここに添付した図面を参照して説明したが、言うまでもなく、本発明はこれらの実施形態そのものに限定されず、当業者は本発明の範囲と精神から逸脱することなくいろいろな変更や修正をすることができる。このような変更と修正はすべて添付した請求項に記載した本発明の範囲内に含まれる。

本発明は、以下の図面により、よりよく理解できるであろう。
本発明の原理による、Ｈ．２６４の解像度低下更新（ＲＲＵ）モードにおけるマクロブロックとサブマクロブロックのパーティションを示す図である。 本発明の原理による、８×８イントラ予想に使用するサンプルを示す図である。 図３Ａと３Ｂは、本発明の原理による、ブロック境界及び内部位置のそれぞれに対する残差アップサンプリングプロセス例を示す図である。 図４Ａと４Ｂは、ｄｉｒｅｃｔ＿８ｘ８＿ｉｎｆｅｒｅｎｃｅ＿ｆｌａｇがそれぞれ０及び１に設定されている場合に、カレントスライスの解像度が低下されていて、第１のリスト１ｒｅｆｅｒｅｎｃｅが全解像度である場合に直接モード用の動き承継を示す図である。 本発明の原理による解像度ＱＣＩＦのピクチャの場合の解像度拡大（ｅｘｔｅｎｔｉｏｎ）を示す図である。 本発明の原理によるビデオエンコーダ例を示すブロック図である。 本発明の原理によるビデオデコーダ例を示すブロック図である。 本発明の原理による符号化プロセス例を示すフロー図である。 本発明の原理による復号プロセス例を示すフロー図である。

Claims (44)

1. 画像スライスのビデオ信号データを符号化するビデオエンコーダであって、
   変換器の入力と選択的に結合するように構成されたスライス予測残差ダウンサンプラと、
   変換器の出力に結合した量子化器と、
   量子化器の出力と結合したエントロピーコーダと、を有し、
   スライス予測残差ダウンサンプラを用いて予測残差の変換と量子化の前に画像スライスの少なくとも一部の予測残差をダウンサンプルすることを特徴とするビデオエンコーダ。
2. 請求項１に記載のビデオエンコーダであって、
   画像スライスは国際電気通信連合・電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４標準によるビデオデータを含むことを特徴とするビデオエンコーダ。
3. 請求項１に記載のビデオエンコーダであって、
   スライス予測残差ダウンサンプラが適用するダウンサンプリング操作は予測残差の水平方向と垂直方向で異なることを特徴とするビデオエンコーダ。
4. 請求項１に記載のビデオエンコーダであって、
   スライス予測残差ダウンサンプラは画像スライス中のパラメータによりシグナルされることを特徴とするビデオエンコーダ。
5. 請求項１に記載のビデオエンコーダであって、
   画像スライスは画像ブロックに分割され、画像ブロックのイントラ予測に続いて予測残差を求めることを特徴とするビデオエンコーダ。
6. 請求項５に記載のビデオエンコーダであって、
   ８×８及び３２×３２のうち一方の予測モードを用いてイントラ予測することを特徴とするビデオエンコーダ。
7. 請求項１に記載のビデオエンコーダであって、画像スライスを画像ブロックに分割し、画像ブロックのインター予測に続いて予測残差を求めることを特徴とするビデオエンコーダ。
8. 請求項１に記載のビデオエンコーダであって、
   スライス予測残差ダウンサンプラは予測残差の水平方向及び垂直方向の一方だけにダウンサンプリング操作を適用することを特徴とするビデオエンコーダ。
9. 請求項１に記載のビデオエンコーダであって、
   画像スライスはマクロブロックに分割され、個々のマクロブロックに対して符号化されたリファレンスインデックスはその個々のマクロブロックの予測残差をダウンサンプルするかどうかに対応することを特徴とするビデオエンコーダ。
10. 請求項１に記載のビデオエンコーダであって、
    ビデオ信号データはインターレースされたピクチャに対応し、画像スライスは画像ブロックに分割され、スライス予測残差ダウンサンプラは符号化画像ブロックのカレントモードと同じモードで予測残差をダウンサンプリングし、同じモードはフィールドモード及びフレームモードのうちの１つであることを特徴とするビデオエンコーダ。
11. 画像のビデオ信号データを符号化するビデオエンコーダであって、
    画像に対応するマクロブロックを少なくとも２つのスライスグループに配置するマクロブロック順序づけ手段と、
    予測残差の変換と量子化の前に画像スライスの少なくとも一部の予測残差をダウンサンプリングするスライス予測残差ダウンサンプラと、を有し、
    前記スライス予測残差ダウンサンプラを利用して、ダウンサンプリングする少なくとも１つのスライスグループを受け取ることを特徴とするビデオエンコーダ。
12. 画像スライスのビデオ信号データを復号するビデオデコーダであって、
    画像スライスの予測残差をアップサンプリングする予測残差アップサンプラと、
    アップサンプリングされた予測残差を予測リファレンスと結合する結合器と、を有することを特徴とするビデオデコーダ。
13. 請求項１２に記載のビデオデコーダであって、
    画像スライスは国際電気通信連合・電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４標準に準拠するビデオデータを含むことを特徴とするビデオデコーダ。
14. 請求項１２に記載のビデオデコーダであって、
    画像スライスはマクロブロックに分割され、
    ビデオデコーダは、さらに、予測残差アップサンプラと信号通信するように結合され、マクロブロックレベルのリファレンスインデックスに応じてビデオデコーダが解像度低下更新（ＲＲＵ）モードであるかどうか判断する解像度低下更新（ＲＲＵ）モード判断手段を有し、
    カレントマクロブロックの予測残差は、カレントマクロブロックを復号するために前記予測残差アップサンプラによりアップサンプリングされることを特徴とするビデオデコーダ。
15. 請求項１２に記載のビデオデコーダであって、
    スライス予測残差アップサンプラは予測残差の水平方向と垂直方向で異なるアップサンプリング操作を適用することを特徴とするビデオデコーダ。
16. 請求項１２に記載のビデオデコーダであって、
    スライス予測残差アップサンプラに使用されるアップサンプリング解像度は画像スライス中のパラメータによりシグナルされることを特徴とするビデオデコーダ。
17. 請求項１２に記載のビデオデコーダであって、
    画像スライスは画像ブロックに分割され、予測残差は画像ブロックのイントラ予測後に求められることを特徴とするビデオデコーダ。
18. 請求項１７に記載のビデオデコーダであって、
    イントラ予測の実行は８×８及び３２×３２予測モードの１つを用いて行われることを特徴とするビデオデコーダ。
19. 請求項１２に記載のビデオデコーダであって、
    画像スライスは画像ブロックに分割され、予測残差の形成は画像ブロックのインター予測の後に行われることを特徴とするビデオデコーダ。
20. 請求項１２に記載のビデオデコーダであって、
    スライス予測残差アップサンプラは予測残差の水平方向及び垂直方向の１つ飲みにアップサンプリング操作を適用することを特徴とするビデオデコーダ。
21. 請求項１２に記載のビデオデコーダであって、
    画像スライスがマクロブロックに分割され、個々のマクロブロックに対して符号化されたリファレンスインデックスはその個々のマクロブロックの予測残差をアップサンプリングするかどうかに対応することを特徴とするビデオデコーダ。
22. 請求項１２に記載のビデオデコーダであって、
    ビデオ信号データはインターレースされたピクチャに対応し、画像スライスは画像ブロックに分割され、前記スライス予測残差アップサンプラは符号化された画像ブロックのカレントモードと同じモードで予測残差をアップサンプリングし、同じモードはフィールドモードとフレームモードの１つであることを特徴とするビデオデコーダ。
23. 画像スライスのビデオ信号データの符号化方法であって、
    画像スライスの予測残差をダウンサンプリングする段階と、
    予測残差を変換する段階と、
    予測残差を量子化する段階と、を有し
    ダウンサンプリングする段階の実行は変換段階と量子化段階の前に行われることを特徴とする方法。
24. 請求項２３に記載の方法であって、
    画像スライスは国際電気通信連合・電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４標準に準拠するビデオデータを含むことを特徴とする方法。
25. 請求項２３に記載の方法であって、
    前記ダウンサンプリング段階は、予測残差の水平方向及び垂直方向にそれぞれ異なるダウンサンプリング操作を適用する段階と、水平方向及び垂直方向の一方のみにダウンサンプリング操作を適用する段階とのうち一方を含むことを特徴とする方法。
26. 請求項２３に記載の方法であって、
    前記ダウンサンプリング段階に使用するダウンサンプリング解像度は画像スライス中のパラメータによりシグナルされることを特徴とする方法。
27. 請求項２３に記載の方法であって、
    画像スライスは画像ブロックに分割されており、予測残差の形成は画像ブロックのイントラ予測の後に行われることを特徴とする方法。
28. 請求項２７に記載の方法であって、
    イントラ予測の実行は８×８及び３２×３２予測モードの一方を用いて行われることを特徴とする方法。
29. 請求項２３に記載の方法であって、
    画像スライスは画像ブロックに分割され、予測残差の形成は画像ブロックのインター予測の後に行われることを特徴とする方法。
30. 請求項２９に記載の方法であって、
    インター予測の実行は、３２×３２マクロブロックと、３２×３２、３２×１６、１６×３２、１６×１６マクロブロックパーティション、または１６×１６、１６×８、８×１６、８×８サブマクロブロックパーティションとを用いて行われることを特徴とする方法。
31. 請求項２３に記載の方法であって、
    画像スライスはマクロブロックに分割され、
    前記方法は、さらに、個々のマクロブロックの予測残差が符号化されたリファレンスインデックスに基づいてダウンサンプリングされたかどうか判断する段階を有し、リファレンスインデックスはその個々のマクロブロックの予測残差がダウンサンプルされるか否かに対応することを特徴とする方法。
32. 請求項２３に記載の方法であって、
    画像スライスはマクロブロックに分割され、
    前記方法は、さらに、ピクチャパラメータセット中のパラメータに応じてマクロブロックをフレキシブルに整列する段階を有することを特徴とする方法。
33. 請求項２３に記載の方法であって、
    ビデオ信号データはインターレースされたピクチャに対応し、画像スライスは画像ブロックに分割され、前記ダウンサンプリング段階は画像ブロックのカレントモードと同じモードで予測残差をダウンサンプリングし、同じモードはフィールドモードとフレームモードの一方であることを特徴とする方法。
34. 画像スライスのビデオ信号データの復号方法であって、
    画像スライスの予測残差をダウンサンプルする段階と、
    アップサンプリングされた予測残差を予測リファレンスに結合する段階と、
    を有することを特徴とする方法。
35. 請求項３４に記載の方法であって、
    画像スライスは国際電気通信連合・電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４標準に準拠するビデオデータを含むことを特徴とする方法。
36. 請求項３４に記載の方法であって、
    画像スライスはマクロブロックに分割され、
    前記方法は、さらに、マクロブロックレベルのリファレンスインデックスに応じてビデオデコーダが解像度低下更新（ＲＲＵ）モードであるかどうか判断する段階を有し、
    前記アップサンプリング段階は、カレントマクロブロックを復号するためにカレントマクロブロックの予測残差をアップサンプリングする段空きを有することを特徴とする方法。
37. 請求項３４に記載の方法であって、
    前記アップサンプリング段階は、予測残差の水平方向及び垂直方向に異なるアップサンプリング操作を適用する段階と、水平方向及び垂直方向の一方のみにアップサンプリング操作を適用する段階とのうち一方を含むことを特徴とする方法。
38. 請求項３４に記載の方法であって、
    前記アップサンプリング段階に使用されるアップサンプリング解像度は画像スライス中のパラメータによりシグナルされることを特徴とする方法。
39. 請求項３４に記載の方法であって、
    画像スライスは画像ブロックに分割され、予測残差は画像ブロックのイントラ予測後に求められることを特徴とする方法。
40. 請求項３９に記載の方法であって、
    イントラ予測の実行は８×８及び３２×３２予測モードの１つを用いて行われることを特徴とする方法。
41. 請求項３４に記載の方法であって、
    画像スライスは画像ブロックに分割され、予測残差の形成は画像ブロックのインター予測の後に行われることを特徴とする方法。
42. 請求項４１に記載の方法であって、
    インター予測の実行は、３２×３２マクロブロックと、３２×３２、３２×１６、１６×３２、１６×１６マクロブロックパーティション、または１６×１６、１６×８、８×１６、８×８サブマクロブロックパーティションとを用いて行われることを特徴とする方法。
43. 請求項３４に記載の方法であって、
    画像スライスはマクロブロックに分割され、
    前記方法は、さらに、個々のマクロブロックの予測残差が符号化されたリファレンスインデックスに基づいてアップサンプリングされるかどうか判断する段階を有し、リファレンスインデックスはその個々のマクロブロックの予測残差がアップサンプルされるか否かに対応することを特徴とする方法。
44. 請求項３４に記載の方法であって、
    ビデオ信号データはインターレースされたピクチャに対応し、画像スライスは画像ブロックに分割され、前記アップサンプリング段階は画像ブロックのカレントモードと同じモードで予測残差をアップサンプリングし、同じモードはフィールドモードとフレームモードの一方であることを特徴とする方法。

Images