JP2009543490A

JP2009543490A - 画像符号化及び復号化

Info

Publication number: JP2009543490A
Application number: JP2009518877A
Authority: JP
Inventors: シープリンスキー、レセック
Original assignee: Mitsubishi Electric R&D Centre Europe BV Netherlands
Current assignee: Mitsubishi Electric R&D Centre Europe BV Netherlands
Priority date: 2006-07-10
Filing date: 2007-07-10
Publication date: 2009-12-03
Also published as: GB0613675D0; EP2047685A2; CN101548549A; WO2008006829A3; US20090252229A1; GB2440004A; WO2008006829A2

Abstract

改善されたＭＰＥＧ適応的参照細粒度スケーラビリティ符号器及び復号器が記載される。差分データ内の値の大きさに応じて、拡張レイヤ内の予測誤差信号の生成中に差分データを重み付けするために使用されるパラメータα及びβが変更される。

Description

本発明は画像符号化及び復号化の技術分野に関し、より詳細には、ビデオ圧縮符号化及び復号化の技術分野に関する。

スケーラブルビデオコーディングは、元のビットストリームとは異なるビットレート、フレームレート及びディスプレイ解像度における効率的な再構成が支援されるように、元のビデオコンテンツを圧縮することによって、ビデオ通信ネットワーク、及びエンドユーザの関心の多様性に対処することを目指す。ビットレートスケーラビリティ(Bit-rate scalability)は、ビットレートが徐々に細かく変化する場合でも、圧縮効率を損なうことなく、圧縮されたビデオを再構成する能力を指している。これによって、多数のユーザが、それぞれ自分の利用可能な帯域幅の全てを利用して、単一の圧縮されたビットストリームにアクセスすることができるようになる。レートスケーラビリティがない場合、そのネットワーク上で同じビデオデータのいくつかのバージョンを利用することができるようにせざるを得ないため、記憶装置及び伝送の負担が著しく重くなる。スケーラビリティの他の重要な形は、空間解像度スケーラビリティ及びフレームレート（時間解像度）スケーラビリティを含む。これらのスケーラビリティによれば、圧縮されたビデオを種々のディスプレイ解像度において効率的に再構成することができるようになり、それによって異なる能力の全ての種類のエンドユーザデバイスにサービスを提供することができる。

新たなスケーラブルビデオコーディング標準規格の現在の草案（それは後に、ＩＳＯ／ＩＥＣ１４４９６−１０／ＡＭＤ２及びＩＴＵ−Ｔ勧告Ｈ．２６４付録Ｆになる；現在の草案、ジョイント・ドラフト６は、ジョイントビデオチームドキュメントＪＶＴ−Ｓ２０１において見いだすことができる）は、細粒度スケーラビリティ（fine granularity scalability）（ＦＧＳ）と呼ばれる、１つの特定の形のビットレートスケーラビリティに対応し、そのスケーラビリティによれば、ビットストリームを基本的に任意のビットレートにおいて切断することができるようになる。これは、１つの形のプログレッシブ・リファインメントを使用して、変換係数のコーディングを実行することによって達成される。この技法は、レート歪みを概ね最適化するように、係数ビットを複数のブロックにおいて配列し、リファインメントが伝送される順序の効率的なシグナリングを導入する。これは、いくつかのビットが捨てられるときに、残されたビットの数を考えて、残りのビットによってできる限り良好に元のブロックを再構成することができるようにすることを意味する。以前のＭＰＥＧ標準規格において実施されるような細密度スケーラビリティの概念のさらに詳細な説明は、非特許文献１に記載されている。

単一の拡張レイヤの場合の、細粒度スケーラビリティ方式のための処理の流れが図１に示される。このコーディング過程は２つの部分において考えることができる。基本レイヤのコーディングは、たとえば、ＭＰＥＧ−４ＡＶＣにおいて使用されるような非スケーラブルコーディングの場合によく知られているパターンに従う。ただし、ＭＥは動き推定を表し、ＭＣは動き補償を表し、Ｔは空間変換を表し、Ｑは量子化を表す。

拡張（ＦＧＳ）レイヤの場合、元の差分フレームと再構成された基本レイヤの差分フレームとの間の差が、空間変換を使用して変換され、基本レイヤの符号化において使用される量子化ステップの半分に等しい量子化ステップで量子化される。その後、量子化された変換係数は、プログレッシブ・リファインメントと呼ばれる修正エントロピーコーディング技法を使用してコーディングされ、その技法によれば、拡張レイヤのビットストリームを任意の点で切断することができるようになる。ＭＰＥＧ−４ＳＶＣ標準規格の現在の草案において定義されるように、この打切りは数多くの方法で実行することができる。
１．完全なＦＧＳレイヤに対応するプログレッシブ・リファインメントネットワークアダプテーションレイヤ（ＮＡＬ）ユニット全体を捨てること。これは、多数のＦＧＳレイヤが使用されるときにのみ適用される。
２．単純な打切り。ビットストリームにおいて最も高い時空レベルの場合の最後のプログレッシブ・リファインメントＮＡＬユニットが、ビットレート制約を満たすために必要とされるパーセンテージによって打ち切られる。
３．品質レイヤ。プログレッシブ・リファインメントＮＡＬユニットに品質レイヤ識別子が割り当てられ、その識別子が、ＮＡＬユニットそのものにおいて、又は別個のメッセージにおいて送信される。この場合、最も高いＮＡＬユニットのみを打ち切る代わりに、最大可能な品質レイヤ識別子を有する全てのＮＡＬユニットが、同じパーセンテージによって打ち切られる。

上記の方式の重要な点は、基本レイヤ及び拡張レイヤの両方の動き補償のための参照（reference)が、再構成された基本レイヤのフレームであることである。これが図２に示される。ただし、Ｆ（ｔ，ｎ）は、レイヤｎ内の時刻ｔにおける変換係数値であり、重要な結果をもたらすため、以下で検討されるであろう。

適応的参照細粒度スケーラビリティ（adaptive-reference FGS）（ＡＲ−ＦＧＳ）の目標は、低遅延の用途の場合のＦＧＳ性能を改善することである。ただし、Ｐ個の画像のみが使用される。この用途のシナリオにおいてＦＧＳが抱える問題は、ビットレートを調整するためにＦＧＳレイヤがビットストリームから除去されるときに、動き補償のための参照フレームとして、結果として生成された、再構成品質が劣化しているフレームを使用することに起因して、誤差が導入されることである。動き補償が繰り返されるのに応じて、１つの過程において誤差が累積し、その誤差は一般的に予測ドリフトと呼ばれる。上記で言及されたように、この問題は、ＭＰＥＧ−４ＳＶＣ標準規格の現在の草案におけるＦＧＳコーディングの「正規」バージョンでは、動き補償の参照として基本レイヤ参照フレームのみを使用することによって解決される。この解決手段は、ドリフト問題を回避するが、結果として、圧縮効率を低下させる。

いわゆる漏れがある予測（leaky prediction）を導入することによって、この問題を克服するために、Han及びGirodによって非特許文献２が提案されている。これは、通常の動き補償方式に修正を加えたものであり、予測信号が、基本レイヤの参照画像及び拡張レイヤの参照画像の重み付け平均として形成される。同様の技法が、ＭＰＥＧ−４ＳＶＣ標準規格の現在の草案の場合にも採用されている（上記で参照されたジョイント・ドラフトバージョン６、及びジョイントビデオチームドキュメントＪＶＴ−Ｓ２０２のジョイント・スケーラブル・ビデオ・モデルバージョン６も参照されたい）。その方式の詳細は、後に説明されるように、その時点で処理されている基本レイヤブロック係数の特性によって異なる。

基本レイヤ内の現在ブロックのための全ての係数が０であるとき、その処理は、図３に示されるように、空間領域において実行される。最初に、拡張レイヤ及び基本レイヤ内の参照ブロック（すなわち、現在ブロックの動き補償のために使用される参照フレームからのブロック）間の差が計算される。
Ｄ（ｔ−１、ｎ）＝Ｒ（ｔ−１，ｎ）−Ｒ（ｔ−１，０）
ただし、Ｄ（ｔ，ｎ）は時刻ｔのフレームの場合の差を表し、Ｒ（ｔ，ｎ）はレイヤｎの時刻ｔにおける再構成されたピクセル値である（空間インデックスは、明確にするために省略される）。結果として生成された差分参照ブロックは、その後、スケーリングされ、基本レイヤ再構成に加えられて、参照ブロックＰ（ｔ，ｎ）が生成される。
Ｐ（ｔ，ｎ）＝Ｒ（ｔ，０）＋α×Ｄ（ｔ−１，ｎ）
この参照ブロックは、その後、現在ブロックのＦＧＳレイヤのための参照として使用される。重みαは、予測のために使用される拡張レイヤの参照画像からの情報量を制御するパラメータである。一般的に、多数の参照フレームが使用される場合には、参照フレームは時刻ｔ−１に対応する必要はない。これはＰタイプのマクロブロックであり、基本レイヤ内の全ての係数は０であるため、現在ブロックのために再構成される基本レイヤは、（時刻ｔ−１において）再構成された参照ブロックと全く同じであることに留意されたい。

基本レイヤブロック内に０でない係数があるとき、拡張レイヤ係数は、図４に示されるように、変換領域において処理される。基本レイヤにおいて０でなかった係数の場合、参照フレームからの拡張レイヤの寄与は加えられない。基本レイヤにおいて０値を有する係数の場合、ゼロブロックの場合と同じように重み付け平均が計算されるが、この時刻は変換領域内にある。こうして、付加的なステップが導入され、そのステップでは、参照差分ブロックＤ（ｔ−１，ｎ）において変換が実行され、結果として、変換係数ＦＤ（ｔ−１，ｎ）のブロックが生成される。これらの係数は、その後、現在ブロックＦＲ（ｔ，０）内の対応する位置にある基本レイヤ係数の値に応じてさらに調整される。対応する基本レイヤの現在ブロックの係数が０である係数も、０に設定されるのに対して、０でない基本レイヤの現在ブロックの係数に対応する係数は、重みβによってスケーリングされる。
ＦＤ’（ｔ−１，ｎ）＝β×ＦＤ（ｔ−１，ｎ）

結果として生成された係数のブロックが、その後、逆変換されて、差分参照ブロックＤ’（ｔ−１，ｎ）が得られ、それが最終的には、基本レイヤ再構成に加えられて、参照ブロックＰ（ｔ，ｎ）が生成される。
Ｐ（ｔ，ｎ）＝Ｒ（ｔ，０）＋Ｄ’（ｔ−１，ｎ）
このブロックは、その後、現在ブロックのＦＧＳレイヤのための参照として使用される。

上記の設計は、拡張レイヤからさらに多くの情報を利用することによって改善される圧縮効率と、この過程によって悪化する予測ドリフトの制御との間のトレードオフに基づく。ピクセル／係数の場合にドリフトの影響はより小さく、基本レイヤが、参照フレームと現在フレームとの間で変化しないため、それらは、改善された参照を使用することができると論ぜられる。パラメータαは５ビットに量子化され、ｍａｘ＿ｄｉｆｆ＿ｒｅｆ＿ｓｃａｌｅ＿ｆｏｒ＿ｚｅｒｏ＿ｂａｓｅ＿ｂｌｏｃｋとしてスライスヘッダにおいて送信される。パラメータβも５ビットに量子化され、ｍａｘ＿ｄｉｆｆ＿ｒｅｆ＿ｓｃａｌｅ＿ｆｏｒ＿ｚｅｒｏ＿ｂａｓｅ＿ｃｏｅｆｆとして同じ構造において送信される。それらの両方の存在は、ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｆｇｓ＿ｆｌａｇによって制御される。

重み係数の使用に関するさらなる改良が定義される。全ての０のブロックをさらに分類するために、コンテクスト適応型２値算術符号器（ＣＡＢＡＣ）コーディングコンテクストが使用される。コンテクスト(context)が０でない場合には、それは、拡張レイヤ内でいくつかの隣接するブロックが０でない係数を有すること、それゆえ、現在ブロック内で係数が０でなくなる確率がより高いことを意味する。それゆえ、予測を形成するために使用される拡張レイヤ信号が少なくなるように、αの値が小さくされる。基本レイヤ内の０でない係数を有するブロックの場合、拡張レイヤ信号は、そのような係数が４つ以下であるときにのみ加えられ、βの値は、その数に応じて調整される。

Weipeng Li著「Overview of Fine Granularity Scalability in MPEG-4 Video Standard」（IEEE Transactions on Circuits and Systems for Video Technology, vol. 11, no. 3, March 2001） Han及びGirod著「Robust and Efficient Scalable Video Coding with Leaky Predicition」（IEEE International Conference on Image Processing 2002）

本発明は、既知の適応的参照細粒度スケーラビリティ符号器及び復号器を改善することを目指しており、一態様において、予測における成分の重み付けを調整するために入手可能なさらなる情報を利用することによって、これを果たす。

本発明によれば、画像シーケンス符号化／復号化の装置／方法が提供され、その装置／方法では、拡張レイヤ内の対応する参照ブロック係数が変化する確率を考慮に入れることによって、係数の分類が改善される。これは、参照スライスからビットを捨てることが予測不一致に与える影響が、拡張レイヤにおいて係数がほとんど又は全く変化しないエリア内よりも、多くの係数が変化するエリア内の方が大きいという観測結果に基づく。対応するプログレッシブ・リファインメントＮＡＬユニットがドロップされたか又は打ち切られたときに、参照ブロック拡張レイヤ係数が復号器で利用できないが、これは、ブロックが利用できるときのみに参照ブロック調整が実行されるため、問題を引き起こさない。したがって、提案される重み係数調整によって、付加的な予測不一致は導入されない。

品質スケーラブルビデオコーデックのブロック図である。非適応的ＦＧＳにおける参照ブロック形成を示す図である。全て０のブロックの場合の参照ブロック形成を示す図である。０でないブロック内の０係数の場合の参照ブロック形成を示す図である。一実施形態における判断プロセスのブロック図である。一実施形態における１６個の動きベクトルを有するマクロブロックを示す図である。

ここで、一例にすぎないが、添付の図面を参照しながら、本発明の実施形態が説明されることになる。

以下に述べられる実施形態は、説明される過程を実行するためのハードウエア、ソフトウエア、又はハードウエア及びソフトウエアの組み合わせを含むことができる。したがって、たとえば、データ記憶媒体（光学的なＣＤＲＯＭ、半導体ＲＯＭ、磁気的な記録媒体等）に格納されているデータ、及び／又は、たとえば、遠隔データベースから、若しくはインターネットのような通信ネットワークによる伝送によって、若しくは空中を伝送することによって、プログラム可能な処理装置に入力される信号（たとえば、電気信号又は光信号）として、プログラム命令をプログラム可能な処理装置に供給することによって、実施形態を達成することができる。

符号器における参照ブロックの生成が以下に説明されるが、本発明の実施形態では、同じようにして復号器において参照フレームが生成される。

実施形態１
本発明の第１の実施形態は、パラメータα及びβの値を求めるための現在の技法を変更しない。代わりに、それらの値は、スライスのための初期値として取り扱われ、その実施形態は、参照ブロックの特性に応じて、ブロック毎に値を調整するためのさらなる処理を実行する。さらに厳密に言うと、参照ブロックが拡張レイヤにおいてほとんど（全く）変化しない係数を有するブロックの場合の拡張参照フレームの重み付けが大きくされる。逆に、この重み付けは、拡張レイヤにおいて多くの係数が変化するブロックの場合に、その初期値から小さくされる。

具体的な実施態様は以下のようになる。

基本レイヤにおいて全ての係数が０である場合、αの値は以下のように調整される。
１．参照ブロックの拡張レイヤ内の全ての係数が０である場合には、拡張レイヤ参照ブロックは基本レイヤの現在ブロックと同一であり、αの値は重要でない。これは、これらのブロックのための重み付け平均の計算を省略し、それによって複雑さを緩和することができるようにするため有用である。
２．同じことは、再構成されたピクセル値に与える係数変化の影響が０であるピクセルにも当てはまる。
３．参照ブロックの再構成されたサンプルの値が、拡張レイヤにおいて変化する。この場合、ＭＰＥＧ−４ＳＶＣの現在の草案の場合と同じ公式が使用されるが、αの値は、再構成されたサンプルの大きさの変化に比例して変更される。

複雑さ（メモリ）要件(the complexity (memory) requirements)によっては、参照ブロック内のピクセルに与える係数拡張の影響を別個に考慮することは実用的でないことがある。その場合、事例２は、別個に取り扱われるのではなく、事例３の場合と同じようにして計算が実行される。同様に、事例３においてピクセル毎に重みを調整することは実用的でないことがある。その場合、再構成されたサンプル値の変化の平均的な大きさに基づいて、重みが調整される。

基本レイヤブロック内の全ての係数が０であるとは限らない場合、重みβは以下のように調整される。
１．上記の場合と同様に、参照ブロックの拡張レイヤ内の全ての係数が０である場合には、差分ブロックＤ（ｔ−１，ｎ）は０であり、基本レイヤ参照の調整は不要である。
２．参照ブロック拡張レイヤにおいて係数が変化する場合には、参照ブロックの重み付けが、差分ブロックＦＤ（ｔ−１，ｎ）の対応する係数の値の変化に比例して小さくされる。
３．係数が変化しない場合には、参照ブロックの重み付けは変更されない。

上記の事例と同様に、計算の複雑さを抑える必要がある場合には、係数変化の平均的な大きさに基づいて、ブロック毎に重みβの調整を実行することができる。その処理は、いずれにしても係数毎に調整されるため、これは、上記の事例の場合ほど問題にはならないと予想される。

いずれの場合でも、重み係数に適切なクリッピングを適用して、それらの重み係数が確実に許容範囲内に入るようにする。特定の実施態様では、いずれの場合の調整も、適切な拡張レイヤ係数のピクセル値又は係数値の単位差当たり１／１６のステップにおいて行なわれる。

上記の実施態様のための判断プロセスが、図５に示される。

上記の実施態様では、調整は参照ブロック拡張レイヤの変化の大きさに比例する。代替的な実施態様では、その関係は非線形であることがあり、所定のしきい値に達した場合に、適切な重み係数の値を０又は１に設定することを含む。

実施形態２
適応的参照ＦＧＳ(adaptive-reference FGS)の別の態様は、第２の動き補償／予測ループの導入によって引き起こされる複雑さの増大である。代替的な実施態様では、重み付けされた予測の代わりに、基本レイヤと参照画像拡張レイヤとの間の選択のみが使用されるように、その設計は変更され、これは、所与のブロックの場合に、２つの動き補償過程のうちの一方しか呼び出す必要がないことを意味する。したがって、上記のように、差分参照ブロックＤ（ｔ−１，ｎ）及びＤ’（ｔ−１，ｎ）を計算する必要はない。代わりに、参照ブロックＰ（ｔ，ｎ）は、基本レイヤ参照ブロック内に０でない係数が存在するか否かに応じて、基本レイヤブロックＲ（ｔ，０）又は拡張レイヤ参照ブロックＲ（ｔ−１，ｎ）のいずれかの単なるコピーである。より詳細には、参照ブロックＰ（ｔ，ｎ）は、基本レイヤ参照ブロック内の全ての係数が０である場合には、拡張レイヤ参照ブロックＲ（ｔ−１，ｎ）のコピーであり、基本レイヤ参照ブロック内の全ての係数が０であるとは限らない場合には、基本レイヤブロックＲ（ｔ，０）のコピーである。

重みの量子化が粗くなることによって引き起こされる精度の損失を相殺するために、代替的な実施態様では、さらに細かく粒度が調整され、その重みは、スライス毎ではなくブロック毎に変更される。

一実施態様では、符号器及び復号器の両方でわかっている信号の特性に基づいて、重みが調整され、これは、マクロブロックレベルにおいて明示的なシグナリングが不要であることを意味する。

代替的な実施態様では、ビットストリームにおいてフラグが送信される。これは、必要とされる帯域幅において犠牲を払うが、効率的なエントロピーコーディングが利用される場合には、特にビットレートが高くなるほど、その犠牲はそれほど大きくなくなる。コーディング効率を改善するのを助けることに加えて、この変形形態によれば、「部分的な復号器リフレッシュ」も実施することができるようになる。すなわち、予測ドリフトの影響をマクロブロック毎に制御することができ、それによって、それがコーディング効率に与える影響を制限し、フレーム全体が低い圧縮効率で符号化されるときに感じられる視覚的な影響を特に低減する。

実施形態３
第３の実施形態では、その時点で処理されているブロックの近くにある動きフィールドの特性に基づいて、重みα及びβが適合される。具体的には、周囲ブロックの動きベクトルが、現在ブロックの動きベクトルと比較され、その間の差の指標(measure)に基づいて重みが調整される。一実施態様では、使用される指標は、現在ブロックの動きベクトルと周囲の動きベクトルとの差の大きさに基づく。この大きさは、現在の動きベクトルと周囲の動きベクトルとの差の二乗の平均として、すなわち以下の式に従って計算することができる。

ただし、Ｎは考慮される周囲ブロックの数であり、ｖ^cは現在ブロックの動きベクトルであり、ｖⁱはｉ番目の周囲ブロックの動きベクトルであり、ｘ及びｙは動きベクトルの成分を表す。差の他の指標を使用してもよい。一例は、上記のような公式に類似の公式であるが、総和において大きさの平方根が使用されている点が異なる。すなわち、以下の通りである。

調整の量は、使用される差の指標の値に比例するように指定することができる。代替的に、差の指標の値に応じて調整の値のためのルップアップテーブルの指定を含む、非線形の依存性を指定することができる。ルックアップテーブルの具体的な例は以下のとおりである。
・Ｍ＞６４の場合には、６／３２だけ重みを小さくする。
・そうではなく、Ｍ＞３２の場合には、重みを４／３２だけ小さくする。
・そうではなく、Ｍ＞１６の場合には、重みを３／３２だけ小さくする。
・そうではなく、Ｍ＞８の場合には、重みを２／３２だけ小さくする。
・そうではなく、Ｍ＞０の場合には、重みを１／３２だけ小さくする。

動きベクトルが送信されないとき（いわゆる、ＳＫＩＰマクロブロックであり、動きベクトル又は変換係数が送信されず、前のフレームからのマクロブロックが単に繰り返しコピーされるとき）、上記で定義されたような差の指標を計算することはできない。これは、現在のマクロブロック位置において、前のフレームと現在のフレームとの間にほとんど変化がないことを示すため、この場合には、重みは変更しないでおくことができるか、又は大きくすることができる。

差の指標を計算する際に使用されることになる１組の周囲ブロックの選択は、複雑さの考慮、そのフレーム内の現在のマクロブロックの位置、及び現在のマクロブロック内の現在ブロックの位置による。

複雑さを制限するために、第１の実施態様は、差の指標を計算するための現在のマクロブロック内のブロックのみを使用する。マクロブロック内の動きベクトルの最大数は１６個である（４×４ブロック毎に１つ）。その際、マクロブロック内のブロックの位置によって、マクロブロック内のブロックの位置によって、周囲ブロックの数は３個〜８個の間で変化する（上、左、右、下、左上、右上、左下及び右下）。これが図６に示されており、Ａ、Ｄ、Ｍ及びＰを付されたブロックは３個の利用可能な周囲ブロックを有し、Ｂ、Ｃ、Ｅ、Ｈ、Ｉ、Ｌ、Ｎ及びＯは５個の利用可能な周囲ブロックを有し、Ｆ、Ｇ、Ｊ及びＫはそれぞれ８個の利用可能な周囲ブロックを有する。１６個よりも少ない動きベクトルが使用される事例も、動きベクトルが、対応する４×４ブロックの場合の対応する数（たとえば、４個）の動きベクトルであるかのように、さらに大きな（たとえば、８×８）ブロックに対応する動きベクトルをコピーし、取り扱うことによって、同じように取り扱うことができる。

第２の実施態様では、先行して処理されたマクロブロックのうちの全て又はいくつか（現在のマクロブロックの左上、上、右上及び左）からの情報も、差の指標を計算する際に使用される。これは、図６内のブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｉ及びＭのための差の指標を計算するために、付加的なブロックが利用することができるようになることを意味する。先行して処理された全てのマクロブロックが使用されると、ブロックＡ、Ｂ、Ｃ、Ｅ及びＩは８個の利用可能な周囲ブロックを有し、ブロックＤは６個の利用可能な周囲ブロックを有し、ブロックＭは５個の利用可能な周囲ブロックを有する。

代替的な実施態様では、差の指標は、現在ブロックと、周囲ブロックのそれぞれとの間の距離を考慮するように調整される。たとえば、図６に示される１組のブロックを使用し、ブロックＦを現在ブロックと見なすとき、ブロックＢ、Ｅ、Ｇ及びＪは、ブロックＡ、Ｃ、Ｉ及びＫよりも大きな重みで使用される。

簡単にした実施態様は、全マクロブロックに対して一度だけ距離の指標を計算し、その後、マクロブロック内の全てのブロックの場合に、この値を使用する。

変更形態
添付の特許請求の範囲内で、上記の実施形態に数多くの変更を加えることができる。

たとえば、代替的な実施形態では、重み付けパラメータの調整の値は、複数の要因の組み合わせに基づき、そのうちの１つが、上記の参照ブロック拡張レイヤ係数の値の変化である。これらの他の要因として、たとえば、マクロブロックタイプ及び予測モード、又は先行技術において記載されているような算術コーダコーディングコンテクスト(the arithmetic coder coding context)を使用することができる。より具体的には、それらの調整値を単に互いに加算して、全調整値を形成することができる。ただし、異なる要因からの調整値は異なる粒度を有することがある。

別の代替的な実施態様では、重み係数の変更の度合いはその初期値に依存する。より厳密には、重み係数の初期値が小さい場合には、その変化も小さく、初期値が大きくなるのに応じて、その変化も大きくすることができるようになる。これは、ドリフトをさらに良好に制御することができるようにするために行なわれる。ドリフトが問題である（たとえば、画像間の距離が長い）とき、変更の度合いを、さらに正確に制御することができるようにすることが、より重要である。より厳密には、そのような方式は、重みの初期値によって、その変化をスケーリングすることによって実施される。すなわち、重みα及びβを一定の量（たとえば、１／１６）だけ変更する代わりに、それらの重みは、ビットストリーム要素ｍａｘ＿ｄｉｆｆ＿ｒｅｆ＿ｓｃａｌｅ＿ｆｏｒ＿ｚｅｒｏ＿ｂａｓｅ＿ｂｌｏｃｋ及びｍａｘ＿ｄｉｆｆ＿ｒｅｆ＿ｓｃａｌｅ＿ｆｏｒ＿ｚｅｒｏ＿ｂａｓｅ＿ｃｏｅｆｆから得られる初期値に比例した量だけ変更され、たとえば、以下のとおりである。
α＝（１＋γ）α₀
ただし、α₀は重みの初期値であり、γは上記のような大きさの変化に基づく調整の度合いである。多数の要因からの調整値が組み合わせられる場合には、その公式は、たとえば、以下のように拡張することができる。
α＝（１＋γ）（１＋δ）α₀
ただし、γ及びδは、種々の要因、たとえば、拡張レイヤ係数の大きさ、算術コーダコーディングコンテクスト、又はマクロブロックタイプ及び予測モードに対応する寄与である。

これは、重み値の不均一な量子化の一例にすぎず、さらに一般的な方式も考えることができる。たとえば、ブロック変換係数の量子化において使用される量子化ステップが、ドリフト特性に大きな影響を与える。代替的な実施態様では、重みの調整の計算において、これが考慮に入れられる。

ＦＧＳレイヤの一部だけが復号器によって受信されるときに、ＦＧＳレイヤ内の全データ量の一部として入手可能であるデータの量がわかっているか又は推定される場合には、復号化の品質を改善することができる。その場合、最適な重み付けにさらに近づくように、重み値の調整の量をさらに調整することができる。

Claims

改善された適応的参照細粒度スケーラビリティ符号化又は復号化方法であって、基本レイヤデータ及び差分データの重み付けされた組み合わせを使用して予測信号が形成され、重み付けの量が前記データの特性に依存する、改善された適応型参照細粒度スケーラビリティ符号化又は復号化方法。
前記重み付けは、前記拡張レイヤにおいて変化する係数の数に依存する、請求項１に記載の方法。
前記重み付けは、前記差分データ内の値の大きさに依存する、請求項１又は２に記載の方法。
前記差分データは、前記拡張レイヤ及び前記基本レイヤ内の参照ブロックデータ間の差を含む、請求項１〜３のいずれか一項に記載の方法。
前記差分データは、前記拡張レイヤ及び前記基本レイヤ内の参照ブロックデータ間の変換差を定義する変換係数を含む、請求項１〜３のいずれか一項に記載の方法。
適応的参照細粒度スケーラビリティ符号器又は復号器において拡張レイヤ予測データを生成する方法であって、
スケーリングパラメータが前記拡張レイヤにおいて参照データ値が変化する確率に応じて設定されるように、前記スケーリングパラメータに従ってデータを合成することによって参照データを生成すること、及び
前記生成された参照データに応じて前記予測データを生成すること、
を含む、適応的参照細粒度スケーラビリティ符号器又は復号器において拡張レイヤ予測データを生成する方法。
適応的参照細粒度スケーラビリティ符号化又は復号化法であって、
差分データと基本レイヤデータとを合成する場合に使用される重み係数を計算すること、
前記差分データの大きさに応じて前記重み係数を調整すること、
参照データを生成するために、前記調整された重み係数に応じて前記差分データ及び前記基本レイヤデータを合成すること、及び
前記生成された参照データを使用して拡張レイヤ予測データを生成すること、
を含む、適応的参照細粒度スケーラビリティ符号化又は復号化法。
前記重み係数は、前記差分データの大きさに線形に応じて調整される、請求項７に記載の方法。
前記重み係数は、該重み係数の調整されていない値と前記差分データの大きさとに応じた量だけ調整される、請求項７又は８に記載の方法。
前記重み係数は、前記差分データの大きさが増加するのに応じて増加する量だけ小さくされる、請求項７〜９のいずれか一項に記載の方法。
基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法であって、
前記拡張レイヤデータは、参照データを前記基本レイヤデータと比較して予測誤差データを生成することによって生成され、
前記参照データは、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
前記差分参照データ内の値の大きさを求めること、
スケーリングされた差分参照データを生成するために、前記求められた大きさの値に応じて、前記差分参照データをスケーリングすること、及び
前記スケーリングされた差分参照データを、基本レイヤの再構成されたデータと合成すること、
によって生成される、基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法。
前記差分参照データをスケーリングするプロセスは、前記差分参照データ内の値の大きさに応じて設定される個々のスケーリングファクタによって各値をスケーリングすることを含む、請求項１１に記載の方法。
前記差分参照データをスケーリングするプロセスは、前記差分参照データ内の複数の値の大きさの平均に応じて設定される１つのスケーリングファクタによって複数の値をスケーリングすることを含む、請求項１１に記載の方法。
基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法であって、
前記拡張レイヤデータは、参照データを前記基本レイヤデータと比較して予測誤差データを生成することによって生成され、
前記参照データは、
前記拡張レイヤ内の参照データの全ての値が０であるか否かを判断すること、
前記値の全てが０ではない場合には、
（ｉ）差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
（ｉｉ）前記差分参照データをスケーリングすること、及び
（ｉｉｉ）前記スケーリングされた差分参照データを基本レイヤの再構成されたデータと合成すること、
前記値の全てが０である場合には、
プロセス（ｉ）、（ｉｉ）及び（ｉｉｉ）を省略し、前記基本レイヤからの参照データを使用すること、
によって生成される、基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法。
基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法であって、
前記拡張レイヤデータは、参照データを前記基本レイヤデータと比較して予測誤差データを生成することによって生成され、
前記参照データは、
０でない値と０である値とを識別するために、前記拡張レイヤ内の参照データの値を処理すること、
０でない値のそれぞれの場合には、
（ｉ）差の値を生成するために、前記拡張レイヤ内の参照データ値と前記基本レイヤ内の参照データ内の対応する値との間の差を計算すること、
（ｉｉ）前記差の値をスケーリングすること、及び
（ｉｉｉ）前記スケーリングされた差の値を基本レイヤの再構成されたデータ内の対応する値と合成すること、
０である値のそれぞれの場合には、
プロセス（ｉ）、（ｉｉ）及び（ｉｉｉ）を省略し、前記基本レイヤからの参照データを使用すること、
によって生成される、基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法。
基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法であって、
前記拡張レイヤデータは、参照データを前記基本レイヤデータと比較して予測誤差データを生成することによって生成され、
前記参照データは、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
変換係数を生成するために、前記差分参照データを変換すること、
前記変換係数の大きさを求めること、
スケーリングされた変換係数を生成するために、前記求められた大きさの値に応じて前記変換係数をスケーリングすること、
変更された差分参照データを得るために、前記スケーリングされた変換係数を逆変換すること、及び
前記変更された差分参照データと、基本レイヤの再構成されたデータとを合成すること、
によって生成される、基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法。
前記変換係数をスケーリングするプロセスは、前記変換係数の大きさに応じて設定される個々のスケーリングファクタによって各変換係数をスケーリングすることを含む、請求項１６に記載の方法。
前記変換係数をスケーリングするプロセスは、複数の変換係数の大きさの平均に応じて設定される１つのスケーリングファクタによって複数の変換係数をスケーリングすることを含む、請求項１６に記載の方法。
基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法であって、
前記拡張レイヤデータは、参照データを前記基本レイヤデータと比較して予測誤差データを生成することによって生成され、
前記参照データは、
前記拡張レイヤ内の参照データの全ての値が０であるか否かを判断すること、
前記値の全てが０ではない場合には、
（ｉ）差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
（ｉｉ）変換係数を生成するために、前記差分参照データを変換すること、
（ｉｉｉ）前記変換係数をスケーリングすること、
（ｉｖ）変更された差分参照データを得るために、前記スケーリングされた変換係数を逆変換すること、及び
（ｖ）前記変更された差分参照データを基本レイヤの再構成されたデータと合成すること、
前記値の全てが０である場合には、
プロセス（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）及び（ｖ）を省略し、前記基本レイヤからの参照データを使用すること、
によって生成される、基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法。
適応的参照細粒度スケーラビリティ符号器又は復号器において拡張レイヤ予測データを生成する方法であって、
基本レイヤの参照ブロック内に０でない係数が少しでも存在するか否かを判断すること、
少なくとも１つの０でない係数が存在する場合には、前記拡張レイヤ予測データを生成するために、参照ブロックとして基本レイヤブロックを使用すること、
０でない係数が存在しない場合には、前記拡張レイヤ予測データを生成するために、拡張レイヤ参照ブロックを使用すること、
を含む、適応的参照細粒度スケーラビリティ符号器又は復号器において拡張レイヤ予測データを生成する方法。
改善された適応的参照細粒度スケーラビリティ符号化又は復号化法であって、
予測信号が、基本レイヤデータ及び差分データの重み付けされた組み合わせを使用して生成され、重み付けの量は、その時点で処理されているブロックの近くにある動きフィールドの特性に依存する、改善された適応的参照細粒度スケーラビリティ符号化又は復号化法。
前記重み付けは前記動きフィールド内の差の大きさに依存する、請求項２１に記載の方法。
前記差分データは、前記拡張レイヤ及び前記基本レイヤ内の参照ブロックデータ間の差を含む、請求項２１又は２２に記載の方法。
前記差分データは、前記拡張レイヤ及び前記基本レイヤ内の参照ブロックデータ間の変換差を定義する変換係数を含む、請求項２１又は２２に記載の方法。
適応的参照細粒度スケーラビリティ符号器又は復号器において拡張レイヤ予測データを生成する方法であって、
現時点で処理されているブロックの動きベクトルと、少なくとも１つの周囲ブロックの動きベクトルとの間の差に応じてスケーリングパラメータが設定されるように、前記スケーリングパラメータに従ってデータを合成することによって参照データを生成すること、及び
前記生成された参照データに応じて前記予測データを生成すること、
を含む、適応的参照細粒度スケーラビリティ符号器又は復号器において拡張レイヤ予測データを生成する方法。
適応的参照細粒度スケーラビリティ符号化又は復号化法であって、
差分データと基本レイヤデータとを合成する場合に使用される重み係数を計算すること、
データのブロックの動きベクトルを複数の周囲ブロックの動きベクトルと比較することであって、その間の差を求める、比較すること、
前記動きベクトル間の差に応じて前記重み係数を調整すること、
参照データを生成するために、前記調整された重み係数に応じて前記差分データ及び前記基本レイヤデータを合成すること、並びに
前記生成された参照データを使用して拡張レイヤ予測データを生成すること、
によって、前記データのブロックを処理することを含む、適応的参照細粒度スケーラビリティ符号化又は復号化法。
前記重み係数は前記動きベクトル間の差に線形に応じて調整される、請求項２６に記載の方法。
基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法であって、
前記拡張レイヤデータは、参照データを前記基本レイヤデータと比較して予測誤差データを生成することによって生成され、
前記参照データは、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
動きベクトルの差の指標を計算するために、現在ブロックの動きベクトルと、複数の周囲ブロックの動きベクトルとを比較すること、
スケーリングされた差分参照データを生成するために、前記計算された動きベクトルの差の指標に応じて、前記差分参照データをスケーリングすること、及び
前記スケーリングされた差分参照データを、前記基本レイヤの再構成されたデータと合成すること、
によって生成される、基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法。
基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法であって、
前記拡張レイヤデータは、参照データを前記基本レイヤデータと比較して予測誤差データを生成することによって生成され、
前記参照データは、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
変換係数を生成するために、前記差分参照データを変換すること、
動きベクトルの差の指標を計算するために、現在ブロックの動きベクトルと、複数の周囲ブロックの動きベクトルとを比較すること、
スケーリングされた変換係数を生成するために、前記計算された動きベクトルの差の指標に応じて、前記変換係数をスケーリングすること、
変更された差分参照データを得るために、前記スケーリングされた変換係数を逆変換すること、及び
前記変更された差分参照データと、基本レイヤの再構成されたデータとを合成すること、
によって生成される、基本レイヤデータ及び拡張レイヤデータに従って画像のシーケンスを符号化又は復号化する方法。
前記動きベクトルを比較するプロセスは、現時点で処理されているブロックの動きベクトルを、同じマクロブロック内の周囲ブロックの動きベクトルと比較することを含む、請求項２８又は２９に記載の方法。
前記動きベクトルを比較するプロセスは、現時点で処理されているブロックの動きベクトルを、同じマクロブロック内の周囲ブロックの動きベクトル、及びさらに先行して処理された少なくとも１つのマクロブロックの動きベクトルと比較することを含む、請求項３０に記載の方法。
現時点で処理されているブロックと周囲ブロックとの間の距離の指標に応じて、該現時点で処理されているブロックの動きベクトルと、該周囲ブロックのそれぞれの動きベクトルとの間の差を重み付けすることをさらに含む、請求項２８〜３１のいずれか一項に記載の方法。
前記動きベクトル間の差は、その間の距離が小さいブロック間の動きベクトル差の方が、その間の距離が大きなブロックの動きベクトル間の差よりも、前記動きベクトルの差の指標に対してより寄与するように重み付けされる、請求項３２に記載の方法。
請求項１〜３３の少なくとも一項に記載されるような方法を実行するように動作することができるようになるように、プログラム可能な処理装置をプログラムするコンピュータプログラム命令を格納する、記憶媒体。
請求項１〜３３の少なくとも一項に記載されるような方法を実行するように動作することができるようになるように、プログラム可能な処理装置をプログラムするコンピュータプログラム命令を搬送する、信号。
改善された適応的参照細粒度スケーラビリティ符号器又は復号器であって、基本レイヤデータと差分データとの重み付けされた組み合わせを使用して予測信号を生成する手段を備え、重み付けの量は前記データの特性に依存する、改善された適応的参照細粒度スケーラビリティ符号器又は復号器。
適応的参照細粒度スケーラビリティ符号器又は復号器であって、
前記拡張レイヤにおいて参照データ値が変化する確率に応じてスケーリングパラメータが設定されるように、前記スケーリングパラメータに従ってデータを合成することによって参照データを生成する手段と、
前記生成された参照データに応じて前記予測データを生成する手段と、
を備える、拡張レイヤ予測データを生成する手段を有する、適応的参照細粒度スケーラビリティ符号器又は復号器。
適応的参照細粒度スケーラビリティ符号器又は復号器であって、
差分データと基本レイヤデータとを合成する場合に使用される重み係数を計算する手段と、
前記差分データの大きさに応じて前記重み係数を調整する手段と、
参照データを生成するために、前記調整された重み係数に応じて前記差分データ及び前記基本レイヤデータを合成する手段と、
前記生成された参照データを使用して拡張レイヤ予測データを生成する手段と、
を備える、適応的参照細粒度スケーラビリティ符号器又は復号器。
基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器であって、
参照データ生成手段であって、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算する手段と、
前記差分参照データ内の値の大きさを求める手段と、
スケーリングされた差分参照データを生成するために、前記求められた大きさの値に応じて前記差分参照データをスケーリングする手段と、
前記スケーリングされた差分参照データを基本レイヤの再構成されたデータと合成する手段と、
を備える、参照データ生成手段と、
前記参照データ生成手段によって生成される参照データと前記基本レイヤデータとを比較して予測誤差データを生成することによって、前記拡張レイヤデータを生成する手段と、
を備える、基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器。
基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器であって、
前記拡張レイヤ内の参照データの値が全て０であるか否かを判断すること、
前記値の全てが０ではない場合には、
（ｉ）差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
（ｉｉ）前記差分参照データをスケーリングすること、及び
（ｉｉｉ）前記スケーリングされた差分参照データを基本レイヤの再構成されたデータと合成すること、
前記値の全てが０である場合には、
プロセス（ｉ）、（ｉｉ）及び（ｉｉｉ）を省略し、前記基本レイヤからの参照データを使用すること、
によって、参照データを生成するように動作することができる参照データ生成手段と、
前記参照データ生成手段によって生成される参照データと前記基本レイヤデータとを比較して予測誤差データを生成することによって、前記拡張レイヤデータを生成する手段と、
を備える、基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器。
基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器であって、
０でない値と０である値とを識別するために、前記拡張レイヤ内の参照データの値を処理すること、
０でない値のそれぞれの場合には、
（ｉ）差の値を生成するために、前記拡張レイヤ内の参照データ値と前記基本レイヤ内の参照データ内の対応する値との間の差を計算すること、
（ｉｉ）前記差の値をスケーリングすること、及び
（ｉｉｉ）前記スケーリングされた差の値を基本レイヤの再構成されたデータ内の対応する値と合成すること、
０である値のそれぞれの場合には、
プロセス（ｉ）、（ｉｉ）及び（ｉｉｉ）を省略し、前記基本レイヤからの参照データを使用すること、
によって、参照データを生成するように動作することができる参照データ生成手段と、
前記参照データ生成手段によって生成される参照データと前記基本レイヤデータとを比較して予測誤差データを生成することによって、前記拡張レイヤデータを生成する手段と、
を備える、基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器。
基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器であって、
参照データ生成手段であって、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算する手段と、
変換係数を生成するために、前記差分参照データを変換する手段と、
前記変換係数の大きさを求める手段と、
スケーリングされた変換係数を生成するために、前記求められた大きさの値に応じて前記変換係数をスケーリングする手段と、
変更された差分参照データを得るために、前記スケーリングされた変換係数を逆変換する手段と、
前記変更された差分参照データを基本レイヤの再構成されたデータと合成する手段と、
を備える、参照データ生成手段と、
前記参照データ生成手段によって生成される参照データと前記基本レイヤデータとを比較して予測誤差データを生成することによって、前記拡張レイヤデータを生成する手段と、
を備える、基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器。
基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器であって、
前記拡張レイヤ内の参照データの値が全て０であるか否かを判断すること、
前記値の全てが０ではない場合には、
（ｉ）差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算すること、
（ｉｉ）変換係数を生成するために、前記差分参照データを変換すること、
（ｉｉｉ）前記変換係数をスケーリングすること、
（ｉｖ）変更された差分参照データを得るために、前記スケーリングされた変換係数を逆変換すること、及び
（ｖ）前記変更された差分参照データを前記基本レイヤの再構成されたデータと合成すること、
前記値の全てが０である場合には、
プロセス（ｉ）、（ｉｉ）、（ｉｉｉ）、（ｉｖ）及び（ｖ）を省略し、前記基本レイヤからの参照データを使用すること、
によって参照データを生成するように動作することができる参照データ生成手段と、
前記参照データ生成手段によって生成される参照データと前記基本レイヤデータとを比較して予測誤差データを生成することによって、前記拡張レイヤデータを生成する手段と、
を備える、基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器。
適応的参照細粒度スケーラビリティ符号器又は復号器であって、
基本レイヤの参照ブロック内に０でない係数が少しでも存在するか否かを判断すること、
少なくとも１つの０でない係数が存在する場合には、拡張レイヤ予測データを生成するために、参照ブロックとして基本レイヤブロックを使用すること、
０でない係数が存在しない場合には、前記拡張レイヤ予測データを生成するために、拡張レイヤ参照ブロックを使用すること、
によって、
該拡張レイヤ予測データを生成するように動作することができる拡張レイヤ予測データ生成手段を有する、適応的参照細粒度スケーラビリティ符号器又は復号器。
改善された適応的参照細粒度スケーラビリティ符号器又は復号器であって、
基本レイヤデータ及び差分データの重み付けされた組み合わせを使用して予測信号を生成する手段を備え、
重み付けの量は、その時点で処理されているブロックの近くにある動きフィールドの特性に依存する、改善された適応的参照細粒度スケーラビリティ符号器又は復号器。
適応的参照細粒度スケーラビリティ符号器又は復号器であって、拡張レイヤ予測データを生成する手段を有し、該手段は、
現時点で処理されているブロックの動きベクトルと少なくとも１つの周囲ブロックの動きベクトルとの間の差に応じてスケーリングパラメータが設定されるように、前記スケーリングパラメータに従ってデータを合成することによって参照データを生成する手段と、
前記生成された参照データに応じて前記予測データを生成する手段と、
を備える、適応的参照細粒度スケーラビリティ符号器又は復号器。
適応的参照細粒度スケーラビリティ符号器又は復号器であって、
差分データと基本レイヤデータとを合成する場合に使用される重み係数を計算する手段と、
１つのブロックの動きベクトルを複数の周囲ブロックの動きベクトルと比較する手段であって、その間の差を求める、比較する手段と、
前記動きベクトル間の差に応じて前記重み係数を調整する手段と、
参照データを生成するために、前記調整された重み係数に応じて前記差分データ及び前記基本レイヤデータを合成する手段と、
前記生成された参照データを使用して拡張レイヤ予測データを生成する手段と、
を備える、適応的参照細粒度スケーラビリティ符号器又は復号器。
基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器であって、
参照データ生成手段であって、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算する手段と、
動きベクトルの差の指標を計算するために、現在ブロックの動きベクトルと、複数の周囲ブロックの動きベクトルとを比較する手段と、
スケーリングされた差分参照データを生成するために、前記計算された動きベクトルの差の指標に応じて、前記差分参照データをスケーリングする手段と、
前記スケーリングされた差分参照データを基本レイヤの再構成されたデータと合成する手段と、
を備える、参照データ生成手段と、
前記参照データ生成手段によって生成される参照データと前記基本レイヤデータとを比較して予測誤差データを生成することによって、前記拡張レイヤデータを生成する手段と、
を備える、基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器。
基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器であって、
参照データ生成手段であって、
差分参照データを生成するために、前記拡張レイヤ内の参照データと前記基本レイヤ内の参照データとの間の差を計算する手段と、
変換係数を生成するために、前記差分参照データを変換する手段と、
動きベクトルの差の指標を計算するために、現在ブロックの動きベクトルと、複数の周囲ブロックの動きベクトルとを比較する手段と、
スケーリングされた変換係数を生成するために、前記計算された動きベクトルの差の指標に応じて前記変換係数をスケーリングする手段と、
変更された差分参照データを得るために、前記スケーリングされた変換係数を逆変換する手段と、
前記変更された差分参照データを基本レイヤの再構成されたデータと合成する手段と、
を備える、参照データ生成手段と、
前記参照データ生成手段によって生成される参照データと前記基本レイヤデータとを比較して予測誤差データを生成することによって、前記拡張レイヤデータを生成する手段と、
を備える、基本レイヤデータ及び拡張レイヤデータに応じて画像のシーケンスを符号化又は復号化するための符号器又は復号器。