JP2014504119A - 画像シーケンスを符号化する方法およびこの方法に対応する再構築方法 - Google Patents

Abstract

本発明は、画像シーケンスを符号化する方法に関する。この符号化方法は、現在の画像に対し
この現在の画像のサマリーを作成するステップと、このサマリーを符号化して第１のビットストリームにするステップと、このサマリーから中間画像を再構築するステップと、この中間画像を参照画像として使用して現在の画像を符号化して第２のビットストリームにするステップと、を含む。
【選択図】図１

Description

本発明は、ビデオの符号化および復号に関する。より具体的には、本発明は、画像シーケンスを符号化する方法およびこの画像シーケンスを再構築する方法に関する。本発明は、低ビット・レートで同一の品質を維持することによるビデオ符号化性能の改善を取り扱う。

画像シーケンスのうちの画像を符号化する際、まず、画像を空間的または時間的に予測し、画像の予測の結果として得られる残差信号を符号化することが知られている。空間予測は、ＩＮＴＲＡ（イントラ）予測とも呼ばれ、時間予測は、ＩＮＴＥＲ（インター）予測とも呼ばれる。ＩＴＵ−Ｔ勧告Ｈ．２６４／ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣビデオ符号化規格は、符号化されるブロックの空間推定に対応する３個の異なるイントラ予測モードである、Ｉｎｔｒａ４×４、Ｉｎｔｒａ８×８、およびＩｎｔｒａ１６×１６を規定する。これらの異なるモードは、予測ブロックの画素を構築するために、複数の異なる方向予測モードを利用することができる。Ｉｎｔｒａ４×４およびＩｎｔｒａ８×８においては、９個のイントラ予測モードが規定されている。これらのイントラ予測モードのうちの８個は、予測されるブロックの周囲の画素の一次元（１Ｄ）方向外挿からなる。追加的な予測モード（ＤＣモード）は、利用可能な周囲の画素の平均として予測ブロックの画素を規定する。

テクスチャが単方向に指向した複数の構造に対応する場合には、利用可能な予測方向のうちの１つに一致させることにより、これらの構造は、適切な方向１Ｄ予測で良好に外挿される。しかしながら、複雑な２Ｄパターンの場合には、Ｈ．２６４／ＡＶＣイントラ予測モードは、信号を正確に伝搬させ、予測することができない。

本発明は、従来技術の欠点の少なくとも１つを低減することを目的とする。本発明の１つの目的は、イントラ予測の原理を改良することにあり、これは、現在の画像の画像サマリー（例えば、縮図）に基づいた符号化器／復号器のスキームを使用することによって行われ、画像サマリーは、参照画像として間接的に使用される。

従って、本発明は、画像シーケンスを符号化する方法であって、現在の画像に対して、
−上記現在の画像のサマリーを作成するステップと、
−上記サマリーを符号化して第１のビットストリームにするステップと、
−上記サマリーから上記現在の画像と同じサイズの中間画像を再構築するステップと、
−上記現在の画像を、上記中間画像を参照画像として使用して符号化して第２のビットストリームにするステップと、を含む、この方法に関する。

本発明の態様によれば、上記現在の画像のサマリーは、テクスチャ縮図および割り当てマップを含む。

有益には、上記割り当てマップは、固定長符号化または可変長符号化を使用して符号化される。

有益には、上記第２のビットストリームは、ＩＴＵ−Ｔ勧告Ｈ．２６４／ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣビデオ符号化規格およびＩＳＯ／ＩＥＣ １３８１８−２ ＭＰＥＧ２を含むビデオ符号化規格のセットに属する１つのビデオ符号化規格に準拠する。

さらに、本発明は、画像シーケンスを再構築する方法であって、現在の画像に対して、
−上記現在の画像の画像サマリーを復号するステップと、
−上記画像サマリーから中間画像を再構築するステップと、
−上記中間画像を参照画像として使用して上記現在の画像を再構築するステップと、を含み、上記中間画像が上記現在の画像と同じサイズである、この方法に関する。

画像サマリーの使用は、２Ｄテクスチャ予測の使用による方向イントラ予測の問題を解決する。実際、サマリー画像は、実際のテクスチャからなり、元の画像からのみ生成される。サマリー画像の主たる目的は、元の画像内の冗長性を除去し、画像テクスチャを最良に表す最も関連性のあるパターン（またはパッチ）を確保することにある。これらのパターンにより、指向性の単方向補間の代わりに２Ｄパッチが考慮されるため、２Ｄテクスチャにより適した予測を提供することができる。

本発明のその他の特徴および利点は、添付図面を参照して、本発明を限定するものではない、例示的な本発明の実施形態の説明を通じて理解できるようになるであろう。

本発明の第１の実施形態に従った符号化方法を示す図である。 本発明の第２の実施形態に従った符号化方法を示す図である。 従来技術に従った、縮図の作成およびこの縮図から画像の再構築を例示する図である。 本発明の第２の実施形態に従った符号化方法の詳細を表す図である。 許容誤差εで右側の画像上の白線により区切られたマッチしたパッチのセットとマッチされる所与の画像ブロックＢ_ｉを表す図である。 チャート初期化ステップを表す図であり、左側で、画像中の灰色ブロックは、現在のチャートによって現在再構築されたブロックであり、現在の縮図ＥＣ_ｎは、当初、単一のパッチＥ_０によって表されている。 チャート拡張ステップを表す図である。 元の画像（ａ）から作成された縮図の例（ｂ）および縮図から再構築された画像（ｃ）を表す図である。 本発明の第１の実施形態に従った再構築方法を示す図である。 本発明の第２の実施形態に従った再構築方法を示す図である。 本発明に従った符号化装置を表す図である。 本発明に従った復号装置を表す図である。

本発明は、画像シーケンスの符号化方法に関する。この符号化方法を、シーケンスの現在の画像について説明する。本発明に従った符号化方法は、現在の画像を符号化するために、この現在の画像の画像サマリーを使用する。さらに、本発明は、この符号化方法に対応する再構築方法に関する。

図１は、本発明に従った符号化方法を表す。

ステップ２０において、画像サマリーを現在の画像Ｉｃｕｒｒから作成する。特定の実施形態によれば、画像サマリーは、縮図（ｅｐｉｔｏｍｅ）である。しかしながら、本発明は、この種のサマリーに限定されるものではない。どのような種類のサマリー（例えば、パッチ辞書）でも、このサマリーから画像を再構築可能であれば、使用することができる。

ステップ２２において、画像サマリーを符号化して第１のストリームＦ１となる。例として、サマリーを、イントラのみの符号化モードを使用してＨ．２６４規格に準拠して符号化する。変形例によれば、画像サマリーを、文献ＪＰＥＧ２０００パート、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１規格、２０００年３月において規定されているＪＰＥＧ規格に準拠して符号化する。

ステップ２４において、画像サマリーを復号して復号されたサマリーとなる。ステップ２４は、ステップ２２の逆処理である。

ステップ２６において、復号されたサマリーから中間画像を再構築する。

ステップ２８において、中間画像を参照画像として使用して現在の画像Ｉｃｕｒｒを符号化して第２のビットストリームＦ２となる。例として、現在の画像を、Ｈ．２６４に準拠して符号化する。変形例によれば、現在の画像を、ＭＰＥＧ２ ＩＳＯ−ＩＥＣ １３８１８ビデオ符号化規格に準拠して符号化する。一般的な符号化モード（インター符号化モードおよびイントラ符号化モード）を使用することができる。現在の画像のブロックをインター符号化モードに従って符号化すると、ブロックと、参照画像内、つまり、復号された縮図から再構築された中間画像内の対応するブロックとの間の差分が符号化される。この対応するブロックは、動きベクトルによって参照画像内で特定されるが、参照画像内で同じ位置に局在した（ｃｏｌｏｃａｌｉｚｅｄ）ブロックであってもよい。さらに、双方向予測は、参照画像の２つのブロックを用いて実施することができる。この差分は、残差としても知られ、実際には、ブロックと参照画像から得られたそのブロックの予測との間で計算される予測誤差である。通常は、まず、この残差が変換されてＤＣＴ係数などの係数のブロックとなる。次に、これらの係数を量子化して、量子化された係数のブロックとなる。最終的に、量子化された係数を、公知の算術符号化、ＣＡＢＡＣ（コンテクスト適応型バイナリ算術符号化を表す）、ＣＡＶＬＣ（コンテクスト適応型可変長符号化を表す）などのエントロピー符号化を使用して符号化してビットストリームとなる。本発明は、残差を符号化するために使用される符号化のタイプに限定されるものではない。第２のビットストリームＦ２は、予測誤差の残差ビットストリームである。変形例によれば、第１のビットストリームおよび第２のビットストリームが多重化されて単一のビットストリームとなる。

図２は、本発明の特定に実施形態に従った符号化方法を表しており、ここで、画像サマリーは、縮図である。画像の縮図は、画像のテクスチャおよび構造プロパティのエッセンスを含み、この画像を縮約して表現した図である。

ステップ２０において、現在の画像Ｉｃｕｒｒから縮図を作成する。従って、この特定の実施形態によれば、現在の画像Ｉｃｕｒｒが因子分解される、すなわち、現在の画像に対し、テクスチャ縮図Ｅおよび変換マップφが作成される。縮図の原理は、最初に、Ｈｏｐｐｅ氏らによってＡＣＭ ＳＩＧＧＲＡＰＨ ２００８の会議録において公開された、「画像内、さらに、画像のうちで繰り返されるコンテンツの因子分解（Ｆａｃｔｏｒｉｎｇ Ｒｅｐｅａｔｅｄ Ｃｏｎｔｅｎｔ Ｗｉｔｈｉｎ ａｎｄ Ａｍｏｎｇ Ｉｍａｇｅｓ）」と題された文献（ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｇｒａｐｈｉｃｓ、第２７巻第３号第１〜１０頁、２００８年）において開示された。テクスチャ縮図Ｅは、現在の画像から取り出されたテクスチャの複数のピース（たとえば、複数のチャートのセット）から構築される。変換マップφは、現在の画像Ｉｃｕｒｒの各ブロックとテクスチャ縮図Ｅのパッチとの間の対応を記録した割り当てマップである。図３は、Ｈｏｐｐｅ氏の方法を例示している。画像Ｉから、テクスチャ縮図Ｅおよび変換マップφが作成され、それらによってマッチした縮図パッチから全ての画像ブロックが再構築できる。マッチしたパッチは、変換パッチとしても知られている。変換マップは、文献では、ベクトル・マップまたは割り当てマップとしても知られている。テクスチャ縮図Ｅおよび変換マップφを用いて、現在の画像Ｉ’を再構築することができる。以下の説明において、縮図は、テクスチャ縮図Ｅおよび変換マップφの双方を指定する。図４は、縮図作成のための方法を例示している。しかしながら、本発明は、縮図作成のこの方法に限定されるものでは全くない。文献においては、縮図の他の形態が提案されている。２００８年、コンピュータ・ビジョンおよびパターン認識（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ））において公表された「双方向類似性を使用した視覚データの要約（Ｓｕｍｍａｒｉｚｉｎｇ ｖｉｓｕａｌ ｄａｔａ ｕｓｉｎｇ ｂｉｄｉｒｅｃｔｉｏｎａｌ ｓｉｍｉｌａｒｉｔｙ）」と題された文献において、Ｓｉｍａｋｏｖ氏らは、双方向類似度からの画像サマリーの作成を開示している。Ｓｉｍａｋｏｖ氏らのアプローチは、２つの条件を満たすことを目的としている。これらの条件の一方は、入力データからの視覚情報をできる限り多く含むようにすることであり、他方は、入力データに存在していなかった新たな視覚アーティファクトの導入をできる限り少なくすること（すなわち、視覚の一貫性（ｖｉｓｕａｌ ｃｏｈｅｒｅｎｃｅ）を維持すること）である。

Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第７６巻第２号 ２００８年２月、に公表された「ビデオ縮図（Ｖｉｄｅｏ Ｅｐｉｔｏｍｅｓ）」と題された文献においては、Ｃｈｅｕｎｇ氏らは、縮図を抽出するために、統計的な方法を開示している。このアプローチは、色情報および特定の空間パターンの双方を捉える確率的なモデルに基づく。

ステップ２１０において、縮図構築方法は、現在の画像Ｉｃｕｒｒ内で自己類似性を見つけることを含む。従って、現在の画像は、規則的な格子の複数のブロックに分割される。現在の画像Ｉｃｕｒｒにおける各ブロックに対して、同様のコンテンツを有する同じ画像における複数のパッチのセットをサーチする。すなわち、各ブロックＢ_ｉ（∈ブロック格子）に対してＢ_ｉを所与の許容誤差εで近似する、マッチしたもの（または、マッチしたパッチ）のリストＬ_{ｍａｔｃｈ}（Ｂ_ｉ）＝｛Ｍ_ｉ０、Ｍ_ｉｌ，…｝が決定される。本実施形態においては、平均ユークリッド距離を使用して、ブロック・マッチング・アルゴリズムでマッチング処理が行われる。従って、ステップ２１０において、ブロックＢｉまでの距離がε未満である現在の画像内のパッチＭ_ｊ，ｌがリストＬ_{ｍａｔｃｈ}（Ｂ_ｉ）に追加される。この距離は、例えば、ブロックＢｉとパッチＭ_ｊ，ｌとの間の画素毎の差の絶対値をこのブロックＢ_ｉ内の画素の数で除した値に等しい。変形例によれば、距離は、誤差平方和（ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒｓ））と等しく、誤差は、ブロックＢｉとパッチＭ_ｊ，ｌとの間の画素毎の差である。画像全体内で、網羅的なサーチが行われる。画像ブロックのセットに対し、全てのマッチ・リストが作成されると、ステップ２２０において、マッチしたパッチＭ_ｊ，ｌによって表すことのできる複数の画像ブロックのセットを示す新しいリストＬ’_{ｍａｔｃｈ}（Ｍ_ｊ，ｌ）が構築される。なお、完全なサーチ・ステップの間に見つけられた全てのマッチしたブロックＭ_ｊ，ｌは、必ずしも、画像のブロック格子に一致したものではなく、従って、図５に示されているような「画素格子」に属する。

ステップ２４０において、縮図チャートが構築される。この目的のため、縮図チャートを構築するためにテクスチャ・パッチを抽出し、より正確には、テクスチャ・パッチを選択する。全ての縮図チャートを結合させたものがテクスチャ縮図Ｅを構成する。各縮図チャートはテクスチャで画像の特定の領域を表す。ステップ２４０について、以下、詳細に説明する。

ステップ２４００において、インデックスｎを０に設定する。ｎは整数である。

ステップ２４０２において、第１の縮図チャートＥＣ_ｎを初期化する。縮図チャートを初期化するために、幾つかの候補となるマッチしたパッチを使用することができる。各縮図チャートは、まだ再構築されていない残りのブロックを最良に表すマッチしたパッチによって初期化される。

が入力画像を表すものとし、

が候補となるマッチしたパッチおよび前に構築された縮図チャートによって再構築された画像を表すものとする。チャートを初期化するために、平均二乗誤差（ＭＳＥ（基準の最小化に基づく以下の選択基準が使用される。

選択された基準は、画像全体の予測誤差を考慮している。この基準は、最大の個数のブロックを再構築するとともに、再構築誤差を最小にできるようにするテクスチャ・パターンによって、縮図を拡張できるようにする。本実施形態においては、画像の再構築誤差を計算する際、零値が縮図パッチによってまだ予測されていない画像の画素に割り当てられる。図６は、最初の縮図パッチＥ０が選択されたときの再構築された画像ブロックを示している。

ステップ２４０４において、縮図チャートＥＣ_ｎは、次に、入力画像から領域ごとに次第に拡大し、縮図チャートが拡大する毎に、図７に描かれた画像内において予測可能な追加のブロックの個数を記録（把握）する。このステップは縮図チャート拡張としても知られている。初期縮図チャートＥＣ_ｎ（０）は、初期化ステップで保持されるテクスチャ・パッチに対応する。縮図拡大ステップは、まず、現在のチャートＥＣ_ｎ（Ｋ）と重なり、他の画像ブロックを表すマッチしたパッチＭ_ｊ，ｌのセットを判定することによって処理が進められる。従って、現在の縮図チャートの拡張として使用できる幾つかの候補となる領域ΔＥが存在する。各チャート拡大候補ΔＥに対し、複数の画素のセットΔＥを含むマッチしたパッチＭ_ｊ，ｋのみに関連するリストＬ’_{ｍａｔｃｈ}（Ｍ_ｊ，ｋ）から、再構築される可能性のある追加画像ブロックが特定される。次に、見つかった候補となるチャート拡大のセットのうちから、レート歪み基準に従って、最良にマッチするものに至る最適な候補ΔＥ_ｏｐｔが選択される。

が入力画像を表すものとし、

が現在の縮図Ｅ_ｃｕｒｒおよびチャート拡大候補ΔＥによって再構築された画像を表すものとする。なお、現在の縮図Ｅ_ｃｕｒｒは、前に構築された縮図チャートおよび現在の縮図チャートＥＣ_ｎ（ｋ）から構成される。この選択は、実際、ラグランジェ基準ＦＣ_ｅｘｔの最小化に従って行われる。

好ましい実施形態においては、λ値が１０００に設定される。ラグランジェ基準の第１の項は、入力画像が現在の縮図

によって含まれるテクスチャ情報および増分ΔＥによって再構築される際の、画素単位の平均予測誤差を指す。初期化ステップにおける場合と同様に、画像の画素が、現在の縮図Ｅ_ｃｕｒｒによっても、増分によっても影響を受けない場合には、これらに零値が割り当てられる。ＦＣ_ｅｘｔは、従って、再構築された画像ブロックに対してだけでなく、画像全体に対して計算される。ラグランジェ基準の第２の項は、縮図を構築する際の画素単位のレートに対応し、これは、画像内の画素の全体の数によって除した、現在の縮図内の画素の数およびその増分として概算される。局所的に最適な増分ΔＥ_ｏｐｔを選択した後、現在の縮図チャートは、ＥＣ_ｎ（ｋ＋１）＝ＥＣ_ｎ（ｋ）＋ΔＥ_ｏｐｔとなる。割り当てマップは、ＥＣ_ｎ（ｋ＋１）によって新たに再構築されたブロックに対して更新される。

次に、次の反復処理ｋ＋１の間に、現在のチャートＥＣ_ｎ（ｋ）と重なり、他のブロックを表すマッチしたパッチＭ_ｊ，ｌが無くなるまで、現在のチャートが拡張される。このような重なったパッチが存在する場合ステップ２４０４において本方法がＥＣ_ｎ（ｋ＋１）で続けられる。現在のチャートをこれ以上拡張できなくなり、画像全体が現在の縮図によってまだ再構築されていない場合（ステップ２４０６）には、ステップ２４０８でインデックスｎが１加算され、画像内の新たな位置で別の縮図チャートが作成される。本方法は、ステップ２４０２において、新たな縮図チャートで続けられる。すなわち、新たなチャートは、その拡張前にまず初期化される。処理は、画像全体が縮図によって再構築されると終了する（ステップ２４０６）。テクスチャ縮図の例が図８ｂによって与えられている（この縮図は、９個の縮図チャートから構成される）。図８ａは、図８ｂの縮図が作成される画像Ｉｃｕｒｒを表している。テクスチャ縮図Ｅは、全ての縮図チャートＥＣ_ｎを結合させたものからなる。割り当てマップは、現在の画像の各ブロックＢｉに対して、その再構築に使用されるパッチのテクスチャ縮図の位置を示す。

画像に対して縮図が作成されると、この画像の近似値をテクスチャ縮図および変換マップから再構築することができる。しかしながら、許容誤差εのために、元の画像と再構築された画像との間に差分が残る。ビデオ符号化のアプリケーションでは、従って、これらの残った差分をさらに符号化することが必要である。再び図２を参照するに、ステップ２２において、縮図（Ｅ，φ）を符号化して第１のストリームＦ１とする。テクスチャ縮図Ｅをイントラのみの符号化器を用いて符号化する。例として、テクスチャ縮図Ｅを、イントラのみの符号化モードを使用してＨ．２６４規格に準拠して符号化する。変形例によれば、テクスチャ縮図を、ＪＰＥＧ規格に準拠して符号化する。別の変形例によれば、テクスチャ縮図を、参照画像として均一画像、例えば、画素の全てが１２８である画像を使用してインター符号化モードで符号化する。別の変形例によれば、テクスチャ縮図を、旧知の符号化器（例えば、Ｈ．２６４、ＭＰＥＧ２など）を使用し、イントラ予測モードおよびインター予測モードの双方を使用して符号化する。通常、これらの方法は、予測信号から残差信号を算出し、ＤＣＴ、量子化およびエントロピー符号化するステップを含む。変換マップφを、固定長符号（ＦＬＣ）または可変長符号（ＶＬＣ）を用いて符号化する。しかしながら、他のものを使用することもできる（ＣＡＢＡＣなど）。変換マップは、ベクトル・マップとも称するベクトルのマップである。

ステップ２４において、テクスチャ縮図Ｅを復号する。このステップは、エントロピー符号化は別として、テクスチャ縮図符号化ステップの逆処理である。例として、テクスチャ縮図符号化ステップが予測信号から残差信号を計算しＤＣＴおよび量子化するステップを含む場合には、復号ステップ２４は、逆量子化、逆ＤＣＴを行い、予測信号を残差信号に加えることによって再構築された信号を得るステップを含む。

ステップ２６において、復号されたテクスチャ縮図Ｅ、さらに、変換マップφから中間画像を再構築する。

図８ｂの縮図から再構築された中間画像の例が図８ｃに示されている。画像ブロックをラスター走査で処理する。再構築は、変換マップによって識別されるパッチの単純なコピーとすることができる。サブペル（ｓｕｂ−ｐｅｌ）再構築が使用される場合には補間が行われる。ステップ２８において、現在の画像を、参照画像として中間画像を使用して符号化する。例として、現在の画像を、Ｈ．２６４ビデオ符号化規格に準拠して符号化する。変形例によれば、現在の画像を、ＭＰＥＧ２ビデオ符号化規格に準拠して符号化する。通常の符号化モード（インター符号化モードおよびイントラ符号化モード）を使用することができる。現在の画像のブロックをインター符号化モードによって符号化する場合には、ブロックと、参照画像内、すなわち、復号された縮図から再構築された画像のうちの中間画像内の対応するブロックとの間の差分を符号化する。この対応するブロックは、動きベクトルによって参照画像内で識別される。この動きベクトルもまた符号化される。双方向予測もまた可能である。変形例によれば、動きベクトルは符号化されず、参照画像内で同じ位置に局在したブロックが使用される。この差分は、残差としても知られており、実際は、ブロックと参照画像から得られたその予測との間で算出された予測誤差である。通常、まず、残差を変換してＤＣＴ係数などの係数のブロックとなる。次に、その係数を量子化して量子化された係数のブロックとなる。最終的に、量子化された係数を、公知の算術符号化、ＣＡＢＡＣ（コンテクスト適応型バイナリ算術符号化を表す）、ＣＡＶＬＣ（コンテクスト適応型可変長符号化を表す）などのエントロピー符号化を使用して符号化されてビットストリームとなる。本発明は、残差を符号化するために使用される符号化のタイプに限定されるものではない。ビットストリームＦ２は、予測誤差残差ビットストリームである。

変形例によれば、第１のビットストリームおよび第２のビットストリームを多重化して単一のビットストリームとなる。

図３の特定の実施形態に従った符号化方法は、自己類似性を記録する（把握する）ことを含み、現在の画像Ｉｃｕｒｒ内で所与の許容誤差εに従ってテクスチャ縮図Ｅを、例えば単純なブロック・マッチング技術に基づいて構築する。そこで、縮図を、入力画像Ｉｃｕｒｒから取り出されたテクスチャのピース、および割り当てマップと呼ばれるベクトルのマップから構築する。ここで、割り当てマップは、単純な変換パラメータを含み、入力画像の各ブロックと縮図のブロックとの間の対応を記録した（把握できるようにした）ものである。

次に、中間画像を、テクスチャ縮図および割り当てマップから再構築する。最後に、現在の画像Ｉｃｕｒｒを、インター画像予測によって再構築された画像Ｉｒｅｃを参照画像として使用して符号化する。特定の実施形態に従った符号化方法のステップは、以下のように要約することができる。
１．現在の画像Ｉｃｕｒｒの縮図（テクスチャ縮図と割り当てマップとからなる）を構築し、より一般的には、現在の画像Ｉｃｕｒｒの画像サマリーを構築する。
２．縮図（テクスチャおよびマップ）を符号化して第１のビットストリームにする。
３．復号されたテクスチャ縮図およびマップから画像を再構築する。
４．ＳＮＲスケーラビリティによって予測として使用するために中間画像Ｉｒｅｃを参照画像として使用して、現在の画像Ｉｃｕｒｒを符号化して第２のビットストリームにする。さらに、２つのビットストリームＦ１およびＦ２（その一つはテクスチャ縮図および符号化された縮図の割り当てマップに関し、他の一つは現在の画像Ｉｃｕｒｒに関する）は、最終的には、復号器に送信されるか、ハードディスクまたはＤＶＤなどの記憶媒体に記憶される。

図９は、本発明に従った再構築方法を表している。

ステップ３２において、画像サマリーを第１のビットストリームＦ１から復号する。このステップは、符号化方法のステップ２２の逆の処理である。

ステップ３４において、この画像サマリーを、中間画像を再構築するために使用する。このステップは、符号化方法のステップ２６と同一の処理である。

ステップ３６において、現在の画像を、中間画像を参照画像として使用して再構築する。現在の画像がインター符号化モードに従って符号化される場合には、ブロックと、参照画像内、すなわち、復号された縮図から再構築された中間画像内の対応するブロックとの間の差分を復号する。この対応するブロックは、動きベクトルによって、参照画像内で識別される。参照画像の２つのブロックを使用した双方向予測が可能である。変形例によれば、符号化された動きベクトルが存在せず、参照画像内で同じ位置に局在したブロックを使用する。この差分は、実際、ブロックと参照画像から得られたその予測との間の、符号化器側で計算された予測誤差である。通常、まず、量子化された係数を、公知の算術符号化、ＣＡＢＡＣ、ＣＡＶＬＣなどのエントロピー復号を使用して第２のビットストリームから復号する。次に、この量子化された係数を逆量子化してＤＣＴ係数などの逆量子化された係数のブロックとなる。最終的に、この逆量子化された係数を、例えば、逆ＤＣＴを使用して変換して残差のブロックとなる。次に、この残差のブロックを、参照画像内の対応するブロックに追加する。

変形例によれば、再構築方法は、第１のビットストリームおよび第２のビットストリームが多重化されている場合にビットストリームを逆多重化して第１のビットストリームおよび第２のビットストリームにするステップ３０をさらに含む。

図１０に描かれた特定の実施形態によれば、画像サマリーは縮図である。従って、ステップ３２は、テクスチャ縮図およびベクトルの割り当てマップを復号することを含む。

現在の画像を再構築する際にドリフトが発生することを回避するために、中間画像の画像再構築は、復号されたテクスチャ縮図および割り当てマップとから、符号化器側と対称的に、復号器側で実現される。

図１１は、本発明に従った符号化装置を表している。第１の入力部ＩＮにおいて、符号化装置ＥＮＣは、現在の画像Ｉｃｕｒｒを受信する。入力部ＩＮは、ＩＦＭにリンクされている。モジュールＩＦＭは、符号化方法のステップ２０に従って現在の画像Ｉｃｕｒｒのサマリーを作成するように構成されている。画像因子分解モジュールＩＦＭは、第１の符号化モジュールＥＮＣ１にリンクされている。第１の符号化モジュールＥＮＣ１は、符号化方法のステップ２２に従って、サマリーを符号化して第１のビットストリームにするように構成されている。符号化装置ＥＮＣは、さらに、第１の符号化モジュールＥＮＣ１にリンクされた第２の符号化モジュールＥＮＣ２を含む。第２の符号化モジュールＥＮＣ２は、符号化方法のステップ２４、２６、および２８に従って、現在の画像を符号化して第２のビットストリームにするように構成されている。特に、第２の符号化モジュールＥＮＣ２は、第１の符号化モジュールＥＮＣ１を用いて符号化された画像サマリーを復号して復号されたサマリーから中間画像を再構築し、中間画像を参照画像として使用して現在の画像Ｉｃｕｒｒを符号化するように構成されている。符号化装置ＥＮＣは、さらに、第１のビットストリームおよび第２のビットストリームを多重化して単一のビットストリームまたはトランスポート・ストリームにするように構成された多重化モジュールＭＵＸをさらに含んでいてもよい。この場合、多重化モジュールは、単一の出力部ＯＵＴにリンクされている。変形例によれば、多重化モジュールは、符号化装置の外部に存在し、符号化装置は、２つの出力部を有する。一方の出力部は、第１のビットストリームのためのものであり、他方の出力部は、第２のビットストリームのためのものである。

図１２は、本発明に従った復号装置ＤＥＣを表している。復号装置は、第１の入力部ＩＮでビットストリームを受信する。入力部は、逆多重化モジュールＤＥＭＵＸにリンクされている。逆多重化モジュールＤＥＭＵＸは、ビットストリームを逆多重化して画像サマリーを表す第１のビットストリーム、さらに、残差、より正確には、予測誤差残差を表す第２のビットストリームにするように構成されている。変形例によれば、逆多重化モジュールＤＥＭＵＸは、復号装置の外部に存在し、復号装置は、２つの入力部を有する。一方の入力部は、第１のビットストリームのためのものであり、他方の入力部は、第２のビットストリームのためのものである。復号装置ＤＥＣは、再構築方法のステップ３２に従って、第１のビットストリームからの画像サマリーを復号するように構成された第１の復号モジュールＤＥＣ１をさらに含む。復号装置ＤＥＣは、第１の復号モジュールＤＥＣ１にリンクされた第２の復号モジュールＤＥＣ２をさらに含む。第２の復号モジュールＤＥＣ２は、再構築方法のステップ３４、３６、および３８に従って、第２のビットストリームから現在の画像を再構築するように構成されている。特に、第２の復号モジュールＤＥＣ２は、復号されたサマリーから中間画像を再構築し、中間画像を参照画像として使用して現在の画像Ｉｃｕｒｒを再構築するように構成されている。

イントラ符号化に基づく既存の方法と比較して、本発明は、レート歪み性能を改善するという利点がある。本発明の主たる特徴は、画像サマリーを使用して符号化しようとする現在の画像を予測することにある。ここで、画像サマリー、例えば、縮図は、再構築された画像を与え、この再構築された画像（通常のサイズ、すなわち、縮図が作成される元の画像のサイズと同じサイズ）は、ビデオ符号化器において、参照画像として使用される。有益には、再構築された画像は、符号化する画像と同じサイズを有する。従って、「スキップ・モード」として知られるような効率的なモードを使用して現在の画像におけるブロックを符号化することにより、その符号化コストを減少させることができる。

本発明の主な対象となるアプリケーションは、（圧縮を含む）ビデオ配信およびビデオ圧縮に関連する表示技術のアプリケーションである。

まず、本発明は、現在の画像に対して計算された残差（すなわち、ブロックと参照画像内の対応するブロックとの間の差分）を符号化するために使用される符号化方法によって限定されるものではない。さらに、この方法は、縮図、すなわち、テクスチャ縮図および割り当てマップを構築するために使用される方法に限定されるものでは全くない。実際、本発明に従った符号化方法は、符号化される画像に対して、画像サマリーを作成するためにどのような方法が使用されても、画像サマリーのみを必要とする。

Claims (6)

1. 画像シーケンスを符号化する方法であって、現在の画像に対して、
   前記現在の画像のサマリーを作成するステップと、
   前記サマリーを符号化して第１のビットストリームにするステップと、
   前記サマリーから前記現在の画像と同じサイズの中間画像を再構築するステップと、
   前記現在の画像を、前記中間画像を参照画像として使用して符号化して第２のビットストリームにするステップと、
   を含む、前記方法。
2. 前記現在の画像の前記サマリーはテクスチャ縮図および割り当てマップを含む、請求項１に記載の方法。
3. 前記割り当てマップは固定長符号化を使用して符号化される、請求項２に記載の方法。
4. 前記割り当てマップは可変長符号化を使用して符号化される、請求項２に記載の方法。
5. 前記第２のビットストリームは、ＩＴＵ−Ｔ勧告Ｈ．２６４／ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣビデオ符号化規格と、ＩＳＯ／ＩＥＣ １３８１８−２ ＭＰＥＧ２とを含むビデオ符号化規格のセットに属するビデオ符号化規格に準拠する、請求項１〜４のいずれか１項に記載の方法。
6. 画像シーケンスを再構築する方法であって、現在の画像に対して、
   前記現在の画像の画像サマリーを復号するステップと、
   前記画像サマリーから中間画像を再構築するステップと、
   前記現在の画像を、前記中間画像を参照画像として使用して再構築するステップであって、該中間画像が該現在の画像と同じサイズである、該ステップと、
   を含む、前記方法。

Images