JP2006101527A - 画像のシーケンスの符号化の方法及び装置 - Google Patents

Abstract

【課題】 マルチベンダネットワークを介するビデオ画像伝送のコンテキストにおいて符号化のために重要だと判断される画像のエリアを優先する誤り訂正アルゴリズムを提供することである。
【解決手段】 動きのフィールドを分析するためのステップは、ブロックに関連付けられた動きベクトルに従ってこのブロックに割り当てられかつ後続画像におけるこのブロックの存在確率に相応する「ライフスパン」パラメータを計算することによって実行され、分割ステップは、「最重要な」から「最も重要でない」まで画像の領域を定義及び順序化するためにこのパラメータの値を考慮に入れて実行され、誤り訂正ステップは、最初の領域に相応する符号化されたデータに対して後ろの領域に相応するデータよりも有効な誤り訂正アルゴリズムを使用することによって解決される。
【選択図】図１

Description

本発明は、画像を画像のブロックに細分化するステップを含む画像のシーケンスの符号化の方法であって、画像のテレビジョン走査順序に従って画像を領域に分割するためのステップを含み、領域は一連の連続又は非連続ブロックを含み、動きベクトルに関連する動きのフィールドを画像ブロックに設けるためにシーケンスの瞬時の画像と先行画像との間の動きを推定するステップを含み、インターブロック又はイントラブロック符号化ステップを含み、ブロックは領域の順序化に従って領域によって及び領域を構成するブロックの連続の順序に従って領域に対して符号化され、符号化ブロック誤り訂正ステップを含む、画像を画像のブロックに細分化するステップを含む画像のシーケンスの符号化の方法に関し、さらに、本発明は、上記方法をインプリメントするための画像のシーケンスの符号化のための装置であって、この装置は、画像のブロックから成る領域に画像を構成しさらに画像のこれらのブロックを領域の順序化の順序に従って動き推定回路とインター及びイントラ符号化回路に供給するために、画像を細分化し領域を構成するための回路を有し、符号化されたブロックは誤り訂正回路に伝送される、上記方法をインプリメントするための画像のシーケンスの符号化のための装置に関する。

単純に言えば、本発明はビデオシーケンスの画像を符号化するための方法及び装置に関する。これはより特定すれば動きフィールド計算に基づく画像間の時間相関を使用して画像ブロックによって符号化することに関する。

フィールドは、例えばＨ．２６４／ＡＶＣタイプビデオ符号化のフィールドである。

以前のビデオ符号化規格Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ２又はＭＰＥＧ４とは異なり、マクロブロックの系列又はマクロブロックのスライスは、テレビジョンタイプ画像走査方向に依存して、画像における非連続マクロブロックから形成することができる。この可能性はフレキシブルマクロブロックオーダリング（ＦＭＯ）と呼ばれる。このツールは例えばS .Wenger and M.Hprowitz, JVT-C089 ISO/MPEG&ITU, May 2002による寄稿において記述されている。

マルチベンダネットワークでは通常高い伝送エラーレートがパケットの損失によって特徴付けられ、このマルチベンダネットワークを介するビデオ画像伝送のコンテキストにおいては、とりわけリードソロモン符号又は前方向誤り訂正（ ＦＥＣ）連続検査符号（forward error correction（FEC）continuous checking codes）を使用して圧縮されたデータのパケットをプロテクトする必要性がある。しかし、冗長性に基づいた、それゆえ符号化コストの点では高価であるこれらの誤り訂正アルゴリズムは、符号化のために重要だと判断される画像のエリアを優先しない。
S.Wenger and M.Horowitz, JVT-C089 ISO/MPEG&ITU, May 2002

本発明の課題は、上記の欠点を克服すること、すなわちマルチベンダネットワークを介するビデオ画像伝送のコンテキストにおいて符号化のために重要だと判断される画像のエリアを優先する誤り訂正アルゴリズムを提供することである。

上記課題は、本発明の方法において、動きのフィールドを分析するためのステップは、ブロックに関連付けられた動きベクトルに従って、このブロックに割り当てられかつ後続画像におけるこのブロックの存在確率に相応する「ライフスパン（lifespan）」パラメータを計算することによって実行され、
分割ステップは、「最重要な」から「最も重要でない」まで画像の領域を定義及び順序化するためにこのパラメータの値を考慮に入れて実行され、
誤り訂正ステップは、最初の領域に相応する符号化されたデータに対して後ろの領域に相応するデータよりも有効な誤り訂正アルゴリズムを使用することによって解決され、
本発明の装置において、この装置は、動きフィールドの動きベクトルに従ってブロックの「ライフスパン」パラメータを計算するための動きフィールド分析回路を含み、
画像を細分化し領域を構成するための回路は、このパラメータに従って「最重要な」から「最も重要でない」まで領域を構成及び順序化するために「ライフスパン」パラメータを受けとり、
さらに誤り訂正回路は、最初の領域に相応するデータに対して後ろの領域に相応するデータよりも有効な誤り訂正アルゴリズムをインプリメントすることによって解決される。

上記欠点を克服する目的で、本発明の１つの主題は、画像を画像のブロックに細分化するステップを含む画像のシーケンスの符号化の方法であって、画像のテレビジョン走査順序に従って画像を領域に分割するためのステップを含み、領域は一連の連続又は非連続ブロックを含み、
動きベクトルに関連する動きのフィールドを画像ブロックに設けるためにシーケンスの瞬時の画像と先行画像との間の動きを推定するためのステップを含み、
インターブロック又はイントラブロック符号化ステップを含み、ブロックは領域の順序化に従って領域によって及び領域を構成するブロックの連続の順序に従って領域に対して符号化され、
符号化ブロック誤り訂正ステップを含む、画像を画像のブロックに細分化するステップを含む画像のシーケンスの符号化の方法において、
動きのフィールドを分析するためのステップは、ブロックに関連付けられた動きベクトルに従ってこのブロックに割り当てられかつ後続画像におけるこのブロックの存在確率に相応する「ライフスパン」パラメータを計算することによって実行され、
分割ステップは、「最重要な」から「最も重要でない」まで画像の領域を定義及び順序化するためにこのパラメータの値を考慮に入れて実行され、
誤り訂正ステップは、最初の領域に相応する符号化されたデータに対して後ろの領域に相応するデータよりも有効な誤り訂正アルゴリズムを使用することを特徴とする。

特別な実施形態によれば、ブロックの「ライフスパン」パラメータはこのブロックに割り当てられた動きのフィールドの動きベクトルを外挿することによって計算される。

特別な実施形態によれば、存在確率を決定するための画像参照ベースにおいて考慮される画像は、従来の両方向予測Ｂタイプの画像ではない画像であるか、又は、従来の両方向予測Ｂ及びＢ格納タイプ（predictive bidirectional B and B-stored type）の画像ではない画像である。

特別な実施形態によれば、画像のシーケンスのＭ番目の画像に対して計算される動きベクトルは、Ｍ+ｍ、Ｍ+２ｍ、Ｍ+３ｍ．．．番目の画像に対して外挿され、ただしここでｍは正の整数であり、さらに、ブロックのパラメータの値はこのブロックに割り当てられたベクトルの端部がこれらの画像に所属する回数に依存する。

特別な実施形態によれば、領域はパラメータの上限及び下限によって定義されており、領域はこのパラメータがこの領域を定義するレンジに含まれるブロックの集合から成る。

特別な実施形態によれば、ブロックの符号化に関するデータは、パケットに相応する領域に割り当てられる重要性に従って順序化されたデータパケットにおいて構成される。

特別な実施形態によれば、領域はＨ．２６４／ＡＶＣ規格で定められているようなスライスグループから構成されている。

本発明はさらにこの方法をインプリメントするための画像のシーケンスの符号化のための装置に関し、この装置は、画像のブロックから成る領域に画像を構成しさらに画像のこれらのブロックを領域の順序化の順序に従って動き推定回路とインター及びイントラ符号化回路とに供給するために画像を細分化し領域を構成するための回路を有し、符号化されたブロックは誤り訂正回路に伝送され、動きフィールドの動きベクトルに従ってブロックの「ライフスパン」パラメータを計算するための動きフィールド分析回路を含み、画像を細分化し領域を構成するための回路はこのパラメータに従って「最重要な」から「最も重要でない」まで領域を構成及び順序化するために「ライフスパン」パラメータを受けとり、さらに誤り訂正回路は最初の領域に相応するデータに対して後ろの領域に相応するデータよりも有効な誤り訂正アルゴリズムをインプリメントする。

特別な実施形態によれば、領域はスライス又はスライスグループに相応する。

従って、これらの領域はシーンのコンテント、とりわけ動きフィールドの性質に従って構成され順序化される。領域の重要性の順序は領域のブロック又はマクロブロックのライフスパンに従って、つまり後続画像の予測符号化に対する画像のマクロブロック又はブロックの有用性（the use）に従って確立される。

本発明によって、復元される画像の品質は向上し、最も本質的であると判断された領域が最もパワフルな訂正符号を使用することが可能である。さらに、動きフィールドの分析に基づく復号化器での誤り処理はより有効である。

本発明の他の特徴及び利点を実施例及び図面により記述する。

図１は本発明による方法をインプリメントするための符号化器を記述する。

ビデオシーケンスのソース画像のデジタルビデオデータは符号化器入力として受信され、画像を細分化し領域を構成するための回路１に伝送され、この回路１は画像をマクロブロックに細分化し、これらのマクロブロックを領域へと構成する。マクロブロックを形成する画像のブロックは、第１の出力側において動き推定回路２に伝送され、第２の出力側において減算器３の第１の入力側に伝送される。符号化モード、イントラ又はインター、に従って、減算器３はその第１の入力側で受信した瞬時のブロックに関する情報を伝送するか、又は、瞬時のブロックに関する情報からその第２の入力側で受け取る予測されたブロックに相応する情報を減算する。この減算器の出力側におけるデータは離散コサイン変換及び量子化回路４に伝送される。この回路の出力側の量子化された係数は可変長符号化器５（ＶＬＣ）を介してエントロピー符号化される。

瞬時の画像は予測されたブロックを提供するために再構成される。よって、量子化された係数は参照回路（reference circuit）６により逆量子化及び逆離散コサイン変換され、復号化されたルミナンス値を提供する。

加算器７は、もしインターモードで符号化が行われるならば、予測されたブロックを復号化された係数ブロックに加算するために使用される。再構成されたブロックは、再構成された瞬時画像を格納する画像メモリ８に格納される。

動き推定回路２は画像メモリ８により格納された以前に復号化された又は再構成された画像に関する情報及び画像細分化及び領域コンフィギュレーション回路１から由来するソース画像の瞬時のマクロブロックに関する情報を受信する。それはこの瞬時のマクロブロックと再構成された画像との間の相関計算を周知の原理に従って実行し、動きベクトルを提供する。これらのベクトルは、符号化コスト計算を実行して最適な符号化モードを決定する符号化モード決定回路９に伝送され、さらに、これらの動きベクトルは動きフィールド分析回路１０に伝送される。符号化モードと、適当な場合には相応の動きベクトルとが動き補償回路１１に伝送され、この動き補償回路１１は再構成された画像に対する動き補償を提供し、減算器３の第２の入力側にこの再構成された画像から由来する予測された画像ブロックを供給する。動きベクトルはこれら動きベクトルの符号化及び復号化器への伝送のためにエントロピー符号化回路５にも伝送される。動きフィールド分析回路により計算された情報は領域コンフィギュレーション回路１に伝送され、この領域コンフィギュレーション回路１は画像をスライス又はスライスのグループを含む領域へと構成し、これらの領域を順序化して画像ブロックの符号化の順序を決定する。例えば、画像の全てのマクロブロックを異なる領域に割り当てることにより画像を領域へと構成した後で、領域のマクロブロックがＨ．２６４／ＡＶＣ規格で定義されているようなスライス又はスライスグループへと形成される。

符号化器本来の出力側のデータストリームは、ディストリビューションネットワーク、例えばインターネットを介して復号化器に送信される前に、ここには図示されていない誤り訂正符号を適用する回路に伝送される。この回路は各領域又は各スライスに対して誤り訂正符号を介して冗長性を加える。誤り訂正アルゴリズムは、それゆえ、冗長性レベルのために符号化コストの点で比較的コスト高となる画像の最初の符号化される領域又はスライスに対してはとりわけ有効であるように、そして比較的コスト安に符号化される後続領域又はスライスに対しては徐々に有効ではなくなるように選択される。

領域は、マクロブロックに関する動きフィールドの性質に従って及びコンテントの観点からみた画像の１つのエリア又は複数のエリアの重要性に従って形成される。動きフィールドの性質に依存して、画像の特定の部分を優先的にプロテクトすることが賢明であろう。領域は画像参照ベースにおけるマクロブロックのライフスパンのコンセプトに基づいて構成されうる。

よって、動きフィールド分析回路は動き推定回路により供給される動きフィールドに従って「ライフスパン（lifespan）」パラメータを計算し、この分析回路は「ライフスパン」パラメータを画像の各ブロック又はマクロブロックにその動きベクトルに依存して割り当てる。このパラメータは符号化すべき次の画像における画像ブロックの存在の確率に相応する。それは、処理されるブロックを含む画像の個数が大きくなればなるほどかえって大きくなる。その値は画像ブロックに対して計算される動き、その振幅及びその方向に依存する。

動きが一定であると仮定すると、計算は画像Ｍのマクロブロックに割り当てられた動きベクトルを画像Ｍ+ｍ、Ｍ+２ｍ、Ｍ+３ｍ．．．に対して外挿すること（extrapolating）にある。ｍは画像の数においてこれらの画像に対して選択される分析周期である。マクロブロックが現れることになる画像の個数が大きければ、パラメータの値はますます大きい。

符号化すべき画像は（Ｈ．２６４／ＡＶＣ規格で使用される用語によれば）予測タイプＰ、Ｂ格納タイプ又はさらに従来のＢ両方向予測タイプのイントラ画像及びインター画像である。Ｉ、Ｐ、さらにＢ格納タイプの参照画像は従来のＢタイプ画像よりも重要である。なぜなら、それらが予測符号化に使用されるからである。よって、本発明の変形実施例によれば、マクロブロックを含むであろう後続画像の個数を決定する場合に従来のＢタイプ画像を無視して、「ライフスパン」パラメータを計算することが可能である。また、変形実施例によれば、Ｂ格納タイプ画像を無視することも可能であり、このＢ格納タイプ画像は従来のＢ画像及び従来のＢタイプ画像に対してのみリファレンスとして使用されるうる画像である。ｍの値はこの場合分析周期であり、Ｐ又はＩタイプ画像だけを考慮している。

ＦＭＯツールは、領域、実際には（Ｈ．２６４／ＡＶＣ規格によれば）スライスグループを定める。スライスグループにおけるマクロブロックの処理の順序はテレビジョン走査に相応し、スライスグループのマクロブロックだけを考慮している。各スライスグループ又は領域は、グループに割り当てられた番号に従って順番に処理される。

ここで記述された方法は、動きフィールド分析を介して画像エリアの空間時間挙動（space-time behaviour）に従ってスライスグループを構成するために使用されうる。これらのスライスグループが構成されるので、これらのスライスグループはこの動きフィールド分析に従って最も不可欠と考えられるグループが最も有効な訂正符号を使用できるようにプロテクトされうるのである。

それゆえ、領域コンフィギュレーション回路は、「ライフスパン」パラメータの不同（disparity）に従って、画像の中の異なる領域を定義する。このパラメータの同一値又は類似値を有するブロックが領域の中に結合される。これらの領域はナンバリングされ、最初のスライスグループは最も高いパラメータ値に相応するグループであり、最後のグループは最も低いパラメータ値に相応するグループである。

注目すべきことは、これらのスライスが動きフィールドの性質に従って形成されるので、復号化器が比較的有効にエラーマスキングプロセスを実行できることである。これは、残留エラー（residual errors）、つまり誤り訂正符号により訂正され得なかったエラーの部分として復号化されない画像の部分を再構成するために、とりわけ動きフィールドの分析に基づくこのタイプの処理のための有効なアルゴリズムが復号化器に設けられていることを条件とする。それらは、例えばＭＰＥＧ規格で記述されているような時間予測マスキングアルゴリズムである。実際には、パワフルな誤り訂正アルゴリズムにより符号化されるのは、後続予測のためのベースとして使用される最も大きな確率を有するマクロブロックである。

図２はズームインのコンテキストにおけるマクロブロックに細分化された画像及び領域又はスライスグループへのこれらの分解を表す。

ズームインの場合には、有利には第１のスライスを画像の中央部分から形成する。画像のこのエリアは時間予測の点では最も大切なエリアである。

図２に示されたスライスグループの分配の例は、それゆえ次のようなものである：
スライスグループNo.1：左上から右下への傾斜クロスハッチングを有する中央部のマクロブロック、
スライスグループNo.２：グループNo.1のまわりのクロスハッチングなしのマクロブロック、
スライスグループNo.３：グループNo.２のまわりの水平方向クロスハッチングを有するマクロブロック、
スライスグループNo.４：グループNo.２のまわりの垂直方向クロスハッチングを有するマクロブロック、
スライスグループNo.５：この画像の右辺及び左辺の右から左への傾斜クロスハッチングを有するマクロブロック
である。

第１のグループのマクロブロックは１〜１６とナンバリングされ、第２のグループのマクロブロックは１７〜３６とナンバリングされ、第３のグループのマクロブロックは３７〜５０とナンバリングされ、第４のグループのマクロブロックは５１〜６４とナンバリングされ、第５のグループのマクロブロックは６５〜８０とナンバリングされる。

図３は左側へのパンのコンテキストにおけるマクロブロックに細分化された画像及び領域又はスライスグループへのこれらの分配を表す。このコンフィギュレーションにおいては、第１のスライスはシーンに入ってくる新しいエリアに所属するブロックにより形成され、第１のスライスはこれらのエリアが画像内に残っている間には予測のために利用される必要がある。

図３に示されたスライスグループの分配の例はそれゆえ次のようなものである：
スライスグループNo.1：右上から左下への傾斜クロスハッチングを有する画像の左側のマクロブロック、
スライスグループNo.２：グループNo.1の右側の左から右への傾斜クロスハッチングを有するマクロブロック、
スライスグループNo.３：グループNo.２の右側の水平方向クロスハッチングを有するマクロブロック、
スライスグループNo.４：グループNo.３の右側のクロスハッチングなしのマクロブロック、
スライスグループNo.５：グループNo.４の右側の垂直方向クロスハッチングを有するマクロブロック
である。

第１のグループのマクロブロックは１〜１６とナンバリングされ、第２のグループのマクロブロックは１７〜３２とナンバリングされ、第３のグループのマクロブロックは３３〜４８とナンバリングされ、第４のグループのマクロブロックは４９〜６４とナンバリングされ、第５のグループのマクロブロックは６５〜８０とナンバリングされる。

よって、この画像のフィールドから去る最初のマクロブロックは６５〜８０とナンバリングされたマクロブロックであり、これらのマクロブロックはそれゆえあまり有効な誤り訂正によっては符号化されない最後のスライスグループを形成する。

領域の個数を制限するために、「ライフスパン」パラメータの上限及び下限によってこれらの領域を定義することが可能である。よって、領域は、この関連パラメータが領域を定義するレンジ内に存在するようなマクロブロックの集合によって形成される。これらの制限は画像のパラメータの不同に従って選択されうる。

アプリケーションは、典型的には、マクロブロックをスライスに分割するためのＦＭＯ型ツールを含むビデオ符号化規格を使用するとりわけマルチベンダネットワークを介するデジタル画像伝送に関する。

本発明による符号化器のブロック線図を示す。 ズームのコンテキストにおける領域の分配の概略図である。 左へのパンのコンテキストにおける領域の分配の概略図である。

符号の説明

１ 画像細分化及びスライスコンフィギュレーション回路
２ 動き推定回路
３ 減算器
４ 離散コサイン変換及び量子化回路
５ 可変長符号化器（ＶＬＣ）
６ 参照回路
７ 加算器
８ 画像メモリ
９ 符号化モード決定回路
１０ 動きフィールド分析回路
１１ 動き補償回路

Claims (10)

1. 画像を画像のブロックに細分化する（１）ステップを含む画像のシーケンスの符号化の方法であって、画像のテレビジョン走査順序に従って画像を領域に分割する（１）ためのステップを含み、領域は一連の連続又は非連続ブロックを含み、
   動きベクトルに関連する動きのフィールドを画像ブロックに設けるためにシーケンスの瞬時の画像と先行画像との間の動き（２）を推定するステップを含み、
   インターブロック又はイントラブロック符号化ステップ（３、４）を含み、ブロックは領域の順序化に従って領域によって及び領域を構成するブロックの連続の順序に従って領域に対して符号化され、
   符号化ブロック誤り訂正ステップを含む、画像を画像のブロックに細分化する（１）ステップを含む画像のシーケンスの符号化の方法において、
   動きのフィールドを分析するためのステップ（１０）は、ブロックに関連付けられた動きベクトルに従って、このブロックに割り当てられかつ後続画像におけるこのブロックの存在確率に相応する「ライフスパン（lifespan）」パラメータを計算することによって実行され、
   分割ステップ（１）は、「最重要な」から「最も重要でない」まで画像の領域を定義及び順序化するためにこのパラメータの値を考慮に入れて実行され、
   誤り訂正ステップは、最初の領域に相応する符号化されたデータに対して後ろの領域に相応するデータよりも有効な誤り訂正アルゴリズムを使用することを特徴とする、画像を画像のブロックに細分化する（１）ステップを含む画像のシーケンスの符号化の方法。
2. ブロックの「ライフスパン」パラメータは、ブロックに割り当てられた動きのフィールドの動きベクトルを外挿することによって計算されることを特徴とする、請求項１記載の方法。
3. 存在確率を決定するための画像参照ベースにおいて考慮される画像は、従来の両方向予測Ｂタイプの画像ではない画像であることを特徴とする、請求項２記載の方法。
4. 存在確率を決定するための画像参照ベースにおいて考慮される画像は、従来の両方向予測Ｂ及びＢ格納タイプの画像ではない画像であることを特徴とする、請求項２記載の方法。
5. 画像のシーケンスのＭ番目の画像に対して計算される動きベクトルは、Ｍ+ｍ、Ｍ+２ｍ、Ｍ+３ｍ．．．番目の画像に対して外挿され、ただしここでｍは正の整数であり、
   さらに、ブロックのパラメータの値はこのブロックに割り当てられたベクトルの端部がこれらの画像に所属する回数に依存することを特徴とする、請求項２記載の方法。
6. 領域はパラメータの上限及び下限によって定義されており、領域はこのパラメータがこの領域を定義するレンジに含まれるブロックの集合から成ることを特徴とする、請求項１記載の方法。
7. ブロックの符号化に関するデータは、パケットに相応する領域に割り当てられる重要性に従って順序化されたデータパケットにおいて構成されることを特徴とする、請求項１記載の方法。
8. 領域はＨ．２６４／ＡＶＣ規格で定められているようなスライスグループから構成されていることを特徴とする、請求項１記載の方法。
9. 請求項１記載の方法をインプリメントするための画像のシーケンスの符号化のための装置であって、
   該装置は、画像のブロックから成る領域に画像を構成しさらに画像のこれらのブロックを領域の順序化の順序に従って動き推定回路（２）とインター及びイントラ符号化回路（３、４、６、７、８、９、１１）に供給するために、画像を細分化し領域を構成するための回路（１）を有し、符号化されたブロックは誤り訂正回路に伝送される、請求項１記載の方法をインプリメントするための画像のシーケンスの符号化のための装置において、
   該装置は、動きフィールドの動きベクトルに従ってブロックの「ライフスパン」パラメータを計算するための動きフィールド分析回路（１０）を含み、
   画像を細分化し領域を構成するための回路（１）は、このパラメータに従って「最重要な」から「最も重要でない」まで領域を構成及び順序化するために「ライフスパン」パラメータを受けとり、
   さらに誤り訂正回路は、最初の領域に相応するデータに対して後ろの領域に相応するデータよりも有効な誤り訂正アルゴリズムをインプリメントすることを特徴とする、請求項１記載の方法をインプリメントするための画像のシーケンスの符号化のための装置。
10. 領域はスライス又はスライスグループに相応することを特徴とする、請求項９記載の装置。

Images