JP2002526841A - 区分符号化方法及び装置 - Google Patents

Abstract

(57)【要約】 本発明は、均一な領域に分割されたセグメント画像または区分を符号化する方法に関するものである。イントラモード符号化プロセスと呼ばれるこの方法は、連続する各区分毎に、領域に関連するラベルの画像を、連続基本セル内の移動によって規定される輪郭要素チェーンによる記述に変換するステップと、各連続セルの内部で、各輪郭を事前に抽出した輪郭開始点から終点まで、セルの輪郭の入力、内部、出力要素、及び存在しうる複数の出力要素間の優先順位に対応するチェーン記号を記憶しながら追跡するステップと、当該区分の各連続輪郭セグメントの終点までこれらのステップを繰り返すステップとを具えるものである。各セル内で、各輪郭セグメントの開始点、及びこれに関連する、この開始点から次のセルの開始点への移動のチェーンに対応する情報を、最後に符号化する。

Description

【発明の詳細な説明】

【０００１】 発明の分野 本発明は、特定のラベルがそれぞれに関連付けられている均一な複数領域に分
割されたセグメント画像、あるいは区分を符号化する方法、及びこれに対応する
装置に関するものである。本発明は主にＭＰＥＧ−４規格に関連して応用される
ものであり、ＭＰＥＧ−４符号化器を実現するものである。

【０００２】 発明の背景 セグメント画像、あるいは区分を符号化する慣例の方法は通常、ビット量の点
でかなり費用がかかるものと考えられており、例えば、いわゆるチェーン符号化
法では、輪郭線の１画素当り平均1.3ビットである。このため高損失形状符号化
法が提案されているが、形状情報における損失は往々にして、復号化された画像
にもとづく表示画像の主観的な品質に許容しがたい劣化をもたらしている。

【０００３】 準無損失形状符号化法（従ってこの延長である準無損失区分符号化法）が提案
されている。例えば、1997年10月26日〜29日、米国カリフォルニア州サンタ・バ
ーバラで開催の画像処理に関する国際会議の予稿集第３巻の114ページ〜117ペー
ジに記述の、P.Nunes、F.Ferreira、F.Marques氏による「Multiple grid chain
coding of binary shapes」に記述されている、いわゆる多グリッドチェーン符
号化法（ＭＧＣＣ）は、オブジェクトベースのビデオ符号化法に関連して、バイ
ナリ形状情報を効率良く符号化することを可能にするものである。またこの方法
は、各区分内の領域の境界に属する孤立した画像要素（画素）のみに限定される
、ごくわずかな制御される損失しかもたらさずに、一般的な区分符号化も可能に
するものである。

【０００４】 慣例のＭＧＣＣ法は、区分の輪郭表現に依存するものである。図１は、大きさ
Ｎ×Ｍの一般的な小区分を示すものであり、この小区分はそれぞれにラベル（こ
こでは灰色、黒、及び白の円で示す）が関連付けられている例えば３つの領域を
有するものであり、いずれの画素も関連する４つの異なる輪郭要素を有するもの
である。図２は、図１と同じ区分を示すものであるが、同一領域に属さないすべ
ての隣接画素対間の変化を規定する特定の輪郭要素を示すものである。図３は、
（２Ｎ＋１）×（２Ｍ＋１）個の位置に対応する行列に、画素位置（円）に関連
するグリッド、及び輪郭位置（線分）に関連するグリッドを示すものである。異
なるラベルの画素間に存在する輪郭要素をアクティブとみなす。

【０００５】 また図４に示すように、輪郭グリッドの要素はアクティブ隣接画素を６つまで
有することができ、このため輪郭グリッドは通常、６角形グリッドと称される。
輪郭グリッド内の区分の情報を符号化する一方法は、グリッド内の開始点を選択
し、対応する輪郭の終点までアクティブ位置を追跡することである。この方法は
、現在の輪郭要素から次の隣接する輪郭要素への移動（３つの可能な移動のみ：
直進、右折、左折）を符号化することにより、区分情報の無損失符号化を実現す
るものである

【０００６】 他の輪郭を追跡する方法は、より大きなステップで輪郭内を移動する方法であ
り、そのような大きなステップによって連結される輪郭要素のみを符号化するも
のである。前記引用文献に記述されているＭＧＣＣ法では、図５に示すような３
×３画素の基本セルを使用し、この図ではセル内のすべての輪郭及び画素の位置
を示してある。そして圧縮効率上の理由で２タイプのセル、即ち図６に示す反時
計回りのセル、あるいは図７に示す時計回りのセルを用いている。これら各タイ
プのセル内の異なる輪郭要素に附番する方法をこれらの図に示してあり、輪郭の
開始位置を記号０で示し、他の位置を記号１〜７で示し、記号１をセル内の記号
０と同じ辺の位置に割り当てている。従って、セルを特徴付けるために３つのパ
ラメータが必要であり、これらは輪郭の開始位置、セルのタイプ（時計回りまた
は反時計回り）、及びセルの向き（水平な輪郭の開始要素を有するセルに対して
は東または西、垂直な輪郭の開始要素を有するセルに対しては北または南）であ
る。符号化アルゴリズムは、１セル当りに符号化される輪郭要素の数が最大にな
るように、これら２タイプのセルの中から選択するものとなる。

【０００７】 ＭＧＣＣ法は、前記附番方法並びにその可能な輪番を用いるものである。図６
の０に附番されたセルの入力要素から開始して、集合（１、２、・・・、６、７
）のうちのいずれの出力要素にも到達することができるが、セル内を通過する経
路は出力要素によって一意的に規定されず、図８及び図９の例に示すように、移
動（この場合０から４へ）は実際には２通りの輪郭構成に対応しうる。セル内部
の輪郭要素（８、９、１０、１１）は符号化されず、符号化プロセスにあいまい
さをもたらすものであり、２つの異なる輪郭位置の集合（０、８、９、４）また
は（０、１１、１０、４）が存在しうる。このあいまいさが符号化損失をもたら
す。それにもかかわらず唯一起こりうるエラーは、セルの中心画素、即ち孤立し
た境界画素への誤ったラベル付けに過ぎない。

【０００８】 輪郭追跡プロセスにおいて、輪郭を完成させるためにいくつかのセルが連結さ
れる。図１０に示すように、２つのセルを連結するために、現在のセルの輪郭の
出力位置を次のセルの輪郭の入力位置とする。従ってＭＧＣＣ法により単一領域
の境界を符号化する際に、生成されるビット流は：(a)輪郭の開始位置、(b)輪郭
を追跡するための移動を表わす記号のチェーン、を含んでいる。

【０００９】 輪郭追跡プロセスにおいては、グリッド内を通して基本セルの位置を逐次変化
させる必要がある。提案されている技法は、例えばIEEE Transactions on Patte
rn Analysis and Machine Intelligence、巻PAMI-8、269〜276ページ、1986年3
月2日に掲載の、T.Minami及びK.Shinoharaによる「Encoding of line drawings
with a multiple grid chain code」に記述されている。この根本原理を図１１
〜図１５を参照して説明する。

【００１０】 固定グリッドで符号化する例を挙げている図１１に示すように、ここでは輪郭
のセグメントは、第１セル内の記号４（反時計回りのセル）によって符号化され
ている。同じグリッドのセルを用いる場合、輪郭を追跡するために、第２セル内
で記号７（図１２）を用い（記号０は常に新たな開始位置または入力位置）、第
３セル内で記号２（図１３）を用い、この場合はこれら第２及び第３セルは時計
回りである。従って最初の開始位置から輪郭を追跡するために、３つのセルが必
要である。これに対し、グリッド（即ち実際には、セルの中心の位置）を変更す
る場合には２つのセルしか必要ではなく、図１１〜図１３の例に関するグリッド
の変更を表わす図１４及び図１５に示すように、同じ出力位置に至るために本当
に必要なのは第２セルだけである。

【００１１】 図１４及び図１５の解決法は、輪郭のよりコンパクトな表現を導くものである
。しかし、ここで対応するシフト前のセルの原点（Ｇ０）に対する各グリッドの
シフト量を規定するために、３種類のクラスのグリッドが必要である。以下の分
類表に示すこれら３つのクラスＧ１、Ｇ２、Ｇ３は、前記対応するシフト前セル
の原点である画素に対する、各タイプのセルの原点である画素の位置(x、y)によ
って規定される。

【００１２】

【表１】

【００１３】 図１０の例ではクラスＧ２のセルが用いられており（対応する現在のセルＧ０
に対して）；図１６に示す他の例では、クラスＧ１のセルが用いられている（対
応する現在のセルＧ０に対して）。

【００１４】 しかし、前述のＭＧＣＣ法はバイナリ区分を符号化するためにのみ用いること
ができる。一般的なセグメント画像の場合、区分は輪郭を共有する領域を含むも
のであり、前記の方法はもはや適当ではない。

【００１５】 発明の概要 従って本発明の目的は、前に規定したタイプの輪郭グリッドも用いるが、画像
内の領域の輪郭のセグメントを、より一般的かつより高効率な符号化する改良法
を提案することにある。

【００１６】 この目的のために、本発明は明細書の前文に提示した方法においてさらに、連
続する各区分毎に、 (a)ラベルの画像を、連続する基本セル内を入力点から出力点へ移動する輪郭
要素の移動によって規定される輪郭要素チェーンによる記述に変換するステップ
と； (b)各連続セルの内部で、各輪郭を事前に抽出した輪郭開始点から終点まで、
輪郭の入力要素、内部要素、出力要素、及び存在しうる複数の出力要素間の優先
順位に対応するチェーン記号を記憶しながら追跡するステップと； (c)当該区分の連続各輪郭セグメントの終点まで、以上のステップを繰り返す
ステップと； (d)各セル内で、各輪郭セグメントの開始点、及びこれに関連する、この開始
点から次のセルの開始点への移動のチェーンに対応する情報を符号化するステッ
プとを具え； これらの連続するステップが画像区分のいわゆるイントラモード符号化プロセス
を規定するものであることを特徴とする。

【００１７】 この方法では、２つの異なる輪郭の交差点における３重点の概念を導入し、こ
れは前の輪郭開始点に対して、新たな輪郭（まだ符号化されていない）開始点（
または輪郭の開始位置）を設けることを可能にするものであり、これらの３重点
に対する新たな記号を符号チェーン内に導入することによって、より高効率の符
号化が得られ、本発明では、ＭＧＣＣ法で輪郭が変化するセルを追跡中に、３重
点を複数出力のセルの概念で置き換える。

【００１８】 この基本的な方法に関して主に２つの拡張が可能であり、第１はスケーラブル
区分シーケンス符号化の場合への拡張であり、第２はイントラモード区分シーケ
ンス符号化の場合への拡張である。

【００１９】 前記本発明の第１の改良例は、現在の各区分をさらに、基本層と少なくとも１
つの拡張層とに分割し、次に基本層には前記インターモード符号化プロセスを変
更せずに順次適用し、拡張層にはこのプロセスを次のように変更して順次適用す
る：即ち −輪郭開始点を抽出する処理において、輪郭セグメントの開始点を基本層から
の輪郭点に関連付ける； −追跡ステップにおいて、基本層に属するすべての点を消去する； −繰り返しステップにおいて、次の輪郭を処理する前に輪郭を終わる処理を、
基本層及び拡張層の輪郭点に関連付ける； ことを特徴とする。

【００２０】 前記第２の改良例は、現在の各区分を、イントラモードで符号化する必要があ
るいくつかの領域を含む第１部分と、動き補償すべきその他の領域に対応する第
２部分とに分割し、前記イントラモード符号化プロセスを基本層の役をする前記
第１部分に適用し、これに対応して、関連するインターモード符号化プロセスを
拡張層の役をする前記第２部分に適用することを特徴とする。

【００２１】 実施例の詳細な説明 以下、本発明の実施例について図面を参照して説明する。 図１７のフローチャートは、本発明によるＭＧＣＣイントラモード符号化法の
基本構想に対応するものである。このＭＧＣＣ符号化プロセスは、図４及び図５
に関連して記述したタイプの輪郭グリッド上で規定される輪郭画像に適用される
ものである。従って、通常ラベルで記述される区分を、６角形のグリッド内の輪
郭要素に変換しなければならない。図１７に参照番号４００で示すブロック内で
実行する、本発明の提案方法の主要ステップは次の通りであり：即ち、輪郭画像
の生成、画像からの開始点の抽出、セルの特徴化、輪郭の追跡、輪郭追跡におけ
る優先順位の決定、複数点の管理、プロセスの終了、及び次の開始点の抽出であ
り、これらのステップに続いて最終符号化ステップを実行する。

【００２２】 提案方法の第１ステップ４０１では輪郭画像を生成し、後にこれを符号化する
。従ってラベルの画像で記述される元の区分を、６角形のグリッドで規定される
輪郭要素での記述に変換しなければならない。

【００２３】 第２ステップ４０２では、すべての輪郭の開始点を画像から抽出する。ここで
画像は、ラスタ式に（上から下へ、かつ左から右へ）走査される。ＭＧＣＣ法に
よって、あらゆる領域（または領域のクラスタ、例えば、他の領域と接触してい
る輪郭点を有さず、従って３重点を形成しないいくつかの内部領域も一緒に考慮
する際に）に存在する画像輪郭を別々に符号化する。従って考慮すべき最初の輪
郭は常に画像のフレームの輪郭であると考えられ、実際に受信機ではこのような
画像フレームの形状が既知であるので、このフレーム輪郭から符号化しなければ
ならない唯一の情報は、新たな輪郭セグメントの開始を規定する開始点の位置で
ある。実際には、このフレームに接触している輪郭点（実際には、これら特定の
輪郭点を輪郭の入力として有するセルの特性）をバッファ（ＦＩＦＯ待ち行列）
に記憶し、これらを「ＰＥＮＤＩＮＧ」点と名づける（後述する特定の処理のた
めに）。

【００２４】 第３ステップ４０３は、セルを特徴付けるステップである。実際に、輪郭の開
始点を一旦選択したら、この開始点が規定するセルを特徴付けなければならない
。すべての開始点について、グリッドのクラスをＧ０に設定する（前の分類表を
参照）。輪郭の開始点がフレームの輪郭に接触している場合には、この開始点が
位置するフレームの辺によって、セルの向き及びタイプをこの表に示すように固
定する（ここでｃ及びｃｃはそれぞれ、時計回り及び反時計回りを意味する。）

【００２５】

【表２】

【００２６】 この表に示すように、開始点が領域の内部にあるクラスタの場合には、採用す
る走査方式のため、セルのタイプを「反時計回り」、向きを「東」に設定する。
輪郭の入力位置が、フレームに接触している輪郭点でもなく、この表に示すどの
クラスタの開始点でもないセルの場合には、このセルの特徴付けは、前のセル内
で行われた移動にもとづく予測に依存する。このようにして、現在のセルの輪郭
の入力は前のセルの輪郭の出力となり、セルの向き及びセルのタイプの割り当て
を表３に示す規則に従って行い、ここでは２行目の（Ｎ、Ｅ、Ｓ、Ｗ、ｃ、ｃｃ
）が現在のセルのデータを表わす。

【００２７】

【表３】

【００２８】 一旦セルを特徴付けたら、セル内の輪郭情報を記号のチェーン内に記憶しなけ
ればならない。次に輪郭追跡ステップ４０４を実行する。このステップでは、セ
ルの最初の輪郭に連結された輪郭のみを考慮の対象とし、セル内部の他の輪郭（
この最初の輪郭に連結されていない）を消去して、追跡プロセス中に後でこれら
を分析する。輪郭の入力から開始して、次の優先順位で：即ち直進−右折−左折
の順で輪郭を追跡し、これにより輪郭の入力に連結された輪郭の出力のリストを
作成する。この追跡処理中に、輪郭の入力点及び出力点にＩＮＯＵＴと記号付け
し、輪郭の入力点と出力点とを連結するのに必要な、セル内部の他の輪郭点をＩ
ＮＴＥＲＮＡＬと記号付けする。セル内部の輪郭追跡ステップ４０４を図１８及
び図１９に示す。元のセルを図１８に示し、ここで出力５及び６は入力に接続さ
れていないので、図１９ではこれらを消去してある。入力位置でも出力位置でも
ない輪郭にはＩＮＴＥＲＮＡＬと記号付けする。

【００２９】 次に、検出した輪郭の組を記号のチェーン内に記憶しなければならない。１つ
の輪郭のみを検出した場合には、入力を出力に連結する移動を記憶し、複数の出
力点を検出した場合には、輪郭構成を符号化するために、セルに２つ以上の記号
が必要となる。次に優先順位決定ステップ４０５を実行する。

【００３０】 このステップでは、セル内の輪郭情報を付加的な出力毎に記述するサブチェー
ンを、「複数出力」に対応する記号Ｍから開始する。このようにして、セルのチ
ェーンがｎ個の記号Ｍから始まる場合には、これに続く（ｎ＋１）個の記号が、
このセルの異なるアクティブ出力を記述する。このステップでは輪郭の出力の組
を、特定の順序でチェーン内に記憶する（この順序は、後に復号化器内でセルの
中心画素の不確定性を解決するために有用である。）。最高優先順位を有する輪
郭の出力に関連する記号を、チェーン内の記号Ｍの組の直後に導入し、これらの
記号は次のセルの輪郭の入力となる（輪郭が閉じていない場合）。最高優先順位
の記号は、輪郭の入力を輪郭の各出力に連結する輪郭セグメントの長さによって
固定され、これは最長の経路に対応する記号であり、１セル当たりに符号化され
る輪郭要素の数を最大にするという利点がある。２つの輪郭セグメントが同じ長
さの場合には、前記のあいまいさは、前に示した追跡の優先順位：即ち直進−右
折−左折を考慮することによって解決される。他の輪郭の出力は、長さの基準に
もとづいて順序付け（このような順序付けは、復号化器の複雑性を増大しても、
ごく少数の不確定性の問題しか解決しない）せずに、追跡の優先順位（直進−右
折−左折）にもとづいて順序付けする。

【００３１】 よりわかりやすくするために事例を挙げて説明する。２つの輪郭の出力の順序
付けを図２０〜図２２に示す。図２０では最長の経路が出力１に至り、従ってチ
ェーン内の記号がＭ１５である。図２１では最長の経路が５に至り、記号はＭ５
１である。しかし、図２２の第３例は同じ表現Ｍ５１を導くので、この記号の組
は一意的なセル構成にはならない。最後の例では、両方の出力（５及び１）に至
る経路は同じ長さなので、追跡の優先順位に従いチェーンＭ５１を得る。

【００３２】 ｎ個の記号Ｍを有するサブチェーンの場合について、複数の出力を有するセル
の２例を図２３及び図２４に示す。図２３の例は２つの３重点を有するセルに対
応するものである。このセルの輪郭情報を記述する記号のチェーンはＭＭ１５３
である（出力３に至る経路は出力５に至るものより長いが、この記号５はサブチ
ェーン内で最初に出現する：これは長さの基準よりもむしろ追跡の優先順位にも
とづく、前記の優先順位によらない記号の順序付けによるものである）。図２４
の例では４重点を示してあり、このセルの輪郭情報を記述する記号のチェーンは
ＭＭ３５６である（３に至る経路が最長のものであり、追跡の優先順位は６より
５の方が高い）。

【００３３】 従って直前で述べたように、セル内に複数の出力が観測される際に、特定の記
号をサブチェーンに含める。この処理に続いて複数点を管理するステップ４０６
を実行する。このステップ中には、より優先順位が低い出力（これが輪郭のセグ
メントを閉じない場合は）をペンディング点のバッファ（ＦＩＦＯ待ち行列）に
記憶し、このようにこのバッファに記憶するすべての出力点には「ＰＥＮＤＩＮ
Ｇ」とマークする。

【００３４】 このようなマーキング処理の理由は、バッファに記憶されているすべての点が
、将来新たな輪郭のセグメントを参照するために必要であるわけではないという
ことである。追跡プロセス中において、新たなセルは実際に、前に「ＰＥＮＤＩ
ＮＧ」とマークした輪郭点を含みうる。この場合には、この「ＰＥＮＤＩＮＧ」
輪郭点に関連したセグメントは既に完成されており、対応する複数点をチェーン
から除去しなければならない（複数点の影響をチェーンから消去する際に２つの
記号を除去しなければならず：即ち、まず複数点を示す記号Ｍを取り消し、次に
セルの入力を関連する複数の出力に連結した移動を示す記号を除去し、結果とし
て、例えばセル内の情報が前にサブチェーンＭ３５で符号化され、かつ新たなセ
ルが５に向かう移動に関係する第２出力を含む場合には、サブチェーン内に単一
の記号３のみとなるようになる）。

【００３５】 これに加えて、当該輪郭の出力がフレームに接触している場合には、存在しう
る開始点のバッファから、あるいは「ＰＥＮＤＩＮＧ」点のバッファからこれを
除去しなけらばならない。最後に、前の出力点のマーク−これは５への移動に関
連する−を更新しなければならない。この新たなセルがこの輪郭点を内部輪郭点
として有する場合には、このセルのマークを「ＰＥＮＤＩＮＧ」から「ＩＮＴＥ
ＲＮＡＬ」に変更する。

【００３６】 図１７に参照番号４０７で示す追跡プロセスの最終ステップでは、輪郭（判定
４７１）、クラスタ（判定４７２）、または区分（判定４７３）を終わる。輪郭
セグメントの終点は、追跡プロセス中に、前に「ＩＮＯＵＴ」とマークした輪郭
要素に依存するものである。セル内の輪郭の出力が「ＩＮＯＵＴ」というマーク
した輪郭と一致する際に、この輪郭の分枝が終わる。輪郭の出力が最高優先順位
のものである場合には、輪郭セグメントの終点に到達する（復号化器の側では、
このことは既知の輪郭位置で輪郭が終わることを可能にし、起こりうる領域の分
断を防止することができる）。さらに、輪郭の出力が「ＩＮＴＥＲＮＡＬ」また
は「ＰＥＮＤＩＮＧ」とマークされているが、この輪郭の出力から到達可能な次
の輪郭位置のいずれかが「ＩＮＯＵＴ」である場合には、この輪郭（または分枝
）も終わる。

【００３７】 輪郭セグメントが終わる際に、領域のクラスタが終わったか否かをチェックし
なければならない。「ＰＥＮＤＩＮＧ」点のバッファ内にさらに「ＰＥＮＤＩＮ
Ｇ」点があるか否か、あるいはすべての「ＰＥＮＤＩＮＧ」点を既に抽出したか
否かを見るために、まず「ＰＥＮＤＩＮＧ」点のバッファをチェックする。「Ｐ
ＥＮＤＩＮＧ」点が残っていない場合は、存在しうる開始点（フレームに接触し
ている開始点）のバッファをチェックする（最初にこれらの輪郭を「ＰＥＮＤＩ
ＮＧ」点のバッファから抽出する理由は、符号化効率のためである）。両バッフ
ァが空の場合にはクラスタが終わりであり、新たなクラスタ（があれば）を同様
に考慮する。

【００３８】 前述のように、ラスタ式（上から下へ、かつ左から右へ）に画像を走査し、最
初の未符号化のアクティブ輪郭を、領域の新たなクラスタについての開始点とす
る。未符号化のアクティブ輪郭が無い場合には、すべての区分が符号化されてい
る。

【００３９】 従って、追跡プロセスのこの最後のステップは３つのサブステップ４７１〜４
７３に副分割される。輪郭が終わらない限り（判断４７１）、逆向きの流れをた
どってステップ４０３、４０４、４０５、４０６を繰り返す。輪郭が終わり次第
、「クラスタの終わり」の判定を実行する（判定サブステップ４７２）。領域の
クラスタが終わらない限り、以下の手続きを実行する。即ち、まずバッファ内に
さらに「ＰＥＮＤＩＮＧ」点があるか否かを見るために、「ＰＥＮＤＩＮＧ」点
のバッファをチェックする（処理７４：記憶したペンディング点の回復）。すべ
ての「ＰＥＮＤＩＮＧ」点を既に抽出した場合には、フレームに接触している存
在しうる開始点のバッファをチェックする（これらの輪郭を最初に「ＰＥＮＤＩ
ＮＧ」点のバッファから抽出する理由は、符号化効率のためである。）。これら
両バッファが空の場合には、クラスタの終わりとして、領域の新たなクラスタを
考慮する（処理７３：次の開始点の抽出）。未符号化の有効な輪郭がもはや存在
しない際には（判定４７３）、区分全体を処理したことになる。

【００４０】 区分符号化法の最終ステップはエントロピ符号化ステップ４０８であり、これ
は開始点の情報を符号化する第１符号化サブステップ４８１、及び移動のチェー
ンを符号化する第２符号化ステップを含むものである。

【００４１】 サブステップ４８１を実現するためには、外部開始点と内部開始点とを区別す
る必要がある。フレームに接触しているすべての開始点（即ちこれを最初のクラ
スタと称する）を、最初の移動のチェーンのヘッダとしてまとめて符号化する。
フレームに接触している各開始点毎に、この開始点の前にある、フレームの点の
位置を符号化する。これらの開始点を２種類の語長のために附番し、画像の水平
次元（上辺及び下辺）にＰビットを用い、垂直次元（左辺及び右辺）にＱビット
を用い、ここで例えばP=log2[dim_x]及びQ=log2[dim_y]とする。最後にフレーム
の一辺に符号化すべき点が残っていない場合には、この状況を示す特定の語を用
いる（例えばＰTまたはＱT）。フレームに接触している最後の開始点を符号化し
た際には、移動のチェーンの開始を示すための他の特定の語（例えばＰ0または
Ｑ0）を用いる。フレームに開始点が無い場合には、語Ｐ0を最初の内部開始点に
与えられた符号（「intern_ip」）に先行させる。これらの種々の状況を符号化
する方法を、フレームの四辺上の種々の開始点数に対応づけて次の表に示す。

【００４２】

【表４】

【００４３】 内部の開始点も同様に附番する。これらの開始点は画像を上から下に走査する
ことにより得られたものであるから、内部の開始点は常に水平輪郭位置に対応す
るものである。従って水平輪郭のみに附番する。

【００４４】 サブステップ４８２の実現のためには、最適解は符号化した各区分毎の確率の
分析を含蓄するが、（均一な記号確率を扱うために）領域の数によって区分を分
類する一般的な表を用いて、最適ではないがより簡単な解法によって良好な結果
が得られている。密度（低、中、高）に依存する３つの分析のグループが提案さ
れており、これらのグループにそれぞれ関連するハフマン表が次のように提供さ
れている。

【００４５】

【表5】

【００４６】 前述した本発明は、開示した実施例のみに限定されるものではなく、これにも
とづく変形または改良を提案しうるものである。

【００４７】 例えば、イントラモードＭＧＣＣ符号化法の実現を、スケーラブルモード符号
化法に拡張することができる。本明細書では２層、即ち基本層及び拡張層の場合
について説明しているが、これを数層に拡張することも本発明の範疇に属するも
のである。

【００４８】 区分が与えられれば、その輪郭のサブセットを別々に送り、基本層を構成する
粗略な表現を形成することができる。後のステップで拡張層を構成する残りの輪
郭を送ることができ、基本層と拡張層とで完全区分を形成する。このことは図２
５〜図２８に示してあり、図２５に示す画像の完全区分を図２６に示し、その基
本層を図２７に示し、図２８はその拡張層に関連する輪郭を含むものである。

【００４９】 基本層の定義は適用例に依存しうるものである。前記の適用例に従い、これら
２つの層をそれぞれ形成するために、異なる輪郭の組を選択することができる。
図２５〜図２８の例では、特定の複数物体を別々に符号化するために、これら２
つの層を選定する（基本層は２人の人の形に対応する）。この粗略な区分が自己
完結であるか、あるいは拡張層と組合わせるものであり、全区分が必要な場合に
は、基本層と拡張層とを別々に符号化するので、基本層の復号化も独立して行う
ことができる。

【００５０】 基本層の符号化は、前述の方法に従って行う。基本層の符号化効率を、伝送す
べき情報はこれしかないぐらいにできるだけ高く保つために、拡張層の符号化を
可能にするための付加的な記号は基本層のビット流に含められていない。

【００５１】 拡張層を符号化するために、イントラモードＭＧＣＣ法の一部のステップ、特
に開始点抽出のステップを、基本層の符号化に関連して変更する必要がある。Ｍ
ＧＣＣ法は、領域の各クラスタを別々にアドレスする基本層を符号化するもので
ある。拡張層の場合は、輪郭セグメントのクラスタをアドレスする。イントラモ
ードＭＧＣＣ法では、フレームが復号化側で既知であるということを利用して、
このフレームに接触している開始点を符号化する。スケーラブルモードにおいて
受信機が基本層を完全に知っているという概念が、さらなる利点をもたらす（Ｍ
ＧＣＣセルの中心の不確定画素は例外である）。拡張輪郭セグメントの開始点は
既知の輪郭上に直接位置付けられ、これらの輪郭はすべて、基本層の符号化プロ
セス中に「ＦＲＡＭＥ」または「ＩＮＯＵＴ」とマークされた輪郭である。開始
点として用いる既知の輪郭要素には、画像を上から下へかつ左から右へ走査して
附番する。

【００５２】 イントラモードＭＧＣＣ法で規定しているように、開始点を既知の輪郭に隣接
する輪郭位置として規定することはできない。イントラモードＭＧＣＣ法におい
てフレームに接触している開始点を符号化する場合とは異なり、他のいずれの既
知の輪郭要素を基準に用いる場合にも、２つの輪郭の開始位置が存在しうる。従
って、基本層からの輪郭点のうち拡張層に接触しているものを存在しうる開始点
のバッファに記憶し、これらを「ＰＥＮＤＩＮＧ」とマークする。

【００５３】 基本区分に接触している輪郭点がない場合には、「区分の終了」ステップにプ
ロセスを進め、画像に内部領域がある場合には最初の領域の輪郭開始点を抽出す
る。こうした開始点が与えられれば、基本層を符号化する際に、この特定位置で
規定したのと同じセルの向き及びセルのタイプを用いる。開始点を含まないセル
の特徴づけもこれと変わりなく行う。

【００５４】 前述のように、最初の輪郭に連結されていないセル内部の輪郭位置を消去する
。これに加えて、基本区分に属する輪郭を拡張輪郭セグメントの開始点または終
点としてのみ考慮する。輪郭追跡における複数点及び優先順位の管理は、基本層
の場合に関しては変更しない。

【００５５】 拡張層では、輪郭セグメントの終点は、前に「ＩＮＯＵＴ」とマークした基本
層または拡張層からの輪郭要素に依存する。輪郭の出力が最高優先順位のものの
場合には、輪郭セグメントの終点に到達したことになる。これに加えて、輪郭の
出力が「ＩＮＴＥＲＮＡＬ」（基本層または拡張層からのもの）とマークされて
いるかあるいは「ＰＥＮＤＩＮＧ」（拡張層からのもののみ）とマークされてい
るが、この輪郭の出力から到達可能な次の輪郭位置のいずれかが「ＩＮＯＵＴ」
とマークされている場合にも、輪郭（または分枝）を終了する。最後に、クラス
タの終わり及び区分の終わりを、イントラモードＭＧＣＣ法と同様に検出する。

【００５６】 また、提案されているイントラモードＭＧＣＣ法はインターモード符号化法へ
も拡張することができる。画像区分の列を効率良く符号化するために、この列内
の連続する区分の間に存在する一時的な冗長性を利用する必要がある、というこ
とは既知である。欧州特許EP0789973(PHF95553)号公報には、現在の区分の複数
領域をイントラモードまたはインターモードで符号化して、符号化効率を向上す
る符号化技法が記述されている。これら両モードにおいて、符号化ビット量をさ
らに低減するためにＭＧＣＣ法を用いることができる。従って、まず一般的なイ
ンターモード区分符号化法について記述し、次にイントラモードＭＧＣＣ法に適
応させるために必要な変更について詳述する。

【００５７】 一連の区分は一般的に、連続する区分内での動きの推定に依存して符号化する
（この推定はいずれの技法及び動きモデルにもとづくものでもよい）。一旦、当
該区分のあらゆる領域の動きパラメータが得られれば、これらを次の区分の領域
形状を予測するのに利用する。この新たな区分内のある領域は、この区分内で最
初に出現しているか、あるいはイントラモード法でより効率良く符号化できるよ
うに考えられているので、イントラモードで符号化する必要がありうる。これら
のイントラ領域は、これら自体で一区分を形成するものであり、これらをまず符
号化する。これらが伝送された後に、受信機はこれらを用いて、対応する区分、
及びこれに関連するマスクを作成することもでき、このマスクは画像を、その領
域が既に利用可能なイントラエリアと、その領域が動き補償されるインターエリ
アとに分割するものである。この補償は、あらゆる動きパラメータを、イントラ
エリア内の全画素に対して試用することによって行い、この補償は、領域Ｒiに
関連するパラメータを所定の画素に適用した際に、これらのパラメータがこの画
素を補償して、同じく領域Ｒiに属する前の区分内の画素に変換する場合のみに
有効であると言われている。補償した輪郭が元の区分の輪郭に正確に合致しない
場合には、相違している輪郭の組を、補償した区分のエラーとして伝送する。実
際には、動き補償ステップの後に得られる、元の区分からの輪郭と、イントラ及
びインター領域の輪郭とを、単輪郭の画像を形成するために加算し、この加算し
たものは、元のインター領域輪郭と動き補償した領域との交差によって新たな領
域がそこに形成される一種の過区分である。これらの領域の一部を除去した後に
（単純化ステップ）、残存する新たな領域に関連する、元の区分からの輪郭（単
純化ステップで消去されていない）を、その固有のラベルとともに伝送する。

【００５８】 イントラモードＭＧＣＣ法は、イントラ領域の組、並びに補償した区分のエラ
ーを形成する付加的な輪郭セグメントを符号化するために、前記インターモード
法の中で用いることができる。このイントラ領域の組は、イントラモードＭＧＣ
Ｃ法を用いて直接符号化することができる区分を形成するものである。このイン
トラ領域の復号化に導入することができる唯一の改良は、一部の複数セルの中央
に出現する不確定画素を扱うものであり、これはイントラ領域とインター領域と
の間の境界内の輪郭に関連するセルの場合である。これらの画素はどの領域にも
直接、イントラモードで割り当てられていないが、むしろインターモードで分析
され、インターモード画素として処理され、動きパラメータの組がこれらの画素
に適合するか否かということに従い、それぞれ関連する領域またはイントラ領域
に割り当てられる。図２９は、イントラ領域（黒丸）からの画素及びインター領
域（白丸）からの画素を含む例を示すものであり、セル内の中心画素はイントラ
領域またはインター領域のいずれにも属することができるので（その四隅の位置
はまだマークしていない）、イントラモード符号化ではそのラベルを決定せずに
、この決定をインターモード復号化ステップまで延期する。

【００５９】 補償エラーを記述する付加的な輪郭セグメントは、前に復号化した輪郭に依存
して符号化する。これは実際には、前述のスケーラブルモードＭＧＣＣ法を単純
化した場合である。送信機及び受信機共に、イントラモードで伝送される輪郭及
び動き補償された輪郭についての、同じ情報を有する。従ってこの情報は、スケ
ーラブルモードＭＧＣＣ法における基本層の役をし、補償エラー輪郭が拡張層の
役をすることができる。それにもかかわらず、イントラモード輪郭及び動き補償
した輪郭は符号化器及び復号化器において完全に既知であるので、インターモー
ドＭＧＣＣ法はスケーラブルＭＧＣＣ法より単純である。

【００６０】 このようにして、輪郭の開始セグメントを「ＩＮＯＵＴ」とマークした輪郭点
、あるいはフレームに属する輪郭点だけでなく、前の輪郭点のいずれにも関連付
けることができる（輪郭を終わる際にも、同じ方策を実行することができる）。

【図面の簡単な説明】

【図１】 大きさＭ×Ｎの区分（ここではＭ＝ｎ＝５）の一例を示す図である。

【図２】 異なる領域間の境界を規定する輪郭要素を有する、図１と同じ区分を
示す図である。

【図３】 ２つのグリッド（画素位置に関連するグリッド及び輪郭位置に関連す
るグリッド）を関連付ける図である。

【図４】 輪郭グリッドの輪郭要素の６つのアクティブ隣接要素を表わす図であ
る。

【図５】 ＭＧＣＣ技法で用いられる３×３画素の基本セルを示す図である。

【図６】 それぞれ反時計周りのセル及び時計回りのセルに対する輪郭要素への
附番方法を示す図である。

【図７】 それぞれ反時計周りのセル及び時計回りのセルに対する輪郭要素への
附番方法を示す図である。

【図８】 入力要素及び出力要素が同じセルに対する、セル内の２つの異なる輪
郭構成を示す図である。

【図９】 入力要素及び出力要素が同じセルに対する、セル内の２つの異なる輪郭構成を
示す図である。

【図１０】 輪郭追跡プロセス用にセルを連結する、２つの異なる方法を示す図
である。

【図１１】 輪郭追跡プロセス用にセルを連結する、２つの異なる方法を示す図
である。

【図１２】 輪郭追跡プロセス用にセルを連結する、２つの異なる方法を示す図
である。

【図１３】 輪郭追跡プロセス用にセルを連結する、２つの異なる方法を示す図
である。

【図１４】 輪郭追跡プロセス用にセルを連結する、２つの異なる方法を示す図
である。

【図１５】 輪郭追跡プロセス用にセルを連結する、２つの異なる方法を示す図
である。

【図１６】 輪郭追跡プロセス用にセルを連結する、２つの異なる方法を示す図
である。

【図１７】 本発明によるＭＧＣＣ符号化方法の詳細構成を示すフローチャート
である。

【図１８】 前記符号化方法における、グリッドのセル内部での輪郭追跡ステッ
プを示す図である。

【図１９】 前記符号化方法における、グリッドのセル内部での輪郭追跡ステッ
プを示す図である。

【図２０】 優先順位決定ステップにおける、２つの輪郭の出力を順序付けする
方法を示す図である。

【図２１】 優先順位決定ステップにおける、２つの輪郭の出力を順序付けする
方法を示す図である。

【図２２】 優先順位決定ステップにおける、２つの輪郭の出力を順序付けする
方法を示す図である。

【図２３】 複数の出力を有するセルの２通りの例を示す図である。

【図２４】 複数の出力を有するセルの２通りの例を示す図である。

【図２５】 スケーラブルモード符号化法とも呼ばれる、本発明の他の実施例を
示す図である。

【図２６】 スケーラブルモード符号化法とも呼ばれる、本発明の他の実施例を
示す図である。

【図２７】 スケーラブルモード符号化法とも呼ばれる、本発明の他の実施例を
示す図である。

【図２８】 スケーラブルモード符号化法とも呼ばれる、本発明の他の実施例を
示す図である。

【図２９】 モード間符号化法と呼ばれる、本発明の他の変形例におけるセルの
特定の例を示す図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＫＲ (71)出願人 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １， 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈ ｅ Ｎｅｔｈｅｒｌａｎｄｓ (72)発明者 アントニ ガスル オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ Ｆターム(参考） 5C059 MA00 MB02 MB03 MB16 ME02 ME17 PP05 PP06 RB09 RC24 RC26 UA02 5L096 AA03 AA07 DA05 EA25 FA06 GA13

Claims (8)

【特許請求の範囲】
1. 【請求項１】 均一な領域に分割され、それぞれに特定のラベルが割り当てられ
   たセグメント画像または区分を符号化する方法において、この方法が、 連続する各区分毎に： (a)前記ラベルの画像を、連続する基本セル内を入力点から出力点へ移動する
   輪郭要素の移動によって規定される輪郭要素チェーンの記述に変換するステップ
   と； (b)各連続セルの内部で、各輪郭を事前に抽出した輪郭開始点から終点まで、
   輪郭の入力要素、内部要素、出力要素、及び存在しうる複数の出力要素間の優先
   順位に対応するチェーン記号を記憶しながら追跡するステップと； (c)当該区分の各連続輪郭セグメントの終点まで、これら２つのステップを繰
   り返すステップと、 (d)各セル内で、各輪郭セグメントの開始点、及びこれに関連する、該開始点
   から次のセルの開始点への移動のチェーンに対応する情報を符号化するステップ
   と を具え； これらの連続するステップが画像区分のいわゆるイントラモード符号化プロセス
   を規定することを特徴とする画像符号化方法。
2. 【請求項２】 前記追跡ステップ(b)で、「直進−右折−左折」というタイプの
   優先順位によって輪郭要素の選択を行うことを特徴とする請求項１に記載の符号
   化方法。
3. 【請求項３】 前記追跡ステップが優先順位を決定するサブステップを含み、該
   サブステップにおいて、複数の出力が関係する各セル内で、前記輪郭の入力点を
   存在しうる前記輪郭の出力点に連結する最長の輪郭経路にもとづき最高優先順位
   の輪郭の出力点を設定し、次に「直進−右折−左折」というタイプの前記優先順
   位によって残りの輪郭の出力点を順序付けることを特徴とする請求項２に記載の
   符号化方法。
4. 【請求項４】 前記繰り返しのステップ中において、輪郭が終わる際に記号のチ
   ェーン内に複数点の記号を導入し、かつ前記輪郭の追跡中に、前のセルの輪郭の
   入力点または出力点で、あるいは次に進む隣接点が、前のセルの輪郭の入力点ま
   たは出力点であるような任意の輪郭点で、輪郭の終わりとすることを特徴とする
   請求項２及び請求項３のいずれかに記載の符号化方法。
5. 【請求項５】 現在の区分の各々を基本層及び少なくとも１つの拡張層に分割し
   、次に前記基本層には前記イントラモード符号化プロセスを変更せずに適用し、
   前記拡張層には前記符号化プロセスを次のように変更して順次適用する：即ち −前記輪郭の開始点を抽出する処理において、輪郭セグメントの開始点を基本
   層からの輪郭点に関連付ける； −前記追跡ステップにおいて、基本層に属するすべての点を消去する； −前記繰り返しステップにおいて、次の輪郭を処理する前に輪郭を終わる処理
   を、前記基本層及び拡張層の輪郭点に関連付ける； ことを特徴とする請求項４に記載の符号化方法。
6. 【請求項６】 現在の区分の各々を、イントラモードでの符号化が必要な一部の
   領域を含む第１部分と、動き補償すべきその他の領域に対応する第２部分とに分
   割し、次に、前記イントラモード符号化プロセスを前記基本層の役をする前記第
   １部分に適用し、これに対応して、関連するインターモード符号化プロセスを前
   記拡張層の役をする前記第２部分に適用することを特徴とする請求項５に記載の
   符号化方法。
7. 【請求項７】 一部のセルの中心に出現しうる不確定画素を、インターモード画
   素として処理することを特徴とする請求項６に記載の符号化方法。
8. 【請求項８】 特定のラベルが関連付けられた均一な領域に分割されたセグメン
   ト画像または区分を符号化する装置において、この装置が請求項１から７までの
   いずれかに記載の符号化方法を実現するために構成されていることを特徴とする
   符号化装置。