JP2002526951A - 区分復号化方法及び装置 - Google Patents

区分復号化方法及び装置

Info

Publication number
JP2002526951A
JP2002526951A JP2000572801A JP2000572801A JP2002526951A JP 2002526951 A JP2002526951 A JP 2002526951A JP 2000572801 A JP2000572801 A JP 2000572801A JP 2000572801 A JP2000572801 A JP 2000572801A JP 2002526951 A JP2002526951 A JP 2002526951A
Authority
JP
Japan
Prior art keywords
contour
cell
decoding
sub
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000572801A
Other languages
English (en)
Inventor
マルケス フェッラン
ゴミラ クリスティーナ
ガスル アントニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2002526951A publication Critical patent/JP2002526951A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 複数の一様領域に分割され、それぞれに特定のラベルが与えられている連続するセグメント画像又は区分に対応する符号化信号を復号化する方法に関する。前記区分は、符号化すべき各区分毎に、ラベルの画像を、連続する基本セルを経るそれらの移動によって規定される輪郭要素のチェーンの記述に変換するステップ、各セルの内部において各輪郭をその開始輪郭点から終点まで、前記セルの輪郭要素とそれらの間の優先順位とに対応する記号を記憶することによって、追跡するステップ、当該区分の各輪郭の終点までこれらの2つのステップを繰り返すステップ、及び前記移動のチェーンとに対応する情報を符号化するステップを具える。対応する復号化方法は、(A)前記チェーン記号内において復号化区分内に確かにあるすべての輪郭を復号化するとともに局部的不一致を検出する順方向復号化ステップと、(B)復号化された輪郭を逆方向に追跡し、前記不一致の検出中に導入されたマークに基づいてこれらの不一致を解消する逆方向復号化ステップとを具える。

Description

【発明の詳細な説明】
【0001】 本発明は、一様な複数領域に分割され、それぞれに特定のラベルが与えられて
いる符号化セグメント画像、あるいは区分を復号化する方法、及び対応する復号
化装置に関するものである。本発明は主にMPEG−4規格に関連して応用され
るものであり、MPEG−4復号化器を実現するものである。
【0002】 1997年10月26日〜29日、米国カリフォルニア州サンタバーバラで開催の画像処
理に関する国際会議の予稿集第3巻の114ページ〜117ページに記述の、P.Nunes
、F.Ferreira、F.Marques氏による「Multiple grid chain coding of binary sh
apes」に記述されている、いわゆる多グリッドチェーン符号化法(MGCC)は
、オブジェクトベースのビデオ符号化法と関連して、バイナリ形状情報を効率良
く符号化することを可能にするものである。この方法は、区分の輪郭表現に依存
するものである。図1は、大きさN×Mの一般的な小区分を示し、この区分は例
えばそれぞれのラベル(ここでは灰色、黒、及び白の円で示す)が関連付けられ
ている3つの領域を有し、いずれの画素も関連する4つの異なる輪郭要素を有し
ている。図2は、図1と同じ区分を示すものであるが、同一領域に属さない近傍
画素の各対間の変化を規定する特定の輪郭要素を示すものである。図3は、(2
N+1)×(2M×1)位置の対応する行列に、画素位置(=円)に関連するグリ
ッドと輪郭位置(=線分)に関連するグリッドを示すものである。異なるラベル
の画素間に位置する輪郭要素をアクティブとみなす。
【0003】 図4に示すように、輪郭グリッドの要素は6つのアクティブ近傍まで有するこ
とができ、このため輪郭グリッドは通常、6角形グリッドと称される。輪郭グリ
ッド内の区分情報を符号化する一方法は、グリッド内の開始点を選択し、対応す
る輪郭の終点までアクティブ位置を辿ることである。この方法は、現在の輪郭要
素から次の近傍輪郭要素への移動(3つの可能な移動のみ:直進、右折、左折)
を符号化することにより、区分情報の無損失符号化を実現するものである。
【0004】 他の輪郭追跡方法は、もっと大きなステップで輪郭を追跡する方法であり、こ
のような大きなステップによって連結される輪郭要素のみを符号化する。前記引
用文献に記述されているMGCC法では、図5に示すような3×3画素の基本セ
ルを使用し、この図ではセル内のすべての輪郭位置及び画素位置を示してある。
そして圧縮効率上の理由で2つのタイプのセル:即ち図6に示す反時計回りセル
、あるいは図7に示す時計回りセルを使用している。これらの各タイプのセル内
の種々の輪郭要素をインデキシング(順番付け)する方法を示してあり、開始輪郭
位置を記号0で示し、他の位置を記号1〜7で示し、記号1はセル内の記号0と
同じ辺上の位置に割り当てている。従って、セルを特徴づけるためには3つのパ
ラメータ:即ちその開始輪郭位置、セルのタイプ(時計回りまたは反時計回り)
、及びセルの向き(水平な開始輪郭要素を有するセルに対しては東または西、垂
直な開始輪郭要素に対しては北または南)が必要とされる。符号化アルゴリズム
は、1セルあたりの符号化される輪郭要素の数が最大にするために、これら2タ
イプのセルの間で選択する。
【0005】 MGCC法は、前記インデキシング方法並びにその可能な回転を用いるもので
ある。図6の0でインデックされたセルの入力要素から開始して、集合(1、2
、・・・、6、7)のうちのいずれかの出力要素に到達し得るが、セルを通過す
る経路は、出力要素によって一意的に規定されず、図8及び図9の例に示すよう
に、輪郭の移動(この場合0から4へ)は実際には2の異なる輪郭形状に対応し
得る。セル内部の輪郭要素(8、9、10、11)は符号化されず、符号化プロ
セスにあいまいさをもたらすものであり、2つの異なる輪郭位置の組(0、8、
9、4)又は(0、11、10、4)が存在し得る。このあいまいさが符号化損
失をもたらす。しかしながら、唯一起こりうるエラーはセルの中心画素、即ち孤
立した境界画素のみの誤ったラベル付けである。
【0006】 輪郭追跡プロセスにおいては、輪郭を完成させるために、いくつかのセルを連
結する。図10に示すように、2つのセルを連結するために、現在のセルの出力
輪郭位置を、次のセルの入力輪郭位置とする。従ってMGCC法により単一領域
の境界を符号化する際に、生成されるビット流は:(a)開始輪郭位置及び(b)輪郭
を追跡するための移動を表わす記号のチェーン:を含む。
【0007】 輪郭追跡プロセスにおいては、グリッド内の基本セルの位置を次第に変化させ
る必要がある。提案されている技法は、例えばIEEE Transactions on Pattern A
nalysis and Machine Intelligence、巻PAMI-8、269〜276ページ、1986年3月2日
に掲載の、T.Minami及びK.Shinoharaによる「Encoding of line drawings with
a multiple grid chain code」に記述されている。この根本原理を図11〜図1
5を参照して説明する。
【0008】 固定グリッドで符号化する一例を示す図11では、輪郭セグメントは、第1の
セル(反時計回りセル)内おいて記号4によって符号化されている。同じグリッ
ドのセルを用いる場合、輪郭を追跡するために、第2のセル内において記号7(
図12)が(記号0は常に新たな開始位置または入力位置)、第3のセル内にお
いて記号2(図13)が使用され、これらの第2及び第3のセルは時計回りであ
る。従って第1の開始位置から輪郭を追跡するために3つのセルが必要とされる
。これに対し、グリッド(即ち実際には、セルの中心の位置)を変更する場合に
は、2つセルを必要とするのみとなる。図11〜図13の例に対するグリッドの
変更を表わす図14及び図15に示すように、同じ出力位置に至るためには第2
のセルが真に必要とされるのみである。
【0009】 図14及び図15の解決法は、輪郭のよりコンパクトな表現を導くものである
。しかし、この場合には、シフト前の対応するセルの原点(G0)に対する各グ
リッドのシフト量を規定するために、3種類のクラスのグリッドが必要である。
これら3つのクラスG1、G2、G3は、以下の分類表(表1)に示すように、
前記対応するセルの原点である画素に対する各クラスのセルの原点である画素の
位置(x、y)によって規定される。
【表1】
【0010】 図10の例では、対応する現在のセルG0に対して、クラスG2のセルが使用
され;図16に示す他の例では、対応する現在のセルG0に対して、クラスG1
のセルが使用されている。
【0011】 しかし、前述のMGCC法はバイナリ区分を符号化するために用いることがで
きるのみである。一般的なセグメント画像の場合、区分は輪郭を共有する領域を
含む。もっと適切な方法が1999年2月23日出願の欧州特許出願第9940
0436.4号に記載されており、この方法はセグメント画像又は(特定のラベ
ルがそれぞれに関連付けられている複数の一様領域に分割された)区分を符号化
する方法であって、連続する各区分毎に、次のステップ: (a)ラベル画像を、連続する基本セル内を入力点から出力点まで移動する輪郭
要素の移動によって規定される輪郭要素チェーンの記述に変換するステップ、 (b)連続する各セルの内部において各輪郭を、先に抽出されたその開始輪郭点
から終点まで、前記セルの入力輪郭要素、内部輪郭要素、及び出力輪郭要素と、
複数の出力要素の間の優先順位とに対応するチェーン記号を記憶することによっ
て、追跡するステップ、 (c)当該区分の連続する各輪郭セグメントの終点まで、これらのステップを繰
り返すステップ、及び (d)各セル内において、各輪郭セグメントの開始点と、この開始点と次のセル
の開始点との間の移動に関連するチェーンとに対応する情報を符号化するステッ
プ、 を具えている。
【0012】 これらの連続するステップは画像区分の所謂イントラモード符号化プロセスを
規定する。2つの異なる輪郭の交差点に3重点の概念を導入して新たな輪郭(ま
だ符号化されていない)の開始点(または開始輪郭位置)を先の開始点に対し位
置決定することを可能にするができるようにすることによって、及びこれらの3
重点に対し符号チェーン内に新たな記号を導入することによって、より高効率の
符号化が得られる。また、MGCC法は輪郭を連結するセルを追跡するが、本発
明では3重点を複数の出力を有するセルの概念と置き換える。
【0013】 (この基本的実施例に関する)2つの他の拡張実施例が上記の欧特許出願に記
載されている。これらの拡張実施例はスケーラブル区分シーケンス符号化の場合
及びイントラモード区分シーケンス符号化の場合への拡張である。第1の拡張実
施例では、現在の各区分を基本層及び少なくとも1つの拡張層に分割し、次に前
記イントラモード符号化プロセスを基本層にはこのプロセスを変化させずに順次
適用し、かつ拡張層に適用する場合にはこのプロセスを次のように変化させる:
即ち、抽出ステップにおいて、輪郭セグメントの開始点を基本層からの輪郭点に
関連させる;追跡ステップにおいて、基本層に属するすべての点を取り消す;繰
り返しステップにおいて、次の輪郭を処理する前に輪郭の終了を基本層及び拡張
層の輪郭点に関連させる。
【0014】 第2の拡張実施例では、現在の各区分をイントラモードで符号化する必要があ
るいくつかの領域を含む第1部分及び動き補償すべき他の領域に対応する第2部
分に分割し、前記イントラモード符号化プロセスを基本層の役割をする前記第1
部分に適用し、関連するインターモード符号化プロセスを拡張層の役割をする前
記第2部分に適用する。
【0015】 図17のフローチャートは基本的実施例に対応する。図示のプロセスの主要ス
テップは、輪郭画像の生成、画像からの開始点の抽出、セルの特徴付け、輪郭追
跡、輪郭追跡における優先順位の決定、複数点の管理、プロセスの終了、及び次
の開始点の抽出であり、これらのステップの後に最終符号化ステップが続く。
【0016】 第1ステップ401において輪郭画像を生成し、これを後で符号化する。従っ
てラベル画像で記述される元の区分を、上述した6角形グリッドで規定される輪
郭要素に基づく記述に変換する。第2ステップ402において、すべての開始輪
郭点を画像から抽出する。考察すべき最初の輪郭は常に画像のフレーム(枠)の
輪郭であり、実際上、受信機は既にこのような画像フレームの形を知っているの
で、このフレーム輪郭から符号化しなければならない唯一の情報は、新たな輪郭
セグメントの開始を規定する開始点の位置である。実際には、このフレームに接
触する輪郭点(実際には、これらの特定の輪郭点を入力輪郭として有するセルの
特徴)をバッファ(FIFO待ち行列)に記憶し、これらを「ペンディング」点
と呼ぶ(後に明らかとなる特別処理のため)。
【0017】 第3ステップ403は、セルを特徴付けるステップである。実際に、輪郭の開
始点が一旦選択されたら、この開始点により規定されるセルを特徴付けなければ
ならない。すべての開始点について、グリッドのクラスをG0に設定する(前記
の分類表1を参照)。フレーム輪郭に接触する開始輪郭点の場合には、前記開始
点が位置するフレームの辺がセルの方向(向き)及びタイプを表2に示すように
固定する(ここでc及びccはそれぞれ、時計回り及び反時計回りを意味する。
【表2】
【0018】 表から明らかなように、領域の内部クラスタの開始点の場合には、採用する走
査法のために、セルのタイプは「反時計回り」、方向は「東」に設定する。入力
輪郭位置がフレームに接触する輪郭点でもクラスタの開始点でもないセルの場合
には、その特徴付けは前のセル内で行われた移動に基づく予測に依存するものと
する。このように、現在のセルの入力輪郭は前のセルの輪郭出力とし、方向及び
セルタイプの割り当ては表3に示す規則に従うものとする。この表において第2
行(N、E、S、W、c、cc)は現在のセルのデータを表わす。
【表3】
【0019】 一度セルを特徴付けたら、セル内の輪郭情報を記号のチェーン内に記憶する必
要がある。次に輪郭を追跡するステップ404を実行する。このステップでは、
セルの開始輪郭に連結された輪郭要素のみを考慮し、セル内部の他の輪郭要素(
この開始輪郭に連結されていない)は取り消し、追跡処理中後で分析する。入力
輪郭から開始して、追跡は次の優先順位:前進−右折−左折:で実行して、入力
輪郭と連結された出力輪郭のリストを作成する。この追跡動作中に、入力及び出
力輪郭点をINOUTとマークし、入力輪郭点と出力輪郭点とを連結するのに必
要なセル内の他の輪郭点をINTERNALとマークする。セル内部の輪郭を追
跡するステップ404を図18及び図19に示す。元のセルを図18に示し、こ
こで出力5及び6は入力に接続されていないので、図19ではこれらを取り消し
てある。検出された輪郭は記号のチェーン内に記憶しなければならない。1つの
出力輪郭のみが検出される場合には、入力輪郭を出力輪郭に連結する移動を記憶
し、複数の出力点が検出される場合には、このセルは輪郭形状を符号化するため
に2以上の記号を必要とする。
【0020】 次に優先順位を決定するステップ405を実行する。このステップでは、セル
内の輪郭情報を記述するサブチェーンを、各追加の出力点に対し、「複数(マル
チプル)の出力」に対応する記号Mで開始する。このして、セルのサブチェーン
がn個の記号Mで始まる場合には、次の(n+1)個の記号が、種々のアクティ
ブ出力点を記述する。出力輪郭の組を、特定の順序でチェーン内に記憶する。最
高優先順位を有する出力輪郭に関連する記号をチェーン内の記号Mの組の直後に
導入し、この記号を次のセルの入力輪郭とする(輪郭が閉じていない場合)。最
高優先順位の記号は、入力輪郭を出力輪郭の各々に連結する輪郭セグメントの長
さによって固定され、これは最長の経路に対応する記号であり、これは1セル当
たりの符号化輪郭要素の数を最大にするという利点を有する。2つの輪郭セグメ
ントが同じ長さを有する場合には、このあいまいさは、上述した追跡優先順位:
前進−右折−左折を考慮することによって解決される。他の出力輪郭は、長さ基
準にもとづいて順序付けしないで、追跡優先順位(直進−右折−左折)にもとづい
て順序付けする。
【0021】 よりわかりやすくするために、事例を挙げて説明する。2つの出力輪郭の順序
付けを図20〜図22に示す。図20では、最長の経路が出力1に至り、従って
チェーン内の記号はM15になる。図21では、最長の経路が5に至り、記号は
M51になる。しかし、この記号の組は、図22の3番目の例が同じ表現M51
を導くので、一意的なセル構成にならない。最後の例では、両方の出力(5及び
1)に至る経路は同じ長さを有し、この場合には追跡優先順位に依存し、従って
得られるチェーンはM51になる。
【0022】 n個の記号Mを有するサブチェーンの場合に対し、複数の出力を有するセルの
2つの例を図23及び図24に示す。図23の例は2つの3重点を有するセルに
対応するものである。このセルの輪郭情報を記述する記号のチェーンはMM15
3である(出力3に至る経路の方が出力5に至る経路より長いが、記号5がサブ
チェーン内に最初に出現する;これは非優先記号の順序付けによるものであり、
この順序付けは長さの基準よりも追跡優先順位にもとづくものである)。図24
の例では4重点を示してあり、このセルの輪郭の情報を記述する記号のチェーン
はMM356である(3に至る経路が最長であり、6より5の方が追跡優先順位
が高い)。
【0023】 従ってセル内に複数の出力が観測される際に、上述したように特定の記号がサ
ブチェーンに記入される。この処理に続いて複数点管理ステップ406を実行す
る。このステップ中に、優先順位の低い出力点(輪郭セグメントを閉じない場合
)をペンディング出力点のバッファ(FIFO待ち行列)に記憶し、このバッフ
ァにこのように記憶されるすべての出力点はマーク「PENDING」を受ける
。このようなマーキング操作の理由は、バッファに記憶されているすべての点が
、将来新たな輪郭セグメントを参照するために必要とされるわけではないためで
ある。追跡プロセス中に、新たなセルが先に「PENDING」とマークされた
輪郭点を含み得る。この場合には、この「PENDING」輪郭点に関連した輪
郭セグメントは既に完成しており、対応する複数点をチェーンから除去しなけれ
ばならない(複数点の結果をチェーンから消去するとき、2つの記号を除去しな
ければならず、まず複数点の記号Mを除去し、次にセルの入力点を関連する複数
出力点に連結する移動を除去する。例えばセル内の情報が先にサブチェーンM3
5で符号化され、かつ新たなセルが、出力5へ向う移動に関連する第2出力をカ
バーする場合には、サブチェーン内に単一の記号3を有するのみとする。)。こ
れに加えて、関係する出力輪郭は、これがフレームに接触する場合には、可能な
開始点のバッファから、または「PENDING」点のバッファから除去しなけ
らばならない。最後に、前者の出力点のマーク(5への移動に関連する)を更新
しなければならない。この新たなセルがこの輪郭点を出力点として有する場合に
は、このセルのマークは「PENDING」から「INOUT」に変化する。こ
の新たなセルがこの輪郭点を内部輪郭点として有する場合には、このセルのマー
クは「PENDING」から「INTERNAL」に変化する。
【0024】 輪郭を終了する(判定471)、クラスタを終了する(判定472)、あるい
は区分を終了する(判定473)ために、図17に参照番号407で示す、追跡
のプロセスの最終ステップを実行する。輪郭セグメントの終点は追跡プロセス中
に先に「INOUT」とマークされた輪郭要素に依存するものである。セル内の
出力輪郭が「INOUT」とマークされた輪郭と一致するとき、この輪郭セグメ
ントの分枝は閉じる(終了する)。出力輪郭が最高優先順位のものである場合に
は、追跡は輪郭セグメントの終点に到達する(復号化器側では、このことは既知
の輪郭位置で輪郭を閉じることを可能にし、起こりうる領域の分割を防止するこ
とができる)。さらに、出力輪郭が「INTERNAL」又は「PENDING
」とマークされているが、それから到達し得る後続の輪郭位置のどれかが「IN
OUT」である場合も、輪郭(又は分枝)は終了する。
【0025】 輪郭セグメントの終了時に、領域のクラスタが終了したか否かをチェックしな
ければならない。「PENDING」点のバッファ内にまだ「PENDING」
点があるか否か、あるいはすべての「PENDING」点が抽出されたか否かを
調べるために、まず「PENDING」点のバッファをチェックする。「PEN
DING」点が残っていない場合は、可能な開始点(フレームに接触する開始点
)のバッファをチェックする(最初にこれらの輪郭を「PENDING」点のバ
ッファから抽出する理由は、符号化効率のためである。)。両バッファが空の場
合は、このクラスタは終了し、新たなクラスタ(もしあれば)が同様に考慮され
る。
【0026】 先に述べたように、画像をラスタ式(上から下へ、左から右へ)に走査し、最
初の未符号化アクティブ輪郭を領域の新たなクラスタに対する開始点とする。未
符号化アクティブ輪郭がなければ、全区分が符号化されたことになる。
【0027】 従って、追跡プロセスのこの最後のステップは3つのサブステップに分割され
る。輪郭が終わらない限り(判定471)、逆方向接続によりステップ403、
404、405、406を繰り返す。輪郭が終わり次第、「クラスタの終わり」
の判定を実行する(判定472)。領域のクラスタが終わらない限り、次の手順
を実行する。バッファ内にまだ「PENDING」点があるか否かを調べるため
に、「PENDING」バッファをチェックする(操作74:記憶ペンディング
点の回復)。すべての「PENDING」点が既に抽出された場合には、フレー
ムに接触する可能な開始点のバッファをチェックする(最初にこれらの輪郭を「
PENDING」点のバッファから抽出する理由は、符号化効率のためである。
)。これら両バッファが空の場合には、クラスタは終了し、領域の新たなクラス
タが考慮される(操作73:次の開始点の抽出)。未符号化アクティブ輪郭がも
はや存在しない際には(判定473)、区分全体を処理したことになる。
【0028】 区分符号化法の最終ステップはエントロピ符号化ステップ408であり、これ
は開始点の情報を符号化する第1符号化サブステップ481、及び移動のチェー
ンを符号化する第2符号化ステップを含む。
【0029】 サブステップ481を実現するためには、外部開始点と内部開始点とを区別す
る必要がある。フレームに接触するすべての開始点(即ちこれを最初のクラスタ
と称する)を、最初の移動チェーンのヘッダとして一緒に符号化する。フレーム
に接触する各開始点毎に、前記開始点の前のフレームの点の位置を符号化する。
これらの開始点を2種類の語長のためにインデックスし、画像の水平次元(上辺
及び下辺)にPビットを用い、垂直次元(左辺及び右辺)にQビットを用い、こ
こで例えばP=log2[dim_x]及びQ=log2[dim_y]とする。最後にフレームの1つの辺
に符号化すべき点が残っていない場合には、この状況を示す特定の語を用いる(
例えばPTまたはQT)。フレームに接触する最後の開始点を符号化した際には、
移動チェーンの開始を示すために他の特定の語(例えばP0またはQ0)を用いる
。フレームに開始点が無い場合には、語P0を、最初の内部開始点に与えられた
符号(「intern_ip」)に先行させる。フレームの4辺上の異なる数の開始点に
対応するこれらの種々の状況を符号化する方法を、次の表に示す。
【表4】
【0030】 内部の開始点も同様に附番する。これらの開始点は画像を上から下に走査する
ことにより得られたものであるから、内部の開始点は常に水平輪郭位置に対応す
るものである。従って水平輪郭のみに附番する。
【0031】 以上の説明は一般化されたMGCC方法に従ってセグメント画像を符号化する
符号化方法に関するものである。このようにして得られる符号化信号を伝送する
(及び又は記憶する)場合、これらの信号を伝送処理後に最終的に復号化する必
要がある。この目的のために与えられたMGCC復号化方法及び装置の主な目的
は復号化された区分内の領域の数が元の区分に対し同数となるようにする必要が
ある。
【0032】 しかし、符号化方法を実行する際、この符号化プロセスは局部的である(即ち
セル単位で実行される)ために、区分全体を同時に分析する際に各セルの中心画
素の不確定が復号化輪郭に不一致を導く可能性があり、新しい領域が生成され、
又は領域が分割されて、復号化された輪郭がもはや元のビットストリームに従わ
ないものとなり得る。
【0033】 この問題に立ち向かうためには、各セルからのサブチェーンの情報を先に復号
化されたすべての輪郭を考慮して復号化し、次に各ステップにおいて完全な復号
化輪郭が元のビットストリームに従うものであるか検証することができる。この
ような方法は復号化器の複雑度を増大する。その理由は、全てのセルの情報を復
号化するために画像全体を分析する必要があるためである。これに対し各セルか
らのサブチェーンの情報をこのセルによりカバーされる局部エリアに含まれる前
輪郭情報のみを考慮して復号化する場合には、可能な不一致を解消するすること
ができるが、これらの不一致を解消する際に新しい不一致が前セルに生成され得
る。その理由は、この第2の方法は可能な不一致を解消するのに必要とされる走
査数を保証せず、この新しい問題を解消するために追加の走査を必要とするため
である。
【0034】 これがため、本発明の目的は、復号化された輪郭の不一致を効率よく解消する
比較的簡単な区分復号化方法を提案することにある。
【0035】 この目的のために、本発明は頭書に記載したような復号化方法において、 (A)前記チェーン記号内において復号化区分内に確かにあるすべての輪郭を復
号化するとともに局部的不一致を検出する順方向復号化ステップと、 (B)復号化された輪郭を逆方向に追跡し、前記不一致の検出中に導入されたマ
ークに基づいてこれらの不一致を解消する逆方向復号化ステップと、 を具えることを特徴とする。
【0036】 前記復号化方法の基本原理は、復号化プロセスを2つの主ステップ:即ち順方
向復号化ステップ及び逆方向復号化ステップ:に分割することにあり、両ステッ
プともセルレベルで動作する(符号化方法が復号化すべき信号をセルレベルで与
えることができるので)。第1ステップ、順方向復号化ステップ、は、主として
、確かであるすべての輪郭点を決定するとともに、不一致を検出するために設け
られ、第2ステップ、逆方向復号化ステップ、はこれらの不一致を順方向復号化
ステップ中に導入された特定のマークのみに基づいて解消するために設けられ、
元のビットストリームはこの第2ステップ中に使用されないので記憶する必要が
ない。
【0037】 本発明の特徴及び利点を図面を参照して詳細に説明する。図面において、 図25−図50は本発明区分復号化方法を示す。
【0038】 本発明によるMGCCイントラモード復号化方法の基本体系に対応する図25
のフローチャートにおいて、順方向復号化ステップの主サブステップは:開始点
の管理、セルの特徴づけ、セル内の輪郭生成、複数点の管理、エラー制御、プロ
セスの終了:であり、逆方向復号化ステップの主サブステップは:閉鎖点の回復
、逆追跡の検出、エラー制御、プロセスの終了及び最終画像の生成:である。
【0039】 順方向復号化ステップの第1サブステップ501は開始点を選択する。記号チ
ェーンを構成する入力ビットストリームの最初の部分は常に最初の開始点の位置
を含む。現画像のフレームから出発する数個の輪郭セグメントがある場合には、
最初のものを開始点として選択し、他の点は前記フレームと接触する開始点のバ
ッファに記憶する。フレームから出発する輪郭がない場合には、チェーン内の最
初の情報は領域の内部クラスタの開始点の位置である。
【0040】 第2サブステップ502はセルの特徴付けステップである。その入力点が開始
点に一致するセルを表2(ステップ403)に規定した同一の規則に従って特徴
付ける。その入力輪郭が開始点でないセルは、符号化において示した方法と同一
の方法(表3)で特徴付ける。
【0041】 第3サブステップ503は各セル内の輪郭生成ステップであり、セルに関連す
るサブチェーン内に含まれる情報及びこのセルによりカバーされるエリア内の既
に使用可能な輪郭を用いて前記サブチェーンにより記述された輪郭形状の提案を
行う。この提案では、輪郭要素のセル内の位置を決定するとともにこれらの輪郭
要素にマークを割り当てる。
【0042】 これらのマークは: sure_input(確かな入力輪郭):元の区分に属することが確かである各セルに
対する入力輪郭位置; sure_link(確かなリンク輪郭):復号化プロセスにおける輪郭形状のために
、元の区分に属することが確かであるセルの内部に位置する輪郭位置; sure_output(確かな出力輪郭):元の区分に属することが確かである各セル
に対する出力輪郭位置; sure_not(輪郭でない):復号化プロセスにおける輪郭形状のために、元の区
分に属さないことが確かであるセルの内部に位置する輪郭位置; likely(有望):滑らかな輪郭構成を導くために、セル内部の輪郭に対し第1
の解として提案されるセルの内部の輪郭位置; unlikely(有望でない):滑らかな輪郭構成を導かないために、セル内部の輪
郭に対し第1の解として提案されないセルの内部の輪郭位置; である。
【0043】 このサブステップ503において、先に復号化された輪郭要素(即ち、セルに
よりカバーされるエリア内の既に使用可能な、従って先のサブチェーンの復号化
により得られた輪郭)はそれらの位置又はそれらのマークを変えることはできな
いこと明かである。復号化方法の動作を示す全ての図に、図26に示すこれらの
一組のマークが示されている。
【0044】 単一の記号(1,2,...,7)を含むサブチェーンに対する第1の提案は
図27−33に示す一組の輪郭形状により与えられる。以下に記載し且つ図に示
す全ての例では、破線の円で示す中心画素の不確定は、元の区分に現われる可能
性が最も高い最も滑らかな輪郭形状を採用することにより解消されている(しか
し、これは区分を生成するのに使用したセグメンテーション法に依存し、従って
この選択は変更することができる)。
【0045】 各セルに対する入力輪郭は「sure_input」とマークされ、出力輪郭は「sure_o
utput」とマークされる。実際上、マーク「sure_input」は単一の値に対応せず
、種々の入力輪郭が連結される順序をインデッキシングする一組の値に対応する
。このように、セルを初期設定する際に、インデックスを更新し(sure_input=
sure_input+1)、入力点は更新されたインデックス値「sure_input」を受信す
る。
【0046】 次に、入力がマーク「sure_output」を有する場合には、新しいインデックス
値「sure_input」に更新する必要があり、これは逆方向復号化ステップ中に逆方
向追跡を可能にするために必要である。更に、逆方向追跡を助けるために逆方向
セルの特徴(即ちそのタイプ及び方向)をセル特徴のバッファ(FILOキュー
)に記憶する。現在のセルの逆方向を得る簡単な規則は次のセルの方向の推定に
基づく。直接セルから逆方向セルの特徴を得る規則を表5に示す。
【0047】
【表5】
【0048】 輪郭形状に依存して、いくつかの輪郭位置が「sure_not」とマークされる。こ
れらの輪郭位置は最終区分に属することはできない。その理由は、セルを規定す
るサブチェーンがこれらの輪郭点をアクティブにしないためである。このタイプ
の輪郭形状の一例を示す図34に示すセルを考察すると、サブチェーンは記号7
を含むだけであるため、(複数点をもたらす)輪郭位置8又は11の何れもアク
ティブになり得ず、これらの輪郭点は「sure_not」とマークすることができる(
複数点が実際に存在する場合には、7が可能な最短の経路であり、他の可能な任
意の出力「X」がそれより高い優先順位を有するので、この複数点はチェーン内
にMX7として現われる)。
【0049】 入力輪郭を出力輪郭と接続するために提案されるセルの内部に位置する輪郭要
素(8,9,10,11)は「likely」とマークされ、提案されない輪郭要素は
「unlikely」とマークされる。この決定を採用してセルによりカバーされるエリ
ア内の全ての情報を分析する。最初に、サブチェーンが与えられると、図27−
33に提案されている一組の形状が選択される。このサブチェーンが2以上の記
号を含み、不確定を示す場合には、このサブチェーンは最少数の輪郭要素になる
輪郭形状として復号化され;不確定を示さない場合には(図20につき述べたM
15の場合参照)、内部輪郭点は「sure_link」としてマークされる。
【0050】 開始輪郭形状をセル内に既に存在する他の輪郭情報と組み合わせ、サブチェー
ンに対する最終輪郭形状の一致をチェックする。セルの前記グローバル分析後に
、提案輪郭形状を変化させることができる。図35及び36に、形状分析の一例
が示されている。受信記号が3であり、セルはマークされた輪郭位置5及び6を
既に有している。この開始形状が選択された場合、輪郭位置3に至る経路はサブ
チェーンに現われない複数出力点に到達し得る。このため、内部輪郭の提案を変
更し、記号3に対し第2の可能な形状を取る(図36参照)。内部輪郭の最終マ
ークは輪郭要素5及び6のマークに依存し、図35及び36の例において、要素
5及び6が「sure_input」、「sure_link」又は「sure_output」としてマークさ
れる場合には、要素8及び9が「sure_not」としてマークされ、要素10及び1
1が「sure_link」としてマークされ(これが唯一の可能な形状であるため:図
36参照)、また要素5及び6が「likely」とマークされる場合には、要素8及
び9が「unlikely」とマークされ且つ要素10及び11が「likely」とマークさ
れる(形状を決定するのに十分な情報がないためであり、この場合には提案形状
は前及び現サブチェーンと調和する)。
【0051】 上述した全輪郭生成サブステップを考察すると、本発明の復号化方法は先に復
号化した記号を利用するため、区分が密になればなるほど、復号化プロセスの不
確定の量が低くなる点に注目されたい。
【0052】 セルの伝送サブチェーンは複数点の記号を含み得ること明かである。このよう
な複数点を管理する第4サブステップ504では、前記記号に関連する出力点を
開始点のバッファに記憶する。それにもかかわらず、このような関連出力点が「
sure_input」とマークされた画素に対応する場合、又はこの出力点から到達し得
る次の輪郭位置のどれかが「sure_input」である場合には、この複数点は、輪郭
のこの分枝が輪郭を閉じている(終了している)ことを示し、その出力点は記憶
する必要がない。その理由は、任意の未来の輪郭セグメントの開始点を位置決定
する必要がないためである(輪郭の終了を処理する方法については第6サブステ
ップの説明と関連して後に詳細に記載する)。
【0053】 各セル内の輪郭生成用の第3サブステップ503は必ずしもセル内の問題を回
避できるわけではない点にも注意する必要がある。その理由は、現輪郭点の位置
及び値を変化させることができるのみであり、前輪郭点の位置及び値を変化させ
ることはできないためである。このため、第5サブステップ505がエラー制御
用に設けられている。このステップにおいて、サブチェーンに従わない輪郭形状
を検出し、不一致を解消する逆方向復号化ステップのためのチェーンを作成する
ために輪郭マークを除去する(即ち輪郭セグメントを開かせる)。前記不一致は
現サブチェーンの正しい復号化を許さないマークを有する先に復号化された輪郭
が存在するためである。この場合には、不一致を生成する前サブチェーンからの
輪郭位置はマーク「likely」を有していなければならない。セルが前サブチェー
ンに従わないことを明示する方法は、これらの輪郭点のマークを「unlikely」又
は「sure_not」に更新する(即ち輪郭セグメントを開かせる)ことにより達成さ
れる。この問題に対する最終的な解決は区分構造のもっとグローバルな洞察を必
要とし、これは逆方向復号化ステップ中にのみ可能であるため、この問題の解決
は後で実行する。
【0054】 このタイプの不一致の一例を図37及び38に示す。図37において、サブチ
ェーンはユニークな記号3を有し、このセルでは、輪郭要素1及び2が予め「li
kely」とマークされ、輪郭要素5及び6が「sure_input」、「sure_link」又は
「sure_output」とマークされている。輪郭生成サブステップ503が記号3の
輪郭形状を変化させ、輪郭要素8及び9を「sure_not」とマークし、輪郭要素1
0及び11を「sure-link」とマークしている。しかし、新しい形状は依然とし
て図37に示すように複数点になる。復号化された区分内の不一致の存在を示す
ために、図38では輪郭要素1及び2を「sure_not」とマークしている。
【0055】 順方向復号化ステップの第6(最終)サブステップ506は、輪郭を閉じる(
終了する)(判定561:輪郭の終了?)、クラスタを終了する(判定562:
クラスタの終了?)又は区分を終了する(判定563:区分の終了?)ものであ
る。サブチェーン内の最高優先順位を有する移動が「sure_input」又は「frame
」とマークされた輪郭要素になるとき、又はこの要素の近傍の一つの要素が「su
re_input」又は「frame」とマークされた輪郭要素であるとき、輪郭は閉じ(終
了し)、この点は「sure_output」のマークを受信する。しかし、これが実際の
「sure_input」に対応する場合には、そのマークは変化させるべきでない。その
理由は、インデキシングの順序が逆方向復号化ステップ中に失われてしまうため
である。更に、セル内の最高優先順位に関連するとともに輪郭の終了をマークす
る輪郭要素を終了点のバッファ(FILOキュー)に記憶する必要がある。その
理由は、これらの輪郭要素は逆方向復号化ステップの逆方向追跡の開始点として
使用されるためである。
【0056】 輪郭セグメントが終了すると(終了しない限り、サブステップ502へ戻る)
、領域のクラスタが終了したかチェックされる(判定562)。開始点のバッフ
ァが最初にチェックされ、バッファ内に開始点が残っているか、又はすべての開
始点が既に抽出されたか調べる。開始点のバッファのチェックが終了すると、次
に、フレームと接触する開始点のバッファがチェックされる。開始点がこれらの
バッファのどれかから抽出される場合、初期輪郭がそのマークを「sure_output
」から「sure_input」に更新する。しかし、この初期輪郭は次の値のインデック
ス「sure_input」を受信しないで、次のインデックス値+1(「sure_input」+
1)を受信する。このインデキシング順序付けのジャンプの理由は逆方向復号化
ステップの終了サブステップと関連して後に説明する。まだ開始点が残っている
場合(クラスタの終了?ノー)、記憶されている開始点の回復サブステップ75
を行い、サブステップ502へ戻る。開始点が残っていない場合には、クラスタ
が終了し、チェーン内の次の情報を別のクラスタの新しい開始点に関連させる(
戻り接続76)。チェーン内に記号が存在しない場合には、順方向復号化ステッ
プは終了し(区分の終り)、次に逆方向復号化ステップを説明する。
【0057】 この逆方向復号化ステップの第1サブステップ601は開始点を収集する。逆
方向復号化ステップ中の輪郭の追跡は順方向復号化中に設定された経路の逆方向
の経路を追跡するので、この逆方向追跡のために一組の開始点を第6サブステッ
プ506中に生成された終了点のバッファから得る(接続81)。
【0058】 次に、逆方向追跡の検出が第2サブステップ602において行われる。逆方向
セルを生成するために、各セルの入力輪郭及び向き及びタイプを得る必要がある
。入力輪郭は、それが逆方向追跡における輪郭セグメントの開始点である場合に
は、終了点のバッファから得ることができ、またその前の逆方向セルの出力輪郭
から得ることができる。逆方向セルの向き及びタイプ情報は順方向復号化ステッ
プ中に生成されたセル特徴のバッファから直接得られる。逆方向セルの出力は7
つの可能な出力輪郭のマークをチェックすることにより得られ、出力輪郭はその
前の「sure_input」インデックスでマークされた輪郭である(この出力輪郭は、
順方向復号化ステップ中にいくつかの輪郭セグメントは開いていることがあるた
め、セルの内部の輪郭を追跡することにより得ることはできない)。
【0059】 次に第3サブステップ603がエラー制御のために行われる。逆方向セルが正
しく設定されたら、セル内の可能な開輪郭を決定する必要があり、これはセルの
入力及び出力輪郭間のリンク(即ち最高優先順位を有する出力輪郭と直接セルの
入力輪郭との間のリンク)のみに基づいて行われる。このリンクの決定が唯一必
要なタスクである。セルがいくつかの不確定(中心画素にあるのみとする)を示
す場合、セル内の最長経路(即ち直接セル内の入力輪郭と最高優先順位を有する
出力輪郭をリンクする経路)を決定するときこの不確定が解消される。
【0060】 エラー制御サブステップ603はセル内の輪郭位置のマークの更新を許す。マ
ーク「likely」又は「unlikely」を有する輪郭位置は、不確定が与えられない場合に
は、「sure_link」又は「shure_not」の何れかのマークを受けることができ、不確
定が維持される場合には、新しいマーク「more_likely」を受けることができる
。この新しいマークは、セルの逆方向分析後に、これらの関連する輪郭点が区分
に属するものとして提案されることを示す(このような新タイプのマークは順方
向復号化ステップにおける提案と逆方向復号化ステップにおける提案との間に差
を与えるために必要とされる)。輪郭位置を「sure_link」又は「more_likely」と
マークすると、その結果としてセルに新しい複数点が生じ得る。先に「likely」と
マークされたカウンタ位置が「sure_link」又は「more_likely」に更新された輪
郭位置に接触する場合には、これらの輪郭位置は「sure_not」又は「unlikely」とマ
ークし、未来の逆方向セルは輪郭を終了するものとする。
【0061】 この種の決定の一例を図39−41に示す。図39は、順方向復号化ステップ
において、サブチェーンがユニークな記号3を有し、セルが先に「likely」とマ
ークされた輪郭要素1、2、5、6を有している状態を示す。順方向復号化ステ
ップの第3サブステップ503(各セル内の輪郭生成)の結果として、輪郭位置8
及び9は「likely」とマークされ、10及び11は「unlikely」とマークされる
。順方向復号化ステップの第5サブステップ505(エラー制御サブステップ)に
おいて、入力0と出力をリンクする輪郭は開いており、これらの輪郭は図40に
示すようにunlikely」に更新される。逆方向復号化ステップのエラー制御サブス
テップ603では、図41に示すように輪郭要素8及び9を「more_likely」と
マークし、10及び11を「unlikely」とマークする(この選択は随意あり、これ
と反対にすることもできる)。更に、この形状は新しい3重点を生成するため、
出力1及び2を「unlikely」に更新する(図41参照)。
【0062】 前のケースでは、「more_likely」とマークされた新しい輪郭位置が「likely」と
マークされた他の輪郭位置と接触する。「more_likely」とマークされた1対の
輪郭位置が「sure_link」又は「more_likely」とマークされた別の1対の輪郭位
置と接触することにより新しい複数点が生成される場合には、不一致は別の方法
で解消する必要がある。このような状態では区分の分析を現セルの外部まで拡張
する必要があり、この状態は先に逆方向複合化されたセルにおいて行われた誤っ
た選択に対応し、その結果として2つの異なる種類の不一致が現われる。
【0063】 第1種類の不一致は、単一画素領域が生成されるときに現われ、このような領
域はセルの中心画素に対し、又はセルの側辺の中央部の画素(即ちセルのコーナ
に位置しない画素)に対し発生し得る。この場合には、このような画素の周囲の
4つの輪郭位置を「sure_input」、「sure_link」、「sure_output」、「more_likely」
又は「likely」とマークする。これらの輪郭位置の少なくとも一つは「more_likel
y」又は「likely」の何れかであり、「likely」(第1選択)又は「more_likely」(
第2選択)とマークされた輪郭の一つを「unlikely」に更新する(この更新は、他
の3つの輪郭点が終了した輪郭を保証するので、輪郭を開かない)。セル側辺の
中央部の画素の一つに対する不一致を解消するためには、セルの外部に位置する
ただ1つの輪郭位置を分析する必要があるのみである(このような場合はめった
に起らないため、及びこの外部輪郭位置はセルに近接するため、この手順は局部
的であり、復号化方法の複雑度を増大しない)。
【0064】 第2種類の不一致は、領域が2つの分離した領域に分割されるときに現われ、
この分割は1画素幅の対角方向伸長を有する領域に起り得る。この伸長を形成す
る画素がセルのコーナの一つに位置する場合、セルのそのコーナを「more_likel
y」に更新し、領域を2つの領域に分割することができる。
【0065】 この場合を導く一つの輪郭形状を図42−45に示す。元の輪郭画像の一部分
及びその符号化を図42に示す。不一致を生成する一組のセルに輪郭追跡をマー
クする矢印及び文字が付けられている。第1セルABはサブチェーン3で符号化
され、複数点をもたらす第2セルCDはサブチェーンM13で符号化され、最後
のセルEFは単一の記号3を必要とするのみである。
【0066】 図43は順方向復号化ステップを示す。セルABの記号3の復号化により生成
された「likely」マークがセルCDの復号化時に更新される。サブチェーンM1
3は不確定を導入しないため、全ての内部輪郭が「sure_link」とマークされる。
セルABにより「likely」とマークされた出力5及び6との接触の結果として新し
い複数点を生ずる。この問題を解消するために、出力5及び6のマークを「sure_
not」に更新する。セルEFの復号化は内部輪郭位置8及び9を「unlikely」とマー
クするとともに10及び11を「likely」とマークする。
【0067】 逆方向復号化ステップは、第1逆方向セルZY(図44参照)を復号化すること
により開始し、この図に示すように、輪郭位置10及び11(逆方向セルのイン
デックス)を「more_likely」に更新する。第2逆方向セルXW内のマークはどれ
も更新しない。最後に第3セルUVの内部輪郭位置8及び9を「sure_link」と
マークする。輪郭位置8及び9をマークするとき、2つの出力1及び2が「more
_likely」とマークされるため、不一致が生成される。この段階では、白画素で
マークされた領域が2つの領域に分割され、「more_likely」とマークされたセ
ルVUの2つの輪郭位置1及び2を「sure_not」に更新する必要がある。
【0068】 このタイプの問題の存在を検出する方法は、「more_likely」マークが更新さ
れたこと、即ち逆方向復号化ステップ中に先に行われた決定が変更されたことに
基づく。この問題は解決しなければならず(これらの輪郭についてこれ以上何の
分析もされないため)、輪郭マークの更新を区分を通して伝搬させることにより
実現される。この場合には、伝搬はセルの外部の輪郭画素の分析を必要とする。
それにもかかわらず、不一致は、セルの中心点と問題を生ずるセルのコーナとを
リンクする対角線の方向にある輪郭位置の対を更新するだけで解消される。図4
4の例では、セルUVの輪郭位置1及び2に行われる更新を対角方向に伝搬させ
る必要がある。図45に示すように、こうしてセルZYの画素8及び9は「sure_
link」とマークされる(更新すべき輪郭位置の対の数は伝搬が行われる1画素幅
の近傍平行領域の数により固定され、このような場合の出現は極めてまれである
こと明らかであり、また出現しても、平行領域の数はかなり少数であり、その結
果としてプロセスは局部的であり、複雑度を増大しない)。
【0069】 第4サブステップ604において、輪郭を終了する(判定641:輪郭の終り
)又は区分を終了する(判定642:区分の終り)ことができる。逆方向追跡の輪
郭の終りは、最終出力輪郭から、セル特徴を用いて生成されたセルが前インデッ
クス「sure_input」でマークされた画素を検出しないときに検出される(輪郭が
終了しない場合には、復帰接続77でサブステップ602に戻る)。順方向復号
化ステップの終了サブステップ506に関連して説明したように、開始点はイン
デックス「sure_input+1」でマークされ、インデキシング順序のこのギャップは
逆方向追跡における輪郭セグメントの終りを示す。この場合には、新しい開始点
が終了点のバッファから得られ、既に抽出されたセルの特徴を用いてこの位置の
新しいセルを生成する。逆方向復号化ステップでは、輪郭セグメントの全ての開
始点が終了点のバッファに区別なしに記憶されているので、領域のクラスタの概
念を保存しない。従って、この方法では(輪郭セグメントの終りを検出した後に)
終了点のバッファに開始点が存在するかチェックする(開始点がある場合には復
帰セグメント78でサブステップ501に戻る)。バッファが空になるとき、区
分は終了する。
【0070】 第5(最終)サブステップ605はラベル画像を生成するものである。最終輪郭
画像を「frame」、「sure_iput」、「sure_link」、「sure_output」及び「more_likely
」とマークされた全ての輪郭を用いて生成する。この輪郭画像から、慣例の区分
生成方法を適用して最終ラベル画像を得る。
【0071】 以上説明した本発明は上述した開示の実施例に限定されず、これの基づいて種
々の変形又は改良を提案することができる。
【0072】 例えば、前記欧州特許出願第99400436.4号に記載されているセグメ
ント画像の符号化方法はスケーラブルモード符号化方法又はイントラモード符号
化方法に拡張することができること既知である。対応する復号化方法を記載する
前にこれらの方法を想起されたい。
【0073】 スケーラブルモード符号化方法に関しては、2つの層(基本層及び拡張層)の場
合のみ説明するが、この説明は数層の場合にも拡張することができる。
【0074】 区分が与えられれば、その輪郭のサブセットを別々に送り、基本層を構成する
粗い表現を形成することができる。基本層とともに完全な区分を形成することが
できる拡張層を構成する残りの輪郭は後のステップで送ることができる。これを
図46−49に示す。図46に示す画像の完全な区分が図47に示され、基本層
が図48に示され、図49は拡張層に関連する輪郭を含んでいる(基本層の精細
度は用途に依存し、2つの層を構成するためにそれぞれ異なる2組の輪郭を選択
することができ、図46−49の例では、2つの層は特定のオブジェクトを個別
に符号化するために選択され、基本層は2人の人物の形状に対応する)。
【0075】 基本層の符号化は、基本層の符号化効率を基本層が伝送すべき情報のみである
場合と同一の高さに維持するために(基本層のビットストリームに追加の記号が
何も含まれないようにするために)、前述した符号化方法に従って行う。拡張層
を符号化するためには、イントラモードMGCC法のいくつかのステップ、特に
開始点の抽出のステップを、基本層の符号化に関連して変更する必要がある。M
GCC法は基本層を、領域の各クラスタを別々にアドレスして符号化する。拡張
層の場合は、輪郭セグメントのクラスタをアドレスする。イントラモードMGC
C法では、フレームが復号化側で既知であるということを利用して、このフレー
ムと接触する開始点を符号化する。スケーラブルモードでは受信機が(MGCC
セルの中心の不確定画素を除いて)完全な基本層を知っているので、この概念か
らさらなる利点が得られる。拡張輪郭セグメントの開始点は既知の輪郭上に直接
位置し、これらの輪郭はすべて、基本層の符号化プロセス中に「FRAME」ま
たは「INOUT」とマークされた輪郭である。開始点として用いる既知の輪郭
要素は、画像を上から下へかつ左から右へ走査する順にインデックスする。
【0076】 イントラモードMGCC法行われているように、開始点を既知の輪郭の近傍輪
郭位置として規定することができない点に注意すべきである。イントラモードM
GCC法においてフレームに接触する開始点を符号化する場合とは異なり、他の
任意の既知の輪郭要素を基準として用いる場合には、2つの開始輪郭位置が可能
である。従って、拡張層に接触する基本層からの輪郭点を可能な開始点のバッフ
ァに記憶し、「PENDING」とマークする。
【0077】 基本区分に接触する輪郭点がない場合には、プロセスは「区分の終了」ステッ
プに進み、画像に内部領域がある場合には、プロセスは最初の領域の開始輪郭点
を抽出する。こうして開始点が与えられれば、基本層の符号化時に、この特定位
置において規定されたセルの方向及びタイプが使用される。開始点を含まないセ
ルの特徴付けは変化しない。前述したように、開始輪郭に連結されていないセル
内部の輪郭位置を抹消する。これに加えて、基本区分に属する輪郭を、拡張輪郭
セグメントの開始点またはそれを終了点としてのみ考慮する。輪郭追跡における
複数点及び優先順位の管理は、基本層の場合に対し変更しない。
【0078】 拡張層では、輪郭セグメントの終点は、追跡ステップ中に先に「INOUT」
とマークされた基本層または拡張層からの輪郭要素に依存する。出力輪郭が最高
優先順位を有するものである場合には、輪郭セグメントの終点に到達したことに
なる。これに加えて、出力輪郭が「INTERNAL」(基本層または拡張層か
ら)又は「PENDING」(拡張層のみから)とマークされているが、この出
力輪郭から到達可能な次の輪郭位置のどれかかが「INOUT」とマークされて
いる場合にも、輪郭(または分枝)は終了する。最後に、クラスタの終わり及び
区分の終わりを、イントラモードMGCC法と同様に検出する。
【0079】 スケーラブルモード符号化技術に対応する復号化方法は次の通りである。基本
層と拡張層の独立の符号化は復号化側でも可能である。しかし、完全な区分を表
現する必要がある場合には、両層の復号化を図50に関連して記載する次のステ
ップに従ってインターリーブさせる。
【0080】 基本層を最初に順方向復号化するが(基本層順方向復号化ステップ700)、そ
の逆方向復号化は後回しにする。基本層のこの順方向復号化ステップの6つのサ
ブステップは第1実施例と関連して先に延べたものとものと、第3サブステップ
(各セル内の輪郭生成サブステップ)を除いて同一であり、ここではこのサブス
テップをサブステップ703と置き換える(図50参照)。この変更サブステップ
703では、セルの分析時に、マーク「sure_not」の使用を制限する。このマーク
は第1実施例(イントラモード)の場合には使用することができた。その理由は
、複数出力の順序付けに依存するいくつかの記号がいくつかのアクティブ輪郭位
置の存在を阻止するためである(これは図20−22又は図34に示す例の場合
である)。しかし、スケーラブルモードでは、基本層の符号化は拡張層の存在を
考慮しないで行われるため、これらの位置は「sure_not」とマークしてはならない
。このようにすると、基本層において非アクティブであった輪郭位置を拡張層に
おいてアクティブにすることができる。
【0081】 拡張層の情報は既に復号化された基本層を考慮して復号化される。拡張層順方
向復号化ステップ800が最初に行われ、これに続いて拡張層逆方向復号化ステ
ップ900が行われ、その次に後回しにされた基本層逆方向復号化ステップ10
00が行われる。
【0082】 ステップ800は、基本層順方向復号化ステップ700と同様に、6つのサブ
ステップ: (a)開始点の選択(サブステップ801):拡張輪郭要素の開始点は基本区分か
らの領域又は点のクラスタの開始点(「frame」又は「sure_input」とマークされて
いる)とすることができるのみである。基本区分から出発する数個の輪郭セグメ
ントがある場合には、最初の輪郭を開始点として選択し、他の輪郭は基本区分上
の開始点のバッファ(FIFOキュー)に記憶する。基本区分から出発する輪郭
がない場合には、チェーンは領域の内部クラスタの開始点の位置で開始する。
【0083】 (b)セルの特徴付け(サブステップ502):このサブステップは基本層順方向
復号化ステップと拡張層順方向復号化ステップとで相違しない。
【0084】 (c)各セル内の輪郭生成(サブステップ803):基本層順方向復号化ステップ
700により導入されたマークがここで使用されるので、セルの入力輪郭は基本
層からの「sure_inout」のマークを既に有していることがある。これらのマーク
は基本層逆方向復号化ステップ1000のために必要とされるため、これらのマ
ークを消去することはできない。従って、いくつかの輪郭点は異なる層にそれぞ
れ関連する2つのマークを受信する。セルへの入力輪郭は「sure_input_enh」(
「enh」は拡張用)とマークされ、出力輪郭は「sure_output_enh」とマークされ
る。基本層と同様に、マーク「sure_input_enh」は種々の入力輪郭が連結されて
いる順序をインデックスする一組の値に対応する。輪郭形状に依存して、いくつ
かの輪郭位置を「sure_not」又は「sure_link」とマークすることができ、拡張
層の符号化は区分情報のすべてを予め考慮するため、このマークを拡張層に使用
することができる。
【0085】 (d)複数出力の管理(サブステップ504): (e)エラー制御(サブステップ505):これらの2つのサブステップは基本層
順方向復号化ステップと拡張層順方向復号化ステップとで相違しない。 (f)輪郭又は区分の終了(サブステップ806):基本区分と同様に、開始点が
バッファから抽出されるとき、「sure_input_enh」のインデックスを増加させる
【0086】 ステップ900は3つのサブステップを具えるのみである(基本層がまだ逆方
向復号化されていないので終了サブステップは存在しない)。 (a)開始点の選択(サブステップ901):拡張層逆方向復号化ステップ900
は拡張層順方向復号化ステップ800により設定された逆方向経路に追従して輪
郭を追跡するので、前記逆方向追跡用の一組の開始点を前記拡張順方向復号化ス
テップにおいて生成された終了点のバッファから得る。
【0087】 (b)逆方向追跡の検出(サブステップ902):このサブステップは、追従すべき
インデックスが「sure_input_enh」であることを考慮する必要があることを除い
て、イントラモード(サブステップ502)と同様である。
【0088】 (c)エラー制御(サブステップ603):このサブステップは基本層復号化ステッ
プと拡張層復号化ステップとで相違しない。
【0089】 次に、基本層逆方向復号化ステップ1000を実行することができる。最終出
力輪郭から、セル特徴を用いて生成されたセルが前インデックス「sure_input_e
nh」でマークされた画素を検出しないとき、逆方向追跡の終了が検出される。次
に、区分の終りがイントラモードと同様に検出される。輪郭が終了し、不一致が
解消され、前マークが(できるだけ多く)保存される。
【図面の簡単な説明】
【図1】 サイズM×Nの区分の一例を示す図である(ここではM=N=5)。
【図2】 異なる領域間の境界を規定する輪郭要素を有する図1と同じ区分示す
図である。
【図3】 画素位置に対応するグリッドと輪郭位置に対応するグリッドを示す図
である。
【図4】 輪郭グリッドの輪郭要素の6つのアクティブ近傍を表わす図である。
【図5】 MGCC技法で使用される3×3画素の基本セルを示す図である。
【図6】 反時計回りセルに対する輪郭要素のインデックス方法を示す図である
【図7】 時計回りセルに対する輪郭要素のインデックス方法を示す図である。
【図8】 セルの同じ入力及び出力要素に対し、このセルの2つの異なる輪郭形
状の一方を示す図である。
【図9】 セルの同じ入力及び出力要素に対し、このセルの2つの異なる輪郭形
状の他方を示す図である。
【図10】 輪郭追跡のための2つのセルの連結例を示す図である。
【図11】 輪郭追跡プロセスのためにセルを連結する2つの異なる解法の一方
を示す図である。
【図12】 輪郭追跡プロセスのためにセルを連結する2つの異なる解法の一方
を示す図である。
【図13】 輪郭追跡プロセスのためにセルを連結する2つの異なる解法の一方
を示す図である。
【図14】 輪郭追跡プロセスのためにセルを連結する2つの異なる解法の他方
を示す図である。
【図15】 輪郭追跡プロセスのためにセルを連結する2つの異なる解法の他方
を示す図である。
【図16】 輪郭追跡プロセスのためにセルを連結する2つの異なる解法の他方
を示す図である。
【図17】 本発明で復号化すべき符号化信号を発生する前記MGCC符号化方
法の概要を示すフローチャートである。
【図18】 前記符号化方法におけるセル内の輪郭追跡ステップを説明するため
の図である。
【図19】 前記符号化方法におけるセル内の輪郭追跡ステップを説明するため
の図である。
【図20】 優先順位決定ステップにおいて2つの出力輪郭をどのように順序づ
けるかを説明するための図である。
【図21】 優先順位決定ステップにおいて2つの出力輪郭をどのように順序づ
けるかを説明するための図である。
【図22】 優先順位決定ステップにおいて2つの出力輪郭をどのように順序づ
けるかを説明するための図である。
【図23】 複数出力を有するセルの一例を示す図である。
【図24】 複数出力を有するセルの他の例を示す図である。
【図25】 本発明区分復号化方法の一実施例の概要を示すフローチャートであ
る。
【図26】 前記復号化方法の動作を説明する全図の記述に有用な一組のマーク
を示す図である。
【図27】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図28】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図29】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図30】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図31】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図32】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図33】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図34】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図35】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図36】 前記復号化方法の輪郭生成サブステップの理解に有用な輪郭形状を
示す図である。
【図37】 前記復号化方法のエラー制御サブステップ中に発生し得る不一致の
タイプの一例を示す図である。
【図38】 前記復号化方法のエラー制御サブステップ中に発生し得る不一致の
タイプの一例を示す図である。
【図39】 このサブステップ中の一つの状態を示す図である。
【図40】 このサブステップ中の他の一つ状態を示す図である。
【図41】 このサブステップ中の更に他の一つの状態を示す図である。
【図42】 復号化方法の実施中に不一致を導く一種の輪郭形状を示す図である
【図43】 復号化方法の実施中に不一致を導く一種の輪郭形状を示す図である
【図44】 復号化方法の実施中に不一致を導く一種の輪郭形状を示す図である
【図45】 復号化方法の実施中に不一致を導く一種の輪郭形状を示す図である
【図46】 本発明区分復号化方法の他の実施例を示す図である。
【図47】 本発明区分復号化方法の他の実施例を示す図である。
【図48】 本発明区分復号化方法の他の実施例を示す図である。
【図49】 本発明区分復号化方法の他の実施例を示す図である。
【図50】 スケーラブルモード復号化方法の連続するステップ及びサブステッ
プを概略的に示す図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),JP,KR,U S (71)出願人 Groenewoudseweg 1, 5621 BA Eindhoven, Th e Netherlands (72)発明者 アントニ ガスル オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン 6 Fターム(参考) 5C059 MA00 MA45 MB03 MB19 PP04 UA02 UA05 【要約の続き】

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の一様領域に分割され、それぞれに特定のラベルが与えられ
    ている連続するセグメント画像又は区分に対応する符号化信号を復号化する方法
    であって、前記区分が、連続する各区分毎に、次のステップ: −ラベルの画像を、連続する基本セル内を入力点から出力点まで移動する輪郭
    要素の移動によって規定される輪郭要素チェーンの記述に変換するステップ、 −連続する各セルの内部の各輪郭を、先に抽出されたその開始輪郭点から終点
    まで、前記セルの入力、内部及び出力輪郭要素と、可能な複数の出力要素間の優
    先順位とに対応するチェーン記号を記憶しながら、追跡するステップ、 −当該区分の各輪郭セグメントの終点まで、以上のステップを繰り返すステッ
    プ、及び −各セル内において、各輪郭セグメントの開始点と、この開始点から次のセル
    の開始点までの移動に関連するチェーンとに対応する情報を符号化するステップ
    、 を具えている符号化方法によって符号化されている符号化信号を復号化する方法
    において、当該方法は、 (A)前記チェーン記号内において復号化区分内に確かにあるすべての輪郭を復
    号化するとともに局部的不一致を検出する順方向復号化ステップと、 (B)復号化された輪郭を逆方向に追跡し、前記不一致の検出中に導入されたマ
    ークに基づいてこれらの不一致を解消する逆方向復号化ステップと、 を具えることを特徴とする復号化方法。
  2. 【請求項2】 (A)前記順方向復号化ステップが次のサブステップ: (a)一組の受信開始点を順序付けるサブステップ; (b)復号化すべきセルのタイプを再構成するサブステップ; (c)各チェーンにおいてセルに関連するサブチェーン情報及びこのセルにより
    カバーされるエリア内の既に使用可能な輪郭を用いて前記サブチェーンを記述す
    る輪郭形状を決定するサブステップ; (d)複数出力点のどれが新しい輪郭セグメントの開始点になるか選択してこれ
    を記憶するサブステップ; (e)セル内の可能な輪郭不一致を検出し、マーキングするサブステップ; (f)前サブステップ(b)−(e)を各輪郭セグメントの終点まで繰り返すサブステ
    ップ; を具え、 (B)前記逆方向復号化ステップが次のサブステップ: (g)逆方向追跡のために一組の開始点を回復させるサブステップ; (h)記憶データから及び前記マークの分析から各逆方向セルの特徴を復元させ
    るサブステップ; (i)開輪郭を閉じさせ、セル外部で輪郭不一致を解消させるサブステップ; (j)各輪郭及び区分を終了させるサブステップ; (k)マークされた輪郭要素を連結し最終輪郭画像を生成するとともに対応する
    最終ラベル画像を発生させるサブステップ; を具えることを特徴とする請求項1記載の復号化方法。
  3. 【請求項3】 各現在区分を基本層と少なくとも一つの拡張層とに予め分割し、
    前記層を連続的に符号化し、拡張層の符号化に対しては次の変更を加え: 抽出ステップにおいて、輪郭セグメントの開始点は基本層からの輪郭点に関連
    するものとし; 追跡すにおいて、基本層に属する全ての点を取り消し; 繰返しステップにおいて、輪郭の終了を次の輪郭の処理前に基本層及び拡張層
    の輪郭点に関連させるようにした場合には、 基本層と拡張層の復号化をインターリーブさせ、基本層を最初に順方向符号化
    し、次に拡張層を順方向復号化及び逆方向複合化し、最後に基本層を逆方向複合
    化することを特徴とする請求項1又は2記載の復号化方法。
JP2000572801A 1998-09-29 1999-09-27 区分復号化方法及び装置 Pending JP2002526951A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP98402395 1998-09-29
EP98402395.2 1998-09-29
EP99401761 1999-07-13
EP99401761.4 1999-07-13
PCT/EP1999/007458 WO2000019376A1 (en) 1998-09-29 1999-09-27 Partition decoding method and device

Publications (1)

Publication Number Publication Date
JP2002526951A true JP2002526951A (ja) 2002-08-20

Family

ID=26151705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000572801A Pending JP2002526951A (ja) 1998-09-29 1999-09-27 区分復号化方法及び装置

Country Status (6)

Country Link
US (1) US6707946B1 (ja)
EP (1) EP1046135B1 (ja)
JP (1) JP2002526951A (ja)
KR (1) KR100573506B1 (ja)
DE (1) DE69913312T2 (ja)
WO (1) WO2000019376A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015533036A (ja) * 2012-09-24 2015-11-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated 深度マップコーディング

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7102812B2 (en) * 2002-10-15 2006-09-05 Corning Incorporated Devices and methods for raman amplification and dispersion compensation
JP4240331B2 (ja) * 2006-11-02 2009-03-18 ソニー株式会社 送信装置および方法、プログラム、並びに通信システム
US7672336B2 (en) * 2006-12-01 2010-03-02 Sonus Networks, Inc. Filtering and policing for defending against denial of service attacks on a network
US7940657B2 (en) * 2006-12-01 2011-05-10 Sonus Networks, Inc. Identifying attackers on a network
US7804774B2 (en) * 2006-12-01 2010-09-28 Sonus Networks, Inc. Scalable filtering and policing mechanism for protecting user traffic in a network

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2935340B2 (ja) * 1995-03-17 1999-08-16 日本電気株式会社 ビデオデコード装置
EP1046136B1 (en) 1998-09-29 2007-03-28 Koninklijke Philips Electronics N.V. Partition coding method and device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015533036A (ja) * 2012-09-24 2015-11-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated 深度マップコーディング

Also Published As

Publication number Publication date
WO2000019376A1 (en) 2000-04-06
DE69913312D1 (de) 2004-01-15
US6707946B1 (en) 2004-03-16
EP1046135B1 (en) 2003-12-03
DE69913312T2 (de) 2004-09-30
KR20010032568A (ko) 2001-04-25
KR100573506B1 (ko) 2006-04-26
EP1046135A1 (en) 2000-10-25

Similar Documents

Publication Publication Date Title
US7012958B2 (en) Partition coding method and device
JPH1155662A (ja) 画像処理装置
JP3684128B2 (ja) 算術符号化/復号化方法ならびに算術符号化/復号化装置
JP2011503991A (ja) 動き推定および補償の方法およびデバイス
JP2002526951A (ja) 区分復号化方法及び装置
US6728412B1 (en) Method and apparatus for on-the-fly image coding
JPWO2007102518A1 (ja) 算術符号化装置、算術符号化方法、算術符号化プログラム及びプログラムを格納したコンピュータで読み取り可能な記録媒体
CN117528069A (zh) 位移矢量预测方法、装置及设备
JP2001352550A (ja) 画像復号化装置、及び画像復号化方法
JPH04282780A (ja) 疑似階調画像の階層的符号化方式
JP3871995B2 (ja) 符号化装置および復号化装置
CN113660114B (zh) 分布式网络随机空间抽样测量的重构方法、系统及介质
CN115412713B (zh) 一种点云深度信息的预测编解码方法及装置
CN110868611B (zh) 视频编码、解码方法及装置
CN110913231B (zh) 一种纹理图整数运动估计并行实现方法
CN111698514B (zh) 一种基于深度学习的多模式分像素插值方法
JPH1079943A (ja) 動きベクトル検出装置
JP4526069B2 (ja) 画情報の算術符号化装置及び画情報の算術復号化装置
CN116542269A (zh) 一种用于图像识别传输数据的通讯速率优化方法
Moran et al. Region image coding techniques
JPH1117958A (ja) 符号化装置および復号化装置
CN115412715A (zh) 一种点云属性信息的预测编解码方法及装置
JPH11272842A (ja) マルチカラー画像からなる動画像の符号化装置およびその方法並びにマルチカラー画像からなる動画像の復号化装置およびその方法
JPH11272847A (ja) マルチカラー画像からなる動画像の符号化装置およびその方法並びにマルチカラー画像からなる動画像の復号化装置およびその方法
JP2002077634A (ja) 算術復号化方法及び装置並びに記憶媒体