JP2000503509A

JP2000503509A - 画像のセグメンテーション

Info

Publication number: JP2000503509A
Application number: JP10522331A
Authority: JP
Inventors: ティモシーイアンパターソントリュー; リチャードデヴィッドキャラリー
Original assignee: フィリップスエレクトロニクスネムローゼフェンノートシャップ
Priority date: 1996-11-13
Filing date: 1997-10-30
Publication date: 2000-03-21
Also published as: GB9623573D0; EP0873654A1; DE69737141D1; US6173077B1; KR100583902B1; KR19990077203A; DE69737141T2; WO1998021893A1; EP0873654B1

Abstract

(57)【要約】画像符号化器又は他の画像処理装置は画素を所定の基準に従ってそれぞれの領域に割当てるセグメンテーション装置を具えている。このセグメンテーション装置は、或る動画像のシーケンスを通じて時間的に首尾一貫したセグメンテーションを行ない、この装置は：先行フレームのセグメンテーションデータ（Ｓ）と推定動きベクトル（Ｍ）とに基づいて現行フレーム（ＦＯ）に対するセグメンテーションデータを予測する手段（１０２）と；この予測したセグメンテーションデータを動きベクトル（Ｍ）に基づいて現行フレームに対して予測した画素値（ＦＯ´）の精度に応じて変更する手段（１０４〜１０６）とを具えている。特に、画素値が動きベクトルによって正確に予測されていない画像部分に対しては、予測したセグメンテーションデータを無効として、このような部分は再度セグメンテーション処理してから、予測セグメンテーションデータに併合して、時間的に一貫したセグメンテーションデータを得るようにする。実施例では、予測したセグメンテーションでのそれぞれの領域の境界上の画素も検討して、これらの画素を様々な基準に従って隣接領域に再割当てする。

Description

【発明の詳細な説明】画像のセグメンテーション本発明は改善した時間的一貫性を有する画像のセグメンテーション及びセグメンテーションに応じた処理ステップを含む画像処理に関するものである。画像は通常その画像を構成する各画素の属性、特に画素の色を規定することによって表される。単色画像では、各画素を規定する属性が通常その画素のグレースケール値から成るのに対し、カラー画像では、画素ごとに多数の色成分値を規定する必要がある。しかし、本発明はこうした慣例の画像及び属性に限定されず、画素アレイの形態で二次元以上で首尾よく表すことができる空間属性にも適用する。同様に、時間の概念及び時間的一貫性ということは、必ずしも時系列でない第３の空間的次元にわたる画像シーケンスに対して断層画像“スライス”セグメンテーションを行なう場合のようなアナログ的次元を含むものと理解すべきである。画像セグメンテーションの既知の方法では、画素を各々が同様な属性を有する画素だけを含む複数の領域に群別する。この方法は、特に画像符号化（圧縮）の分野で多数適用されている。画像のセグメンテーションを用いる画像符号化法は、特に画像の動きを低いデータ速度で伝送するのに好適である。一般にデータ速度は６４ｋビット／秒程度に低くすることができる。従って、こうした画像符号化法は、実時間のビデオ情報を電話回線の狭い帯域幅に下げて伝送しなければならないテレビ電話の如きアプリケーションにとって好適である。セグメンテーションそのものを符号化するのでなくても、セグメンテーションは、例えば話者個人の顔の如き画像の“重要な”部分に有効帯域幅を集中させるのに有効である。画像セグメンテーションを用いる画像符号化法は、公告された特許出願ＥＰ−Ａ −０４３７００２（ＰＨＢ３３６１０）及びＥＰ−Ａ−０４５４２３４（ＰＨＢ３３６２６）に記載されているような領域兼テクスチャ符号化法である。動画像における一連のフレームの符号化用にセグメンテーション法を用いると、個々のフレームにて実行したセグメンテーションによる可視的なアーチフェクトが各フレームごとに変化し、主観的に極めて不愉快な画像列の表現となる。従って、セグメンテーションは時間的に一致したものとするのが望ましい。即ち、画素の似ているグループは、連続するフレームにおける似ている領域に属するようにすべきである。画像のセグメンテーションは画像符号化での使用に限定されるものでなく、一般に画像強調、目標追跡、画像からの３次元像の抽出、コンピュータ援用アニメーション及びカラー化の如き種々の画像処理アプリケーションに用いることができる。時間的に首尾一貫した画像セグメンテーションの問題点に対する既知の方法は、画像を動きが均一の複数領域に分割して、対象を導出することにある。この場合には、こうした対象に対する動きベクトルを計算して、これらの動きベクトルを出力させる。このような方法の例については、ＮａｒｂｅｒｔＤｉｅｈｌ著による論文“Segmentation and Motion Estimation in Image Sequences”（SPI E Volume 1260，Sensing and Reconstruction of Three-dimensional Objects a nd Scenes 1990）及び本出願人によるＥＰＯ５７９３１９（ＰＨＢ３３８０２）に記載されている。この方法での問題は、この方法が画像をその構成対象に満足のゆくように分割することを当てにしていることにある。このことは牽いては、画像に存在しそうな対象についての予備知識を当てにするか、そうした知識を複数の後の画像フレームについての複雑な処理から導出することになる。このような対象についての知識が殆どない場合には、モデル化が極めて困難となり、画像をこのような対象に満足のゆくように分割することができない。画像のセグメンテーションが首尾よくできないと、主観的に極めて不愉快な結果が生じることになる。例えば、１つの実験的なテレビ電話のアプリケーションにて、伝送された顔の額から鼻が伸びてしまうことがあった。前述したように、このような方法は対象モデルに複雑で、しかも大規模なデータベースを必要とし、さらに、このようなモデルを画像中の対象に整合させるのに過大な計算を必要とする。従って、この方法は一般的な画像符号化にとって信頼できる方法ではない。本発明の目的は画像における対象を特殊なモデル化をする必要なく、画像を時間的に一貫してセグメント化する方法を提供することにある。本発明の使用によって処せられる時間的な一貫性は、画像シーケンスにおける動きに関連する過度に単純化した仮定をする場合に伴われる計算を、このような仮定が無効である場合の誤りを検出し、且つ補正する機構を設けることによって低減させることもできる。添付した請求の範囲に記載した本発明によれば、一連の関連する画像に対して一貫したセグメンテーションをすることにより、例えば動いている対象を包含している動画像シーケンスのセグメンテーションを時間的に一貫したものとすることができる。ここに開示する例のセグメンテーション法は次のようなステップの幾つか、又は全てを含むものである。即ち、（ａ）一連の画像のうちの最初の画像を、その画像の画素を複数の領域に割当てる初期のセグメンテーションをするセグメント化ステップ；（ｂ）一連の画像のうちの最初と次の画像から動きベクトルを計算するステップ；（ｃ）動きベクトルを初期のセグメンテーションに適用して、次の画像に対する予測セグメンテーションを行なうステップ；（ｄ）最初の画像及び動きベクトルを用いて、次の画像の予測画素値を得るステップ；（ｅ）次のフレームに対する予測画素値と実際の画素値とを比較することによって動きベクトルが無効である画素を識別するステップ；（ｆ）識別した画素をセグメント化して、他の画像領域を生成するステップ；（ｇ）前記予測セグメンテーションの部分を前記他の画像領域と置き換えて、次の画像に対するセグメンテーションを改善するステップ；及び（ｈ）次のセグメント化画像を最初の画像として用い、且つ改善したセグメンテーションを初期セグメンテーションとして用いて前記（ｂ）〜（ｇ）の工程を繰り返すステップ。前記ステップ（ｆ）の前に、様々なヒューリスティックを適用して、識別画素を隣接する画素と同じ領域に割当てることにより識別画素の数を減らしたり及び／又は他の画素を前記ステップ（ｆ）で検討するようにすることもできる。本発明により行われるセグメンテーションによれば時間的一貫性が改善され、従って画像のセグメンテーションにアーチファクトが存在したとしても、こうしたアーチファクトはフレームごとに一致し、従ってこうしたものによる結果は視聴者にとって殆ど不愉快なものにはならない。例えば、本発明による方法の具体化例では、全てのフレーム間の動きを二次元的に平坦な動きとして特徴づけて、ブロック整合推定器の如き、通常の二次的な平坦な動き推定器を用いて画像の各画素に対する動きベクトルを計算することができるものとする。このことは一般に実際の時系列にとっては有効でないばかりか、動きベクトルがブロックによって計算されるだけであるので、フレーム間の動きが二次元的な平坦な動きだけであり、各ブロックにおける個々の画素全てに対する動きベクトルが正確に計算されると云うことは殆どあり得ないことである。そこで、不正確な動きベクトルを検出するために、本発明の好適例では、各画素の変位したフレーム差（ＤＦＤ）を計算する。このＤＦＤは、或るフレームと、これに隣接するフレームに基づいた動きベクトルによって与えられるそのフレームの推定値との誤差を画素ごとに表す。従って、過剰なＤＦＤは、或る特定の画素に対する動きベクトルが無効であることを示す。この場合、ＤＦＤは動きベクトルによって予測したセグメンテーションが補正を必要とすることを識別するのに用いられる。以下添付図面を参照して本発明を実施例につき説明するに、ここに：図１は本発明の実施例におけるセグメンテーションプロセスの大要を示すブロック図であり；図２Ａ、図２Ｂ及び図２Ｃは実施例における時間的に一貫した画像のセグメンテーションを示す詳細なブロック図であり；図３は動きベクトルの計算方法及び動き推定が失敗した画素の検出方法を示しているブロック図であり；図４Ａ及び図４Ｂは本発明の実施例における各画素の勾配の計算法を示し；図５は実施例におけるエッジ画素の割当てプロセスを示す流れ図であり；図６Ａ及び図６Ｂは図５に示したプロセスの説明に役だてる画素の強度及び勾配を示す線図であり；図７は図１〜図６の画像のセグメンテーションプロセスを用いる画像符号化装置のブロック図である。図１は動画像の一連のフレームに対する画像のセグメンテーションプロセスの大要を示している。ここで説明する例では、画像は単色で、各画素の強度が単一のグレースケール値によって規定されるものとする。しかし、本発明は単色画像の処理に限定されるものではなく、色つきの画像又は任意形態の画素アレイ用に必要な変更を加え得ることは当業者に明らかである。図面では実行すべきプロセスのステップを楕円形のボックスにて示し、主要なデータ構成を長方形のボックス内に示してある。Ｆ１は時間ｔ＝ｎ−１におけるフレームに対するグレースケール値の画素アレイを示し、即ちこのアレイはフレーム中の各画素のグレースケール値を包含している。フレームＦ１及び時間ｔ＝ｎにおけるフレームＦ０に対するセグメンテーションは時間的に首尾一貫して成されるべきものとする。フレームＦ１を一連のフレームにおける第１フレームとする場合には、これを初期セグメンテーションプロセス１００にて処理して、後に詳述する方法でセグメンテーションデータＳ１を得るようにする。フレームＦ１と次のフレームＦ０（これは時間ｔ＝ｎにおける）との間の動きについて、グレースケールのフレームデータＦ１及び新規のグレースケールのフレームデータＦ０から、後に図３及びステップ２１につきもっと詳しく説明する通常の方法にて動きベクトルＭを計算する。このような動きベクトルの計算にも多数の種々の方法が既知であるが、本例では動きを小さな画素ブロックの二次元的移動としてモデル化する。これらの動きベクトルを一旦計算したら、これらを動き補償プロセス１０２によって初期のセグメンテーションデータＳ１に与えるようにする。これによりフレームＦ０に所望されるセグメンテーションＳ０の第１予測値Ｓ０¹を得る。しかし、この予測値Ｓ０¹は、例えば画素のブロック化のような動き検出プロセスにて近似法及び仮定法を行なったとしても、一部に過ぎないため、多数の画素に対する無効エントリを含むことになる。エラーは画像処理装置の内外の雑音及び予測できない“無防備の背景”によっても導入されたりする。従って、本例ではセグメンテーションが無効（この無効性に対する基準については後に説明する）となり得る画素を識別し、このような画素に様々な任意の処理を施して、これらの画素を現存する領域に割当てるようにする。この場合、首尾よく割当てられない画素は、最初から割当て画素にセグメンテーションプロセスを行なうことにより生成される新たな領域に割当てるようにする。予測したセグメンテーションデータが無効なものとして処理されることになる２つの独特な画素カテゴリが識別されている。本例では、これらの各カテゴリの画素を、実際には一方又は他方のカテゴリの画素を無視したり、これらの画素の処理を様々な方法で組合わせたりすることが同じように可能であるけれども、画素を現存する領域に再割当てする別のプロセスによって処理する。第１カテゴリの画素は予測領域の境界上にある画素である。このような画素は特に雑音の影響を受け易いことが発明者によって確認されている。さらに、動きベクトルは通常個々の画素と云うよりもむしろ画素ブロックについて計算されるため、ブロックが種々の対象に適当に属している画素を含んでいる領域（対象）の境界付近に誤りが導入されがちとなる。第２カテゴリの画素は動き補償が失敗したと判断される画素である。画像フレームの動きベクトル及び画素データは、後に詳述するように、動き補償の失敗を確かめるのに用いられる基準となるものである。プロセス１０４は画素が予測セグメンテーションに割当てられる領域の境界にある画素（カテゴリ１の画素）を大まかに識別する。後にもっと詳しく説明するように、本実施例ではこのような画素をそれらの画素値及び計算した領域の統計量に従ってもっと適した領域に再割当てするようにする。プロセス１０６は、ブロックの動きベクトルが画素の動きを正しく示しているとは思わない画素で、プロセス１０４で検討されなかった画素（カテゴリ２の画素）を適当な領域に割当てるようにする。これには特に、画素が属するブロックの動きベクトルによって、その画素値が正しく予測されていない画素に対しては、この画素の領域も予測セグメンテーションにて正しく予測されていなかったと云う推論を活用する。動き補償に失敗しているも（カテゴリ２）、１つ以上の現存する領域の境界又はその近傍にある画素はこれらの領域の１つに割当てることができる。後に詳述するように、本実施例ではこれを、斯様な各画素の画素値の勾配を考慮することにより達成する。予測領域の境界上にあるか（カテゴリ１）、無効動きベクトルを有している（カテゴリ２）多数の画素が現存領域に割当てられているとは云え、それでもなお上述した基準ではどの現存領域にも割当てることができない画素がまだあることがわかる。これは通常出現対象及び背景に関連して生じる。従って、こうした画素は新たなセグメンテーションプロセスを行なって、新規の領域を生成するようにする。セグメンテーション処理の後には小領域をなくすのが好適である。これは各小領域をそれを最も適している近傍の領域と併合することにより行なうことができ、これにより後に実行すべき処理量をかなり低減させることができる。さらに、セグメンテーションによって規定される種々の領域の数を調整する機構を設けるようにする。これは、そのようにしないと領域数が多くなり過ぎてしまうからである。本実施例では新規の領域を現存領域と併合する前に互いに適当に併合させるが、これは必ずしもそのようにする必要はない。動画像シーケンスの各その後のフレームに対しては、図１に破線で示すように、新規のセグメンテーションＳ０を初期のセグメンテーション（Ｓ１）として処理を繰り返すようにする。図２Ａ，２Ｂ及び２Ｃは、本実施例における画像のセグメンテーションをもっと詳しく示してある。図２Ａを参照するに、フレームＦ１に対するグレースケールデータをプロセス１１にて画像内容及びセグメンテーションの目的に応じて、いずれかの適当な方法で初期セグメンテーション処理する。このようなセグメンテーションの例はブライス−フェンネマ(Brice-Fennema)法と称され、これは“Scene analysis usin g regions”(Artificial Intelligence 1（1970）205〜226)に記載されている。本実施例では、画素アレイを生成し、各画素に対する値を入力して、この画素が一部を成す領域を識別する。このようなセグメンテーションなる表現を、上述した論文に記載されている“境界セグメント”のチェーンに優先して用いるが、これはこの方が本例の後続する処理工程段にとって簡単であるからである。しかし、このような表現は必須のものでなく、前記チェーン表現を代わりに用いることもできる。特に、チェーン表現は初期のセグメンテーション処理中に用い、これはフレームごとにセグメンテーションを更新するために画素アレイ形態に変換されるものとする。いずれにしてもセグメンテーションプロセス１１の結果はセグメントデータＳ１である。プロセス１３では、Ｓ１の各領域に対する様々な領域統計量（ＳＴＡＴＳ）を計算する。具体的に計算する統計量は各領域における画素数、各領域の平均グレースケール値及び各領域の標準偏差である。各領域の平均グレースケール値及び標準偏差を記憶する代わりに、それぞれの画素のグレースケール値の和及びグレースケール値を２乗した和を記憶する。これは画素が領域に結びついたり、離れたりする場合に後の標準偏差の計算を簡単にし、この標準偏差は次のような関係式を用いて容易に計算することができる。ここにσは標準偏差であり、ｘの値は領域の一部を成している画素の個々のグレースケール値であり、ｎは領域内における画素の数であり、μは領域の平均グレースケール値である。次いで小領域をステップ１４で“除去”する。具体的には、５画素よりも小さな大きさの小領域を除去するのであって、これは経験上そのように定めるのであるが、これは限定要件として見なすべきことではない。実際上、これにより３６０×２８０画素の画像に対するフレームにて例えば１０００領域を除去する。このように小領域を除去することによって、当面のフレームに対するその後の処理が低減し、順次の画像処理の期間中に領域の数が増える傾向も相殺される。小領域の除去は後の段階にて行なうこともでき、このように後の段階にて行なう方が、有意性を立証できない小領域のその後の処理をしなくて済むので好適である。或いは又、セグメンテーションプロセス及びこのような処理に適する基準を注意深く選定することにより、生成される小領域をなくすことができる。小領域の除去処理は、各小領域を、平均グレースケール値が除去すべき領域のそれに最も近い値を有している隣接領域と併合することにより行なう。セグメンテーションアレイＳ１は新規構成の領域Ｓ１¹で上書きされることになる。さらに、各領域に対する統計的記録ＳＴＡＴＳをステップ１７にて更新する。本実施例では、これらの統計的記録を、どの画素が除去されたか、又は各領域に結びつけられたかを考慮することにより単に更新するものとする。実際上、このステップは小領域除去処理（ステップ１５）と一緒にすることができる。除去ステップ１５の完了後に各領域に対する統計量を計算し直すことができることも明らかである。これは例えば、統計量をハードウェアで計算する場合に好適である。さらに他の方法として概して隣接領域は除去する小領域よりも遥かに大きいから、この隣接領域の統計量を何等変更することなく、新規領域の統計量に対する穏当な近似値として用いることができる。つまり、ステップ１７はオプションである。図２Ｂ及び図２Ｃは、下記に説明するように、現行フレームＦ０に対する出力セグメントデータＳ０を得るべく初期のセグメンテーションＳ１¹を行なった後にこのセグメント化したフレームＳ１¹に対して実施する様々なプロセスを示している。ステップ１９では、動きベクトルＭを用いて、フレームＦ１に対するセグメントデータＳ１を画素単位で動き補償して、フレームＦ０に対するセグメントデータを第１予測する。この予測値をＳ０¹にて示してある。動き補償については種々の方法が当業者に知られている。本実施例では、現行フレームＦ０の各ブロックに対して動きベクトルＭを１つ用立て、これがセグメンテーションデータＳ１における画素の相対位置を示し、この位置の領域ＩＤは、動き推定器によって行われるブロック整合が極めて不十分な整合であっても、アレイＳ０¹における目下考慮中のブロックの画素にコピーすることができるものとする。他の例では、所定のブロックに動き推定器によって、動き検出に失敗したとしてフラグを立てさせることができ、本実施例を、このようなことができるように適合させることができることは当業者に明らかである。同様に、本発明による方法は、本実施例における“後ろ向きの”動きベクトルを使用可能とする代わりに、“前向きの” 動きベクトルを使用可能とするか、又は動き推定情報を全く異なる形態のものとする場合にも適当に適合させることができる。なお、ＳＴＡＴＳの値は予測したセグメンテーションＳ０¹にならってこの段階にて更新させることができるが、実際にはこの更新は行なわない。統計量を以前のセグメンテーションデータから発生させるのであるが、これらの統計量は穏当な誤差範囲内で現行のセグメンテーションデータに適用できる。ステップ２１は、第１アレイのフラグＵ１０によって無効としてフラグが立てられたＳ０¹の個々の画素をクリヤする。図３は各画素の変位フレーム差（ＤＦＤ）に関連づけられるフラグＵ１０の決定法を示している。動きベクトルＭを計算するためにデータＦ１とＦ０を動き検出器１へ入力する。動き検出器の例は当業者に周知であり、これらは通常高精細度ＴＶ用の画像符号化及び周知のＭＰＥＧ及びＨ．２６１標準方式の如き低ビットレートの画像符号化法に用いられている。このような動き検出器の例では、Ge rard de Haanによる論文“Motion Estimation and Compensation”(ISBN 90-744 45-01-2)及び Hans Musmann，Peter Pirsch Hans Joachim Grallert による論文 “Advance in Picture Coding ”（Proceedings of the IEEE，Vol.73，No．4， 1995 年４月）に記載されている。本実施例にて用いる動き検出器は二次元の平坦な動きに対してのみ作動し、これは８×８画素のブロックのｘ及びｙ方向における移動量を計算する。しかし、簡単な並進移動でなく、もっと複雑な転位をモデル化し得るさらに複雑な動き検出器を用いることができ、しかもブロックの大きさを様々な大きさとしたり、単一画素の大きさとすることもできることは当業者に明らかである。さらに、領域による動きベクトルの計算をすることもできる。本実施例にて採用した斯様な動きベクトルを計算する簡単な方法は、現行画像フレームＦ０における各画素ブロックを、以前のフレームＦ１を通じて探索しながら順次考慮して、最も良く整合する画素ブロックを見つけ、即ち現在の画素ブロックがどこに最もふさわしいかを確かめるようにする。フレームＦ１での探索は代表的には、Ｆ０におけるブロックの位置から外向きのら旋状に行なう。このような後ろ向きの動きベクトルの計算は、別の前向きの動きベクトルの計算に比べて、Ｆ０の各々及びＦ０のブロックごとにベクトルが発生するから有利である。しかし、前向きの動きベクトルは、特にこれらのベクトルを既存の装置にて使用可能な場合には使用することができる。Ｆ０における所定の画素に対する動きベクトルの欠落は致命的にはならない。その理由は、本例ではこのような画素に対して直接フラグＵ１０をセットする（動きベクトル無効）ことができるからである。上述したように、動き検出器１はＦ０における各画素ブロックに対する動きベクトルを供給する。次いで、この動きベクトルＭを用いてフレームＦ１をスキップ３にて動き補償する。つまり、動きベクトルをフレームＦ１に供給して、フレームＦ０を予測する。この予測値をＦ０¹にて示してある。各画素はそれ固有の専用の動きベクトルを有さないが、その画素を包含しているブロックに対する動きベクトルを用いるのであることは明らかである。動き補償プロセスも当分野では周知であり、これは使用した動き検出プロセスのタイプに整合させるだけでよく、この処理の結果として生じたもの及び動きベクトルを使用することができる。予測セグメンテーションＳ０¹は、同じ方法で同じ動きベクトルを用いてセグメンテーションＳ１から（ステップ１９）発生される。次いで、Ｆ０及びＦ０１を画素差計算ステップ５に処理して、このステップにて対応する画素について、２つのアレイ間の各画素のグレースケール値の差、即ち画素の実際値と、その予測値との差を検出する。本例では、各画素を順次検討し、画素差を計算することによって画素差の絶対値（大きさ）を得る。このようにして変位したフレーム差（ＤＦＤ）の画素アレイを発生させ、これを図面にＤＦＤにて示してある。実際上、ＤＦＤの値は具体化に応じて、ステップ１でのブロック整合処理の副産物として前もって入手することができる。ステップ７では各画素に対するＤＦＤ値をテストして、それが或るしきい値Ｔ以上であるかどうかを確かめる。このしきい値検査によって得られたデータは図面にＵ１０にて示したフラグアレイに記憶し、フラグは、画素を包含しているブロックに対する動きベクトルが、その個々の画素値を予測するのに失敗したかどうかを示す。本例では、ＤＦＤの全ての値に対して固定のしきい値を用いているが、これは必ずしもそのようにする必要はなく、しきい値は変えることもできる。例えば、（前景及び背景の如き）対象を検出する処理を行なう方法に合わせて、こうした異なる対象に異なるしきい値を適用することができる。他の例では、動きベクトルの計算ステップ１の一部としてフラグをセットし、ブロックに対する良好な整合が見つかって、動きベクトルが有効なものであり、その画素ブロックに対してはＤＦＤを計算する必要がない旨を指示することができる。これとは逆に、動きベクトルの計算中にＵ１０フラグの如きフラグを直接セットして、動きベクトルが殆ど間違いなく無効であるような、不良整合が行われた旨を指示することもできる。このような変更は複雑さを増す必要になるが、特にソフトウェアに基づく履行においては、その後の処理時間を低減させることができる。図２Ｂに戻るに、ステップ２１は予測セグメンテーションＳ０¹のステップでＵ１０によりフラグを立てた画素をクリヤする。これはクリヤすべき各セルに対してアレイＳ０に“空白”領域ＩＤをセットすることにより達成される。このステップは、冒頭にて述べた推論、即ち画素値の予測が不十分であった場合には、その予測領域ＩＤも多分かなりよくないと云うことを実現する。この処理ステップからの出力をセグメンテーションＳ０²として示してある。なお、Ｓ０²データ及びフラグＵ１０を用いることは、図１のステップ１０４につき述べた領域の境界部を識別する第２フラグアレイを発生するのにも好適である。この第２フラグアレイにＵ２０のラベルをつけてあり、これはステップ２３にて計算される。フラグＵ２０は、領域ＩＤを包含している画素は名目上有効（即ち、Ｕ１０がセットされない）ではあるが、これらの画素はこれらの領域に十分には関連づけられないことを示す。このような不十分な関連画素を判断する上での基準は、或る画素が同じ領域に属する画素に完全に８通りで関連づけられるかどうかと云う点にある。完全に８通りで関連付けられる画素は、同じ領域ＩＤで（Ｓ０²に記憶されるように）水平方向に２つと、垂直方向に２つと、対角線方向に４つの隣接領域を有する。画素が完全に８通りで関連づけられない場合、その画素は或る領域の境界上にあると言える。従って、フラグＵ２０の画素アレイを生成する。境界上の画素は、できれば境界割当てステップ２５によって適当な領域に割り当てる。この処理ステップは以前に生成した統計的データＳＴＡＴＳ（図２Ａのステップ１７参照）及びＦ０データ以外にＵ２０のフラグを用いる。領域境界部にはシステム内のノイズ及び原始画像内の“外部”ノイズによって所定のアーチファクトが生成されるのが普通である。例えば、５０Ｈｚの電源によって照射される対象を６０Ｈｚのカメラによって見た場合にその悪影響が明らかになることがよくある。ステップ２５は、領域境界部における画素を、以前に割当てた領域とは限らない最も適した領域に再割当てすることにより、上述したようなアーチファクトを除去するのに役立つ。隣接領域が注目画素に（より一層）適しているかどうかを決めるために、ステップ２５は画素のグレースケール（ｘ）、領域の平均グレースケール（μ）及び領域の標準偏差（σ）を比較する。隣接領域は、次の不等式が満足される場合に、注目する画素がそれに適当に割当てられていると判断される。｜ｘ−μ｜＜１．５σ １つ以上の隣接領域が適格である場合には、平均値との偏差が最小となるどれかの領域に画素を割当てる或る隣接領域に首尾よく割当てられる画素に対しては、その適当な領域ＩＤをセグメンテーションデータに加えて、アレイＳＯ²に上書きし、Ｕ２０のフラグをクリヤする。明瞭化のために、この更新したセグメンテーション（データ）をＳＯ³と称し、更新したＵ２０フラグアレイをＵ２０¹と称する。Ｕ２０¹のフラグを立てた画素のうちのあるものは実際上、動きベクトルが０のものであることは明らかである。ステップ２７はこのような画素をそれが予測セグメンテーションにて割当てられた領域と同じ領域に割当てられたものとして “確認”する。予測領域ＩＤはまだセグメンテーションアレイＳＯ³に記憶されるので、このデータについての演算処理は実際には行われない。しかし、首尾よく割当てられた（確認された）画素に対するフラグＵ２０¹はクリヤされ（ステップ２９）、この更新フラグアレイを以後Ｕ２０²と称する。クリヤステップ21と同様な方法で、まだＵ２０²によってフラグが立てられているこうした画素は、セグメンテーションアレイＳＯ³に空白領域ＩＤを挿入することによりクリヤされる。この更新セグメンテーションを図２ＢではＳＯ⁴にて示してある。次いで、ステップ３１は、画素が画像のエッジ特徴部により、しかもこれらの画素を適当な隣接領域に割当てることができるかどうかを検討することにより動き補償に失敗した画素（アレイＵ１０でフラグを立てた画素）の割当てをする。この際、最も適した領域を決めるには、次のように画素におけるグレースケールの勾配を考慮して行う。図４Ａ及び図４Ｂは本実施例における勾配計算ステップ９を示す。ここで用いる勾配計算法は周知であり、これにはアレイＦＯに各々が３×３画素の大きさの２つのマスクを適用して、各々がｘ成分Ｇ_xとｙ成分Ｇ_yとから成る勾配Ｇの画素アレイを得る。これらのマスクは“ソーベル演算子”（sobel operators）として既知であり、これらのマスクを図４Ｂに示してある。これらの演算子は、マスクの中央の個所に相当する画素におけるグレースケール勾配を表わす値を提供する。この代わりに、別の勾配計算法を用いることもできることは明らかである。さらに、勾配計算のプロセスは画像フレームＦＯの全体に行うものとしたが、この勾配計算プロセスはそれを必要とする画素だけとすることもできることは明らかである。この結果増大する複雑さは、具体化のディテールに従って、処理時間及び記憶要件をできるだけ減らすことと平衡させる必要もある。勾配Ｇを用いる割当てステップ３１を図５を参照してもっと詳細に説明する。この図のステップ３１０１〜３１１９は各画素に対して実施される。ステップ３１０３では、画素がフラグＵ１０によってフラグを立てられたかどうかを検討する。ステップ３１では、Ｕ１０のフラグが立てられた画素だけを検討する。ステップ３１０５では、当面の画素の勾配の大きさが或るしきい値以上であるかどうかを検討する。可能なグレースケール値の範囲が０〜２５５である場合、エッジ特徴部が存在するかどうかを適当に示すものとして（２つの色間のコントラストの線）、本発明者等は１５のしきい値を経験上確かめた。異なる範囲のグレースケールを用いる場合か、又はカラー画像を処理する場合には、勾配の計算及び／又はそのしきい値の大きさはそれ相当に調整することになることは明らかである。勾配の大きさが１５を越えない場合、画素は図５ではそれ以上は検討せずに、処理プロセスを次の画素に進める。ステップ３１０７では、識別したエッジの方向における隣接する一方又は双方の画素が或る領域に割当てられるかどうかを検討する。どの画素も割当てられない場合にはプロセスを次の画素に進める。隣接画素の一方（双方ではない）が或る領域に割当てられる場合には、ステップ３１０９にて、当面の画素における勾配の大きさが、或る領域に既に割当てられている隣接画素における勾配の大きさよりも大きいかどうかを検討する。このような関係が存在する場合に、画素を隣接する画素の領域と同じ領域に割当て（ステップ３１１１）、プロセスを次の画素へと進める。ステップ３１１１でのテストが満足されない場合には、画素を領域に割当てないでプロセスを次の画素へと進める。ステップ３１０７では、双方の隣接する画素が既にそれぞれの領域に割当てられていることを確かめることができる。この場合にはプロセスがステップ３１１３へと枝分かれする。このステップ３１１３では、隣接する画素の一方（双方ではない）の勾配の大きさが現行画素の勾配の大きさよりも小さいかどうかを（ステップ３１０９と同様なテスト）検討する。一方の隣接する画素がこの関係を満足しない場合には、勾配がそれよりも低い他方の隣接画素の領域ＩＤがステップ３１１５にて現行画素にコピーされる。つまり、エッジは勾配がもっと高い方向に急峻になっていることは明らかであり、従って、画素は勾配がより低い画素領域に属しがちとなる。或いは又、ステップ３１１３では、隣接する画素の双方のどちらかか、これら隣接画素のいずれもの勾配が低いことを確かめることができる。こうした場合に、ステップ３１１７は画素を低い勾配を有する隣接画素の領域と同じ領域に画素を割当てる。双方の隣接画素が高い勾配を有する場合には、縁部が双方の方向にて明らかに急峻となるが、勾配が低い隣接画素の方向には急峻にならないため、注目画素はその画素に割当てられる領域に属する。双方の隣接画素が低い勾配を有する場合には、画素がエッジ上にあり、従って或る程度までは、その画素を割当てる領域は任意である。しかし、勾配が低い画素は概念的なエッジとは隔たったものとなり、従って注目画素はその画素と同じ領域に割り当てる。上述した割当て法の実際の効果を図６につき説明する。図６Ａのグラフは、このグラフの左側の白画素とグラフの右側の黒画素との間の代表的なエッジ特徴部のまわりのグレースケール値のグラフである。図６Ｂは図６Ａに示したエッジの勾配を表している。領域間の概念的な境界が勾配曲線のピークと整列していることがわかる。４つの隣接する画素の位置をＰ１，Ｐ２，Ｐ３及びＰ４にて示してある。最初のケースでは、注目画素をＰ２とする場合を説明する。この説明の場合、隣接する画素Ｐ１は或る特定の領域に割当てられているが、Ｐ３はまだ割当てられていない（領域ＩＤ＝空白）ものとする。図６Ｂから明らかなように、画素Ｐ２の勾配は画素Ｐ１の勾配よりも大きい。この場合には、割当てプロセスが図５のステップ３１０９に示したテストを実行することになる。このテストが満足され、従ってＰ２はＰ１と同じ領域に割当てられることになる。しかし、Ｐ３が或る領域に割当てられているも、Ｐ１がまだ割当てられていない第２のケースを検討するに、この場合にはＰ３における勾配がＰ２における勾配よりも大きいために、Ｐ２はＰ３と同じ領域には割当てられない。勾配がＰ２よりもＰ３における方が大きいため、Ｐ２はＰ３と同じピークの側になく、従って領域間の概念的な境界の反対側にあると想定される。そこで、或る画素の隣接画素が双方共に異なる領域に割当てられる場合を検討する。同じ画素Ｐ２を検討するも、Ｐ１及びＰ３が異なる領域に割当てられる場合とする。割当てプロセスはステップ３１１３（図５）でのテストを実行し、画素Ｐ２を概念的境界の同じ側にたぶんある画素Ｐ１と同じ領域に割当てる（ステップ３１１５）。さらに、画素Ｐ３が注目の割当て画素でなく、Ｐ２及びＰ４を割当てる場合には、Ｐ３を（これはたぶんエッジの同じ側にあるので）Ｐ２の領域と同じ領域に割当てる（ステップ３１１５）。なお、実施例では簡単化のために上述した割当て法を用いたが、（例えば幾つかの画素にわたる曲線適合化を用いる）もっと複雑なプロセスを用い得ることは当業者に明らかである。前述したように、各画素に対して図５のプロセスは繰り返し行なうようにする。なお、或る画素を或る領域に割当てるこのプロセスが首尾よく行なわれた場合には、Ｕ１０フラグをクリヤして、このことを指示するようにする（図５には図示せず）。これによる変更フラグアレイをＵ１０¹と称する。ステップ３１での処理後の変更セグメンテーションを図２ＢではＳ０⁵にて示してある。ステップ３１はオプションとみなせるが、これにより、大きなＤＦＤ値を発生することになるエッジ特徴部における僅かな変位を有効に補償することができ、これにより簡単なヒューリスティックテストによって後段にて処理すべき非割当て画素の数をさらに低減させることができる。こうした特別のヒューリスティックはエッジ特徴部付近の画素の検出及び割当てに用いることができる基準例に過ぎないことは勿論である。処理ステップは原則として一回以上繰り返して領域がエッジ特徴部を吸収すべく“成長”するように他の画素を割当てることができる。図２Ｂに戻るに、ステップ３３では、２つのフラグアレイＵ１０¹とＵ２０²を単一のフラグアレイＵ０に合成して、或る領域にまだ首尾よく割当てられていない画素にフラグを立てるようにする。このような合成は簡単な論理ＯＲ回路によって達成することができ、Ｕ１０か、Ｕ２０のいずれかに対する記憶スペースには新規のアレイＵ０を上書きすることができる。割当てステップ３５では、Ｕ０のフラグを立てた（非割当て）画素の、他の非割当て画素への連結性を検討する。８通りの連結性が低い画素は次のようにして隣接領域へ割当てる。Ｕ０によってフラグを立てた各画素をチェックして、他のＵ０のフラグを立てた画素への８通りの連結性が２よりも大きいかどうかを確かめる。連結性が２よりも小さい場合には、画素を、記憶済みの領域統計量に従ってその画素の平均グレースケールに最も近い平均グレースケールを有している隣接領域のどれかに割当てるようにする。その後、この画素に対するＵ０フラグをクリヤする。この更新したフラグをＵ０¹と称する。位置調整は、他の非割当て領域から隔離されている不十分に関連づけられる画素はいずれもの注目する領域を形成することにはならないと云うことにより行なう。従って、本例におけるステップ３５は後段でのみ除去する小領域の生成を抑制する手助けをする。ステップ３５は領域の境界に沿って生じたりする細長い非割当て画素のストリングも除去する。ステップ３５もオプションとみなすことができ、適用するヒューリスティックを変えることができる。特に、連結性のしきい値としては２以外の値を用いることができる。３と云う値は細長領域に強力な影響を及ぼすことになるが、１と云う値は極めて隔離された画素を除去するだけである。上記ステップを本例では２度繰り返すが、これは最初のプロセスでは画素の関連性が不十分であるからである。第２の繰り返し後の更新セグメンテーションをＳ０⁶と称する。この段階では、現存領域の１つにまだ首尾よく割当てられていない画素をステップ３７（図２Ｃ）にてセグメンテーション処理して新規領域を生成する。本例では、同じセグメンテーション処理を用いて、以前に割当てられなかった画素の新規領域に対するセグメンテーションデータＳＵ０をＦ１画像の初期のセグメンテーションに用いたもの（ステップ１１）として得るようにするが、これは必ずしもこのようにする必要はない。これらの新規領域も、前記Ｂｒｉｃｅ−Ｆｅｎｎｅｍａの論文に記載されているような併合基準を用いて、できればステップ３９にて一緒に併合させる。この併合処理によって多数の不必要な領域をなくすことができる。併合したセグメンテーションデータをＳＵ０¹と称する。ステップ４１では、ＳＵ０¹の新規に生成した領域をＳ０⁶の現存領域と併合させる。この併合基準は先の併合ステップ３９の基準と同じとするか、又は相違させることができる。本例では同じ併合基準を用いる。再び併合によりグレースケールの統計量が似ている隣接領域を合成することによって不必要な領域の数を減らすようにする。併合ステップ４１の後にはフレームＦ０に対する最終セグメンテーションデータＳ０が得られたことになる。このＳ０はアプリケーションに適するように画像の符号化又は他の処理に用いられる。図１に破線で示したように、更新セグメンテーションＳ０は次のフレームに対する初期セグメンテーションデータとして用いられ、図２Ａ〜図２Ｃの全プロセスを必要なだけ繰り返して、動画像シーケンス全体を通じて時間的に一様なセグメンテーションを得るようにする。図７は上述した時間的に一様なセグメンテーション処理を内蔵する画像符号化装置を示す。符号化器は領域兼テクスチャ符号化法を用い、これについての詳細は前述したＥＰ−Ａ−０４５４２３４にて見ることができる。ここでは簡単に説明するだけとする。画像の輝度信号Ｙがセグメンテーション装置７２に供給され、この装置が上述したプロセスを実行する。モルダフィルタ７３はセグメンテーションデータを用いて領域信号を発生する。画像信号及び領域信号の双方が減算回路７５に供給されてテクスチャ信号を発生し、この信号は符号化器７７にて符号化される。領域信号はエッジマッピング装置７９に供給され、原画像の領域リスト信号及びエッジマップを発生する。エッジマップはエレメント予測装置７１０にてテンプレートにかけられて、メモリ７１２のルックアップテーブルから、テンプレートに隣接する固定位置におけるエレメントの値に関する予測値を発生する。この予測が正しい場合には、予測誤差信号は誤りがないことを示すも、誤差がある場合には、予測誤差信号はルックアップテーブルにて見つけることができる実際値を搬送する。予測誤差信号は第２符号化器７１４にて符号化される。７１６における領域リスト信号、７８におけるテクスチャ信号及び７１５における誤差信号は、原画像を適切に再構成する復号器に低い帯域幅で伝送することができる。一連の画像フレームが動画像伝送用の図７の符号化器に供給される場合に、セグメンテーション装置７２はモダルフィルタ７３にフレームごとに時間的に首尾一貫しているセグメンテーションデータを供給する。本例では領域信号又はテクスチャ信号を圧縮するのに動き情報は用いない。それでも、動画像シーケンスを所定帯域幅の領域及びテクスチャ情報から復号化する場合には、セグメンテーション処理に果たした時間的一貫性のために、主観的に改善された画像品質が得られる。当業者に明らかなように、上述したプロセスはソフトウェア又はハードウェアか、これらを組み合わせて具体化することができるが、上述した実施例はソフトウェアにて実現したのであって、少なくとも実験目的用ではない。様々な個所にて既に述べたように、実施のディテールについての多数のルーチン変更は可能であり、実際上、アプリケーション及び使用可能なハードウェアに応じて所望な変更が可能であることは当業者に明らかである。フラグの画素レベルのアレイ（Ｕ１０，Ｕ２０）、領域ＩＤ（Ｓ１，Ｓ０）、ＤＦＤ及び勾配値（Ｇ）が記憶容量の負担となることは明らかであり、これは次の画素へプロセスを進める前に画像の一部分における画素を完全に処理することにより低減させることができる。様々なプロセスを管理する複雑さもかなりなものとなる。特に、Ｇの値は画素ごとに発生させなければならないことはなく、ＤＦＤの計算も、その計算をセーブするのが重要な場合には特定の画素、画素ブロック又は他の画素グループに制限することができる。これに対し、発明者等は可変の全アレイセット及びフラグを有する実験装置にて、様々なプロセスの作業を原始資料の範囲で極めて有効に表示し得ることを確かめた。こうした表示は、しきい値及び他のパラメータの微調整や、或る特定のアプリケーションにてプロセスのどの部分を最小の品質低下でなくすべきかを識別するのに役立つことは勿論である。特に、ステップ２３〜３５のうちのいずれかのステップは適度な品質損で省くことができる。同様に、画像処理に使用できるセグメンテーションの範囲は上述した例のみに限定されるものではない。画像符号化に当たっては、領域兼テクスチャ符号化におけるように、セグメンテーションを符号化することができ、或いは特にＨ．２６１及びＭＰＥＧの如きコード構成の画素データを画素ごと、又はブロックごとに可変のビットレートで符号化する“ヒント”として用いることができる。画像特徴部の特定な対象又はクラスのトラッキングを画像強化又は一般的な画像処理に役立てることもできる。例えば、顕微鏡又は放射線写真の動画像列における或る特定の色領域のコントラストを高めたり、このような領域にだけ何等かの他の処理を自動的に行なうことが所望される。さらに、マシーンビジョンや、ディジタルフィルム及びカラーリゼーションの如きビデオの特殊効果を含む様々な用途があることは当業者に明らかである。上述したそれぞれのプロセスはマルチカラー画像に対処すべく様々なやり方で容易に拡張させることができる。特にカラー画像の場合には、セグメンテーションルーチンによって処理される画素値を事前処理して、所定の属性の強化を図ることができる。例えば、或る特定の色をマッピングすることにより“グレースケール”画像を代えて、肌色トーンを明るくすることができ、これはプロセスの１つ以上の処理段にて元の色値の代わりに用いることができる。このような方法は、ここに開示した発明の概念にとっては周辺的なものであるが、セグメンテーション結果の品質及び有用性を大いに拡大させるのに有効である。さらに、上述したそれぞれのプロセスは原始動画像シーケンスにおける各連続するフレームに必ずしも適用するものではない。例えば、周知のＭＰＥＧ方式では、イントラフレーム符号化、フレーム間予測及び双方向予測を原始フレーム（Ｉピクチャ、Ｐピクチャ及びＢピクチャ）の種々のサブセットに適用する。同様に、セグメンテーションの時間的に一貫した更新は、必ずしもフレームごとに適用する必要はなく、しかもフレームの異なるサブセットにそれぞれ相違させて適用することもできる。本発明をＩＢＭのコンパチブルなパーソナルコンピュータ（ＰＣ）等の如きコンピュータにて具体化し得ることは当業者に明らかである。このような例のコンピュータは一般に、ハード及びフロッピーディスクドライブ又はＣＤ−ＲＯＭの如き固定及び取外し可能な記憶媒体を具えている。さらに、コンピュータを本発明に従って機能させるのに必要な命令シーケンスは、後にコンピュータの中央処理ユニットを制御するために内部メモリに読み取らせるために、固定か、取外し可能な記憶媒体に記憶させることができる。プログラム命令は遠隔記憶装置から通信信号によって発送することもできる。本発明は上述した例のみに限定されるものではなく、幾多の変更を加え得ることは明らかである。

───────────────────────────────────────────────────── 【要約の続き】従って隣接領域に再割当てする。

Claims

【特許請求の範囲】１．一連の関連する画像フレームの複数領域への首尾一貫したセグメンテーションを行なうべく画像処理装置を作動させる方法であって、該方法が、注目する各フレームに対して：ａ）前記注目フレームに対する現行フレームの画素データ、参照フレームの画素データ及び参照フレームのセグメンテーションデータを受信するステップと；ｂ）前記現行フレームの画素データと前記参照フレームの画素データとから、前記両フレーム間に生じている空間的な変換を表わす動き推定情報を計算するステップと；ｃ）前記動き推定情報と前記参照フレームのセグメンテーションデータとを用いて、現行フレームの予測セグメンテーションデータを得るステップと；ｄ）前記動き推定情報と前記参照フレームの画素データとを用いて、現行フレームの予測画素データを得るステップと；ｅ）前記受信した現行フレームの画素データと前記現行フレームの予測画素データとを比較することにより前記現行フレームの予測セグメンテーションの不正確に予測した部分を識別するステップと；ｆ）前記識別した部分に対する現行フレームの予測セグメンテーションデータを変更して、前記現行フレームに対する所望な首尾一貫したセグメンテーションデータを得るステップと；を具えていることを特徴とする画素処理装置の作動方法。２．前記ステップ（ｆ）が、前記識別した不正確な予測部分に対する新規のセグメンテーションデータを構成し、該データを前記現行フレームの予測セグメンテーションデータに挿入するステップを含むことを特徴とする請求の範囲１に記載の方法。３．前記ステップ（ｆ）が、前記新規のセグメンテーションデータを構成する前に、前記不正確な予測部分を、前記ステップ（ｅ）にて識別されていない隣接部分と同じ領域に割当てる予備ステップを含むことを特徴とする請求の範囲２に記載の方法。４．前記新規のセグメンテーションデータを併合処理して、前記予測セグメンテーションデータに挿入する前に新規に生成される領域の数を減らすことを特徴とする請求の範囲２又は３に記載の方法。５．前記セグメンテーションデータを、前記識別した部分に対する前記新規のセグメンテーションデータの挿入後に併合処理して、セグメンテーションにて得られる領域の数を減らすようにすることを特徴とする請求の範囲２，３または４に記載の方法。６．前記ステップ（ｅ）が前記予測セグメンテーションデータを用いて、該予測セグメンテーションデータの他の部分を不正確な予測部分として指定するステップも具えていることを特徴とする請求の範囲１〜５のいずれかに記載の方法。７．前記不正確な予測部分として指定される前記他の部分を、前記予測セグメンテーションでの領域の境界にある部分とすることを特徴とする請求の範囲６に記載の方法。８．前記変更ステップ（ｆ）が、不正確な予測部分を前記隣接部分の割当て領域に応じて現存領域に割当てるステップを含むことを特徴とする請求の範囲１〜７のいずれかに記載の方法。９．前記ステップ（ｆ）が、前記不正確な予測部分のうちの少なくとも幾つかの部分を、現行フレームにおける画素データの勾配に応じて、正しく予測された隣接部分と同じ領域に割当てるステップを含むことを特徴とする請求の範囲８に記載の方法。 10．或るしきい値以上の勾配を有する不正確な予測部分が、隣接部分の割当て及び勾配に応じて前記隣接部分と同じ領域に割当てることを特徴とする請求の範囲９に記載の方法。 11．前記ステップ（ｆ）が、前記不正確に予測した部分のうちの少なくとも幾つかの部分を、これらの部分の領域に対する画素データの統計量に応じて、正しく予測した隣接部分と同じ領域に割当てるステップを含むことを特徴とする請求の範囲８，９又は１０に記載の方法。 12．前記ステップ（ｅ）及び（ｆ）にて、前記不正確な予測部分を画素単位の基準で識別すると共に変更することを特徴とする請求の範囲１〜１１のいずれかに記載の方法。 13．前記ステップ（ａ）〜（ｆ）における現行フレーム及び得られたセグメンテーションデータを参照フレーム及び参照フレームのセグメンテーションデータとして用いて、注目する次のフレームに対する首尾一貫したセグメンテーションデータを得ることを特徴とする請求の範囲１〜１２のいずれかに記載の方法。 14．前記一連の画像フレームが動画像を含むことを特徴とする請求の範囲１〜１３のいずれかに記載の方法。 15．前記ステップ（ｆ）にて得た現行フレームのセグメンテーションデータに従って現行画像フレームの画素データを処理すると共にこの処理した画素データを搬送する信号を出力するステップも具えていることを特徴とする請求の範囲１〜１４のいずれかに記載の方法。 16．前記処理した画像フレームを記録媒体上、又はその中に直接又は間接的に記録するステップも具えていることを特徴とする請求の範囲１５に記載の方法。 17．前記処理ステップが、前記注目する画像フレームを前記得られたセグメンテーションデータを用いて圧縮して符号化することを特徴とする請求の範囲１５又は１６に記載の方法。 18．前記符号化フレームが前記得られたセグメンテーションデータの表現を含むことを特徴とする請求の範囲１７に記載の方法。 19．前記得られたセグメンテーションデータを用いて、前記画像の種々の部分に異なる帯域幅を割当てることを特徴とする請求の範囲１７又は１８に記載の方法。 20．動画像シーケンス用の画像処理方法において、該処理方法が前記動画像シーケンスの各フレームに対して定めたセグメンテーションに依存し、現行フレームのセグメンテーションを、隣接フレームのセグメンテーション及び推定動き情報に基づいて予測し、且つ現行画像の少なくとも幾つかの画素に対する予測セグメンテーションを、動き情報に基づいて現行フレームに対して予測した正しい画素値に応じて変更することを特徴とする画像処理方法。 21．領域の境界における画像部分を予測セグメンテーションで識別し、且つ前記画像部分における予測セグメンテーションをこれらの部分及び隣接する部分の画素データに従って変更して、改良セグメンテーションを得ることを特徴とする画像のセグメンテーション法。 22．一連の関連する画像フレームの、複数領域への首尾一貫したセグメンテーションを行なう画像処理装置であって、該装置が：ａ）注目するフレームに対する現行フレームの画素データ、参照フレームの画素データ及び参照フレームのセグメンテーションデータを受信する受信手段と；ｂ）前記現行フレームの画素データと前記参照フレームの画素データとから、前記両フレーム間に生じている空間的な変換を表わすように動き推定情報を計算する計算手段と；ｃ）前記動き推定情報と前記参照フレームのセグメンテーションデータとを用いて、現行フレームの予測セグメンテーションデータを得る手段と；ｄ）前記動き推定情報と前記参照フレームの画素データとを用いて、現行フレームの予測画素データを得るステップと；ｅ）前記受信した現行フレームの画素データと前記現行フレームの予測画素データとの比較により前記現行フレームの予測セグメンテーションの不正確に予測した部分を識別する識別手段と；ｆ）前記識別した部分に対する現行フレームの予測セグメンテーションを変更して、前記現行フレームに対する所望な首尾一貫したセグメンテーションを得る変更手段と；を具えていることを特徴とする画像処理装置。 23．前記変更手段（ｆ）が、前記識別した不正確な予測部分に対する新規のセグメンテーションデータを構成して、該データを前記現行フレームの予測セグメンテーションデータに挿入する手段を含むことを特徴とする請求の範囲２２に記載の装置。 24．前記変更手段（ｆ）が、前記新規のセグメンテーションデータを構成する前に、前記不正確な予測部分を、前記識別手段（ｅ）によって識別されていない隣接部分と同じ領域に予備的に割当てる手段を含むことを特徴とする請求の範囲２３に記載の装置。 25．前記新規のセグメンテーションの領域を併合して、前記予測セグメンテーションに挿入する前に、新たに生成される領域の数を減らす併合手段も具えていることを特徴とする請求の範囲２３又は２４に記載の装置。 26．前記識別部分に対する前記新規のセグメンテーションの挿入後に前記セグメンテーションの領域を併合して、セグメンテーションにて得られる領域の数を低減させるようにする手段も具えていることを特徴とする請求の範囲２３，２４又は２５に記載の装置。 27．前記識別手段（ｅ）が、前記予測セグメンテーションデータを用いて、該予測セグメンテーションデータの他の部分を不正確な予測部分として指定する手段も具えていることを特徴とする請求の範囲２２〜２６のいずれかに記載の装置。 28．前記識別手段（ｅ）を、前記不正確に予測されたとして指定された他の部分が、前記予測セグメンテーションでの領域の境界にある部分となるように構成したことを特徴とする請求の範囲２７に記載の装置。 29．前記変更手段（ｆ）が、不正確な予測部分を前記隣接部分の割当て領域に応じて現存領域に割当てる手段を含むことを特徴とする請求の範囲２２〜２８のいずれかに記載の装置。 30．前記変更手段（ｆ）が、前記不正確な予測部分のうちの少なくとも幾つかの部分を、現行フレームにおける画素データの勾配に応じて、正しく予測された隣接部分と同じ領域に割当てる手段も含むことを特徴とする請求の範囲２９に記載の装置。 31．前記変更手段（ｆ）を、或るしきい値以上の勾配を有する不正確な予測部分が、隣接部分の割当て及び勾配に応じて前記隣接部分と同じ領域に割当てられるように構成したことを特徴とする請求の範囲３０に記載の装置。 32．前記変更手段（ｆ）を、前記不正確な予測部分のうちの少なくとも幾つかの部分が、正確に予測された隣接部分と同じ領域に、これらの領域に対する画素データの統計量に応じて割当てられるように構成したことを特徴とする請求の範囲２９，３０又は３１に記載の装置。 33．前記識別手段（ｅ）及び変更手段（ｆ）を、前記不正確な予測部分が画素単位で識別され、且つ変更されるように構成したことを特徴とする請求の範囲２２〜３２のいずれかに記載の装置。 34．注目の現行フレーム及び得られるセグメンテーションが前記手段（ａ）〜（ｆ）により参照フレーム及び参照フレームのセグメンテーションとして用いられて、注目する次のフレームに対する首尾一貫したセグメンテーションを得るようにしたことを特徴とする請求の範囲２２〜３３のいずれかに記載の装置。 35．前記一連の画像フレームが動画像を具えていることを特徴とする請求の範囲２２〜３４のいずれかに記載の装置。 36．前記変更手段（ｆ）によって得られる現行フレームのセグメンテーションに従って現行画像フレームの画素データを処理する手段及び処理した画素データを搬送する信号を出力する手段も具えていることを特徴とする請求の範囲２２〜３５のいずれかに記載の装置。 37．前記処理された画素データを記録媒体上又はその中に直接又は間接的に記録する手段も具えていることを特徴とする請求の範囲３６に記載の装置。 38．前記処理手段を、前記得られたセグメンテーションを用いて前記注目フレームを圧縮して符号化する符号化器としたことを特徴とする請求の範囲３６又は３７に記載の装置。 39．前記符号化フレームが前記得られたセグメンテーションの表現を含むことを特徴とする請求の範囲３８に記載の装置。 40．前記得られたセグメンテーションを用いて前記画像の種々の部分への帯域幅の割当てを制御する手段も具えていることを特徴とする請求の範囲３８又は３９に記載の装置。 41．動画像シーケンス用の画像処理装置であって、動画像シーケンスの各フレームに対して定めたセグメンテーションに応答する処理手段と、現行フレームのセグメンテーションを隣接フレームのセグメンテーション及び推定動き情報に基づいて予測する手段と、現行画像の少なくとも幾つかの画素に対する予測セグメンテーションを、動き情報に基づいて現行フレームに対して予測した画素値の精度に応じて変更する手段とを具えていることを特徴とする画像処理装置。 42．領域の境界における画像部分を予測セグメンテーションにて識別し、且つ前記画像部分における予測セグメンテーションを、これらの部分の画素データ及び隣接部分の画素データに従って変更して、改良セグメンテーションを得るようにしたことを特徴とする画像セグメンテーション装置。 43．コンピュータグラフイック装置におけるプロセッサに、注目フレームに対する現行フレームの画素データと、参照フレームの画素データと、参照フレームのセグメンテーションデータとを規定するそれぞれの信号を処理させて、現行フレームに所望される首尾一貫したセグメンテーションデータを発生させるためのコンピュータ可読命令を記憶するコンピュータ使用に適した媒体であって、前記命令が前記プロセッサに：ａ）前記現行フレームの画素データと前記参照フレームの画素データとから、前記両フレーム間に生じている空間的な変換を表わすべく動き推定情報を計算させ；ｂ）前記動き推定情報と前記参照フレームのセグメンテーションデータとを用いて、現行フレームの予測セグメンテーションデータを得るようにし；ｃ）前記動き推定情報と前記参照フレームの画素データとを用いて、現行フレームの予測画素データを得るようにし；ｄ）前記受信した現行フレームの画素データと前記現行フレームの予測画素データとの比較によって、前記現行フレームの予測セグメンテーションの不正確な予測部分を識別し；且つｅ）前記識別した部分に対する現行フレームの予測セグメンテーションデータを変更して、前記現行フレームに所望される首尾一貫したセグメンテーションデータを得るようにする；命令を含むようにしたことを特徴とするコンピュータの使用に適した媒体。