JP2006506726A - テンプレート予測を用いた画像のセグメント化 - Google Patents

Abstract

本発明は、テンプレートと空間的予測を用いた画像セグメント化に関する。カレントピクセルの特性を予測するため、周囲のピクセルのテンプレートを用いる。ピクセルは、その特性のテンプレートからの差異により、周囲のピクセルのセグメントに割り当てられる。

Description

本発明は、画像をセグメントグループにセグメント化する方法に関する。前記セグメントは画像特性に基づく。この方法は、セグメント化のためにピクセルグループを決定するステップと、前記ピクセルグループについて主要特徴（feature characteristics）を決定するステップを有する。

本発明は、画像セグメント化を計算する機器に関する。その機器は、画像のピクセルをピクセルグループにグループ化するグループ化手段と、前記ピクセルグループから主要特徴を抽出する抽出手段とを有する。

結局、本発明は上記の方法と機器の使用に関する。

画像セグメント化は、多数の画像およびビデオ処理手順で重要である。例えば、ＭＰＥＧビデオストリーム等のビデオ圧縮だけでなく、オブジェクト認識、分類で基本的である。

画像セグメント化の結果において、セグメント化にどの特徴や特性を用いるかが重要である。画像セグメントは、１以上の特性が多かれ少なかれ一定であるかまたは連続である画像領域として定義できる。

画像セグメント化に使用する特性以外に、セグメント化方法がセグメント化の結果において重要である。画像セグメントを１以上の特性が多かれ少なかれ一定であるかまたは連続である画像領域として定義した場合、セグメント化プロセスは、等しいまたは類似の特性を有するセグメントをこの定義を満たすセグメントにグループ化しなければならない。

セグメント化のプロセスとして、１つのグループの特性とその周囲のグループの特性の間の際だけに基づく方法がある。周囲のグループがすでにセグメント化されている場合、そのグループがどのセグメントに所属するかは分かっている。よって、１つのグループの特性をその周囲のグループの特性と比較することにより、その１つのグループを分類してもよい。その１つのグループの特性が閾値よりも大きく異なっているとき、新しいセグメントとする。その１つのグループの特性が周囲のグループの特性と少ししか違わないか、または等しい場合、その１つのグループは最も一致するセグメントに割り当てられる。

このいわゆる局所予測法は、１つのグループの特性とその周囲のグループの特性間の差異だけを見る方法である。エラー値のこの計算は、特性のベクトルノルム

の比較等、異なる尺度により実行されてもよい。特性がルミナンス（Ｙ）およびクロミナンス（Ｕ、Ｖ）である場合、これらの値について、各グループのヒストグラムが計算される。１つのグループ（カレントグループ）の周囲の４つのグループについて、そのヒストグラムは

として定義される。ここで、i=1, ..., 4である。カレントグループのヒストグラムは、

として定義される。位置ｊにおける特性

は

と書いてもよい。局所予測においては、局所グループの特性は

であり、カレントグループのエラー値εは

で計算することができる。

すべてのセグメントｉはラベル1_iに対応し、セグメント化の間、画像のすべてのグループは上記ラベルに割り当てられる。グループのセグメント化を計算するアルゴリズムは、以下のように記述できる。

ここで、

は、カレントグループの周囲のｊ番目の位置にある特性を表す。この方法によってグループをセグメント化することにより、局所情報だけが考慮される。隣接するグループ間の特性の違いが小さい場合、エラー値が閾値Tを超えない限り、グループは同じセグメントに割り当てられる。差異が小さいグループを一緒にしないように、閾値は低く抑えられる。特性の差異が最も小さいとき、新しいセグメントを生成する。これには画像を過剰セグメント化の欠点がある。

上に示したように、現在の方法には過剰セグメント化と計算が複雑になるという欠点がある。この方法は画像とビデオ素材に使用するにはあまり適していない。

本発明の目的は、計算があまり複雑でない画像セグメント化の方法および機器を提供することである。本発明の別の目的は、ノイズの多い画像であってもセグメント化できる、ノイズに強い方法及び機器を提供することである。本発明の別の目的は、画像やビデオ素材を取り巻く制約に適合する方法及び機器を提供することである。本発明のさらに別の目的は、空間的および／または時間的一貫性を考慮に入れ、リアルタイムの実施が可能な方法及び機器を提供することである。

本発明の上記その他の目的は、画像をセグメントグループにセグメント化する方法であって、前記セグメントは画像特性に基づき、周囲のグループからセグメントテンプレートを決定するステップであって、前記セグメントテンプレートは前記周囲のグループ内の一定または連続な特性を記述するところのステップと、前記グループの特性を前記セグメントテンプレートの特性と比較することにより、前記グループについてエラー値を計算するステップと、前記グループを前記セグメントテンプレートの１つに割り当てるか、または前記エラー値に基づき新しいセグメントテンプレートを生成するかを決定するステップとを有することを特徴とする方法により解決される。

本発明の画像は、静止画でもビデオ画像でもよい。セグメントは、特性がだいたい一定か連続である画像領域として定義される。特性は、ルミナンス値またはクロミナンス値、これらの統計的偏差、その他標準偏差、歪度、尖度等の値であってもよい。特性は、ルミナンスヒストグラムやクロミナンスヒスグラムであってもよく、共起関係に基づくものでもよい。フラクタル次元を特性の定義に用いてもよい。画像をセグメント化する特性はそのセグメント化の目的に応じて決まる。異なるアプリケーションには異なる特性に基づく異なるセグメント化をする方が有利である。

ピクセルグループはNxMピクセルのブロックであってもよく、特に、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２ピクセル等であるが、必ずしもN=Mである必要はない。

テンプレートは特性を記述する。その特性はセグメント内で一定または連続である。セグメントのリストが保持される。そのリストにはセグメントの特性の違いが記載されている。例えば、テンプレートはセグメント内の特性の重み付け平均であってもよい。１つのグループの特性がテンプレートリスト内のテンプレートと大きく異なるとき、新しいセグメントが作られる。そうでなければ、そのグループは最もマッチするテンプレートに割り当てられる。

画像をセグメント化する時、１つのグループから次のグループへ画像のスキャンを実行する。このように、１つのグループの周囲のグループは、すでにセグメント化されているかも知れない。このセグメント化を用いて、カレントグループのセグメント化をする。このように局所情報を用いる。

本発明によると、この局所情報をセグメント化に使用する。カレントグループの特性は、周囲のグループのセグメントテンプレートと比較される。その特性が周囲のグループのセグメントテンプレートの１つとマッチするとき、カレントグループは周囲のセグメントの最もマッチするものに割り当てられる。カレントグループの特性が周囲のセグメントテンプレートのいずれともフィットしないとき、異なるセグメントテンプレートを有する新しいセグメントとする。

本技術分野で知られた多様な計算方法を用いてエラー値を計算してもよい。

画像全体のセグメンテーションマスクを計算するためには、請求項２に記載の方法が好ましい。

画像またはビデオ中の画像シーケンス内の空間的および時間的差異を説明するため、請求項３に記載の方法を提案し、動き予測も可能としている。

請求項４に記載の方法は、本発明の好ましい実施形態である。計算の煩雑さを押さえるため、セグメント化プロセスはメモリーレイアウトにマッチしなければならない。例えば、スキャンの順序はメモリーレイアウトとマッチしなければならない。画像は通常１次元アレイに記憶される。そのアレイは、画像の左上のピクセルから始まり、右下のピクセルで終わる。またはその逆である。周囲のセグメントテンプレートのキャッシングを効率的にするため、スキャン方向も、左から右へ、上から下へ、またはその逆でなければならない。

周囲のセグメントテンプレートの空間的または時間的キャッシングとともに、前に処理した情報も使用する。

請求項５に記載の閾値により、画像の特殊性、例えばノイズ値によりセグメンテーションを調整することができる。

請求項６ないし８に記載の方法により、セグメント化の目的に合わせてセグメント化を調整することができる。セグメント化に異なる特性を用いると異なる結果が得られるからである。

動きセグメント化を説明するため、請求項９に記載の方法を提案した。これにより、ピクセルグループをその動きで特徴づけることができる。その動きは動きテンプレートで表すことができる。

請求項１０によると、画像情報をセグメント化に用いる場合、画像の位置情報に基づいてセグメンテーションを実行してもよい。例えば、画像中の異なるゾーンが異なる特性としてセグメント化しなければならない場合である。

本発明の他の態様は、請求項１１に記載の機器であって、その機器は、画像のピクセルをグループにグループ化するグループ化手段と、前記グループから主要特徴を抽出する抽出手段と、周囲のグループのセグメントテンプレートを記憶する記憶手段と、前記抽出された特性を前記セグメントテンプレートの特性と比較する比較手段と、前記ピクセルグループを前記セグメントテンプレートの１つに割り当てるか、または前記抽出された特性と前記セグメントテンプレートの特性間で決定されたエラー値に基づき新しいセグメントテンプレートを生成するかを決定する決定手段とを有する。

本発明のさらに別の態様は、画像および／またはビデオ処理、医療画像処理、農作物分析、ビデオ圧縮、動き予測、気象分析、組み立て監視、および／または侵入検知における、前記方法または前記機器の使用である。ビデオと画像の品質はコンシューマエレクトロニクスおよび産業画像処理においてますます重要になっている。画像の圧縮と修正を効率的に行うため、画像コンテントに対する理解を進める必要がある。この知識を増やすため、画像のセグメント化は重要なツールである。本発明による画像のセグメント化は、費用効率が高く、あまり複雑でないハードウェアで実行することができる。このように、マスマーケットにおいて、画像強調だけではなく、動き推定および圧縮を可能とする。

本発明の上記その他の態様は、添付した図面を参照しながら以下の詳細な説明を読めば明らかとなるであろう。

図１は、本発明による方法を示すフローチャートである。最初のステップ２において、画像の主要特徴が抽出される。これらの主要特徴は、ステップ４において周囲のピクセルグループのセグメントテンプレートの特性と比較される。

カレントグループの特性が周囲のグループのセグメント点プレー他の特性と相違する場合、ステップ６でカレントグループの特性に基づき、新しいセグメントテンプレートが生成される。この新しいセグメントテンプレートは、ステップ８で、すでに記憶されたセグメントテンプレートとともに記憶される。これらのセグメントテンプレートは、すでにセグメント化されたピクセルグループを表す。

記憶されたセグメントテンプレートに基づき、ステップ１０において、周囲のピクセルグループのセグメントテンプレートを用いてカレントグループのテンプレートを予測する。すなわち、記憶されたセグメントテンプレートから、カレントグループに隣接するピクセルグループのテンプレートを抽出する。好ましくは、メモリマッチドスキャニング（memory matched scanning）の場合、これらはカレントグループの上の行の３つのグループとカレントグループの左側の１つのグループである。これらの４つのテンプレートがカレントグループのテンプレートの予測に使用する。

すでに指摘したように、ステップ４において、カレントグループの特性が周囲のセグメントのテンプレートの特性と比較される。エラー値が計算され、それに基づき、カレントグループが周囲のセグメントに割り当てられるか、または新しいセグメントが生成される。

画像のすべてのグループがスキャンされセグメント化された後、セグメント化に使用した特性に基づき、セグメンテーションマスクが出される１２。このセグメンテーションマスクは、カレント画像のセグメント化された表示である。

セグメント化がブロックベースの場合、ブロックのすべてのピクセルが１つのセグメントに割り当てられる。これにより、計算の劇的に煩雑でなくなる。セグメント化はPALやNTSC等のビデオストリームに対して実行することもできる。これらのビデオストリーム内で、画像セグメント化の強い手がかりはルミナンス（Y）とクロミナンス（U、V）、およびテクスチャである。これらの特性は、３つのヒストグラムで効率的に捕捉でき、ルミナンス値Yについて８ビンのヒストグラム、クロミナンス値U、Vについて４ビンずつのヒストグラムである。動き情報は、これらの特性に加えて使用されてもよい。

ビンを効率的に使用することが重要であり、ヒストグラムは局所化できるので、最小値と最大値を決めることが重要である。これらの最小値および最大値に基づいて、これらの値の間でビンを均等に分配することができる。最小値と最大値はビデオストリームの前の画像で決定してもよい。

画像内のノイズを説明するために、これらの値に最小値と最大値が設定され、５％のサンプルは最小値より低く、５％の値は最大値より大きくなる。ビンの外のサンプルは、外側ビンに割り当てられる。周囲のグループのヒストグラムはカレントグループの周囲の４つのグループについて

として定義され、ここでi=1, ..., 4である。カレントグループのヒストグラムは、

として定義される。位置ｊの特性

は、

と書くことができる。局所予測について、カレントグループのエラー値は、以下のように計算できる。

すべてのセグメントiはラベルl_iに対応し、セグメンテーションの間、画像のすべてのグループは、上記ラベルに割り当てられる。局所グループの特性は、

として定義される。

局所セグメント化の予測は上で説明した。それにより、エラー値に基づき新しいセグメントが生成されるか、またはそのグループが周囲で最もよく一致するセグメントに割り当てられる。

局所差異の利点は、セグメント化プロセスに局所情報を用いることである。これによりセグメント化の空間的一貫性が確保される。この空間的一貫性は、大域テンプレートのみを用いてセグメント化をしたとき、失われてしまう。

大域テンプレートマッチングについて、画像中のすべてのセグメントのテンプレートは記憶され、カレントグループの特性が画像のすべてのテンプレートの特性と比較される。セグメントにグループを割り当てるため、次のステップを実行する。

セグメント化の間、各グループについてすべてのテンプレートをカレントグループと比較しなければならず、計算が煩雑になる。カレントグループと空間的相互関係の無いセグメントのテンプレートがセグメント化に使用されるが、ノイズが多いセグメント化となってしまう。

テンプレートを用いてセグメント化し、特性が徐々に変化するセグメント同士が一緒になるのを防ぎ、局所セグメント化のように計算を煩雑にしないため、カレントブロックの特性がその周囲のテンプレートの特性から大きく離れている場合に、新しいセグメントをつくる。

ここで、

をカレントブロックに隣接したｊ番目の位置にあるセグメントのテンプレートを表すとすると、本発明によるセグメント化は以下のように行われる。

カレントグループの特性を周囲のセグメントのセグメントテンプレートと比較することにより、計算の煩雑さを低く抑えられるだけでなく、局所情報を使用することができる。

画像をセグメント化する機器を図２に示した。グループ化手段１４、抽出手段１６、記憶手段１７、比較手段１８、決定手段２０、第２の記憶手段２２が示されている。本機器の動作は以下の通りである。

入来画像がグループ化手段１４によりピクセルグループにグループ化される。このグループは、８ｘ８、１６ｘ１６、３２ｘ３２ピクセル等のピクセルブロックでもよい。これらのグループから抽出手段１６により主要特徴が抽出される。各グループについて、主要特性が第２の記憶手段２２に記憶される。比較手段１８は、各グループの主要特徴を、記憶手段１７に記憶されている周辺のグループのセグメントテンプレートと比較する。決定手段２０は、カレントグループの特性の周囲のセグメントテンプレートの特性からの差異が閾値を超えるかどうかを決定する。差異が閾値を超えるとき、新しいテンプレートが生成され、記憶手段１７に記憶される。その他の場合はすべて、カレントグループは周囲のグループの最もマッチするテンプレートに割り当てられる。すべてのグループをセグメント化した後、セグメンテーションマスクを出力する。

図３は、画像を記憶するメモリアレイ２４を説明するための図である。ピクセルは、アレイ２４の左上24_1,1から右下24_5,5の順番で記憶される。これは矢印24aで示した。ピクセルを、アレイの右下24_5,5から左上24_1,1の順番で記憶することも可能である。これは矢印24bで示した。

メモリーマッチトスキャニング（memory matched scanning）を用いると、スキャン方向は記憶方向と一致しなければならない。これは図４に示した。スキャンがメモリーマッチト（memory matched）の場合、スキャン方向は、記憶方向24a、24bに応じて矢印24cまたは24dの通りである。

第１の実施形態において、スキャンは矢印24cのように右下から左上方向である。位置24_3,3のピクセルをセグメント化する際、周囲のピクセル24_4,4、24_4,3、24_4,2、24_3,4のセグメントテンプレートは既知である。ピクセル24_3,3は、周囲のピクセル24_4,4、24_4,3、24_4,2、24_3,4のセグメントテンプレートの１つに割り当てられるか、もしくは新しいセグメントテンプレートが生成される。この判断は差異値に基づく。

第２の実施形態において、スキャンは矢印24dのように左上から右下方向である。位置24_3,3のピクセルをセグメント化する際、周囲のピクセル24_2,2、24_2,3、24_2,4、24_3,2のセグメントテンプレートは既知である。ピクセル24_3,3は、周囲のピクセル24_2,2、24_2,3、24_2,4、24_3,2のセグメントテンプレートの１つに割り当てられるか、もしくは新しいセグメントテンプレートが生成される。この判断は差異値に基づく。

テンプレートマッチングのみでなく空間的情報も用いることにより、セグメント化は高速かつノイズに強くなる。画像のセグメント化、圧縮、強調は、コンシューマエレクトロニクス、MPEGストリーム、医療機器等の多数のアプリケーションのビデオストリームに対してオンラインで実行することができる。

本発明による方法を示すフローチャートである。 本発明による機器を示すブロック図である。 メモリーアレイについて説明するための概略図である。 メモリーアレイのスキャンについて説明するための概略図である。

Claims (12)

1. 画像をセグメントグループにセグメント化する方法であって、前記セグメントは画像特性に基づき、
   ａ）セグメント化のためピクセルグループを決定するステップと、
   ｂ）前記ピクセルグループについて主要特徴を決定するステップと、
   ｃ）周囲のグループからセグメントテンプレートを決定するステップであって、前記セグメントテンプレートは前記周囲のグループ内の一定または連続な特性を記述するところのステップと、
   ｄ）前記グループの特性を前記セグメントテンプレートの特性と比較することにより、前記グループについてエラー値を計算するステップと、
   ｅ）前記グループを前記セグメントテンプレートの１つに割り当てるか、または前記エラー値に基づき新しいセグメントテンプレートを生成するかを決定するステップとを有することを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記画像について複数のグループを決定するステップと、
   前記画像のすべてのグループについて前記ステップａ）からｅ）を実行するステップを有することを特徴とする方法。
3. 請求項１に記載の方法であって、
   前記セグメントテンプレートは空間的および／または時間的に決定することを特徴とする方法。
4. 請求項１に記載の方法であって、
   セグメント化のための前記ピクセルグループのスキャンはメモリマッチトにより行われることを特徴とする方法。
5. 請求項１に記載の方法であって、
   前記グループを前記セグメントテンプレートの１つに割り当てるか、または前記エラー値に基づき新しいセグメントテンプレートを生成するかの決定は閾値に基づくことを特徴とする方法。
6. 請求項１に記載の方法であって、
   前記特性は、クロミナンスおよび／またはルミナンス値、ピクセルの統計的微分、ヒストグラム、共起マトリックスおよび／またはフラクタル次元に基づくことを特徴とする方法。
7. 請求項１に記載の方法であって、
   前記セグメントテンプレートは前記ピクセルの平均ルミナンスおよびクロミナンススパンを有することを特徴とする方法。
8. 請求項２に記載の方法であって、
   前記セグメントテンプレートは少なくとも１つのヒストグラムを有することを特徴とする方法。
9. 請求項３に記載の方法であって、
   前記セグメントテンプレートはモーションモデルを有することを特徴とする方法。
10. 請求項１に記載の方法であって、
    前記セグメントテンプレートは画像位置情報を有することを特徴とする方法。
11. 請求項１に記載の画像セグメント化を計算する機器であって、
    画像のピクセルをグループにグループ化するグループ化手段と、
    前記グループから主要特徴を抽出する抽出手段と、
    周囲のグループのセグメントテンプレートを記憶する記憶手段と、
    前記抽出された特性を前記セグメントテンプレートの特性と比較する比較手段と、
    前記ピクセルグループを前記セグメントテンプレートの１つに割り当てるか、または前記抽出された特性と前記セグメントテンプレートの特性間で決定されたエラー値に基づき新しいセグメントテンプレートを生成するかを決定する決定手段とを有することを特徴とする機器。
12. 画像および／またはビデオ処理、医療画像処理、農作物分析、ビデオ圧縮、動き予測、気象分析、組み立て監視、および／または侵入検知における、請求項１に記載の方法または請求項１１に記載の機器の使用。
    
    
    

Images