JP2005535028A - セグメント化のためのシステムおよびセグメント化方法 - Google Patents

Abstract

【課題】第一ビデオ・イメージ内の第一イメージ特徴を第一ビデオ・イメージ内にある隣接する第二イメージ特徴からセグメント化する、ピクセル精度を有しかつ相対的に容易な方法、ピクセル精度でのセグメント化を行いかつ相対的に容易な、第一段落に説明した種類のセグメント化システム、およびピクセル精度の運動ベクトル場を評価するためのピクセル解像度を有する相対的に容易な運動評価器を提供すること。
【解決手段】 運動、および色または輝度のようなイメージ属性に基づいて、第一ビデオ・イメージ内の第一イメージ特徴 (214) を第一のビデオ・イメージ内の隣接する第二イメージ特徴 (216) からセグメント化するためのセグメント化システム (100)。セグメント化システム (100) は、ピクセルのブロックの運動ベクトル (218〜230) を評価するための、ブロックに基づく運動評価器 (102) と、各々のピクセルのブロックの運動ベクトル (218〜230) に基づいて、第一ビデオ・イメージを、結合されたピクセルのブロックの第一群 (204) と、結合されたピクセルのブロックの第二群 (206) とにセグメント化するための運動セグメント化ユニット (104) と、結合されたピクセルのブロックの第一群と第二群 (214と216) の、ピクセルのブロックの部分のピクセルに基づくセグメント化をイメージ属性の各値に基づいて行うことによって、第一イメージ特徴 (214) を第二イメージ特徴 (214) からセグメント化するための、ピクセルに基づくセグメント化ユニット (106) と、を有する。

Description

本発明は、第一ビデオ・イメージ内の第一イメージ特徴を第一ビデオ・イメージ内にある隣接する第二イメージ特徴からセグメント化する方法に関する。

本発明は更に、第一ビデオ・イメージの第一イメージ特徴を隣接する第二イメージ特徴からセグメント化するためのセグメント化システムに関する。

本発明は更に、このようなセグメント化システムを有する、運動ベクトル場を評価するためのピクセル解像度の運動評価器に関する。

本発明は更に、
‐ 一連のビデオ・イメージを表す信号を受信するための受信手段と、
‐ これらのビデオ・イメージから運動ベクトル場を評価するためのピクセル解像度の運動評価器と、
‐ これらのビデオ・イメージとこの運動ベクトル場に基づいて、処理されたイメージを決定するための、運動補償されたイメージを処理するユニットと、
を有するイメージ処理装置に関する。

第一段落で記載した種類の方法の実施例は、米国特許第6,075,875号から公知となっている。この方法には、選択されたビデオ・イメージ内のピクセルと前のビデオ・イメージ内のピクセルを対応付けて運動表現（例えば、運動ベクトル）を得て、運動によりセグメント化されたビデオ・イメージ特徴を形成することが含まれている。ビデオ・イメージ特徴は、更に、これらの空間イメージ特徴にしたがってセグメント化されて、空間的にセグメント化されたビデオ・イメージ特徴が形成される。最後に、これらのビデオ・イメージ特徴は、運動によりセグメント化されたビデオ・イメージ特徴と、空間的にセグメント化されたビデオ・イメージ特徴との重み付けされた結合体として共にセグメント化される。従来技術によるこの方法の欠点は、運動によりセグメント化されたビデオ・イメージ特徴と、空間的にセグメント化されたビデオ・イメージ特徴とを結合させる方法が、相対的に複雑なことである。2つの異なる量、つまり運動に基づく量と空間的なイメージ特徴とが、重み付けされることに留意されたい。異なる量を重み付けすることは、異例なことである。

米国特許第6,075,875号 G. de Haan外「三次元の再帰的な探索ブロック・マッチングを用いた真の運動評価 (True-Motion Estimation with 3-D Recursive Search Block Matching)」 （ビデオ技術に関する回路とシステムに関するIEEE報告書 (IEEE Transactions on circuits and systems for video technology)、第3巻、第5号、pp.368〜379、1993年10月）

本発明の目的は、ピクセル精度を有しかつ相対的に容易な、第一段落に記載した種類の方法を提供することである。

本発明のこの目的は、
第一ビデオ・イメージ内の第一イメージ特徴を、前記第一ビデオ・イメージ内の隣接する第二イメージ特徴からセグメント化する方法であって、
前記第一イメージ特徴が、実質的に第一値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持ち、かつ前記第一ビデオ・イメージと第二ビデオ・イメージとの間の前記第二イメージ特徴に対する運動を持ち、かつ、
前記第二イメージ特徴が、実質的に前記第一値レンジとは異なる第二値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持つ方法において、
‐ 前記第一ビデオ・イメージをピクセルのブロックに分割することと、
‐ 前記ピクセルのブロック毎に運動ベクトルを評価することと、
‐ 前記第一ビデオ・イメージを結合されたピクセルのブロックの第一群と結合されたピクセルのブロックの第二群とにセグメント化することを、前記各々のピクセルのブロックの前記運動ベクトルに基づいてピクセルのブロックを分類することにより行い、かつこの後に、
結合されたピクセルのブロックの前記第一群と前記第二群のピクセルのブロックであって、結合されたピクセルのブロックの前記第一群と前記第二群との間の境目に前記イメージ属性の前記各値に基づいて位置付けられるように決定されているブロック、の部分をピクセルに基づいてセグメント化することにより、前記第一イメージ特徴を前記第二イメージ特徴からセグメント化することと、
を含む方法によって達成される。

本発明による方法の利点は、2つのセグメント化動作が適切な場所に適用されることである。ブロックに基づく運動セグメント化の結果は、イメージ属性に基づいた、ピクセルに基づくセグメント化のための入力として用いられる。ピクセルに基づくセグメント化は、ビデオ・イメージの小さなサブセット上にある、つまり結合されたピクセルのブロックの第一群と第二群との間の境目にあるオブジェクトの境界、つまりブロック内のイメージ特徴の境界を回復させるために適用される。これは、ピクセルに基づく詳細なセグメント化プロセスが、全てのブロックではなく境界のブロックにしか適用されないので、コンピュータ資源が効率的に用いられる、効率的な方策である。ブロックに基づく運動セグメント化と、ピクセルに基づくセグメント化とがシーケンシャルに適用されるので、従来技術の場合のようにセグメント化アプローチの結果の間を調整する複雑な重み付け因数は、不要である。

本発明による方法の一実施例では、
前記第一ビデオ・イメージを、結合されたピクセルのブロックの前記第一群と、セグメント化されたピクセルのブロックの前記第二群とにセグメント化することが、運動モデルに基づいている。この実施例の利点は、堅固な方法であることである。相対的に多量のデータ、つまり結合されたピクセルのブロックの第一群に対して結合されたブロックの試験群の運動ベクトルの大半または全てが、第一イメージ特徴に属するブロックの適切なコンフィギュレーションを評価するために適用される。換言すれば、この方法は領域フィッティングの1タイプである。多くのセグメント化方法の場合、ブロックが特定のセグメントに対応しているか否かを決定するために、セグメントの境目にあるブロックしか考慮しない。運動モデルは、回転および／または翻訳に基づくものでもよい。しかしながら、セグメント化は、アフィン運動モデルに基づいていることが好ましい。

本発明による方法の一実施例では、
前記第一ビデオ・イメージを、前記結合されたピクセルのブロックの第一群と、前記結合されたピクセルのブロックの第二群とにセグメント化することが、
‐ 特定のピクセルのブロックを有する結合されたピクセルのブロックの第一初期群を、前記結合されたピクセルのブロックの第一群に対して作成することと、
‐ 前記結合されたピクセルのブロックの第一初期群に対して第一運動モデルを決定することと、
‐ 前記第一ビデオ・イメージの前記ピクセルのブロックの各々に対する運動ベクトルの評価時に評価される、前記特定のピクセルのブロックに対応する運動ベクトルと、前記第一運動モデルに基づく、前記特定のピクセルのブロックに対応する運動ベクトルとの間の第一マッチ・エラーを計算することと、
‐ 結合されたピクセルのブロック用の試験群のための第二運動モデルを、前記結合されたピクセルのブロックの第一初期群に基づいて計算するが、前記特定のピクセルのブロックは除外することと、
‐ 前記第一ビデオ・イメージの前記ピクセルのブロックの各々に対する運動ベクトルの評価時に評価される、前記特定のピクセルのブロックに対応する運動ベクトルと、前記第二運動モデルに基づく、前記特定のピクセルのブロックに対応する運動ベクトルとの間の第二マッチ・エラーを計算することと、
‐ 前記特定のピクセルのブロックが、前記結合されたピクセルのブロックの第一群に対応しているか否かを、前記第一マッチ・エラーと前記第二マッチ・エラーに基づいて決定することと、
が含まれる。

本発明によるこの実施例の利点は、スキャンニングによるアプローチがこの実施例によって可能になることである。このアプローチとは、ブロック毎にスキャニングすることであり、例えば、左最上部から右最下部までの各ブロックを繰り返し試験するものである。試験とは、イメージ特徴の内の1つに対応するブロック群を最終的に形成させるために、各ブロックを他のどのブロックにマージさせる必要があるのかを、ブロック毎に評価することを意味する。スキャニングによるアプローチの利点は、相対的に簡単に実施可能なことである。

本発明による方法の一実施例では、前記ピクセルに基づくセグメント化は空間色モデルに基づいている。換言すれば、ピクセルに基づくセグメント化が基づいているイメージ属性は、色である。色は、セグメント化のための相対的に良好な手がかりである。この実施例の場合、2つのセグメント化アプローチが、適切なスケール解像度に適用される。つまり、キャプチャされている場面内のオブジェクトの速度が異なることにより生じるテクスチャの差と運動の差により、色差が生じるので、高周波には色が適用され、かつ低周波には運動セグメント化が適用される。

本発明による方法の一実施例では、
前記ピクセルに基づくセグメント化は、空間色モデルに基づいている。換言すれば、ピクセルに基づくセグメント化が基づいているイメージ属性は、輝度である。輝度は、セグメント化のための相対的に良好な手がかりである。

本発明による方法の一実施例では、
前記イメージ属性の値の段差は、
前記結合されたピクセルのブロックの第一群のピクセルのブロックであって、結合されたピクセルのブロックの前記第一群と前記第二群との間の境目に位置付けられるように決定されているブロック、の部分の第一ブロック内で検出される。値の段差は、第一イメージ特徴のエッジ部に対応する。

前記段差は、
‐ 前記第一ブロックのピクセルに対して、前記イメージ属性の第一平均値を計算することと、
‐ 第一平均値と、前記第一ブロックのピクセルの各値とに基づいて、第一差測度を計算することと、
‐ 前記第二ピクセル群に対応しかつ前記第一ブロックに結合されている第二ピクセルのブロックのピクセルに対して、前記イメージ属性の第二平均値を計算することと、
‐ 前記第二平均値と、前記第二ブロックのピクセルの各値とに基づいて、第二差測度を計算することと、
‐ 前記第一ブロックに基づいて第一試験ピクセル群を作成するが特定のピクセルは除外し、かつ前記第二ブロックに基づいて第二試験ピクセル群を作成して前記特定のピクセルを有することと、
‐ 前記第一試験群のピクセルに対して、前記イメージ属性の第三平均値を計算することと、
‐ 前記第三平均値と、前記第一試験群のピクセルの各値とに基づいて、第三差測度を計算することと、
‐ 前記第二試験群のピクセルに対して、前記イメージ属性の第四平均値を計算することと、
‐ 前記第四平均値と、前記第二試験群のピクセルの各値とに基づいて、第四差測度を計算することと、
‐ 前記特定のピクセルが、前記第一イメージ特徴または前記第二イメージ特徴のどちらに属しているのかを、前記第一差測度、前記第二差測度、前記第三差測度、および前記第四差測度に基づいて決定することと、
により検出されることが好ましい。この実施例の利点は、これが堅固な方法であることである。相対的に多量のデータ、つまり第一と第二のピクセルのブロックの大半または全てのピクセルが、第一イメージ特徴に属するピクセルの適切なコンフィギュレーションを評価するために適用される。これは、いわゆる領域フィッティング・アプローチである。

本発明の更なる目的は、ピクセル精度でのセグメント化を行いかつ相対的に容易な、第一段落に説明した種類のセグメント化システム提供することである。

本発明のこの目的は、
第一ビデオ・イメージ内の第一イメージ特徴を、前記第一ビデオ・イメージ内の隣接する第二イメージ特徴からセグメント化するためのセグメント化システムであって、
前記第一イメージ特徴が、実質的に第一値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持ち、かつ前記第一ビデオ・イメージと第二ビデオ・イメージとの間に前記第二イメージ特徴に対する運動を持ち、かつ、
前記第二イメージ特徴が、実質的に前記第一値レンジとは異なる第二値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持つセグメント化システムにおいて、
‐ 前記第一ビデオ・イメージをピクセルのブロックに分割するための分割システムと、
‐ 前記ピクセルのブロック毎に運動ベクトルを評価するためのブロックに基づく運動評価器と、
‐ 前記ピクセルのブロックの各々の前記運動ベクトルに基づいて前記ピクセルのブロックを分類することにより、前記第一ビデオ・イメージを、結合されたピクセルのブロックの第一群と結合されたピクセルのブロックの第二群とにセグメント化するための運動セグメント化ユニットと、
結合されたピクセルのブロックの前記第一群と前記第二群のピクセルのブロックであって、結合されたピクセルのブロックの前記第一群と前記第二群との間の境目に前記イメージ属性の前記各値に基づいて位置付けられるように決定されているブロック、の部分をピクセルに基づいてセグメント化することにより、前記第一イメージ特徴を前記第二イメージ特徴からセグメント化するための、ピクセルに基づいたセグメント化ユニットと、
を有することにより達成される。

本発明の更なる目的は、ピクセル精度の運動ベクトル場を評価するための、ピクセル解像度を有する相対的に容易な運動評価器を提供することである。

本発明のこの目的は、ピクセル精度の運動評価器が、請求項9に記載のセグメント化システムを有することにより達成される。これに代えて、このピクセル精度の運動評価器には、セグメント化システムにより計算された結果を供給しても良い。

本発明によるピクセル精度の運動評価器の一実施例を、第一段落に説明したイメージ処理装置に適用すると有利である。このイメージ処理装置は、更なる構成要素（例えば、処理されたイメージを表示するための表示デバイス、または処理されたイメージを格納するための格納手段）を有してもよい。運動補償されたイメージ処理ユニットは、以下のタイプのイメージ処理を1つ以上サポートしてもよい。
‐ デインターレーシング：インターレーシングとは、奇数番号または偶数番号のイメージ線を交互に伝送するための、一般的なビデオ・ブロードキャスト・プロシージャである。デインターレーシングは、垂直解像度を完全に復元すること、つまり奇数線と偶数線とをイメージ毎に同時に利用可能にすることを試みる。
‐ 上位変換：一連の元の入力イメージから、より大きな一連の出力イメージが計算される。出力イメージは、2つの元の入力イメージ間に一時的に位置する。
‐ 一時的なノイズ低減：空間処理もこれに含めて、一時的な空間ノイズを低減させることができる。
‐ ビデオ圧縮：例えば、MPEG規格またはH26L規格に準拠したエンコーディングまたはデコーディングのことである。

本方法の変更態様および本方法の変種は、説明したセグメント化システム、ピクセル精度の運動評価器、およびイメージ処理装置の変更態様と変種に対応してもよい。

本発明による方法、セグメント化システム、ピクセル精度の運動評価器、およびイメージ処理装置のこれらの態様と他の態様は、添付の図面を参照することにより、以下に説明する実施例と具現例から明らかになり、かつこれらの実施例と具現例に関して解明されるであろう。図面全体に渡り、同様の部分を示すために同一の参照番号が用いられている。

図1は、本発明によるセグメント化システムの一実施例を概略的に示している。セグメント化システム100は、第一ビデオ・イメージ内の第一イメージ特徴214を、第一ビデオ・イメージ内の隣接する第二イメージ特徴216からセグメント化するように構成されている。第一イメージ特徴214は、第一値レンジ内に実質的にある色値を各々有する複数のピクセルを持ち、かつ第二イメージ特徴216は、第一値レンジとは異なる第二値レンジ内に実質的にある各色値を有する複数のピクセルを持っている。第一イメージ特徴214は、第一ビデオ・イメージと第二ビデオ・イメージとの間に、第二イメージ特徴216に対する運動を持っている。第二ビデオ・イメージは、第一ビデオ・イメージの後ろでも前でもよい。セグメント化システム100は、ビデオ・イメージを表す信号を入力コネクタ108で受信し、かつピクセル精度のセグメント化結果
を出力コネクタ110に供給する。セグメント化システム100は以下のものを有する。
‐ 運動ベクトルを評価するための、ブロックに基づく運動評価器102。この運動評価器102は、第一ビデオ・イメージが分割ユニット103によって分割されたブロック毎に運動ベクトル218〜230を評価するように構成されている。この分割とは、第一ビデオ・イメージのピクセルがピクセルのブロックにクラスタ化されることを意味する。通常、ピクセルのブロックは1つで8×8ピクセルを有する。運動評価器102は、G. de Haan外による論文「三次元の再帰的な探索ブロック・マッチングを用いた真の運動評価 (True-Motion Estimation with 3-D Recursive Search Block Matching)」（ビデオ技術に関する回路とシステムに関するIEEE報告書 (IEEE Transactions on circuits and systems for video technology)、第3巻、第5号、pp.368〜379、1993年10月）に記載されているものが好ましい。運動評価器102は、ブロックに基づく運動ベクトル場
を、
‐ ピクセルのブロックの各々の運動ベクトル218〜230に基づいてピクセルのブロックを分類することにより、第一ビデオ・イメージを、結合されたピクセルのブロックの第一群204C（図2Cを参照されたい）と、結合されたピクセルのブロックの第二群206C（図2Cを参照されたい）とにセグメント化するように構成されている、運動セグメント化ユニット104、
に供給する。

セグメント化ユニット104は、ブロックに基づくセグメント化の結果
を、
‐ 結合されたピクセルのブロックの第一群204と第二群206のピクセルのブロック302〜306であって、結合されたピクセルのブロックの第一群204と第二群206との間の境目に位置付けられるように決定されているブロック、の部分をピクセルに基づいてセグメント化することにより、第一イメージ特徴214を第二イメージ特徴216からセグメント化するように構成されている、ピクセルに基づくセグメント化ユニット106、
に供給する。ピクセルに基づくセグメント化ユニット106は、ピクセルの色値に基づいてセグメント化を行うように設計されている。

運動セグメント化ユニット104の挙動に関しては、図2A〜2Cに関連付けて更に詳述し、かつピクセルに基づくセグメント化ユニット106の挙動に関しては、図3A〜3Eに関連付けて更に詳述する。

セグメント化システム100の、ブロックに基づく運動評価器102、運動セグメント化ユニット104、およびピクセルに基づくセグメント化ユニット106は、プロセッサを1つ用いて実施してもよい。これらの機能は、ソフトウエア・プログラムの制御下で通常行われる。実行時には通常このソフトウエア・プログラム製品は、RAMのようなメモリにロードされ、かつここから実行される。このプログラムは、ROM、ハード・ディスク、または磁気的および／または光学的な格納装置のようなバックグラウンド・メモリからロードしてもよいし、またはインターネットのようなネットワークを介してロードしてもよい。これに代えて、ある用途に特化した集積回路によって機能性を非開示としても良い。

図2Aには、運動ベクトル場200が描かれている。運動ベクトル場200は、ピクセルのブロック毎に幾つかの運動ベクトル218〜230を有する。これらのピクセルのブロックは、結合されたピクセルのブロック202A〜212Aの6つの初期群にクラスタ化されている。換言すれば図2Aは、ブロックに基づいて運動をセグメント化した場合におけるブロックの初期コンフィギュレーションを概略的に示している。結合されたブロックの初期群の数は、イメージ特徴、つまりビデオ・イメージ内でセグメント化することが求められているオブジェクトの最大数に対応する。この例示的な事例では、結合されたピクセルのブロックの各初期群202A〜212Aは、5×5個のブロックを有している。結合されたブロックの特定の初期群のピクセルのブロックは全て、同じ分類ラベルを持つ。全てのブロックは、スキャニング・アプローチにより評価されるであろう。このことは、結合されたピクセルのブロック（図2Cを参照されたい）の適切なクラスタまたは群202C〜206Cが決定されることを意味する。このような結合されたピクセルのブロックの群202C〜206Cは、第一ビデオ・イメージ内のイメージ特徴214, 216の内の1つに対応する。適切な群を見つけることは、結合されたピクセルのブロック202〜206Cのどの群にイメージ特徴が属するのかという試験を、これらのブロックに対して何回も繰り返すことにより達成される。この試験は、一定の回数だけ繰り返してもよい。これに代えて、結合されたブロックの中間群202B〜212Bを変更しても少しのプラス効果もない場合は、結合されたブロックの様々な中間群202B〜212Bを評価するプロセスは中止される。この評価プロセスは、位相幾何学的な制約により束縛されている。結合されたブロック群202A〜212A, 202B〜212Bの境目にあるブロックしか試験されない。試験が何回か繰り返された後に、ブロックの中間群202B〜212Bの境目にブロックが位置するようになる場合があることに留意されたい。ブロックを境目だけに当てはめることは、この制約を持たない周知のk-meansアプローチとは異なる点である。特定のピクセルのブロック232の評価には、幾つかのステップが含まれる。このことを、最初のスキャン時の特定のピクセルのブロック232に関して説明する（図2Aを参照されたい）。
‐ 特定のピクセルのブロック232を有する結合されたピクセルのブロックの第一初期群204Aを作成すること。
‐ 結合されたピクセルのブロックの第一初期群204Aに対して第一運動モデルを決定すること。
‐ 第一ビデオ・イメージの各々のピクセルのブロックに対する運動ベクトル評価時に評価される、特定のピクセルのブロック232に対応する運動ベクトルと、第一運動モデルに基づく、特定のピクセルのブロック232に対応する運動ベクトルとの間の第一マッチ・エラーを計算すること。このマッチ・エラーは、これらの運動ベクトル間のユークリッド距離に基づいていることが好ましい。
‐ 結合されたピクセルのブロックの試験群204Bに対する第二運動モデルを、結合されたピクセルのブロックの第一初期群204Aに基づいて計算するが、特定のピクセルのブロック232は除外すること（図2Bの204Bを参照されたい）。
‐ 第一ビデオ・イメージの各々のピクセルのブロックに対する運動ベクトル評価時に評価される、特定のピクセルのブロック232に対応する運動ベクトルと、第二運動モデルに基づく、特定のピクセルのブロック232に対応する運動ベクトルとの間の第二マッチ・エラーを計算すること。
‐ 特定のピクセルのブロック232が、結合されたピクセルのブロックの第一群204Cに対応しているか否かを、第一マッチ・エラーと第二マッチ・エラーに基づいて決定すること。
これは、特定のピクセルのブロック232がより良好にマッチングするのが、結合されたピクセルのブロックの第一初期群204Aなのか、または結合されたピクセルのブロックの隣接群202Aなのかを試験することを意味する。この場合、特定のピクセルのブロック232は、後者のブロック群202Aの方により良好にマッチングすると思われるので、結合されたピクセルのブロックの隣接群202Aは特定のブロック232が拡張される。この結果、中間ブロック群202Bが得られる。第一初期ブロック群204Aは、特定ブロック232を除いて中間ブロック群204Bに適合化される（図2Bを参照されたい）。

これに代えて、特定のピクセルのブロック232が、初期ブロック群202A〜212Aのどれに属しているのかを決定するために、更なるマッチ・エラーを計算しかつ考慮しても良い。例えば、図2Aに示す結合されたピクセルのブロックの第二初期群202Aに対しては第三マッチ・エラーが計算され、かつ図2Bに示す結合されたピクセルのブロックの第二試験群202Bに対しては第四マッチ・エラーが計算される。

特定のピクセルのブロック232が、結合されたピクセルのブロックの第一初期群204A、または結合されたピクセルのブロックの隣接群202Aの何れにより良好にマッチングするかという試験は、結合されたピクセルのブロックの第一初期群204Aと、結合されたピクセルのブロックの隣接群202Aとを用いた評価により行うこともできる。このことは、結合されたピクセルのブロックの第一初期群204Aから、結合されたピクセルのブロックの隣接群202Aへ特定のピクセル群232を移動させることによる、これらの群の適合化を行わなくても、この試験が可能となることを意味する。この場合、両方の結合されたブロック群に対して運動モデルが計算される。

図2Bは、ブロックに基づく運動セグメント化が一回変更された場合に更新されたブロックのコンフィギュレーションを概略的に示している。この変更は、直接的に、または運動ベクトル場の全ての関連するブロックの評価が完了した後に実行することができる。関連する、とは、これらのブロックが、結合されたピクセルのブロック群の境目に位置付けられていることを意味する。

特定のピクセルのブロック232が、結合されたピクセルのブロックの第一初期群204Aから、水平に位置付けられた近接するブロック群202Aへ移動していることが図示されている。しかしながら、例えば、別のピクセルのブロックが、第一初期ブロック群204Aから、下にあるピクセルのブロック群210Aへ移動する、垂直方向の移動も可能である。

試験が数回繰り返された後、幾つかの最終的なピクセルのブロック群202C〜206Cが見出される。これらの最終的なピクセルのブロック群202C〜206Cが、ブロックに基づく運動セグメント化の出力となる。図2Cは、この出力、つまりブロックに基づく運動セグメント化の結果得られるコンフィギュレーションを、概略的に示している。この出力は、ピクセルに基づくセグメント化ユニット106に供給されて、更なる処理、つまり第一イメージ特徴214と第二イメージ特徴216との間の実際の境目の検出が行われる。

1対のイメージ（例えば、第一イメージと第二イメージ）に対する、ブロックに基づく運動セグメント化の結果は、次のイメージ対のブロックに基づく運動セグメント化を初期化するために適用されることが好ましい。

図3Aは、ピクセルに基づくセグメント化のための入力ブロック302〜306を概略的に示している。この運動セグメント化の結果は、ブロックの内の1つが第一イメージのビデオ特徴214に属し（そのように1のラベルが付けられている）、および2つのブロック304と306が第二イメージのビデオ特徴216に属している（そのように2のラベルが付けられている）ことを示している。第一イメージ特徴214の実際のエッジ部を見つけるために、隣接するブロック対が評価される。

図3Bは、水平に隣接するブロック302と304の対の初期エッジ部308を概略的に示している。ブロックに基づく運動セグメント化に関する上述の説明と同様の方法で、ピクセルに基づくセグメント化が行われる。同様とは、結合されたピクセル群のどれにピクセルが対応しているのかという評価がピクセルに対して行われるという意味である。この評価は、以下の仮定に基づく空間色モデルに基づいて行われる。隣接するブロック302と304の対から成る、色値が実質的に第一値レンジ内にある結合された第一ピクセルと、色値が実質的に第二値レンジ内にある第二ピクセル群とが存在する。この他に、結合された第一ピクセル群と、結合された第二ピクセル群との間には、色値の推移または段差がある。このことは、これらの2つの結合されたピクセル群の内のどれにピクセルが対応するのかが、隣接するブロック302と304の対のピクセルに対して評価されることを意味する。この評価は反復プロセスにより行われる。この評価は一定回数だけ繰り返してもよい。これに代えて、結合されたピクセルの中間群を変更しても少しのプラス効果もない場合、結合されたピクセルの様々な中間群を評価するプロセスは中止される。特定のピクセルに対する評価には、以下のステップが含まれる。
‐ 隣接するブロック302, 304の対の第一ピクセルのブロック302のピクセルに対して、第一平均色値を計算すること。
‐ 第一平均色値と、第一ブロック302のピクセルの各値とに基づいて、第一差測度を計算すること。
‐ 隣接するブロック302, 304の対の第二ピクセルのブロック304のピクセルに対して、第二平均色値を計算すること。
‐ 第二平均色値と、第二ピクセルのブロック304のピクセルの各値とに基づいて、第二差測度を計算すること。
‐ 第一ブロック302に基づいて第一試験ピクセル群を作成するが特定ピクセルを除外すること、および第二ブロック304に基づいて第二試験ピクセル群を作成して特定のピクセルを有すること。
‐ 第一試験群のピクセルに対して第三平均色値を計算すること。
‐ 第三平均色値と、第一試験群のピクセルの各値とから、第三差測度を計算すること。
‐ 第二試験群のピクセルに対して第四平均色値を計算すること。
‐ 第四平均色値と、第二試験群のピクセルの各値とに基づいて、第四差測度を計算すること。
‐ 特定のピクセルが属しているのが、結合されたピクセルの第一群、または結合されたピクセルの第二群かを、第一差測度、第二差測度、第三差測度、および第四差測度に基づいて決定すること。
試験が何回か繰り返された後、最終的なピクセルの第一群は、第一イメージ特徴に対応するピクセルを有し、かつ最終的なピクセルの第二群は、第二イメージ特徴に対応するピクセルを有する。図3Cは、図3Bの水平なブロック対に対して検出されたエッジ部308を概略的に示している。

水平に位置付けられた隣接するブロック302, 304の対の評価が完了した後、垂直に位置付けられた隣接するブロック302, 306の対に対して同様の評価が開始される。図3Dは、この垂直に位置付けられた隣接するブロック302, 306の対に対する初期エッジ部310を概略的に示している。図3Eは、最終的に検出されたエッジ部310を概略的に示している。水平に位置付けられた隣接するブロック302, 304の対と、垂直に位置付けられた隣接するブロック302, 306の対との評価を同時に行ってもよいことに留意されたい。

色についてしか議論されていないが、ピクセルに基づくセグメント化には、他のイメージ属性（例えば、輝度、または色と輝度の結合体、もしくは、隣接するピクセル間の色/輝度値の差などの導出された属性）を適用できる点に留意されたい。

図4Aは、ピクセル精度の運動ベクトル場を評価するための運動評価器400の入力と出力を概略的に示している。図1に関連付けて説明したブロックに基づく運動評価器102により計算された運動ベクトル場
は、入力コネクタ404に供給される。オプションで、運動セグメント化ユニット104により計算された運動モデルも供給される。運動ベクトル場
のブロック解像度のため、運動ベクトル218〜230は第一ビデオ・イメージの全てのピクセルに対して不正確である。しかしながら、運動評価器400の別の入力コネクタ406には、図1に関連付けて説明したセグメント化システム100により、ピクセル精度のセグメント化結果
も供給される。供給される情報を結合することにより、ピクセル精度の運動ベクトル場を決定することができる。特にイメージ特徴214, 216の境目に位置するブロックのピクセルは、誤っている場合がある。運動ベクトルはこれらのピクセルの各々に割り当てられ、これらのブロックは隣接するブロックに対して評価されている運動ベクトルに対応していることが好ましい。隣接する適切なブロックの選択、かつしたがって運動ベクトルの選択は、セグメント化結果
により決定される。一般に、イメージ特徴214, 216の境目に位置するブロックのピクセルの一部分には、第一イメージ特徴214に対応するブロックの運動ベクトルに等しい運動ベクトルが割り当てられ、かつ別のピクセルの部分には、第一イメージ特徴214に隣接する第二イメージ特徴216に対応するブロックの運動ベクトルに等しい別の運動ベクトルが割り当てられる。

図4Bは、ピクセル精度の運動ベクトル場を評価するための代替の運動評価器401の入力と出力を概略的に示している。入力コネクタ402にはビデオ・イメージが供給され、かつ運動評価器401の別の入力コネクタ406には、図1に関連付けて説明したセグメント化システム100により、ピクセル精度のセグメント化結果
も供給される。ピクセル精度の運動評価器401は、セグメント化システム100によりセグメント化されたイメージ特徴214, 216の各々に対応するピクセル群に対する運動ベクトルの計算を、これらのピクセル群のピクセルを、前または後のビデオ・イメージの対応するピクセルと比較することにより行うように構成されている。この比較は、ピクセル値の絶対的な差の合計に対応するマッチ・エラーに基づいていることが好ましい。

図5は、本発明によるイメージ処理装置500の要素を概略的に示している。イメージ処理装置500は以下のものを有する。
‐ 何らかの処理が行われた後に表示されるビデオ・イメージを表す信号を受信するための受信ユニット502。この信号は、アンテナまたはケーブルを介して受信されるブロードキャスト信号でもよいが、ビデオ・カセット・レコーダ (VCR) またはデジタル汎用ディスク (DVD) のような格納デバイスからの信号でもよい。この信号は、入力コネクタ510に供給される。
‐ 処理ユニット504は、図1と図4Aの各々に関連付けて説明したセグメント化システム100と運動評価器401を有する。
‐ 運動補償されたイメージ処理ユニット506。
‐ 処理されたイメージを表示するための表示デバイス508。この表示デバイス508は、オプションである。

運動補償されたイメージ処理ユニット506は、その入力として、イメージと運動ベクトルとを必要とする。運動補償されたイメージ処理ユニット506は、次のタイプのイメージ処理：デインターレーシング；上位変換；一時的なノイズ低減；およびビデオ圧縮、を一つ以上サポートしてもよい。

上述の実施例は、本発明を限定ではなく例示しているのであり、かつ添付の請求の範囲の範囲内で代替実施例を設計することが当業者には可能となる点に留意すべきである。請求項では、括弧間に配置されているどの引用符号も、請求項を限定するものとして構築されているのではない。「有する」という語によって、請求項に列挙されていない要素またはステップの存在が除外されるわけではない。ある要素に先行する「１つの」という語によって、そのような要が複数存在することが除外されるわけではない。本発明は、幾つかの別個要素を有するハードウエア、および適切にプログラムされたコンピュータにより実施可能である。幾つかの手段を列挙しているユニット請求項では、これらの手段の幾つかをハードウエアの全く同一の品目により具現化させることができる。

本発明によるセグメント化システムの一実施例を概略的に示す。 ブロックに基づく運動セグメント化を行った場合におけるブロックの初期のコンフィギュレーションを概略的に示す。 図2Aのブロックを一回変更した後の更新されたコンフィギュレーションを概略的に示す。 ブロックに基づく運動セグメント化の結果得られるブロックのコンフィギュレーションを概略的に示す。 ピクセルに基づくセグメント化のための入力ブロックを概略的に示す。 ピクセルに基づくセグメント化のための水平ブロック対の初期エッジ部を概略的に示す。 図3Bの水平なブロック対に対して検出されたエッジ部を概略的に示す。 ピクセルに基づくセグメント化のための垂直ブロック対に対する初期エッジ部を概略的に示す。 最後に検出されたエッジ部を概略的に示す。 ピクセル精度の運動ベクトル場を評価するための運動評価器の入力と出力を概略的に示す。 ピクセル精度の運動ベクトル場を評価するための代替の運動評価器の入力と出力を概略的に示す。 本発明によるイメージ処理装置の各要素を概略的に示す。

符号の説明

100…セグメント化システム
102…運動評価器
103…分割システム
104…運動セグメント化ユニット
204…結合されたピクセルのブロックの第一群
206…結合されたピクセルのブロックの第二群
214…第一イメージ特徴
216…第二イメージ特徴
232…特定のピクセルのブロック
302…第一ブロック
304…第二ピクセルのブロック
400, 401, 504…運動評価器
500…イメージ処理装置
502…受信手段
506…運動補償されたイメージ処理ユニット

Claims (17)

1. 第一ビデオ・イメージ内の第一イメージ特徴を、前記第一ビデオ・イメージ内の隣接する第二イメージ特徴からセグメント化する方法であって、
   前記第一イメージ特徴が、実質的に第一値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持ち、かつ前記第一ビデオ・イメージと第二ビデオ・イメージとの間に前記第二イメージ特徴に対する運動を持ち、かつ、
   前記第二イメージ特徴が、実質的に前記第一値レンジとは異なる第二値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持つ方法において、
   ‐ 前記第一ビデオ・イメージをピクセルのブロックに分割することと、
   ‐ 前記ピクセルのブロック毎に運動ベクトルを評価することと、
   ‐ 前記第一ビデオ・イメージを、結合されたピクセルのブロックの第一群と、結合されたピクセルのブロックの第二群とにセグメント化することを、前記各々のピクセルのブロックの前記運動ベクトルに基づいてピクセルのブロックを分類することにより行い、かつこの後に、
   結合されたピクセルのブロックの前記第一群と前記第二群のピクセルのブロックであって、結合されたピクセルのブロックの前記第一群と前記第二群との間の境目に前記イメージ属性の前記各値に基づいて位置付けられるように決定されているブロック、の部分をピクセルに基づいてセグメント化することにより、前記第一イメージ特徴を前記第二イメージ特徴からセグメント化することと、
   を含む方法。
2. 前記第一ビデオ・イメージを、前記結合されたピクセルのブロックの第一群と、前記結合されたピクセルのブロックの第二群とにセグメント化することが、運動モデルに基づいている、請求項１に記載の方法。
3. 前記第一ビデオ・イメージを、前記結合されたピクセルのブロックの第一群と、前記結合されたピクセルのブロックの第二群とにセグメント化することが、アフィン運動モデルに基づいている、請求項2に記載の方法。
4. 前記第一ビデオ・イメージを、前記結合されたピクセルのブロックの第一群と、前記結合されたピクセルのブロックの第二群とにセグメント化することが、
   ‐ 特定のピクセルのブロックを有する結合されたピクセルのブロックの第一初期群を、前記結合されたピクセルのブロックの第一群に対して作成することと、
   ‐ 前記結合されたピクセルのブロックの第一初期群に対して第一運動モデルを決定することと、
   ‐ 前記第一ビデオ・イメージの前記ピクセルのブロックの各々に対する運動ベクトルの評価時に評価される、前記特定のピクセルのブロックに対応する運動ベクトルと、前記第一運動モデルに基づく、前記特定のピクセルのブロックに対応する運動ベクトルとの間の第一マッチ・エラーを計算することと、
   ‐ 結合されたピクセルのブロック用の試験群のための第二運動モデルを、前記結合されたピクセルのブロックの第一初期群に基づいて計算するが、前記特定のピクセルのブロックは除外することと、
   ‐ 前記第一ビデオ・イメージの前記ピクセルのブロックの各々に対する運動ベクトルの評価時に評価される、前記特定のピクセルのブロックに対応する運動ベクトルと、前記第二運動モデルに基づく、前記特定のピクセルのブロックに対応する運動ベクトルとの間の第二マッチ・エラーを計算することと、
   ‐ 前記特定のピクセルのブロックが、前記結合されたピクセルのブロックの第一群に対応しているか否かを、前記第一マッチ・エラーと前記第二マッチ・エラーに基づいて決定することと、
   を含む、請求項2または3に記載の方法。
5. 前記ピクセルに基づくセグメント化が、空間色モデルに基づいている、請求項１に記載の方法。
6. 前記ピクセルに基づくセグメント化が、空間輝度モデルに基づいている、請求項１に記載の方法。
7. 前記イメージ属性の値の段差が、
   前記結合されたピクセルのブロックの第一群のピクセルのブロックであって、結合されたピクセルのブロックの前記第一群と前記第二群との間の境目に位置付けられるように決定されているブロック、の部分の第一ブロック内で検出される、請求項5または請求項6に記載の方法。
8. 前記段差が、
   ‐ 前記第一ブロックのピクセルに対して、前記イメージ属性の第一平均値を計算することと、
   ‐ 第一平均値と、前記第一ブロックのピクセルの各値とに基づいて、第一差測度を計算することと、
   ‐ 前記第二ピクセル群に対応しかつ前記第一ブロックに結合されている第二ピクセルのブロックのピクセルに対して、前記イメージ属性の第二平均値を計算することと、
   ‐ 前記第二平均値と、前記第二ブロックのピクセルの各値とに基づいて、第二差測度を計算することと、
   ‐ 前記第一ブロックに基づいて第一試験ピクセル群を作成するが特定のピクセルは除外し、かつ前記第二ブロックに基づいて第二試験ピクセル群を作成して前記特定のピクセルを有することと、
   ‐ 前記第一試験群のピクセルに対して、前記イメージ属性の第三平均値を計算することと、
   ‐ 前記第三平均値と、前記第一試験群のピクセルの各値とに基づいて、第三差測度を計算することと、
   ‐ 前記第二試験群のピクセルに対して、前記イメージ属性の第四平均値を計算することと、
   ‐ 前記第四平均値と、前記第二試験群のピクセルの各値とに基づいて、第四差測度を計算することと、
   ‐ 前記特定のピクセルが、前記第一イメージ特徴または前記第二イメージ特徴のどちらに属しているのかを、前記第一差測度、前記第二差測度、前記第三差測度、および前記第四差測度に基づいて決定することと、
   により検出される、請求項７に記載の方法。
9. 第一ビデオ・イメージ内の第一イメージ特徴を、前記第一ビデオ・イメージ内の隣接する第二イメージ特徴からセグメント化するためのセグメント化システムであって、
   前記第一イメージ特徴が、実質的に第一値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持ち、かつ前記第一ビデオ・イメージと第二ビデオ・イメージとの間に前記第二イメージ特徴に対する運動を持ち、かつ、
   前記第二イメージ特徴が、実質的に前記第一値レンジとは異なる第二値レンジ内にあるイメージ属性の各値を有する複数のピクセルを持つセグメント化システムにおいて、
   ‐ 前記第一ビデオ・イメージをピクセルのブロックに分割するための分割システムと、
   ‐ 前記ピクセルのブロック毎に運動ベクトルを評価するためのブロックに基づく運動評価器と、
   ‐ 前記ピクセルのブロックの各々の前記運動ベクトルに基づいて前記ピクセルのブロックを分類することにより、前記第一ビデオ・イメージを、結合されたピクセルのブロックの第一群と結合されたピクセルのブロックの第二群とにセグメント化するための運動セグメント化ユニットと、
   結合されたピクセルのブロックの前記第一群と前記第二群のピクセルのブロックであって、結合されたピクセルのブロックの前記第一群と前記第二群との間の境目に前記イメージ属性の前記各値に基づいて位置付けられるように決定されているブロック、の部分をピクセルに基づいてセグメント化することにより、前記第一イメージ特徴を前記第二イメージ特徴からセグメント化するための、ピクセルに基づいたセグメント化ユニットと、
   を有するセグメント化システム。
10. 請求項9に記載の前記セグメント化システムを有する、運動ベクトル場を評価するためのピクセル解像度の運動評価器。
11. 前記第一イメージ特徴を前記第二イメージ特徴からセグメント化することに基づいて、前記各ブロックに対して評価された前記運動ベクトルを、前記第一ビデオ・イメージの前記各ピクセルに割り当てるように構成されている、請求項10に記載のピクセル解像度の運動評価器。
12. 前記第一イメージ特徴のピクセルを前記第二ビデオ・イメージの対応するピクセルと比較することによって、前記第一イメージ特徴に対して新たな運動ベクトルを評価するように構成されている、請求項10に記載のピクセル解像度の運動評価器。
13. ‐ 一連のビデオ・イメージを表す信号を受信するための受信手段と、
    ‐ 前記ビデオ・イメージから運動ベクトル場を評価するための、請求項10に記載のピクセル解像度の運動評価器と、
    ‐ 処理されたイメージを前記ビデオ・イメージと前記運動ベクトル場に基づいて決定するための、運動補償されたイメージ処理ユニットと、
    を有する、イメージ処理装置。
14. 前記運動補償されたイメージ処理ユニットが、ビデオ圧縮を行うように設計されている、請求項13に記載のイメージ処理装置。
15. 前記運動補償されたイメージ処理ユニットが、前記一連のイメージ内のノイズを低減させるように設計されている、請求項13に記載のイメージ処理装置。
16. 前記運動補償されたイメージ処理ユニットが、前記一連のイメージをデインターレースするように設計されている、請求項13に記載のイメージ処理装置。
17. 前記運動補償されたイメージ処理ユニットが、上方変換を行うように設計されていることを特徴とする、請求項13に記載のイメージ処理装置。