JP2001076161A

JP2001076161A - 画像処理方法及び装置並びに記憶媒体

Info

Publication number: JP2001076161A
Application number: JP24823799A
Authority: JP
Inventors: Osamu Itokawa; 修糸川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-09-02
Filing date: 1999-09-02
Publication date: 2001-03-23
Anticipated expiration: 2019-09-02
Also published as: JP4407985B2; US7024040B1

Abstract

(57)【要約】【課題】より簡易な操作で、より正確な輪郭線を抽出
できるようにする。【解決手段】スタートフレームとエンドフレームを決
定し（Ｓ１，Ｓ２）、抽出対象を含む先頭フレームをタ
ーゲットフレームとして設定する（Ｓ３）。サンプルフ
レームを設定し（Ｓ５）、サンプルフレームの各ブロッ
ク単位で動きベクトルを検出する（Ｓ６）。フレーム内
の全ブロックをその動きベクトルで分類する（Ｓ７）。
画面全体で有意な動きを検出できたら（Ｓ８）、各ブロ
ックを、背景のブロック、オブジェクト（前景）のブロ
ック、及び背景とオブジェクトの両方にまたがった境界
のブロックの３グループに分類する（Ｓ９）。境界ブロ
ック内に初期輪郭を構成する点を設定する（Ｓ１０）。
背景ブロックとオブジェクトブロックが接している場
合、その接している部分に初期輪郭を構成する点を設定
する（Ｓ１１）。これらの点を順次つないで閉曲線を作
り、これを初期輪郭とする（Ｓ１２）。設定された初期
輪郭をスネークス処理によりオブジェクトの輪郭に収束
させる（Ｓ１３）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法及び
装置並びに記憶媒体に関し、より具体的には、動画像に
おけるオブジェクトを抽出する画像処理方法及び装置、
並びに、その方法を実行するプログラム・ソフトウエア
を記憶する記憶媒体に関する。

【０００２】

【従来の技術】近年、動画像をオブジェクトという構成
要素の合成からなると把握し、そのオブジェクトを単位
として圧縮符号化する方式が、検討され、現在、ＭＰＥ
Ｇ４として標準化作業が進行中である。オブジェクトは
任意の形状を取り得るので、形状情報を表すシェイプと
呼ばれるデータと画像の内容を表すテクスチャと呼ばれ
るデータの組合わせで表現される。

【０００３】オブジェクトの生成方法として、スタジオ
セット等を用いたクロマキー分離法、コンピュータ・グ
ラフィックス（ＣＧ）による目的のオブジェクトを生成
する方法、及び自然画から抽出する方法などが知られて
いる。

【０００４】クロマキー法は、スタジオにブルーバック
と呼ばれる均一な青色の背景を用意し、撮影画像からブ
ルーの部分を切り取ることにより、対象のオブジェクト
を抽出する方法である。

【０００５】コンピュータ・グラフィックスでは、初め
から任意形状の画像を生成できるので、特に抽出処理を
考える必要はない。また、アニメーション画像の場合
は、１つ１つのセル画を各オブジェクトと見なせば、Ｃ
Ｇと同様に処理できる。

【０００６】自然画からオブジェクトを抽出する場合、
最初のフレームで抽出対象の輪郭をユーザが大まかに指
定した輪郭を画像処理により対象物に収束させること
で、対象物の正確な輪郭を抽出する。２枚目以降のフレ
ームでは、前のフレームでの輪郭抽出結果を初期輪郭と
して対象物を追跡する。輪郭追跡の代表的な方法とし
て、スネークスと呼ばれる動的輪郭モデルのエネルギー
最小化がよく知られている（例えば、Ｍｉｃｈａｅｌ
Ｋａｓｓ，ＡｎｄｒｅｗＷｉｔｋｉｎ，ａｎｄ
ＤｅｍｅｔｒｉＴｅｒｚｏＰｏｕｌｏｓ， ”Ｓｎａ
ｋｅｓ：ＡｃｔｉｖｃＣｏｎｔｏｕｒＭｏｄｅ１
ｓ”，ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｎａｌ
ｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，Ｖｏｌ．
１，Ｎｏ．３，ｐｐ．３２１−３３１，１９８
８）。

【０００７】スネークスは、輪郭線が抽出されたときに
最小となるエネルギー関数を定義し、適当な初期値から
その極小解を反復計算により求めるものである。エネル
ギー関数は、エッジ点を通る制約の外部エネルギーと滑
らかさの制約である内部エネルギーの線形和で定義され
る。

【０００８】

【発明が解決しようとする課題】これらの抽出方法は、
いずれも困難な問題点を含んでいる。すなわち、クロマ
キー法は、背景色が均一である必要があり、精度の高い
抽出を目指すと、大掛かりなスタジオセットが必要とな
る。また、オブジェクト対象が背景色を含んでいる場合
に、対象を正しく抽出できないので、対象の色が制約さ
れる。

【０００９】コンピュータ・グラフィックス及びアニメ
ーションでは、抽出処理は必要ないが、ビデオカメラで
撮影したような自然画に適用できない致命的な欠点を有
している。

【００１０】自然画からオブジェクトを抽出する方法
は、画像内容に対する制約が低く、汎用性が高いという
利点がある反面、初期輪郭をある程度正確に指定する必
要があるという欠点がある。これは、動的輪郭モデルの
極小解が初期輪郭の影響を大きく受けることによる。第
２フレーム以降の初期輪郭は、前フレームの輪郭抽出結
果を初期値として利用すればよいが、最初のフレームだ
けは、ユーザがグラフィカル・ユーザ・インターフェー
ス（ＧＵＩ）等によりマニュアル操作で設定する必要が
ある。マニュアルによる初期輪郭設定では、マウスを使
った操作が一般的であるが、操作性が悪く、再現性のあ
る初期輪郭設定が困難である。輪郭の形状が複雑になる
ほど、ユーザの負担が大きくなる。

【００１１】本発明は、より簡易な操作で、より正確な
輪郭線を抽出できる画像処理方法及び装置並びに記憶媒
体を提示することを目的とする。

【００１２】

【課題を解決するための手段】本発明に係る画像処理方
法は、画像データを複数のブロックに分割するブロック
分割ステップと、時間的に離れた画像データとの間で、
当該ブロック単位で動き量を算出する動き量算出ステッ
プと、当該動き量算出ステップで算出した動き量に従
い、当該画像データの各ブロックを、抽出対象に対応す
る抽出対象ブロック・グループ、当該抽出対象の背景に
対応する背景ブロック・グループ及び当該抽出対象と当
該背景の境界となる境界ブロック・グループの何れかに
分類するブロック分類ステップと、当該ブロック分類ス
テップの分類結果に従い、当該抽出対象の初期輪郭を生
成する初期輪郭生成ステップと、当該初期輪郭生成ステ
ップで生成された当該初期輪郭を当該抽出対象の輪郭に
収束させる収束ステップとを具備することを特徴とす
る。

【００１３】本発明に係る画像処理装置は、画像データ
を複数のブロックに分割するブロック分割手段と、時間
的に離れた画像データとの間で、当該ブロック単位で動
き量を算出する動き量算出手段と、当該動き量算出手段
で算出した動き量に従い、当該画像データの各ブロック
を、抽出対象に対応する抽出対象ブロック・グループ、
当該抽出対象の背景に対応する背景ブロック・グループ
及び当該抽出対象と当該背景の境界となる境界ブロック
・グループの何れかに分類するブロック分類手段と、当
該ブロック分類手段の分類結果に従い、当該抽出対象の
初期輪郭を生成する初期輪郭生成手段と、当該初期輪郭
生成手段で生成された当該初期輪郭を当該抽出対象の輪
郭に収束させる収束手段とを具備することを特徴とす
る。

【００１４】本発明に係る記憶媒体には、上述の画像処
理方法を実行するプログラム・ソフトウエアが格納され
る。

【００１５】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１６】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０は、ビデオカメラ及び画像再生装置
などからなり、動画像をメモリ１２に入力する画像入力
装置である。メモリ１２は、画像入力装置１０から入力
された画像データを数フレーム分、一時記憶する。動き
量検出回路１４は、メモリ１２に一時記憶された複数の
フレームの画像データから、所望のフレーム上での各部
の動き量を検出する。境界設定回路１６は、動き量検出
回路１４の検出結果に従い、背景部分とオブジェクト部
分の境界を求め、初期輪郭設定回路１８は、境界設定回
路１６で求めた境界に従い閉じた初期輪郭を設定する。
輪郭抽出回路２０は、初期輪郭を実際のオブジェクトの
輪郭に収束させ、その収束結果をメモリ１２に格納す
る。メモリ１２は、輪郭抽出回路２０で得られた輪郭で
囲まれる閉領域の画像を目的のオブジェクト部分として
画像出力装置２２に出力する。輪郭は次のフレームの初
期輪郭として、フレームの更新のタイミングで初期輪郭
設定回路１８に設定される。

【００１７】図２は、本実施例の動作フローチャートを
示す。スタートフレームとエンドフレームを決定する
（Ｓ１，Ｓ２）。これらは抽出したいオブジェクトを含
む期間を規定するものであり、例えば、図３に示すよう
に、画面上に一連のフレームを同時に表示するグラフィ
カル・ユーザ・インターフェースを用いることで、容易
に設定できる。次に、抽出対象を含む先頭フレームをタ
ーゲットフレームとして設定する（Ｓ３）。通常は、ス
タートフレームがターゲットフレームとなる。

【００１８】ターゲットフレームを図４に示すように、
水平及び垂直方向でブロック化する。ブロックサイズは
任意であるが、例えば画像サイズを７２０×４８０画素
とし、１つのブロックのサイズを１６×１６画素である
とすると、ブロック数は（７２０／１６）×（４８０／
１６）＝１３５０となる。ＲＧＢ３つのプレーンで処理
する場合、１フレームの全ブロック数は１３５０×３＝
４０５０となる。輝度成分と色差成分が４：２：２のフ
ォーマットの場合、１３５０×２＝２７００となる。輝
度信号だけで処理する場合は、ブロック数は１３５０で
よい。

【００１９】サンプルフレームを設定する（Ｓ５）。通
常はターゲットフレームと時間的に連続したフレームを
最初のサンプルフレームとする。図３に示す動画像例で
は、サンプルフレームは、図４に示すターゲットフレー
ムに対して、図５に示すようにオブジェクトが右方向に
動いたものになる。動き量検出回路１４が、サンプルフ
レームにおいて各ブロック単位で動きベクトルを検出す
る（Ｓ６）。

【００２０】ターゲットの動きが２次元のアフィン変換
に従うと仮定できる場合、ターゲットフレームの位置
（ｘ，ｙ）とサンプルフレーム上の位置（Ｘ，Ｙ）との
間には、下記式が成立する。すなわち、Ｘ＝ａ×ｘ＋ｂ×ｙ＋ｃ（１）Ｙ＝ｄ×ｘ＋ｅ×ｙ＋ｆ（２）動きが平行移動のみと仮定できる場合には、簡略化で
き、Ｘ＝ｘ＋ｃ（３）Ｙ＝ｙ＋ｆ（４）となる。サーチ範囲を上式で動かしながら差分二乗和を
求め、サーチ範囲内でそれが最小であった位置をマッチ
ングの取れた場所とし、動きベクトル値を記憶する。

【００２１】フレーム内の全てのブロックに対し動きベ
クトル値が求まったら、動きベクトルを分類する（Ｓ
７）。実質的に同じ動きベクトル値を持つものを同じグ
ループとして登録する。サーチ範囲が水平及び垂直に＋
／−１６画素で、１画素精度の平行移動とした場合、発
生し得る動きベクトルの種類は、３３×３３＝１０８９
パターンとなる。図６は、そのように分類されたブロッ
クのヒストグラム例を示す。図６の横軸は動きベクト
ル、縦軸は発生頻度又はブロック数をそれぞれ示す。但
し、横軸方向には、発生頻度の多い順に配列してある。

【００２２】画面全体で有意な動きが検出できなかった
場合（Ｓ８）、サンプルフレームを変更して（Ｓ５）、
再度、動きベクトルを算出し（Ｓ６）、動きベクトルを
分類する（Ｓ７）。

【００２３】画面全体で有意な動きを検出できたら（Ｓ
８）、各ブロックを、背景のブロック、オブジェクト
（前景）のブロック、及び背景とオブジェクトの両方に
またがった境界のブロックの３グループに分類する（Ｓ
９）。このグループ化の方法は後ほど詳細に説明する。
例えば、図７に例示するように、前景ブロックを境界ブ
ロックが囲み、その外側に背景ブロックが位置するよう
な関係になる。ブロック化の設定位置によっては、図８
に示すように、境界ブロックが存在せずに、背景ブロッ
クとオブジェクトブロックが接している場合もありう
る。このような状態は、ブロック内のほとんどの部分が
背景で、わずかにオブジェクト部分が含まれている場
合、又は、その逆に、ブロック内のほとんどの部分がオ
ブジェクトで、わずかに背景部分が含まれている場合な
どに起こりうる。

【００２４】境界ブロックと判定されたブロックは、そ
のブロック内に輪郭線を含むので、そのブロック内に初
期輪郭を構成する点を設定する（Ｓ１０）。背景ブロッ
クとオブジェクトブロックが接している場合、その接し
ている部分に初期輪郭を構成する点を設定する（Ｓ１
１）。これらの点を順次つないで閉曲線を作り、これを
初期輪郭とする（Ｓ１２）。

【００２５】ブロック内及びブロック境界上に設定する
点の数は任意であるが、隣接ブロックの点との連続性を
考慮すべきである。図９は、初期輪郭の設定例を示す。
背景ブロックとオブジェクトブロックの接している部分
では、境界線上を初期輪郭とし、境界ブロックでは、オ
ブジェクト内部と外部がほぼ等しく分かれるように初期
輪郭を設定する。

【００２６】このように設定された初期輪郭をオブジェ
クトの輪郭に収束させる（Ｓ１３）。例えば、スネーク
スと呼ばれる処理を実行する。図８は、初期輪郭がオブ
ジェクトの輪郭に合うように収束していく様子を示す。
このようにして輪郭線が決定すると（Ｓ１４）、第１フ
レームのオブジェクト抽出処理が終わる。この抽出結果
を基に、次フレームの初期輪郭を設定する（Ｓ１５）。
最も単純な方法では、前フレームの輪郭線抽出結果を新
たな初期輪郭に設定する。

【００２７】ターゲットフレームを更新し（Ｓ１６）、
Ｓ１３２〜Ｓ１６を再度、実行する。ターゲットフレー
ムがエンドフレームに到達して、Ｓ１３〜Ｓ１６の処理
を終了すると（Ｓ１７）、全てのフレームに対するオブ
ジェクト抽出処理が終了したことになるので、一連の処
理を終える。

【００２８】図１１は、ブロックのグループ化（Ｓ９）
の詳細なフローチャートを示す。もちろん、図１１は一
例であり、この種のグループ化には幾つかの方法が考え
られる。

【００２９】１番目に発生頻度の高いブロックを背景ブ
ロックとし（Ｓ２１，Ｓ２２）、２番目に発生頻度の高
いブロックを前景ブロックとし（Ｓ２３，Ｓ２４）、こ
れら以外のブロックを境界ブロックする（Ｓ２５）。全
てのブロックをこの基準で分類する（Ｓ２６）。図６に
示す動きベクトルの分類例では、図１２に示すように、
背景ブロック、前景ブロック及び境界ブロックにグルー
プ化される。

【００３０】ブロックの発生頻度が高いということは、
まとまった動きのあることを示しており、一番広い領域
が背景と考えられる。次にまとまった動きのある領域が
オブジェクトと考えられるので、それを前景ブロックと
している。まとまった動きが２つしかない場合、３番目
以降のブロックの発生頻度は極端に少なくなる。これら
は、対応する部分がうまく見つからなかったブロックで
ある。ブロック内に背景部分とオブジェクトの部分の両
方を含んでいる場合、同様のブロックをサンプルフレー
ムのサーチ範囲から見つけることができないので、結果
としてさまざまなベクトル値を持つことになる。従っ
て、これらのブロックを境界ブロックと設定すればよ
い。

【００３１】背景に分類されるブロックと前景に分類さ
れるブロックを、動きベクトルに対するブロックの発生
頻度で決定したが、位置情報を考慮し、画面端に多く接
しているブロックを背景としてもよい。

【００３２】図１３は、ブロックのグループ化（Ｓ９）
の別の詳細なフローチャートを示す。１番目に発生頻度
の高いブロックを背景ブロックと設定する（Ｓ３１，Ｓ
３２）。１番目に発生頻度の高いブロックではないが、
１番目に発生頻度の高いブロック（背景ブロック）に隣
接しているブロックを、境界ブロックと設定する（Ｓ３
３，Ｓ３５）。背景ブロック及び境界ブロックのどちら
でもないブロックを前景ブロックと設定する（Ｓ３３，
Ｓ３４）。以上の処理を全てのブロックについて実行す
る（Ｓ３６）。

【００３３】この方法は、背景ブロックに隣接している
ブロックを境界ブロックするものであるが、逆に、前景
ブロックを求め、それに隣接するブロックを境界ブロッ
クとしても、類似した又は同様の結果が得られる。

【００３４】また、発生頻度が３番目以降のブロックに
対しベクトルの類似度を求め、１番目に発生頻度の高い
ブロックと２番目に発生頻度の高いブロックのいずれか
近い方に分類する方法もある。図１４は、そのフローチ
ャートを示す。

【００３５】先ず、１番目に発生頻度の高いブロックを
背景ブロックと設定する（Ｓ４１，Ｓ４２）。２番目に
発生頻度の高いブロックを、前景ブロックと設定する
（Ｓ４３，Ｓ４４）。３番目以降に発生頻度の高いブロ
ックの場合（Ｓ４３）、背景ブロック及び前景ブロック
との動きベクトルの類似度を計算する。これは、該当ブ
ロックの動きベクトルが、１番目に発生頻度の高いグル
ープの動きベクトル値と、２番目に発生頻度の高いグル
ープの動きベクトル値のどちらに近いかを求めるもので
ある。例えば、各動きベクトルの内積により動きベクト
ル間の距離を求めればよい。この計算結果を基に、１番
目に発生頻度の高いグループの動きベクトルに近いけれ
ば（Ｓ４６）、暫定的に背景ブロック（暫定背景ブロッ
ク）と設定し（Ｓ４７）、２番目に発生頻度の高いグル
ープの動きベクトルに近ければ（Ｓ４６）、暫定的に前
景ブロック（暫定前景ブロック）と設定する（Ｓ４
８）。以上の処理を全てのブロックについて実行する
（Ｓ４９）。

【００３６】図１４に示す方法による暫定的な分類結果
の例を図１５に示す。１番目に発生頻度の高いブロック
と２番目に発生頻度の高いブロックの、互いに隣接する
ブロック（図１４による暫定背景ブロック及び暫定前景
ブロック）が、境界ブロックとなる。両者の内で、１番
目に発生頻度の高いブロックを境界ブロックとするか、
２番目に発生頻度の高いブロックを境界ブロックとする
かは任意である。

【００３７】図１６は、図１４による結果を引き継い
で、最終的に境界ブロックを決定する方法のフローチャ
ートを示す。注目ブロックが暫定背景ブロックかどうか
を判定し（Ｓ５１）、暫定波形ブロックである場合には
（Ｓ５１）、前景ブロックに隣接しているか否かを判定
する（Ｓ５２）。前景ブロックに隣接していれば（Ｓ５
２）、このブロックを境界ブロックとし（Ｓ５３）、隣
接していなければ（Ｓ５２）、このブロックを背景ブロ
ックとする（Ｓ５４）。暫定前景ブロックに対しても同
様に（Ｓ５５）、背景ブロックに隣接していれば（Ｓ５
６）、境界ブロックと設定し（Ｓ５７）、そうでなけれ
ば前景ブロックと設定する（Ｓ５８）。暫定ブロック以
外のブロックはそのままとする。以上の処理を全てのブ
ロックについて実行する（Ｓ５９）。

【００３８】図１５に示す例を図１６に示す方法で最終
的に分類した結果を図１７に示す。

【００３９】初期輪郭設定の精度を更に向上させる第２
実施例を説明する。図１８は、第２の実施例の特徴部分
の処理フローチャートを示す。図１８に示すフローは、
図２のＳ５〜Ｓ８の部分を代替する。

【００４０】図２のＳ５〜Ｓ８と同様に、先ず、サンプ
ルフレームを設定し、全ブロックについて動きベクトル
を算出及び分類する（Ｓ６１〜６４）。各ブロックが発
生頻度に関してどのブロック・グループに属するかを調
べ（Ｓ６５，Ｓ６６）、２番目に発生頻度の高いブロッ
クであって１番目に発生頻度の高いブロックに隣接する
ブロック（Ｓ６６，Ｓ６７）と、３番目以降に発生頻度
の高いブロック（Ｓ６６）とを、再分割可能かどうかを
調べ（Ｓ６８）、可能であれば（Ｓ６８）、再分割する
（Ｓ６９）。ブロックサイズが１６×１６の場合、例え
ば４つの８×８ブロックに分割する。

【００４１】ブロックを再分割した後で（Ｓ６９）、再
び、動きベクトルの算出及び分類を全ブロックについて
実行する（Ｓ６２〜Ｓ６４）。２番目に発生頻度の高い
ブロックであって１番目に発生頻度の高いブロックに隣
接するブロック（Ｓ６６，Ｓ６７）と、３番目以降に発
生頻度の高いブロック（Ｓ６６）とがあり、それが再分
割可能である限り（Ｓ６８）、ブロックを再分割して、
以上を繰り返す。

【００４２】このようにブロックを再帰的に分割してい
くことにより、境界ブロックとなる部分を絞り込んでい
くことができる。

【００４３】これ以上のブロック分割が不可能と判断さ
れた場合（Ｓ６８）、ブロック（再分割した場合には、
分割後のブロック）のグループ属性を保持したまま、次
のブロックを同様に処理する（Ｓ６５〜Ｓ６８）。

【００４４】再分割されたブロックも含め、フレーム内
での全てのブロックの処理が終わると（Ｓ７０）、サン
プルフレームを変更し（Ｓ６１）、同様の処理を繰り返
す。全てのサンプルフレームに対する処理が終了すると
（Ｓ７１）、このルーチンを終える。以後は、図２のＳ
９以降と同じ処理を実行する。

【００４５】図１９は、図１８による処理結果例であ
る。３番目以降に発生頻度の高いブロックを再分割する
と共に、２番目に発生頻度の高いブロックであって、１
番目に発生頻度の高いブロックに隣接するブロックも再
分割している。再分割及び再分類が終った後、オブジェ
クト判定により、１番目に発生頻度の高いブロックを背
景ブロック、２番目に発生頻度の高いブロックを前景ブ
ロック、それ以外を境界ブロックと設定している。

【００４６】図２０は、図１９に示す例で初期輪郭線設
定のためのブロックのみの表示する図である。図２１
は、図２０に示す表示例から得られた初期輪郭を示す。
第１実施例における初期輪郭（図９）に比べて、精度の
高い結果が得られることがわかる。図２２は、図２１に
示す初期輪郭がオブジェクトの輪郭に収束する様子を示
す。

【００４７】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、動画のオブジェクト抽出を行う際
の先頭フレームの初期輪郭を自動的に高精度に設定でき
る。これにより、ユーザの負担が大幅に軽減される。初
期輪郭を自動設定するので、再現性のある初期輪郭を得
ることも可能となる。

【図面の簡単な説明】

【図１】本発明の第１実施例の概略構成ブロック図で
ある。

【図２】第１実施例の全体処理のフローチャートであ
る。

【図３】スタートフレームとエンドフレームの設定を
説明する模式図である。

【図４】ターゲットフレームのブロック化例である。

【図５】サンプルフレームの画像例である。

【図６】動きベクトルに関して分類されたブロックの
ヒストグラム例である。

【図７】分類されたブロック例である。

【図８】別のブロック分類例である。

【図９】第１実施例による初期輪郭例である。

【図１０】第１実施例による輪郭線の収束の模式図で
ある。

【図１１】ブロックのオブジェクト判定のフローチャ
ートである。

【図１２】ブロック・グループの配属例である。

【図１３】オブジェクト判定の別のフローチャートで
ある。

【図１４】暫定ブロックを設定するオブジェクト判定
法のフローチャートである。

【図１５】図１４による暫定的なグループ化の結果例
である。

【図１６】暫定ブロックを最終的に決定する処理のフ
ローチャートである。

【図１７】図１６による処理結果例である。

【図１８】本発明の第２実施例の特徴部分の処理フロ
ーチャートである。

【図１９】ブロック再分割の模式図である。

【図２０】第２実施例における初期輪郭のブロック位
置を例示する模式図である。

【図２１】第２実施例での初期輪郭例である。

【図２２】第２実施例における輪郭線の収束する様子
の模式図である。

【符号の説明】

１０：画像入力装置１２：メモリ１４：動き量検出回路１６：境界設定回路１８：初期輪郭設定回路２０：輪郭抽出回路２２：画像出力装置

Claims

【特許請求の範囲】

【請求項１】画像データを複数のブロックに分割する
ブロック分割ステップと、時間的に離れた画像データとの間で、当該ブロック単位
で動き量を算出する動き量算出ステップと、当該動き量算出ステップで算出した動き量に従い、当該
画像データの各ブロックを、抽出対象に対応する抽出対
象ブロック・グループ、当該抽出対象の背景に対応する
背景ブロック・グループ及び当該抽出対象と当該背景の
境界となる境界ブロック・グループの何れかに分類する
ブロック分類ステップと、当該ブロック分類ステップの分類結果に従い、当該抽出
対象の初期輪郭を生成する初期輪郭生成ステップと、当該初期輪郭生成ステップで生成された当該初期輪郭を
当該抽出対象の輪郭に収束させる収束ステップとを具備
することを特徴とする画像処理方法。
【請求項２】当該ブロック分類ステップは、当該動き
量算出ステップで算出された動き量の発生頻度に従い、
当該画像データの各ブロックを、当該抽出対象ブロック
・グループ、当該背景ブロック・グループ及び当該境界
ブロック・グループの何れかに分類する請求項１に記載
の画像処理方法。
【請求項３】当該ブロック分類ステップは、当該動き
量算出ステップで算出された動き量の発生頻度に従い、
発生頻度の１番目に多いグループのブロックを当該抽出
対象ブロック・グループに分類し、発生頻度の２番目に
多いグループのブロックを当該背景ブロック・グループ
に分類し、発生頻度の３番目以降に多いグループのブロ
ックを当該境界ブロック・グループに分類する請求項２
に記載の画像処理方法。
【請求項４】当該ブロック分類ステップが、３番目以
降に発生頻度の高いグループのブロックの動き量が、１
番目に発生頻度の高いグループのブロックの動き量及び
２番目に発生頻度の高いグループのブロックの動き量の
何れと類似するかを判定する類似度判定ステップと、当
該類似度判定ステップの判定結果に従い、３番目以降に
発生頻度の高いグループのブロックを、類似度の高いグ
ループに再分類ステップとを具備する請求項３に記載の
画像処理方法。
【請求項５】当該類似度判定ステップが、当該動き量
算出ステップで算出される動き量のベクトル内積を計算
する請求項４に記載の画像処理方法。
【請求項６】当該類似度判定ステップが、当該動き量
算出ステップで算出される動き量のベクトル距離を計算
する請求項４に記載の画像処理方法。
【請求項７】当該ブロック分類ステップは、当該動き
量算出ステップで算出された近隣ブロックの動き量に従
い、当該画像データの各ブロックを、当該抽出対象ブロ
ック・グループ、当該背景ブロック・グループ及び当該
境界ブロック・グループの何れかに分類する請求項１に
記載の画像処理方法。
【請求項８】当該ブロック分類ステップは、当該動き
量算出ステップで算出された動き量の発生頻度及び近隣
ブロックの動き量に従い、当該画像データの各ブロック
を、当該抽出対象ブロック・グループ、当該背景ブロッ
ク・グループ及び当該境界ブロック・グループの何れか
に分類する請求項１に記載の画像処理方法。
【請求項９】当該ブロック分類ステップが、１番目に
発生頻度の多いグループのブロックを当該背景ブロック
・グループに分類し、２番目以降に発生頻度の多いグル
ープのブロックのうち、１番目に発生頻度の多いグルー
プのブロックに隣接するブロックを当該境界ブロック・
グループに分類する請求項８に記載の画像処理方法。
【請求項１０】当該ブロック分類ステップが、２番目
に発生頻度の多いグループのブロックを当該抽出対象ブ
ロック・グループに分類し、１番目に発生頻度の多いグ
ループのブロックの内、２番目に発生頻度の多いグルー
プのブロックに隣接するブロックを当該境界ブロック・
グループに分類する請求項８に記載の画像処理方法。
【請求項１１】当該ブロック分類ステップが、３番目
以降に発生頻度の高いグループのブロックの動き量が、
１番目に発生頻度の高いグループのブロックの動き量及
び２番目に発生頻度の高いグループのブロックの動き量
の何れと類似するかを判定する類似度判定ステップと、
当該類似度判定ステップの判定結果に従い、３番目以降
に発生頻度の高いグループのブロックを、類似度の高い
グループに再分類ステップとを具備する請求項８に記載
の画像処理方法。
【請求項１２】当該類似度判定ステップが、当該動き
量算出ステップで算出される動き量のベクトル内積を計
算する請求項１１に記載の画像処理方法。
【請求項１３】当該類似度判定ステップが、当該動き
量算出ステップで算出される動き量のベクトル距離を計
算する請求項１１に記載の画像処理方法。
【請求項１４】更に、当該ブロック分類ステップの分
類結果に応じて所定のブロックのサイズを変更するブロ
ックサイズ変更ステップと、サイズを変更されたブロッ
クに対し、当該動き量算出ステップ及び当該ブロック分
類ステップを再実行させる繰り返し制御ステップとを具
備する請求項１に記載の画像処理方法。
【請求項１５】当該所定のブロックが、３番目以降に
発生頻度の多いグループのブロックである請求項１４に
記載の画像処理方法。
【請求項１６】当該所定のブロックが、１番目に発生
頻度の多いグループのブロックに隣接するブロックであ
って２番目に発生頻度の多いグループに所属するブロッ
クと、３番目以降に発生頻度の多いグループのブロック
とからなる請求項１４に記載の画像処理方法。
【請求項１７】当該所定のブロックが、２番目に発生
頻度の多いグループのブロックに隣接するブロックであ
って１番目に発生頻度の多いグループに所属するブロッ
クと、３番目以降に発生頻度の多いグループのブロック
とからなる請求項１４に記載の画像処理方法。
【請求項１８】画像データを複数のブロックに分割す
るブロック分割手段と、時間的に離れた画像データとの間で、当該ブロック単位
で動き量を算出する動き量算出手段と、当該動き量算出手段で算出した動き量に従い、当該画像
データの各ブロックを、抽出対象に対応する抽出対象ブ
ロック・グループ、当該抽出対象の背景に対応する背景
ブロック・グループ及び当該抽出対象と当該背景の境界
となる境界ブロック・グループの何れかに分類するブロ
ック分類手段と、当該ブロック分類手段の分類結果に従い、当該抽出対象
の初期輪郭を生成する初期輪郭生成手段と、当該初期輪郭生成手段で生成された当該初期輪郭を当該
抽出対象の輪郭に収束させる収束手段とを具備すること
を特徴とする画像処理装置。
【請求項１９】当該ブロック分類手段は、当該動き量
算出手段で算出された動き量の発生頻度に従い、当該画
像データの各ブロックを、当該抽出対象ブロック・グル
ープ、当該背景ブロック・グループ及び当該境界ブロッ
ク・グループの何れかに分類する請求項１８に記載の画
像処理装置。
【請求項２０】当該ブロック分類手段は、当該動き量
算出手段で算出された動き量の発生頻度に従い、発生頻
度の１番目に多いグループのブロックを当該抽出対象ブ
ロック・グループに分類し、発生頻度の２番目に多いグ
ループのブロックを当該背景ブロック・グループに分類
し、発生頻度の３番目以降に多いグループのブロックを
当該境界ブロック・グループに分類する請求項１９に記
載の画像処理装置。
【請求項２１】当該ブロック分類手段が、３番目以降
に発生頻度の高いグループのブロックの動き量が、１番
目に発生頻度の高いグループのブロックの動き量、及び
２番目に発生頻度の高いグループのブロックとの動き量
の何れと類似するかを判定する類似度判定手段と、当該
類似度判定手段の判定結果に従い、３番目以降に発生頻
度の高いグループのブロックを、類似度の高いグループ
に再分類ステップとを具備する請求項２０に記載の画像
処理装置。
【請求項２２】当該類似度判定手段が、当該動き量算
出手段で算出される動き量のベクトル内積を計算する請
求項２１に記載の画像処理装置。
【請求項２３】当該類似度算出手段が、当該動き量算
出手段で算出される動き量のベクトル距離を計算する請
求項２１に記載の画像処理装置。
【請求項２４】当該ブロック分類手段は、当該動き量
算出手段で算出された近隣ブロックの動き量に従い、当
該画像データの各ブロックを、当該抽出対象ブロック・
グループ、当該背景ブロック・グループ及び当該境界ブ
ロック・グループの何れかに分類する請求項１８に記載
の画像処理装置。
【請求項２５】当該ブロック分類手段は、当該動き量
算出手段で算出された動き量の発生頻度及び近隣ブロッ
クの動き量に従い、当該画像データの各ブロックを、当
該抽出対象ブロック・グループ、当該背景ブロック・グ
ループ及び当該境界ブロック・グループの何れかに分類
する請求項１８に記載の画像処理装置。
【請求項２６】当該ブロック分類手段が、１番目に発
生頻度の多いグループのブロックを当該背景ブロック・
グループに分類し、２番目以降に発生頻度の多いグルー
プのブロックのうち、１番目に発生頻度の多いグループ
のブロックに隣接するブロックを当該境界ブロック・グ
ループに分類する請求項２５に記載の画像処理装置。
【請求項２７】当該ブロック分類手段が、２番目に発
生頻度の多いグループのブロックを当該抽出対象ブロッ
ク・グループに分類し、１番目に発生頻度の多いグルー
プのブロックの内、２番目に発生頻度の多いグループの
ブロックに隣接するブロックを当該境界ブロック・グル
ープに分類する請求項２５に記載の画像処理装置。
【請求項２８】当該ブロック分類手段が、３番目以降
に発生頻度の高いグループのブロックの動き量が、１番
目に発生頻度の高いグループのブロックの動き量及び２
番目に発生頻度の高いグループのブロックとの動き量の
何れと類似するかを判定する類似度判定手段と、当該類
似度判定手段の判定結果に従い、３番目以降に発生頻度
の高いグループのブロックを、類似度の高いグループに
再分類手段とを具備する請求項２５に記載の画像処理装
置。
【請求項２９】当該類似度判定手段が、当該動き量算
出手段で算出される動き量のベクトル内積を計算する請
求項２８に記載の画像処理装置。
【請求項３０】当該類似度算出手段が、当該動き量算
出手段で算出される動き量のベクトル距離を計算する請
求項２８に記載の画像処理装置。
【請求項３１】更に、当該ブロック分類ステップの分
類結果に応じて所定のブロックのサイズを変更するブロ
ックサイズ変更手段と、サイズを変更されたブロックに
対し、当該動き量算出手段による動き量算出及び当該ブ
ロック分類手段によるブロック分類を再実行させる繰り
返し制御手段とを具備する請求項１８に記載の画像処理
装置。
【請求項３２】当該所定のブロックが、３番目以降に
発生頻度の多いグループのブロックである請求項３１に
記載の画像処理装置。
【請求項３３】当該所定のブロックが、１番目に発生
頻度の多いグループのブロックに隣接するブロックであ
って２番目に発生頻度の多いグループに所属するブロッ
クと、３番目以降に発生頻度の多いグループのブロック
とからなる請求項３１に記載の画像処理装置。
【請求項３４】当該所定のブロックが、２番目に発生
頻度の多いグループのブロックに隣接するブロックであ
って１番目に発生頻度の多いグループに所属するブロッ
クと、３番目以降に発生頻度の多いグループのブロック
とからなる請求項３１に記載の画像処理装置。
【請求項３５】画像データを複数のブロックに分割す
るブロック分割ステップと、時間的に離れた画像データとの間で、当該ブロック単位
で動き量を算出する動き量算出ステップと、当該動き量算出ステップで算出した動き量に従い、当該
画像データの各ブロックを、抽出対象に対応する抽出対
象ブロック・グループ、当該抽出対象の背景に対応する
背景ブロック・グループ及び当該抽出対象と当該背景の
境界となる境界ブロック・グループの何れかに分類する
ブロック分類ステップと、当該ブロック分類ステップの分類結果に従い、当該抽出
対象の初期輪郭を生成する初期輪郭生成ステップと、当該初期輪郭生成ステップで生成された当該初期輪郭を
当該抽出対象の輪郭に収束させる収束ステップとを具備
する画像処理方法のプログラム・ソフトウエアを記憶す
ることを特徴とする記憶媒体。
【請求項３６】当該ブロック分類ステップは、当該動
き量算出ステップで算出された動き量の発生頻度に従
い、当該画像データの各ブロックを、当該抽出対象ブロ
ック・グループ、当該背景ブロック・グループ及び当該
境界ブロック・グループの何れかに分類する請求項３５
に記載の記憶媒体。
【請求項３７】当該ブロック分類ステップは、当該動
き量算出ステップで算出された動き量の発生頻度に従
い、発生頻度の１番目に多いグループのブロックを当該
抽出対象ブロック・グループに分類し、発生頻度の２番
目に多いグループのブロックを当該背景ブロック・グル
ープに分類し、発生頻度の３番目以降に多いグループの
ブロックを当該境界ブロック・グループに分類する請求
項３６に記載の記憶媒体。
【請求項３８】当該ブロック分類ステップが、３番目
以降に発生頻度の高いグループのブロックの動き量が、
１番目に発生頻度の高いグループのブロックの動き量及
び２番目に発生頻度の高いグループのブロックの動き量
の何れと類似するかを判定する類似度判定ステップと、
当該類似度判定ステップの判定結果に従い、３番目以降
に発生頻度の高いグループのブロックを、類似度の高い
グループに再分類ステップとを具備する請求項３７に記
載の記憶媒体。
【請求項３９】当該類似度判定ステップが、当該動き
量算出ステップで算出される動き量のベクトル内積を計
算する請求項３８に記載の記憶媒体。
【請求項４０】当該類似度判定ステップが、当該動き
量算出ステップで算出される動き量のベクトル距離を計
算する請求項３８に記載の記憶媒体。
【請求項４１】当該ブロック分類ステップは、当該動
き量算出ステップで算出された近隣ブロックの動き量に
従い、当該画像データの各ブロックを、当該抽出対象ブ
ロック・グループ、当該背景ブロック・グループ及び当
該境界ブロック・グループの何れかに分類する請求項３
５に記載の記憶媒体。
【請求項４２】当該ブロック分類ステップは、当該動
き量算出ステップで算出された動き量の発生頻度及び近
隣ブロックの動き量に従い、当該画像データの各ブロッ
クを、当該抽出対象ブロック・グループ、当該背景ブロ
ック・グループ及び当該境界ブロック・グループの何れ
かに分類する請求項３５に記載の記憶媒体。
【請求項４３】当該ブロック分類ステップが、１番目
に発生頻度の多いグループのブロックを当該背景ブロッ
ク・グループに分類し、２番目以降に発生頻度の多いグ
ループのブロックのうち、１番目に発生頻度の多いグル
ープのブロックに隣接するブロックを当該境界ブロック
・グループに分類する請求項４２に記載の記憶媒体。
【請求項４４】当該ブロック分類ステップが、２番目
に発生頻度の多いグループのブロックを当該抽出対象ブ
ロック・グループに分類し、１番目に発生頻度の多いグ
ループのブロックの内、２番目に発生頻度の多いグルー
プのブロックに隣接するブロックを当該境界ブロック・
グループに分類する請求項４２に記載の記憶媒体。
【請求項４５】当該ブロック分類ステップが、３番目
以降に発生頻度の高いグループのブロックの動き量が、
１番目に発生頻度の高いグループのブロックの動き量及
び２番目に発生頻度の高いグループのブロックの動き量
の何れと類似するかを判定する類似度判定ステップと、
当該類似度判定ステップの判定結果に従い、３番目以降
に発生頻度の高いグループのブロックを、類似度の高い
グループに再分類ステップとを具備する請求項４２に記
載の記憶媒体。
【請求項４６】当該類似度判定ステップが、当該動き
量算出ステップで算出される動き量のベクトル内積を計
算する請求項４５に記載の記憶媒体。
【請求項４７】当該類似度判定ステップが、当該動き
量算出ステップで算出される動き量のベクトル距離を計
算する請求項４５に記載の記憶媒体。
【請求項４８】当該画像処理方法が更に、当該ブロッ
ク分類ステップの分類結果に応じて所定のブロックのサ
イズを変更するブロックサイズ変更ステップと、サイズ
を変更されたブロックに対し、当該動き量算出ステップ
及び当該ブロック分類ステップを再実行させる繰り返し
制御ステップとを具備する請求項３５に記載の記憶媒
体。
【請求項４９】当該所定のブロックが、３番目以降に
発生頻度の多いグループのブロックである請求項４８に
記載の記憶媒体。
【請求項５０】当該所定のブロックが、１番目に発生
頻度の多いグループのブロックに隣接するブロックであ
って２番目に発生頻度の多いグループに所属するブロッ
クと、３番目以降に発生頻度の多いグループのブロック
とからなる請求項４８に記載の記憶媒体。
【請求項５１】当該所定のブロックが、２番目に発生
頻度の多いグループのブロックに隣接するブロックであ
って１番目に発生頻度の多いグループに所属するブロッ
クと、３番目以降に発生頻度の多いグループのブロック
とからなる請求項４８に記載の記憶媒体。