JP2000339452A

JP2000339452A - 画像抽出方法及び装置並びに記憶媒体

Info

Publication number: JP2000339452A
Application number: JP11148190A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継; Toshiaki Kondo; 俊明近藤; Fumiaki Takahashi; 史明高橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-05-27
Filing date: 1999-05-27
Publication date: 2000-12-08

Abstract

(57)【要約】【課題】より容易に被写体を抽出する。【解決手段】初期輪郭線設定装置２０はユーザの指示
により切り出したい領域の内部又は外部に初期輪郭線を
設定する。特徴量抽出装置２２は、入力画像から各画素
の色成分値を抽出し、特徴量抽出装置２４は、入力画像
の濃度（明度）に関するエッジ強度値を抽出する。領域
成長装置２６は、輪郭線上の代表点をサンプリングして
各代表点の近傍領域を設定する。各代表点での第１の特
徴量（色成分値について拡大評点と近傍領域を比較し、
その差が閾値以下ならば併合する。輪郭変形更新装置２
８が、領域成長結果に基づき輪郭線を抽出し、エッジ割
合から収束を判定する。未収束の場合、装置２４の出力
に基づき、領域成長の閾値を更新する。収束している輪
郭線部分を領域決定装置３０により確定し、未収束部分
は領域成長、輪郭線の抽出及び収束判定を繰り返す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像から特定の被
写体を切り出す画像抽出方法及び装置並びに記憶媒体に
関する。

【０００２】

【従来の技術】従来、画像から特定の被写体像を切り出
す処理として、ユーザが指定した物体又は背景上の点の
画素値を含む所定範囲の色成分値を有する領域を選択し
ながら、背景の除去又は抽出被写体の領域指定を繰り返
す方法が知られている（特開平８−７１０７号公報、特
開平８−１６７７９号公報及び特開平７−３３４６７５
号公報など）。

【０００３】また、抽出対象の輪郭線を含む大まかな粗
輪郭線領域又は局所領域を指定し、その指定領域内を細
線化又はクラスタリングなどの処理により対象の境界輪
郭線を求めて切り出す方法も知られている（特開平３−
２４０８８４号公報、特開平７−２２５８４７号公報、
特開平６−２５１１４９号公報、特開平７−１０７２６
６号公報、特開平８−７０７５号公報、特開平８−７７
３３６号公報、特公平６−４２０６８号公報及び特公平
８−２０７２５号公報など）。

【０００４】切り出し対象の画像部分を大まかに囲むよ
うに閉曲線（又は多角形の境界線）を設定するだけで、
対象物の形状にほぼ近い切り出しマスク画像を生成する
方法も知られている（特許２６４２３６８号公報及び特
開平７−３２２０５４号公報）。

【０００５】これらとは対照的に、切り出し対象の内部
で初期閉曲線を発生させ、その中心点から閉曲線上のサ
ンプリング点を通る半径方向にサンプリング点位置を直
線的に外側に向かつてエッジなどの特徴点位置まで移動
させる閉曲線の膨張処理により、切出し対象の形状を決
定する方法が知られている（特開平９−６９６１号公
報）。

【０００６】

【発明が解決しようとする課題】所定範囲の色成分値を
有する領域を選択しながら抽出対象の領域を指定する方
法は、被写体が局所的に多くの色成分を有する領域から
なる場合、又は、背景と被写体との境界が低コントラス
トで画素値だけでは区別がつきにくい場合に、非常に多
くの手間（色成分選択範囲の指定と抽出対象内の点指定
など）を要する。

【０００７】抽出対象の輪郭線を含む大まかな粗輪郭線
を指定する方法では、粗輪郭線の幅が小さい場合に、真
の輪郭線をはみ出さないように相当の注意力を以って粗
輪郭線を設定しなければならない。また、粗輪郭線の幅
が大きい場合には、細線化又はクラスタリング等により
対象物体の輪郭線を求めても、対象物体の境界が低コン
トラストの場合、及び粗輪郭線内の対象の輪郭が複雑な
形状を有する場合などには、真の輪郭を抽出することが
困難である。

【０００８】局所領域を指定してその中で領域分割又は
境界決定を行いながら、その局所領域を抽出対象の輪郭
線上をなぞるようにして移動させることにより境界線を
逐次、抽出する方法（特公平６−４２０６８号公報、特
公平８−２０７２５号公報及び特開平６−２５１１４９
号公報など）でもなお、ユーザの操作において相当の注
意力と手間を要する。

【０００９】切り出し対象の画像部分を大まかに囲む閉
曲線（大まかに含む領域）を指定する方法では、閉曲線
内に含まれる同じ色成分を有する領域の面積の割合に基
づく方式（特許２６４２３６８号公報）でも、閉曲線内
の背景中に被写体と同色となる領域がある場合、及び、
閉曲線領域が切り出し対象領域と比べて２倍以上の面積
を有する場合などで、背景部分が抽出されるなどの誤抽
出を生じ易いという問題がある。また、被写体認識処理
又は輪郭認識処理を前提とする方式（特開平７−３２２
０５４号公報）では、現状では被写体の認識又はその輪
郭の認識が一般的に困難であり、例えば、被写体が特定
色成分に基づいて認識可能であること、及び閉曲線内に
切り出し対象の輪郭以外の他の物体等の輪郭が存在しな
いことなどというように、輪郭が認識可能であるという
前提条件が付くので、汎用性がなく、使いにくい。

【００１０】切り出し対象内部の閉曲線を膨張させて領
域を分割する方法（特開平９−６９６１号公報）は高速
であるが、対象領域の内部の適切な位置に一般的に多数
の閉曲線を設定する必要がある。閉曲線の設定を自動化
するのは困難である一方で、人手により設定することも
徒に手間が増える。

【００１１】本発明は、このような不都合を解消する画
像抽出方法及び装置並びに記憶媒体を提示することを目
的とする。

【００１２】

【課題を解決するための手段】本発明に係る画像抽出方
法（装置）は、画像中の所定の対象領域の外部又は内部
に任意形状の初期輪郭線を設定する初期輪郭設定ステッ
プ（手段）と、当該画像から第１の特徴量を抽出する特
徴量抽出ステップ（手段）と、当該第１の特徴量と第１
の閾値処理に基づき当該初期輪郭線を変形させる変形ス
テップ（手段）と、変形後の輪郭線上の所定サンプリン
グ点で第２の特徴量を抽出し、当該第２の特徴量に関す
る所定の評価関数値の第２の閾値処理により当該輪郭線
の収束を判定する収束判定ステップ（手段）と、当該第
１の閾値処理における閾値を更新する閾値更新ステップ
（手段）とを有することを特徴とする。

【００１３】これにより、抽出すべき対象を大まかに指
定するだけで自動的に抽出対象の輪郭線とその切り出し
画像を得ることが出来る。

【００１４】変形ステッ（手段）は、当該初期輪郭線上
の代表点を少なくとも１つ抽出する代表点サンプリング
ステップ（手段）と、当該代表点を含む抽出領域又は背
景領域を設定更新する領域設定更新ステップ（手段）
と、当該第１の特徴量に基づく領域成長条件の判定閾値
を設定更新する閾値設定更新ステップ（手段）と、当該
代表点の近傍領域における当該第１の特徴量と当該代表
点での当該第１の特徴量との差異が当該判定閾値以下の
場合に、当該近傍領域を当該代表点を含む抽出領域又は
背景領域に併合する領域成長ステップ（手段）と、当該
領域成長後の抽出領域の外側輪郭線又は背景領域の内側
輪郭線を変形後の新たな輪郭線とする輪郭線更新ステッ
プ（手段）とからなる。これにより、抽出対象の形状の
複雑さに依らずに任意形状の対象物の輪郭線及び切り出
し画像を得ることが出来る。

【００１５】第２の特徴量は画像に関する２値化エッジ
強度であり、評価関数は輪郭線上の点のエッジ割合であ
る。又は、第２の特徴量は画像に関する２値化エッジ強
度であり、評価関数は輪郭線上の点のエッジ割合につい
ての時間変化率である。これにより、輪郭線の自動変形
の結果の妥当性を高い精度で自動判定できる。

【００１６】第１の特徴量は画像の各点での色成分値で
ある。これは、画像は局所的には色成分値が均質である
こと、及び明度のみでは画像の特徴を十分に抽出するこ
とができないことに基づいている。

【００１７】第１の特徴量は当該画像の各点でのテクス
チャ特徴量であり、第２の特徴量は当該テクスチャ特徴
量分布の変化の大きさを表す特徴量である。又は、第１
の特徴量は画像の各点でのテクスチャ特徴量であり、第
２の特徴量はテクスチャ特徴量の変化の大きさに関する
２値化テクスチャエッジ強度であり、評価関数は輪郭線
上の点のテクスチャエッジ割合である。これらの特徴量
を用いることにより、一般に様々な模様からなる画像に
おいてその模様の境界を確実に捉えることができ、輪郭
線がその境界に収束したか否かを自動できる。

【００１８】初期輪郭設定ステップが、時系列的に入力
する画像の動きベクトル分布を抽出する動きベクトル分
布抽出ステップと、動きベクトルの分布に基づき画像中
の所定の対象領域の外部又は内部に任意形状の初期輪郭
線を設定する輪郭設定ステップとからなる。これによ
り、時系列画像中の動く被写体のみを自動的にかつ高精
度に抽出することができる。

【００１９】本発明に係る記憶媒体には、上述の画像抽
出方法を実行するプログラム・ソフトウエアが格納され
る。

【００２０】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００２１】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０は画像入力装置、１２は画像記憶装
置、１４は画像表示装置、１６は画像処理装置、１８は
マウスなどのポインティング・デバイスからなる指示選
択装置である。画像入力装置１０は、イメージ・スキャ
ナ、ディジタル・カメラなどの撮像装置、又は、画像デ
ータベースに接続する画像データ転送装置からなる。

【００２２】本実施例では、画像入力装置１０から、背
景から分離抽出されるべき対象を含む画像データが入力
し、画像記憶装置１２に記憶される。画像記憶装置１２
に記憶される画像データは、画像表示装置１４の画面上
の所定位置に所定の形式で表示される。

【００２３】図２は、画像処理装置１６の概略構成ブロ
ック図を示す。２０は初期輪郭設定装置、２２，２４は
特徴量抽出装置、２６は領域成長装置、２８は輪郭変形
更新装置、３０は輪郭決定装置、３２は処理結果出力装
置である。処理結果出力装置３２はマスクデータ生成装
置３４と抽出画像データ生成装置３６を具備する。画像
処理装置１６のこれらの機能の一部又は全部は、実際に
はプログラム・ソフトウエアにより実現される。図示し
ていないが、画像処理装置１６は、処理途中のデータを
一時的に記憶する記憶装置を具備する。

【００２４】図３は、画像処理装置１６の動作フローチ
ャートを示し、図４は処理例を示す。画像データを画像
入力装置１０から画像記憶装置１２に入力し、画像表示
装置１４の画面上に表示する（Ｓ１）。表示された入力
画像を見て、ユーザは、切り出したい領域の内部又は外
部に、その領域の形状に概ね沿った任意の形状の閉じた
又は概ね閉じた初期輪郭線を指示選択装置１８により設
定する（Ｓ２）。図４（ａ），（ｂ）は対象領域の外部
に初期輪郭線を設定する例を示し、同（ｃ）は対象領域
の内部に初期輪郭線を設定する例を示す。図４（ｂ）
は、最も容易な画像の外枠を初期輪郭線とする例を示
す。

【００２５】具体的には、画像表示装置１４上に表示さ
れたカーソル（不図示）の位置を確認しつつ、指示選択
装置（マウス）１８のボタンを押しながら、目的とする
曲線の軌跡を描くようにそのカーソルを画面上で移動さ
せると、初期輪郭線設定装置２０が、その軌跡上の点を
所定の間隔でサンプリングしたサンプリング点間を結ぶ
滑らかな曲線が生成する。これが、初期輪郭線となる。
その他、抽出対象の外側の任意の複数の点でマウスをク
リックすると、初期輪郭線設定装置２０は、クリック点
同士を直線で結んで初期輪郭線を生成する。対角をなす
２点を指定することにより、矩形の初期輪郭線を生成し
てもよい。

【００２６】特徴量抽出装置２２は、入力画像から第１
の特徴量として各画素の色成分値（ＲＧＢ各成分値、又
はＨ（色相）、Ｓ（彩度）及びＶ（明度）の各成分値な
ど）を抽出し（Ｓ３）、特徴量抽出装置２４が、第２の
特徴量として、入力画像の濃度（明度）に関する各画素
におけるエッジ強度値を抽出する（Ｓ４）。エッジ強度
の抽出には、典型的にはＳｏｂｅｌ，Ｐｒｅｗｉｔｔ及
びＣａｎｎｙなどの空間微分演算を伴うフィルタ処理が
用いられる。更に、後述するエッジ割合算出のために、
所定の閾値でエッジ強度を２値化する。第１の特徴量
は、以下に説明する領域成長処理で使用され、第２の特
徴量は、変形後の輪郭線の収束判定に使用される。

【００２７】領域成長装置２６は、輪郭線上の代表点を
サンプリングし、各代表点の近傍領域（ｑ_１、ｑ_２，・
・・，ｑ_ｎ）を設定する（Ｓ５）。各代表点の近傍領域
は、互いに接するか、又は一定幅以上重なるように、設
定される。

【００２８】各代表点での第１の特徴量（例えば、
Ｒ_０、Ｇ_０及びＢ_０とする。）と近傍領域内の各点につ
いての第１の特徴量（Ｒ_ｉｊ、Ｇ_ｉｊ及びＢ_ｉｊ）との
差異を求め、その値が閾値以下ならば、抽出領域又は背
景領域として併合する（Ｓ６）。これが領域成長であ
る。図５は、領域成長の結果得られる各代表点毎の成長
後の領域（Ｑ_１，Ｑ_２，・・・，Ｑ_ｎ）を便宜的に重な
り合わないように示す。各領域間の境界線は破線で図示
してある。一般的には、領域間の重なりが生じるが、各
領域の総和として１つの連結領域が選択されるので、実
行上の問題は生じない。

【００２９】領域成長処理では、典型的には、

【００３０】

【数１】を満たす各代表点の近傍領域を併合して得られる領域
が、領域成長後の背景領域又は抽出領域となる。特徴量
の差異を表す尺度として、数１の左辺以外に、ユークリ
ッド距離及びＭｉｎｋｏｗｓｋｉ距離などを用いてもよ
い。数１のＴｈは閾値であり、後で説明する収束判定結
果により未収束と判定された場合には、所定量だけ自動
的に増加される。色成分として、ＨＳＶ等の特徴量を用
いた場合も基本的に同様である。

【００３１】第１の特徴量にテクスチャ特徴量を用い、
第２の特徴量に後述するテクスチャエッジ強度を用いて
も良い。この場合、以下の説明において、テクスチャエ
ネルギ強度が所定のレベル以上のものをエッジとし、全
周囲長の点数に対するエッジ点数の割合をエッジ割合と
する。

【００３２】テクスチャ特徴量は例えば、互いに異なる
所定の方向成分及びスケーリング因子を有するＧａｂｏ
ｒフィルタカーネルと入力画像の濃淡分布（いわゆる明
度分布に相当する。）との畳み込み演算により得られる
Ｇａｂｏｒウエーブレット変換係数を要素とする特徴ベ
クトル、又は、各Ｇａｂｏｒウエーブレット変換係数の
平均値及び分散値を要素とする特徴ベクトルからなる。
Ｂ．Ｓ．ＭａｎｊｕｎａｔｈａｎｄＷ．Ｙ．Ｍ
ａ，”ＴｅｘｔｕｒｅＦｅａｔｕｒｅｓｆｏｒＢ
ｒｏｗｓｉｎｇａｎｄＲｅｔｒｉｅｖａｌｏｆ
ＩｍａｇｅＤａｔａ”，ＩＥＥＥＴｒａｎｓａｃ
ｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓ
ａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃ
ｅ，ｖｏｌ．１８，ｐｐ．８３７−８４２，１
９９６を参照されたい。Ｇａｂｏｒウエーブレットとし
ては、例えば、３０度間隔で６方向（０度、３０度、・
・・、及び１５０度）、及び３段階のスケーリングレベ
ル（１、１／２及び１／４）を有するものを用いる。

【００３３】また、特定方向θへのテクスチャエッジ強
度Ｅ_Ｔ（ｘ，ｙ）は、特徴ベクトル場（ｍ_１（ｘ，
ｙ），ｍ_２（ｘ，ｙ），・・・，ｍ_Ｎ（ｘ，ｙ））の各
エッジ成分と、そのエッジ成分の所定方向θへのガウシ
アン関数の一次微分との畳み込み成分の大きさ（ｍａｇ
ｎｉｔｕｄｅ）に関する重み付き総和として得られる値
が使用される。すなわち、

【００３４】

【数２】ただし、ｘ’_θ＝ｘｃｏｓθ＋ｙｓｉｎθ ｙ’_θ＝−ｘｓｉｎθ＋ｙｃｏｓθ である。ｗ_ｉは重み係数、Ｇ_σ（ｘ，ｙ）は標準偏差σ
のガウシアン関数、ＮはＧａｂｏｒフィルタの数をそれ
ぞれ示す。

【００３５】重み係数ｗ_ｉとしては、例えば、特徴ベク
トル成分ｍ_ｉの値を特徴ベクトル全体の大きさで正規化
したもの

【００３６】

【数３】特徴ベクトル成分ｍ_ｉの局所的平均値を特徴ベクトル全
体の大きさの局所的平均値で正規化したもの

【００３７】

【数４】特徴ベクトル成分をその局所的全エネルギで正規化した
もの

【００３８】

【数５】又は、均一重みづけ（ｗ_ｉ＝１）でもよい。Ｎ（ｘ，
ｙ）は点（ｘ，ｙ）の近傍領域の点の集合を表し、ｗ_ｉ
（ｘ，ｙ）は点（ｘ，ｙ）での重み係数を表す。

【００３９】所定の閾値での領域成長結果に基づき、輪
郭変形更新装置２８が、輪郭線を抽出する（Ｓ７）。具
体的には、輪郭線が抽出対象内にあるときには成長後の
領域の最外側輪郭線を選択し、輪郭線が背景領域内にあ
る場合には成長後の領域の最内側輪郭線（の所定長、例
えば、初期輪郭線長の半分以上の周囲長を有するも
の。）を選択する。図６は、図５に示す初期輪郭線に対
する更新された輪郭線を示す。後者の場合に内側輪郭線
を被写体形状の輪郭線としてとる理由は、領域成長過程
での領域は、通常、被写体領域を包含する領域を穴とす
るような連結領域をなすからである。初期輪郭線又は変
形途中の輪郭線が閉じていない場合には、成長後の領域
の最外側輪郭線を採用する。初期輪郭が抽出対象の内側
又は外側のいずれにあるかは、予めユーザが指示するも
のとする。

【００４０】輪郭線の更新後、領域成長装置２６は、輪
郭線のエッジ割合（輪郭線上の点のうち、エッジ強度が
所定レベル以上のエッジ点の存在割合）を求め（Ｓ
８）、収束したか否かを判定する（Ｓ９）。エッジ割合
は、輪郭線が抽出対象である被写体の輪郭線にどの程度
収束したかを測る尺度であり、エッジ割合が収束判定用
の閾値（例えば、０．８）より高ければ、収束したと判
定する。収束判定の尺度としてエッジ割合の変化率を用
い、その値が所定の閾値（例えば、０．１）以下なら、
収束と判定してもよい。

【００４１】収束判定の結果が未収束であれば、領域成
長の閾値Ｔｈを更新する（Ｓ１０）。図７は、閾値の更
新特性の例を示す。図７（ａ），（ｂ）は、収束判定回
数に対する閾値Ｔｈを単調増加させ、最大値Ｔｈ_ｍａｘ
で飽和させる例を示す。図７（ｃ）は、第２の特徴量で
あるエッジ強度に基づいて更新輪郭線上のエッジ割合が
所定レベル（例えば、０．５）より低ければ閾値Ｔｈの
増分をより大きく、所定レベルより高ければ増分をより
小さくするようにした例を示す。図７（ｄ）は、エッジ
割合の変化率が小さくなるほど閾値Ｔｈの増加率を相対
的に小さくした例を示す。いずれを採用しても良い。ま
た、更新特性を制御する他のパラメータとして、例え
ば、輪郭線長及び輪郭線長の変化率などを用いても良
い。エッジ割合は、輪郭線の抽出被写体への収束度を近
似的に表している。

【００４２】輪郭決定装置３０は、収束後の輪郭線を画
像表示装置１４の画面上に原画像に重畳して表示する
（Ｓ１１）。ユーザの操作（マウス等の指示選択装置１
８を用いた操作）により実際に正しく抽出対象に収束し
た輪郭線の区間が指示選択されると、その部分（又は輪
郭線の全体）が抽出対象の輪郭線として確定する（Ｓ１
２）。

【００４３】選択されなかった輪郭線部分は、以後、未
収束部分として扱われ、上述した処理を繰り返して変形
更新を行い、抽出対象に収束させることができる。すな
わち、各未収束輪郭線を初期輪郭線とし（Ｓ１３）、上
述した処理（Ｓ５からＳ１２）を再度、実行する。ただ
し、各未収束輪郭線部分を中心として領域成長を行った
結果得られる領域に対する輪郭線の更新では、領域成長
前の未収束輪郭線部分を境界線として含むような新たな
領域を成長後の領域から分割して切り出し、その領域の
境界線から成長前の未収束輪郭線部分を除いた残りの境
界線を更新輪郭線とする。

【００４４】以上の手順で抽出された輪郭線は、抽出対
象の輪郭線、又は抽出対象を除く背景領域の輪郭線であ
る。それが閉曲線をなす場合には、その閉曲線内部の領
域を表すマスクデータ（一般に２値データであり、マス
ク領域内部の各画素を１とし、外部の各画素を０とす
る。）を生成する（Ｓ１４）。このマスクデータと原画
像との論理積をとることにより、所望の対象画像が抽出
される。抽出された画像は、画像表示装置１４の画面上
に、容易に視認できるように（例えば、抽出対象以外の
領域を特定色にしたり、抽出された輪郭線を点滅表示す
るなどして）表示される（Ｓ１５）。

【００４５】本実施例では、初期輪郭線を閉じた図形と
なるように設定したが、初期輪郭線を構成する要素とし
ては閉じていない任意の線分、曲線要素又は点でもよ
い。

【００４６】領域成長の閾値の更新特性は、エッジ割合
又は収束判定回数の単調増加（減少）関数とせず、エッ
ジ割合及びエッジ割合の変化率など、複数の要素によっ
て決まる任意の関数に基づき、更新するものでもよい。
更に、エッジ割合などが一定レベルに達した後、未収束
輪郭線部分について再度領域成長処理を行う場合には、
領域成長の閾値をリセットして初期値から閾値をスター
トさせても良い。領域成長の閾値の制御方法は、以上に
説明した方法に限定されるものではなく、他の方法でも
よい。

【００４７】以上の各処理は、コンピュータで実行可能
な所定のプログラム形式により形成されていても良い
し、各部の処理を所定のゲートアレイ（ＦＰＧＡ及びＡ
ＳｌＣ等）などのハードウェア、又は所定のコンピュー
タプログラムと図１に示す一部の要素を実現する部分的
ハードウェア・モジュールとが混在する形式でも実現で
きることは明らかである。ハードウェアモジュールが含
まれる場合、必ずしも各構成要素が図１に示す構成と同
一でなくてもよく、その機能が実質的に同一であるも
の、又は、一つの要素が図１の複数の要素の機能を備え
るものなども、本発明の技術的範囲に含まれる。この点
は、以下の実施例において同様である。

【００４８】次に、動画像から動きのある特定の被写体
画像を自動抽出する実施例を説明する。この場合、画像
入力装置１０は、例えば、ビデオカメラ等の動画像出力
装置からなる。入力画像は、背景が静止している、すな
わち、パン、チルト及びズームされていない画像である
とする。

【００４９】図８は、動画像の画像処理装置１６の概略
構成ブロック図を示す。４０は動きベクトル分布抽出装
置、４２は、動きベクトルクラスタリング装置、４４
は、初期輪郭設定装置、４６，４８は特徴量抽出装置、
５０は領域成長装置、５２は輪郭変形更新装置、５４は
輪郭決定装置、５６は処理結果出力装置である。処理結
果出力装置５６はマスクデータ生成装置５８と抽出画像
データ生成装置６０を具備する。これらの機能の一部又
は全部は、実際にはプログラム・ソフトウエアにより実
現される。図示していないが、処理途中のデータを一時
的に記憶する記憶装置を具備することは、図２と同じで
ある。

【００５０】動きベクトル抽出装置４０は、入力する時
系列画像を勾配法（Ｂ．Ｋ．Ｐ．Ｈｏｒｎａｎ
ｄＢ．Ｇ．Ｓｃｈｕｎｃｋ， ”Ｄｅｔｅｒｍｉ
ｎｉｎｇｏｐｔｉｃａｌｆｌｏｗＡｒｔｉｆｉｃ
ｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ”，ｖｏｌ．１
７，ｐｐ．１８５−２０３，１９８１）により、
又は、各フレームをブロック分割し、ブロックマッチン
グによりフレーム間の対応点を抽出する方法等により、
動きベクトルの分布を抽出する。動きベクトルクラスタ
リング装置４２は、動きベクトル抽出装置４０により抽
出された動きベクトル、有意な動きベクトルを有する領
域を連結する。

【００５１】初期輪郭設定装置４４は、動きベクトルク
ラスタリング装置４２によりクラスタリングして得られ
る連結領域を包含する（又はその内部に含まれる）多角
形の境界線を初期輪郭線として自動設定する。その多角
形は例えば、この連結領域に外接（又は内接）するも
の、多角形の境界線上の各点と連結領域境界との距離が
一定値以上となるようなもの、又は連結領域の輪郭線等
である。初期輪郭線は、第１及び第２フレームの画像デ
ータのみから決定しても良いし、又は、一定フレーム間
隔毎に隣り合う２枚のフレーム画像から決定しても良
い。

【００５２】輪郭変形更新装置５２は、抽出された動き
ベクトルのクラスタ領域の内側に初期輪郭線が設定され
る場合には領域成長後の連結領域の外側輪郭線を採用
し、その逆の場合には、連結領域の内側輪郭線を採用す
る。

【００５３】特徴量抽出装置４６，４８、領域成長装置
５０、輪郭決定装置５４及び処理結果出力装置５６は、
入力画像の各フレームに対して図２の特徴量抽出装置２
２，２４、領域成長装置２６、輪郭決定装置３０及び処
理結果出力装置３２と同様に動作するので、詳細な説明
は省略する。

【００５４】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、抽出対象又は非抽出対象（背景）
に関する大まかな指示（初期輪郭の設定）を与えるだけ
で、輪郭線上のエッジ割合等の所定の特徴量に基づき収
束度を自動判定して領域成長の閾値を適切に自動設定
し、任意形状の被写体の輪郭線形状の抽出及び必要によ
りその内部領域の画像抽出を自動で行うことができる。
各代表点を中心とした領域成長において、代表点ごとに
特徴量（色成分など）の基準値が定められるので、背景
又は抽出対象に多くの色成分などが分布している場合で
も、分離したい領域の境界線を忠実に抽出でき、抽出対
象領域の画像を切り出すことができる。

【００５５】また、動きベクトルに基づいて自動的に被
写体（抽出対象）の大まかな形状等に関する情報を得て
その被写体に関する近似輪郭線（初期輪郭線）を設定す
るので、動画像から動く被写体のみを高精度かつ自動で
抽出することが出来る。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成ブロック図であ
る。

【図２】画像処理装置１６の概略構成ブロック図であ
る。

【図３】図２に示す構成の処理フローチャートであ
る。

【図４】本実施例による処理の途中経過を説明する模
式図である。

【図５】初期輪郭線の一配置例である。

【図６】更新後の輪郭線の配置例である。

【図７】領域成長の閾値の更新特性を示す図である。

【図８】画像処理装置１６の別の構成の概略構成ブロ
ック図である。

【符号の説明】

１０：画像入力装置１２：画像記憶装置１４：画像表示装置１６：画像処理装置１８：指示選択装置２０：初期輪郭設定装置２２，２４：特徴量抽出装置２６：領域成長装置２８：輪郭変形更新装置３０：輪郭決定装置３２：処理結果出力装置３４：マスクデータ生成装置３６：抽出画像データ生成装置４０：動きベクトル分布抽出装置４２：動きベクトルクラスタリング装置４４：初期輪郭設定装置４６，４８：特徴量抽出装置５０：領域成長装置５２：輪郭変形更新装置５４：輪郭決定装置５６：処理結果出力装置５８：マスクデータ生成装置６０：抽出画像データ生成装置

フロントページの続き (72)発明者高橋史明東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5L096 AA02 AA06 CA04 CA22 CA25 DA01 EA43 FA06 GA02 GA10 GA38 GA43 GA51 GA55 HA04 MA07

Claims

【特許請求の範囲】

【請求項１】画像中の所定の対象領域の外部又は内部
に任意形状の初期輪郭線を設定する初期輪郭設定ステッ
プと、当該画像から第１の特徴量を抽出する特徴量抽出ステッ
プと、当該第１の特徴量と第１の閾値処理に基づき当該初期輪
郭線を変形させる変形ステップと、変形後の輪郭線上の所定サンプリング点で第２の特徴量
を抽出し、当該第２の特徴量に関する所定の評価関数値
の第２の閾値処理により当該輪郭線の収束を判定する収
束判定ステップと、当該第１の閾値処理における閾値を更新する閾値更新ス
テップとを有することを特徴とする画像抽出方法。
【請求項２】当該変形ステップは、当該初期輪郭線上の代表点を少なくとも１つ抽出する代
表点サンプリングステップと、当該代表点を含む抽出領域又は背景領域を設定更新する
領域設定更新ステップと、当該第１の特徴量に基づく領域成長条件の判定閾値を設
定更新する閾値設定更新ステップと、当該代表点の近傍領域における当該第１の特徴量と当該
代表点での当該第１の特徴量との差異が当該判定閾値以
下の場合に、当該近傍領域を当該代表点を含む抽出領域
又は背景領域に併合する領域成長ステップと、当該領域成長後の抽出領域の外側輪郭線又は背景領域の
内側輪郭線を変形後の新たな輪郭線とする輪郭線更新ス
テップとからなる請求項１に記載の画像抽出方法。
【請求項３】当該第２の特徴量は当該画像に関する２
値化エッジ強度であり、当該評価関数は当該輪郭線上の
点のエッジ割合である請求項１に記載の画像抽出方法。
【請求項４】当該第２の特徴量は当該画像に関する２
値化エッジ強度であり、当該評価関数は当該輪郭線上の
点のエッジ割合についての時間変化率である請求項１に
記載の画像抽出方法。
【請求項５】当該第１の特徴量は当該画像の各点での
色成分値である請求項１に記載の画像抽出方法。
【請求項６】当該第１の特徴量は当該画像の各点での
テクスチャ特徴量であり、当該第２の特徴量は当該テク
スチャ特徴量分布の変化の大きさを表す特徴量である請
求項１に記載の画像抽出方法。
【請求項７】当該第１の特徴量は当該画像の各点での
テクスチャ特徴量であり、当該第２の特徴量は当該テク
スチャ特徴量の変化の大きさに関する２値化エッジ強度
であり、当該評価関数は当該輪郭線上の点のエッジ割合
である請求項１に記載の画像抽出方法。
【請求項８】当該初期輪郭設定ステップが、時系列的
に入力する画像の動きベクトル分布を抽出する動きベク
トル分布抽出ステップと、当該動きベクトルの分布に基
づき画像中の所定の対象領域の外部又は内部に任意形状
の初期輪郭線を設定する輪郭設定ステップとからなる請
求項１乃至７の何れか１項に記載の画像抽出方法。
【請求項９】画像中の所定の対象領域の外部又は内部
に任意形状の初期輪郭線を設定する初期輪郭設定手段
と、当該画像から第１の特徴量を抽出する特徴量抽出手段
と、当該第１の特徴量と第１の閾値処理に基づき当該初期輪
郭線を変形させる変形手段と、変形後の輪郭線上の所定サンプリング点で第２の特徴量
を抽出し、当該第２の特徴量に関する所定の評価関数値
の第２の閾値処理により当該輪郭線の収束を判定する収
束判定手段と、当該第１の閾値処理における閾値を更新する閾値更新手
段とを有することを特徴とする画像抽出装置。
【請求項１０】当該変形手段は、当該初期輪郭線上の代表点を少なくとも１つ抽出する代
表点サンプリング手段と、当該代表点を含む抽出領域又は背景領域を設定更新する
領域設定更新手段と、当該第１の特徴量に基づく領域成長条件の判定閾値を設
定更新する閾値設定更新手段と、当該代表点の近傍領域における当該第１の特徴量と当該
代表点での当該第１の特徴量との差異が当該判定閾値以
下の場合に、当該近傍領域を当該代表点を含む抽出領域
又は背景領域に併合する領域成長手段と、当該領域成長後の抽出領域の外側輪郭線又は背景領域の
内側輪郭線を変形後の新たな輪郭線とする輪郭線更新手
段とからなる請求項９に記載の画像抽出装置。
【請求項１１】当該第２の特徴量は当該画像に関する
２値化エッジ強度であり、当該評価関数は当該輪郭線上
の点のエッジ割合である請求項９に記載の画像抽出手
段。
【請求項１２】当該第２の特徴量は当該画像に関する
２値化エッジ強度であり、当該評価関数は当該輪郭線上
の点のエッジ割合についての時間変化率である請求項９
に記載の画像抽出装置。
【請求項１３】当該第１の特徴量は当該画像の各点で
の色成分値である請求項９に記載の画像抽出装置。
【請求項１４】当該第１の特徴量は当該画像の各点で
のテクスチャ特徴量であり、当該第２の特徴量は当該テ
クスチャ特徴量分布の変化の大きさを表す特徴量である
請求項９に記載の画像抽出装置。
【請求項１５】当該第１の特徴量は当該画像の各点で
のテクスチャ特徴量であり、当該第２の特徴量は当該テ
クスチャ特徴量の変化の大きさに関する２値化エッジ強
度であり、当該評価関数は当該輪郭線上の点のエッジ割
合である請求項９に記載の画像抽出装置。
【請求項１６】当該初期輪郭設定手段が、時系列的に
入力する画像の動きベクトル分布を抽出する動きベクト
ル分布抽出手段と、当該動きベクトルの分布に基づき画
像中の所定の対象領域の外部又は内部に任意形状の初期
輪郭線を設定する輪郭設定手段とからなる請求項９乃至
１５の何れか１項に記載の画像抽出装置。
【請求項１７】請求項１乃至８の何れか１項に記載の
画像抽出方法のプログラム・ソフトウエアを記憶するこ
とを特徴とする記憶媒体。