JP2012123721A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】前景領域の追跡を行う際に、誤検出された領域を含んでいるかを判断できるようにする。
【解決手段】動画における前景領域切り出し、および領域追跡における面積変化時に領域の画像特徴の差分を取って得られる差分から時間的な差分量を検出し、領域の面積変化時の誤検出領域を検出することで、誤検出された領域を含んだまま、領域追跡を行うと誤検出領域が後のフレームに伝播され、誤検出領域が拡大される不都合を防止できるようにする。
【選択図】図４

Description

本発明は画像処理装置及び画像処理方法に関し、特に、動画における領域切り出し処理において、領域の誤検出を判断するために用いて好適な技術に関する。

近年、家庭用デジタルビデオカメラの普及に加え、デジタル一眼レフカメラに動画撮影機能が追加されるなど、デジタル動画を撮影する機器が増加している。また、撮影したままの動画を視聴せずに、撮影した動画や静止画等の素材映像を集めて編集し、エフェクトと呼ばれる映像加工処理を行うことが一般化してきている。

映像加工処理の１つとして、被写体領域(以後、前景と呼ぶ)の切り出しを行うことにより、前景を別の背景に合成する処理が知られている。前景の切り出し処理には、特許文献１に公開されているようなクロマキーと呼ばれる手法が従来提案されている。

一方、自然物を背景とした撮影では、特定な色の一様な背景となることは少なく、複雑な背景となる場合が多いので、領域分割を行うことが必要となる。自然背景における前景と背景とを分離するには、特許文献２や特許文献３に公開されているような背景差分を用いることが一般的である。

一般的な映像撮影においては、前景の写っていない背景を予め撮影することは無く、特許文献４に公開されているような領域成長法などの方法で領域分割を行う。そして、領域分割された前景領域を追跡する方法を用いることで、動画像から前景領域の切り出しを行うことを可能としている。

特開２００１−２９８７５１号公報 特開２００６−５９２５２号公報 特開２００２−２５２８４９号公報 特開２００４−３０２８２号公報

しかしながら、従来技術を用いて前景領域を追跡する際に、前景領域の輪郭部分と背景部分とに同じ色情報やテクスチャ情報がある場合には、誤検出する場合がある。そして、誤検出された領域を含んだまま、領域追跡を行うと誤検出領域が後のフレームに伝播され、誤検出領域が拡大される不都合があった。
本発明は前述の問題点に鑑み、前景領域の追跡を行う際に、誤検出された領域を含んでいるか否かを判断できるようにすることを目的とする。

本発明の画像処理装置は、画像処理装置であって、ユーザ操作により、映像中から基準フレームと終端フレームを指定し、前景切り出し区間を指定するフレーム指定手段と、前記基準フレームに対し、前景として切り出す前景領域を指定する前景領域指定手段と、前後フレーム間において、前記前景領域を追跡する領域追跡手段と、前記領域追跡手段による領域追跡前のフレームと領域追跡後のフレームにおける領域面積の比較を行って前景領域の面積変化量を算出し、前記算出した面積変化量が所定の閾値以上であるかを判断する面積変化量算出手段と、前記面積変化量算出手段の判断結果において、前記面積変化量が所定の閾値より大きい場合に追跡前後の前景領域の特徴量の差分を算出する特徴量変化算出手段と、前記特徴量変化算出手段により算出された差分特徴量が、追跡前後の前景領域以外の領域に含まれているか検出する特徴量検出手段と、前記特徴量検出手段により検出された領域の有無で誤検出領域かどうかを判断する誤検出領域判断手段とを有することを特徴とする。

本発明によれば、動画における領域切り出し処理において、誤検出領域の有無を判断することが可能となり、誤検出領域の伝播による更なる誤検出領域の拡大を防止することができる。

本実施形態の画像処理装置の概略構成を示したブロック図である。 本実施形態におけるビデオカメラの外観を示す図である。 本実施形態における画像処理装置のモード遷移を示すフローチャートである。 本実施形態における処理全体の流れを示すフローチャートである。 本実施形態における前景領域を設定する処理を示すフローチャートである。 本実施形態における前景領域の追跡を行う処理を示すフローチャートである。 本実施形態における変化領域の色情報取得処理を示すフローチャートである。 本実施形態における編集画面の一例を示す図である。 誤検出領域の表示例を示す図である。

（第１の実施形態）
以下、図面を用いて本発明の実施形態を具体的に説明する。
図１は、本実施形態の画像処理装置１００の概略構成を示したブロック図である。
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及びＣＭＯＳやＣＣＤなどのセンサーなどから構成され、被写体の光量を検知する機能を有している。

撮像データ入力部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、撮像データ入力部１０２により変換されたデジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像を生成する。表示インターフェース１０４は、信号処理部１０３から出力されるデジタル画像を表示部１１３へ転送する。

エンコーダ部１０５は、信号処理部１０３から出力されるデジタル画像をＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４などのファイルフォーマットに変換する処理を行う。メディアインターフェース１０６は、画像処理装置１００をＰＣやその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。

ＣＰＵ１０７は、各構成の処理全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み込んで解釈し、その結果に従って各種の処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０７に提供する。

撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤルなどが該当し、これらのボタンやモードダイヤルなどが操作されることにより入力されたユーザ指示を出力する。ユーザは、レンズのズームなどの指示を、操作部１１１を介して行うことができる。

キャラクタジェネレータ１１２は、文字やグラフィックなどを生成する。表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタジェネレータ１１２や表示インターフェース１０４から受け取った撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していてもよく、その場合は、ユーザ指示を操作部１１１の入力として扱うことも可能である。なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

本実施形態では、画像処理装置１００の一形態として、ビデオカメラ２００を例にとって説明する。
図２は、本実施形態におけるビデオカメラ２００の外観を示す図である。
ボタン２０１は、撮影開始・終了を指示するためのボタンであり、図１の画像処理装置１００における操作部１１１である。

撮影が行われていない状態でボタン２０１が押下されると、映像の撮影を開始する。また、撮影が行われている状態でボタン２０１が押下されると、撮影を終了する。ディスプレイ２０２は、各種情報を表示するためのディスプレイである。図１における表示部１１３である。撮影中の映像に加え、文字やグラフィックなどを表示することができる。また、ディスプレイ２０２は、画面を触ることにより、操作部１１１として機能することができる。

モード切り替スイッチ２０３は、ビデオカメラ２００が撮影する状態（モード）と、撮影済の映像を再生、編集する状態（モード）とを切り替えるスイッチである。ビデオカメラ２００のモード遷移については、図３のフローチャートを用いて説明する。

図３のフローチャートに示す処理は、ビデオカメラ２００において、例えば、電源起動などの操作があった場合に、ＣＰＵ１０７の制御により開始される。なお、このフローチャートには明記していないが電源を遮断した場合は、処理がどの状態であっても終了処理（エンド）に遷移する。

処理が開始されると、まず、Ｓ３０１において、カメラのモードを判別し、撮影モードである場合にはＳ３０２に移行し、再生・編集モードの場合にはＳ３０６に移行する。また、あるモードで動作している場合であっても、モード切り替スイッチ２０３が変更された場合には、もう一方のモードに変更する。

Ｓ３０２においては、撮影ボタンが押されたか判断し、押された場合にはＳ３０３に移行し、押されていない場合には押されるまで待機状態となる。
Ｓ３０３においては、撮像系制御部１１０を制御し、撮影処理を行う。
Ｓ３０４においては、撮像データ入力部１０２に入力されたデータが信号処理部１０３で処理され、エンコーダ部１０５でエンコードされた映像データについて、メディアインターフェース１０６を通し、メディアに記録する処理が行われる。

Ｓ３０５においては、撮影終了の操作を監視し、終了指示が来た場合に撮影処理ならびに記録処理を終了し、フローチャートの処理を終了する。一方、終了指示が無い場合には、撮影処理および記録処理を継続するため、Ｓ３０３に移行する。以上が撮影モードに関する処理の説明である。次に再生、編集モードについて説明する。

Ｓ３０１において、再生、編集モードと判別した場合には、Ｓ３０６に移行する。Ｓ３０６においては、撮影済の映像の一覧から再生、編集したい映像データ(コンテンツ)をユーザの指示に応じて選択する。

Ｓ３０７においては、選択された映像データを再生するか、編集するかをユーザの指示に応じて判断し、再生する場合にはＳ３０８に移行し、編集する場合にはＳ３１０に移行する。
Ｓ３０８においては、選択された映像データを再生し、表示インターフェース１０４を介して表示部１１３に表示する。また、メディアインターフェースを通じて外部の表示器（図示せず）に出力してもよい。

Ｓ３０９においては、再生終了指示を監視し、終了指示が無い場合には、終了指示があるまで、もしくは映像データの終了となるまで再生処理を継続する。そして、終了指示があると再生処理を終了し、終了処理に移行する。

一方、Ｓ３０７の判断において、映像データを編集する処理が選択されている場合にはＳ３１０に進む。Ｓ３１０においては、行う編集処理が前景領域の切り出し処理か否かを判断する。切り出し処理である場合にはＳ３１１に移行し、その他の編集処理である場合にはＳ３１２に移行する。Ｓ３１１においては、前景領域の切り出し処理を行う。処理の詳細については図４を用いて、後述する。

Ｓ３１２においては、切り出し処理以外のその他の編集処理を実施する。その他の編集処理の詳細に関する説明は省略する。
Ｓ３１３においては、編集処理の終了指示を監視し、終了指示がある場合は編集処理を終了する。また、映像データが最終フレームまで到達した場合にも編集処理を終了する。一方、終了指示が無い場合には、Ｓ３１０に戻って編集処理を引き続き行う。以上で、カメラモードの遷移の説明を終了する。

図４は、本実施形態における前景領域の切り出し処理に関するアルゴリズムを説明するフローチャートである。
本実施形態においては、ユーザ操作に応じて、映像中から基準フレームと終端フレームを指定し、前景切り出し区間を指定するフレーム指定処理と、指定された基準フレームに対し、前景として切り出す領域を指定する前景領域指定処理とを行う。
まず、Ｓ４０１において、映像データから前景領域の切り出しを行うための基準となるフレームを指定して、指定したフレームから切り出したい前景領域の入力処理を行う。画面上の前景の領域を選択する処理の詳細については、図５のフローチャートを用いて後述する。
Ｓ４０２においては、切り出された前景領域について、次のフレームに対し領域追跡処理を行う。領域追跡処理の詳細については、図６のフローチャートを用いて後述する。

Ｓ４０３においては、領域追跡前のフレームと領域追跡後のフレームにおける領域面積の比較を行い、切り出し領域の画素数の差分を取り、面積変化量を取得する。
Ｓ４０４においては、Ｓ４０３において取得した面積変化量が所定の閾値より大きいか否かを判断する面積変化量算出処理を行う。閾値の算出に関しては、例えば、前景領域の面積に対する割合を設定して行う。Ｓ４０４の判断結果において、大きい場合にはＳ４０５に移行する。

Ｓ４０５においては、面積変化領域の特徴量を解析し、領域追跡前後の前景領域の特徴量の差分を算出する特徴量変化算出処理を行う。この算出処理の詳細は、図７のフローチャートを用いて、後述する。なお、特徴量とは例えば、色情報、テクスチャ情報、エッジ部の輝度勾配情報のことであり、本実施形態では色情報を用いて説明する。

Ｓ４０６においては、面積変化する前のフレームにおける前景領域以外の領域に、Ｓ４０５で得られた面積変化領域の差分特徴量が存在するか検出する特徴量検出処理を行う。
Ｓ４０７においては、前景領域以外に特徴量が存在していないか判断する処理を行う。この判断処理の結果、存在しない場合には、前景領域の誤検出の可能性が無いとし、Ｓ４０８に移行する。一方、存在する場合には、前景領域には誤検出した領域が存在する可能性があるとし、Ｓ４０９に移行する。

一方、Ｓ４０４の判断の結果、面積変化量が所定の閾値より小さい場合にはＳ４１０に移行する。Ｓ４１０では、現在の追跡対象を基準フレームと設定し、更に次のフレームを検索対象とする、切り出し処理を移行する処理を行う。その後、Ｓ４０８に移行する。

Ｓ４０８においては、前景領域の出力を行う。その後、Ｓ４１１に移行する。Ｓ４１１においては、追跡対象フレームの次のフレームが、追跡対象期間に含まれているか否か、すなわち、所定の期間外であるか否かを判断する。この判断の結果、所定の期間外であれば切り出し処理を終了する。すなわち、所定の期間内であればＳ４０２に移行し、次のフレームを追跡対象にする。

Ｓ４０９においては、追跡処理を検出フレームで中止し、誤検出した領域の表示処理を行う。本実施形態においては、誤検出された可能性がある領域を明示的に判別できるようにするために、キャラクタジェネレータ１１２にて色が異なるマスクを表示させるようにしている（図９（ｊ）を参照）。領域を明示的に表示する手段については、他の領域との相違を判別できればよく、方法を限定するものではない。
以上が前景切り出し処理全体のアルゴリズムの説明であり、以下では、各処理の詳細を説明する。

次に、図５のフローチャートを用いて、前景領域の指定に関する処理手順を説明する。
まず、Ｓ５０１においては、映像から指定した基準フレームに対し、切り出したい前景領域に対し、ユーザ操作により、点または線で指定する。具体的には、映像中から基準フレームと終端フレームを指定し、前景切り出し区間を指定するフレーム指定処理と、基準フレームに対し、前景として切り出す領域を指定する前景領域指定処理とを行う。
Ｓ５０２においては、領域成長法を用いて、ユーザにより指定された点から同じ特徴量の領域を拡大する処理を実行する。
Ｓ５０３においては、他の特徴量の領域指定点があるかを判断し、他の領域指定点がある場合にはＳ５０２に移行して前述の処理を実行する。一方、他の領域指定点が無い場合には、Ｓ５０４に移行する。
Ｓ５０４においては、特徴量毎の複数の領域を連結させて合計し、一つの前景切り出し領域として設定する。
以上が、前景領域の指定に関するアルゴリズムを図式化したフローチャートである。

次に、図６のフローチャートを用いて、前後フレーム間において、前景領域を追跡する領域追跡処理のアルゴリズムを説明する。
まず、Ｓ６０１においては、切り出した前景の領域から特徴量(本実施形態では色情報)毎にクラスタリング処理を行って領域を分割する。

Ｓ６０２においては、分割した領域に対し、分割領域毎に画素の重心となる座標を算出し、算出した重心座標に対し、特徴量を対応させる。
Ｓ６０３においては、Ｓ６０２で求めた重心の座標情報を次フレームとなる追跡対象フレームに対して反映させ、その近傍の画素に対して、特徴量の画素があるか基準の重心に対応する領域を探索する。

Ｓ６０４においては、対応点に対し、図５の処理と同様に領域成長法を用いて、対応点を中心に同じ特徴量の領域を拡大させる。同様に、他の分割領域に対して処理を行い、分割された領域を連結させる。
以上で領域追跡処理についての説明を終了する。

次に、図７のフローチャートを用いて、追跡された前景領域が面積変化した場合の領域について、誤検出された領域であるかどうかを判断する処理手順の一例について説明する。
まず、Ｓ７０１においては、閾値以上となった前景領域の面積変化量を取得する。
Ｓ７０２においては、変化前の前景領域と変化後の前景領域に対し、色ヒストグラムを取得する。Ｓ７０３においては、取得した２つのヒストグラムの差分を取り、差分の絶対値を取得する。Ｓ７０４においては、取得されたヒストグラムの差分値の分布、すなわち色の分布を算出する。

Ｓ７０５においては、算出された色の分布に偏りがあるか、一様であるかを判断する。この判断の結果、一様である場合は領域の拡大・縮小であると判断し、誤検出の可能性が低いとして、Ｓ７１０に移行する。一方、色の分布に偏りがある場合にはＳ７０６に移行する。

Ｓ７０６においては、分布に偏りがあった色の領域情報を取得する。Ｓ７０７においては、Ｓ７０６で取得した色の領域情報を面積変化時に少ないフレームの前景領域外に存在するか探索して検出する。

Ｓ７０８においては、Ｓ７０７での検出処理の結果について、存在の有無を判断して、誤検出領域かどうかを判断する誤検出領域判断処理を行う。この判断の結果、存在する場合にはＳ７０９に移行し、存在しない場合にＳ７１０に移行する。

Ｓ７０９においては、誤検出した領域の可能性があるとの判断に基く処理を行う。一方、Ｓ７１０においては、誤検出した領域の可能性はなしとする判断に基く処理を行う。Ｓ７０９、またはＳ７１０の処理を終了したらＳ７１１に移行する。Ｓ７１１においては、誤検出の有無を情報として出力する。
以上で、面積変化量と特徴量の変化から誤検出の可能性があるかどうかを判断する処理のフローチャートの説明を終了する。

なお、本実施形態では、動画を撮影するビデオカメラ２００の例を用いて説明したが、動画を撮影するデジタルカメラやカメラ付き携帯電話など動画を撮影できる機器を用いて実現しても同様の効果を得ることができる。また、切り出し処理に関しては、撮影機器に限定されることなく撮影データをコンピュータに取り込み、図８のようなコンピュータのアプリケーションソフトの機能として実装してもよい。

図８において、（ａ）は編集画面の例を示す図であり、（ｂ）は領域切り出し区間の例を示す図である。
図８（ａ）に示すように、映像編集ウィンドウ８０１にはプレビュー画面８０２、映像選択画面８０３、タイムライン編集画面８０４、編集対象フレーム設定部８０５が設けられている。図８（ａ）の例では、映像選択画面８０３に映像１〜４が表示され、映像１が編集対象として選択されている。また、タイムライン編集画面８０４にはタイムライン、ビデオ、オーディオが編集可能に表示されている。また、図８（ｂ）に示すように、基準８０６から所定の被写体切り出し期間８０８において、修正箇所８０７が表示されている。

図９（ａ）、（ｂ）、（ｃ）は原画像を示し、領域追跡処理を行う時間順は（ａ）→（ｃ）である。これらの原画像（ａ）、（ｂ）、（ｃ）に対し、領域追跡処理を施した結果が図９（ｄ）、（ｅ）、（ｆ）で示す領域追跡画像である。そして、これらの領域追跡画像（ｄ）、（ｅ）、（ｆ）に領域抽出処理を施した結果が、図９（ｇ）、（ｈ）、（ｉ）に示す領域抽出画像である。この画像から明らかなように、領域抽出画像（ｉ）において、誤検出が生じている。図９（ｊ）に誤検出領域の表示の例を示す。

なお、動画とは単一ファイルとなる映像フォーマットだけでなく、時間的に連続している静止画の集合であってもよい。また、前述した実施形態においては、面積変化領域に関する前景か背景かの判別手段に画像の特徴量の算出に色情報を用いたが、領域のテクスチャ情報を用いてもよい。テクスチャの算出には、空間周波数変換を行い、周波数成分の分布からテクスチャの類似性を求めることができる。空間周波数への変換処理に一般的な画像保存形式で用いるＪＰＥＧやＭＰＥＧで用いるＤＣＴ圧縮の情報を用いてもよい。

また、特徴量として輪郭(エッジ)の情報を用いてもよく、画素の輝度値の勾配を用いるようにしてもよい。さらに、特徴量の算出に関しては、色、テクスチャ、勾配と個別に使用するだけでなく、組み合わせて用いてもよい。
以上説明した処理制御を行うことで、図９のように、前景領域を切り出し、領域追跡を行った際の領域拡縮が発生した際の誤検出か否かを判別することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像処理装置、１０１ 撮像部、１０２ 撮像データ入力部、１０３ 信号処理部、１０４ 表示インターフェース、１０５ エンコーダ部、１０６ メディアインターフェース、１０７ ＣＰＵ、１０８ ＲＯＭ、１０９ ＲＡＭ、１１０ 撮像系制御部、１１１ 操作部、１１２ キャラクタジェネレータ、１１３ 表示部

Claims (9)

1. 画像処理装置であって、
   ユーザ操作により、映像中から基準フレームと終端フレームを指定し、前景切り出し区間を指定するフレーム指定手段と、
   前記基準フレームに対し、前景として切り出す前景領域を指定する前景領域指定手段と、
   前後フレーム間において、前記前景領域を追跡する領域追跡手段と、
   前記領域追跡手段による領域追跡前のフレームと領域追跡後のフレームにおける領域面積の比較を行って前景領域の面積変化量を算出し、前記算出した面積変化量が所定の閾値以上であるかを判断する面積変化量算出手段と、
   前記面積変化量算出手段の判断結果において、前記面積変化量が所定の閾値より大きい場合に追跡前後の前景領域の特徴量の差分を算出する特徴量変化算出手段と、
   前記特徴量変化算出手段により算出された差分特徴量が、追跡前後の前景領域以外の領域に含まれているか検出する特徴量検出手段と、
   前記特徴量検出手段により検出された領域の有無で誤検出領域かどうかを判断する誤検出領域判断手段と、
   を有することを特徴とする画像処理装置。
2. 前記特徴量変化算出手段は、前景領域の色情報の差分を取って色情報の分布を算出することで前記特徴量の差分を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴量変化算出手段は、前景領域のテクスチャ情報の差分を取るとともに、テクスチャ情報として空間周波数に変換して周波数成分の差分を取り、テクスチャ情報の分布を算出することで前記特徴量の差分を算出することことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特徴量変化算出手段は、前景領域のエッジ部の輝度勾配情報を用いて輝度勾配情報の差分を取り、勾配情報の分布を算出することで前記特徴量の差分を算出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 画像処理方法であって、
   ユーザ操作により、映像中から基準フレームと終端フレームを指定し、前景切り出し区間を指定するフレーム指定工程と、
   前記基準フレームに対し、前景として切り出す前景領域を指定する前景領域指定工程と、
   前後フレーム間において、前記前景領域を追跡する領域追跡工程と、
   前記領域追跡工程における領域追跡前のフレームと領域追跡後のフレームにおける領域面積の比較を行って前景領域の面積変化量を算出し、前記算出した面積変化量が所定の閾値以上であるかを判断する面積変化量算出工程と、
   前記面積変化量算出工程の判断結果において、前記面積変化量が所定の閾値より大きい場合に追跡前後の前景領域の特徴量の差分を算出する特徴量変化算出工程と、
   前記特徴量変化算出工程において算出された差分特徴量が、追跡前後の前景領域以外の領域に含まれているか検出する特徴量検出工程と、
   前記特徴量検出工程において検出された領域の有無で誤検出領域かどうかを判断する誤検出領域判断工程と、
   を有することを特徴とする画像処理方法。
6. 前記特徴量変化算出工程は、前景領域の色情報の差分を取って色情報の分布を算出することで前記特徴量の差分を算出することを特徴とする請求項５に記載の画像処理方法。
7. 前記特徴量変化算出工程は、前景領域のテクスチャ情報の差分を取るとともに、テクスチャ情報として空間周波数に変換して周波数成分の差分を取り、テクスチャ情報の分布を算出することで前記特徴量の差分を算出することことを特徴とする請求項５または６に記載の画像処理方法。
8. 前記特徴量変化算出工程は、前景領域のエッジ部の輝度勾配情報を用いて輝度勾配情報の差分を取り、勾配情報の分布を算出することで前記特徴量の差分を算出することを特徴とする請求項５〜７の何れか１項に記載の画像処理方法。
9. 画像処理方法の各工程をコンピュータに実行させるプログラムであって、
   ユーザ操作により、映像中から基準フレームと終端フレームを指定し、前景切り出し区間を指定するフレーム指定工程と、
   前記基準フレームに対し、前景として切り出す前景領域を指定する前景領域指定工程と、
   前後フレーム間において、前記前景領域を追跡する領域追跡工程と、
   前記領域追跡工程における領域追跡前のフレームと領域追跡後のフレームにおける領域面積の比較を行って前景領域の面積変化量を算出し、前記算出した面積変化量が所定の閾値以上であるかを判断する面積変化量算出工程と、
   前記面積変化量算出工程の判断結果において、前記面積変化量が所定の閾値より大きい場合に追跡前後の前景領域の特徴量の差分を算出する特徴量変化算出工程と、
   前記特徴量変化算出工程において算出された差分特徴量が、追跡前後の前景領域以外の領域に含まれているか検出する特徴量検出工程と、
   前記特徴量検出工程において検出された領域の有無で誤検出領域かどうかを判断する誤検出領域判断工程と、
   をコンピュータに実行させることを特徴とするプログラム。

Images