JP2010122840A - 物体領域検出方法、物体領域検出装置、物体領域検出プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、カメラワークが発生する場合や背景変動が激しい場合にも、不特定のターゲット物体に対して精度良くその物体領域を検出する技術の提供を目的とする。
【解決手段】処理対象フレーム画像との変動がしきい値以上であるフレーム画像を参照フレーム画像として選択し、処理対象フレーム画像と参照フレーム画像に対して、それぞれ特徴点を検出して、処理対象フレーム画像と参照フレーム画像の特徴点を対応付け、それらの対応付けた特徴点の処理対象フレーム画像から参照フレーム画像への変動から、処理対象フレーム画像におけるターゲット物体上の特徴点を物体特徴点として識別して、それに基づいて物体領域を求めるようにする。物体領域のテンプレートや背景画像差分を用いないので、カメラワークが発生する場合や背景変動が激しい場合にも、不特定のターゲット物体に対して精度良く物体領域を検出することができるようになる。
【選択図】図１

Description

本発明は、ターゲット物体を撮影した動画像をより有効に利用するための基本的な処理である、動画像の各フレーム画像における物体領域を検出する物体領域検出方法およびその装置と、その物体領域検出方法の実現に用いられる物体領域検出プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

動画像の各フレーム画像における物体領域を抽出する従来技術として、物体追跡による方法と背景画像差分による方法がある。

物体追跡による方法（非特許文献１参照）では、初期フレーム画像における物体領域を何らかの方法で検出し、その検出した物体領域の他のフレーム画像における位置や大きさを追跡していくことで動画像の各フレームにおける物体領域を検出する。

ここで、初期フレームにおける物体領域は、ターゲット物体の特徴を表したモデルや画像パターンを用意しておき、このモデルや画像パターンに類似した領域を探索するなどの方法で検出する。たとえば、ターゲット領域が人物の顔の場合には、顔検出用の辞書パターンを用いる方法や、特定の状況であれば肌色領域の抽出などで顔領域が求められる場合もある。

初期フレーム画像で検出した物体領域をテンプレートとし、他のフレーム画像における探索を行えば、原理的には各フレーム画像における物体領域を検出することができる。

一方、背景画像差分による方法では、背景画像を撮影、または、自動生成し、対象フレーム画像と背景画像との差分により物体領域を求める。背景画像を生成する方法として様々な方法が検討されている（非特許文献２参照）。
藤吉弘亘, 「物体追跡技術」, 映像情報メディア学会誌, Vol.62, No.6, pp.849-855, 2008. 鷲見和彦, 関真規人, 波部斉, 「物体検出：背景と検出対象のモデリング」, 情報処理学会研究報告 CVIM-150-(11), pp.79-98, 2005.

物体追跡による方法は、初期フレーム画像におけるターゲット物体を検出するために、ターゲット毎にモデルを用意しておく必要がある。そのため、事前に作成する手間やコストがかかることが問題である。また、追跡処理については、時間が経過するにつれて誤差が累積し、いずれは破綻する可能性があることが問題である。特に、物体の動き方や姿勢変化などに制約がない場合に適用するには精度の点で問題がある。

一方、背景画像差分による方法は、カメラを移動させながらターゲット物体を撮影する場合に適用することが困難である。また、背景がランダムに変化するような複雑なシーンに適用するには精度の点で問題がある。

本発明はかかる事情に鑑みてなされたものであり、カメラワークが発生する場合や背景変動が激しい場合にも、不特定のターゲット物体に対して精度良く物体領域を検出できるようにする新たな物体領域検出技術の提供を目的とする。

本発明では、上記目的を達成するために、ターゲット物体のテンプレートによる照合処理、追跡処理、背景画像差分処理のいずれも用いることなく、２つのフレーム間の処理によりターゲット物体を表す特徴点を求めることで物体領域を検出することを実現する。

このことを実現するために、本発明の物体領域検出装置は、（１）物体領域の検出対象フレーム画像について、処理対象フレーム画像との変動がしきい値以上であるフレーム画像を参照フレーム画像として選択する参照フレーム画像選択手段と、（２）処理対象フレーム画像と参照フレーム画像に対して、それぞれ特徴点を検出し、処理対象フレーム画像の特徴点と参照フレーム画像の特徴点とを対応付ける特徴点検出対応付け手段と、（３）特徴点検出対応付け手段の対応付けた特徴点の処理対象フレーム画像から参照フレーム画像への変動から、処理対象フレーム画像におけるターゲット物体上の特徴点を物体特徴点として識別することで、処理対象フレーム画像におけるターゲット物体上の物体特徴点を検出する物体特徴点検出手段と、（４）物体特徴点検出手段の検出した物体特徴点から物体領域を求める物体領域検出手段とを備えるように構成する。

この構成を採るときに、物体特徴点検出手段は、同一の処理対象フレーム画像に対して複数の参照フレーム画像が選択された場合には、各参照フレーム画像から検出した物体特徴点をあわせたものを処理対象フレーム画像におけるターゲット物体上の物体特徴点として検出することがある。

また、物体領域検出手段は、物体特徴点検出手段の検出した物体特徴点の数がしきい値以下の場合には、物体特徴点による物体領域検出処理を実施しないで、前後の処理対象フレームで求められた物体領域の内挿により物体領域を求めることがある。

以上の各処理手段が動作することで実現される本発明の物体領域検出方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の物体領域検出装置では、現在物体領域の検出対象となっているフレーム画像を処理対象フレーム画像とするならば、処理対象フレーム画像に対して適切な参照フレーム画像を選択できるようにするために、処理対象フレーム画像との変動画素数が予め定めたしきい値以上となるフレーム画像を参照フレーム画像として選択して、処理対象フレーム画像とそのようにして選択した参照フレーム画像とに対して、それぞれ特徴点を検出してそれらの対応付けを行い、その対応付けた特徴点の変動に基づいて物体領域を検出する処理を行う。

そして、この物体領域の検出処理の実施にあたって、２つのフレーム画像間では少数の特徴点しか抽出できない場合にあっても物体領域を精度良く検出できるようにすることを実現するために、（ｉ）処理対象フレーム画像に対して複数の参照フレーム画像を選択して、それらを用いて検出した物体特徴点群を重ね合わせることで物体領域を検出したり、（ii）処理対象フレーム画像について物体特徴点による物体領域検出処理を実施しないで、前後の処理対象フレームで求められた物体領域の内挿により物体領域を求めることで物体領域を検出する。

本発明では、適切に選定した２つのフレーム間で、物体領域のテンプレートや背景画像差分を用いることなく物体領域を表す物体特徴点を求めて、それに基づいて物体領域を求めるようにするので、カメラワークが発生する場合や背景変動が激しい場合にも、不特定のターゲット物体に対して精度良く物体領域を検出することができるようになる。

そして、本発明では、このようにして物体領域を検出するときに、２つのフレーム画像間では少数の特徴点しか抽出できない場合には、複数の参照フレーム画像を選択して、それらを用いて検出した物体特徴点群を重ね合わせることで物体領域を検出したり、物体特徴点による物体領域検出処理を実施しないで、前後の処理対象フレームで求められた物体領域の内挿により物体領域を求めることで物体領域を検出するように処理することから、２つのフレーム画像間では少数の特徴点しか抽出できない場合にも、不特定のターゲット物体に対して精度良く物体領域を検出することができるようになる。

以下、実施の形態に従って本発明について詳細に説明する。

図１に、本発明を具備する物体領域検出装置１の一実施形態例を図示する。

この図に示すように、本発明の物体領域検出装置１は、動画像取得部１１と、動画像記憶部１２と、対象フレーム画像設定部１３と、参照フレーム画像選定部１４と、特徴点対応付け処理部１５と、物体特徴点検出部１６と、物体領域検出部１７とを備える。

動画像取得部１１は、処理対象の動画像を読み込み、読み込んだ動画像のフレーム画像列を動画像記憶部１２に出力し、物体領域検出処理の実行を命令する信号を対象フレーム画像設定部１３に出力する。

動画像記憶部１２は、動画像取得部１１から受け取ったフレーム画像列を管理しておき、参照フレーム画像選定部１４や特徴点対応付け処理部１５からの要求に応じて必要なフレーム画像を出力する。

対象フレーム画像設定部１３は、動画像取得部１１から物体領域検出処理の命令信号を受け取ると、処理対象となる対象フレーム画像を設定し、そのフレーム番号を参照フレーム画像選定部１４に出力する。対象フレーム画像を選定するための初期値と処理対象のフレーム間隔とを事前に登録しておけば、対象フレーム画像の設定は容易に行うことができる。

参照フレーム画像選定部１４は、対象フレーム画像設定部１３より対象フレーム画像のフレーム番号を受け取ると、動画像記憶部１２から必要なフレーム画像を取得し、その中から対象フレーム画像との変動がしきい値以上であるフレーム画像を参照フレーム画像として選定して、対象フレーム画像と参照フレーム画像のフレーム番号を特徴点対応付け処理部１５に出力する。

なお、対象フレーム画像との変動値がしきい値以上であるフレーム画像とは、対象フレーム画像とフレーム画像との間で対応する画素の輝度値の差分を算出し、算出された差分値が予め定めたしきい値以上となる画素の数が別途予め定めたしきい値以上となるフレーム画像を示す。

参照フレーム画像の具体的な選定方法を以下に示す。ここで、参照フレーム画像として選定されるには、ターゲット物体の変動がしきい値以上となることで対象フレーム画像との変動値がしきい値以上となる場合と、背景の変動がしきい値以上となることで対象フレーム画像との変動値がしきい値以上となる場合とがある。

ターゲット物体の変動がしきい値以上となる場合に相当する選定方法としては、対象フレーム画像の次以降のフレーム画像について、順番に、２つのフレーム画像間の差分領域がしきい値以上となったのか否かを判断して、最初にしきい値以上となったフレーム画像を参照フレーム画像として選定する方法が有効である。なお、２つのフレーム画像間の差分領域がしきい値以上の場合とは、対象フレーム画像とフレーム画像との間で対応する画素の輝度値の差分を算出し、算出された差分値が予め定めたしきい値以上となる画素の数が別途予め定めたしきい値以上となる場合を示す。

また、背景の変動がしきい値以上となる場合に相当する選定方法としては、対象フレーム画像の次以降のフレーム画像について、順番に、２つのフレーム画像間でのカメラワークの大きさがしきい値以上となったのか否かを判断して、最初にしきい値以上となったフレーム画像を参照フレーム画像として選定する方法が有効である。なお、カメラワークの大きさがしきい値以上となった場合とは、たとえば、カメラワークの各パラメタ（２方向の並行移動、回転、ズーム）のそれぞれに対して予めしきい値を設定しておき、カメラワークの４つのパラメタのいずれかが予め定めたしきい値以上となった場合としてもよいし、カメラワークの各パラメタを重み付けて加算した値が予め定めたしきい値以上となった場合としてもよい。

特徴点対応付け処理部１５は、参照フレーム画像選定部１４から対象フレーム画像と参照フレーム画像のフレーム番号を受け取ると、それぞれのフレーム画像から特徴点を検出して、対象フレーム画像の特徴点と参照フレーム画像の特徴点とを対応付けて、その対応付けた特徴点を物体特徴点検出部１６に出力する。特徴点の検出、および、その対応付け処理は、たとえば、ＳＩＦＴ（Scale Invariant Feature Transform)特徴量を利用すればよい。

物体特徴点検出部１６は、特徴点対応付け処理部１５により対応付けられた対象フレーム画像の特徴点と参照フレーム画像の特徴点との間の変動（動きベクトル）から、対象フレーム画像におけるターゲット物体上の特徴点を識別し、対象フレーム画像における物体特徴点を物体領域検出部１７に出力する。

物体特徴点の識別処理は、各特徴点について、対象フレーム画像から参照フレーム画像への動きベクトルを求め、物体特徴点の動きベクトルの方向や大きさに対するルールを事前に設定しておき、そのルールに基づいて識別する方法や、動きベクトルの方向や大きさを特徴量としたクラスタリングで求められる主要なクラスタを物体特徴点とする方法などで実現できる。

説明のための図として、図２に、固定カメラで移動する物体を撮影した場合の例を示す。

図２（ａ）に示す対象フレーム画像Ｆｎと参照フレーム画像Ｇｎとから対応付けた特徴点の動きベクトルを図２（ｂ）に示す。移動する物体上の特徴点であれば動きベクトルは背景の特徴点に比べて大きく、方向には関連性があることから、動きベクトルの方向が類似していて大きさがしきい値以上のものを識別すると、図２（ｃ）のような物体特徴点が得られることが分かる。

また、説明のための図として、図３に、カメラを移動させながらターゲット物体が常に画面の中央に位置するように撮影した場合の例を示す。

図３（ａ）に示す対象フレーム画像Ｆｎと参照フレーム画像Ｇｎとから対応付けた特徴点の動きベクトルを図３（ｂ）に示す。物体上の特徴点であれば動きベクトルは背景の特徴点に比べて小さいことから、動きベクトルの大きさがしきい値以下のものを識別すると、図３（ｃ）のような物体特徴点が得られることが分かる。

物体特徴点が多いほど、より精度よく物体領域を検出できることから参照フレーム画像を複数用いる方法が有効である。図４を用いて、複数の参照フレーム画像を用いる場合の処理例について説明する。

図４（ａ）はフレーム画像を示す。Ｆｎが対象フレーム画像である場合に、参照画像の候補として、フレーム番号がＦｎ−１０、Ｆｎ＋１１、Ｆｎ＋１２、Ｆｎ＋１３の４つを選択したとする。ぞれぞれについて、物体特徴点を検出した結果を図４（ｂ）に示す。さらに、それぞれの特徴点をマージした結果を図４（ｃ）に示す。このように複数の参照フレーム画像を用いることで物体特徴点を増やすことができる。

物体領域検出部１７は、物体特徴点検出部１６より対象フレーム画像における物体特徴点を受け取ると、物体領域を求め、その結果を出力する。

物体領域の算出方法として、矩形や楕円などの設定しておいた領域パターンで物体特徴点を囲む領域を物体領域とする方法や、物体特徴点の画像での分布の中心とばらつきから矩形や楕円などの領域パターンの位置と大きさを算出し、その結果を物体領域とする方法や、各物体特徴点から領域パターンを発生させ、それらをマージした領域を物体検出とする方法などで実現できる。

図５に、物体特徴点を囲む矩形領域を物体領域とする方法の例を示し、図６に、各物体特徴点を中心とする円領域の集合を物体検出とする方法の例を示す。

図７に、図１のように構成される本発明の物体領域検出装置１の実行する処理フローの一例を図示する。

次に、この処理フローに従って、図１のように構成される本発明の物体領域検出装置１の実行する処理手順について詳細に説明する。

ステップ１０１）
動画像取得部１１において、動画像を読み込む。本実施形態例では、読み込んだ動画像はＮ枚のフレーム画像からなるとする。

ステップ１０２）
対象フレーム画像設定部１３において、ｎ＝１に設定する。

ステップ１０３）
対象フレーム画像設定部１３において、対象フレーム画像をｎ番目のフレーム画像であるＦｎに設定する。

ステップ１０４）
参照フレーム画像選定部１４において、上述した方法に従って、対象フレーム画像Ｆｎに対する参照フレーム画像Ｇｎを選定する。

ステップ１０５）
特徴点対応付け処理部１５において、ＳＩＦＴ（Scale Invariant Feature Transform)特徴量などを利用して、対象フレーム画像Ｆｎと参照フレーム画像Ｇｎとの間で対応付けられたＫ個の特徴点Ｐｋを検出する。

ステップ１０６）
物体特徴点検出部１６において、上述した方法に従って、Ｋ個の特徴点Ｐｋから物体上の特徴点であるＲ個の物体特徴点Ｑｒを求める。

ステップ１０７）
物体領域検出部１７において、上述した方法に従って、Ｒ個の物体特徴点Ｑｒから物体領域を検出する。

ステップ１０８）
ｎ＝Ｎであるかを判定する。Ｙｅｓの場合は処理を終了する。Ｎｏの場合はステップ１０９へ進む。

ステップ１０９）
ｎ＝ｎ＋１として、ステップ１０３に進む。

このようにして、図１のように構成される本発明の物体領域検出装置１は、対象フレーム画像との変動がしきい値以上であるフレーム画像を参照フレーム画像として選択して、対象フレーム画像と参照フレーム画像に対して、それぞれ特徴点を検出し、それらの特徴点を対応付けて、その対応付けた特徴点の対象フレーム画像から参照フレーム画像への変動から、対象フレーム画像におけるターゲット物体上の特徴点を物体特徴点として識別して、それらの物体特徴点から物体領域を求めるように処理するのである。

このように、物体領域のテンプレートや背景画像差分を用いることなく、物体領域を表す物体特徴点を求めて、それに基づいて物体領域を求めるようにするので、カメラワークが発生する場合や背景変動が激しい場合にも、不特定のターゲット物体に対して精度良く物体領域を検出することができるようになる。

図８に、図１のように構成される本発明の物体領域検出装置１の実行する処理フローの他の例を図示する。

次に、この処理フローに従って、図１のように構成される本発明の物体領域検出装置１の実行する処理手順について詳細に説明する。ここで、ステップＳ２０１〜ステップＳ２０６で実行する処理は、ステップＳ１０１〜ステップＳ１０６で実行する処理と同一である。

ステップ２０１）
動画像取得部１１において、動画像を読み込む。本実施形態例では、読み込んだ動画像はＮ枚のフレーム画像からなるとする。

ステップ２０２）
対象フレーム画像設定部１３において、ｎ＝１に設定する。

ステップ２０３）
対象フレーム画像設定部１３において、対象フレーム画像をｎ番目のフレーム画像であるＦｎに設定する。

ステップ２０４）
参照フレーム画像選定部１４において、上述した方法に従って、対象フレーム画像Ｆｎに対する参照フレーム画像Ｇｎを選定する。

ステップ２０５）
特徴点対応付け処理部１５において、ＳＩＦＴ（Scale Invariant Feature Transform)特徴量などを利用して、対象フレーム画像Ｆｎと参照フレーム画像Ｇｎとの間で対応付けられたＫ個の特徴点Ｐｋを検出する。

ステップ２０６）
物体特徴点検出部１６において、上述した方法に従って、Ｋ個の特徴点Ｐｋから物体上の特徴点であるＲ個の物体特徴点Ｑｒを求める。

ステップ２０７）
ステップ２０６で求めた物体特徴点Ｑｒの個数Ｒがしきい値以上であるかを判定する。しきい値以上であればステップ２０８へ進み、しきい値より小さい場合はステップ２０９へ進む。

ステップ２０８）
物体領域検出部１７において、上述した方法に従って、Ｒ個の物体特徴点Ｑｒから物体領域を検出し、ステップ２１０へ進む。

ステップ２０９）
物体領域検出部１７において、対象フレーム画像Ｆｎの物体領域が未検出であることを示すフラグを設定し、ステップ２１０へ進む。

ステップ２１０）
ｎ＝Ｎであるかを判定する。Ｙｅｓの場合は１ラウンド目の処理を完了する。Ｎｏの場合はステップ２１１へ進む。

ステップ２１１）
ｎ＝ｎ＋１として、ステップ２０３に進む。

以上の処理により、Ｎ個のフレーム画像に対する物体領域検出の１ラウンド目の処理が完了する。次に、２ラウンド目の処理を開始する。

ステップ２１２）
物体領域が未検出のフラグが立っているフレーム画像に対する処理を行う。そのフレーム画像について、物体領域が検出されている前後のフレーム画像からの内挿により物体領域を求める。

このようにして、図１の構成される本発明の物体領域検出装置１は、図８の処理フローを実行する場合には、対象フレーム画像の持つ物体特徴点Ｑｒの個数Ｒがしきい値以上でない場合には、その対象フレーム画像については、物体領域が検出されている前後のフレーム画像からの内挿により物体領域を求めるように処理するのである。

本発明は、動画像の各フレーム画像に含まれるターゲット物体の物体領域を検出する場合に適用できるものであり、本発明を適用することで、カメラワークが発生する場合や背景変動が激しい場合にも、不特定のターゲット物体に対して精度良く物体領域を検出することができるようになる。

本発明の物体領域検出装置の一実施形態例である。 物体特徴点の検出処理の説明図である。 物体特徴点の検出処理の説明図である。 物体特徴点のマージ処理の説明図である。 物体領域の検出処理の説明図である。 物体領域の検出処理の説明図である。 本発明の物体領域検出装置の実行する処理フローである。 本発明の物体領域検出装置の実行する処理フローである。

符号の説明

１ 物体領域検出装置
１１ 動画像取得部
１２ 動画像記憶部
１３ 対象フレーム画像設定部
１４ 参照フレーム画像選定部
１５ 特徴点対応付け処理部
１６ 物体特徴点検出部
１７ 物体領域検出部

Claims (8)

1. ターゲット物体を撮影した動画像の各フレーム画像からターゲット物体領域を検出する物体領域検出装置が実行する物体領域検出方法であって、
   物体領域の検出対象フレーム画像について、処理対象フレーム画像との変動がしきい値以上であるフレーム画像を参照フレーム画像として選択する過程と、
   処理対象フレーム画像と参照フレーム画像に対して、それぞれ特徴点を検出し、処理対象フレーム画像の特徴点と参照フレーム画像の特徴点とを対応付ける過程と
   対応付けた特徴点の処理対象フレーム画像から参照フレーム画像への変動から、処理対象フレーム画像におけるターゲット物体上の特徴点を物体特徴点として識別することで、処理対象フレーム画像におけるターゲット物体上の物体特徴点を検出する過程と、
   検出した物体特徴点から物体領域を求める過程とを有することを、
   特徴とする物体領域検出方法。
2. 請求項１に記載の物体領域検出方法において、
   前記物体特徴点を検出する過程では、同一の処理対象フレーム画像に対して複数の参照フレーム画像が選択された場合には、各参照フレーム画像から検出した物体特徴点をあわせたものを処理対象フレーム画像におけるターゲット物体上の物体特徴点として検出することを、
   特徴とする物体領域検出方法。
3. 請求項１に記載の物体領域検出方法において、
   前記物体領域を求める過程では、検出した物体特徴点の数がしきい値以下の場合には、物体特徴点による物体領域検出処理を実施しないで、前後の処理対象フレームで求められた物体領域の内挿により物体領域を求めることを、
   特徴とする物体領域検出方法。
4. ターゲット物体を撮影した動画像の各フレーム画像からターゲット物体領域を検出する物体領域検出装置であって、
   物体領域の検出対象フレーム画像について、処理対象フレーム画像との変動がしきい値以上であるフレーム画像を参照フレーム画像として選択する手段と、
   処理対象フレーム画像と参照フレーム画像に対して、それぞれ特徴点を検出し、処理対象フレーム画像の特徴点と参照フレーム画像の特徴点とを対応付ける手段と
   対応付けた特徴点の処理対象フレーム画像から参照フレーム画像への変動から、処理対象フレーム画像におけるターゲット物体上の特徴点を物体特徴点として識別することで、処理対象フレーム画像におけるターゲット物体上の物体特徴点を検出する手段と、
   検出した物体特徴点から物体領域を求める手段とを有することを、
   特徴とする物体領域検出装置。
5. 請求項４に記載の物体領域検出装置において、
   前記物体特徴点を検出する手段は、同一の処理対象フレーム画像に対して複数の参照フレーム画像が選択された場合には、各参照フレーム画像から検出した物体特徴点をあわせたものを処理対象フレーム画像におけるターゲット物体上の物体特徴点として検出することを、
   特徴とする物体領域検出装置。
6. 請求項４に記載の物体領域検出装置において、
   前記物体領域を求める手段は、検出した物体特徴点の数がしきい値以下の場合には、物体特徴点による物体領域検出処理を実施しないで、前後の処理対象フレームで求められた物体領域の内挿により物体領域を求めることを、
   特徴とする物体領域検出装置。
7. 請求項１ないし３のいずれか１項に記載の物体領域検出方法をコンピュータに実行させるための物体領域検出プログラム。
8. 請求項１ないし３のいずれか１項に記載の物体領域検出方法をコンピュータに実行させるための物体領域検出プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images