JP4330914B2

JP4330914B2 - Moving object detection apparatus and moving object detection method

Info

Publication number: JP4330914B2
Application number: JP2003105341A
Authority: JP
Inventors: 賢一郎鈴木; 正臣中嶋; 鋭坂野
Original assignee: NTT Data Corp
Current assignee: NTT Data Corp
Priority date: 2003-04-09
Filing date: 2003-04-09
Publication date: 2009-09-16
Anticipated expiration: 2023-04-09
Also published as: JP2004310595A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像から動物体を検出する動物体検出装置および動物体検出方法に関する。
【０００２】
【従来の技術】
映像メディアの普及に伴い、大量の映像から必要な情報を効率的に検索する技術の重要性が高まっている。特に、映像中に現れる物体について、その名称、行動、色、外形などの情報をキーワードにして検索ができれば、その利便性は大きく向上する。このようなキーワード検索を実現するためには、予め映像中に現れる物体について、名称、行動などを言語により記述しておく必要がある。そのためには、映像中の物体を背景から分離する必要があるが、その技術のうち、動いている物体を検出する技術が従来提案されている。
【０００３】
ここで、動物体を検出する技術では、水面や草原など背景が変化している映像からの動物体の検出及び、カメラワークがある映像からの動物体の検出が大きな課題となっている。これは、背景が変化している場合やカメラワークがある場合は、映像のフレーム間で動物体以外の背景にあたる領域も変化しているので、動物体のみの分離が難しい為である。これを解決する手法として特許文献１が公開されている。なお、特許文献１は画像の動きベクトル量を計測することで動きのある移動領域を検出して動物体を検出する技術について記載されている。
【０００４】
【特許文献１】
特開２００２−２７４４９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１の技術による動物体の検出手法では、撮影したカメラから直接得られるパラメータを利用しているため、既に撮影された映像など、カメラのパラメータを取得できない映像には適用できない。さらに、水面や草原など時間とともに変化する背景について考慮がされていない。
【０００６】
この発明は上述した事情に鑑みてなされたもので、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することができる動物体検出方法および動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した問題点を解決するために、請求項１に記載の発明では、フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手段と、前記フレーム差分処理手段により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手段と、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手段と、前記カメラワーク有無判定手段により検出されたカメラワークの方向と、前記動きベクトル探索手段により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手段とを具備することを特徴とする。
【０００８】
また、請求項２に記載の発明では、請求項１記載の動物体検出装置において、前記カメラワーク有無判定手段は、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする。
【０００９】
また、請求項３に記載の発明では、請求項１または２に記載の動物体検出装置において、前記動物体領域判定手段は、隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手段により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする。
【００１０】
上述した問題点を解決するために、請求項４に記載の発明では、フレームを複数のマクロブロックに分割し、隣接フレーム間で同位置のマクロブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、マクロブロックが背景の候補領域と動物体の候補領域とのうちのいずれの候補領域に属するかを判定するフレーム差分処理手順と、前記フレーム差分処理手順により動物体の候補領域に属すると判定されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、当該フレームと１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索する動きベクトル探索手順と、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの方向を検出するカメラワーク有無判定手順と、前記カメラワーク有無判定手順により検出されたカメラワークの方向と、前記動きベクトル探索手順により探索された前記第１の動きベクトルの方向および前記第２の動きベクトルの方向とに基づいて、動物体を構成するマクロブロックを特定する動物体領域判定手順とを具備することを特徴とする。
【００１１】
また、請求項５に記載の発明では、請求項４記載の動物体検出方法において、前記カメラワーク有無判定手順において、前記フレームの最外周のマクロブロックと当該最外周のマクロブロックの内側となるマクロブロックとにおける第１の動きベクトルの方向についてヒストグラムを作成し、当該作成したヒストグラムにおいて最も大きい値をとる方向を前記カメラワークの方向として検出することを特徴とする。
【００１２】
また、請求項６に記載の発明では、請求項４または５に記載の動物体検出方法において、前記動物体領域判定手順において、隣接フレーム間における第１の動きベクトルの方向が、前記カメラワーク有無判定手順により判定されたカメラワークの方向と一致せず、かつ、上下左右のいずれかのマクロブロックの第１の動きベクトルとの角度が小さく、かつ、前記１フレーム飛ばした次のフレームにおける第２の動きベクトルとの角度が小さい場合、該当マクロブロックを、前記動物体を構成するマクロブロックであると判定することを特徴とする。
【００１３】
この発明では、フレーム差分処理手段により、フレームを複数のブロックに分割し、隣接フレーム間で同位置のブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、背景の候補領域と動物体の候補領域とを分離し、動きベクトル探索手段により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索し、カメラワーク有無判定手段により、フレームの最外周のブロックとその内側のブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの有無を判定し、動物体領域判定手段により、前記カメラワーク有無判定手段による判定結果と、前記第１の動きベクトルの方向と、前記第２の動きベクトルの方向とに基づいて、動物体を構成するブロックを特定する。したがって、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
【００１５】
Ａ．実施形態の構成
図１は、本発明による動物体検出方法を適用した動物体検出装置の構成を示すブロック図である。図において、フレーム差分処理部１０は、フレーム差分により、背景の候補領域と動物体の候補領域との分離を行なう。動きベクトル探索部１１は、フレーム差分処理部１０により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における動きベクトル、および１フレーム飛ばした次のフレームとの間における２つの動きベクトルの探索を行なう。カメラワーク有無判定部１２は、フレームの最外周とその内側の動きベクトルについて局所的な動き方向ヒストグラムを作成し、該ヒストグラムに従って、カメラワーク（パン、チルト）があるかどうかの判定を行なう。動物体領域判定部１３は、動きベクトル探索部１１により求められた隣接フレーム間における動きベクトルに基づいて、動物体を構成するマクロブロックを特定する。動物体領域整形部１４は、一連の上述した処理で動物体として判定されたマクロブロックについて、その周囲にマクロブロックの判定結果（動物体か、背景か）を参照し、動物体として確定する。
【００１６】
Ｂ．基本アルゴリズム
次に、本発明による動物体検出方法の基本アルゴリズムについて説明する。ここで、図２は、本発明による動物体検出方法の基本アルゴリズムを説明するための概念図である。
【００１７】
検出対象となる動物体が登場する状況として、カメラワークの有無や背景の変動など、様々な状況が考えられる。これらの状況を整理すると、
（１）カメラワーク無し、背景が一様、
（２）カメラワーク無し、背景が変動しない、
（３）カメラワーク無し、背景が変動する、
（４）カメラワーク有り、背景が一様、
（５）カメラワーク有り、背景が変動しない、
（６）カメラワーク有り、背景が変動する、
の６通りが挙げられる。
【００１８】
上記６通り全てに対応した動物体検出の実現方法を探るために、それぞれのフレーム間で変化する部分に着目すると、（１）と（２）、（４）については、フレーム間で変化するのは、動物体がある領域だけであると考えられるため、フレーム差分を取ることで動物体の領域を抽出することができる。しかしながら、（３）と（５）、（６）については、フレーム間で動物体以外の領域も変化するため、フレーム差分では、動物体の領域を抽出するのは難しい。
【００１９】
そこで、動物体とカメラワークがある場合の変動しない背景、変動する背景、それぞれにおけるフレーム間の動きベクトルの向きに着目すると、それぞれで動きベクトルの向きに違いがあると推測することができる。
【００２０】
すなわち、図２（ａ）に示すように、動物体の領域では、その動物体が急激な形の変動がない限りは、フレーム間で動きベクトルが見つかる。そのため、動物体の領域の動きベクトルの方向は比較的、揃っていると考えられる。
【００２１】
次に、図２（ｂ）に示すように、カメラワークがある場合の変動しない背景では、動物体の領域と同様に、急激な形の変動がない限りは、フレーム間で動きベクトルが見つかる。そのため、動きベクトルの方向は、比較的揃っていると考えられる。但し、カメラワークで動物体を追跡しているため、背景の領域と動物体の領域とでは、動きベクトルの向きは一致しないと考えられる。
【００２２】
次に、図２（ｃ）に示すように、変動のある背景領域の場合、フレーム間で領域の状態が変化しているため、対応点が存在しない。したがって、求められた動きベクトルは偶然に誤差が最小となったブロックへの動きベクトルでしかない。そのため、変動のある背景領域にある動きベクトルの方向は、動物体領域のように揃うことはなく、乱れると考えられる。
【００２３】
上述した性質に着目し、本実施形態では、変動のある背景の除去のためにフレームを飛ばした動きベクトルとの向きの比較、および、カメラワーク検出のためにフレームの最外周およびその内側の動きベクトルについて局所的な動き方向ヒストグラムの導入、以上の２つにより、上記（３）と（５）、（６）の状況における動物体の検出を実現している。以下、詳細に説明する。
【００２４】
Ｃ．背景の除去方法
次に、本実施形態による背景の除去方法について説明する。本実施形態では、２本の動きベクトルを用いて、変動する背景を除去する。なお、本実施形態では、１フレームを１６ピクセル×１６ピクセルからなる複数のマクロブロックに分割し、各マクロブロックと、対象とするフレームの同位置にあるマクロブロックの周囲、３２ピクセル×３２ピクセルに対してブロックマッチングを行ない、絶対値誤差が最小となったブロックを動きベクトルの到達ブロックとして求める。
【００２５】
前述したように、動物体と変動のある背景では、動きベクトルの向きに違いがあると推測される。図３に示すように、隣接フレーム間で求められた動きベクトル１本毎に、周囲のマクロブロックに向きが類似した動きベクトルがあるかどうか調べることで、動物体と変動のある背景とを分離することができる可能性がある。しかしながら、隣接フレームだけで、変動する背景の領域にある全ての動きベクトルの向きが乱れるとは限らず、また、フレーム間隔を離すと、動物体の早い動きに追従できなくなるため、周囲のマクロブロックの動きベクトルだけで判定するのは正確さに不安が残る。
【００２６】
そこで、動物体と変動する背景との分離を、より正確に行なうために、１つのマクロブロックについて２つの動きベクトルを用いる。その２つの動きベクトルとは、図４に示すように、１本が隣接フレーム間における動きベクトル、他の１本が１フレーム飛ばした次のフレームとの間における動きベクトルである。図示するように、例えば、飛行機のような動物体の運動は、フレーム単位で考えれば、等速直線運動に近似できるため、動物体内であれば、対象ブロック（斜線）における２本の動きベクトルの向きが大きく変動することはない。これに対して、図５に示すように、変動する背景であれば、フレームを飛ばした場合に、隣接フレームよりも、さらに変動が大きくなることが考えられるため、対象ブロック（斜線）における２本の動きベクトルの向きに違いが出てくる。
【００２７】
このように、周囲の動きベクトルとの類似性に加えて、さらに、先のフレームとの動きベクトルも判定に加えることで、より正確に動物体と背景領域との分離ができるようになる。
【００２８】
Ｄ．カメラワークの検出方法
前述したように、カメラワークが有り、変動しない背景の場合、パン（水平方向への動き）、またはチルト（垂直方向への動き）により動物体を追跡しているカメラワークであれば、背景領域の動きベクトルの向きは追跡している動物体の進行方向と一致しないと推測される。したがって、背景領域の動きベクトルの向きを把握できれば、カメラワークを検出することができると考えられる。
【００２９】
そこで、カメラワークによる背景の動きベクトルの向きを、フレーム内の最外周や、その内側の周にあるマクロブロックの動きベクトルの向きから取得する。一般に、カメラワークにより動物体を追跡する場合、図６に示すように、画面の中心部に追跡対象の動物体（図示の例では自動車）がくるようにカメラを動かしていることが多い。そのため、フレーム内の最外周やその内側の周にあるマクロブロックは、背景領域になっている可能性が高い。したがって、最外周のマクロブロックとその１ブロック内側にあるマイクロブロックとの動きベクトルの向きにより、カメラワークの有無を判定することができる。
【００３０】
Ｅ．実施形態の動作
次に、本実施形態による動物体検出アルゴリズムを用いた動物体検出方法について説明する。ここで、図７は、本実施形態による動物体検出装置の動作を説明するためのフローチャートである。
【００３１】
まず、ステップＳ１０で、フレーム差分により、背景の候補領域と動物体の候補領域との分離を行なうフレーム差分処理を行なう。該フレーム差分処理では、隣接フレーム間で、同じ位置のマクロブロック毎に、輝度の差分を求め（輝度分布差分）、閾値判定により、背景に属するマクロブロックであるのか、あるいは動物体に属する可能性のあるマクロブロックであるのかを判定する。ここで、背景と判定されたマクロブロックは動物体の検出対象から外す。
【００３２】
ここで、上記閾値判定について詳細に説明する。まず、輝度は、輝度＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｇ（Ｒ，Ｇ，Ｂはそれぞれ０〜２５５の値）で求めることができる（”コンピュータ画像処理”、田村秀行編著、オーム社、ＩＳＢＮ４−２７４−１３２６４−１参照）。閾値は、実験的に求めたもので、１つのブロックが１６ピクセル×１６ピクセル＝２５６ピクセルであるので、１ピクセル当たり「３」の誤差を許容するとし、２５６×３＝７６８から、実験的に最もよい結果が得られた「７５０」としている。
【００３３】
閾値判定は、以下のようにして行なわれる。
（１）隣接した２つのフレームそれぞれから、同位置にあるマクロブロックを取り出す。
（２）マクロブロック内の同位置になるピクセル同士で、輝度の絶対値差分値を求めて合計する。
（３）上記（２）で求めた絶対値差分値の合計が、閾値（７５０）以上であれば、フレーム間で変化があったマクロブロックとして、動物体の領域と判定する。一方、閾値以下であれば、フレーム間で変化がなかったとして背景の領域と判定する。
【００３４】
但し、動物体の動きが遅い場合や、均一な輝度（あるいは色）を有する動物体の場合には、フレーム間における輝度変化がほとんど生じないケースがあり得る。この場合、この差分処理により、背景と判定される。そこで、前のフレームで動物体に判定されたマクロブロックについては、閾値判定の結果に関係なく、動物体の検出対象に含める。
【００３５】
次に、ステップＳ１２で、フレーム差分処理により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における動きベクトル、および１フレーム飛ばした次のフレームとの間における２つの動きベクトルの探索を行なう（動きベクトル探索）。
【００３６】
ここで、動きベクトルの探索について詳細に説明する。動きベクトルとは、Ｎ番目のフレームのマクロブロックが、Ｎ＋１番目のどこに対応しているかを表すベクトルのことである。このため、動きベクトルを求める際の比較対象は、マクロブロック単位で行なっている。すなわち、Ｎ番目のフレームの各マクロブロック毎に、Ｎ＋１番目のフレームの同位置のマクロブロックの一定範囲の周囲について、色（または輝度）の誤差が最も小さいブロックを１ピクセルずつずらしながら探索する。色（または輝度）の誤差が小さいとは、１６ピクセル×１６ピクセルのマクロブロック単位で比較し、Ｒ，Ｇ，Ｂのそれぞれの値の絶対値差分和が小さいことを示す。Ｎ＋１番目のフレームに正確に一致すれば、そのマクロブロックの絶対値差分和は、「０」になる。
【００３７】
次に、ステップＳ１４で、カメラワーク（パン、チルト）があるかどうかの判定を行なう（カメラワークの有無判定）。判定手順は、まず、最外周のマクロブロックとその１ブロック内側の周にあるマクロブロックとについて、動きベクトルの有無を調べ、有った場合には、その向きについてヒストグラムを作成する。
【００３８】
すなわち、動きベクトルの角度について、水平方向で右向きを０°として、８段階のヒストグラムを作成する。この角度が、０°〜４５°、４５°〜９０°、９０°〜１３５°、１３５°〜１８０°、１８０°〜２２５°、２２５°〜２７０°、２７０°〜３１５°、３１５°〜３６０°のどこに当てはまるかを見て、度数分布にカウントしていく。最終的に動きベクトルの本数について、例えば、次のようなヒストグラムが得られる。
【００３９】
０°〜４５° ０本
４５°〜９０° １０本
９０°〜１３５° ３３本
１３５°〜１８０° ２２本
１８０°〜２２５° ４本
２２５°〜２７０° ０本
２７０°〜３１５° ０本
３１５°〜３６０° ０本
【００４０】
次に、最外周とその内側の全マクロブロックのうち、閾値以上の数のマクロブロックで動きベクトルが見つかっているかどうかを判定する。なお、上記閾値についても、実験により決定している。最後に、動きベクトルが見つかったマクロブロックのうち、閾値以上の数のマクロブロックが同一のヒストグラムにカウントされている場合、カメラワーク有りと判定する。ここで、最も大きいヒストグラムの値がカメラワークによる背景の動きの向きを示している。
【００４１】
次に、ステップＳ１６で、上記ステップＳ１２で求めた隣接フレーム間における動きベクトルについて、１つずつ以下の３つの条件を満たすかどうかを判定し、動物体を構成するマクロブロックを特定する（動物体領域の判定）。
（１）動きベクトルの向きが、カメラワークによる背景の動きの向きと一致しないこと、
（２）上下左右のいずれかのマクロブロックに類似した向きの動きベクトルがある、
（３）１フレーム空けた次のフレームとの動きベクトルと向きが類似している。
【００４２】
上述した３つの条件を満たした場合、その動きベクトルが存在するマクロブロックを、動物体を構成するマクロブロックと判定する。そうでない場合には、背景とする。
【００４３】
次に、ステップＳ１８で、一連の上述した処理で動物体として判定された領域に対して、以下の方法で整形して動物体として確定させる（動物体領域の整形）。まず、これまでの処理で背景と判定されたマクロブロックについて、その上下にあるマクロブロックのいずれかが動物体のマクロブロックであり、かつ、その左右にあるマクロブロックのいずれかが動物体のマクロブロックであった場合、そのマクロブロックも動物体の一部として判定する。
【００４４】
次に、動物体として残ったマクロブロックのうち、その周囲にある全てのマクロブロックに動物体と判定されているマクロブロックが存在しない場合には、孤立した背景領域と考えて除去する。
【００４５】
最後に、前のフレームで動物体と判定された領域と比較を行ない、動物体の一部であるにも拘わらず、これまでの整形処理で埋めきれなかったマクロブロックを救済する。ここでの判定方法では、基本的に、前のフレーム間で動物体の領域であったマクロブロックが、次のフレームになって突然、消滅することはないということを前提として、前のフレーム間（Ｎ−１番目とＮ番目のフレーム間）で動物体の領域であると判定された領域を記憶しておいたものと比較している。
【００４６】
上述した実施形態によれば、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体の検出ができる。今後、情報機器とネットワーク技術の進歩により、コンテンツ流通システムが重要となってくる。この中で映像アーカイブシステムは、中心となるシステムであり、その利便性を高めるためには、言語情報による映像の検索技術が欠かせない。現在のところ、人手により映像情報を言語により記述するしかないため、このような動物体検出技術を確立しておくと、こうした映像情報の記述の支援に役立つ。また、映像の中に登場する動物体を自動で認識することによる映像の内容情報の自動記述に応用できるため、今後の技術開発を行なっていく上でベースとなる重要な技術である。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、フレーム差分処理手段により、フレームを複数のブロックに分割し、隣接フレーム間で同位置のブロック毎に所定の映像情報の差分を求め、該差分値に基づいて、背景の候補領域と動物体の候補領域とを分離し、動きベクトル探索手段により、動物体に属する可能性があると判断されたマクロブロックに対して、隣接フレーム間における第１の動きベクトルと、１フレーム飛ばした次のフレームとの間における第２の動きベクトルとを探索し、カメラワーク有無判定手段により、フレームの最外周のブロックとその内側のブロックとにおける第１の動きベクトルの方向に基づいて、カメラワークの有無を判定し、動物体領域判定手段により、前記カメラワーク有無判定手段による判定結果と、前記第１の動きベクトルの方向と、前記第２の動きベクトルの方向とに基づいて、動物体を構成するブロックを特定するようにしたので、カメラワークの有無、および背景の状況に関係なく、１つのアルゴリズムで動物体を検出することができるという利点が得られる。
【図面の簡単な説明】
【図１】本発明による動物体検出方法を適用した動物体検出装置の構成を示すブロック図である。
【図２】本発明による動物体検出方法の基本アルゴリズムを説明するための概念図である。
【図３】動きベクトルを用いて変動する背景の除去方法を説明するための概念図である。
【図４】フレーム間における動きベクトルを用いて動物体と変動する背景とを分離する方法を説明するための概念図である。
【図５】フレーム間における変動する背景での動きベクトルの向きの違いを説明するための概念図である。
【図６】カメラワークの有無判定を説明するための概念図である。
【図７】本実施形態による動物体検出方法を説明するためのフローチャートである。
【符号の説明】
１０フレーム差分処理部（フレーム差分処理手段）
１１動きベクトル探索部（動きベクトル探索手段）
１２カメラワーク有無判定部（カメラワーク有無判定手段）
１３動物体領域判定部（動物体領域判定手段）
１４動物体領域整形部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object detection apparatus and an object detection method for detecting an object from an image.
[0002]
[Prior art]
With the widespread use of video media, the importance of techniques for efficiently retrieving necessary information from a large amount of video is increasing. In particular, if an object appearing in a video can be searched using information such as its name, action, color, and outer shape as keywords, its convenience is greatly improved. In order to realize such a keyword search, it is necessary to describe in advance the name, action, etc. of the object appearing in the video. For that purpose, it is necessary to separate the object in the video from the background, and among these techniques, a technique for detecting a moving object has been proposed.
[0003]
Here, in the technology for detecting a moving object, detection of the moving object from an image with a changing background such as a water surface or a grassland, and detection of the moving object from an image with camera work are major issues. This is because when the background changes or when there is camerawork, the area corresponding to the background other than the moving object also changes between the frames of the video, so that it is difficult to separate only the moving object. As a technique for solving this, Patent Document 1 is disclosed. Patent Document 1 describes a technique for detecting a moving body by detecting a moving region having motion by measuring a motion vector amount of an image.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-27449
[Problems to be solved by the invention]
However, since the moving object detection method according to the technique of Patent Document 1 described above uses parameters obtained directly from a captured camera, it cannot be applied to images that cannot acquire camera parameters, such as already captured images. . Furthermore, the background that changes with time such as the water surface and grassland is not taken into consideration.
[0006]
The present invention has been made in view of the above-described circumstances, and provides a moving object detection method and moving object detection apparatus capable of detecting a moving object with one algorithm regardless of the presence or absence of camerawork and the background. The purpose is to do.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problem, in the invention described in claim 1, a frame is divided into a plurality of macroblocks , and a difference between predetermined video information is obtained for each macroblock at the same position between adjacent frames. Based on the difference value, frame difference processing means for determining which of the candidate areas of the background candidate area and the moving object candidate area the macroblock belongs to, and the moving object candidate area by the frame difference processing means respect that the determined macroblock belongs to a first motion vector between adjacent frames, the motion vector search for searching a second motion vector between the next frame skipping the frame and the frame It means a first motion vector in a macroblock as a inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame Based on the direction of the Le, the camerawork existence determination means for detecting the direction of the camera work, the direction of the camera work is detected by the camerawork presence determining means, said first searched by the motion vector search unit based on the direction of the direction and the front Stories second motion vector of the motion vectors, characterized by comprising a moving object area determination means for specifying a macroblock constituting a moving object.
[0008]
Further, in the invention according to claim 2, in animal detection apparatus according to claim 1, wherein the camerawork presence determining means comprises an inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame macro with the direction of the first motion vector in a block to create a histogram, and detects the direction of taking the largest value in the histogram the created as the direction of the camera work.
[0009]
According to a third aspect of the present invention, in the moving object detection device according to the first or second aspect, the moving object region determining means is configured such that the direction of the first motion vector between adjacent frames is the presence or absence of the camera work. The second frame in the next frame that is not coincident with the direction of the camera work determined by the determination unit, is small in angle with the first motion vector of any one of the upper, lower, left, and right macroblocks and skips the one frame. When the angle with the motion vector is small, the corresponding macroblock is determined to be a macroblock constituting the moving object .
[0010]
In order to solve the above-described problem, in the invention described in claim 4, the frame is divided into a plurality of macroblocks , and a difference between predetermined video information is obtained for each macroblock at the same position between adjacent frames, Based on the difference value, a frame difference processing procedure for determining which of the candidate areas of the background candidate area and the moving object candidate area the macroblock belongs to, and the moving object candidate area by the frame difference processing procedure respect that the determined macroblock belongs to a first motion vector between adjacent frames, the motion vector search for searching a second motion vector between the next frame skipping the frame and the frame procedures and, first motion vector in a macroblock as a inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame Based on the direction of the Le, the camerawork existence determination step of detecting the direction of the camera work, the direction of the camera work is detected by the camera work existence determining step, said first searched by the motion vector search procedure based on the direction of the direction and the front Stories second motion vector of the motion vectors, characterized by comprising a moving object area determination procedure for specifying a macro block constituting the moving object.
[0011]
Further, in the invention according to claim 5, in an animal body detecting method according to claim 4, wherein in the camerawork existence determining step, the inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame macro with the direction of the first motion vector in a block to create a histogram, and detects the direction of taking the largest value in the histogram the created as the direction of the camera work.
[0012]
In the invention according to claim 6, in the moving object detection method according to claim 4 or 5, in the moving object region determination procedure, the direction of the first motion vector between adjacent frames is the presence or absence of the camera work. Second direction in the next frame that does not coincide with the direction of the camera work determined by the determination procedure, has a small angle with the first motion vector of any one of the upper, lower, left, and right macroblocks and skips one frame. When the angle with the motion vector is small, the corresponding macroblock is determined to be a macroblock constituting the moving object .
[0013]
In this invention, the frame difference processing means divides the frame into a plurality of blocks, obtains a difference of predetermined video information for each block at the same position between adjacent frames, and based on the difference value, a background candidate region and The candidate area of the moving object is separated, and the first motion vector between adjacent frames and the next skipped one frame for the macroblock that is determined by the motion vector search means to be likely to belong to the moving object. The second motion vector between the first frame and the second frame is searched for by the camerawork presence / absence determination means based on the direction of the first motion vector in the outermost block and the inner block of the frame. The presence / absence determination is performed, and the determination result by the camera work presence / absence determination unit, the direction of the first motion vector, Based on the direction of the second motion vector to identify the blocks constituting the moving object. Therefore, it is possible to detect a moving object with one algorithm regardless of the presence or absence of camera work and the background situation.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0015]
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of an animal body detection apparatus to which an object detection method according to the present invention is applied. In the figure, a frame difference processing unit 10 separates a background candidate area from a moving object candidate area based on the frame difference. The motion vector search unit 11 performs a motion vector between adjacent frames and a next frame skipped by one frame with respect to a macroblock that has been determined by the frame difference processing unit 10 to be likely to belong to a moving object. Search for two motion vectors at. The camerawork presence / absence determination unit 12 creates a local motion direction histogram for the outermost periphery of the frame and the motion vector inside the frame, and determines whether there is camerawork (pan, tilt) according to the histogram. The moving object region determination unit 13 specifies macroblocks constituting the moving object based on the motion vectors between adjacent frames obtained by the motion vector search unit 11. The moving object region shaping unit 14 determines the macro block determined as the moving object in the series of processes described above by referring to the macro block determination result (whether moving object or background) around the macro block.
[0016]
B. Basic Algorithm Next, the basic algorithm of the moving object detection method according to the present invention will be described. Here, FIG. 2 is a conceptual diagram for explaining the basic algorithm of the moving object detection method according to the present invention.
[0017]
Various situations such as presence / absence of camera work and background fluctuations are conceivable as situations in which a moving object to be detected appears. Organizing these situations,
(1) No camera work, uniform background,
(2) No camera work, background does not change,
(3) No camera work, background changes
(4) With camera work, uniform background,
(5) With camera work, the background does not change,
(6) There is camera work, the background fluctuates,
There are six ways.
[0018]
In order to search for an object detection method corresponding to all of the above six ways, focusing on the portion that changes between the frames, (1), (2), and (4) change between frames. Since it is considered that the moving object is only a certain region, the moving object region can be extracted by taking the frame difference. However, with respect to (3), (5), and (6), since the region other than the moving object also changes between frames, it is difficult to extract the moving object region with the frame difference.
[0019]
Therefore, if attention is paid to the background that does not change and the background that fluctuates when there is a moving object and camera work, the direction of the motion vector between frames in each can be estimated to have a difference in the direction of the motion vector.
[0020]
That is, as shown in FIG. 2 (a), in the area of the moving object, a motion vector is found between frames unless the moving object has a sudden shape change. For this reason, it is considered that the directions of the motion vectors in the area of the moving object are relatively uniform.
[0021]
Next, as shown in FIG. 2 (b), in the background that does not change when there is camera work, a motion vector is found between frames as long as there is no sudden change in shape, similar to the area of the moving object. Therefore, it is considered that the directions of the motion vectors are relatively uniform. However, since the moving object is tracked by camera work, it is considered that the direction of the motion vector does not match between the background area and the moving object area.
[0022]
Next, as shown in FIG. 2C, in the case of a background region with fluctuation, there is no corresponding point because the state of the region changes between frames. Therefore, the obtained motion vector is only the motion vector to the block where the error is accidentally minimized. For this reason, the direction of the motion vector in the background region with fluctuation is not aligned like the moving body region, and is considered to be disturbed.
[0023]
Focusing on the above-described properties, in the present embodiment, the comparison of the direction with the motion vector that skips the frame to remove the fluctuating background, and the motion on the outermost and inner sides of the frame for camera work detection By introducing the local motion direction histogram for the vector and the above two, detection of the moving object in the situations (3), (5), and (6) is realized. Details will be described below.
[0024]
C. Background Removal Method Next, the background removal method according to the present embodiment will be described. In the present embodiment, the fluctuating background is removed using two motion vectors. In this embodiment, one frame is divided into a plurality of macroblocks each consisting of 16 pixels × 16 pixels, and each macroblock is surrounded by 32 pixels × 32 pixels around the macroblock at the same position of the target frame. Then, block matching is performed, and a block having the smallest absolute value error is obtained as a motion vector reaching block.
[0025]
As described above, it is presumed that there is a difference in the direction of the motion vector between the moving object and the changing background. As shown in FIG. 3, for each motion vector obtained between adjacent frames, the moving object is separated from the fluctuating background by checking whether there is a motion vector having a similar orientation in the surrounding macroblocks. There is a possibility that you can. However, the direction of all the motion vectors in the background area that fluctuates is not necessarily disturbed only by the adjacent frame, and if the frame interval is separated, it becomes impossible to follow the fast movement of the moving object. It is uncertain about the accuracy to judge only by the motion vector.
[0026]
Therefore, in order to more accurately separate the moving object from the fluctuating background, two motion vectors are used for one macroblock. The two motion vectors are, as shown in FIG. 4, one motion vector between adjacent frames and the other one between the next frame after skipping one frame. As shown in the figure, for example, the motion of an animal body such as an airplane can be approximated to a uniform linear motion when considered in units of frames. The direction does not fluctuate greatly. On the other hand, as shown in FIG. 5, in the case of a fluctuating background, if a frame is skipped, the fluctuation may be larger than that of the adjacent frame. A difference appears in the direction of the motion vector.
[0027]
Thus, in addition to the similarity with the surrounding motion vectors, the motion vector with the previous frame is also added to the determination, so that the moving object and the background region can be more accurately separated.
[0028]
D. Camerawork detection method As described above, if there is camerawork and the background does not change, the camerawork is tracking the moving object by panning (horizontal movement) or tilting (vertical movement). If there is, it is estimated that the direction of the motion vector in the background region does not coincide with the traveling direction of the tracking moving object. Therefore, it is considered that camerawork can be detected if the direction of the motion vector in the background area can be grasped.
[0029]
Therefore, the direction of the motion vector of the background by camera work is acquired from the direction of the motion vector of the macro block in the outermost periphery in the frame and the inner periphery. In general, when a moving object is tracked by camera work, as shown in FIG. 6, the camera is often moved so that the tracking target moving object (automobile in the illustrated example) comes to the center of the screen. Therefore, there is a high possibility that the macro block in the outermost periphery or the inner periphery in the frame is a background region. Therefore, the presence / absence of camera work can be determined based on the direction of the motion vector between the outermost macro block and the micro block inside the block.
[0030]
E. Operation of the Embodiment Next, the moving object detection method using the moving object detection algorithm according to the present embodiment will be described. Here, FIG. 7 is a flowchart for explaining the operation of the moving object detection apparatus according to the present embodiment.
[0031]
First, in step S10, a frame difference process is performed to separate a background candidate area and a moving object candidate area from each other using a frame difference. In the frame difference processing, a difference in luminance is obtained for each macroblock at the same position between adjacent frames (luminance distribution difference), and it may be a macroblock belonging to the background or belonging to a moving object by threshold determination. It is determined whether it is a macroblock with some. Here, the macroblock determined as the background is excluded from the detection target of the moving object.
[0032]
Here, the threshold value determination will be described in detail. First, the luminance can be obtained by luminance = 0.299 × R + 0.587 × G + 0.114 × G (R, G, and B are values of 0 to 255, respectively) (“Computer Image Processing”, edited by Hideyuki Tamura, Ohm, ISBN 4-274-13264-1). The threshold value is experimentally obtained. Since one block is 16 pixels × 16 pixels = 256 pixels, an error of “3” per pixel is allowed. From 256 × 3 = 768, the threshold is experimentally determined. “750” was obtained as the best result.
[0033]
The threshold determination is performed as follows.
(1) A macroblock at the same position is taken out from each of two adjacent frames.
(2) The absolute value difference value of the luminance is obtained and summed up between the pixels at the same position in the macroblock.
(3) If the sum of the absolute value difference values obtained in (2) above is equal to or greater than the threshold value (750), it is determined as a moving object region as a macroblock that has changed between frames. On the other hand, if it is equal to or less than the threshold value, it is determined that there is no change between frames and the background area is determined.
[0034]
However, when the movement of the moving object is slow, or when the moving object has a uniform luminance (or color), there may be a case where the luminance change hardly occurs between frames. In this case, the background is determined by this difference processing. Therefore, macroblocks determined as moving objects in the previous frame are included in the moving object detection targets regardless of the threshold determination result.
[0035]
Next, in step S12, the motion vector between adjacent frames and 2 between the next frame skipped by one frame are determined for a macroblock that is determined to have a moving object by frame difference processing. Two motion vectors are searched (motion vector search).
[0036]
Here, the search for the motion vector will be described in detail. The motion vector is a vector indicating where the N + 1th macroblock corresponds to the (N + 1) th macroblock. For this reason, the comparison target when obtaining the motion vector is performed in units of macroblocks. That is, for each macroblock in the Nth frame, a block having the smallest color (or luminance) error is searched by shifting one pixel at a time around a certain range of the macroblock at the same position in the N + 1th frame. A small color (or luminance) error indicates that the sum of absolute values of R, G, and B values is small when compared in units of macroblocks of 16 pixels × 16 pixels. If it exactly matches the (N + 1) th frame, the absolute value difference sum of the macroblock is “0”.
[0037]
Next, in step S14, it is determined whether there is camera work (pan, tilt) (camera work presence / absence determination). In the determination procedure, first, the presence / absence of a motion vector is checked for the outermost macroblock and the macroblock in the inner periphery of the outermost block. If there is a motion vector, a histogram is created for that direction.
[0038]
That is, with respect to the angle of the motion vector, an 8-level histogram is created by setting the right direction in the horizontal direction to 0 °. This angle is 0 ° to 45 °, 45 ° to 90 °, 90 ° to 135 °, 135 ° to 180 °, 180 ° to 225 °, 225 ° to 270 °, 270 ° to 315 °, 315 ° to 360 See where it falls, and count it into a frequency distribution. Finally, for example, the following histogram is obtained for the number of motion vectors.
[0039]
0 ° -45 ° 0 pieces 45 ° -90 ° 10 pieces 90 ° -135 ° 33 pieces 135 ° -180 ° 22 pieces 180 ° -225 ° 4 pieces 225 ° -270 ° 0 pieces 270 ° -315 ° 0 pieces 315 ° ~ 360 ° 0 [0040]
Next, it is determined whether or not a motion vector has been found in a number of macroblocks equal to or greater than the threshold value among all the macroblocks on the outermost periphery and inside. The threshold value is also determined by experiment. Finally, out of the macroblocks in which the motion vector is found, if the number of macroblocks equal to or greater than the threshold is counted in the same histogram, it is determined that there is camera work. Here, the largest histogram value indicates the direction of background movement by camera work.
[0041]
Next, in step S16, it is determined whether or not the following three conditions are satisfied one by one for the motion vector between adjacent frames obtained in step S12, and the macroblocks constituting the moving object are specified (animal moving object) Area determination).
(1) The direction of the motion vector does not match the direction of the background motion by camera work.
(2) There is a motion vector in a direction similar to one of the macro blocks on the top, bottom, left, and right.
(3) The motion vector and direction of the next frame after one frame are similar.
[0042]
When the three conditions described above are satisfied, the macro block in which the motion vector exists is determined as a macro block constituting the moving object. Otherwise, it is the background.
[0043]
Next, in step S18, the region determined as the moving object in the series of processes described above is shaped by the following method and determined as the moving object (shaping of the moving object region). First, for macroblocks that have been determined to be background in the processing so far, one of the macroblocks above and below them is a macroblock of an animal body, and one of the macroblocks on the left and right is a macrobody of an animal body. If it is a block, the macroblock is also determined as a part of the moving object.
[0044]
Next, among the macroblocks remaining as a moving object, if there are no macroblocks determined to be moving objects in all the surrounding macroblocks, they are considered as isolated background regions and removed.
[0045]
Finally, a comparison is made with the area determined to be a moving object in the previous frame, and a macroblock that was part of the moving object but could not be filled by the shaping processing so far is rescued. In this judgment method, basically, it is assumed that the macroblock that was the area of the moving object between the previous frames does not disappear suddenly at the next frame. The area determined to be the area of the moving object (between the (N-1) th and Nth frames) is compared with the stored area.
[0046]
According to the above-described embodiment, a moving object can be detected by one algorithm regardless of the presence or absence of camera work and the background situation. In the future, content distribution systems will become important due to advances in information equipment and network technology. Among these, the video archive system is a central system, and in order to enhance its convenience, video search technology using language information is indispensable. At present, since video information can only be described manually by language, establishing such a moving object detection technique is useful for supporting the description of such video information. In addition, it can be applied to automatic description of video content information by automatically recognizing moving objects that appear in the video, so it is an important technology that will be the basis for future technological development.
[0047]
【The invention's effect】
As described above, according to the present invention, the frame difference processing means divides the frame into a plurality of blocks, obtains a difference of predetermined video information for each block at the same position between adjacent frames, and uses the difference value as the difference value. A first candidate motion between adjacent frames for a macroblock that is determined to belong to a moving object by a motion vector search means by separating a background candidate region and a moving object candidate region based on The second motion vector between the vector and the next frame skipped by one frame is searched, and the first motion vector in the outermost block and the inner block of the frame is determined by the camerawork presence / absence determining means. The presence / absence of camera work is determined based on the direction, and the determination result by the camera work presence / absence determining means is determined by the moving object region determining means, and the first Based on the direction of the motion vector and the direction of the second motion vector, the blocks constituting the moving object are specified, so that one algorithm can be used regardless of the presence or absence of camerawork and the background situation. The advantage that an animal body can be detected is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an object detection apparatus to which an object detection method according to the present invention is applied.
FIG. 2 is a conceptual diagram for explaining a basic algorithm of a moving object detection method according to the present invention.
FIG. 3 is a conceptual diagram for explaining a method of removing a background that fluctuates using a motion vector.
FIG. 4 is a conceptual diagram for explaining a method of separating a moving object and a fluctuating background using a motion vector between frames.
FIG. 5 is a conceptual diagram for explaining a difference in direction of a motion vector with a changing background between frames.
FIG. 6 is a conceptual diagram for explaining camera work presence / absence determination.
FIG. 7 is a flowchart for explaining a moving object detection method according to the present embodiment;
[Explanation of symbols]
10 Frame difference processing unit (frame difference processing means)
11 Motion vector search unit (motion vector search means)
12 Camerawork presence / absence determination unit (camerawork presence / absence determination means)
13 moving object region determining unit (moving object region determining means)
14 Body region shaping section

Claims

A frame is divided into a plurality of macro blocks, a difference between predetermined video information is obtained for each macro block at the same position between adjacent frames, and based on the difference value, the macro block is a background candidate area and a moving object candidate area. Frame difference processing means for determining which of the candidate areas belongs to,
Against the determined macroblock belonging to the candidate area of a moving object by said frame difference processing means, the between the first motion vectors between adjacent frames, the next frame skipping the frame and the frame Motion vector search means for searching for two motion vectors;
Based on the direction of the first motion vector in a macroblock as a inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame, and camerawork existence determination means for detecting the direction of camera work,
Wherein the direction of the camera work whether camerawork detected by determination means, based on the direction of the direction and the front Stories second motion vectors of the searched first motion vector by the motion vector search means, animal body A moving object detection device comprising moving object region determination means for specifying a macroblock constituting the moving object.

The camerawork presence / absence determining means includes:
The direction that takes the largest value in the histogram with the direction to create a histogram, and the creation of the first motion vector in a macroblock as a inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame The moving object detection apparatus according to claim 1, wherein the detection is performed as a direction of the camera work .

The moving body region determining means includes
The direction of the first motion vector between adjacent frames does not coincide with the direction of the camera work determined by the camera work presence / absence determining means, and the first motion vector of any one of the upper, lower, left and right macroblocks When the angle is small and the angle with the second motion vector in the next frame skipped by one frame is small, the corresponding macroblock is determined to be a macroblock constituting the moving object. The moving object detection apparatus according to claim 1 or 2.

A frame is divided into a plurality of macro blocks, a difference between predetermined video information is obtained for each macro block at the same position between adjacent frames, and based on the difference value, the macro block is a background candidate area and a moving object candidate area. A frame difference processing procedure for determining which of the candidate areas belongs to,
Against the determined macroblock belonging to the candidate area of a moving object by said frame difference processing procedure, first between the first motion vectors between adjacent frames, the next frame skipping the frame and the frame A motion vector search procedure for searching for two motion vectors;
Based on the direction of the first motion vector in a macroblock as a inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame, the camera work existence determination step of detecting the direction of camera work,
Wherein the direction of the camera work existence determination camerawork detected by the procedure, based on the direction of the direction and the front Stories second motion vectors of the searched first motion vector by the motion vector search procedure, the animal body A moving object region determining procedure for specifying a macroblock constituting the moving object detection method.

In the camera work presence / absence determination procedure,
The direction that takes the largest value in the histogram with the direction to create a histogram, and the creation of the first motion vector in a macroblock as a inner macroblock of the macroblock and the outermost periphery of the outermost periphery of the frame 5. The moving object detection method according to claim 4, wherein the direction of the camera work is detected.

In the moving body region determination procedure,
The direction of the first motion vector between adjacent frames does not coincide with the direction of the camera work determined by the camera work presence / absence determination procedure, and the first motion vector of any one of the upper, lower, left, and right macroblocks When the angle is small and the angle with the second motion vector in the next frame skipped by one frame is small, the corresponding macroblock is determined to be a macroblock constituting the moving object. The moving object detection method according to claim 4 or 5.