JP2013143102A - 移動物体検出装置、移動物体検出方法およびプログラム - Google Patents

Abstract

【課題】ノイズが移動物体として検出される。
【解決手段】移動物体検出装置は、順序が規定された複数のフレームを含む動画を取得する動画取得部と、動画取得部により取得された動画に含まれる複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、動画取得部により取得された複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、プリセグメンテーション部によりセグメント化された複数の領域に対応する行列要素の組ごとにスパース性を誘起してスパース行列を推定する推定部と、複数のフレームにおける、推定部により推定されたスパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力部とを備える。
【選択図】図１

Description

本発明は、移動物体検出装置、移動物体検出方法およびプログラムに関する。

複数のフレームを含む動画から移動物体を検出する移動体物体検出装置及びその方法が知られている（例えば、非特許文献１参照）。
［非特許文献１］ Emmanuel J. Candes, Xiaodong Li, Yi Ma, and John Wright、"Robust Principal Component Analysis？"、［on line］、２００９年１２月１７日、The Computing Research Repository、abs/0912.5399、［２０１１年１２月１２日検索］、インターネット＜ＵＲＬ：http://arxiv.org/corr/home＞

しかしながら、上述の移動物体の検出方法では、異なる時間において出没する高周波のノイズ、例えばランダムノイズが移動物体として検出されるという課題がある。

本発明の第１の態様においては、順序が規定された複数のフレームを含む動画を取得する動画取得部と、前記動画取得部により取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、前記動画取得部により取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション部によりセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定部と、前記複数のフレームにおける、前記推定部により推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力部とを備える移動物体検出装置を提供する。

本発明の第２の態様においては、順序が規定された複数のフレームを含む動画を取得する動画取得段階と、前記動画取得段階で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション段階と、前記動画取得段階で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション段階でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定段階と、前記複数のフレームにおける、前記推定段階推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力段階とを備える移動物体検出方法が提供される。

本発明の第３の態様においては、コンピュータを制御するプログラムであって、前記コンピュータに、順序が規定された複数のフレームを含む動画を取得する動画取得手順と、前記動画取得手順で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、前記動画取得手順で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション手順でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定手順と、前記複数のフレームにおける、前記推定手順で推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力手順とを実行させるプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

移動物体検出装置１０の全体構成を示すブロック図である。 動画取得部１２が取得する動画の一例を説明する図である。 動画取得部１２が取得した動画ＭＶのデータ形式を説明する図である。 プリセグメンテーション部１４が生成するセグメントテーブルＳＴを説明する図である。 動画行列生成部１６が、動画ＭＶのデータから動画行列Ｙを生成する過程を説明する図である。 推定部１８が推定する低ランク行列を説明する図である。 推定部１８が推定するスパース行列を説明する図である。 移動物体検出装置１０による移動物体の検出処理を説明するフローチャートである。 ステップＳｔ２０のスパース推定処理のフローチャートである。 ステップＳｔ２２の出力処理のフローチャートである。 出力部２０が出力するバックグラウンドの画像を説明する図である。 出力部２０が出力する移動物体ＭＢの画像を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、移動物体検出装置１０の全体構成を示すブロック図である。移動物体検出装置１０は、動画取得部１２と、プリセグメンテーション部１４と、動画行列生成部１６と、推定部１８と、出力部２０と、格納部２２とを備える。移動物体検出装置１０は、撮像部２６及び表示部２８と接続されている。撮像部２６の一例は、それぞれが二次元の画像からなる複数のフレームＦＬを含む動画ＭＶを撮像でき、固定されたビデオカメラ等である。尚、以下、各フレームＦＬが白黒の画像であるとして説明する。

移動物体検出装置１０は、パーソナルコンピュータに組み込まれてもよく、デジタルカメラ等の動画撮影装置に組み込まれてもよい。また移動物体検出装置１０の上記各機能はコンピュータプログラムとしてＣＤ−ＲＯＭ等によりパーソナルコンピュータ等にインストールされてもよいし、インターネット上にアプリケーションサービスプロバイダにより提供されてもよい。

動画取得部１２は、撮像部２６と接続され、情報を入出力する。特に動画取得部１２は、順序Ｔｎ（ｎ＝１、２・・ｑ）が規定された複数のフレームＦＬを含む動画ＭＶを撮像部２６から取得する。動画取得部１２は、取得した動画ＭＶを格納部２２に格納する。

プリセグメンテーション部１４は、動画取得部１２により取得されて、格納部２２に格納された上記動画ＭＶを格納部２２から読み出す。プリセグメンテーション部１４は、動画ＭＶに含まれる複数のフレームＦＬごとに、当該フレームＦＬを別個に複数の領域にセグメント化する。セグメント化の一例として、プリセグメンテーション部１４は、各フレームＦＬに含まれる、座標が連続する画素ＰＸ間で輝度データＸ_{ｉ,ｊ（Ｔｎ）}の値が予め定められた範囲内となる画素群が作る領域に、各フレームＦＬを分割して、当該領域にセグメントＩＤを付与する。プリセグメンテーション部１４は、セグメントＩＤを画素ＰＸの座標ｉ,ｊ及び順序Ｔｎを対応付けたセグメントテーブルＳＴを格納部２２に格納する。

動画行列生成部１６は、動画取得部１２により取得され、時系列の順序が対応付けられた複数のフレームＦＬ（３−ｍｏｄｅテンソル）を、各フレームの画素を一列に並べることによって動画行列Ｙを生成して、格納部２２に格納する。よって、動画行列Ｙの行列要素Ｙ_{ｉ,ｊ（Ｔｎ）}は各画素ＰＸの輝度データから生成される。

推定部１８は、ロバストＰＣＡにおける移動物体検出法による下記式（１）に示すように、動画行列生成部１６が生成した動画行列Ｙを、低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}とスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}との和で表す、スパース推定をする。尚、εはノイズである。式においては、添え字ｉ,ｊ（Ｔｎ）を省略する。
Ｙ＝Ｌ＋Ｓ＋ε （１）

ここで、推定部１８は、上記スパース推定をするにあたり、プリセグメンテーション部１４によりセグメント化された複数の領域に対応する行列要素Ｙ_{ｉ,ｊ（Ｔｎ）}の組ごとにスパース性を誘起して、スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を推定する。この場合に例えば、推定部１８は、ｌ_１−正則化された最小化問題を解くことによってスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を推定する。スパース推定についてはさらに後述する。

出力部２０は、複数のフレームＦＬにおける、推定部１８により推定されたスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}において有意な値を有する動画行列Ｙの行列要素Ｙ_{ｉ,ｊ（Ｔｎ）}に対応する領域を特定する。さらに出力部２０は、当該領域が移動物体ＭＢの画像である旨を出力する。出力部２０は、検出した移動物体を表示部２８に出力する。表示部２８は、液晶表示装置、有機ＥＬ表示装置等を適用できる。

この場合に、出力部２０は、同一のセグメントＩＤの中に含まれる有意な値を有するスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の個数を算出する。有意な値とは、スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}が「０」でない値のことである。尚、有意な値を、スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}が絶対値が予め定められた値以上としてもよい。出力部２０は、算出した有意な値の個数が、格納部２２に格納されている個数閾値以上か否かを判定する。出力部２０は、有意な値の個数が個数閾値以上と判定すると、当該セグメントＩＤの領域は移動物体ＭＢであると判定する。一方、出力部２０は、個数が個数閾値未満と判定すると、当該セグメントＩＤの領域はノイズまたはバックグラウンドと判定する。

図２は、動画取得部１２が取得する動画の一例を説明する図である。図２に示すように、動画取得部１２が取得する動画ＭＶは、順序Ｔｎが規定された複数のフレームＦＬを含む。各フレームＦＬの縦方向の座標は１からＮまでとし、各フレームＦＬの横方向の座標は１からＭまでとする。図２に示す動画ＭＶでは、ビル、木等の静止物体ＳＢを含むバックグラウンドと、車等の移動物体ＭＢとが撮像されている。

動画ＭＶを取得した段階では、各フレームＦＬの被写体のいずれが移動物体ＭＢか、バックグラウンドに含まれる静止物体ＳＢは未知である。移動物体検出装置１０では、出力部２０が移動物体ＭＢの画像とバックグラウンドの画像とを区別して出力する。

図２において、上述したプリセグメンテーション部１４は、時間順序Ｔ１のフレームＦＬを、例えば、ビルの壁Ｇ００１、木の葉の部分Ｇ０５０、木の幹の部分、車のボディＧ０２１、ランダムノイズＮ０を含む雲Ｇ０１３等にセグメント化する。

図３は、動画取得部１２が取得した動画ＭＶのデータ形式を説明する図である。動画ＭＶのフレームＦＬの各画素ＰＸには、輝度データＸ_{ｉ,ｊ（Ｔｎ）}が割り当てられている。輝度データＸ_{ｉ,ｊ（Ｔｎ）}は、画素ＰＸの座標ｉ,ｊ及び順序Ｔｎと関連付けられている。この輝度データＸ_{ｉ,ｊ（Ｔｎ）}に基づいて、複数のフレームＦＬを含む動画ＭＶが構成され、必要に応じて表示部２８に表示される。

図４は、プリセグメンテーション部１４が生成するセグメントテーブルＳＴを説明する図である。図４に示すように、セグメントテーブルＳＴは、各フレームＦＬにおける画素Ｘｉｊの座標ｉ,ｊと、フレームＦＬの順序Ｔｎとに対応付けられたセグメントＩＤ（Ｇｎ（ｎ＝００１、００２・・））を含む。プリセグメンテーション部１４は、画面上の座標的に連続していて、輝度データＸ_{ｉ,ｊ（Ｔｎ）}が近い画素群の領域の各には同じセグメントＩＤを付与することによって、セグメント化する。例えば、図４に示すように、プリセグメンテーション部１４は、縦方向に連続する座標（１、１）と座標（２、１）の輝度データＸ_{ｉ,ｊ（Ｔｎ）}が類似していれば、同じセグメントＩＤ（Ｇ００１）を付与して、横方向に連続する座標（１、１）と座標（１、２）の輝度データＸ_{ｉ,ｊ（Ｔｎ）}が類似していれば同じセグメントＩＤ（Ｇ００１）を付与する。

プリセグメンテーション部１４は、異なるフレームＦＬにおいては、異なるセグメントＩＤを付与する。従って、プリセグメンテーション部１４は、順序Ｔ１のフレームＦＬのセグメントＩＤがＧ０５０で終了すると、順序Ｔ２のフレームＦＬのセグメントＩＤはＧ０５１以降を使用する。

図５は、動画行列生成部１６が、動画ＭＶのデータから動画行列Ｙを生成する過程を説明する図である。動画行列生成部１６は、動画ＭＶの各フレームＦＬのデータを一つの列ベクトルで表現する。例えば、順序Ｔ１のフレームＦＬでは、動画行列生成部１６は、１列目の最後の輝度データＸ_{ｉ,１（Ｔ１）}の次に２列目の輝度データＸ_{１,２（Ｔ１）}からＸ_{ｉ,２（Ｔ１）}を続ける。動画行列生成部１６は、これをｊ列まで繰り返して、順序Ｔ１のフレームＦＬをベクトル化する。更に、動画行列生成部１６は、ベクトル化された各フレームＦＬの輝度データＸ_{ｉ,ｊ（Ｔｎ）}を順序Ｔｎの順に並べて行列要素Ｙ_{ｉ,ｊ（Ｔｎ）}として、動画ＭＶの輝度データＸ_{ｉ,ｊ（Ｔｎ）}から動画行列Ｙを生成する。

図６は、推定部１８によって推定される低ランク行列を説明する図である。図６に示すように、低ランク行列は、動画行列Ｙと同じＮ行Ｍ列の行列である。各行列要素Ｙ_ｉ,ｊは、静止物体ＳＢの画像の各座標ｉ,ｊの輝度データＸ_{ｉ,ｊ（Ｔｎ）}に対応する。よって、低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}に基づいて画像を表示すると、静止物体ＳＢの画像、即ちバックグラウンドの画像が表示される。

図７は、推定部１８によって推定されるスパース行列を説明する図である。スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}は、動画行列Ｙと同じＮ行Ｍ列の行列である。スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の多くは、「０」である。スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}において、「*」で示す「０」でない行列要素をノンゼロの行列要素と呼ぶ。スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}において、ノンゼロの行列要素は、移動物体ＭＢの画像の各座標ｉ,ｊの輝度データＸ_{ｉ,ｊ（Ｔｎ）}に対応する。よって、スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}に基づいて画像を表示すると、移動物体ＭＢの画像が表示される。

次に、上述した移動物体検出装置１０による移動物体の検出処理について説明する。図８は、移動物体検出装置１０による移動物体の検出処理を説明するフローチャートである。

図８に示すように、動画取得部１２が、複数のフレームＦＬを含む動画ＭＶのデータを撮像部２６から取得して、格納部２２に格納する（Ｓｔ１０）。次に、プリセグメンテーション部１４は、動画ＭＶの各フレームＦＬのデータをセグメント化して、セグメンテーションテーブルＳＴを生成する（Ｓｔ１２）。プリセグメンテーション部１４は、生成したセグメンテーションテーブルＳＴを格納部２２に格納する（Ｓｔ１４）。

次に、動画行列生成部１６は、動画ＭＶから動画行列Ｙを生成する（Ｓｔ１６）。動画行列生成部１６は、生成した動画行列Ｙを格納部２２に格納する（Ｓｔ１８）。

推定部１８は、スパース推定によって、動画行列Ｙの行列要素Ｙ_{ｉ,ｊ（Ｔｎ）}を低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}と、スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}との和に分解するスパース推定処理を実行する（Ｓｔ２０）。

出力部２２は、スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}及びセグメンテーションテーブルＳＴに基づいて、移動物体ＭＢとノイズとを区別した後、静止物体ＳＢ及び移動物体ＭＢの画像を出力する出力処理を実行する（Ｓｔ２２）。

図９は、ステップＳｔ２０のスパース推定処理のフローチャートである。スパース推定処理の一例は、式（２）に示すｌ_１−正則化における最小化問題をグループＬＡＳＳＯにより解くことによって、低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}及びスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を得る。

最小化問題を解く場合、推定部１８は、式（２）のαに特定の値を代入するととともに（Ｓｔ３０）、式（２）のβに特定の値を代入する（Ｓｔ３２）。ここで、α、βは調整パラメータであって、α＞０、β＞０である。α、βを調整することにより、除去するノイズの程度を制御できる。また、α、βを調整することにより、移動物体ＭＢとして捉える物体の単位時間当たりの移動量の閾値を制御できる。

次に、式（２）を解いて、極小値となる低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}及びスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の推定量を算出する（Ｓｔ３４）。式（２）の解法の一例を示す。

式（３）及び式（４）を解くことによって、式（２）の低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}及びスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の最適値が算出される。ここで、ｌ（Ｌ，Ｓ，Ｙ）は上記式（２）の目的関数である。

式（３）は、スパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を初期値に固定して、評価関数ｌの最小値を算出することにより、そのときの低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}を導出する。式（４）は、式（３）で導出された低ランク行列Ｌを固定した状態で、評価関数ｌの最小値を算出することにより、そのときのスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を導出する。

さらに、式（４）により算出されたスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}によって、式（３）を解く。これを繰り返すことによって、Ｌ，Ｓの両方に対して評価関数ｌが極小となるＬ、Ｓ、すなわち、求めたい低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}およびスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を得る。上記繰り返しの計算は、アルゴリズムａｒｇ１をコンピュータに実行させることにより実行される。

図１０は、ステップＳｔ２２の出力処理のフローチャートである。図１１は、出力部２０が出力する静止物体ＳＢを含むバックグラウンドの画像を説明する図である。図１２は、出力部２０が出力する移動物体ＭＢの画像を説明する図である。

図１０に示すように、出力部２０は、セグメント化された各領域のノンゼロのスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の個数が個数閾値以上か否かを判定する（Ｓｔ４０）。出力部２０は、ノンゼロのスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の個数が個数閾値以上と判定すると（Ｓｔ４０：Ｙｅｓ）、その領域の画像を移動物体ＭＢとして、格納部２２に格納する（Ｓｔ４２）。一方、出力部２０は、ノンゼロのスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の個数が個数閾値以上でないと判定すると（Ｓｔ４０：Ｎｏ）、その領域の画像をノイズとして、格納部２２に格納する（Ｓｔ４４）。

この後、出力部２０は、全ての領域に対してステップＳｔ４０の処理が終了するまでステップＳｔ４０以下を繰り返す。出力部２０は、全ての領域に対してステップＳｔ４０の処理が終了したと判定すると（Ｓｔ４６：Ｙｅｓ）、静止物体ＳＢ及び移動物体ＭＢを別々の画像として出力する。例えば、出力部２０は、図１１に示すように、ビル、木、雲等の静止物体ＳＢであるバックグラウンドの画像を表示部２８に表示する。また、出力部２０は、図１２に示すように、移動物体ＭＢである車の画像を表示部２８に表示する。

上述したように、移動物体検出装置１０は、動画行列Ｙの行列要素Ｙ_{ｉ,ｊ（Ｔｎ）}をセグメント化して、極めて小さいセグメントとなるノイズと、一定の大きさのセグメントとなる移動物体ＭＢとを区別することができる。これにより、移動物体検出装置１０は、より正確に移動物体ＭＢを検出することができる。例えば、図２の時刻Ｔ１のフレームにおいて雲Ｇ００１３に含まれていたランダムノイズＮ０は、次の時刻Ｔ２には含まれていないので移動物体であるとご認識される恐れがあるが、本実施形態によれば、図１１に示すように、これはノイズであるとして移動物体ＭＢから排除することができる。この結果、暗い環境での撮影時において、ＩＳＯ感度を上げてノイズが多くなった場合でも、移動物体ＭＢを正確に検出することができる。また、（２）は凸問題なので、上記アルゴリズムによって、低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}及びスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}の大域最適値を算出することができる。

次に、上述のステップＳｔ２０のスパース推定処理の他の例について説明する。他の例として、ステップＳｔ２０のスパース推定処理をベイズ推定法によって解く。この場合、まず、一般化行列分解によって、式（５）から式（９）に示す尤度関数及び事前分布を仮定して確率モデルを立てる。この確率モデルに変分ベイズ法を適用すると、式（１０）から式（１７）を得ることができる。これを繰り返すことによって、式（５）から式（９）で示されるモデルにおける、低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}及びスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}のベイズ推定値の近似値を算出することができる。このベイズ推定法の場合、Ｃ_Ａ、Ｃ_Ｂ、Ｃ_Ｄ、Ｃ_Ｅも計算の過程で算出することができるので、調整パラメータなしで低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}及びスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を算出できる。

また、別の確率モデルとして、次の式（１８）から式（２１）を仮定して、低ランク行列要素Ｌ_{ｉ,ｊ（Ｔｎ）}及びスパース行列要素Ｓ_{ｉ,ｊ（Ｔｎ）}を算出してもよい。

上述の実施形態では、各フレームＦＬが、二次元の画像からなる例を説明したが、ＭＰＥＧ形式等のように、各フレームＦＬが二次元の画像となっていない場合、各フレームＦＬを二次元の画像に変換する。

上述の実施形態では、各フレームＦＬを白黒の画像としたが、ＲＧＢまたはＣＭＹを原色とするカラー画像としてもよい。この場合、元データが式（２２）に示す４−ｍｏｄｅテンソルとなるが、動画行列を生成する場合、式（２３）に示すように３成分の色方向も縦ベクトルに取り込む。この場合、プリセグメンテーション部１４は、同じ座標及び順序の３色成分は同じセグメントＩＤを付与する。

上述の実施形態では、プリセグメンテーション部１４が、異なるフレームＦＬに異なるセグメントＩＤを付与する例を説明したが、プリセグメンテーション部１４が、異なるフレームＦＬにおいても、同じ静止物体ＳＢ及び同じ移動物体ＭＢに同じセグメントＩＤを付与してもよい。この場合、プリセグメンテーション部１４は、連続するフレームＦＬの輝度データＸ_{ｉ,ｊ（Ｔｎ）}に基づいて、同じ静止物体ＳＢ及び同じ移動物体ＭＢを判別する。一例として、プリセグメンテーション部１４は、順序が連続するフレームＦＬとフレームＦＬとの間で輝度データＸ_{ｉ,ｊ（Ｔｎ）}が閾値（例えば、８０％）以上重複するセグメントの対があったとき、これらを同じ静止物体ＳＢまたは同じ移動物体ＭＢと判定する。

プリセグメンテーションを時刻を含めた３次元で行なっても、同様の推定ができる。この場合に、プリセグメンテーション部１４は、時刻Ｔｎが異なるフレームＦＬ間においても同一の被写体とみなせる場合には同一のセグメントＩＤを付与する。さらに、推定部１８は、上記スパース推定をするにあたり、上記プリセグメンテーションによるセグメントＩＤを用いる。これにより、時刻Ｔｎが異なるフレームＦＬ間にまたがってスパース項のグルーピングをさらに大きくとることができるので、より的確に移動物体を検出することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 移動物体検出装置
１２ 動画取得部
１４ プリセグメンテーション部
１６ 動画行列生成部
１８ 推定部
２６ 撮像部
２８ 表示部

Claims (7)

1. 順序が規定された複数のフレームを含む動画を取得する動画取得部と、
   前記動画取得部により取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション部と、
   前記動画取得部により取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション部によりセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定部と、
   前記複数のフレームにおける、前記推定部により推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力部と
   を備える移動物体検出装置。
2. 前記推定部は、グループＬＡＳＳＯによって、スパース行列を推定する請求項１に記載の移動物体検出装置。
3. 前記推定部は、ベイズ推定法によって、スパース行列を推定する請求項１に記載の移動物体検出装置。
4. 前記プリセグメンテーション部は、前記複数のフレーム間で別個にセグメント化を実行する請求項１から３のいずれか１項に記載の移動物体検出装置。
5. 前記プリセグメンテーション部は、前記複数のフレームにまたがってセグメント化を実行する請求項１から３のいずれか１項に記載の移動物体検出装置。
6. 順序が規定された複数のフレームを含む動画を取得する動画取得段階と、
   前記動画取得段階で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション段階と、
   前記動画取得段階で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション段階でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定段階と、
   前記複数のフレームにおける、前記推定段階で推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力段階と
   を備える移動物体検出方法。
7. コンピュータを制御するプログラムであって、前記コンピュータに、
   順序が規定された複数のフレームを含む動画を取得する動画取得手順と、
   前記動画取得手順で取得された前記動画に含まれる前記複数のフレームごとに、フレームを複数の領域にセグメント化するプリセグメンテーション手順と、
   前記動画取得手順で取得された前記複数のフレームを１個の行列で表した動画行列を、低ランク行列とスパース行列との和に分解するスパース推定をするにあたり、前記プリセグメンテーション手順でセグメント化された前記複数の領域に対応する行列要素の組ごとにスパース性を誘起して前記スパース行列を推定する推定手順と、
   前記複数のフレームにおける、前記推定手順で推定された前記スパース行列において有意な値を有する行列要素に対応する領域が、移動物体の画像である旨を出力する出力手順と
   を実行させるプログラム。

Images