JP2004080128A

JP2004080128A - 動体画像自動追跡方法と装置

Info

Publication number: JP2004080128A
Application number: JP2002234453A
Authority: JP
Inventors: Shinya Yamauchi; 山内　信也; Akira Morikawa; 森川　晶; Vagvolgyi Balasz; バーグボルジ　バラージュ; Laszlo Teizeteshu; ティゼテシュ　ラスロー
Original assignee: Tateyama R & D Kk
Current assignee: Tateyama R & D Kk
Priority date: 2002-08-12
Filing date: 2002-08-12
Publication date: 2004-03-11

Abstract

【課題】簡単な構成で演算も容易であり、正確に動体追跡が可能な動体画像自動追跡方法と装置を提供する。
【解決手段】固定カメラ１４と、垂直な回動軸及び水平な回動軸のうちの少なくとも１軸回りに回動する回動装置２４及びズームレンズ２２とズーム駆動手段を有した可動カメラ２０とを有する。固定カメラ１４で捉えた画像のうち、画面上で動く動体を識別する動体検出手段を備える。先ず固定カメラ１４で捉えられた画像を任意の領域ｒに区分けし、この領域ｒ毎に、可動カメラ２０の回動位置やズームレンズ２２による拡大比を予め記憶する。画像中に動体を発見した場合に、固定カメラ１４の撮像範囲内で動体がどの領域ｒに存在するかを検出する。動体が存在する領域ｒについて上記記憶した情報により、可動カメラ２０を回動させ、その領域ｒの動体を可動カメラ２０により追跡し撮像する。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は、ビデオカメラ等で撮像された画像中の動体を、他の撮像装置で自動的に追跡する動体画像自動追跡方法と装置に関する。
【０００２】
【従来の技術】
従来、各種のプラントや発電所、オフィスビルその他監視が必要な箇所に設けられたビデカメラは、広角レンズを備えたカメラを複数台所定の場所に設置して、監視対象区域をくまなく撮像できるようにしている。しかしながら、単に監視区域内の画像を記録したり警備員等がモニタを見ているだけでは見落とし等が発生し、信頼性の高い監視が期待できない場合がある。
【０００３】
そこで、撮像画像の内の動体を検出してこれを画像中で追跡するシステムも提案されている。この場合、撮像画像を分析する処理装置には、画像の中の動体を検出する画像処理プログラムを備え、撮像画像の各フレーム毎に、画像データと当該撮像画像の前のフレームのデータとを比較して、動いた場合に生じる各画像データ間の明るさや色の違いのデータを数値化して判断し、撮像画像範囲内の動体を検出していた。
【０００４】
この画像処理によるビデオ画像中の動作情報を抽出・分析する方法として、例えば、相関基準光学フローアルゴリズムがある。これは、簡単なブロック突合せアルゴリズムで、ある画像の小さな一部（パッチ）を次のフレームの近隣にあるすべてのパッチと比較するもので、速度の予測誤差を最小にするものである。この光学フローアルゴリズムはかなり高速で動作するソフトとして使用できるが、基本的なアルゴリズムだけでは物体の境界近くや閉鎖した範囲で正確な値が得られないものであった。
【０００５】
この欠点を解決するものとして傾斜基準法光学フローアルゴリズムがある。この傾斜基準法では、光学フローを得るために画像強度の空間的、時間的派生量を使用する。この傾斜制約方程式では、組み合わせた空間位置は方程式中でガウスの定理によって重みづけされ、その最大重みは制約条件の空間的な中心に合致するため、そこから離れるほど重要度が減るようになっている。
【０００６】
上記のほかにも速度フィールドを計算する方法や、特徴抽出とマッチングを利用するもの、空間・時間フィルターを使うもの等がある。光学フローアルゴリズムは、種類によって精度や効率が異なるが、いずれの場合も非常に複雑な計算を伴うため、動体追跡を可能とする画像処理には高性能のコンピュータを用いる必要がある。
【０００７】
【発明が解決しようとする課題】
上記従来の技術の方法の場合、撮像画像中の動体を検出してもその動体は捉えた画像の中で追跡するものであり、捉えた動体のみを撮像レンズによりズームインしたりして、簡単により明確に画像を検出する操作が可能なものではなかった。即ち、同一カメラで動体画像をズームインすると、監視区域の中に死角が生じると言う問題がある。また、異なるカメラで、捉えた動体の追跡や拡大撮像を行なうには、互いにに異なる位置に設置された固定カメラと可動カメラの間で、固定カメラで捉えた動体と追跡用の可動カメラで捉えた画像のマッチングを図る必要がある。しかしながら、このマッチングのための演算は、撮像空間の３次元の演算となり、きわめて複雑であり上記の動体検出処理と合わせて、画像処理装置であるコンピュータに与える負担が大きく、ビデオ画像の撮像フレーム毎にこれらの演算をするには極めて高速のコンピュータを必要とするものであり、現実的な監視装置として利用できないものである。
【０００８】
この発明は上記従来の技術の問題点に鑑みてなされたものであり、簡単な構成で演算も容易であり、しかも正確な動体検出や追跡が可能な動体画像自動追跡方法と装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この発明は、所定の広角の撮像範囲を有したレンズを備えた固定カメラと、垂直な回動軸及び水平な回動軸のうちの少なくとも１軸回りに回動する回動手段、及び撮像画像を拡大して捉えるズームレンズとそのズームレンズを動かすズーム駆動手段を有した可動カメラと、上記固定カメラで捉えた画像のうち画面上で動く動体を識別する動体検出手段を備え、先ず上記固定カメラで捉えられた画像を任意の領域に区分けし、この区分けした領域毎に、上記可動カメラの回動位置や上記ズームレンズによる拡大比を予め記憶し、上記動体検出手段により上記画像中に動体を発見した場合に、上記固定カメラの撮像範囲内で上記動体がどの領域に存在するかを検出し、この動体が存在する領域について上記記憶した情報により、上記可動カメラを回動させ、上記領域の動体を上記可動カメラにより撮像する動体画像自動追跡方法である。
【００１０】
これら一連の処理動作は、上記固定カメラの撮像フレーム毎に行うものである。上記回動手段は、垂直な回動軸及び水平な回動軸の両方を有する。また、上記動体が存在する領域へ上記可動カメラを回動させる動作に際して、上記動体が存在する領域の中心及び周辺領域の中心と上記動体の中心との各距離を加算したデータを、演算式に入れて上記可動カメラの回動量を演算する。また、上記動体を検出してその上部に上記可動カメラを向けてズームレンズにより拡大撮像するものである。
【００１１】
また、上記動体検出手段は、各撮像フレーム毎にその撮像画像の背景画像を差し引くことにより動体を検出するもので、背景画像はその撮像フレームの前の複数の撮像画像の平均値であり、この背景画像は逐次更新される。また、背景中で動きの少ない部分は、より高い重み付けをし、撮像フレーム毎に変わる部分は低い重み付けにして、背景の演算にあたっては、現在のフレームと直前のフレームとの絶対値の差に反比例して現在のフレームの重み付けをする。これにより、背景画像がより明確に認識され、動体検出を確実にする。
【００１２】
またこの発明は、所定の広角の撮像範囲を有したレンズを備えた固定カメラと、垂直な回動軸及び水平な回動軸のうちの少なくとも１軸回りに回動する回動手段、及び撮像画像を拡大して捉えるズームレンズとそのズームレンズを動かすズーム駆動手段を有し上記固定カメラから所定距離離れて位置した可動カメラと、上記固定カメラで捉えた画像のうち画面上で動く動体を識別する動体検出手段と、上記動体検出手段により上記画像中に動体を発見した場合に上記固定カメラの撮像範囲で上記動体がどの領域に存在するかを検出し、この動体が存在する領域について上記記憶した情報により、上記可動カメラを回動させ、上記領域の動体を上記可動カメラにより撮像を行うように制御するコンピュータ等の可動カメラ制御装置を備えた動体画像自動追跡装置である。
【００１３】
【発明の実施の形態】
以下、この発明の一実施形態について図面に基づいて説明する。図１はこの発明の一実施形態の動体画像自動追跡方法に用いる装置を示す。この装置は、監視対象区域１０の天井１２に、図示しない取付装置により固定された固定カメラ１４を備える。固定カメラ１４は、広角レンズや、３６０°の画像を一度に捉えるパノラマ撮像レンズ等の撮像レンズ１６を備える。固定カメラ１４内には、ＣＣＤ等の公知の撮像素子を内蔵し、撮像した画像データはアナログデータのまま、またはＡ／Ｄ変換されてディジタルデータとして出力される。
【００１４】
監視対象区域１０内の適宜の位置には、可動カメラ２０が設置されている。可動カメラ２０は、ズームレンズ２２を有し、垂直な回動軸及び水平な回動軸の２軸回りに可動カメラ２０を回動する回動装置２４に取り付けられている。さらに、可動カメラ２０内には、ズームレンズ２２を動かして拡大比を可変するズームレンズ駆動装置が設けられている。可動カメラ２０内には、ＣＣＤ等の公知の撮像素子を内蔵し、撮像した画像データは、アナログデータのまま、またはＡ／Ｄ変換されてディジタルデータとして可動カメラ２０から出力される。
【００１５】
固定カメラ１４及び可動カメラ２０の各出力は、撮像した画像データの処理を行うパソコン等のコンピュータ３０の入力に接続されている。各カメラからの画像データがアナログ信号の場合は、コンピュータ３０内でＡ／Ｄ変換する。コンピュータ３０は、周知のＣＰＵや記憶装置及びディスプレイ３２、キーボード３４等の入力手段を有し、各種データを記憶する。そして、ディジタル信号に変換された画像データ信号は、所定の画像処理プログラムにより画像処理が施され、動体を検知し追跡可能にする。
【００１６】
次に、この実施形態による動体検出処理について以下に説明する。先ず、固定カメラ１４で捉えられた画像をユーザにより任意の領域に区分けし、この区分けした領域毎に、その領域を可動カメラ２０で捉えた場合の、可動カメラ２０の水平方向及び垂直方向の回動位置や、各領域のズームレンズ２２による拡大比をコンピュータ３０の記憶装置に記憶させる。これにより、固定カメラ１４と可動カメラ２０の各画像間の視認領域のマッチングを図る。
【００１７】
具体的には、固定カメラ１４により捉えた画像を、ユーザがコンピュータ３０側で複数の領域に分割する。次に、ユーザは可動カメラ２０を、先に分割した各領域に一致するように、水平方向及び垂直方向、並びにズーム位置を各々決定し、それらの位置を、各領域ごとにコンピュータ３０の記憶装置に記憶させる。
【００１８】
固定カメラ１４で捉えた画像の分割は、例えば、図２に示すように、パノラマ撮像レンズで捉えた３６０°のパノラマ画像Ａや、図３に示すように、通常レンズで捉えた画像Ｂについて、任意の区分数ｎに区分された領域ｒ_１からｒ_ｎに分割する。固定カメラ１４により捉えられたパノラマ画像Ａは、ディスプレイ３２上では、所定の画像変換処理が成されて、図４に示すように展開された平面画像で表示される。また、図３に示す画像Ｂは、ディスプレイ３２では図５に示すように表れる。各画像Ａ，Ｂでは、さらに、図４，図５に示すように、コンピュータ３０側でユーザにより、任意にｒ_ｎ＋１〜ｒ_ｎ＋ｍに区分された領域を設定することができる。
【００１９】
コンピュータ３０は、上記のように分割した各領域ｒについて、特有の領域識別記号（ｊ＝１，・・・，ｎ＋ｍ）を付し、図５に示すように、各領域ｒ毎に例えばその左上隅の座標（ｓｘ、ｓｙ）と右下隅の座標（ｅｘ，ｅｙ）を記憶する。さらに、各領域ｒ毎に可動カメラ２０の垂直な回動軸による水平方向の回動位置、及び水平な回動軸による垂直方向の回動位置、並びにズームレンズ２２の拡大比を定めるレンズ駆動位置の各データを記憶装置に記憶する。これにより、後述するように、ある領域ｒ内に動体を検知した際、可動カメラ２０を、ここで記憶した位置を基準にして計算された方向に回動制御させる。
【００２０】
そして、この記憶されたデータに基づいて、この動体検出処理アルゴリズムは、固定カメラ１４の画像ＡまたはＢと可動カメラ２０により捉えられる画像との間で、各々視認領域のマッチングを図り、その領域対応データを作成し記憶する。具体的には、この領域対応データは、各々分割された画像のサイズに対応し、撮像画像の各ピクセル毎に、そのピクセルが属する領域ｒを、この領域対応データとして記憶するものである。
【００２１】
次に、動体検出及びその追跡処理について説明する。この追跡処理は、固定カメラ１４が画像上に動体を発見すると、その動体がどの領域ｒに位置するのかを決定する。その後、可動カメラ２０をその決定した領域ｒに向けるように制御するものである。
【００２２】
ここで、この可動カメラ２０の制御は、動体検知の結果に基づいて、先ずその動体の中心位置を決定する。検知された動体が複数ある場合、全ての動体についてその位置情報が記憶される。この動体検出処理アルゴリズムは、その中から最初に検知した移動体を選択して追跡し、画像内の物体の位置に基づいて、その移動体の中心位置を決定する。中心位置の決定は、公知の中心検知プログラム等により行う。
【００２３】
この実施形態における動体検知方法は、簡単に高速処理が可能な方法であり、ある画面の背景だけを何かの方法で記録しておき、その後各フレーム画像毎にこの背景画像を差し引くものである。さらに、この方法では、時間とともに常に背景画像を動的に更新する。背景画像の更新方法としては、連続したビデオ画像中で、直前のいくつかのフレームの平均をとって背景を作り処理を行う。さらに、より正確な動体検出処理方法として、背景の一部の変化は動体の一部にくらべて変化の頻度も大きさも小さいという事実に基づき、背景中で動きの少ない部分（ピクセル）は、より高い重み付けをし、撮像フレームごとに変わる部分（ピクセル）は低い重み付けをして処理する。
【００２４】
この動体検出アルゴリズムは、所定の連続画像の平均値をつくり、新しい撮像フレームを取り込むごとにその平均値を保存する。さらに、全部の領域に対して平均値および、ある時間内の最大変化量（Ｄ）を記録する。そして、先に検知した領域のみに対してつぎの計算を実行する。もし現在のフレームと検知した領域の平均値との差の絶対値が、ある時間内の最大変化量Ｄよりも、あるパーセントＰだけ大きい場合、その変化は学習した変化量よりもずっと大きいと検出して、その領域を検出領域としてマークしておく。そうでない場合は、変化をすでにアルゴリズムに学習させてあることから、検出領域はマークされない。
【００２５】
この動体検出アルゴリズムにより、固定カメラ１４による画像の中の動体を検知し、その中心位置の座標を認識すると、予め記憶装置に記憶された領域対応データに基づいて、その中心座標を含んでいる領域ｒを識別する。さらに、その動体の中心を含んでいる領域内において、その領域の中心に対する動体の中心位置を演算する。
【００２６】
そして、図６に示すように、最大でも３つの隣接する近隣領域を探す。最初に、左右の近隣領域からより近いものを選択し、その後、上下の近隣領域からより近いものを選択する。最後に、この動体検出処理アルゴリズムは、その４つの対角線の近隣領域から最も近いものを選択する。なお、動体が画像の端に位置する場合には、近隣領域は考慮に入れることはできない。
【００２７】
次に、近隣領域の中心座標を演算する。ここで、演算式は以下の通りである。
【００２８】
【式１】

【００２９】
【式２】

【００３０】
さらに、以下の方程式を使用して、動体の中心と近隣領域の中心間の距離を演算する。
【００３１】
【式３】

【００３２】
また、領域と動体間の距離を備えた近隣領域に割り当てられた位置座標に、以下の式の通り、重みを加えることにより、可動カメラ２０の回動動作及びズーム動作を滑らかにする。
【００３３】
【式４】

【００３４】
【式５】

【００３５】
【式６】

【００３６】
さらに、この動体検出処理アルゴリズムでは、検出した動体が人間である場合、顔をより容易に検出することができるように、さらに、可動カメラ２０の水平・垂直方向の回動角及びズームによる拡大比を計算する。この場合、可動カメラ２０の水平・垂直方向の回動角及びズームによる拡大比は、動体の上半分だけが考慮に入れられる。これらにより可動カメラ２０は動体の上部にズームインし、動いている人物の頭の画像を、より高い解像度で表示する。この場合、動体上部のサイズの比率、および動体上部の中心を含む領域のサイズを計算することにより、ズーム率を決定する。
【００３７】
【式７】

【００３８】
以上のようにして計算された位置に、可動カメラ２０を向けるように制御する。上記動体検出処理の流れは、図７のフローチャートにまとめられる。
【００３９】
この実施形態の動体画像自動追跡方法によれば、予め固定カメラ１４の撮像画像を複数の領域に分割し、各領域毎に可動カメラ２０の回動位置やズームレンズによる拡大比率とのマッチングを図り、これを領域対応データとして記憶しているので、動体を検知した状態で可動カメラの制御を迅速に行うことができる。また、可動カメラ２０の移動位置の演算に際して、隣接領域の情報を入れているので、可動カメラ２０の動きを滑らかなものとすることができる。さらに、動体の上部を検知するようにしたので、動体が人物の場合に、可動カメラ２０により顔を含む頭部を正確に捉えることができ、動体の特定を容易にする。
【００４０】
【実施例】
図８、図９は、この発明の一実施例を示すもので、図８はパノラマ撮像レンズを備えた固定カメラ１４による撮像画像を展開した平面画像を示す。ここでは、画像が８分割されている。その画像の中で、動体である人物ｈが領域ｒ_５で捉えられている。そして可動カメラ２０は、人物ｈが存在する領域ｒ_５に領域対応データを基に向きを合わせている。図９は、可動カメラ２０による領域ｒ_５画の画像である。そして、固定カメラ１４による画像をもとに、コンピュータは物ｈが存在する領域及び位置を逐次演算子し、可動カメラ２０により人物ｈを追跡する。
【００４１】
【発明の効果】
この発明の動体画像自動追跡方法と装置は、予め固定カメラの撮像画像を複数の領域に分割し、各領域毎に可動カメラの回動位置やズームレンズによる拡大比率を領域対応データとして記憶し、動体検出時の可動カメラの制御の演算に用いているので、可動カメラの制御が容易であり迅速且つ正確な動体追跡が可能となる。また、可動カメラの移動位置の演算に際して、隣接領域の情報を入れているので、可動カメラの動きを滑らかなものとすることができる。さらに、動体の上部を検知するようにしたので、人物等を正確に捉えることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の動体画像自動追跡装置の概略図である。
【図２】この発明の一実施形態の固定カメラで捉えた画像を区分した状態を示す概念図である。
【図３】この発明の一実施形態の他の固定カメラで捉えた画像を区分した状態を示す概念図である。
【図４】この発明の一実施形態の固定カメラで捉えた画像を画像処理してディスプレイに表示した状態を示す概念図である。
【図５】この発明の一実施形態の他の固定カメラで捉えた画像を画像処理してディスプレイに表示した状態を示す概念図である。
【図６】この発明の一実施形態の固定カメラで捉えた画像を画像処理してディスプレイに表示した状態で、動体を検知したときの演算方法を説明する概念図である。
【図７】この発明の一実施形態の動体画像自動追跡方法のフローチャートである。
【図８】この発明の一実施例の固定カメラで捉えた画像を画像処理してディスプレイに表示した状態を示す図である。
【図９】この発明の一実施例の可動カメラで捉えた画像を示す図である。
【符号の説明】
１０　監視対象区域
１４　固定カメラ
１６　撮像レンズ
２０　可動カメラ
２２　ズームレンズ
２４　回動装置
３０　コンピュータ

Claims

所定の撮像範囲を有したレンズを備えた固定カメラと、垂直な回動軸及び水平な回動軸のうちの少なくとも１軸回りに回動する回動手段、及び撮像画像を拡大して捉えるズームレンズとそのズームレンズを動かすズーム駆動手段を有した可動カメラと、上記固定カメラで捉えた画像のうち画面上で動く動体を識別する動体検出手段を備え、先ず上記固定カメラで捉えられた画像を任意の領域に区分けし、この区分けした領域毎に、上記可動カメラの回動位置や上記ズームレンズによる拡大比を予め記憶し、上記動体検出手段により上記画像中に動体を発見した場合に、上記固定カメラの撮像範囲内で上記動体がどの領域に存在するかを検出し、この動体が存在する領域について上記記憶した情報により、上記可動カメラを回動させ、上記領域の動体を上記可動カメラにより撮像することを特徴とする動体画像自動追跡方法。
上記回動手段は、垂直な回動軸及び水平な回動軸の両方を有することを特徴とする請求項１記載の動体画像自動追跡方法。
上記動体が存在する領域へ上記可動カメラを回動させる動作に際して、上記動体が存在する領域の中心及び周辺領域の中心と上記動体の中心との各距離を加算したデータを、演算式に入れて上記可動カメラの回動量を演算することを特徴とする請求項１または２記載の動体画像自動追跡方法。
上記動体を検出してその上部に上記可動カメラを向けて、上記ズームレンズにより拡大撮像することを特徴とする請求項１または２記載の動体画像自動追跡方法。
上記動体検出手段は、各撮像フレーム毎にその撮像画像の背景画像を差し引くことにより動体を検出することを特徴とする請求項１記載の動体画像自動追跡方法。
上記動体検出手段は、背景中で動きの少ない部分は、より高い重み付けをし、撮像フレーム毎に変わる部分は低い重み付けにして、背景の演算にあたっては、現在の撮像フレームと直前の撮像フレームとの絶対値の差に反比例して現在の撮像フレームの重み付けをすることを特徴とする請求項５記載の動体画像自動追跡方法。
所定の広角の撮像範囲を有したレンズを備えた固定カメラと、垂直な回動軸及び水平な回動軸のうちの少なくとも１軸回りに回動する回動手段、及び撮像画像を拡大して捉えるズームレンズとそのズームレンズを動かすズーム駆動手段を有し上記固定カメラと所定距離離れて位置した可動カメラと、上記固定カメラで捉えた画像のうち画面上で動く動体を識別する動体検出手段と、上記動体検出手段により上記画像中に動体を発見した場合に上記固定カメラの撮像範囲で上記動体がどの領域に存在するかを検出し、この動体が存在する領域について上記記憶した情報により、上記可動カメラを回動させ、上記領域の動体を上記可動カメラにより撮像する可動カメラ制御装置を備えたことを特徴とする動体画像自動追跡装置。