JP2006033224A - 物体追跡装置および物体追跡方法 - Google Patents

Abstract

【課題】広角カメラで撮影された監視すべき領域の画像中に侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に、監視すべき領域内に別の物体が侵入したような場合にも、その別の物体について追跡を行うことのできる物体追跡装置および物体追跡方法を提供する。
【解決手段】Ｗカメラ装置２およびＮカメラ装置３と、Ｗカメラ装置２で撮影された広角画像から複数の物体を検出する物体検出部５と、複数の物体それぞれの広角画像における位置情報を含む履歴情報を作成する履歴情報作成部７と、追跡すべき物体の履歴情報の条件を設定する条件設定部１１と、条件設定部１１で設定された条件に適合する履歴情報を有する物体を追跡すべき物体として複数の物体から選択する物体選択部１０と、物体選択部１０で選択された物体を撮影するようにＮカメラ装置３を駆動する駆動部４とを備えた。
【選択図】図１

Description

本発明は、画像中において追跡対象となる物体を追跡する物体追跡装置および物体追跡方法に関し、特に、広角カメラおよび望遠カメラの二つの画角の異なるカメラを備え、広角カメラで撮影された画像を用いて追跡すべき物体を選択し、選択された追跡すべき物体の画像を望遠カメラで追跡して撮影する物体追跡装置および物体追跡方法に関する。

近年、ビデオカメラ装置を用いた監視装置等において、ビデオカメラで常時動画像を撮影し、撮影された動画像中に不審な物体が検知された場合に、その検知された不審な物体を追跡して撮影する物体追跡装置が実用化されてきている。

その中でも、固定された広角カメラおよび上下左右に撮影方向を移動させる動作（以下、このような動作をパン、チルトと記す）が可能な望遠カメラという二つの互いに画角が異なるカメラを組み合わせた物体追跡装置が、高倍率なズームレンズやその制御手段等の複雑な構成を用いる必要のないことから広く実用化されている。

例えば、監視すべき比較的広い領域を広角カメラで撮影し、撮影された画像中に物体が侵入した場合に、望遠カメラの撮影方向をその侵入した物体に向けるように望遠カメラを駆動することにより、侵入した物体の拡大画像を表示部に表示することのできる物体追跡装置が提案されている。このような物体追跡装置を用いることにより、管理者は表示部に表示された侵入した物体の拡大画像を見て、その侵入物体が真に不審であるか否かを判定することができた（例えば、特許文献１を参照。）。
特開平１１−６９３４２号公報

しかしながら、前述したような従来の技術においては、広角カメラで撮影された監視すべき領域の画像中にはじめから複数の侵入物体が存在する場合や、侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に監視すべき領域内にさらに別の物体が侵入したような場合に、真に不審な物体の追跡を行うことができないという課題があった。

本発明はこのような課題に鑑みてなされたものであり、広角カメラで撮影された監視すべき領域の画像中にはじめから複数の侵入物体が存在する場合や、侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に監視すべき領域内にさらに別の物体が侵入したような場合にも、真に不審な物体の追跡を行うことのできる物体追跡装置および物体追跡方法を提供することを目的とする。

本発明の物体追跡装置は、所定の画角で広角画像を撮影する第１の画像撮影部と、第１の画像撮影部よりも狭い画角で画像を撮影する第２の画像撮影部と、第１の画像撮影部で撮影された広角画像から複数の物体を検出する物体検出部と、複数の物体それぞれについての、広角画像における位置情報を含む履歴情報を作成する履歴情報作成部と、追跡すべき物体の履歴情報の選択条件に対応する履歴情報を有する物体を追跡すべき物体として複数の物体から選択する物体選択部と、物体選択部で選択された物体を撮影するように第２の画像撮影部を駆動する駆動部とを備えたことを特徴としている。

このような構成により、広角カメラで撮影された監視すべき領域の画像中にはじめから複数の侵入物体が存在する場合や、侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に監視すべき領域内にさらに別の物体が侵入したような場合にも、真に不審な物体の追跡を行うことができる。

また、物体検出部で検出された複数の物体それぞれの部分画像を広角画像から切り出す画像切出部を備え、履歴情報作成部は、部分画像を用いて履歴情報を作成する構成であってもよい。

このような構成によれば、さらに、複数の物体それぞれについて迅速に履歴情報を作成することが可能である。

また、履歴情報作成部は、部分画像の中心座標を位置情報として作成する構成であってもよい。

このような構成によれば、さらに、中心座標を算出するという簡易な演算で履歴情報の作成を行うことが可能である。

また、追跡すべき物体の履歴情報の選択条件を設定する条件設定部を備えた構成であってもよい。

このような構成により、選択条件を、例えば管理者の外部からの入力によって設定することが可能となる。

さらに、条件設定部は、優先度の異なる選択条件を複数設定し、物体選択部は、優先度にもとづいて追跡すべき物体を選択する構成であってもよい。

このような構成によれば、さらに、選択条件に優先度を加味して追跡すべき物体を選択することができ、常にもっとも優先度の高い物体を追跡すべき物体として選択、決定することが可能となる。

また、条件設定部は、広角画像における所定領域の通過を選択条件として設定する構成であってもよい。

このような構成によれば、さらに、広角画像において所定の領域を通過する物体を追跡することが可能となる。

また、条件設定部は、広角画像内における滞在時間を選択条件として設定する構成であってもよい。

このような構成によれば、さらに、広角画像内に所定の時間以上とどまっているような物体を追跡することが可能となる。

また、条件設定部は、広角画像における移動方向を選択条件として設定する構成であってもよい。

このような構成によれば、さらに、物体の移動の方向を選択条件として物体の追跡を行うことが可能となる。

さらに、条件設定部は、広角画像における移動経路を選択条件として設定する構成であってもよい。

このような構成によれば、さらに、あらかじめ所定の移動経路を定めておき、その移動経路以外の経路を移動している物体について追跡を行ったり、不審な経路を移動している物体を追跡したりすることが可能である。

さらに、履歴情報作成部は、複数の物体の色情報を履歴情報として作成し、条件設定部は、広角画像における色情報を選択条件として設定する構成であってもよい。

このような構成によれば、さらに、物体の色を選択条件として追跡すべき物体を選択することが可能となる。

また、条件設定部は、広角画像における、所定領域の通過、滞在時間、移動方向、移動経路および色情報のうち複数の条件を選択条件として設定する構成であってもよい。

このような構成によれば、さらに、複数の選択条件を組み合わせて追跡すべき物体を選択することが可能である。

また、第１の画像撮影部で撮影された広角画像、第２の画像撮影部で撮影された追跡すべき物体の拡大画像および複数の物体の履歴情報を表示する表示部を備えた構成であってもよい。

このような構成によれば、さらに、管理者が追跡すべき物体の拡大画像および広角画像を一見できる装置を実現できる。

さらに、表示部は、広角画像に複数の物体の履歴情報を重畳表示する構成であってもよい。

このような構成によれば、さらに、管理者が物体の履歴情報、例えば移動軌跡の情報等を一見できる装置を実現できる。

次に、本発明の物体追跡方法は、所定の画角で広角画像を撮影する第１の画像撮影部と、第１の画像撮影部よりも狭い画角で画像を撮影する第２の画像撮影部とを備えた物体追跡装置を用いた物体追跡方法であって、広角画像から複数の物体を検出するステップと、複数の物体それぞれの広角画像における位置情報を含む履歴情報を作成するステップと、複数の物体から追跡すべき物体の履歴情報の条件に適合する物体を追跡すべき物体として選択するステップと、追跡すべき物体を撮影するように第２の画像撮影部を駆動するステップとを備えたことを特徴としている。

このような方法により、広角カメラで撮影された監視すべき領域の画像中にはじめから複数の侵入物体が存在する場合や、侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に監視すべき領域内にさらに別の物体が侵入したような場合にも、真に不審な物体の追跡を行うことができる。

以上述べたように、本発明の物体追跡装置および物体追跡方法を用いれば、広角カメラで撮影された監視すべき領域の画像中にはじめから複数の侵入物体が存在する場合や、侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に監視すべき領域内にさらに別の物体が侵入したような場合にも、真に不審な物体の追跡を行うことができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態）
まず、本発明の実施の形態における物体追跡システムおよび物体追跡装置ならびに物体追跡方法について説明する。

図１は、本発明の実施の形態における物体追跡システム３０および物体追跡装置２０の構成を示すブロック図である。

本発明の実施の形態における物体追跡システム３０は、監視すべき比較的広い画角範囲の広角画像を撮影するＷカメラ装置２、Ｗカメラ装置２よりも狭い画角での望遠撮影が可能で、駆動部４によりパン、チルト動作が可能に設けられたＮカメラ装置３、Ｗカメラ装置２で撮影された広角画像から追跡すべき物体を検出し、駆動部４を制御することでＮカメラ装置３を追跡すべき物体の方向に向ける物体追跡装置２０、物体追跡装置２０に対して追跡すべき物体の条件等を入力する入力装置１３、ならびに、Ｗカメラ装置２で撮影された広角画像およびＮカメラ装置３で撮影された追跡すべき物体の拡大画像を表示する出力装置１４を備える。

Ｗカメラ装置２としては、監視用途等に広く用いられる広角レンズを備えたビデオカメラ装置を用いることが可能である。

Ｎカメラ装置３としては、Ｗカメラ装置２に搭載された光学系よりも画角の狭い望遠レンズを搭載したビデオカメラ装置を用いることができる。なお、Ｎカメラ装置３にズームレンズを搭載することにより、追跡すべき物体の適切な大きさの拡大画像を得ることが可能となる。

Ｎカメラ装置３のパン、チルト動作を行う駆動部４としては、例えば電気制御が可能な公知の電動雲台を用いることが可能である。

入力装置１３としては、キーボード、マウス、トラックボール等の広く知られた入力用デバイスから適宜選択したものを用いることができる。

出力装置１４としては、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｔ）またはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等の公知の表示デバイスから適宜選択したものを用いることが可能である。

本発明の実施の形態における物体追跡システム３０によれば、監視を行う者（以下、管理者と記す）は、Ｗカメラ装置２で撮影された広角画像において注目すべき注目領域の設定を行うとともに、追跡すべき物体を選択するための条件を入力し、物体追跡装置２０が、Ｗカメラ装置２で撮影された広角画像の中から、あらかじめ入力した条件に適合する不審な人物または動物等の物体（以下、これらを総称して追跡すべき物体と記す）を検出して、その拡大された画像をＮカメラ装置３で撮影して出力装置１４に表示することが可能である。これにより、管理者は出力装置１４に表示された追跡すべき物体の拡大画像を見て、その追跡すべき物体が真に不審な物体であるか否かを判別することができる。

ここで、本発明の実施の形態における物体追跡装置２０の構成についてさらに詳細に説明する。図１に示したように、本発明の実施の形態における物体追跡装置２０は、Ｗカメラ装置２から出力された広角画像の映像信号を入力し、広角画像から複数の物体を検出する物体検出部５、物体検出部５で検出された複数の物体それぞれの部分画像を切り出す切出部６、切出部６で切り出された部分画像を用いて物体検出部５から送られた広角画像中における複数の物体それぞれの後述する履歴情報を作成する履歴情報作成部７、複数の物体それぞれに対して作成された履歴情報を記憶する履歴記憶部８、入力装置１３から入力された追跡すべき物体の条件を履歴情報の条件として設定する条件設定部１１、条件設定部１１で設定された履歴情報の条件と適合する履歴情報を有する物体を履歴記憶部８から選択することにより、複数の物体の中から追跡すべき物体を選択する物体選択部１０、物体選択部１０で選択された追跡すべき物体の広角画像中における位置情報にもとづいて駆動部４の動作を制御する制御部１２、ならびに、Ｗカメラ装置２で撮影された広角画像、Ｎカメラ装置３で撮影された追跡すべき物体の拡大画像および履歴記憶部８に記憶された履歴情報にもとづいて出力装置１４に出力すべき出力情報を作成する出力情報作成部９を有している。

それぞれの構成要素について詳細に説明する。

物体検出部５は、Ｗカメラ装置２で撮影された監視すべき領域の広角画像から追跡すべき物体となる可能性のある、動きのある複数の物体を検出する。画像からの動きのある複数の物体の検出は、例えば、背景画像と入力される画像との差分を取ることにより、差分が所定の閾値を超えた領域を動きのある物体として検出する方法（いわゆる差分手法）によっても実現可能であるし、すでに検出された追跡すべき物体の色相等の特徴量を記憶しておき、その特徴量に適合する物体を検出する方法（例えば、特許第３１９７６３３号を参照。）によっても実現することが可能である。

切出部６は、物体検出部５で検出された複数の物体とみなされた領域を広角画像からそれぞれ切り出して部分画像を作成する。図２は、本発明の実施の形態における物体追跡装置２０の切出部６の機能について説明するための図である。例えば、Ｗカメラ装置２で撮影された広角画像２１が図２に示したような画像であり、物体検出部５において第１の物体２２および第２の物体２３の二つの物体が検出されたものとする。図２に示したように、切出部６は、広角画像２１から第１の物体２２を含むような第１の部分画像２４および第２の物体２３を含むような第２の部分画像２５をそれぞれ切り出す。この切出部６における部分画像の切り出しは、例えば、第１の部分画像２４を切り出すに際しては、第１の物体２２を含むような矩形領域を広角画像２１から切り出すことによって実現することができる。なお、本発明の実施の形態の物体追跡装置２０の切出部６は、上述したような、広角画像２１から部分画像を矩形に切り出すものに何ら限定されるものではなく、例えば、本発明の実施の形態の物体追跡装置２０の切出部６が、広角画像２１から物体を円形状に切り出したり、物体に沿った形状に部分画像を切り出したりするものであってもよいことはいうまでもない。

履歴情報作成部７は、切出部６で切り出された部分画像と前述の広角画像２１とを用いて、複数の物体それぞれの位置情報を含めた履歴情報を作成する。この履歴情報について、詳細に説明する。図３は、本発明の実施の形態における物体追跡装置２０の履歴情報について説明するための図である。図３に示したように、例えば、広角画像２１中において、前述の第１の物体２２が移動経路３２に沿って移動したものとし、第２の物体２３が移動経路３３に沿って移動したものとする。本発明の実施の形態における物体追跡装置２０では、この移動経路３２，３３を示す位置情報が履歴情報に含まれる。

具体的には、履歴情報作成部７は、広角画像２１における第１の物体２２に対応する第１の部分画像２４の中心（または重心）位置の座標情報を第１の物体２２についての履歴情報として作成する。また、履歴情報作成部７は、広角画像２１における第２の物体２３に対応する第２の部分画像２５の中心位置の座標情報を第２の物体２３についての履歴情報とする。それぞれの履歴情報は、物体のＩＤ情報および履歴情報が作成された時刻とともに履歴記憶部８に送られる。履歴情報の一例としては、「ＩＤ情報，中心座標（Ｘ，Ｙ），取得時刻（時間，分，秒）」という形式で表すことができる。

例えば、図３に示した例において、履歴情報作成部７において、第１の物体２２に対してＩＤ情報「１」、第２の物体２３に対してＩＤ情報「２」がそれぞれ付与され、第１の部分画像２４の中心座標が（Ｘ１，Ｙ１）であり、第２の部分画像２５の中心座標が（Ｘ２，Ｙ２）であり、それぞれの履歴情報が取得された時刻が１２時１５分１２秒だったと仮定すると、「１，Ｘ１，Ｙ１，１２，１５，１２」という情報が第１の物体２２に対する履歴情報となり、「２，Ｘ２，Ｙ２，１２，１５，１２」という情報が第２の物体２３に対する履歴情報として作成されて、それぞれの履歴情報が履歴記憶部８に送られる。

履歴記憶部８には、このように作成された履歴情報が蓄積記憶されている。履歴記憶部８に記憶された履歴情報の一例を図４に示す。図４は、本発明の実施の形態における物体追跡装置２０の履歴記憶部８に記憶された履歴情報の一例を示す図である。図４に示した例においては、履歴情報４１として、物体毎に、前述の中心座標および時刻情報に加えて、物体毎の色および輝度値をＲ，Ｇ，Ｂ形式で示す色情報を時系列に有している。このように、複数の物体それぞれの広角画像２１における位置を示す位置情報に加えて、色情報を履歴情報４１として有することにより、追跡すべき物体を色を条件として選択することが可能となり、例えば、従業員が定まったユニフォーム等を着用している場合、そのユニフォームの色以外の色の服を着用している者を追跡すべき者として設定することが可能である。

このように、本発明の実施の形態における物体追跡装置２０においては、Ｗカメラ装置２で撮影された広角画像２１中の複数の物体それぞれの履歴情報４１が履歴記憶部８に蓄積される。

履歴記憶部８は、半導体メモリやＨＤＤ、ＤＶＤ等、公知の記録媒体から適宜選択したものを用いて構成することができる。

ここで、広角画像２１における注目領域について説明する。図５は、本発明の実施の形態における物体追跡装置２０における注目領域について説明するための図である。図５に示したように、管理者は入力装置１３を用いて、出力装置１４に表示された広角画像２１における複数の注目領域、例えば注目領域Ａおよび注目領域Ｂを設定する。設定された注目領域Ａおよび注目領域Ｂは、条件設定部１１における追跡すべき物体の履歴情報の選択条件の設定に用いられる。

管理者は、出力装置１４に表示される入力誘導画面にもとづいて、注目領域の設定および追跡すべき物体の選択条件を指定することができる。図６は、本発明の実施の形態における物体追跡システム３０の入力装置１３における入力誘導画面５１の一例を示す図である。図６に示したように、本発明の実施の形態の物体追跡システム３０における入力誘導画面５１は、追跡すべき物体を選択するための条件（以下、選択条件と記す）を横方向に表示した構成である。管理者は、入力誘導画面５１において選択条件の並んだ行（以下、この行を選択条件行と記す）毎に選択条件を選び、縦方向に複数行にわたって選択条件を選ぶことで複数の選択条件を指定することができる。

図６に示した例では、各選択条件行毎に選択条件が五つずつ存在する場合を示している。図６において、選択条件行５２に着目すると、紙面に向かって左側から順に、それぞれ「選択条件１（領域通過）：所定の注目領域内を通過する物体を追跡すべき物体であるとみなす」「選択条件２（移動経路）：所定の移動経路に沿って移動する物体を追跡すべき物体であるとみなす」「選択条件３（移動方向）：所定の注目領域を指定した方向に横切る物体を追跡すべき物体であるとみなす」「選択条件４（滞在時間）：指定した時間以上滞在する物体を追跡すべき物体であるとみなす」「選択条件５（色）：所定の色の物体を追跡すべき物体であるとみなす」を意味する。それぞれの選択条件行の縦方向の順番は、それぞれの選択条件行の優先順位を示している。位置が下から上に向かうにしたがって各選択条件行の優先度が上がるものとする。

各選択条件の指定は、選択条件行毎に対応するチェックボックスをチェックすることで指定する。チェックボックスをチェックすると、前述の注目領域のような必要な情報を入力するための入力画面（図示せず）が表示される。例えば、領域通過や移動経路を選択条件とする場合には、Ｗカメラ装置２で撮影されている画像が出力装置１４上に表示され、管理者は入力装置１３を用いて前述の注目領域や移動経路を画像上で直接指定する。

例えば、「移動方向」や「色」を選択条件とする場合には、選択可能な項目（例えば、移動方向の場合には、「上」「下」「左」「右」等であり、色の場合には、「赤」「青」等）のリストが入力画面として表示され、リスト中から追跡すべき物体の移動方向や色を選択して指定する。また、「滞在時間」を選択条件とする場合においては、滞在時間の上限を示す数字を入力するための画面が出力装置１４に表示され、入力装置１３によって滞在時間の上限を入力することにより条件指定する。

また、本発明の実施の形態における物体追跡システム３０においては、入力誘導画面５１上でチェック済みのチェックボックスを再度チェックすることで項目が「×」表示になり、否定条件として指定することができる。例えば、選択条件が「移動方向」であり、表示が「×」となるようにして選択条件を否定条件として項目「上」を選択すると、上方向以外に移動する物体を追跡すべき物体とみなすような選択条件を指定することができる。

さらに、選択条件は、同一の選択条件行内で複数選択することができ、選択された選択条件の組み合わせとして条件を設定することができる。例えば、選択条件として「領域通過」と「滞在時間」とを組み合わせると、指定した注目領域内に一定時間以上滞在する物体を追跡すべき物体であるとみなす選択条件を指定できる。例えば図６に示した例では、選択条件行５４では選択条件として「領域通過」および「滞在時間」が選択されている。また、このような選択条件の組み合わせ時においても否定条件を使用でき、例えば、選択条件として「領域通過」と「色」の否定条件を組み合わせると、指定した色以外の移動物体が注目領域内を通過する場合にその物体を追跡すべき物体とみなすような選択条件を指定することができる。

さらに、前述したように、選択条件行の位置関係は、選択条件行間の優先度の高低を示している。図６に示した例では、上に位置する選択条件行ほど優先度の高い選択条件行となり、下に位置する選択条件行ほど優先度の低い選択条件行となる。ここで、選択条件行の優先順位について説明する。例えば、図６に示した例において、もっとも上に位置する選択条件行を選択条件行５２、その下側に位置する選択条件行を選択条件行５３、さらにその下側に位置する選択条件行を選択条件行５４とすると、広角画像２１中に選択条件行５２または選択条件行５３に該当する物体が存在しない場合であって、選択条件行５４にのみ該当する物体が存在する場合には、複数の物体の中から選択条件行５４に該当する物体が追跡すべき物体であるとして選択され、後述する方法でＮカメラ装置３によって撮影される。しかしながら、選択条件行５４に該当する物体がＮカメラ装置３によって撮影されている間に、さらに優先順位の高い選択条件、すなわちこの場合においては、選択条件行５２または選択条件行５３に該当するさらに別の物体が検出された場合には、新しく検出されたさらに別の物体を追跡すべき物体であるとみなして、Ｎカメラ装置３による撮影を行うことができる。これにより、常に優先度の高い、真に不審な物体を追跡すべき物体として特定することが可能となる。また、広角画像２１中に複数の物体が検出されている場合に、より高い優先度の選択条件に該当する物体を追跡すべき物体であると物体選択部１０は選択する。これにより、複数の物体が検出されている場合にも、常に優先度の高い、真に不審な可能性の高い物体を追跡すべき物体として特定することができる。

条件設定部１１においては、入力装置１３で入力された注目領域および選択条件の情報から、それぞれの選択条件行が順位付けされて、追跡すべき物体の履歴情報４１の選択条件を示す情報として物体選択部１０に送られる。

ここで、物体選択部１０における追跡すべき物体の選択方法について、選択条件毎に説明する。

まず、選択条件が「領域通過」である場合には、注目領域が任意の多角形で指定される場合に、その多角形の頂点数と頂点座標情報が、条件設定部１１から物体選択部１０に送られる。物体選択部１０では、履歴記憶部８に蓄積された中心座標の時系列データを補間して移動経路情報を求め、その移動経路情報が先に指定した多角形と重なる場合に、その注目領域を通過したと判定する。

また、選択条件が「移動経路」である場合には、移動経路が線で指定される場合に、条件設定部１１では、指定された移動経路の線上に所定の間隔で領域を作成し、作成した領域に経路に沿って順番を付け、領域情報と順番情報を物体選択部に送る。物体選択部１０では、物体の移動経路が順番通りに全領域を通過した時に、指定された移動経路に沿って物体が移動したと判定する。

さらに、選択条件が「移動方向」である場合には、例えば移動方向を「上」「下」「左」「右」から選択して指定する場合に、条件設定部１１は、指定された移動方向情報を物体選択部１０に送る。物体選択部１０では、履歴記憶部８に蓄積された履歴情報のうち、中心座標情報を使用して現在の中心座標と所定の時間さかのぼった中心座標の差から現在の移動方向を算出する。または、中心座標のゆらぎを考慮し、さかのぼる時間を変化させて求めた複数の移動方向を平均したものを現在の移動方向としてもよい。物体選択部１０では、「上」「下」「左」「右」の各移動方向の中で、算出した現在の移動方向にもっとも近い方向を求め、その方向が条件設定部１１から送られた方向と一致している時に、物体が指定した方向へ移動しているものと判定する。ただし、選択条件として「領域通過」と組み合わせる場合は、指定領域内にいる間の中心座標を使用して判定する。

次に、選択条件が「滞在時間」である場合には、滞在時間の上限を秒数で指定する場合に、まず条件設定部１１から、指定した秒数データが物体選択部１０に送られる。物体選択部１０では、履歴記憶部８に蓄積された履歴情報のうち、時刻情報を用い、現在の時刻と物体の検出を開始した時刻との差が、指定した秒数を超えた時に、指定された時間以上滞在したと判定する。ただし、選択条件として「領域通過」または「移動経路」と組み合わせる場合は、注目領域内または指定移動経路上にいる間の時刻情報を使用して判定する。

また、選択条件が「色」である場合には、色情報を「赤」「青」「黄」「緑」等の項目リストから選択して指定する場合に、条件設定部１１から、指定した色の情報が物体選択部１０に送られる。物体選択部１０では、履歴記憶部８に蓄積された履歴情報のうち、色情報を用いて、その色情報にもっとも類似する項目リスト中の色と条件設定部１１から指定された色とが一致している時に、物体の色が指定されたした色であると判定する。ただし、選択条件として「領域通過」または「移動経路」と組み合わせる場合は、注目領域内あるいは、指定移動経路上にいる間の色情報のみを使用して判定する。

さらに、上記した選択条件を複数組み合わせる場合には、上記条件を複数選択して組み合わせたものを条件とする場合に、物体選択部１０は条件設定部１１から出力された選択条件を全て満たす物体を、組み合わせ条件に適合する物体であり追跡すべき物体であると判定する。例えば、選択条件「領域Ａを通過」と選択条件「Ｂ秒以上滞在」を組み合わせた時「領域ＡにＢ秒以上滞在する」物体に対応する履歴情報４１を履歴記憶部８から選択する。

また、選択条件を組み合わせる際に否定条件として組み合わせる場合においては、選択した選択条件から否定条件を除く全選択条件を満たし、かつ、全否定条件を満たさない時に、組み合わせ条件に適合すると判定する。例えば、選択条件「領域Ａを通過」と否定条件「赤色」を組み合わせた時、物体選択部１０は、「領域Ａを通過する赤色以外の」物体に対応する履歴情報４１を履歴記憶部８から選択する。

上述したように、物体選択部１０は、条件設定部１１から送られた追跡すべき物体の履歴情報４１の選択条件を用いて、履歴記憶部８に記憶された複数の物体の履歴情報４１から、追跡すべき物体の履歴情報４１の選択条件に適合する物体を追跡すべき物体として選択し、その追跡すべき物体の広角画像２１中の位置情報を制御部１２に出力する。

物体選択部１０における追跡すべき物体の選択は、広角画像２１中に追跡すべき物体が複数ある場合には、前述の優先順位にもとづいてもっとも優先順位の高い条件に適合する物体を逐次追跡すべき物体として選択する。

このような構成により、広角画像２１中の複数の物体のうちで、より高い優先順位の選択条件に適合する物体を追跡すべき物体として出力することが可能となる。

制御部１２では、物体選択部１０から出力された追跡すべき物体の位置情報にもとづいて、Ｎカメラ装置３の駆動部４を駆動し、Ｎカメラ装置３を追跡すべき物体を撮影できる向きに移動させる。なお、この位置情報にもとづいた駆動部４の駆動方法に本発明は何ら限定されるものではなく、例えば、前述の特許文献１に記載された方法を用いることができる。

出力情報作成部９は、履歴記憶部８から複数の物体それぞれの履歴情報４１を、Ｗカメラ装置２から広角画像２１を、Ｎカメラ装置３から追跡すべき物体の画像６１をそれぞれ入力し、図７に示したような出力情報７１を作成する。図７は本発明の実施の形態における物体追跡装置２０の出力情報７１の一例を示す図である。図７に示したように、出力情報７１において複数の物体それぞれの履歴情報４１は、広角画像２１に重畳して表示されており、追跡すべき物体の画像６１が拡大表示されている。このとき、広角画像２１において、優先度の高い順に選択条件に対応する物体の色を変えて出力することにより、管理者は一目でもっとも不審な可能性の高い物体を識別することが可能となる。

出力情報作成部９が作成した出力情報７１は、出力装置１４に送られて、図７に示したような出力情報７１が出力装置１４の表示部に表示される。

なお、本発明の実施の形態における物体追跡装置２０の物体検出部５、切出部６、履歴情報作成部７、物体選択部１０、条件設定部１１、出力情報作成部９または制御部１２の各ブロックは、前述した所定の機能を実現することができれば、ソフトウェアによって所定の機能が実現されていてもよいし、専用回路等のハードウェアによって所定の機能が実現されていてもよいことはいうまでもない。

次に、本発明の実施の形態における物体追跡システム３０の動作について説明する。図８は、本発明の実施の形態における物体追跡装置３０の動作ステップを示すフローチャートである。ここでは、事前に、管理者によって入力装置１３から条件設定部１１に追跡すべき物体の条件が入力されており、入力された条件に対応する履歴情報４１の条件が優先順位を示す情報とともに条件設定部１１から物体選択部１０に送られているものとする。

図８に示したように、まず、Ｗカメラ装置２が監視すべき広角画像２１の撮影を開始し、その画像が物体検出部５に送られる（Ｓ１）。

物体検出部５では、広角画像２１から、追跡すべき物体となる可能性のある複数の物体を検出し、その物体を示す座標情報および広角画像２１が切出部６に送られる。また、物体検出部５から履歴情報作成部７に広角画像２１が送られる（Ｓ２）。

切出部６では、送られた広角画像２１から物体検出部５で検出された複数の物体それぞれを含む部分画像をそれぞれの物体に対して切り出し、切り出された画像を履歴情報作成部７に送る（Ｓ３）。

履歴情報作成部７では、物体検出部５から送られた広角画像２１と切出部６から送られた複数の物体それぞれの部分画像とにもとづいて、複数の物体それぞれの履歴情報４１を作成する（Ｓ４）。履歴情報作成部７で作成された履歴情報４１は、履歴記憶部８に記憶される。

物体選択部１０は、条件設定部１１から送られた、追跡すべき物体の履歴情報４１の条件に適合する履歴情報４１を有する物体を履歴記憶部８から選択する（Ｓ５）。

物体選択部１０から制御部１２に対して、その追跡すべき物体の広角画像２１における位置情報が送られ、制御部１２がＮカメラ装置３に備えられた駆動部４を駆動することにより、Ｎカメラ装置３を追跡すべき物体に向ける（Ｓ６）。

Ｎカメラ装置３は制御部１２によって追跡すべき物体の撮影を行い、その追跡すべき物体の画像が出力情報作成部９に送られる（Ｓ７）。

出力情報作成部９は、Ｗカメラ装置２によって撮影された広角画像２１、履歴情報作成部７で作成された履歴情報４１、および、Ｎカメラ装置３によって撮影された追跡すべき物体の画像にもとづいて出力情報７１を作成する（Ｓ８）。

出力情報作成部９によって作成された出力情報７１は、出力装置１４に送られ、出力装置１４の表示部に表示される（Ｓ９）。

ステップＳ９の処理が終わると、物体追跡システム３０は、再びステップＳ１に戻って、広角画像の撮影を行い、管理者によって処理を終了すべき旨の入力があるまでは、ステップＳ１からステップＳ９までの動作を繰り返す（Ｓ１０）。

このように、本発明の実施の形態における物体追跡システム３０および物体追跡装置２０によれば、広角なＷカメラ装置２で撮影された広角画像２１から抽出された複数の物体のうち、常にもっとも優先順位の高い条件に適合した物体を追跡すべき物体として特定し、その拡大画像をＮカメラ装置２によって撮影することができるので、広角カメラで撮影された監視すべき領域の画像中に侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に、監視すべき領域内に別の物体が侵入したような場合や、広角画像２１内に複数の物体が撮影されている場合にも、もっとも不審な可能性の高い物体について追跡を行うことができる。

本発明の実施の形態における物体追跡システム３０および物体追跡装置２０によれば、ビル周辺や立ち入り禁止区域等の監視において、監視対象となる領域の近傍にもっとも優先度の高い注目領域を設定して、選択条件として「領域通過」を設定することで、より監視対象に近い位置にいる人を追跡することができる。

さらに、同じ優先度の注目領域内においては、注目領域に近づく特定の方向が不審な方向である場合、その方向の優先度を他の方向より優先度を高くすることで、監視対象に不審な方向から近づく人を追跡できる。

また、本発明の実施の形態における物体追跡システム３０および物体追跡装置２０によれば、店舗等の監視において、フロアー全体を広角画像２１として撮影し、出入り口付近を注目領域として「領域通過」を選択条件として設定するとともに、その注目領域に入る入店方向を設定して「移動方向」を選択条件とすることにより、通常はフロアー全体を監視しつつ、入店する全ての人の拡大画像を自動に表示し、さらに記録媒体を用いて記録することができる。

なお、本発明の実施の形態においては、追跡すべき物体の例として人物を挙げて説明を行ったが、本発明は、その用途を人物の追跡に限定されるものではない。例えば、動きのある物体であれば、動物や自動車等、様々な物体の追跡に応用可能であることはいうまでもない。

本発明に係る物体追跡装置および物体追跡方法によれば、広角カメラで撮影された監視すべき領域の画像中に侵入物体が検出され、望遠カメラがその侵入物体を追跡して撮影を始めた後に、監視すべき領域内に別の物体が侵入したような場合にも、その別の物体について追跡を行うことができるという効果を奏することができるので、画像中において追跡対象となる物体を追跡する物体追跡装置および物体追跡方法、特に、広角カメラおよび望遠カメラの二つの画角の異なるカメラを備え、広角カメラで撮影された画像を用いて追跡すべき物体を選択し、選択された追跡すべき物体の画像を望遠カメラで追跡して撮影する物体追跡装置および物体追跡方法等として有用である。

本発明の実施の形態における物体追跡システムおよび物体追跡装置の構成を示すブロック図 本発明の実施の形態における物体追跡装置の切出部の機能について説明するための図 本発明の実施の形態における物体追跡装置の履歴情報について説明するための図 本発明の実施の形態における物体追跡装置の履歴記憶部に記憶された履歴情報の一例を示す図 本発明の実施の形態における物体追跡装置における注目領域について説明するための図 本発明の実施の形態における物体追跡システムの入力装置における入力誘導画面の一例を示す図 本発明の実施の形態における物体追跡装置の出力情報の一例を示す図 本発明の実施の形態における物体追跡装置の動作ステップを示すフローチャート

符号の説明

２ Ｗカメラ装置
３ Ｎカメラ装置
４ 駆動部
５ 物体検出部
６ 切出部
７ 履歴情報作成部
８ 履歴記憶部
９ 出力情報作成部
１０ 物体選択部
１１ 条件設定部
１２ 制御部
１３ 入力装置
１４ 出力装置
２０ 物体追跡装置
２１ 広角画像
２２ 第１の物体
２３ 第２の物体
２４ 第１の部分画像
２５ 第２の部分画像
３０ 物体追跡システム
３２，３３ 移動経路
４１ 履歴情報
５１ 入力誘導画面
５２，５３，５４ 選択条件行
６１ 追跡すべき物体の画像
７１ 出力情報

Claims (14)

1. 所定の画角で広角画像を撮影する第１の画像撮影部と、
   前記第１の画像撮影部よりも狭い画角で画像を撮影する第２の画像撮影部と、
   前記第１の画像撮影部で撮影された前記広角画像から複数の物体を検出する物体検出部と、
   前記複数の物体それぞれについての、前記広角画像における位置情報を含む履歴情報を作成する履歴情報作成部と、
   追跡すべき物体の履歴情報の選択条件に対応する履歴情報を有する物体を前記追跡すべき物体として前記複数の物体から選択する物体選択部と、
   前記物体選択部で選択された物体を撮影するように前記第２の画像撮影部を駆動する駆動部とを備えたことを特徴とする物体追跡装置。
2. 前記物体検出部で検出された前記複数の物体それぞれの部分画像を前記広角画像から切り出す画像切出部を備え、
   前記履歴情報作成部は、前記部分画像を用いて前記履歴情報を作成することを特徴とする請求項１に記載の物体追跡装置。
3. 前記履歴情報作成部は、前記部分画像の中心座標を前記位置情報として作成することを特徴とする請求項２に記載の物体追跡装置。
4. 前記選択条件を設定する条件設定部を備えたことを特徴とする請求項１から請求項３までのいずれか１項に記載の物体追跡装置。
5. 前記条件設定部は、優先度の異なる前記選択条件を複数設定し、
   前記物体選択部は、前記優先度にもとづいて前記追跡すべき物体を選択することを特徴とする請求項４に記載の物体追跡装置。
6. 前記条件設定部は、前記広角画像における所定領域の通過を前記選択条件として設定することを特徴とする請求項４または請求項５に記載の物体追跡装置。
7. 前記条件設定部は、前記広角画像内における滞在時間を前記選択条件として設定することを特徴とする請求項４または請求項５に記載の物体追跡装置。
8. 前記条件設定部は、前記広角画像における移動方向を前記選択条件として設定することを特徴とする請求項４または請求項５に記載の物体追跡装置。
9. 前記条件設定部は、前記広角画像における移動経路を前記選択条件として設定することを特徴とする請求項４または請求項５に記載の物体追跡装置。
10. 前記履歴情報作成部は、前記複数の物体の色情報を前記履歴情報として作成し、
    前記条件設定部は、前記広角画像における色情報を前記選択条件として設定することを特徴とする請求項４または請求項５に記載の物体追跡装置。
11. 前記条件設定部は、前記広角画像における、所定領域の通過、滞在時間、移動方向、移動経路および色情報のうち複数の条件を前記選択条件として設定することを特徴とする請求項４または請求項５に記載の物体追跡装置。
12. 前記第１の画像撮影部で撮影された前記広角画像、前記第２の画像撮影部で撮影された前記追跡すべき物体の拡大画像および前記複数の物体の履歴情報を表示する表示部を備えたことを特徴とする請求項１から請求項１１までのいずれか１項に記載の物体追跡装置。
13. 前記表示部は、前記広角画像に前記複数の物体の履歴情報を重畳表示することを特徴とする請求項１２に記載の物体追跡装置。
14. 所定の画角で広角画像を撮影する第１の画像撮影部と、前記第１の画像撮影部よりも狭い画角で画像を撮影する第２の画像撮影部とを備えた物体追跡装置を用いた物体追跡方法であって、
    前記広角画像から複数の物体を検出するステップと、
    前記複数の物体それぞれの前記広角画像における位置情報を含む履歴情報を作成するステップと、
    前記複数の物体から追跡すべき物体の履歴情報の条件に適合する物体を前記追跡すべき物体として選択するステップと、
    前記追跡すべき物体を撮影するように前記第２の画像撮影部を駆動するステップとを備えたことを特徴とする物体追跡方法。

Images