JP2009217448A - 画像情報を用いた人物追跡システム - Google Patents

Abstract

【課題】追跡対象人物とその周辺環境との相互作用の結果引き起こされる追跡対象人物の不連続な動作に追従し、的確に追跡対象人物を追跡することができる画像情報を用いた人物追跡システムを得る。
【解決手段】監視対象空間が撮影された画像情報を用いた人物追跡システムにおいて、追跡対象人物並びに前記追跡対象人物の視野内の障害物及び障害人物を認識する周辺環境認識部と、前記追跡対象人物と前記障害物及び前記障害人物との時系列の相対位置関係を連続的に算出、保存する相対位置関係保存部と、前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係から、前記追跡対象人物の移動位置を推定する移動位置推定部と、を備える。
【選択図】図１

Description

この発明は、画像情報を用いた人物追跡システムに関するものである。

従来における画像情報を用いた人物追跡システムにおいて複数のカメラを用いたものとして、監視対象空間に分散して複数のカメラが設置され、それぞれのカメラが映す映像の中から移動体の特徴量を示す情報を抽出し、その抽出された特徴量を用いて、それぞれのカメラで撮影された移動体が同一であるかを判定する監視システムであって、個別のカメラ毎に抽出した特徴量を移動体別に分離集約する手段と、移動体のカメラ間の移動経路を算出する手段と、カメラ間を移動する移動体の整合度を算出し整合性があるものを追跡する手段と、監視空間全体情報を管理するデータベースと、前記移動対象の状態を表示する表示装置を備えたものが知られている（例えば、特許文献１参照）。

この人物追跡システムにおいては、監視対象空間にカメラを設置し監視を行うが、一つのカメラ映像内には一般的に複数の移動体が存在するため、それらを個別の移動体として分離するため、画像認識技術を用いてその映像から例えば背景差分法等を用いて移動体を抽出する。その上で、カメラで撮影した映像から画像認識手法を適用してこれら移動体の特徴量情報、例えば最頻輝度値、を抽出し、特徴量空間にマッピングして、特徴量空間上における他の特徴量集合との距離的な近さ等の情報を用いて、どの特徴量集合に属するか決定することにより、これらの移動体を識別、追跡する。
そして、監視員は、表示手段上に表示された映像中の特定の移動体を追跡対象人物として指定することにより、その追跡対象人物の監視追跡を行うことが可能である。例えば、特許文献１の図１９に示されるように、任意の映像ウィンドウ内の移動体を追跡対象人物としてポインティングデバイスにより選択すると、メインウィンドウには、移動経路が表示され、また、その経路上で追跡対象人物が通過したカメラが強調表示される。

特開２００６−１４６３７８号公報

しかしながら、特許文献１に示された従来における画像情報を用いた人物追跡システムにおいては、追跡対象人物が連続的な動作をするものであることを前提として、追跡対象人物（の特徴量）のみに着目し、追跡対象人物の周辺環境（障害物等）については着目していないために、追跡対象人物とその周辺環境との相互作用の結果引き起こされる追跡対象人物の不連続な動作、例えば、追跡対象人物が他の人物や障害物等の裏に隠れてしまったり、他の人物等と交差したり、追跡対象人物が障害物等を回避したりといった動作、が発生した場合には、追跡対象人物を見失ったり、誤った人物を追跡したりすることが起こってしまい的確に追跡対象人物を追跡することができないという課題がある。

この発明は、前述のような課題を解決するためになされたもので、追跡対象人物とその周辺環境との相互作用の結果引き起こされる追跡対象人物の不連続な動作に容易に対応することが可能であり、的確に追跡対象人物を追跡することができる画像情報を用いた人物追跡システムを得るものである。

この発明に係る、画像情報を用いた人物追跡システムに関しては、監視対象空間が撮影された画像情報を用いた人物追跡システムにおいて、追跡対象人物並びに前記追跡対象人物の視野内の障害物及び障害人物を認識する周辺環境認識部と、前記追跡対象人物と前記障害物及び前記障害人物との時系列の相対位置関係を連続的に算出、保存する相対位置関係保存部と、前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係から、前記追跡対象人物の移動位置を推定する移動位置推定部と、を備えた構成とする。

この発明は画像情報を用いた人物追跡システムに関し、監視対象空間が撮影された画像情報を用いた人物追跡システムにおいて、追跡対象人物並びに前記追跡対象人物の視野内の障害物及び障害人物を認識する周辺環境認識部と、前記追跡対象人物と前記障害物及び前記障害人物との時系列の相対位置関係を連続的に算出、保存する相対位置関係保存部と、前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係から、前記追跡対象人物の移動位置を推定する移動位置推定部と、を備えた構成としたことで、追跡対象人物とその周辺環境との相互作用の結果引き起こされる追跡対象人物の不連続な動作に追従し、的確に追跡対象人物を追跡することができるという効果を奏する。

この発明を添付の図面に従い説明する。各図中、同符号は同一部分又は相当部分を示しており、その重複説明は適宜に簡略化又は省略する。

実施の形態１．
図１から図１０は、この発明の実施の形態１に関するもので、図１は画像情報を用いた人物追跡システムの全体構成の概略を示すブロック図、図２は入力画像の全体を示す概略図、図３は特徴データベースの構造を示す図、図４は図２の画像が入力された状態における追跡対象追跡データベースの構造を示す図、図５は図２の画像が入力された状態における障害物追跡データベースの構造を示す図、図６は図２の画像が入力された状態における相対位置関係データベースの構造を示す図、図７は行動パターンデータベースの構造を示す図、図８は画像情報を用いた人物追跡システムの全体構成の詳細を示すブロック図、図９は画像情報を用いた人物追跡システムの処理の流れを示すアクティビティ図、図１０は画像情報を用いた人物追跡システムの動作の概略を示す図である。
図において１は、例えば、監視対象空間に設置された監視カメラからの画像情報の入力を受けて、追跡対象人物を含む周辺環境を認識した上で追跡対象人物の視野内の障害物及び障害人物を認識する周辺環境認識部であり、この周辺環境認識部１において人物及び障害物を認識する際には、特徴データベース２に格納された特徴データが用いられる。前記周辺環境認識部１において認識された追跡対象人物に関する情報は追跡対象追跡データベース３に、前記周辺環境認識部１において認識された障害物に関する情報は障害物追跡データベース４に、それぞれ時系列で格納される。
そして、相対位置関係保存部５は、前記追跡対象追跡データベース３及び前記障害物追跡データベース４に格納されている情報を用いて、追跡対象人物と障害物との相対位置関係を算出し、前記相対位置関係保存部５において算出された追跡対象人物と障害物との相対位置関係は、相対位置関係データベース６に時系列で格納される。
行動パターンデータベース７には、障害物との相対位置関係に対応した人間の行動をパターン化したデータが格納されており、移動位置推定部８は、この前記行動パターンデータベース７と前記相対位置関係データベース６とに格納されている情報から追跡対象人物の行動を推定し、この推定に基づき移動位置を推定する。
すなわち、まず、前記移動位置推定部８は、前記相対位置関係データベース６に格納されている追跡対象人物と障害物との相対位置関係に対応する行動パターンデータを、この行動パターンデータベース７から取り出して、追跡対象人物の行動を推定する。そして、前記移動位置推定部８はこの推定された追跡対象人物の行動に基づき、前記追跡対象追跡データベース３に格納された情報を基にして追跡対象人物の移動位置を推定する。

次に、動作について、図２中の９で示される画像が入力された場合を例にして説明する。
まず、人物追跡を開始する前に、追跡対象人物１０を決定し、この追跡対象人物１０に係る特徴データを追跡対象人物情報として、また、想定される障害物１１ａの特徴データを障害物情報として、それぞれ前記特徴データベース２に格納しておく。ここで、前記追跡対象人物情報は、例えば、前記追跡対象人物１０を識別するためのＩＤ、前記追跡対象人物１０の肌の色、服装の色、体型、身長及び髪の各項目から構成されており、前記障害物情報は、例えば、前記障害物１１ａを識別するためのＩＤ、前記障害物１１ａの種別、色、形状及びサイズ（幅、厚み、高さの各寸法）の各項目から構成されている（図３）。
次に、前記入力画像全体９のうち取得する範囲を指定して前記周辺環境認識部１を起動する。前記周辺環境認識部１は、前記入力画像全体９のうち指定された範囲を取り込んだ後、前記特徴データベース２に格納された前記追跡人物情報を用いて前記追跡対象人物１０を認識して、その位置及び移動方向を算出する。そして、算出された前記追跡対象人物１０の位置及び移動方向から追跡対象人物の視野１０ａを決定した後、例えば、追跡対象のＩＤ、現在位置、移動方向、移動速度及び時刻の各項目から構成される情報を時系列で前記追跡対象追跡データベース３へと格納する（図４）。なお、現在位置については例えば格子状の二次元座標上で指定する方法が考えられる。

ここで前記追跡対象人物の視野１０ａは、前記追跡対象人物１０の視覚により前記障害物１１ａ及び前記障害人物１１ｂの存在を認識できる範囲を想定して設定されるもので、例えば、前記追跡対象人物１０が移動方向を向いていると仮定して、前記追跡対象人物１０が向いている方向を中心として左右方向に例えば各１００度ずつ、すなわち全体で２００度の中心角を持つ所定半径の扇形の範囲内として求めることができる。

前記周辺環境認識部１は、取り込んだ前記入力画像全体９から前記追跡対象人物の視野１０ａの範囲内の画像を切り出して、この範囲内における前記障害物１１ａ及び障害人物１１ｂを、前記特徴データベース２に格納された前記障害物情報を用いて認識し、客体の同一性を識別した上で、例えば、前記障害物１１ａ及び前記障害人物１１ｂのＩＤ、種別、現在位置、移動方向、移動速度及び時刻の各項目から構成される情報を時系列で前記障害物追跡データベース４へと格納する（図５）。

前記相対位置関係保存部５は、前記追跡対象追跡データベース３及び前記障害物追跡データベース４から、前記追跡対象人物１０並びに前記障害物１１ａ及び前記障害人物１１ｂの同時刻における情報を抽出して、前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの同時刻における相対位置関係を算出し、前記相対位置関係データベース６へと、例えば、前記障害物１１ａ及び前記障害人物１１ｂを識別するためのＩＤ、種別、前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの相対距離、移動方向及び時刻の各項目から構成される情報を時系列で格納する（図６）。
前記移動位置推定部８は、前記相対位置関係データベース６に格納された前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの相対位置関係、特に相対距離情報を用いて、前記行動パターンデータベース７に格納された行動パターンを読み出し、前記追跡対象人物１０がとり得る行動パターンを抽出した後、前記追跡対象人物１０の移動方向、前記追跡対象人物１０並びに前記障害物１１ａ及び前記障害人物１１ｂの全体的な配置やその時系列の変化に基づく相互作用を考慮して最も妥当な行動パターンを選定する。なお、前記行動パターンデータベース７には、例えば、行動パターンのＩＤ、相互作用対象種別、距離、移動方向及び行動の各項目からなる行動パターンに関する情報が格納されている（図７）。
その後、前記移動位置推定部８は、前記追跡対象追跡データベース３から前記追跡対象人物１０の現在位置、移動方向及び移動速度に関する情報を取得して、先程選定した行動パターンを考慮しつつ、前記追跡対象人物１０の移動位置を推定する。
ここで推定された前記追跡対象人物１０の移動位置情報は、前記周辺環境認識部１へとフィードバックされることで、前記周辺環境認識部１による前記追跡対象人物１０の認識に利用される。
そして、以上説明した動作を繰り返し実行することで、前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの相対位置関係と相互作用とを考慮しながら人物追跡を実行する。

以上は、この実施の形態における画像情報を用いた人物追跡システムの基本構成及び基本動作であるが、さらに詳細な構成を示したものが図８である。
この図８において、１ａは監視員が前記追跡対象人物１０を指定するための追跡対象人物指定部であり、画像入力部１ｂに入力された画像情報上において前記追跡対象人物１０を指定する機能を有する。前記画像入力部１ｂに入力された画像情報は、画像切出部１ｃにおいて指定された範囲の画像に切り出され、特徴抽出部１ｄへと出力される。
この特徴抽出部１ｄにおいては、前記画像切出部１ｃで切り出された画像情報から前記特徴データベース２に格納された特徴データに相当する特徴が抽出され、ここで抽出された特徴は、特徴照合手段である照合部１ｅにおいて前記特徴データベース２に格納された特徴データと照合される。ここで、前記照合部１ｅ内の人物照合部１ｆにおいては、特に、前記特徴データベース２に格納された追跡対象人物情報について照合が行われ、前記照合部１ｅ内の障害物照合部１ｇにおいては、特に、前記特徴データベース２に格納された障害物情報について照合が行われる。
前記人物照合部１ｆにおいて照合された前記追跡対象人物１０に関する情報は、追跡対象現在位置認識部１ｈへと出力され、この追跡対象現在位置認識部１ｈにおいては前記追跡対象人物１０に関する情報や既に前記追跡対象追跡データベース３に格納されている時系列データを用いて前記追跡対象人物１０の現在位置が算出、認識される。そしてここで認識された前記追跡対象人物１０の位置情報は、前記追跡対象追跡データベース３へと時系列データとして格納される。
そして、追跡対象移動方向推定部１ｊは、前記追跡対象現在位置認識部１ｈの認識結果と既に前記追跡対象追跡データベース３に格納されている時系列データとから前記追跡対象人物１０の移動方向を推定するとともに、その推定結果を前記追跡対象追跡データベース３に時系列データとして格納する。
前記追跡対象移動方向推定部１ｊにおいて推定された前記追跡対象人物１０の移動方向に関する情報は視野推定部１ｋへと出力される。この視野推定部１ｋは、前記追跡対象人物１０が前記追跡対象移動方向推定部１ｊにおいて推定された移動方向を向いていると仮定して前記追跡対象人物の視野１０ａを推定し、前記画像切出部１ｃに対して画像の切り出し範囲をここで推定された前記追跡対象人物の視野１０ａの範囲とするように指定する。

前記障害物照合部１ｇにおいて照合された前記追跡対象人物の視野１０ａの範囲内に存在する前記障害物１１ａ及び前記障害人物１１ｂに関する情報は、障害物現在位置認識部１ｍへと出力され、この障害物現在位置認識部１ｍにおいては前記障害物１１ａ及び前記障害人物１１ｂに関する情報や既に前記障害物追跡データベース４に格納されている時系列データを用いて前記障害物１１ａ及び前記障害人物１１ｂの現在位置が算出、認識される。そしてここで認識された前記障害物１１ａ及び前記障害人物１１ｂの位置情報は、前記障害物追跡データベース４へと時系列データとして格納される。
そして、障害物移動方向推定部１ｎは、前記障害物現在位置認識部１ｍの認識結果と既に前記障害物追跡データベース４に格納されている時系列データとから前記障害物１１ａ及び前記障害人物１１ｂの移動方向を推定するとともに、その推定結果を前記障害物追跡データベース４に時系列データとして格納する（前記障害物１１ａのように移動速度が０であるものは、移動方向を例えば「停止」として扱う。）。
前記周辺環境認識部１は、以上の、前記追跡対象人物指定部１ａ、前記画像入力部１ｂ、前記画像切出部１ｃ、前記特徴抽出部１ｄ、前記照合部１ｅ、前記人物照合部１ｆ、前記障害物照合部１ｇ、前記追跡対象現在位置認識部１ｈ、前記追跡対象移動方向推定部１ｊ、前記視野推定部１ｋ、前記障害物現在位置認識部１ｍ及び前記障害物移動方向推定部１ｎとから構成されている。

前記相対位置関係保存部５は、前記追跡対象追跡データベース３及び前記障害物追跡データベース４から、前記追跡対象人物１０並びに前記障害物１１ａ及び前記障害人物１１ｂの同時刻における情報を抽出して、前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの同時刻における相対位置関係を算出し、前記相対位置関係データベース６へとその結果を時系列で格納する相対位置関係算出部５ａから構成されている。
前記移動位置推定部８は、対象人物行動推定部８ａ、対象人物行動選択部８ｂ及び対象人物移動位置推定部８ｃとから構成されている。
前記対象人物行動推定部８ａは、前記相対位置関係データベース６に格納された前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの相対位置関係、特に相対距離情報を用いて、前記行動パターンデータベース７に格納された行動パターンを読み出し、前記追跡対象人物１０がとり得る行動パターンを抽出する。
前記対象人物行動選択部８ｂは、前記対象人物行動推定部８ａにより抽出された前記追跡対象人物１０がとり得る行動パターンと、前記相対位置関係データベース６に格納されたすべての相対位置関係データを用いて、前記追跡対象人物１０並びに前記障害物１１ａ及び前記障害人物１１ｂの移動方向、全体的な配置やその時系列の変化に基づく相互作用を考慮して最も妥当な行動パターンを選定する。
前記対象人物移動位置推定部８ｃは、前記対象人物行動選択部８ｂの選択した前記追跡対象人物１０の行動パターンと、前記追跡対象追跡データベース３から取得した前記追跡対象人物１０の現在位置、移動方向及び移動速度に関する情報とを基にして、次の時点の前記追跡対象人物１０の位置を推定するとともに、この推定された次の時点における前記追跡対象人物１０の位置を前記画像入力部１ｂに対して画像入力位置情報として指定する。

図９はこの実施の形態における処理の流れを示すアクティビティ図であり、画像情報を用いた人物追跡システムは、ここに示された動作を繰り返し実行する。
まず、監視員は前記追跡対象人物指定部１ａを用いて、前記入力画像全体９上でアクションＡ１において前記追跡対象人物１０の指定を行うとともに、アクションＡ２において前記追跡対象人物１０の位置の指定を行う。これらアクションＡ１及びアクションＡ２の後、アクションＡ３において、前記画像入力部１ｂはアクションＡ１及びアクションＡ２での指定を受けて指定された位置の画像情報を入力する。
次に、アクションＡ４において、前記画像切出部１ｃはアクションＡ３で前記画像入力部１ｂが入力した画像から特徴抽出対象とする前記入力画像全体９を切り出す。なお、ここで、後述するアクションＡ２１で既に前記追跡対象人物１０の移動位置が推定されている場合には、この推定移動位置周辺の画像が切り出される。
そして、アクションＡ５において、特徴抽出部１ｄがアクションＡ４で切り出された画像情報から前記特徴データベース２に格納された前記追跡対象人物１０に係る特徴データに相当する特徴を抽出した後、アクションＡ６において、前記照合部１ｅ内の人物照合部１ｆは前記特徴データベース２に格納された追跡対象人物情報について照合を行う。
続くアクションＡ７で、前記追跡対象現在位置認識部１ｈがアクションＡ６における前記追跡対象人物１０の照合結果と既に前記追跡対象追跡データベース３に格納されている時系列データとを用いて前記追跡対象人物１０の現在位置を認識した後、アクションＡ８において、前記追跡対象移動方向推定部１ｊは、アクションＡ７における認識結果と既に前記追跡対象追跡データベース３に格納されている時系列データとから前記追跡対象人物１０の移動方向を推定し、アクションＡ９において、前記追跡対象現在位置認識部１ｈ及び前記追跡対象移動方向推定部１ｊは、アクションＡ７及びアクションＡ８の結果を前記追跡対象追跡データベース３へと格納する。
アクションＡ９が完了すると、アクションＡ１０において、前記視野推定部１ｋにより前記追跡対象人物１０がアクションＡ８で推定された移動方向を向いていると仮定して前記追跡対象人物の視野１０ａが推定される。

アクションＡ３及びアクションＡ１０が完了すると、アクションＡ１１において、アクションＡ１０で推定された前記追跡対象人物の視野１０ａの範囲が前記画像切出部１ｃに設定され、前記画像切出部１ｃは、前記追跡対象人物の視野１０ａに該当する画像を切り出し、次のアクションＡ１２において、アクションＡ１１で切り出された画像情報から前記特徴データベース２に格納された前記障害物１１ａ及び前記障害人物１１ｂに係る特徴データに相当する特徴を抽出した後、アクションＡ１３において、前記照合部１ｅ内の障害物照合部１ｇは前記特徴データベース２に格納された障害物情報について照合を行う。
続くアクションＡ１４で、前記障害物現在位置認識部１ｍがアクションＡ１３における前記障害物１１ａ及び前記障害人物１１ｂの照合結果と既に前記追跡対象追跡データベース３に格納されている時系列データとを用いて前記障害物１１ａ及び前記障害人物１１ｂの現在位置を認識した後、アクションＡ１５において、前記障害物移動方向推定部１ｎは、アクションＡ１４における認識結果と既に前記追跡対象追跡データベース３に格納されている時系列データとから前記障害物１１ａ及び前記障害人物１１ｂの移動方向を推定し、アクションＡ１６において、前記障害物現在位置認識部１ｍ及び前記障害物移動方向推定部１ｎは、アクションＡ１４及びアクションＡ１５の結果を前記追跡対象追跡データベース３へと格納する。

アクションＡ９及びアクションＡ１６が完了すると、次のアクションＡ１７において、前記相対位置関係保存部５内の前記相対位置関係算出部５ａは、前記追跡対象追跡データベース３及び前記障害物追跡データベース４から、前記追跡対象人物１０並びに前記障害物１１ａ及び前記障害人物１１ｂの同時刻における情報を用いて、前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの同時刻における相対位置関係を算出し、続くアクションＡ１８において、アクションＡ１７での算出結果を前記相対位置関係データベース６へと格納する。

そして、アクションＡ１９において、前記対象人物行動推定部８ａは、前記相対位置関係データベース６に格納された前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの相対位置関係、特に相対距離情報を用いて、前記行動パターンデータベース７に格納された行動パターンを読み出し、前記追跡対象人物１０がとり得る行動パターンを抽出した後、アクションＡ２０において、前記対象人物行動選択部８ｂは、アクションＡ１９で抽出された前記追跡対象人物１０がとり得る行動パターンと、前記相対位置関係データベース６に格納されたすべての相対位置関係データを用いて、前記追跡対象人物１０並びに前記障害物１１ａ及び前記障害人物１１ｂの移動方向、時系列変化や全体的な配置に基づく相互作用を考慮して最も妥当な行動パターンを選定する。
続くアクションＡ２１では、前記対象人物移動位置推定部８ｃにより、前記対象人物行動選択部８ｂの選択した前記追跡対象人物１０の行動パターンと、前記追跡対象追跡データベース３から取得した前記追跡対象人物１０の現在位置、移動方向及び移動速度に関する情報とを基にして、次の時点の前記追跡対象人物１０の位置が推定され、この後のアクションＡ２において、前記対象人物移動位置推定部８ｃは、アクションＡ２１で推定された次の時点における前記追跡対象人物１０の位置を前記画像入力部１ｂに対して画像入力位置情報として指定する。

ここで、アクションＡ１からアクションＡ１６は、前記周辺環境認識部１の各部の動作を、アクションＡ１７及びアクションＡ１８は、前記相対位置関係保存部５の動作を、アクションＡ１９からアクションＡ２１は、前記移動位置推定部８の動作を、それぞれ示しており、前記追跡対象追跡データベース３、前記障害物追跡データベース４、前記相対位置関係保存部５及び前記相対位置関係データベース６並びにアクションＡ１７及びアクションＡ１８は、相対位置関係保存手段を示しており、前記追跡対象追跡データベース３、前記相対位置関係データベース６、前記行動パターンデータベース７及び前記移動位置推定部８並びにアクションＡ１９からアクションＡ２１は、移動位置推定手段を示している。

また、図１０はこの実施の形態における動作の概略を示す図で、図１０のＡは、前記追跡対象人物１０、前記追跡対象人物１０の移動方向及び移動速度並びに前記追跡対象人物の視野１０ａを表しており、図１０のＢからＦは、前記追跡対象人物１０と前記障害物１１ａ及び前記障害人物１１ｂとの相対位置関係によって前記追跡対象人物１０の移動方向及び移動速度が変化する様子を表している。

以上のように構成された画像情報を用いた人物追跡システムにおいては、周辺環境認識部で追跡対象人物の視野内の障害物を的確に把握し、相対位置関係保存部で追跡対象人物と障害物との時系列の相対位置関係を連続的に算出、保存し、移動位置推定部で追跡対象人物と障害物との時系列の相対位置関係と相互作用とを考慮しつつ、人の行動パターンに基づき追跡対象人物の移動先を的確に推定を行いながら人物追跡を実行することにより、追跡対象人物とその周辺環境との相互作用の結果引き起こされる追跡対象人物の不連続な行動に追従することが可能であり、効率よく的確に追跡対象人物を追跡することができる。

この発明の実施の形態１における画像情報を用いた人物追跡システムの全体構成の概略を示すブロック図である。 この発明の実施の形態１における入力画像の全体を示す概略図である。 この発明の実施の形態１における特徴データベースの構造を示す図である。 この発明の実施の形態１における図２の画像が入力された状態における追跡対象追跡データベースの構造を示す図である。 この発明の実施の形態１における図２の画像が入力された状態における障害物追跡データベースの構造を示す図である。 この発明の実施の形態１における図２の画像が入力された状態における相対位置関係データベースの構造を示す図である。 この発明の実施の形態１における行動パターンデータベースの構造を示す図である。 この発明の実施の形態１における画像情報を用いた人物追跡システムの全体構成の詳細を示すブロック図である。 この発明の実施の形態１における画像情報を用いた人物追跡システムの処理の流れを示すアクティビティ図である。 この発明の実施の形態１における画像情報を用いた人物追跡システムの動作の概略を示す図である。

符号の説明

１ 周辺環境認識部
１ａ 追跡対象人物指定部
１ｂ 画像入力部
１ｃ 画像切出部
１ｄ 特徴抽出部
１ｅ 照合部
１ｆ 人物照合部
１ｇ 障害物照合部
１ｈ 追跡対象現在位置認識部
１ｊ 追跡対象移動方向推定部
１ｋ 視野推定部
１ｍ 障害物現在位置認識部
１ｎ 障害物移動方向推定部
２ 特徴データベース
３ 追跡対象追跡データベース
４ 障害物追跡データベース
５ 相対位置関係保存部
５ａ 相対位置関係算出部
６ 相対位置関係データベース
７ 行動パターンデータベース
８ 移動位置推定部
８ａ 対象人物行動推定部
８ｂ 対象人物行動選択部
８ｃ 対象人物移動位置推定部
９ 入力画像全体
１０ 追跡対象人物
１０ａ 追跡対象人物の視野
１１ａ 障害物
１１ｂ 障害人物
１２ 移動方向及び移動速度

Claims (4)

1. 監視対象空間が撮影された画像情報を用いた人物追跡システムにおいて、
   追跡対象人物並びに前記追跡対象人物の視野内の障害物及び障害人物を認識する周辺環境認識部と、
   前記追跡対象人物と前記障害物及び前記障害人物との時系列の相対位置関係を連続的に算出、保存する相対位置関係保存部と、
   前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係から、前記追跡対象人物の移動位置を推定する移動位置推定部と、を備えたことを特徴とする画像情報を用いた人物追跡システム。
2. 前記周辺環境認識部は、
   予め前記追跡対象人物並びに前記障害物及び前記障害人物に係る特徴データが格納された特徴データベースの前記特徴データを用いて、前記画像情報内の前記追跡対象人物並びに前記障害物及び前記障害人物を照合する特徴照合手段と、
   前記追跡対象人物の現在位置を認識する追跡対象現在位置認識手段と、
   前記追跡対象人物の移動方向を推定する追跡対象移動方向推定手段と、
   前記追跡対象現在位置認識手段により認識された前記追跡対象人物の現在位置と前記追跡対象移動方向推定手段により推定された前記追跡対象人物の移動方向とから、前記追跡対象人物の視野を推定する視野推定手段と、
   前記視野推定手段により推定された前記追跡対象人物の視野内の前記障害物及び前記障害人物の現在位置を認識する障害物現在位置認識手段と、
   前記視野推定手段により推定された前記追跡対象人物の視野内の前記障害物及び前記障害人物の移動方向を推定する障害物移動方向推定手段と、を備えたことを特徴とする請求項１に記載の画像情報を用いた人物追跡システム。
3. 前記相対位置関係保存部は、前記追跡対象人物の現在位置及び移動方向と前記障害物及び前記障害人物の現在位置及び移動方向とから、前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係を算出する相対位置関係算出手段を備えたことを特徴とする請求項１又は請求項２のいずれかに記載の画像情報を用いた人物追跡システム。
4. 前記移動位置推定部は、
   予め障害物との相対位置関係に対応した人間の行動をパターン化した行動パターンデータが格納された行動パターンデータベースの前記行動パターンデータを読み出し、前記追跡対象人物がとり得る行動パターンを抽出する対象人物行動推定手段と、
   前記対象人物行動推定手段により抽出された前記追跡対象人物がとり得る行動パターンと、前記追跡対象人物と前記障害物及び前記障害人物との相対位置関係とから、最も妥当な行動パターンを選定する対象人物行動選択手段と、
   前記対象人物行動選択部の選択した前記追跡対象人物の行動パターンと、前記追跡対象人物の現在位置と移動方向と移動速度とから、前記追跡対象人物の移動位置を推定する対象人物移動位置推定手段と、を備えたことを特徴とする請求項１から請求項３のいずれかに記載の画像情報を用いた人物追跡システム。

Images