JP2009098774A

JP2009098774A - 人物追跡システム及び人物追跡方法及び人物追跡プログラム

Info

Publication number: JP2009098774A
Application number: JP2007267755A
Authority: JP
Inventors: Yoshiomi Yamashita; 善臣山下
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-10-15
Filing date: 2007-10-15
Publication date: 2009-05-07

Abstract

【課題】特定の人物の追跡中に、その人物を見失ったり、誤った人物を追跡したりする、という事態が起こったときに、当該事態に迅速に対処するための手段を提供することを目的とする。
【解決手段】特徴抽出部１０３は、追跡対象となる人物の特徴を示す第１の特徴データを特徴ＤＢ１０４に記録する。また、特徴抽出部１０３は、複数の監視カメラのいずれかで撮影された画像に写された少なくとも１人の人物の特徴を示す第２の特徴データを生成する。照合部１０５は、第２の特徴データを第１の特徴データと照合し、当該照合結果に基づいて上記少なくとも１人の人物が追跡対象の人物である確度を計算する。追跡処理部１０６は、上記少なくとも１人の人物に、確度が所定の数値範囲内となる人物が含まれる場合、画面上で当該人物を強調表示して当該人物が追跡対象の人物であるか否かをユーザに判断させる。
【選択図】図１

Description

本発明は、人物追跡システム及び人物追跡方法及び人物追跡プログラムに関するものである。本発明は、特に、画像情報を用いて人物を追跡するシステムに関するものである。

従来、複数のカメラで対象空間を監視するシステムにおいて、監視員が任意の映像ウィンドウ内の追跡対象をポインティングデバイスによって選択すると、メインウィンドウに移動経路を表示し、その経路上で追跡対象が通過したカメラを強調表示するものがあった（例えば、特許文献１参照）。
特開２００６−１４６３７８号公報（図１９）

従来のシステムにおいて人物を追跡する場合、的確に追跡対象の人物を追跡できる場合には、上記のように移動経路や通過カメラを表示することにより、監視員の負荷を下げることができる。しかしながら、現実には、追跡対象の人物の隠れや交差、向きや画面上の大きさの変化などが発生した場合には、追跡対象の人物を見失ったり、誤った人物を追跡したりする、という事態が起こりやすい。従来のシステムは、単に追跡対象の人物を指定することはできるが、追跡中に起こる上記のような事態に対処する手段を備えておらず、監視員が上記のような事態に迅速に対処できない、という課題があった。

本発明は、例えば、特定の人物の追跡中に、その人物を見失ったり、誤った人物を追跡したりする、という事態が起こったときに、当該事態に迅速に対処するための手段を提供することを目的とする。そして、そのような事態が起こったときの監視者の負荷を軽減することを目的とする。

本発明の一の態様に係る人物追跡システムは、
複数の監視カメラの各々で撮影された画像を解析して追跡対象の人物の位置を認識し、当該位置を時系列に示す追跡データを記憶装置に記録する人物追跡システムにおいて、
前記追跡対象となる人物を写した第１の画像を入力装置から入力する画像入力部と、
前記画像入力部が入力した第１の画像を処理装置により解析して前記追跡対象となる人物の特徴を抽出し、当該特徴を示す第１の特徴データを記憶装置に記録する特徴抽出部とを備え、
前記画像入力部は、前記複数の監視カメラのいずれかで撮影された画像であって少なくとも１人の人物を写した第２の画像を入力し、
前記特徴抽出部は、前記画像入力部が入力した第２の画像を処理装置により解析して前記少なくとも１人の人物の特徴を抽出し、当該特徴を示す第２の特徴データを生成し、
前記人物追跡システムは、さらに、
前記特徴抽出部が生成した第２の特徴データを前記特徴抽出部が記憶装置に記録した第１の特徴データと照合し、当該照合結果に基づいて前記少なくとも１人の人物が前記追跡対象の人物である確度を処理装置により計算する照合部と、
前記少なくとも１人の人物に、前記照合部が計算した確度が所定の数値範囲の上限値より高い人物が含まれる場合、当該人物が前記追跡対象の人物であると判断し、前記第２の画像が撮影された時点における当該人物の位置を示す位置データを前記追跡データの一部として記憶装置に記録する追跡処理部であって、前記少なくとも１人の人物に、前記照合部が計算した確度が前記所定の数値範囲内となる人物が含まれる場合、前記第２の画像を表示した画面上で当該人物を強調表示して当該人物が前記追跡対象の人物であるか否かをユーザに判断させ、当該人物が前記追跡対象の人物であるとユーザが判断した場合には、前記位置データを前記追跡データの一部として記憶装置に記録する追跡処理部とを備えることを特徴とする。

本発明の一の態様によれば、人物追跡システムにおいて、特徴抽出部が、追跡対象となる人物の特徴を示す第１の特徴データを記録するとともに、複数の監視カメラのいずれかで撮影された画像に写された少なくとも１人の人物の特徴を示す第２の特徴データを生成し、照合部が、第２の特徴データを第１の特徴データと照合し、当該照合結果に基づいて前記少なくとも１人の人物が前記追跡対象の人物である確度を計算し、追跡処理部が、前記少なくとも１人の人物に、確度が所定の数値範囲内となる人物が含まれる場合、画面上で当該人物を強調表示して当該人物が前記追跡対象の人物であるか否かをユーザに判断させることにより、前記追跡対象の人物の追跡中に、その人物を見失ったり、誤った人物を追跡したりする、という事態が起こったときの監視者（ユーザ）の負荷を軽減することが可能となる。

以下、本発明の実施の形態について、図を用いて説明する。

実施の形態１．
図１は、本実施の形態に係る人物追跡システム１００の構成を示すブロック図である。

図１において、人物追跡システム１００は、画像入力部１０１、画像切出部１０２、特徴抽出部１０３、特徴ＤＢ１０４（特徴データベース）、照合部１０５、追跡処理部１０６、追跡対象人物指定ＭＭＩＦ部１１２（追跡対象人物指定マンマシンインタフェース部）、追跡対象人物指定部１１３を備える。追跡処理部１０６は、追跡ＤＢ１０７（追跡データベース）、追跡記録ＭＭＩＦ部１０８（追跡記録マンマシンインタフェース部）、追跡続行指示ＭＭＩＦ部１０９（追跡続行指示マンマシンインタフェース部）、追跡記録部１１０、追跡続行指示部１１１を有する。

また、人物追跡システム１００は、記憶装置１５１、処理装置１５２、入力装置１５３、出力装置１５４などのハードウェア装置を備える（又はこれらのハードウェア装置が人物追跡システム１００に接続される）。ハードウェア装置は人物追跡システム１００の各部によって利用される。例えば、処理装置１５２は、人物追跡システム１００の各部でデータや情報の演算、加工、読み取り、書き込みなどを行うために利用される。記憶装置１５１は、そのデータや情報を記憶するために利用される。また、入力装置１５３は、そのデータや情報を入力するために、出力装置１５４は、そのデータや情報を出力するために利用される。

人物追跡システム１００は、例えば、ある施設内の監視を行うため、その施設内に設置された複数の監視カメラの各々で撮影された画像を処理装置１５２により解析する。そして、当該解析結果に基づき、追跡対象の人物Ｐ１の位置を認識し、当該位置を時系列に示す追跡データを記憶装置１５１に実装される追跡ＤＢ１０７に記録する。

まず、追跡対象となる人物Ｐ１の追跡が始まる前の各部の動作について説明する。

画像入力部１０１は、追跡対象となる人物Ｐ１を写した画像Ｍ１（第１の画像）を入力装置１５３から入力する。つまり、画像入力部１０１は、追跡対象人物Ｐ１を含む画像Ｍ１を入力する。この画像Ｍ１は、上記複数の監視カメラのいずれかで撮影された画像であってもよいし、追跡対象となる人物Ｐ１を人物追跡システム１００に認識させるために予め作成されたものであってもよい。

追跡対象人物指定ＭＭＩＦ部１１２は、画像入力部１０１が入力した画像Ｍ１を示し、追跡対象となる人物Ｐ１の指定の入力をユーザから受け付けるための画面を出力装置１５４により表示する。

追跡対象人物指定部１１３は、追跡対象人物指定ＭＭＩＦ部１１２が表示した画面を介して、追跡対象となる人物Ｐ１の指定の入力をユーザから入力装置１５３により受け付ける。つまり、追跡対象人物指定部１１３は、追跡対象人物指定ＭＭＩＦ部１１２が表示した画像Ｍ１に写っている人物のうち、追跡対象となる人物Ｐ１をユーザに指定させる。

画像切出部１０２は、画像入力部１０１が入力した画像Ｍ１のうち、追跡対象人物指定部１１３がユーザに指定させた追跡対象となる人物Ｐ１を写した部分画像Ｍ１´を処理装置１５２により切出す。つまり、画像切出部１０２は、画像入力部１０１からの入力画像Ｍ１から追跡に必要な部分画像Ｍ１´を切出す。

特徴抽出部１０３は、画像切出部１０２が切出した部分画像Ｍ１´を処理装置１５２により解析して追跡対象となる人物Ｐ１の特徴を抽出する。そして、当該特徴を示す特徴データＣ１（第１の特徴データ）を記憶装置１５１に実装される特徴ＤＢ１０４に記録する。つまり、特徴抽出部１０３は、画像切出部１０２で切出された部分画像Ｍ１´から追跡対象人物Ｐ１の特徴を抽出し、特徴ＤＢ１０４は、この追跡対象人物Ｐ１の特徴を保存する。ここで、特徴抽出部１０３は、画像入力部１０１が入力した画像Ｍ１をそのまま解析して追跡対象となる人物Ｐ１の特徴を抽出してもよい。

次に、追跡対象の人物Ｐ１の追跡が始まった後の各部の動作について説明する。

画像入力部１０１は、複数の監視カメラのいずれかで撮影された画像Ｍ２（第２の画像）を入力装置１５３から入力する。この画像Ｍ２は、少なくとも１人の人物を写したものであればよいが、説明の便宜上、ここでは２人の人物を写したものであるとする。そして、そのうちの１人は追跡対象の人物Ｐ１、もう１人は別の人物Ｐ２であるとする。

画像切出部１０２は、画像入力部１０１が入力した画像Ｍ２のうち、人物を写した部分画像Ｍ２´を処理装置１５２により切出す。画像Ｍ２が２人以上の人物を写したものであれば、画像切出部１０２は、各人物について部分画像Ｍ２´を切出す。よって、画像切出部１０２は、ここでは追跡対象の人物Ｐ１、別の人物Ｐ２のそれぞれについて部分画像Ｍ２´を切出す。

特徴抽出部１０３は、画像切出部１０２が切出した部分画像Ｍ２´を処理装置１５２により解析して追跡対象となる人物Ｐ１及び別の人物Ｐ２の特徴を抽出する。そして、当該特徴を示す特徴データＣ２（第２の特徴データ）を、人物ごとに処理装置１５２により生成する。ここで、特徴抽出部１０３は、画像入力部１０１が入力した画像Ｍ２をそのまま解析して追跡対象となる人物Ｐ１及び別の人物Ｐ２の特徴を抽出してもよい。

照合部１０５は、特徴抽出部１０３が生成した特徴データＣ２の各々を特徴抽出部１０３が特徴ＤＢ１０４に記録した特徴データＣ１と照合する。そして、当該照合結果に基づいて、画像Ｍ２に写された２人の人物の各々が追跡対象の人物Ｐ１である確度（確信度）を処理装置１５２により計算する。照合部１０５は、この確度として、例えば部分画像Ｍ１´と部分画像Ｍ２´との特徴量の近似度を求める。通常、照合部１０５が追跡対象の人物Ｐ１についての特徴データＣ２を特徴データＣ１と照合した場合に計算される確度は高くなり、照合部１０５が別の人物Ｐ２についての特徴データＣ２を特徴データＣ１と照合した場合に計算される確度は低くなる。ここでは、例えば前者の確度Ｓ１を０．８、後者の確度Ｓ２を０．５とする。

追跡記録部１１０は、画像Ｍ２に写された２人の人物の中に、照合部１０５が計算した確度が所定の数値範囲の上限値より高い人物が含まれる場合、当該人物が追跡対象の人物Ｐ１であると判断する。そして、画像Ｍ２が撮影された時点における当該人物の位置を示す位置データを上記追跡データの一部として追跡ＤＢ１０７に記録する。つまり、追跡記録部１１０は、照合部１０５の結果を基に追跡状況を追跡ＤＢ１０７に時系列に記録する。例えば上記所定の数値範囲が０．５〜０．７に設定されていれば、確度Ｓ１は０．８であるから、上限値０．７より高い。よって、追跡記録部１１０は、画像Ｍ２に写された追跡対象の人物Ｐ１が追跡対象の人物Ｐ１であると正常に判断する。そして、画像Ｍ２が撮影された時点における当該人物Ｐ１の位置を示す位置データを追跡ＤＢ１０７に記録する。

追跡記録ＭＭＩＦ部１０８は、追跡中の状況を示す画面を出力装置１５４により表示する。例えば、追跡記録ＭＭＩＦ部１０８は、画像入力部１０１が入力した画像Ｍ２、追跡記録部１１０が追跡ＤＢ１０７に記録した追跡データから割り出される追跡対象の人物Ｐ１の移動経路などを表示する。

追跡続行指示ＭＭＩＦ部１０９は、画像Ｍ２に写された２人の人物の中に、照合部１０５が計算した確度が上記所定の数値範囲の上限値より高い人物が含まれない場合、画像Ｍ２を表示した画面上及び／又はスピーカでユーザに対するアラームを通知する。

追跡続行指示ＭＭＩＦ部１０９は、画像Ｍ２に写された２人の人物の中に、照合部１０５が計算した確度が上記所定の数値範囲内となる人物が含まれる場合、画像Ｍ２を表示した画面上で当該人物を出力装置１５４により強調表示して、当該人物が追跡対象の人物Ｐ１であるか否かの判断をユーザに促す。例えば上記所定の数値範囲が０．６〜０．８に設定されていれば、確度Ｓ１は０．８であるから、上記所定の数値範囲内である。よって、追跡続行指示ＭＭＩＦ部１０９は、追跡記録部１１０の代わりにユーザに対し、画像Ｍ２に写された追跡対象の人物Ｐ１が本当に追跡対象の人物Ｐ１であるか否かの判断を画面上で促す。また、例えば上記所定の数値範囲が０．５〜０．７に設定されていれば、確度Ｓ２は０．５であるから、上記所定の数値範囲内である。よって、追跡続行指示ＭＭＩＦ部１０９は、追跡記録部１１０の代わりにユーザに対し、画像Ｍ２に写された別の人物Ｐ２が追跡対象の人物Ｐ１であるか否かの判断を画面上で促す。

追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９が表示した画面を介して、ユーザの判断結果の入力をユーザから入力装置１５３により受け付ける。そして、当該判断結果において、画面上で強調表示された人物が追跡対象の人物Ｐ１であるとユーザが判断している場合には、各部に対し、当該人物を追跡するための処理を続行させる。

追跡記録部１１０は、追跡続行指示部１１１が入力を受け付けたユーザの判断結果において、画面上で強調表示された人物が追跡対象の人物Ｐ１であるとユーザが判断している場合には、画像Ｍ２が撮影された時点における当該人物の位置を示す位置データを上記追跡データの一部として追跡ＤＢ１０７に記録する。

図２は、人物追跡システム１００のハードウェア資源の一例を示す図である。

図２において、人物追跡システム１００は、ＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）やＬＣＤ（液晶ディスプレイ）の表示画面を有する表示装置９０１、キーボード９０２（Ｋ／Ｂ）、マウス９０３（ポインティングデバイス）、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、ＣＤＤ９０５（Ｃｏｍｐａｃｔ・Ｄｉｓｃ・Ｄｒｉｖｅ）、プリンタ装置９０６、スピーカ９０７などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。人物追跡システム１００は、コンピュータ及び周辺機器などの組み合わせで構成されており、ＬＡＮ（ローカルエリアネットワーク）などのネットワークに接続されている。

人物追跡システム１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）（「演算装置」、「マイクロプロセッサ」、「マイクロコンピュータ」、「プロセッサ」ともいう）を備えている。ＣＰＵ９１１は、処理装置１５２の一例である。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）、ＲＡＭ９１４（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５、プリンタ装置９０６、スピーカ９０７、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカードリーダライタなどの記憶媒体が用いられてもよい。

ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置１５１の一例である。通信ボード９１５、表示装置９０１（タッチパネルの場合）、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５などは、入力装置１５３の一例である。また、通信ボード９１５、表示装置９０１、プリンタ装置９０６、スピーカ９０７などは、出力装置１５４の一例である。

通信ボード９１５は、ＬＡＮなどに接続されている。通信ボード９１５は、ＬＡＮに限らず、インターネット、あるいは、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ・Ｐｒｏｔｏｃｏｌ・Ｖｉｒｔｕａｌ・Ｐｒｉｖａｔｅ・Ｎｅｔｗｏｒｋ）、広域ＬＡＮ、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ・Ｔｒａｎｓｆｅｒ・Ｍｏｄｅ）ネットワークなどのＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。

磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。プログラム群９２３には、本実施の形態の説明において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。また、ファイル群９２４には、本実施の形態の説明において、「〜データ」、「〜情報」、「〜ＩＤ（識別子）」、「〜フラグ」、「〜結果」として説明するデータや情報や信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」や「〜テーブル」の各項目として記憶されている。「〜ファイル」や「〜データベース」や「〜テーブル」は、ディスクやメモリなどの記憶媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶されたデータや情報や信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・制御・出力・印刷・表示などのＣＰＵ９１１の処理（動作）に用いられる。抽出・検索・参照・比較・演算・計算・制御・出力・印刷・表示などのＣＰＵ９１１の処理中、データや情報や信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。

また、本実施の形態の説明において用いるブロック図やフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号は、ＲＡＭ９１４などのメモリ、ＦＤＤ９０４のフレキシブルディスク（ＦＤ）、ＣＤＤ９０５のコンパクトディスク（ＣＤ）、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク（ＭＤ）、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｃ）などの記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体により伝送される。

また、本実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜工程」、「〜手順」、「〜処理」であってもよい。即ち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。あるいは、ソフトウェアのみ、あるいは、素子・デバイス・基板・配線などのハードウェアのみ、あるいは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実現されていても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどの記録媒体に記憶される。このプログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。即ち、プログラムは、本実施の形態の説明で述べる「〜部」としてコンピュータを機能させるものである。あるいは、本実施の形態の説明で述べる「〜部」の手順や方法をコンピュータに実行させるものである。

以下では、説明をより具体的にするため、人物追跡システム１００が図２に例示したコンピュータとハードウェア資源により実現されているものとする。

以下、本実施の形態に係る人物追跡システム１００の動作（人物追跡方法）について、図３のフローチャートを用いて説明する。

図３のフローチャートに示したフローは、人物追跡システム１００を実現するコンピュータ上で実行されるプログラム（人物追跡プログラム）の処理手順に相当する。この処理手順において、人物追跡プログラムは、例えば、以下に示す各処理をコンピュータに実行させる。

人物追跡を開始する前に、追跡対象人物指定部１１３は、追跡対象となる人物Ｐ１をユーザに決定させる。

追跡対象人物指定部１１３は、画像入力部１０１をＣＰＵ９１１により制御して画像Ｍ１を入力し、追跡対象人物指定ＭＭＩＦ部１１２により表示装置９０１の画面に表示する（ステップＳ１０１：画像入力処理）。そして、追跡対象人物指定部１１３は、画面に表示された画像Ｍ１を見たユーザに対象人物Ｐ１をキーボード９０２やマウス９０３で指定させる（ステップＳ１０２：追跡対象人物指定処理）。この指定操作を受けて追跡対象人物指定部１１３は画像切出部１０２をＣＰＵ９１１により制御して追跡対象人物Ｐ１の部分画像Ｍ１´を画像Ｍ１から切出し、追跡対象人物指定ＭＭＩＦ部１１２により表示装置９０１の画面に表示する（ステップＳ１０３：画像切出処理）。同時に、追跡対象人物指定部１１３は特徴抽出部１０３をＣＰＵ９１１により制御して追跡対象人物Ｐ１の特徴情報Ｃ１を抽出し、追跡対象人物指定ＭＭＩＦ部１１２により表示装置９０１の画面に表示する（ステップＳ１０４：特徴抽出処理）。追跡対象人物指定部１１３は、追跡対象人物指定ＭＭＩＦ部１１２により表示された情報をユーザに確認させ、対象人物Ｐ１が正しくシステム（追跡対象人物指定部１１３）に認識されていれば人物指定を確認したことをキーボード９０２やマウス９０３で入力させる。さらに、追跡対象人物指定部１１３は、追跡対象人物指定ＭＭＩＦ部１１２により表示された特徴情報Ｃ１から重視すべき特徴をユーザに選択させ、キーボード９０２やマウス９０３で入力させる。この後、追跡対象人物指定部１１３は、ユーザに追跡開始指示をキーボード９０２やマウス９０３で入力させる。この入力操作を受けて、追跡対象人物指定部１１３は画像入力部１０１、画像切出部１０２、特徴抽出部１０３に決定した追跡対象人物Ｐ１の情報を設定し、人物追跡処理をＣＰＵ９１１により起動する。特徴抽出部１０３は、さらに特徴ＤＢ１０４に追跡対象人物Ｐ１の特徴情報（特徴データ）Ｃ１を記録する。

人物追跡処理が起動されると、画像入力部１０１は画像Ｍ２を入力し（ステップＳ１０５：画像入力処理）、画像切出部１０２は入力画像Ｍ２から追跡対象人物Ｐ１を含む部分画像Ｍ２´を切出す（ステップＳ１０６：画像切出処理）。そして、特徴抽出部１０３は特徴情報Ｃ２を抽出し（ステップＳ１０７：特徴抽出処理）、照合部１０５は特徴抽出部１０３からの特徴情報（特徴データ）Ｃ２と特徴ＤＢ１０４内の特徴情報Ｃ１とを照合し、追跡対象人物Ｐ１の位置と照合の確度Ｓ１とをＣＰＵ９１１により計算する（ステップＳ１０８：照合処理）。

照合部１０５が計算した確度Ｓ１が規定のレベル（このレベルは、運用前に予め決定しておく）より高い場合には、追跡記録部１１０は、移動速度、移動方向などの情報をＣＰＵ９１１により算出した後、これらの情報と照合部１０５が計算した追跡対象人物Ｐ１の位置や確度Ｓ１をまとめて時系列デ一タ（追跡データ）として追跡ＤＢ１０７に記録する（ステップＳ１０９：追跡記録処理）。同時に、追跡記録部１１０は、時系列デ一タを基に、追跡状況を追跡記録ＭＭＩＦ部１０８により表示装置９０１の画面に表示する。追跡続行指示部１１１は、追跡ＤＢ１０７内の時系列データを基に、次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報（追跡を続行することを示すメッセージなど）を表示装置９０１の画面に表示する。

照合部１０５が計算した確度Ｓ１が規定のレベルより低い場合には（著しく低い場合には処理を停止してもよい）、追跡続行指示部１１１は、現在の追跡状況を追跡続行指示ＭＭＩＦ部１０９により表示装置９０１の画面に表示し、アラームを同じ画面上及び／又はスピーカ９０７で出力してユーザの注意を喚起した後、ユーザの判断を待つために停止する。そして、追跡続行指示部１１１は、ユーザに現在の追跡状況を確認させ、追跡対象人物Ｐ１が正しく認識されているかどうか判断させる。追跡続行指示部１１１は、ユーザに追跡対象人物Ｐ１が正しく認識されているかどうかの判断結果として、追跡続行の指示をキーボード９０２やマウス９０３で入力させる。追跡対象人物Ｐ１が正しく認識されているとユーザが判断し、追跡続行の指示の入力があった場合、この入力操作を受けて、追跡記録部１１０は、移動速度、移動方向などの情報をＣＰＵ９１１により算出した後、これらの情報と照合部１０５が計算した追跡対象人物Ｐ１の位置や確度Ｓ１をまとめて時系列デ一タとして追跡ＤＢ１０７に記録する（ステップＳ１０９：追跡記録処理）。追跡続行指示部１１１は、追跡ＤＢ１０７内の時系列データを基に、次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報を表示装置９０１の画面に表示する。

人物追跡システム１００は、上記ステップＳ１０５〜Ｓ１１０の動作を繰り返し実行する。

上記ステップＳ１０９では、照合部１０５が計算した確度Ｓ１が規定のレベルより高い場合、あるいは、ユーザによる追跡続行の指示の入力があった場合のみ、追跡記録部１１０が時系列デ一タを追跡ＤＢ１０７に記録するが、追跡記録部１１０が常に時系列デ一タを追跡ＤＢ１０７に記録するようにしてもよい。以下、本実施の形態の変形例について説明する。

上記ステップＳ１０８の後、追跡記録部１１０は、移動速度、移動方向などの情報をＣＰＵ９１１により算出し、これらの情報と照合部１０５が計算した追跡対象人物Ｐ１の位置や確度Ｓ１をまとめて時系列デ一タとして追跡ＤＢ１０７に記録する（ステップＳ１０９：追跡記録処理）。同時に、追跡記録部１１０は、時系列デ一タを基に、追跡状況を追跡記録ＭＭＩＦ部１０８により表示装置９０１の画面に表示する。

追跡ＤＢ１０７内の時系列データの確度Ｓ１が規定のレベルより高い場合には、追跡続行指示部１１１は、追跡ＤＢ１０７内の時系列データを基に、次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報を表示装置９０１の画面に表示する。

追跡ＤＢ１０７内の時系列データの確度Ｓ１が規定のレベルより低い場合には、追跡続行指示部１１１は、追跡ＤＢ１０７内の時系列データを基に、次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき仮の部分画像領域を指示して切出処理を仮に実行させた後、現在の追跡状況とともに仮の画像切出し結果を追跡続行指示ＭＭＩＦ部１０９により表示装置９０１の画面に表示し、アラームを同じ画面上及び／又はスピーカ９０７で出力してユーザの注意を喚起した後、ユーザの判断を待つために停止する。そして、追跡続行指示部１１１は、ユーザに現在の追跡状況を確認させ、追跡対象人物Ｐ１が正しく認識されているかどうか判断させる。追跡続行指示部１１１は、ユーザに追跡対象人物Ｐ１が正しく認識されているかどうかの判断結果として、追跡続行の指示をキーボード９０２やマウス９０３で入力させる。追跡対象人物Ｐ１が正しく認識されているとユーザが判断し、追跡続行の指示の入力があった場合、この入力操作を受けて、追跡続行指示部１１１は、追跡ＤＢ１０７内の時系列データを基に、次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報を表示装置９０１の画面に表示する。

このように、本実施の形態では、追跡対象人物の照合結果に応じて、人の判断を加えながら人物追跡を実行する。この結果、人物追跡システムにおける誤認識の発生を的確に検出し、人物追跡への影響を未然に防ぎ、効率よくより正確な人物追跡を可能とし、人の負荷の低減を可能にすることができる。

実施の形態２．
本実施の形態について、主に実施の形態１との差異を説明する。

本実施の形態に係る人物追跡システム１００の構成は、実施の形態１で図１に示したものと同様である。

図４、図５は、本実施の形態に係る人物追跡システム１００の追跡対象人物指定ＭＭＩＦ部１１２が表示する画面の一例を示す図である。

図４において、追跡対象人物指定ＭＭＩＦ部１１２が表示する追跡対象人物選択パネル２０１は、追跡対象の人物Ｐ１、別の人物Ｐ２、Ｐ３を写した画像Ｍ１を示している。また、追跡対象人物選択パネル２０１は、ユーザが追跡対象人物Ｐ１を選択するためのマウス９０３のポインタ２０２、ユーザが追跡対象人物Ｐ１を決定したことを追跡対象人物指定部１１３に通知するための人物指定確定ボタン２０３を示している。追跡対象人物選択パネル２０１は、画像Ｍ１の代わりに、部分画像Ｍ１´を示していてもよい。

図５において、追跡対象人物指定ＭＭＩＦ部１１２が表示する追跡対象人物確認パネル３０１は、追跡対象の人物Ｐ１、別の人物Ｐ２、Ｐ３を写した画像Ｍ１を示している。また、追跡対象人物確認パネル３０１は、選択されている人物を明示するための追跡対象人物切出枠３０２、特徴抽出部１０３が抽出した当該人物の特徴情報Ｃ１、ユーザが重視する特徴を選択するためのマウス９０３のポインタ３０３、ユーザが追跡対象人物Ｐ１を確認したことを追跡対象人物指定部１１３に通知するための人物指定確認ボタン３０４、追跡対象人物Ｐ１の特に重視すべき特徴を決定したことを追跡対象人物指定部１１３に通知するための特徴指定確認ボタン３０５、追跡開始を追跡対象人物指定部１１３に通知するための追跡開始ボタン３０６を示している。

以下、本実施の形態に係る人物追跡システム１００の動作（人物追跡方法）について、実施の形態１と同様に、図３のフローチャートを用いて説明する。

追跡対象人物指定部１１３は、画像入力部１０１をＣＰＵ９１１により制御して画像Ｍ１を入力し、追跡対象人物指定ＭＭＩＦ部１１２により表示装置９０１の追跡対象人物選択パネル２０ｌに表示する（ステップＳ１０１：画像入力処理）。そして、追跡対象人物指定部１１３は、追跡対象人物選択パネル２０ｌに表示された画像Ｍ１に写された人物Ｐ１、Ｐ２、Ｐ３の中から、追跡対象となる人物Ｐ１を、ユーザにマウス９０３のポインタ２０２で指定させ、人物指定確定ボタン２０３をクリックさせる（ステップＳ１０２：追跡対象人物指定処理）。この操作を受けて、追跡対象人物指定部１１３は、画像切出部１０２をＣＰＵ９１１により制御して追跡対象人物Ｐ１の部分画像Ｍ１´を画像Ｍ１から切出し、追跡対象人物Ｐ１のの部分画像Ｍ１´を追跡対象人物切出枠３０２で囲った状態で画像Ｍ１を、追跡対象人物指定ＭＭＩＦ部１１２により表示装置９０１の追跡対象人物確認パネル３０１に表示する。同時に、追跡対象人物指定部１１３は特徴抽出部１０３をＣＰＵ９１１により制御して追跡対象人物Ｐ１の特徴情報Ｃ１を抽出し、追跡対象人物指定ＭＭＩＦ部１１２により表示装置９０１の画面に表示する（ステップＳ１０４：特徴抽出処理）。追跡対象人物指定部１１３は、追跡対象人物確認パネル３０１に表示された情報をユーザに確認させ、対象人物Ｐ１が正しくシステム（追跡対象人物指定部１１３）に認識されていれば人物指定確認ボタン３０４をマウス９０３でクリックさせる。追跡対象人物指定部１１３は、さらに、追跡対象人物確認パネル３０１に表示された特徴情報Ｃ１から重視すべき特徴をユーザにマウス９０３のポインタ３０３で選択させ、特徴指定確認ボタン３０５をクリックさせる。この後、追跡対象人物指定部１１３は、ユーザに追跡開始ボタン３０６をクリックさせる。この操作を受けて、追跡対象人物指定部１１３は画像入力部１０１、画像切出部１０２、特徴抽出部１０３に決定した追跡対象人物Ｐ１の情報を設定し、人物追跡処理をＣＰＵ９１１により起動する。特徴抽出部１０３は、さらに特徴ＤＢ１０４に追跡対象人物Ｐ１の特徴情報Ｃ１を記録する。

このように、本実施の形態では、マウスなどを使って追跡対象人物の設定を容易にすることができる。

実施の形態３．
本実施の形態について、主に実施の形態１との差異を説明する。

本実施の形態では、照合部１０５は、追跡記録部１１０が追跡ＤＢ１０７に記録した追跡データであって第１の時点における追跡対象の人物Ｐ１の位置を示す位置データを含む追跡データを処理装置１５２により分析して、第１の時点から一定時間経過した第２の時点における追跡対象の人物Ｐ１の位置を予測する。そして、照合部１０５は、当該予測結果と、特徴抽出部１０３が生成した特徴データＣ２の各々を特徴抽出部１０３が特徴ＤＢ１０４に記録した特徴データＣ１と照合した結果とに基づいて、画像Ｍ２に写された人物が追跡対象の人物Ｐ１である確度を処理装置１５２により計算する。

照合部１０５は、上記予測結果に基づいて、上記複数の監視カメラの中から第２の時点における追跡対象の人物Ｐ１の位置を撮影可能な監視カメラを選択し、画像入力部１０１に通知してもよい。この場合、画像入力部１０１は、照合部１０５が選択した監視カメラで第２の時点に撮影された画像Ｍ２を入力する。

図６は、本実施の形態に係る人物追跡システム１００の追跡記録ＭＭＩＦ部１０８が表示する画面の一例を示す図である。

図６において、追跡記録ＭＭＩＦ部１０８が表示する追跡状況表示パネル４０１は、追跡対象の人物Ｐ１を写した画像Ｍ２を示している。また、追跡状況表示パネル４０１は、追跡記録部１１０が追跡ＤＢ１０７に最後に追跡データを記録した（正確には、画像Ｍ２が撮影された）時刻ｔ_ｎ（第１の時点）より一定時間前の時刻ｔ_ｎ−１から、時刻ｔ_ｎへの追跡対象人物Ｐ１の移動を示すベクトル４０２、時刻ｔ_ｎから、時刻ｔ_ｎより一定時間後の時刻ｔ_ｎ＋１（第２の時点）への追跡対象人物Ｐ１の移動を予測したベクトル４０３を示している。また、追跡状況表示パネル４０１は、選択されている人物を明示するための追跡対象人物切出枠４０４を示している。

図７は、追跡ＤＢ１０７に記録される人物追跡の状況を示す時系列情報（追跡データ）の一例を示す図である。

図７において、追跡データは、「ＩＤ」、「場所」、「移動方向」、「移動速度」、「確度」、「時刻」の項目からなる。「ＩＤ」は、それぞれの追跡データを一意に識別する識別子である。「場所」は、当該追跡データが対象とする人物が画像Ｍ２のどこに位置するかを示す情報である。「移動方向」、「移動速度」は、当該追跡データが対象とする人物の移動方向、移動速度を示す情報である。「確度」は、当該追跡データが対象とする人物が追跡対象の人物Ｐ１である確度を示す情報である。「時刻」は、当該追跡データが記録された（正確には、画像Ｍ２が撮影された）時刻を示す情報である。

ステップＳ１０４の後、人物追跡処理が起動されると、画像入力部１０１は時刻ｔ_ｎに撮影された画像Ｍ２を入力し（ステップＳ１０５：画像入力処理）、画像切出部１０２は入力画像Ｍ２から追跡対象人物Ｐ１を含む部分画像Ｍ２´を切出す（ステップＳ１０６：画像切出処理）。そして、特徴抽出部１０３は特徴情報Ｃ２を抽出し（ステップＳ１０７：特徴抽出処理）、照合部１０５は特徴抽出部１０３からの特徴情報Ｃ２と特徴ＤＢ１０４内の特徴情報Ｃ１とを照合し、追跡対象人物Ｐ１の位置と照合の確度Ｓ１とをＣＰＵ９１１により計算する（ステップＳ１０８：照合処理）。

追跡記録部１１０は、移動速度、移動方向などの情報をＣＰＵ９１１により算出した後、これらの情報と照合部１０５が計算した追跡対象人物Ｐ１の位置や確度Ｓ１をまとめて時刻ｔ_ｎにおける追跡デ一タとして追跡ＤＢ１０７に記録する（ステップＳ１０９：追跡記録処理）。同時に、追跡記録部１１０は、追跡デ一タを基に、追跡状況を追跡記録ＭＭＩＦ部１０８により表示装置９０１の追跡状況表示パネル４０１に表示する。

再度ステップＳ１０４の後、人物追跡処理が起動されると、画像入力部１０１は時刻ｔ_ｎ＋１に撮影された画像Ｍ２を入力し（ステップＳ１０５：画像入力処理）、画像切出部１０２は入力画像Ｍ２から追跡対象人物Ｐ１を含む部分画像Ｍ２´を切出す（ステップＳ１０６：画像切出処理）。そして、特徴抽出部１０３は特徴情報Ｃ２を抽出し（ステップＳ１０７：特徴抽出処理）、照合部１０５は特徴抽出部１０３からの特徴情報Ｃ２と特徴ＤＢ１０４内の特徴情報Ｃ１とを照合し、追跡対象人物Ｐ１の位置と照合の確度Ｓ１とをＣＰＵ９１１により計算する（ステップＳ１０８：照合処理）。また、照合部１０５は、追跡記録部１１０が追跡ＤＢ１０７に記録した時刻ｔ_ｎにおける追跡データをＣＰＵ９１１により分析して、時刻ｔ_ｎ＋１における追跡対象の人物Ｐ１の位置を予測する。そして、照合部１０５は、当該予測結果と実際の追跡対象人物Ｐ１の位置とを比較して、照合の確度Ｓ１をＣＰＵ９１１により計算する。照合部１０５は、例えば、予測結果と実際の追跡対象人物Ｐ１の位置との距離を、照合の確度Ｓ１に対する重み付け係数として利用することができる。この場合、予測結果と実際の追跡対象人物Ｐ１の位置とが離れるほど、照合の確度Ｓ１が低下することになる。

このように、本実施の形態では、追跡対象人物の移動経路を同一画面上で移動方向・移動速度と同時に確認でき、追跡対象人物の動向を的確に把握することができる。また、照合の確度として、より適切な値を求めることができる。

実施の形態４．
本実施の形態について、主に実施の形態１との差異を説明する。

以下、追跡対象の人物Ｐ１の追跡が始まった後の各部の動作について説明する。

画像入力部１０１は、複数の監視カメラのいずれかで撮影された画像Ｍ２を入力装置１５３から入力する。この画像Ｍ２は、２人以上の人物を写したものであればよいが、説明の便宜上、ここでは３人の人物を写したものであるとする。そして、そのうちの１人は追跡対象の人物Ｐ１、後の２人は別の人物Ｐ２、Ｐ３であるとする。

画像切出部１０２、特徴抽出部１０３、照合部１０５、追跡記録ＭＭＩＦ部１０８、追跡続行指示ＭＭＩＦ部１０９、追跡記録部１１０の動作は、実施の形態１と同様である。

追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９が表示した画面を介して、ユーザの判断結果の入力をユーザから入力装置１５３により受け付ける。そして、当該判断結果において、画面上で強調表示された人物が追跡対象の人物Ｐ１でないとユーザが判断している場合には、追跡対象人物指定部１１３に対し、正しい追跡対象の人物Ｐ１を指定させる。追跡対象人物指定部１１３は、画像Ｍ２に写された３人の人物の中に追跡対象の人物Ｐ１が含まれる場合には、画面上で追跡対象の人物Ｐ１をユーザに指定させる。

追跡記録部１１０は、追跡対象人物指定部１１３がユーザに指定させた追跡対象の人物Ｐ１の画像Ｍ２が撮影された時点における位置を示す位置データを上記追跡データの一部として追跡ＤＢ１０７に記録する。

図８、図９は、本実施の形態に係る人物追跡システム１００の追跡続行指示ＭＭＩＦ部１０９が表示する画面の一例を示す図である。

図８において、追跡続行指示ＭＭＩＦ部１０９が表示する追跡続行指示パネル５０１は、追跡対象の人物Ｐ１、別の人物Ｐ２、Ｐ３を写した画像Ｍ２を示している。また、追跡続行指示パネル５０１は、選択されている人物を明示するための追跡対象人物切出枠５０２、ユーザが追跡対象人物Ｐ１を選択するためのマウス９０３のポインタ５０３、ユーザが追跡対象人物Ｐ１を確認したことを追跡続行指示部１１１に通知するための人物指定確認ボタン５０４、ユーザが追跡続行を追跡続行指示部１１１に指示するための追跡続行ボタン５０５を示している。また、追跡続行指示パネル５０１は、追跡記録部１１０が追跡ＤＢ１０７に最後に追跡データを記録した（正確には、画像Ｍ２が撮影された）時刻ｔ_ｎ（第１の時点）より一定時間前の時刻ｔ_ｎ−１から、時刻ｔ_ｎへの追跡対象人物Ｐ１の移動を示すベクトル５０６、時刻ｔ_ｎから、時刻ｔ_ｎより一定時間後の時刻ｔ_ｎ＋１（第２の時点）への追跡対象人物Ｐ１の移動を予測したベクトル５０７のほか、時刻ｔ_ｎ−１より一定時間前の時刻ｔ_ｎ−２から、時刻ｔ_ｎ−１への追跡対象人物Ｐ１の移動を示すベクトル５０８を示している。

図９は、図８とほとんど同様であるが、選択されている人物が追跡対象人物Ｐ１ではなく、別の人物Ｐ３となっている。

図８、図９の例のいずれにおいても、時刻ｔ_ｎにおいて画像Ｍ２上で人物Ｐ１、Ｐ２、Ｐ３が重なり合っているため、追跡ＤＢ１０７内の時系列データの確度が規定のレベルより低くなっているものとする。

ステップＳ１０８の後、照合部１０５が計算した確度Ｓ１が規定のレベルより低い場合には、追跡続行指示部１１１は、現在の追跡状況を追跡続行指示ＭＭＩＦ部１０９により表示装置９０１の追跡続行指示パネル５０１に表示し、アラームを同じ画面上及び／又はスピーカ９０７で出力してユーザの注意を喚起した後、ユーザの判断を待つために停止する。そして、追跡続行指示部１１１は、ユーザに現在の追跡状況を確認させ、追跡対象人物Ｐ１が正しく認識されているかどうか判断させる。追跡続行指示部１１１は、ユーザに追跡対象人物Ｐ１が正しく認識されているかどうかの判断結果として、追跡続行の指示をキーボード９０２やマウス９０３で入力させる。図８の例では、追跡対象人物Ｐ１が正しく認識されているとユーザが判断するため、ユーザは、人物指定確認ボタン５０４をマウス９０３でクリックして追跡対象人物Ｐ１を確認したことを通知し、追跡続行ボタン５０５をマウス９０３でクリックして追跡続行指示部１１１に追跡続行を指示する。この操作を受けて、追跡続行指示部１１１は次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報を表示装置９０１の追跡続行指示パネル５０１に表示する。一方、図９の例では、追跡対象人物Ｐ１が正しく認識されていないとユーザが判断するため、ユーザは、マウス９０３のポインタ５０３で正しい人物Ｐ１を選択した後、人物指定確認ボタン５０４をマウス９０３でクリックして追跡対象人物Ｐ１を確認したことを通知し、追跡続行ボタン５０５をマウス９０３でクリックして追跡続行指示部１１１に追跡続行を指示する。図８の例と同様に、この操作を受けて、追跡続行指示部１１１は次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報を表示装置９０１の追跡続行指示パネル５０１に表示する。

実施の形態１と同様に、上記ステップＳ１０９で、追跡記録部１１０が常に時系列デ一タを追跡ＤＢ１０７に記録するようにしてもよい。以下、本実施の形態の変形例について説明する。

ステップＳ１０８の後、追跡記録部１１０は、移動速度、移動方向などの情報をＣＰＵ９１１により算出し、これらの情報と照合部１０５が計算した追跡対象人物Ｐ１の位置や確度Ｓ１をまとめて時系列デ一タとして追跡ＤＢ１０７に記録する（ステップＳ１０９：追跡記録処理）。同時に、追跡記録部１１０は、時系列デ一タを基に、追跡状況を追跡記録ＭＭＩＦ部１０８により表示装置９０１の画面に表示する。

追跡ＤＢ１０７内の時系列データの確度Ｓ１が規定のレベルより低い場合には、追跡続行指示部１１１は、追跡ＤＢ１０７内の時系列データを基に、次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき仮の部分画像領域を指示して切出処理を仮に実行させた後、現在の追跡状況とともに仮の画像切出し結果（図８、図９では、ベクトル５０８，５０６の延長線上にベクトル５０７を設定して時刻ｔ_ｎ＋１における人物Ｐ１、Ｐ３の位置を予測した例を示している）を追跡続行指示ＭＭＩＦ部１０９により表示装置９０１の追跡続行指示パネル５０１に表示し、アラームを同じ画面上及び／又はスピーカ９０７で出力してユーザの注意を喚起した後、ユーザの判断を待つために停止する。そして、追跡続行指示部１１１は、ユーザに現在の追跡状況を確認させ、追跡対象人物Ｐ１が正しく認識されているかどうか判断させる。追跡続行指示部１１１は、ユーザに追跡対象人物Ｐ１が正しく認識されているかどうかの判断結果として、追跡続行の指示をキーボード９０２やマウス９０３で入力させる。図８の例では、追跡対象人物Ｐ１が正しく認識されているとユーザが判断するため、ユーザは、人物指定確認ボタン５０４をマウス９０３でクリックして追跡対象人物Ｐ１を確認したことを通知し、追跡続行ボタン５０５をマウス９０３でクリックして追跡続行指示部１１１に追跡続行を指示する。この操作を受けて、追跡続行指示部１１１は次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報を表示装置９０１の追跡続行指示パネル５０１に表示する。一方、図９の例では、追跡対象人物Ｐ１が正しく認識されていないとユーザが判断するため、ユーザは、マウス９０３のポインタ５０３で正しい人物Ｐ１を選択した後、人物指定確認ボタン５０４をマウス９０３でクリックして追跡対象人物Ｐ１を確認したことを通知し、追跡続行ボタン５０５をマウス９０３でクリックして追跡続行指示部１１１に追跡続行を指示する。図８の例と同様に、この操作を受けて、追跡続行指示部１１１は次に取り込むべき画像情報を決定して画像入力部１０１に指示するとともに、画像切出部１０２に切出し対象とすべき部分画像領域を指示する（ステップＳ１１０：追跡続行指示処理）。同時に、追跡続行指示部１１１は、追跡続行指示ＭＭＩＦ部１０９により追跡続行指示情報を表示装置９０１の追跡続行指示パネル５０１に表示する。

このように、本実施の形態では、追跡対象人物の照合結果に応じて、人の判断を加えながら人物追跡を実行する。そして、人物追跡システムにおける誤認識の発生を的確に検出し、それを修正可能とすることで、人物追跡への影響を未然に防ぎ、効率よくより正確な人物追跡を可能とし、人の負荷の低減を可能にすることができる。

以上のように、実施の形態１から４までで説明した人物追跡システムは、画像情報を用いた人物追跡システムであって、人が直接画像を指定することで追跡対象の人物を指定できる追跡対象人物指定部、追跡中の人物を見失った場合にシステムが人にアラームで通知するとともに候補となる人物を提示する自動人物追跡部、人が候補の正誤を判断しシステムに対して正しければ追跡続行を、誤っていれば正しい人物を両面から直接指定して追跡続行を指示する追跡続行指示部、を備えたことにより、効率よくより正確な人物追跡を可能とし、人の負荷の低減を可能にするものである。

また、上記人物追跡システムは、人に画像を提示する手段、人が直接画像を指定する手段、指定された結果を人に提示し確認を求める手段、確認された人物の特徴を算出し、人に確認を求める手段とからなる追跡対象人物指定部を備えたことを特徴とする。

また、上記人物追跡システムは、時間的に連続した画像から指定された人物の動きを検出し次動作を予測して自動的に人物追跡を行う手段、追跡中の人物の確度を求め、見失った場合や確度が一定値以下に低下した場合に人にアラームで通知するとともに候補となる人物を提示する手段とからなる自動人物追跡部を備えたことを特徴とする。

また、上記人物追跡システムは、提示された追跡候補人物を確認する手段、追跡続行を指示する手段、追跡対象の人物を指定する手段からなる追跡続行指示部を備えたことを特徴とする。

上記のような特徴により、実施の形態１から４までに係る人物追跡システムによれば、人物追跡中に問題が発生した場合に、その状況を人に提示し、人の判断を加えながら人物追跡を実行することができる。この結果、人物追跡システムにおける誤認識の発生を的確に検出し、人物追跡への影響を未然に防ぎ、効率よくより正確な人物追跡を可能とし、人の負荷の低減を可能にすることができる。

以上、本発明の実施の形態について説明したが、これらのうち、２つ以上の実施の形態を組み合わせて実施しても構わない。あるいは、これらのうち、１つの実施の形態を部分的に実施しても構わない。あるいは、これらのうち、２つ以上の実施の形態を部分的に組み合わせて実施しても構わない。

実施の形態１に係る人物追跡システムの構成を示すブロック図である。実施の形態１に係る人物追跡システムのハードウェア資源の一例を示す図である。実施の形態１に係る人物追跡方法を示すフローチャートである。実施の形態２に係る人物追跡システムの画面の一例を示す図である。実施の形態２に係る人物追跡システムの画面の一例を示す図である。実施の形態３に係る人物追跡システムの画面の一例を示す図である。実施の形態３に係る人物追跡システムの追跡データの一例を示す図である。実施の形態４に係る人物追跡システムの画面の一例を示す図である。実施の形態４に係る人物追跡システムの画面の一例を示す図である。

符号の説明

１００人物追跡システム、１０１画像入力部、１０２画像切出部、１０３特徴抽出部、１０４特徴ＤＢ、１０５照合部、１０６追跡処理部、１０７追跡ＤＢ、１０８追跡記録ＭＭＩＦ部、１０９追跡続行指示ＭＭＩＦ部、１１０追跡記録部、１１１追跡続行指示部、１１２追跡対象人物指定ＭＭＩＦ部、１１３追跡対象人物指定部、１５１記憶装置、１５２処理装置、１５３入力装置、１５４出力装置、９０１表示装置、９０２キーボード、９０３マウス、９０４ＦＤＤ、９０５ＣＤＤ、９０６プリンタ装置、９０７スピーカ、９１０システムユニット、９１１ＣＰＵ、９１２バス、９１３ＲＯＭ、９１４ＲＡＭ、９１５通信ボード、９２０磁気ディスク装置、９２１オペレーティングシステム、９２２ウィンドウシステム、９２３プログラム群、９２４ファイル群。

Claims

複数の監視カメラの各々で撮影された画像を解析して追跡対象の人物の位置を認識し、当該位置を時系列に示す追跡データを記憶装置に記録する人物追跡システムにおいて、
前記追跡対象となる人物を写した第１の画像を入力装置から入力する画像入力部と、
前記画像入力部が入力した第１の画像を処理装置により解析して前記追跡対象となる人物の特徴を抽出し、当該特徴を示す第１の特徴データを記憶装置に記録する特徴抽出部とを備え、
前記画像入力部は、前記複数の監視カメラのいずれかで撮影された画像であって少なくとも１人の人物を写した第２の画像を入力し、
前記特徴抽出部は、前記画像入力部が入力した第２の画像を処理装置により解析して前記少なくとも１人の人物の特徴を抽出し、当該特徴を示す第２の特徴データを生成し、
前記人物追跡システムは、さらに、
前記特徴抽出部が生成した第２の特徴データを前記特徴抽出部が記憶装置に記録した第１の特徴データと照合し、当該照合結果に基づいて前記少なくとも１人の人物が前記追跡対象の人物である確度を処理装置により計算する照合部と、
前記少なくとも１人の人物に、前記照合部が計算した確度が所定の数値範囲の上限値より高い人物が含まれる場合、当該人物が前記追跡対象の人物であると判断し、前記第２の画像が撮影された時点における当該人物の位置を示す位置データを前記追跡データの一部として記憶装置に記録する追跡処理部であって、前記少なくとも１人の人物に、前記照合部が計算した確度が前記所定の数値範囲内となる人物が含まれる場合、前記第２の画像を表示した画面上で当該人物を強調表示して当該人物が前記追跡対象の人物であるか否かをユーザに判断させ、当該人物が前記追跡対象の人物であるとユーザが判断した場合には、前記位置データを前記追跡データの一部として記憶装置に記録する追跡処理部とを備えることを特徴とする人物追跡システム。
前記画像入力部は、２人以上の人物を写した画像を前記第２の画像として入力し、
前記追跡処理部は、前記２人以上の人物に、前記照合部が計算した確度が前記所定の数値範囲内となる人物が含まれる場合、前記画面上で当該人物を強調表示して当該人物が前記追跡対象の人物であるか否かをユーザに判断させ、当該人物が前記追跡対象の人物でないとユーザが判断した場合であって前記２人以上の人物に前記追跡対象の人物が含まれる場合には、前記画面上で前記追跡対象の人物をユーザに指定させ、前記第２の画像が撮影された時点におけるユーザ指定の人物の位置を示す位置データを前記追跡データの一部として記憶装置に記録することを特徴とする請求項１に記載の人物追跡システム。
前記照合部は、前記追跡処理部が記憶装置に記録した追跡データであって第１の時点における前記追跡対象の人物の位置を示す位置データを含む追跡データを処理装置により分析して前記第１の時点から一定時間経過した第２の時点における前記追跡対象の人物の位置を予測し、当該予測結果と前記照合結果とに基づいて前記少なくとも１人の人物が前記追跡対象の人物である確度を処理装置により計算することを特徴とする請求項１又は２に記載の人物追跡システム。
前記照合部は、前記予測結果に基づいて、前記複数の監視カメラの中から前記第２の時点における前記追跡対象の人物の位置を撮影可能な監視カメラを選択し、
前記画像入力部は、前記照合部が選択した監視カメラで前記第２の時点に撮影された画像を前記第２の画像として入力することを特徴とする請求項３に記載の人物追跡システム。
前記追跡処理部は、前記少なくとも１人の人物に、前記照合部が計算した確度が所定の数値範囲の上限値より高い人物が含まれない場合、前記画面上及び／又はスピーカでユーザに対するアラームを通知することを特徴とする請求項１から４までのいずれかに記載の人物追跡システム。
複数の監視カメラの各々で撮影された画像を解析して追跡対象の人物の位置を認識し、当該位置を時系列に示す追跡データを記憶装置に記録する人物追跡方法において、
コンピュータの画像入力部が、前記追跡対象となる人物を写した第１の画像を入力装置から入力し、
コンピュータの特徴抽出部が、前記画像入力部が入力した第１の画像を処理装置により解析して前記追跡対象となる人物の特徴を抽出し、当該特徴を示す第１の特徴データを記憶装置に記録し、
前記画像入力部が、前記複数の監視カメラのいずれかで撮影された画像であって少なくとも１人の人物を写した第２の画像を入力し、
前記特徴抽出部が、前記画像入力部が入力した第２の画像を処理装置により解析して前記少なくとも１人の人物の特徴を抽出し、当該特徴を示す第２の特徴データを生成し、
コンピュータの照合部が、前記特徴抽出部が生成した第２の特徴データを前記特徴抽出部が記憶装置に記録した第１の特徴データと照合し、当該照合結果に基づいて前記少なくとも１人の人物が前記追跡対象の人物である確度を処理装置により計算し、
コンピュータの追跡処理部が、前記少なくとも１人の人物に、前記照合部が計算した確度が所定の数値範囲の上限値より高い人物が含まれる場合、当該人物が前記追跡対象の人物であると判断し、前記第２の画像が撮影された時点における当該人物の位置を示す位置データを前記追跡データの一部として記憶装置に記録し、
前記追跡処理部が、前記少なくとも１人の人物に、前記照合部が計算した確度が前記所定の数値範囲内となる人物が含まれる場合、前記第２の画像を表示した画面上で当該人物を強調表示して当該人物が前記追跡対象の人物であるか否かをユーザに判断させ、当該人物が前記追跡対象の人物であるとユーザが判断した場合には、前記位置データを前記追跡データの一部として記憶装置に記録することを特徴とする人物追跡方法。
複数の監視カメラの各々で撮影された画像を解析して追跡対象の人物の位置を認識し、当該位置を時系列に示す追跡データを記憶装置に記録する人物追跡プログラムにおいて、
前記追跡対象となる人物を写した第１の画像を入力装置から入力する画像入力手順と、
前記画像入力手順が入力した第１の画像を処理装置により解析して前記追跡対象となる人物の特徴を抽出し、当該特徴を示す第１の特徴データを記憶装置に記録する特徴抽出手順とをコンピュータに実行させ、
前記画像入力手順は、前記複数の監視カメラのいずれかで撮影された画像であって少なくとも１人の人物を写した第２の画像を入力し、
前記特徴抽出手順は、前記画像入力手順が入力した第２の画像を処理装置により解析して前記少なくとも１人の人物の特徴を抽出し、当該特徴を示す第２の特徴データを生成し、
前記人物追跡プログラムは、さらに、
前記特徴抽出手順が生成した第２の特徴データを前記特徴抽出手順が記憶装置に記録した第１の特徴データと照合し、当該照合結果に基づいて前記少なくとも１人の人物が前記追跡対象の人物である確度を処理装置により計算する照合手順と、
前記少なくとも１人の人物に、前記照合手順が計算した確度が所定の数値範囲の上限値より高い人物が含まれる場合、当該人物が前記追跡対象の人物であると判断し、前記第２の画像が撮影された時点における当該人物の位置を示す位置データを前記追跡データの一部として記憶装置に記録する追跡処理手順であって、前記少なくとも１人の人物に、前記照合手順が計算した確度が前記所定の数値範囲内となる人物が含まれる場合、前記第２の画像を表示した画面上で当該人物を強調表示して当該人物が前記追跡対象の人物であるか否かをユーザに判断させ、当該人物が前記追跡対象の人物であるとユーザが判断した場合には、前記位置データを前記追跡データの一部として記憶装置に記録する追跡処理手順とをコンピュータに実行させることを特徴とする人物追跡プログラム。