JP2022030846A - 人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラム - Google Patents

Abstract

【課題】監視カメラにより追跡対象者の顔画像が取得できない場合でも、追跡対象者を追跡できるようにする。【解決手段】画像登録機能部３５３１によって、追跡を行うべき追跡対象者の顔画像及び全身画像を登録したとき、検知／追跡結果判定機能部３４は、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれについて、登録された顔画像に類似する顔画像と、登録された全身画像に類似する全身画像と、の少なくとも一方を検知し、検知アラート出力機能部３５３２は、その検知／追跡結果判定機能部３４が検知した顔画像及び全身画像の少なくとも一方を出力する。【選択図】図３

Description

この発明の一態様は、人物追跡装置、人物追跡システム、人物追跡方法及び人物追跡プログラムに関する。

従来より、監視カメラによって取得した監視画像から人物の顔を抽出し、その顔の特徴量に基づいて、人物を識別する技術が各種提案されている。さらに、近年、顔の特徴量と全身の特徴量とを組み合わせて人物の識別を行うことで、人物識別の精度を向上させる技術も提案されている（例えば、特許文献１参照）。

特開２０１９－０２３７８５号公報

従来の人物識別技術は、建物や店舗等の入口に設置した監視カメラのように、来訪者の顔画像が確実に取得できる場合は、不審者や得意顧客といった監視対象者の来訪検知を行うために非常に有効な技術である。

一方、監視対象者の来訪検知があった場合に、警備目的や販売促進目的により、その監視対象者がどこにいるのかリアルタイムで追跡したいという要望がある。

しかしながら、追跡を行うべき追跡対象者の移動に伴って追跡対象者の顔の向きは様々に変化し、監視カメラが追跡対象者の顔を捕らえられない場合が多発する。このように監視カメラにより顔画像が取得できない場合には、従来の人物識別技術では人物を識別することができず、よって、追跡対象者の追跡を行うことができなかった。

この発明は上記事情に着目してなされたもので、その目的とするところは、監視カメラにより追跡対象者の顔画像が取得できない場合でも、追跡対象者を追跡できるようにすることにある。

上記目的を達成するためにこの発明に係る人物追跡装置の一態様は、追跡を行うべき追跡対象者の顔画像及び全身画像を登録する登録部と、複数台の監視カメラそれぞれで定期的に取得した監視画像のそれぞれについて、前記登録された顔画像に類似する顔画像と、前記登録された全身画像に類似する全身画像と、の少なくとも一方を検知する検知部と、前記検知した顔画像及び全身画像の少なくとも一方を出力する出力部と、を具備するようにしたものである。

ここで、この発明に係る人物追跡装置の一態様は、前記監視画像のそれぞれから人物の全身画像を抽出し、前記全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、前記顔画像からその特徴量である顔特徴量を抽出する抽出部から、前記抽出部が抽出した前記全身画像、前記全身特徴量及び前記顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量を前記監視画像と共に蓄積する画像蓄積部を更に具備し、前記登録部は、監視者が操作する監視端末から前記追跡対象者の顔画像の指定を受け付け、その指定された顔画像に対応する前記画像蓄積部に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量と、前記顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、前記検知部は、前記登録部による登録の時点から前記画像蓄積部に蓄積されていく前記監視画像を照合用画像として、前記照合用画像それぞれについての、前記抽出部が抽出した前記全身特徴量と前記追跡用全身特徴量との類似度である全身画像類似度、及び、前記抽出部が抽出した前記顔特徴量と前記追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出部から、前記類似度算出部が算出した前記全身画像類似度及び前記顔画像類似度と前記追跡用顔画像及び前記追跡用全身画像とのセットを取得し、前記全身画像類似度及び前記顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、前記閾値よりも大きい場合に、前記抽出部が前記照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、前記照合用画像としての前記監視画像を取得した前記監視カメラの位置情報とを、前記登録部によって登録された前記追跡用全身画像及び前記追跡用顔画像と共に表示するための表示用結果を作成し、前記出力部は、前記検知部によって作成された前記表示用結果を前記監視端末に送信して、前記監視端末に前記表示用結果を表示させるようにすることができ、この発明に係る人物追跡システムの一態様は、この人物追跡装置の一態様と、前記複数台の監視カメラと、前記監視者が操作する前記監視端末と、前記抽出部及び前記類似度算出部を備える解析部と、を具備するようにしたものである。

この発明に係る人物追跡方法の一態様は、複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータが、前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像を記憶装置に蓄積させ、前記監視画像のそれぞれから人物の全身画像を抽出し、前記全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、前記顔画像からその特徴量である顔特徴量を抽出する抽出装置から、前記抽出装置が抽出した前記全身画像、前記全身特徴量及び前記顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量を前記記憶装置に蓄積させ、監視者が操作する監視端末からの追跡を行うべき追跡対象者の顔画像の指定を受け付け、その指定された顔画像に対応する前記記憶装置に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量と、前記顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、前記登録の時点から前記記憶装置に蓄積されていく前記監視画像を照合用画像として、前記照合用画像それぞれについての、前記抽出装置が抽出した前記全身特徴量と前記追跡用全身特徴量との類似度である全身画像類似度、及び、前記抽出装置が抽出した前記顔特徴量と前記追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出装置から、前記類似度算出装置が算出した前記全身画像類似度及び前記顔画像類似度と前記追跡用顔画像及び前記追跡用全身画像とのセットを取得し、前記照合用画像それぞれについての前記全身画像類似度及び前記顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、前記全身画像類似度及び前記顔画像類似度の少なくとも一方が前記対応する閾値よりも大きい場合に、前記照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、前記照合用画像としての前記監視画像を取得した前記監視カメラの位置情報とを、前記登録された前記追跡用全身画像及び前記追跡用顔画像と共に表示するための表示用結果を作成し、前記作成した前記表示用結果を前記監視端末に送信して、前記監視端末に前記表示用結果を表示させるようにしたものである。

この発明に係る人物追跡プログラムの一態様は、この発明に係る人物追跡装置の一態様の各部としてコンピュータを動作させるようにしたプログラムである。

この発明の各態様によれば、監視カメラにより追跡対象者の顔画像が取得できない場合でも、追跡対象者を追跡できるようになる。

図１は、この発明の一実施形態に係る人物追跡システムの全体構成の一例を示す図である。 図２は、図１に示した映像解析機能部の構成の一例を示すブロック図である。 図３は、この発明の一実施形態に係る人物追跡装置としての図１に示したＷｅｂサーバのソフトウェア構成を示すブロック図である。 図４は、図３に示した過去検索用データ記憶部の記憶内容の一例を示す図である。 図５は、図３に示した検知履歴データ記憶部の記憶内容の一例を示す図である。 図６は、図３に示した管理データ記憶部の記憶内容の一例を示す図である。 図７は、図３に示したカメラ情報テーブル記憶部の記載内容の一例を示す図である。 図８は、図３に示した過去検索用データテーブル記憶部の記載内容の一例を示す図である。 図９は、図３に示した検知履歴テーブル記憶部の記載内容の一例を示す図である。 図１０は、図３に示した管理テーブル記憶部の記載内容の一例を示す図である。 図１１は、図３のＷｅｂサーバのハードウェア構成を示すブロック図である。 図１２は、図１に示した監視端末のＷｅｂブラウザに表示される検知アラート画面の一例を示す図である。 図１３は、図３に示した画像登録機能部による画像登録処理の処理手順を示すフローチャートである。 図１４は、図２に示した監視／追跡実行機能部による監視／追跡処理の処理手順を示すフローチャートである。 図１５は、図３に示した検知／追跡結果判定機能部による検知／追跡結果判定処理の処理手順を示すフローチャートである。 図１６は、図１に示した監視端末のＷｅｂブラウザに表示される検知アラート出力画面の一例を示す図である。 図１７は、図１に示した監視端末のＷｅｂブラウザに表示される検知アラート出力画面の別の例を示す図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［一実施形態］
（１）構成
（１－１）全体構成
図１は、この発明の一実施形態に係る人物追跡システム１の全体構成の一例を示す図である。

人物追跡システム１は、例えば、オフィスビルや百貨店等の複数フロアを有する建物、複数店舗を含む商業施設、等の広い監視範囲を有する大型施設において、特定の人物を追跡するシステムである。

この人物追跡システム１は、複数台の監視カメラ１０と、各監視カメラ１０に対応して設けられた映像解析機能部２０及びこの発明の一実施形態に係る人物追跡装置として機能するＷｅｂサーバ３０を備えるサーバ装置ＳＶと、監視端末４０と、を含む。各監視カメラ１０と、サーバ装置ＳＶと、監視端末４０とは、ネットワークＮＥＴを介して接続されている。

ネットワークＮＥＴは、構内ネットワークであり、例えば、無線ＬＡＮ（Local Area Network）または有線ＬＡＮである。ネットワークＮＥＴは、インターネットのような広域ネットワークであっても良い。

複数の監視カメラ１０は、互いの撮影範囲が重ならないように或いは一部重なるように、大型施設内に分散配置されたネットワークカメラである。監視カメラ１０は、撮影範囲内の動画像を撮影するビデオカメラであって良く、動画像を構成する各フレーム画像を撮影範囲の監視画像として取得することができる。また監視カメラ１０は、一定のタイムインターバルで静止画像を撮影することで、定期的に監視画像を取得するスチルカメラであっても良い。

サーバ装置ＳＶ内に配置された複数の映像解析機能部２０のそれぞれは、対応する監視カメラ１０から取得した監視画像に対する様々な解析機能を有している。この映像解析機能部２０が提供する解析機能の詳細については、後述する。なお、映像解析機能部２０は、このようにサーバ装置ＳＶの内部に配置されるのではなく、専用の演算装置やクラウドなどに独立して配置し、ネットワークＮＥＴを介して対応する監視カメラ１０とサーバ装置ＳＶとの間でデータを授受することも可能である。また、映像解析機能部２０は、監視カメラ１０が演算機能を持つのであれば、そのカメラ内部に配置することも可能である。なお、本実施形態では、監視カメラ１０と映像解析機能部２０とを１対１に対応させて構成しているが、一つの映像解析機能部２０が複数台の監視カメラ１０に割り当てられていても良い。

サーバ装置ＳＶのＷｅｂサーバ３０は、サーバコンピュータによって構成され、機能部として、ファイルサーバ３１、データベース（以下、ＤＢと略記する。）サーバ３２、Ｗｅｂアプリケーション３５、検索用人検知結果保存機能部３３、及び、検知／追跡結果判定機能部３４を含む。これら各機能部の詳細については、後述する。

監視端末４０は、パーソナルコンピュータ等のコンピュータによって構成され、Ｗｅｂブラウザ４１のプログラムを実行することができる。Ｗｅｂブラウザ４１により、監視端末４０を操作する警備員等の監視者は、Ｗｅｂサーバ３０のＷｅｂアプリケーション３５が提供する人物追跡結果を閲覧することができる。なお、図１では、監視端末４０は、一台のみを示しているが、人物追跡システム１は、監視端末４０を複数含んでも良い。

また、サーバ装置ＳＶが監視端末４０の機能を備えていても良い。

（１－２）映像解析機能部２０
図２は、図１に示した映像解析機能部２０の構成の一例を示すブロック図である。映像解析機能部２０は、画像取得モジュール２１、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える。

画像取得モジュール２１は、ネットワークＮＥＴを介して監視カメラ１０からＲＴＳＰ（Real Time Streaming Protocol）等の所定の通信プロトコルに従って送信されてくるフレーム画像を取得する。画像取得モジュール２１は、取得したフレーム画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、画像取得モジュール２１は、取得したフレーム画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、画像取得モジュール２１は、取得したフレーム画像を人検知情報抽出機能部２２に送る。

人検知情報抽出機能部２２は、入力された画像から人物の全身画像を抽出し、この全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、さらにこの顔画像からその特徴量である顔特徴量を抽出する抽出部として機能する。具体的には、人検知情報抽出機能部２２は、全身検出モジュール２２１、領域追跡モジュール２２２、全身特徴量抽出モジュール２２３、顔検出モジュール２２４及び顔特徴量抽出モジュール２２５を備える。

全身検出モジュール２２１は、入力画像であるフレーム画像に写っている人物それぞれの全身を検出して、全身画像を抽出する全身画像抽出部である。全身検出モジュール２２１は、例えば、深層学習（Deep Leaning）等の機械学習により事前に学習させた人物の全身画像に基づいて、人物の全身を検出することができる。全身検出モジュール２２１は、抽出した全身画像を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身検出モジュール２２１は、抽出した全身画像をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。また、全身検出モジュール２２１は、抽出した全身画像を、全身特徴量抽出モジュール２２３及び顔検出モジュール２２４にも送る。さらに、全身検出モジュール２２１は、フレーム画像と抽出した全身画像を領域追跡モジュール２２２に送る。

領域追跡モジュール２２２は、全身検出モジュール２２１から入力されたフレーム画像中の全身画像の領域位置を検出する。

全身特徴量抽出モジュール２２３は、入力された全身画像から全身特徴量を抽出する全身特徴量抽出部である。全身特徴量は、全身画像に含まれる人物の体の特徴を客観的に数値化したものである。例えば、全身特徴量は、画像から推定される体型、身長、性別、年代、等の人物自体の属性情報を数値化したものとすることができる。全身特徴量抽出モジュール２２３は、深層学習（例えばDeep-person-reid等）等の事前に学習したモデルを用いて、全身特徴量を抽出することができる。また、全身特徴量抽出モジュール２２３は、これら全身特徴量を、ＨＯＧ（Histogram of Oriented Gradients）やＳＩＦＴ（Scaled Invariance Feature Transform）等の局所画像特徴量として算出することも可能である。全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身特徴量抽出モジュール２２３は、抽出した全身特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、全身特徴量抽出モジュール２２３は、抽出した全身特徴量を、監視／追跡実行機能部２３に送る。

顔検出モジュール２２４は、入力された全身画像から人物の顔を検出して、顔画像を抽出する顔画像抽出部である。顔検出モジュール２２４は、例えば、深層学習等の機械学習により事前に学習させた人物の顔画像に基づいて、人物の顔を検出することができる。顔検出モジュール２２４は、抽出した顔画像を、顔特徴量抽出モジュール２２５に送る。

顔特徴量抽出モジュール２２５は、入力された顔画像から顔特徴量を抽出する顔特徴量抽出部である。顔特徴量は、顔画像に含まれる人物の顔の特徴を客観的に数値化したものである。顔特徴量抽出モジュール２２５は、例えば、全身特徴量を抽出する全身特徴量抽出モジュール２２３と同様に、深層学習等で事前に学習したモデルを用いて顔特徴量を抽出することができる。また、顔検出モジュール２２４は、これら顔特徴量を、ＨＯＧやＳＩＦＴ等の局所画像特徴量として算出しても良い。顔検出モジュール２２４は、抽出した顔特徴量を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信し、ファイルサーバ３１に蓄積させる。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔特徴量抽出モジュール２２５は、抽出した顔特徴量をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。さらに、顔検出モジュール２２４は、抽出した顔特徴量を、監視／追跡実行機能部２３に送る。

また、監視／追跡実行機能部２３は、二つの入力画像の全身特徴量の類似度である全身画像類似度、及び、二つの入力画像の顔特徴量の類似度である顔画像類似度を算出する類似度算出部として機能する。具体的には、監視／追跡実行機能部２３は、全身照合モジュール２３１及び顔照合モジュール２３２を備える。

全身照合モジュール２３１は、全身特徴量抽出モジュール２２３から入力された全身特徴量と、監視端末４０から指示された追跡対象の人物の全身特徴量との類似度を算出する。追跡対象の人物の全身特徴量は、例えば、全身特徴量抽出モジュール２２３によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。全身照合モジュール２３１は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、全身照合モジュール２３１は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。

顔照合モジュール２３２は、顔特徴量抽出モジュール２２５から入力された顔特徴量と、監視端末４０から指示された追跡対象の人物の顔特徴量との類似度を算出する。追跡対象の人物の顔特徴量は、例えば、顔特徴量抽出モジュール２２５によって予め抽出されて、Ｗｅｂサーバ３０のファイルサーバ３１に登録されている。顔照合モジュール２３２は、算出した類似度を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。なお、映像解析機能部２０がサーバ装置ＳＶから独立して配置されている場合には、顔照合モジュール２３２は、算出した類似度をネットワークＮＥＴを介してＷｅｂサーバ３０に送信する。

（１－３）Ｗｅｂサーバ３０
図３は、Ｗｅｂサーバ３０のソフトウェア構成を示すブロック図である。前述したように、Ｗｅｂサーバ３０は、機能部として、ファイルサーバ３１、ＤＢサーバ３２、検索用人検知結果保存機能部３３、検知／追跡結果判定機能部３４、及び、Ｗｅｂアプリケーション３５を有する。

ファイルサーバ３１は、各種のデータファイルを蓄積する。ファイルサーバ３１は、過去検索用データ記憶部３１１、検知履歴データ記憶部３１２及び管理データ記憶部３１３を含むことができる。

過去検索用データ記憶部３１１は、複数の映像解析機能部２０それぞれで取得したデータである過去検索用データを記憶する。図４は、この過去検索用データ記憶部３１１に記憶される過去検索用データの一例を示す図である。過去検索用データは、各映像解析機能部２０の全身検出モジュール２２１がフレーム画像から検出した全身画像毎に、過去検索用データ記憶部３１１に記憶されることができる。過去検索用データは、映像解析機能部２０の画像取得モジュール２１が取得したフレーム画像３１１１、全身検出モジュール２２１が抽出した全身画像３１１２、全身特徴量抽出モジュール２２３が抽出した全身特徴量３１１３、及び、顔特徴量抽出モジュール２２５が抽出した顔特徴量３１１４を含むことができる。これらフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。

検知履歴データ記憶部３１２は、不審者、迷子、得意顧客といった監視対象者として検知された人物それぞれに関するデータである検知履歴データを記憶する。図５は、この検知履歴データ記憶部３１２に記憶される検知された人物の検知履歴データの一例を示す図である。検知履歴データは、検知された人物の顔画像である検知顔画像３１２１と、その検知顔画像３１２１に対応する顔特徴量３１２２と、を含むことができる。これら検知顔画像３１２１と顔特徴量３１２２は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。

なお、特に図示はしていないが、監視対象者に関するデータは、ファイルサーバ３１に事前に記憶されている。この監視対象者に関するデータは、例えば、監視端末４０からネットワークＮＥＴを介してＷｅｂサーバ３０に、監視対象者の顔画像を入力することで、ファイルサーバ３１に記憶させることができる。そして、Ｗｅｂサーバ３０が、その顔画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔特徴量抽出モジュール２２５に入力することで、当該顔特徴量抽出モジュール２２５から顔特徴量を取得して、ファイルサーバ３１に記憶させることができる。また、ネットワークＮＥＴを介して、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２を監視端末４０のＷｅｂブラウザ４１にて閲覧し、監視端末４０から任意の全身画像３１１２を指定することで、その人物を監視対象者として指定することも可能である。この場合、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、ファイルサーバ３１に監視対象者の顔画像として記憶させることができる。また、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている、指定された全身画像３１１２を有する過去検索用データから顔特徴量３１１４を取得して、それをファイルサーバ３１に記憶させることができる。

また、監視対象者に関するデータをファイルサーバ３１に記憶する際、当該監視対象者についての情報を記載した監視対象者テーブルもＤＢサーバ３２に記憶される。この監視対象者テーブルには、当該監視対象者を一意に識別する識別情報である不審者ＩＤ、監視対象者の名称である不審者名称、どのような理由の監視対象者であるかを示す危険度種別、当該監視対象者についての身体的特徴や行動様式、注意点等の説明文、等を記載しておくことができる。

検知履歴データにおける検知顔画像３１２１は、Ｗｅｂサーバ３０が、例えば、何れかの監視カメラ１０の監視画像から、監視対象者に関するデータとの比較によって監視対象者を検知した時に、検知履歴データ記憶部３１２に記憶させることができる。すなわち、Ｗｅｂサーバ３０は、当該監視画像から取得されて過去検索用データ記憶部３１１に記憶されている全身画像を、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得し、それを検知顔画像３１２１として検知履歴データ記憶部３１２に記憶させることができる。この一つの映像解析機能部２０は、監視対象者が検知された監視画像を取得した監視カメラ１０に対応する映像解析機能部２０であって良い。映像解析機能部２０の顔検出モジュール２２４が、抽出した顔画像をバッファリングしている場合には、Ｗｅｂサーバ３０は、当該顔検出モジュール２２４にバッファリングしている顔画像を要求することで検知顔画像３１２１を取得しても良い。

管理データ記憶部３１３は、追跡対象者それぞれに関するデータである管理データを記憶する。図６は、この管理データ記憶部３１３に記憶される追跡対象者毎の管理データの一例を示す図である。追跡対象者毎の管理データは、監視端末４０からの指定に応じて管理データ記憶部３１３に記憶されることができる。管理データは、指定された追跡対象者の顔画像である登録顔画像３１３１と、その登録顔画像３１３１から抽出された特徴である顔特徴量３１３２と、追跡対象者の全身画像である登録全身画像３１３３と、その登録全身画像３１３３から抽出された特徴である全身特徴量３１３４と、を含むことができる。これら登録顔画像３１３１、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４は、例えば、同一のパスに記憶したり、ファイル名の一部に同一の文字列を付したりすることで、紐付けることができる。

例えば、Ｗｅｂサーバ３０は、監視対象者が検知された際に、検知履歴データ記憶部３１２に記憶したその監視対象に対する検知履歴データにおける検知顔画像３１２１を監視端末４０のＷｅｂブラウザ４１にて監視者に閲覧させる。そして、監視端末４０から当該人物を追跡対象者とする指定が行われると、Ｗｅｂサーバ３０は、検知履歴データにおける検知顔画像３１２１をこの管理データにおける登録顔画像３１３１として記憶させる。さらに、Ｗｅｂサーバ３０は、検知履歴データにおける顔特徴量３１２２を、この管理データにおける顔特徴量３１３２として記憶させることができる。また、Ｗｅｂサーバ３０は、指定された検知履歴データにおける検知顔画像３１２１の元となった全身画像を過去検索用データ記憶部３１１に記憶された過去検索用データから取得すると共に、その全身特徴量も当該過去検索用データから取得し、それらをこの管理データにおける登録全身画像３１３３及び全身特徴量３１３４として記憶させる。

或いは、Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に記憶されている複数の人物の全身画像３１１２を監視端末４０のＷｅｂブラウザ４１にて閲覧させ、監視端末４０から任意の全身画像の指定を受けて、その人物を指定の追跡対象者とするようにしても良い。この場合、Ｗｅｂサーバ３０は、その指定された全身画像３１１２をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により一つの映像解析機能部２０の顔検出モジュール２２４に入力することで、当該顔検出モジュール２２４から顔画像を取得して、管理データ記憶部３１３に登録顔画像３１３１として記憶させることができる。またこの場合、顔特徴量３１３２、登録全身画像３１３３及び全身特徴量３１３４については、過去検索用データ記憶部３１１に記憶されているものを取得して記憶させれば良い。或いは、追跡対象者の顔画像及び全身画像についても、監視対象者の顔画像と同様に、監視端末４０からネットワークＮＥＴを介してＷｅｂサーバ３０に入力することで、管理データ記憶部３１３に登録顔画像３１３１及び登録全身画像３１３３として記憶させるようにしても構わない。この場合には、Ｗｅｂサーバ３０は、その入力された顔画像及び全身画像をサーバ内通信やＷｅｂｓｏｃｋｅｔ等により映像解析機能部２０へ送って、顔特徴量３１３２及び全身特徴量３１３４を取得すれば良い。

ＤＢサーバ３２は、各種のデータテーブルを蓄積する。ＤＢサーバ３２は、カメラ情報テーブル記憶部３２１、過去検索用データテーブル記憶部３２２、検知履歴テーブル記憶部３２３、管理テーブル記憶部３２４、等を含むことができる。

カメラ情報テーブル記憶部３２１は、複数の監視カメラ１０のそれぞれに対応して設けられ、その対応する監視カメラ１０に関する各種情報が記載されたカメラ情報テーブル３２１１を予め記憶している。図７は、このカメラ情報テーブル記憶部３２１に記憶される、監視カメラ１０毎のカメラ情報テーブル３２１１の記載内容の一例を示す図である。カメラ情報テーブル３２１１には、例えば、カメラＩＤ、カメラ名称、アスペクト比、カメラ位置Ｘ、カメラ位置Ｙ、カメラ角度、顔照合閾値、全身照合閾値、等々が記載されている。

ここで、カメラＩＤは、対応する監視カメラ１０を一意に識別する識別情報である。カメラ名称は、対応する監視カメラ１０の名称である。これは、対応する監視カメラ１０の大型施設における設置位置と関連付けた名称とすることができる。アスペクト比は対応する監視カメラ１０で取得される画像のアスペクト比である。カメラ位置Ｘ及びカメラ位置Ｙは、対応する監視カメラ１０の設置位置を示す大型施設内のＸＹ座標である。カメラ角度は、対応する監視カメラ１０の設置向きを示している。顔照合閾値及び全身照合閾値は、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した類似度と比較するための閾値である。類似度がこの閾値よりも大きい場合、Ｗｅｂサーバ３０は、対応する監視カメラ１０の監視画像から抽出された人物の全身画像又は顔画像が監視対象者或いは追跡対象者の全身画像又は顔画像であると判定することができる。この顔照合閾値及び全身照合閾値は、監視カメラ１０自体の特性や設置条件に依存するため、監視カメラ１０を設置してから実際の運用が開始されるまでの間に、適切な値に調整される。なお、この顔照合閾値及び全身照合閾値は、監視対象者に対する閾値と追跡対象者に対する閾値とで異なる値として、それぞれ別個にカメラ情報テーブル３２１１に記載しても良い。

過去検索用データテーブル記憶部３２２は、過去検索用データ記憶部３１１に記憶される過去検索用データのそれぞれに対応して、その過去検索用データに関する各種データが記載された過去検索用データテーブル３２２１を記憶する。Ｗｅｂサーバ３０は、過去検索用データ記憶部３１１に過去検索用データを記憶する際に、この過去検索用データテーブル３２２１を作成して、過去検索用データテーブル記憶部３２２に記憶させる。図８は、この過去検索用データテーブル記憶部３２２に記憶される過去検索用データテーブル３２２１の記載内容の一例を示す図である。過去検索用データテーブル３２２１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、トラッキングＩＤ、フレームＩＤ、検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ、検知座標情報Ｈｅｉｇｈｔ、等々が記載される。

ここで、検知ＩＤは、映像解析機能部２０の全身検出モジュール２２１が検出したフレーム画像３１１１中の全身画像３１１２毎に振られる識別情報である。検知日時は、全身検出モジュール２２１が当該全身画像３１１２を検出した日時である。検知カメラＩＤは、フレーム画像３１１１を取得した監視カメラ１０のカメラＩＤである。トラッキングＩＤは、複数フレーム画像間で、同一の人物の全身画像３１１２を紐付けるための識別情報である。フレームＩＤはフレーム画像３１１１を一意に識別するための識別情報である。検知座標情報Ｘ、検知座標情報Ｙ、検知座標情報Ｗｉｄｔｈ及び検知座標情報Ｈｅｉｇｈｔは、領域追跡モジュール２２２によって検出されたフレーム画像３１１１中の全身画像３１１２の領域位置を示す情報であり、全身画像３１１２の例えば左上隅のフレーム画像中のＸＹ座標と、そこからの画像幅及び画像高さを示す。

なお、Ｗｅｂサーバ３０は、過去検索用データテーブル３２２１のトラッキングＩＤを、例えば、以下のようにして付与することができる。Ｗｅｂサーバ３０は、映像解析機能部２０の人検知情報抽出機能部２２から与えられる全身画像の領域位置と、過去検索用データテーブル記憶部３２２に記憶されている当該監視カメラ１０の前フレーム画像における過去検索用データテーブル３２２１それぞれの全身画像の領域位置とを比較して、重複領域等を考慮することで、全身画像の人物の同一性を判別する。同一人物が前フレーム画像に写っていなければ、Ｗｅｂサーバ３０は、新たなトラッキングＩＤを付与する。また、同一人物が前フレーム画像に写っていれば、当該人物の全身画像３１１２に対応する過去検索用データテーブル３２２１よりトラッキングＩＤを引き継ぐ。なお、Ｗｅｂサーバ３０は、全身画像の位置ではなくて、全身特徴量を比較することで、人物の同一性を判別し、新規トラッキングＩＤ付与の要否を決定するようにしても良い。

検知履歴テーブル記憶部３２３は、検知履歴データ記憶部３１２に記憶される検知履歴データのそれぞれに対応して、その検知履歴データに関する各種データが記載された検知履歴テーブル３２３１を記憶する。Ｗｅｂサーバ３０は、検知履歴データ記憶部３１２に検知履歴データを記憶する際に、この検知履歴テーブル３２３１を作成して、検知履歴テーブル記憶部３２３に記憶させる。図９は、この検知履歴テーブル記憶部３２３に記憶される検知履歴テーブル３２３１の記載内容の一例を示す図である。検知履歴テーブル３２３１には、例えば、検知ＩＤ、検知日時、検知カメラＩＤ、不審者ＩＤ、顔認証スコア、顔左右角度、顔上下角度、トラッキングＩＤ、等々が記載される。

ここで、検知ＩＤ、検知日時、検知カメラＩＤ及びトラッキングＩＤは、過去検索用データテーブル３２２１について説明した通りである。不審者ＩＤは、図示しない監視対象者テーブルに記載されている、検知された監視対象者の不審者ＩＤである。顔認証スコアは、映像解析機能部２０の全身照合モジュール２３１及び顔照合モジュール２３２が算出した、その監視対象者の画像との類似度である。顔左右角度及び顔上下角度は、対応する検知履歴データの検知顔画像３１２１における顔の向きを示す。

管理テーブル記憶部３２４は、管理データ記憶部３１３に記憶される管理データのそれぞれに対応して、その管理データに関する各種データが記載された管理テーブル３２４１を記憶する。Ｗｅｂサーバ３０は、管理データ記憶部３１３に管理データを記憶する際に、この管理テーブル３２４１を作成して、管理テーブル記憶部３２４に記憶させる。図１０は、この管理テーブル記憶部３２４に記憶される管理テーブル３２４１の記載内容の一例を示す図である。管理テーブル３２４１には、例えば、不審者ＩＤ、不審者名称、危険度種別、説明文、クエリ顔画像パス、顔特徴量ファイルパス、監視ステータス、ピン留めフラグ、長期間滞在フラグ、等々が記載される。

ここで、不審者ＩＤ、不審者名称、危険度種別及び説明文は、図示しない監視対象者テーブルに記載されている、追跡対象者として指定された監視対象者についての情報が転記される。クエリ顔画像パス及び顔特徴量ファイルパスは、管理データ記憶部３１３における、管理データの登録顔画像３１３１及び顔特徴量３１３２の保存パスを示す。監視ステータスは、危険度種別以外の、追跡対象者に対して監視端末４０から任意に設定される属性情報である。ピン留めフラグは、追跡対象者として指定された際に、そのことを示すためにセットされるフラグである。長期間滞在フラグは、追跡対象者として指定されていないが、規定の時間以上、当該施設に滞在している場合にセットされるフラグである。すなわち、Ｗｅｂサーバ３０は、監視対象以外ではないが長期間滞在している人物が存在するとき、その人物の顔画像及び顔特徴量も管理データ記憶部３１３に記憶させ、管理テーブル記憶部３２４に管理テーブルを記憶させることができる。これにより、新たな不審者や新規顧客の候補を発見できるようになる。

検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４は、Ｗｅｂサーバのバックエンド機能として提供される。検索用人検知結果保存機能部３３は、映像解析機能部２０の人検知情報抽出機能部２２の各機能部の出力を受けて、過去検索用データテーブル記憶部３２２に記憶する検索用データテーブルを作成する。検知／追跡結果判定機能部３４は、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、事前に記憶してある監視対象者の顔画像と同一の人物が何れかの監視カメラ１０の監視画像内に現れたことを検知し、検知履歴テーブル記憶部３２３に記憶する検知履歴テーブルを作成すると共に、人検知情報抽出機能部２２の各機能部で抽出した、その人物の検知顔画像３１２１及び顔特徴量３１２２を検知履歴データ記憶部３１２へ記憶させる。検知／追跡結果判定機能部３４は、また、映像解析機能部２０の監視／追跡実行機能部２３の各機能部の出力を受けて、複数の監視カメラ１０の撮影範囲を跨いで追跡対象者を追跡し、その追跡結果を示す表示用結果を生成する。

Ｗｅｂアプリケーション３５は、監視端末４０のＷｅｂブラウザ４１からの要求に応じて各種処理を行い、その処理結果を示す閲覧用のデータを作成するアプリケーションプログラムである。Ｗｅｂアプリケーション３５は、Ｗｅｂサーバ３０に、ログイン機能部３５１、監視機能部３５２、追跡機能部３５３及び過去検索機能部３５４としての機能を提供する。

ログイン機能部３５１は、Ｗｅｂブラウザ４１からのログインを受け付けて、認証を行い、正規ユーザに対して当該Ｗｅｂアプリケーション３５が提供する機能の利用を許可する。

監視機能部３５２は、検知／追跡結果判定機能部３４が監視対象者の顔画像と同一の人物を検知した際にアラートを発生して、Ｗｅｂブラウザ４１に提示する。

追跡機能部３５３は、検知／追跡結果判定機能部３４が検知した監視対象者の顔画像と同一の人物の顔画像及び全身画像で、複数の監視カメラ１０を跨いでリアルタイムに該当人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示する。そのために、追跡機能部３５３は、画像登録機能部３５３１と検知アラート出力機能部３５３２とを含む。画像登録機能部３５３１は、Ｗｅｂブラウザ４１上での監視者から指定操作による、追跡を行うべき追跡対象者の顔画像の指定を受けて、管理データ記憶部３１３に登録顔画像３１３１及び顔特徴量３１３２を記憶させると共に、管理テーブル３２４１を作成して管理テーブル記憶部３２４に記憶させる。検知アラート出力機能部３５３２は、検知／追跡結果判定機能部３４が生成した表示用結果をＷｅｂブラウザ４１に提示する。

過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、その指定された時間・場所に来訪した人物を一覧表示し、その中から検索する人物の指定を受け付ける。そして、過去検索機能部３５４は、検知／追跡結果判定機能部３４がその指定された人物の顔画像及び全身画像から、過去検索用データ記憶部３１１に記憶された類似人物を検索した結果をＷｅｂブラウザ４１に提示する。

図１１は、Ｗｅｂサーバ３０のハードウェア構成を示すブロック図である。Ｗｅｂサーバ３０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサ３０１Ａ、プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３を備える。プログラムメモリ３０１Ｂ、記憶装置３０２及び通信インタフェース装置３０３は、バス３０４を介してハードウェアプロセッサ３０１Ａに接続されている。

通信インタフェース装置３０３は、例えば一つ以上の有線または無線の通信インタフェースユニットを含んでおり、ネットワークＮＥＴで使用される通信プロトコルに従い、映像解析機能部２０及び監視端末４０との間で各種情報の送受信を可能にする。

プログラムメモリ３０１Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの随時書込み及び読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用したもので、ＣＰＵなどのハードウェアプロセッサ３０１Ａが実行することで、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを記憶している。すなわち、ハードウェアプロセッサ３０１Ａは、プログラムメモリ３０１Ｂに記憶されたプログラムを読み出して実行することで、図３に示すような検索用人検知結果保存機能部３３及び検知／追跡結果判定機能部３４として機能することができる。なお、これらの処理機能部は、それぞれ別個のハードウェアプロセッサで実現されても良い。すなわち、Ｗｅｂサーバ３０は、複数のハードウェアプロセッサを備えていても良い。また、これらの処理機能部の少なくとも一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）、ＧＰＵ（Graphics Processing Unit）などの集積回路を含む、他の多様なハードウェア回路の形式で実現されても良い。また、プログラムメモリ３０１Ｂに記憶されるプログラムは、図３に示すようなＷｅｂアプリケーションを含むことができる。

記憶装置３０２は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤなどの随時書込み及び読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）などの揮発性メモリとを組み合わせて使用したもので、人物追跡処理を行う過程で取得及び作成された各種データを記憶するために用いられる。また、記憶装置３０２には、図３に示すようなファイルサーバ３１及びＤＢサーバ３２を構成することができる。

（２）動作
次に、以上のように構成された人物追跡システムの動作を説明する。

（２－１）監視動作
監視端末４０でＷｅｂブラウザ４１が起動されてＷｅｂサーバ３０に対するアクセス操作がなされると、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供するログイン機能部３５１により、認証動作を実施する。そして、正規ユーザであることが確認されたならば、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する監視機能部３５２により、Ｗｅｂブラウザ４１での閲覧用の監視画面を生成して、Ｗｅｂブラウザ４１へ送信する。監視画面は、以下のようにして生成されることができる。

複数台の監視カメラ１０はそれぞれ、監視画像を定期的に取得し、取得した監視画像を対応する映像解析機能部２０に入力する。映像解析機能部２０の画像取得モジュール２１は、対応する監視カメラ１０からの監視画像であるフレーム画像を取得し、人検知情報抽出機能部２２は、そのフレーム画像に写っている人物の全身画像、その全身画像の領域位置、全身特徴量及び顔特徴量を抽出する。そして、映像解析機能部２０は、それらフレーム画像、全身画像、全身画像の領域位置、全身特徴量及び顔特徴量をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。

Ｗｅｂサーバ３０は、複数の映像解析機能部２０のそれぞれから送信されてきたフレーム画像、全身画像、全身特徴量及び顔特徴量を、過去検索用データとして、ファイルサーバ３１の過去検索用データ記憶部３１１に蓄積する。またこのとき、Ｗｅｂサーバ３０の検索用人検知結果保存機能部３３は、複数の映像解析機能部２０のそれぞれから送信されてきた全身画像の領域位置を含む過去検索用データテーブルを作成して、ＤＢサーバ３２の過去検索用データテーブル記憶部３２２に記憶させる。こうして、各監視カメラ１０での監視画像の取得毎に、過去検索用データ記憶部３１１に過去検索用データが蓄積されていくと共に、過去検索用データテーブル記憶部３２２にそれら過去検索用データに紐付いた過去検索用データテーブルが蓄積されていく。

監視機能部３５２は、こうして過去検索用データ記憶部３１１に蓄積されていく各監視カメラ１０からのフレーム画像を、一つの画面に並べることで、監視画面を生成することができる。監視端末４０のＷｅｂブラウザ４１に表示されたこの監視画面を閲覧することで、警備員等の監視者は、施設内の各部のリアルタイムな状況を把握することが可能となる。

一方、各映像解析機能部２０の監視／追跡実行機能部２３は、サーバ内通信やＷｅｂｓｏｃｋｅｔ等によりファイルサーバ３１にアクセスし、そこに事前に記憶されている複数の監視対象者それぞれの顔特徴量と、人検知情報抽出機能部２２が抽出した顔特徴量と、の類似度を算出する。そして、監視／追跡実行機能部２３は、算出した各監視対象者の顔特徴量との類似度をサーバ内通信やＷｅｂｓｏｃｋｅｔ等によりＷｅｂサーバ３０に送信する。

Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４は、複数の映像解析機能部２０のそれぞれから送信されてきた類似度を、カメラ情報テーブル記憶部３２１の対応する監視カメラ１０のカメラ情報テーブル３２１１に記憶された顔照合閾値及び全身照合閾値と比較する。そして、類似度が閾値よりも大きい場合には、検知／追跡結果判定機能部３４は、人検知情報抽出機能部２２が抽出した顔特徴量を有する人物が監視対象であるとして、検知アラート画面を生成する。さらに、検知／追跡結果判定機能部３４は、検知履歴データ記憶部３１２に検知履歴データとして、検知顔画像３１２１と顔特徴量３１２２を記憶させると共に、検知履歴テーブル３２３１を生成して、それを検知履歴テーブル記憶部３２３に記憶させる。

監視機能部３５２は、こうして検知／追跡結果判定機能部３４が生成した検知アラート画面を、ネットワークＮＥＴを介してＷｅｂブラウザ４１に送信して、表示させる。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート画面を表示する。

図１２は、Ｗｅｂブラウザ４１に表示される検知アラート画面４２の一例を示す図である。検知アラート画面４２は、検知された人物毎の検知人物カード４２１を含む。この検知人物カード４２１は、その表示内容として、監視対象者顔画像４２１１、検知顔画像４２１２、注意喚起メッセージ４２１３、検知ＩＤ４２１４、類似度４２１５、検知情報４２１６、及び、追跡開始ボタン４２１７を含むことができる。

ここで、監視対象者顔画像４２１１は、ファイルサーバ３１に事前に記憶されていた監視対象者の顔画像であり、検知顔画像４２１２は、その監視対象者であると検知された人物の、検知履歴データ記憶部３１２に記憶された検知顔画像３１２１である。注意喚起メッセージ４２１３は、監視者の注意を促すためのメッセージであり、点滅表示灯の識別表示を行うようにしても良い。検知ＩＤ４２１４は、過去検索用データテーブル３２２１または検知履歴テーブル３２３１から転記される識別情報である。類似度４２１５は、監視対象者の顔画像と検知された人物の顔画像との類似度である。検知情報４２１６は、過去検索用データテーブル３２２１または検知履歴テーブル３２３１における検知カメラＩＤに基づく検出カメラ場所情報と、同じく検知日時に基づく検出日時情報と、を含む。追跡開始ボタン４２１７は、当該人物を追跡する場合に押下されるボタンである。

なお、この検知人物カード４２１は、監視対象人物として新たに人物が検知される毎に、検知アラート画面４２の最上位に表示されるように、古い検知人物カード４２１が下方にシフトされていく。同一人物については新たな検知人物カード４２１は追加されない。一つの検知人物カード４２１を選択することで、検知履歴データ記憶部３１２及び検知履歴テーブル記憶部３２３に記憶されている当該人物の履歴が一覧表示される。

（２－２）追跡動作
監視者が検知アラート画面４２の追跡開始ボタン４２１７の押下操作を行うと、Ｗｅｂサーバ３０は、Ｗｅｂアプリケーション３５が提供する追跡機能部３５３により、映像解析機能部２０及び検知／追跡結果判定機能部３４を利用して、当該人物を追跡した追跡結果を、Ｗｅｂブラウザ４１に提示させていく。この追跡動作は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理と、映像解析機能部２０の監視／追跡実行機能部２３による監視／追跡処理と、検知／追跡結果判定機能部３４による検知／追跡結果判定処理と、追跡機能部３５３の検知アラート出力機能部３５３２による検知アラート出力処理と、を含む。

図１３は、追跡機能部３５３の画像登録機能部３５３１による画像登録処理の処理手順を示すフローチャートである。画像登録機能部３５３１は、定期的に、例えば監視カメラ１０の監視画像の取得間隔に同期して、このフローチャートに示す処理を実施する。

画像登録機能部３５３１は、まず、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート画面４２における追跡開始ボタン４２１７の押下操作が行われたか否か判断する（ステップＳ１１）。追跡開始ボタン４２１７の押下操作が行われていないと判断した場合には、画像登録機能部３５３１は、この画像登録処理を終了する。

これに対して、追跡開始ボタン４２１７の押下操作が行われたと判断した場合には、画像登録機能部３５３１は、その人物の顔画像を追跡用顔画像として取得する（ステップＳ１２）。すなわち、画像登録機能部３５３１は、検知アラート画面４２の検知ＩＤを有する検知履歴テーブル記憶部３２３のトラッキングＩＤに基づいて、検知履歴データ記憶部３１２から検知顔画像３１２１を追跡用顔画像として取得する。例えば、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１の内、検知日時が特定時期のもの、例えば最新のものに記載された検知ＩＤで特定される検知顔画像３１２１を取得することができる。特定時期としては、最新に限らず、最古、指定期間の間での最新又は最古、季節（春夏秋冬など）であって良い。或いは、画像登録機能部３５３１は、当該トラッキングＩＤを有する検知履歴テーブル３２３１のそれぞれに記載された検知ＩＤで特定される検知顔画像３１２１を一覧形式で含む選択画面を生成し、それをＷｅｂブラウザ４１に表示させて、監視者に追跡用顔画像とする検知顔画像３１２１を選択させるようにしても良い。そして、画像登録機能部３５３１は、取得した追跡用顔画像を、管理データ記憶部３１３に登録顔画像３１３１として記憶させる。また、画像登録機能部３５３１は、ＤＢサーバ３２に事前に記憶されている図示しない監視対象者テーブルに記載された該当の監視対象者に関する情報に基づいて管理テーブル３２４１を作成し、それを管理テーブル記憶部３２４に記憶させる。管理テーブル３２４１は、管理データ記憶部３１３における登録顔画像３１３１の記憶パスを示すクエリ顔特徴パスを含む。

そして、画像登録機能部３５３１は、追跡用顔画像として検知履歴データ記憶部３１２から取得された検知顔画像３１２１に対応する全身画像を追跡用全身画像として取得する（ステップＳ１３）。すなわち、画像登録機能部３５３１は、その追跡用顔画像として取得された検知顔画像３１２１について検知履歴テーブル３２３１に記載された検知ＩＤに基づいて、過去検索用データ記憶部３１１から全身画像３１１２を追跡用全身画像として取得する。画像登録機能部３５３１は、この取得した追跡用全身画像を、管理データ記憶部３１３に登録全身画像３１３３として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、管理データ記憶部３１３における登録全身画像３１３３の記憶パスを示すクエリ全身特徴パスを追記する。

さらに、画像登録機能部３５３１は、追跡用顔画像特徴量と追跡用全身画像特徴量を取得する（ステップＳ１４）。すなわち、画像登録機能部３５３１は、上記検知ＩＤに基づいて、検知履歴データ記憶部３１２から顔特徴量３１２２を追跡用顔特徴量として取得し、また、過去検索用データ記憶部３１１から全身特徴量３１１３を追跡用全身特徴量として取得する。画像登録機能部３５３１は、これら取得した追跡用顔特徴量及び追跡用全身特徴量を、管理データ記憶部３１３に顔特徴量３１３２及び全身特徴量３１３４として記憶させる。また、画像登録機能部３５３１は、管理テーブル記憶部３２４に記憶されている管理テーブル３２４１に、それら特徴量記憶パスを示す顔特徴量ファイルパス及び全身特徴量ファイルパスを追記する。

そして、画像登録機能部３５３１は、管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３を追跡用画像として、また、顔特徴量３１３２及び全身特徴量３１３４を追跡用特徴量として、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、複数の映像解析機能部２０のそれぞれへ送信する（ステップＳ１５）。その後、画像登録機能部３５３１は、この画像登録処理を終了する。

図１４は、映像解析機能部２０の監視／追跡実行機能部２３による監視／追跡処理の処理手順を示すフローチャートである。監視／追跡実行機能部２３は、定期的に、このフローチャートに示す処理を実施する。このフローチャートに示す処理を実施する時間間隔は、例えば、数秒おきというように、任意の時間間隔とすることができる。或いは、監視／追跡実行機能部２３は、監視カメラ１０の監視画像の取得間隔の整数倍の時間間隔で、このフローチャートに示す処理を実施するようにしても良い。

監視／追跡実行機能部２３は、まず、Ｗｅｂサーバ３０の画像登録機能部３５３１から追跡用画像と特徴量を受信したか否か判断する（ステップＳ２１）。追跡用画像と特徴量を受信していないと判断した場合には、監視／追跡実行機能部２３は、この監視／追跡処理を終了する。

これに対して、追跡用画像と特徴量を受信したと判断した場合には、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻ｔの全身画像とその特徴量とを、照合用全身画像と照合用全身特徴量として取得する（ステップＳ２２）。対応する監視カメラ１０の監視画像に複数の人物の全身画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用全身画像と照合用全身特徴量を取得する。

そして、監視／追跡実行機能部２３は、全身照合モジュール２３１により、人検知情報抽出機能部２２からの照合用全身特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用全身特徴量との類似度である全身画像類似度を算出する（ステップＳ２３）。

また、監視／追跡実行機能部２３は、人検知情報抽出機能部２２から、時刻ｔの顔画像とその特徴量とを、照合用顔画像と照合用顔特徴量として取得する（ステップＳ２４）。対応する監視カメラ１０の監視画像に複数の人物の顔画像が含まれる場合には、監視／追跡実行機能部２３は、それぞれの人物について、照合用顔画像と照合用顔特徴量を取得する。なお、人物の向きによって、全身画像は抽出できても顔画像が抽出できない場合も有る。よって、上記ステップＳ２２で取得される照合用全身画像の数とこのステップＳ２４で取得する照合用顔画像の数とは一致するとは限らない。また、一人も顔画像が抽出できず、照合用顔画像（及び照合用顔特徴量）が取得されない場合もあり得る。

そして、監視／追跡実行機能部２３は、顔照合モジュール２３２により、人検知情報抽出機能部２２からの照合用顔特徴量のそれぞれについて、画像登録機能部３５３１からの追跡用顔特徴量との類似度である顔画像類似度を算出する（ステップＳ２５）。

その後、監視／追跡実行機能部２３は、それら全身画像及び顔画像についての類似度と照合用画像とのセットを、サーバ内通信やＷｅｂｓｏｃｋｅｔ等により、Ｗｅｂサーバ３０の検知／追跡結果判定機能部３４へ送信する（ステップＳ２６）。なお、類似度と照合用画像のセットは、全身画像類似度と照合用全身画像とのセットと顔画像類似度と照合用顔画像とのセットとの両方を含む場合も有れば、顔画像類似度と照合用顔画像とのセットの無い全身画像類似度と照合用全身画像とのセットのみを含む場合もあり得る。

そして、監視／追跡実行機能部２３は、監視端末４０において、監視者によってＷｅｂブラウザ４１に表示される検知アラート出力画面における追跡停止ボタンの押下操作が行われたか否か判断する（ステップＳ２７）。追跡停止ボタンを有する検知アラート出力画面の詳細については、後述する。追跡停止ボタンの押下操作が行われたと判断した場合には、監視／追跡実行機能部２３は、この監視／追跡処理を終了する。

また、追跡停止ボタンの押下操作が行われていないと判断した場合には、監視／追跡実行機能部２３は、時刻ｔを「＋１」して、すなわち、次の処理タイミングとなるのを待った後（ステップＳ２８）、上記ステップＳ２２から上記の処理を繰り返す。

図１５は、検知／追跡結果判定機能部３４による検知／追跡結果判定処理の処理手順を示すフローチャートである。検知／追跡結果判定機能部３４は、定期的に、例えば映像解析機能部２０の監視／追跡実行機能部２３の処理間隔に同期して、このフローチャートに示す処理を実施する。

検知／追跡結果判定機能部３４は、まず、監視／追跡実行機能部２３から類似度と照合用画像のセットを受信したか否か判断する（ステップＳ３１）。類似度と照合用画像のセットを受信していないと判断した場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。

これに対して、類似度と照合用画像のセットを受信したと判断した場合には、検知／追跡結果判定機能部３４は、顔照合閾値と全身照合閾値を取得する（ステップＳ３２）。すなわち、検知／追跡結果判定機能部３４は、カメラ情報テーブル記憶部３２１に記憶されている、それら類似度と照合用画像のセットの送信元である映像解析機能部２０に対応する監視カメラ１０についてのカメラ情報テーブル３２１１から、顔照合閾値と全身照合閾値を取得する。

そして、検知／追跡結果判定機能部３４は、受信した全身画像類似度のそれぞれについて、取得した全身照合閾値と比較し、全身照合閾値よりも大きいか全身画像類似度が有るか否か判断する（ステップＳ３３）。全身照合閾値よりも大きい全身画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その大きいと判断された全身画像類似度を、上記ステップＳ３１で受信した対応する照合用全身画像と共に、記憶装置３０２の所定の記憶領域に保存しておく（ステップＳ３４）。すなわち、全身照合閾値よりも大きい全身画像類似度を持つ人物は追跡対象者であるとして、その照合用全身画像と全身画像類似度を保存する。

その後、或いは上記ステップＳ３３において全身照合閾値よりも大きい全身画像類似度が無いと判断した場合、検知／追跡結果判定機能部３４は、受信した顔画像類似度のそれぞれについて、取得した顔照合閾値と比較し、顔照合閾値よりも大きい顔画像類似度が有るか否か判断する（ステップＳ３５）。顔照合閾値よりも大きい顔画像類似度が有ると判断した場合には、検知／追跡結果判定機能部３４は、その大きいと判断された顔画像類似度を、対応する照合用顔画像と共に、記憶装置３０２に保存しておく（ステップＳ３６）。すなわち、顔照合閾値よりも大きい顔画像類似度を持つ人物は追跡対象者であるとして、その照合用顔画像と顔画像類似度を保存する。

その後、或いは上記ステップＳ３５において顔照合閾値よりも大きい顔画像類似度が無いと判断した場合には、検知／追跡結果判定機能部３４は、さらに、照合用画像と類似度を保存済みであるか否か判断する（ステップＳ３７）。照合用画像と類似度を保存済みではないと判断した場合、すなわち追跡対象者が存在しない場合には、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。

これに対して、照合用画像と類似度を保存済みであると判断した場合には、検知／追跡結果判定機能部３４は記憶装置３０２の所定の記憶領域に保存されている情報に基づいて、表示用結果を作成する（ステップＳ３８）。そして、検知／追跡結果判定機能部３４は、その作成した表示用結果を、検知アラート出力機能部３５３２へ送信する（ステップＳ３９）。その後、検知／追跡結果判定機能部３４は、この検知／追跡結果判定処理を終了する。

追跡機能部３５３の検知アラート出力機能部３５３２は、図示しないアラート出力処理により、検知／追跡結果判定機能部３４から送られてきた表示用結果に基づいて、検知アラート出力画面を生成する。そして、検知アラート出力機能部３５３２は、それをネットワークＮＥＴを介して監視端末４０に送信し、Ｗｅｂブラウザ４１に表示させる。Ｗｅｂブラウザ４１では、監視画面の一部に設けられたアラート画面表示領域に、或いは、監視画面とは別のウィンドウを開いて、この検知アラート出力画面を表示する。

図１６は、Ｗｅｂブラウザ４１に表示される検知アラート出力画面４３の一例を示す図である。検知アラート出力画面４３は、追跡するべき追跡対象者毎に表示される。検知アラート出力画面４３は、追跡対象者情報領域４３１と、経過時間情報領域４３２と、追跡情報カード４３３と、を含む。

追跡対象者情報領域４３１は、追跡対象に関する情報を表示する領域である。この追跡対象者情報領域４３１は、注意喚起メッセージ４３１１、検知ＩＤ４３１２、登録画像４３１３、検知情報４３１４、過去検知画像４３１５、不審者ＩＤ４３１６、危険度種別４３１７、説明文４３１８、及び、追跡停止ボタン４３１９を含む。

ここで、注意喚起メッセージ４３１１は、監視者の注意を促すためのメッセージであり、例えば、追跡対象者として指定された監視対象者の危険度種別を表示することができる。この危険度種別は、管理テーブル３２４１から転記されることができる。検知ＩＤ４３１２は、管理テーブル３２４１から転記される識別情報である。登録画像４３１３は、追跡対象者の管理データ記憶部３１３に記憶された登録顔画像３１３１及び登録全身画像３１３３である。検知情報４３１４は、検知履歴テーブル３２３１における検知カメラＩＤに基づく検出カメラ場所情報及び検知日時に基づく検出日時情報を含む。この検知情報４３１４の表示は、新しい監視カメラ１０の監視画像から追跡対象者が検知される毎に、その検出カメラ場所情報と検出日時情報とが追加されていく。過去検知画像４３１５は、過去検索用データ記憶部３１１または検知履歴データ記憶部３１２に記憶されている、当該人物の顔画像または全身画像である。当該人物が過去に検知されたことがない場合には、この過去検知画像４３１５は、ブランクとされる。不審者ＩＤ４３１６、危険度種別４３１７及び説明文４３１８は、管理テーブル３２４１から転記されることができる。追跡停止ボタン４３１９は、当該人物の追跡を終了する場合に押下されるボタンである。

また、経過時間情報領域４３２は、検知アラート画面４２の追跡開始ボタン４２１７が押下されてからの経過時間を表示する領域である。

また、追跡情報カード４３３は、検知／追跡結果判定機能部３４の表示用結果を提示するものであり、検知／追跡結果判定機能部３４が表示用結果を出力する毎に、検知アラート出力画面４３の最上位に追加表示されていく。古い追跡情報カード４３３は順次下方にシフトされていく。この追跡情報カード４３３は、その表示内容として、検出日時情報４３３１、検出カメラ場所情報４３３２、検出画像４３３３、画像類似度情報４３３４、及び、検出背景画像４３３５を含む。

ここで、検出日時情報４３３１は、当該追跡対象者が何れかの監視カメラ１０の監視画像から検知された日時情報である。検出カメラ場所情報４３３２は、その検知した監視カメラＩＤに基づくカメラ場所情報である。検出画像４３３３は、検知されて保存された追跡対象者の照合用顔画像及び／または照合用全身画像である。画像類似度情報４３３４は、検知されて保存された顔画像類似度及び／または全身画像類似度である。検出背景画像４３３５は、照合用顔画像及び／または照合用全身画像を抽出した元の監視画像であるフレーム画像である。このフレーム画像は、過去検索用データ記憶部３１１に記憶されているフレーム画像３１１１が用いられる。

図１７は、Ｗｅｂブラウザ４１に表示される検知アラート出力画面４３の別の例を示す図である。図１６の検知アラート出力画面４３は、追跡対象者の顔と全身が検知された場合の例を示しているが、図１７は、そこから当該追跡対象者が移動して、別の監視カメラ１０の監視画像により、全身画像から当該追跡対象者が検知された場合を示している。ここでは、顔画像からは追跡対象者が検知されていないので、検出画像４３３３には全身画像のみが表示され、また、画像類似度情報４３３４についても全身画像類似度のみが表示されている。このように、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、追跡対象者を追跡することができる。

（２－３）過去検索動作
追跡機能部３５３による追跡動作は、リアルタイムで追跡対象者を追跡する機能である。一方で、過去に特定の人物が当該施設に来訪していないか調査したい場合が存在する。

そこで、過去検索機能部３５４は、Ｗｅｂブラウザ４１からの時間及び場所の指定を受けて、過去検索用データテーブル記憶部３２２に記憶されている過去検索用データテーブル３２２１に基づいて、過去検索用データ記憶部３１１からその指定された時間・場所に来訪した人物の全身画像３１１２を抽出する。そして、その抽出した全身画像３１１２を一覧表示した選択画面を作成し、Ｗｅｂブラウザ４１に表示させる。

Ｗｅｂブラウザ４１から検索する人物の選択指定を受けて、過去検索機能部３５４は、その選択指定された全身画像３１１２を追跡用全身画像とし、また、リアルタイムの監視カメラ１０からの監視画像に代えて指定された時間・場所についての過去検索用データ記憶部３１１に記憶されたフレーム画像３１１１を対象として、追跡機能部３５３と同様の動作を行う。

これにより、過去検索機能部３５４は、過去検索用データ記憶部３１１に記憶されている過去の来訪者の中から、選択指定された人物に類似する人物を検索し、その結果を検知アラート出力画面４３としてＷｅｂブラウザ４１に表示させることができる。

（３）効果
以上詳述したように一実施形態に係る人物追跡装置では、登録部としての画像登録機能部３５３１によって、追跡を行うべき追跡対象者の顔画像及び全身画像を登録する。そして、検知部としての検知／追跡結果判定機能部３４により、複数台の監視カメラ１０それぞれで定期的に取得した監視画像のそれぞれについて、登録された顔画像に類似する顔画像と、登録された全身画像に類似する全身画像と、の少なくとも一方を検知し、出力部としての検知アラート出力機能部３５３２によって、その検知した顔画像及び全身画像の少なくとも一方を出力する。よって、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、全身画像を利用して追跡対象者を追跡できるようになる。

なお、画像登録機能部３５３１は、監視者が操作する監視端末４０から追跡対象者の顔画像の指定を受け付け、指定された顔画像とその顔画像に対応する全身画像とを、追跡用顔画像及び追跡用全身画像として登録し、検知／追跡結果判定機能部３４は、監視画像のそれぞれについて、登録された追跡用顔画像に類似する顔画像と、登録された追跡用全身画像に類似する全身画像と、の少なくとも一方を検知する。このように、監視端末４０から追跡用顔画像及び追跡用全身画像を容易に登録することができる。登録する画像は、監視画像から抽出したものを指定しても良いし、写真や画像ファイル等を監視端末で読み込むようにしても良い。

また、人物追跡装置は、更に、監視画像のそれぞれから人物の全身画像を抽出し、全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、顔画像からその特徴量である顔特徴量を抽出する抽出部としての人検知情報抽出機能部２２が抽出した、全身画像、全身特徴量及び顔特徴量を、人検知情報抽出機能部２２から取得して、それら取得した全身画像、全身特徴量及び顔特徴量を監視画像と共に蓄積する画像蓄積部であるファイルサーバ３１を備えることができる。また、画像登録機能部３５３１は、監視者が操作する監視端末４０から追跡対象者の顔画像の指定を受け付け、その指定された顔画像に対応するファイルサーバ３１に蓄積された全身画像、全身特徴量及び顔特徴量と、顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録する。そして、検知／追跡結果判定機能部３４は、画像登録機能部３５３１による登録の時点からファイルサーバ３１に蓄積されていく監視画像を照合用画像として、照合用画像それぞれについての、人検知情報抽出機能部２２が抽出した全身特徴量と追跡用全身特徴量との類似度である全身画像類似度、及び、人検知情報抽出機能部２２が抽出した顔特徴量と追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出部としての監視／追跡実行機能部２３から、当該監視／追跡実行機能部２３が算出した全身画像類似度及び顔画像類似度と追跡用顔画像及び追跡用全身画像とのセットを取得し、全身画像類似度及び顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、閾値よりも大きい場合に、人検知情報抽出機能部２２が照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、照合用画像としての監視画像を取得した監視カメラ１０の位置情報とを、画像登録機能部３５３１によって登録された追跡用全身画像及び追跡用顔画像と共に表示するための表示用結果を作成する。検知アラート出力機能部３５３２は、検知／追跡結果判定機能部３４によって作成された表示用結果を監視端末４０に送信して、監視端末４０に表示用結果を表示させる。よって、特徴量の類似度に基づいて、照合用画像から容易に追跡用画像に類似する顔または全身を持つ人物を検知して追跡することができる。

なお、検知／追跡結果判定機能部３４は、表示用結果に、さらに、全身画像類似度及び顔画像類似度の少なくとも一方の表示を含めるようにしても良い。これにより、検知された人物がどの程度類似した人物であるのかを容易に把握できるようになる。

また、検知／追跡結果判定機能部３４は、表示用結果に、さらに、照合用画像の表示を含めても良い。これにより、検知された人物の画像を閲覧して、どの程度類似した人物であるのかを容易に把握できるようになる。

なお、画像登録機能部３５３１は、登録の時点以前にファイルサーバ３１に蓄積されていた追跡対象者についての全身画像、全身特徴量及び顔特徴量の中から、特定時期に蓄積された、例えば最新の、全身画像、全身特徴量及び顔特徴量を、追跡用全身画像、追跡用全身特徴量及び追跡用顔特徴量として登録することができる。これにより、最新の画像に基づいて人物を追跡することができる。

或いは、画像登録機能部３５３１は、登録の時点以前にファイルサーバ３１に蓄積されていた追跡対象者についての全身画像、全身特徴量及び顔特徴量の中から、登録する追跡用全身画像、追跡用全身特徴量及び追跡用顔特徴量の選択を、監視端末４０から受け付けるようにしても良い。これにより、最も当該人物を把握しやすい画像を指定でき、ご見地の可能性を少なくすることができる。

また、一実施形態に係る人物追跡システムは、一実施形態に係る人物追跡装置と、複数台の監視カメラ１０と、監視者が操作する監視端末４０と、人検知情報抽出機能部２２及び監視／追跡実行機能部２３を備える解析部としての映像解析機能部２０と、を備えることができる。

なお、人検知情報抽出機能部２２は、監視画像から全身画像を抽出する全身画像抽出部としての全身検出モジュール２２１と、全身検出モジュール２２１によって抽出された全身画像から全身特徴量を抽出する全身特徴量抽出部としての全身特徴量抽出モジュール２２３と、全身検出モジュール２２１によって抽出された全身画像から顔画像を抽出する顔画像抽出部としての顔検出モジュール２２４と、顔検出モジュール２２４によって抽出された顔画像から顔特徴量を抽出する顔特徴量抽出部としての顔特徴量抽出モジュール２２５と、を含むことがでる。このように専用のモジュールを有することで、全身画像、全身特徴量、顔画像及び顔特徴量を容易に抽出することができる。

また、監視／追跡実行機能部２３は、照合用画像それぞれについての全身特徴量抽出モジュール２２３によって抽出された全身特徴量と画像登録機能部３５３１によって登録された全身特徴量との類似度である全身画像類似度を算出する全身類似度算出部としての全身照合モジュール２３１と、照合用画像のそれぞれについての顔特徴量抽出モジュール２２５によって抽出された顔特徴量と画像登録機能部３５３１によって登録された顔特徴量との類似度である顔画像類似度を算出する顔類似度算出部としての顔照合モジュール２３２と、を含むことができる。このように専用のモジュールを有することで、全身画像類似度と顔画像類似度を容易に算出することができる。

また、一実施形態に係る人物追跡方法は、複数台の監視カメラ１０が取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、コンピュータであるＷｅｂサーバ３０が、複数台の監視カメラ１０それぞれで定期的に取得した監視画像を記憶装置であるファイルサーバ３１に蓄積させ、監視画像のそれぞれから人物の全身画像を抽出し、全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、顔画像からその特徴量である顔特徴量を抽出する抽出装置である映像解析機能部２０の人検知情報抽出機能部２２から、当該人検知情報抽出機能部２２が抽出した全身画像、全身特徴量及び顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量をファイルサーバ３１に蓄積させ、監視者が操作する監視端末４０からの追跡を行うべき追跡対象者の顔画像の指定を受け付け、その指定された顔画像に対応するファイルサーバ３１に蓄積された全身画像、全身特徴量及び顔特徴量と、顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、登録の時点からファイルサーバ３１に蓄積されていく監視画像を照合用画像として、照合用画像それぞれについての、人検知情報抽出機能部２２が抽出した全身特徴量と追跡用全身特徴量との類似度である全身画像類似度、及び、人検知情報抽出機能部２２が抽出した顔特徴量と追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出装置である映像解析機能部２０の監視／追跡実行機能部２３から、当該監視／追跡実行機能部２３が算出した全身画像類似度及び顔画像類似度と追跡用顔画像及び追跡用全身画像とのセットを取得し、照合用画像それぞれについての全身画像類似度及び顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、全身画像類似度及び顔画像類似度の少なくとも一方が対応する閾値よりも大きい場合に、照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、照合用画像としての監視画像を取得した監視カメラ１０の位置情報とを、登録された追跡用全身画像及び追跡用顔画像と共に表示するための表示用結果を作成し、作成した表示用結果を監視端末４０に送信して、監視端末４０に表示用結果を表示させるようにしている。よって、監視カメラ１０により追跡対象者の顔画像が取得できない場合でも、全身画像を利用して追跡対象者を追跡できるようになる。

［他の実施形態］
前記一実施形態では、全身画像特徴量及び顔画像特徴量として、人物自体の属性情報を数値化したものとしたが、これに限定するものではない。全身特徴量は、例えば、服装、持ち物（バッグの種類や色、ベビーカー、等）、装飾品（サングラス、マスク、等）、等の人に付随する付随情報を数値化したものを含んでも良い。さらに、全身特徴量は、発熱情報、脈拍、等の画像から得られる又は他のセンサから得られる人の内部情報を数値化したものを含んでも良い。また、顔特徴量は、装飾品（メガネ、帽子、等）等の顔に付随する付随情報を数値化したものを含んでも良い。

また、全身画像特徴量及び顔画像特徴量は人物自体の属性情報を数値化したもののみとし、それら付随情報を数値化したものや人の内部情報を数値化したものを別の特徴量として、全身画像特徴量及び顔画像特徴量と同様の検知基準の一つとして、その別の特徴量を使用するようにしても良い。

また、前記一実施形態では、ファイルサーバ３１の過去検索用データ記憶部３１１に、過去検索用データとしてフレーム画像３１１１、全身画像３１１２、全身特徴量３１１３及び顔特徴量３１１４を記憶していくものとしたが、顔特徴量３１１４を抽出する元となった顔画像も記憶するようにしても良い。

また、映像解析機能部２０は、監視画像であるフレーム画像から先ず人物の全身画像を抽出し、その抽出した全身画像から顔画像を抽出するものとしたが、これとは逆に、先ずフレーム画像から人物の顔画像を抽出し、その抽出した顔画像を含む全身画像をフレーム画像から抽出するものであっても良い。

また、図１３乃至図１５のフローチャートに示した処理ステップの順序は一例であり、この順に限定するものではない。例えば、図１４において、ステップＳ２２及びＳ２３の処理とステップＳ２４及びＳ２５の処理とは、順番が逆でも良いし、並行して行っても良い。また、図１５において、ステップＳ３３及びＳ３４の処理とステップＳ３５及びＳ３６の処理とについても、その順番は逆でも良い。このように、各処理ステップは、先行の又は後続する処理ステップと齟齬が生じない限り、処理順序を変更して構わない。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。

１０…監視カメラ
２０…映像解析機能部
２１…画像取得モジュール
２２…人検知情報抽出機能部
２３…監視／追跡実行機能部
３０…Ｗｅｂサーバ
３１…ファイルサーバ
３２…データベース（ＤＢ）サーバ
３３…検索用人検知結果保存機能部
３４…検知／追跡結果判定機能部
３５…Ｗｅｂアプリケーション
４０…監視端末
４１…Ｗｅｂブラウザ
４２…検知アラート画面
４３…検知アラート出力画面
２２１…全身検出モジュール
２２２…領域追跡モジュール
２２３…全身特徴量抽出モジュール
２２４…顔検出モジュール
２２５…顔特徴量抽出モジュール
２３１…全身照合モジュール
２３２…顔照合モジュール
３０１Ａ…ハードウェアプロセッサ
３０１Ｂ…プログラムメモリ
３０２…記憶装置
３０３…通信インタフェース装置
３０４…バス
３１１…過去検索用データ記憶部
３１２…検知履歴データ記憶部
３１３…管理データ記憶部
３２１…カメラ情報テーブル記憶部
３２２…過去検索用データテーブル記憶部
３２３…検知履歴テーブル記憶部
３２４…管理テーブル記憶部
３５１…ログイン機能部
３５２…監視機能部
３５３…追跡機能部
３５４…過去検索機能部
４２１…検知人物カード
４３１…追跡対象者情報領域
４３２…経過時間情報領域
４３３…追跡情報カード
３１１１…フレーム画像
３１１２…全身画像
３１１３，３１３４…全身特徴量
３１１４，３１２２，３１３２…顔特徴量
３１２１，４２１２…検知顔画像
３１３１…登録顔画像
３１３３…登録全身画像
３２１１…カメラ情報テーブル
３２２１…過去検索用データテーブル
３２３１…検知履歴テーブル
３２４１…管理テーブル
３５３１…画像登録機能部
３５３２…検知アラート出力機能部
４２１１…監視対象者顔画像
４２１３，４３１１…注意喚起メッセージ
４２１４，４３１２…検知ＩＤ
４２１５…類似度
４２１６，４３１４…検知情報
４２１７…追跡開始ボタン
４３１３…登録画像
４３１５…過去検知画像
４３１６…不審者ＩＤ
４３１７…危険度種別
４３１８…説明文
４３１９…追跡停止ボタン
４３３１…検出日時情報
４３３２…検出カメラ場所情報
４３３３…検出画像
４３３４…画像類似度情報
４３３５…検出背景画像
ＮＥＴ…ネットワーク
ＳＶ…サーバ装置

Claims (12)

1. 追跡を行うべき追跡対象者の顔画像及び全身画像を登録する登録部と、
   複数台の監視カメラで取得する監視画像のそれぞれについて、前記登録された顔画像に類似する顔画像と、前記登録された顔画像を抽出した前記全身画像に類似する全身画像と、の少なくとも一方を検知する検知部と、
   前記検知した顔画像及び全身画像の少なくとも一方を出力する出力部と、
   を具備する、人物追跡装置。
2. 前記登録部は、
   監視者が操作する監視端末から前記追跡対象者の顔画像の指定を受け付け、
   前記指定された顔画像とその顔画像に対応する全身画像とを、追跡用顔画像及び追跡用全身画像として登録し、
   前記検知部は、前記監視画像のそれぞれについて、前記登録された追跡用顔画像に類似する顔画像と、前記登録された追跡用全身画像に類似する全身画像と、の少なくとも一方を検知する、請求項１に記載の人物追跡装置。
3. 前記監視画像のそれぞれから人物の全身画像を抽出し、前記全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、前記顔画像からその特徴量である顔特徴量を抽出する抽出部から、前記抽出部が抽出した前記全身画像、前記全身特徴量及び前記顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量を前記監視画像と共に蓄積する画像蓄積部を更に具備し、
   前記登録部は、
   監視者が操作する監視端末から前記追跡対象者の顔画像の指定を受け付け、
   その指定された顔画像に対応する前記画像蓄積部に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量と、前記顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、
   前記検知部は、
   前記登録部による登録の時点から前記画像蓄積部に蓄積されていく前記監視画像を照合用画像として、前記照合用画像それぞれについての、前記抽出部が抽出した前記全身特徴量と前記追跡用全身特徴量との類似度である全身画像類似度、及び、前記抽出部が抽出した前記顔特徴量と前記追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出部から、前記類似度算出部が算出した前記全身画像類似度及び前記顔画像類似度と前記追跡用顔画像及び前記追跡用全身画像とのセットを取得し、
   前記全身画像類似度及び前記顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、
   前記閾値よりも大きい場合に、前記抽出部が前記照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、前記照合用画像としての前記監視画像を取得した前記監視カメラの位置情報とを、前記登録部によって登録された前記追跡用全身画像及び前記追跡用顔画像と共に表示するための表示用結果を作成し、
   前記出力部は、前記検知部によって作成された前記表示用結果を前記監視端末に送信して、前記監視端末に前記表示用結果を表示させる、請求項１に記載の人物追跡装置。
4. 前記検知部は、前記表示用結果に、さらに、前記全身画像類似度及び前記顔画像類似度の少なくとも一方の表示を含める、請求項３に記載の人物追跡装置。
5. 前記検知部は、前記表示用結果に、さらに、前記照合用画像の表示を含める、請求項３に記載の人物追跡装置。
6. 前記登録部は、前記登録の時点以前に前記画像蓄積部に蓄積されていた前記追跡対象者についての前記全身画像、前記全身特徴量及び前記顔特徴量の中から、特定時期に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量を、前記追跡用全身画像、前記追跡用全身特徴量及び前記追跡用顔特徴量として登録する、請求項３に記載の人物追跡装置。
7. 前記登録部は、前記登録の時点以前に前記画像蓄積部に蓄積されていた前記追跡対象者についての前記全身画像、前記全身特徴量及び前記顔特徴量の中から、登録する前記追跡用全身画像、前記追跡用全身特徴量及び前記追跡用顔特徴量の選択を、前記監視端末から受け付ける、請求項３に記載の人物追跡装置。
8. 請求項３乃至７の何れかに記載の人物追跡装置と、
   前記複数台の監視カメラと、
   前記監視者が操作する前記監視端末と、
   前記抽出部及び前記類似度算出部を備える解析部と、
   を具備する人物追跡システム。
9. 前記抽出部は、
   前記監視画像から前記全身画像を抽出する全身画像抽出部と、
   前記全身画像抽出部によって抽出された前記全身画像から前記全身特徴量を抽出する全身特徴量抽出部と、
   前記全身画像抽出部によって抽出された前記全身画像から前記顔画像を抽出する顔画像抽出部と、
   前記顔画像抽出部によって抽出された前記顔画像から前記顔特徴量を抽出する顔特徴量抽出部と、
   を含む、請求項８に記載の人物追跡システム。
10. 前記類似度算出部は、
    前記照合用画像それぞれについての前記全身特徴量抽出部によって抽出された前記全身特徴量と前記登録部によって登録された前記全身特徴量との類似度である全身画像類似度を算出する全身類似度算出部と、
    前記照合用画像のそれぞれについての前記顔特徴量抽出部によって抽出された前記顔特徴量と前記登録部によって登録された前記顔特徴量との類似度である顔画像類似度を算出する顔類似度算出部と、
    を含む、請求項９に記載の人物追跡システム。
11. 複数台の監視カメラが取得した監視画像から追跡を行うべき追跡対象者を追跡する人物追跡方法であって、
    コンピュータが、
    前記複数台の監視カメラそれぞれで定期的に取得した前記監視画像を記憶装置に蓄積させ、
    前記監視画像のそれぞれから人物の全身画像を抽出し、前記全身画像からその特徴量である全身特徴量及び人物の顔画像を抽出し、前記顔画像からその特徴量である顔特徴量を抽出する抽出装置から、前記抽出装置が抽出した前記全身画像、前記全身特徴量及び前記顔特徴量を取得し、それら取得した前記全身画像、前記全身特徴量及び前記顔特徴量を前記記憶装置に蓄積させ、
    監視者が操作する監視端末からの追跡を行うべき追跡対象者の顔画像の指定を受け付け、
    その指定された顔画像に対応する前記記憶装置に蓄積された前記全身画像、前記全身特徴量及び前記顔特徴量と、前記顔特徴量を抽出した顔画像とを、追跡用全身画像、追跡用全身特徴量、追跡用顔特徴量及び追跡用顔画像として登録し、
    前記登録の時点から前記記憶装置に蓄積されていく前記監視画像を照合用画像として、前記照合用画像それぞれについての、前記抽出装置が抽出した前記全身特徴量と前記追跡用全身特徴量との類似度である全身画像類似度、及び、前記抽出装置が抽出した前記顔特徴量と前記追跡用顔特徴量との類似度である顔画像類似度を算出する類似度算出装置から、前記類似度算出装置が算出した前記全身画像類似度及び前記顔画像類似度と前記追跡用顔画像及び前記追跡用全身画像とのセットを取得し、
    前記照合用画像それぞれについての前記全身画像類似度及び前記顔画像類似度の少なくとも一方が、対応する閾値よりも大きいか否か判定し、
    前記全身画像類似度及び前記顔画像類似度の少なくとも一方が前記対応する閾値よりも大きい場合に、前記照合用画像から抽出した全身画像である照合用全身画像及び顔画像である照合用顔画像の内の少なくとも一方の類似度に対応する画像と、前記照合用画像としての前記監視画像を取得した前記監視カメラの位置情報とを、前記登録された前記追跡用全身画像及び前記追跡用顔画像と共に表示するための表示用結果を作成し、
    前記作成した前記表示用結果を前記監視端末に送信して、前記監視端末に前記表示用結果を表示させる、
    人物追跡方法。
12. 請求項１乃至７の何れかに記載の人物追跡装置の各部としてコンピュータを動作させる人物追跡プログラム。

Images