JP2010257450A

JP2010257450A - 人物検索装置、人物検索方法、及び人物検索プログラム

Info

Publication number: JP2010257450A
Application number: JP2010084174A
Authority: JP
Inventors: Masaki Murakawa; 正貴村川; Takehiro Mabuchi; 健宏馬渕; Takuo Moriguchi; 拓雄森口; Satoshi Futami; 聡二見
Original assignee: Sohgo Security Services Co Ltd
Current assignee: Sohgo Security Services Co Ltd
Priority date: 2009-03-31
Filing date: 2010-03-31
Publication date: 2010-11-11

Abstract

【課題】撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行う。
【解決手段】撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置において、前記映像に含まれる時系列の各画像に対して人物特徴情報を蓄積する蓄積手段と、前記蓄積手段に対して予め設定される条件に基づいて該当する人物を検索する検索手段と、前記検索手段により得られる検索結果に対応する情報を前記蓄積手段により抽出し、抽出した内容を表示するための画面を生成する画面生成手段と、前記画面生成手段により生成された画面を出力する出力手段とを有し、前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することにより、上記課題を解決する。
【選択図】図１

Description

本発明は、人物検索装置、人物検索方法、及び人物検索プログラムに係り、特に撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うための人物検索装置、人物検索方法、及び人物検索プログラムに関する。

従来、カメラ等の撮像手段により撮影された映像に対して画像処理等を行い、その映像を構成する画像中に含まれる人物を自動的に検出する手法が存在している。その中でも画像中から人物の顔を検出する技術が急速に発達しており、例えば顔の判別精度を向上させるために、入力画像から肌色領域を抽出し、その肌色領域に基づいて、頭頂部、目、口等の顔の特徴点の位置を検出して、その検出結果から肌色領域が顔か否かを判定する画像処理装置が存在している（例えば、特許文献１参照。）。

また、このような顔検出技術は、例えば銀行や百貨店、コンビニエンスストア等の警備対象施設内に設置された監視カメラにより得られる映像に対して処理がなされ、犯罪時の迅速な人物特定や、不審者か否かを検出して犯罪を未然に防止するため等に用いられる。

更に、検出された顔情報を特徴情報と共に蓄積しておき、検索したい人物の顔の特徴を検索条件として指定することで、指定された特徴を有する顔画像を検索する手法が存在する（例えば、特許文献２参照。）。

特開２００４−５３８４号公報特開２００６−３１８３７５号公報

ところで、上述した従来の手法により検出された人物は、画像検索処理において効率的に高精度な検索が行えるように、カメラから読み取れる多種の情報を蓄積しておくことが好ましい。しかしながら、人物の顔情報のみからでは、抽出できる情報に限りがあり、例えばその人物が不審者等の特定の人物であるか否かを判定する場合や、映像中から不審者等の特定人物を検出する場合等には、より詳細な人物情報が必要となる。また、膨大な量を検索対象とするため、その検索条件やデータの蓄積及び検索等について、検索者が簡単な操作で効率的に高精度な人物検索を実現し、更にその結果を効果的に出力するように構築する必要がある。

本発明は、上記の問題点に鑑みてなされたものであって、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うための人物検索装置、人物検索方法、及び人物検索プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置において、前記映像に含まれる時系列の各画像に対して人物特徴情報を蓄積する蓄積手段と、前記蓄積手段に対して予め設定される条件に基づいて該当する人物を検索する検索手段と、前記検索手段により得られる検索結果に対応する情報を前記蓄積手段により抽出し、抽出した内容を表示するための画面を生成する画面生成手段と、前記画面生成手段により生成された画面を出力する出力手段とを有し、前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする。これにより、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

また本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置において、前記撮像手段からリアルタイムに取得された映像に含まれる時系列の各画像に対して、人物特徴情報を抽出し、抽出された前記人物特徴情報と、予め設定される検索条件に基づいて、該当する人物を検索する検索手段と、前記検索手段により得られる検索結果を表示するための画面を生成する画面生成手段と、前記画面生成手段により生成された画面を出力する出力手段とを有し、前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする。これにより、リアルタイムで撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

また本発明では、前記画面生成手段は、前記検索手段により検索された人物に対応する人物特徴情報を用いて検索結果をスコアリングし、スコアリングされた結果に基づいて、表示順序をリアルタイムに変更して表示すると共に、ユーザからの指示により一時停止することを特徴とする。

また本発明では、前記画面生成手段は、前記検索手段により検索された人物が撮影されている映像を表示する映像表示領域と、前記映像の再生中における人物の行動を文字表示するテキスト表示領域とを有することを特徴とする。

また本発明では、前記出力手段は、生成された画面を表示すると共に、印刷出力又はファイル出力することを有することを特徴とする。

また本発明では、前記映像に含まれる人物に対して、顔領域を検出する顔領域検出手段と、前記映像に含まれる人物に対して、人体領域を検出する人体領域検出手段と、前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを用いて時間の異なる複数の画像の人物を同定する同定手段と、前記同定手段により得られる人物の動作を追跡する追跡手段と、前記追跡手段により得られる追跡結果から不審者を検出する不審者検出手段と、前記同定手段により同定された人物の特徴情報を統合する人物情報統合手段と、前記人物情報統合手段により得られる統合結果を、前記映像を構成する画像フレーム毎に生成するフレーム情報生成手段とを有することを特徴とする。

更に本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示するための人物検索方法において、前記映像に含まれる時系列の各画像に対して人物特徴情報を蓄積手段に蓄積する蓄積手順と、前記蓄積手段に対して予め設定される条件に基づいて該当する人物を検索する検索手順と、前記検索手順により得られる検索結果に対応する情報を前記蓄積手段により抽出し、抽出した内容を表示するための画面を生成する画面生成手順と、前記画面生成手順により生成された画面を出力する出力手順とを有し、前記画面生成手順は、前記検索手順により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする。これにより、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

また本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索方法において、前記撮像手段からリアルタイムに取得された映像に含まれる時系列の各画像に対して、人物特徴情報を抽出し、抽出された前記人物特徴情報と、予め設定される検索条件に基づいて、該当する人物を検索する検索手順と、前記検索手順により得られる検索結果を表示するための画面を生成する画面生成手順と、前記画面生成手順により生成された画面を出力する出力手順とを有し、前記画面生成手順は、前記検索手順により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする。これにより、リアルタイムで撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

また本発明では、前記画面生成手順は、前記検索手順により検索された人物に対応する人物特徴情報を用いて検索結果をスコアリングし、スコアリングされた結果に基づいて、表示順序をリアルタイムに変更して表示すると共に、ユーザからの指示により一時停止することを特徴とする。

また本発明では、前記画面生成手順は、前記検索手段により検索された人物が撮影されている映像を表示する映像表示領域と、前記映像の再生中における人物の行動を文字表示するテキスト表示領域とを有することを特徴とする。

また本発明では、前記出力手順は、生成された画面を表示すると共に、印刷出力又はファイル出力することを特徴とする。

また本発明では、前記映像に含まれる人物に対して、顔領域を検出する顔領域検出手順と、前記顔領域検出手順により得られる顔領域を用いて人体領域を検出する人体領域検出手順と、前記顔領域検出手順により得られる検出結果と、前記人体領域検出手順により得られる検出結果とを用いて時間の異なる複数の画像の人物を同定する同定手順と、前記同定手順により得られる人物の動作を追跡する追跡手順と、前記追跡手順により得られる追跡結果から不審者を検出する不審者検出手順と、前記同定手順により同定された人物の特徴情報を統合する人物情報統合手順と、前記人物情報統合手順により得られる統合結果を、前記映像を構成する画像フレーム毎に生成するフレーム情報生成手順とを有することを特徴とする。

更に本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置における人物検索プログラムにおいて、コンピュータを、前記映像に含まれる時系列の各画像に対して人物特徴情報を蓄積する蓄積手段、前記蓄積手段に対して予め設定される条件に基づいて該当する人物を検索する検索手段、前記検索手段により得られる検索結果に対応する情報を前記蓄積手段により抽出し、抽出した内容を表示するための画面を生成する画面生成手段、及び、前記画面生成手段により生成された画面を出力する出力手段として機能させ、前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする。これにより、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物検索処理を容易に実現することができる。

また本発明では、撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置における人物検索プログラムにおいて、コンピュータを、前記撮像手段からリアルタイムに取得された映像に含まれる時系列の各画像に対して、人物特徴情報を抽出し、抽出された前記人物特徴情報と、予め設定される検索条件に基づいて、該当する人物を検索する検索手段、前記検索手段により得られる検索結果を表示するための画面を生成する画面生成手段、及び、前記画面生成手段により生成された画面を出力する出力手段として機能させ、前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする。これにより、リアルタイムで撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物検索処理を容易に実現することができる。

また本発明では、前記出力手段は、生成された画面を表示すると共に、印刷出力又はファイル出力する出力手段とを有することを特徴とする。

本発明によれば、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

本実施形態における人物検索装置の概略構成の一例を示す図である。顔領域検出手段及び人体領域検出手段における付加機能を説明するための一例の図である。本実施形態におけるフレーム情報の一例を示す図である。本実施形態における検索用人物特徴を取得するまでの概要を説明するための図である。本実施形態における検索手法を説明するための一例の図である。本実施形態における画面遷移例を示す図である。本実施形態における初期画面の一例を示す図である。本実施形態における日時指定画面を示す図である。本実施形態における特徴・行動条件指定画面を示す図である。カラーマップの一例を示す図である。本実施形態における検索結果表示画面を示す図である。検索結果表示領域を具体的に説明するための図である。本実施形態における映像再生画面を示す図である。本実施形態における共有画面を示す図である。本実施形態における人物検索処理が実現可能なハードウェア構成の一例を示す図である。本実施形態における蓄積処理手順の一例を示すフローチャートである。本実施形態における検索処理手順の一例を示すフローチャートである。

＜本発明について＞
本発明は、例えばカメラ等の撮影手段により取得し、予め蓄積された膨大な量の映像、又は撮影手段からのリアルタイム映像から、検索者が意図する人物像に近い人物が撮影された時刻の映像を容易に検索、確認可能にする。具体的には、映像検索の際には、人物の特徴や行動を基準に映像を検索する。例えば、身長等といった数値や、サングラスの有無、服の色等のように主観に依存する情報等、これまでは組み合わせることができなかった様々な種別の人物特徴や行動を組み合わせて検索する。なお、本発明における撮像手段としては、例えば、予め設定された壁や天井等に設置される固定型のものや、警備ロボット等に搭載された移動型のものがある。その何れにも対応した適切な人物検出手法を提供する。

以下に、本発明における人物検索装置、人物検索方法、及び人物検索プログラムを好適に実施した形態について、図面を用いて説明する。

＜人物検索装置の概略構成例＞
図１は、本実施形態における人物検索装置の概略構成の一例を示す図である。図１に示す人物検索装置１０は、入力手段１１と、出力手段１２と、蓄積手段１３と、顔領域検出手段１４と、人体領域検出手段１５と、同定手段１６と、追跡手段１７と、不審者検出手段１８と、人物情報統合手段１９と、フレーム情報生成手段２０と、検索手段２１と、画面生成手段２２と、通知手段２３と、送受信手段２４と、制御手段２５とを有するよう構成されている。なお、送受信手段２４には、人物情報を抽出するための人物を撮影するカメラ等の撮像手段２６が接続されており、撮像手段２６により撮影された映像に含まれる時系列の各画像を取得することができる。また、撮像手段２６は、人物検索装置１０と一体に構成されていてもよい。

入力手段１１は、ユーザ等からの顔領域検出指示や、人体領域検出指示、同定指示、追跡指示、不審者検出指示、人物情報統合指示、フレーム情報生成指示、検索指示、画面生成指示、通知指示、送受信指示等の各種指示を受け付ける。なお、入力手段１１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。

出力手段１２は、入力手段１１により入力された指示内容や、各指示内容に基づいて生成された制御データや顔領域検出手段１４、人体領域検出手段１５、同定手段１６、追跡手段１７、不審者検出手段１８、人物情報統合手段１９、フレーム情報生成手段２０、検索手段２１、画面生成手段２２、通知手段２３、送受信手段２４等の各構成により実行された経過又は結果により得られる各種情報の内容を表示したり、その音声を出力する。なお、出力手段１２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。

更に、出力手段１２は、後述する検索手段２１により得られた検索結果や画面生成手段２２により生成された画面に表示された情報等を外部機器に出力する。つまり、出力手段１２は、外部機器への出力として、例えば、プリンタに出力したり、ファイルを生成してデータベース等の記録装置や記録媒体に出力したり、警備ロボットに対して検索結果に基づき生成された制御信号を出力したり、警備対象施設内のセンサのＯＮ／ＯＦＦやライトの点灯／消灯を切り替えたり、警備員が所持する携帯端末に対して検索結果に基づく関連情報（異常があった場所や内容等）を表示するための制御信号を出力するといった印刷・出力機能等を有する。また、出力手段１２は、上述した１又は複数の外部機器に同時に出力することができる。

蓄積手段１３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段１３は、顔の認証や、性別・年代等を推定するのに使用される各種特徴量データや、顔領域検出手段１４における顔領域検出結果、人体領域検出手段１５における人体領域検出結果、同定手段１６における人物同定結果、追跡手段１７における追跡結果、不審者検出手段１８における不審者検出結果、人物情報統合手段１９における人物情報統合結果、フレーム情報生成手段２０におけるフレーム情報生成結果、送受信手段２４における送受信情報、制御手段２５により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。

顔領域検出手段１４は、カメラ等の撮像手段２６等により撮影されたリアルタイム映像や蓄積手段１３に既に蓄積されている膨大な量の監視映像に対して、その映像中の画像に人物が含まれていると判断した場合、その人物の顔領域を検出する。つまり、顔領域検出手段１４は、カメラ等の撮像手段２６等により撮影された映像を、送受信手段２４を介して取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。

具体的には、顔領域検出手段１４は、例えば撮影された画像に含まれる顔における目や鼻、口等の位置情報からその顔の特徴量を取得し、予め設定された顔として検出されるための特徴量の照合パターンを用いたマッチング処理等を行うことにより人物の顔を検出する。また、顔領域検出手段１４は、上述の顔検出処理に限定されず、例えばエッジ検出や形状パターン検出による顔検出、色相抽出又は肌色抽出による顔検出等を用いることができる。なお、顔領域検出手段１４は、顔検出後、画像中の顔の縦幅、横幅からなる矩形の顔領域等を検出する。

また、顔領域検出手段１４は、顔領域の中心座標（位置情報）、及び領域の画像上の大きさ（サイズ）を検出し、その顔領域を所定形状により元の画像に合成して顔領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段１３に蓄積させる。なお、顔領域の形状は、本発明においては、矩形や円形、楕円形、他の多角形、人物の顔の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。また、顔領域検出手段１４は、上述した内容の他に幾つかの付加機能を有するがその内容については後述する。

人体領域検出手段１５は、カメラ等の撮像手段２６等により撮影されたリアルタイム映像や蓄積手段１３に既に蓄積されている膨大な量の監視映像に対して、その映像中の画像に人物が含まれていると判断した場合、その人物の人体領域を検出する。つまり、人体領域検出手段１５は、カメラ等の撮像手段２６等により撮影された映像を、送受信手段２４を介して取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人体領域を検出する。

具体的には、人体領域検出手段１５は、例えば連続する画像フレーム同士を比較して、色情報（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所で囲まれる領域が所定の領域以上のもの、又は経時的な移動範囲が所定の範囲内のものを人体領域として検出する。なお、人体検出手法については、本発明においてはこれに限定されない。

また、人体領域検出手段１５は、人体領域の中心座標、及び人体領域の画像上の大きさを検出し、その人体領域を所定形状により元の画像に合成して人体領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段１３に蓄積させる。なお、人体領域の形状は、上述した顔領域と同様に、矩形や円形、楕円形、他の多角形、人物の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。また、人体領域検出手段１５は、上述した内容の他に幾つかの付加機能を有するがその内容については後述する。

同定手段１６は、同一のカメラで異なる時間に撮影された映像から抽出された２つの画像から検出される１又は複数の人物に対して、同一人物が含まれているか否かの同定処理を行う。具体的には、同定手段１６は、例えば撮影中に含まれる人物が今まで撮影された人であるか、又は新規人物であるかを判断する方法として、例えばその前の映像に人物がいるか否かを判断し、人物がいた場合にその人物に予め設定された移動可能範囲に含まれているか否かを判断し、更には前後の顔の特徴量同士の比較による類似性の有無により同一人物がふくまれているか否かを判断することができる。

また、同定手段１６は、顔領域検出手段１４において検出された顔のパターンと、蓄積手段１３に予め蓄積されている人物情報（氏名、性別、年齢、どの芸能人（人物）に似ている等）を含む顔のパターンとを比較して、その顔が誰の顔であるか、すなわち、人物が誰であるかを判定することができる。更に、同定手段１６は、その顔が誰にどの程度類似しているかといった類似度を取得することもできる。これにより、後述する画面生成手段２２等において、ある人物に対する類似度の高い人が表示されている画像を類似度の高い順に所定の数だけ表示させていくことができる。

なお、同定手段１６は、その画像の状況に応じた特徴量の取捨選択手法により適切なパラメータを用いて人物の同定を行ってもよい。例えば、同定手段１６は、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩容（歩幅、歩く速度、姿勢等を含む）、体型、性別、服の色、髪の色等）を人物同定に使用することができる。更に、同定手段１６は、使用する特徴量のみについて分離度を算出し、その分離度に基づいて重み付けを行い、人物同定に対する特徴量毎の寄与率を変化させる。これにより、状況に応じた特徴量を用いて高精度な人物判定を行うことができる。

また、同定手段１６においては、人体領域検出手段１５における人体検出結果と、顔領域検出手段１４における顔検出結果とが異なる場合がある。このような場合には、同定手段１６は、検出情報選択手段１６が、途中で処理を切り替えた場合に、比較しても一致しないため、同定により同一人物であると判定することができない場合も考えられる。そこで、同定手段１６は、取得された映像に対して、例えば切り替える前後等において、顔領域検出手段１４における顔検出と人体領域検出手段１５における人体検出とを両方行い、それぞれの検出結果について上述したように同一人物であるか否かの対応付けを行っておく。これにより、同定手段１６で同定処理を行う際、検出情報が切り替わっても容易に人物同定処理を行うことができる。

追跡手段１７は、同定手段１６により同定された同一人物の挙動を撮影された映像を用いて経時的に追跡する。なお、追跡手段１７は、映像に含まれる複数の人物に対して平行して経時的に追跡することができる。また、追跡手段１７は、映像に含まれる人物を経時的に追跡する場合、画像中から取得されるその人物の向き、姿勢、今までの行動等から、次の移動可能範囲を推測することもできる。この場合、追跡手段１７は、その移行可能範囲を画像に合成するための情報を生成し、後述する画面生成手段２２に出力することもできる。

ここで、追跡手段１７は、画像中に含まれる人体領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定して人物を追跡することができる。

不審者検出手段１８は、追跡手段１７による追跡結果を、蓄積手段１３に蓄積された予め設定される経時的な不審行動パターンや挙動データ等と照合することで、撮像手段２６により撮影された１又は複数の人物のうち、不審者に該当する人物を検出する。

つまり、不審者検出手段１８は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、きょろきょろしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、不審者検出手段１８は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。

また、不審者検出手段１８は、不審者を検出した場合に、どの不審行動に該当したのかの情報も含めてその全ての内容を蓄積手段１３に蓄積しておく。これにより、検索時におけるキーワードとして「不審者に相当するもの」が指定された場合に検索者の簡単な操作で容易に抽出されるようにしておく。更に、不審者検出手段１８は、不審者を検出した段階で画面生成手段２２にその旨の内容を通知する画面を生成させてもよい。

人物情報統合手段１９は、顔領域と人体領域とを同一人物として対応付けて、その人物の特徴を統合する。具体的には、人物情報統合手段１９は、画像中における顔領域の重心座標を取得し、取得した座標を包含する人体領域があった場合、その顔領域及び人体領域は、同一人物によるものであるとして対応付けを行う。

更に、人物情報統合手段１９は、１つの人体領域が２つ以上の顔領域を包含する場合、全ての顔領域に同じ人体領域を対応付けておく。これにより、追跡処理等において映像の途中で複数の人物が画面上で一時的に重なった場合にも、途切れることなく継続して追跡することができる。なお、人物の管理はＩＤ等の識別情報を用いて行う。なお、上述した人体領域と顔領域とを同一人物のものとして対応付ける処理については、本発明においてはこれに限定されるものではなく、例えば人物の姿勢や向き等を抽出し、抽出した情報を用いて対応付けを行ってもよい。

フレーム情報生成手段２０は、上述した人物情報統合手段１９により統合された人物毎の人物情報を、映像に含まれる画像の１フレーム毎に格納したフレーム情報を生成し、生成した検索用人物特徴データを蓄積手段１３にデータベース等として蓄積する。これにより、フレーム単位で人物の特徴を管理することができる。また、フレーム毎にその撮影された時間情報が付与されているので、検索の際に、どの時間にどのような人物が何人いるか等、多種の検索キーワードを用いて様々な検索を高精度に実現することができる。なお、本実施形態における具体的なフレーム情報の構成等については、後述する。

検索手段２１は、カメラ等の撮像手段２６等により撮影されたリアルタイム映像や、蓄積手段１３に既に蓄積されている監視映像等の各種情報に対して、本実施形態により検索者が指定する選択可能な所定のキーワードや抽出条件等を設定し、又は予め不審者を検出するための不審者検出条件を設定して、対応する人物が含まれる画像等の検索結果を抽出する。

また、検索手段２１は、その検索結果に対して自動的に顔や服装（衣類だけでなく帽子、マスク、眼鏡等も含む）等の特徴、行動等の抽出条件等を設定し、当該検索結果に類似する人物の検索を行う類似検索を行い、類似度の高い順に所定の数だけ検索結果を出力するといった処理を行うこともできる。

また、検索手段２１は、後述するように監視ロボットを用いて迷子等の捜索をリアルタイムで行う場合等には、監視ロボットに備えられた撮像手段２６からの映像に対して、予め設定された条件（身長、洋服の色、場所情報等）を満たす人物が表示されている画像を検索し、その結果を画面生成手段２２によりリアルタイムに表示させるといった機能も有する。

また、検索手段２１における検索画面やその結果表示される出力結果等は、画面生成手段２２により対応する画面が生成され、出力手段１２により出力される。これにより、本実施形態では、予め蓄積された映像やリアルタイム映像に基づいて所定の条件を満たす検索を行い、その検索結果を表示させることができる。なお、検索手段２１における検索手法については、後述する。

画面生成手段２２は、撮像手段２６により撮影された映像や顔領域検出手段１４により検出された顔領域や、人体領域検出手段１５により検出された人体領域、本実施形態における人物検索を行うためのメニュー画面、検索手段２１により検索で使用される入力画面、検索結果画面等、通知手段２３における通知結果等を出力するための画面を生成する。このとき、画面生成手段２２は、例えば撮影された人物の領域に対応する位置情報等の数値化されたデータ等を表示させることもできる。

また、画面生成手段２２は、映像に含まれる人物を追跡する際に用いられる移動可能範囲や追跡手段１８により得られる追跡ルート等の各種データを監視し易いように画面を生成して表示させることができる。更に、画面生成手段２２は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。

更に、画面生成手段２２は、検索手段２１により得られる検索結果を表示する際、その検索結果をリアルタイムで表示するような場合には、その検索結果の更新表示等を一時的に停止することができる。これにより、例えば、検索結果をリアルタイムで随時更新表示させているような場合には、一時停止することで、情報を確認し忘れることなく、必要な情報を表示させておくことができる。また、画面生成手段２２は、上述したように一時停止した表示内容を、その続きから継続して表示させることができる。

また、画面生成手段２２は、映像に含まれる人物の特徴或いは行動を表示するだけでなく、例えば撮像手段２６を設けた１又は複数の警備ロボットが警備対象施設内を巡回しているような場合には、その警備ロボット毎に監視映像と共に送信された巡回位置情報（３次元座標、緯度、経度等）を表示することもできる。これにより、警備ロボット毎の現在位置を正確に把握することができる。

なお、画面生成に必要な各種情報は、蓄積手段１３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、画面生成手段２２は、生成された画面等を出力手段１２としてのディスプレイに表示したり、スピーカ等により音声等を出力することができる。

通知手段２３は、不審者検出手段１８により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像等）を画面生成手段２２により生成させて、出力手段１２により表示させる。また、通知手段２３は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者、警備ロボット等に通知を行うアラート機能を有する。

なお、通知手段２３は、例えば警備ロボット等に通知を行う場合には、その警備ロボットが対象者と対面しているか又は警備ロボットの撮像手段２６により対象者が撮影されるほど接近した位置にいるため、警備ロボットから対象者に対して音声メッセージを出力させたり、警報ランプや非常音等により周囲に対して注意を促すような処理を行わせるような警備ロボットに対する制御信号を通知することもできる。

送受信手段２４は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の撮像手段２６からの監視映像を受信する。なお、送受信手段２４は、撮像手段２６から直接監視映像を受信しなくてもよく、例えば予め撮像手段２６で取得した映像をどこかに一時的に保存しておき、その保存された情報を用いて本実施形態における人体検出を行ってもよい。

また、送受信手段２４は、人物検索装置１０を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。

制御手段２５は、人物検索装置１０における各機能構成全体の制御を行う。具体的には、制御手段２５は、入力手段１１により入力されたユーザからの入力情報に基づいて、顔領域検出を行ったり、人体領域検出を行ったり、同定処理を行ったり、追跡処理を行ったり、不審者検出処理を行ったり、人物情報統合処理を行ったり、フレーム情報を生成したり、検索処理を行ったり、画面生成を行ったり、通知制御を行ったり、送受信制御を行う等の各種制御を行う。

また、制御手段２５は、例えば警備ロボットに警備対象施設内を巡回させている場合には、その警備ロボットに対して巡回経路や対象者発見時の動作等について制御を行う。具体的には、制御手段２５は、対象者発見時に通知手段２３により対象者やその周囲について、音声メッセージや警報等の出力を行わせたり、対象者発見後に警備ロボットの巡回を強制終了させ、帰還経路を設定する等の制御を行う。つまり、警備ロボットが対象者を発見した時点で巡回を終了させ、管理室等の所定の場所まで対象者を案内させるという経路設定が可能になる。

更に、制御手段２５は、警備ロボットから得られる警告信号(例えば、火災、漏水、人物検知等)に対応して、警備ロボットに緊急時の動作等を行わせる制御信号を生成し、その制御信号を、出力手段１２や送受信手段２４等を介して警備ロボット等に送信し、警備ロボットを制御することができる。

＜顔領域検出手段１４、人体領域検出手段１５における付加機能＞
次に、顔領域検出手段１４及び人体領域検出手段１５における付加機能について図を用いて説明する。図２は、顔領域検出手段及び人体領域検出手段における付加機能を説明するための一例の図である。なお、図２（ａ）は顔領域検出手段１４における機能構成例を示し、図２（ｂ）は人体領域検出手段１５における機能構成例を示している。

顔領域検出手段１４は、図２（ａ）に示すようにトラッキング手段３１と、顔認証手段３２と、性別・年代推定手段３３と、顔隠し判定手段３４とを有している。トラッキング手段３１は、検出された顔領域を用いて人物追跡を行い、その際、画像フレーム中に含まれる複数の顔領域をそれぞれ識別して蓄積するために識別情報（トラッキングＩＤ）を割り当てる。また、トラッキング手段３１は、割り当てたトラッキングＩＤについて、トラッキングの状態等により、例えば「未使用」、「フレームイン」、「フレームアウト」、「追跡中」の４種の状態を出力する。

顔認証手段３２は、検出された顔領域から目や鼻、口等の各配置情報からなる顔の特徴量を取得し、取得した特徴量と、予め蓄積手段１３等にデータベース（ＤＢ）等として蓄積された既に登録されている人物（登録人物）や芸能人等の人物の顔の特徴量とを用いて顔認証処理を行い、認証された人物の識別情報（ＩＤ）を出力する。また、顔認証手段３２は、蓄積手段１３に蓄積された顔画像のＩＤを、人物（登録人物・芸能人）の名前に変換して出力してもよい。

性別・年代推定手段３３は、検出された顔領域から、顔の特徴量を取得し、取得した顔の特徴量と、蓄積手段１３により性別、年代を推定し、結果を出力する。

顔隠し判定手段３４は、検出された顔領域に対し、マスクやサングラス等の顔を隠すための処理が行われているか否かを検出する。具体的には、顔隠し判定手段３４は、顔領域から推測される目領域、口領域の色情報を取得し、目領域の色情報がサングラスを着用していると想定される色（例えば黒系）であるときには、サングラスにより顔が隠されていると判定し、口領域がマスクをそれぞれについて着用していると想定される色（例えば白系）であるときには、マスクにより顔が隠されていると判定し、その判定結果を出力する。

また、人体領域検出手段１５は、図２（ｂ）に示すように身長推定手段３５と、色情報抽出手段３６と、人物位置推定手段３７とを有している。

身長推定手段３５は、検出された人体領域、顔領域それぞれに対して、人物の身長を算出する。例えば、身長推定手段３５は、画像中に含まれる１又は複数の人物を検出し、その人物がいた場合に新規の人物であるか否かを判断し、新規人物である場合、その人体領域の足の先と、その画像に対応する消失点とから実空間上の人物の位置を算出し、画像上の見かけ上の大きさを併せて、実際の人物の身長を推定する。なお、消失点は、画像中に含まれる場合もあるが、カメラのアングル等により画像中に含まれない場合もある。この場合には、仮想的な空間上に消失点を設定し、その消失点を利用する。なお、身長推定手法については、本発明においてはこれに限定されない。

色情報抽出手段３６は、検出された人体領域及び顔領域のそれぞれの領域情報の位置関係を用いて、人物の頭部領域や肌領域、上半身領域、下半身領域を推定し、各領域の色情報を抽出する。具体的には、頭髪、上衣、下衣等の色情報を抽出し、抽出した色情報の代表色（平均色等）を頭髪、上衣、下衣等の色情報として決定する。

なお、上述した各領域の色情報の算出では、各領域の総画素数・色の出現頻度をカウントし、例えば上位１０色についてのＲＧＢ値を出力する。ここで、上述した各領域は、具体的には、顔領域の上部から頭部領域、顔領域の左右から頬（肌）領域、人体領域の中心よりも上部で顔領域よりも下部から上半身領域、人体領域の中心より下部或いは地面から上部で下半身領域を抽出する。また、上述した各領域は、例えば顔領域の位置や大きさ（例えば、顔領域を矩形領域で表した場合の１辺長さ）等を基準として設定してもよい。なお、抽出される領域の設定内容は、本発明においてはこれに限定されない。更に、色情報抽出手段３６は、顔領域、人体領域、頭部領域、肌領域、上半身領域、下半身領域の少なくとも１つの領域の画像データをそのまま切り取って出力することもできる。

人物位置推定手段３７は、検出された人体領域、顔領域それぞれに対して、人物の実空間上での位置座標を算出する。この場合、人物位置推定手段３７は、カメラから撮影された画像から得られる２次元座標に対して予め設定される変換式により３次元の実空間上での位置座標（Ｘ，Ｙ，Ｚ）を取得する。

＜フレーム情報生成手段２０におけるフレーム情報の構成例＞
次に、上述したフレーム情報生成手段２０におけるフレーム情報の構成例について説明する。図３は、本実施形態におけるフレーム情報の一例を示す図である。フレーム情報生成手段２０は、１フレーム毎に処理を行い検出された人物について、図３に示す情報が抽出される。ここで、図３に示すフレーム情報としては、例えば共通の項目として「ファイル名」、「検出日時」があり、顔領域から抽出される情報として「人物位置座標（Ｘ，Ｙ，Ｚ）」、「身長情報」、「各種色情報」、「登録者情報」、「似ている芸能人情報」、「年代情報」、「性別情報」、「顔の向き（ＰＡＮ，ＴＩＬＴ）」、「マスク」、「サングラス」、「取得顔画像情報」、があり「人物位置座標（Ｘ，Ｙ，Ｚ）」、「身長情報」、「各種色情報」等がある。

「ファイル名」には、現在処理をしている映像ファイルのファイル名が格納される。また、「検出日時」には、人物が検出された日時が格納される。なお、「検出日時」としては、映像ファイル名が実際の録画開始時刻と対応しているため、撮影開始時刻と映像内での時刻を加算し、実際の時刻が格納される。

また、顔領域から抽出される「人物位置座標（Ｘ，Ｙ，Ｚ）」には、カメラ位置のＸＹ座標と地面を原点とした実空間上での人物足元のＸＹＺ座標が格納される。つまり、「人物位置座標（Ｘ，Ｙ，Ｚ）」には、顔領域から算出した人物の実空間上での位置座標が格納される。また、「身長情報」には、顔領域から算出した身長が格納される。また、「各種色情報」には、顔領域から算出した頭部・上半身の総画素数・色上位１０色・頻度が格納される。

なお、頭部の色情報としては、顔領域から算出した頭部についての頻度１位から１０位までのＲＧＢの数値と頻度が格納される。また、頭部の総画素数としては、顔領域から算出した頭部領域の総画素数が格納される。また、上半身の色情報としては、顔領域から算出した上半身についての頻度１位から１０位までのＲＧＢの数値と頻度が格納される。更に、上半身の総画素数としては、顔領域から算出した上半身領域の総画素数が格納される。

また、「登録者情報」には、登録人物ＤＢと照合した結果、最も近い人物名と認証スコアが設定される。具体的には、登録人物ＤＢとの照合により、登録者として（認証閾値を上回った）認証された場合、該当登録者の名前が上位１０名分格納される。認証されなかった場合は、「未登録者」が格納される。また、認証結果スコアは、上位１０名分の認証スコアが０から１０００までの整数値で示され、照合の結果、「未登録者」であった場合は−１が格納される。

また、「似ている芸能人情報」には、芸能人を登録したＤＢと照合した結果、最も近い人物名と認証スコアが格納される。具体的には、芸能人ＤＢとの照合により、認証スコアが最も高く、かつ、閾値よりも上の場合に、該当芸能人の名前が格納される。認証がされなかった場合、「似ていない」を格納する。また、認証結果スコアは、上述と同様である。

また、「年代情報」には、検出人物の年代・信頼度が格納される。また、「性別情報」には、男女何れかの性別と信頼度が格納される。また、「顔の向き」には、パン、チルト等のカメラワークに対するカメラを原点とした、顔向き角度が格納される。具体的には、カメラを原点とし、カメラから見た顔の角度が格納され、カメラから見て上方向と左方向が＋となる。

また、「マスク」には、マスク等で口の周辺が隠れているかどうかが格納され、具体的には「あり」、「なし」、「不明」の何れかが格納される。また、「サングラス」には、サングラス等で目の周辺が隠れているかどうかが格納され、具体的には「あり」、「なし」、「不明」の何れかが格納される。

また、「取得顔画像情報」には、検出された顔画像へのファイルパスと信頼度が格納され、具体的には、このフレームで検出された顔画像が蓄積されている場所へのファイルパスと、検出された顔領域の一辺の長さ、認証スコアが閾値以上で最も高い認証結果名、その信頼度等が格納される。

また、人体領域から抽出される「人物位置座標（Ｘ，Ｙ，Ｚ）」には、カメラ位置のＸＹ座標と地面を原点とした実空間上での人物足元のＸＹＺ座標が格納され、人体領域から算出された、人物の実空間上での位置座標が格納される。

また、「身長情報」には、人体領域・顔領域から算出した身長が格納される。また、「各種色情報」には、人体領域から算出した頭部・上半身・下半身の総画素数・色上位１０色・頻度が格納され、具体的には頭部についての頻度１位から１０位までのＲＧＢの数値と頻度、頭部領域の総画素数、上半身についての頻度１位から１０位までのＲＧＢの数値と頻度、上半身領域の総画素数、下半身についての頻度１位から１０位までのＲＧＢの数値と頻度、及び下半身領域の総画素数のうち少なくとも１つが格納される。

本実施形態では、上述したような情報を各種処理の結果として、フレーム単位で出力される。なお、人物領域、顔領域共に検出されない場合は何も出力されない。また、人物領域、顔領域の検出状態によっては、出力されない情報もある。その場合には、「不明」を示す値が出力される。

また、本実施形態では、上述した情報がフレーム毎に生成され、フレーム情報を出力された各データにはタグを付与する。これにより、各データが何の情報に対応するかを明確にすることができる。また、１フレーム内に複数の人物が検出された場合には、人物毎に別々のトラッキングＩＤ（識別情報）が割り振られ、トラッキングＩＤ毎に同日付、同時刻を付与し、複数行のフレーム情報が出力される。

また、図４は、本実施形態における検索用人物特徴を取得するまでの概要を説明するための図である。図４に示す図は、上述した顔領域検出や人体領域検出により得られる人物特徴から検索用人物特徴データを生成するための図である。なお、人物特徴データがフレーム情報生成手段２０等により生成され、蓄積手段１３にデータベース等により蓄積される。

具体的に説明すると、図４（ａ）では、フレーム情報生成において、各フレーム（Ｆ）において検出された人物（例えば、人物Ａ、人物Ｂ等）に対する特徴（例えば、身長、サングラスの有無等）が取得され、これらの人物特徴を図４（ｂ）に示すように人物毎に纏めて人物特徴をカウントする。つまり、図４（ｂ）では、全てのデータを離散化して出現回数をカウントしており、具体的には、図４（ｂ）において、人物Ａは、映像中の３フレームで抽出され、そのうち、身長が１７０ｃｍと推定された場合が２回、１７５ｃｍと推定された場合が１回あり、更にサングラスの着用ありと検出された場合が２回、着用なしと検出された場合が１回ある等とカウントされる。なお、上述の例では、身長を５ｃｍ毎に離散化しているが、本発明においてはこれに限定されない。

次に、図４（ｃ）に示すように、各フレーム数で正規化を行い、このデータを検索に使用する。具体的には、検索用人物特徴データの作成する際、様々な特徴や行動の組み合わせで人物を検索するために、例えば、身長、性別、服の色のＨＳＶ値等の様々な形態により出力される人物情報を下記の式に従い、統一的に記述する。

例えば、ある人物Ａにおける特徴Ｘについてのデータを作成する場合、特徴Ｘがデジタル値（性別（男・女）、サングラス（有・無）、マスク（有・無）等）の際には、以下に示す（１）式により頻度値Ｘの人物Ａについての総頻度Ｆ_ＡＸを算出する。

また、特徴Ｘがアナログ値（身長、認証スコア、服の色のＨＳＶ値等）の際には、以下に示す（２）式により連続値Ｘ内特定範囲ｄの人物Ａについての総頻度を算出する。

これにより、人物の全ての情報をヒストグラムへと変換することができる。なお、このままでは人物間の比較に用いることができないため、各人物の検出フレーム数で正規化することで、正規化ヒストグラムへと変換し、以下に示す（３）式により人物Ａの特徴Ｘについての信頼度Ｐ_ＡＸを算出する。

これにより、図４（ｃ）に示すように検索用人物特徴データを取得することができる。

＜本実施形態における検索手法＞
次に、上述した検索手段２１における本発明における検索手法について、図を用いて説明する。本実施形態における検索手法では、上述した人物特徴データを用いた検索スコアリング手法により、映像に映っている人物を、様々な人物の特徴や行動の組み合わせで、検索することができる。また、どの組み合わせにおいても、検索要求との一致度が高い順番に検索結果を出力することができる。

ここで、図５は、本実施形態における検索手法を説明するための一例の図である。本実施形態では、図５（ａ）に示すように検索者が入力した検索要求「サングラスをしている１７５ｃｍの人」を、上述した特徴量へと変換し、正規化ヒストグラム上の最大値（＝１）を検索要求特徴量とする（図５（ｂ））。また、検索要求特徴量に該当する特徴を参照して抽出し（図５（ｃ））と、その該当特徴との距離を算出し、その距離を検索スコアとし（図５（ｄ））、スコアの高い人物順に検索結果を出力する。

なお、本実施形態における検索に適した色情報の取り扱いとしては、人物特徴の中でも、服や髪の毛の色は、特に重要な要素であるが、色の表現は主観により変化するため、主観による変動を吸収できるようにする。具体的には、人が感じる色に検索結果を適合させるため、例えば、ＨＳＶ空間等の予め人の視覚特性に基づき設定された色空間で処理を行う。なお、上述した色空間は、本発明においてはＨＳＶに限定されず、例えばＨＬＳ、ＬＵＶ、ＬＡＢ等を用いることができる。更に、色解像度を低下させることで、主観による変動を吸収する。

また、フリーワードによる検索を行う際には、入力された語句を検索要求へと変換し、検索処理を行う。なお、従来では、検索キーワードとして例えば「赤い上着青いズボン」のように入力した場合、どの形容詞と、どの名詞とが修飾関係にあるかが理解できないという問題があった。そのため、本実施形態では、入力された語句の修飾関係を考慮して、検索要求へと変換することで、検索精度をより向上させることができる。
なお、本実施形態では、検索要求の入力の際には、人物を表現するフリーワード入力や、検索可能な人物特徴一覧から選択することができる。

これにより、蓄積された膨大な量の映像から、検索者が意図する人物像に近い人物が撮影された時刻の映像を容易に検索し、その検索結果を取得することができる。また、本実施形態では、映像確認の際には、人物映像に加えて、その人物の見た目の特徴と行動が文字で表記される。また、所望の人物については、不審者情報として各種媒体へ出力することができる。これにより、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

＜画面生成手段２２において生成される画面例＞
次に、画面生成手段２２において生成される画面例について図を用いて説明する。図６は、本実施形態における画面遷移例を示す図である。図６に示す画面例では、初期画面４１と、日時指定画面４２と、特徴・行動条件指定画面４３と、検索結果表示画面４４と、映像再生画面４５と、共有画面４６とを有するよう構成されている。本実施形態に係るシステム起動時には、最初に初期画面４１が表示される。また、図６に示す各画面への遷移は、図６に示すように予め所定の画面に遷移する遷移ボタンを設定し、その遷移ボタンを選択することで、それぞれの画面がディスプレイ等の出力手段１２に出力される。次に、上述した各画面について、以下に具体的に説明するが、本発明における画面生成される画面例はこれに限定されず、また以下に示す画面レイアウトや表示内容についてもこれに限定されるものではない。

＜初期画面４１＞
図７は、本実施形態における初期画面の一例を示す図である。図７に示す初期画面４１からの検索方法には、来店者検索領域５１、不審者検索領域５２、キーワード検索領域５３）と、条件指定検索（人物特徴から検索）領域５４−１と、リアルタイム捜索領域５４−２との５種類がある。

図７において、上述した撮像手段２６が設置された対象設備内（例えば商店に来店した人物を確認する場合には、来店者検索領域５１の「来店者検索ボタン」を押下することで日時指定画面４２へと遷移する。また、初期画面４１において、不審者を検索する場合には、不審者検索領域５２の「検索」ボタンを押下することで日時指定画面４２へと遷移する。

また、初期画面４１において、キーワード検索を行う場合には、キーワード検索領域５３のエディットボックス内に検索対象のキーワードを入力し、「キーワード検索」ボタンを押下することで、予め設定された日時や場所情報等と、エディットボックス内に入力された検索用の文字をキーワード（検索要求の変換処理）として検索手段２１により検索がなされると同時に、画面が検索結果表示画面４４へと遷移して、その検索結果が表示される。

また、初期画面４１において、人物の特徴から検索する場合には、条件指定検索領域５４−１の「人物特徴から検索」ボタンを押下することで、特徴・行動条件指定画面４３へと遷移する。

更に、初期画面において、監視ロボットによる迷子等のリアルタイム捜索を行う場合には、リアルタイム捜索領域５４−２の「リアルタイム捜索ボタン」を押下することで、特徴・行動条件指定画面４３へと遷移する。

＜日時指定画面４２＞
図８は、本実施形態における日時指定画面を示す図である。上述した初期画面４１において、「検索」内の各ボタンが押された場合、日時指定画面４２にて日時条件を指定する。また、図８に示す日時指定画面４２では、検索場所条件を指定することもできる。これにより、例えば、警備ロボット等の移動型の撮像手段により得られる映像を対象とした場合にも、その映像と共に得られる警備ロボットの巡回位置情報等に基づいて、対象とする場所により得られる映像のみを対象として効率よく検索することができる。なお、この場所指定は、例えば、固定型の撮像手段からの映像を対象とする場合にも、検索対象の映像を限定することができるため有効である。

次に、指定された日時条件や場所条件を、検索処理に渡し、検索処理が終了したら検索結果を呼び出して検索結果表示画面４４へ遷移する。

なお、図８に示す日時指定画面４２は、ラジオボタン・日時指定ボックス５５−１、場所指定ボックス５５−２、検索実行ボタン群５６、及びハイパーリンク表示領域５７を有している。ラジオボタン・日時指定ボックス５５−１では、初期状態は、「本日の画像から」となっており、日時指定のボックスは半透明の網がけがされ、操作ができない状態となっている。ここで、ラジオボタンで「時間を指定する」が選択された場合には、日時指定のボックスが操作可能となる。また、場所指定ボックス５５−２では、予め設定された場所や範囲を指定する。なお、指定される場所としては、例えば地名や郵便番号、商店や商業施設等の名称、フロアの階数等でもよく、更に、その映像を撮影した警備ロボットから半径１００ｍ以内等の地域範囲として指定することもできる。

検索実行ボタン群５６には、「ＯＫボタン」と「キャンセルボタン」とを有し、「ＯＫボタン」の部分が、初期画面４１により渡された、遷移元情報（押されたボタン）によって表示が変化する。それぞれ表示は、「来店者検索」「不審者検索」「キーワード検索」となる。また、それぞれのボタンが押された時に、日時情報や場所情報を格納用変数へ格納し、日時指定情報や場所指定情報を引数として、検索処理関数を呼び出す。また、検索処理が終了次第（逐次処理）、検索結果表示画面４４へと遷移する。なお、上述のラジオボタン・日時指定ボックス５５−１で「本日の画像から」が選択された場合、引数でフラグを指定し、検索処理関数を呼び出す。また、ハイパーリンク表示領域５７では、文字が表示された部分を選択することで、最初の画面（初期画面４１）に遷移する。

＜特徴・行動条件指定画面４３＞
図９は、本実施形態における特徴・行動条件指定画面を示す図である。上述した初期画面４１において、「人物特徴から検索」又は「リアルタイム捜索」が選択された場合、特徴・行動条件指定画面４３にて検索条件を指定する。全ての条件について、格納関数を呼び出す。また、検索ボタンが押されると、検索処理関数を呼び出し、検索結果表示画面４４へ遷移する。

なお、特徴・行動条件指定画面４３には、日付指定領域５８、場所指定領域５９−１、身長指定領域５９−２、色情報指定領域６０、性別指定領域６１、マスク指定領域６２、サングラス指定領域６３、年代指定領域６４、登場人物指定領域６５、似ている芸能人指定領域６６、検索実行ボタン群６７、及びハイパーリンク表示領域６８を有している。

日付指定領域５８では、検索対象日時の設定を行う。なお、開始と終了時刻の大小エラーチェックを行いエラー時には検索者にその旨を通知する。また、場所指定領域５９−１では、対象の人物を検索する場所の設定を行う。具体的には、映像が撮影された撮像手段２６の位置情報に基づいて検索対象の場所情報を指定する。なお、位置情報は、撮像手段２６が固定型であれば、映像データに含まれるその撮像手段２６の識別情報により容易に取得することができ、更に監視ロボット等の移動型である場合には、映像データに含まれるその監視ロボットの巡回位置情報を利用する。

また、身長指定領域５９−２では、検索対象となる人物の身長の設定を行う。なお、最小値（例えば、１００）と最大値（例えば、２００）の閾値を設定しておき、その範囲に含まれない数値が指定された場合や数値以外の文字が入力された場合には検索者にその旨を通知する。

また、色情報指定領域６０では、検索対象の人物の頭部の色、上衣（上半身の衣類）の色、下衣（下半身の衣類）の色を設定する。なお、本実施形態では、図９に示すようにカラーマップにより指定を行う。ここで、図１０は、カラーマップの一例を示す図である。本実施形態では、カラーマップによりＲＧＢ各値（０〜２５５）をＨＳＶ値へ変換し、Ｈ（０〜３６０）を外円環に、ＳＶ（０〜１）を内部矩形にプロットしたものを用いる。また、外円環は、ＢＭＰを貼り付けるのみで角度情報のみを取得する。また、外側の円ボタンによってＨ値を選択し、Ｈの値に従ったＳＶマップが内部矩形に表示される。つまり、Ｈの値と矩形内部の円ボタンの位置（ＳＶ値）とをＲＧＢに変換することで、検索したい色情報（ＲＧＢ値）を出力する。なお、内・外部の円ボタンには現在選択している色が表示される。上述したカラーマップを使用することで、検索者は多種の色情報を容易に設定することができる。なお、色情報の指定を行わない場合には、ＨＳＶ値を「−１」とする。

また、性別指定領域６１では、「男性」、「女性」、「どちらでもない」の何れかを設定する。また、マスク指定領域６２では、マスクの着用について「している」、「していない」、どちらでも」の何れかを設定する。サングラス指定領域６３では、サングラスの着用について「している」、「していない」、「どちらでも」の何れかを設定する。

また、年代指定領域６４では、例えば「〜９歳」、「１０〜１９歳」、「２０〜３９歳」、「４０〜５９歳」、「６０歳〜」のように予め設定された年代のうち、何れかを設定する。また、登場人物指定領域６５では、予め蓄積されている登録人物情報にしたがって、リスト中から登録人物名を設定する。また、似ている芸能人指定領域６６では、予め蓄積されている芸能人情報にしたがって、リスト中から芸能人名を設定する。

検索実行ボタン群６７では、「この条件に合う人物を検索ボタン」と「クリアボタン」とを有し、「この条件に合う人物を検索ボタン」を押下した場合、初期画面４１で指示された「人物特徴から検索」又は「リアルタイム捜索」に対応する全ての条件に関しての格納関数を順次呼び出す。また、最後に検索関数を呼び出して検索処理を実行し、処理が終了後、検索結果表示画面４４へ遷移する。なお、条件に合わない入力があった場合には、例えば「もう一度入力してください」というメッセージが通知される。また、検索実行ボタン群６７の「クリアボタン」が押下された場合には、特徴・行動条件指定画面４３上の各種条件の設定がクリア（初期化）される。また、ハイパーリンク表示領域６８では、文字が表示された部分を選択することで、最初の画面（初期画面４１）に遷移する。

＜検索結果表示画面４４＞
図１１は、本実施形態における検索結果表示画面を示す図である。上述した初期画面４１、日時指定画面４２、特徴・行動条件指定画面４３において、各種検索条件を指定し、検索結果表示画面４４にて検索結果を表示する。また、所定の検索結果出力関数を呼び出し、各種情報を表示する。なお、図１１の例では、１ページあたりの表示上限数を５としているが、本発明においてはこれに限定されず、必要に応じて任意に設定することができる。

また、図１１に示す検索結果表示画面４４は、各種検索領域６９、検索結果数表示領域７０、該当人物出現時の画像表示領域７１、該当人物の顔画像７２、検索結果表示領域７３、映像確認ボタン７４、ページ選択アイコン７５、及びハイパーリンク表示領域７６を有している。

各種検索領域６９では、初期画面４１等で選択したイベントに従い、そのイベントに対応する各種ボタンを押下することで、検索処理と画面遷移を行う。なお、各種検索領域６９には、「一時停止ボタン」が設けられているが、このボタンは、例えば、リアルタイム捜索等におけるリアルタイムな検索結果の出力を更新せずに一時的に停止するためのものである。具体的には、例えば、リアルタイム捜索の場合には、検索結果表示領域７３に迷子等の捜索の対象となる人物との類似性が高いものから随時表示されたり、ある一定以上の類似性を有する結果が随時表示されるため、表示内容が更新され、これにより画面の表示されている内容を見逃す恐れがある。そのため、検索結果の更新表示を一時停止することにより、検索結果を正確に確認することができる。

また、検索結果数表示領域７０では、検索した結果数と、現在表示中の件数を表示する（例えば、「検索結果６２件中１−５件目」等）。また、該当人物出現時の画像表示領域７１では、該当人物出現時のサムネイル用人体画像を表示する。また、該当人物の顔画像７２では、該当人物のサムネイル用顔画像を表示する。なお、該当人物出現時の画像表示領域７１及び該当人物の顔画像７２において、表示対象画像ない場合は表示しない（「ＮＯＩＭＡＧＥ」表示等）。

また、検索結果表示領域７３は、検索の結果、該当する人物の情報（見た目の特徴・行動）、又は警備ロボットによる検知等に対応するアイコンを表示する。ここで、図１２は、検索結果表示領域を具体的に説明するための図である。図１２における検索結果表示領域には、撮影時間・人物情報７３−１、アイコン表示領域７３−２、撮影場所情報７３−３、検索スコア情報７３−４が検索結果毎に表示されている。

撮影時間・人物情報７３−１では、検索により抽出された映像の撮影時間と、その人物が登録者である場合にはその登録者人物名、登録者でない場合には、未登録者であることを表示する。また、アイコン表示領域７３−２には、一例として８種類のアイコンが表示されており、それぞれ左から「年代」、「身長」、「サングラスの有無」「似ている芸能人」、「マスクの有無」、「きょろきょろしている」、「長時間滞在」、「カメラを確認」、「警備ロボットにおける検知」等の条件を容易に視認し易いアイコンが所定の位置で固定に配置されている。

なお、アイコン表示領域７３−２に示す警備ロボットのアイコンは、撮像手段２６と連携する巡回中の警備ロボットのアイコンを示している。そのため、アイコン表示領域７３−２には、警備ロボットのアイコン表示の他に、その警備ロボットの位置情報を表示させてもよい。また、アイコン表示領域７３−２に表示されるアイコンの種類や数についてはこれに限定されるものではなく、撮像手段２６と連携する各種センサや防犯設備等の機器のアイコンを表示してもよい。

また、上述のアイコンは、上述の各条件に対応して予め設定されており、更に「赤」、「黒」、「グレー」等の予め設定された色で分けて表示することができる。ここで、「赤」で表示されている場合は、検索条件に含まれていたものを示し、「黒」で検索条件には含まれていないが、上記条件に該当する映像であるものと示し、「グレー」は検索条件及び映像の解析結果で該当しなかったものを示している。なお、色の種類については本発明においては特に制限はなく、他の色でもよく、また点滅や斜線等により区別して強調表示させることもできる。なお、アイコン表示領域７３−２には、アイコンではなく文字そのものを表示することもでき、この場合には、例えば文字のフォントの種類や大きさ、太さ、下線等の形式を変更したり、点滅させたり、色を変える等により区別させることができる。

また、撮影場所情報７３−３には、検索により抽出された映像の撮影場所が表示され、検索スコア情報７３−４には、上述した検索手段２１により得られる検索スコアリング結果が表示される。つまり、検索結果表示領域７３では、この検索スコアが高いものから表示することができる。これにより、様々な条件における検索結果を、検索要求との一致度順に出力することにより、容易に要求する人物の確認ができる。なお、本発明においては検索スコア順に表示する手法に限定されず、例えば撮影日時順に表示させることもできる。

更に、検索結果表示領域７３のアイコン表示領域７３−２にカーソルを移動させ、所定時間（例えば、０．５秒）停止させると、予め設定されるアイコンに対応する付加情報７３−５がポップアップ表示される。

また、映像確認ボタン７４では、ボタンをクリックすると映像再生処理を呼び出し、映像再生画面４５へ遷移する。また、ページ選択アイコン７５では、検索結果が複数ページに及ぶ場合に、それぞれのページにジャンプする。また、ハイパーリンク表示領域７６では、文字が表示された部分を選択することで、最初の画面（初期画面４１）に遷移する。上述した画面により、検索者に対して抽出された検索結果がどの条件に該当しているかを容易に把握させることができる。

つまり、検索結果表示画面４４において、人物の特徴や行動といった情報や、撮像手段２６と連携した機器等をアイコンによって表示することにより、容易に要求する人物の確認ができる。

＜映像再生画面４５＞
図１３は、本実施形態における映像再生画面を示す図である。上述した検索結果表示画面４４において、映像確認ボタン７４を押した際に、映像再生画面４５にて該当映像を表示する。ここで、図１３に示す映像再生画面４５には、映像表示領域７７、テキスト表示領域７８、特徴表示領域７９、及びボタン領域８０を有している。

映像表示領域７７では、入力されたファイルパス、再生開始時間、再生終了時間を映像再生処理の引数として、映像を再生・表示する。また、映像表示領域７７には、スライダ、再生ボタン、停止ボタン等があり、映像を見たい場所から見たり、映像の再生、停止を容易に行うことができる。また、映像表示領域７７で表示されるデータは、ＡＶＩファイルの他、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４、ＷＭＶ、ＭＰ４等のファイル形式のデータを表示することができ、またＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、ＢＭＰ等の画像データも表示させることができる。

また、テキスト表示領域７８には、映像再生の時間がテキスト内の時間になった際に、映像に対応する行動の文章を赤文字や太字等の強調文字により表示する。また、過去の情報はそのまま表示し、新たな情報が表示された場合、過去の情報は黒文字へ変化させる。これにより、現在の行動と今までの行動履歴を容易に把握することができる。

また、特徴表示領域７９には、表示されている映像に含まれる人物の特徴情報が表示される。なお、複数人が撮影されている場合には、それぞれの特徴情報が表示される。

また、ボタン領域８０では、「共有ボタン」と「類似検索ボタン」とが設けられている。「共有ボタン」を押下すると共有画面４６に遷移する。なお、この場合、映像表示領域における映像再生は、装置の負荷を軽減するために停止する。また、「類似検索ボタン」を押下すると、表示された人物の特徴等に基づいて他の映像からの類似検索を行い、他のカメラで撮影されていないかをチェックし、その結果を上述した検索結果表示画面４４に遷移した後に出力する。

つまり、映像再生画面４５では、検索結果表示画面４４より渡されたテキスト内に、映像中の人物の行動と、時間が記述されているため、映像表示領域７７にて映像が表示中に、映像の時間が、テキストに対応する時間になった時に、テキスト表示領域７８により該当テキストを赤く表示する（強調表示）。その後、新たな情報がある場合、過去の情報は黒文字で表示する。

＜共有画面４６＞
図１４は、本実施形態における共有画面を示す図である。上述した映像再生画面４５において、ボタン領域８０の「共有ボタン」を押下した際に、共有画面４６にて人物情報を表示する。

ここで、共有画面４６は、画像表示領域８１、テキスト表示領域８２、及びコメント入力領域８３を有している。画像表示領域８１では、該当人物出現時の画像、及び該当人物の顔画像が表示される。また、テキスト表示領域８２では、赤文字等の強調文字で不審情報を表示し、その他に時刻情報（日付、入店時間、退店時間等）、特徴（身長、性別、年別等）が表示される。コメント入力領域８３では、入力手段１１により、コメントが入力される。なお、コメント入力領域８３はデフォルト表示として「コメントを入力してください。」と表示し、入力手段１１により検索者等により文字の入力を受け付けることができる。これにより、検索者が独自の観点で人物情報を設定し管理することができる。

更に、共有画面４６に表示される各種の内容をプリンタに出力したり、ファイルを生成して所定の携帯電話にメール送信する印刷・出力機能を有する。これにより、映像表示画面において、人物についての情報を、文字と映像の両方から確認でき、更に印刷物の形態等により外部機器に出力可能とすることで、容易に要求する人物の確認と、情報伝達（共有）ができる。

＜ハードウェア構成例＞
ここで、上述した人物検索装置１０は、上述した機能を有する専用の装置構成により制御を行うこともできるが、各機能をコンピュータに実行させることができる実行プログラム（人物検索プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にその実行プログラムをインストールすることにより、本発明における人物検索処理を実現することができる。

本実施形態における人物検索処理が実現可能なコンピュータのハードウェア構成例について図を用いて説明する。図１５は、本実施形態における人物検索処理が実現可能なハードウェア構成の一例を示す図である。

図１５におけるコンピュータ本体には、入力装置９１と、出力装置９２と、ドライブ装置９３と、補助記憶装置９４と、メモリ装置９５と、各種制御を行うＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９６と、ネットワーク接続装置９７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置９１は、使用者等が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者等からのプログラムの実行等、各種操作信号を入力する。

出力装置９２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するモニタを有し、ＣＰＵ９６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

なお、入力装置９１と出力装置９２とは、例えばタッチパネル等のように一体型の入出力手段であってもよく、この場合には使用者等の指やペン型の入力装置等を用いて所定の位置をタッチして入力を行うことができる。

ここで、本発明においてコンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体９８等により提供される。プログラムを記録した記録媒体９８は、ドライブ装置９３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体９８からドライブ装置９３を介して補助記憶装置９４にインストールされる。

補助記憶装置９４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

メモリ装置９５は、ＣＰＵ９６により補助記憶装置９４から読み出された実行プログラム等を格納する。なお、メモリ装置９５は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等からなる。

ＣＰＵ９６は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）等の制御プログラム、及びメモリ装置９５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に必要な各種情報等は、補助記憶装置９４から取得することができ、また実行結果等を格納することもできる。

ネットワーク接続装置９７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果、又は本発明における実行プログラム自体を他の端末等に提供することができる。上述したようなハードウェア構成により、本発明における人物検索処理を実行することができる。また、プログラムをインストールすることにより、汎用のパーソナルコンピュータ等で本発明における人物検索処理を容易に実現することができる。次に、人物検索処理の具体的な内容について説明する。

＜人物検索処理＞
次に、本発明における実行プログラム（人物検索プログラム）で実行される人物検索処理手順についてフローチャートを用いて説明する。なお、以下の説明では、検索用の人物特徴情報を蓄積するまでの蓄積処理手順と、その蓄積されたデータを用いた検索処理手順とについて説明する。

＜人物検索処理：蓄積処理手順＞
図１６は、本実施形態における蓄積処理手順の一例を示すフローチャートである。図１６において、まずカメラ等の撮像手段により撮影された映像を入力する（Ｓ０１）。次に、その映像に含まれる各画像に１又は複数の人物がいた場合、顔領域検出処理（Ｓ０２）及び人体領域検出処理（Ｓ０３）を行う。なお、Ｓ０３の処理において、人物がいるか否かの判断は、例えば時系列画像フレーム間の比較において、色情報が変化している領域が所定の大きさ以上あるか否か等により判断することができ、また、Ｓ０２の処理と併せて、顔領域の検出ができたか否かによって判断することもできる。

また、Ｓ０２及びＳ０３の処理が終了後、上述したように同定処理を行い（Ｓ０４）、更に同定された人物を追跡し（Ｓ０５）、追跡結果から得られる人物の行動等により不審者を検出する（Ｓ０６）
次に、上述した処理を行った後、人物情報の統合処理を行い（Ｓ０７）、その統合情報からフレーム情報を生成し（Ｓ０８）、生成した情報を蓄積する（Ｓ０９）。なお、上記の蓄積処理手順は、リアルタイムで検索するような場合には実施されなくてもよい。

＜人物検索処理：検索処理手順＞
図１７は、本実施形態における検索処理手順の一例を示すフローチャートである。図１７において、まず本システムを起動して検索画面を表示させる（Ｓ１１）。ここで、検索指示があるか否かを判断し（Ｓ１２）、検索指示があった場合（Ｓ１２において、ＹＥＳ）、入力された検索条件により上述した検索手法を用いて予め蓄積されている映像又はリアルタイム映像に対して検索を実行し（Ｓ１３）、検索結果に対応する出力内容を蓄積手段等から抽出する（Ｓ１４）。また、抽出した内容から上述した検索者に表示する画面を生成し（Ｓ１５）、生成した画面を出力する（Ｓ１６）。ここで、検索を終了するか否かを判断し（Ｓ１７）、検索を終了しない場合（Ｓ１７において、ＮＯ）、Ｓ１２に戻り、後続の処理を行う。また、検索を終了する場合（Ｓ１７において、ＹＥＳ）、検索画面を閉じて人物検索処理を終了する。

上述したように、本発明によれば、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

また、人物検索については、予め蓄積された映像に対して人物検索する場合や、リアルタイムで得られた映像に対して人物検索する場合があり、また、その映像を撮影する撮像手段としては、予め設定された壁や天井等に設置される固定型のものや、警備ロボット等に搭載された移動型のものがあるが、本発明によれば、その何れにも対応した適切な人物検索を実現することができる。

また、本発明によれば、例えば上述した検索スコアリング手法により、蓄積映像又はリアルタイム映像に映っている人物を、様々な人物の特徴や行動の組み合わせで検索することができる。また、どの組み合わせにおいても、検索要求との一致度が高い順番に検索結果が出力される。これにより、検索結果を効果的に出力し、映像確認の作業を大幅に軽減することができる。更に、本発明によれば、各映像間における人物の類似検索を行い、その結果を表示させることができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０人物検索装置
１１入力手段
１２出力手段
１３蓄積手段
１４顔領域検出手段
１５人体領域検出手段
１６同定手段
１７追跡手段
１８不審者検出手段
１９人物情報統合手段
２０フレーム情報生成手段
２１検索手段
２２画面生成手段
２３通知手段
２４送受信手段
２５制御手段
２６撮像手段
３１トラッキング手段
３２顔認証手段
３３性別・年代推定手段
３４顔隠し判定手段
３５身長推定手段
３６色情報抽出手段
４１初期画面
４２日時指定画面
４３特徴・行動条件指定画面
４４検索結果表示画面
４５映像再生画面
４６共有画面
５１来店者検索領域
５２不審者検索領域
５３キーワード検索領域
５４−１条件指定検索（人物特徴から検索）領域
５４−２リアルタイム捜索領域
５５−１ラジオボタン・日時指定ボックス
５５−２場所指定ボックス
５６検索実行ボタン群
５７ハイパーリンク表示領域
５８日付指定領域
５９−１場所指定領域
５９−２身長指定領域
６０色情報指定領域
６１性別指定領域
６２マスク指定領域
６３サングラス指定領域
６４年代指定領域
６５登場人物指定領域
６６似ている芸能人指定領域
６７検索実行ボタン群
６８ハイパーリンク表示領域
６９各種検索領域
７０検索結果数表示領域
７１該当人物出現時の画像表示領域
７２該当人物の顔画像
７３検索結果表示領域
７４映像確認ボタン
７５ページ選択アイコン
７６ハイパーリンク表示領域
７７映像表示領域
７８テキスト表示領域
７９特徴表示領域
８０ボタン領域
８１画像表示領域
８２テキスト表示領域
８３コメント入力領域
９１入力装置
９２出力装置
９３ドライブ装置
９４補助記憶装置
９５メモリ装置
９６ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）
９７ネットワーク接続装置
９８記録媒体

Claims

撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置において、
前記映像に含まれる時系列の各画像に対して人物特徴情報を蓄積する蓄積手段と、
前記蓄積手段に対して予め設定される条件に基づいて該当する人物を検索する検索手段と、
前記検索手段により得られる検索結果に対応する情報を前記蓄積手段により抽出し、抽出した内容を表示するための画面を生成する画面生成手段と、
前記画面生成手段により生成された画面を出力する出力手段とを有し、
前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする人物検索装置。
撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置において、
前記撮像手段からリアルタイムに取得された映像に含まれる時系列の各画像に対して、人物特徴情報を抽出し、抽出された前記人物特徴情報と、予め設定される検索条件に基づいて、該当する人物を検索する検索手段と、
前記検索手段により得られる検索結果を表示するための画面を生成する画面生成手段と、
前記画面生成手段により生成された画面を出力する出力手段とを有し、
前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする人物検索装置。
前記画面生成手段は、
前記検索手段により検索された人物に対応する人物特徴情報を用いて検索結果をスコアリングし、スコアリングされた結果に基づいて、表示順序をリアルタイムに変更して表示すると共に、ユーザからの指示により一時停止することを特徴とする請求項１又は２に記載の人物検索装置。
前記画面生成手段は、
前記検索手段により検索された人物が撮影されている映像を表示する映像表示領域と、前記映像の再生中における人物の行動を文字表示するテキスト表示領域とを有することを特徴とする請求項１乃至３の何れか１項に記載の人物検索装置。
前記出力手段は、
生成された画面を表示すると共に、印刷出力又はファイル出力することを有することを特徴とする請求項１乃至４の何れか１項に記載の人物検索装置。
前記映像に含まれる人物に対して、顔領域を検出する顔領域検出手段と、
前記映像に含まれる人物に対して、人体領域を検出する人体領域検出手段と、
前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを用いて時間の異なる複数の画像の人物を同定する同定手段と、
前記同定手段により得られる人物の動作を追跡する追跡手段と、
前記追跡手段により得られる追跡結果から不審者を検出する不審者検出手段と、
前記同定手段により同定された人物の特徴情報を統合する人物情報統合手段と、
前記人物情報統合手段により得られる統合結果を、前記映像を構成する画像フレーム毎に生成するフレーム情報生成手段とを有することを特徴とする請求項１乃至５の何れか１項に記載の人物検索装置。
撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示するための人物検索方法において、
前記映像に含まれる時系列の各画像に対して人物特徴情報を蓄積手段に蓄積する蓄積手順と、
前記蓄積手段に対して予め設定される条件に基づいて該当する人物を検索する検索手順と、
前記検索手順により得られる検索結果に対応する情報を前記蓄積手段により抽出し、抽出した内容を表示するための画面を生成する画面生成手順と、
前記画面生成手順により生成された画面を出力する出力手順とを有し、
前記画面生成手順は、前記検索手順により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする人物検索方法。
撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索方法において、
前記撮像手段からリアルタイムに取得された映像に含まれる時系列の各画像に対して、人物特徴情報を抽出し、抽出された前記人物特徴情報と、予め設定される検索条件に基づいて、該当する人物を検索する検索手順と、
前記検索手順により得られる検索結果を表示するための画面を生成する画面生成手順と、
前記画面生成手順により生成された画面を出力する出力手順とを有し、
前記画面生成手順は、前記検索手順により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする人物検索方法。
前記画面生成手順は、
前記検索手順により検索された人物に対応する人物特徴情報を用いて検索結果をスコアリングし、スコアリングされた結果に基づいて、表示順序をリアルタイムに変更して表示すると共に、ユーザからの指示により一時停止することを特徴とする請求項７又は８に記載の人物検索方法。
前記画面生成手順は、
前記検索手段により検索された人物が撮影されている映像を表示する映像表示領域と、前記映像の再生中における人物の行動を文字表示するテキスト表示領域とを有することを特徴とする請求項７乃至９の何れか１項に記載の人物検索方法。
前記出力手順は、
生成された画面を表示すると共に、印刷出力又はファイル出力することを特徴とする請求項７乃至１０の何れか１項に記載の人物検索方法。
前記映像に含まれる人物に対して、顔領域を検出する顔領域検出手順と、
前記顔領域検出手順により得られる顔領域を用いて人体領域を検出する人体領域検出手順と、
前記顔領域検出手順により得られる検出結果と、前記人体領域検出手順により得られる検出結果とを用いて時間の異なる複数の画像の人物を同定する同定手順と、
前記同定手順により得られる人物の動作を追跡する追跡手順と、
前記追跡手順により得られる追跡結果から不審者を検出する不審者検出手順と、
前記同定手順により同定された人物の特徴情報を統合する人物情報統合手順と、
前記人物情報統合手順により得られる統合結果を、前記映像を構成する画像フレーム毎に生成するフレーム情報生成手順とを有することを特徴とする請求項７乃至１１の何れか１項に記載の人物検索方法。
撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置における人物検索プログラムにおいて、
コンピュータを、
前記映像に含まれる時系列の各画像に対して人物特徴情報を蓄積する蓄積手段、
前記蓄積手段に対して予め設定される条件に基づいて該当する人物を検索する検索手段、
前記検索手段により得られる検索結果に対応する情報を前記蓄積手段により抽出し、抽出した内容を表示するための画面を生成する画面生成手段、及び、
前記画面生成手段により生成された画面を出力する出力手段として機能させ、
前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする人物検索プログラム。
撮像手段により撮影された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置における人物検索プログラムにおいて、
コンピュータを、
前記撮像手段からリアルタイムに取得された映像に含まれる時系列の各画像に対して、人物特徴情報を抽出し、抽出された前記人物特徴情報と、予め設定される検索条件に基づいて、該当する人物を検索する検索手段、
前記検索手段により得られる検索結果を表示するための画面を生成する画面生成手段、及び、
前記画面生成手段により生成された画面を出力する出力手段として機能させ、
前記画面生成手段は、前記検索手段により得られた人物に対応して予め設定された人物特徴或いは行動、又は前記撮像手段と連携した機器をアイコンによって表示することを特徴とする人物検索プログラム。
前記画面生成手段は、
前記検索手段により検索された人物に対応する人物特徴情報を用いて検索結果をスコアリングし、スコアリングされた結果に基づいて、表示順序をリアルタイムに変更して表示すると共に、ユーザからの指示により一時停止することを特徴とする請求項１３又は１４に記載の人物検索プログラム。
前記画面生成手段は、
前記検索手段により検索された人物が撮影されている映像を表示する映像表示領域と、前記映像の再生中における人物の行動を文字表示するテキスト表示領域とを有することを特徴とする請求項１３乃至１５の何れか１項に記載の人物検索プログラム。
前記出力手段は、
生成された画面を表示すると共に、印刷出力又はファイル出力することを特徴とする請求項１３乃至１６の何れか１項に記載の人物検索プログラム。
前記映像に含まれる人物に対して、顔領域を検出する顔領域検出手段と、
前記映像に含まれる人物に対して、人体領域を検出する人体領域検出手段と、
前記顔領域検出手段により得られる検出結果と、前記人体領域検出手段により得られる検出結果とを用いて時間の異なる複数の画像の人物を同定する同定手段と、
前記同定手段により得られる人物の動作を追跡する追跡手段と、
前記追跡手段により得られる追跡結果から不審者を検出する不審者検出手段と、
前記同定手段により同定された人物の特徴情報を統合する人物情報統合手段と、
前記人物情報統合手段により得られる統合結果を、前記映像を構成する画像フレーム毎に生成するフレーム情報生成手段とを有することを特徴とする請求項１３乃至１７の何れか１項に記載の人物検索プログラム。