JP2009301502A - 画像検索システム - Google Patents

Abstract

【課題】 識別性の高い人物検索画像表示方法を備えた画像検索システムを提供する。
【解決手段】画像検索システムの端末装置１０３は、検索結果表示部１１３に、多層化手段と、各層表示手段と、要素表示手段とを備える。多層化手段は、検索結果表示画面を多層化する。また、各層表示手段は、各検索結果を検索結果表示画面の各層に表示する。要素表示手段は、各層間で重複する検索結果要素を同一の表示位置に表示する。さらに、重複度表示手段は、検索結果要素の近傍に重複度を表示する。
【選択図】 図１

Description

本発明は、画像検索システムに係り、検索における検索結果表示を見やすく行うことができる画像検索システムに関する。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。
この映像監視システムでは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに送信する。
監視センタでは、目的や必要に応じて、通常は常駐する監視者がそれを監視して注意をしたり、送信された映像を録画・保存する。

このような映像監視システムでの映像の録画・保存に用いる記録媒体には、従来は、ビデオテープ媒体がよく使われていた。その後、この記憶媒体は、ハードディスクドライブ（ＨＤＤ）に代表されるランダムアクセス媒体が用いられる事例が増えてきた。ランダムアクセス可能な記憶媒体は、映像の整理がしやすく、繰り返し使用に強いため、普及が進んでいる。さらに、近年では、このような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は録画できる映像の量を飛躍的に増大させ、より多地点の録画やより長時間の録画を可能になってきている。しかしながら、録画映像を目視でチェックする負担の増加が問題として顕在化しつつある。

このような背景から、所望の映像をより簡単に見つけ出す為の検索機能を備える映像監視システムが普及しつつある。
この検索機能としては、従来は、時刻や外部センサ値のような従来からのテキスト情報を検索入力情報とする検索機能が用いられていた。しかし、近年では、テキスト情報を用いた検索機能に加えて、画像情報を検索入力情報とする検索機能、いわゆる類似画像検索機能を搭載するシステムが開発されて、普及してきている。
その類似画像検索機能における類似画像の検索対象として、最も用いられているのは、人物を検索する人物検索機能である。
人物検索機能は、ある画像中に映っている人物をユーザが指定すると、その人物と同一人物が映っている他の映像を録画装置内から探し出し、ユーザに一覧提示する機能である。この際、同一人物判定の手掛かりとして「顔」が使われる場合が多い。

このような顔の画像から人物を検索する従来のシステムとしては、例えば、特許文献１を参照すると、多数の人物の顔を検索する、人物検索システム、人物追跡システム、人物検索方法、及び人物追跡方法が開示されている（以下、従来技術１とする。）。
従来技術１のような人物検索システムの人物検索機能は、ある特定の人物について、他の時刻あるいは他の場所での挙動の調査や、移動の軌跡の調査などに利用できる。このため、大変有効である。

この従来技術１のような、顔の画像を用いた従来の人物検索機能を備えたシステムの一例について、図１１を参照して説明する。

まずは、図１１を参照して、従来の監視システムＹの制御構成について説明する。
ネットワーク５は、各装置を相互に接続して、データを送受信できるインターネットやイントラネット等の通信網である。
撮像装置２０１は、ネットワークカメラや監視カメラ等である。撮像装置２０１は、ＣＣＤやＣＭＯＳ素子等で撮像した画像をデジタル変換処理し、変換された画像データを、ネットワーク５を介して録画装置２０２へ出力する。
録画装置２０２は、ネットワーク・デジタル・レコーダ等の装置である。録画装置２０２は、ネットワーク５を介して、撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録する。また、録画装置２０２には人物検索機能も搭載されており、画像認識技術を使って算出した画像特徴量の記録媒体へ記録する処理を行い、似た画像特徴量を有する画像を記録媒体からの探索等の処理を行う。
端末装置２０３は、ＰＣ／ＡＴ互換機やＭＡＣ規格機等のＰＣ（パーソナル・コンピュータ）等で構成される監視端末装置である。端末装置２０３は、更に、画像監視用プログラムを用いて、録画装置２０２に記録された映像の再生操作や動画表示、録画装置２０２での人物検索の実行要求、検索結果表示等を行うためのユーザインタフェースを提供する。

さらに詳しく説明すると、端末装置２０３は、検索要求送信部２１１、検索結果受信部２１２、検索結果表示部２１３、映像再生表示部２１４を含んで構成される。
検索要求送信部２１１は、検索要求をネットワーク５を介して録画装置２０２に送信する。検索要求送信部２１１が検索要求として送信するデータには、検索したい人物が映った画像が含まれる。以降、この画像を検索画像と呼ぶ。
検索結果受信部２１２は、検索結果をネットワーク５を介して録画装置２０２から受信する。検索結果受信部２１２が検索結果として受信するデータには、録画装置２０２にて、画像検索を実行して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置２０２に記録された映像から、縮小処理等により生成される。以降、この個々の画像を検索結果画像と呼ぶ。
検索結果表示部２１３は、検索結果受信部２１２にて受信した検索結果を画面表示する。検索結果表示部２１３が表示する画面例については、後述する。
映像再生表示部２１４は、録画装置２０２に記録された映像を再生し、画面表示する処理部である。画面から与えられたユーザによる再生操作の再生命令への変換や再生命令のネットワーク５を介しての録画装置２０２への送信、ネットワーク５を介して録画装置２０２から受信した映像データの画面表示等を行う。

ここで図１２Ａ〜図１２Ｃと図１３を参照して、従来の監視システムＹにおいて、端末装置２０３をユーザが使用して、録画装置２０２の人物検索機能を呼び出す際の操作について説明する。図１２Ａ〜図１２Ｃは、端末装置２０３の表示部に表示されるユーザインタフェイス画面の例である。
このユーザインタフェイスでは、端末装置２０３の制御部が、端末装置２０３の入力信号を検知して、ポインタ等を動かして表示する。さらに、端末装置２０３の制御部は、表示部の画面上に描かれた入力キーであるボタン等をユーザが押下したことを検知して、各処理を行う。

ここで、図１２Ａを参照して、従来の人物検索機能を備えたシステムにおける端末装置２０３に表示される画面とユーザインタフェースの１つの動作例を示す。
再生映像表示領域３０１は、録画装置２０２に記録された映像を動画表示する領域である。
映像再生操作領域３０２は、録画装置２０２に記録された映像を再生操作する領域である。映像再生操作領域３０２の各ボタンにはそれぞれ固有の映像再生種類が割当てられている。映像再生操作領域３０２においては、例えば、左から巻戻し、逆再生、再生停止、順再生、早送りの再生スピードが割当てられている。ユーザが各ボタンを適宜押下すると、再生映像表示領域３０１上への動画表示を、ユーザが押下したボタンに割当てられた映像再生種類に切り換えることができる。
検索画像表示領域３０３は、検索画像の指定と表示を行う領域である。検索画像表示領域３０３を構成する「指定」ボタン（検索画像指定ボタン）は、ユーザによる押下時に再生映像表示領域３０１に表示されている画像を検索画像に指定するためのものである。ユーザにより検索画像に指定された画像は、検索画像表示領域３０３上に画面表示される。検索画像３１１は、ユーザにより指定された検索画像の例である。
検索実行領域３０４は、検索実行を行う領域である。検索実行領域３０４の「検索」ボタン（検索実行ボタン）は、押下時に検索画像表示領域３０３にて指定した検索画像による検索を実行するためのものである。この検索実行領域３０４上には、検索対象の限定を与える手段、例えば、日時範囲や検索対象カメラ等を指定する手段（図示せず）を備えていてもよい。実際の検索としては、端末装置２０３の制御部は、ユーザが検索実行ボタンを押下したことを検知すると、検索画像表示領域３０３に表示されている検索画像がある場合は、録画装置２０２にこの検索画像に係る映像中の時間的な位置を示すフレーム番号をネットワーク５を介して送信する。そして、録画装置２０２の制御部は、検索入力画像に係るフレーム番号を受信して、このフレーム番号に係る検索画像をＨＤＤ等の記憶媒体から読み出し、人物検索機能を実行する。そして、検索された人物を含む画像である検索結果画像（とそのフレーム番号）を、ネットワーク５を介して端末装置２０３に送信する。

検索結果表示領域３０５は、検索結果画像を表示する領域である。検索結果画像は、録画装置２０２の人物検索機能により検索した結果の画像データである。また、検索結果画像にも、表示されないメタデータが付属している。このメタデータは、主に検索結果画像のフレーム番号等を含んでおり、これにより、映像データを頭出しするために用いることができる。また、検索結果表示領域３０５には、検索結果画像を一覧表示することができる。検索結果画像３２１は、この検索結果画像のうちの１つである。

表示されたそれぞれの検索結果画像は、ボタンとしても機能する。
すなわち、ユーザが、いずれかの検索結果画像を押下すると、再生映像表示領域３０１の表示映像が、押下した検索結果画像に切かわる。
このような画像の切り替わりを「頭出し」と呼ぶ。すなわち、ユーザは、映像再生操作領域３０２のボタンを押下すると、この切り替わった画像の映像上の位置から各映像再生種類に係る再生を行うことができる。

次に、図１２Ｂを参照して、従来の人物検索機能を備えたシステムにおける端末装置２０３に表示される画面の別の１つの動作例を示す。図１２Ｂにおいて、図１２Ａと同一の符号は、同様の機能を実現する領域やボタンである。
ここで、検索画像３１２は、この例において、ユーザにより指定された検索画像である。また、検索結果表示領域３０５に表示された検索結果画像は、検索画像３１２を用いて検索を実行して得られた結果である。

次に、図１２Ｃを参照して、従来の人物検索機能を備えたシステムにおける端末装置２０３に表示される画面の別の１つの動作例を示す。図１２Ｃにおいて、図１２Ａや図１２Ｂと同一の符号は、同様の機能を実現する領域やボタンである。
ここで、検索画像３１３は、この例において、ユーザにより指定された検索画像である。また、検索結果表示領域３０５に表示された検索結果は、検索画像３１３を用いて検索を実行して得られた結果である。

上述の人物検索機能は、録画装置２０２のＨＤＤ等に記憶された膨大な検索対象画像中から目的の人物映像への容易な頭出しを提供し、ある人物の他の時刻あるいは他の場所での挙動の調査や、移動の軌跡の調査などにも利用可能で、大変便利である。
しかしながら、現状の画像認識技術は、正面方向から映した顔画像に対する認識精度は優れているものの、それ以外の方向から映した顔画像に対する認識精度は低い。また、画像中における顔の見かけの大きさも認識精度に大きく影響し、顔が小さい場合の認識精度も低い状況にある。
また、検索画像の持つ特徴量の偏り、例えば、各所での撮影角度の差異や各時での顔の傾きによって生じる顔輪郭成分の偏りにより、出力される検索結果画像にも偏りが生じてしまうという問題があった。

ここで、一般的に、人物検索を含む検索機能においては、より目的を満たす精度が高い検索結果を得るためには、検索条件を変えながら、検索を複数回実行することが普通である。
インターネット等で普及が進んでいるＷｅｂ検索等に代表されるキーワード検索において複数回の検索を実行する場合は、検索キーワードを増やしながら検索を重ねる、いわゆる絞込み検索を用いることがある。
絞り込み検索においては、得られた検索結果中において、少なくとも１つの検索結果が、ユーザの求める正解であれば、検索の目的を満たすという性質がある。
この絞り込み検索のような性質をもつの検索の場合、その結果表示においては、検索を繰返す度に検索結果表示を更新し、更新した検索結果に満足できれば更に新たなキーワードによる絞込みを続け、満足できなければ１つ前の検索結果に戻って別のキーワードによる絞込みを行うことが好適である。
特開２００３−２８１１５７号公報

しかしながら、映像監視システムでは、複数回の検索により、検索画像に合致する画像を録画装置に記録された膨大な検索対象画像から余すことなく全てを見つけ出すことが必要であった。
従って、絞り込み検索のように検索結果を毎回更新する結果表示を用いることはできなかった。すなわち、（１）毎回の検索結果を保持しつつ、かつ、（２）各検索結果間における関係性がわかる結果表示を行う構成が必要であった。
ところが、従来の映像監視システムにおいては、このような結果表示を行うことはできなかった。

この結果表示の条件（１）と（２）について、図１２Ａ〜Ｃを用いて、例示して説明する。
たとえば、図１２Ａ〜図１２Ｃにおいては、図１２Ａの検索画像３１１による検索結果は、図１２Ｂと図１２Ｃの検索結果には保持されていない。図１２Ｂの検索画像３１２による検索結果は図１２Ａと図１２Ｃの検索結果には保持されていない。図１２Ｃの検索画像３１３による検索結果は図１２Ａと図１２Ｂの検索結果には保持されていない。
また、各検索結果において、重複する検索結果画像が存在する。図１２Ａ〜図１２Ｃにおいては、例えば、検索結果画像３２１がこの重複する検索結果画像に該当する。この画像の他の検索結果との関係性、すなわち、重複について知るのは困難である。実際のところ、図１２Ａ〜図１２Ｃにおいては、表示する検索結果画像が少ないのでユーザの記憶に頼ることができるが、検索結果画像の表示数が多い場合は、重複について知るのは、殆ど不可能であった。

次に、結果表示の条件（１）と（２）の概念を図を用いて例示として補足する。
図１３を参照すると、複数回の検索により得られる検索結果のイメージを模式的に示す。３つの円は、それぞれの検索結果から構成される空間を表している。
検索結果空間１２０１は検索条件「Ａ」による検索結果Ａを表し、検索結果空間１２０２は検索条件「Ｂ」による検索結果Ｂを表し、検索結果空間１２０３は検索条件「Ｃ」による検索結果Ｃを表す。
図１３において、従来のＷｅｂ検索等に代表されるキーワード検索で求められる検索結果は、Ａ∩Ｂ∩Ｃで示される領域のみである。
しかしながら、映像監視システムでの人物検索で求められている検索結果は、Ａ∪Ｂ∪Ｃで示される領域であった。さらに、検索結果の各要素がＡ∩Ｂ∩ＣやＡ∩Ｂ、Ａ∩Ｂ、Ｂ∩Ｃ、その他のどの領域に属しているかも重要な情報であったが、これを知るための検索結果表示を備えた映像監視システムはなかった。

本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。

本発明の画像検索システムは、検索結果表示画面を多層化する多層化手段と、各検索結果を前記検索結果表示画面の各層に表示する各層表示手段と、前記各層の検索結果要素の近傍に重複度を表示する重複度表示手段とを備えることを特徴とする。

本発明によれば、人物検索機能を用いた複数回の検索において、毎回の検索結果を保持しつつ、各検索結果間における関係性を視覚的に把握できる画像検索システムを提供することができる。

＜実施の形態＞
〔制御構成〕
図１〜図２を参照して、本発明の実施の形態に係る画像検索の結果表示方法を備える端末装置１０３を含む映像監視システムＸの制御構成について説明する。ここでは、図１１と同じ記号は、同様の機能を持つ構成部位を示している。
ネットワーク５は、各装置を結ぶ、専用線、イントラネットやインターネット等のＩＰネットワーク、ＬＡＮ、光ファイバー、ｃ．ｌｉｎｋ、無線ＬＡＮ、電灯線ネットワーク、ＷｉＭａｘ、メッシュネットワーク、携帯電波通信網等のデータ通信可能な回線である。
端末装置１０３は、ＰＣ／ＡＴ互換機やＭＡＣ等であるＰＣ（パーソナル・コンピュータ）の記憶部に記憶したプログラムにより実現してもよいし、専用の監視端末装置であってもよい。端末装置１０３は、ＣＰＵ（中央処理装置）やＭＰＵ（マイクロ・プロセッシング・ユニット）やＤＳＰ等である制御部、ＤＲＡＭ等である主記憶部、ＨＤＤやＲＯＭやフラッシュメモリ等である補助記憶部、ネットワークアダプタ、ビデオカード等、キーボードや専用スイッチやジョグダイヤルやマウス等であるポインティングデバイスを含む入力部、液晶ディスプレイやＣＲＴモニタ等である表示部を備えている。端末装置１０３の制御部は、補助記憶部に内蔵された画像監視用プログラムに従って、ネットワーク５を介して録画装置２０２から取得した画像データを、表示手段に画面表示する。また、端末装置１０３は、録画装置２０２の人物検索方法を用いるためのユーザインタフェイスも備えている。端末装置１０３は、ネットワーク５を介して録画装置から取得した画像データを、液晶ディスプレイやＣＲＴ等の表示部に画面表示する。

これらに加えて、端末装置１０３は、従来の端末装置２０３と同様の検索要求送信部２１１、検索結果受信部２１２、映像再生表示部２１４に加え、検索結果表示部１１３、検索結果保存部１１５を含んで構成される。これらの制御部位は、上述の画像監視用プログラムにより、端末装置２０３の制御部が実行するように構成できる。
検索結果表示部１１３は、検索結果を画面表示する処理部である。ここでの処理には、本発明の実施の形態に係る画像表示方法が用いられる。
検索結果保存部１１５は、検索結果受信部２１２に受信した検索結果を保持する処理部である。ここでの処理には、本発明の実施の形態に係る画像表示方法が用いられる。この画像表示方法用のデータの構造や処理内容については後述する。

次に、図２を参照して、検索結果表示部１１３の構成について、説明する。
検索結果表示部１１３は、多層化部１３１（多層化手段）、各層表示部１３２（各層表示手段）、要素表示部１３３（要素表示手段）、重複度表示部１３４（重複度表示手段）から構成される。
多層化部１３１は、複数検索での多層化表示を行う部位である。
各層表示部１３２は、複数検索での各層の表示を行うための部位である。
重複度表示部１３４は、複数検索での検索結果画像の重複度の表示を行うための部位である。
これらの構成部位を用いた画像処理方法の実際の処理内容や、表示画面例については後述する。

〔画像検索の結果表示方法〕
次に、図３、図４Ａ、図４Ｂを更に参照して、本発明の実施の形態に係る画像検索の結果表示方法を実現するための監視システムＸにおける端末装置１０３の表示部に表示される画面例を示す。なお、図１２Ａ〜図１２Ｃと同一の符号は、従来の端末装置２０３と同様の機能を提供する領域やボタンである。
この画面例は、再生映像表示領域３０１、映像再生操作領域３０２、検索画像表示領域３０３、検索実行領域３０４に加え、検索結果表示領域４０５にて構成される。

検索結果表示領域４０５は、録画装置２０２から取得した検索結果を、過去に検索した検索結果と関連付けながら、表示する領域である。
検索結果表示領域４０５に表示した検索結果は、検索画像３１１を用いて人物検索を実行して得られた結果を表す。この表示は、検索結果画像を一覧表示することで終了する。
検索結果画像４４１〜４４５は、それぞれの検索結果画像である。この検索結果画像は、従来の検索結果表示領域３０５の検索結果画像と同様に、表示されたそれぞれの検索結果画像を、ボタンとして用いることができる。ユーザがいずれかの検索結果画像を押下すると、再生映像表示領域３０１の表示映像が押下画像に切替わり、頭出しをすることができる。
ここで、検索結果表示領域４０５は、例えば、検索画像３１１を用いて検索を実行した場合、以下に記す領域やマーク、画像、ボタンにより構成される。
切替選択ボタン４１１〜４１３は、検索結果の画面表示対象を選択するボタンである。図３では、切替選択ボタン４１１が選択されている状態を示している。
検索結果識別マーク４２１〜４２３は、検索結果を識別するために表示するマークである。検索結果識別マークは、検索を実行するたびにユニークに付与される。ここでは、星形の濃度の差として示している。図３において、検索結果識別マーク４２１は、検索画像３１１を用いて人物検索を実行した検索結果を示している。
閉ボタン４３１〜４３３は、検索結果を検索結果表示領域４０５から削除するボタンである。図３において、ユーザが閉ボタン４３１を押下すると、検索結果識別マーク４２１に示している検索結果が削除される。

検索結果識別マーク表示欄４５１〜４５８は、検索結果識別マークを表示する表示欄である。図３において、検索結果識別マーク表示欄４５１、４５２、４５３、４５４、４５５は、それぞれ、検索結果画像４４１、４４２、４４３、４４４、４４５に対応する検索結果識別マーク表示欄である。
たとえば、検索結果識別マーク表示欄４５１に表示されている３つの検索結果識別マークは、それぞれ検索結果識別マーク４２１、４２２、４２３を指し示すものである。これは、検索結果画像４４１が、検索結果識別マーク４２１の検索結果と検索結果識別マーク４２２の検索結果と検索結果識別マーク４２３の検索結果に存在することを示している。
このように、検索結果識別マーク表示欄４５１の検索結果識別マークの表示数により、検索結果画像４４１の検索結果における重複度の高さをユーザが一見にて判別可能である。これは、検索結果画像４４１が目的の正解画像である可能性が高いということが分かるということを意味している。

ここで、図１３を参照して、検索画像３１１、検索画像３１２、検索画像３１３による検索結果を、それぞれ、検索結果空間１２０１（検索結果Ａ）、検索結果空間１２０２（検索結果Ｂ）、検索結果空間１２０３（検索結果Ｃ）と図示した場合について考える。
たとえば、検索結果Ａの表示となる検索結果表示領域４０５において、検索結果画像４４１は、Ａ∩Ｂ∩Ｃに属する画像であるということがユーザが一見にて判別可能である。さらに、検索結果画像４４１の検索結果Ａの検索結果空間内での位置を、ユーザが容易に判別することも可能である。

ここで図３において、検索結果識別マーク表示欄４５６、４５７、４５８に対応する検索結果画像は存在しない。これは、検索画像３１１を用いた検索結果には含まれないが、他の検索画像を用いた検索結果に対応する検索結果画像が含まれていることを示している。
たとえば、検索結果識別マーク表示欄４５６に表示されている２つの検索結果識別マークは、それぞれ検索結果識別マーク４２２、４２３を指し示すものである。つまり、検索結果画像が、この検索結果には含まれないものの、検索結果識別マーク４２２の検索結果と検索結果識別マーク４２３の検索結果には存在することを表す。
このように、検索結果識別マーク表示欄４５６の表示とその直下に画像表示がないことにより、検索結果には含まれないものの、重複度の高い検索結果画像、すなわち目的の正解画像である可能性が高い画像が他の検索結果の中に存在することが一見にて判別可能である。
すなわち、図１３を参照すると、本発明の実施の形態に係る画像検索の結果表示方法を用いると、例えば、検索結果Ａに着目した検索結果表示をしながらも、（ｎｏｔＡ）∩Ｂ∩Ｃに属する画像の存在を識別力高く表示でき、ユーザが容易に判別することが可能になる。

次に、切替選択ボタンにて検索結果の表示対象を切替た場合の画面表示の例を図４Ａと図４Ｂを用いて説明する。
図４Ａは、ユーザが切替選択ボタン４１２を選択した場合の検索結果表示領域４０５の表示の一例を示す。この図４Ａにおいて、図３と同一の符号は、同様の機能をもつ領域やボタン、画像、マーク、表示欄等である。
図４Ａにおいて、検索結果表示領域４０５に表示した検索結果は、検索画像３１２を用いて人物検索を実行して得られた結果を示す。得られた検索結果画像が、検索結果画像４４１、４４３、４４６、４４７である。
図４Ａにおいて、例えば、検索結果識別マーク表示欄４５３に表示されている２つの検索結果識別マークは、それぞれ検索結果識別マーク４２１、４２２を指し示すものである。また、検索結果画像４４３が、検索結果識別マーク４２１の検索結果と検索結果識別マーク４２２の検索結果に存在することを示している。
同様に図４Ａにおいて、例えば、検索結果識別マーク表示欄４５５に表示されている１つの検索結果識別マークは、検索結果識別マーク４２１を指し示すものである。また、検索結果画像が、この検索結果には含まれないものの、検索結果識別マーク４２１の検索結果には存在することを表す。
このように、検索結果識別マーク表示欄４５５の表示に加え、その直下に画像表示が「ない」という表示により、検索結果の識別性を大きく高めることが可能になる。すなわち、当該検索結果には含まれないものの、その重複度の低さから目的の正解画像でない可能性もあるが、検索画像３１２でしか見つけることのできない正解画像である可能性もある画像が、他の検索結果の中に存在することを、ユーザが一見で判別可能である。
ここで、図１３を参照すると、上述の図３の検索結果の表示と同様に検索結果Ａ、Ｂ、Ｃはそれぞれ、検索画像３１１、３１２、３１３による検索結果とした場合、本発明の実施の形態に係る画像検索の結果表示方法においては、Ｂに着目した検索結果を表示しながらも、Ａ∩（ｎｏｔＢ）∩（ｎｏｔＣ）に属する画像の存在を通知することができる。さらに、その検索結果画像のＡの検索結果空間内での位置を通知することも可能である。

次に、図４Ｂを参照して、切替選択ボタン４１３を選択した場合の検索結果表示領域４０５の表示の一例を示す。図４Ｂにおいても、図４、図４Ａと同一の符号は、同様の機能を提供する領域やボタン、画像、マーク、表示欄であることを示す。
図４Ｂにおいて、検索結果表示領域４０５に表示した検索結果は、検索画像３１３を用いて人物検索を実行し得られた結果を表し、得られた検索結果画像が、検索結果画像４４１、４４４、４４６、４４８である。
図４Ｂにおいて、例えば、検索結果識別マーク表示欄４５８に表示されている１つの検索結果識別マークは、検索結果識別マーク４２３を指し示すものであり、検索結果画像４４８が、検索結果識別マーク４２３の検索結果のみに存在することを表す。
このように、検索結果識別マーク表示欄４５８と検索結果画像４４８の表示により、検索結果画像４４８は重複度の低い画像であるが、検索画像３１３でしか見つけることのできない正解画像である可能性もある画像であることが一目で判る。
ここで、図１３を参照すると、図３の検索結果の表示と同様に検索結果空間Ａ、Ｂ、Ｃはそれぞれ、検索画像３１１、３１２、３１３による検索結果とすると、本発明の実施の形態に係る画像検索の結果表示方法においては、Ｃの検索結果の表示の中でも、検索結果画像４４８が（ｎｏｔＡ）∩（ｎｏｔＢ）∩Ｃに属する画像であるということが一目で判別可能である。さらに、検索結果画像４４８のＣの検索結果空間内での位置を通知することも可能である。
同様に図４Ｂにおいて、例えば、検索結果識別マーク表示欄４５３に表示されている２つの検索結果識別マークは、それぞれ検索結果識別マーク４２１、４２２を指し示すものである。これにより、検索結果画像が、当該検索結果には含まれないものの、検索結果識別マーク４２１の検索結果と検索結果識別マーク４２２の検索結果には存在することを示すことができる。

〔処理の流れ〕
次に、図５〜図９のフローチャートを参照して、本発明の実施の形態に係る画像検索の結果表示方法を備えた監視システムＸの処理の流れの一例を示す。この処理の流れは、主に、録画処理、映像再生処理、人物検索処理を含んで構成される。
さらに、人物検索処理のうち、主に端末装置１０３での処理により、本発明の実施の形態に係る画像検索の結果表示方法を実行することができる。

（録画処理）
まず、図５を参照して、録画処理の流れの一例を示す。この録画処理は、撮像装置２０１と録画装置２０２間の通信を含んだ処理にて実行される。撮像装置２０１からの映像データは、録画装置２０２のＨＤＤ等の記憶媒体に記録する。

｛録画装置２０２の処理｝
ステップＳ６００において、録画装置２０２は、画像受信待機を行う。録画装置２０２は、画像着信を検知すると処理はステップＳ６０１に進む。

ステップＳ６０１において、録画装置２０２は、撮像装置２０１からの画像を受信する。

ステップＳ６０２において、録画装置２０２は、受信した画像データと画像ＩＤを記録媒体に記録する。画像ＩＤとは、後で画像データを取出す為の情報である。画像ＩＤには、例えば、録画装置２０２内でユニークであるように録画開始からフレーム単位で順に振ったフレーム番号を用いることができる。

ステップＳ６０３において、録画装置２０２は、受信した画像データに対して顔検出を行う。顔検出は、眼や鼻、口等の主要構成要素の配置や額と眼の濃淡差等の顔の特性を使った、公知の画像認識技術を用いて行う。

ステップＳ６０４において、録画装置２０２は、顔検出結果の判定を行う。
Ｙｅｓ、すなわち顔が検出された場合、録画装置２０２は、処理をステップＳ６０５に進める。
Ｎｏ、すなわち顔が検出されなかった場合には、録画装置２０２は、処理をステップＳ６００に進める。

ステップＳ６０５において、録画装置２０２は、顔の画像領域を算出する。この顔の画像領域のデータを以降では顔画像データと呼ぶ。

ステップＳ６０６において、録画装置２０２は、算出した顔画像データの画像特徴量を算出する。画像特徴量とは、画像認識技術を用いて算出される画像の傾向を示す値である。画像特徴量には、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せ等を用いることができる。

ステップＳ６０７において、録画装置２０２は、算出した画像特徴量を対応する画像ＩＤに従い、記録媒体に記録する。録画装置２０２は、記録の完了後、処理をステップＳ６００に進める。

｛撮像装置２０１の処理｝

ステップＳ６１０において、撮像装置２０１は、撮像装置２０１内に実装されたＣＣＤやＣＭＯＳ等の撮像素子からの撮像画像出力待機を行う。画像出力を検知すると、撮像装置２０１は、処理を６１１に進める。

ステップＳ６１１において、撮像装置２０１は、出力された撮像画像をデジタル変換する。

ステップＳ６１２において、撮像装置２０１は、デジタル変換した画像を録画装置２０２へネットワーク５を介して送信する。この送信のタイミングは、タイミングＴ６２０である。
タイミングＴ６２０は、撮像装置２０１と録画装置２０２間の通信を表す。

（映像再生処理）
次に、図６を参照して、映像再生処理の流れの一例を示す。
映像再生処理は、録画装置２０２と端末装置１０３間の通信を含んだ処理にて実行される。ここでは、録画装置２０２に記録されている映像を端末装置１０３にて再生する。

ステップＳ７００において、端末装置１０３の制御部は、ユーザの再生操作待機を行う。ユーザの再生操作を検知すると、端末装置１０３の制御部は、処理をステップＳ７０１に進める。

｛端末装置１０３の処理｝
ステップＳ７０１において、端末装置１０３の映像再生表示部２１４は、ユーザの再生操作内容に従って映像再生要求の内容を決定する。映像再生要求の内容は、例えば、順再生や早送りのような再生種類、再生の時間方向、再生の速度等で構成される。

ステップＳ７０２において、端末装置１０３の映像再生表示部２１４は、決定した映像再生要求のデータを録画装置２０２へネットワーク５を介して送信する。このタイミングは、タイミングＴ７２０である。

ステップＳ７０３において、端末装置１０３の映像再生表示部２１４は、データの受信待機を行う。データの着信を検知すると、映像再生表示部２１４は、処理をステップＳ７０４に進める。

ステップＳ７０４において、端末装置１０３の映像再生表示部２１４は、録画装置２０２からの送信データを受信する。このタイミングは、タイミングＴ７２１と、Ｔ７２２である。

ステップＳ７０５において、端末装置１０３の映像再生表示部２１４は、受信データの内容判定を行う。具体的には、受信したデータが配信画像であった場合は「Ｙｅｓ」と判定し、映像再生完了通知であった場合は「Ｎｏ」と判定する。
Ｙｅｓ、すなわち受信したデータが配信画像であった場合、映像再生表示部２１４は、処理をステップＳ７０６に進める。
Ｎｏ、すなわち受信したデータが映像再生完了通知であった場合、映像再生表示部２１４は、処理をステップＳ７００に進める。

ステップＳ７０６において、端末装置１０３の映像再生表示部２１４は、受信した配信画像を画面上に表示する。表示の完了後、映像再生表示部２１４は、処理をステップＳ７０３に進める。

｛録画装置２０２の処理｝
ステップＳ７１０において、録画装置２０２は、映像再生要求受信待機を行う。映像再生要求着信を検知すると、録画装置２０２は、処理をステップＳ７１１に進める。

ステップＳ７１１において、録画装置２０２は、端末装置１０３からの映像再生要求を受信する。このタイミングは、タイミングＴ７２０である。

ステップＳ７１２において、録画装置２０２は、映像再生要求を基に映像再生の内容を決定する。映像再生の内容は、例えば、最初に配信する画像の画像ＩＤや配信する画像数、次に配信する画像の画像ＩＤ、配信タイミング等のデータから構成される。

ステップＳ７１３において、録画装置２０２は、記録媒体から画像を取出す。取出しの際には、映像再生内容中の次に配信する画像の画像ＩＤを使用する。

ステップＳ７１４において、録画装置２０２は、送信時刻待機を行う。送信時刻は、映像再生内容中の配信タイミングを使用する。送信時刻に達すると、録画装置２０２は、処理をステップＳ７１５に進める。

ステップＳ７１５において、録画装置２０２は、取出した画像を端末装置１０３へネットワーク５を介して送信する。このタイミングは、タイミングＴ７２１である。

ステップＳ７１６において、録画装置２０２は、映像再生の完了について判定する。この完了の判定は先に決定した映像再生内容を満たす画像配信が完了したか否かを検出することで行う。
Ｙｅｓ、すなわち、画像配信を完了と判定した場合には、録画装置２０２は、処理をステップＳ７１７に進める
Ｎｏ、すなわち、画像配信が未完了と判定した場合には、録画装置２０２は、処理をステップＳ７１８に進める。

ステップＳ７１７において、録画装置２０２は、映像再生完了通知を端末装置１０３へネットワーク５を介して送信する。このタイミングは、タイミングＴ７２２である。
送信の完了後、処理をステップＳ７１０に進める。

ステップＳ７１８において、録画装置２０２は、映像再生内容を更新する。この際に更新されるのは、次に配信する画像の画像ＩＤと配信タイミングである。
更新の完了後、録画装置２０２は、処理をステップＳ７１３に進める。

（人物検索処理）
次に図７を参照して、人物検索処理の流れの一例を示す。
人物検索処理は、録画装置２０２と端末装置１０３間の通信を含んだ処理にて実行され、録画装置２０２に記録されている映像から探し出された検索結果画像の集合を端末装置１０３にて検索結果として表示する。
図７に示した処理の流れの中には、本発明の実施の形態に係る画像検索の結果表示方法も含まれる。

｛端末装置１０３の処理｝
ステップＳ８００において、端末装置１０３の検索要求送信部２１１は、ユーザの検索操作待機を行う。
ユーザの検索操作を検知すると、検索要求送信部２１１は、処理はステップＳ８０１に進める。

ステップＳ８０１において、端末装置１０３の検索要求送信部２１１は、検知したユーザ操作の内容判定を行う。ユーザの操作内容が、検索画像指定ボタンの押下であった場合、検索要求送信部２１１は、Ｙｅｓと判定する。それ以外の場合、例えば検索実行ボタンの押下であった場合、検索要求送信部２１１は、Ｎｏと判定する。
Ｙｅｓの場合、検索要求送信部２１１は、処理をステップＳ８０２に進める。
Ｎｏの場合、検索要求送信部２１１は、処理をステップＳ８０３に進める

ステップＳ８０２において、端末装置１０３の検索要求送信部２１１は、再生映像表示領域３０１に表示された画像を検索画像と設定する。そして、検索要求送信部２１１は、検索画像を再生映像表示領域３０１に表示する。

ステップＳ８０３において、端末装置１０３の検索要求送信部２１１は、検索要求を録画装置２０２にネットワーク５を介して送信する。この送信のタイミングは、タイミングＴ８２０である。
ここで、検索要求は、検索画像のデータやメタデータを含んで構成されるデータである。説明の簡略化のために詳細に言及しないが、検索要求に日時範囲や検索対象カメラ等の検索条件、検索画像の最大表示数等の表示条件、検索画像の画像時刻等の情報を含めることも可能である。

ステップＳ８０４において、端末装置１０３の検索結果受信部２１２は、データの受信待機を行う。データの着信を検知すると、検索結果受信部２１２は、処理をステップＳ８０５に進める。

ステップＳ８０５において、端末装置１０３の検索結果受信部２１２は、録画装置２０２から送信されたデータである検索結果データを受信する。この送信のタイミングは、タイミングＴ８２１とＴ８２２である。
検索結果受信部２１２が受信する検索結果データの構造については後述する。

ステップＳ８０６において、端末装置１０３の検索結果受信部２１２は、受信データの内容判定を行う。具体的には、検索結果受信部２１２は、受信内容が検索結果であった場合はＹｅｓと判定し、顔検出不能通知であった場合はＮｏと判定する。
Ｙｅｓの場合、検索結果受信部２１２は、処理をステップＳ８０７に進める。
Ｎｏの場合、検索結果受信部２１２は、処理をステップＳ８０９に進める。

ステップＳ８０７において、端末装置１０３の検索結果保存部１１５は、検索結果の格納処理を行う。具体的には、受信した検索結果を保持のために主記憶部のＲＡＭや補助記憶部のＨＤＤ等の一時記憶媒体に記憶する。
検索結果保存部１１５は、一時記憶媒体に既に記憶されたデータが存在する場合には、作成したファイルやデータベースのエントリーに追記する等して追加して格納する。
したがって、格納されるデータは、既に実行した検索結果に、この検索結果を加えた検索結果の集合データとなる。本発明の実施の形態に係る検索結果表示方法においては、この集合データを検索結果集合と呼ぶ。
検索結果集合のデータの構造、受信した検索結果格納の処理の流れについては後述する。

ステップＳ８０８において、端末装置１０３の検索結果表示部１１３は、画像検索の結果表示処理を行う。具体的には、一時記憶媒体に格納された検索結果集合のデータをもとに、検索結果表示領域４０５に画面表示する処理を行う。
この画面表示の処理は、本発明実施の形態に係る検索結果表示方法を用いて行う。実際の検索結果表示の処理の流れについては後述する。
この画面表示する処理の完了後、検索結果表示部１１３は、処理をステップＳ８００に進める。

ステップＳ８０９において、端末装置１０３の検索結果表示部１１３は、顔が検出できない旨を画面表示する。
表示の完了後、検索結果表示部１１３は、処理をステップＳ８００に進める。

｛録画装置２０２の処理｝
ステップＳ８１０において、録画装置２０２は、検索要求の受信待機を行う。
検索要求の着信を検知すると、録画装置２０２は、処理はステップＳ８１１に進む。

ステップＳ８１１において、録画装置２０２は、端末装置１０３から送信された検索要求を受信する。このタイミングはタイミングＴ８２０である。

ステップＳ８１２において、録画装置２０２は、受信した検索要求に含まれる検索画像に対して顔検出を行う。
顔検出は、顔特徴量等を求める従来の映像監視システムと同様の技術を用いて実行する。

ステップＳ８１３において、録画装置２０２は、ステップＳ８１２での顔検出結果の判定を行う。
Ｙｅｓ、すなわち顔が検出された場合、録画装置２０２は、処理をステップＳ８１４に進める。
Ｎｏ、すなわち顔が検出されなかった場合には、処理をステップＳ８１８に進める。

ステップＳ８１４において、録画装置２０２は、顔の画像領域を算出し、顔画像データを求める。

ステップＳ８１５において、録画装置２０２は、求めた顔画像データの画像特徴量を算出する。算出する画像特徴量の種類や算出方法も、従来と映像監視システムと同様である。

ステップＳ８１６において、録画装置２０２は、検索画像の画像特徴量と、録画装置２０２に記録されている各画像の画像特徴量との間の類似度を算出し、ある一定以上の類似度を有する画像データとメタデータを含むデータの集合を、検索結果として生成する。
検索結果のメタデータは、画像時刻や類似度等を含んで構成される。
また、検索結果に含まれる画像データの集合は、録画装置２０２に記録されている各画像データを縮小化（サムネイル化）した画像を使用する。

ステップＳ８１７において、録画装置２０２は、検索結果を端末装置１０３へネットワーク５を介して送信する。このタイミングはタイミングＴ８２１である。
送信の完了後、録画装置２０２は、処理をステップＳ８１０に進める。

ステップＳ８１８において、録画装置２０２は、顔検出不能通知を端末装置１０３へネットワーク５を介して送信する。このタイミングはタイミングＴ８２２である。
送信の完了後、処理をステップＳ８１０に進める。

〔検索結果データの構造〕
ここで、図８を参照して、本発明の実施の形態に係る結果表示方式を含む人物検索機能を備えたシステムにおける検索結果データの構造について説明する。

図８Ａは、ステップＳ８０５において録画装置２０２から端末装置１０３へ送信される、検索結果のデータ構造の例である。
ここでは、従来の監視システムＹにて、図１２Ｃで示した検索画像３１３を用いて検索を実行して得られた検索結果のデータ構造の例について説明する。

行番号列９００は、このデータ構造からデータを読出す際に使用する番号を格納する列である。
録画装置２０２では、表の上位行から順に番号付けを行う。同一行に格納された各データは、同一の検索結果画像に対応付けられたデータである。

画像ＩＤ列９０１は、検索結果画像の画像ＩＤを格納する列である。

画像データ列９０２は、検索結果画像の画像データを格納する列である。
ここでは、画像データを格納するイメージとして、表のセル中に画像を描いている。しかしながら、実際の録画装置２０２での実装においては、別途画像格納領域を設けその領域への参照アドレスを格納させるようにしてもよい。

なお、説明の簡略化の為に図示しないが、この検索結果データの例においては、データ構造中には検索結果画像の類似度や画像時刻、画像のサイズや大きさに関する情報等も併せて格納することも可能である。

また、本例においては、データ構造を行と列で構成される表形式を用いる場合のみを説明するが、実装においては、ストリーム形式やツリー形式、リスト形式のような構造であってもよい。

〔検索結果集合のデータ構造〕
ここで、図８Ｂを参照して、ステップＳ８０８において端末装置１０３の一時記憶媒体に格納された、検索結果集合のデータ構造を示す。
ここでは、図３、図４Ａ、図４Ｂで示した検索画像３１１〜３１３にて３回の検索を実行して得られた検索結果のデータ構造の例について示す。

行番号列９１０は、本データ構造からデータを読出す際に使用する番号を格納する列である。
検索結果保存部１１５は、表の上位行から順に番号付けをする。同一行に格納された各データは、同一の検索結果画像に対応付けられたデータである。

画像ＩＤ列９１１は、検索結果画像の画像ＩＤを格納する列である。

画像データ列９１２は、検索結果画像の画像データを格納する列である。
図８Ｂでは画像データを格納するイメージとして表のセル中に画像を描画している。しかし、実際の検索結果保存部１１５による実装においては、補助記憶部のファイルやデータベース、又は主記憶部の変数として、別途画像格納領域を設けて、該画像格納領域への参照アドレスを格納するようにしてもよい。

検索結果識別番号列９１３は、検索結果識別番号を格納する列である。
検索結果識別番号は、検索を実施する度にユニークに割り振られる番号であり、番号は検索結果識別マークと対応付けられている。
検索結果識別番号列９１３の各セルにはそれぞれ複数個の検索結果識別番号が格納できるようになっている。

なお、図８Ａの検索結果データと同様に、検索結果集合のデータ構造中には、検索結果画像の類似度や画像時刻、画像のサイズや大きさに関する情報等も併せて格納することも可能である。

また、図８Ａ同様に、本例においては、データ構造を行と列で構成される表形式を用いる場合のみを説明するが、実装においては、ストリーム形式やツリー形式、リスト形式のような構造であってもよい。

（検索結果の格納処理）
ここで、図９を参照して、ステップＳ８０７の検索結果の格納処理の流れを、より詳細に説明する。
図９のように、ステップＳ８０６でＹｅｓの次に実行される処理として、以下の処理を実行する。ステップＳ１０００〜Ｓ１０１２は、端末装置１０３の検索結果保存部１１５が実行する。
また、この例においては、図８Ａに示したような受信した検索結果のデータを図８Ｂに示したような検索結果集合のデータに格納する処理の流れについて示す。

ステップＳ１０００において、検索結果保存部１１５は、検索結果識別番号を決定する。
検索結果識別番号は、図８Ｂに示したような検索結果集合データの検索結果識別番号列に存在しないユニークな番号を使用する。
値の決定には、図８Ｂを走査してユニークな番号を検索してもよいし、所定の疑似乱数アルゴリズムの数列の値を使用してもよいし、現在時刻等の必然的にユニークな値を使用してもよい。

ステップＳ１００１において、検索結果保存部１１５は、読込み参照行カウンタを１に初期化する。
読込み参照行カウンタは、図８Ａに示した検索結果データからの読込みに使用する番号である。
ここでは、図８Ａの検索結果データの行番号列９００の行番号について、読み込み参照行カウンタがカウントする番号として説明する。すなわち、図８Ａに示した検索結果データにおいて、本カウンタと行番号が一致する行が読込み参照行となる。

ステップＳ１００２において、検索結果保存部１１５は、読込み参照行から画像ＩＤ、画像データを読込み、主記憶部や補助記憶部に一時記憶する。

ステップＳ１００３において、検索結果保存部１１５は、書込み参照行カウンタを１に初期化する。
書込み参照行カウンタは、図８Ｂに示した検索結果集合データへの読込みと書込みに使用する番号である。
ここでは、図８Ｂに示した検索結果集合データにおいて書込み参照行カウンタと行番号列９１０の行番号とが一致する行が書込み参照行となる。

ステップＳ１００４において、検索結果保存部１１５は、書込み参照行が最終行を超えたかを判定する。
判定は書込み参照行カウンタと検索結果集合データの行数の比較により実施する。
書込み参照行が最終行を超えていない、すなわち、書込み参照行カウンタが行数以下である場合には、Ｙｅｓと判定する。それ以外の場合はＮｏと判定する。
Ｙｅｓの場合、検索結果保存部１１５は、処理をステップＳ１００５に進める。
Ｎｏの場合、検索結果保存部１１５は、処理をステップＳ１００９に進める。

ステップＳ１００５において、検索結果保存部１１５は、書込み参照行から画像ＩＤを読み出す。

ステップＳ１００６において、検索結果保存部１１５は、ステップＳ１００５で読込んだ画像ＩＤと、ステップＳ１００２で読込んだ画像ＩＤの一致を判定する。
Ｙｅｓ、すなわち、一致すると判定した場合には、検索結果保存部１１５は、処理をステップＳ１００７に進める。
Ｎｏ、すなわち一致しないと判定した場合には、検索結果保存部１１５は、処理をステップＳ１００８に進める。

ステップＳ１００７において、検索結果保存部１１５は、検索結果識別番号を書込み参照行の検索結果識別番号列９１３との交差セルに追加格納する。
検索結果識別番号は、ステップＳ１０００で決定した値を用いる。格納完了後、検索結果保存部１１５は、処理をステップＳ１０１１に進める。

ステップＳ１００８において、検索結果保存部１１５は、書込み参照行カウンタに１を加算する。加算完了後、検索結果保存部１１５は、処理をステップＳ１００４に進める。

ステップＳ１００９において、検索結果保存部１１５は、図８Ｂに示した検索結果集合データに行を追加する。

ステップＳ１０１０において、検索結果保存部１１５は、追加した行に、行番号、画像ＩＤ、画像データ、検索結果識別番号を格納する。
行番号は、現在の書込み参照行カウンタ値を用い、追加行の行番号列９１０との交差セルに格納する。
画像ＩＤは、ステップＳ１００２で読込んだ値を用い、追加行の画像ＩＤ列９１１との交差セルに格納する。
画像データは、ステップＳ１００２で読込んだ内容を用い、追加行の画像データ列９１２との交差セルに格納する。
検索結果識別番号は、ステップＳ１０００で決定した値を用い、追加行の検索結果識別番号列９１３との交差セルに格納する。
格納完了後、検索結果保存部１１５は、処理をステップＳ１０１１に進める。

ステップＳ１０１１において、検索結果保存部１１５は、読込み参照行カウンタに１を加算する。
加算完了後、検索結果保存部１１５は、処理をステップＳ１０１２に進める。

ステップＳ１０１２において、検索結果保存部１１５は、図８Ａに示した検索結果データの読込み参照行が最終行を超えたかを判定する。この判定は、読込み参照行カウンタと検索結果データの行数の比較により実施する。
Ｎｏ、すなわち読込み参照行が最終行を超えていない、つまり読込み参照行カウンタが行数以下である場合には、検索結果保存部１１５は、処理をステップＳ１００２に進める。
Ｙｅｓ、すなわち、最終行と同じか超えた場合には、検索結果保存部１１５は、処理をステップＳ８０８に進める。
以上により、検索結果の格納処理を狩猟する。

（画像検索の結果表示処理）
次に、図１０を参照して、ステップＳ８０８の検索結果の表示処理の流れを詳しく説明する。
ステップＳ１１００〜Ｓ１１０９は、ステップＳ８０７の次に、検索結果表示部１１３の多層化部１３１、各層表示部１３２、要素表示部１３３の各部が実行する。
この例においては、図８Ｂに示したような検索結果集合データを画面に表示する処理の流れを示す。

ステップＳ１１００において、多層化部１３１は、検索結果識別番号を決定する。検索結果識別番号は、ステップＳ１０００にて決定した値と同一とする。

ステップＳ１１０１において、多層化部１３１は、参照行カウンタを１に初期化する。参照行カウンタは、図８Ｂに示した検索結果集合データからの読込みに使用する番号である。
図８Ｂに示した検索結果集合データにおいて、この参照行カウンタと行番号列９１０の行番号が一致する行が参照行となる。

ステップＳ１１０２において、多層化部１３１は、参照行が最終行を超えたかを判定する。判定は参照行カウンタと検索結果集合データの行数の比較により実行する。
Ｎｏ、すなわち参照行が最終行を超えていない、つまり参照行カウンタが行数以下である場合には、処理をステップＳ１１０３に進める。
Ｙｅｓ、すなわち、参照行が最終行を超えた場合には、多層化部１３１は、処理をステップＳ８００に戻す。

ステップＳ１１０３において、各層表示部１３２は、参照行から検索結果識別番号を読込み、主記憶部の変数や補助記憶部の一時ファイル等に一時記憶する。
ここで読込んだ検索結果識別番号は１つもしくは複数個である。

ステップＳ１１０４において、各層表示部１３２は、画像の表示位置を算出する。
各層表示部１３２は、表示位置の算出には行番号を用い、行番号を検索結果表示領域４０５の画面横方向の検索結果画像表示数で割った余りが画面横方向の表示位置になり、商が画面縦方向の表示位置となるように求めることができる。
なお、表示位置の座標を、テーブル等を参照して所定の位置を決めるように求めることも可能である。

ステップＳ１１０５において、各層表示部１３２は、ステップＳ１１００にて決定した検索結果識別番号が、ステップＳ１１０３にて読込んだ検索結果識別番号のいずれか１つと一致するか判定する。
Ｙｅｓ、すなわち、一致すると判定した場合には、処理をステップＳ１１０６に進める。
Ｎｏ、すなわち、どれとも一致しないと判定された場合には、処理をステップＳ１１０８に進める。

ステップＳ１１０６において、要素表示部１３３は、検索結果集合データの画像データ列９１２における参照行に対応する画像を読込み、一時記憶する。

ステップＳ１１０７において、要素表示部１３３は、ステップＳ１１０４にて算出した表示位置に、一次記憶した画像を表示する。

ステップＳ１１０８において、要素表示部１３３は、検索結果識別マークを表示する。
ここでは、ステップＳ１１０４にて算出した画像の表示位置の上方に、ステップＳ１１０３にて読込んだ検索結果識別番号に対応するマークを表示する。すなわち、この処理にて、検索結果要素の近傍に重複度を表示することができる。

ステップＳ１１０９において、各層表示部１３２は、参照行カウンタに１を加算する。加算完了後、各層表示部１３２は、処理をステップＳ１０１２に進める。
以上により、画像検索の結果表示方法の処理を終了する。

以上のような構成にすることで、以下のような効果を得ることができる。
まず、従来の画像検索システムにおいては、（１）毎回の検索結果を保持しつつ、（２）各検索結果間における関係性がわかる結果表示を行うことはできなかった。
しかし、本発明の実施の形態に係る画像監視システムにおいては、検索結果表示画面を多層化部１３１により多層化し、各層表示部１３２により各検索結果を検索結果表示画面の各層に表示し、要素表示部１３３により各層間で重複する検索結果要素を同一の表示位置に表示し、重複度表示部１３４により、検索結果要素の近傍に重複度を表示する手段を重複度表示する。これにより、（１）毎回の検索結果をタブ表示することができ、（２）各検索結果間における関係性を通知することができる。
これにより、ユーザが画像検索において、膨大な画像のなかから必要な画像をくまなく取得することが容易になるという顕著な効果が得られる。

なお、本発明の実施の形態においては、説明の簡略化のため、本図においては撮像装置２０１や録画装置２０２、端末装置１０３は各１台の構成で示した。しかし、これらはネットワーク５に対し、複数台の接続が可能である。
また、本発明の実施の形態においては、検索の画像の指定のみを端末で行い、録画と検索とを同一の装置で実行する構成を示した。しかし、録画と検索とについても別々の装置で実行するようにしてもよい。

また、本発明の実施の形態においては、人物検索に関わる顔検出処理や画像特徴量算出処理等を録画装置２０２上で実施する構成の例について示した。しかし、ネットワーク５で接続された録画装置２０２とは別の装置にて実行するようにしてもよい。
また、本発明の実施の形態においては、検索結果保存部１１５を端末装置１０３の構成要素として示したが、録画装置２０２側の構成要素とすることも可能である。
また、本発明の実施の形態においては、検索結果識別マークとして、星型形状の図形を例に用いたが、それぞれ他の形状、塗色等による図形表現を用いても。また、本発明の実施の形態においては、それらを検索画像近傍への表示としたが、検索画像への重ねる表示としてもよい。また、画像自体に対する変形、例えば、大きさや回転等による表現であってもよい。さらには、画像の透過度等により重複度を表現するようにしてもよい。
また、本発明の実施の形態においては、検索対象画像をその時点で録画されている全画像とした場合を示したが、時刻やカメラで限定された画像を対象とすることも可能である。
また、本発明の実施の形態においては、これまでの全ての検索結果を画面表示する場合を示したが、検索結果画像に対し、検索結果識別マークの数でのフィルタリング処理を設け、決まった数や範囲の検索結果識別マークを有数検索結果画像だけを画面表示することも可能である。
また、本発明の実施の形態においては、録画装置２０２で、検索結果を完全に生成完了してから端末装置１０３側に送信する処理の流れを示したが、検索結果が部分的に生成される毎に端末装置１０３側に逐次送信する処理の流れであってもよい。
また、本発明の実施の形態においては、検索画像中に存在する人物が１名である場合を示したが、検索画像中に複数人が存在する場合には、それぞれの人物に対する検索結果をＡＮＤやＯＲした結果をユーザに返すようにしてもよい。また、複数人が存在する旨をユーザ側に通知し、検索対象とする１名をポインティングデバイス等で指定・選択するように求め、選択した１名に対して人物検索を実行するようにしてもよい。
また、本発明の実施の形態においては、人物検索を対象に示したが、本発明は人物だけでなく一般的な画像検索にも適用できることはいうまでもない。

また、本発明の実施の形態に係る画像検索方法は、画像監視システムにおいて、
検索結果表示画面を多層化し、
各検索結果を前記検索結果表示画面の各層に表示し、
前記各層間で重複する検索結果要素を同一の表示位置に表示し、
前記検索結果要素の近傍に重複度を表示する
ことを特徴とする。

なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

本発明の実施の形態に係る監視システムＸのシステム構成図である。 本発明の実施の形態に係る検索結果表示部１１３の制御構成を示すブロック図である。 本発明の実施の形態に係る端末装置１０３における、人物検索のためのユーザインタフェイスの例を示す図である。 本発明の実施の形態に係る端末装置１０３における、検索結果表示領域４０５の例を示す図である。 本発明の実施の形態に係る端末装置１０３における、検索結果表示領域４０５の別の例を示す図である。 本発明の実施の形態に係る録画処理における処理の流れを示すフローチャートである。 本発明の実施の形態に係る映像再生処理における処理の流れを示すフローチャートである。 本発明の実施の形態に係る人物検索処理における処理の流れを示すフローチャートである。 本発明の実施の形態に係る検索結果データのデータ構造を示す概念図である。 本発明の実施の形態に係る検索結果集合のデータ構造を示す概念図である。 本発明の実施の形態に係る検索結果の格納処理における処理の流れを示すフローチャートである。 本発明の実施の形態に係る画像検索の結果表示処理における処理の流れを示すフローチャートである。 従来の人物検索機能を備えた監視システムＹのシステム構成図である。 従来の人物検索機能を備えた監視システムＹにおける検索画像３１１を用いた人物検索結果の例を示す図である。 従来の人物検索機能を備えた監視システムＹにおける検索画像３１２を用いた人物検索結果の例を示す図である。 従来の人物検索機能を備えた監視システムＹにおける検索画像３１３を用いた人物検索結果の例を示す図である。 検索画像３１１による検索結果Ａ、検索画像３１２による検索結果Ｂ、検索画像３１３による検索結果Ｃを示す概念図である。

符号の説明

５ ネットワーク
１０３、２０３ 端末装置
１１３、２１３ 検索結果表示部
１１５ 検索結果保存部
１３１ 多層化部
１３２ 各層表示部
１３３ 要素表示部
１３４ 重複度表示部
２０１ 撮像装置
２０２ 録画装置
２１１ 検索要求送信部
２１２ 検索結果受信部
２１４ 映像再生表示部
３０１ 再生映像表示領域
３０２ 映像再生操作領域
３０３ 検索画像表示領域
３０４ 検索実行領域
３０５、４０５ 検索結果表示領域
３１１〜３１３ 検索画像
３２１、４４１〜４４８ 検索結果画像
４１１〜４１３ 切替選択ボタン
４２１〜４２３ 検索結果識別マーク
４３１〜４３３ 閉ボタン
４５１〜４５８ 検索結果識別マーク表示欄
９００、９１０ 行番号列
９０１、９１１ 画像ＩＤ列
９０２、９１２ 画像データ列
９１３ 検索結果識別番号列
１２０１〜１２０３ 検索結果空間
Ｘ、Ｙ 監視システム

Claims (1)

1. 検索結果表示画面を多層化する多層化手段と、
   各検索結果を前記検索結果表示画面の各層に表示する各層表示手段と、
   前記各層の検索結果要素の近傍に重複度を表示する重複度表示手段と
   を備えることを特徴とする画像検索システム。

Images