JP6172551B1 - 画像検索装置、画像検索システム及び画像検索方法 - Google Patents

Abstract

【課題】検索対象人物が写る多様な画像を一度の検索処理で効率よく収集して、ユーザが望む態様の人物画像を出力することができるようにする。【解決手段】人物画像の特徴情報に基づいて、人物画像の集合に対してクラスタリングを行い、画像数が最も多いキークラスタを滞在人物ごとに選択するクラスタ処理部３４と、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得する検索条件取得部と、検索条件および各滞在人物に関する特徴情報に基づいて、滞在人物ごとに検索対象人物との類似度を取得する人物照合部４２と、ユーザの操作入力に応じて、検索結果の抽出範囲に関する出力条件を設定する出力条件設定部４３と、類似度が高い滞在人物のキークラスタから、出力条件にしたがって検索結果となる複数の人物画像を抽出する出力画像抽出部４４と、を備えたものとする。【選択図】図９

Description

本発明は、監視エリアに滞在する人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索装置、画像検索システム及び画像検索方法に関するものである。

監視エリア内にカメラを設置して、このカメラで監視エリアを撮像した撮像画像をモニタに表示して、監視者に監視させる監視システムが広く普及している。このような監視システムでは、カメラから出力される撮像画像をレコーダに蓄積することで、万引きなどの問題のある行為を行った人物が監視エリア内でどのような行動を行ったかを監視者が事後に確認することができる。

ところが、レコーダに蓄積された大量の撮像画像の中から、検索対象人物が写る撮像画像を探し出すには非常な手間を要し、検索対象人物が写る撮像画像を効率よく検索することができる技術が望まれる。特に、検索対象人物を撮像した撮像画像を別途入手することができる場合には、その撮像画像を手掛かりにして、検索対象人物が写る撮像画像を検索することができるとよい。

このように別途入手した撮像画像を手掛かりにして、検索対象人物が写る撮像画像を検索する技術として、従来、人物の向きやカメラの撮像角度などが異なる複数のキー画像を検索条件としてユーザが登録することで、人物の向きや撮影角度の違いによる検索漏れを低減して、検索対象人物が写る画像をより多く取得する技術が知られている（特許文献１参照）。

特開２０１１−０４８６６８号公報

さて、前記従来の技術では、人物の向きやカメラの撮像角度などが異なるキー画像を数多く登録することで、人物の見え方が異なる多様な画像を一度に見つけ出すことができる。しかしながら、この従来の技術では、複数のキー画像をユーザが数多く登録することに手間を要するという問題があった。また、キー画像を数多く登録することができないために、思わしくない検索結果が得られた場合には、キー画像を追加して再検索を繰り返す必要があり、検索の効率が悪いという問題があった。

そこで、本発明は、検索対象人物が写る多様な画像を一度の検索処理で効率よく収集して、ユーザが望む態様の人物画像を出力することができる画像検索装置、画像検索システム及び画像検索方法を提供することを主な目的とする。

本発明の画像検索装置は、監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索装置であって、滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集する滞在人物情報収集部と、前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択するクラスタ処理部と、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得する検索条件取得部と、この検索条件取得部で取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得する人物照合部と、ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定する出力条件設定部と、検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出する出力画像抽出部と、この出力画像抽出部で抽出された複数の前記人物画像を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の画像検索システムは、監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索システムであって、前記監視エリアを撮像するカメラと、このカメラにネットワークを介して接続された情報処理装置と、を有し、前記情報処理装置は、滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集する滞在人物情報収集部と、前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択するクラスタ処理部と、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得する検索条件取得部と、この検索条件取得部で取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得する人物照合部と、ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定する出力条件設定部と、検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出する出力画像抽出部と、この出力画像抽出部で抽出された複数の前記人物画像を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の画像検索方法は、監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する処理を情報処理装置に行わせる画像検索方法であって、滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集し、前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択し、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得し、ここで取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得し、ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定し、検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出し、ここで抽出された複数の前記人物画像を含む出力情報を生成する構成とする。

本発明によれば、キークラスタは、滞在人物が１人だけ写る人物画像で構成されるため、検索対象人物との類似度が高い滞在人物のキークラスタを選択することで、検索対象人物が写る適切な人物画像を一度の検索処理で効率よく収集することができる。そして、キークラスタには、人物の見え方が異なる多様な人物画像が含まれるため、出力条件をユーザが適宜に変更することで、ユーザが望む態様の人物画像を出力することができる。

本実施形態に係る画像検索システムの全体構成図 施設におけるカメラ１の設置状況を示す平面図 カメラ１から出力される撮像画像を示す説明図 ＰＣ３で行われる滞在人物情報収集処理の概要を示す説明図 人物画像ごとの特徴量の分布状況の一例を示す説明図 ＰＣ３で行われる画像検索処理の概要を示す説明図 モニタ７に表示される検索条件入力画面を示す説明図 モニタ７に表示される検索結果表示画面を示す説明図 ＰＣ３の概略構成を示すブロック図

前記課題を解決するためになされた第１の発明は、監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索装置であって、滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集する滞在人物情報収集部と、前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択するクラスタ処理部と、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得する検索条件取得部と、この検索条件取得部で取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得する人物照合部と、ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定する出力条件設定部と、検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出する出力画像抽出部と、この出力画像抽出部で抽出された複数の前記人物画像を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、キークラスタは、滞在人物が１人だけ写る人物画像で構成されるため、検索対象人物との類似度が高い滞在人物のキークラスタを選択することで、検索対象人物が写る適切な人物画像を一度の検索処理で効率よく収集することができる。そして、キークラスタには、人物の見え方が異なる多様な人物画像が含まれるため、出力条件をユーザが適宜に変更することで、ユーザが望む態様の人物画像を出力することができる。

また、第２の発明は、前記出力条件設定部は、前記出力条件として、前記抽出範囲を絞り込みあるいは広げるパラメータを設定する構成とする。

これによると、ユーザの必要に応じて、検索結果の抽出範囲を絞り込んだり広げたりすることができる。

また、第３の発明は、前記パラメータは、前記特徴情報を座標軸とした特徴空間におけるクラスタ中心点からの距離に関する閾値であり、前記出力画像抽出部は、前記クラスタ中心点からの距離が前記閾値以内となる前記人物画像を抽出する構成とする。

これによると、閾値を小さく設定すると、人物の見え方が平均的でかつ類似した人物画像が少数出力されるため、人物画像に写る人物が検索対象人物であるか否かの本人確認をユーザが迅速に行うことができる。一方、閾値を大きく設定すると、人物の見え方が異なる多様な人物画像が多数出力されるため、本人確認をユーザが詳細に行うことができる。

また、第４の発明は、前記出力情報生成部は、前記出力情報として、検索結果表示画面に関する表示情報を生成し、前記検索結果表示画面では、複数の前記人物画像が、前記クラスタ中心点からの距離が短い順に並べて表示される構成とする。

これによると、クラスタ中心点からの距離が最も短い人物画像（キー画像）を先頭にして、次順位以降の人物画像が並べて表示されるため、人物画像に写る人物が検索対象人物であるか否かの本人確認をユーザが容易に行うことができる。

また、第５の発明は、前記出力情報生成部は、前記出力情報として、検索結果表示画面に関する表示情報を生成し、前記検索結果表示画面では、複数の滞在人物ごとの前記人物画像が表示される複数の人物画像表示部が、前記検索対象人物との類似度が高い順に並べて表示される構成とする。

これによると、検索対象人物である可能性が最も高い滞在人物の人物画像表示部を先頭にして、次順位以降の滞在人物の人物画像表示部が並べて表示されるため、人物画像に写る人物が検索対象人物であるか否かの本人確認をユーザが容易に行うことができる。

また、第６の発明は、前記検索条件取得部は、ユーザの操作入力に応じて、検索対象人物が写る検索対象画像を取得する検索対象画像取得部と、前記検索対象画像から検索対象人物に関する特徴情報を抽出する特徴抽出部と、ユーザの操作入力に応じて、前記特徴抽出部で取得した前記特徴情報を修正した修正特徴情報を取得する特徴修正部と、を備えた構成とする。

これによると、検索対象画像があまり適切なものでない場合でも、検索対象人物に関する特徴情報をユーザが修正することで、画像検索を適切に行うことができる。

また、第７の発明は、監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索システムであって、前記監視エリアを撮像するカメラと、このカメラにネットワークを介して接続された情報処理装置と、を有し、前記情報処理装置は、滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集する滞在人物情報収集部と、前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択するクラスタ処理部と、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得する検索条件取得部と、この検索条件取得部で取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得する人物照合部と、ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定する出力条件設定部と、検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出する出力画像抽出部と、この出力画像抽出部で抽出された複数の前記人物画像を含む出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、第１の発明と同様に、検索対象人物が写る多様な画像を一度の検索処理で効率よく収集して、ユーザが望む態様の人物画像を出力することができる。

また、第８の発明は、監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する処理を情報処理装置に行わせる画像検索方法であって、滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集し、前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択し、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得し、ここで取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得し、ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定し、検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出し、ここで抽出された複数の前記人物画像を含む出力情報を生成する構成とする。

これによると、第１の発明と同様に、検索対象人物が写る多様な画像を一度の検索処理で効率よく収集して、ユーザが望む態様の人物画像を出力することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る画像検索システムの全体構成図である。

この画像検索システムは、デパートやショッピングセンターなどの大規模な商業施設などを対象にして構築されるものであり、複数のカメラ１と、レコーダ２と、ＰＣ（画像検索装置、情報処理装置）３と、を備えている。

カメラ１は、施設内の適所に設置され、施設内（監視エリア）を撮像する。このカメラ１は、施設内ネットワークを介してレコーダ２に接続されており、カメラ１から出力される撮像画像がレコーダ２に蓄積される。

ＰＣ３には、ユーザ（警備員など）が種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。このＰＣ３は、施設の警備室などに設置され、ユーザが、モニタ７に表示される監視画面で、カメラ１から出力される撮像画像をリアルタイムで閲覧することができ、また、レコーダ２に蓄積された過去の撮像画像を閲覧することができる。

また、カメラ１やレコーダ２から、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ（サーバ装置）１２に撮像画像を送信するようにすると、本部のＰＣ１１や、任意の場所にあるユーザ端末１３で、店舗内の状況を確認することができる。

なお、本実施形態では、カメラ１から出力される撮像画像をレコーダ２に蓄積するようにしたが、カメラ１から出力される撮像画像をＰＣ３に蓄積するようにしてもよい。

次に、施設におけるカメラ１の設置状況について説明する。図２は、施設におけるカメラ１の設置状況を示す平面図である。

監視エリアとしての施設内には、商品陳列エリアの間に通路が設けられており、この通路を主に撮像するように複数のカメラ１が設置されている。施設内の通路を人物が移動すると、カメラ１のいずれか１つあるいは複数で人物が撮像される。

さて、このように監視エリアを撮像するカメラ１から出力される撮像画像をレコーダ２に蓄積することで、検索対象人物、例えば万引きなどの問題のある行為を行った人物が、いつどこでなにをしていたかを、撮像画像で確認することができる。ところが、検索対象人物が滞在していた期間を絞り込むことができない場合には、長時間の撮像画像を再生しながら、多数の人物が写っている撮像画像から検索対象人物を探し出す作業が必要になり、ユーザの負担が大きい。

そこで、本実施形態では、以下に説明するように、ＰＣ３において、監視エリアを撮像した撮像画像に基づいて、監視エリアに滞在する人物に関する情報を収集する処理（滞在人物情報収集処理）を行い、この滞在人物情報収集処理で収集された滞在人物に関する情報に基づいて、検索対象人物が写る人物画像を検索して、その検索結果をユーザに提示する処理（画像検索処理）を行う。

次に、ＰＣ３で行われる滞在人物情報収集処理について説明する。図３は、カメラ１から出力される撮像画像を示す説明図である。図４は、ＰＣ３で行われる滞在人物情報収集処理の概要を示す説明図である。図５は、人物画像ごとの特徴量の分布状況の一例を示す説明図である。

本実施形態では、ＰＣ３において、図３に示すように、カメラ１から出力される撮像画像から、監視エリアに滞在する人物を検出して、撮像画像内の人物領域の位置情報を取得する。本実施形態では、人物領域の位置情報として、人物を取り囲む矩形の人物枠５１の位置情報、すなわち、人物枠５１の基準点の座標（ｘ，ｙ）、人物枠５１の幅ｗ、および人物枠５１の高さｈを取得する。そして、この矩形の人物枠５１で取り囲まれた領域を撮像画像から切り出して、１人の人物が写る人物画像を取得する。

ここで、本実施形態では、１つのカメラ１から、時間的に連続した各時刻の撮像画像（フレーム）が出力され、この各時刻の撮像画像で同一人物を追尾する、いわゆるカメラ内追尾が行われ、各滞在人物について撮像時刻が異なる複数の人物画像が収集される。

次に、カメラ内追尾で収集された各滞在人物の複数の人物画像から特徴量（特徴情報）を抽出して、その人物画像ごとの特徴量に基づいて、図４に示すように、滞在人物ごとの人物画像の集合（人物画像群）を所定数のクラスタに分割するクラスタリングを行う。このクラスタリングでは、図５に示すように、複数の特徴量を座標軸とした特徴空間において距離が近い人物画像をまとめてグループ化する。

なお、図５は、各人物画像に関する複数の特徴量をプロットした散布図であり、横軸および縦軸をそれぞれ第１の特徴量および第２の特徴量として、各人物画像の２つの特徴量による２次元の特徴空間を示しているが、３つ以上の特徴量による多次元の特徴空間でクラスタリングを行うようにしてもよい。

ここで、人物検出が成功している場合には、検出対象人物が１人だけ写った人物画像が得られるが、人物検出が失敗している場合には、人物画像は、検出対象となる１人の人物と別人が写ったものや、人物が全く写っていないものとなる。このため、人物画像には、検出対象人物が１人だけ写った第１の画像形態のものと、検出対象人物と別人とが写った第２の画像形態のものと、人物が全く写っていない第３の画像形態のものとがあり、すべての人物画像は、この３つの画像形態のいずれかに該当する。したがって、クラスタ数を３に設定してクラスタリングを行い、３つのクラスタに分割することで、人物画像を３つの画像形態の人物画像に振り分けることができる。

また、クラスタリングは、色分布に関する特徴量に基づいて行うとよい。例えば、検出対象人物の服装が青色であれば、検出対象人物のみが写った人物画像は青色が優勢となり、別人の服装がカーキ色であれば、検出対象人物と別人とが写った人物画像は、青色とカーキ色とが拮抗する状態となり、カメラ１の撮像エリアの背景がグレーであれば、人物が全く写っていない人物画像はグレーが優勢となり、色分布に関する特徴量でクラスタリングを行うことにより、３つの画像形態のクラスタに分割することができる。

次に、各クラスタのクラスタサイズ、すなわち、１つのクラスタに含まれる人物画像の数を取得して、３つのクラスタのうちで、クラスタサイズが最も大きい、すなわち、クラスタに含まれる人物画像の数が最も多いクラスタを、キークラスタとして選択する。

ここで、第１の画像形態の人物画像で構成される第１のクラスタに含まれる人物画像の数が最も多く、第２の画像形態の人物画像で構成される第２のクラスタに含まれる人物画像の数が次に多く、第３の画像形態の人物画像で構成される第３のクラスタに含まれる人物画像の数が最も少なくなる。第１、第２、第３のクラスタにそれぞれ含まれる人物画像の数は、例えば７：２：１の割合となる。したがって、第１の画像形態の人物画像、すなわち、検出対象人物のみが写った人物画像で構成される第１のクラスタがキークラスタとして選択される。

次に、図５に示すように、キークラスタにおいてクラスタ中心点に最も近い人物画像をキー画像として抽出する。このキー画像は、人物の見え方、すなわち、人物の向きや姿勢およびカメラ１の撮像角度などに応じて画像に現れる人物の状態が最も平均的なものである。なお、クラスタ中心点は、クラスタに含まれる各人物画像の特徴量の平均値（例えば算術平均値）で決定される。

次に、ＰＣ３で行われる画像検索処理の概要について説明する。図６は、ＰＣ３で行われる画像検索処理の概要を示す説明図である。

本実施形態では、検索対象人物が写る検索対象画像をユーザの入力により取得する。そして、この検索対象画像と、滞在人物情報収集処理で収集された滞在人物に関する情報とに基づいて、検索対象人物と各滞在人物との間で人物照合を行う。この人物照合では、検索対象画像から抽出された特徴量と、各滞在人物の人物画像から抽出された特徴量とを比較して、各滞在人物について検索対象人物との類似度を求める。

このとき、キークラスタに含まれる複数の人物画像の特徴量を用いて人物照合を行うようにしてもよいが、キークラスタに含まれる人物画像を代表するキー画像の特徴量のみを用いて人物照合を行うようにしてもよい。

このようにして人物照合により、各滞在人物について検索対象人物との類似度を求めると、次に、類似度が高い滞在人物を上位から所定の人数（例えば３人）だけ選択する。そして、選択した滞在人物のキークラスタに含まれる人物画像の中から、検索結果として出力する複数の人物画像を抽出して、検索結果表示画面（図８参照）に表示する。

ここで、本実施形態では、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件として、図５に示すように、キークラスタにおいてクラスタ中心点からの距離に関する閾値が設定され、クラスタ中心点からの距離が閾値より小さくなる範囲に存在する人物画像を抽出して、検索結果表示画面に表示する。この閾値は、ユーザの操作入力（図８の抽出条件変更操作部７３）により変更することができる。

ここで、閾値を小さく設定すると、少数の人物画像が抽出され、このとき、クラスタ中心点に近い人物画像のみが抽出されるため、抽出された人物画像は、人物の見え方が互いに類似し、特にキー画像と同様に平均的な見え方のものとなる。一方、閾値を大きく設定すると、多数の人物画像が抽出され、このとき、クラスタ中心点から離れた人物画像も抽出されるため、抽出された人物画像は、人物の見え方が異なる多様なものとなる。

なお、本実施形態では、抽出範囲を変化させるパラメータとして、特徴情報を座標軸とした特徴空間におけるクラスタ中心点からの距離に関する閾値を設定するようにしたが、抽出範囲を変化させるパラメータは、このようなクラスタ中心点を基準にした閾値に限定されるものではない。

次に、モニタ７に表示される検索条件入力画面について説明する。図７は、モニタ７に表示される検索条件入力画面を示す説明図である。

この検索条件入力画面は、検索対象人物に関する情報を検索条件としてユーザに入力させるものであり、この検索条件入力画面には、検索対象画像入力部６１と、検索対象画像表示部６２と、特徴表示入力部６３と、検索ボタン６４と、が設けられている。

検索対象画像入力部６１には、読込ボタン６５と、ファイル表示部６６と、が設けられている。読込ボタン６５を操作すると、画像ファイルを選択する画面が表示され、この画面でユーザが検索対象画像の画像ファイルを選択すると、その画像ファイルを読み込み、その画像ファイルの名称がファイル表示部６６に表示される。なお、検索対象人物を撮像したカメラや、写真を読み取ったスキャナや、画像ファイルを記憶した記憶媒体から、検索対象画像の画像ファイルを予めＰＣ３に取り込んでおく。

検索対象画像表示部６２には、検索対象画像入力部６１の操作で読み込まれた検索対象画像が表示される。

特徴表示入力部６３には、特徴表示部６７と、編集ボタン６８と、が設けられている。特徴表示部６７には、入力された検索対象画像から抽出された特徴が表示される。図７に示す例では、上下の服装の色が表示されている。編集ボタン６８を操作すると、色を選択する画面が表示され、この画面でユーザが色を選択すると、選択された色が特徴表示部６７に表示され、上下の服装の色を修正することができる。これにより、検索対象画像が退色した写真を読み取ったものである場合など、検索対象画像の色が実際の色と異なる場合に、適切な色に変更することができる。

検索対象画像入力部６１で検索対象画像を入力し、必要に応じて特徴表示入力部６３で特徴を変更した上で、検索ボタン６４を操作すると、画像検索処理が実行される。

なお、図７に示す例では、服装の色を変更することができるようにしたが、服装の色以外の特徴、例えばマスクの着用の有無などを指定することができるようにしてもよい。

また、本実施形態では、検索条件として、検索対象人物が写る検索対象画像をユーザが入力するようにしたが、検索対象人物の特徴を表す文字で、検索条件を入力するようにしてもよい。

次に、モニタ７に表示される検索結果表示画面について説明する。図８は、モニタ７に表示される検索結果表示画面を示す説明図である。

この検索結果表示画面は、検索対象人物が写っている可能性の高い人物画像を検索結果として表示するものであり、この検索結果表示画面には、検索対象画像表示部７１と、検索結果表示部７２と、抽出条件変更操作部７３と、が設けられている。

検索対象画像表示部７１には、検索条件入力画面（図７参照）でユーザが入力した検索対象画像が表示される。

検索結果表示部７２には、検索結果として、検索対象人物と類似度が高い滞在人物の人物画像が表示される。

この検索結果表示部７２には、複数の滞在人物ごとの人物画像が表示される複数の人物画像表示部７４〜７６が設けられており、この滞在人物ごとの人物画像表示部７４〜７６は、検索対象人物との類似度が高い順に上から並べて表示されている。図８に示す例では、第１〜第３の３つの人物画像表示部７４〜７６が設けられており、上段の第１の人物画像表示部７４に、類似度が１位となる滞在人物の人物画像が表示され、中段の第２の人物画像表示部７５に、類似度が２位となる滞在人物の人物画像が表示され、下段の第３の人物画像表示部７６に、類似度が３位となる滞在人物の人物画像が表示される。

また、第１〜第３の各人物画像表示部７４〜７６では、キークラスタにおいてクラスタ中心点に近い順に左側から人物画像が並べて表示され、最も左側には、クラスタ中心点に最も近いキー画像が表示される。

抽出条件変更操作部７３は、人物画像表示部７４〜７６に表示される人物画像の数を調整するものであり、この抽出条件変更操作部７３には、「絞り込む」および「広げる」の２つのボタン７７，７８が設けられている。

「絞り込む」のボタン７７を操作すると、人物画像表示部７４〜７６に表示される人物画像が少なくなり、「広げる」のボタン７８を操作すると、人物画像表示部７４〜７６に表示される人物画像が多くなる。なお、人物画像が多くなり、人物画像表示部７４〜７６に収まりきらない場合には、人物画像をスクロール操作でスライドさせることができるようにするとよい。

ここで、「絞り込む」および「広げる」のボタン７７，７８は、特徴空間におけるクラスタ中心点からの距離に関する閾値（図５参照）を変更するものであり、ボタン７７，７８を一度操作すると、閾値が１段階増減される。すなわち、「絞り込む」のボタン７７の操作に応じて閾値が１段階小さくなり、「広げる」のボタン７８の操作に応じて閾値が１段階大きくなる。

したがって、「絞り込む」のボタン７７の操作により、閾値を小さくして、人物画像表示部７４〜７６に表示される人物画像が少ない状態では、クラスタ中心点に近い人物画像、すなわち、キー画像と類似した平均的な見え方の人物画像が表示される。これにより、人物画像に写る人物が検索対象人物であるか否かの本人確認をユーザが迅速に行うことができる。また、「広げる」のボタン７８の操作により、閾値を大きくして、人物画像表示部７４〜７６に表示される人物画像が多くなると、人物の見え方が異なる多様な人物画像が表示される。これにより、本人確認をユーザが詳細に行うことができる。

ここで、例えば、初期状態でキー画像が１つだけ表示され、「広げる」のボタン７８を操作することで、キー画像の右側に、クラスタ中心点に近い人物画像が順に追加表示されるようにしてもよい。この場合、キー画像と人物の見え方が類似した少数の人物画像が表示された状態から、「広げる」のボタン７８の操作に応じて、キー画像と人物の見え方が異なる人物画像が徐々に増える。これにより、最初は、人物の見え方が最も平均的なキー画像で本人確認を行い、次に「広げる」のボタン７８を操作して、キー画像と人物の見え方が類似した人物画像で本人確認を行い、さらに「広げる」のボタン７８を操作して、キー画像と人物の見え方が異なる人物画像で本人確認を行う。このようにして本人確認を段階的に行うことができる。

なお、人物画像表示部７４〜７６の最小画像数は１であり、「絞り込む」のボタン７７の操作で、人物画像表示部７４〜７６にキー画像を１つだけ表示させることができる。また、キークラスタに含まれる人物画像が全て表示された状態で、さらに「広げる」のボタン７８を操作すると、キークラスタ以外のクラスタに含まれる人物画像が表示されるようにしてもよい。

また、「絞り込む」および「広げる」のボタン７７，７８の操作に応じた閾値の変化幅を一定とすると、キークラスタに含まれる人物画像の総数が多い場合に、人物画像表示部７４〜７６に表示される人物画像の数が極端に変化するため、キークラスタに含まれる人物画像の総数に基づいて、閾値の変化幅を決定するようにしてもよい。

また、本実施形態では、検索対象人物と類似度が高い各滞在人物についてキー画像を含む複数の人物画像を表示するようにしたが、各滞在人物についてキー画像のみを表示するようにしてもよい。また、本実施形態では、類似度が最も高い滞在人物から所定の順位（図８の例では３位）までの滞在人物の人物画像を表示するようにしたが、類似度が最も高い滞在人物のみの人物画像を表示するようにしてもよい。

このように、本実施形態では、検索結果表示画面に、検索結果として、検索対象人物と想定される人物が写る人物画像が表示され、検索対象人物が写る人物画像が見つかると、その人物画像の撮像時刻や、その人物画像を撮像したカメラ１の位置情報を表示（図示せず）させることで、検索対象人物が滞在した時刻および場所をユーザが把握することができる。また、人物画像を選択するなどの操作に応じて、人物画像の元になる撮像画像を再生する画面に遷移するようにすると、その撮像画像で検索対象人物の行動を観察することで、検索対象人物がいつどこでなにをしていたかをユーザが具体的に把握することができる。

次に、ＰＣ３の概略構成について説明する。図９は、ＰＣ３の概略構成を示すブロック図である。

ＰＣ３は、通信部２１と、情報記憶部２２と、制御部２３と、を備えている。

通信部２１は、カメラ１およびレコーダ２との間で通信を行うものであり、カメラ１およびレコーダから送信される撮像画像を受信する。

情報記憶部２２では、通信部２１で受信した撮像画像や、制御部２３を構成するプロセッサで実行されるプログラムなどを記憶する。

制御部２３は、滞在人物情報収集部２５、データベース管理部２６と、画像検索部２７と、を備えている。この制御部２３の各部は、情報記憶部２２に記憶されたプログラム（インストラクション）を、制御部２３を構成するプロセッサに実行させることで実現される。

滞在人物情報収集部２５は、監視エリアを撮像した撮像画像に基づいて、監視エリアに滞在する人物に関する情報を収集するものであり、カメラ画像取得部３１と、人物検出部３２と、特徴抽出部３３と、クラスタ処理部３４と、を備えている。なお、この滞在人物情報収集部２５の処理は、適宜なタイミングで、レコーダ２に蓄積された過去の撮像画像を取得して行えばよいが、カメラ１から出力される撮像画像を取得してリアルタイムで行うこともできる。

カメラ画像取得部３１は、カメラ１およびレコーダ２から送信されて通信部２１において受信した撮像画像を取得する。

人物検出部３２は、カメラ画像取得部３１で取得した撮像画像に対して、画像認識技術を用いた人物検出処理を行う。この人物検出処理により、人物領域の位置情報を取得する。そして、この人物領域の位置情報に基づいて、撮像画像内の人物領域、すなわち、矩形の人物枠で取り囲まれた領域を切り出して人物画像を取得する。

また、人物検出部３２は、時間的に連続する撮像画像（フレーム）から同一人物を追尾する、いわゆるカメラ内追尾処理を行い、人物検出が失敗した時刻を除き、各滞在人物について各時刻の人物画像を時系列で取得する。

特徴抽出部３３は、人物検出部３２で検出された滞在人物ごとの人物画像から特徴量（特徴情報）を抽出する。本実施形態では、ＨＳＶ色ヒストグラムなどの色特徴量を抽出する。なお、この特徴抽出処理は、矩形の人物画像の全体を対象にして行われる。

クラスタ処理部３４は、クラスタリング部３５と、キークラスタ選択部３６と、キー画像抽出部３７と、を備えている。

クラスタリング部３５は、特徴抽出部３３で取得した人物画像ごとの特徴量に基づいて、人物画像の集合（人物画像群）を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行う。本実施形態では、クラスタ数Ｋを３に設定してクラスタリングを行い、３つのクラスタに分割する。このクラスタリングは、例えばＫｍｅａｎｓ法を用いて行えばよい。

キークラスタ選択部３６は、クラスタリング部３５で取得した複数のクラスタのクラスタサイズ、すなわち、１つのクラスタに含まれる人物画像の数を取得して、複数のクラスタの中から、クラスタサイズが最も大きい、すなわち、クラスタに含まれる人物画像の数が最も多いクラスタをキークラスタとして選択する。ここで、検出対象人物が１人だけ写った人物画像が最も多くなるため、キークラスタに含まれる人物画像は、検出対象人物が１人だけ写ったものとなる。

キー画像抽出部３７は、キークラスタに含まれる人物画像の中で、クラスタ中心点に最も近い人物画像をキー画像として選択する。

データベース管理部２６は、滞在人物情報収集部２５に収集された情報が登録されるデータベースを管理する。このデータベースでは、人物検出部３２で各滞在人物に付与された人物ＩＤを主キーとして、人物検出部３２で取得した各滞在人物に関する時系列で並んだ各時刻の人物画像が登録され、また、特徴抽出部３３で取得した人物画像ごとの特徴量が登録され、また、クラスタリング部３５で取得した人物画像ごとのクラスタＩＤ（各人物画像がどのクラスタに属するかを表す情報）が登録される。このデータベースは情報記憶部２２に記憶される。

なお、本実施形態では、ＰＣ３３で生成した人物画像を、データベースとともにＰＣ３３に蓄積するようにしたが、人物画像を、カメラ１から出力される撮像画像とともに、レコーダ（人物画像蓄積装置）２に蓄積するようにしてもよい。

画像検索部２７は、滞在人物情報収集部２５で収集された滞在人物に関する情報に基づいて、検索対象人物が写る人物画像を検索して、その検索結果をユーザに提示するものであり、検索条件取得部４１と、人物照合部４２と、出力条件設定部４３と、出力画像抽出部４４と、出力情報生成部４５と、を備えている。

検索条件取得部４１は、ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得するものであり、検索対象画像取得部４６と、特徴抽出部４７と、特徴修正部４８と、を備えている。

検索対象画像取得部４６は、ユーザの操作入力に応じて、検索対象人物が写る検索対象画像を取得する。本実施形態では、検索対象入力画面（図７参照）をモニタ７に表示させて、この検索対象入力画面上で、検索対象人物が写る検索対象画像をユーザに指定させて、その検索対象画像を取得する。

特徴抽出部４７は、検索対象画像取得部４６で取得した検索対象画像から、検索対象人物に関する特徴量（特徴情報）を抽出する。この特徴抽出部４７で行われる処理は、滞在人物情報収集部２５の特徴抽出部３３と同様であり、本実施形態では、ＨＳＶ色ヒストグラムなどの色特徴量を抽出する。

なお、この特徴抽出部４７では、検索対象画像から検出された人物を取り囲む矩形の人物枠を取得し、この矩形の人物枠で取り囲まれた領域を検索対象画像から切り出して得られる矩形の人物画像の全体を対象にして特徴量を抽出する。

特徴修正部４８は、ユーザの操作入力に応じて、特徴抽出部４７で取得した検索対象人物に関する特徴量を修正した修正特徴量（修正特徴情報）を取得する。本実施形態では、検索対象入力画面（図７参照）上で、検索対象人物の特徴に関する情報をユーザに入力させて、この入力情報に基づいて、修正特徴量を取得する。

ここで、本実施形態では、まず、検索対象画像取得部４６で検索対象画像を取得すると、特徴抽出部４７において、検索対象画像から特徴量を抽出して、その特徴量をユーザが判別可能な特徴情報（文字や画像など）に変換して、その特徴情報を検索対象入力画面に表示させ、この検索対象入力画面に表示された特徴情報に誤りがある場合に、正しい特徴情報をユーザが入力することで、特徴修正部４８において、ユーザの入力情報に対応するように、特徴抽出部４７で取得した特徴量が修正される。

人物照合部４２は、検索条件取得部４１で取得した検索条件、すなわち、検索対象人物に関する特徴情報、およびデータベースに登録された各滞在人物に関する特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、各滞在人物について検索対象人物との類似度を取得する。具体的には、検索対象人物が写る検索対象画像から抽出された特徴量と、滞在人物ごとの人物画像から抽出された特徴量とを比較して、検索対象人物と各滞在人物との類似度を算出する。また、本実施形態では、ＨＳＶ色ヒストグラムの相関計算により類似度を算出する。

出力条件設定部４３は、ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定する。本実施形態では、検索結果表示画面（図８参照）における「絞り込む」および「広げる」のボタン７７，７８の操作に応じて、クラスタ中心点からの距離に関する閾値（図５参照）を設定する。

出力画像抽出部４４は、人物照合部４２で取得した滞在人物ごとの類似度に基づいて、検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関するキークラスタに含まれる人物画像の中から、出力条件設定部４３で設定された出力条件にしたがって、検索結果として出力する複数の人物画像を抽出する。

本実施形態では、出力条件設定部４３において、出力条件として、クラスタ中心点からの距離に関する閾値が設定され、出力画像抽出部４４において、クラスタ中心点からの距離が閾値以下となる人物画像が抽出される。また、この出力画像の抽出処理は、類似度が最も高い滞在人物から所定の順位（例えば３位）までの滞在人物を対象にして行われる。

出力情報生成部４５は、出力画像抽出部４４で抽出された複数の人物画像を含む出力情報を生成する。本実施形態では、検索条件入力画面（図７参照）および検索結果表示画面（図８参照）に関する表示情報を生成する。この表示情報をモニタ７に出力することで、モニタ７に検索条件入力画面および検索結果表示画面が表示される。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、スーパーマーケットなどの小売店舗の例について説明したが、ファミリーレストランなどの飲食店など、小売店舗以外の業務形態の店舗に適用することも可能であり、さらに、事業所などの店舗以外の施設にも適用することができる。また、監視エリアはこのような施設内に限定されるものではなく、道路を監視エリアとして、逃走中の犯人を捜索する用途などに利用することもできる。

また、前記の実施形態では、図２に示したように、カメラ１を、視野角の限定される箱型カメラとしたが、これに限らず、広範囲の撮影が可能な全方位カメラを用いることもできる。

また、前記の実施形態では、必要な処理を、監視エリアとなる店舗などの施設に設置されたＰＣ３で行うものとしたが、必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で画像検索システムが構成される。

特に、前記の実施形態では、監視エリアに滞在した人物に関する情報を収集する滞在人物情報収集処理と、検索対象人物が写る人物画像を検索する画像検索処理との両方をＰＣ３で行うようにしたが、この滞在人物情報収集処理および画像検索処理は単一の装置で行う必要はなく、滞在人物情報収集処理および画像検索処理のいずれか一方をＰＣ３で行い、他方をＰＣ３とは別の装置、例えばクラウドコンピュータ１２で行うようにしてもよい。

また、前記の実施形態では、画像検索装置としてのＰＣ３でデータベースを構築するようにしたが、ＰＣ３とは別の装置、例えばクラウドコンピュータ１２でデータベースを構築するようにしてもよい。

また、前記の実施形態では、カメラ１の撮像画像を蓄積するレコーダ２を店舗に設置するようにしたが、必要な処理を、本部に設置されたＰＣ１１やクラウドコンピュータ１２に行わせる場合には、撮像画像をカメラ１から、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置に撮像画像を蓄積するようにしてもよい。

また、クラウドコンピュータ１２を含むシステム構成では、店舗や本部に設けられたＰＣ３，１１の他に、クラウドコンピュータ１２にネットワーク接続されたスマートフォンやタブレット端末などの携帯型のユーザ端末１３で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で必要な情報を確認することができる。

また、前記の実施形態では、画像検索装置としてのＰＣ３に人物検出部３２を設けたが、人物検出部をカメラ１に設けて、撮像画像と共に人物検出情報（人物画像、検出時刻など）をＰＣ３に送信するようにしてもよい。

本発明に係る画像検索装置、画像検索システム及び画像検索方法は、検索対象人物が写る多様な画像を一度の検索処理で効率よく収集して、ユーザが望む態様の人物画像を出力することができる効果を有し、監視エリアに滞在する人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索装置、画像検索システム及び画像検索方法などとして有用である。

１ カメラ
３ ＰＣ（画像検索装置、情報処理装置）
２ レコーダ
１１ ＰＣ
１２ クラウドコンピュータ
１３ ユーザ端末
２１ 通信部
２２ 情報記憶部
２３ 制御部
２５ 滞在人物情報収集部
２６ データベース管理部
２７ 画像検索部
３２ 人物検出部
３３ 特徴抽出部
３４ クラスタ処理部
３５ クラスタリング部
３６ キークラスタ選択部
３７ キー画像抽出部
４１ 検索条件取得部
４２ 人物照合部
４３ 出力条件設定部
４４ 出力画像抽出部
４５ 出力情報生成部
４６ 検索対象画像取得部
４７ 特徴抽出部
４８ 特徴修正部

Claims (8)

1. 監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索装置であって、
   滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集する滞在人物情報収集部と、
   前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択するクラスタ処理部と、
   ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得する検索条件取得部と、
   この検索条件取得部で取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得する人物照合部と、
   ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定する出力条件設定部と、
   検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出する出力画像抽出部と、
   この出力画像抽出部で抽出された複数の前記人物画像を含む出力情報を生成する出力情報生成部と、
   を備えたことを特徴とする画像検索装置。
2. 前記出力条件設定部は、前記出力条件として、前記抽出範囲を絞り込みあるいは広げるパラメータを設定することを特徴とする請求項１に記載の画像検索装置。
3. 前記パラメータは、前記特徴情報を座標軸とした特徴空間におけるクラスタ中心点からの距離に関する閾値であり、
   前記出力画像抽出部は、前記クラスタ中心点からの距離が前記閾値以内となる前記人物画像を抽出することを特徴とする請求項２に記載の画像検索装置。
4. 前記出力情報生成部は、前記出力情報として、検索結果表示画面に関する表示情報を生成し、
   前記検索結果表示画面では、複数の前記人物画像が、前記クラスタ中心点からの距離が短い順に並べて表示されることを特徴とする請求項３に記載の画像検索装置。
5. 前記出力情報生成部は、前記出力情報として、検索結果表示画面に関する表示情報を生成し、
   前記検索結果表示画面では、複数の滞在人物ごとの前記人物画像が表示される複数の人物画像表示部が、前記検索対象人物との類似度が高い順に並べて表示されることを特徴とする請求項１から請求項４のいずれかに記載の画像検索装置。
6. 前記検索条件取得部は、
   ユーザの操作入力に応じて、検索対象人物が写る検索対象画像を取得する検索対象画像取得部と、
   前記検索対象画像から検索対象人物に関する特徴情報を抽出する特徴抽出部と、
   ユーザの操作入力に応じて、前記特徴抽出部で取得した前記特徴情報を修正した修正特徴情報を取得する特徴修正部と、
   を備えたことを特徴とする請求項１から請求項５のいずれかに記載の画像検索装置。
7. 監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する画像検索システムであって、
   前記監視エリアを撮像するカメラと、
   このカメラにネットワークを介して接続された情報処理装置と、
   を有し、
   前記情報処理装置は、
   滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集する滞在人物情報収集部と、
   前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択するクラスタ処理部と、
   ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得する検索条件取得部と、
   この検索条件取得部で取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得する人物照合部と、
   ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定する出力条件設定部と、
   検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出する出力画像抽出部と、
   この出力画像抽出部で抽出された複数の前記人物画像を含む出力情報を生成する出力情報生成部と、
   を備えたことを特徴とする画像検索システム。
8. 監視エリアに滞在する滞在人物を撮像した複数の画像の中から、検索対象人物が写る画像を検索する処理を情報処理装置に行わせる画像検索方法であって、
   滞在人物が写る人物画像、およびこの人物画像から抽出された特徴情報を収集し、
   前記人物画像ごとの前記特徴情報に基づいて、前記人物画像の集合を所定数のクラスタに分割するクラスタリングを滞在人物ごとに行い、得られたクラスタのうち、含まれる人物画像の数が最も多いキークラスタを滞在人物ごとに選択し、
   ユーザの操作入力に応じて、検索対象人物に関する情報を検索条件として取得し、
   ここで取得した前記検索条件、および各滞在人物に関する前記特徴情報に基づいて、検索対象人物と各滞在人物との間で人物照合を行って、滞在人物ごとの類似度を取得し、
   ユーザの操作入力に応じて、検索結果として出力させる人物画像を抽出する際の抽出範囲に関する出力条件を設定し、
   検索対象人物との類似度が高い滞在人物を選択して、その滞在人物に関する前記キークラスタに含まれる前記人物画像の中から、前記出力条件にしたがって、検索結果として出力する複数の前記人物画像を抽出し、
   ここで抽出された複数の前記人物画像を含む出力情報を生成することを特徴とする画像検索方法。

Images