JP2013246550A - 画像検索システム及び画像検索方法 - Google Patents

Abstract

【課題】検索精度を維持しつつ伝送量を抑制できる画像検索システムを提供すること。
【解決手段】検索サーバ３００は、通常はデータ量の少ない低次元データのみをレコーダ２００から取得する。検索サーバ３００は、低次元画像データの特徴空間内での密度が所定の閾値以上になった場合、つまり低次元データのみでは画像間の識別を行うための次元数が不足している場合に、その低次元画像データについての高次元画像データをレコーダ２００から取得する。これにより、検索精度を維持しつつ、通信路１３０のデータ伝送量を抑えることができる。
【選択図】図３

Description

本発明は、画像検索システム及び画像検索方法に関し、検索サーバ等の検索装置がレコーダ等の画像格納装置から画像データを取得して、特定画像に対応する画像の検索を行うシステムに関する。

従来、図１に示すような画像検索システムがある。図１の画像検索システムは、監視カメラ等の複数のカメラ１０の画像を画像格納装置としてのレコーダ１１に格納する。レコーダ１１は、カメラ１０の画像から、画像特徴データ（輝度や画像の周波数情報、輪郭情報など）を抽出し、これをネットワークなどの通信路１２を介して検索サーバ１３に伝送する。また、検索サーバ１３には、パソコンなどの検索端末１４から例えば特定人物の顔画像が検索問合せ画像として入力される。検索サーバ１３は、レコーダ１１からの画像特徴データと、検索問合せ画像とを照合することで、検索問合せ画像に対応する画像を検索する。

このように、検索サーバに複数の画像特徴データを集約することで、複数のレコーダ１１に格納された蓄積映像から問合せ画像を検索することができる。

ここで、検索サーバ１３で行われる画像の照合及び検索に関する従来技術としては、例えば特許文献１で開示された技術がある。特許文献１には、照合を高速化でき、索引を効率的に生成できる技術が開示されている。

特開平１１−３３８８６６号公報

ところで、検索サーバ１３には多数のカメラ１０によって撮像された画像データが伝送されるので、その伝送データ量は膨大なものとなる。その結果、通信路１２の伝送コスト（回線費用）が高くなる可能性が高い。例えば、監視カメラとしてのカメラ１０が複数の支店に配置され、監視センターに配置された検索端末１４を用いて検索サーバ１３にアクセスすることで、複数の支店の映像を監視センターで監視する場合、通信路１２の回線費用が非常に高くなるおそれがある。

ここで、通信路１２の回線費用を抑制するために、レコーダ１１から検索サーバ１３に伝送する画像特徴データを削減すると、検索サーバ１３での検索精度が低下してしまうといった問題が生じる。

本発明は、以上の点を考慮してなされたものであり、検索精度を維持しつつ伝送量を抑制できる画像検索システム及び画像検索方法を提供することを目的とする。

本発明の画像検索システムの一つの態様は、画像データを格納する画像格納装置と、前記画像格納装置と通信路を介して接続され、検索端末から問合せがあった検索問合せ画像に対応する画像を、前記画像格納装置に格納された画像の中から検索する、検索装置と、を有する画像検索システムであって、前記検索装置は、第１物体についての低次元画像データと、第２物体についての低次元画像データとを含む、低次元画像データを、前記通信路を介して前記画像格納装置から取得する、低次元データ取得部と、前記第１物体についての低次元画像データと前記第２物体についての低次元画像データが類似しているか否かを判定する判定部と、前記判定部によって、前記第１物体についての低次元画像データと前記第２物体についての低次元画像データが類似している判定結果が得られた場合、前記第１物体についての高次元画像データと、前記第２物体についての高次元画像データとを、前記通信路を介して前記画像格納装置から取得する、高次元データ取得部と、を具備する。

本発明の画像検索方法の一つの態様は、検索装置が、検索端末から問合せがあった検索問合せ画像に対応する画像を、通信路を介して接続された画像格納装置に格納された画像の中から検索する、画像検索方法であって、第１物体についての低次元画像データと、第２物体についての低次元画像データとを含む、低次元画像データを、前記通信路を介して前記画像格納装置から前記検索装置へと伝送させるステップと、前記第１物体について低次元画像データと前記第２物体についての低次元画像データが類似しているか否かを判定するステップと、前記第１物体についての低次元画像データと前記第２物体についての低次元画像データが類似している判定結果が得られた場合、前記第１物体についての高次元画像データと、前記第２物体についての高次元画像データとを、前記通信路を介して前記画像格納装置から前記検索装置へと伝送させるステップと、を含む。

本発明によれば、検索精度を維持しつつ伝送量を抑制できる。

従来の画像検索システムの構成例を示す図 実施の形態の画像検索システムの概略構成を示す図 画像検索システムの詳細構成を示すブロック図 特徴データを取得するか否かを判定する処理の流れを示すフローチャート 図５Ａは低次元空間でのデータの様子を示す図、図５Ｂは高次元空間でのデータの様子を示す図 検索処理の流れを示すフローチャート 図７Ａは低次元データの検索結果の例を示す図、図７Ｂは特徴データの距離順に再ソートした検索結果の例を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図２は、本実施の形態の画像検索システムの概略構成を示す。

画像検索システム１００は、撮像装置としてのカメラ１１０と、画像格納装置としてのレコーダ２００と、検索装置としての検索サーバ３００と、検索端末１２０と、を有する。画像検索システム１００は、例えば、カメラ１１０が各支店に配置され、検索サーバ３００及び検索端末１２０が監視センターに配置された、監視システムである。

カメラ１１０の数は単数又は複数である。一般には、レコーダ２００には多数のカメラ１１０が接続される。カメラ１１０により撮像された画像データはレコーダ２００に蓄積される。

レコーダ２００の数は単数又は複数である。レコーダ２００はカメラ１１０から入力した画像データから、画像の輝度情報、周波数情報、輪郭情報などでなる、画像特徴データ（以下これを単に特徴データと呼ぶ）を抽出し、これを蓄積する。また、レコーダ２００は、特徴データよりも低次元のデータである低次元画像データ（以下これを単に低次元データと呼ぶ）を抽出し、これを蓄積する。低次元データは、特徴データから主成分のみを抽出したデータであり、特徴データよりも次元数が小さく、特徴データよりもデータ量が少ない。

検索サーバ３００は、通常はデータ量の少ない低次元データを取得し、低次元データのみでは画像間の識別を行うための次元数が不足していると判断した対象にのみ、高次元データである特徴データを取得するようになっている。このように、検索サーバ３００は、通常はデータ量の少ない低次元データを取得し、必要に応じて最小限の特徴データを取得するようにしたことにより、検索精度を維持しつつ、通信路１３０を介してのデータ伝送量を抑えることができる。

また、検索サーバ３００には、パソコンなどの検索端末１２０から例えば人物の顔画像などの検索問合せ画像が入力される。検索サーバ３００は、検索問合せ画像と、レコーダ２００から取得した低次元データ、特徴データと、を照合することで、検索問合せ画像に対応する画像を検索し、検索結果を検索端末１２０に送出する。

図３は、画像検索システム１００の詳細構成を示す。図３では、画像検索システムの構成のうち、レコーダ２００及び検索サーバ３００の構成のみを示した。

先ず、レコーダ２００の構成について説明する。レコーダ２００は、カメラ１１０によって撮像された画像データを画像取得部２０１を介して特徴データ抽出部２０２に入力する。特徴データ抽出部２０２は、画像から検索対象となる部分の特徴データを抽出する。特徴データ抽出部２０２は、例えば、画像から顔の部分領域を検出し、部分画像に対してHaar-waveletなどのフィルタ応答値を算出し、ベクトル化したデータを特徴データとする。特徴データは、特徴データ蓄積部２０３に蓄積される。

低次元データ抽出部２０４は、特徴データ抽出部２０２で抽出された特徴データから、より次元数の低い低次元データを抽出する。低次元データ抽出部２０４は、例えば、予め複数の特徴データから主成分分析により低次元の固有空間を算出しておき、入力された特徴データを低次元の固有空間に射影したデータを低次元データとする。

次に、検索サーバ３００の構成について説明する。検索サーバ３００は、大きく分けて、画像データを登録する登録系と、検索を行う検索系と、を有する。登録系は、低次元データ取得部３０１、低次元データ蓄積部３０２、特徴データ取得判定部３０３、特徴データ取得部３０４及び特徴データ蓄積部３０５を有する。検索系は、特徴データ抽出部３１１、低次元データ抽出部３１２、低次元データ検索部３１３及び特徴データ検索部３１４を有する。

登録系の低次元データ取得部３０１は、低次元データ抽出部２０４で抽出された低次元データを、ネットワーク等の通信路１３０を介して取得する。本実施の形態の場合、通信路１３０は、ネットワークや電話回線等の公衆回線であり、回線使用料が発生する通信路である。

低次元データ蓄積部３０２は、低次元データを蓄積する。

特徴データ取得判定部３０３は、低次元データ蓄積部３０２に蓄積された低次元データのうち、検索時に分離性能が悪くなる対象（つまり特徴空間において密に分布しているデータ群）を算出し、この対象についての特徴データ（つまり高次元データ）の取得が必要と判定する。この特徴データ取得判定部３０３の処理については後で詳しく説明する。

特徴データ取得部３０４は、特徴データ取得判定部３０３で、取得が必要と判定された特徴データを、特徴データ蓄積部２０３から通信路１３０を介して取得する。

特徴データ蓄積部３０５は、特徴データ取得部３０４で取得した特徴データを蓄積する。つまり、特徴データ蓄積部３０５には、レコーダ２００側の特徴データ蓄積部２０３に蓄積された特徴データのうち、特徴データ取得判定部３０３により必要であると判定された特徴データのみが蓄積される。

検索系の特徴データ抽出部３１１は、検索端末１２０（図２）からの検索問合せ画像から検索対象となる特徴データを抽出する。

低次元データ抽出部３１２は、特徴データ抽出部３１１で抽出された特徴データから、より次元数の低い低次元データを抽出する。低次元データ抽出部３１２で行われる処理は、低次元データ抽出部２０４で行う処理と同様である。

低次元データ検索部３１３は、低次元データ蓄積部３０２に蓄積された低次元データから、検索問合せ画像の低次元データに類似する低次元データを検索する。

特徴データ検索部３１４は、低次元データ検索部３１３で検索された低次元データのうち、特徴データが存在する対象に対しては、再度特徴データを用いて類似度を判定して、検索結果を検索端末１２０に出力する。

図４は、特徴データ取得判定部３０３で行われる処理の流れを示すフローチャートである。

特徴データ取得判定部３０３は、ステップＳ０で処理を開始すると、ステップＳ１で低次元データ蓄積部３０２から低次元データを取得する。特徴データ取得判定部３０３は、ステップＳ２で、低次元データをｋ−ｍｅａｎｓ法でクラスタリングする。クラスタ数は、クラスタ数＝ｗ×Ｎ（ここで、Ｎ：全データ数，０＜ｗ＜１）となる。なお、クラスタリングの方法は、ｋ−ｍｅａｎｓ法に限らない。

次に、特徴データ取得判定部３０３は、ステップＳ３で、クラスタの密度を計算する。クラスタの密度Ｄは、Ｄ＝ｎ／ν（ここで、ｎ：クラスタ内データ数，ν：クラスタ内分散）によって求めることができる。

次に、特徴データ取得判定部３０３は、ステップＳ４で、密度が閾値以上か否か判断する。特徴データ取得判定部３０３は、密度が閾値以上の場合にはステップＳ５に移り、特徴データを取得する必要があると判定する。一方、特徴データ取得判定部３０３は、密度が閾値以上でない場合にはステップＳ６に移る。

ここで、図５Ａに示すような密度が大きいクラスタは、データ間の分離性能が低い。そのため、密度が大きいクラスタ内のデータ間では、検索キーに対して特徴空間での距離の差が小さいため、検索誤りが生じ易い。そこで、本実施の形態においては、密度が閾値以上の場合には、そのクラスタに含まれる低次元データについては、より高い次元のデータ、つまり低次元データとする前の元の特徴データを取得することで、データ間の分離性能を向上させるようになっている。図５Ｂに、高次元データの例を示す。図５Ａに示した低次元空間では検索キーからの距離の差が小さいデータ（つまり低次元データ）であっても、図５Ｂに示した高次元空間では検索キーからの距離の差が大きくなっていることが分かる。

特徴データ取得判定部３０３は、ステップＳ６で、全クラスタを処理したか否か判断し、否定結果を得るとステップＳ３に戻る。このようにして、全クラスタの処理が終了するまで、ステップＳ３−Ｓ４−（Ｓ５）−Ｓ６−Ｓ３の処理が繰り返される。そして、ステップＳ６で肯定結果が得られると、ステップＳ７に移って判定処理を終了する。

図６は、検索サーバ３００の検索系で行われる、検索処理の流れを示すフローチャートである。

検索サーバ３００は、ステップＳ１０で検索処理を開始すると、ステップＳ１１で低次元データ検索部３１３によって検索端末１２０からの問合せ画像に類似している低次元データを低次元データ蓄積部３０２から検索する。具体的には、低次元データ検索部３１３は、ステップＳ１１で、検索端末１２０から問合せられた低次元データとの距離を、低次元データ蓄積部３０２に蓄積された全ての低次元データに対して算出する。

次に、ステップＳ１２で、低次元データ検索部３１３は、低次元データを距離順にソートして、指定された件数に候補を絞り込む。

次に、ステップＳ１３で、特徴データ検索部３１４は、候補のうち、特徴データ蓄積部３０５に特徴データが存在するものがあるか否か判断する。特徴データが存在する場合には、ステップＳ１４で、特徴データ蓄積部３０５から特徴データを読み出して、問合せられたデータと特徴データとの距離を算出する。

次に、ステップＳ１５で、全ての候補を処理したか否か判断され、否定結果が得られるとステップＳ１３に戻る。このようにして、全ての候補の処理が終了するまで、ステップＳ１３−（Ｓ１４）−Ｓ１５−Ｓ１３の処理が繰り返される。そして、ステップＳ１５で肯定結果が得られると、ステップＳ１６に移る。

ステップＳ１６では、特徴データ検索部３１４が、候補のうち、同じクラスタに属す対象を、特徴データとの距離によって再ソートする。続くステップＳ１７で検索処理が終了する。

図７Ａは、低次元データ検索部３１３によって得られる、低次元データの検索結果の例を示す。図７Ｂは、特徴データ検索部３１４によって得られる、特徴データの距離順に再ソートした検索結果の例を示す。

図７Ａ及び図７Ｂにおいて、「データ番号」とは対象を識別するための識別番号を表す。図７Ａにおいて、「クラスタ番号」の「なし」とは、特徴データ（つまり高次元データ）がないこと表す。

図７Ｂからも分かるように、同一クラスタ内で特徴データの距離順に再ソートが行われると、低次元データの距離順のソートとは異なる「結果順位」となるものもある。これにより、低次元データを用いた検索よりも高精度の検索を行うことができるようになる。「検索順位」は、検索結果として検索端末１２０に送られ、検索端末１２０にて表示される。なお、検索サーバ３００は、検索結果として、検索順位の順のサムネイル画像などを送ってもよい。

以上説明したように、本実施の形態によれば、検索サーバ３００は、通常はデータ量の少ない低次元データを取得し、低次元データのみでは画像間の識別を行うための次元数が不足していると判断した対象にのみ、高次元データである特徴データを取得する。これにより、検索精度を維持しつつ、通信路１３０のデータ伝送量を抑えることができる。

なお、上述の実施の形態では、画像データを格納する画像格納装置がレコーダである場合について述べたが、画像格納装置はカメラであってもよい。

また、図３に示したレコーダ２００及び検索サーバ３００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。

本発明は、検索精度を維持しつつ伝送量を抑制できるといった効果を有し、例えば特定人物を監視する監視システムなどに適用して好適である。

１０、１１０ カメラ
１１、２００ レコーダ
１２、１３０ 通信路
１３、３００ 検索サーバ
１４、１２０ 検索端末
２０２、３１１ 特徴データ抽出部
２０３、３０５ 特徴データ蓄積部
２０４、３１２ 低次元データ抽出部
３０１ 低次元データ取得部
３０２ 低次元データ蓄積部
３０３ 特徴データ取得判定部
３０４ 特徴データ取得部
３１３ 低次元データ検索部
３１４ 特徴データ検索部

Claims (4)

1. 画像データを格納する画像格納装置と、
   前記画像格納装置と通信路を介して接続され、検索端末から問合せがあった検索問合せ画像に対応する画像を、前記画像格納装置に格納された画像の中から検索する、検索装置と、
   を有する画像検索システムであって、
   前記検索装置は、
   第１物体についての低次元画像データと、第２物体についての低次元画像データとを含む、低次元画像データを、前記通信路を介して前記画像格納装置から取得する、低次元データ取得部と、
   前記第１物体についての低次元画像データと前記第２物体についての低次元画像データが類似しているか否かを判定する判定部と、
   前記判定部によって、前記第１物体についての低次元画像データと前記第２物体についての低次元画像データが類似している判定結果が得られた場合、前記第１物体についての高次元画像データと、前記第２物体についての高次元画像データとを、前記通信路を介して前記画像格納装置から取得する、高次元データ取得部と、
   を具備する、画像検索システム。
2. 前記判定部は、
   前記低次元画像データをクラスタリングし、
   同一クラスタ内の前記低次元画像データの密度を算出し、
   前記密度が所定の閾値以上の場合、同一クラスタ内の前記低次元画像データが類似していると判定する、
   請求項１に記載の画像検索システム。
3. 前記低次元画像データと、前記検索問合せ画像と、の特徴空間内距離に基づいて、前記検索問合せ画像に対する前記低次元画像データの類似度をソートし、
   前記高次元画像データが存在する前記低次元画像データについては、前記高次元画像データと、前記検索問合せ画像と、の特徴空間内距離に基づいて、再ソートを行う、
   請求項１又は請求項２に記載の画像検索システム。
4. 検索装置が、検索端末から問合せがあった検索問合せ画像に対応する画像を、通信路を介して接続された画像格納装置に格納された画像の中から検索する、画像検索方法であって、
   第１物体についての低次元画像データと、第２物体についての低次元画像データとを含む、低次元画像データを、前記通信路を介して前記画像格納装置から前記検索装置へと伝送させるステップと、
   前記第１物体について低次元画像データと前記第２物体についての低次元画像データが類似しているか否かを判定するステップと、
   前記第１物体についての低次元画像データと前記第２物体についての低次元画像データが類似している判定結果が得られた場合、前記第１物体についての高次元画像データと、前記第２物体についての高次元画像データとを、前記通信路を介して前記画像格納装置から前記検索装置へと伝送させるステップと、
   を含む、画像検索方法。
   

Images