JP2006185320A - 画像検索装置 - Google Patents

Abstract

【課題】ネットワーク上の画像検索装置において、画像特徴量データの更新処理を自動化して、利便性を高める。
【解決手段】画像検索装置Ｓは、クライアント装置（画像処理装置Ｃ）からの検索要求により、画像の特徴量に基づいて画像特徴量データベースで画像検索を行い、検索結果をクライアント装置に送信する。また、画像特徴量データベースの更新処理のために、画像蓄積装置Ｒを参照して外部画像一覧リストを得るとともに、画像特徴量データベースに登録されている画像に関する登録画像一覧リストを得る。外部画像一覧リストと登録画像一覧リストとを比較して差分を算出する。差分に基づいて画像特徴量データの新規登録と更新と削除を行う。この画像特徴量データベースの更新処理を定期的に実行する。
【選択図】図１

Description

本発明は、画像検索装置に関し、特に、画像蓄積装置中の画像データとその特徴量データとの同期を維持して保持し、クライアント装置からの要求に従って、画像の検索と登録と削除を行う画像検索装置に関する。

コンピュータの発達とともに、文書が電子形式で取り扱われるようになってきたため、文書管理は、ペーパー形式の文書の時代に比べると飛躍的に容易になった。それでも、管理対象となる文書の数が増加すると、従来の階層化構造を利用する管理システムでは、文書解析及び検索面で困難が生じて来る。特に、画像や画像データに係る文書の管理には問題が多い。そこで、このような問題を解決するための種々の提案がなされている。以下に、画像検索に関する従来の技術をいくつかあげる。

例えば、次のような方法がある。サーバコンピュータにネットワークを通して接続されたクライアントコンピュータから、複数の画像データを蓄積した画像データベース中の所望の画像データを検索しようとする場合に、クライアントコンピュータ（ユーザー）は、検索したい画像の特徴量を計算し、計算した画像特徴量をサーバコンピュータに送る。サーバコンピュータは、複数の画像データそれぞれと、各画像データの画像特徴量とを関連付けて記憶しているので、クライアントコンピュータから画像特徴量が送信されると、記憶している画像特徴量と送信された画像特徴量とに基づいて類似度を計算し、類似する画像を検索する。検索結果の画像データを、クライアントコンピュータに送信する。

特許文献１に開示された「画像検索システム」は、複数のユーザーによって使用される環境において、ユーザーが使用する画像データベースを一元管理でき、効率よく安全に類似画像検索ができる画像検索システムである。クライアントコンピュータは、ユーザーがポインティングデバイスで描画する画像を、検索条件として入力する。入力された画像の画像特徴量を、サーバコンピュータへ送信する。サーバコンピュータより、検索結果の画像データを受信し、表示部に表示する。サーバコンピュータは、画像データと、その画像データの画像特徴量を、対応付けてハードディスク装置に記憶している。クライアントコンピュータより受信した画像特徴量と、ハードディスク装置に記憶された画像データの画像特徴量に基づいて、画像類似度を計算する。計算された画像類似度に基づいて検索された画像データを、クライアントコンピュータへ送信する。

特許文献２に開示された「画像検索プログラム」は、高速で実用的な画像ファイルの検索が行える画像検索プログラムである。特徴量抽出ステップに先立つ特徴量抽出前処理ステップで、所定の画像処理を行う。特徴量抽出前処理ステップは、取り替え可能である。特徴量抽出ステップで、画像特徴量を抽出する。画像特徴量と画像関連データを、キーとして登録する。画像データと画像関連データとからなるデータを、キーを使って検索する。

特許文献３に開示された「画像検索装置」は、ネットワークを介して検索要求画像を受信し、その特徴量に基づいて類似する特徴量の画像を検索し、検索結果を送信する装置である。画像蓄積装置は、リクエスト受信手段を介して検索要求画像を受信する。特徴量算出手段で、その特徴量を算出する。特徴量蓄積手段は、外部画像蓄積装置の画像の特徴量を蓄積している。画像検索手段は、既に蓄積している特徴量を参照し、算出した特徴量と類似する特徴量の識別情報を検索する。この識別情報に基づいて、画像蓄積装置から読み出した画像データを送信する。
特開2000-76270号公報 特開2004-133812号公報 特開2004-139210号公報

しかし、従来の画像検索装置では、以下のような問題がある。特許文献１記載の装置のように、複数の画像データを、その特徴量と関連付けて管理するデータベースを有する装置の場合、画像データを検索対象として明示的に登録する工程が必要となる。画像特徴量データの登録は、人手や外部のシステムによるプッシュ的動作を必要とし、既存システムへのアドオンとして利用することが困難である。

通常、文書や画像データを管理する場合、画像データを、特徴量を用いて検索することを目的に登録・管理することは少ない。むしろ、ユーザーの利用方法に応じた管理形態のシステムに付加する形で、画像の類似性を用いた検索機能を提供することが望ましい。ユーザーが希望する方法で文書・画像を管理し、画像検索装置には、それらを個別に登録して管理することも考えられるが、日常的に追加、更新、削除が繰り返される状況では、検索対象を管理するデータベースを最新の状態に保つことは困難である。

本発明の目的は、上記従来の問題を解決して、ネットワークに接続されて画像検索機能を提供する画像検索装置において、画像検索装置の特徴量登録プロセスを自動化することにより、利便性を向上させることである。すなわち、ユーザーの所望の方法で管理される文書・画像に対して、できるだけ負荷の少ない形で画像検索機能を提供することである。また、もうひとつの目的は、画像検索の範囲のより細かい制御を可能とすることである。

上記の課題を解決するために、本発明では、通信回線を経由してクライアント装置から検索要求を受信し、画像の特徴量に基づいて画像検索を行い、検索結果をクライアント装置に送信する画像検索装置に、画像蓄積装置を参照して外部画像一覧リストを得る外部画像リスト取得部と、画像特徴量データベースに登録されている画像に関する登録画像一覧リストを得る登録画像リスト取得部と、外部画像一覧リストと登録画像一覧リストとを比較して差分を算出する差分抽出部と、差分に基づいて画像特徴量データの新規登録と更新と削除を行う特徴量登録削除部と、特徴量登録削除部の指示に従って画像蓄積装置から画像データを取得する外部画像データ取得部と、画像データの特徴量を算出する特徴量算出部と、画像特徴量データベースの更新処理を定期的に実行するように差分抽出部に指示する定期実行制御部とを具備する構成とした。

また、画像蓄積装置を単純なファイルシステムとし、外部画像リスト取得部は、ファイルシステムからディレクトリ操作によって外部画像一覧リストを取得する手段を有し、外部画像データ取得部は、ファイルシステムからディレクトリ操作によって画像データを取得する手段を有する構成とした。

また、画像蓄積装置をウェブサーバとし、外部画像リスト取得部は、あらかじめ指定されたウェブサーバ上のウェブページからハイパーリンクの一覧を取得して再帰的にリンクをたどることで外部画像一覧リストを取得する手段を有し、外部画像データ取得部は、あらかじめ指定されたウェブサーバ上のウェブページからハイパーリンクの一覧を取得して再帰的にリンクをたどることで画像データを取得する手段を有する構成とした。

また、画像蓄積装置を、文書ファイルおよび画像データをそのタイトルや作成者や付随するキーワードや登録／変更日時などとともに管理する文書管理装置とし、外部画像リスト取得部は、文書管理装置に問い合わせを行って外部画像一覧リストを取得する手段を有し、外部画像データ取得部は、文書管理装置に問い合わせを行って画像データを取得する手段を有する構成とした。

また、画像蓄積装置をリレーショナルデータベースとし、外部画像リスト取得部は、リレーショナルデータベースに所定の問い合わせを行って外部画像一覧リストを取得する手段を有し、外部画像データ取得部は、リレーショナルデータベースに所定の問い合わせを行って画像データを取得する手段を有する構成とした。

また、外部画像リスト取得部は、文書の作成または更新日時とタイトルのパターンと作成者と付随するキーワードと文書のデータ形式のうちの少なくともひとつに関する条件に従って指定した文書のみの外部画像一覧リストを抽出する外部画像一覧フィルタ部を有する構成とした。

また、画像の作成または更新日時とタイトルのパターンと作成者と付随するキーワードと画像形式と画像蓄積装置のうちの少なくともひとつを条件として検索結果を絞り込む検索結果フィルタ部を備えた構成とした。

上記のように構成したことにより、画像蓄積装置への画像の追加、更新、削除に対応して、画像検索のための画像特徴量データベースの登録内容も随時更新されるため、利用者は、データの更新状況を意識することなく、画像蓄積装置と画像検索装置を利用できる。

また、ファイルシステムやウェブサーバや文書管理装置やリレーショナルデータベースとの間で、画像データと特徴量データとの同期をとることができる。さらに、画像一覧の取得と画像データの取得を異なる方式で行うことで、書誌情報と画像データが別個に管理されているような状況でも、画像検索を適用できる。

また、多種多様な文書・画像情報が記録された画像蓄積装置中の、特定の条件に適合する画像データのみを同期処理の対象とすることで、より目的に合った画像検索装置の利用が可能となる。

また、複数の画像蓄積装置上の画像データを混在させて、ひとつの画像特徴量データベースに登録した場合であっても、必要に応じて特定の画像蓄積装置に限定した画像検索ができる。

以下、本発明を実施するための最良の形態について、図１〜図９を参照しながら詳細に説明する。

本発明の実施例１は、画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う画像検索装置である。

図１（ａ）は、本発明の実施例１における画像検索装置を用いる画像検索システムの構成を示す概念図である。図１（ａ）において、画像処理装置Ｃは、クライアントコンピュータである。画像検索装置Ｓは、画像の特徴量に基づいて画像を検索する装置である。画像蓄積装置Ｒは、画像を蓄積しておく装置である。ネットワークＴは、有線または無線の通信回線である。この画像検索装置は、外部の画像蓄積装置を参照して、画像の一覧を得る外部画像一覧取得部と、画像特徴量データベースから得た一覧と、これら２つ一覧を比較する差分抽出部と、この差分情報に基づいて画像特徴量データの登録と削除と更新を行う特徴量登録削除部と、特徴量算出のために画像データを取得する外部画像データ取得部とを有する。また、これら一連の処理を定期的に実行する定期実行制御部を有する。

図１（ｂ）は、画像検索装置のハードウェア構成を示す概念図である。図１（ｂ）において、CPUは、画像検索装置を制御するコンピュータである。RAMは、各種作業データを一時的に記憶する記憶装置である。ROMは、CPUを起動するためのプログラム等を記憶する記憶装置である。HDDは、画像検索プログラムや特徴量情報を記憶するハードディスク型の記憶装置である。操作部は、マウスやキーボード等による入力部である。表示部は、液晶パネル等により、画像検索装置の各種動作状況を表示する表示部である。バスは、各部を接続する信号母線である。

図２は、本発明の実施例１における画像検索装置のうちの画像検索装置Ｓの構成を示す概念図である。図２において、検索リクエスト受信部１は、クライアントからの検索要求を受信する手段である。検索結果送信部２は、クライアントに検索結果を送信する手段である。画像特徴量データベース３は、画像の特徴量データを格納したデータベースである。特徴量算出部４は、画像の特徴量を算出する手段である。画像検索部５は、特徴量をキーとして画像特徴量データベースを検索する手段である。特徴量登録削除部６は、画像特徴量データベースの画像特徴量データを登録したり削除したりする手段である。外部画像リスト取得部７は、画像蓄積装置から画像リストを取得する手段である。外部画像データ取得部８は、画像蓄積装置から画像データを取得する手段である。登録画像リスト取得部９は、画像特徴量データベースに登録されている画像に関する登録画像一覧リストを得る手段である。差分抽出部10は、画像一覧と特徴量一覧の差分を抽出する手段である。定期実行制御部11は、画像特徴量データベースを定期的に更新するように制御する手段である。

上記のように構成された本発明の実施例１における画像検索装置の動作を説明する。最初に、図１を参照しながら、画像検索方法を説明する。ユーザーは、画面による表示出力を確認しつつ、マウスやキー入力を通じて、画像処理装置Ｃを操作する。ユーザーの操作により、画像処理装置Ｃは、画像蓄積装置Ｒに接続して、画像またはサムネイル画像を取得し、該画像を、画像検索要求と共に画像検索装置Ｓに送信する。そして、画像処理装置Ｃは、画像検索装置Ｓから、検索結果である類似画像などの識別情報一覧を受信する。画像処理装置Ｃは、この識別情報を画像蓄積装置Ｒに送る。画像蓄積装置Ｒは、識別情報に対応する画像データまたはサムネイル画像の一覧を、画像処理装置Ｃに送付する。画像処理装置Ｃは、これらをユーザーに提示する。画像処理装置Ｃは、第２のクライアント(ブラウザ)を用いたユーザーからのアクセスを受け付け、画面を構成する情報を、HTMLおよび画像データとして送信する機能を備えたWebサーバであってもよい。

画像蓄積装置Ｒは、画像および対応するサムネイル画像を、一意に識別可能な識別番号（画像識別番号）を付けて蓄積管理している。したがって、画像処理装置Ｃからの指示に従い、識別番号に対応する画像を、画像処理装置Ｃに送信することができる。画像処理装置Ｃは、受信した画像を画面に出力し確認することができる。

実施例１における画像検索装置では、画像処理装置Ｃと画像蓄積装置Ｒと画像検索装置Ｓが異なるアーキテクチャであっても、共通の遠隔手続き呼方式で通信できるように、SOAP（Simple Object Access Protocol）を利用する。画像検索装置Ｓのリクエスト受信手段は、HTTPの所定のポート（80番など）で、画像処理装置Ｃからの接続を待ち、画像処理装置ＣからのSOAPリクエストを受信する。また、検索結果をSOAPレスポンスとして、送信手段により画像処理装置Ｃに送信する。SOAPは、W3C（World Wide Web Consortium）により勧告された規格であり、XMLを用いて手続き呼出し及び検索結果を抽象化して記述し、異種システム間の結合を可能にする。なお、実施例１ではSOAPを利用するが、このプロトコル以外の通信方式でも、同様な機能を備えているものであれば利用可能である。

次に、図２を参照しながら、画像検索装置Ｓの検索動作を説明する。画像検索装置は、ネットワークを通じて他の装置との間で情報のやり取りを行う機能を有する。クライアント装置（画像処理装置Ｃ）からの検索要求を、検索リクエスト受信部１により受信する。画像検索部５は、受信した画像の特徴量をキーとして、画像特徴量データベース３にアクセスし、画像特徴量データベース３から、キーとした特徴量に類似する特徴量データを検索する。検索した結果である類似する特徴量データの画像識別情報の上位所定数を、検索結果送信部２に渡す。検索結果送信部２は、これらの識別情報を、検索要求発信元の画像処理装置Ｃに送信する。

ここで、特徴量算出方法の例を示す。画像を構成する色をいくつかのグループに分け、それぞれのグループに属する色が画像全体に占める割合を、特徴量として算出する。RGBの３プレーンから構成される画像では、各ピクセルがそれぞれのプレーンの値を表す数値の組で表されるが、それぞれのプレーンを、例えば３つの区間に分割すると、各ピクセルは、３×３×３＝27種のグループのどれかに属することになる。画像全体のピクセル数に占めるそれぞれのグループに属するピクセル数の割合を計算すると、27個の要素からなるベクトルが得られる。これを特徴量とすることで、画像同士の距離も便宜的に定義することができる。検索対象とする画像集合から特徴量を算出しておき、入力画像に対しても同様の特徴量を得て、それに距離的に近い画像を選択することで、画像を検索できる。

なお、この特徴量の例は、概念説明のための最も単純な例である、本発明では、これ以外の特徴量を利用して検索することもできる。特徴量は、画像データそのものである場合もある。画像が複数の色から構成されている場合では、それぞれの色が占める割合や、画像の各部分における色の変化の割合などを数値化した多次元の数値(ベクトル)で、特徴量が表される。例えば、特許文献２に開示されているような特徴量を利用することができる。

次に、図３に示す流れ図を参照しながら、画像検索装置における画像特徴量の登録・更新・削除処理の詳細を説明する。まず、あらかじめ初期設定として、画像検索装置の画像特徴量データベースに、検索対象として同期させる画像蓄積装置を決め、関連付けと同期間隔を設定して定期実行制御部に記録しておく。関連づける画像蓄積装置は単数でも複数でもよい。更新処理が開始されると、ステップ１で、画像蓄積装置から、外部画像一覧リストを取得する。ステップ２で、画像特徴量データベースから、登録画像一覧リストを取得する。これらの一覧リストには、画像を一意に識別するための識別情報が含まれている。また、画像蓄積装置から得られる一覧リストには、画像のタイトルと最終更新日時に関する情報も含まれている。

ステップ３で、２つの一覧リストを比較する。ステップ４で、画像蓄積装置には存在するが、画像特徴量データベースには未登録である画像を抽出して、新規登録画像一覧を作成する。画像特徴量データベースには存在するが、画像蓄積装置には存在しない画像を抽出して、削除画像一覧を作成する。画像特徴量データベースの最終更新日時より更新日時が新しい画像を抽出して、更新画像一覧を作成する。これらの差分情報に基づいて、それぞれ以下の処理を行う。ステップ５で、新規登録画像一覧と更新画像一覧とに基づいて、画像蓄積装置から識別情報に対応する画像データ本体を取得する。ステップ６で、画像の特徴量を求める。ステップ７で、その識別情報とタイトルと特徴量とを関連付けて、画像特徴量データベースに登録する。この際、更新画像一覧については、事前に登録されている特徴量を新しい特徴量で置き換える。ステップ８で、削除画像一覧に基づいて、画像特徴量データベースから対応する特徴量データを削除する。

なお、実施例１においては、定期的に更新動作を行うように構成しているが、定期的動作でなく、画像蓄積装置上のデータが変更されたことを検出したことに応じて、更新動作を行うように構成することも可能である。また、ユーザーの指示によって、任意の時点で更新動作を行うことも可能である。さらに、画像蓄積装置側からSOAP(Simple Object Access Protocol)等を用いた遠隔手続き呼び出しによって変更を通知し、更新動作を行うように構成することも可能である。

上記のように、本発明の実施例１では、画像検索装置を、画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う構成としたので、画像特徴量データベースが随時更新され、データの更新状況を意識することなく画像検索装置を利用できる。

本発明の実施例２は、単純なファイル装置に蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う画像検索装置である。

図４は、本発明の実施例２における画像検索装置を用いる画像検索システムの構成を示す概念図である。図４において、ファイル装置Ｒは、画像蓄積装置の一種であり、画像を蓄積しておく単純なファイルシステムである。その他の基本的な構成は、実施例１と同じである。実施例２においては、画像蓄積装置として、画像検索装置に直接またはネットワーク経由で間接的に接続されたディスク装置等の上に構成されたファイルシステムを用いる。このファイルシステムは、ネットワークストレージを含み、画像検索装置とは独立して動作する装置である。

外部画像リスト取得部は、ファイル装置Ｒ上の指定されたポイントから階層構造をたどることで、外部画像一覧リストを得る。画像の識別情報は、画像の絶対パス名、または、指定したファイルシステム上のポイントからの相対パス名として得られる。タイトルは、画像ファイル名として得られる。更新日時は、ファイル装置Ｒ上での画像ファイルの更新日時として得られる。外部画像データ取得部は、ファイル装置Ｒ上の画像ファイルに直接アクセスして読み込みを行う。この方式によれば、ファイル装置Ｒ上に通常の態様で保存された画像ファイルを、画像検索の対象に含めることが容易となる。

上記のように、本発明の実施例２では、画像検索装置を、単純なファイル装置に蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う構成としたので、単純なファイルシステム上の画像データを容易に検索することができる。

本発明の実施例３は、ウェブサーバに蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う画像検索装置である。

図５は、本発明の実施例３における画像検索装置を用いる画像検索システムの構成を示す概念図である。図５において、ウェブサーバＲは、ウェブサイト上に画像を蓄積しておく装置である。その他の基本的な構成は、実施例１と同じである。実施例３においては、画像蓄積装置として、インターネットまたはイントラネット上のウェブサーバを利用する。

外部画像リスト取得部は、指定されたウェブサイト上のポイント(URL)にアクセスして、ハイパーテキスト形式(HTML,XMLなど)で記述されたページデータを取得する。指定するURLやウェブサーバの設定に応じて、取得されるページデータは、人手で作成されたものであったり、画像ファイルの保存されたファイルシステムのファイル一覧から自動的に生成されるデータであったりする。外部画像リスト取得部は、このページデータを解析し、他のページへのハイパーリンクを検出した場合には、リンク先ページを再帰的に読み込む。画像ファイルに対応するURLを検出した場合には、それを画像一覧の要素に加える。

外部画像一覧リストにおいて、画像の識別情報としては、当該画像のURLを用いる。タイトルは、当該画像へのリンクを構成するアンカー要素（<a>...</a>タグ)の内容または<img>要素のaltもしくはtitle属性の値を利用することができる。更新日時は、HTTPのHEADコマンド等により取得される当該画像の更新日時を用いる。このようにして、特定のウェブサイト上の画像データを一括して画像検索の対象として登録し、サイトの更新による画像の追加・削除にも追従することができる。

上記のように、本発明の実施例３では、画像検索装置を、ウェブサーバに蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う構成としたので、ウェブサイト上の画像データを容易に検索することができる。

本発明の実施例４は、文書管理装置に蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う画像検索装置である。

図６は、本発明の実施例４における画像検索装置を用いる画像検索システムの構成を示す概念図である。図６において、文書管理装置Ｒは、文書の一部として画像を蓄積しておく装置である。その他の基本的な構成は、実施例１と同じである。実施例４においては、画像蓄積装置として、文書管理装置を利用する。ネットワークに接続され、文書・画像を、タイトルのパターンや作成者、キーワード情報等とともに管理する文書管理装置から、画像一覧および画像データを取得する構成である。

文書管理装置(文書管理サーバ)の多くは、階層化されたフォルダ構造に、文書や画像を、その書誌情報やキーワードとともに格納することができ、その書誌情報やキーワードによる検索機能を有する。また、ネットワーク入出力機能を備え、文書の登録、閲覧、検索などの機能を、ネットワーク上のクライアント装置に提供する文書管理サーバも多い。

実施例４で利用する文書管理装置上では、階層化されたフォルダ構造によって分類された文書が管理されている。各文書は、複数のセクションから構成され、各セクションはそれぞれひとつの文書ファイルまたは画像ファイルを格納している。つまり、文書は階層化フォルダのツリー構造の一つの葉であると同時に、複数のファイルを束ねるバインダの役割も果たしている。それぞれのセクションは個別の識別情報を持ち、単体としてアクセスが可能である。

実施例４の外部画像リスト取得部は、文書管理装置にアクセスして、特定のフォルダ以下をスキャンし、画像の一覧を取得する。この場合の識別情報としては、文書管理装置上で、文書・画像を一意に識別するために提供される識別情報や、フォルダ構造を階層化ファイルシステムと見なした場合の絶対パスを利用できる。タイトルや更新日時については、文書管理装置が各文書・画像について記録しているデータを利用することができる。このようにして、オフィスなどの環境で、文書・画像を画像管理装置上で書誌情報とともに管理している場合にも、画像特徴量データベースを同期させることが可能となる。

上記のように、本発明の実施例４では、画像検索装置を、文書管理装置に蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う構成としたので、文書管理装置上の画像データを容易に検索することができる。

本発明の実施例５は、リレーショナルデータベース装置に蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う画像検索装置である。

図７は、本発明の実施例５における画像検索装置を用いる画像検索システムの構成を示す概念図である。図７において、リレーショナルデータベース装置Ｒは、表形式で画像を管理して蓄積しておく装置である。その他の基本的な構成は、実施例１と同じである。実施例５においては、画像蓄積装置として、外部のリレーショナルデータベース装置を利用する。文書・画像およびその書誌情報を管理するリレーショナルデータベースから、画像一覧および画像データを取得する構成である。

リレーショナルデータベースは、多数のデータからなる複数のデータセットを表として管理している。それらの間に跨った条件を指定して、データの検索や抽出ができる。表を構成するデータは任意であるが、文書・画像を管理する場合には、書誌情報と文書・画像の所在(ファイルシステム上のパス、URL等)または画像の実体を、一つの文書・画像あたり１列として表現するようなビューの定義が可能である。実施例５では、そのようにして定義された表として、画像一覧が得られるものとする。

実施例５では、画像の識別情報は、画像のメタデータの一部として任意に定義して、リレーショナルデータベースに格納された情報を用いる。更新日時は、画像の書誌データの一部として登録されたものを用いる。リレーショナルデータベース上には、画像の実体または画像の実体の所在(パス名、URL等)を記録し、画像データ取得部は、それらから画像データを読み出して利用する。このようにして、リレーショナルデータベースを用いて管理されている画像データに、画像特徴量データベースを同期させることが可能となる。

上記のように、本発明の実施例５では、画像検索装置を、リレーショナルデータベース装置に蓄積された画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う構成としたので、リレーショナルデータベース上の画像データを容易に検索することができる。

実施例１〜５で説明した方法以外でも、画像リストの取得方法や、識別情報と更新日時の定義や、画像データ実体の取得方法を、対象に応じて適宜取り決めることで、画像検索装置と外部の画像蓄積装置との連携を行うことができる。

本発明の実施例６は、画像蓄積装置から得た外部画像一覧リストにフィルタをかけた一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う画像検索装置である。

図８は、本発明の実施例６における画像検索装置の構成を示す概念図である。図８において、外部画像リストフィルタ部12は、画像リストから条件に合致したものを抽出する手段である。その他の基本的な構成は、実施例１と同じである。外部の画像蓄積装置から画像の一覧を取得する際に、画像の作成、更新日時、タイトルのパターン、作成者、付随するキーワード、文書・画像の形式のうちの少なくともひとつの条件に従って指定した文書のみに処理対象を限定する構成である。

実施例６の画像検索装置は、外部画像一覧フィルタ部12を有する。この外部画像一覧フィルタ部12には、クライアント装置（画像処理装置Ｃ）からの指示または初期設定によって、タイトルに関するパターンや作成者や文書形式等に関する制限を設定し、記録することができる。画像特徴量データベース３の更新処理において、外部画像一覧リストの取得後、またはそれと協調しながら、外部画像一覧フィルタ部12によって、それぞれの画像が登録対象かどうかを検査する。検査によって登録対象と判定された画像のみに対して差分を抽出し、登録処理などを行う。

実施例６では、実施例４で示したものと同等の文書管理装置を、画像蓄積装置として利用する。文書管理装置上では、ひとつの文書に複数の文書ファイルや画像ファイルが束ねられて記録されている。外部画像一覧フィルタ部12で、画像ファイルのみを検索対象とするように指定した場合には、外部画像リスト取得部７の出力から、各文書内にバインドされている画像ファイルに対応するセクションのみが取り出され、登録、更新、削除の対象となる。文書内で重要な画像のみを独立した画像ファイルとして独立したセクションに記録しておくことで、画像の検索結果から、対応する文書や文書ファイルを得るという使い方が可能となる。

実施例６によれば、文書ファイルやJPEG形式の写真やTIFF形式の文書画像などが混在して登録されている文書管理装置から、特定の形式のデータのみを抽出して、画像特徴量データベース３に登録することができる。文書ファイルと、それに対応する説明用の図面や写真などを、同じディレクトリに合わせて管理し、このうち写真のみを自動的に検索対象として登録したいというような場合に利用することができる。このような状況は、特に、文書管理装置を画像蓄積装置として用いる場合の利用方法である。

上記のように、本発明の実施例６では、画像検索装置を、画像蓄積装置から得た外部画像一覧リストにフィルタをかけた一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行う構成としたので、登録画像を所望の条件に合致する画像のみに限定することができる。

本発明の実施例７は、画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行い、検索結果にフィルタをかけて回答する画像検索装置である。

図９は、本発明の実施例７における画像検索装置の構成を示す概念図である。図９において、検索結果フィルタ部13は、検索結果から条件に合致したものを抽出する手段である。その他の基本的な構成は、実施例１と同じである。画像の検索時に、検索結果から文書・画像の作成・更新日時、タイトルのパターン、作成者、キーワード、文書・画像の形式、取得元のうちの少なくともひとつの条件によって、クライアントに提示する結果を絞り込む構成である。

実施例７は、検索結果送信部２の前に、検索結果フィルタ部13が接続されている。また、画像特徴量データベース３には、識別情報や特徴量やタイトルとともに、画像を取得した画像蓄積装置を識別するための情報が記録されている。クライアント装置（画像処理装置Ｃ）は、検索リクエストを送信する際に、どの画像蓄積装置に属する画像を検索したいかを示す画像蓄積装置識別情報を付加する。検索リクエスト受信部１は、この要求を検索結果フィルタ部13に入力する。画像検索動作が終了して検索結果が得られると、検索結果は検索結果フィルタ部13に入力され、クライアント装置から指示された画像蓄積装置識別情報に従って結果を絞り込み、検索結果送信部２へ送る。このようにして、同一の画像特徴量データベース３に複数の画像蓄積装置からの情報を記録した場合にも、画像蓄積装置を検索時に選択して結果を絞り込むことが可能となる。

上記のように、本発明の実施例７では、画像検索装置を、画像データの一覧と画像特徴量データの一覧との差分に基づいて、画像特徴量データの新規登録と更新と削除を行う処理を定期的に実行し、画像の特徴量に基づいて画像検索を行い、検索結果にフィルタをかけて回答する構成としたので、画像蓄積装置を特定して検索することができる。

本発明は、画像データがしばしば更新される画像蓄積装置中の類似画像を検索するための装置として最適である。

本発明の実施例１における画像検索装置を用いる画像検索システムの構成を示す概念図である。 本発明の実施例１における画像検索装置の構成を示す概念図である。 本発明の実施例１における画像検索装置の動作手順を示す流れ図である。 本発明の実施例２における画像検索装置を用いる画像検索システムの構成を示す概念図である。 本発明の実施例３における画像検索装置を用いる画像検索システムの構成を示す概念図である。 本発明の実施例４における画像検索装置を用いる画像検索システムの構成を示す概念図である。 本発明の実施例５における画像検索装置を用いる画像検索システムの構成を示す概念図である。 本発明の実施例６における画像検索装置の構成を示す概念図である。 本発明の実施例７における画像検索装置の構成を示す概念図である。

符号の説明

Ｃ・・・画像処理装置、Ｓ・・・画像検索装置、Ｒ・・・画像蓄積装置、Ｔ・・・ネットワーク、１・・・検索リクエスト受信部、２・・・検結果送信部、３・・・画像特徴量データベース、４・・・特徴量算出部、５・・・画像検索部、６・・・特徴量登録削除部、７・・・外部画像リスト取得部、８・・・外部画像データ取得部、９・・・登録画像リスト取得部、10・・・差分抽出部、11・・・定期実行制御部、12・・・外部画像リストフィルタ部、13・・・検索結果フィルタ部。

Claims (16)

1. 通信回線を経由してクライアント装置から検索要求を受信し、画像の特徴量に基づいて画像検索を行い、検索結果を前記クライアント装置に送信する画像検索装置において、画像蓄積装置を参照して外部画像一覧リストを得る外部画像リスト取得部と、画像特徴量データベースに登録されている画像に関する登録画像一覧リストを得る登録画像リスト取得部と、前記外部画像一覧リストと前記登録画像一覧リストとを比較して差分を算出する差分抽出部と、前記差分に基づいて画像特徴量データの新規登録と更新と削除を行う特徴量登録削除部と、前記特徴量登録削除部の指示に従って前記画像蓄積装置から画像データを取得する外部画像データ取得部と、前記画像データの特徴量を算出する特徴量算出部と、前記画像特徴量データベースの更新処理を定期的に実行するように前記差分抽出部に指示する定期実行制御部とを具備することを特徴とする画像検索装置。
2. 前記画像蓄積装置は単純なファイルシステムであり、前記外部画像リスト取得部は、前記ファイルシステムからディレクトリ操作によって前記外部画像一覧リストを取得する手段を有し、前記外部画像データ取得部は、前記ファイルシステムからディレクトリ操作によって前記画像データを取得する手段を有することを特徴とする請求項１記載の画像検索装置。
3. 前記画像蓄積装置はウェブサーバであり、前記外部画像リスト取得部は、あらかじめ指定されたウェブサーバ上のウェブページからハイパーリンクの一覧を取得して再帰的にリンクをたどることで前記外部画像一覧リストを取得する手段を有し、前記外部画像データ取得部は、あらかじめ指定されたウェブサーバ上のウェブページからハイパーリンクの一覧を取得して再帰的にリンクをたどることで前記画像データを取得する手段を有することを特徴とする請求項１記載の画像検索装置。
4. 前記画像蓄積装置は、文書ファイルおよび画像データを、そのタイトルや作成者や付随するキーワードや登録／変更日時などとともに管理する文書管理装置であり、前記外部画像リスト取得部は、前記文書管理装置に問い合わせを行って前記外部画像一覧リストを取得する手段を有し、前記外部画像データ取得部は、前記文書管理装置に問い合わせを行って前記画像データを取得する手段を有することを特徴とする請求項１記載の画像検索装置。
5. 前記画像蓄積装置はリレーショナルデータベースであり、前記外部画像リスト取得部は、前記リレーショナルデータベースに所定の問い合わせを行って前記外部画像一覧リストを取得する手段を有し、前記外部画像データ取得部は、前記リレーショナルデータベースに所定の問い合わせを行って前記画像データを取得する手段を有することを特徴とする請求項１記載の画像検索装置。
6. 前記外部画像リスト取得部は、文書の作成または更新日時とタイトルのパターンと作成者と付随するキーワードと文書のデータ形式のうちの少なくともひとつに関する条件に従って指定した文書のみの外部画像一覧リストを抽出する外部画像一覧フィルタ部を有することを特徴とする請求項４記載の画像検索装置。
7. 画像の作成または更新日時とタイトルのパターンと作成者と付随するキーワードと画像形式と画像蓄積装置のうちの少なくともひとつを条件として検索結果を絞り込む検索結果フィルタ部を備えたことを特徴とする請求項１に記載の画像検索装置。
8. 通信回線を経由してクライアント装置から検索要求を受信し、画像の特徴量に基づいて画像検索を行い、検索結果を前記クライアント装置に送信する画像検索方法において、画像蓄積装置を参照して外部画像一覧リストを得て、画像特徴量データベースに登録されている画像に関する登録画像一覧リストを得て、前記外部画像一覧リストと前記登録画像一覧リストとを比較して差分を算出し、前記差分に基づいて、前記画像蓄積装置から画像データを取得し、新規の画像と更新された画像の特徴量を算出し、画像特徴量データの新規登録と更新と削除を行い、前記画像特徴量データの更新処理を定期的に実行するように制御することを特徴とする画像検索方法。
9. 前記外部画像一覧リストと前記画像データを、画像蓄積装置である単純なファイルシステムからディレクトリ操作によって取得することを特徴とする請求項８記載の画像検索方法。
10. 前記外部画像一覧リストと前記画像データを、画像蓄積装置であるあらかじめ指定されたウェブサーバ上のウェブページからハイパーリンクの一覧を取得し、再帰的にリンクをたどることで取得することを特徴とする請求項８記載の画像検索方法。
11. 前記外部画像一覧リストと前記画像データを、そのタイトルや作成者や付随するキーワードや登録／変更日時などとともに管理する、画像蓄積装置である文書管理装置に問い合わせを行って取得することを特徴とする請求項８記載の画像検索装置。
12. 前記外部画像一覧リストと前記画像データを、画像蓄積装置であるリレーショナルデータベースに所定の問い合わせを行って取得することを特徴とする請求項８記載の画像検索装置。
13. 文書の作成または更新日時とタイトルのパターンと作成者と付随するキーワードと文書のデータ形式のうちの少なくともひとつに関する条件に従って指定した文書のみの外部画像一覧リストを抽出することを特徴とする請求項１１記載の画像検索方法。
14. 画像の作成または更新日時とタイトルのパターンと作成者と付随するキーワードと画像形式と画像蓄積装置のうちの少なくともひとつを条件として検索結果を絞り込むことを特徴とする請求項８記載の画像検索方法。
15. 請求項８〜１４のいずれかに記載の画像検索方法をコンピュータ上で実行するための処理手順を記述したコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images