JP2005018407A - 画像検索装置 - Google Patents
画像検索装置 Download PDFInfo
- Publication number
- JP2005018407A JP2005018407A JP2003182360A JP2003182360A JP2005018407A JP 2005018407 A JP2005018407 A JP 2005018407A JP 2003182360 A JP2003182360 A JP 2003182360A JP 2003182360 A JP2003182360 A JP 2003182360A JP 2005018407 A JP2005018407 A JP 2005018407A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- image search
- request information
- retrieval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】分散型画像検索装置の数が増えても効率的な画像検索を行う。
【解決手段】クライアント、文書管理装置、画像検索装置S1,S2,S3…は電気通信回線に接続され、クライアントは文書管理装置から検索キー画像を取得し、検索要求と共に画像検索装置S1に送信する。画像検索部1は、検索キー画像の特徴量に基き類似画像の検索を行う。このときリクエスト転送先特定部2は、検索要求に基き検索を分担する画像検索装置を特定し、リクエスト転送部3から検索要求を転送する。検索要求は、検索要求を転送する画像検索装置名S2,S3…及び転送の順番、並びに検索要求を転送された画像検索装置は検索結果を検索要求を転送してきた画像検索装置に返信するメッセージを有しているので、検索結果受信部4から画像検索装置S2,S3の検索結果を受信する。受信結果を整理してクライアントに返す。
【選択図】 図2
【解決手段】クライアント、文書管理装置、画像検索装置S1,S2,S3…は電気通信回線に接続され、クライアントは文書管理装置から検索キー画像を取得し、検索要求と共に画像検索装置S1に送信する。画像検索部1は、検索キー画像の特徴量に基き類似画像の検索を行う。このときリクエスト転送先特定部2は、検索要求に基き検索を分担する画像検索装置を特定し、リクエスト転送部3から検索要求を転送する。検索要求は、検索要求を転送する画像検索装置名S2,S3…及び転送の順番、並びに検索要求を転送された画像検索装置は検索結果を検索要求を転送してきた画像検索装置に返信するメッセージを有しているので、検索結果受信部4から画像検索装置S2,S3の検索結果を受信する。受信結果を整理してクライアントに返す。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、クライアントコンピュータ及び文書管理装置(画像データベース)とともにLAN、インターネット等のネットワークに接続された画像検索装置からなる分散型画像検索システムにおける画像検索装置に関する。
【0002】
【従来の技術】
紙ベースでの文書管理が中心であった時代には、文書の蓄積と管理が大変な問題であったが、コンピュータの発達と共に文書が電子形式で扱われるようになってきたため文書管理の問題は比較的容易になったといえる。それでも管理対象となる文書の数が増加すると、階層化構造の分類による管理システムでは、文書の解析、検索面でなお問題を残している。特に画像の蓄積管理となると問題は深刻化する。そこで画像を識別番号等で一律管理しておき、画像の特徴量を用いて2画像間の類似度を比較し、類似度の高い画像を類似画像として選択する画像検索手法が案出されている。しかし、画像のデータベースが複数個所の事業所間で分散管理されているような場合には、更に検索手法に改善の余地が残されていた。
【0003】
その改善手法の一つとして、分散型データ検索システムと呼ばれるものがある。このシステムは、クライアントAと複数のサーバB,C,D等により構成され、クライアントAにはユーザー(検索要求者)との間で検索操作の関わるクライアントアプリケーションと、検索要求委譲手段として機能する検索要求代行処理部が設けられ、この検索要求代行処理部には接続先登録手段であるデータベースインデックスが設けられている。
【0004】
またサーバB,C,Dには、検索手段として機能する検索要求仲介処理部と、そのデータベース及び、検索要求代行処理部が設けられ、この検索要求代行処理部には接続先登録手段であるデータベースインデックスが設けられている。また、これらのクライアントAと各サーバはネットワークにより接続されている。
【0005】
このような構成において、ユーザーから分散データベースへの検索リクエストを受け付けたクライアントAは、まず自分自身の検索要求代行処理部に検索を依頼する。依頼を受けた検索要求代行処理部は自分のデータベースインデックスによりネットワーク上に散在する分散データベースの所在情報を得る。そして、例えばサーバBに存在するデータベースを最初の検索対象とした場合、検索要求代行処理部は、サーバB上の検索要求仲介処理部にネットワーク経由で検索リクエストを委譲する。
【0006】
検索リクエストを委譲されたその検索要求仲介処理部は、そのデータベースに対して検索を実行する。そして検索結果を取得後、委譲元の検索要求代行処理部へネットワーク経由で検索結果を通知する。更に自分自身と同じサーバB上に存在する検索要求代行処理部に対し、自分自身に委譲された検索リクエストと同様の検索を再度依頼する。
【0007】
この依頼を受けた検索要求代行処理部は、自分自身が保持するデータベースインデックスから、既に検索が終了した前記データベース以外のデータベースの所在情報を取得する。そして、例えばサーバC上に存在するデータベースを次の検索対象としてサーバC上の検索要求仲介処理部に対して検索リクエストをネットワークを経由して委譲する。以後、上述のような検索要求代行処理部と検索要求仲介処理部間の自律的通信によりネットワーク上の分散データベースサーバを再帰的に次々と検索する。そして検索要求元へも検索動作と逆の経路を辿って検索結果を送信していくので、分散する全てのサーバのデータベースについて検索を行うことができる(特許文献1参照)。
【0008】
【特許文献1】特開2000−250918号公報 (段落(0011)〜(0023)、図1)
【0009】
【発明が解決しようとする課題】
しかしながら、昨今、サーバの設置個所が増えると共にサーバに付属するデータベースの容量が大規模化し、そこに蓄積される検索対象の文書や画像の数が膨大になっている。このため検索動作をサーバ(検索装置)にまかせ、分散配置された全てのデータベースを次々と検索していると、検索に時間がかかるだけでなく、ユーザーの要求にかなった文書や画像が的確に検索できないおそれがあった。
【0010】
そこで、本発明は、ネットワークに接続された複数の画像検索装置において、(1)分散配置される画像検索装置の数の増大化と画像検索装置(データベース)に蓄積される検索対象画像の膨大化に対処して短時間で効率的な画像検索ができるようにすること、(2)ユーザーの検索要求に最も近い検索結果が的確に取得できるようにすること、(3)ユーザー(クライアント装置)に検索に要する機能的な負担がかからないようにすること、を発明の目的とする。
【0011】
【課題を解決するための手段】
請求項1の発明は、電気通信回線を経由してクライアント装置及び他の画像検索装置に接続可能な画像の特徴量に基いて画像検索を行う装置であって、クライアント装置から検索要求情報を受信し、画像検索を行い、且つ他の画像検索装置に画像の特徴量に基く画像検索を分担させる画像検索装置において、画像検索を分担する画像検索装置を特定する手段と、画像検索を分担する画像検索装置に検索要求情報を転送する手段と、画像検索を分担する画像検索装置から該画像検索装置の検索結果を受信する手段と、検索結果をクライアント装置の要求に従って整理する手段と、整理された検索結果を取得する手段と、取得した検索結果をクライアント装置に送信する手段と、を備えたことを特徴とする画像検索装置である。
【0012】
請求項2の発明は、請求項1記載の画像検索装置において、前記画像検索を分担する画像検索装置を特定する手段は、当該画像検索装置において所定の検索結果が得られないとき、他の画像検索装置を、画像検索を分担する画像検索装置として特定し、又はクライアント装置により他の画像検索装置が指示されたとき、指示された画像検索装置を、画像検索を分担する画像検索装置として特定し、又はクライアント装置により所定の画像検索装置の組み合わせが指示されたとき、指示された組み合わせの画像検索装置を、画像検索を分担する画像検索装置として特定することを特徴とする画像検索装置である。
【0013】
請求項3の発明は、請求項1記載の画像検索装置において、前記画像検索を分担する画像検索装置に検索要求情報を転送する手段は、検索要求情報を転送する画像検索装置の識別情報及び転送の順番、並びに検索要求情報を転送された画像検索装置に対して類似度順に上位所定数の検索結果を検索要求情報を転送してきた画像検索装置に返信することを要求するメッセージを有する検索要求情報、又は画像検索要求情報を転送する画像検索装置の識別番号及び検索要求情報を転送された各画像検索装置に対して類似度順に上位所定数の検索結果を最初の画像検索装置に返信することを要求するメッセージを有する検索要求情報、又は検索要求情報を転送する画像検索装置の識別番号及び転送の順番、並びに検索要求情報を転送された画像検索装置に対して類似度順に上位所定数の検索結果を前記順番に従って次の画像検索装置に送信し、最後の画像検索装置は検索結果を最初の画像検索装置に返信することを要求するメッセージを有する検索要求情報、を転送することを特徴とする画像検索装置である。
【0014】
請求項4の発明は、請求項3記載の画像検索装置において、前記検索要求情報は、検索キー画像の特徴量を有することを特徴とする画像検索装置である。
【0015】
請求項5の発明は、請求項1記載の画像検索装置において、前記検索結果をクライアント装置の要求に従って整理する手段は、当該画像検索装置の検索結果を類似度順に、又は当該画像検索装置の検索結果に受信した検索結果を加えて類似度順に整列することを特徴とする画像検索装置である。
【0016】
請求項6の発明は、請求項3乃至5にいずれかに記載の画像検索装置において、画像検索を分担する画像検索装置の作業負荷状況を問い合わせる手段と、画像検索を分担する画像検索装置から作業負荷状況情報を受信する手段と、画像検索を分担する画像検索装置の作業負荷状況を判定する手段と、前記判定に基いて画像検索を分担する画像検索装置への検索要求情報の転送を停止させる手段と、を備えたことを特徴とする画像検索装置である。
【0017】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図1は、本発明が実施されるネットワーク分散型画像検索システムのブロック構成図ある。図1において、画像処理装置(クライアント)C1、文書管理装置R1,R2…及び画像検索装置S1,S2…は、LAN、インターネット等の電気通信回線Tを介して接続される。
【0018】
画像処理装置C1は、クライアントコンピュータで、ユーザーは画面による表示出力を確認しつつマウスやキー入力操作によって文書管理装置R1に接続し、画像を取得し、該画像を特徴量の登録、画像検索要求と共に画像検索装置S1に送信する。そして画像処理装置C1は、画像検索装置S1から検索結果である例えば類似画像の識別情報を受信する。画像処理装置C1は、この識別情報を文書管理装置R1に送る。
【0019】
文書管理装置R1は、画像を一意に識別可能な識別番号(画像識別番号)を付けて蓄積管理している。従って画像処理装置C1からの指示に従い、識別番号に対応する画像を画像処理装置C1に送信することができる。画像処理装置C1は、受信した画像を画面に出力し確認することができる。
【0020】
なお、画像検索装置S1,S2,S3…は、それぞれ対応する文書管理装置R1,R2,R3…を備えており、これらは蓄積する画像の形体や種別毎に分かれている。
【0021】
本ネットワーク分散型画像検索システムにおいて使用される通信方式は、画像処理装置C1、文書管理装置R1、画像検索装置S1〜Snが共通の遠隔手続き呼出方式で通信できるようにSOAP(Simple Object Access Protocol)を利用する。画像検索装置S1のリクエスト受信手段はHTTPの所定のポート(80番など)で画像処理装置C1からの接続を待ち、画像処理装置C1からのSOAPリクエストを受信する。また検索結果をSOAPレスポンスとして送信手段により画像処理装置C1に送信する。SOAPは、W3C(World Wide Web Consortium)により勧告された規格であり、XMLを用いて手続き呼出し及び検索結果を抽象化して記述し、異種システム間の結合を可能にする。なお、本実施形態ではSOAPを利用するが、この規格のみに限定されるものではない。
【0022】
図2は、本発明の実施形態に係る画像検索装置のブロック構成図であり、図中、画像検索部1は、図3で後述する各種手段により特徴量の算出、登録、画像検索等を行い、リクエスト転送先特定部2は、図4で後述する各種手段により画像検索を分担する他の画像検索装置S2〜Snの特定、検索結果の取りまとめ整理等を行う。リクエスト転送部3は、リクエスト転送先特定部2で特定された他の画像検索装置S2〜Snに対して画像検索要求情報(以下、リクエスト情報と略称)を転送する。検索結果受信部4は、他の画像検索装置で分担された画像検索の結果を受信する。また負荷問い合わせ受信部5は、自分自身の負荷問い合わせを受信する受信部であり、負荷応答部6は、その問い合わせに対して自分の負荷状況を返信する応答部である。
【0023】
CPU7は画像検索装置を制御するコンピュータであり、RAM8は各種作業データを一時的に記憶する記憶装置、ROM9はCPU7を起動するためのプログラム等を記憶する記憶装置、HDD11は、画像検索プログラムや後述する画像検索装置の組み合わせ情報を記憶するハードディスク型の記憶装置である。操作部12はマウス、キーボード等による入力部、表示部13は液晶パネル等により画像検索装置の各種動作状況を表示する表示部である。
【0024】
図3は、画像検索部1の詳細構成を示すブロック図であり、図中、リクエスト受信手段21は、画像処理装置C1からリクエスト情報を受信する。リクエスト情報は、(ア)画像検索要求と検索キー画像、(イ)画像登録要求と登録対象画像からなる。このとき画像には、これを一意に識別可能にする識別情報(画像識別情報)が付与されている。
【0025】
図3により、はじめに画像検索装置S1が画像処理装置C1からリクエスト情報として画像検索要求と検索キー画像を受信した場合について説明すると、そのリクエスト受信手段21はリクエスト情報を受信し、リクエスト情報中の画像は特徴量算出手段23に渡され、特徴量算出手段23は渡された画像から特徴量を算出する。そして算出した特徴量を、受信した画像つまり特徴量算出の元になった画像の識別情報と共に画像検索手段25に渡す。
【0026】
特徴量蓄積手段24は、文書管理装置R1に管理蓄積されている画像について、画像毎に事前に算出された特徴量を画像識別情報と共に蓄積している。
【0027】
画像検索手段25は、受信した画像の特徴量をキーとして特徴量蓄積手段24にアクセスし、特徴量蓄積手段24からキー特徴量に類似する特徴量を検索する。そして検索した類似する特徴量の画像識別情報を画像取得手段26に渡す。
【0028】
画像取得手段26は、文書管理装置R1にアクセスし、類似する特徴量の画像識別情報に基いて対応する識別情報の画像又は画像データを取得し、この画像又は画像データをレスポンス送信手段27に渡す。
【0029】
レスポンス送信手段27は、この画像又は画像データ又はこれらの識別情報を発信元の画像処理装置C1に送信する。レスポンス送信手段27は、画像識別情報を画像処理装置C1に渡してもよい。このときは、画像処理装置C1が文書管理装置R1からその識別情報の画像や画像データを取得することになる。
【0030】
ここで特徴量算出の例として、画像を構成する色をいくつかのグループに分け、それぞれのグループに属する色が画像全体に占める割合を特徴量として算出する。RGBの3プレーンから構成される画像では、各ピクセルがそれぞれのプレーンの値を表す数値の組で表されるが、それぞれのプレーンを例えば3つの区間に分割すると、各ピクセルは3 * 3 * 3 = 27種のグループのどれかに属することになる。画像全体のピクセル数に占めるそれぞれのグループに属するピクセル数の割合を計算すると、27個の要素からなるベクトルが得られる。これを特徴量とすることで、画像同士の距離も便宜的に定義することができる。検索対象とする画像集合から前記特徴量を算出しておき、入力画像に対しても同様の特徴量を得て、それに距離的に近い画像を選択することで、画像の検索手法の1つが得られる。
なお、前記3プレーンの例は最も単純な例であり、本発明に利用する特徴量は、これに限定されるものではない。また特徴量は、画像そのものである場合もあるが、通常は、画像が複数の色から構成されているとき、それぞれの色が占める割合や前記ベクトル等の変数(パラメータ)で表される。
【0031】
次に、リクエスト情報として画像登録要求と登録キーとしての画像を受信した場合について説明すると、リクエスト受信手段21はリクエスト情報を受信すると、リクエスト情報中の画像は特徴量算出手段23に渡され、特徴量算出手段23は渡された画像から特徴量を算出する。そして算出した特徴量を、受信した画像の識別情報と共に特徴量蓄積手段24に渡す。
【0032】
なお、登録キーとしての画像は、文書管理装置R1に管理蓄積されている画像であって特徴量登録がなされていない画像、これから文書管理装置R1で管理蓄積しようとする画像であって特徴量の登録がなされていない画像等がこれに当たる。
【0033】
再度図2に戻り更に図4を参照して、以下に、本発明の実施形態を詳細に説明する。図4は、図2のリクエスト転送先特定部の詳細構成ブロック図であり、図中、31は転送先画像検索装置読取手段、32は検索結果整列手段、33は画像検索装置組合わせ情報蓄積手段、34は負荷問い合わせ手段、35は負荷受信手段、36は負荷量判定手段である。
【0034】
(実施形態1)本発明の実施形態に係る画像検索装置S1は、画像処理装置C1からリクエスト情報を受信する。つまり、画像処理装置C1は、文書管理装置R1にアクセスして識別情報が付与された画像の一覧から検索キーとなる画像を選択して検索要求のSOAPメッセージに含めて画像検索装置S1に送信し、画像検索装置S1のリクエスト受信手段21はこれを受信する。画像検索装置S1は、画像を受け取ったときは、特徴量を算出し、識別情報を受け取ったときは、その識別情報に対応する画像の特徴量を特徴量蓄積手段24から取得する。そして、この特徴量を検索キーとして特徴量検索手段25により特徴量蓄積手段24にアクセスし類似する特徴量の検索を行う。また、画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に画像検索動作を分担する画像検索装置を特定するための例えば画像検索装置の識別番号S2,S3,S4…等を含めて送信する。
【0035】
本実施形態によれば、画像検索を分担する画像検索装置が制限されるので、無駄な検索が行われるのを阻止することができる。
【0036】
(実施形態2)この検索動作に引き続いて又は同時に、画像検索装置S1のCPU7はリクエスト転送先特定部2を起動する。そこでリクエスト転送先特定部2の転送先画像検索装置読取手段31は、リクエスト受信手段21が受信したリクエスト情報(SOAPメッセージ)の付加情報欄から転送先画像検索装置の識別番号を読み取る。そしてリクエスト情報をリクエスト転送部3に渡し、読み取った識別番号の画像検索装置、例えば画像検索装置S2に転送する。リクエスト情報に画像の特徴量を載せて送信することが可能であり、リクエスト受信手段が画像の特徴量を受信するようにしてもよい。
【0037】
リクエスト情報が転送された画像検索装置S2は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0038】
本実施形態によれば、ユーザーの指示に基いた検索要求を分担させる画像検索装置が稼動するので、無駄な検索を行うことなく検索効率を上げることができる。また画像の特徴量が送信されたときは、特徴量を算出する処理が不要となり、検索処理が早く行える。
【0039】
(実施形態3)リクエスト情報(SOAPメッセージ)の付加情報欄に転送先画像検索装置が記載されておらず、転送先が特定されていないときは、CPU7は、検索結果整列手段32を立ち上げる。そして検索結果整列手段32は、画像検索装置S1で検索された画像を類似度の高い画像順に整列する。CPU7は、整列された画像について所定の類似度の画像が所定数だけ検索されているか否か判断し、所定数以下のとき、リクエスト情報をリクエスト転送部3に渡し、リクエスト転送部3はこのリクエスト情報を予め決められた順番の次の画像検索装置S2に転送する。同じようにして後続の画像検索装置S3,S4等に転送される。リクエスト情報を転送された各画像検索装置S2,S3,S4等は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0040】
本実施形態によれば、画像処理装置C1において、画像検索を分担する画像検索装置の指示がなく最初の画像検索装置で所定の検索結果が得られないときでも、自動的に所定の検索結果が得られるまで次々と画像検索装置を起動していくので、ユーザーは必ず所定の検索結果を得ることができる。
【0041】
(実施形態4)また、画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、検索範囲に従って転送先画像検索装置を、例えばS1,S2のように組み合わせて記載しリクエスト情報として送信する。検索範囲に従って画像検索装置S1が記載されていないときは、画像検索装置S1は検索動作を行わない。リクエスト情報を転送された画像検索装置S2は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0042】
本実施形態によれば、画像処理装置C1は用途によって検索範囲を指定することができ、一度の検索要求で広い範囲の検索結果を得ることができるうえ、画像検索を分担する画像検索装置は、並行して検索動作を行うため検索時間が短縮される。
【0043】
(実施形態5)更に画像検索装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、転送先画像検索装置の組み合わせ名称、例えばカテゴリ名を記入して送信する。カテゴリAは画像検索装置S1,S3、カテゴリBは画像検索装置S2,S4、カテゴリCは画像検索装置S5,S6等である。一方、画像検索装置S1のリクエスト転送先特定部2の画像検索装置組み合わせ情報蓄積手段33は、前記カテゴリと画像検索装置の組み合わせとの関係をテーブル形式で記憶している。従って、転送先画像検索装置読取手段31は、リクエスト情報からカテゴリ名、例えばカテゴリBを読み取り、画像検索装置組み合わせ情報蓄積手段33のテーブルから、読み取ったカテゴリBの画像検索装置S2,S4を読み出す。CPU7は読み出された画像検索装置S2,S4とリクエスト情報をリクエスト転送部3に渡し、リクエスト転送部3は各画像検索装置S2,S4に転送する。リクエスト情報を転送された画像検索装置S2,S4は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。あるカテゴリに属する画像検索装置は、特徴量の種類に応じて検索ができるように、異なる種類の特徴量の画像検索装置を集めるようにしてもよい。このカテゴリの画像検索装置により、検索リクエストの特徴量が複数の特徴量の合成によって定義される場合に、特徴量の種類別に画像検索を分担させることができる。
【0044】
本実施形態によれば、画像処理装置C1は、特定分野や画像のタイプ別に画像検索装置のグループを作り、この数が多数になるような場合にも簡単に画像検索装置の組み合わせを選択することができる。またこの組み合わせにより画像検索を分担するよう指示された画像検索装置は、組み合わせの選択を誤ることなく、該当する画像検索装置に画像検索を行わせることができる。
【0045】
(実施形態6)画像検索装置S1は、図2に示すように、負荷問い合わせ受信部5及び負荷応答部6を更に備えている。負荷問い合わせ受信部5は、他の画像検索装置からの負荷つまり現在実行中の作業負荷問い合わせを受信する受信部であり、負荷応答部6は、負荷問い合わせ受信部5が負荷問い合わせを受信したとき、自分自身の作業負荷状況、例えば現在のCPU使用率を送信するものである。更に画像検索装置S1のリクエスト転送先特定部3は、リクエスト情報を転送しようとする画像検索装置の負荷を取得する負荷問い合わせ手段34及び、この問い合わせに応答して送信される負荷状況を受信する負荷受信手段35を備えている。
【0046】
画像検索装置S1は、リクエスト情報を受信し、画像検索動作をするのに引き続いて又は同時に、CPU7はリクエスト転送先特定部2を起動するので、更にCPU7は、起動したリクエスト転送先特定部2の負荷問い合わせ手段34から、転送先画像検索装置読取手段31により取得された所定の画像検索装置に対し、負荷問い合わせをする。該当する画像検索装置の負荷問い合わせ受信部5は、この問い合わせを受信し、負荷応答部6は負荷を送信してくるので、リクエスト転送先特定部2の負荷受信手段35により受信し、負荷量判定手段36で負荷量を判定する。判定の結果、CPU7は、負荷量が所定量を超えている画像検索装置については、前記所定の画像検索装置から除いてリクエスト情報をリクエスト転送部3から転送するようにする。リクエスト情報を転送された画像検索装置は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0047】
本実施形態によれば、比較的時間を要する画像検索動作による負荷を複数の画像検索装置間に分散し、検索結果を取得するまでの時間を短縮することができる。
【0048】
(実施形態7)画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、リクエスト情報を転送する転送先画像検索装置の識別番号及び転送の順番、並びにリクエスト情報を転送された画像検索装置は検索結果を類似度順に並べ、類似度の高い所定数を、リクエスト情報を転送してきた画像検索装置に返信するメッセージを記入して画像検索装置S1に送信する。
【0049】
例えば画像検索装置S2,S3がリクエスト情報の転送先画像検索装置として記入されているとき、これを受信した画像検索装置S1は、転送先画像検索装置読取手段31が転送先画像装置S2を読み取るので、画像検索動作に引き続いて又は同時に、受信したリクエスト情報を画像検索装置S2に送信し、画像検索装置S2からの検索結果の送信を待つ。
【0050】
また画像検索装置S2は、転送先画像検索装置読取手段31が転送先画像装置S3を読み取るので、画像検索動作に引き続いて又は同時に、受信したリクエスト情報を画像検索装置S3に送信し、画像検索装置S3からの検索結果の送信を待つ。
【0051】
画像検索装置S2からリクエスト情報を転送された画像検索装置S3は、転送先画像検索装置読取手段31が次の転送先画像装置を読み取ることができないので、自分自身の画像検索動作を行い、類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像検索装置S2に返送する。
【0052】
画像検索装置S2は、自分自身の画像検索結果に画像検索装置S3から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像検索装置S1に返送する。
【0053】
画像検索装置S1は、自分自身の画像検索結果に画像検索装置S2から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像処理装置C1に返送する。
【0054】
本実施形態によれば、画像検索装置S1,S2,S3においてそれぞれユーザーに転送する検索結果の数を制限しながら返送するので、ユーザーは、最終的に類似度の高い所定数の検索結果を得ることができる。
【0055】
(実施形態8)画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、リクエスト情報を転送する画像検索装置の識別番号、及びリクエスト情報を転送された画像検索装置は検索結果を類似度の高さ順に並べ、類似度の高い所定数を、画像検索装置S1に返信するメッセージを記入して画像検索装置S1に送信する。
【0056】
例えば画像検索装置S2,S3がリクエスト情報の転送先画像検索装置として記入されているとき、これを受信した最初の画像検索装置S1は、転送先画像検索装置読取手段31が転送先画像検索装置S2,S3を読み取るので、画像検索動作に引き続いて又は同時に、リクエスト情報を画像検索装置S2,S3に別々に送信し、画像検索装置S2,S3からの検索結果の送信を待つ。
【0057】
画像検索装置S2,S3は、それぞれリクエスト情報に従って画像検索動作を行い、類似度の高さ順に並べ類似度の高い所定数の検索結果を、それぞれ画像検索装置S1に返送する。画像検索装置S1は、自分自身の画像検索結果に、画像検索装置S2,S3から送信された検索結果を加えて類似度の高さ順に並べ類似度の高い所定数の検索結果を画像処理装置C1に返送する。
【0058】
本実施形態によれば、画像検索装置S2,S3による検索結果が画像検索装置S1に戻るまでに経由する画像検索装置の数が少なくなるため、画像検索を分担した各画像検索装置の検索結果を早く受け取ることができる。
【0059】
(実施形態9)画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、リクエスト情報を転送する画像検索装置の識別番号及び転送の順番、並びにリクエスト情報を転送された画像検索装置は検索結果を類似度の高さ順に並べ、類似度の高い所定数を、前記順番に従って次の画像検索装置に送信し、最後の画像検索装置は検索結果を最初の画像検索装置に送信するメッセージを記入して画像検索装置S1に送信する。
【0060】
例えば画像検索装置S2,S3がリクエスト情報の転送先画像検索装置として記入されているとき、これを受信した画像検索装置S1は、転送先画像検索装置読取手段31が転送先画像装置S2を読み取るので、自分自身の画像検索動作を行い、検索結果を類似度の高さ順に並べ、類似度の高い所定数の検索結果を、画像検索装置S2に送信する。
【0061】
画像検索装置S2は、転送先画像検索装置読取手段31が転送先画像装置S3を読み取るので、自分自身の画像検索結果に画像検索装置S1から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像検索装置S3に送信する。
【0062】
画像検索装置S3は、転送先画像検索装置読取手段31が次の転送先画像装置を読み取ることができないので、自分自身の画像検索結果に画像検索装置S2から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を、最初の画像検索装置S1に返送する。
【0063】
本実施形態によれば、画像検索を分担した各画像検索装置の検索結果が、最初の画像検索装置S1に返送されるときの混雑を避けることができる。
【0064】
なお、実施形態9などにおいて、リクエスト情報を次の画像検索装置に転送するとき、リクエスト情報(SOAPメッセージ)に、経由した当該画像処理装置番号S1等を載せ、転送するようにする。このリクエスト情報を受信した例えば最後の画像検索装置S3において、誤動作等により、このリクエスト情報が画像検索装置S1へ転送されようとした場合、画像検索装置S1のリクエスト受信手段は、当該リクエスト情報が既に画像検索装置S1を経由したことを検知して画像検索装置S3に対して転送不可信号を送信する。この送信によりリクエスト情報が多くの画像検索装置に転送されるとき、リクエスト情報がループすることを防止することができる。
【0065】
また以上の実施形態の説明において、画像検索装置S1,S2,S3…は、同一構成を有するものとして説明したが、画像処理装置C1から最初にリクエスト情報を受ける画像検索装置S1(親機に相当)以外の画像検索装置S2,S3(子機に相当)は、リクエスト転送特定部2の負荷問い合わせ手段34、負荷受信手段35等を有しない軽装備の画像検索装置として構成することができる。
【0066】
【発明の効果】
請求項1,2,3に対応する効果:ユーザー(クライアント装置)から画像検索を依頼された画像検索装置は、ユーザーの指示に従って画像検索を分担する画像検索装置を特定し、特定した画像検索装置に一定要件の検索要求を出して検索を行わせるので、分散配置される画像検索装置の数が増え、検索対象画像の量が増えても効率的に画像検索を行うことができる。またユーザーの指示内容を最初に画像検索を依頼される画像検索装置で負担して動作するので、クライアント装置に画像検索のための機能的な負担は殆どかからず、汎用のパソコンで容易に画像検索を行うことができる。
請求項4に対応する効果:検索要求情報を受信した画像検索装置は、検索キー画像から特徴量の算出を行う処理が省けるので、検索処理動作が早くなり画像検索を効率的に行うことができる。
請求項5に対応する効果:ユーザーは、類似度の高い検索結果のみを取得できるので、画像検索が的確且つ容易になる。
請求項6に対応する効果:画像検索を分担する画像検索装置のうち、多量の作業量を抱えている画像検索装置には検索要求がなされないので、画像検索を効率的に行うことができる。
【図面の簡単な説明】
【図1】本発明が実施されるネットワーク分散型画像検索システムのブロック構成図ある。
【図2】本発明の実施形態に係る画像検索装置のブロック構成図である。
【図3】図2の画像検索部の詳細構成を示すブロック図である。
【図4】図2のリクエスト転送先特定部の詳細構成を示すブロック図である。
【符号の説明】
1・・・画像検索部、2・・・リクエスト転送先特定部、3・・・リクエスト転送部、4・・・検索結果受信部、5・・・負荷問い合わせ受信部、6・・・負荷応答部。
【発明の属する技術分野】
本発明は、クライアントコンピュータ及び文書管理装置(画像データベース)とともにLAN、インターネット等のネットワークに接続された画像検索装置からなる分散型画像検索システムにおける画像検索装置に関する。
【0002】
【従来の技術】
紙ベースでの文書管理が中心であった時代には、文書の蓄積と管理が大変な問題であったが、コンピュータの発達と共に文書が電子形式で扱われるようになってきたため文書管理の問題は比較的容易になったといえる。それでも管理対象となる文書の数が増加すると、階層化構造の分類による管理システムでは、文書の解析、検索面でなお問題を残している。特に画像の蓄積管理となると問題は深刻化する。そこで画像を識別番号等で一律管理しておき、画像の特徴量を用いて2画像間の類似度を比較し、類似度の高い画像を類似画像として選択する画像検索手法が案出されている。しかし、画像のデータベースが複数個所の事業所間で分散管理されているような場合には、更に検索手法に改善の余地が残されていた。
【0003】
その改善手法の一つとして、分散型データ検索システムと呼ばれるものがある。このシステムは、クライアントAと複数のサーバB,C,D等により構成され、クライアントAにはユーザー(検索要求者)との間で検索操作の関わるクライアントアプリケーションと、検索要求委譲手段として機能する検索要求代行処理部が設けられ、この検索要求代行処理部には接続先登録手段であるデータベースインデックスが設けられている。
【0004】
またサーバB,C,Dには、検索手段として機能する検索要求仲介処理部と、そのデータベース及び、検索要求代行処理部が設けられ、この検索要求代行処理部には接続先登録手段であるデータベースインデックスが設けられている。また、これらのクライアントAと各サーバはネットワークにより接続されている。
【0005】
このような構成において、ユーザーから分散データベースへの検索リクエストを受け付けたクライアントAは、まず自分自身の検索要求代行処理部に検索を依頼する。依頼を受けた検索要求代行処理部は自分のデータベースインデックスによりネットワーク上に散在する分散データベースの所在情報を得る。そして、例えばサーバBに存在するデータベースを最初の検索対象とした場合、検索要求代行処理部は、サーバB上の検索要求仲介処理部にネットワーク経由で検索リクエストを委譲する。
【0006】
検索リクエストを委譲されたその検索要求仲介処理部は、そのデータベースに対して検索を実行する。そして検索結果を取得後、委譲元の検索要求代行処理部へネットワーク経由で検索結果を通知する。更に自分自身と同じサーバB上に存在する検索要求代行処理部に対し、自分自身に委譲された検索リクエストと同様の検索を再度依頼する。
【0007】
この依頼を受けた検索要求代行処理部は、自分自身が保持するデータベースインデックスから、既に検索が終了した前記データベース以外のデータベースの所在情報を取得する。そして、例えばサーバC上に存在するデータベースを次の検索対象としてサーバC上の検索要求仲介処理部に対して検索リクエストをネットワークを経由して委譲する。以後、上述のような検索要求代行処理部と検索要求仲介処理部間の自律的通信によりネットワーク上の分散データベースサーバを再帰的に次々と検索する。そして検索要求元へも検索動作と逆の経路を辿って検索結果を送信していくので、分散する全てのサーバのデータベースについて検索を行うことができる(特許文献1参照)。
【0008】
【特許文献1】特開2000−250918号公報 (段落(0011)〜(0023)、図1)
【0009】
【発明が解決しようとする課題】
しかしながら、昨今、サーバの設置個所が増えると共にサーバに付属するデータベースの容量が大規模化し、そこに蓄積される検索対象の文書や画像の数が膨大になっている。このため検索動作をサーバ(検索装置)にまかせ、分散配置された全てのデータベースを次々と検索していると、検索に時間がかかるだけでなく、ユーザーの要求にかなった文書や画像が的確に検索できないおそれがあった。
【0010】
そこで、本発明は、ネットワークに接続された複数の画像検索装置において、(1)分散配置される画像検索装置の数の増大化と画像検索装置(データベース)に蓄積される検索対象画像の膨大化に対処して短時間で効率的な画像検索ができるようにすること、(2)ユーザーの検索要求に最も近い検索結果が的確に取得できるようにすること、(3)ユーザー(クライアント装置)に検索に要する機能的な負担がかからないようにすること、を発明の目的とする。
【0011】
【課題を解決するための手段】
請求項1の発明は、電気通信回線を経由してクライアント装置及び他の画像検索装置に接続可能な画像の特徴量に基いて画像検索を行う装置であって、クライアント装置から検索要求情報を受信し、画像検索を行い、且つ他の画像検索装置に画像の特徴量に基く画像検索を分担させる画像検索装置において、画像検索を分担する画像検索装置を特定する手段と、画像検索を分担する画像検索装置に検索要求情報を転送する手段と、画像検索を分担する画像検索装置から該画像検索装置の検索結果を受信する手段と、検索結果をクライアント装置の要求に従って整理する手段と、整理された検索結果を取得する手段と、取得した検索結果をクライアント装置に送信する手段と、を備えたことを特徴とする画像検索装置である。
【0012】
請求項2の発明は、請求項1記載の画像検索装置において、前記画像検索を分担する画像検索装置を特定する手段は、当該画像検索装置において所定の検索結果が得られないとき、他の画像検索装置を、画像検索を分担する画像検索装置として特定し、又はクライアント装置により他の画像検索装置が指示されたとき、指示された画像検索装置を、画像検索を分担する画像検索装置として特定し、又はクライアント装置により所定の画像検索装置の組み合わせが指示されたとき、指示された組み合わせの画像検索装置を、画像検索を分担する画像検索装置として特定することを特徴とする画像検索装置である。
【0013】
請求項3の発明は、請求項1記載の画像検索装置において、前記画像検索を分担する画像検索装置に検索要求情報を転送する手段は、検索要求情報を転送する画像検索装置の識別情報及び転送の順番、並びに検索要求情報を転送された画像検索装置に対して類似度順に上位所定数の検索結果を検索要求情報を転送してきた画像検索装置に返信することを要求するメッセージを有する検索要求情報、又は画像検索要求情報を転送する画像検索装置の識別番号及び検索要求情報を転送された各画像検索装置に対して類似度順に上位所定数の検索結果を最初の画像検索装置に返信することを要求するメッセージを有する検索要求情報、又は検索要求情報を転送する画像検索装置の識別番号及び転送の順番、並びに検索要求情報を転送された画像検索装置に対して類似度順に上位所定数の検索結果を前記順番に従って次の画像検索装置に送信し、最後の画像検索装置は検索結果を最初の画像検索装置に返信することを要求するメッセージを有する検索要求情報、を転送することを特徴とする画像検索装置である。
【0014】
請求項4の発明は、請求項3記載の画像検索装置において、前記検索要求情報は、検索キー画像の特徴量を有することを特徴とする画像検索装置である。
【0015】
請求項5の発明は、請求項1記載の画像検索装置において、前記検索結果をクライアント装置の要求に従って整理する手段は、当該画像検索装置の検索結果を類似度順に、又は当該画像検索装置の検索結果に受信した検索結果を加えて類似度順に整列することを特徴とする画像検索装置である。
【0016】
請求項6の発明は、請求項3乃至5にいずれかに記載の画像検索装置において、画像検索を分担する画像検索装置の作業負荷状況を問い合わせる手段と、画像検索を分担する画像検索装置から作業負荷状況情報を受信する手段と、画像検索を分担する画像検索装置の作業負荷状況を判定する手段と、前記判定に基いて画像検索を分担する画像検索装置への検索要求情報の転送を停止させる手段と、を備えたことを特徴とする画像検索装置である。
【0017】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図1は、本発明が実施されるネットワーク分散型画像検索システムのブロック構成図ある。図1において、画像処理装置(クライアント)C1、文書管理装置R1,R2…及び画像検索装置S1,S2…は、LAN、インターネット等の電気通信回線Tを介して接続される。
【0018】
画像処理装置C1は、クライアントコンピュータで、ユーザーは画面による表示出力を確認しつつマウスやキー入力操作によって文書管理装置R1に接続し、画像を取得し、該画像を特徴量の登録、画像検索要求と共に画像検索装置S1に送信する。そして画像処理装置C1は、画像検索装置S1から検索結果である例えば類似画像の識別情報を受信する。画像処理装置C1は、この識別情報を文書管理装置R1に送る。
【0019】
文書管理装置R1は、画像を一意に識別可能な識別番号(画像識別番号)を付けて蓄積管理している。従って画像処理装置C1からの指示に従い、識別番号に対応する画像を画像処理装置C1に送信することができる。画像処理装置C1は、受信した画像を画面に出力し確認することができる。
【0020】
なお、画像検索装置S1,S2,S3…は、それぞれ対応する文書管理装置R1,R2,R3…を備えており、これらは蓄積する画像の形体や種別毎に分かれている。
【0021】
本ネットワーク分散型画像検索システムにおいて使用される通信方式は、画像処理装置C1、文書管理装置R1、画像検索装置S1〜Snが共通の遠隔手続き呼出方式で通信できるようにSOAP(Simple Object Access Protocol)を利用する。画像検索装置S1のリクエスト受信手段はHTTPの所定のポート(80番など)で画像処理装置C1からの接続を待ち、画像処理装置C1からのSOAPリクエストを受信する。また検索結果をSOAPレスポンスとして送信手段により画像処理装置C1に送信する。SOAPは、W3C(World Wide Web Consortium)により勧告された規格であり、XMLを用いて手続き呼出し及び検索結果を抽象化して記述し、異種システム間の結合を可能にする。なお、本実施形態ではSOAPを利用するが、この規格のみに限定されるものではない。
【0022】
図2は、本発明の実施形態に係る画像検索装置のブロック構成図であり、図中、画像検索部1は、図3で後述する各種手段により特徴量の算出、登録、画像検索等を行い、リクエスト転送先特定部2は、図4で後述する各種手段により画像検索を分担する他の画像検索装置S2〜Snの特定、検索結果の取りまとめ整理等を行う。リクエスト転送部3は、リクエスト転送先特定部2で特定された他の画像検索装置S2〜Snに対して画像検索要求情報(以下、リクエスト情報と略称)を転送する。検索結果受信部4は、他の画像検索装置で分担された画像検索の結果を受信する。また負荷問い合わせ受信部5は、自分自身の負荷問い合わせを受信する受信部であり、負荷応答部6は、その問い合わせに対して自分の負荷状況を返信する応答部である。
【0023】
CPU7は画像検索装置を制御するコンピュータであり、RAM8は各種作業データを一時的に記憶する記憶装置、ROM9はCPU7を起動するためのプログラム等を記憶する記憶装置、HDD11は、画像検索プログラムや後述する画像検索装置の組み合わせ情報を記憶するハードディスク型の記憶装置である。操作部12はマウス、キーボード等による入力部、表示部13は液晶パネル等により画像検索装置の各種動作状況を表示する表示部である。
【0024】
図3は、画像検索部1の詳細構成を示すブロック図であり、図中、リクエスト受信手段21は、画像処理装置C1からリクエスト情報を受信する。リクエスト情報は、(ア)画像検索要求と検索キー画像、(イ)画像登録要求と登録対象画像からなる。このとき画像には、これを一意に識別可能にする識別情報(画像識別情報)が付与されている。
【0025】
図3により、はじめに画像検索装置S1が画像処理装置C1からリクエスト情報として画像検索要求と検索キー画像を受信した場合について説明すると、そのリクエスト受信手段21はリクエスト情報を受信し、リクエスト情報中の画像は特徴量算出手段23に渡され、特徴量算出手段23は渡された画像から特徴量を算出する。そして算出した特徴量を、受信した画像つまり特徴量算出の元になった画像の識別情報と共に画像検索手段25に渡す。
【0026】
特徴量蓄積手段24は、文書管理装置R1に管理蓄積されている画像について、画像毎に事前に算出された特徴量を画像識別情報と共に蓄積している。
【0027】
画像検索手段25は、受信した画像の特徴量をキーとして特徴量蓄積手段24にアクセスし、特徴量蓄積手段24からキー特徴量に類似する特徴量を検索する。そして検索した類似する特徴量の画像識別情報を画像取得手段26に渡す。
【0028】
画像取得手段26は、文書管理装置R1にアクセスし、類似する特徴量の画像識別情報に基いて対応する識別情報の画像又は画像データを取得し、この画像又は画像データをレスポンス送信手段27に渡す。
【0029】
レスポンス送信手段27は、この画像又は画像データ又はこれらの識別情報を発信元の画像処理装置C1に送信する。レスポンス送信手段27は、画像識別情報を画像処理装置C1に渡してもよい。このときは、画像処理装置C1が文書管理装置R1からその識別情報の画像や画像データを取得することになる。
【0030】
ここで特徴量算出の例として、画像を構成する色をいくつかのグループに分け、それぞれのグループに属する色が画像全体に占める割合を特徴量として算出する。RGBの3プレーンから構成される画像では、各ピクセルがそれぞれのプレーンの値を表す数値の組で表されるが、それぞれのプレーンを例えば3つの区間に分割すると、各ピクセルは3 * 3 * 3 = 27種のグループのどれかに属することになる。画像全体のピクセル数に占めるそれぞれのグループに属するピクセル数の割合を計算すると、27個の要素からなるベクトルが得られる。これを特徴量とすることで、画像同士の距離も便宜的に定義することができる。検索対象とする画像集合から前記特徴量を算出しておき、入力画像に対しても同様の特徴量を得て、それに距離的に近い画像を選択することで、画像の検索手法の1つが得られる。
なお、前記3プレーンの例は最も単純な例であり、本発明に利用する特徴量は、これに限定されるものではない。また特徴量は、画像そのものである場合もあるが、通常は、画像が複数の色から構成されているとき、それぞれの色が占める割合や前記ベクトル等の変数(パラメータ)で表される。
【0031】
次に、リクエスト情報として画像登録要求と登録キーとしての画像を受信した場合について説明すると、リクエスト受信手段21はリクエスト情報を受信すると、リクエスト情報中の画像は特徴量算出手段23に渡され、特徴量算出手段23は渡された画像から特徴量を算出する。そして算出した特徴量を、受信した画像の識別情報と共に特徴量蓄積手段24に渡す。
【0032】
なお、登録キーとしての画像は、文書管理装置R1に管理蓄積されている画像であって特徴量登録がなされていない画像、これから文書管理装置R1で管理蓄積しようとする画像であって特徴量の登録がなされていない画像等がこれに当たる。
【0033】
再度図2に戻り更に図4を参照して、以下に、本発明の実施形態を詳細に説明する。図4は、図2のリクエスト転送先特定部の詳細構成ブロック図であり、図中、31は転送先画像検索装置読取手段、32は検索結果整列手段、33は画像検索装置組合わせ情報蓄積手段、34は負荷問い合わせ手段、35は負荷受信手段、36は負荷量判定手段である。
【0034】
(実施形態1)本発明の実施形態に係る画像検索装置S1は、画像処理装置C1からリクエスト情報を受信する。つまり、画像処理装置C1は、文書管理装置R1にアクセスして識別情報が付与された画像の一覧から検索キーとなる画像を選択して検索要求のSOAPメッセージに含めて画像検索装置S1に送信し、画像検索装置S1のリクエスト受信手段21はこれを受信する。画像検索装置S1は、画像を受け取ったときは、特徴量を算出し、識別情報を受け取ったときは、その識別情報に対応する画像の特徴量を特徴量蓄積手段24から取得する。そして、この特徴量を検索キーとして特徴量検索手段25により特徴量蓄積手段24にアクセスし類似する特徴量の検索を行う。また、画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に画像検索動作を分担する画像検索装置を特定するための例えば画像検索装置の識別番号S2,S3,S4…等を含めて送信する。
【0035】
本実施形態によれば、画像検索を分担する画像検索装置が制限されるので、無駄な検索が行われるのを阻止することができる。
【0036】
(実施形態2)この検索動作に引き続いて又は同時に、画像検索装置S1のCPU7はリクエスト転送先特定部2を起動する。そこでリクエスト転送先特定部2の転送先画像検索装置読取手段31は、リクエスト受信手段21が受信したリクエスト情報(SOAPメッセージ)の付加情報欄から転送先画像検索装置の識別番号を読み取る。そしてリクエスト情報をリクエスト転送部3に渡し、読み取った識別番号の画像検索装置、例えば画像検索装置S2に転送する。リクエスト情報に画像の特徴量を載せて送信することが可能であり、リクエスト受信手段が画像の特徴量を受信するようにしてもよい。
【0037】
リクエスト情報が転送された画像検索装置S2は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0038】
本実施形態によれば、ユーザーの指示に基いた検索要求を分担させる画像検索装置が稼動するので、無駄な検索を行うことなく検索効率を上げることができる。また画像の特徴量が送信されたときは、特徴量を算出する処理が不要となり、検索処理が早く行える。
【0039】
(実施形態3)リクエスト情報(SOAPメッセージ)の付加情報欄に転送先画像検索装置が記載されておらず、転送先が特定されていないときは、CPU7は、検索結果整列手段32を立ち上げる。そして検索結果整列手段32は、画像検索装置S1で検索された画像を類似度の高い画像順に整列する。CPU7は、整列された画像について所定の類似度の画像が所定数だけ検索されているか否か判断し、所定数以下のとき、リクエスト情報をリクエスト転送部3に渡し、リクエスト転送部3はこのリクエスト情報を予め決められた順番の次の画像検索装置S2に転送する。同じようにして後続の画像検索装置S3,S4等に転送される。リクエスト情報を転送された各画像検索装置S2,S3,S4等は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0040】
本実施形態によれば、画像処理装置C1において、画像検索を分担する画像検索装置の指示がなく最初の画像検索装置で所定の検索結果が得られないときでも、自動的に所定の検索結果が得られるまで次々と画像検索装置を起動していくので、ユーザーは必ず所定の検索結果を得ることができる。
【0041】
(実施形態4)また、画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、検索範囲に従って転送先画像検索装置を、例えばS1,S2のように組み合わせて記載しリクエスト情報として送信する。検索範囲に従って画像検索装置S1が記載されていないときは、画像検索装置S1は検索動作を行わない。リクエスト情報を転送された画像検索装置S2は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0042】
本実施形態によれば、画像処理装置C1は用途によって検索範囲を指定することができ、一度の検索要求で広い範囲の検索結果を得ることができるうえ、画像検索を分担する画像検索装置は、並行して検索動作を行うため検索時間が短縮される。
【0043】
(実施形態5)更に画像検索装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、転送先画像検索装置の組み合わせ名称、例えばカテゴリ名を記入して送信する。カテゴリAは画像検索装置S1,S3、カテゴリBは画像検索装置S2,S4、カテゴリCは画像検索装置S5,S6等である。一方、画像検索装置S1のリクエスト転送先特定部2の画像検索装置組み合わせ情報蓄積手段33は、前記カテゴリと画像検索装置の組み合わせとの関係をテーブル形式で記憶している。従って、転送先画像検索装置読取手段31は、リクエスト情報からカテゴリ名、例えばカテゴリBを読み取り、画像検索装置組み合わせ情報蓄積手段33のテーブルから、読み取ったカテゴリBの画像検索装置S2,S4を読み出す。CPU7は読み出された画像検索装置S2,S4とリクエスト情報をリクエスト転送部3に渡し、リクエスト転送部3は各画像検索装置S2,S4に転送する。リクエスト情報を転送された画像検索装置S2,S4は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。あるカテゴリに属する画像検索装置は、特徴量の種類に応じて検索ができるように、異なる種類の特徴量の画像検索装置を集めるようにしてもよい。このカテゴリの画像検索装置により、検索リクエストの特徴量が複数の特徴量の合成によって定義される場合に、特徴量の種類別に画像検索を分担させることができる。
【0044】
本実施形態によれば、画像処理装置C1は、特定分野や画像のタイプ別に画像検索装置のグループを作り、この数が多数になるような場合にも簡単に画像検索装置の組み合わせを選択することができる。またこの組み合わせにより画像検索を分担するよう指示された画像検索装置は、組み合わせの選択を誤ることなく、該当する画像検索装置に画像検索を行わせることができる。
【0045】
(実施形態6)画像検索装置S1は、図2に示すように、負荷問い合わせ受信部5及び負荷応答部6を更に備えている。負荷問い合わせ受信部5は、他の画像検索装置からの負荷つまり現在実行中の作業負荷問い合わせを受信する受信部であり、負荷応答部6は、負荷問い合わせ受信部5が負荷問い合わせを受信したとき、自分自身の作業負荷状況、例えば現在のCPU使用率を送信するものである。更に画像検索装置S1のリクエスト転送先特定部3は、リクエスト情報を転送しようとする画像検索装置の負荷を取得する負荷問い合わせ手段34及び、この問い合わせに応答して送信される負荷状況を受信する負荷受信手段35を備えている。
【0046】
画像検索装置S1は、リクエスト情報を受信し、画像検索動作をするのに引き続いて又は同時に、CPU7はリクエスト転送先特定部2を起動するので、更にCPU7は、起動したリクエスト転送先特定部2の負荷問い合わせ手段34から、転送先画像検索装置読取手段31により取得された所定の画像検索装置に対し、負荷問い合わせをする。該当する画像検索装置の負荷問い合わせ受信部5は、この問い合わせを受信し、負荷応答部6は負荷を送信してくるので、リクエスト転送先特定部2の負荷受信手段35により受信し、負荷量判定手段36で負荷量を判定する。判定の結果、CPU7は、負荷量が所定量を超えている画像検索装置については、前記所定の画像検索装置から除いてリクエスト情報をリクエスト転送部3から転送するようにする。リクエスト情報を転送された画像検索装置は、画像検索を行い、検索結果の画像をレスポンス送信手段27により画像検索装置S1に送信する。
【0047】
本実施形態によれば、比較的時間を要する画像検索動作による負荷を複数の画像検索装置間に分散し、検索結果を取得するまでの時間を短縮することができる。
【0048】
(実施形態7)画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、リクエスト情報を転送する転送先画像検索装置の識別番号及び転送の順番、並びにリクエスト情報を転送された画像検索装置は検索結果を類似度順に並べ、類似度の高い所定数を、リクエスト情報を転送してきた画像検索装置に返信するメッセージを記入して画像検索装置S1に送信する。
【0049】
例えば画像検索装置S2,S3がリクエスト情報の転送先画像検索装置として記入されているとき、これを受信した画像検索装置S1は、転送先画像検索装置読取手段31が転送先画像装置S2を読み取るので、画像検索動作に引き続いて又は同時に、受信したリクエスト情報を画像検索装置S2に送信し、画像検索装置S2からの検索結果の送信を待つ。
【0050】
また画像検索装置S2は、転送先画像検索装置読取手段31が転送先画像装置S3を読み取るので、画像検索動作に引き続いて又は同時に、受信したリクエスト情報を画像検索装置S3に送信し、画像検索装置S3からの検索結果の送信を待つ。
【0051】
画像検索装置S2からリクエスト情報を転送された画像検索装置S3は、転送先画像検索装置読取手段31が次の転送先画像装置を読み取ることができないので、自分自身の画像検索動作を行い、類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像検索装置S2に返送する。
【0052】
画像検索装置S2は、自分自身の画像検索結果に画像検索装置S3から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像検索装置S1に返送する。
【0053】
画像検索装置S1は、自分自身の画像検索結果に画像検索装置S2から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像処理装置C1に返送する。
【0054】
本実施形態によれば、画像検索装置S1,S2,S3においてそれぞれユーザーに転送する検索結果の数を制限しながら返送するので、ユーザーは、最終的に類似度の高い所定数の検索結果を得ることができる。
【0055】
(実施形態8)画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、リクエスト情報を転送する画像検索装置の識別番号、及びリクエスト情報を転送された画像検索装置は検索結果を類似度の高さ順に並べ、類似度の高い所定数を、画像検索装置S1に返信するメッセージを記入して画像検索装置S1に送信する。
【0056】
例えば画像検索装置S2,S3がリクエスト情報の転送先画像検索装置として記入されているとき、これを受信した最初の画像検索装置S1は、転送先画像検索装置読取手段31が転送先画像検索装置S2,S3を読み取るので、画像検索動作に引き続いて又は同時に、リクエスト情報を画像検索装置S2,S3に別々に送信し、画像検索装置S2,S3からの検索結果の送信を待つ。
【0057】
画像検索装置S2,S3は、それぞれリクエスト情報に従って画像検索動作を行い、類似度の高さ順に並べ類似度の高い所定数の検索結果を、それぞれ画像検索装置S1に返送する。画像検索装置S1は、自分自身の画像検索結果に、画像検索装置S2,S3から送信された検索結果を加えて類似度の高さ順に並べ類似度の高い所定数の検索結果を画像処理装置C1に返送する。
【0058】
本実施形態によれば、画像検索装置S2,S3による検索結果が画像検索装置S1に戻るまでに経由する画像検索装置の数が少なくなるため、画像検索を分担した各画像検索装置の検索結果を早く受け取ることができる。
【0059】
(実施形態9)画像処理装置C1は、リクエスト情報(SOAPメッセージ)の付加情報欄に、リクエスト情報を転送する画像検索装置の識別番号及び転送の順番、並びにリクエスト情報を転送された画像検索装置は検索結果を類似度の高さ順に並べ、類似度の高い所定数を、前記順番に従って次の画像検索装置に送信し、最後の画像検索装置は検索結果を最初の画像検索装置に送信するメッセージを記入して画像検索装置S1に送信する。
【0060】
例えば画像検索装置S2,S3がリクエスト情報の転送先画像検索装置として記入されているとき、これを受信した画像検索装置S1は、転送先画像検索装置読取手段31が転送先画像装置S2を読み取るので、自分自身の画像検索動作を行い、検索結果を類似度の高さ順に並べ、類似度の高い所定数の検索結果を、画像検索装置S2に送信する。
【0061】
画像検索装置S2は、転送先画像検索装置読取手段31が転送先画像装置S3を読み取るので、自分自身の画像検索結果に画像検索装置S1から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を画像検索装置S3に送信する。
【0062】
画像検索装置S3は、転送先画像検索装置読取手段31が次の転送先画像装置を読み取ることができないので、自分自身の画像検索結果に画像検索装置S2から送信された検索結果を加えて類似度の高さ順に並べ、類似度の高い所定数の検索結果を、最初の画像検索装置S1に返送する。
【0063】
本実施形態によれば、画像検索を分担した各画像検索装置の検索結果が、最初の画像検索装置S1に返送されるときの混雑を避けることができる。
【0064】
なお、実施形態9などにおいて、リクエスト情報を次の画像検索装置に転送するとき、リクエスト情報(SOAPメッセージ)に、経由した当該画像処理装置番号S1等を載せ、転送するようにする。このリクエスト情報を受信した例えば最後の画像検索装置S3において、誤動作等により、このリクエスト情報が画像検索装置S1へ転送されようとした場合、画像検索装置S1のリクエスト受信手段は、当該リクエスト情報が既に画像検索装置S1を経由したことを検知して画像検索装置S3に対して転送不可信号を送信する。この送信によりリクエスト情報が多くの画像検索装置に転送されるとき、リクエスト情報がループすることを防止することができる。
【0065】
また以上の実施形態の説明において、画像検索装置S1,S2,S3…は、同一構成を有するものとして説明したが、画像処理装置C1から最初にリクエスト情報を受ける画像検索装置S1(親機に相当)以外の画像検索装置S2,S3(子機に相当)は、リクエスト転送特定部2の負荷問い合わせ手段34、負荷受信手段35等を有しない軽装備の画像検索装置として構成することができる。
【0066】
【発明の効果】
請求項1,2,3に対応する効果:ユーザー(クライアント装置)から画像検索を依頼された画像検索装置は、ユーザーの指示に従って画像検索を分担する画像検索装置を特定し、特定した画像検索装置に一定要件の検索要求を出して検索を行わせるので、分散配置される画像検索装置の数が増え、検索対象画像の量が増えても効率的に画像検索を行うことができる。またユーザーの指示内容を最初に画像検索を依頼される画像検索装置で負担して動作するので、クライアント装置に画像検索のための機能的な負担は殆どかからず、汎用のパソコンで容易に画像検索を行うことができる。
請求項4に対応する効果:検索要求情報を受信した画像検索装置は、検索キー画像から特徴量の算出を行う処理が省けるので、検索処理動作が早くなり画像検索を効率的に行うことができる。
請求項5に対応する効果:ユーザーは、類似度の高い検索結果のみを取得できるので、画像検索が的確且つ容易になる。
請求項6に対応する効果:画像検索を分担する画像検索装置のうち、多量の作業量を抱えている画像検索装置には検索要求がなされないので、画像検索を効率的に行うことができる。
【図面の簡単な説明】
【図1】本発明が実施されるネットワーク分散型画像検索システムのブロック構成図ある。
【図2】本発明の実施形態に係る画像検索装置のブロック構成図である。
【図3】図2の画像検索部の詳細構成を示すブロック図である。
【図4】図2のリクエスト転送先特定部の詳細構成を示すブロック図である。
【符号の説明】
1・・・画像検索部、2・・・リクエスト転送先特定部、3・・・リクエスト転送部、4・・・検索結果受信部、5・・・負荷問い合わせ受信部、6・・・負荷応答部。
Claims (6)
- 電気通信回線を経由してクライアント装置及び他の画像検索装置に接続可能な画像の特徴量に基いて画像検索を行う装置であって、クライアント装置から検索要求情報を受信し、画像検索を行い、且つ他の画像検索装置に画像の特徴量に基く画像検索を分担させる画像検索装置において、
画像検索を分担する画像検索装置を特定する手段と、
画像検索を分担する画像検索装置に検索要求情報を転送する手段と、
画像検索を分担する画像検索装置から該画像検索装置の検索結果を受信する手段と、
検索結果をクライアント装置の要求に従って整理する手段と、
整理された検索結果を取得する手段と、
取得した検索結果をクライアント装置に送信する手段と、
を備えたことを特徴とする画像検索装置。 - 請求項1記載の画像検索装置において、
前記画像検索を分担する画像検索装置を特定する手段は、
当該画像検索装置において所定の検索結果が得られないとき、他の画像検索装置を、画像検索を分担する画像検索装置として特定し、
又はクライアント装置により他の画像検索装置が指示されたとき、指示された画像検索装置を、画像検索を分担する画像検索装置として特定し、
又はクライアント装置により所定の画像検索装置の組み合わせが指示されたとき、指示された組み合わせの画像検索装置を、画像検索を分担する画像検索装置として特定する
ことを特徴とする画像検索装置。 - 請求項1記載の画像検索装置において、
前記画像検索を分担する画像検索装置に検索要求情報を転送する手段は、
検索要求情報を転送する画像検索装置の識別情報及び転送の順番、並びに検索要求情報を転送された画像検索装置に対して類似度順に上位所定数の検索結果を検索要求情報を転送してきた画像検索装置に返信することを要求するメッセージを有する検索要求情報、
又は画像検索要求情報を転送する画像検索装置の識別番号及び検索要求情報を転送された各画像検索装置に対して類似度順に上位所定数の検索結果を最初の画像検索装置に返信することを要求するメッセージを有する検索要求情報、
又は検索要求情報を転送する画像検索装置の識別番号及び転送の順番、並びに検索要求情報を転送された画像検索装置に対して類似度順に上位所定数の検索結果を前記順番に従って次の画像検索装置に送信し、最後の画像検索装置は検索結果を最初の画像検索装置に返信することを要求するメッセージを有する検索要求情報、
を転送することを特徴とする画像検索装置。 - 請求項3記載の画像検索装置において、前記検索要求情報は、検索キー画像の特徴量を有することを特徴とする画像検索装置。
- 請求項1記載の画像検索装置において、
前記検索結果をクライアント装置の要求に従って整理する手段は、当該画像検索装置の検索結果を類似度順に、又は当該画像検索装置の検索結果に受信した検索結果を加えて類似度順に整列する
ことを特徴とする画像検索装置。 - 請求項3乃至5にいずれかに記載の画像検索装置において、
画像検索を分担する画像検索装置の作業負荷状況を問い合わせる手段と、
画像検索を分担する画像検索装置から作業負荷状況情報を受信する手段と、
画像検索を分担する画像検索装置の作業負荷状況を判定する手段と、
前記判定に基いて画像検索を分担する画像検索装置への検索要求情報の転送を停止させる手段と、
を備えたことを特徴とする画像検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003182360A JP2005018407A (ja) | 2003-06-26 | 2003-06-26 | 画像検索装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003182360A JP2005018407A (ja) | 2003-06-26 | 2003-06-26 | 画像検索装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005018407A true JP2005018407A (ja) | 2005-01-20 |
Family
ID=34182767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003182360A Pending JP2005018407A (ja) | 2003-06-26 | 2003-06-26 | 画像検索装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005018407A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058532A (ja) * | 2005-08-24 | 2007-03-08 | Sony Corp | 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体 |
JP2008042777A (ja) * | 2006-08-09 | 2008-02-21 | Ricoh Co Ltd | 情報処理装置、情報処理方法および情報処理プログラム |
JP2008152396A (ja) * | 2006-12-14 | 2008-07-03 | Canon Inc | 画像検索システムおよびその制御方法 |
JP2008250498A (ja) * | 2007-03-29 | 2008-10-16 | Canon Inc | 情報処理装置および情報処理方法 |
JP2011090410A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像処理装置、画像処理システムおよび画像処理装置の制御方法 |
JP2012518238A (ja) * | 2009-02-18 | 2012-08-09 | エーナイン・ドット・コム インコーポレイテッド | 画像マッチングのための方法およびシステム |
JP2017054552A (ja) * | 2016-12-16 | 2017-03-16 | オリンパス株式会社 | 画像検索装置、画像表示装置、画像検索方法、および画像表示方法 |
-
2003
- 2003-06-26 JP JP2003182360A patent/JP2005018407A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058532A (ja) * | 2005-08-24 | 2007-03-08 | Sony Corp | 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体 |
JP2008042777A (ja) * | 2006-08-09 | 2008-02-21 | Ricoh Co Ltd | 情報処理装置、情報処理方法および情報処理プログラム |
JP2008152396A (ja) * | 2006-12-14 | 2008-07-03 | Canon Inc | 画像検索システムおよびその制御方法 |
JP2008250498A (ja) * | 2007-03-29 | 2008-10-16 | Canon Inc | 情報処理装置および情報処理方法 |
JP2012518238A (ja) * | 2009-02-18 | 2012-08-09 | エーナイン・ドット・コム インコーポレイテッド | 画像マッチングのための方法およびシステム |
JP2011090410A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像処理装置、画像処理システムおよび画像処理装置の制御方法 |
JP2017054552A (ja) * | 2016-12-16 | 2017-03-16 | オリンパス株式会社 | 画像検索装置、画像表示装置、画像検索方法、および画像表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8781909B2 (en) | Method, medium, and system for ensuring the quality of a service in a distributed computing environment | |
US8103617B2 (en) | Distributed directory server, distributed directory system, distributed directory managing method, and program of same | |
CN109510865B (zh) | 中继装置及系统 | |
WO2007032549A1 (ja) | コンテンツ配信方法及びシステム | |
JPH114261A (ja) | 動的ルーティング方法及びプログラム記憶装置 | |
US10958715B2 (en) | Relay apparatus, client apparatus, and computer-readable medium | |
EP1429521B1 (en) | Device management system for simplified device function control | |
JPH09153912A (ja) | 情報提供方法及びシステム | |
JP2005018407A (ja) | 画像検索装置 | |
US20040193746A1 (en) | Service search device, service search method and document processing system | |
JP4271827B2 (ja) | 情報提供システムおよび仲介装置 | |
JP2000122910A (ja) | データベースシステム、及びそのためのアクセス管理装置 | |
WO2020009287A1 (ko) | 블록체인 및 분산 인프라 피투피 모델 기반 피오알 증명을 이용한 인터넷 서비스 제공 방법 | |
JP3710961B2 (ja) | 分散検索装置および分散検索プログラム記憶媒体 | |
WO2015068897A9 (ko) | 클라우드 서버의 중개 방법 | |
JP2002342375A (ja) | 情報間関係定義方法及び監視サーバ及び情報間関係定義プログラム及び情報間関係定義プログラムを格納した記憶媒体 | |
JP4006135B2 (ja) | ビデオオンデマンド支援システム及びウェブサーバ | |
KR100558897B1 (ko) | 피어 투 피어 매커니즘을 이용한 그리드 정보 서비스시스템 및 그 방법 | |
JP7326809B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び、プログラム | |
JP2018169770A (ja) | 情報管理システム、情報管理方法および情報管理プログラム | |
JP2004274736A (ja) | サービス情報提供装置、ユーザ端末装置、サービス情報提供方法、サービス利用方法、サービス情報提供プログラム、サービス利用プログラム及び記録媒体 | |
JP3910013B2 (ja) | 通信方式および方法 | |
JP2023056302A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2004272888A (ja) | サービス提供装置、ユーザ端末装置、サービス提供方法、サービス利用方法、サービス提供プログラム、サービス利用プログラム及び記録媒体 | |
JP2005215903A (ja) | 情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090213 |