JP2007286767A - 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】 クエリー画像に類似する印刷した画像が多数存在しても、その画像を印刷要求を行なった印刷要求元を示す情報を含む付帯情報に従って分類して表示することで、限られたサイズの表示画面を有効利用し、且つ、その類似画像の印刷要求元の特定の支援を行なうことを可能にする。
【解決手段】 クエリー画像を入力し、そのクエリー画像に類似する画像の検索を行なうと、まず、類似する画像を印刷を行なったユーザ名で分類する。そして、各ユーザ名毎に、類似画像の印刷回数と、最大類似度を表示する。
【選択図】 図１７

Description

本発明は、画像の検索技術に関するものである。

従来、プリンタによる文書印刷や文書コピーを行った文書画像に対して、その文書に含まれる文字情報を像域分離技術とＯＣＲの組み合わせで文字コード化し全文検索装置に登録する技術が知られている（特許文献１）。また、文書画像データやそのプリントを行ったＰＣを検索でき、情報漏洩の原因を見つけ出す技術も知られている（特許文献２）。
特開平９−１８６８５６号公報 特開２００６−８１１１９号公報

しかしながら、企業等、ネットワークが利用され、多くのユーザがＰＣを利用する環境にあっては、多くの印刷が行われる。従って、必然的に、検索にヒットする文書画像の数も多くなり、その中から漏洩した文書画像を見つけだす作業、及び、それを印刷したＰＣやそのユーザを特定するのは難しい。

本発明はかかる問題点に鑑みなされたものである。そして、クエリー画像と類似する画像が多数存在したとしても、その類似画像を印刷した印刷要求元を容易に特定することが可能な技術を提供しようとするものである。

この課題を解決するため、例えは本発明の画像検索システムは以下の構成を備える。すなわち、
印刷機能を有する印刷装置、画像を記憶管理する管理装置、該管理装置に対して画像の検索を要求すると共に検索結果を受信して表示する検索装置で構成される画像検索システムであって、
前記印刷装置は、
印刷対象の画像データと、少なくとも当該画像データの印刷要求元を示す情報を含む付帯情報とを前記管理装置に送信することで、画像登録を要求する登録要求手段と、
前記印刷対象の画像データを記録媒体上に印刷出力する印刷手段とを備え、
前記検索装置は、
検索対象の画像データを入力する入力手段と、
入力した画像データをクエリー画像として前記管理装置に送信することで、検索要求する検索要求手段と、
前記管理装置からの検索結果を表示する表示手段とを備え、
前記管理装置は、
前記印刷装置から登録要求を受信した場合、登録要求された画像データ、当該画像データから抽出された特徴量情報、及び、付帯情報を、記憶保持手段に登録する登録手段と、
前記検索装置から画像検索要求を受信した場合、クエリー画像から特徴量情報を抽出し、抽出した特徴量情報を用いて、前記クエリー画像に類似する画像を検索手段と、
該検索された画像の付帯情報に基づき、検索された画像を分類する分類手段と、
該分類手段による分類結果を検索結果として前記検索装置に送信する検索結果送信手段とを備える。

本発明によれば、クエリー画像に類似する印刷した画像が多数存在しても、その画像を印刷要求を行なった印刷要求元を示す情報を含む付帯情報に従って分類して表示することで、限られたサイズの表示画面を有効利用し、且つ、その類似画像の印刷要求元の特定の支援を行なうことが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜システム構成＞
本実施形態におけるシステムは、企業内において、印刷した文書が社外に漏洩してしまった場合、その漏洩の元となった画像を印刷したユーザの特定支援を行なうシステムに適用した例を説明する。

図１は実施形態におけるネットワークシステム図である。ネットワーク１００には、印刷データを出力する通常端末２０１乃至２０３、印刷機能及び複写機能を有する複合機（以下、ＭＦＰ）３０１、ネットワークプリンタ３０２、実施形態の中枢となる管理サーバ４００、並びに、管理サーバ４００への検索要求を行なう検索クライアント５００が設けられている。なお、図示では、通常端末の数が３台、印刷機能を有する装置が２台、検索クライアントが１台の例であるが、この数に制限はない。

通常端末２０１乃至２０３は、パーソナルコンピュータ等の汎用情報処理装置であって、各種アプリケーションプログラムがインストールされているものとする。通常端末２０１乃至２０３それぞれのユーザは、所望とするアプリケーションを利用して文書の印刷指示を行なう。この結果、通常端末２０１乃至２０３上で実行されるプリンタドライバは印刷データを生成し、その印刷データをＭＦＰ３０１又はネットワークプリンタ３０２に出力する。

ＭＦＰ３０１及びネットワークプリンタ３０２は、ネットワークインタフェースを有し、ネットワーク１００から受信した印刷データを解析してビットマップデータを生成し、それをプリンタエンジンに出力することで印刷する機能を持つ。なお、ＭＦＰ３０１は、更に、原稿台にセットされた原稿を読取り、得られた画像をプリンタエンジンに出力することで記録紙上に印刷する機能（コピー機能）をも持つことになる。

ＭＦＰ３０１、ネットワークプリンタ３０２におけるネットワークから受信した印刷処理の流れを示すと図２の様になる。同図の処理手順のプログラムは装置内部のＲＯＭに格納されていて、装置内のプロセッサがそのプログラムに従って実行するものである。

まず、ステップＳ１で、ネットワークインタフェースを介して印刷データを受信する。このとき、受信したデータの発信元を特定する情報（実施形態では、ＩＰアドレスとする）を、内部の不図示のメモリに保持する。次いで、ステップＳ２で印刷データを解釈しレンダリングを行なう。つまり、印刷データに基づき印刷用のビットマップイメージデータを生成する。この後、ステップＳ３において、印刷データの発信元を特定する情報（ＩＰアドレス）、並びに、ビットマップデータの属性（カラーかモノクログレイか）を示す情報、自身の装置のネットワーク１００上の名前、更には、ネットワークプリンタとして印刷したことを示すオペレーションタイプ情報等で構成される付帯情報を生成する。そして、生成された付帯情報と、レンダリングして得られたビットマップイメージデータとを、管理サーバ４００に送信する。

この送信が完了すると、ステップＳ４に進んで、レンダリングした結果のビットマップイメージデータに基づき、記録紙等の記録媒体への印刷処理を行なう。

上記の通り、実施形態におけるＭＦＰ３０１、ネットワークプリンタ３０２は、通常のネットワークプリンタの処理に、ステップＳ３の処理機能が追加されたものとなる。

なお、カラー画像かグレー画像かどうかの判定は、受信した印刷データを解析しレンダリングする際に、色成分のデータがあるか否かで判断すればよい。

ＭＦＰ３０１は、先に説明したように複写機能をも有する。そこで、ＭＦＰ３０１が複写機能を実行する際の処理内容を図３のフローチャートに従って説明する。同図の処理はに対応するプログラムは、ＭＦＰ３０１内のＲＯＭに格納されていて、ＭＦＰ３０１内のプロセッサがそのプログラムに従って実行するものである。

まず、ステップＳ１１にて、ユーザの認証処理を行なう。この認証処理は、ＭＦＰ３０１に設けられた操作パネルに設けられたキーを操作し、社員コード並びにパスワードの入力で行われるものとする。社員コード、及び、パスワードが入力されると、ＭＦＰ３０１のプロセッサは、それを管理サーバ４００に送信することで、ＭＦＰ３０１の使用の是非の判定を要求する。管理サーバ４００は、受信した社員コード並びにパスワードが、ユーザＤＢに登録されている情報と一致するか否かを判定し、その判定結果をＭＦＰ３０１に送信してくる。

ＭＦＰ３０１のプロセッサは、この判定結果を受信し、ステップＳ１２にて、使用可／不可を判断する。使用不可であると判断した場合には、再度、ステップＳ１１のユーザ認証処理を行なう。つまり、使用許可されているユーザ以外は、複写操作を行なえない。

さて、ステップＳ１２の判断で、使用可能と判断した場合には、ステップＳ１３に進み、操作パネルのコピー開始ボタンが押下されたか否かを判断する。コピー開始ボタン以外の操作が行われたと判断した場合には、ステップＳ１４に進んで、対応する処理を行なう。ステップＳ１４の処理の中には、カラー複写かモノクロ複写かの選択が含まれる。

コピー開始ボタンが押下されたと判断した場合、ステップＳ１５に進んで、セットされた原稿を、ユーザが指定したモード（カラーorモノクロ）として読取る。

そして、ステップＳ１６に進んで、ユーザの識別情報（社員コード）、ＭＦＰ３０１のネットワーク上の名前、カラーかモノクロかを示す画像属性情報、並びに、複写印刷であることを示すオペレーションタイプ情報等の付帯情報を生成し、その付帯情報と、読取った画像データを管理サーバ４００に送信する。

ＭＦＰ３０１のプロセッサは、ステップＳ１７の処理に進み、読取って得られた画像データに基づき、印刷処理を行なう。複写モードがカラー複写である場合にはカラー印刷、モノクロ複写の場合にはモノクロ印刷（ブラック単体のインクやトナーを利用した印刷）を行なう。そして、ステップＳ１８でユーザをログアウトさせる。

なお、上記では、読取った原稿画像がカラーかモノクロかの判断は、ユーザが指定した複写モードによって決定した。しかしながら、原稿の種類を問わず、常にカラー画像として読取り、読取った画像中に有彩色の画素があるか否かを判断するようにしても構わない。

また、認証処理では、社員コードとパスワードをＭＦＰ３０１が備える操作パネルより入力するものとして説明したが、指紋リーダ、ＩＣカードリーダで認証処理を行なっても構わない。

上記の通り、実施形態におけるネットワーク上の印刷機能を有する各装置（実施形態では、ＭＦＰ３０１、ネットワークプリンタ３０２）は、印刷することになった画像データと付帯情報を管理サーバ４００に送信する。管理サーバ４００は、プリンタから送信されてきた画像データ及び付帯情報を、画像検索ＤＢ、画像管理ＤＢに登録していく（詳細は後述）。

次に、実施形態における検索クライアント５００の構造を説明する。図４は、検索クライアント５００のブロック構成図である。この検索クライアント５００は、先に説明したように、管理サーバ４００が管理する画像の検索の要求と、その結果の表示の機能を持つ。

クライアント５００のハードウェアは、パーソナルコンピュータと同様の構成である。すなわち、ＣＰＵ５０１、ＢＩＯＳやブートプログラムを格納しているＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を備える。また、ＯＳ（オペレーティングシステム）５０４ａ及び、画像検索クライアント用のアプリケーションプログラム５０４ｂを格納した外部記憶装置としてハードディスクドライブ（ＨＤＤ）５０４を備える。また、ネットワーク１００との通信のためのネットワークインタフェース５０５、キーボードやポインティングデバイスで構成される入力装置５０６、表示用メモリと表示用メモリへの描画処理と、表示用メモリのデータを読出し、ビデオ信号として表示装置５０８に出力する表示制御部５０７、イメージスキャナ５１０を接続するスキャナインタフェース５０９を備える。

本装置に電源が投入されると、ＣＰＵ５０１は、ＲＯＭ５０２のブートプログラムに従って、ＨＤＤ５０４からＯＳをＲＡＭ５０３にロードする。実施形態におけるＯＳは、ＧＵＩをベースにしたＯＳ（例えば、米国マイクロソフト社が提供するWindows（登録商標））であるものとする。この後、ユーザは、入力装置を利用して、画像検索クライアントプログラム５０４ｂの実行を指示する。この結果、画像検索クライアントプログラム５０４ｂがＲＡＭ５０３にロードされ、ＣＰＵ５０１により実行されることになる。

画像検索クライアントプログラム５０４ｂは、イメージスキャナ５１０にセットされた原稿の画像データを入力する機能と、読取った画像をクエリー画像として、管理サーバ４００に送信する機能、並びに、管理サーバからの検索結果を表示装置５０８に表示する機能を有するものであれば良い。

次に、実施形態における管理サーバ４００の構造について説明する。図５は実施形態における管理サーバ４００のブロック構成図である。この管理サーバ４００は、先に説明したように、ネットワーク１００上のＭＦＰからの認証処理の要求に対する使用可否の判定処理、印刷した画像データの登録処理、及び、検索クライアント５００より受信したクエリー画像と類似する画像を検索し、その結果を検索クライアント５００に送信する機能を持つ。

管理サーバ４００のハードウェアも、パーソナルコンピュータと同様の構成である。すなわち、ＣＰＵ４０１、ＢＩＯＳやブートプログラムを格納しているＲＯＭ４０２、ＣＰＵ４０１のワークエリアとして使用されるＲＡＭ４０３を備える。また、ＯＳ（オペレーティングシステム）４０４ａ、管理サーバプログラム４０４ｂを格納した外部記憶装置としてハードディスクドライブ（ＨＤＤ）４０４を備える。このＨＤＤ４０４には、管理サーバプログラム４０４ｂが実行中に利用する画像検索ＤＢ４０４ｃ、画像管理ＤＢ４０４ｄ、及びユーザＤＢ４０４ｅが設けられている。また、ネットワーク１００との通信のためのネットワークインタフェース４０５、キーボードやポインティングデバイスで構成される入力装置４０６、表示用メモリと表示用メモリへの描画処理と、表示用メモリのデータを読出し、ビデオ信号として表示装置４０８に出力する表示制御部４０７を備える。

本装置に電源が投入されると、ＣＰＵ４０１は、ＲＯＭ４０２のブートプログラムに従って、ＨＤＤ４０４からサーバ用のＯＳをＲＡＭ４０３にロードする。そして、管理サーバプログラム４０４ｂをＲＡＭ４０３にロードし、上記の機能を実現する装置として稼動を開始する。

＜管理サーバの処理の説明＞
次に、実施形態における管理サーバ４００の処理内容を説明する。

図６は管理サーバ４００のＣＰＵ４０１が実行する管理サーバプログラム４０４ｂのメイン処理を示すフローチャートである。

ステップＳ２１では、ネットワーク１００から何らかの情報を受信するのを待つ。情報の受信があると判断した場合、処理はステップＳ２２に進んで、ＭＦＰ３０１の複写（ログイン）するための認証要求であるか否かを判断する。認証要求であると判断した場合には、ステップＳ２３に進む。ステップＳ２３では、認証要求の内容を解析し、要求されたユーザの識別情報がユーザＤＢ４０４ｅに登録されているか否かを判断する。

ユーザＤＢ４０４ｅは、図７に示すようなテーブル構造を有する。ＭＦＰ３０１から認証要求を解析し、それが社員コードとパスワードであると判断した場合には、第２フィールドを検索することで、合致するものがあるか否かを判断する。また、図１では示していないが、ＭＦＰが指紋リーダを備え、それを利用することで認証する場合がある。この場合、認証要求には、指紋情報（実際には、読取った指紋の特徴情報）であることを示す識別情報が格納されているので、第３フィールドを検索することになる。

ステップＳ２４では、ユーザＤＢ４０４ｅに合致するものがあるか否かを示す情報を、認証要求の発行元であるＭＦＰ３０１に送信する。

また、ステップＳ２２において、受信した情報が認証要求ではないと判断した場合には、処理はステップＳ２５に進む。このステップＳ２５では、検索クライアントからの要求であるから、ＭＦＰ３０１やネットワークプリンタ３０２からの画像登録要求であるかを判断する。

画像登録要求であると判断した場合には、ステップＳ２６に進んで、受信した画像データと付帯情報を、画像検索ＤＢ４０４ｃ、画像管理ＤＢ４０４ｄに登録する処理を行なう（詳細後述）。

また、検索クライアント５００からの検索要求であると判断した場合には、ステップＳ２７に進んで、画像の検索処理を実行する（詳細後述）。

次に、上記のステップＳ２６における画像登録処理の詳細を図８のフローチャートに従って説明する。この処理は、管理サーバ４００が、ＭＦＰ３０１やネットワークプリンタ３０２で印刷することになった画像データ及び付帯情報を受信し、管理サーバ４００が記憶保持する処理である。

まず、ステップＳ３１では、受信した画像データを、ＨＤＤ４０４内の予め設定された階層構造を持つフォルダ内に格納する。格納する際のファイル名は、管理サーバ４００が画像データ及び付帯情報を受信した日時、すなわち、年月日時分秒とした。また、受信した付帯情報に従って、画像管理ＤＢ４０４ｄに情報を格納する。

画像管理ＤＢは図９に示すようなテーブル構造を有する。第１フィールドは、画像を特定するための文書画像ＩＤである。この文書画像ＩＤは、管理サーバ４００が発番するものであり、最後に発番した番号を記憶保持しておき、新規に画像を登録する度に、番号を“１”だけ増加させることで生成する。第２フィールドはフルパスのファイル名である。第３フィールドは、その画像を印刷或いは複写した際のユーザ識別情報であり、第４フィールドは画像を印刷した装置を特定するためのネットワーク上の名前である。第５フィールドは、印刷した際のオペレーションタイプである。オペレーションタイプには、“ＰＲＮ”、“ＣＰＹ”の２種類がある。“ＰＲＮ”は、通常端末２０１等から印刷ジョブを受信した印刷したことを示す。“ＣＰＹ”は、原稿をセットして、複写したことを示す。従って、ネットワークプリンタ３０２から登録要求を受信した場合、オペレーションタイプは“ＰＲＮ”となる。また、ＭＦＰ３０１からの登録要求を受信した場合には、ネットワークプリンタとして機能して印刷したのか、複写機能として印刷したのかに応じて、“ＰＲＮ”、“ＣＰＹ”のいずれかの情報が、第５フィールドに格納されることになる。

また、ＭＦＰ３０１からの付帯情報には、ユーザを識別する情報として、ＩＰアドレス、社員コードのいずれかが格納されているが、ユーザ管理ＤＢを参照することで、一意にユーザ名を特定できる。

なお、図９のテーブルは一例であって、例えば、ＭＦＰ３０１やネットワークプリンタ３０２が印刷した日時情報を付帯情報として送信してくる場合には、それを格納するためのフィールドを設けても構わない。しかし、管理サーバ４００が画像登録要求を受信した日時は、ＭＦＰ３０１やネットワークプリンタ３０２がジョブを実行した日時はせいぜい数秒程度の時差しかなく、且つ、要求を受信した日時をファイル名として利用しているので、本実施形態においてはＭＦＰ３０１等が受信した日時情報は管理対象外とした。

さて、上記のようにして、画像データのファイルとしての格納と、画像管理ＤＢ４０４ｄへの登録が完了すると、処理はステップＳ３２に進む。このステップＳ３２以降の処理は、画像検索ＤＢ４０４ｃへの登録のための処理である。

まず、ステップＳ３２では、受信した画像データを予め設定された分割数Ｎで分割する。実施形態では、図１１に示すように９×９の領域に分割するものとする。つまり、Ｎ＝８１である。

そして、ステップＳ３３に進んで、変数ｉに初期値“０”をセットする。この変数ｉは分割した領域を特定するための値を格納するものである。ｉと分割領域との関係は図１２に示すように、ラスタースキャンと同様の順番である。

ステップＳ３４では、変数ｉがＮ未満であるか否かを判断する。ｉ＜Ｎであると判断した場合には、未処理の領域が存在することになるので、処理はステップＳ３５に進む。

ステップＳ３５では、ｉ番目の分割画像領域内に存在する各画素の値を、図１３に示すような、ＲＧＢ色空間を３×３×３（＝２７個）の部分領域に、プロットしていく。色空間の各部分領域には、それぞれをユニークに特定するパレット番号が割り当てられている。そして、最もプロットした数を多く含む部分領域のパレット番号を、ｉ番目の分割画像領域の特徴データとして決定する。このパレット番号をＰｃ（ｉ）と定義する。

上記は画像データがカラー（有彩色）である場合であるが、ＭＦＰ３０１等から登録要求された画像データはモノクログレイスケールの場合も有り得る。また、カラー画像データであるとしても、検索クライアント５００から受信したクエリー画像がモノクログレイスケールであることも有り得る。

そこで、ＭＦＰ３０１やネットワークプリンタから要求された画像データがカラー画像データである場合には、そのカラー画像データを輝度成分のみを抽出することで、グレースケールのモノクロ画像データに変換する。ＲＧＢから輝度Ｙを得るには、例えば、次式のような変換式を用いれば良い。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ

そして、輝度Ｙの一次元パレットを予め用意しておく。そして、ｉ番目の分割画像領域に含まれる全画素の輝度Ｙの平均値をグレイスケールのパレット番号Ｐｇ（ｉ）と決定する。

なお、ＭＦＰ３０１やネットワークプリンタ３０２において、モノクロ画像を印刷する場合、当然、それらのデバイスからはモノクロ画像の登録要求しか受信されない。従って、登録要求された画像がモノクロ画像である場合には、カラー画像のパレット番号Ｐｃ（ｉ）の抽出処理は行なわず、モノクロ画像のパレット番号Ｐｇ（ｉ）のみを決定する。

さて、ｉ番目の分割画像領域に対する特徴データであるパレットＰｃ（ｉ）、Ｐｇ（ｉ）の抽出が終了すると、処理はステップＳ３７に進んで、変数ｉを“１”だけ増加させ、次の分割画像領域に対する特徴抽出を行なう。

こうして、ステップＳ３４の判定がｉ＝Ｎであると判断されると、全分割画像領域の特徴情報の抽出が完了したことになるので、処理はステップＳ３８に進み、画像検索ＤＢ４０４ｃに登録する。

図１０は実施形態における画像検索ＤＢ４０４ｃの構造を示している。第１フィールドには、検索処理の際の画像を特定するために使用する画像ＩＤを格納する。この画像ＩＤも、文書画像ＩＤと同様にして、管理サーバ４００が生成するものである。第２フィールドは、画像管理ＤＢ４０４ｄの文書画像ＩＤを格納するためのものである。この第２のフィールドによって、画像検索ＤＢ４０４ｃと画像管理ＤＢ４０４ｄが関連づけられる。なお、画像ＩＤと文書画像ＩＤが共に同じ値を持つ場合には、第１フィールドを削除しても構わない。第３フィールドは、カラー画像のパレット番号Ｐｃ（１）乃至Ｐｃ（８１）を格納する。第４フィールドは、モノクロ画像のパレット番号Ｐｇ（１）乃至Ｐｇ（８１）を格納する。なお、先に説明したように、ＭＦＰ３０１等でモノクロ画像を印刷した場合、ＭＦＰ３０１から管理サーバ４００には、モノクロ画像とその付帯情報しか送信されない。この場合、第３フィールドには、あり得ない情報（最大パレット番号を超える値）を格納するか、ｎｕｌｌを格納する。

次に、図６のステップＳ２７の検索処理内容を図１４のフローチャートに従って説明する。この処理は、検索クライアント５００から、クエリー画を受信した場合の処理である。

まず、ステップＳ４１において、受信したクエリー画像から、その特徴量となるカラー画像のパレット番号Ｑｃ（）、モノクロ画像のパレット番号Ｑｇ（）を抽出する。この抽出処理は、図８におけるステップＳ３３乃至３７と同様である。すなわち、図８におけるＱｃ（）をＰｃ（）、Ｑｇ（）をＰｇ（）と置き換えて処理すれば良い。なお、クエリー画像がモノクロ画像である場合には、カラーパレット番号Ｑｃ（）は抽出しない。

次いで、ステップＳ４２に進み、クエリー画像はカラー画像であるか否かを判断する。パレット番号Ｑｃ（）を抽出したか否かを判断すると言い換えても良い。

クエリー画像がカラー画像であると判断した場合、ステップＳ４３に進んで、抽出されたパレット番号Ｑｃ（）と、画像検索ＤＢ４０４ｃの第３フィールドの各画像毎のパレット番号Ｐｃ（）との距離を求め、類似度を求めていき、予め設定された類似度以上の値を持つ画像データを検索する。詳細は後述するが、この検索の結果、クエリー画像と類似性の高い画像の画像ＩＤと、その類似度が抽出される。

この後、処理はステップＳ４４に進んで、ステップＳ４３と同様に検索を行なう。ただし、ステップＳ４４では、抽出されたパレット番号Ｑｇ（）と、画像検索ＤＢ４０４ｃの第４フィールドの各画像毎のパレット番号Ｐｇ（）との距離を求める検索処理となる。

ステップＳ４５では、カラー画像及びモノクロ画像の検索結果、重複した画像ＩＤを除去する処理を行なう。従って、ステップＳ４３の処理がなかった場合には、ステップＳ４５の除去処理は行なわなくて構わない。

以上の結果、或る閾値以上の類似度を持つ画像の画像ＩＤが検索されることになるので、処理はステップＳ４６に進み、検索クライアントに表示すべき情報を作成する。最初に、このステップＳ４６を実行する場合にはデフォルトの表示形式の情報を作成する。そして、ステップＳ４７にて、作成した表示情報を検索クライアントに送信する。

この後、ステップＳ４８、Ｓ４９にて、検索クライアントからの表示形式の変更要求があったか否か、検索処理の終了の通知があったか否かを判断する。表示形式の変更要求があったと判断した場合には、要求された表示形式の情報を作成すため、ステップＳ４６に戻る。

また、ステップＳ４９にて、検索終了の通知を受信したと判断した場合には、本処理を終了する。

ここで、上記のステップＳ４３の詳細を図１５のフローチャートに従って説明する。このステップＳ４３の処理は、クエリー画像がカラー画像であり、そのクエリー画像のカラー特徴量に基づく処理である点に注意されたい。

まず、ステップＳ５１において、画像検索ＤＢ４０４ｃの全レコードについての検索が完了したか否かを判断する。

未完であると判断した場合には、ステップＳ５２に進んで、画像検索ＤＢ４０４ｃから１レコードのデータを読込む。ステップＳ５２の読込む順序は、画像検索ＤＢ４０４ｃの先頭レコードから後方に向かう順である。

ステップＳ５３では、読み込んだレコードの第３フィールドに、意味のあるカラーパレット番号Ｐｃ（）が格納されているか否かを判断する。このステップＳ５３の判定がＮｏの場合、画像検索ＤＢ４０４ｃの次のレコードを読込むため、ステップＳ５１に戻る。

さて、読み込んだレコードに、有意なカラーパレット番号Ｐｃ（）があると判断した場合、処理はステップＳ５４に進み、変数ｉを“０”で初期化する。次いで、ステップＳ５５にて、変数ｉを“１”だけ増加させる。この変数ｉは、カラーパレットＱｃ（）、Ｐｃ（）の１つをユニークに特定するためのものである。

ステップＳ５６では、クエリー画像より抽出したカラーパレット番号Ｑｃ（ｉ）と、登録画像のカラーパレット番号Ｐｃ（ｉ）との距離Ｄ（ｉ）を求める。色空間中におけるＱｃ（ｉ）で特定される位置の色と、カラーパレット番号Ｐｃ（ｉ）で特定される色との距離を求める。実施形態では、演算を簡単なものとするため、図１６に示すように、Ｑｃ（）とＰｃ（ｉ）との２次元空間のテーブルを予め用意していおき、両者の値で示される位置に格納された値を、距離Ｄ（ｉ）として抽出するようにした。図示のテーブルからも判るように、Ｑｃ（ｉ）＝Ｐｃ（ｉ）の場合、それらの間の距離は“０”となるような値を格納する。次いで、ステップＳ５７で、変数ｉがＮ未満であるか否かを判断する。全パレット番号間の距離の抽出が完了したか否かを判断する、と言い換えても良い。否の場合には、ステップＳ５５、Ｓ５６の処理を繰り返す。

こうして、全距離Ｄ（ｉ）が決定すると、処理はステップＳ５８に進んで、クエリー画像と、画像検索ＤＢ４０４ｃ内の着目レコードの画像との類似度Ｌを求める。

基本的に、ΣＤ（ｉ）を求め、その値が小さければ小さいほど、２つの画像の類似度は高いと評価して良い。しかし、百分率の表現で、１００％の場合には両者は完全一致している、という表現の方が人間には分かりやすい。そこで、次のようにして、最大距離Ｄmaxと定義し、その総和をΣＤmaxと定義したとき、類似度Ｌを次の様にして求めた。
Ｌ＝１００×｛ΣＤmax−ΣＤ（ｉ）｝／ΣＤmax

このようにして、類似度Ｌを算出すると、処理はステップＳ５９に進み、類似度Ｌと予め設定された閾値Ｔｈとを比較し、Ｌ＞Ｔｈなる関係を満足するか否かを判断する。この関係を満足すると判断した場合、画像検索ＤＢ４０４ｃ中の注目レコードで示される画像ＩＤは、類似度の高い画像を示していることになるので、それをＲＡＭ４０３に予め確保された領域に格納する（ステップＳ６０）。また、Ｌ≦Ｔｈであると判断した画像ＩＤは、類似性無しと判断するので、ＲＡＭ４０３には格納しない。いずれの場合にも、処理はステップＳ５１に戻る。

以上の結果、ＲＡＭ４０３には、クエリー画像に対してある程度の類似性を持つカラー画像の画像ＩＤが蓄積されていく。

なお、図１４におけるステップＳ４４の処理は、図１５の説明から明らかであろうから、その説明は省略する。ただし、画像検索ＤＢ４０４ｃの第４フィールドのモノクロ画像用のパレット番号Ｐｇ（）は、必ず、有意な情報が格納されている。従って、モノクロ画像の検索処理では、図１５のステップＳ５３の判定は不要である。

ここで、図１４のステップＳ４５の処理について、補足説明する。

今、カラー画像の検索処理にて、画像ＩＤ“００００１２３”の画像が、クエリー画像に類似性が高く、その類似度Ｌが“７０％”であったとする。また、モノクロ画像の検索にて同じ画像ＩＤの類似度Ｌが“８０％”であったとする。本実施形態では、上記の場合、類似度の高い方を、画像ＩＤ“００００１２３”の最終的な類似度Ｌとして決める。

次に、図１４のステップＳ４６乃至Ｓ４８の処理と、その具体的な例を図１７（ａ）乃至（ｄ）に基づいて説明する。

図１７（ａ）は、ステップＳ４６を最初に処理する際のデフォルトの表示形式を示しており、検索クライアント５００の表示装置５０８に表示されるＧＵＩでもある。

第１列には、クエリー画像に類似する画像を印刷したユーザ名、第２列にはそのユーザが印刷した回数（類似した画像の数）、第３列は類似した画像の最大類似度を表示する。なお、ユーザ名は、検索で得られた画像ＩＤから文書画像ＩＤを求め、文書画像ＩＤをキーにして画像管理ＤＢ４０４ｄを検索すれば得られる。

図示から、クエリー画像に類似する画像が４つ存在し、その画像を印刷したユーザがｙａｍａｄａ、ｓｕｚｕｋｉ、ｋｉｋｕｃｈｉの３名であったことがわかる。そして、ユーザ“ｓｕｚｕｋｉ”は、類似している画像を２回印刷し、他のユーザはそれぞれ１回印刷していることを示している。従って、社外に漏洩した疑いがある原稿を、検索クライアント５００にて読取り、それを検索することで、その原稿を印刷したユーザ、及び、何回も印刷したたユーザを特定することが可能になる。

ここで、検索クライアント５００のユーザが、図１７（ａ）のＧＵＩにて、入力装置４０６のポインティングデバイスを用いて、“ｙａｍａｄａ”が表示されている行をクリックすると、ユーザ名“yamada”の詳細を表示する要求が、検索クライアント５００から管理サーバ４００に送信される。この結果、管理サーバ４００は、図１４のステップＳ４８からステップＳ４６に戻り、指定されたｙａｍａｄａに絞って、その内訳を示す表示用データを作成し、その結果を検索クライアント５００に送信する。図１７（ｂ）は、処理の結果、検索クライアント５００に表示される表示例を示している。

また、図１７（ｂ）のＧＵＩにて、“戻る”ボタンがクリックされた場合には、図１７（ａ）の状態に戻る。図１７（ｃ）は、ユーザ名“ｓｕｚｕｋｉ”の詳細ＧＵＩ、図１７（ｄ）はユーザ名“ｋｉｋｕｃｈｉ”の詳細ＧＵＩである。

図１７（ｂ）乃至（ｄ）において、サムネイル画像は、登録された画像ファイルから管理サーバ４００が作成するものである。また、その画像を印刷した際のネットワークデバイス名（実施形態では、ＭＦＰ３０１かネットワークプリンタ３０２のいずれかになる）、その印刷が複写であるか、アプリケーションを利用して印刷したのか、更には、その日時情報（ファイル名より抽出）を表示する。

なお、管理サーバ４００は、新規に画像を登録する際に、そのサムネイル画像を生成し、そのサムネイル画像ファイルのフルパスのファイル名を記憶するようにしてもよい。この場合、サムネイル画像を作成する処理が不要となるので、図１７（ａ）の状態から図１７（ｂ）乃至（ｄ）への表示形式の変更を高速なものとすることができる。

以上説明したように本実施形態によれば、ネットワークに接続された印刷機能を有する装置で印刷を行なう限り、その印刷した画像が管理サーバ４００に無条件に登録されていく。そして、画像検索のための検索クライアント５００のユーザは、社外に漏洩した疑いのある原稿をセットして、スキャナで読み込ませることで、その画像に類似した画像の印刷したユーザ名毎に分類（クラシファイ）し、ヒットした数と、最大類似度を表示することが可能になる。従って、類似する画像が多数発見されたとしても、ユーザ毎に分類されているので、疑わしい人物を特定することが容易になる。

なお、実施形態では、パレット番号を割り当てる色空間として、ＲＧＢ空間を採用する例を示したが、Ｌａｂ空間等の他の色空間でも構わない。また、実施形態では、画像の特徴量は、カラーであれば色、モノクロであれば輝度を基準にして算出する例を説明したが、これによって本発明が限定されるものではない。例えば、標準偏差、その中央値等を採用しても良い。また、画像の分割数、色空間の分割数も上記実施形態に限定されるものではない。画像の分割数としては、１５×１５程度が好ましい。

＜第２の実施形態＞
上記第１の実施形態では、検索結果の初期画面では、図１７（ａ）に示すように、ユーザ名で分類し、各ユーザ名毎に印刷回数、及び、その中の最大類似度を表示した。

本第２の実施形態では、類似度をキーに分類して表示する例を説明する。システム構成は第１の実施形態と同じとし、その説明は省略する。

図１８は、第２の実施形態において、管理サーバ４００が最初に作成した表示情報に基づいて、検索クライアント５００が表示したＧＵＩを示している。図１８のように、類似度をキーにして分類した。

本第２の実施形態では、分類する際の類似度は、９０％以上、８０％以上、７０％以上、そして６０％（＝閾値Ｔｈ）以上の４つのクラスに分類する。

図１８では、クエリー画像に対して類似度９０％以上のクラス番号“１”の最大類似度を持つ画像のサムネイルが表示される。また、同クラスには、類似画像が５つ、その最大類似度は“９４％”、その画像を印刷したユーザは３名であることを示している。また、図示の場合、クラス番号“２”に該当する画像がないことを示している。そして、クラス番号“３”の類似画像が４つ、最大類似度は７５％、ユーザ数は２名であることを示している。

上記の表示を行なう場合、管理サーバ４００は、図１４のステップＳ４６を最初に処理する際に、図１９の処理を行なえば良い。なお、その直前のステップＳ４５の処理によって、ＲＡＭ４０３には、類似度６０％以上の画像ＩＤとその類似度情報が格納されていることに注意されたい。

まず、ステップＳ７１では、ＲＡＭ４０３に格納された画像ＩＤと類似度情報を、類似度をキーにして降順にソートする。

次に、ステップＳ７２に進み、類似度が９０％以上の画像ＩＤを検索し、その結果に基づきクラス“１”に属する画像ＩＤと、表示すべき情報を画像管理ＤＢ、画像検索ＤＢより抽出する。

次いで、ステップＳ７３では、類似度８０％以上９０％未満のクラス“２”に属する画像ＩＤを検索し、表示すべき情報の抽出処理を行なう。

次いで、ステップＳ７４では、類似度７０％以上８０％未満のクラス“３”、ステップＳ７５では類似度６０％以上７０％未満のクラス“４”に属する画像ＩＤを検索し、表示すべき情報の抽出処理を行なう。

こうして、全クラスの情報の抽出が行なえると、処理はステップＳ７６に進み、図１８に示すような表示情報を作成する。

なお、図１８の表示画面で、ポインティングデバイスで１つのクラスが選択された場合、選択されたクラスについて図１７（ａ）に示すような形式で表示する。従って、図１７（ａ）のＧＵＩで一人のユーザを指定することで、図１７（ｂ）乃至（ｄ）の様に、指定したユーザが印刷した画像の一覧を表示させることが可能になる。また、選択されたクラスに含まれるデータについて、図１７（ｂ）乃至（ｄ）の表示形式で表示しても構わない。

以上の結果、類似度をキーに分類し、且つ、各類似度毎にユーザが何人含まれ居るのかを把握出来るようになる。

＜第３の実施形態＞
上記第１、第２の実施形態では、カラーのクエリー画像が検索クライアントから与えられた場合、そのクエリー画像からカラーとモノクロとの特徴量を抽出し、カラー画像及びモノクロ画像の検索を行ない、重複する画像ＩＤは１つに絞り込んだ。

今、オリジナルカラー画像が社内で保管されており、何らかが原因して外部に漏洩したと仮定する。また、その際に、そのオリジナルカラー画像をモノクロ印刷（複写を含む）したのか、或いは、カラー画像として印刷したのかが判然としないと仮定する。

モノクロ画像は、色度を持たず、グレイスケールのみである。従って、モノクロ画像中の画素の輝度から、元々の色を特定することは不可能である。つまり、カラー画像をクエリー画像として入力した場合、その画像に類似する画像はカラー画像として外部流出した場合と、モノクロとして外部流出した場合のそれぞれの可能性について考察する必要がある。

そこで、本第３の実施形態では、クエリー画像がカラー画像であった場合に、カラー画像の検索結果と、モノクロ画像の検索検索結果とを分類して示す例を説明する。

図２０は、第３の実施形態において、管理サーバ４００が最初に作成した表示情報に基づいて、検索クライアント５００が表示したＧＵＩを示している。図２０のように、カラー画像、モノクロ画像をキーにして分類した。また、図示から、クエリー画像に類似するカラー画像が１２個、その中で最大類似度が「９４」、１２個の画像の印刷がユーザ３名により行われたことを示している。また、カラーのクエリー画像から変換して得られたモノクロクエリー画像（実施形態では輝度）に基づき検索した結果、３７個の類似画像が検索され、その最大類似度が「９５」、３７個の画像の印刷がユーザ数５名により行われたこと示している。

注意したい点は、クラス「モノクロ画像」の第２フィールドに表示される画像は、モノクロ画像になるとは限らない点である。この意味は、オリジナルのカラー画像がモノクロ画像として印刷されたと過程した場合の、類似度を示すからである。

本第３の実施形態での処理は、図２１に示すようになる。第１の実施形態における図１４のフローチャートと異なる点は、図１４のステップＳ４５を無くなり、且つ、ステップＳ４６’では、図２０に示すように、カラー画像の検索結果（もし検索し、ヒットした画像があれば）、及び、モノクロ画像の検索結果に基づいて表示用データを作成する点である。

以上、説明したように本第３の実施形態によれば、クエリー画像としてカラー画像を入力した場合、そのターゲットとなっているカラー画像がカラー画像、或いは、モノクロ画像のいずれで印刷したとしても、それぞれの場合を想定した検索結果を表示できるようになる。

＜第４の実施形態＞
上記第２の実施形態では、類似度をキーに分類して表示する例を説明した。

本第４の実施形態では、検索された複数の画像を、それぞれ類似する画像同士でグルーピングして表示する例を説明する。これは検索された複数の画像は、クエリー画像には類似するが、結果の画像同士は類似しない場合があるためである。なお、システム構成は第１の実施形態と同じとし、その説明は省略する。

図２２は、第４の実施形態において、管理サーバ４００が最初に作成した情報に基づいて、検索クライアント５００が表示したＧＵＩを示している。

図２２において、検索された画像１２枚を、お互いがそれぞれ類似しているか否かにより、３つのグループ（クラスタＩＤが００１〜００３）に分類している。

クラスタＩＤ００１のグループには、５枚の画像が含まれ、その中から最もクエリーに類似していると判断された画像のサムネイルが表示され、その類似度が９０であることが示されている。更に、その５枚の画像の印刷は、ユーザ３名により行われたことを示している。クラスタＩＤ００２、００３についても同様である。

上記の表示を行う場合、管理サーバ４００は、図１４のステップＳ４６を最初に処理する際に、図２３の処理を行えば良い。なお、その直前のステップＳ４５の処理によって、ＲＡＭ４０３には、所定の類似度、例えば、６０％以上の類似度の画像ＩＤとその類似度情報、更に、それぞれの画像の特徴量が格納されている。

まず、ステップＳ８１で、ＲＡＭ４０３に格納された、それぞれの特徴量を読み出す。そして、ステップＳ８２において、読み出した特徴量を、クラスタリング処理（グループ化）を行う。

このクラスタリング処理は、既知のアルゴリズム、例えば、ＮＮ（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）法、Ｋ−ＮＮ（Ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）法、Ｋ−平均アルゴリズムを用いればよい。

そして、ステップＳ８３に進み、図２２に示すような表示情報を作成する。

なお、図２２の表示画面で、ポインティングデバイスで１つのクラスタが選択された場合、選択された１つのクラスタについて、図１７（ａ）に示すような形式で表示する。従った図１７（ａ）のＧＵＩで一人のユーザを指定することで、図１７（ｂ）乃至（ｄ）の様に、指定したユーザが印刷した画像の一覧を表示されせることが可能になる。また、選択されたクラスタに含まれるデータについて、図１７（ｂ）乃至（ｄ）の表示形式で表示しても構わない。

以上の結果、類似度が所定値以上の画像同士の類似度によりクラスタリングを行い、その表示結果の代表画像を表示するようにしたので、類似する画像同士をまとめることができ、目的とする画像を容易に探すことができる。

＜第５の実施形態＞
本実施形態は、登録されたモノクロ画像のヒットしたものを、第４の実施形態におけるカラー画像のクラスタに、好ましく統合し、ユーザーの検索策結果の閲覧性を向上させるものである。

本実施形態の処理は、図２３と同様の処理を行うが、カラー画像の処理を行った後に、グレー画像の処理を行う点が、第４の実施形態と異なる。即ち、ステップＳ８２の処理が終わった後に、図２４の処理を行う。

図２４のステップＳ９１において、各クラスタの代表画像の輝度特徴量を画像検索ＤＢ４０４ｃから読み出す。そして、ステップＳ９２において、モノクロ画像のそれぞれの輝度特徴量と、各代表画像のそれぞれの輝度特徴量とを比較する。

そして、比較結果に応じて、モノクロ画像のそれぞれが最も類似しているカラー画像のクラスタへ、クラスタリングする。

以上、説明したように本第５の実施形態によれば、色画像特徴と輝度画像特徴による検索結果の統合が可能となる。また、クエリー画像がカラー画像又はモノクロ画像の何れであっても、効率の良い検索結果の提示を行うことができる。

なお、上記実施形態では、検索クライアント５００と管理サーバ４００はネットワーク接続されているものとして説明した。しかしながら、検索クライアントに相当する処理を、管理サーバにて行なっても構わない。この場合、管理サーバ４００には、原稿画像を読取る装置を接続すればよい。また、実施形態では、クエリー画像の入力はイメージスキャナとして説明したが、デジタルカメラ等の撮像装置であっても構わない。また、記憶媒体に格納された画像をクエリー画像として入力しても構わない。

以上、本発明に係る実施形態を説明したが、本実施形態における中核となるのは管理サーバ４００であり、この管理サーバは、ネットワークインタフェースや、大容量の記憶装置を必要とするものの、その処理のほぼ全てがコンピュータプログラムによって実現できる。従って、本発明はかかるコンピュータプログラムをもその範疇とするのは明らかである。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されていて、それをコンピュータが備える読取り装置にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、このようなコンピュータ可読記憶媒体も本発明の範疇に入るのは明らかである。

実施形態におけるネットワークシステムの構成を示す図である。 実施形態におけるネットワークプリンタ及びＭＦＰの、クライアントからの印刷データに基づく印刷処理の処理手順を示すフローチャートである。 実施形態におけるＭＦＰの複写処理の処理手順を示すフローチャートである。 実施形態における検索クライアントのブロック構成図である。 実施形態における管理サーバのブロック構成図である。 実施形態における管理サーバのメイン処理を示すフローチャートである。 管理サーバが管理するユーザＤＢのデータ構造を示す図である。 図６のステップＳ２６の画像登録処理の詳細を示すフローチャートである。 管理サーバが管理する画像管理ＤＢのデータ構造を示す図である。 管理サーバが管理する画像検索ＤＢのデータ構造を示す図である。 画像特徴量を算出するための画像分割の例を示す図である。 分割された各画像領域とインデックスとの関係を示す図である。 カラー画像の特徴量を算出するための色空間の分割例を示す図である。 図６のステップＳ２７の画像検索処理の処理手順を示すフローチャートである。 図１４におけるステップＳ４３の詳細を示すフローチャートである。 画像の類似度を求める際に利用するテーブルの例を示す図である。 実施形態における検索結果のＧＵＩの一例を示す図である。 第２の実施形態におけるＧＵＩの一例を示す図である。 第２の実施形態における表示データ作成処理の詳細を示すフローチャートである。 第３の実施形態におけるＧＵＩの一例を示す図である。 第３の実施形態における図６のステップＳ２７の画像検索処理の処理手順を示すフローチャートである。 第４の実施形態におけるＧＵＩの一例を示す図である。 第４の実施形態における表示データ作成処理の詳細を示すフローチャートである。 第５の実施形態における表示データ作成処理の詳細を示すフローチャートである。

Claims (13)

1. 印刷機能を有する印刷装置、画像を記憶管理する管理装置、該管理装置に対して画像の検索を要求すると共に検索結果を受信して表示する検索装置で構成される画像検索システムであって、
   前記印刷装置は、
   印刷対象の画像データと、少なくとも当該画像データの印刷要求元を示す情報を含む付帯情報とを前記管理装置に送信することで、画像登録を要求する登録要求手段と、
   前記印刷対象の画像データを記録媒体上に印刷出力する印刷手段とを備え、
   前記検索装置は、
   検索対象の画像データを入力する入力手段と、
   入力した画像データをクエリー画像として前記管理装置に送信することで、検索要求する検索要求手段と、
   前記管理装置からの検索結果を表示する表示手段とを備え、
   前記管理装置は、
   前記印刷装置から登録要求を受信した場合、登録要求された画像データ、当該画像データから抽出された特徴量情報、及び、付帯情報を、記憶保持手段に登録する登録手段と、
   前記検索装置から画像検索要求を受信した場合、クエリー画像から特徴量情報を抽出し、抽出した特徴量情報を用いて、前記クエリー画像に類似する画像を検索手段と、
   該検索された画像の付帯情報に基づき、検索された画像を分類する分類手段と、
   該分類手段による分類結果を検索結果として前記検索装置に送信する検索結果送信手段と
   を備えることを特徴とする画像検索システム。
2. 更に、カラー画像データの特徴量情報を抽出する第１の抽出手段と、前記カラー画像データをモノクロに変換して得られたモノクロ画像データの特徴量情報を抽出する第２の抽出手段とを備え、
   前記登録手段は、前記印刷装置から登録要求のあった画像データがカラー画像である場合には前記第１、第２の抽出手段で抽出したそれぞれの特徴量情報を前記記憶手段に登録し、前記印刷デバイスから登録要求のあった画像データがモノクロ画像である場合には前記第２の抽出手段で抽出した特徴量情報を前記記憶保持手段に登録し、
   前記検索手段は、クエリー画像がカラー画像である場合には、前記第１、第２の抽出手段で抽出したそれぞれの特徴量情報に従って前記記憶手段を検索し、前記クエリー画像がモノクロ画像である場合には、前記第２の抽出手段で抽出した特徴量情報に従って前記記憶保持手段を検索する
   ことを特徴とする請求項１に記載の画像検索システム。
3. 前記分類手段は、類似する画像の印刷の要求元に従って分類することを特徴とする請求項１又は２に記載の画像検索システム。
4. 前記分類手段は、類似する画像の類似度に従って分類することを特徴とする請求項１又は２に記載の画像検索システム。
5. 前記分類手段は、検索された画像間の類似度に従って複数に分割することを特徴とする請求項１又は２に記載の画像検索システム。
6. 前記分類手段は、前記複数に分割されたそれぞれの代表画像を選択することを特徴とする請求項５に記載の画像検索システム。
7. 前記分類手段は、検索された画像にモノクロ画像データを含む場合、当該モノクロ画像データの特徴量情報と、前記代表画像をモノクロに変換して得られたモノクロ画像データの特徴量情報を比較することにより、モノクロ画像データを分類することを特徴とする請求項６に記載の画像検索システム。
8. 前記分類手段は、モノクロ画像として印刷された画像と、カラー画像として印刷された画像に分類することを特徴とする請求項２に記載の画像検索システム。
9. 更に、前記検索結果送信手段で、検索結果を送信した後、分類された１つのクラスの詳細の表示要求を前記検索装置から受信した場合、選択されたクラスに含まれる類似画像それぞれについて、印刷したユーザ名、類似画像のサムネイル、類似度、印刷したデバイスの識別名、複写機能を利用した印刷であるか、ネットワークプリンタとして印刷したのかを示すオペレーションタイプ、及び、印刷日時情報で構成される表示用データを作成し、前記検索装置に送信する手段を備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像検索システム。
10. ネットワーク上の検索クライアントから送信されたクエリー画像に類似する画像を検索する画像検索サーバであって、
    ネットワーク上の印刷機能を有するデバイスから、印刷することになった画像データ、及び、少なくとも当該画像データの印刷要求元を示す情報を含む付帯情報とを受信する第１の受信手段と、
    受信した画像データ、当該画像データから抽出された特徴量情報、及び、付帯情報を、記憶保持手段に登録する登録手段と、
    ネットワーク上の検索クライアントから画像検索要求を受信する第２の受信手段と、
    該第２の受信手段で検索要求を受信した場合、当該検索要求に含まれるクエリー画像から特徴量情報を抽出し、抽出した特徴量情報を用いて、前記クエリー画像に類似する画像を検索手段と、
    該検索された画像の付帯情報に基づき、検索された画像を分類する分類手段と、
    当該分類結果を検索結果として前記検索クライアントに送信する検索結果送信手段と
    を備えることを特徴とする画像検索サーバ。
11. ネットワーク上の検索クライアントから送信されたクエリー画像に類似する画像を検索する画像検索サーバの制御方法であって、
    ネットワーク上の印刷機能を有するデバイスから、印刷することになった画像データ、及び、少なくとも当該画像データの印刷要求元を示す情報を含む付帯情報とを受信する第１の受信工程と、
    受信した画像データ、当該画像データから抽出された特徴量情報、及び、付帯情報を、記憶保持手段に登録する登録工程と、
    ネットワーク上の検索クライアントから画像検索要求を受信する第２の受信工程と、
    該第２の受信工程で検索要求を受信した場合、当該検索要求に含まれるクエリー画像から特徴量情報を抽出し、抽出した特徴量情報を用いて前記記憶手段を検索することで、前記クエリー画像に類似する画像を検索工程と、
    該検索された画像の付帯情報に基づき、検索された画像を分類する分類工程と、
    当該分類結果を検索結果として前記検索クライアントに送信する検索結果送信工程と
    を備えることを特徴とする画像検索サーバの制御方法。
12. コンピュータが読み込み実行することで、請求項１０に記載の画像検索サーバの各手段として機能するコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images