JP2011070412A - 画像検索装置および画像検索方法 - Google Patents

Abstract

【課題】複数の単語を含む文字列、自然文を用いた検索における検索精度、検索速度の向上を図ること。
【解決手段】画像サーバー１０は、単語と画像特徴量とが予め対応付けられている単語−画像特徴量データベースを備えている。画像サーバー１０は、プリンタ３０から検索文字列としての自然文を含む検索要求を受信すると、受信した文字列を単語に分割し、分割した単語に対応付けられている画像特徴量を単語−画像特徴量データベースから取得する。画像サーバー１０は取得した画像特徴量を用いて画像データベースから対応する画像データを検索する。画像サーバー１０は検索した画像データをプリンタ３０に対して送信する。
【選択図】図１

Description

本発明は、画像データベースを用いた画像検索技術に関する。

ネットワークを介して、所望の情報を検索するための技術が実用化されている。例えば、キーワード（文字列）を用いた情報検索では、タイトル、コメントといった付帯情報（文字列情報）が対応付けられている画像を対象とする検索が実用化されている。キーワードを用いた情報検索では、複数の単語を含む、自然文による情報検索が提案されている（例えば、特許文献１）。

特開２００４−８６３０７号公報

しかしながら、複数の単語を含む文字列、自然文を用いた画像検索については、検索精度および検索速度に向上の余地があった。

なお、これらの問題は、画像の検索のみならず、映像、音楽、ゲーム、電子書籍といったコンテンツの検索においても同様に発生し得る課題である。

本発明は、上記課題の少なくとも一部を解決するためになされたものであり、複数の単語を含む文字列、自然文を用いた検索における検索精度、検索速度の向上を目的とする。

上記課題の少なくとも一部を解決するために、本発明は以下の種々の態様を採る。

第１の態様は、画像検索装置を提供する。第１の態様に係る画像検索装置は、複数の単語を含む検索用の文字列を取得する文字列取得部と、前記取得した文字列を用いて、画像の特徴を示す特徴量を取得する特徴量取得部と、前記取得した特徴量を用いて、特徴量が対応付けられた複数の画像を格納する画像データベースから前記文字列に対応する画像を検索する画像検索部とを備える。

第１の態様に係る画像検索装置によれば、取得した文字列を用いて、画像の特徴を示す特徴量を取得し、取得した特徴量を用いて、特徴量が対応付けられた複数の画像を格納する画像データベースから文字列に対応する画像を検索するので、複数の単語を含む文字列を用いた検索における検索精度、検索速度を向上させることができる。

第１の態様に係る画像検索装置において、前記文字列は自然文であり、前記画像検索装置は更に、前記取得した文字列からキーワードとなる単語を切り出す単語切り出し部と、前記キーワードとなる単語と、画像の特徴を示す特徴量とを対応付けて格納する単語−特徴量データベースとを備え、前記特徴量取得部は、前記切り出しにより得られた単語を用いて、前記単語−特徴量データベースから、検索に使用すべき特徴量を取得しても良い。この場合には、自然文から切り出された単語に基づいて、単語−特徴量データベースから検索に使用すべき特徴量が取得されるので、自然文を用いた検索における検索精度、検索速度を向上させることができる。

第１の態様に係る画像検索装置において、前記キーワードとなる単語は、感性語および名詞であり、前記単語−特徴量データベースは、感性語と名詞の組合せと、特徴量とを対応付けて格納しており、前記特徴量取得部は、前記切り出しにより得られた感性語と名詞の組合せを用いて、前記単語−特徴量データベースから、検索に使用すべき特徴量を取得しても良い。この場合には、感性語と名詞との組合せによって画像検索に用いられる特徴量を取得できるので、系統だった検索が可能となり、検索精度を向上させることができる。

第１の態様に係る画像検索装置において、前記単語−特徴量データベースは、前記特徴量の種別および前記特徴量の値を前記単語に対応付けて格納しており、前記特徴量取得部は前記単語に基づいて、前記検索に使用すべき特徴量の種別と値とを取得しても良い。この場合には、各単語に適切に対応する特徴量を規定することが可能となり、検索精度を向上させることができる。

第１の態様に係る画像検索装置はさらに、キーワードと識別子とを対応付けて格納するキーワード−識別子データベースと接続されており、前記画像データベースは、識別子と画像特徴量とを画像に対応付けて格納しており、前記画像取得部は、前記取得されたキーワードとなる単語を用いて、前記キーワード−識別子データベースから対応する識別子を取得し、前記画像特徴量に代えて、取得した識別子を用いて前記画像データベースから画像を取得しても良い。この場合には、識別子を用いて画像検索を実行することができるので、画像検索速度を向上させることができる。

第１の態様に係る画像検索装置において、前記画像検索装置は、特徴量が対応付けられた複数の画像と格納する画像データベースと接続されており、前記画像検索部は、前記取得した特徴量と、前記画像データベースに格納されている各前記の特徴量との類似度を算出して画像を検索しても良い。この場合には、画像データベースから対応する画像を検索することができる。

第１の態様に係る画像検索装置において、前記特徴量取得部は、前記取得された文字列に複数の単語が含まれている場合には、各単語に対応する特徴量をそれぞれ取得し、前記画像検索部は前記取得された各特徴量について画像を検索しても良い。この場合には、より多くの特徴量を用いて画像検索を実行することができので、検索精度を向上させることができる。

第２の態様は、画像検索方法を提供する。第２の態様に係る画像検索方法は、複数の単語を含む検索用の文字列を取得し、前記取得した文字列を用いて、画像の特徴を示す特徴量を取得し、前記取得した特徴量を用いて、特徴量が対応付けられた複数の画像を格納する画像データベースから前記文字列に対応する画像を検索することを備える。
画像検索方法。

第２の態様に係る画像検索方法によれば、第１の態様に係る画像検索装置と同様の作用効果を得ることができると共に、第１の態様に係る画像検索装置と同様にして種々の態様にて実現され得る。

第２の態様に係る画像検索方法は、画像検索プログラムとして実現され得ると共に、画像検索プログラムが記録されたコンピューター読み取り可能な媒体として実現され得る。

実施例に係る画像検索システムの概略構成を示す説明図である。 第１の実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。 第１の実施例に係る画像データベースの一例を示す説明図である。 第１の実施例に係る単語−特徴量データベースの一例を示す説明図である。 本実施例に係る画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 第１の実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。 第１の実施例に係るプリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 第１の実施例に係る画像サーバーにおいて実行される画像検索処理の処理ルーチンを示すフローチャートである。 形態素の解析結果の第１の例を示す説明図である。 形態素の解析結果の第２の例を示す説明図である。 第１の実施例に係るプリンタにおいて実行される画像検索要求処理の処理ルーチンを示すフローチャートである。 第１の実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。 第２の実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。 第２の実施例に係る感性語・名詞−画像特徴量データベースの一例を示す説明図である。 第２の実施例に係る画像サーバーにおいて実行される第１の画像検索処理の処理ルーチンを示すフローチャートである。 第２の実施例に係る画像サーバーにおいて実行される第２の画像検索処理の処理ルーチンを示すフローチャートである。 第２の実施例に係る画像サーバーにおいて実行される第３の画像検索処理の処理ルーチンを示すフローチャートである。 第３の実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。 第３の実施例に係る画像データベースの一例を示す説明図である。 第３の実施例に係る単語−識別子データベースの一例を示す説明図である。 第３の実施例に係る画像検索処理に際して実行される処理ルーチンを示すフローチャートである。 第３の実施例における単語−識別子データベースの他の例を示す説明図である。

以下、本発明に係る画像検索システム、画像サーバー、画像検索方法、画像検索端末装置としてのプリンタ、パーソナルコンピューターについて、図面を参照しつつ、実施例に基づいて説明する。

第１の実施例：
図１は本実施例に係る画像検索システムの概略構成を示す説明図である。本実施例に係る画像検索システムＩＳＳは、画像サーバーとしてのサーバーコンピューター１０、プリンタ３０、パーソナルコンピューター４０を備えている。サーバーコンピューター１０と、プリンタ３０およびパーソナルコンピューター４０とはネットワークＮＥを介して双方向通信可能に接続されている。ネットワークは、インターネットであっても良く、イントラネットであっても良い。

サーバーコンピューター１０は、１または複数の特徴量とそれぞれ対応付けられている複数の被検索画像データを格納し、クライアントコンピューターからの検索要求に応じて画像の検索を実行する。したがって、サーバーコンピューターは画像データベースを有する画像サーバー、画像データを検索する画像検索装置であると言うことができる。プリンタ３０およびパーソナルコンピューター４０は、画像サーバー１０に対して画像検索を要求するクライアントコンピューターまたは画像検索端末装置と呼ぶことができる。パーソナルコンピューター４０は、表示ディスプレイ４１並びにキーボードおよびマウスといった入力装置４２を備えている。

画像サーバーの構成：
図２は本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。画像サーバー１０は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１０１、メモリ１０２、画像データベースＤＢ１が構築されている第１の記憶装置１０３、単語−特徴量データベースＤＢ２が構築されている第２の記憶装置１０４および入出力インターフェース１０５を備えている。ＣＰＵ１０１は、メモリ１０２に格納されている各種プログラム、モジュールを実行する。メモリ１０２は、ＣＰＵ１０１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１０１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ１０２としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、不揮発的にデータを記録可能な磁気式のハードディスクドライブ、大容量フラッシュメモリが用いられ得る。

第１および第２の記憶装置１０３、１０４は、例えば、ハードディスクドライブ、フラッシュメモリドライブといった１または複数の大容量記憶装置によって構成されている。すなわち、両記憶装置１０３、１０４は、１つの大容量記憶装置を論理的に２つの記憶装置とすることによって実現されても良く、あるいは、物理的に異なる２つの記憶装置であっても良い。第１の記憶装置１０３には、複数の画像データがそれぞれ複数の画像特徴量と対応付けて格納されている画像データベースＤＢ１が構築されている。第２の記憶装置１０４には、単語と、画像特徴量とが対応付けて格納されている単語（本実施例では、形態素ともいう）−特徴量データベースＤＢ２が構築されている。なお、画像データが機器上で出力（表示、印刷）された態様が画像であるが、請求項において処理対象となる画像は画像データを意味することは当業者にとって自明な事項である。

なお、本実施例では、単に画像データと画像特徴量とを対応付けて第１の記憶装置１０３に構築されているデータベース、単に単語と画像特徴量とを対応付けて第２の記憶装置１０４に構築されているデータベースである場合を例にとって説明しているが、両記憶装置１０３、１０４に検索機能を備える制御部を備え、外部からの検索要求に応じて検索結果を出力する独立型のデータベースシステム（ファイルサーバー）であっても良い。この場合には、画像サーバー１０の外部に画像データベースシステムが配置され、入出力インターフェース１０５を介して両者の間で検索要求および検索結果の送受信が実行される。また、データベース検索要求・検索結果受信用のプログラムがメモリ１０２に格納され、ＣＰＵ１０１によって実行される。なお、画像データと画像特徴量との対応付け、あるいは、単語と画像特徴量との対応付けは、各画像データと画像特徴量との対応関係を示すテーブル、あるいは、各単語と画像特徴量との対応関係を示すテーブルを用いることによって実現される。これらテーブルは、両記憶装置１０３、１０４に備えられていても良く、あるいは、メモリ１０２に格納されていても良い。前者の場合には、両記憶装置１０３、１０４がそれぞれ、受け取った単語に応じた画像特徴量を特定し、特定された画像特徴量に類似する画像データを読み出す。後者の場合には、両記憶装置１０３、１０４はそれぞれ、ＣＰＵ１０１から受け取った論理アドレスに従って、それぞれ画像特徴量または画像データを読み出すので、データベースが構築されていない記憶装置から画像データを検索するということもできる。

入出力インターフェース１０５は、外部装置、例えば、プリンタ３０、パーソナルコンピューター４０といったクライアントとの間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

画像データベース：
図３は本実施例における画像データベースの一例を示す説明図である。本実施例では、各画像データと、複数の画像特徴量とが対応付けて記憶装置１０３に格納されることによって画像データベースＤＢ１が構築されている。画像データベースＤＢ１は、例えば、前述のように、画像データと画像特徴量とを対応付ける管理テーブルによって実現されている。ここで、記憶装置１０３には、未だデータベース化されていない画像データが含まれていても良い。

画像データに対応付けられている画像特徴量には、例えば、オブジェクトの特徴点、彩度、形状、ＲＧＢ平均値等の画像特徴量の種類について、代表値、平均値、最小値、最大値、中央値といった画像特徴量の値が含まれる。また、画像特徴量の他の態様として、画像データに関連付けられているメタデータ等の記述情報が含まれる。なお、これら画像特徴量は、例えば、記憶装置１０３に格納されている画像データを順次取得し、周知の手法にて画像データを解析して所望の種類の画像特徴量の値を得たり、画像データに対応付けられているメタデータを分析することによって取得される。あるいは、記憶装置１０３に格納されるべき画像データを外部の記憶装置から記憶装置１０３に格納する際に、画像特徴量が取得される。取得された画像特徴量が、画像特徴量が取得された画像データと対応付けられて記憶装置１０３に格納されると、図３に示す画像データベースＤＢ１が得られる。なお、画像データベースＤＢ１において画像データに対応付けられている画像特徴量の種類は、単語−画像特徴量データベースＤＢ２において各単語に対応付けられている画像特徴量の全ての種類に対応していることが望ましい。

画像データベースＤＢ１を作成するにあたって実行される、画像データからの画像特徴量の取得は、画像データを構成する画素データに対して統計的な処理を施すことによって得られる。なお、画像データからの画像特徴量の取得の手法は、既に作成された画像データベースＤＢ１を利用する本実施例においては詳細な説明を要しないので、画像特徴量の抽出処理を特徴とする第２の実施例における第３の画像検索処理において説明する。

単語−画像特徴量データベース：
図４は本実施例における単語−画像特徴量データベースの一例を示す説明図である。なお、図４に示す単語−画像特徴量データベースＤＢ２は、一例であり、他の単語や、他の画像特徴量が含まれていても良い。本実施例では、単語と、一または複数の画像特徴量および値とが対応付けて記憶装置１０４に格納されることによって単語−識別子データベースＤＢ２が構築されている。図４の例では、単語（形態素）として、先週、札幌、赤い、車、アイルランド、黒い、ビールの各語が用いられている。

具体的には、各形態素には、品詞、基本形および画像特徴量がそれぞれ対応付けられている。Ｅｘｉｆ（撮影条件等を示すメタデータ）の撮影日時、ＧＰＳ情報は、画像データを含む画像ファイルのＥｘｉｆタグに記述されているＥｘｉｆ情報から取得することができる情報である。Ｅｘｉｆタグでは、予め記載されている情報とアドレスとが定められており、所望の情報に対応するアドレスをポイントすることで、所望の情報を取得することができる。ＲＧＢ平均値、オブジェクトの特徴点については、上述の通り、画像データを構成する画素データの値に対して統計的な処理を施すことによって得られる種類および値である。時間に関する単語である「先週」についてはＥｘｉｆの撮影日時が画像特徴量として対応付けられており、地名に関する単語である「札幌」、「アイルランド」にはＥｘｉｆのＧＰＳ情報が対応付けられている。なお、「先週」に対応付けられている撮影日時が「先週」を直接表すパラメータに該当するのではなく、撮影日時と検索日時との関係から、検索日時に対して撮影日時が「先週」に該当するか否かが演算処理される。一方、地名については、該当都市、国の代表的な緯度・経度情報が格納されている。画像特徴量である、「赤い」、「黒い」についてはそれぞれ赤、黒の基準となるＲＧＢ平均値が格納され、「車」、「ビール」についてはそれぞれオブジェクトの特徴点が格納されている。「オブジェクトの特徴点」とは、「オブジェクトの形状」、「オブジェクトの色」、「オブジェクトの相対的な大きさ」等を示す。たとえば、オブジェクトが「車」である場合、「車（オブジェクト）の特徴点」は、車の形状（オブジェクトの輪郭）が丸味を帯びているか否か、車の色（オブジェクトの色）が原色（Ｒ、Ｇ、Ｂ）に近いか否か、車の大きさ（オブジェクトの顔に対する相対的な大きさ）が大きいか否かの情報を示す。また、車種を「車（オブジェクト）の特徴点」とすることも可能である。

なお、単語−識別子データベースＤＢ２は、画像特徴量の種類のみを格納しているのではなく、各画像特徴量種毎に、単語に適当な画像特徴量の値が格納されていることは言うまでもない。画像特徴量の値としては、例えば、単語に応じて、代表値、平均値、最小値、最大値、中央値といった値が格納される。例えば、オブジェクトのＲＧＢ平均値には、単語に対応して、オブジェクト領域が有するべきＲＧＢ平均値が格納され、輝度の最大値には得られた画素値を輝度値に変換して得られた輝度値の内、最も高い輝度値が格納される。

これら画像特徴量の値は、感応試験、トライアンドエラー、経験則に基づいて人によって定められてもよく、あるいは、予め単語が対応付けられている複数の画像データを用いてコンピューターによって統計学的に定められても良い。コンピューターによる処理では、予め単語が対応付けられている複数の画像データの特徴量を複数取得し、各単語において特徴的な（例えば、所定の出現頻度以上の）特徴量種および値を単語−識別子データベースＤＢ２に格納すべき画像特徴量種および値とすれば良い。

図５は画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。メモリ１０２に格納されている各種プログラム、モジュールについて図５を用いて説明する。メモリ１０２は、本実施例に係る画像データベースから画像を検索するために実行される画像検索プログラムＳＰ１を格納している。

画像検索プログラムＳＰ１は、検索文字列取得モジュールＳＭ１１、形態素解析モジュールＳＭ１２、特徴量取得モジュールＳＭ１３、画像データ検索モジュールＳＭ１４、画像データ送信モジュールＳＭ１５を備えている。検索文字列取得モジュールＳＭ１１は、クライアントコンピューターであるプリンタ３０およびパーソナルコンピューター４０によって送信された検索文字列を取得するために実行されるモジュールである。なお、本実施例において、文字列とは複数の単語から構成される有意の単語群を意味し、さらに本実施例では、検索文字列として、日常使用されている自然な形の文章である自然文が用いられている。したがって、検索文字列取得モジュールＳＭ１１は、名詞、形容詞、助詞といった複数の単語から構成される文字列を受け付ける機能を有している。なお、本実施例は、自然文に該当しない文字列を用いた画像検索処理にも同様に適用することができる。

形態素解析モジュールＳＭ１２は、検索文字列取得モジュールＳＭ１１により受け取られた検索文字列に対して形態素解析を実行して文字列を１または複数の品詞単位の単語に分かち書きするためのモジュールである。形態素解析の定義は多義に亘るが、本実施例における形態素解析は、漢字仮名混じりの自然文を単語に分割する処理を意味し、自然文から単語を切り出す分かち書き、切り出した単語の品詞の同定、辞書にない語（未知語）の処理が実行される。分かち書き、品詞の特定処理では、一般的に、隣り合った形態素（単語）間の結合に関する規則と形態素情報とを記述した形態素辞書が用いられる。検索文字列取得モジュールＳＭ１１は、形態素解析によって得られた名詞、形容詞等をキーワードとして以降の処理に用いる。検索文字列取得モジュールＳＭ１１は、プリンタ３０等から画像が送信される場合には、送信された画像データに対応付けられているメタデータからキーワードを抽出、取得した上で、形態素解析を実行しても良い。なお、特許請求の範囲における、文字列を単語分割する処理は、上記形態素解析による文字列からの単語の切り出しおよび単語の品詞特定を含む処理である。

特徴量取得モジュールＳＭ１３は、形態素解析モジュールＳＭ１２によって得られた単語を用いて、単語−画像特徴量データベースＤＢ２から、対応する画像特徴量を取得する。具体的には、得られた単語に対応する画像特徴量の種類および値を取得する。

画像データ検索モジュールＳＭ１４は、特徴量取得モジュールＳＭ１３によって取得された、検索文字列に含まれる単語に対応する画像特徴量を用いて、画像データベースＤＢ１から対応する画像データを検索・取得するためのモジュールである。具体的には、画像データ検索モジュールＳＭ１４は、取得された画像特徴量と一致または類似する画像データを画像データベースＤＢ１から検索し、取得する。なお、画像特徴量の種別並びに値を取得する詳細な手法については後述する。

画像データ送信モジュールＳＭ１５は、検索文字列を送信したクライアントコンピューターであるプリンタ３０およびパーソナルコンピューター４０に対して、検索により得られた画像データを送信するためのモジュールである。

なお、検索文字列取得モジュールＳＭ１１、形態素解析モジュールＳＭ１２、特徴量取得モジュールＳＭ１３、画像データ検索モジュールＳＭ１４、画像データ送信モジュールＳＭ１５は、それぞれＣＰＵ１０１によって実行されることによって、文字列取得部、単語切り出し部、特徴量取得部、画像検索部、検索画像データ送信部として機能する。また、検索文字列取得モジュールＳＭ１１、形態素解析モジュールＳＭ１２、特徴量取得モジュールＳＭ１３、画像データ検索モジュールＳＭ１４、画像データ送信モジュールＳＭ１５は、それぞれハードウェアとして、例えば、半導体回路として実現されても良い。

プリンタの構成：
図６は本実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。図７は画像プリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。本実施例では、画像検索端末装置としてプリンタ３０を例にとって説明するが、パーソナルコンピューター４０についても同様に画像検索端末装置として用いることが可能であることは言うまでもない。なお、本実施例に係るプリンタ３０は、第２および第３の実施例においても同様に用いられ得る。プリンタ３０は、信号線によって互いに接続されている制御回路３１、入力操作部３２、表示部３３、印刷部３４、外部入出力インターフェース３５を備えている。制御回路３１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）３１０、メモリ３１１、入出力（Ｉ／Ｏ）インターフェース３１２を備えている。ＣＰＵ３１０は、メモリ３１１に格納されている各種プログラム、モジュールを実行する。メモリ３１１は、ＣＰＵ３１０によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ３１０による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ３１１としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、ハードディスクドライブ、大容量フラッシュメモリが用いられ得る。入出力インターフェース３１２は、制御回路３１と、入力操作部３２、表示部３３、印刷部３４および外部入出力インターフェース３５との間で、コマンド、データの送受信を実行する。入力操作部３２は、プリンタ３０に対してユーザが指示を入力するための操作部であり、例えば、ボタン、ホイールによって実現され得る。表示部３３は、ユーザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行うカラー表示可能な表示画面である。印刷部３４は、ユーザ（制御回路３１）からの印刷指示に従って印刷媒体に対して画像を形成する印刷実行部である。外部入出力インターフェース３５は、外部装置、例えば、画像サーバー１０との間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

メモリ３１１に格納されている各種プログラム、モジュールについて図７を用いて説明する。メモリ３１１は、画像サーバー１０に対して画像検索を要求するための画像検索要求プログラムＣＰ１を備え、画像検索要求プログラムＣＰ１は、検索文字列取得モジュールＣＭ１１、検索要求送信モジュールＣＭ１２、検索結果受信モジュールＣＭ１３を備えている。検索文字列取得モジュールＣＭ１１は、検索対象となる画像（画像データ）を特定するためにユーザによって入力された文字列を取得するために実行されるモジュールである。なお、文字列の取得は、入力操作部３２によって入力された文字列を取得しても良く、あるいは、画像データに予め関連付けられているメタデータに記述されている文字情報（キーワード）を抽出、取得することによって実行されても良い。さらには、文字列の取得は、入力操作部３２によって入力された文字列と画像データのメタデータに記述されているキーワードの双方を取得することによって実行されても良い。検索要求送信モジュールＣＭ１２は、取得された文字列と検索の要求を画像サーバー１０に対して送信するためのモジュールである。検索結果受信モジュールＣＭ１３は、画像サーバー１０から検索結果としての一または複数の画像データを取得するためのモジュールである。なお、画像検索要求プログラムＣＰ１、検索文字列取得モジュールＣＭ１１、検索要求送信モジュールＣＭ１２、検索結果受信モジュールＣＭ１３、それぞれＣＰＵ３１０によって実行されることによって、画像検索要求部、検索要求検索文字列取得部、検索要求送信部、検索結果受信部として機能する。

画像検索処理：
図８は本実施例に係る画像サーバーにおいて実行される画像検索処理の処理ルーチンを示すフローチャートである。図９は形態素の解析結果の第１の例を示す説明図である。図１０は形態素の解析結果の第２の例を示す説明図である。画像検索処理は、プリンタ３０等の検索端末装置からの検索要求を受けて、画像サーバー１０において実行される。本処理ルーチンが開始されると、検索文字列取得モジュールＳＭ１１は、検索に用いるべき文字列を取得する（ステップＳ１００）。検索文字列の取得は、ユーザによって、例えば、プリンタ３０の入力操作部３２を介して入力された文字列を取得することによって実現される。

検索文字列が取得されると、形態素解析モジュールＳＭ１２は、文字列を複数の形態素（単語）に分割し、単語を切り出す（ステップＳ１０２）。具体的には、形態素解析モジュールＳＭ１２は、形態素解析を実行して、文字列を複数の単語に分割する。形態素解析における単語分割パターンを選択する方法としては、文字列の先頭から解析を行い最も長い単語を選択する最長一致法、原文を構成する単語の総数が最も少ない候補パターンを選択する分割数最小法、品詞間の文法的接続可能性にも続く方法、品詞間の接続コストに基づく方法、統計的言語モデルに基づく方法が知られている。例えば、最長一致法を用いる場合には、先ず、形態素辞書に格納されている形態素（単語エントリ）の中で検索対象文字列と最も長く一致する単語エントリが検索され、検索された単語エントリが単語分割（分かち書き）の対象とされる。つぎに、単語分割候補とした単語エントリの文字列長だけ検証対象文字列に対するポインタが先頭位置から進められ、上述の手順で次の単語分割候補が得られる。得られた最新の単語エントリの素性と直前の単語エントリの素性に基づき両単語エントリが接続可能な関係にあるか否かが判定され、接続可能である場合には、単語の切り出しは正しく実行されたので、検索対象文字列の末尾に至るまで、切り出し、接続テストが繰り返し実行される。一方、接続不可能である場合には、最新の単語エントリの末尾の文字が捨てられ、単語分割候補の獲得、接続テストが実行される。接続不可の状態が繰り返されると、形態素辞書を検索する文字列長が０になってしまう。そこで、この場合には、直前の単語エントリの単語切り出しが誤っていた可能性があるので、直前の単語エントリの末尾の文字が捨てられ、改めて形態素辞書の検索、単語分割候補の取得が実行される。この一連の処理によって、形態素の切り出し（単語の分割）と形態素の素性（品詞）の決定が行われる。

なお、検索用の文字列に、複数の単語が含まれており、それぞれについて画像特徴量を取得することによって漏れのない画像検索を実現することができると共に、検索精度を向上させることができる。

図９および図１０を用いて形態素の解析結果の一例について説明する。図９の例では、検索文字列として、「先週札幌で見た赤い車」が用いられている。形態素解析によって、図９に示すように、各切り出された単語について、表記、読み、品詞、基本形、および全情報が得られる。図１０の例では、検索文字列として、「アイルランドの黒いビール」が用いられている。形態素解析によって、図１０に示すように各切り出された単語について、表記、読み、品詞、基本形、および全情報が得られる。

文字列から単語が取得（決定）されると、特徴量取得モジュールＳＭ１３は、単語−画像特徴量データベースＤＢ２から、対応する画像特徴量を取得する（ステップＳ１０４）。具体的には、得られた各単語に対して、図４に示す単語−画像特徴量データベースＤＢ２から対応する画像特徴量の種類および値が取得される。

各単語に対応する画像特徴量の種類および値が取得されると、画像データ検索モジュールＳＭ１４は、得られた画像特徴量の種類および値を用いて、画像データベースＤＢ１から切り出された単語に対応する画像データを検索する（ステップＳ１０６）。具体的には、得られた画像特徴量の種類および値と、画像データベースＤＢ１において各画像データに対応付けられている特徴量の種類および値とを用いて、単語に対応する画像データの類似度が判定され、算出された類似度が所定の範囲内、あるいは、所定の類似度以上である画像データを検索結果として得る。

各特徴量間の類似度の判定には、例えば、ユークリッド距離、マハラノビス距離といった距離算出方法が適用される。具体的には、単語−画像特徴量データベースＤＢ２から取得された各画像特徴量の値と、画像データベースＤＢ１において各画像データに対応付けられている各画像特徴量の値との間の距離、すなわち、単語に基づいて特定された各画像特徴量の値と画像データベースＤＢ１において各画像データに対応付けられている各画像特徴量に値によって表される多次元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。あるいは、単語に基づいて特定された各画像特徴量の値を成分とする多次元ベクトルと、画像データベースＤＢ１において各画像データに対応付けられている各画像特徴量の値を成分とする多次元ベクトルとの内積を求めて判断されても良い。この場合には、両多次元ベクトルのコサイン成分の差を求めるので、得られた内積の値が１に近いほど（両多次元ベクトル間の角度が０に近いほど）類似度が高いと判断することができる。

ユークリッド距離を用いる場合には、以下に示す式（１）および（２）によって類似度を算出することができる。

式（１）において（ｘi）は画像データベースＤＢ１における画像データの各画像特徴量の値、（ｙi）は単語−画像特徴量データベースＤＢ２から取得された各画像特徴量の値を示し、ｋiは重み付け係数（０ではない任意の値）を示す。式（２）においては理解を容易にするために、各特徴量種毎に求められた差分の合計値（距離）が類似度として用いられることを明示している。距離を用いた類似度判断では、算出結果が０に近いほど画像データと識別子とが類似していることを示すので、重要度の高い特徴量に対して大きな重み付け係数を付与することによって、当該特徴量に対する感度を高くして検索結果数を絞り込むことんでも良い。なお、類似度の算出にあたっては、各特徴量毎に式（１）に示す数式を用いて類似度を算出し、算出された類似度の単純和を用いても良い。

一方、内積を用いる場合には、以下の式（３）によって類似度を算出することができる。式（３）において係数は、各多次元ベクトルの成分に対して適用される。

類似度として内積を用いる場合にも、両多次元ベクトル間角度が０に近いほど画像データと識別子とが類似していることを示すので、複数の画像データにおいて共通または近似する値の特徴量に対して重み付けを大きくすることにより重要度の高い特徴量に関する感度を高くして検索結果を精選し、検索精度を向上させることができる。なお、画像データ検索の際に算出された類似度は、検索結果を表示する際に、文字列と検索結果との関連度を示す指標として表示されても良い。

画像データ送信モジュールＳＭ１５は、検索された画像データを、画像データ検索要求の送信元であるプリンタ３０に対して送信して（ステップＳ１０８）、本処理ルーチンを終了する。なお、送信元であるプリンタ３０の特定は、例えば、プリンタ３０から送信された画像検索要求のヘッダに含まれる送信元アドレス（ＩＰアドレス、ＭＡＣアドレス）を用いることによって特定可能である。なお、本実施例において、ネットワークを介して実行される各装置間の通信は、周知のネットワークプロトコルに従って実行される。

画像検索要求処理：
図１１は本実施例に係る画像検索要求処理に際して実行される処理ルーチンを示すフローチャートである。図１２は本実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。本処理ルーチンは、画像検索端末としてのプリンタ３０によって実行される。本処理ルーチンが開始されると、プリンタ３０の検索文字列取得モジュールＣＭ１１は、検索用の自然文文字列を取得する（ステップＳ２００）。具体的には、入力操作部３２を介してユーザによって入力された自然文の文字列、あるいは、検索元となる画像データに予め対応付けられているメタデータに記述されている文字情報（キーワード）を抽出することによって実行される。

検索文字列が取得されると、検索要求送信モジュールＣＭ１２は、画像サーバー１０に対して検索要求を送信する（ステップＳ２０２）。具体的には、外部入出力インターフェース３５、ネットワークＮＥを介して文字列と検索要求コマンドとを含む検索要求データ列が画像サーバー１０に送信される。検索結果受信モジュールＣＭ１３は、画像サーバー１０から受信した検索結果としての１または複数の画像データを取得し（ステップＳ２０４）、取得した画像データを用いて複数の画像を表示部３３に表示させて（ステップＳ２０６）、本処理ルーチンを終了する。なお、文字列の取得および送信に代えて、ユーザが指定した対象画像データを取得、送信しても良く、あるいは、文字列に加えて、対象画像データを取得し、送信しても良い。また、複数の画像を表示部３３に表示させる際には、図１２に示すように、各画像と検索に用いられた自然文文字列（および対象画像データ）との関連度を示す指標として関連度（または類似度）を表示部３３に表示しても良い。ここで、類似度は、画像データ検索の際に算出された類似度である。ただし、類似度は、類似している程小さな値を取り、直感的に類似の程度を把握し難い。そこで、類似度が高いほど値が大きくなる（一致する場合には１００％）関連度という百分率表示の指標を用いても良い。例えば、類似度として一般的に高い類似度を示す値域に対して１００％〜５０％までの値を一次関数によって割当て（但し、類似度０の場合に１００％をとる）、一般的に類似していないと判断される類似度に対しては、５０％未満の値を所定の規則に従って離散的に割り当てることによって関連度を得ても良い。あるいは、得られた類似度の逆数に正規化処理を施す等して関連度を得ても良い。

図１２の例では検索文字列として「先週札幌で見た赤い車」が用いられており、「先週札幌で見た赤い車」を検索文字列として検索した際に得られたキーワードと検索画像データの類似度に基づく関連度がそれぞれ表示されている。なお、複数の単語または単語に加えて対象画像データを用いて画像検索が行われた場合には、対応付けられている類似度のうち高い類似度、低い類似度または類似度の平均値に基づき算出された関連度が表示される。表示部３３に検索画像と共に関連度を表示することにより、ユーザは、用いた検索文字列が検索キーワードとして適切であったか否かを判定することが可能となり、検索結果に満足がいかない場合には、検索文字列を変更して再度、検索を実行することができる。なお、検索結果受信モジュールＣＭ１３には、検索結果表示制御モジュールの機能が包含されていても良く、あるいは、別途、検索結果表示制御モジュールが備えられていても良い。

以上説明した第１の実施例に係る画像サーバー、画像検索方法、プリンタ（画像検索端末装置）、画像検索システムによれば、複数の単語を含む文字列、自然文に基づいて画像データを検索することができる。すなわち、文字列、自然文から切り出された単語に基づいて単語−画像特徴量データベースＤＢ２から検索に用いるべき画像特徴量を取得し、取得した画像特徴量を用いて画像データを検索することができる。したがって、検索用のキーワードを考えることなく、思いついた自然文を用いて画像を検索することができる。したがって、ユーザが望む検索結果を得ることが可能となり、検索精度を向上させることができる。

第１の実施例における画像検索処理では、文字列に含まれる単語が複数存在する場合であっても、各単語について対応する画像特徴量を取得して画像検索が実行されるので、検索時に用いられる画像特徴量の種類が増え、画像検索精度を向上させることができる。複数の単語を用いた画像検索を許容することによって、所定の単語と、当該所定の感性語と反対の意味を有する単語とが入力された場合には、検索結果として得られる画像数が増大することになるため、ユーザは検索文字列の入力に誤りがあったことを認識することができる。

第２の実施例：
第１の実施例では、検索文字列として、自然文を対象とし、自然文から切り出された単語を用いて単語−特徴量データベースＤＢ２から対応する画像特徴量を求め、求めた画像特徴量と、画像データベースＤＢ１に格納されている画像データの画像特徴量とを用いて画像検索が実行された。これに対して、第２の実施例では、自然文から切り出された、感性語と名詞との組合せに基づいて、画像検索を行う。

図１３は第２の実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。図１４は第２の実施例に係る感性語・名詞−画像特徴量データベースの一例を示す説明図である。なお、図１４に示す感性語・名詞−画像特徴量データベースＤＢ２は、一例であり、他の感性語および名詞の組合せや、他の画像特徴量が含まれていても良い。第２の実施例に係る画像サーバー１０は、第１の実施例に係る画像サーバー１０が備えていた単語−特徴量データベースＤＢ２に代えて、感性語・名詞−特徴量データベースＤＢ２Ａを備える点において、第１の実施例に係る画像サーバー１０と異なる。ただし、第２の実施例に係る画像サーバー１０のその他の構成は、第１の実施例に係る画像サーバー１０と同様の構成であるから、第１の実施例において用いた符号を用いることで、詳細な説明は省略する。

感性語・名詞−画像特徴量データベース：
本実施例では、感性語および名詞の組合せと、複数の画像特徴量および値とが対応付けて記憶装置１０４に格納されることによって感性語・名詞−識別子データベースＤＢ２が構築されている。図１４の例では、感性語として、懐かしい、かっこいい、華やかな、若々しいの各語が用いられており、感性語と組み合わせて用いられる名詞として、車と人が用いられている。

名詞の「車」、「人」には、主要な被写体の特徴に併せて、それぞれ、「オブジェクトの特徴点」、「顔の形状」が画像特徴量の種別に含まれている。「オブジェクトの特徴点」とは、「オブジェクトの形状」、「オブジェクトの色」、「オブジェクトの相対的な大きさ」等を示す。たとえば、オブジェクトが「車」である場合、「車（オブジェクト）の特徴点」は、車の形状（オブジェクトの輪郭）が丸味を帯びているか否か、車の色（オブジェクトの色）が原色（Ｒ、Ｇ、Ｂ）に近いか否か、車の大きさ（オブジェクトの顔に対する相対的な大きさ）が大きいか否かの情報を示す。また、車種を「車（オブジェクト）の特徴点」とすることも可能である。なお、「顔の形状」は、「オブジェクトの形状」のうち「顔」に対応する具体的な形状であり、広義には「オブジェクトの形状」に含まれる概念であるということができる。オブジェクトの形状および顔の形状の値には、感性語および名詞の組合せに対応して、オブジェクト（主要被写体）、あるいは顔が取るべきオブジェクト領域の高さおよび幅を表す座標軸上の寸法値（画素数）、輪郭の座標値の平均値が格納されている。

感性語の「懐かしい」には、車および人の双方に共通して、画像データの生成日時情報、例えば、メタデータの一種であるＥｘｉｆ情報に含まれる撮影日時情報が対応付けられている。撮影日時情報として、例えば、１０年、２０年前の日時を設定することによって、所定の日時に生成された画像データを判別することができる。感性語の「華やかな」には、車および人の双方に共通して、華やかさを示す指標として好適な彩度、一般的には鮮やかな彩度が対応付けられている。一方で、図４に示す例から理解されるように、個々の感性語と名詞との組合せには、それぞれ異なる画像特徴量の複数種類の組合せが対応付けられており、感性語・名詞−識別子データベースＤＢ２は、感性語のみによって構築されたデータベースではない。すなわち、組み合わされる名詞によって画像特徴量の種類は異なり、この結果、感性語に基づいて実行される画像検索において問題となっていた、統一感のない、あるいは系統立っていない検索結果の発生を防止、低減することができる。

なお、感性語・名詞−識別子データベースＤＢ２は、画像特徴量の種類のみを格納しているのではなく、各画像特徴量種毎に、感性語＋名詞に適当な画像特徴量の値が格納されていることは言うまでもない。画像特徴量の値としては、例えば、感性語および名詞の組合せに応じて、代表値、平均値、最小値、最大値、中央値といった値が格納される。例えば、オブジェクトのＲＧＢ平均値には、感性語および名詞の組合せに対応して、オブジェクト領域が有するべきＲＧＢ平均値が格納され、顔のテクスチャには、感性語および名詞の組合せに対応して、顔領域が取るべき空間周波数の値が格納され、表情、年齢および性別には、感性語および名詞の組合せに対応して、顔領域上における目口鼻眉等の器官が取るべき座標軸上の距離（座標成分の差分値）、座標位置の平均値が格納されている。なお、年齢および性別については、顔領域のテクスチャ、色相、エッジ量といった他の画像特徴量種の値が複合的に組み合わせていても良い。服装の形状については、感性語および名詞の組合せに対応して、服装領域の高さおよび幅を表す座標軸上の寸法値（画素数）の平均値が格納され、服装の彩度としては、感性語および名詞の組合せに対応して、服装の領域が取るべき彩度が格納されている。アイドルとの類似度を示す画像特徴量としては、複数のアイドルについて顔の器官位置（座標位置）の平均値が用いられる。自分と知人との類似度（親密度）は、例えば、個人的な画像データベースにおいて有効な画像特徴量であり、類似度の場合には各知人の顔の器官位置の値（平均値）、親密度の場合にはユーザ（自分）と知人とが含まれている画像データにおける自分と知人との（平均）距離（座標成分の差分値）が用いられる。なお、親密度の場合には、知人を特定するために、知人の顔の器官位置の値（平均値）についても、「懐かしい・人」の画像特徴量として含まれていることが望ましい。

顔の向きについては、感性語および名詞の組合せに対応して、顔領域における目と口との間の座標間距離（座標成分の差分値）および両目の間の座標間距離、口および目の大きさを表す座標間距離として取るべき値の平均値、顔領域上における目・口の座標位置の平均値、あるいは、顔の上下左右方向の振り角度の平均値が格納されている。色相、彩度および明度としては、一般的に、ＨＳＶ色空間におけるＨ（色相）、Ｓ（彩度）およびＶ（明度）の値が格納されている。

Ｅｘｉｆの情報としては、撮影日時の他にも、撮影位置を特定可能なＧＰＳ、夜景、風景、ポートレートといった撮影シーンを特定可能な撮影モードといった情報が、感性語および名詞の組合せに応じて画像特徴量として格納され得る。

これら画像特徴量の値は、感応試験、トライアンドエラー、経験則に基づいて人によって定められてもよく、あるいは、予め感性語＋名詞の組合せが対応付けられている複数の画像データを用いてコンピューターによって統計学的に定められても良い。コンピューターによる処理では、予め感性語＋名詞の組合せが対応付けられている複数の画像データの特徴量を複数取得し、各感性語＋名詞の組合せにおいて特徴的な（例えば、所定の出現頻度以上の）特徴量種および値を感性語・名詞−識別子データベースＤＢ２に格納すべき画像特徴量種および値とすれば良い。

なお、画像サーバー１０において、感性語・名詞の分割処理は、形態素解析モジュールＳＭ１２によって実行されることはいうまでもない。特徴量取得モジュールＳＭ１３は、形態素解析によって得られた感性語および名詞を用いて、感性語・名詞−画像特徴量データベースＤＢ２から、対応する画像特徴量を取得する。具体的には、得られた感性語および名詞の組合せに対応する画像特徴量の種類および値を取得する。

画像データ検索モジュールＳＭ１４は、特徴量取得モジュールＳＭ１３によって取得された、検索キーワードに含まれる感性語＋名詞の組合せに対応する画像特徴量を用いて、画像データベースＤＢ１から対応する画像データを検索・取得する。具体的には、画像データ検索モジュールＳＭ１４は、取得された画像特徴量と一致または類似する画像データを画像データベースＤＢ１から検索し、取得する。なお、画像特徴量の種別並びに値を取得する詳細な手法については第３の画像検索処理において詳述する。

なお、画像サーバー１０は、クライアントコンピューターであるプリンタ３０およびパーソナルコンピューター４０から検索文字列と共に、あるいは、検索文字列に代えて送られてくる画像データを取得するための画像データ取得モジュールを備えても良い。また、画像サーバー１０は、検索文字列と共に送信されてきた画像データの画像特徴量を抽出する特徴量抽出モジュールを備えても良い。抽出すべき画像特徴量の種類は、画像データベースＤＢ１において画像データに対応付けられている画像特徴量の種類と同数または一般的に用いられる色相、彩度、明度、平均輝度、エッジ量等の画像特徴量である。さらに、画像サーバー１０は、検索文字列に代えて、プリンタ３０等から送信された画像データから検索用の文字情報（キーワード）を検索するキーワード検索モジュールを備えても良い。キーワード検索モジュールは、画像データに関連付けられているメタデータに含まれる文字列をキーワードとして抽出する。なお、抽出された文字列には、感性語・名詞が含まれていることが望ましいので、キーワード検索モジュールＳＭ１８は上述の形態素解析を実行して、感性語・名詞が含まれる文字列のみをキーワードとして抽出しても良い。なお、抽出した文字列に感性語・名詞が含まれていない場合には、プリンタ３０等に対して文字入力による感性語・名詞を含むキーワード入力が要求されてもよく、あるいは、感性語・名詞を用いた画像検索を実行せず、画像データから画像特徴量を抽出して、画像特徴量に基づく画像検索が実行されても良い。

画像データ取得モジュール、特徴量抽出モジュールおよびキーワード検索モジュールＳＭは、それぞれＣＰＵ１０１によって実行されることによって、画像取得部、特徴量抽出部、キーワード検索部として機能する。また、画像データ取得モジュール、特徴量抽出およびキーワード検索モジュールは、それぞれハードウェアとして、例えば、半導体回路として実現されても良い。

画像検索処理：
図１５は第２の実施例に係る画像サーバーにおいて実行される第１の画像検索処理の処理ルーチンを示すフローチャートである。画像検索処理は、プリンタ３０等の検索端末装置からの検索要求を受けて、画像サーバー１０において実行される。本処理ルーチンが開始されると、検索文字列取得モジュールＳＭ１１は、検索に用いるべき文字列を取得する（ステップＳ３００）。検索文字列の取得は、ユーザによって、例えば、プリンタ３０の入力操作部３２を介して入力された文字列を取得することによって実現される。

検索文字列が取得されると、形態素解析モジュールＳＭ１２は、文字列を感性語と名詞とに分割する（ステップＳ３０２）。具体的には、形態素解析モジュールＳＭ１２は、形態素解析を実行して、文字列を感性語および名詞に分割する。形態素解析における単語分割パターンを選択する方法は、第１の実施例において述べたとおりであるから説明を省略する。

なお、検索用の文字列には、感性語および名詞のみ、が含まれていることが望ましいが、他の品詞が含まれている場合であっても、上記した形態素解析を実行することによって、文字列に含まれる品詞が特定され得る。また、文字列には、感性語と名詞との組合せは複数、例えば、感性語が複数含まれていても良い。感性語と名詞の組合せが複数存在する場合には、可能性のある感性語および名詞の組合せを用いることによって、それぞれについて画像特徴量を取得することによって漏れのない画像検索を実現することができると共に、検索精度を向上させることができる。

文字列から感性語および名詞の組合せが取得（決定）されると、特徴量取得モジュールＳＭ１３は、感性語・名詞−画像特徴量データベースＤＢ２Ａから、対応する画像特徴量を取得する（ステップＳ３０４）。具体的には、感性語・名詞の組合せを検索キーとして、図１４に示す感性語・名詞−画像特徴量データベースＤＢ２から対応する画像特徴量の種類および値が取得される。

感性語および名詞の組合せに対応する画像特徴量の種類および値が取得されると、画像データ検索モジュールＳＭ１４は、得られた画像特徴量の種類および値を用いて、画像データベースＤＢ１から感性語および名詞の組合せに対応する画像データを検索する（ステップＳ３０６）。具体的には、得られた画像特徴量の種類および値と、画像データベースＤＢ１において各画像データに対応付けられている特徴量の種類および値とを用いて、感性語および名詞の組合せに対応する画像データの類似度が判定され、算出された類似度が所定の範囲内、あるいは、所定の類似度以上である画像データを検索結果として得る。

各特徴量間の類似度の判定は、第１の実施例において述べたとおりであるから説明を省略する。画像データ送信モジュールＳＭ１５は、検索された画像データを、画像データ検索要求の送信元であるプリンタ３０に対して送信して（ステップＳ３０８）、本処理ルーチンを終了する。なお、送信元であるプリンタ３０の特定は、例えば、プリンタ３０から送信された画像検索要求のヘッダに含まれる送信元アドレス（ＩＰアドレス、ＭＡＣアドレス）を用いることによって特定可能である。なお、本実施例において、ネットワークを介して実行される各装置間の通信は、周知のネットワークプロトコルに従って実行される。

・第２の画像検索処理：
図１６は第２の実施例に係る画像サーバーにおいて実行される第２の画像検索処理の処理ルーチンを示すフローチャートである。第２の画像検索処理では、検索用の文字列として、プリンタ３０等から送信された文字列を直接用いず、プリンタ３０等から送信された画像データから文字列を抽出して検索用のキーワードを得る点において第１の画像検索処理と異なる。したがって、第１の画像検索処理において説明した処理ステップと同一の処理ステップについては、第１の画像検索処理において用いたステップ番号と同一の番号を付すことで詳細な説明は省略し、第１の画像検索処理における処理ステップとは異なる処理ステップを中心に以下、説明する。

本処理ルーチンが開始されると、キーワード検索モジュールは、検索に用いるべき文字列をプリンタ３０から送信された画像データから取得する（ステップＳ３０１）。具体的には、プリンタ３０から送信された画像データに対応付けられているメタデータに記述されている文字列からキーワードを取得することによって実現される。ここで、メタデータとは、画像データに関連付けられている、画像データの内容、特性等を示す情報を意味し、例えば、タグ、ヘッダ等の形式にて画像データに関連付けられている。

キーワードが取得されると、画像サーバー１０は、プリンタ３０から文字列が送信される場合と同様にして、キーワードを感性語と名詞に分割し（ステップＳ３０２）、分割により得られた感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースＤＢ２Ａから対応する１または複数種類の画像特徴量の値を取得する（ステップＳ３０４）。画像サーバー１０は、取得した画像特徴量を用いて画像データベースＤＢ１から類似する画像データを検索し（ステップＳ３０６）、検索により得られた画像データをプリンタ３０に対して送信して（ステップＳ３０８）、本処理ルーチンを終了する。なお、ステップＳ３０２からステップＳ３０６は、第１の画像検索処理と同様にして実行されるので、詳細な説明は省略する。

・第３の画像検索処理：
図１７は第２の実施例に係る画像サーバーにおいて実行される第３の画像検索処理の処理ルーチンを示すフローチャートである。第３の画像検索処理では、検索用の文字列として、プリンタ３０等から文字列が送信されると共に、検索の対象（キー）となる画像データも送信される点において第１の画像検索処理と異なる。したがって、第１の画像検索処理において説明した処理ステップと同一の処理ステップについては、第１の画像検索処理において用いたステップ番号と同一の番号を付すことで詳細な説明は省略し、第１の画像検索処理における処理ステップとは異なる処理ステップを中心に以下、説明する。

本処理ルーチンが開始されると、キーワード検索モジュールは、検索に用いるべき文字列をプリンタ３０から送信された画像データから取得し（ステップＳ３００）、画像データ取得モジュールは、プリンタ３０から検索のキーとなる対象画像データを取得する（Ｓ１３１ａ）。すなわち、第３の画像検索処理では、文字列からなる検索用キーワードに加えて、ユーザが検索したいと考える対象画像の画像データが検索キーの１つとして、プリンタ３０から画像サーバー１０に対して送信される。

キーワードおよび対象画像データを取得すると、画像サーバー１０は、キーワードを感性語と名詞に分割し（ステップＳ３０２）、分割により得られた感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースＤＢ２Ａから対応する１または複数種類の画像特徴量の値を取得する（ステップＳ３０４）。

画像サーバー１０の特徴量抽出モジュールは、取得した対象画像データから画像特徴量を抽出する（ステップＳ３０５）。対象画像データから抽出、取得される画像特徴量の種類（種別）としては、例えば、画像データの平均輝度、最小輝度、最高輝度、代表色の色相、彩度および明度、画像に占める代表色の割合、画像データに含まれる顔の形状、顔の大きさ、顔のテクスチャ、顔の向き、顔の表情、エッジ量、エッジの方向位置、オブジェクトの特徴点、オブジェクトの形状、顔領域に基づく性別・年齢・表情、アイドルとの類似度、服装の形状・彩度、自分と知人との類似度（親密度）が含まれる。画像特徴量の抽出にあたっては、以下に述べるように各種類について、それぞれ値が求められる。画像データがＲＧＢドットマトリクスデータである場合を例にとって説明すると、画像データを構成する全ての画素データ、または所定量の画素データ間引き後に残存する画素データ（サンプリング画素データ）を用いて各画像特徴量種について値が求められる。例えば、画像データを構成する全ての画素データからＲ、Ｇ、Ｂの成分値（８ビット階調の場合には、０〜２５５の値を取り得る）が求められると、求められたＲ、Ｇ、Ｂ成分値を、横軸にＲ、Ｇ、Ｂ成分値の値（階調値とも言う）と、縦軸に出現頻度を有するグラフ上にプロットすることによって各Ｒ、Ｇ、Ｂ成分の頻度分布（ヒストグラム）が得られる。輝度のヒストグラムは、周知の変換式を用いて、求められたＲ、Ｇ、Ｂ成分値をＹ成分値（輝度成分値）に変換し、変換により得られたＹ成分値を、横軸にＹ成分値の値（階調値とも言う）と、縦軸に出現頻度を有するグラフ上にプロットすることによって得られる。平均輝度は、各画素データについて得られたＹ成分値の合計値を画素データ数で除することによって得られ、最小輝度および最大輝度は、輝度ヒストグラムのおける最小輝度値およぎ最大輝度値を特定することによって得られる。オブジェクトの彩度、服装の彩度等が必要な場合には、後述するようにオブジェクト（服装を含む）を特定した上で、オブジェクトを構成する画素データを用いて上述した処理を実行すれば良い。

代表色の色相、彩度および明度は、画像データまたは間引き後の画像データをＲＧＢ値からＨＳＶ値に変換し、変換後に得られたＨ（色相）、Ｓ（彩度）およびＶ（明度）についてそれぞれ縦軸に出現頻度、横軸に各成分の値を有するヒストグラムを作成し、最も頻度の高い色相値、彩度値、および明度値をそれぞれ代表色の色相、彩度および明度として特定すれば良い。なお、ＲＧＢ色空間−ＨＳＶ色空間の変換処理については周知であるから詳細な説明を省略する。

エッジ量およびエッジの方向については、例えば、周知の３×３Prewittオペレータ、５×５Prewittオペレータを用いることによってエッジ量およびエッジ角度を算出することができる。

オブジェクト（主要被写体）の領域（顔領域）は、画像を構成する画素のうち、画素値、例えば、ＲＧＢ三成分値が互いに近似する隣接画素あるいは所定の色相（顔領域の場合には一般的には肌色）範囲に属する隣接画素をグループ化することによって画定することができる。また、画像の全領域に対してＸ−Ｙ座標軸を設定することによって、画像中におけるオブジェクトの位置、形状、大きさを座標位置（座標成分）に基づいて特定することができる。すなわち、オブジェクトの位置、形状、大きさの画像特徴量としては、座標位置（座標成分）が取得される。また、顔領域における目口鼻等の器官位置についてもエッジ検出処理後に、座標位置、座標間距離を得ることによって特定することができる。この前提の下、顔の大きさ、形状については、画定された顔領域の幅および高さの座標間距離が求められる。顔の向きについては、顔領域における目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを表す座標間距離が取得される。すなわち、正面を向いた顔領域における目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値として予め用意しておき、例えば、画定された顔領域における目と口との間の座標間距離が基準値よりも短く、口の大きさが基準値よりも大きい場合には上向きの顔画像であると判断することが可能となり、画定された顔領域における目と口との間の座標間距離が基準値と同等であり、両目の座標間距離が基準値よりも小さく、右目の大きさが基準値よりも大きい場合には左向きの顔画像であると判断することが可能となる。また、各基準値に対する、画定顔領域の目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値の差分と顔の角度とを予め対応付けておくことによって、顔の上下左右方向の振り角度を得ることもできる。

顔の形状、顔の表情、顔に基づく性別、年齢については、顔の輪郭および器官の座標成分が取得される。画像の解析によって得られた器官の座標成分と、予め顔の喜怒哀楽の表情、年齢、性別と対応付けられている座標成分（感性語・名詞−画像特徴量データベースＤＢ２に格納されている値）とが対比されることによって、顔の形状、顔の表情、顔に基づく性別、年齢を特定することができる。顔領域のテクスチャについては、画定された顔領域に対して周波数解析を実行することによって得られる。画定された顔領域に対する周波数解析は、２次元フーリエ変換式を用いて、画定された顔領域を構成する各画素データの周波数を求めることによって実行される。一般的に、得られた周波数成分に低周波数成分が多く含まれる場合には、滑らかな画像であることを示し、高周波数成分が多く含まれる場合には、滑らかでない画像であることを示す。

オブジェクトの特徴点については、既述の「オブジェクトの形状」、「オブジェクトの色」、「オブジェクトの相対的な大きさ」等を求めることによって取得される。具体的には、例えば、「オブジェクトの形状」は、既知の技術により画像から抽出された輪郭（エッジ）から取得することができる。「オブジェクトの色」は、前記輪郭で囲まれる画像領域のＲＧＢ値、または画像に付帯している合焦位置情報を利用して合焦位置周辺のＲＧＢ値から取得することができる。「オブジェクトの相対的な大きさ」は、画像中に顔と認識された画像領域がある場合、顔画像領域と前記輪郭で囲まれる画像領域との大きさを比較することにより取得することができる。アイドルとの類似度を示す画像特徴量としては、顔の器官位置（座標成分）が取得され、自分と知人との類似度（親密度）では、各オブジェクトにおける顔の器官位置が取得され、親密度の場合にはユーザ（自分）と知人とが含まれている画像データにおける自分と知人との距離（座標成分）が取得される。

Ｅｘｉｆの撮影日時は、画像データに関連付けられているメタデータであるＥｘｉｆタグから取得可能である。すなわち、本実施例における画像特徴量の取得は、複数の画素データからなる画像データから取得された各画素データの成分値の取得、および取得された成分値に対して統計的な処理を施した統計的な値の取得のみならず、画像データに関連付けられているメタデータからの画像に関する情報の取得を含む概念である。

画像サーバー１０は、文字列に基づき感性語・名詞−画像特徴量データベースＤＢ２Ａから取得した画像特徴量および対象画像データから抽出した画像特徴量を用いて画像データベースＤＢ１から類似する画像データを検索し（ステップＳ３０６）する。画像データの検索にあたっては、名詞−画像特徴量データベースＤＢ２Ａから取得した画像特徴量および対象画像データから抽出した画像特徴量が用いられるが、類似度の算出処理は第１の画像検索処理と同様に実行することができる。すなわち、式（１）において、パラメータ（ｙi）として、感性語・名詞−画像特徴量データベースＤＢ２Ａから取得された各画像特徴量の値および対象画像データから抽出された各画像特徴量の値を用いればよい。この際、重複する画像特徴量の種類について、感性語・名詞−画像特徴量データベースＤＢ２Ａから取得された各画像特徴量の値および対象画像データから抽出された各画像特徴量の全てが用いられても良く、あるいは、対象画像データから抽出された画像特徴量が優先して用いられても良い。画像特徴量種の重複を問わず全ての画像特徴量種が用いられる場合には検索精度を向上させることができる。また、対象画像データから抽出された画像特徴量が優先して用いられる場合には、ユーザが検索キーとして選択した画像データの特徴量に基づいた画像検索が可能となるので、ユーザが意図した検索結果を提供しやすい。なお、対象画像データから抽出された画像特徴量を優先して用いるとは、重複する画像特徴量種については、対象画像データから抽出された画像特徴量のみを用いる態様、または、対象画像データから抽出された画像特徴量の比重が大きくなるように重み付け係数を乗じる態様を意味する。

画像サーバー１０は、検索により得られた画像データをプリンタ３０に対して送信して（ステップＳ３０８）、本処理ルーチンを終了する。なお、ステップＳ３０２、ステップＳ３０４、ステップＳ３０８は、第１の画像検索処理と同様にして実行されるので、詳細な説明は省略する。

以上説明した第２の実施例に係る画像サーバー、画像検索方法、プリンタ（画像検索端末装置）、画像検索システムによれば、感性語と名詞の組合せを検索キーとして画像データを検索することができる。すなわち、感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースＤＢ２Ａから検索に用いるべき画像特徴量を取得し、取得した画像特徴量を用いて画像データを検索することができる。したがって、感性語にのみ基づいた画像検索技術において問題となる、統一感のない、あるいは、系統立っていない検索結果の派生を防止または低減することができる。すなわち、感性語に併せて名詞を検索キーとして用いることによって、検索対象を系統化することが可能となり、統一感のある検索結果を得ることができると共に、ユーザが望む検索結果を得ることが可能となり、検索精度を向上させることができる。

また、第２の画像検索処理では、ユーザが選択した画像データから検索キーワードを取得または抽出して画像検索が行われるので、検索文字列の入力を要することなくユーザの意図を反映した検索結果を得ることができる。

さらに、第３の画像検索処理では、ユーザが入力した検索文字列に加えて、ユーザが選択した画像データの特徴量を用いて画像検索が行われるので、検索文字列のみでは表すことができないユーザの意図を反映した検索結果を得ることができる。すなわち、ユーザが選択した画像データが有する画像特徴量に基づく画像検索が可能となるので、検索文字列による画像検索の検索精度を更に向上させることができる。

本実施例の画像検索処理では、感性語および名詞のいずれか一方が複数存在する場合であっても、各感性語と名詞の組合せについて対応する画像特徴量を取得して画像検索が実行されるので、検索時に用いられる画像特徴量の種類が増え、画像検索精度を向上させることができる。複数の感性語を用いた画像検索を許容することによって、複数の感性語として、所定の感性語と、当該所定の感性語と反対の意味を有する感性語とが入力された場合には、検索結果として得られる画像数が増大することになるため、ユーザは検索文字列の入力に誤りがあったことを認識することができる。

第３の実施例：
図１８は、第３の実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。図１９は、第３の実施例に係る画像データベースの一例を示す説明図である。図２０は、第３の実施例に係る単語−識別子データベースの一例を示す説明図である。図１８に示すように、第３の実施例に係る画像サーバー１０は、第１の実施例に係る画像サーバー１０が備えていた単語−特徴量データベースＤＢ２に代えて、単語−識別子データベースＤＢ３を備え、画像データベースＤＢ１に代えて、画像データベースＤＢ１Ａを備える点において、第１の実施例に係る画像サーバー１０と異なる。ただし、第３の実施例に係る画像サーバー１０のその他の構成は、第１の実施例に係る画像サーバー１０と同様の構成であるから、第１の実施例において用いた符号を用いることで、詳細な説明は省略する。

第１の実施例では、自然文から切り出された単語に対応付けられている画像特徴量と、画像データベースＤＢ１に格納されている画像データに対応付けられている画像特徴量とを用いて、画像検索が行われた。これに対して、第３の実施例では、画像データと識別子とを予め対応付けて構築されている画像データベースＤＢ１Ａと、単語−識別子データベースＤＢ３から取得された、自然文から切り出された単語に対応付けられている識別子を用いて画像検索が行われる。ただし、画像データベースＤＢ１Ａを構築する際には対象画像データの画像特徴量に基づいて識別子が付与されるので、画像特徴量を間接的に用いた画像検索であるということができる。また、本実施例は、第２の実施例、すなわち、感性語と名詞との組合せを用いた画像検索に対しても適用可能であることは言うまでもない。

・画像データベース
図１９に示すように、本実施例では、各画像データと、唯一的な識別子と、関連度とが対応付けて記憶装置１０３に格納されることによって画像データベースＤＢ１Ａが構築されている。画像データベースＤＢ１Ａは、画像特徴量に代えて識別子および任意で関連度と対応付けられている点で、第１の実施例における画像データベースＤＢ１と異なるが、複数の画像データに関するデータベースである点において変わりはない。ここで、関連度は、既述のように類似度に基づいて求められた、識別子または単語（キーワード）と画像データとの関連性の強さを示すための指標値である。本実施例では、識別子を特定することによって対応する画像データを直ちに検索することが可能であり、切り出された単語または画像の特徴量を用いた類似度の判定を行わなくて良い。また、各識別子に対する画像データの類似度についても予め対応付けられているため、計算処理を実行することなく類似度を得ることができる。画像データベースＤＢ１Ａは、例えば、画像データと識別子と類似度とを対応付ける管理テーブルによって実現されている。なお、類似度は対応付けられていなくても良い。自然文の文字列には複数の単語が含まれており、複数の単語によって画像が表現されることが少なくない。したがって、図１９に示すように、１つの画像データに対して、（単語に対応した）複数の識別子が対応付けられている場合もある。

画像データベースＤＢ１Ａの構築にあたっては、識別子と画像特徴量と単語とを対応付けている識別子−特徴量−単語データベースが用いられる。すなわち、画像データベースＤＢ１Ａに加える対象画像データから一または複数の画像特徴量を抽出し、抽出した抽出画像特徴量と、識別子−特徴量−単語データベースに格納されているデータベース画像特徴量との類似度を判定し、最も高い類似度を示すデータベース画像特徴量に対応付けられている識別子を対象画像データに対応付けることによって画像データベースＤＢ１Ａが構築される。画像特徴量の抽出・取得の態様、類似度の判定手法については、既述の通りであるから説明を省略する。一方、画像データベースＤＢ１Ａの構築に用いられる、識別子−特徴量−単語データベースの構築にあたっては、各単語に対応する画像特徴量の値が、感応試験、トライアンドエラー、経験則といった人の感性に従って決定されても良く、あるいは、予め単語が対応付けられている複数の画像データを用いてコンピューターによって統計学的に定められても良い。コンピューターによる処理では、予め単語が対応付けられている複数の画像データの特徴量を複数取得し、各単語において特徴的な（例えば、所定の出現頻度以上の）特徴量種および値を識別子−特徴量−単語データベースに格納すべき画像特徴量種および値とすれば良い。

・単語−識別子データベース
図２０に示すように、単語−識別子データベースＤＢ３では、各単語に対して、唯一的な識別子がそれぞれ対応付けられている。各単語と識別子との対応付けは、画像データベースＤＢ１Ａを構築する際に用いられる、識別子と画像特徴量と単語とを対応付けている識別子−特徴量−単語データベースにおける、単語と識別子との対応関係に倣って行われる。図２０の例では、各単語に対してそれぞれ唯一的な識別子が対応付けられている。

画像検索処理：
図２１は第３の実施例に係る画像検索処理に際して実行される処理ルーチンを示すフローチャートである。本実施例における画像検索処理では、識別子を用いて画像データを検索する点において第１の実施例における画像検索処理と異なる。したがって、第１の実施例の画像検索処理において説明した処理ステップと同一の処理ステップについては、第１の実施例の画像検索処理において用いたステップ番号と同一の番号を付すことで詳細な説明は省略し、第１の実施例の画像検索処理における処理ステップとは異なる処理ステップを中心に以下、説明する。

本実施例における画像検索処理は、プリンタ３０等の検索端末装置からの検索要求を受けて、画像サーバー１０において実行される。本処理ルーチンが開始されると、検索文字列取得モジュールＳＭ１１は、検索に用いるべき文字列を取得する（ステップＳ１００）。検索文字列の取得は、ユーザによって、例えば、プリンタ３０の入力操作部３２を介して入力された文字列を取得することによって実現される。

検索文字列が取得されると、形態素解析モジュールＳＭ１２は、文字列を複数の形態素（単語）に分割し、検索用の単語を切り出す（ステップＳ１０２）。検索キーワードに相当する各単語が切り出されると、識別子取得モジュールは、単語−識別子データベースＤＢ３を用いて、取得した各単語に対応する識別子を検索、取得する（ステップＳ１０５）。具体的には、単語−識別子データベースＤＢ３に含まれる単語リストの中から検索に用いられた単語に一致する単語と対応付けられている識別子が検索される。なお、本実施例では、自然文が検索用文字列として用いられているので、一回の画像検索処理において、各単語に対応する複数の識別子が検索・取得され得る。

ここで、単語−識別子データベースＤＢ３と識別子−特徴量−単語データベースとは定期的に同期処理されていることが望ましい。すなわち、単語−識別子データベースＤＢ３における識別子と単語の対応関係と、識別子−特徴量−単語データベースにおける識別子と単語との対応関係とが対応していない場合には、単語に基づいて適切な識別子を検索することができなくなり、結果として画像検索精度の低下をもたらすからである。あるいは、単語−識別子データベースＤＢ３と、識別子−特徴量−単語データベースとは同一のデータベースとして構築されても良い。すなわち、識別子−画像特徴量−単語（単語群）が対応付けられている１つのデータベースを用いても良い。この場合には、画像データベースＤＢ１Ａを構築する際に用いられる特徴量−識別子（−単語）データベースとしても用いることが可能となり、画像検索に際して用いられる単語−識別子データベースＤＢ３との間における内容の同期作業が不要となり、また、画像データベースを作成するための作成装置の構成を簡易にすることができる。

識別子が検索されると、画像データ検索モジュールＳＭ１３は、検索された識別子を用いて画像データベースＤＢ１Ａから画像データを検索する（ステップＳ１０７）。すなわち、本実施例では、画像データベースＤＢ１Ａから画像データを検索するに当たり、画像データの特徴量を用いた類似度判定を行うことなく、検索された識別子を用いて画像データの検索が実行される。上述のように、本実施例では複数の識別子が検索されるので、検索された各識別子に対応する識別子と対応付けられている画像データが、画像データベースＤＢ１Ａから検索される。なお、画像データの検索にあたっては、キーとなる単語に対応付けられている識別子に優先順位を付与して、優先順位の高い識別子と対応付けられている画像データを優先的（選択的）に検索するようにしても良い。また、検索された全ての識別子のうち、より多くの識別子と対応付けられている画像データを検索するようにしても良く、更に、優先順位の高い識別子を含む、より多くの識別子と対応付けられている画像データを検索するようにしても良い。

本実施例では、検索された画像データには、識別子に対する類似度が対応付けられている。したがって、画像データベースＤＢ１Ａから画像データを迅速に検索することができると共に、検出された画像データとキーワードとの間の類似度を取得することができる。

画像データ送信モジュールＳＭ１４は、検索された画像データを、画像データ検索要求の送信元であるプリンタ３０に対して送信して（ステップＳ１０８）、本処理ルーチンを終了する。なお、送信元であるプリンタ３０の特定は、例えば、プリンタ３０から送信された画像検索要求のヘッダに含まれる送信元アドレス（ＩＰアドレス、ＭＡＣアドレス）を用いることによって特定可能である。なお、本実施例において、ネットワークを介して実行される各装置間の通信は、周知のネットワークプロトコルに従って実行される。

以上説明した本実施例に係る画像検索装置（画像サーバー）、画像検索方法、プリンタ（画像検索端末装置）、画像検索システムによれば、画像データベースＤＢ１Ａは識別子と画像データとを対応付けて格納しており、識別子に基づいて画像データを検索することができる。すなわち、画像検索時において、従来用いられていた検索対象画像データおよび被検索画像データからの特徴量の抽出、両画像データの特徴量を用いた類似度の算出を実行する必要が無くなる。

また、本実施例では、画像検索に際して、予め単語に対応付けられている識別子を検索し、検索された識別子を用いて画像データを検索することができるので、画像データの検索速度および検索精度を更に向上させることができる。すなわち、画像検索時において、従来用いられていた画像特徴量の抽出、類似度の算出を実行する必要が無くなり、また、各単語に対応する複数の識別子が検索に用いられるので、検索文字列としての自然文に即した（適合した）画像データを検索することが可能となり、画像データの検索を迅速かつ精度良く実行することができる。

単語−識別子データベースＤＢ３の他の例：
図２２は第３の実施例における単語−識別子データベースの他の例を示す説明図である。図２２に示す単語−識別子データベースＤＢ３Ａは、一の識別子に対して同一の概念を形成する複数の単語が対応付けられている点において、単語−識別子データベースＤＢ３とは異なる。すなわち、複数の単語を、上位概念となる代表的な代表単語ＲＫ１〜ＲＫ４に属する単語群として扱い、単語または画像特徴量との対応付けにあたっては、代表単語ＲＫ１〜ＲＫ４が用いられる。代表単語ＲＫ１〜ＲＫ４に属する単語群は、上位概念的な単語（例えば、ソフトドリンク）から具体的な単語（例えば、オレンジジュース）にいたるよう階層化されていることが望ましい。

このように、画像検索時に用いられる単語−識別子データベースＤＢ３Ａとして、１の識別子に階層的な複数の単語から構成される単語群が対応付けられているデータベースを用いることによって、ユーザによって入力される文字列に表現の揺らぎ、文字列に含まれる単語に同義語が存在する場合であっても、一致する識別子を精度良く検索することができる。すなわち、単語群として上位概念から下位概念に亘る階層的な単語を備えているので抽象的な単語に対しても対応できると共に、同義語、関連する複数の単語を備えているので、ユーザによって異なる単語の表現に対応することができる。この結果、画像サーバー１０は、表現の揺らぎ、同義語を考慮した同義語データベースの検索処理を行うことなく、識別子を用いて画像検索を実行することができる。

また、画像データベースＤＢ１Ａ作成の際に用いられる識別子−特徴量−単語データベースでは、１つの識別子に対して複数の特徴量が対応付けられている（数多くの画像データが対応付けられている）ので、従来の検索対象画像データと被検索画像データとの対比処理と比較して、より多くの画像データを迅速かつ精度良く検索することができる。

さらに、単語として新たな候補語が生まれた場合にも、対応する単語群のリストを更新（すなわち、対応する単語群に加える）ことにより、対処可能であり、識別子を新たに付与したり、識別子を変更する必要が無く、単語−識別子データベースＤＢ３Ａ、特徴量−識別子データベースのメンテナンスを容易に行うことができる。さらに、異なるデータベースでは一般的に固有のキーワードが用いられているが、本実施例によれば、これら異なるデータベースを統合する際にも、従前の各データベースに固有のキーワードを維持しつつ、単一の識別子を対応付けることが可能となり、キーワードの変更、更新等の作業を要することなくデータベースを統合することができる。また、画像検索端末装置であるプリンタ３０においても、検索文字列に対して同義語等の付加情報を加えることなく、検索文字列のみを画像サーバー１０に送信すれば良い。したがって、検索文字列の揺らぎに起因する検索精度の低下を防止、抑制すると共に、検索文字列の揺らぎに起因する画像検索時間についても時間削減を図ることができる。

・変形例：
（１）上記実施例では、画像検索端末装置としてプリンタ３０を例にとって説明したが、パーソナルコンピューター４０も同様にして用いることができる。パーソナルコンピューター４０は、表示ディスプレイ４１と入力装置（キーボード、マウス）４２とを備えている。

（２）上記実施例における第２の画像検索処理では、画像サーバー１０において、画像検索端末装置としてのプリンタ３０から送信された画像データから検索キーワードが取得されているが、プリンタ３０において画像データに対応付けられているメタデータから検索キーワードを取得し、取得したキーワードが画像サーバー１０に対して送信されても良い。この場合には、画像サーバー１０では、上記実施例における第１の画像検索処理と同様の処理が実行される。

（３）上記実施例では、画像サーバー１０として、クライアントからの要求に応じての画像データベースを検索するサーバーコンピューターを例にとって画像検索処理について説明したが、プリンタ３０、パーソナルコンピューター４０において実行されても良い。例えば、パーソナルコンピューター４０の記憶装置に格納されているローカルな画像データベースに対して上記した画像データ検索が実行されも良い。また、プリンタ３０に大容量記憶装置が備えられている場合には、上記した画像検索方法は、プリンタ３０におけるローカルな画像データ検索に適用されても良い。すなわち、画像サーバーはネットワークに接続されていない、スタンドアローンのパーソナルコンピューターまたはプリンタが有する機能の一部、さらにはコンピュータープログラム、コンピュータープログラムが格納されたコンピューター読み取り可能媒体として実現されても良い。この場合には、パーソナルユースにおける画像データ検索の利便性、すなわち、検索速度の向上、検索精度の向上、検索の容易化を実現することができる。なお、コンピューター読み取り可能媒体としては、ＣＤ、ＤＶＤ、ハードディスクドライブ、フラッシュメモリといった種々の記録媒体を用いることができる。

（４）上記実施例では、画像検索を例にとって説明したが、その他のコンテンツ、例えば、映像、音楽、ゲーム、電子書籍についても同様に適用し得る。映像の特徴量は画像と同様にして、また、キーワードはメタデータから抽出することにより取得可能であり、音楽の特徴量については曲調検出技術を適用することにより、またキーワードについてはメタデータから抽出することにより可能であり、ゲームについてはメタデータ等に基づいてキーワードを取得可能であり、電子書籍については頻出語彙を分析することにより特徴量を取得可能である。

（５）上記実施例では、画像サーバー１０から受け取った検索結果は、プリンタ３０において表示のための処理が施され、表示部３３に表示されているが、画像サーバー１０において表示用の検索結果データを作成し、プリンタ３０に対して送信しても良い。画像サーバー１０からの検索結果データをプリンタ３０にて表示するための手法としては、例えば、画像サーバー１０にＷｅｂサーバー機能を実装し、プリンタ３０にＷｅｂブラウザを実装する手法がある。この手法によれば、汎用的なＨＴＴＰプロトコルに従って、ＨＴＭＬデータベースの表示を行うことができる。

（６）上記実施例では、文字列が複数の感性語を含む場合についても画像検索処理が実行される例について説明したが、画像サーバー１０は、文字列として、１つの感性語および１つの名詞のみを含む文字列のみを受け付けても良く、あるいは、１つの感性語（名詞の数は不問）のみを含む文字列のみを受け付けても良い。画像サーバー１０は、これらに該当しない文字列を受け取った場合には、クライアントコンピューターであるプリンタ３０等に対して、文字列の再入力を要求しても良く、あるいは、検索を実行しない旨の通知を送信しても良い。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

ＩＳＳ…画像検索システム
１０…サーバーコンピューター（画像サーバー）
１０１…ＣＰＵ
１０２…メモリ
１０３…第１の記憶装置
１０４…第２の記憶装置
１０５…入出力インターフェース
３０…プリンタ
３１…制御回路
３１０…ＣＰＵ
３１１…メモリ
３１２…入出力インターフェース
３２…入力操作部
３３…表示部
３４…印刷部
３５…外部入出力インターフェース
４０…パーソナルコンピューター
４１…表示ディスプレイ
４２…入力装置
ＣＰ１…画像検索要求プログラム
ＣＭ１１…検索文字列取得モジュール
ＣＭ１２…検索要求送信モジュール
ＣＭ１３…検索結果受信モジュール
ＮＥ…ネットワーク
ＳＰ１…画像検索プログラム
ＳＭ１１…検索文字列取得モジュール
ＳＭ１２…形態素解析モジュール
ＳＭ１３…特徴量取得モジュール
ＳＭ１４…画像データ検索モジュール
ＳＭ１５…画像データ送信モジュール
ＤＢ１、ＤＢ１Ａ…画像データベース
ＤＢ２…単語−特徴量データベース
ＤＢ２Ａ…感性語・名詞−特徴量データベース
ＤＢ３、ＤＢ３Ａ…単語−識別子データベース

Claims (8)

1. 画像検索装置であって、
   複数の単語を含む検索用の文字列を取得する文字列取得部と、
   前記取得した文字列を用いて、画像の特徴を示す特徴量を取得する特徴量取得部と、
   前記取得した特徴量を用いて、特徴量が対応付けられた複数の画像を格納する画像データベースから前記文字列に対応する画像を検索する画像検索部とを備える、画像検索装置。
2. 請求項１に記載の画像検索装置において、
   前記文字列は自然文であり、
   前記画像検索装置は更に、
   前記取得した文字列からキーワードとなる単語を切り出す単語切り出し部と、
   前記キーワードとなる単語と、画像の特徴を示す特徴量とを対応付けて格納する単語−特徴量データベースとを備え、
   前記特徴量取得部は、前記切り出しにより得られた単語を用いて、前記単語−特徴量データベースから、検索に使用すべき特徴量を取得する、
   画像検索装置。
3. 請求項２に記載の画像検索装置において、
   前記キーワードとなる単語は、感性語および名詞であり、
   前記単語−特徴量データベースは、感性語と名詞の組合せと、特徴量とを対応付けて格納しており、
   前記特徴量取得部は、前記切り出しにより得られた感性語と名詞の組合せを用いて、前記単語−特徴量データベースから、検索に使用すべき特徴量を取得する
   画像検索装置。
4. 請求項３に記載の画像検索装置において、
   前記単語−特徴量データベースは、前記特徴量の種別および前記特徴量の値を前記単語に対応付けて格納しており、
   前記特徴量取得部は前記単語に基づいて、前記検索に使用すべき特徴量の種別と値とを取得する
   画像検索装置。
5. 請求項２から４のいずれかに記載の画像検索装置はさらに、
   キーワードと識別子とを対応付けて格納するキーワード−識別子データベースと接続されており、
   前記画像データベースは、識別子と画像特徴量とを画像に対応付けて格納しており、
   前記画像取得部は、前記取得されたキーワードとなる単語を用いて、前記キーワード−識別子データベースから対応する識別子を取得し、前記画像特徴量に代えて、取得した識別子を用いて前記画像データベースから画像を取得する、画像検索装置。
6. 請求項１から４のいずれかに記載の画像検索装置において、
   前記画像検索装置は、特徴量が対応付けられた複数の画像と格納する画像データベースと接続されており、
   前記画像検索部は、前記取得した特徴量と、前記画像データベースに格納されている各前記の特徴量との類似度を算出して画像を検索する
   画像検索装置。
7. 請求項１から６のいずれかに記載の画像検索装置において、
   前記特徴量取得部は、前記取得された文字列に複数の単語が含まれている場合には、各単語に対応する特徴量をそれぞれ取得し、
   前記画像検索部は前記取得された各特徴量について画像を検索する
   画像検索装置。
8. 画像検索方法であって、
   複数の単語を含む検索用の文字列を取得し、
   前記取得した文字列を用いて、画像の特徴を示す特徴量を取得し、
   前記取得した特徴量を用いて、特徴量が対応付けられた複数の画像を格納する画像データベースから前記文字列に対応する画像を検索する、
   画像検索方法。

Images