JP2011065499A - 画像検索装置および画像検索方法 - Google Patents

Abstract

【課題】感性語を含むキーワードを用いた検索における検索精度の向上を図ること。
【解決手段】画像サーバー１０は、感性語・名詞の組合せと画像特徴量とが予め対応付けられている感性語・名詞−画像特徴量データベースを備えている。画像サーバー１０は、プリンタ３０から検索キーワードを含む検索要求を受信し、受信したキーワードから感性語と名詞を分割取得し、取得した感性語と名詞の組合せに対応付けられている画像特徴量を感性語・名詞−画像特徴量データベースから取得するする。画像サーバー１０は取得した画像特徴量を用いて画像データベースから対応する画像データを検索する。画像サーバー１０は検索した画像データをプリンタ３０に対して送信する。
【選択図】図１

Description

本発明は、画像データベースを用いた画像検索技術に関する。

ネットワークを介して、所望の画像を検索するための技術が実用化されている。例えば、キーワード（文字列）を用いた画像検索を実現するために、画像に対してタイトル、コメントといった付帯情報（文字列情報）を対応付けて格納する画像データベースが提案されている。キーワードを用いた画像検索では、「きれい」、「かわいい」といった感性語を含むキーワードが用いられることがある。検索用語句として用いられる感性語の種類はそれほど多くないため、感性語のキーワードに感性語が含まれる場合、従来の画像検索では、感性語のみを用いた画像検索が行われていた。感性語のみに基づく画像検索では、検索結果に統一性がなく、また、検索対象が限定され、検索精度が良いとは言えなかった。

感性語を用いた画像検索におけるこの問題に対して、キーワードに含まれる感性語を感性パターンと対応付けておき、感性パターンに基づいて画像検索することで検索対象を広げる技術が提案されている（例えば、特許文献１）。

特開２０００−１１２９５６号公報

しかしながら、依然として感性語に基づいて画像検索が実行されることに変わりなく、統一性のある検索結果を得ることができず、ユーザが所望する、キーワードに即した検索結果を得ることができなかった。

なお、これらの問題は、画像の検索のみならず、映像、音楽、ゲーム、電子書籍といったコンテンツの検索においても同様に発生し得る課題である。

本発明は、上記課題の少なくとも一部を解決するためになされたものであり、感性語を含むキーワードを用いた検索における検索精度の向上を目的とする。

上記課題の少なくとも一部を解決するために、本発明は以下の種々の態様を採る。

第１の態様は、画像検索装置を提供する。第１の態様に係る画像検索装置は、キーワードを取得するキーワード取得部と、前記取得したキーワードを名詞と感性語とに分割する分割部と、感性語および名詞の組合せと、画像の特徴を示す特徴量とを対応付けて格納する感性語・名詞−特徴量データベースと、前記分割により得られた名詞と感性語との組合せを用いて、前記感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得する特徴量取得部と、前記取得した特徴量を用いて画像を検索する画像検索部とを備える。

第１の態様に係る画像検索装置によれば、キーワードから分割により得られた名詞と感性語との組合せを用いて、感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得し、取得した特徴量を用いて画像を検索するので、感性語を含むキーワードを用いた検索における検索精度を向上させることができる。

第１の態様に係る画像検索装置において、前記感性語・名詞−特徴量データベースは、前記特徴量の種別および前記特徴量の値を前記感性語および名詞の組合せに対応付けて格納しており、前記特徴量取得部は前記名詞と感性語との組合せに基づいて、前記検索に使用すべき特徴量の種別と値とを取得しても良い。この場合には、各感性語と名詞の組合せに適切に対応する特徴量を規定することが可能となり、検索精度を向上させることができる。

第１の態様に係る画像検索装置はさらに、画像を取得する画像取得部と、前記取得した画像から複数の特徴量を抽出する特徴量抽出部を備え、前記画像検索部は、前記取得した特徴量に加えて、更に前記抽出した特徴量を用いて画像を検索しても良い。この場合には、キーワードに基づいて取得された特徴量に加えて画像から抽出された特徴量を用いることができるので、ユーザの意図に沿った検索結果を提供することが可能となり、検索精度を向上させることができる。

第１の態様に係る画像検索装置はさらに、画像を取得する画像取得部と、前記取得した画像を用いてキーワードを検索するキーワード検索部とを備え、前記キーワード取得部は、前記キーワード検索部によって検索されたキーワードを取得しても良い。この場合には、画像に基づいて検索キーワードを取得することが可能となり、検索キーワードの入力を要することなく画像検索を実行することができる。

第１の態様に係る画像検索装置において、前記特徴量取得部は、前記取得されたキーワードに複数の感性語が含まれている場合には、各感性語に対応する特徴量をそれぞれ取得し、前記画像検索部は前記取得された各特徴量について画像を検索しても良い。この場合には、より多くの特徴量を用いて画像検索を実行することができので、検索精度を向上させることができる。また、複数の感性語が含まれていても、名詞と組み合わされて特徴量が取得されるので、系統だった検索結果を得ることができる。

第１の態様に係る画像検索装置において、前記画像検索装置は、特徴量が対応付けられた複数の画像と格納する画像データベースと接続されており、前記画像検索部は、前記取得した特徴量と、前記画像データベースに格納されている各前記の特徴量との類似度を算出して画像を検索しても良い。この場合には、画像データベースから対応する画像を検索することができる。

第２の態様は、画像検索方法を提供する。第２の態様に係る画像検索方法は、キーワードを取得し、前記取得したキーワードを名詞と感性語とに分割し、前記分割により得られた名詞と感性語との組合せを用いて、感性語および名詞の組合せと、画像の特徴を示す特徴量と、を対応付けて格納する感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得し、前記取得した特徴量を用いて画像を検索することを備える。

第２の態様に係る画像検索方法によれば、第１の態様に係る画像検索装置と同様の作用効果を得ることができると共に、第１の態様に係る画像検索装置と同様にして種々の態様にて実現され得る。

第２の態様に係る画像検索方法は、画像検索プログラムとして実現され得ると共に、画像検索プログラムが記録されたコンピューター読み取り可能な媒体として実現され得る。

本実施例に係る画像検索システムの概略構成を示す説明図である。 本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。 本実施例に係る画像データベースの一例を示す説明図である。 本実施例に係る感性語・名詞−特徴量データベースの一例を示す説明図である。 本実施例に係る画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。 本実施例に係るプリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係る画像サーバーにおいて実行される第１の画像検索処理の処理ルーチンを示すフローチャートである。 本実施例に係る画像サーバーにおいて実行される第２の画像検索処理の処理ルーチンを示すフローチャートである。 本実施例に係る画像サーバーにおいて実行される第３の画像検索処理の処理ルーチンを示すフローチャートである。 本実施例に係るプリンタにおいて実行される画像検索要求処理の処理ルーチンを示すフローチャートである。 本実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。

以下、本発明に係る画像検索システム、画像サーバー、画像検索方法、画像検索端末装置としてのプリンタ、パーソナルコンピューターについて、図面を参照しつつ、実施例に基づいて説明する。

第１の実施例：
図１は本実施例に係る画像検索システムの概略構成を示す説明図である。本実施例に係る画像検索システムＩＳＳは、画像サーバーとしてのサーバーコンピューター１０、プリンタ３０、パーソナルコンピューター４０を備えている。サーバーコンピューター１０と、プリンタ３０およびパーソナルコンピューター４０とはネットワークＮＥを介して双方向通信可能に接続されている。ネットワークは、インターネットであっても良く、イントラネットであっても良い。

サーバーコンピューター１０は、１または複数の特徴量とそれぞれ対応付けられている複数の被検索画像データを格納し、クライアントコンピューターからの検索要求に応じて画像の検索を実行する。したがって、サーバーコンピューターは画像データベースを有する画像サーバー、画像データを検索する画像検索装置であると言うことができる。プリンタ３０およびパーソナルコンピューター４０は、画像サーバー１０に対して画像検索を要求するクライアントコンピューターまたは画像検索端末装置と呼ぶことができる。パーソナルコンピューター４０は、表示ディスプレイ４１並びにキーボードおよびマウスといった入力装置４２を備えている。

画像サーバーの構成：
図２は本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。画像サーバー１０は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１０１、メモリ１０２、画像データベースＤＢ１が構築されている第１の記憶装置１０３、感性語・名詞−特徴量データベースＤＢ２が構築されている第２の記憶装置１０４および入出力インターフェース１０５を備えている。ＣＰＵ１０１は、メモリ１０２に格納されている各種プログラム、モジュールを実行する。メモリ１０２は、ＣＰＵ１０１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１０１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ１０２としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、不揮発的にデータを記録可能な磁気式のハードディスクドライブ、大容量フラッシュメモリが用いられ得る。

第１および第２の記憶装置１０３、１０４は、例えば、ハードディスクドライブ、フラッシュメモリドライブといった１または複数の大容量記憶装置によって構成されている。すなわち、両記憶装置１０３、１０４は、１つの大容量記憶装置を論理的に２つの記憶装置とすることによって実現されても良く、あるいは、物理的に異なる２つの記憶装置であっても良い。第１の記憶装置１０３には、複数の画像データがそれぞれ複数の画像特徴量と対応付けて格納されている画像データベースＤＢ１が構築されている。第２の記憶装置１０４には、感性語および名詞（の組合せ）と、画像特徴量とが対応付けて格納されている感性語・名詞−特徴量データベースＤＢ２が構築されている。ここで、感性語は、評価や印象を表す形容詞、形容詞句であることが一般的に知られている。なお、画像データが機器上で出力（表示、印刷）された態様が画像であるが、請求項において処理対象となる画像は画像データを意味することは当業者にとって自明な事項である。

なお、本実施例では、単に画像データと画像特徴量とを対応付けて第１の記憶装置１０３に構築されているデータベース、単に感性語・名詞と画像特徴量とを対応付けて第２の記憶装置１０４に構築されているデータベースである場合を例にとって説明しているが、両記憶装置１０３、１０４に検索機能を備える制御部を備え、外部からの検索要求に応じて検索結果を出力する独立型のデータベースシステム（ファイルサーバー）であっても良い。この場合には、画像サーバー１０の外部に画像データベースシステムが配置され、入出力インターフェース１０５を介して両者の間で検索要求および検索結果の送受信が実行される。また、データベース検索要求・検索結果受信用のプログラムがメモリ１０２に格納され、ＣＰＵ１０１によって実行される。なお、画像データと画像特徴量との対応付け、あるいは、感性語・名詞と画像特徴量との対応付けは、各画像データと画像特徴量との対応関係を示すテーブル、あるいは、各感性語・名詞と画像特徴量との対応関係を示すテーブルを用いることによって実現される。これらテーブルは、両記憶装置１０３、１０４に備えられていても良く、あるいは、メモリ１０２に格納されていても良い。前者の場合には、両記憶装置１０３、１０４がそれぞれ、受け取った感性語・名詞に応じた画像特徴量を特定し、特定された画像特徴量に類似する画像データを読み出す。後者の場合には、両記憶装置１０３、１０４はそれぞれ、ＣＰＵ１０１から受け取った論理アドレスに従って、それぞれ画像特徴量または画像データを読み出すので、データベースが構築されていない記憶装置から画像データを検索するということもできる。

入出力インターフェース１０５は、外部装置、例えば、プリンタ３０、パーソナルコンピューター４０といったクライアントとの間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

画像データベース：
図３は本実施例における画像データベースの一例を示す説明図である。本実施例では、各画像データと、複数の画像特徴量とが対応付けて記憶装置１０３に格納されることによって画像データベースＤＢ１が構築されている。画像データベースＤＢ１は、例えば、前述のように、画像データと画像特徴量とを対応付ける管理テーブルによって実現されている。ここで、記憶装置１０３には、未だデータベース化されていない画像データが含まれていても良い。

画像データに対応付けられている画像特徴量には、例えば、オブジェクトの特徴点、彩度、形状、ＲＧＢ平均値等の画像特徴量の種類について、代表値、平均値、最小値、最大値、中央値といった画像特徴量の値が含まれる。また、画像特徴量の他の態様として、画像データに関連付けられているメタデータ等の記述情報が含まれる。なお、これら画像特徴量は、例えば、記憶装置１０３に格納されている画像データを順次取得し、周知の手法にて画像データを解析して所望の種類の画像特徴量の値を得たり、画像データに対応付けられているメタデータを分析することによって取得される。あるいは、記憶装置１０３に格納されるべき画像データを外部の記憶装置から記憶装置１０３に格納する際に、画像特徴量が取得される。取得された画像特徴量が、画像特徴量が取得された画像データと対応付けられて記憶装置１０３に格納されると、図３に示す画像データベースＤＢ１が得られる。なお、画像データベースＤＢ１において画像データに対応付けられている画像特徴量の種類は、感性語・名詞−画像特徴量データベースＤＢ２において各感性語および名詞の組合せに対応付けられている画像特徴量の全ての種類に対応していることが望ましい。

画像データベースＤＢ１を作成するにあたって実行される、画像データからの画像特徴量の取得は、画像データを構成する画素データに対して統計的な処理を施すことによって得られる。なお、画像データからの画像特徴量の取得は、第３の画像検索処理において説明する、画像特徴量の抽出処理と同様であり、後述する。

感性語・名詞−画像特徴量データベース：
図４は本実施例における感性語・名詞−画像特徴量データベースの一例を示す説明図である。なお、図４に示す感性語・名詞−画像特徴量データベースＤＢ２は、一例であり、他の感性語および名詞の組合せや、他の画像特徴量が含まれていても良い。本実施例では、感性語および名詞の組合せと、複数の画像特徴量および値とが対応付けて記憶装置１０４に格納されることによって感性語・名詞−識別子データベースＤＢ２が構築されている。図４の例では、感性語として、懐かしい、かっこいい、華やかな、若々しいの各語が用いられており、感性語と組み合わせて用いられる名詞として、車と人が用いられている。

名詞の「車」、「人」には、主要な被写体の特徴に併せて、それぞれ、「オブジェクトの特徴点」、「顔の形状」が画像特徴量の種別に含まれている。「オブジェクトの特徴点」とは、「オブジェクトの形状」、「オブジェクトの色」、「オブジェクトの相対的な大きさ」等を示す。たとえば、オブジェクトが「車」である場合、「車（オブジェクト）の特徴点」は、車の形状（オブジェクトの輪郭）が丸味を帯びているか否か、車の色（オブジェクトの色）が原色（Ｒ、Ｇ、Ｂ）に近いか否か、車の大きさ（オブジェクトの顔に対する相対的な大きさ）が大きいか否かの情報を示す。また、車種を「車（オブジェクト）の特徴点」とすることも可能である。なお、「顔の形状」は、「オブジェクトの形状」のうち「顔」に対応する具体的な形状であり、広義には「オブジェクトの形状」に含まれる概念であるということができる。オブジェクトの形状および顔の形状の値には、感性語および名詞の組合せに対応して、オブジェクト（主要被写体）、あるいは顔が取るべきオブジェクト領域の高さおよび幅を表す座標軸上の寸法値（画素数）、輪郭の座標値の平均値が格納されている。

感性語の「懐かしい」には、車および人の双方に共通して、画像データの生成日時情報、例えば、メタデータの一種であるＥｘｉｆ情報に含まれる撮影日時情報が対応付けられている。撮影日時情報として、例えば、１０年、２０年前の日時を設定することによって、所定の日時に生成された画像データを判別することができる。感性語の「華やかな」には、車および人の双方に共通して、華やかさを示す指標として好適な彩度、一般的には鮮やかな彩度が対応付けられている。一方で、図４に示す例から理解されるように、個々の感性語と名詞との組合せには、それぞれ異なる画像特徴量の複数種類の組合せが対応付けられており、感性語・名詞−識別子データベースＤＢ２は、感性語のみによって構築されたデータベースではない。すなわち、組み合わされる名詞によって画像特徴量の種類は異なり、この結果、感性語に基づいて実行される画像検索において問題となっていた、統一感のない、あるいは系統立っていない検索結果の発生を防止、低減することができる。

なお、感性語・名詞−識別子データベースＤＢ２は、画像特徴量の種類のみを格納しているのではなく、各画像特徴量種毎に、感性語＋名詞に適当な画像特徴量の値が格納されていることは言うまでもない。画像特徴量の値としては、例えば、感性語および名詞の組合せに応じて、代表値、平均値、最小値、最大値、中央値といった値が格納される。例えば、オブジェクトのＲＧＢ平均値には、感性語および名詞の組合せに対応して、オブジェクト領域が有するべきＲＧＢ平均値が格納され、顔のテクスチャには、感性語および名詞の組合せに対応して、顔領域が取るべき空間周波数の値が格納され、表情、年齢および性別には、感性語および名詞の組合せに対応して、顔領域上における目口鼻眉等の器官が取るべき座標軸上の距離（座標成分の差分値）、座標位置の平均値が格納されている。なお、年齢および性別については、顔領域のテクスチャ、色相、エッジ量といった他の画像特徴量種の値が複合的に組み合わせていても良い。服装の形状については、感性語および名詞の組合せに対応して、服装領域の高さおよび幅を表す座標軸上の寸法値（画素数）の平均値が格納され、服装の彩度としては、感性語および名詞の組合せに対応して、服装の領域が取るべき彩度が格納されている。アイドルとの類似度を示す画像特徴量としては、複数のアイドルについて顔の器官位置（座標位置）の平均値が用いられる。自分と知人との類似度（親密度）は、例えば、個人的な画像データベースにおいて有効な画像特徴量であり、類似度の場合には各知人の顔の器官位置の値（平均値）、親密度の場合にはユーザ（自分）と知人とが含まれている画像データにおける自分と知人との（平均）距離（座標成分の差分値）が用いられる。なお、親密度の場合には、知人を特定するために、知人の顔の器官位置の値（平均値）についても、「懐かしい・人」の画像特徴量として含まれていることが望ましい。

顔の向きについては、感性語および名詞の組合せに対応して、顔領域における目と口との間の座標間距離（座標成分の差分値）および両目の間の座標間距離、口および目の大きさを表す座標間距離として取るべき値の平均値、顔領域上における目・口の座標位置の平均値、あるいは、顔の上下左右方向の振り角度の平均値が格納されている。色相、彩度および明度としては、一般的に、ＨＳＶ色空間におけるＨ（色相）、Ｓ（彩度）およびＶ（明度）の値が格納されている。

Ｅｘｉｆの情報としては、撮影日時の他にも、撮影位置を特定可能なＧＰＳ、夜景、風景、ポートレートといった撮影シーンを特定可能な撮影モードといった情報が、感性語および名詞の組合せに応じて画像特徴量として格納され得る。

これら画像特徴量の値は、感応試験、トライアンドエラー、経験則に基づいて人によって定められてもよく、あるいは、予め感性語＋名詞の組合せが対応付けられている複数の画像データを用いてコンピューターによって統計学的に定められても良い。コンピューターによる処理では、予め感性語＋名詞の組合せが対応付けられている複数の画像データの特徴量を複数取得し、各感性語＋名詞の組合せにおいて特徴的な（例えば、所定の出現頻度以上の）特徴量種および値を感性語・名詞−識別子データベースＤＢ２に格納すべき画像特徴量種および値とすれば良い。

図５は画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。メモリ１０２に格納されている各種プログラム、モジュールについて図５を用いて説明する。メモリ１０２は、本実施例に係る画像データベースから画像を検索するために実行される画像検索プログラムＳＰ１を格納している。

画像検索プログラムＳＰ１は、キーワード取得モジュールＳＭ１１、感性語・名詞分割モジュールＳＭ１２、特徴量取得モジュールＳＭ１３、画像データ検索モジュールＳＭ１４、画像データ送信モジュールＳＭ１５、画像データ取得モジュールＳＭ１６、特徴量抽出モジュールＳＭ１７およびキーワード検索モジュールＳＭ１８を備えている。キーワード取得モジュールＳＭ１１は、クライアントコンピューターであるプリンタ３０およびパーソナルコンピューター４０によって送信された検索キーワードを取得するために実行されるモジュールである。本実施例では、検索キーワードには感性語と名詞とが少なくとも含まれているので、キーワード取得モジュールＳＭ１１は、名詞と形容詞といった複数の単語から構成されるキーワードを受け付ける機能を有している。

感性語・名詞分割モジュールＳＭ１２は、キーワード取得モジュールＳＭ１１により受け取られた検索キーワード、すなわち、文字列に対して形態素解析を実行して文字列を１または複数の品詞単位の単語に分かち書きするためのモジュールである。形態素解析の定義は多義に亘るが、本実施例における形態素解析は、漢字仮名混じりの自然文を単語に分割する処理を意味し、自然文から単語を切り出す分かち書き、切り出した単語の品詞の同定、辞書にない語（未知語）の処理が実行される。分かち書き、品詞の特定処理では、一般的に、隣り合った形態素（単語）間の結合に関する規則と形態素情報とを記述した形態素辞書が用いられる。キーワード取得モジュールＳＭ１１は、形態素解析によって得られた感性語および名詞をキーワードとして以降の処理に用いる。キーワード取得モジュールＳＭ１１は、プリンタ３０等から画像が送信される場合には、送信された画像データに対応付けられているメタデータからキーワードを抽出、取得した上で、形態素解析を実行しても良い。なお、特許請求の範囲における、キーワードを名詞と感性語とに分割する処理は、上記形態素解析によるキーワード文字列からの単語の切り出しおよび単語の品詞特定を含む処理である。

特徴量取得モジュールＳＭ１３は、感性語・名詞分割モジュールＳＭ１２によって得られた感性語および名詞を用いて、感性語・名詞−画像特徴量データベースＤＢ２から、対応する画像特徴量を取得する。具体的には、得られた感性語および名詞の組合せに対応する画像特徴量の種類および値を取得する。

画像データ検索モジュールＳＭ１４は、特徴量取得モジュールＳＭ１３によって取得された、検索キーワードに含まれる感性語＋名詞の組合せに対応する画像特徴量を用いて、画像データベースＤＢ１から対応する画像データを検索・取得するためのモジュールである。具体的には、画像データ検索モジュールＳＭ１４は、取得された画像特徴量と一致または類似する画像データを画像データベースＤＢ１から検索し、取得する。なお、画像特徴量の種別並びに値を取得する詳細な手法については後述する。

画像データ送信モジュールＳＭ１５は、検索キーワードを送信したクライアントコンピューターであるプリンタ３０およびパーソナルコンピューター４０に対して、検索により得られた画像データを送信するためのモジュールである。

画像データ取得モジュールＳＭ１６は、クライアントコンピューターであるプリンタ３０およびパーソナルコンピューター４０から検索キーワードと共に、あるいは、検索キーワードに代えて送られてくる画像データを取得するためのモジュールである。特徴量抽出モジュールＳＭ１７は、検索キーワードと共に送信されてきた画像データの画像特徴量を抽出するためのモジュールである。抽出すべき画像特徴量の種類は、画像データベースＤＢ１において画像データに対応付けられている画像特徴量の種類と同数または一般的に用いられる色相、彩度、明度、平均輝度、エッジ量等の画像特徴量である。キーワード検索モジュールＳＭ１８は、検索キーワードに代えて、プリンタ３０等から送信された画像データから検索用のキーワードを検索するためのモジュールである。具体的には、画像データに関連付けられているメタデータに含まれる文字列をキーワードとして抽出する。なお、抽出された文字列には、感性語・名詞が含まれていることが望ましいので、キーワード検索モジュールＳＭ１８は上述の形態素解析を実行して、感性語・名詞が含まれる文字列のみをキーワードとして抽出しても良い。あるいは、キーワード検索モジュールＳＭ１８は抽出した文字列の判断・分析を行わず、感性語・名詞分割モジュールＳＭ１２において文字列の判断・分析が実行されても良い。なお、抽出した文字列に感性語・名詞が含まれていない場合には、プリンタ３０等に対して文字入力による感性語・名詞を含むキーワード入力が要求されてもよく、あるいは、感性語・名詞を用いた画像検索を実行せず、画像データから画像特徴量を抽出して、画像特徴量に基づく画像検索が実行されても良い。

なお、キーワード取得モジュールＳＭ１１、感性語・名詞分割モジュールＳＭ１２、特徴量取得モジュールＳＭ１３、画像データ検索モジュールＳＭ１４、画像データ送信モジュールＳＭ１５、画像データ取得モジュールＳＭ１６、特徴量抽出モジュールＳＭ１７およびキーワード検索モジュールＳＭ１８は、それぞれＣＰＵ１０１によって実行されることによって、キーワード取得部、分割部、特徴量取得部、画像検索部、検索画像データ送信部、画像取得部、特徴量抽出部、キーワード検索部として機能する。また、キーワード取得モジュールＳＭ１１、感性語・名詞分割モジュールＳＭ１２、特徴量取得モジュールＳＭ１３、画像データ検索モジュールＳＭ１４、画像データ送信モジュールＳＭ１５、画像データ取得モジュールＳＭ１６、特徴量抽出モジュールＳＭ１７およびキーワード検索モジュールＳＭ１８は、それぞれハードウェアとして、例えば、半導体回路として実現されても良い。

プリンタの構成：
図６は本実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。図７は画像プリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。本実施例では、画像検索端末装置としてプリンタ３０を例にとって説明するが、パーソナルコンピューター４０についても同様に画像検索端末装置として用いることが可能であることは言うまでもない。プリンタ３０は、信号線によって互いに接続されている制御回路３１、入力操作部３２、表示部３３、印刷部３４、外部入出力インターフェース３５を備えている。制御回路３１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）３１０、メモリ３１１、入出力（Ｉ／Ｏ）インターフェース３１２を備えている。ＣＰＵ３１０は、メモリ３１１に格納されている各種プログラム、モジュールを実行する。メモリ３１１は、ＣＰＵ３１０によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ３１０による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ３１１としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、ハードディスクドライブ、大容量フラッシュメモリが用いられ得る。入出力インターフェース３１２は、制御回路３１と、入力操作部３２、表示部３３、印刷部３４および外部入出力インターフェース３５との間で、コマンド、データの送受信を実行する。入力操作部３２は、プリンタ３０に対してユーザが指示を入力するための操作部であり、例えば、ボタン、ホイールによって実現され得る。表示部３３は、ユーザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行うカラー表示可能な表示画面である。印刷部３４は、ユーザ（制御回路３１）からの印刷指示に従って印刷媒体に対して画像を形成する印刷実行部である。外部入出力インターフェース３５は、外部装置、例えば、画像サーバー１０との間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

メモリ３１１に格納されている各種プログラム、モジュールについて図１０を用いて説明する。メモリ３１１は、画像サーバー１０に対して画像検索を要求するための画像検索要求プログラムＣＰ１を備え、画像検索要求プログラムＣＰ１は、キーワード取得モジュールＣＭ１１、検索要求送信モジュールＣＭ１２、検索結果受信モジュールＣＭ１３を備えている。キーワード取得モジュールＣＭ１１は、検索対象となる画像（画像データ）を特定するためにユーザによって入力されたキーワードを取得するために実行されるモジュールである。なお、キーワードの取得は、入力操作部３２によって入力されたキーワードを取得しても良く、あるいは、画像データに予め関連付けられているメタデータに記述されているキーワードを抽出、取得することによって実行されても良い。さらには、キーワードの取得は、入力操作部３２によって入力されたキーワードと画像データのメタデータに記述されているキーワードの双方を取得することによって実行されても良い。検索要求送信モジュールＣＭ１２は、取得されたキーワードと検索の要求を画像サーバー１０に対して送信するためのモジュールである。検索結果受信モジュールＣＭ１３は、画像サーバー１０から検索結果としての一または複数の画像データを取得するためのモジュールである。なお、画像検索要求プログラムＣＰ１、キーワード取得モジュールＣＭ１１、検索要求送信モジュールＣＭ１２、検索結果受信モジュールＣＭ１３、それぞれＣＰＵ３１０によって実行されることによって、画像検索要求部、検索要求キーワード取得部、検索要求送信部、検索結果受信部として機能する。

画像検索処理：
図８は本実施例に係る画像サーバーにおいて実行される第１の画像検索処理の処理ルーチンを示すフローチャートである。画像検索処理は、プリンタ３０等の検索端末装置からの検索要求を受けて、画像サーバー１０において実行される。本処理ルーチンが開始されると、キーワード取得モジュールＳＭ１１は、検索に用いるべきキーワードを取得する（ステップＳ１００）。検索キーワードの取得は、ユーザによって、例えば、プリンタ３０の入力操作部３２を介して入力された文字列のキーワードを取得することによって実現される。

検索キーワードが取得されると、感性語・名詞分割モジュールＳＭ１２は、キーワードを感性語と名詞とに分割する（ステップＳ１０２）。具体的には、感性語・名詞分割モジュールＳＭ１２は、形態素解析を実行して、文字列を感性語および名詞に分割する。形態素解析における単語分割パターンを選択する方法としては、文字列の先頭から解析を行い最も長い単語を選択する最長一致法、原文を構成する単語の総数が最も少ない候補パターンを選択する分割数最小法、品詞間の文法的接続可能性にも続く方法、品詞間の接続コストに基づく方法、統計的言語モデルに基づく方法が知られている。例えば、最長一致法を用いる場合には、先ず、形態素辞書に格納されている形態素（単語エントリ）の中でキーワードの文字列と最も長く一致する単語エントリが検索され、検索された単語エントリが単語分割（分かち書き）の対象とされる。つぎに、単語分割候補とした単語エントリの文字列長だけキーワードに対するポインタが先頭位置から進められ、上述の手順で次の単語分割候補が得られる。得られた最新の単語エントリの素性と直前の単語エントリの素性に基づき両単語エントリが接続可能な関係にあるか否かが判定され、接続可能である場合には、単語の切り出しは正しく実行されたので、キーワードの末尾に至るまで、切り出し、接続テストが繰り返し実行される。一方、接続不可能である場合には、最新の単語エントリの末尾の文字が捨てられ、単語分割候補の獲得、接続テストが実行される。接続不可の状態が繰り返されると、形態素辞書を検索する文字列長が０になってしまうので、この場合には、直前の単語エントリの単語切り出しが誤っていた可能性があるので、直前の単語エントリの末尾の文字が捨てられ、改めて形態素辞書の検索、単語分割候補の取得が実行される。この一連の処理によって、形態素の切り出し（単語の分割）と形態素の素性（品詞）の決定が行われる。

なお、検索用のキーワードには、感性語および名詞のみ、が含まれていることが望ましいが、他の品詞が含まれている場合であっても、上記した形態素解析を実行することによって、キーワードに含まれる品詞が特定され得る。また、キーワードには、感性語と名詞との組合せは複数、例えば、感性語が複数含まれていても良い。感性語と名詞の組合せが複数存在する場合には、可能性のある感性語および名詞の組合せを用いることによって、それぞれについて画像特徴量を取得することによって漏れのない画像検索を実現することができると共に、検索精度を向上させることができる。

キーワードから感性語および名詞の組合せが取得（決定）されると、特徴量取得モジュールＳＭ１３は、感性語・名詞−画像特徴量データベースＤＢ２から、対応する画像特徴量を取得する（ステップＳ１０４）。具体的には、感性語・名詞の組合せを検索キーとして、図４に示す感性語・名詞−画像特徴量データベースＤＢ２から対応する画像特徴量の種類および値が取得される。

感性語および名詞の組合せに対応する画像特徴量の種類および値が取得されると、画像データ検索モジュールＳＭ１４は、得られた画像特徴量の種類および値を用いて、画像データベースＤＢ１から感性語および名詞の組合せに対応する画像データを検索する（ステップＳ１０６）。具体的には、得られた画像特徴量の種類および値と、画像データベースＤＢ１において各画像データに対応付けられている特徴量の種類および値とを用いて、感性語および名詞の組合せに対応する画像データの類似度が判定され、算出された類似度が所定の範囲内、あるいは、所定の類似度以上である画像データを検索結果として得る。

各特徴量間の類似度の判定には、例えば、ユークリッド距離、マハラノビス距離といった距離算出方法が適用される。具体的には、感性語・名詞−画像特徴量データベースＤＢ２から取得された各画像特徴量の値と、画像データベースＤＢ１において各画像データに対応付けられている各画像特徴量の値との間の距離、すなわち、感性語・名詞に基づいて特定された各画像特徴量の値と画像データベースＤＢ１において各画像データに対応付けられている各画像特徴量に値によって表される多次元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。あるいは、感性語・名詞に基づいて特定された各画像特徴量の値を成分とする多次元ベクトルと、画像データベースＤＢ１において各画像データに対応付けられている各画像特徴量の値を成分とする多次元ベクトルとの内積を求めて判断されても良い。この場合には、両多次元ベクトルのコサイン成分の差を求めるので、得られた内積の値が１に近いほど（両多次元ベクトル間の角度が０に近いほど）類似度が高いと判断することができる。

ユークリッド距離を用いる場合には、以下に示す式（１）および（２）によって類似度を算出することができる。

式（１）において（ｘi）は画像データベースＤＢ１における画像データの各画像特徴量の値、（ｙi）は感性語・名詞−画像特徴量データベースＤＢ２から取得された各画像特徴量の値を示し、ｋiは重み付け係数（０ではない任意の値）を示す。式（２）においては理解を容易にするために、各特徴量種毎に求められた差分の合計値（距離）が類似度として用いられることを明示している。距離を用いた類似度判断では、算出結果が０に近いほど画像データと識別子とが類似していることを示すので、重要度の高い特徴量に対して大きな重み付け係数を付与することによって、当該特徴量に対する感度を高くして検索結果数を絞り込むことんでも良い。なお、類似度の算出にあたっては、各特徴量毎に式（１）に示す数式を用いて類似度を算出し、算出された類似度の単純和を用いても良い。

一方、内積を用いる場合には、以下の式（３）によって類似度を算出することができる。式（３）において係数は、各多次元ベクトルの成分に対して適用される。

類似度として内積を用いる場合にも、両多次元ベクトル間角度が０に近いほど画像データと識別子とが類似していることを示すので、複数の画像データにおいて共通または近似する値の特徴量に対して重み付けを大きくすることにより重要度の高い特徴量に関する感度を高くして検索結果を精選し、検索精度を向上させることができる。なお、画像データ検索の際に算出された類似度は、検索結果を表示する際に、キーワードと検索結果との関連度を示す指標として表示されても良い。

画像データ送信モジュールＳＭ１５は、検索された画像データを、画像データ検索要求の送信元であるプリンタ３０に対して送信して（ステップＳ１０８）、本処理ルーチンを終了する。なお、送信元であるプリンタ３０の特定は、例えば、プリンタ３０から送信された画像検索要求のヘッダに含まれる送信元アドレス（ＩＰアドレス、ＭＡＣアドレス）を用いることによって特定可能である。なお、本実施例において、ネットワークを介して実行される各装置間の通信は、周知のネットワークプロトコルに従って実行される。

・第２の画像検索処理：
図９は本実施例に係る画像サーバーにおいて実行される第２の画像検索処理の処理ルーチンを示すフローチャートである。第２の画像検索処理では、検索用のキーワードとして、プリンタ３０等から送信されたキーワード、すなわち、文字列を直接用いず、プリンタ３０等から送信された画像データからキーワードを抽出して検索用のキーワードを得る点において第１の画像検索処理と異なる。したがって、第１の画像検索処理において説明した処理ステップと同一の処理ステップについては、第１の画像検索処理において用いたステップ番号と同一の番号を付すことで詳細な説明は省略し、第１の画像検索処理における処理ステップとは異なる処理ステップを中心に以下、説明する。

本処理ルーチンが開始されると、キーワード検索モジュールＳＭ１８は、検索に用いるべきキーワードをプリンタ３０から送信された画像データから取得する（ステップＳ１０１）。具体的には、プリンタ３０から送信された画像データに対応付けられているメタデータに記述されているキーワードを取得することによって実現される。ここで、メタデータとは、画像データに関連付けられている、画像データの内容、特性等を示す情報を意味し、例えば、タグ、ヘッダ等の形式にて画像データに関連付けられている。

キーワードが取得されると、画像サーバー１０は、プリンタ３０からキーワード文字列が送信される場合と同様にして、キーワードを感性語と名詞に分割し（ステップＳ１０２）、分割により得られた感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースＤＢ２から対応する１または複数種類の画像特徴量の値を取得する（ステップＳ１０４）。画像サーバー１０は、取得した画像特徴量を用いて画像データベースＤＢ１から類似する画像データを検索し（ステップＳ１０６）、検索により得られた画像データをプリンタ３０に対して送信して（ステップＳ１０８）、本処理ルーチンを終了する。なお、ステップＳ１０２からステップＳ１０６は、第１の画像検索処理と同様にして実行されるので、詳細な説明は省略する。

・第３の画像検索処理：
図１０は本実施例に係る画像サーバーにおいて実行される第３の画像検索処理の処理ルーチンを示すフローチャートである。第３の画像検索処理では、検索用のキーワードとして、プリンタ３０等から文字列のキーワードが送信されると共に、検索の対象（キー）となる画像データも送信される点において第１の画像検索処理と異なる。したがって、第１の画像検索処理において説明した処理ステップと同一の処理ステップについては、第１の画像検索処理において用いたステップ番号と同一の番号を付すことで詳細な説明は省略し、第１の画像検索処理における処理ステップとは異なる処理ステップを中心に以下、説明する。

本処理ルーチンが開始されると、キーワード検索モジュールＳＭ１８は、検索に用いるべきキーワードをプリンタ３０から送信された画像データから取得し（ステップＳ１００）、画像データ取得モジュールＳＭ１６は、プリンタ３０から検索のキーとなる対象画像データを取得する（Ｓ１０１ａ）。すなわち、第３の画像検索処理では、文字列からなる検索用キーワードに加えて、ユーザが検索したいと考える対象画像の画像データが検索キーの１つとして、プリンタ３０から画像サーバー１０に対して送信される。

キーワードおよび対象画像データを取得すると、画像サーバー１０は、キーワードを感性語と名詞に分割し（ステップＳ１０２）、分割により得られた感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースＤＢ２から対応する１または複数種類の画像特徴量の値を取得する（ステップＳ１０４）。

画像サーバー１０の特徴量抽出モジュールＳＭ１７は、取得した対象画像データから画像特徴量を抽出する（ステップＳ１０５）。対象画像データから抽出、取得される画像特徴量の種類（種別）としては、例えば、画像データの平均輝度、最小輝度、最高輝度、代表色の色相、彩度および明度、画像に占める代表色の割合、画像データに含まれる顔の形状、顔の大きさ、顔のテクスチャ、顔の向き、顔の表情、エッジ量、エッジの方向位置、オブジェクトの特徴点、オブジェクトの形状、顔領域に基づく性別・年齢・表情、アイドルとの類似度、服装の形状・彩度、自分と知人との類似度（親密度）が含まれる。画像特徴量の抽出にあたっては、以下に述べるように各種類について、それぞれ値が求められる。画像データがＲＧＢドットマトリクスデータである場合を例にとって説明すると、画像データを構成する全ての画素データ、または所定量の画素データ間引き後に残存する画素データ（サンプリング画素データ）を用いて各画像特徴量種について値が求められる。例えば、画像データを構成する全ての画素データからＲ、Ｇ、Ｂの成分値（８ビット階調の場合には、０〜２５５の値を取り得る）が求められると、求められたＲ、Ｇ、Ｂ成分値を、横軸にＲ、Ｇ、Ｂ成分値の値（階調値とも言う）と、縦軸に出現頻度を有するグラフ上にプロットすることによって各Ｒ、Ｇ、Ｂ成分の頻度分布（ヒストグラム）が得られる。輝度のヒストグラムは、周知の変換式を用いて、求められたＲ、Ｇ、Ｂ成分値をＹ成分値（輝度成分値）に変換し、変換により得られたＹ成分値を、横軸にＹ成分値の値（階調値とも言う）と、縦軸に出現頻度を有するグラフ上にプロットすることによって得られる。平均輝度は、各画素データについて得られたＹ成分値の合計値を画素データ数で除することによって得られ、最小輝度および最大輝度は、輝度ヒストグラムのおける最小輝度値およぎ最大輝度値を特定することによって得られる。オブジェクトの彩度、服装の彩度等が必要な場合には、後述するようにオブジェクト（服装を含む）を特定した上で、オブジェクトを構成する画素データを用いて上述した処理を実行すれば良い。

代表色の色相、彩度および明度は、画像データまたは間引き後の画像データをＲＧＢ値からＨＳＶ値に変換し、変換後に得られたＨ（色相）、Ｓ（彩度）およびＶ（明度）についてそれぞれ縦軸に出現頻度、横軸に各成分の値を有するヒストグラムを作成し、最も頻度の高い色相値、彩度値、および明度値をそれぞれ代表色の色相、彩度および明度として特定すれば良い。なお、ＲＧＢ色空間−ＨＳＶ色空間の変換処理については周知であるから詳細な説明を省略する。

エッジ量およびエッジの方向については、例えば、周知の３×３Prewittオペレータ、５×５Prewittオペレータを用いることによってエッジ量およびエッジ角度を算出することができる。

オブジェクト（主要被写体）の領域（顔領域）は、画像を構成する画素のうち、画素値、例えば、ＲＧＢ三成分値が互いに近似する隣接画素あるいは所定の色相（顔領域の場合には一般的には肌色）範囲に属する隣接画素をグループ化することによって画定することができる。また、画像の全領域に対してＸ−Ｙ座標軸を設定することによって、画像中におけるオブジェクトの位置、形状、大きさを座標位置（座標成分）に基づいて特定することができる。すなわち、オブジェクトの位置、形状、大きさの画像特徴量としては、座標位置（座標成分）が取得される。また、顔領域における目口鼻等の器官位置についてもエッジ検出処理後に、座標位置、座標間距離を得ることによって特定することができる。この前提の下、顔の大きさ、形状については、画定された顔領域の幅および高さの座標間距離が求められる。顔の向きについては、顔領域における目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを表す座標間距離が取得される。すなわち、正面を向いた顔領域における目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値として予め用意しておき、例えば、画定された顔領域における目と口との間の座標間距離が基準値よりも短く、口の大きさが基準値よりも大きい場合には上向きの顔画像であると判断することが可能となり、画定された顔領域における目と口との間の座標間距離が基準値と同等であり、両目の座標間距離が基準値よりも小さく、右目の大きさが基準値よりも大きい場合には左向きの顔画像であると判断することが可能となる。また、各基準値に対する、画定顔領域の目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値の差分と顔の角度とを予め対応付けておくことによって、顔の上下左右方向の振り角度を得ることもできる。

顔の形状、顔の表情、顔に基づく性別、年齢については、顔の輪郭および器官の座標成分が取得される。画像の解析によって得られた器官の座標成分と、予め顔の喜怒哀楽の表情、年齢、性別と対応付けられている座標成分（感性語・名詞−画像特徴量データベースＤＢ２に格納されている値）とが対比されることによって、顔の形状、顔の表情、顔に基づく性別、年齢を特定することができる。顔領域のテクスチャについては、画定された顔領域に対して周波数解析を実行することによって得られる。画定された顔領域に対する周波数解析は、２次元フーリエ変換式を用いて、画定された顔領域を構成する各画素データの周波数を求めることによって実行される。一般的に、得られた周波数成分に低周波数成分が多く含まれる場合には、滑らかな画像であることを示し、高周波数成分が多く含まれる場合には、滑らかでない画像であることを示す。

オブジェクトの特徴点については、既述の「オブジェクトの形状」、「オブジェクトの色」、「オブジェクトの相対的な大きさ」等を求めることによって取得される。具体的には、例えば、「オブジェクトの形状」は、既知の技術により画像から抽出された輪郭（エッジ）から取得することができる。「オブジェクトの色」は、前記輪郭で囲まれる画像領域のＲＧＢ値、または画像に付帯している合焦位置情報を利用して合焦位置周辺のＲＧＢ値から取得することができる。「オブジェクトの相対的な大きさ」は、画像中に顔と認識された画像領域がある場合、顔画像領域と前記輪郭で囲まれる画像領域との大きさを比較することにより取得することができる。アイドルとの類似度を示す画像特徴量としては、顔の器官位置（座標成分）が取得され、自分と知人との類似度（親密度）では、各オブジェクトにおける顔の器官位置が取得され、親密度の場合にはユーザ（自分）と知人とが含まれている画像データにおける自分と知人との距離（座標成分）が取得される。

Ｅｘｉｆの撮影日時は、画像データに関連付けられているメタデータであるＥｘｉｆタグから取得可能である。すなわち、本実施例における画像特徴量の取得は、複数の画素データからなる画像データから取得された各画素データの成分値の取得、および取得された成分値に対して統計的な処理を施した統計的な値の取得のみならず、画像データに関連付けられているメタデータからの画像に関する情報の取得を含む概念である。

画像サーバー１０は、キーワードに基づき感性語・名詞−画像特徴量データベースＤＢ２から取得した画像特徴量および対象画像データから抽出した画像特徴量を用いて画像データベースＤＢ１から類似する画像データを検索し（ステップＳ１０６）する。画像データの検索にあたっては、名詞−画像特徴量データベースＤＢ２から取得した画像特徴量および対象画像データから抽出した画像特徴量が用いられるが、類似度の算出処理は第１の画像検索処理と同様に実行することができる。すなわち、式（１）において、パラメータ（ｙi）として、感性語・名詞−画像特徴量データベースＤＢ２から取得された各画像特徴量の値および対象画像データから抽出された各画像特徴量の値を用いればよい。この際、重複する画像特徴量の種類について、感性語・名詞−画像特徴量データベースＤＢ２から取得された各画像特徴量の値および対象画像データから抽出された各画像特徴量の全てが用いられても良く、あるいは、対象画像データから抽出された画像特徴量が優先して用いられても良い。画像特徴量種の重複を問わず全ての画像特徴量種が用いられる場合には検索精度を向上させることができる。また、対象画像データから抽出された画像特徴量が優先して用いられる場合には、ユーザが検索キーとして選択した画像データの特徴量に基づいた画像検索が可能となるので、ユーザが意図した検索結果を提供しやすい。なお、対象画像データから抽出された画像特徴量を優先して用いるとは、重複する画像特徴量種については、対象画像データから抽出された画像特徴量のみを用いる態様、または、対象画像データから抽出された画像特徴量の比重が大きくなるように重み付け係数を乗じる態様を意味する。

画像データベースＤＢ１画像サーバー１０は、検索により得られた画像データをプリンタ３０に対して送信して（ステップＳ１０８）、本処理ルーチンを終了する。なお、ステップＳ１０２、ステップＳ１０４、ステップＳ１０８は、第１の画像検索処理と同様にして実行されるので、詳細な説明は省略する。

画像検索要求処理：
図１１は本実施例に係る画像検索要求処理に際して実行される処理ルーチンを示すフローチャートである。図１２は本実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。本処理ルーチンは、画像検索端末としてのプリンタ３０によって実行される。本処理ルーチンが開始されると、プリンタ３０のキーワード取得モジュールＣＭ１１は、キーワードを取得する（ステップＳ２００）。具体的には、入力操作部３２を介してユーザによって入力されたキーワード、あるいは、検索元となる画像データに予め対応付けられているメタデータに記述されているキーワードを抽出することによって実行される。

キーワードが取得されると、検索要求送信モジュールＣＭ１２は、画像サーバー１０に対して検索要求を送信する（ステップＳ２０２）。具体的には、外部入出力インターフェース３５、ネットワークＮＥを介してキーワードと検索要求コマンドとを含む検索要求データ列が画像サーバー１０に送信される。検索結果受信モジュールＣＭ１３は、画像サーバー１０から受信した検索結果としての１または複数の画像データを取得し（ステップＳ２０４）、取得した画像データを用いて複数の画像を表示部３３に表示させて（ステップＳ２０６）、本処理ルーチンを終了する。なお、キーワードの取得および送信に代えて、ユーザが指定した対象画像データを取得、送信したも良く、あるいは、キーワードに加えて、対象画像データを取得し、送信しても良い。また、複数の画像を表示部３３に表示させる際には、図１２に示すように、各画像とキーワード（および対象画像データ）との関連度を示す指標として関連度（または類似度）を表示部３３に表示しても良い。ここで、類似度は、画像データ検索の際に算出された類似度である。ただし、類似度は、類似している程小さな値を取り、直感的に類似の程度を把握し難い。そこで、類似度が高いほど値が大きくなる（一致する場合には１００％）関連度という百分率表示の指標を用いても良い。例えば、類似度として一般的に高い類似度を示す値域に対して１００％〜５０％までの値を一次関数によって割当て（但し、類似度０の場合に１００％をとる）、一般的に類似していないと判断される類似度に対しては、５０％未満の値を所定の規則に従って離散的に割り当てることによって関連度を得ても良い。あるいは、得られた類似度の逆数に正規化処理を施す等して関連度を得ても良い。

図１２の例ではキーワードとして「かっこいい車」が用いられており、「かっこいい車」をキーワードとして検索した際に得られたキーワードと検索画像データの類似度に基づく関連度がそれぞれ表示されている。なお、複数のキーワードまたはキーワードに加えて対象画像データを用いて画像検索が行われた場合には、対応付けられている類似度のうち高い類似度、低い類似度または類似度の平均値に基づき算出された関連度が表示される。表示部３３に検索画像と共に関連度を表示することにより、ユーザは、用いたキーワードが検索キーワードとして適切であったか否かを判定することが可能となり、検索結果に満足がいかない場合には、キーワードを変更して再度、検索を実行することができる。なお、検索結果受信モジュールＣＭ１３には、検索結果表示制御モジュールの機能が包含されていても良く、あるいは、別途、検索結果表示制御モジュールが備えられていても良い。

以上説明した本実施例に係る画像サーバー、画像検索方法、プリンタ（画像検索端末装置）、画像検索システムによれば、感性語と名詞の組合せを検索キーとして画像データを検索することができる。すなわち、感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースＤＢ２から検索に用いるべき画像特徴量を取得し、取得した画像特徴量を用いて画像データを検索することができる。したがって、感性語にのみ基づいた画像検索技術において問題となる、統一感のない、あるいは、系統立っていない検索結果の派生を防止または低減することができる。すなわち、感性語に併せて名詞を検索キーとして用いることによって、検索対象を系統化することが可能となり、統一感のある検索結果を得ることができると共に、ユーザが望む検索結果を得ることが可能となり、検索精度を向上させることができる。

また、第２の画像検索処理では、ユーザが選択した画像データから検索キーワードを取得または抽出して画像検索が行われるので、検索キーワードの入力を要することなくユーザの意図を反映した検索結果を得ることができる。

さらに、第３の画像検索処理では、ユーザが入力した検索キーワードに加えて、ユーザが選択した画像データの特徴量を用いて画像検索が行われるので、検索キーワードのみでは表すことができないユーザの意図を反映した検索結果を得ることができる。すなわち、ユーザが選択した画像データが有する画像特徴量に基づく画像検索が可能となるので、検索キーワードによる画像検索の検索精度を更に向上させることができる。

本実施例の画像検索処理では、感性語および名詞のいずれか一方が複数存在する場合であっても、各感性語と名詞の組合せについて対応する画像特徴量を取得して画像検索が実行されるので、検索時に用いられる画像特徴量の種類が増え、画像検索精度を向上させることができる。複数の感性語を用いた画像検索を許容することによって、複数の感性語として、所定の感性語と、当該所定の感性語と反対の意味を有する感性語とが入力された場合には、検索結果として得られる画像数が増大することになるため、ユーザは検索キーワードの入力に誤りがあったことを認識することができる。

・変形例：
（１）上記実施例では、画像検索端末装置としてプリンタ３０を例にとって説明したが、パーソナルコンピューター４０も同様にして用いることができる。パーソナルコンピューター４０は、表示ディスプレイ４１と入力装置（キーボード、マウス）４２とを備えている。

（２）上記実施例における第２の画像検索処理では、画像サーバー１０において、画像検索端末装置としてのプリンタ３０から送信された画像データから検索キーワードが取得されているが、プリンタ３０において画像データに対応付けられているメタデータから検索キーワードを取得し、取得したキーワードが画像サーバー１０に対して送信されても良い。この場合には、画像サーバー１０では、上記実施例における第１の画像検索処理と同様の処理が実行される。

（３）上記実施例では、画像サーバー１０として、クライアントからの要求に応じての画像データベースを検索するサーバーコンピューターを例にとって画像検索処理について説明したが、プリンタ３０、パーソナルコンピューター４０において実行されても良い。例えば、パーソナルコンピューター４０の記憶装置に格納されているローカルな画像データベースに対して上記した画像データ検索が実行されも良い。また、プリンタ３０に大容量記憶装置が備えられている場合には、上記した画像検索方法は、プリンタ３０におけるローカルな画像データ検索に適用されても良い。すなわち、画像サーバーはネットワークに接続されていない、スタンドアローンのパーソナルコンピューターまたはプリンタが有する機能の一部、さらにはコンピュータープログラム、コンピュータープログラムが格納されたコンピューター読み取り可能媒体として実現されても良い。この場合には、パーソナルユースにおける画像データ検索の利便性、すなわち、検索速度の向上、検索精度の向上、検索の容易化を実現することができる。なお、コンピューター読み取り可能媒体としては、ＣＤ、ＤＶＤ、ハードディスクドライブ、フラッシュメモリといった種々の記録媒体を用いることができる。

（４）上記実施例では、画像検索を例にとって説明したが、その他のコンテンツ、例えば、映像、音楽、ゲーム、電子書籍についても同様に適用し得る。映像の特徴量は画像と同様にして、また、キーワードはメタデータから抽出することにより取得可能であり、音楽の特徴量については曲調検出技術を適用することにより、またキーワードについてはメタデータから抽出することにより可能であり、ゲームについてはメタデータ等に基づいてキーワードを取得可能であり、電子書籍については頻出語彙を分析することにより特徴量を取得可能である。

（５）上記実施例では、画像サーバー１０から受け取った検索結果は、プリンタ４０において表示のための処理が施され、表示部３３に表示されているが、画像サーバー１０において表示用の検索結果データを作成し、プリンタ４０に対して送信しても良い。画像サーバー１０からの検索結果データをプリンタ４０にて表示するための手法としては、例えば、画像サーバー１０にＷｅｂサーバー機能を実装し、プリンタ４０にＷｅｂブラウザを実装する手法がある。この手法によれば、汎用的なＨＴＴＰプロトコルに従って、ＨＴＭＬデータベースの表示を行うことができる。

（６）上記実施例では、キーワードが複数の感性語を含む場合についても画像検索処理が実行される例について説明したが、画像サーバー１０は、キーワードとして、１つの感性語および１つの名詞のみを含むキーワードのみを受け付けても良く、あるいは、１つの感性語（名詞の数は不問）のみを含むキーワードのみを受け付けても良い。画像サーバー１０は、これらに該当しないキーワードを受け取った場合には、クライアントコンピューターであるプリンタ３０等に対して、キーワードの再入力を要求しても良く、あるいは、検索を実行しない旨の通知を送信しても良い。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

ＩＳＳ…画像検索システム
１０…サーバーコンピューター（画像サーバー）
１０１…ＣＰＵ
１０２…メモリ
１０３…第１の記憶装置
１０４…第２の記憶装置
１０５…入出力インターフェース
３０…プリンタ
３１…制御回路
３１０…ＣＰＵ
３１１…メモリ
３１２…入出力インターフェース
３２…入力操作部
３３…表示部
３４…印刷部
３５…外部入出力インターフェース
４０…パーソナルコンピューター
４１…表示ディスプレイ
４２…入力装置
ＣＰ１…画像検索要求プログラム
ＣＭ１１…キーワード取得モジュール
ＣＭ１２…検索要求送信モジュール
ＣＭ１３…検索結果受信モジュール
ＮＥ…ネットワーク
ＳＰ１…画像検索プログラム
ＳＭ１１…キーワード取得モジュール
ＳＭ１２…感性語・名詞分割モジュール
ＳＭ１３…特徴量取得モジュール
ＳＭ１４…画像データ検索モジュール
ＳＭ１５…画像データ送信モジュール
ＳＭ１６…画像データ取得モジュール
ＳＭ１７…特徴量抽出モジュール
ＳＭ１８…キーワード検索モジュール
ＤＢ１…画像データベース
ＤＢ２…感性語・名詞−画像特徴量データベース

Claims (7)

1. 画像検索装置であって、
   キーワードを取得するキーワード取得部と、
   前記取得したキーワードを名詞と感性語とに分割する分割部と、
   感性語および名詞の組合せと、画像の特徴を示す特徴量とを対応付けて格納する感性語・名詞−特徴量データベースと、
   前記分割により得られた名詞と感性語との組合せを用いて、前記感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得する特徴量取得部と、
   前記取得した特徴量を用いて画像を検索する画像検索部とを備える画像検索装置。
2. 請求項１に記載の画像検索装置において、
   前記感性語・名詞−特徴量データベースは、前記特徴量の種別および前記特徴量の値を前記感性語および名詞の組合せに対応付けて格納しており、
   前記特徴量取得部は前記名詞と感性語との組合せに基づいて、前記検索に使用すべき特徴量の種別と値とを取得する
   画像検索装置。
3. 請求項１または２に記載の画像検索装置はさらに、
   画像を取得する画像取得部と、
   前記取得した画像から複数の特徴量を抽出する特徴量抽出部を備え、
   前記画像検索部は、前記取得した特徴量に加えて、更に前記抽出した特徴量を用いて画像を検索する
   画像検索装置。
4. 請求項１または２に記載の画像検索装置はさらに、
   画像を取得する画像取得部と、
   前記取得した画像を用いてキーワードを検索するキーワード検索部とを備え、
   前記キーワード取得部は、前記キーワード検索部によって検索されたキーワードを取得する
   画像検索装置。
5. 請求項１から４のいずれかに記載の画像検索装置において、
   前記特徴量取得部は、前記取得されたキーワードに複数の感性語が含まれている場合には、各感性語に対応する特徴量をそれぞれ取得し、
   前記画像検索部は前記取得された各特徴量について画像を検索する
   画像検索装置。
6. 請求項１から５のいずれかに記載の画像検索装置において、
   前記画像検索装置は、特徴量が対応付けられた複数の画像と格納する画像データベースと接続されており、
   前記画像検索部は、前記取得した特徴量と、前記画像データベースに格納されている各前記の特徴量との類似度を算出して画像を検索する
   画像検索装置。
7. 画像検索方法であって、
   キーワードを取得し、
   前記取得したキーワードを名詞と感性語とに分割し、
   前記分割により得られた名詞と感性語との組合せを用いて、感性語および名詞の組合せと、画像の特徴を示す特徴量と、を対応付けて格納する感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得し、
   前記取得した特徴量を用いて画像を検索する、
   画像検索方法。

Images