JP2011065499A - 画像検索装置および画像検索方法 - Google Patents

画像検索装置および画像検索方法 Download PDF

Info

Publication number
JP2011065499A
JP2011065499A JP2009216487A JP2009216487A JP2011065499A JP 2011065499 A JP2011065499 A JP 2011065499A JP 2009216487 A JP2009216487 A JP 2009216487A JP 2009216487 A JP2009216487 A JP 2009216487A JP 2011065499 A JP2011065499 A JP 2011065499A
Authority
JP
Japan
Prior art keywords
image
search
keyword
noun
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009216487A
Other languages
English (en)
Inventor
Yasuhisa Hayaishi
育央 早石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2009216487A priority Critical patent/JP2011065499A/ja
Publication of JP2011065499A publication Critical patent/JP2011065499A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】感性語を含むキーワードを用いた検索における検索精度の向上を図ること。
【解決手段】画像サーバー10は、感性語・名詞の組合せと画像特徴量とが予め対応付けられている感性語・名詞−画像特徴量データベースを備えている。画像サーバー10は、プリンタ30から検索キーワードを含む検索要求を受信し、受信したキーワードから感性語と名詞を分割取得し、取得した感性語と名詞の組合せに対応付けられている画像特徴量を感性語・名詞−画像特徴量データベースから取得するする。画像サーバー10は取得した画像特徴量を用いて画像データベースから対応する画像データを検索する。画像サーバー10は検索した画像データをプリンタ30に対して送信する。
【選択図】図1

Description

本発明は、画像データベースを用いた画像検索技術に関する。
ネットワークを介して、所望の画像を検索するための技術が実用化されている。例えば、キーワード(文字列)を用いた画像検索を実現するために、画像に対してタイトル、コメントといった付帯情報(文字列情報)を対応付けて格納する画像データベースが提案されている。キーワードを用いた画像検索では、「きれい」、「かわいい」といった感性語を含むキーワードが用いられることがある。検索用語句として用いられる感性語の種類はそれほど多くないため、感性語のキーワードに感性語が含まれる場合、従来の画像検索では、感性語のみを用いた画像検索が行われていた。感性語のみに基づく画像検索では、検索結果に統一性がなく、また、検索対象が限定され、検索精度が良いとは言えなかった。
感性語を用いた画像検索におけるこの問題に対して、キーワードに含まれる感性語を感性パターンと対応付けておき、感性パターンに基づいて画像検索することで検索対象を広げる技術が提案されている(例えば、特許文献1)。
特開2000−112956号公報
しかしながら、依然として感性語に基づいて画像検索が実行されることに変わりなく、統一性のある検索結果を得ることができず、ユーザが所望する、キーワードに即した検索結果を得ることができなかった。
なお、これらの問題は、画像の検索のみならず、映像、音楽、ゲーム、電子書籍といったコンテンツの検索においても同様に発生し得る課題である。
本発明は、上記課題の少なくとも一部を解決するためになされたものであり、感性語を含むキーワードを用いた検索における検索精度の向上を目的とする。
上記課題の少なくとも一部を解決するために、本発明は以下の種々の態様を採る。
第1の態様は、画像検索装置を提供する。第1の態様に係る画像検索装置は、キーワードを取得するキーワード取得部と、前記取得したキーワードを名詞と感性語とに分割する分割部と、感性語および名詞の組合せと、画像の特徴を示す特徴量とを対応付けて格納する感性語・名詞−特徴量データベースと、前記分割により得られた名詞と感性語との組合せを用いて、前記感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得する特徴量取得部と、前記取得した特徴量を用いて画像を検索する画像検索部とを備える。
第1の態様に係る画像検索装置によれば、キーワードから分割により得られた名詞と感性語との組合せを用いて、感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得し、取得した特徴量を用いて画像を検索するので、感性語を含むキーワードを用いた検索における検索精度を向上させることができる。
第1の態様に係る画像検索装置において、前記感性語・名詞−特徴量データベースは、前記特徴量の種別および前記特徴量の値を前記感性語および名詞の組合せに対応付けて格納しており、前記特徴量取得部は前記名詞と感性語との組合せに基づいて、前記検索に使用すべき特徴量の種別と値とを取得しても良い。この場合には、各感性語と名詞の組合せに適切に対応する特徴量を規定することが可能となり、検索精度を向上させることができる。
第1の態様に係る画像検索装置はさらに、画像を取得する画像取得部と、前記取得した画像から複数の特徴量を抽出する特徴量抽出部を備え、前記画像検索部は、前記取得した特徴量に加えて、更に前記抽出した特徴量を用いて画像を検索しても良い。この場合には、キーワードに基づいて取得された特徴量に加えて画像から抽出された特徴量を用いることができるので、ユーザの意図に沿った検索結果を提供することが可能となり、検索精度を向上させることができる。
第1の態様に係る画像検索装置はさらに、画像を取得する画像取得部と、前記取得した画像を用いてキーワードを検索するキーワード検索部とを備え、前記キーワード取得部は、前記キーワード検索部によって検索されたキーワードを取得しても良い。この場合には、画像に基づいて検索キーワードを取得することが可能となり、検索キーワードの入力を要することなく画像検索を実行することができる。
第1の態様に係る画像検索装置において、前記特徴量取得部は、前記取得されたキーワードに複数の感性語が含まれている場合には、各感性語に対応する特徴量をそれぞれ取得し、前記画像検索部は前記取得された各特徴量について画像を検索しても良い。この場合には、より多くの特徴量を用いて画像検索を実行することができので、検索精度を向上させることができる。また、複数の感性語が含まれていても、名詞と組み合わされて特徴量が取得されるので、系統だった検索結果を得ることができる。
第1の態様に係る画像検索装置において、前記画像検索装置は、特徴量が対応付けられた複数の画像と格納する画像データベースと接続されており、前記画像検索部は、前記取得した特徴量と、前記画像データベースに格納されている各前記の特徴量との類似度を算出して画像を検索しても良い。この場合には、画像データベースから対応する画像を検索することができる。
第2の態様は、画像検索方法を提供する。第2の態様に係る画像検索方法は、キーワードを取得し、前記取得したキーワードを名詞と感性語とに分割し、前記分割により得られた名詞と感性語との組合せを用いて、感性語および名詞の組合せと、画像の特徴を示す特徴量と、を対応付けて格納する感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得し、前記取得した特徴量を用いて画像を検索することを備える。
第2の態様に係る画像検索方法によれば、第1の態様に係る画像検索装置と同様の作用効果を得ることができると共に、第1の態様に係る画像検索装置と同様にして種々の態様にて実現され得る。
第2の態様に係る画像検索方法は、画像検索プログラムとして実現され得ると共に、画像検索プログラムが記録されたコンピューター読み取り可能な媒体として実現され得る。
本実施例に係る画像検索システムの概略構成を示す説明図である。 本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。 本実施例に係る画像データベースの一例を示す説明図である。 本実施例に係る感性語・名詞−特徴量データベースの一例を示す説明図である。 本実施例に係る画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。 本実施例に係るプリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係る画像サーバーにおいて実行される第1の画像検索処理の処理ルーチンを示すフローチャートである。 本実施例に係る画像サーバーにおいて実行される第2の画像検索処理の処理ルーチンを示すフローチャートである。 本実施例に係る画像サーバーにおいて実行される第3の画像検索処理の処理ルーチンを示すフローチャートである。 本実施例に係るプリンタにおいて実行される画像検索要求処理の処理ルーチンを示すフローチャートである。 本実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。
以下、本発明に係る画像検索システム、画像サーバー、画像検索方法、画像検索端末装置としてのプリンタ、パーソナルコンピューターについて、図面を参照しつつ、実施例に基づいて説明する。
第1の実施例:
図1は本実施例に係る画像検索システムの概略構成を示す説明図である。本実施例に係る画像検索システムISSは、画像サーバーとしてのサーバーコンピューター10、プリンタ30、パーソナルコンピューター40を備えている。サーバーコンピューター10と、プリンタ30およびパーソナルコンピューター40とはネットワークNEを介して双方向通信可能に接続されている。ネットワークは、インターネットであっても良く、イントラネットであっても良い。
サーバーコンピューター10は、1または複数の特徴量とそれぞれ対応付けられている複数の被検索画像データを格納し、クライアントコンピューターからの検索要求に応じて画像の検索を実行する。したがって、サーバーコンピューターは画像データベースを有する画像サーバー、画像データを検索する画像検索装置であると言うことができる。プリンタ30およびパーソナルコンピューター40は、画像サーバー10に対して画像検索を要求するクライアントコンピューターまたは画像検索端末装置と呼ぶことができる。パーソナルコンピューター40は、表示ディスプレイ41並びにキーボードおよびマウスといった入力装置42を備えている。
画像サーバーの構成:
図2は本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。画像サーバー10は、互いに通信可能に接続されている中央処理装置(CPU)101、メモリ102、画像データベースDB1が構築されている第1の記憶装置103、感性語・名詞−特徴量データベースDB2が構築されている第2の記憶装置104および入出力インターフェース105を備えている。CPU101は、メモリ102に格納されている各種プログラム、モジュールを実行する。メモリ102は、CPU101によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、CPU101による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ102としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、不揮発的にデータを記録可能な磁気式のハードディスクドライブ、大容量フラッシュメモリが用いられ得る。
第1および第2の記憶装置103、104は、例えば、ハードディスクドライブ、フラッシュメモリドライブといった1または複数の大容量記憶装置によって構成されている。すなわち、両記憶装置103、104は、1つの大容量記憶装置を論理的に2つの記憶装置とすることによって実現されても良く、あるいは、物理的に異なる2つの記憶装置であっても良い。第1の記憶装置103には、複数の画像データがそれぞれ複数の画像特徴量と対応付けて格納されている画像データベースDB1が構築されている。第2の記憶装置104には、感性語および名詞(の組合せ)と、画像特徴量とが対応付けて格納されている感性語・名詞−特徴量データベースDB2が構築されている。ここで、感性語は、評価や印象を表す形容詞、形容詞句であることが一般的に知られている。なお、画像データが機器上で出力(表示、印刷)された態様が画像であるが、請求項において処理対象となる画像は画像データを意味することは当業者にとって自明な事項である。
なお、本実施例では、単に画像データと画像特徴量とを対応付けて第1の記憶装置103に構築されているデータベース、単に感性語・名詞と画像特徴量とを対応付けて第2の記憶装置104に構築されているデータベースである場合を例にとって説明しているが、両記憶装置103、104に検索機能を備える制御部を備え、外部からの検索要求に応じて検索結果を出力する独立型のデータベースシステム(ファイルサーバー)であっても良い。この場合には、画像サーバー10の外部に画像データベースシステムが配置され、入出力インターフェース105を介して両者の間で検索要求および検索結果の送受信が実行される。また、データベース検索要求・検索結果受信用のプログラムがメモリ102に格納され、CPU101によって実行される。なお、画像データと画像特徴量との対応付け、あるいは、感性語・名詞と画像特徴量との対応付けは、各画像データと画像特徴量との対応関係を示すテーブル、あるいは、各感性語・名詞と画像特徴量との対応関係を示すテーブルを用いることによって実現される。これらテーブルは、両記憶装置103、104に備えられていても良く、あるいは、メモリ102に格納されていても良い。前者の場合には、両記憶装置103、104がそれぞれ、受け取った感性語・名詞に応じた画像特徴量を特定し、特定された画像特徴量に類似する画像データを読み出す。後者の場合には、両記憶装置103、104はそれぞれ、CPU101から受け取った論理アドレスに従って、それぞれ画像特徴量または画像データを読み出すので、データベースが構築されていない記憶装置から画像データを検索するということもできる。
入出力インターフェース105は、外部装置、例えば、プリンタ30、パーソナルコンピューター40といったクライアントとの間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。
画像データベース:
図3は本実施例における画像データベースの一例を示す説明図である。本実施例では、各画像データと、複数の画像特徴量とが対応付けて記憶装置103に格納されることによって画像データベースDB1が構築されている。画像データベースDB1は、例えば、前述のように、画像データと画像特徴量とを対応付ける管理テーブルによって実現されている。ここで、記憶装置103には、未だデータベース化されていない画像データが含まれていても良い。
画像データに対応付けられている画像特徴量には、例えば、オブジェクトの特徴点、彩度、形状、RGB平均値等の画像特徴量の種類について、代表値、平均値、最小値、最大値、中央値といった画像特徴量の値が含まれる。また、画像特徴量の他の態様として、画像データに関連付けられているメタデータ等の記述情報が含まれる。なお、これら画像特徴量は、例えば、記憶装置103に格納されている画像データを順次取得し、周知の手法にて画像データを解析して所望の種類の画像特徴量の値を得たり、画像データに対応付けられているメタデータを分析することによって取得される。あるいは、記憶装置103に格納されるべき画像データを外部の記憶装置から記憶装置103に格納する際に、画像特徴量が取得される。取得された画像特徴量が、画像特徴量が取得された画像データと対応付けられて記憶装置103に格納されると、図3に示す画像データベースDB1が得られる。なお、画像データベースDB1において画像データに対応付けられている画像特徴量の種類は、感性語・名詞−画像特徴量データベースDB2において各感性語および名詞の組合せに対応付けられている画像特徴量の全ての種類に対応していることが望ましい。
画像データベースDB1を作成するにあたって実行される、画像データからの画像特徴量の取得は、画像データを構成する画素データに対して統計的な処理を施すことによって得られる。なお、画像データからの画像特徴量の取得は、第3の画像検索処理において説明する、画像特徴量の抽出処理と同様であり、後述する。
感性語・名詞−画像特徴量データベース:
図4は本実施例における感性語・名詞−画像特徴量データベースの一例を示す説明図である。なお、図4に示す感性語・名詞−画像特徴量データベースDB2は、一例であり、他の感性語および名詞の組合せや、他の画像特徴量が含まれていても良い。本実施例では、感性語および名詞の組合せと、複数の画像特徴量および値とが対応付けて記憶装置104に格納されることによって感性語・名詞−識別子データベースDB2が構築されている。図4の例では、感性語として、懐かしい、かっこいい、華やかな、若々しいの各語が用いられており、感性語と組み合わせて用いられる名詞として、車と人が用いられている。
名詞の「車」、「人」には、主要な被写体の特徴に併せて、それぞれ、「オブジェクトの特徴点」、「顔の形状」が画像特徴量の種別に含まれている。「オブジェクトの特徴点」とは、「オブジェクトの形状」、「オブジェクトの色」、「オブジェクトの相対的な大きさ」等を示す。たとえば、オブジェクトが「車」である場合、「車(オブジェクト)の特徴点」は、車の形状(オブジェクトの輪郭)が丸味を帯びているか否か、車の色(オブジェクトの色)が原色(R、G、B)に近いか否か、車の大きさ(オブジェクトの顔に対する相対的な大きさ)が大きいか否かの情報を示す。また、車種を「車(オブジェクト)の特徴点」とすることも可能である。なお、「顔の形状」は、「オブジェクトの形状」のうち「顔」に対応する具体的な形状であり、広義には「オブジェクトの形状」に含まれる概念であるということができる。オブジェクトの形状および顔の形状の値には、感性語および名詞の組合せに対応して、オブジェクト(主要被写体)、あるいは顔が取るべきオブジェクト領域の高さおよび幅を表す座標軸上の寸法値(画素数)、輪郭の座標値の平均値が格納されている。
感性語の「懐かしい」には、車および人の双方に共通して、画像データの生成日時情報、例えば、メタデータの一種であるExif情報に含まれる撮影日時情報が対応付けられている。撮影日時情報として、例えば、10年、20年前の日時を設定することによって、所定の日時に生成された画像データを判別することができる。感性語の「華やかな」には、車および人の双方に共通して、華やかさを示す指標として好適な彩度、一般的には鮮やかな彩度が対応付けられている。一方で、図4に示す例から理解されるように、個々の感性語と名詞との組合せには、それぞれ異なる画像特徴量の複数種類の組合せが対応付けられており、感性語・名詞−識別子データベースDB2は、感性語のみによって構築されたデータベースではない。すなわち、組み合わされる名詞によって画像特徴量の種類は異なり、この結果、感性語に基づいて実行される画像検索において問題となっていた、統一感のない、あるいは系統立っていない検索結果の発生を防止、低減することができる。
なお、感性語・名詞−識別子データベースDB2は、画像特徴量の種類のみを格納しているのではなく、各画像特徴量種毎に、感性語+名詞に適当な画像特徴量の値が格納されていることは言うまでもない。画像特徴量の値としては、例えば、感性語および名詞の組合せに応じて、代表値、平均値、最小値、最大値、中央値といった値が格納される。例えば、オブジェクトのRGB平均値には、感性語および名詞の組合せに対応して、オブジェクト領域が有するべきRGB平均値が格納され、顔のテクスチャには、感性語および名詞の組合せに対応して、顔領域が取るべき空間周波数の値が格納され、表情、年齢および性別には、感性語および名詞の組合せに対応して、顔領域上における目口鼻眉等の器官が取るべき座標軸上の距離(座標成分の差分値)、座標位置の平均値が格納されている。なお、年齢および性別については、顔領域のテクスチャ、色相、エッジ量といった他の画像特徴量種の値が複合的に組み合わせていても良い。服装の形状については、感性語および名詞の組合せに対応して、服装領域の高さおよび幅を表す座標軸上の寸法値(画素数)の平均値が格納され、服装の彩度としては、感性語および名詞の組合せに対応して、服装の領域が取るべき彩度が格納されている。アイドルとの類似度を示す画像特徴量としては、複数のアイドルについて顔の器官位置(座標位置)の平均値が用いられる。自分と知人との類似度(親密度)は、例えば、個人的な画像データベースにおいて有効な画像特徴量であり、類似度の場合には各知人の顔の器官位置の値(平均値)、親密度の場合にはユーザ(自分)と知人とが含まれている画像データにおける自分と知人との(平均)距離(座標成分の差分値)が用いられる。なお、親密度の場合には、知人を特定するために、知人の顔の器官位置の値(平均値)についても、「懐かしい・人」の画像特徴量として含まれていることが望ましい。
顔の向きについては、感性語および名詞の組合せに対応して、顔領域における目と口との間の座標間距離(座標成分の差分値)および両目の間の座標間距離、口および目の大きさを表す座標間距離として取るべき値の平均値、顔領域上における目・口の座標位置の平均値、あるいは、顔の上下左右方向の振り角度の平均値が格納されている。色相、彩度および明度としては、一般的に、HSV色空間におけるH(色相)、S(彩度)およびV(明度)の値が格納されている。
Exifの情報としては、撮影日時の他にも、撮影位置を特定可能なGPS、夜景、風景、ポートレートといった撮影シーンを特定可能な撮影モードといった情報が、感性語および名詞の組合せに応じて画像特徴量として格納され得る。
これら画像特徴量の値は、感応試験、トライアンドエラー、経験則に基づいて人によって定められてもよく、あるいは、予め感性語+名詞の組合せが対応付けられている複数の画像データを用いてコンピューターによって統計学的に定められても良い。コンピューターによる処理では、予め感性語+名詞の組合せが対応付けられている複数の画像データの特徴量を複数取得し、各感性語+名詞の組合せにおいて特徴的な(例えば、所定の出現頻度以上の)特徴量種および値を感性語・名詞−識別子データベースDB2に格納すべき画像特徴量種および値とすれば良い。
図5は画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。メモリ102に格納されている各種プログラム、モジュールについて図5を用いて説明する。メモリ102は、本実施例に係る画像データベースから画像を検索するために実行される画像検索プログラムSP1を格納している。
画像検索プログラムSP1は、キーワード取得モジュールSM11、感性語・名詞分割モジュールSM12、特徴量取得モジュールSM13、画像データ検索モジュールSM14、画像データ送信モジュールSM15、画像データ取得モジュールSM16、特徴量抽出モジュールSM17およびキーワード検索モジュールSM18を備えている。キーワード取得モジュールSM11は、クライアントコンピューターであるプリンタ30およびパーソナルコンピューター40によって送信された検索キーワードを取得するために実行されるモジュールである。本実施例では、検索キーワードには感性語と名詞とが少なくとも含まれているので、キーワード取得モジュールSM11は、名詞と形容詞といった複数の単語から構成されるキーワードを受け付ける機能を有している。
感性語・名詞分割モジュールSM12は、キーワード取得モジュールSM11により受け取られた検索キーワード、すなわち、文字列に対して形態素解析を実行して文字列を1または複数の品詞単位の単語に分かち書きするためのモジュールである。形態素解析の定義は多義に亘るが、本実施例における形態素解析は、漢字仮名混じりの自然文を単語に分割する処理を意味し、自然文から単語を切り出す分かち書き、切り出した単語の品詞の同定、辞書にない語(未知語)の処理が実行される。分かち書き、品詞の特定処理では、一般的に、隣り合った形態素(単語)間の結合に関する規則と形態素情報とを記述した形態素辞書が用いられる。キーワード取得モジュールSM11は、形態素解析によって得られた感性語および名詞をキーワードとして以降の処理に用いる。キーワード取得モジュールSM11は、プリンタ30等から画像が送信される場合には、送信された画像データに対応付けられているメタデータからキーワードを抽出、取得した上で、形態素解析を実行しても良い。なお、特許請求の範囲における、キーワードを名詞と感性語とに分割する処理は、上記形態素解析によるキーワード文字列からの単語の切り出しおよび単語の品詞特定を含む処理である。
特徴量取得モジュールSM13は、感性語・名詞分割モジュールSM12によって得られた感性語および名詞を用いて、感性語・名詞−画像特徴量データベースDB2から、対応する画像特徴量を取得する。具体的には、得られた感性語および名詞の組合せに対応する画像特徴量の種類および値を取得する。
画像データ検索モジュールSM14は、特徴量取得モジュールSM13によって取得された、検索キーワードに含まれる感性語+名詞の組合せに対応する画像特徴量を用いて、画像データベースDB1から対応する画像データを検索・取得するためのモジュールである。具体的には、画像データ検索モジュールSM14は、取得された画像特徴量と一致または類似する画像データを画像データベースDB1から検索し、取得する。なお、画像特徴量の種別並びに値を取得する詳細な手法については後述する。
画像データ送信モジュールSM15は、検索キーワードを送信したクライアントコンピューターであるプリンタ30およびパーソナルコンピューター40に対して、検索により得られた画像データを送信するためのモジュールである。
画像データ取得モジュールSM16は、クライアントコンピューターであるプリンタ30およびパーソナルコンピューター40から検索キーワードと共に、あるいは、検索キーワードに代えて送られてくる画像データを取得するためのモジュールである。特徴量抽出モジュールSM17は、検索キーワードと共に送信されてきた画像データの画像特徴量を抽出するためのモジュールである。抽出すべき画像特徴量の種類は、画像データベースDB1において画像データに対応付けられている画像特徴量の種類と同数または一般的に用いられる色相、彩度、明度、平均輝度、エッジ量等の画像特徴量である。キーワード検索モジュールSM18は、検索キーワードに代えて、プリンタ30等から送信された画像データから検索用のキーワードを検索するためのモジュールである。具体的には、画像データに関連付けられているメタデータに含まれる文字列をキーワードとして抽出する。なお、抽出された文字列には、感性語・名詞が含まれていることが望ましいので、キーワード検索モジュールSM18は上述の形態素解析を実行して、感性語・名詞が含まれる文字列のみをキーワードとして抽出しても良い。あるいは、キーワード検索モジュールSM18は抽出した文字列の判断・分析を行わず、感性語・名詞分割モジュールSM12において文字列の判断・分析が実行されても良い。なお、抽出した文字列に感性語・名詞が含まれていない場合には、プリンタ30等に対して文字入力による感性語・名詞を含むキーワード入力が要求されてもよく、あるいは、感性語・名詞を用いた画像検索を実行せず、画像データから画像特徴量を抽出して、画像特徴量に基づく画像検索が実行されても良い。
なお、キーワード取得モジュールSM11、感性語・名詞分割モジュールSM12、特徴量取得モジュールSM13、画像データ検索モジュールSM14、画像データ送信モジュールSM15、画像データ取得モジュールSM16、特徴量抽出モジュールSM17およびキーワード検索モジュールSM18は、それぞれCPU101によって実行されることによって、キーワード取得部、分割部、特徴量取得部、画像検索部、検索画像データ送信部、画像取得部、特徴量抽出部、キーワード検索部として機能する。また、キーワード取得モジュールSM11、感性語・名詞分割モジュールSM12、特徴量取得モジュールSM13、画像データ検索モジュールSM14、画像データ送信モジュールSM15、画像データ取得モジュールSM16、特徴量抽出モジュールSM17およびキーワード検索モジュールSM18は、それぞれハードウェアとして、例えば、半導体回路として実現されても良い。
プリンタの構成:
図6は本実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。図7は画像プリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。本実施例では、画像検索端末装置としてプリンタ30を例にとって説明するが、パーソナルコンピューター40についても同様に画像検索端末装置として用いることが可能であることは言うまでもない。プリンタ30は、信号線によって互いに接続されている制御回路31、入力操作部32、表示部33、印刷部34、外部入出力インターフェース35を備えている。制御回路31は、互いに通信可能に接続されている中央処理装置(CPU)310、メモリ311、入出力(I/O)インターフェース312を備えている。CPU310は、メモリ311に格納されている各種プログラム、モジュールを実行する。メモリ311は、CPU310によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、CPU310による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ311としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、ハードディスクドライブ、大容量フラッシュメモリが用いられ得る。入出力インターフェース312は、制御回路31と、入力操作部32、表示部33、印刷部34および外部入出力インターフェース35との間で、コマンド、データの送受信を実行する。入力操作部32は、プリンタ30に対してユーザが指示を入力するための操作部であり、例えば、ボタン、ホイールによって実現され得る。表示部33は、ユーザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行うカラー表示可能な表示画面である。印刷部34は、ユーザ(制御回路31)からの印刷指示に従って印刷媒体に対して画像を形成する印刷実行部である。外部入出力インターフェース35は、外部装置、例えば、画像サーバー10との間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。
メモリ311に格納されている各種プログラム、モジュールについて図10を用いて説明する。メモリ311は、画像サーバー10に対して画像検索を要求するための画像検索要求プログラムCP1を備え、画像検索要求プログラムCP1は、キーワード取得モジュールCM11、検索要求送信モジュールCM12、検索結果受信モジュールCM13を備えている。キーワード取得モジュールCM11は、検索対象となる画像(画像データ)を特定するためにユーザによって入力されたキーワードを取得するために実行されるモジュールである。なお、キーワードの取得は、入力操作部32によって入力されたキーワードを取得しても良く、あるいは、画像データに予め関連付けられているメタデータに記述されているキーワードを抽出、取得することによって実行されても良い。さらには、キーワードの取得は、入力操作部32によって入力されたキーワードと画像データのメタデータに記述されているキーワードの双方を取得することによって実行されても良い。検索要求送信モジュールCM12は、取得されたキーワードと検索の要求を画像サーバー10に対して送信するためのモジュールである。検索結果受信モジュールCM13は、画像サーバー10から検索結果としての一または複数の画像データを取得するためのモジュールである。なお、画像検索要求プログラムCP1、キーワード取得モジュールCM11、検索要求送信モジュールCM12、検索結果受信モジュールCM13、それぞれCPU310によって実行されることによって、画像検索要求部、検索要求キーワード取得部、検索要求送信部、検索結果受信部として機能する。
画像検索処理:
図8は本実施例に係る画像サーバーにおいて実行される第1の画像検索処理の処理ルーチンを示すフローチャートである。画像検索処理は、プリンタ30等の検索端末装置からの検索要求を受けて、画像サーバー10において実行される。本処理ルーチンが開始されると、キーワード取得モジュールSM11は、検索に用いるべきキーワードを取得する(ステップS100)。検索キーワードの取得は、ユーザによって、例えば、プリンタ30の入力操作部32を介して入力された文字列のキーワードを取得することによって実現される。
検索キーワードが取得されると、感性語・名詞分割モジュールSM12は、キーワードを感性語と名詞とに分割する(ステップS102)。具体的には、感性語・名詞分割モジュールSM12は、形態素解析を実行して、文字列を感性語および名詞に分割する。形態素解析における単語分割パターンを選択する方法としては、文字列の先頭から解析を行い最も長い単語を選択する最長一致法、原文を構成する単語の総数が最も少ない候補パターンを選択する分割数最小法、品詞間の文法的接続可能性にも続く方法、品詞間の接続コストに基づく方法、統計的言語モデルに基づく方法が知られている。例えば、最長一致法を用いる場合には、先ず、形態素辞書に格納されている形態素(単語エントリ)の中でキーワードの文字列と最も長く一致する単語エントリが検索され、検索された単語エントリが単語分割(分かち書き)の対象とされる。つぎに、単語分割候補とした単語エントリの文字列長だけキーワードに対するポインタが先頭位置から進められ、上述の手順で次の単語分割候補が得られる。得られた最新の単語エントリの素性と直前の単語エントリの素性に基づき両単語エントリが接続可能な関係にあるか否かが判定され、接続可能である場合には、単語の切り出しは正しく実行されたので、キーワードの末尾に至るまで、切り出し、接続テストが繰り返し実行される。一方、接続不可能である場合には、最新の単語エントリの末尾の文字が捨てられ、単語分割候補の獲得、接続テストが実行される。接続不可の状態が繰り返されると、形態素辞書を検索する文字列長が0になってしまうので、この場合には、直前の単語エントリの単語切り出しが誤っていた可能性があるので、直前の単語エントリの末尾の文字が捨てられ、改めて形態素辞書の検索、単語分割候補の取得が実行される。この一連の処理によって、形態素の切り出し(単語の分割)と形態素の素性(品詞)の決定が行われる。
なお、検索用のキーワードには、感性語および名詞のみ、が含まれていることが望ましいが、他の品詞が含まれている場合であっても、上記した形態素解析を実行することによって、キーワードに含まれる品詞が特定され得る。また、キーワードには、感性語と名詞との組合せは複数、例えば、感性語が複数含まれていても良い。感性語と名詞の組合せが複数存在する場合には、可能性のある感性語および名詞の組合せを用いることによって、それぞれについて画像特徴量を取得することによって漏れのない画像検索を実現することができると共に、検索精度を向上させることができる。
キーワードから感性語および名詞の組合せが取得(決定)されると、特徴量取得モジュールSM13は、感性語・名詞−画像特徴量データベースDB2から、対応する画像特徴量を取得する(ステップS104)。具体的には、感性語・名詞の組合せを検索キーとして、図4に示す感性語・名詞−画像特徴量データベースDB2から対応する画像特徴量の種類および値が取得される。
感性語および名詞の組合せに対応する画像特徴量の種類および値が取得されると、画像データ検索モジュールSM14は、得られた画像特徴量の種類および値を用いて、画像データベースDB1から感性語および名詞の組合せに対応する画像データを検索する(ステップS106)。具体的には、得られた画像特徴量の種類および値と、画像データベースDB1において各画像データに対応付けられている特徴量の種類および値とを用いて、感性語および名詞の組合せに対応する画像データの類似度が判定され、算出された類似度が所定の範囲内、あるいは、所定の類似度以上である画像データを検索結果として得る。
各特徴量間の類似度の判定には、例えば、ユークリッド距離、マハラノビス距離といった距離算出方法が適用される。具体的には、感性語・名詞−画像特徴量データベースDB2から取得された各画像特徴量の値と、画像データベースDB1において各画像データに対応付けられている各画像特徴量の値との間の距離、すなわち、感性語・名詞に基づいて特定された各画像特徴量の値と画像データベースDB1において各画像データに対応付けられている各画像特徴量に値によって表される多次元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。あるいは、感性語・名詞に基づいて特定された各画像特徴量の値を成分とする多次元ベクトルと、画像データベースDB1において各画像データに対応付けられている各画像特徴量の値を成分とする多次元ベクトルとの内積を求めて判断されても良い。この場合には、両多次元ベクトルのコサイン成分の差を求めるので、得られた内積の値が1に近いほど(両多次元ベクトル間の角度が0に近いほど)類似度が高いと判断することができる。
ユークリッド距離を用いる場合には、以下に示す式(1)および(2)によって類似度を算出することができる。
Figure 2011065499
Figure 2011065499
式(1)において(xi)は画像データベースDB1における画像データの各画像特徴量の値、(yi)は感性語・名詞−画像特徴量データベースDB2から取得された各画像特徴量の値を示し、kiは重み付け係数(0ではない任意の値)を示す。式(2)においては理解を容易にするために、各特徴量種毎に求められた差分の合計値(距離)が類似度として用いられることを明示している。距離を用いた類似度判断では、算出結果が0に近いほど画像データと識別子とが類似していることを示すので、重要度の高い特徴量に対して大きな重み付け係数を付与することによって、当該特徴量に対する感度を高くして検索結果数を絞り込むことんでも良い。なお、類似度の算出にあたっては、各特徴量毎に式(1)に示す数式を用いて類似度を算出し、算出された類似度の単純和を用いても良い。
一方、内積を用いる場合には、以下の式(3)によって類似度を算出することができる。式(3)において係数は、各多次元ベクトルの成分に対して適用される。
Figure 2011065499
類似度として内積を用いる場合にも、両多次元ベクトル間角度が0に近いほど画像データと識別子とが類似していることを示すので、複数の画像データにおいて共通または近似する値の特徴量に対して重み付けを大きくすることにより重要度の高い特徴量に関する感度を高くして検索結果を精選し、検索精度を向上させることができる。なお、画像データ検索の際に算出された類似度は、検索結果を表示する際に、キーワードと検索結果との関連度を示す指標として表示されても良い。
画像データ送信モジュールSM15は、検索された画像データを、画像データ検索要求の送信元であるプリンタ30に対して送信して(ステップS108)、本処理ルーチンを終了する。なお、送信元であるプリンタ30の特定は、例えば、プリンタ30から送信された画像検索要求のヘッダに含まれる送信元アドレス(IPアドレス、MACアドレス)を用いることによって特定可能である。なお、本実施例において、ネットワークを介して実行される各装置間の通信は、周知のネットワークプロトコルに従って実行される。
・第2の画像検索処理:
図9は本実施例に係る画像サーバーにおいて実行される第2の画像検索処理の処理ルーチンを示すフローチャートである。第2の画像検索処理では、検索用のキーワードとして、プリンタ30等から送信されたキーワード、すなわち、文字列を直接用いず、プリンタ30等から送信された画像データからキーワードを抽出して検索用のキーワードを得る点において第1の画像検索処理と異なる。したがって、第1の画像検索処理において説明した処理ステップと同一の処理ステップについては、第1の画像検索処理において用いたステップ番号と同一の番号を付すことで詳細な説明は省略し、第1の画像検索処理における処理ステップとは異なる処理ステップを中心に以下、説明する。
本処理ルーチンが開始されると、キーワード検索モジュールSM18は、検索に用いるべきキーワードをプリンタ30から送信された画像データから取得する(ステップS101)。具体的には、プリンタ30から送信された画像データに対応付けられているメタデータに記述されているキーワードを取得することによって実現される。ここで、メタデータとは、画像データに関連付けられている、画像データの内容、特性等を示す情報を意味し、例えば、タグ、ヘッダ等の形式にて画像データに関連付けられている。
キーワードが取得されると、画像サーバー10は、プリンタ30からキーワード文字列が送信される場合と同様にして、キーワードを感性語と名詞に分割し(ステップS102)、分割により得られた感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースDB2から対応する1または複数種類の画像特徴量の値を取得する(ステップS104)。画像サーバー10は、取得した画像特徴量を用いて画像データベースDB1から類似する画像データを検索し(ステップS106)、検索により得られた画像データをプリンタ30に対して送信して(ステップS108)、本処理ルーチンを終了する。なお、ステップS102からステップS106は、第1の画像検索処理と同様にして実行されるので、詳細な説明は省略する。
・第3の画像検索処理:
図10は本実施例に係る画像サーバーにおいて実行される第3の画像検索処理の処理ルーチンを示すフローチャートである。第3の画像検索処理では、検索用のキーワードとして、プリンタ30等から文字列のキーワードが送信されると共に、検索の対象(キー)となる画像データも送信される点において第1の画像検索処理と異なる。したがって、第1の画像検索処理において説明した処理ステップと同一の処理ステップについては、第1の画像検索処理において用いたステップ番号と同一の番号を付すことで詳細な説明は省略し、第1の画像検索処理における処理ステップとは異なる処理ステップを中心に以下、説明する。
本処理ルーチンが開始されると、キーワード検索モジュールSM18は、検索に用いるべきキーワードをプリンタ30から送信された画像データから取得し(ステップS100)、画像データ取得モジュールSM16は、プリンタ30から検索のキーとなる対象画像データを取得する(S101a)。すなわち、第3の画像検索処理では、文字列からなる検索用キーワードに加えて、ユーザが検索したいと考える対象画像の画像データが検索キーの1つとして、プリンタ30から画像サーバー10に対して送信される。
キーワードおよび対象画像データを取得すると、画像サーバー10は、キーワードを感性語と名詞に分割し(ステップS102)、分割により得られた感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースDB2から対応する1または複数種類の画像特徴量の値を取得する(ステップS104)。
画像サーバー10の特徴量抽出モジュールSM17は、取得した対象画像データから画像特徴量を抽出する(ステップS105)。対象画像データから抽出、取得される画像特徴量の種類(種別)としては、例えば、画像データの平均輝度、最小輝度、最高輝度、代表色の色相、彩度および明度、画像に占める代表色の割合、画像データに含まれる顔の形状、顔の大きさ、顔のテクスチャ、顔の向き、顔の表情、エッジ量、エッジの方向位置、オブジェクトの特徴点、オブジェクトの形状、顔領域に基づく性別・年齢・表情、アイドルとの類似度、服装の形状・彩度、自分と知人との類似度(親密度)が含まれる。画像特徴量の抽出にあたっては、以下に述べるように各種類について、それぞれ値が求められる。画像データがRGBドットマトリクスデータである場合を例にとって説明すると、画像データを構成する全ての画素データ、または所定量の画素データ間引き後に残存する画素データ(サンプリング画素データ)を用いて各画像特徴量種について値が求められる。例えば、画像データを構成する全ての画素データからR、G、Bの成分値(8ビット階調の場合には、0〜255の値を取り得る)が求められると、求められたR、G、B成分値を、横軸にR、G、B成分値の値(階調値とも言う)と、縦軸に出現頻度を有するグラフ上にプロットすることによって各R、G、B成分の頻度分布(ヒストグラム)が得られる。輝度のヒストグラムは、周知の変換式を用いて、求められたR、G、B成分値をY成分値(輝度成分値)に変換し、変換により得られたY成分値を、横軸にY成分値の値(階調値とも言う)と、縦軸に出現頻度を有するグラフ上にプロットすることによって得られる。平均輝度は、各画素データについて得られたY成分値の合計値を画素データ数で除することによって得られ、最小輝度および最大輝度は、輝度ヒストグラムのおける最小輝度値およぎ最大輝度値を特定することによって得られる。オブジェクトの彩度、服装の彩度等が必要な場合には、後述するようにオブジェクト(服装を含む)を特定した上で、オブジェクトを構成する画素データを用いて上述した処理を実行すれば良い。
代表色の色相、彩度および明度は、画像データまたは間引き後の画像データをRGB値からHSV値に変換し、変換後に得られたH(色相)、S(彩度)およびV(明度)についてそれぞれ縦軸に出現頻度、横軸に各成分の値を有するヒストグラムを作成し、最も頻度の高い色相値、彩度値、および明度値をそれぞれ代表色の色相、彩度および明度として特定すれば良い。なお、RGB色空間−HSV色空間の変換処理については周知であるから詳細な説明を省略する。
エッジ量およびエッジの方向については、例えば、周知の3×3Prewittオペレータ、5×5Prewittオペレータを用いることによってエッジ量およびエッジ角度を算出することができる。
オブジェクト(主要被写体)の領域(顔領域)は、画像を構成する画素のうち、画素値、例えば、RGB三成分値が互いに近似する隣接画素あるいは所定の色相(顔領域の場合には一般的には肌色)範囲に属する隣接画素をグループ化することによって画定することができる。また、画像の全領域に対してX−Y座標軸を設定することによって、画像中におけるオブジェクトの位置、形状、大きさを座標位置(座標成分)に基づいて特定することができる。すなわち、オブジェクトの位置、形状、大きさの画像特徴量としては、座標位置(座標成分)が取得される。また、顔領域における目口鼻等の器官位置についてもエッジ検出処理後に、座標位置、座標間距離を得ることによって特定することができる。この前提の下、顔の大きさ、形状については、画定された顔領域の幅および高さの座標間距離が求められる。顔の向きについては、顔領域における目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを表す座標間距離が取得される。すなわち、正面を向いた顔領域における目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値として予め用意しておき、例えば、画定された顔領域における目と口との間の座標間距離が基準値よりも短く、口の大きさが基準値よりも大きい場合には上向きの顔画像であると判断することが可能となり、画定された顔領域における目と口との間の座標間距離が基準値と同等であり、両目の座標間距離が基準値よりも小さく、右目の大きさが基準値よりも大きい場合には左向きの顔画像であると判断することが可能となる。また、各基準値に対する、画定顔領域の目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値の差分と顔の角度とを予め対応付けておくことによって、顔の上下左右方向の振り角度を得ることもできる。
顔の形状、顔の表情、顔に基づく性別、年齢については、顔の輪郭および器官の座標成分が取得される。画像の解析によって得られた器官の座標成分と、予め顔の喜怒哀楽の表情、年齢、性別と対応付けられている座標成分(感性語・名詞−画像特徴量データベースDB2に格納されている値)とが対比されることによって、顔の形状、顔の表情、顔に基づく性別、年齢を特定することができる。顔領域のテクスチャについては、画定された顔領域に対して周波数解析を実行することによって得られる。画定された顔領域に対する周波数解析は、2次元フーリエ変換式を用いて、画定された顔領域を構成する各画素データの周波数を求めることによって実行される。一般的に、得られた周波数成分に低周波数成分が多く含まれる場合には、滑らかな画像であることを示し、高周波数成分が多く含まれる場合には、滑らかでない画像であることを示す。
オブジェクトの特徴点については、既述の「オブジェクトの形状」、「オブジェクトの色」、「オブジェクトの相対的な大きさ」等を求めることによって取得される。具体的には、例えば、「オブジェクトの形状」は、既知の技術により画像から抽出された輪郭(エッジ)から取得することができる。「オブジェクトの色」は、前記輪郭で囲まれる画像領域のRGB値、または画像に付帯している合焦位置情報を利用して合焦位置周辺のRGB値から取得することができる。「オブジェクトの相対的な大きさ」は、画像中に顔と認識された画像領域がある場合、顔画像領域と前記輪郭で囲まれる画像領域との大きさを比較することにより取得することができる。アイドルとの類似度を示す画像特徴量としては、顔の器官位置(座標成分)が取得され、自分と知人との類似度(親密度)では、各オブジェクトにおける顔の器官位置が取得され、親密度の場合にはユーザ(自分)と知人とが含まれている画像データにおける自分と知人との距離(座標成分)が取得される。
Exifの撮影日時は、画像データに関連付けられているメタデータであるExifタグから取得可能である。すなわち、本実施例における画像特徴量の取得は、複数の画素データからなる画像データから取得された各画素データの成分値の取得、および取得された成分値に対して統計的な処理を施した統計的な値の取得のみならず、画像データに関連付けられているメタデータからの画像に関する情報の取得を含む概念である。
画像サーバー10は、キーワードに基づき感性語・名詞−画像特徴量データベースDB2から取得した画像特徴量および対象画像データから抽出した画像特徴量を用いて画像データベースDB1から類似する画像データを検索し(ステップS106)する。画像データの検索にあたっては、名詞−画像特徴量データベースDB2から取得した画像特徴量および対象画像データから抽出した画像特徴量が用いられるが、類似度の算出処理は第1の画像検索処理と同様に実行することができる。すなわち、式(1)において、パラメータ(yi)として、感性語・名詞−画像特徴量データベースDB2から取得された各画像特徴量の値および対象画像データから抽出された各画像特徴量の値を用いればよい。この際、重複する画像特徴量の種類について、感性語・名詞−画像特徴量データベースDB2から取得された各画像特徴量の値および対象画像データから抽出された各画像特徴量の全てが用いられても良く、あるいは、対象画像データから抽出された画像特徴量が優先して用いられても良い。画像特徴量種の重複を問わず全ての画像特徴量種が用いられる場合には検索精度を向上させることができる。また、対象画像データから抽出された画像特徴量が優先して用いられる場合には、ユーザが検索キーとして選択した画像データの特徴量に基づいた画像検索が可能となるので、ユーザが意図した検索結果を提供しやすい。なお、対象画像データから抽出された画像特徴量を優先して用いるとは、重複する画像特徴量種については、対象画像データから抽出された画像特徴量のみを用いる態様、または、対象画像データから抽出された画像特徴量の比重が大きくなるように重み付け係数を乗じる態様を意味する。
画像データベースDB1画像サーバー10は、検索により得られた画像データをプリンタ30に対して送信して(ステップS108)、本処理ルーチンを終了する。なお、ステップS102、ステップS104、ステップS108は、第1の画像検索処理と同様にして実行されるので、詳細な説明は省略する。
画像検索要求処理:
図11は本実施例に係る画像検索要求処理に際して実行される処理ルーチンを示すフローチャートである。図12は本実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。本処理ルーチンは、画像検索端末としてのプリンタ30によって実行される。本処理ルーチンが開始されると、プリンタ30のキーワード取得モジュールCM11は、キーワードを取得する(ステップS200)。具体的には、入力操作部32を介してユーザによって入力されたキーワード、あるいは、検索元となる画像データに予め対応付けられているメタデータに記述されているキーワードを抽出することによって実行される。
キーワードが取得されると、検索要求送信モジュールCM12は、画像サーバー10に対して検索要求を送信する(ステップS202)。具体的には、外部入出力インターフェース35、ネットワークNEを介してキーワードと検索要求コマンドとを含む検索要求データ列が画像サーバー10に送信される。検索結果受信モジュールCM13は、画像サーバー10から受信した検索結果としての1または複数の画像データを取得し(ステップS204)、取得した画像データを用いて複数の画像を表示部33に表示させて(ステップS206)、本処理ルーチンを終了する。なお、キーワードの取得および送信に代えて、ユーザが指定した対象画像データを取得、送信したも良く、あるいは、キーワードに加えて、対象画像データを取得し、送信しても良い。また、複数の画像を表示部33に表示させる際には、図12に示すように、各画像とキーワード(および対象画像データ)との関連度を示す指標として関連度(または類似度)を表示部33に表示しても良い。ここで、類似度は、画像データ検索の際に算出された類似度である。ただし、類似度は、類似している程小さな値を取り、直感的に類似の程度を把握し難い。そこで、類似度が高いほど値が大きくなる(一致する場合には100%)関連度という百分率表示の指標を用いても良い。例えば、類似度として一般的に高い類似度を示す値域に対して100%〜50%までの値を一次関数によって割当て(但し、類似度0の場合に100%をとる)、一般的に類似していないと判断される類似度に対しては、50%未満の値を所定の規則に従って離散的に割り当てることによって関連度を得ても良い。あるいは、得られた類似度の逆数に正規化処理を施す等して関連度を得ても良い。
図12の例ではキーワードとして「かっこいい車」が用いられており、「かっこいい車」をキーワードとして検索した際に得られたキーワードと検索画像データの類似度に基づく関連度がそれぞれ表示されている。なお、複数のキーワードまたはキーワードに加えて対象画像データを用いて画像検索が行われた場合には、対応付けられている類似度のうち高い類似度、低い類似度または類似度の平均値に基づき算出された関連度が表示される。表示部33に検索画像と共に関連度を表示することにより、ユーザは、用いたキーワードが検索キーワードとして適切であったか否かを判定することが可能となり、検索結果に満足がいかない場合には、キーワードを変更して再度、検索を実行することができる。なお、検索結果受信モジュールCM13には、検索結果表示制御モジュールの機能が包含されていても良く、あるいは、別途、検索結果表示制御モジュールが備えられていても良い。
以上説明した本実施例に係る画像サーバー、画像検索方法、プリンタ(画像検索端末装置)、画像検索システムによれば、感性語と名詞の組合せを検索キーとして画像データを検索することができる。すなわち、感性語と名詞の組合せに基づいて感性語・名詞−画像特徴量データベースDB2から検索に用いるべき画像特徴量を取得し、取得した画像特徴量を用いて画像データを検索することができる。したがって、感性語にのみ基づいた画像検索技術において問題となる、統一感のない、あるいは、系統立っていない検索結果の派生を防止または低減することができる。すなわち、感性語に併せて名詞を検索キーとして用いることによって、検索対象を系統化することが可能となり、統一感のある検索結果を得ることができると共に、ユーザが望む検索結果を得ることが可能となり、検索精度を向上させることができる。
また、第2の画像検索処理では、ユーザが選択した画像データから検索キーワードを取得または抽出して画像検索が行われるので、検索キーワードの入力を要することなくユーザの意図を反映した検索結果を得ることができる。
さらに、第3の画像検索処理では、ユーザが入力した検索キーワードに加えて、ユーザが選択した画像データの特徴量を用いて画像検索が行われるので、検索キーワードのみでは表すことができないユーザの意図を反映した検索結果を得ることができる。すなわち、ユーザが選択した画像データが有する画像特徴量に基づく画像検索が可能となるので、検索キーワードによる画像検索の検索精度を更に向上させることができる。
本実施例の画像検索処理では、感性語および名詞のいずれか一方が複数存在する場合であっても、各感性語と名詞の組合せについて対応する画像特徴量を取得して画像検索が実行されるので、検索時に用いられる画像特徴量の種類が増え、画像検索精度を向上させることができる。複数の感性語を用いた画像検索を許容することによって、複数の感性語として、所定の感性語と、当該所定の感性語と反対の意味を有する感性語とが入力された場合には、検索結果として得られる画像数が増大することになるため、ユーザは検索キーワードの入力に誤りがあったことを認識することができる。
・変形例:
(1)上記実施例では、画像検索端末装置としてプリンタ30を例にとって説明したが、パーソナルコンピューター40も同様にして用いることができる。パーソナルコンピューター40は、表示ディスプレイ41と入力装置(キーボード、マウス)42とを備えている。
(2)上記実施例における第2の画像検索処理では、画像サーバー10において、画像検索端末装置としてのプリンタ30から送信された画像データから検索キーワードが取得されているが、プリンタ30において画像データに対応付けられているメタデータから検索キーワードを取得し、取得したキーワードが画像サーバー10に対して送信されても良い。この場合には、画像サーバー10では、上記実施例における第1の画像検索処理と同様の処理が実行される。
(3)上記実施例では、画像サーバー10として、クライアントからの要求に応じての画像データベースを検索するサーバーコンピューターを例にとって画像検索処理について説明したが、プリンタ30、パーソナルコンピューター40において実行されても良い。例えば、パーソナルコンピューター40の記憶装置に格納されているローカルな画像データベースに対して上記した画像データ検索が実行されも良い。また、プリンタ30に大容量記憶装置が備えられている場合には、上記した画像検索方法は、プリンタ30におけるローカルな画像データ検索に適用されても良い。すなわち、画像サーバーはネットワークに接続されていない、スタンドアローンのパーソナルコンピューターまたはプリンタが有する機能の一部、さらにはコンピュータープログラム、コンピュータープログラムが格納されたコンピューター読み取り可能媒体として実現されても良い。この場合には、パーソナルユースにおける画像データ検索の利便性、すなわち、検索速度の向上、検索精度の向上、検索の容易化を実現することができる。なお、コンピューター読み取り可能媒体としては、CD、DVD、ハードディスクドライブ、フラッシュメモリといった種々の記録媒体を用いることができる。
(4)上記実施例では、画像検索を例にとって説明したが、その他のコンテンツ、例えば、映像、音楽、ゲーム、電子書籍についても同様に適用し得る。映像の特徴量は画像と同様にして、また、キーワードはメタデータから抽出することにより取得可能であり、音楽の特徴量については曲調検出技術を適用することにより、またキーワードについてはメタデータから抽出することにより可能であり、ゲームについてはメタデータ等に基づいてキーワードを取得可能であり、電子書籍については頻出語彙を分析することにより特徴量を取得可能である。
(5)上記実施例では、画像サーバー10から受け取った検索結果は、プリンタ40において表示のための処理が施され、表示部33に表示されているが、画像サーバー10において表示用の検索結果データを作成し、プリンタ40に対して送信しても良い。画像サーバー10からの検索結果データをプリンタ40にて表示するための手法としては、例えば、画像サーバー10にWebサーバー機能を実装し、プリンタ40にWebブラウザを実装する手法がある。この手法によれば、汎用的なHTTPプロトコルに従って、HTMLデータベースの表示を行うことができる。
(6)上記実施例では、キーワードが複数の感性語を含む場合についても画像検索処理が実行される例について説明したが、画像サーバー10は、キーワードとして、1つの感性語および1つの名詞のみを含むキーワードのみを受け付けても良く、あるいは、1つの感性語(名詞の数は不問)のみを含むキーワードのみを受け付けても良い。画像サーバー10は、これらに該当しないキーワードを受け取った場合には、クライアントコンピューターであるプリンタ30等に対して、キーワードの再入力を要求しても良く、あるいは、検索を実行しない旨の通知を送信しても良い。
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
ISS…画像検索システム
10…サーバーコンピューター(画像サーバー)
101…CPU
102…メモリ
103…第1の記憶装置
104…第2の記憶装置
105…入出力インターフェース
30…プリンタ
31…制御回路
310…CPU
311…メモリ
312…入出力インターフェース
32…入力操作部
33…表示部
34…印刷部
35…外部入出力インターフェース
40…パーソナルコンピューター
41…表示ディスプレイ
42…入力装置
CP1…画像検索要求プログラム
CM11…キーワード取得モジュール
CM12…検索要求送信モジュール
CM13…検索結果受信モジュール
NE…ネットワーク
SP1…画像検索プログラム
SM11…キーワード取得モジュール
SM12…感性語・名詞分割モジュール
SM13…特徴量取得モジュール
SM14…画像データ検索モジュール
SM15…画像データ送信モジュール
SM16…画像データ取得モジュール
SM17…特徴量抽出モジュール
SM18…キーワード検索モジュール
DB1…画像データベース
DB2…感性語・名詞−画像特徴量データベース

Claims (7)

  1. 画像検索装置であって、
    キーワードを取得するキーワード取得部と、
    前記取得したキーワードを名詞と感性語とに分割する分割部と、
    感性語および名詞の組合せと、画像の特徴を示す特徴量とを対応付けて格納する感性語・名詞−特徴量データベースと、
    前記分割により得られた名詞と感性語との組合せを用いて、前記感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得する特徴量取得部と、
    前記取得した特徴量を用いて画像を検索する画像検索部とを備える画像検索装置。
  2. 請求項1に記載の画像検索装置において、
    前記感性語・名詞−特徴量データベースは、前記特徴量の種別および前記特徴量の値を前記感性語および名詞の組合せに対応付けて格納しており、
    前記特徴量取得部は前記名詞と感性語との組合せに基づいて、前記検索に使用すべき特徴量の種別と値とを取得する
    画像検索装置。
  3. 請求項1または2に記載の画像検索装置はさらに、
    画像を取得する画像取得部と、
    前記取得した画像から複数の特徴量を抽出する特徴量抽出部を備え、
    前記画像検索部は、前記取得した特徴量に加えて、更に前記抽出した特徴量を用いて画像を検索する
    画像検索装置。
  4. 請求項1または2に記載の画像検索装置はさらに、
    画像を取得する画像取得部と、
    前記取得した画像を用いてキーワードを検索するキーワード検索部とを備え、
    前記キーワード取得部は、前記キーワード検索部によって検索されたキーワードを取得する
    画像検索装置。
  5. 請求項1から4のいずれかに記載の画像検索装置において、
    前記特徴量取得部は、前記取得されたキーワードに複数の感性語が含まれている場合には、各感性語に対応する特徴量をそれぞれ取得し、
    前記画像検索部は前記取得された各特徴量について画像を検索する
    画像検索装置。
  6. 請求項1から5のいずれかに記載の画像検索装置において、
    前記画像検索装置は、特徴量が対応付けられた複数の画像と格納する画像データベースと接続されており、
    前記画像検索部は、前記取得した特徴量と、前記画像データベースに格納されている各前記の特徴量との類似度を算出して画像を検索する
    画像検索装置。
  7. 画像検索方法であって、
    キーワードを取得し、
    前記取得したキーワードを名詞と感性語とに分割し、
    前記分割により得られた名詞と感性語との組合せを用いて、感性語および名詞の組合せと、画像の特徴を示す特徴量と、を対応付けて格納する感性語・名詞−特徴量データベースから、検索に使用すべき特徴量を取得し、
    前記取得した特徴量を用いて画像を検索する、
    画像検索方法。
JP2009216487A 2009-09-18 2009-09-18 画像検索装置および画像検索方法 Pending JP2011065499A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009216487A JP2011065499A (ja) 2009-09-18 2009-09-18 画像検索装置および画像検索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009216487A JP2011065499A (ja) 2009-09-18 2009-09-18 画像検索装置および画像検索方法

Publications (1)

Publication Number Publication Date
JP2011065499A true JP2011065499A (ja) 2011-03-31

Family

ID=43951658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009216487A Pending JP2011065499A (ja) 2009-09-18 2009-09-18 画像検索装置および画像検索方法

Country Status (1)

Country Link
JP (1) JP2011065499A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664887B2 (en) 2014-02-28 2020-05-26 Fujifilm Corporation System and method for associating sensibility words with physical product characteristics based on user attributes and displaying product images on a coordinate system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664887B2 (en) 2014-02-28 2020-05-26 Fujifilm Corporation System and method for associating sensibility words with physical product characteristics based on user attributes and displaying product images on a coordinate system

Similar Documents

Publication Publication Date Title
JP2011070412A (ja) 画像検索装置および画像検索方法
US8577882B2 (en) Method and system for searching multilingual documents
US11461386B2 (en) Visual recognition using user tap locations
US8290269B2 (en) Image document processing device, image document processing method, program, and storage medium
JP2008192055A (ja) コンテンツ検索方法、およびコンテンツ検索装置
US20150178321A1 (en) Image-based 3d model search and retrieval
US20140177952A1 (en) Color name determination device, color name determination method, information recording medium, and program
JP2011053781A (ja) 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法
KR102355702B1 (ko) 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
WO2009036356A2 (en) Dual cross-media relevance model for image annotation
Li et al. Interactive multimodal visual search on mobile device
CN109271542A (zh) 封面确定方法、装置、设备及可读存储介质
TW200818058A (en) Content based image retrieval
JP4374902B2 (ja) 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
WO2016107125A1 (zh) 信息搜索方法及装置
JP4943909B2 (ja) データ処理装置、データ処理方法、及びプログラム
JP2010250630A (ja) 画像サーバー、画像検索システムおよび画像検索方法
JP2008191936A (ja) コンテンツ登録・検索システムの構築支援方法、およびコンテンツ登録・検索システムの構築支援装置
JP2010250636A (ja) 画像検索端末装置および画像検索要求方法
JP2004334341A (ja) 文書検索装置、文書検索方法及び記録媒体
JP2011065499A (ja) 画像検索装置および画像検索方法
WO2022074859A1 (ja) 情報検索装置、情報検索方法および情報検索用プログラム
JP2010250634A (ja) 画像サーバー、画像検索システム、画像検索方法およびインデックス作成方法
JP5153390B2 (ja) 関連語辞書作成方法及び装置、並びに関連語辞書作成プログラム