JP2009003637A - マルチメディアデータ検索システム、マルチメディアデータ検索装置、マルチメディアデータ検索方法、およびプログラム - Google Patents

Abstract

【課題】ユーザが指定したキーワードに応じたマルチメディアデータと、そのマルチメディアデータに関連するマルチメディアデータとを検索することができるようにする。
【解決手段】検索サーバ２０は、ユーザ端末１０から検索文字列の入力を受け付け、検索文字列に対応する複数の画像を検索し、検索した画像を出力し、出力した画像のうちの少なくとも１つの指定を受け付け、指定された画像に対応する関連キーワードを取得し、関連キーワードを検索文字列に加えた絞込文字列に対応する画像を検索する。
【選択図】図１

Description

本発明は、マルチメディアデータ検索システム、マルチメディアデータ検索装置、マルチメディアデータ検索方法、およびプログラムに関する。

従来、ユーザから指定されたキーワードに応じた画像を検索するとともに、そのキーワードに関連する関連キーワードを利用した画像をも検索し、広範囲の画像を検索することが行われている。関連キーワードを利用する場合には、ユーザが指定したキーワードとは異なるキーワードに基づく検索を行うことになるため、ユーザの意にそぐわない画像が検索される問題があった。これに対し、例えば、特許文献１では、カテゴリ別の関連キーワードを用いる画像検索の方法が提案されている。
特開２００２−１７５３１７号公報

インターネット上において提供されている大量の画像を検索する場合などには、大量の検索結果から、ユーザの意図する画像を絞り込みたいというニーズがある。

しかしながら、特許文献１に記載の検索方法のように指定されたカテゴリ別の関連キーワードを追加したとしても、検索結果を絞り込めるとは限らず、逆に同一カテゴリの異なる画像を広く検索してしまうこともある。

本発明は、このような背景を鑑みてなされたものであり、ユーザが指定したキーワードに応じたマルチメディアデータと、そのマルチメディアデータに関連するマルチメディアデータとを検索することのできるマルチメディアデータ検索システム、マルチメディアデータ検索装置、マルチメディアデータ検索方法、およびプログラムを提供することを目的とする。

上記課題を解決するための本発明のうち、請求項１に記載の発明は、キーワードに応じたマルチメディアデータを検索するシステムであって、キーワードに対応付けてマルチメディアデータを記憶するマルチメディアデータベースにアクセス可能に接続され、第１のキーワードの入力を受け付けるキーワード入力部と、前記マルチメディアデータベースにアクセスして、前記第１のキーワードに対応する複数の第１のマルチメディアデータを検索する第１マルチメディアデータ検索部と、前記検索した第１のマルチメディアデータを出力するマルチメディアデータ出力部と、前記出力した第１のマルチメディアデータのうちの少なくとも１つの指定を受け付けるマルチメディアデータ選択部と、前記指定されたマルチメディアデータに対応する第２のキーワードを取得するキーワード取得部と、前記マルチメディアデータベースにアクセスして、前記第１および第２のキーワードに対応する第２のマルチメディアデータを検索する第２マルチメディアデータ検索部と、を備えることとする。

マルチメディアデータとは、画像データ（静止画または動画）、音声データおよびテキストデータ、並びにこれらのデータの組合せである。

本発明のマルチメディアデータ検索システムによれば、第１のキーワードに応じたマルチメディアデータを検索し、検索した第１のマルチメディアデータの１つ以上の指定を受け付けて、指定された第１のマルチメディアデータに対応する第２のキーワードと第１のキーワードとを用いて第２のマルチメディアデータを検索することができる。つまり、第１のマルチメディアデータの検索結果から第２のマルチメディアデータを検索することができる。従来画像や音声などのマルチメディアデータを検索するユーザは自分の意図に合ったマルチメディアデータの絞り込みを行う為に、第２のキーワードを推測して入力する必要があったが、本発明では、最初にキーワードを入力した後は、第１のマルチメディアデータの検索結果から、所望のマルチメディアデータを選択するだけで、キーワードを再度入力することなく、マルチメディアデータの絞込検索を行うことができる。それにより、ユーザは第２のキーワードを推測して入力する必要がなくなり、マルチメディアデータ検索の使い勝手を向上させることができる。

また、本発明のうち請求項２に記載の発明は、請求項１に記載のマルチメディアデータ検索システムであって、前記マルチメディアデータ出力部は、前記第２マルチメディアデータ検索部が検索して前記第２のマルチメディアデータを、前記第１のマルチメディアデータとして出力することとする。

この場合、ユーザの所望する検索結果になるまで、マルチメディアデータの絞込みを繰り返すことができる。

また、本発明のうち請求項３に記載の発明は、請求項１に記載のマルチメディアデータ検索システムであって、前記マルチメディアデータベースに格納されている各マルチメディアデータについて、当該マルチメディアデータに対応するキーワードを記憶するキーワードデータベースにアクセス可能に接続され、前記キーワード取得部は、前記キーワードデータベースにアクセスして、前記指定されたマルチメディアデータに対応する前記第２のキーワードを取得することする。

また、本発明のうち請求項４に記載の発明は、請求項１に記載のマルチメディアデータ検索システムであって、前記指定されたマルチメディアデータが含まれているコンテンツを特定するためのコンテンツ特定情報を取得するコンテンツ取得部と、前記取得したコンテンツ特定情報により特定されるコンテンツを取得するコンテンツ取得部と、を備え、前記キーワード取得部は、前記取得したコンテンツに含まれている単語を、前記第２のキーワードとして抽出することとする。

この場合、マルチメディアデータが含まれていたコンテンツの記述内容を関連キーワードとすることができる。一般にマルチメディアデータが含まれていたコンテンツには、そのマルチメディアデータについての説明がされていることが多く、そのコンテンツに記載されている単語は、マルチメディアデータとの関連性が高い。したがって、マルチメディアデータに単語の語義によって単語間の関連性を定義するよりも、コンテンツから抽出した単語を第２のキーワードとする方が、より関連性の高い第２のマルチメディアデータを検索することができ、ユーザの意図に沿う検索結果に絞り込む可能性を高めることができる。

また、本発明のうち請求項５に記載の発明は、請求項４に記載のマルチメディアデータ検索システムであって、キーワードに対応付けて、当該キーワードに関連する単語である関連単語を記憶する関連単語データベースを備え、前記キーワード取得部は、前記コンテンツに含まれている単語のうち、前記第１のキーワードに対応する前記関連単語として前記関連単語データベースに登録されているものを、前記第２のキーワードとして抽出することとする。

この場合、一般に用いられている関連語のデータベースに登録されている関連語のうち、第１のマルチメディアデータが含まれていたコンテンツに記述されているもののみを、第２のキーワードとして検索を行うことができる。したがって、より関連性の高い関連語を用いて第２のマルチメディアデータを検索することができる。よって、よりユーザの意に沿った第２のマルチメディアデータを絞り込むことが可能となり、より効果的に関連語データベースを利用することができる。

また、本発明のうち請求項６に記載の発明は、請求項４に記載のマルチメディアデータ検索システムであって、前記キーワード取得部は、前記コンテンツに含まれるＲＤＦ形式のメタデータから前記第２のキーワードを抽出することとする。

ＲＤＦとして記述されるメタデータにはコンテンツの内容の要約が記載されていることが多いので、コンテンツの内容との関連性の高い単語を第２のキーワードとして選択することができる。したがって、第１のマルチメディアデータが含まれていたコンテンツの内容との関連性が高い第２のマルチメディアデータを検索することが可能となり、より第２のマルチメディアデータの絞込みを確実に行うことができる。

また、本発明のうち請求項７に記載の発明は、請求項４に記載のマルチメディアデータ検索システムであって、前記コンテンツはＨＴＭＬまたはＸＨＴＭＬにより表現されており、前記キーワード取得部は、前記コンテンツから、画像を表示するイメージタグの属性、タイトルタグの内容、メタタグの属性、ヘッダタグの内容、強調タグの内容の少なくともいずれかを抽出し、抽出したテキストに含まれている単語を前記第２のキーワードとして抽出することとする。

この場合、コンテンツにおいて重要度の高いタグ付けがなされている文字列から第２のキーワードを選択することができる。したがって、第１のマルチメディアデータが含まれていたコンテンツの中でより重要度の高い単語を第２のキーワードとすることが可能となり、重要なキーワードに対応する第２のマルチメディアデータを検索することができる。よって、よりユーザの意に沿う検索結果とすることができる。

また、本発明のうち請求項８に記載の発明は、請求項１に記載のマルチメディアデータ検索システムであって、前記キーワード取得部が複数の前記第２のキーワードを取得した場合に、前記第１のキーワードと前記第２のキーワードとの各組み合わせを出力する絞込キーワード出力部を備え、前記第２マルチメディアデータ検索部は、前記組み合わせの指定を受け付け、受け付けた前記組み合わせに含まれる前記第１および第２のキーワードに対応する前記第２のマルチメディアデータを検索することとする。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。

本発明によれば、ユーザが指定したキーワードに応じたマルチメディアデータと、そのマルチメディアデータに関連するマルチメディアデータとを検索することができる。

以下、本発明の一実施形態に係る画像検索システムについて説明する。本実施形態の画像検索システムは、マルチメディアデータの一例である画像とキーワードとを管理し、ユーザ端末１０から受け付けるキーワードに対応する画像を検索するものである。

図１は、本実施形態の画像検索システムの全体構成を示す図である。本実施形態の画像検索システムは、ユーザ端末１０、検索サーバ２０およびＷｅｂサーバ３０を含んで構成されている。ユーザ端末１０およびＷｅｂサーバ３０は、通信ネットワーク４０を介して互いに通信可能に接続されている。通信ネットワーク４０は、例えば、インターネットなどのＷＡＮ（Wide Area Network）やＶＡＮ（Value Added Network）などである。通信ネットワーク４０は、例えば、イーサネット（登録商標）や公衆電話回線網、フレームリレー網などにより構築される。また、検索サーバ２０は各Ｗｅｂサーバ３０と、通信路４１を介して通信可能に接続されている。通信路４１は、例えば、専用電話回線網や公衆電話回線網、フレームリレー網、イーサネット（登録商標）などである。なお、検索サーバ２０とＷｅｂサーバ３０とは通信ネットワーク４０を介して接続するようにしてもよい。

Ｗｅｂサーバ３０（本発明の情報提供装置に該当する。）は、画像やＷｅｂページなどのコンテンツを提供するコンピュータである。Ｗｅｂサーバ３０には、例えば、パーソナルコンピュータやワークステーションなどを用いることができる。Ｗｅｂサーバ３０は、ＨＴＴＰ（HyperText Transfer Protocol）に規定されるリクエストに応じて、ＨＴＴＰのレスポンスヘッダー情報およびレスポンスボディ（ＨＴＭＬ（HyperText Markup Language）やＸＨＴＭＬ（eXtensible HyperText Markup Language）により記述されたＷｅｂページ、ＧＩＦ形式やＪＰＥＧ形式などの画像など）を応答する。

ユーザ端末１０は、ユーザが操作するコンピュータである。ユーザ端末１０には、例えば、パーソナルコンピュータやワークステーション、ＰＤＡ（Personal Digital Assistant）、携帯電話などを用いることができる。ユーザはユーザ端末１０を操作してＷｅｂサーバ３０を経由して検索サーバ２０にアクセスし、キーワードに応じて画像を検索する。

検索サーバ２０は、ユーザ端末１０から受信したキーワードに応じた画像を検索するコンピュータである。検索サーバ２０には、例えば、パーソナルコンピュータやワークステーションなどを用いることができる。検索サーバ２０は、例えば、ポータルサイトとして運用される。

図２は、検索サーバ２０のハードウェア構成を示す図である。同図に示すように、検索サーバ２０は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備えている。

記憶装置２０３は、各種のプログラムやデータを記憶する、例えばハードディスクドライブやフラッシュメモリなどである。ＣＰＵ２０１は記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより、各種の機能を実現する。

通信インタフェース２０４は、通信路４１に接続するためのインタフェースである。通信インタフェース２０４は、例えば、電話回線網に接続するためのモデムやイーサネット（登録商標）に接続するためのアダプタなどである。

入力装置２０５は、データの入力を受け付ける、例えばキーボードやマウス、タッチパネル、マイクロフォンなどである。出力装置２０６は、データを出力する、例えば、ディスプレイやプリンタ、スピーカなどである。

図３は、検索サーバ２０のソフトウェア構成を示す図である。同図に示すように、検索サーバ２０は、検索文字列受信部２１１、画像検索部２１２、絞込文字列生成部２１３、検索結果送信部２１４、インデックスデータベース２５１、関連語データベース２５２を備えている。上記検索文字列受信部２１１、画像検索部２１２、絞込文字列生成部２１３および検索結果送信部２１４は、検索サーバ２０が備えるＣＰＵ２０１が記憶装置２０３に記憶されているプログラムを実行することにより実現される。また、インデックスデータベース２５１および関連語データベース２５２は、検索サーバ２０が備えるメモリ２０２および記憶装置２０３が提供する記憶領域として実現される。

インデックスデータベース２５１（本発明の画像データベースおよびキーワードデータベースに該当する。）は、画像に関連するキーワード（単語）を含む情報（以下、インデックス情報という。）を記憶する。図４は、インデックスデータベース２５１に記憶されるインデックス情報の構成例を示す図である。同図に示すように、インデックス情報は、インデックスＩＤ、画像ＵＲＬ、表示ページＵＲＬ、サムネイルＵＲＬ、および１つ以上のキーワードが含まれている。

インデックスＩＤは、インデックス情報の識別情報であり、画像ＵＲＬは、画像を特定するＵＲＬ（Uniform Resource Locator）である。なお、本実施形態では、インデックスＩＤは、画像の識別情報でもある。

表示ページＵＲＬ（本発明のコンテンツ特定情報に対応する。）は、画像ＵＲＬにより特定される画像へのリンクを含むＷｅｂページを特定するＵＲＬである。なお、表示ページＵＲＬは複数含まれていてもよいが、本実施形態では、簡潔に説明するため、１つの画像に対応する表示ページＵＲＬは１つであるものとする。

サムネイルＵＲＬは、画像ＵＲＬが示す画像を一覧表示するための縮小（サムネイル）画像を示すＵＲＬである。サムネイル画像は、例えば、検索サーバ２０の記憶装置２０３に記憶される。

キーワードは、画像ＵＲＬが示す画像に関連するキーワードである。キーワードは、タイトルタグ（<title>）やメタタグ（<meta>）、ＲＤＦ（Resource Description Framework）タグ（<rdf:RDF>）、ヘッダタグ（<h1>〜<h6>）、強調タグ（<b>や<strong>）など、Ｗｅｂページの内容との関連性が高いと考えられる所定のタグ（以下、キータグという。）の内容や属性に記載されている文字列に含まれる単語であるものとする。なお、キータグは、上記のタグに限られず、任意に設定できるものとする。

なお、インデックス情報は、例えば、クローラやスパイダーと呼ばれる自動巡回プログラムにより自動的に収集されるＷｅｂページを、インデクサと呼ばれる解析変換プログラムが解析することにより、自動的に作成され、インデックスデータベース２５１に蓄積されているものとする。また、文字列から単語を抽出する方法としては、例えば、形態素解析の手法により文字列を形態素に分解し、分解した形態素を単語として抽出することができる。また、形態素の品詞が判別可能な手法を用いる場合には、名詞や動詞などの所定の品詞の形態素のみを単語として抽出するようにしてもよい。

関連語データベース２５２は、キーワードと、そのキーワードに関連する他のキーワード（以下、関連語という。）とを対応付ける情報（以下、関連語情報という。）を記憶する。図５は、関連語データベース２５２に記憶されている関連語情報の構成を示す図である。同図に示すように、関連語データベース２５２に登録される関連語情報にはキーワードに対応付けて関連語が含まれている。なお、関連語データベース２５２には、一般的に関連する２つの単語の組み合わせを予め登録しておくものとする。

検索文字列受信部２１１（本発明のキーワード入力部に該当する。）は、ユーザ端末１０から送信される、画像に関する１つ以上のキーワード（単語）を含む文字列（以下、検索文字列という。）をＷｅｂサーバ３０から受信する。なお、検索文字列に複数のキーワードが含まれる場合には、複数のキーワードを、例えば空白文字やカンマ文字などにより区切るようにしてもよい。

画像検索部２１２（本発明の第１画像検索部、画像選択部、第２画像検索部、画像表示コンテンツ取得部およびコンテンツ取得部に該当する。）は、検索文字列に対応する画像（インデックス情報）を検索する。なお、画像検索部２１２による画像の検索処理の詳細については後述する。

絞込文字列生成部２１３（本発明のキーワード取得部に該当する。）は、画像検索部２１２による検索結果を絞り込むための１つ以上のキーワードを含む文字列（以下、絞込文字列という。）を生成する。なお、絞込文字列の生成処理の詳細については後述する。

検索結果送信部２１４は、検索結果をＷｅｂサーバ３０に送信する。検索結果送信部２１４が送信する検索結果には、画像検索部２１２が検索したインデックス情報や、絞込文字列生成部２１３が生成した絞込文字列の候補などが含まれる。Ｗｅｂサーバ３０では、後述するように、検索結果に基づいて、インデックス情報が示すサムネイル画像の一覧を表示する画面や、画像ＵＲＬが示す画像とともに絞込文字列の候補を表示する画面などが表示される。

以下、本実施形態の画像検索システムにおける処理について説明する。図６は、検索サーバ２０による画像検索処理の流れを示す図である。

検索文字列受信部２１１は、ユーザ端末１０から送信される検索文字列をＷｅｂサーバ３０を経由して受信する（Ｓ４０１）。ユーザ端末１０において表示される検索文字列の入力画面５１の一例を図７に示す。ユーザは入力画面５１の入力欄５１１に検索文字列を入力する。検索ボタン５１２が押下されると、ユーザ端末１０は、入力欄５１１に入力された検索文字列をＷｅｂサーバ３０に送信し、Ｗｅｂサーバ３０はユーザ端末１０から受信した検索文字列を検索サーバ２０に送信する。

画像検索部２１２は、受信した検索文字列から単語を抽出し、インデックスデータベース２５１から、キーワード欄に抽出した単語がすべて含まれているインデックス情報を読み出す（Ｓ４０２）。検索結果送信部２１４は、読み出したインデックス情報の一覧をＷｅｂサーバ３０に送信する（Ｓ４０３）。なお、検索結果送信部２１４は、該当するインデックス情報が多数存在する場合には、その中から抽出した所定数のインデックス情報のみを送信するようにしてもよい。

Ｗｅｂサーバ３０は、受信したインデックス情報に基づいて、ＨＴＭＬなどにより記載される画面データを生成して、ユーザ端末１０に送信する（マルチメディアデータ出力部）。画面データには、例えば、インデックス情報に含まれているサムネイルＵＲＬへのリンク一覧が含まれるようにする。ユーザ端末１０に表示されるサムネイル画像の表示画面５２の一例を図８に示す。表示画面５２は、検索文字列の入力欄５２１とサムネイル画像の表示欄５２２とを備えている。表示欄５２２において、サムネイル画像５２３が選択されると、選択されたサムネイル画像５２３に対応するインデックスＩＤと、入力欄５２１に表示されている検索文字列とがＷｅｂサーバ３０に送信され、Ｗｅｂサーバ３０から検索サーバ２０に送信される。

検索文字列受信部２１１が、ユーザ端末１０から送信される検索文字列とインデックスＩＤとをＷｅｂサーバ３０から受信すると（Ｓ４０４）、絞込文字列生成部２１３による絞込文字列の生成処理が行われる（Ｓ４０５）。

図９は、絞込文字列を生成する処理の流れを示す図である。絞込文字列生成部２１３は、受信したインデックスＩＤに対応するインデックス情報をインデックスデータベース２５１から取得し（Ｓ６０１）、取得したインデックス情報に含まれる表示ページＵＲＬが示すＷｅｂページを取得し（Ｓ６０２）、選択された画像に関連する単語（以下、関連キーワードという。）をＷｅｂページから抽出する処理を行う（Ｓ６０３）。図１０に関連キーワードの抽出処理の流れを示す。

絞込文字列生成部２１３は、インデックス情報の表示ページＵＲＬに含まれている単語を抽出し、抽出した単語を関連キーワードリストに追加する（Ｓ６２１）。

絞込文字列生成部２１３は、取得したＷｅｂページに含まれる後述するキータグから関連キーワードを抽出する（Ｓ６２２）。このキータグからの関連キーワードの抽出処理の流れを図１１に示す。

絞込文字列生成部２１３は、Ｗｅｂページからタイトルタグ（<title>）を抽出し（Ｓ６４１）、抽出したタイトルタグの内容として記述されている文字列に含まれる単語を抽出して、抽出した単語を関連キーワードリストに追加する（Ｓ６４２）。

絞込文字列生成部２１３は、Ｗｅｂページにメタタグ（meta）が含まれていれば、name属性にdescriptionまたはkeywordsが設定されているメタタグを読み出し（Ｓ６４３）、読み出したメタタグのcontent属性に設定されている文字列に含まれる単語を抽出して、関連キーワードリストに追加する（Ｓ６４４）。

絞込文字列生成部２１３は、ＷｅｂページにＲＤＦタグが含まれていれば、ＲＤＦタグからキーワードを抽出する（Ｓ６４７）。このＲＤＦタグから関連キーワードを抽出する処理の流れを図１２に示す。

絞込文字列生成部２１３は、Ｗｅｂページからrdf:RDFタグを抽出し（Ｓ６６１）、rdf:RDFタグの子となるrdf:Descriptionタグを抽出する（Ｓ６６２）。
絞込文字列生成部２１３は、抽出したタグのdc:title属性に設定されている文字列から単語を抽出し、抽出した単語を関連キーワードリストに追加する（Ｓ６６３）。
絞込文字列生成部２１３は、抽出したタグのdc:subject属性に設定されている文字列から単語を抽出し、抽出した単語を関連キーワードリストに追加する（Ｓ６６４）。
絞込文字列生成部２１３は、抽出したタグのdc:description属性に設定されている文字列から単語を抽出し、抽出した単語を関連キーワードリストに追加する（Ｓ６６５）。

次に、絞込文字列生成部２１３は、Ｗｅｂページから、インデックス情報の画像ＵＲＬがｓｒｃ属性に指定されたイメージタグ（<img>）を抽出し（Ｓ６４６）、抽出したイメージタグのalt属性に設定されている文字列に含まれる単語を抽出して関連キーワードリストに追加する（Ｓ６４７）。

絞込文字列生成部２１３は、Ｗｅｂページから、上記抽出したイメージタグの直後に記述されている所定文字数以下の文字列を抽出し（Ｓ６４８）、抽出した文字列に含まれている単語を抽出して関連キーワードリストに追加する（Ｓ６４９）。

絞込文字列生成部２１３は、Ｗｅｂページにヘッダタグ（<h1>〜<h6>）、強調タグ（<b>,<strong>）が含まれていれば、これらのタグを抽出し（Ｓ６５０）、抽出したタグの内容として記述されている文字列に含まれる単語を抽出して関連キーワードリストに追加する（Ｓ６５１）。

以上のようにして、Ｗｅｂページに含まれているキータグから関連キーワードリストが作成される。例えば、図１３に示すＷｅｂページ７０の例では、メタタグ７１１および７１２のcontent属性から単語が抽出されて関連キーワードリストに追加される。関連キーワードリストは、例えば、「最新,モーター,ニュース,お届け,新車,発表,人気,車種,開発,裏側,その他,モータショー,情報,一挙,公開・・・」などのようになる。

また、Ｗｅｂページ７０には、ＲＤＦタグが含まれており、dc:title属性に設定されている文字列７１３や、dc:description属性に設定されている文字列７１４からも単語が抽出され、例えば、「○○,自動車,新車,発表,今期,△△,流線型・・・」などの単語群が関連キーワードリストに追加される。

さらに、ヘッダタグ７１５や強調タグ７１６、本文（<body>の内容）の先頭部分７１７に記述されている文字列からも単語が抽出されて関連キーワードリストに追加されることになる。

次に、絞込文字列生成部２１３は、Ｗｅｂページからｂｏｄｙタグを抽出し、ｂｏｄｙタグの内容の先頭から所定数（例えば、１００文字など）の文字列に含まれている単語を抽出して、抽出した単語を関連キーワードリストに追加する（Ｓ６２３）。
絞込文字列生成部２１３は、図１４に示す関連語データベース２５２に基づく関連キーワードの抽出処理を行う（Ｓ６２４）。
絞込文字列生成部２１３は、Ｗｅｂページからｂｏｄｙタグを抽出し、抽出したｂｏｄｙタグの内容に含まれている単語を抽出する（Ｓ６８１）。

絞込文字列生成部２１３は、抽出した各単語（以下、表示単語という。）と、検索文字列に含まれる各単語（以下、検索単語という。）とについて、以下の処理を行う。

絞込文字列生成部２１３は、関連語データベース２５２から、キーワードが検索単語に一致し、かつ、関連語が表示単語に一致する関連語情報を検索する（Ｓ６８２）。絞込文字列生成部２１３は、上記の関連語情報が存在する場合には（Ｓ６８３：ＹＥＳ）、表示単語を関連キーワードリストに追加する（Ｓ６８４）。

以上の処理を繰り返すことにより、インデックス情報の表示ページＵＲＬが示すＷｅｂページに含まれる単語のうち、検索文字列と関連するもののみを、関連キーワードリストに登録することができる。

以上のようにして、関連キーワードリストが生成されると、図９の処理に戻り、絞込文字列生成部２１３は、関連キーワードリストに含まれている各単語について以下の処理を行う。

絞込文字列生成部２１３は、検索文字列に関連キーワードリストに含まれている単語を加えて、絞込文字列とする（Ｓ６０４）。検索文字列と単語とは、例えば空白文字やカンマなどで区切るようにしてもよい。
絞込文字列生成部２１３は、表示リストに絞込文字列を追加する（Ｓ６０５）。

以上のＳ６０４〜Ｓ６０５の処理を繰り返して、絞込文字列生成部２１３は、関連キーワードリストに含まれている各単語と検索文字列との全組み合わせについて、表示リストを作成する。

次に、図６の処理に戻り、絞込文字列生成部２１３は、インデックス情報の画像ＵＲＬと、上記のように生成された表示リストをＷｅｂサーバ３０に送信する（Ｓ４０６）。

Ｗｅｂサーバ３０は、インデックス情報の画像ＵＲＬと、表示リストに含まれる絞込文字列の一覧とを含む画面データを生成して、ユーザ端末１０に送信する。ここでユーザ端末１０に表示される、画像の表示画面５３の一例を図１５に示す。表示画面５３は、画像ＵＲＬが示す画像の表示欄５３１および表示リストの表示欄５３２を備えている。表示欄５３２には、表示リストに含まれている検索文字列と関連キーワードとが連結された絞込文字列の一覧が表示される。例えば、図１５の例では、リンク５３３において、「自動車」という検索文字列と「５ドア」という関連キーワードとが連結された絞込文字列が表示されている。表示欄５３２の各絞込文字列には、絞込文字列を検索サーバ２０に送信するためのリンクが設定される。表示画面５３の表示欄５３２においてリンクがクリックされると絞込文字列がユーザ端末１０からＷｅｂサーバ３０を経由して検索サーバ２０に送信される。図１５の例では、リンク５３３がクリックされると、「自動車 ５ドア」という絞込文字列がユーザ端末１０からＷｅｂサーバ３０を経由して検索サーバ２０に送信されることになる。

検索サーバ２０の検索文字列受信部２１１は、ユーザ端末１０から送信される絞込文字列をＷｅｂサーバ３０を経由して受信し（Ｓ４０７）、画像検索部２１２は、受信した絞込文字列を検索文字列として（Ｓ４０８）、ステップＳ４０２からの処理を繰り返す。

絞込文字列では、新たな関連キーワードが検索文字列に追加されることになるので、画像の検索結果を絞り込むことができる。したがって、ユーザが所望の画像を得るためには、ステップＳ４０２からＳ４０８までの処理を繰り返せばよい。

図１６は、絞込を行った場合の表示画面５２の例を示す図である。図１６の表示画面５２は、図１５の表示画面５３においてリンク５３３が選択された場合に表示される画面例であり、検索文字列の入力欄５２１には、リンク５３３で選択された絞込文字列の「自動車 ５ドア」が設定されている。図１６の表示画面５２の表示欄５２２には、「自動車 ５ドア」に対応する画像のみが表示される。

以上のようにして、本実施形態の画像検索システムでは、ユーザから入力された検索文字列に対応する画像を検索し、その画像に対応する関連キーワードをユーザに提示して、絞込み検索を行うことができる。

本実施形態の画像検索システムによれば、検索文字列に対応する画像を検索するとともに、検索結果の画像に対応する関連キーワードを提示し、関連キーワードを検索文字列に加えた絞込文字列を用いて再度の検索を行うことができる。これにより、検索結果を絞り込むことができる。

また、例えばユーザ端末１０が携帯電話やＰＤＡなどの小型装置である場合には、キーボードなどから文字列を入力することは面倒であることが多いが、本実施形態の画像検索システムによれば、ユーザは、最初に検索文字列を入力する必要があるものの、２度目以降の検索では、サムネイル画像５２３をクリックし、検索サーバ２０から提示された絞込文字列のリンク５３３を選択するだけで、絞込みを行うことができる。したがって、画像検索に係るユーザの操作性を向上することができる。

また、本実施形態の画像検索システムによれば、画像が表示されるＷｅｂページの内容から関連キーワードを抽出することができる。一般に画像が表示されるＷｅｂページには、その画像についての説明など、画像に関連するキーワードが多く含まれていることが多いと考えられるので、ユーザが選択した画像により関連性の高い関連キーワードを用いて絞込検索を行うことができる。よって、よりユーザの意に沿う、精度の高い検索結果を提示することができる。

また、本実施形態の画像検索システムでは、Ｗｅｂページに含まれるキータグから関連キーワードを抽出することができる。上述したキータグには、Ｗｅｂページの内容をより濃く示す文字列が記載されることが多いので、関連キーワードと画像との関連性を向上することが可能となり、より精度の高い画像検索を行うことができる。

また、本実施形態の画像検索システムによれば、Ｗｅｂページの本文（bodyタグの内容）に記述されている文字列から抽出した単語のうち、関連語データベース２５２に検索文字列の関連語として登録されているもののみを関連キーワードとすることができる。すなわち、検索文字列に関連する単語（関連語）のうち、画像が表示されていたＷｅｂページに記載されていたもののみを関連キーワードとすることができる。したがって、単純に単語の語義のみによって定義される関連語の中でも、よりユーザが選択した画像との関連性が高いと考えられるものを関連キーワードとすることができる。これにより、ユーザが選択した画像との関連性の高い検索結果を提示することができる。

なお、インデックスデータベース２５１は、一般的な画像検索システムにおいて用いられている構成とすることができる。また、例えば、既存の検索エンジンなどおいてインデックス情報が管理されている場合には、インデックスデータベース２５１の構成が不明であってもよく、その場合、インデックスデータベース２５１を管理する装置に対して、キーワードや画像ＵＲＬ、インデックスＩＤを送信し、そのキーワードや画像ＵＲＬ、インデックスＩＤに対応するインデックス情報をその装置から受信できればよい。また、キーワードに応じた画像を検索するためのデータベースと、画像に対応するキーワードを検索するためのデータベースとを分けてもよい。

また、本実施形態では、検索の対象は画像であるものとしたが、画像、音声およびテキストデータ並びにそれらの組合せである各種のマルチメディアデータについても検索対象とすることができる。

また、本実施形態では、ユーザから選択された画像に対応する表示ページＵＲＬにアクセスして、Ｗｅｂページから関連キーワードを抽出するものとしたが、これに限らず、例えば、インデックス情報に含まれているキーワードのうち、検索文字列に含まれていないものを関連キーワードとして利用するようにしてもよい。

また、本実施形態では、Ｗｅｂページの本文（bodyタグの内容）に記載されている文字列から抽出した単語のみについて、関連語として関連語データベース２５２に登録されているかどうかを検査するものとしたが、キータグから抽出した単語についても、関連語データベース２５２に登録されているもののみを関連キーワードとするようにしてもよい。逆に、関連語データベース２５２に登録されているかどうかの検査はしないようにしてもよい。

また、本実施形態では、絞込文字列の一覧をユーザ端末１０に提示するものとしたが、ユーザ端末１０に送信することなく、再度の検索を行うようにしてもよい。この場合、例えば、関連キーワードリストに含まれている関連キーワードはＡＮＤ結合により検索するようにしてもよいし、関連キーワードのうちの所定数のみを検索文字列に加えて検索するようにしてもよい。また、この場合には、上述した表示画面５３を省略してもよいし、表示画面５３には、絞込み検索を行うためのボタンのみを配置し、そのボタンが押下されたことに応じて、関連キーワードを加えて絞込文字列による検索を行うようにしてもよい。

また、本実施形態では、各関連キーワードの関連度などは考慮しないようにしたが、例えば、ＴＦＩＤＦ（Term Frequency, Inverse Document Frequency）などの手法により、関連キーワードに重み付けをしてもよい。また、その重み付けの順番に、絞込文字列を表示するようにしてもよい。

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

本実施形態の画像検索システムの全体構成を示す図である。 検索サーバ２０のハードウェア構成を示す図である。 検索サーバ２０のソフトウェア構成を示す図である。 インデックス情報の構成例を示す図である。 関連語情報の構成を示す図である。 検索サーバ２０による画像検索処理の流れを示す図である。 検索文字列の入力画面５１の一例を示す図である。 サムネイル画像の表示画面５２の一例を示す図である。 絞込文字列を生成する処理の流れを示す図である。 関連キーワードの抽出処理の流れを示す図である。 キータグからの関連キーワードの抽出処理の流れを示す図である。 ＲＤＦタグからキー関連ワードを抽出する処理の流れを示す図である。 Ｗｅｂページ７０の一例を示す図である。 関連語データベース２５２に基づく関連キーワードの抽出処理の流れを示す図である。 画像の表示画面５３の一例を示す図である。 絞込を行った場合の表示画面５２の例を示す図である。

符号の説明

１０ ユーザ端末
２０ 検索サーバ
３０ Ｗｅｂサーバ
４０ 通信ネットワーク
２０１ ＣＰＵ
２０２ メモリ
２０３ 記憶装置
２０４ 通信インタフェース
２０５ 入力装置
２０６ 出力装置
２１１ 検索文字列受信部
２１２ 画像検索部
２１３ 絞込文字列生成部
２１４ 検索結果送信部
２５１ インデックスデータベース
２５２ 関連語データベース
５１ 入力画面
５２ 表示画面
５３ 表示画面
５１１ 入力欄
５１２ 検索ボタン
５２１ 入力欄
５２２ 表示欄
５２３ サムネイル画像
５３１ 表示欄
５３２ 表示欄
５３３ リンク

Claims (11)

1. キーワードに応じたマルチメディアデータを検索するシステムであって、
   キーワードに対応付けてマルチメディアデータを記憶するマルチメディアデータベースにアクセス可能に接続され、
   第１のキーワードの入力を受け付けるキーワード入力部と、
   前記マルチメディアデータベースにアクセスして、前記第１のキーワードに対応する複数の第１のマルチメディアデータを検索する第１マルチメディアデータ検索部と、
   前記検索した第１のマルチメディアデータを出力するマルチメディアデータ出力部と、
   前記出力した第１のマルチメディアデータのうちの少なくとも１つの指定を受け付けるマルチメディアデータ選択部と、
   前記指定されたマルチメディアデータに対応する第２のキーワードを取得するキーワード取得部と、
   前記マルチメディアデータベースにアクセスして、前記第１および第２のキーワードに対応する第２のマルチメディアデータを検索する第２マルチメディアデータ検索部と、
   を備えることを特徴とするマルチメディアデータ検索システム。
2. 請求項１に記載のマルチメディアデータ検索システムであって、
   前記マルチメディアデータ出力部は、前記第２マルチメディアデータ検索部が検索して前記第２のマルチメディアデータを、前記第１のマルチメディアデータとして出力すること、
   を特徴とするマルチメディアデータ検索システム。
3. 請求項１に記載のマルチメディアデータ検索システムであって、
   前記マルチメディアデータベースに格納されている各マルチメディアデータについて、当該マルチメディアデータに対応するキーワードを記憶するキーワードデータベースにアクセス可能に接続され、
   前記キーワード取得部は、前記キーワードデータベースにアクセスして、前記指定されたマルチメディアデータに対応する前記第２のキーワードを取得すること、
   を特徴とするマルチメディアデータ検索システム。
4. 請求項１に記載のマルチメディアデータ検索システムであって、
   前記指定されたマルチメディアデータが含まれているコンテンツを特定するためのコンテンツ特定情報を取得するコンテンツ取得部と、
   前記取得したコンテンツ特定情報により特定されるコンテンツを取得するコンテンツ取得部と、を備え、
   前記キーワード取得部は、前記取得したコンテンツに含まれている単語を、前記第２のキーワードとして抽出すること、
   を特徴とするマルチメディアデータ検索システム。
5. 請求項４に記載のマルチメディアデータ検索システムであって、
   キーワードに対応付けて、当該キーワードに関連する単語である関連単語を記憶する関連単語データベースを備え、
   前記キーワード取得部は、前記コンテンツに含まれている単語のうち、前記第１のキーワードに対応する前記関連単語として前記関連単語データベースに登録されているものを、前記第２のキーワードとして抽出すること、
   を特徴とするマルチメディアデータ検索システム。
6. 請求項４に記載のマルチメディアデータ検索システムであって、
   前記キーワード取得部は、前記コンテンツに含まれるＲＤＦ形式のメタデータから前記第２のキーワードを抽出すること、
   を特徴とするマルチメディアデータ検索システム。
7. 請求項４に記載のマルチメディアデータ検索システムであって、
   前記コンテンツはＨＴＭＬまたはＸＨＴＭＬにより表現されており、
   前記キーワード取得部は、前記コンテンツから、画像を表示するイメージタグの属性、タイトルタグの内容、メタタグの属性、ヘッダタグの内容、強調タグの内容の少なくともいずれかを抽出し、抽出したテキストに含まれている単語を前記第２のキーワードとして抽出すること、
   を特徴とするマルチメディアデータ検索システム。
8. 請求項１に記載のマルチメディアデータ検索システムであって、
   前記キーワード取得部が複数の前記第２のキーワードを取得した場合に、前記第１のキーワードと前記第２のキーワードとの各組み合わせを出力する絞込キーワード出力部を備え、
   前記第２マルチメディアデータ検索部は、前記組み合わせの指定を受け付け、受け付けた前記組み合わせに含まれる前記第１および第２のキーワードに対応する前記第２のマルチメディアデータを検索すること、
   を特徴とするマルチメディアデータ検索システム。
9. キーワードに応じたマルチメディアデータを検索する方法であって、
   キーワードに対応付けてマルチメディアデータを記憶するマルチメディアデータベースにアクセス可能に接続されるコンピュータが、
   第１のキーワードの入力を受け付け、
   前記マルチメディアデータベースにアクセスして、前記第１のキーワードに対応する複数の第１のマルチメディアデータを検索し、
   前記検索した第１のマルチメディアデータを出力し、
   前記出力した第１のマルチメディアデータのうちの少なくとも１つの指定を受け付け、
   前記指定されたマルチメディアデータに対応する第２のキーワードを取得し、
   前記マルチメディアデータベースにアクセスして、前記第１および第２のキーワードに対応する第２のマルチメディアデータを検索すること、
   を特徴とするマルチメディアデータ検索方法。
10. キーワードに応じたマルチメディアデータを検索するためのプログラムであって、
    キーワードに対応付けてマルチメディアデータを記憶するマルチメディアデータベースにアクセス可能に接続されるコンピュータに、
    第１のキーワードの入力を受け付けるステップと、
    前記マルチメディアデータベースにアクセスして、前記第１のキーワードに対応する複数の第１のマルチメディアデータを検索するステップと、
    前記検索した第１のマルチメディアデータを出力するステップと、
    前記出力した第１のマルチメディアデータのうちの少なくとも１つの指定を受け付けるステップと、
    前記指定されたマルチメディアデータに対応する第２のキーワードを取得するステップと、
    前記マルチメディアデータベースにアクセスして、前記第１および第２のキーワードに対応する第２のマルチメディアデータを検索するステップと、
    を実行させるためのプログラム。
11. キーワードに応じたマルチメディアデータを検索する装置であって、
    ユーザに情報を提供する情報提供装置と通信可能に接続され、
    キーワードに対応付けてマルチメディアデータを記憶するマルチメディアデータベースにアクセス可能に接続され、
    前記情報提供装置から送信される第１のキーワードを受信するキーワード受信部と、
    前記マルチメディアデータベースにアクセスして、前記第１のキーワードに対応する複数の第１のマルチメディアデータを検索する第１マルチメディアデータ検索部と、
    前記検索した第１のマルチメディアデータを前記情報提供装置に送信する検索結果送信部と、
    前記送信した前記第１のマルチメディアデータのうちの少なくとも１つを指定する情報を前記情報提供装置から受信するマルチメディアデータ選択部と、
    前記受信した情報により指定されるマルチメディアデータに対応する第２のキーワードを取得するキーワード取得部と、
    前記マルチメディアデータベースにアクセスして、前記第１および第２のキーワードに対応する第２のマルチメディアデータを検索する第２マルチメディアデータ検索部と、
    を備えることを特徴とするマルチメディアデータ検索装置。

Images