JP2004213373A - 情報検索システム、情報検索サーバ及び情報検索方法 - Google Patents

Abstract

【課題】送信された情報だけでは十分な検索結果が得られない場合に、利用者に対して検索の精度を高めるために必要な情報の入力を促して、インタラクティブでかつ効率的な情報の検索を可能とする。
【解決手段】ネットワークを介して利用者端末から受信したマルチメディアデータに関連する目的情報を、マルチメディアデータ、該マルチメディアデータとその対象物に関する複数の属性データ、及び対象物に関する目的情報が互いに関連付けられて格納されている情報検索データベースから検索し（Ｓ４０２）、検索により受信したマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、複数の属性データから目的情報を特定するために有効な属性データを決定し（Ｓ４０５）、決定された属性データの入力を利用者端末に要求する（Ｓ４０６）。
【選択図】 図４

Description

【０００１】
【発明の属する技術分野】
本発明は、情報検索システム、情報検索サーバ及び情報検索方法に関し、詳細には、ネットワークを介して利用者端末から受信したマルチメディアデータに関連する目的情報を、マルチメディアデータ、該マルチメディアデータとその対象物に関する複数の属性データ、及び対象物に関する目的情報が互いに関連付けられて格納されている情報検索データベースから検索する際の効率的な検索に関する。
【０００２】
【従来の技術】
近年、デジタルカメラ等の画像入力機器が広く普及し、カメラを搭載した移動通信端末（携帯電話、ＰＨＳ、ＰＤＡ等）も増えている。また、音声をデジタル形式で録音することが可能な機器も増えており、画像や音声等のマルチメディアデータを様々な経路で取得する機会が増えている。
【０００３】
このような機会が増えるにつれて、例えば、旅先で撮影した画像や録音した音声の対象についての詳細な情報を得たいという要望が増大している。
【０００４】
このような要望に応えるものとして、利用者から通信回線を介して送信された、デジタルカメラ、携帯電話その他の携帯端末によって取得した事物を対象物とした画像データ及び音声データの少なくともいずれかを含むマルチメディアデータを受信すると、該マルチメディアデータの対象物についての情報検索を行い、利用者に当該マルチメディアデータの対象物に関する名前、歴史等の情報（以下「目的情報」という。）を提供するシステムが知られている（例えば、特許文献１参照）。
【０００５】
このような情報検索システムにおいては検索の精度を高めるために、利用者の端末から検索対象のマルチメディアデータの種類、大きさ、取得した日時、取得した位置等に関する付加情報（以下「属性データ」という。）を付加して送信する方法が採用されている（例えば、特許文献２参照）。
【０００６】
また、撮影した画像の目的情報を検索する情報検索システムにおいて、検索範囲を制限する情報として位置情報をＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して取得することが知られている（例えば、特許文献１及び特許文献２参照）。
【０００７】
このような情報検索システムでは、情報検索サーバが検索対象のマルチメディアデータを受信して情報検索を行った結果、目的情報を検索できなかった場合には、その時点で情報の検索が終了し、利用者は目的情報を得ることができない。
【０００８】
また、情報検索の結果、検索結果として複数の候補が検索された場合には、利用者自身で複数の候補から目的情報を特定する必要があるが、利用者にとってはこの特定は煩雑且つ困難となる場合がある。
【０００９】
情報検索の精度を向上させ、このような不都合を回避するためには、情報検索をする際に、検索対象の属性データが多数必要となる。
【００１０】
ここで、利用者にとっては属性データを入力する作業は手間がかかり煩わしく、情報検索の利便性を損なう原因となるため、属性データの内、端末側で自動的に取得できるデータについては、端末が自動的に取得して情報検索サーバに送信する構成が知られている。特に、位置情報については、特許文献１及び特許文献２に記載されているように、ＧＰＳを利用して端末側で自動的に取得して情報検索サーバに送信することにより、利用者の負担を軽減する方法が提案されている。
【００１１】
【特許文献１】
特開２００１−３１８９２８号公報
【特許文献２】
特開２００２−１７５３１５号公報
【特許文献３】
特許第３１２６７００号明細書
【００１２】
【発明が解決しようとする課題】
しかしながら、ＧＰＳは建物内等の衛星からの電波が受信できない位置においては利用ができないため、利用者あるいは端末の位置によっては位置情報の自動的取得ができなくなってしまう。
【００１３】
検索対象によっては、属性データとして位置情報がなくても目的情報を得ることができる場合があり、この場合には位置情報が得られなくても問題とはならないが、検索対象によっては、属性データとして位置情報が得られないと精度の高い検索が行えないものもある。
【００１４】
また、利用者が使用する端末によっては、属性データを自動的に取得できないものもある。例えば、ＧＰＳ機能を搭載しない機器では、位置情報を自動的に取得できない。このような場合、従来の情報検索システムでは、検索の精度が低下し、利用者が所望する情報を得ることが困難となる。
【００１５】
すなわち、従来の情報検索システムでは、利用者が属性データを入力する手間を省くように構成されているが、利用者の端末で自動的に取得できない属性データがあると、情報検索の精度が低下してしまい、十分な検索結果が得られない。
【００１６】
なお、特許文献２には、情報検索の精度を向上するために、端末に設けた選択レバーによって利用者が検索対象の種類を選択するように構成されているが、このような属性データの入力方法は、端末側の構成が複雑となると共に、利用できる端末が限定されるので好ましくない。
【００１７】
更に、従来の情報検索システムでは、十分な検索結果が得られなかった場合（検索が失敗した場合）に、実際に対象となる目的情報が登録されていないのか、情報が不十分で対象となる目的情報を見つけられなかったのかを利用者に通知せず、単に検索できなかった旨のみを通知するシステムが多い。たとえ情報が不十分で対象となる目的情報を見つけられなかったことが通知されても、どのような付加情報（属性データ）があれば検索の精度が向上するのかを通知するようには構成されていないため、効率的な検索を行うことができない。
【００１８】
本発明は以上のような状況に鑑みてなされたものであり、送信された情報だけでは十分な検索結果が得られない場合に、利用者に対して検索の精度を高めるために必要な情報の入力を促して、インタラクティブでかつ効率的な情報の検索を可能とすることを目的とする。
【００１９】
【課題を解決するための手段】
上記目的を達成する本発明の一態様としての情報検索システムは、利用者が使用する利用者端末と、マルチメディアデータ、該マルチメディアデータとその対象物に関する複数の属性データ、及び前記対象物に関する目的情報が互いに関連付けられて格納されている情報検索データベースと、ネットワークを介して前記利用者端末から受信したマルチメディアデータに関連する目的情報を、前記情報検索データベースから検索する情報検索サーバと、を備える情報検索システムであって、
前記情報検索サーバは、
前記検索により前記受信したマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、前記複数の属性データから前記目的情報を特定するために有効な属性データを決定する決定手段と、
前記決定手段によって決定された属性データの入力を前記利用者端末に要求する要求手段と、を含んでいる。
【００２０】
すなわち、本発明では、ネットワークを介して利用者端末から受信したマルチメディアデータに関連する目的情報を、マルチメディアデータ、該マルチメディアデータとその対象物に関する複数の属性データ、及び対象物に関する目的情報が互いに関連付けられて格納されている情報検索データベースから検索する際に、検索により受信したマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、複数の属性データから目的情報を特定するために有効な属性データを決定し、決定された属性データの入力を利用者端末に要求する。
【００２１】
このようにすると、情報検索データベースからマルチメディアデータの検索を行う際に、検索対象のマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、効率的に絞り込みを行うために有効な属性データの入力要求が利用者端末に対して行われるので、利用者が要求された属性データを入力することにより、効率的な検索が行われる。
【００２２】
従って、送信された情報だけでは十分な検索結果が得られない場合に、利用者に対して検索の精度を高めるために必要な情報の入力を促すことができ、インタラクティブでかつ効率的な情報の検索が可能となる。
【００２３】
決定手段は、いずれかの属性データが得られれば、受信したマルチメディアデータに関連する目的情報を絞り込むことができるか否かを判定する判定手段を含むのが好ましい。
【００２４】
また、決定手段は、予め定められた優先順位に従って、有効な属性データを決定する、又は、検索により前記受信したマルチメディアデータに関連する目的情報に対する複数の候補が特定された場合、決定手段は、複数の候補に関連する属性データの中で、ばらつきの大きなものを前記有効な属性データとして決定する、更には検索結果に応じていずれかに従って決定するよう構成されているのがよい。
【００２５】
予め定められた優先順位に従って、有効な属性データを決定するようにすると、決定するまでの時間が短くて済み、そのためレスポンス時間が短くなる。また、検索により前記受信したマルチメディアデータに関連する目的情報に対する複数の候補が特定された場合、決定手段は、複数の候補に関連する属性データの中で、ばらつきの大きなものを前記有効な属性データとして決定するようにすると、要求する属性データを決定するまでの処理に時間を要するが、利用者は決定された属性データを入力すれば直ちに目的情報を得られる可能性が高くなるため、全体としてのレスポンス時間が短くなる。
【００２６】
利用者端末は、マルチメディアデータと、該マルチメディアデータに関連する属性データとを情報検索サーバに送信するように構成されているのが好適である。
【００２７】
属性データには、対象物の種類に関する情報、及び位置情報が含まれる。
【００２８】
なお、マルチメディアデータは、画像データ及び音声データの少なくともいずれかを含んでいる。
【００２９】
また、本発明は、上記の情報検索システムの情報検索サーバ、情報検索方法、該情報検索方法を実現するコンピュータプログラム、及び該コンピュータプログラムを格納した記憶媒体としても実施され得る。
【００３０】
このような本発明は、具体的に願書に添付する図面に示す構成及び処理において、以下の実施形態と対応して実現できる。
【００３１】
【発明の実施の形態】
以下、本発明の好適な実施形態について添付図面を参照して詳細に説明する。
【００３２】
なお、本明細書において「マルチメディアデータ」とは、動画、静止画、音声、文字等の様々なデジタルデータを組合せたもののみならず、これらのデータのいずれか１つをも意味する。
【００３３】
また、本明細書において、これらマルチメディアデータの送信／受信とは、上記のマルチメディアデータをそのまま送信／受信することのみならず、データを圧縮して送信すること／データを受信して伸長することをも意味する。なお、圧縮／伸長の際には既知の暗号化／復号化が用いられても良い。
【００３４】
図１は、本発明に係る情報検索システムの実施形態の概略構成を示す図である。図示されたように本実施形態の情報検索システムは、情報検索サーバ１０１と、携帯電話１０３ａ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）１０３ｂ、ノート型ＰＣ１０３ｃ等の形態の利用者端末（以下、１０３で総称する）と、両者を接続するネットワーク１０２とからなる。
【００３５】
利用者端末１０３は、マルチメディアデータを取り込むことができ、ネットワーク１０２を介した通信機能を有するものであればどのような形態であってもよい。例えば、画像データを取り込み可能な端末の例としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラが搭載されている携帯電話、カメラモジュールを内蔵あるいは取り付け可能なＰＤＡ、カメラを搭載したノート型ＰＣあるいはデジタルカメラで撮影した画像を取り込み可能なノート型ＰＣ等があり、音声データを取り込み可能な端末の例としては、携帯電話、マイクを内蔵したあるいは接続可能なノート型ＰＣ、ＰＤＡ等がある。
【００３６】
また、本実施形態の利用者端末１０３は、ネットワーク１０２に接続する機能を有しており、情報検索サーバ１０１と通信することができる。ウェブブラウザがインストールされているのが好適である。
【００３７】
また、本実施形態の利用者端末が、ＧＰＳ機能を備えている場合には、当該機能を利用して正確な位置情報を取得することができるため、情報検索サーバにマルチメディアデータの検索を要求する場合には、ＧＰＳによって得られた位置情報を属性データとしてマルチメディアデータに自動的に付加して情報検索サーバに送信する。
【００３８】
本実施形態のネットワーク１０２は、有線であるか無線であるかを問わず双方向の通信が可能である通信網であればよく、例えば、インターネット、公衆交換電話網（ＰＳＴＮ）、ＷＡＮ、ＬＡＮ、デジタル専用回線等がある。
【００３９】
図２は、本実施形態の情報検索サーバ１０１の構成を示すブロック図であり、図示されたように情報検索サーバ１０１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ハードディスク２０４、ＣＤ−ＲＯＭドライブ２０５、ネットワーク接続アダプタ２０６、キーボード２０７、及びマウス２０８を備え、これらはシステムバス２０９を介して接続されている。
【００４０】
ここで、システムバス２０９とは、ＰＣＩバス、ＡＧＰバス、メモリバス等を意味する。また、ハードディスク２０４には、オペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）（以下、「ＯＳ」という。）２０４１、情報検索実行プログラム２０４２及び情報検索データベース２０４３が格納されている。なお、情報検索データベース２０４３は、情報検索サーバ１０１が検索可能であれば、内部のハードディスク２０４に格納されていなくてもよく、例えば、情報検索サーバ１０１と接続されたファイルサーバ等の記憶装置に格納されていてもよい。
【００４１】
ＣＰＵ２０１は、ＯＳのプログラムや情報検索プログラム２０４２を含むアプリケーションプログラムに基づいて、四則演算や比較演算等の各種の演算及び他のハードウェアの制御を行う。
【００４２】
ＲＡＭ２０２には、ハードディスク２０４に格納されているＯＳ２０４１やＣＤ−ＲＯＭドライブ２０５によって読み出されたアプリケーションプログラム等が一時的に記憶され、これらはＣＰＵ２０１の制御の下に実行される。
【００４３】
ＲＯＭ２０３には、ＯＳと協働してハードディスク２０４やＣＤ−ＲＯＭドライブ２０５等の外部記憶装置及びネットワーク接続アダプタ２０６、キーボード２０７、マウス２０８等の入出力機器への入出力を司るいわゆるＢＩＯＳ等の制御プログラムが格納されている。なお、ＲＯＭ２０３として電気的に書き換え可能なＥＥＰＲＯＭを使用してもよい。
【００４４】
ＣＤ−ＲＯＭドライブ２０５は、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ等の記録媒体に格納されているアプリケーションプログラム等をハードディスク２０４にインストールあるいはＲＡＭ２０２にロードするために用いられる。ＣＤ−ＲＯＭドライブ２０５には、ＤＶＤ−ＲＯＭドライブも当然含まれる。
【００４５】
ネットワーク接続アダプタ２０６は、ＣＰＵ２０１によって制御されるＯＳの通信プログラムと協働してネットワークを介した外部との通信を行う。
【００４６】
キーボード２０７やマウス２０８は、情報検索サーバ１０１への指示を入力するために用いられる。
【００４７】
図３は、本実施形態の情報検索データベース２０４３の内容を模式的に示す図である。
【００４８】
情報検索データベース２０４３には、多数のマルチメディアデータを格納する領域３０１と、未登録データの格納領域３０２とがあり、各マルチメディアデータに対して、マルチメディアデータを格納する領域３００１、属性データ領域３００２、及び目的情報領域３００３が設けられている。
【００４９】
マルチメディアデータを格納する領域３００１には、対象となる事物の複数のマルチメディアデータ、例えば、様々な角度から撮影した画像、動画像、音声、ＣＧデータ等が格納されている。なお、画像データに関しては１種類だけ保存するのではなく複数種類保存しておくのが望ましい。例えば、建物や風景等は、時間、季節、場所、角度等が異なれば、同一の建物や風景等であってもまったく異なる映像となってしまうため検索精度に影響を与えるからである。
【００５０】
属性データ領域３００２には、マルチメディアデータとその対象物に関する種類、大きさ、日時、位置等の様々な属性データが格納されている。各属性データの内容を例を挙げてより詳細に説明すると、種類は、対象となる事物が、建物であるのか、動物であるのか、風景（山、川など）であるのかを示すデータ、大きさは、対象となる事物の大きさを示すデータ、日時は、対象が動物であればその動物が通常現れる期間を示すデータ、位置は、建物や風景に対してはそれが存在する位置データ、動物であれば通常の生息範囲等を示すデータである。
【００５１】
目的情報領域３００３には、対象となる事物の名前、歴史、関連情報等が格納されており、百科事典に記載されているような内容を含んでいる。
【００５２】
以下、本実施形態の情報検索システムにおける情報検索サーバでの処理を図４、図５Ａ及び図５Ｂのフローチャートを参照して説明する。
【００５３】
情報検索サーバ１０１は、利用者端末１０３からマルチメディアデータを受信することにより、情報検索を開始する（ステップＳ４０１）。すなわち、利用者は、自身の利用者端末１０３をネットワーク１０２に接続した後、情報検索サーバ１０１にアクセスして検索を希望するマルチメディアデータを情報検索システムに送信する。送信されるマルチメディアデータは、利用者端末１０３のメモリ（ＲＡＭ）上に取り込まれたマルチメディアデータであってもよいし、既にフラッシュメモリ、ハードディスク等に格納されているマルチメディアデータであってもよい。
【００５４】
この際、利用者端末１０３により自動的に取得される属性データがあればマルチメディアデータに付加されて送信される。自動的に取得される属性データとしては、マルチメディアデータのタイプ（画像であるか音声であるか等）、データ形式、サイズ、作成日時、更新日時等があり、利用者端末１０３がＧＰＳ機能を搭載している場合には、該マルチメディアデータが作成された時点における利用者端末の位置情報も属性データとして送信される。
【００５５】
本実施形態の情報検索サーバ１０１は、ネットワーク１０２における特定のアドレスを有しており、利用者端末１０３は該アドレスにアクセスすることにより、情報検索サーバ１０１との通信が可能となる。利用者端末１０３と情報検索サーバ１０１との通信は、例えば、インターネットの標準プロトコルであるＴＣＰ／ＩＰに従って行われ、マルチメディアデータの送信は、ＨＴＴＰ、ＦＴＰ等のプロトコルに従って送信される。
【００５６】
具体例として、ネットワーク１０２がインターネットである場合には、利用者端末１０３が特定のＵＲＬにアクセスすることにより、情報検索サーバ１０１が運営するホームページにアクセスでき、該ホームページ上で「マルチメディアデータの検索サービス」と示されたラジオボタンをクリックすることにより、「検索を希望するマルチメディアデータを送信してください」との表示がなされ、利用者端末１０３からのマルチメディアデータの送信が可能な状態となる。この場合、本発明に係る情報検索方法が、ウェブサービスとして提供されることとなる。
【００５７】
このようにして、利用者端末１０３から送信されたマルチメディアデータがネットワーク１０２を通じて情報検索サーバ１０１に内蔵されているネットワーク接続アダプタ２０６に到達したとき、ＣＰＵ２０１が当該マルチメディアデータを検出し、ＲＡＭ２０２又はハードディスク２０４に取り込む。
【００５８】
次に、情報検索サーバ１０１は、受信したマルチメディアデータに関する目的情報を得るために、情報検索データベース２０４３から情報検索を実行する（ステップＳ４０２）。上記で図３に関して説明したように、情報検索データベース２０４３には、予めマルチメディアデータに関する目的情報が保存されている。
【００５９】
図５Ａは、ステップＳ４０２での処理を詳細に示すフローチャートである。まず、情報検索をする前に、受信したマルチメディアデータに属性データが付加されているか否かが判定される（ステップＳ４０２１）。この判定は、ＣＰＵ２０１がＲＡＭ２０２又はハードディスク２０４に取り込まれたマルチメディアデータ内に属性データが付加されているか否かを検査することにより行う。
【００６０】
例えば、ＧＰＳ機能を有する利用者端末からマルチメディアデータを受信した場合は、属性データの中の位置情報が付加されている。また、マルチメディアデータを取得した時、マルチメディアデータに日時等の種々の情報がメタ情報として記録されることがあるため、これらの情報が記録されているか否かも検査する。検査した結果、属性データに該当する情報が記録されていた場合は、当該情報を抽出する。
【００６１】
また、特許文献３（特許第３１２６７００号明細書）には、カメラのファインダーを覗く利用者者の視線を検出し、その結果に基づいて焦点調節領域の選択する視線入力の技術が開示されているが、例えば、視線入力により撮影された画像データに、どこに視点を合わせて撮影されたかを示す情報がメタ情報として付加されていれば、当該画像データに含まれる対象物の中で情報検索を行いたい対象を特定することができ、検索精度を高めることができる。
【００６２】
ＣＰＵ２０１は、受信したマルチメディアデータに属性データが付加されていた場合は、当該マルチメディアデータと付加されていた属性データを分離して、ＲＡＭ２０２又はハードディスク２０４に格納する（ステップＳ４０２２）。
【００６３】
次にＣＰＵ２０１は、情報検索データベース２０４３に格納されているマルチメディアデータのレコードから、検索の対象となるマルチメディアデータに付加されていた属性データと同一の属性データを取り出し、ＲＡＭ２０２又はハードディスク２０４に格納する（ステップＳ４０２３）。そして、ＣＰＵ２０１は、属性データを比較することによって、情報検索の対象の絞り込みを行う（ステップＳ４０２４）。
【００６４】
最後に、検索対象となったマルチメディアデータと利用者端末から受信したマルチメディアデータとの対照（マッチング）を行い、受信したマルチメディアデータとの一致度が所定以上であるマルチメディアデータを検索結果として抽出してＲＡＭ又はハードディスクの所定の記憶領域に格納する（ステップＳ４０２５）。
【００６５】
このマッチングを実行する際に、マルチメディアデータに対して様々な変換処理を施してマルチメディアデータの特徴点を抽出することが考えられる。例えば、画像データに対しては、種々のフィルタリング、ＤＣＴ変換、ウェーブレット変換等により画像の特徴点を抽出することが知られており、音声データに対しては、スペクトル抽出や周波数分布により、特徴点を抽出することが知られている。これら既知の変換処理を利用して検索の精度を向上させるのが好ましい。
【００６６】
また、マッチングにおける一致度は、例えば％等の指数で表わされ、本実施形態では、一致度が所定値以上となったマルチメディアデータが、検索結果として所定の記憶領域に格納される。
【００６７】
ステップＳ４０２での情報検索の結果、有効な検索結果を得ることができたか否かを判定する（ステップＳ４０３）。具体的には、情報検索データベースから抽出されたマルチメディアデータが１件となった場合は、有効な検索結果を得ることができたと判定し、検索結果が複数であったり、一致度が所定値以上となったマルチメディアデータがなかった場合（検索失敗）には、有効な検索結果が得られなかったと判定する。
【００６８】
ステップＳ４０３で有効な検索結果を得ることができたと判定された場合には、検索結果として所定の記憶領域に格納されているマルチメディアデータの目的情報を利用者端末に送信する（ステップＳ４０４）。なお、送信の方法として、例えば、文字情報であれば電子メールにより送信することが考えられる。文字情報以外の情報を送信する場合は、ＨＴＴＰ、ＦＴＰ等のプロトコルにより送信することが考えられる。
【００６９】
一方、ステップＳ４０３で有効な検索結果を得ることができなかったと判定された場合には、他の属性データが送信されれば有効な情報検索を行うことができるか否かを判定する（ステップＳ４０５）。
【００７０】
図５Ｂは、ステップＳ４０５での処理を詳細に示すフローチャートである。まずＣＰＵ２０１は、利用者から受信したマルチメディアデータに関して、情報検索データベースに格納されているマルチメディアデータの属性データのうち、まだ受信していない属性データがあるか否かを判定する（ステップＳ４０５１）。
【００７１】
まだ受信していない属性データがある場合は、有効な検索結果を得るために、まだ受信していない属性データの中から次に要求する属性データを決定する。まだ受信していない属性データが複数ある場合に、次に要求する属性データを決定する方法としては、予め定めた属性データの優先順位に従う方法、検索結果として格納されているマルチメディアデータから、絞り込みが効率的に行える、すなわち、異なるデータがあるものやばらつきが大きい属性データとする方法等が考えられる。
【００７２】
本実施形態では、検索が失敗した（一致度が所定値以上のマルチメディアデータがなかった）か否かを判定して、次に要求する属性データの決定方法を変えている。すなわち、検索が失敗したか否かをＣＰＵが判定し（ステップＳ４０５２）。検索が失敗した場合には、予め定められた優先順位に従って、次に要求する属性データを決定し（ステップＳ４０５３）、ステップＳ４０２５におけるマッチング処理での一致度を低下させるように変更する。一方、検索が失敗ではなかったと判定された場合、すなわち、検索結果として複数のマルチメディアデータが抽出されている場合には、各属性データにおけるばらつき（偏差）を参照して、ばらつきの大きい属性データを次に要求する属性データとして決定する（ステップＳ４０５５）。
【００７３】
ここで、本実施形態の情報検索システムによる検索における、要求する属性データの決定について具体例を挙げて説明する。
【００７４】
図７及び図８は、利用者端末から検索対象として画像データが送信された場合の、検索結果の例を示す図である。図７（ａ）に示すように「建物」の画像データが検索対象として利用者端末から送信され、「種類」や「位置情報」の属性データがない場合、検索対象は情報検索データベース２０４３に格納されている全ての画像データとなる。この場合情報検索データベースに格納されている各画像データとのマッチングによる一致度が、図７（ｂ）に示すような値であり、検索で所定の一致度が７０％に設定されていると、全ての画像データがこの値に達していないので、検索結果としてはいずれのデータも抽出されない。
【００７５】
この場合には、検索には属性データが何も使用されていないので、情報検索サーバは、より有効な検索結果を得るべく、利用者端末に要求する属性データを決定すると共に、マッチングにおける一致度を６０％に低下させる。検索が失敗したので、要求する属性データは画像データに対して予め定められた優先順位に従って決定される。画像データに対する優先順位としては、「種類」、「位置情報」、「大きさ」、「日時」の順番などが考えられる。
【００７６】
図８は、検索結果として複数のマルチメディアデータが抽出された場合に、次に要求する属性データを決定する例を示している。利用者端末から検索対象として（ａ）に示すように、「金閣寺」の画像データが送信され、属性データとして「種類」が得られた場合、検索結果として（ｂ）に示すようにいくつかの「寺」が抽出された場合、受信していない属性データから効果的に絞り込みが行える属性データを選択する。
【００７７】
この例では、位置情報（所在地）にばらつきが多いので、位置情報が得られると効果的な絞り込みが行えると判定し、情報検索サーバは利用者端末に要求する属性データとして「位置情報」を決定する。
【００７８】
なお、ここで示した方法は、あくまで例示であり、検索対象によっては、絞り込みがより効率的に行える属性データを他のパラメータから特定することが可能な場合も考えられるので、これ以外の方法で次に要求する属性データを決定してもよい。
【００７９】
ステップＳ４０５１で、まだ受信していない属性データがないと判定された場合、すなわち、全ての属性データを既に受信している場合は、これ以上情報検索を続行しても、有効な目的情報を得ることができないので、情報検索ができない旨を利用者に通知し（ステップＳ４１０）、情報検索処理を終了する。利用者への通知は、例えば、情報検索サーバから電子メールにその旨のメッセージを記載して利用者端末に送信する方法や、ＨＴＴＰ、ＦＴＰ等のプロトコルを利用してエラーメッセージを送信する方法が考えられる。
【００８０】
ステップＳ４０５で次に要求する属性データが決定されたら、決定された属性データの入力を利用者に要求する（ステップＳ４０６）。なお、利用者が要求された属性データを入力する方法は、要求する属性データによって変更してもよい。
【００８１】
図６Ａ及び図６Ｂは、属性データとして「種類」を要求する場合に、利用者端末に表示される画面の例を示す図である。図６Ａは、利用者に種類を直接入力してもらう場合に利用者端末に表示される画面の例であり、利用者が入力欄６０１に検索対象の「種類」を入力し、入力が終了したらＯＫボタン６０２又は検索ボタン６０６を押下することにより入力された属性データを利用した検索が行われる。クリアボタン６０３は、入力欄６０１への入力をやり直すときに押されるボタンであり、キャンセルボタン６０４は、情報検索をやり直すときに押されるボタンである。
【００８２】
図６Ｂは、複数の候補を提示しその中から利用者に選択してもらう場合に利用者端末に表示される画面の例であり、利用者は選択項目６１１から対応する種類を選択して、ＯＫボタン６１２を押下することにより、入力された属性データを利用した検索が行われる。この画面には、選択項目にない種類である場合に、利用者が種類を直接入力する入力欄６１３も設けられている。ＯＫボタン６１４、クリアボタン６１５、キャンセルボタン６１６は、図６ＡのＯＫボタン６０２、クリアボタン６０３、キャンセルボタン６０４にそれぞれ対応する。
【００８３】
これ以外にも、例えば位置情報を要求する場合であれば、利用者に検索対象のマルチメディアデータを取得した住所、最寄りの駅名、付近の建物名等のいずれかを利用者端末に表示される画面の入力欄に直接入力してもらう方法が考えられる。
【００８４】
なお、利用者端末がＧＰＳ機能を有している場合は、位置情報は自動的に取得され情報検索サーバに送信されることになるが、衛星からの電波が受信できない位置（建物内等）で情報検索を行う場合には、ＧＰＳ機能が利用できないため、位置情報が自動送信されることはない。このような場合であっても、属性データとして利用者に位置情報を要求する場合があり、このような場合には利用者は、別途マニュアルで位置情報を入力する必要が生じる。
【００８５】
次に、利用者により新たな属性データが送信されたか否かを判定する（図テップＳ４０７）。新たな属性データが送信されて以内場合には、所定の待ち時間が経過したか否かを判定する（ステップＳ４１１）。ここで所定の待ち時間が経過した場合には、タイムアウトとし、ステップＳ４１０に進み、情報検索ができない旨を利用者に通知する。
【００８６】
一方、ステップＳ４０７で利用者より新たな属性データが送信されたと判定された場合には、受信した属性データがステップＳ４０６で要求した属性データであるか否かを判定する（ステップＳ４０８）。
【００８７】
利用者は、情報検索サーバから新たな属性データを要求されるが、必ずしもその属性データを送信できるとは限らない。例えば、位置情報が要求されたとしても、検索対象のマルチメディアデータを取得した場所の住所、最寄りの駅名、付近の建物名等の位置を特定する情報が分からなければ属性データを送信することができない。このような場合利用者は、例えば、図６Ａ又は図６Ｂの入力欄（６０１又は６１３）に「不明」と入力して、要求された属性データを送信できない旨を情報検索サーバに通知する。もちろん、図６Ａ及び図６Ｂに示した画面に、要求された属性データが不明であることを示すボタンが設けられていても良い。
【００８８】
受信したデータが要求した属性データであると判定されたら、情報検索サーバ１０１は、受信した属性データを加えて再度情報検索を実行すべく、ステップＳ４０２処理を戻す。
【００８９】
受信したデータが要求した属性データでなかったと判定された、すなわち、利用者が要求された属性データを送信できなかった場合は、当該属性データを再度要求することが無いように、今後利用者に要求する属性データの候補から削除する（ステップＳ４０９）。そして、これ以外の属性データが入手できれば、有効な検索結果が得られるかどうかを再度判定すべく、ステップＳ４０５へ処理を戻す。
【００９０】
以上説明したように本実施形態の情報検索システムによれば、利用者端末から送信されたマルチメディアデータの検索を行う情報検索サーバは、利用者端末から送信された情報だけでは十分な検索結果が得られない場合に、他の属性データが得られれば有効な検索が行えると判定すると、利用者端末に対して必要な属性データの入力を促すように構成されているので、インタラクティブでかつ効率的なマルチメディアデータの検索が可能となる。
【００９１】
＜変形例＞
上記実施形態の情報検索システムでは、検索ができなかった場合には、その旨利用者端末へ通知するだけであったが、検索ができなかったマルチメディアデータを情報検索データベースに格納しておき、その後当該マルチメディアデータに関する目的情報や属性データが得られた時点でそれらを入力することが考えられる。
【００９２】
このようにすると、情報検索データベースに格納されるマルチメディアデータを増大させ、検索の精度を向上させることができる。
【００９３】
また、情報検索データベースに保存された検索ができなかったマルチメディアデータ（以下「未登録データ」という。）を、情報検索システムの利用者に公開して、公開された未登録データに関する目的情報や属性データについての情報を持っている利用者が、その未登録データに関する情報を入力することができるようにする仕組みが考えられる。
【００９４】
このようにすると、情報検索システムの運営者は、利用者により入力された未登録データの正当性を判断するだけで済み、未登録データについて調べる労力が軽減され、運営が容易となると共に検索の精度を向上させることができる。
【００９５】
なお、この場合には、未登録データに関する情報を入力した利用者にインセンティブを与えるようにすると、利用者の関心が増えるので、上記の効果に加えて利用者を増やすことが可能となる。
【００９６】
＜他の実施形態＞
本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９７】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（本実施形態では図４、図５Ａ及び図５Ｂにフローチャートに対応したプログラム）を、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００９８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１００】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１０１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の範囲に含まれるものである。
【０１０２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【０１０５】
【発明の効果】
以上説明したように本発明によれば、情報検索データベースからマルチメディアデータの検索を行う際に、検索対象のマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、効率的に絞り込みを行うために有効な属性データの入力要求が利用者端末に対して行われるので、利用者が要求された属性データを入力することにより、効率的な検索が行われる。
【０１０６】
従って、送信された情報だけでは十分な検索結果が得られない場合に、利用者に対して検索の精度を高めるために必要な情報の入力を促すことができ、インタラクティブでかつ効率的な情報の検索が可能となる。
【図面の簡単な説明】
【図１】本発明に係る情報検索システムの実施形態の概略構成を示す図である。
【図２】図１の情報検索サーバの構成を示すブロック図である。
【図３】図２の情報検索データベースの内容を模式的に示す図である。
【図４】情報検索サーバでの処理を示すフローチャートである。
【図５Ａ】図４のステップＳ４０２での処理を詳細に示すフローチャートである。
【図５Ｂ】図４のステップＳ４０５での処理を詳細に示すフローチャートである。
【図６Ａ】属性データとして「種類」を要求する場合に、利用者端末に表示される画面の第１の例を示す図である。
【図６Ｂ】属性データとして「種類」を要求する場合に、利用者端末に表示される画面の第２の例を示す図である。
【図７】利用者端末から検索対象として画像データが送信された場合の、検索結果の第１の例を示す図である。
【図８】利用者端末から検索対象として画像データが送信された場合の、検索結果の第２の例を示す図である。

Claims (11)

1. 利用者が使用する利用者端末と、マルチメディアデータ、該マルチメディアデータとその対象物に関する複数の属性データ、及び前記対象物に関する目的情報が互いに関連付けられて格納されている情報検索データベースと、ネットワークを介して前記利用者端末から受信したマルチメディアデータに関連する目的情報を、前記情報検索データベースから検索する情報検索サーバと、を備える情報検索システムであって、
   前記情報検索サーバは、
   前記検索により前記受信したマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、前記複数の属性データから前記目的情報を特定するために有効な属性データを決定する決定手段と、
   前記決定手段によって決定された属性データの入力を前記利用者端末に要求する要求手段と、を含むことを特徴とする情報検索システム。
2. 前記決定手段は、いずれかの属性データが得られれば、前記受信したマルチメディアデータに関連する目的情報を絞り込むことができるか否かを判定する判定手段を含むことを特徴とする請求項１に記載の情報検索システム。
3. 前記決定手段は、予め定められた優先順位に従って、前記有効な属性データを決定することを特徴とする請求項１又は２に記載の情報検索システム。
4. 前記検索により前記受信したマルチメディアデータに関連する目的情報に対する複数の候補が特定された場合、前記決定手段は、前記複数の候補に関連する前記属性データの中で、ばらつきの大きなものを前記有効な属性データとして決定することを特徴とする請求項１から３のいずれか１項に記載の情報検索システム。
5. 前記利用者端末は、マルチメディアデータと、該マルチメディアデータに関連する属性データとを前記情報検索サーバに送信するように構成されていることを特徴とする請求項１から４のいずれか１項に記載の情報検索システム。
6. 前記属性データは、前記対象物の種類に関する情報、及び位置情報を含むことを特徴とする請求項１から５のいずれか１項に記載の情報検索システム。
7. 前記マルチメディアデータは、画像データ及び音声データの少なくともいずれかを含むことを特徴とする請求項１から６のいずれか１項に記載の情報検索システム。
8. マルチメディアデータ、該マルチメディアデータとその対象物に関する複数の属性データ、及び前記対象物に関する目的情報が互いに関連付けられて格納されている情報検索データベースを含み、ネットワークを介して利用者端末から受信したマルチメディアデータに関連する目的情報を、前記情報検索データベースから検索する情報検索サーバであって、
   前記検索により前記受信したマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、前記複数の属性データから前記目的情報を特定するために有効な属性データを決定する決定手段と、
   前記決定手段によって決定された属性データの入力を前記利用者端末に要求する要求手段と、を含むことを特徴とする情報検索サーバ。
9. ネットワークを介して利用者端末から受信したマルチメディアデータに関連する目的情報を、マルチメディアデータ、該マルチメディアデータとその対象物に関する複数の属性データ、及び前記対象物に関する目的情報が互いに関連付けられて格納されている情報検索データベースから検索する情報検索方法であって、
   前記検索により前記受信したマルチメディアデータに関連する目的情報が１つに特定できなかった場合に、前記複数の属性データから前記目的情報を特定するために有効な属性データを決定する決定工程と、
   前記決定工程において決定された属性データの入力を前記利用者端末に要求する要求工程と、を含むことを特徴とする情報検索方法。
10. 請求項９に記載の情報検索方法をコンピュータ装置によって実現するコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを格納した記憶媒体。

Images