JP2002334099A

JP2002334099A - 分散マルチメディア情報の検索装置、検索方法、プログラムおよび記録媒体

Info

Publication number: JP2002334099A
Application number: JP2001118956A
Authority: JP
Inventors: Takashi Hayashi; 孝志林; Gengo Suzuki; 源吾鈴木; Yuichi Iizuka; 裕一飯塚; Kazuya Konishi; 一也小西
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-03-05
Filing date: 2001-04-18
Publication date: 2002-11-22

Abstract

(57)【要約】【課題】画像・映像等の非テキスト情報をも検索キー
とするマルチメディア・データベースシステムにおい
て、検索キーと検索対象のコンテンツとが異なる形式
（たとえば、テキストと画像）である場合でも、ユーザ
が所望するコンテンツを検索することができる分散マル
チメディア情報の検索方法、検索装置、プログラムおよ
び記録媒体を提供することを目的とするものである。【解決手段】同一のカテゴリに属する様々なメディア
で表現されているデータを識別子によって多対多に関連
付けることによって、問い合わせに含まれる検索キーの
メディアを変換し、ネットワーク上に分散している様々
なデータベース管理システムやファイルシステムに対応
した問い合わせ文を生成して、所望のマルチメディア情
報を一括検索するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意のメディアを
用いた問い合わせによる分散マルチメディア情報検索に
関し、詳しくは、同一のカテゴリに属する様々なメディ
アで表現されたデータを、識別子によって多対多に関連
付けることによって、問い合わせに含まれる検索キーの
メディアを変換し、ネットワーク上に分散している個々
のデータベース管理システムやファイルシステムから、
所望のマルチメディア情報を一括検索する装置、方法、
プログラム、その記録媒体に関する。

【０００２】

【従来の技術】近年、図書館の書籍や美術館の絵画また
は雑誌・新聞等の文章や写真を電子化したマルチメディ
ア情報が増大している。マルチメディア情報は、一般的
に文書、音声・楽音、静止画、動画等のメディアを複合
することによって表現され、これらは、データベース管
理システム、ファイルシステム等によって、情報源とし
て格納され、ネットワーク上に分散している。

【０００３】マルチメディア情報の増大に伴い、ユーザ
にとって直感的で分かりやすい検索技術の開発が期待さ
れている。現在、実用化されているマルチメディア情報
検索の多くは、書誌情報に基づく検索である。

【０００４】書誌情報に基づく検索とは、マルチメディ
ア情報に対して、テキストで表された書誌情報を予め付
与し、検索キーとして入力されたキーワードと書誌情報
とを照合し、マルチメディア情報を検索する方法であ
る。

【０００５】また、静止画から静止画を検索するような
同一メディアによる類似検索も研究されている。（参考
文献［１］：串間他：“オブジェクトに基づく高速画像
検索システム：ExSight”, 情報処理学会論文誌, Vol.4
0, No.2, pp.732-741, 1999、参考文献［２］：IBM A
lmaden Research Center.“Query by Image and Video
Content:The QBIC System”, IEEE Computer, Vol.28,
No.9,pp23-32, Sept1995）なお、類似検索とは、検索対象のマルチメディア情報か
ら、特徴量を予め抽出し、この検索対象から抽出された
特徴量と、入力された検索キーから抽出された特徴量と
の間で、類似計算し、所望のマルチメディア情報を検索
する方法である。

【０００６】このような現状の検索技術では、情報源が
提供する検索キーのメディア種別と、ユーザが有する検
索キーのメディア種別とが一致しなければ、検索できな
いという欠点がある。

【０００７】検索キーのメディア種別が不一致であれば
検索できないという上記欠点を解決するために、異メデ
ィアで表現された情報を関連付ける研究が行われてい
る。（参考文献［３］：栗田他：“印象語による絵画デ
ータベースの検索”，情報処理学会論文誌，Vol.33,No.
11, 1992、参考文献［４］：岡他：“画像とテキスト
の自己組織化データに基づく画像理解方式の提案”,信
学技法,PRMU-98-74.）異メディアで表現された情報を関連付けるために、上記
類似検索を利用する研究が多い。類似検索は、「特徴量
空間上で近接しているデータ同士は互いに類似してい
る」という仮定（仮定１）に基づいている。特徴量空間
における類似検索のモデルにおいて、所定の楕円内に検
索対象データが存在すれば、検索キーと近接していると
解釈される。

【０００８】たとえば、上記文献［３］では、学習用の
絵画について、ユーザが印象語を付与し、その結果か
ら、印象語ベクトルと静止画特徴量ベクトルとの間で線
形関数を学習している。この線形関数が、静止画とテキ
ストとの間のメディア変換関数として機能する。

【０００９】また、上記文献［４］では、説明文付きの
静止画について、説明文を単語の特徴量空間でクラスタ
リングし、近接している説明文に対応する静止画は、そ
の特徴量空間上で近接するとみなし、近づけている。静
止画を検索キーとして入力し、類似画像の説明文が近接
している部分を検索結果として出力する。

【００１０】

【発明が解決しようとする課題】しかし、上記従来例で
は、任意のメディアを用いた問い合せによって、既存情
報源からマルチメディア情報を検索する場合、次の問題
が生じる。（１）特徴量が大きく異なるものの、関連付けが困難で
あるという問題がある。

【００１１】つまり、従来例では、「互いに類似してい
るデータ同士は、特徴量空間上で近接している」という
仮定（仮定１の逆）に基づいている。関連しているが近
接していないデータ（たとえばモンシロチョウについて
の文書に関連して、羽を開いたモンシロチョウの静止画
と羽を閉じたモンシロチョウの静止画）は、誤差と見な
されるか、近接化される。つまり、特徴量が大きく異な
り、近接していないものを関連付けることは難しいとい
う問題がある。（２）ユーザの観点を反映した関連付けが困難であると
いう問題がある。

【００１２】同じユーザでも様々な観点でマルチメディ
ア情報を扱いたい場合があり、たとえば、同じ静止画で
も、その色合いに着目するのか、形に着目するのかのよ
うに観点の違いによって、対応付けたい異メディア（た
とえば，テキストデータと静止画という異なるメディ
ア）のデータが異なる場合がある。しかし、上記従来例
では、同じデータに対して、ユーザの観点が異なるとき
に、異なるデータに関連付けることが困難であるという
問題がある。（３）既存情報源の利用が困難であるという問題があ
る。

【００１３】つまり、上記従来例では、検索対象のマル
チメディア情報から、システム独自の特徴量を抽出し、
異メディア間の関連付けや検索を行っている。一方、既
存情報源は、それぞれ特徴量の種類や問い合せの形式が
異なる。したがって、ネットワーク上に分散している様
々な既存情報源から、マルチメディア情報を検索するこ
とは難しいという問題がある。（４）特徴量ベクトル空間上で多峰性の分布をしている
データを、高い適合率・再現率で検索するのが困難であ
るという問題がある。

【００１４】つまり、上記従来例では、入力された検索
キーから抽出された１組の特徴量ベクトルと検索対象の
マルチメディア情報から抽出しておいた特徴量ベクトル
群との間で、１組の係数ベクトル（類似検索では重みと
呼ばれる）を用いて、予め定められた類似計算（距離計
算）を行う。したがって、ユーザが所望するデータが特
徴量ベクトル空間上で複雑な多峰性の分布をしている場
合、高い適合率・再現率で検索することが困難であると
いう問題がある。（５）適合率と再現率のいずれを重視するのかを反映し
た関連付けが困難であるという問題がある。

【００１５】上記従来例では、関連付けられたデータを
検索キーとして検索するときに、所望のデータのみが検
索され、それ以外のデータが検索されない方が良い（適
合率を重視する）のか、所望のデータが取りこぼしなく
検索される方が良い（再現率を重視する）のかを反映し
て、どのデータとどのデータとを関連付けるべきかの指
標がない。したがって、適合率と再現率とのうちのいず
れを重視するのかを反映して、対応付けるべきデータを
選択することが困難であるという問題がある。

【００１６】本発明は、画像・映像等の非テキスト情報
をも検索キーとするマルチメディア・データベースシス
テムにおいて、検索キーと検索対象のコンテンツとが異
なる形式（たとえば、テキストと画像）である場合で
も、ユーザが所望するコンテンツを検索することができ
る分散マルチメディア情報の検索方法、検索装置、プロ
グラムおよび記録媒体を提供することを目的とするもの
である。

【００１７】

【課題を解決するための手段】本発明は、同一のカテゴ
リに属する様々なメディアで表現されているデータを識
別子によって多対多に関連付けることによって、問い合
わせに含まれる検索キーのメディアを変換し、ネットワ
ーク上に分散している様々なデータベース管理システム
やファイルシステムに対応した問い合せ文を生成して、
所望のマルチメディア情報を一括検索するものである。

【００１８】

【発明の実施の形態および実施例】本発明の実施例を説
明する前に、関連する用語について説明する。

【００１９】「ユーザ」は、検索を実行する利用者であ
り、実際の利用者の他に、検索時の観点等、たとえば静
止画の類似検索であれば「色重視」や「形重視」等の仮
想的な利用者も含む。

【００２０】「メディア」は、情報の伝達・表現手段で
あり、一般的に文書、音声・楽音、静止画、動画等の単
一メディアとその複合メディアとを含むものである。

【００２１】「ユーザ問い合わせ」は、所望の情報を検
索するために、アプリケーションプログラムを介して、
ユーザが入力する問い合わせであり、本実施例において
は、任意のメディアによって表現されている検索キー
（キーワード、静止画キー、音声キー等）、ＡＮＤ／Ｏ
Ｒ条件や、返却上限数等の指定によって構成されるもの
である。

【００２２】「検索エンジン」は、後述の情報源問い合
わせを入力すると、格納している情報の中から、検索結
果を返却するシステムであり、データベース管理システ
ムやファイルシステム等である。

【００２３】「情報源」は、検索エンジンによって検索
可能な状態で格納されている情報の集まりであり、デー
タベースやファイル等である。

【００２４】「情報源問い合わせ」は、所望の情報を検
索するために、検索エンジンを介して入力する問い合わ
せであり、特定のメディアによって表現された検索キー
（検索エンジン毎のキーワード、静止画キー、音声キー
等）、所定の特徴量を重視する度合いである重み、ＡＮ
Ｄ／ＯＲや返却上限数等の指定によって構成され、検索
エンジンの種別によって指定される項目は異なる。

【００２５】「カテゴリ」は、同一性質のデータが属す
る部類である。

【００２６】「カテゴリ識別子」は、様々なメディアで
表現されている識別子であって、同一のカテゴリに属す
るデータを関連付ける識別子である。

【００２７】図１は、本発明の一実施例である分散マル
チメディア情報の検索装置１００の構成を示すブロック
図である。

【００２８】分散マルチメディア情報検索装置１００
は、ユーザインタフェース部１１０と、構文解析部１２
０と、メディア変換部１３０と、一括検索処理部１４０
と、情報源アクセス部１５０と、メディア変換データ記
憶部１６０と、メディア変換データ管理部１６５と、ユ
ーザデータ記憶部１７０と、ユーザデータ管理部１７５
と、情報源メタデータ記憶部１８０と、情報源メタデー
タ管理部１８５とを有する。

【００２９】ユーザインタフェース部１１０は、アプリ
ケーションプログラム２００を介して入力されるユーザ
名２１０と、ユーザ問い合わせ２２０とを受け付ける。

【００３０】構文解釈部１２０は、ユーザインタフェー
ス部１１０が受け付けたユーザ問い合わせ２２０の構文
を解析する。

【００３１】メディア変換部１３０は、検索キー解釈部
１３１と、メディア変換データ検索部１３２とを有し、
入力されたユーザ名２１０を参照し、ユーザ問い合わせ
２２０に含まれている検索キーのメディア種別を変換す
る。

【００３２】検索キー解釈部１３１は、ユーザ２２０に
含まれている検索キーが属するカテゴリのカテゴリ識別
子を特定する。メディア変換データ検索部１３２は、入
力されたユーザ名２１０を参照し、検索キー解釈部１３
１で特定されたカテゴリ識別子に対応付けられている異
種メディアで表現されたデータ（検索キーグループ）を
検索する。

【００３３】一括検索処理部１４０は、各検索エンジン
によって管理されている情報源から、マルチメディア情
報を一括して検索するものであり、情報源所在探索部１
４１と、利用情報検索部１４２と、情報源問い合わせ生
成部１４３と、検索結果処理部１４４とを有する。

【００３４】情報源所在探索部１４１は、メディア変換
データ検索部１３２で検索された検索キーグループを用
いて検索可能な情報源の所在と上記情報源を管理してい
る検索エンジンとを探索する。

【００３５】利用情報検索部１４２は、入力されたユー
ザ名２１０を参照し、上記ユーザが各情報源を検索する
ときに必要となる項目（類似検索では重み等）を検索す
る。

【００３６】情報源問い合わせ生成部１４３は、情報源
アクセス部１５０が送出する情報源問い合わせ３２０を
生成する。

【００３７】検索結果処理部１４４は、各情報源３１０
から取得し、情報源アクセス部１５０が受信した情報源
検索結果３３０に対して、ユーザ問い合わせ２２０に応
じた処理（返却上限数によるフィルタリング等の処理）
を行う。

【００３８】情報源アクセス部１５０は、生成された情
報源問い合わせ３２０を各情報源３１０に送信し、オー
プンなネットワーク上に分散しているマルチメディア情
報を取得する。この情報源アクセス部１５０には、複数
の情報源３１０ａ，３１０ｂ，…，３２０ａ，３２０
ｂ，…を管理する複数の検索エンジン３００ａ，３００
ｂ，…が、通信網３４０を介して接続されている。

【００３９】メディア変換データ記憶部１６０は、カテ
ゴリ識別子、異種メディアで表現されたデータ（検索キ
ーグループ）と、両者の対応関係等のメディア変換に関
する情報とを記憶し、管理する。

【００４０】メディア変換データ管理部１６５は、メデ
ィア変換データ記憶部１６０に対する各種データの入力
／削除／変更を行う。システム管理者は、メディア変換
データ管理部１６５を介して、自動または手動によっ
て、メディア変換データを登録、管理する。

【００４１】ユーザデータ記憶部１７０は、検索を実行
するユーザに関する情報を記憶し、管理する。

【００４２】ユーザデータ管理部１７５は、ユーザデー
タ記憶部１７０に対する各種データの入力／削除／変更
を行う。システム管理者は、ユーザデータ管理部１７５
を介して、ユーザデータを登録、管理する。

【００４３】情報源メタデータ記憶部１８０は、各情報
源３１０のアクセス情報やユーザが検索するときに必要
となる項目等の情報源３１０に関する情報を記憶し、管
理する。

【００４４】情報源メタデータ管理部１８５は、情報源
メタデータ記憶部１８０に対する各種データの入力／削
除／変更を行う。システム管理者は、情報源メタデータ
管理部１８５を介して、情報源メタデータを登録、管理
する。

【００４５】図２は、上記実施例において、メディア変
換データ記憶部１６０が保有するテーブルの詳細を示す
図である。

【００４６】メディア変換データ記憶部１６０は、同一
のカテゴリを表すデータを関連付けるカテゴリ識別子を
管理するカテゴリテーブル１６１と、検索キーとして、
各情報源３１０に入力するために、様々なメディアで表
現されたデータを管理する検索キーテーブル１６２と、
カテゴリ識別子とデータとの関連付けを管理する対応関
係テーブル１６３と、カテゴリ識別子間の上位・下位・
同義関係を管理するシソーラステーブル１６４とによっ
て構成されている。

【００４７】図３は、上記実施例において、ユーザデー
タ記憶部１７０が保有するテーブルの詳細を示す図であ
る。

【００４８】ユーザデータは、検索を実行するユーザに
関する情報を管理するユーザデータテーブル１７１によ
って構成されている。

【００４９】図４は、上記実施例において、情報源メタ
データ記憶部１８０が保有するテーブルの詳細を示す図
である。

【００５０】情報源メタデータは、各検索エンジン３０
０にアクセスする手段に関する情報を管理する検索エン
ジンテーブル１８１と、各情報源３１０の所在情報とア
クセス情報とを管理する情報源テーブル１８２と、検索
エンジン３００による情報源３１０の管理関係を管理す
る検索エンジン−情報テーブル１８３と、ユーザが各情
報源３１０を検索するときに必要となる項目（類似検索
では重み等の項目）を管理する利用情報テーブル１８４
とによって構成されている。

【００５１】次に、分散マルチメディア情報検索装置１
００における処理手順の概略について説明する。

【００５２】図５は、上記実施例において、分散マルチ
メディア情報の検索における全体の概略動作を示すフロ
ーチャートである。

【００５３】分散マルチメディア情報の検索において、
ユーザデータ準備フェーズ（Ｓ１０）、情報源メタデー
タ準備フェーズ（Ｓ２０）、メディア変換データ準備フ
ェーズ（Ｓ３０）、検索フェーズ（Ｓ４０）の順で、処
理が行われる。

【００５４】ユーザデータ準備フェーズ（Ｓ１０）で
は、検索を実行する前に、システム管理者がユーザデー
タ管理部１７５を介して、ユーザデータの準備を行う。

【００５５】情報源メタデータ準備フェーズ（Ｓ２０）
では、検索を実行する前に、システム管理者が情報源メ
タデータ管理部１８５を介して、情報源メタデータの準
備を行う。

【００５６】メディア変換データ準備フェーズ（Ｓ３
０）では、検索を実行する前に、システム管理者または
自動処理によって、メディア変換データ管理部１６５を
介して、メディア変換データの準備を行う。

【００５７】検索フェーズ（Ｓ４０）は、検索を実行す
るフェーズである。

【００５８】図６は、上記実施例におけるユーザデータ
準備フェーズ（Ｓ１０）を具体的に示すフローチャート
である。

【００５９】ユーザデータ準備フェーズ（Ｓ１０）にお
いて、検索を実行するユーザに関する情報を、ユーザデ
ータテーブル１７１に定義する（Ｓ１１）。

【００６０】図７は、上記実施例における情報源メタデ
ータ準備フェーズ（Ｓ２０）を具体的に示すフローチャ
ートである。

【００６１】情報源メタデータ準備フェーズ（Ｓ２０）
において、まず、各検索エンジン３００にアクセスする
手段に関する情報を、検索エンジンテーブル１８１に定
義し（Ｓ２１）、各情報源３１０の所在情報とアクセス
情報とを、情報源テーブル１８２に定義し（Ｓ２２）、
検索エンジン３００による情報源３１０の管理関係を、
検索エンジン−情報源テーブル１８３に定義し（Ｓ２
３）、ユーザが各情報源３１０を検索するときに必要と
なる項目等を、利用情報テーブル１８４に定義する（Ｓ
２４）。

【００６２】図８は、上記実施例におけるメディア変換
データ準備フェーズ（Ｓ３０）を具体的に示すフローチ
ャートである。

【００６３】メディア変換データ準備フェーズ（Ｓ３
０）において、まず、同一のカテゴリに属するデータを
関連付けるカテゴリ識別子を、カテゴリテーブル１６１
に定義し（Ｓ３１）、検索キーとして、各情報源３１０
に入力するために、様々なメディアで表現されたデータ
を、検索キーテーブル１６２に定義し（Ｓ３２）、上記
カテゴリ識別子と上記データとの関連付けを、対応関係
テーブル１６３に定義し（Ｓ３３）、カテゴリ識別子間
の上位・下位・同義関係を、シソーラステーブル１６４
に定義し（Ｓ３４）、様々なメディアで表現されたデー
タの中から検索キーとして用いることが適しているデー
タを選別する（Ｓ３５）。

【００６４】なお、様々なメディアで表現されたデータ
とカテゴリとの対応関係が明確な複合メディアによって
表現されているデータを用いれば、上記各処理を自動で
行うことができる。

【００６５】図２７は、上記実施例におけるデータの選
別（Ｓ３５）を具体的に示すフローチャートである。

【００６６】データの選別とは、あるカテゴリ識別子に
関連付けられた複数のデータの中から、検索キーとして
用いたときに、高い適合率・再現率の検索結果を返却し
得るデータを、なるべく少数選別することである。

【００６７】まず、検索キーテーブル１６２に定義され
ている様々なメディアで表現されたデータのうちで、特
定のメディアｍ（ｍ＝１，…，Ｍ）で表現されたデータ
を、メディアｍが検索可能な検索エンジンによって管理
されている情報源に格納する（Ｓ１４２）。

【００６８】次に、特定のユーザｕ（ｕ＝１，…，Ｕ）
にとって、特定のカテゴリ識別子ｃ（ｃ＝１，…，Ｃ）
に関連付けられているデータ集合を、Ｘとし、データ集
合Ｘに属している各データを、ｘ_iとする（Ｓ１４
５）。

【００６９】各データｘ_iのそれぞれを検索キーとし
て、上記情報源を検索したときに、上位Ｔ件の検索結果
を、それぞれＹ（ｘ_i）とする（Ｓ１４６）。

【００７０】データ集合Ｘから任意個数Ｋ個のデータｘ
λ₍₁₎，ｘλ₍₂₎，…，ｘλ_(k)（λ（ｊ）は１からＮの
いずれかで、重複しない）を選別し、これらを検索キー
として用いたとき、検索結果の和集合

【００７１】

【数１】

【００７２】を求め（Ｓ１４７）、適合した検索結果で
あるＸと

【００７３】

【数２】

【００７４】との共通集合Ｚを求める（Ｓ１４８）。

【００７５】

【数３】

【００７６】検索結果を評価する指標として、適合率Ｐ
ｒｅｃｉｓｉｏｎと、再現率Ｒｅｃａｌｌと、それらを
重み付き平均したＦ尺度Ｆ＿ｍｅａｓｕｒｅとを次式に
よって求める（Ｓ１４９）。但し、α（０≦α≦１）
は、適合率Ｐｒｅｃｉｓｉｏｎと再現率Ｒｅｃａｌｌと
のどちらを重視するかを表すパラメータであり、システ
ム管理者が予め設定する。また｜Ａ｜は、集合Ａの要素
数を表す。

【００７７】

【数４】

【００７８】したがって、「高い適合率・再現率を示す
検索結果を返却し得るデータを検索キーとして、なるべ
く少数選別する」ために、Ｆ尺度Ｆ＿ｍｅａｓｕｒｅを
最大化し、選別個数Ｋを最小化するデータの組み合わせ
ｘλ₍₁₎，ｘλ₍₂₎，…，ｘλ _(k)をＮ個のデータから求
める（Ｓ１５０）。

【００７９】これは、組み合わせ最適化問題に帰着し、
計算の複雑さの意味で、本質的に困難な問題に属する。
そこで、厳密な最適解ではなく、精度の高い近似解を、
短時間で求めるアルゴリズムとして、遺伝的アルゴリズ
ム、タブー探索、焼きなまし法等を適用することができ
る。Ｆ尺度Ｆ＿ｍｅａｓｕｒｅを最大化し、選別個数Ｑ
を最小化するための評価関数Ｆｉｔｎｅｓｓとして、た
とえば、次式等が考えられる。ただし、β（０≦β≦
１）は、Ｆ尺度Ｆ＿ｍｅａｓｕｒｅの最大化と選別個数
Ｑの最小化のどちらを重視するかを表すパラメータであ
り、システム管理者が予め設定する。Ｆｉｔｎｅｓｓ
が。予め設定した値以上になったときに、得られたデー
タの組み合わせｘλ₍₁₎，ｘλ₍₂₎，…，ｘλ_(k)を、選
別されたデータとする。

【００８０】Ｆｉｔｎｅｓｓ＝β×Ｆ＿ｍｅａｓｕｒｅ
＋（１−β）／Ｋ上記処理を、カテゴリ識別子数Ｃ回だけ繰り返し（Ｓ１
５１、Ｓ１４４）、ユーザ数Ｕ回だけ繰り返し（Ｓ１５
２、Ｓ１４３）、そしてメディア種別数Ｍ回だけ繰り返
す（Ｓ１５３、Ｓ１４１）。

【００８１】図９は、上記実施例における検索フェーズ
（Ｓ４０）を具体的に示すフローチャートである。

【００８２】検索フェーズ（Ｓ４０）では、まず、ユー
ザインタフェース部１１０は、アプリケーションプログ
ラム２００を介して入力されたユーザ名２１０と、検索
キーと、検索条件とによって構成されているユーザ問い
合わせ２２０を受理する（Ｓ４１）。構文解析部１２０
は、ユーザ問い合わせ２２０を解析し、検索キー解釈部
１３１は、既存の類似検索技術またはパターン認識技術
を用いて、ユーザ問い合わせ２２０に含まれている検索
キーが属するカテゴリのカテゴリ識別子を、カテゴリテ
ーブル１６１から特定する（Ｓ４２）。

【００８３】そして、メディア変換データ検索部１３２
は、入力されたユーザ名２１０を参照し、ステップＳ４
２で特定されたカテゴリ識別子に対応付けられている異
種メディアで表現されたデータ（検索キーグループ）
を、検索キーテーブル１６２と、対応関係テーブル１６
３と、シソーラステーブル１６４とから検索する（Ｓ４
３）。

【００８４】その後、情報源所在探索部１４１は、メデ
ィア変換データ検索部１３２が検索した検索キーグルー
プを用いて、検索可能な情報源所在と接続情報とを、情
報源テーブル１８２から検索し（Ｓ４４）、この情報源
を管理している検索エンジンを、検索エンジンテーブル
１８１と検索エンジン−情報源テーブル１８３とから検
索する（Ｓ４５）。

【００８５】利用情報検索部１４２は、入力されたユー
ザ名２１０を参照し、この参照されたユーザが各情報源
を検索するときに必要となる項目を、利用情報テーブル
１８４から検索する（Ｓ４６）。情報源問い合わせ生成
部１４３は、ステップＳ４５で検索された検索エンジン
の接続手段に対して、ステップＳ４３で検索された様々
なメディアで表現されたデータ（検索キーグループ）
と、ステップＳ４４で検索された情報源所在と、接続情
報と、ステップＳ４６で検索された項目とを用いて、情
報源問い合わせ３２０を生成する（Ｓ４７）。

【００８６】そして、検索結果処理部１４４は、情報源
アクセス部１５０を介して、情報源検索結果３３０を取
得し、構文解析部１２０で解析された検索条件に基づい
て、情報源検索結果３３０を処理し（Ｓ４８）、ユーザ
インタフェース部１１０を介して、検索結果２３０を出
力する（Ｓ４９）。

【００８７】次に、上記実施例における処理手順につい
て具体的に説明する。

【００８８】図１０は、上記実施例において、メディア
変換データ準備フェーズで用いる複合メディアで表現さ
れたデータ（ＨＴＭＬ文書）の表示と、ＨＴＭＬ記述と
の例を示す図である。

【００８９】図１０（１）は、メデイア変換データ準備
フェーズで用いる複合メディアで表現されたデータ（Ｈ
ＴＭＬ文書）を、ＷＥＢブラウザで表示した例を示す図
であり、図１０（２）は、図１０（１）に示す情報を表
示するＨＴＭＬ文書記述例を示す図である。各ＨＴＭＬ
ページの文書構造は、同一であるとする。

【００９０】図１１は、検索対象となるＨＴＭＬ文書
を、ＷＥＢブラウザで表示した例を示す図である。

【００９１】全文検索エンジン“ＴｅｘｔＳｅａｒｃ
ｈ”によって、キーワードで検索が可能な情報源であ
る。この情報源を検索するためのＵＲＬは、“http://w
ww.hoge.net/textsearch.cgi”である。

【００９２】図１２は、上記実施例における静止画ファ
イル群の例を示す図である。

【００９３】上記静止画ファイル群を格納しているデー
タベース名は、ｉｎｓｅｃｔ＿ｉｍａｇｅであり、接続
するためのユーザ名は、ａｄｍｉｎであり、パスワード
は、ｇｅｈｏｇｅｈｏである。

【００９４】上記の通り、図１１に示す情報源と、図１
２に示す情報源とは、ネットワーク上での位置が異な
り、検索可能な検索キーのメデイア種別が異なってい
る。

【００９５】次に、上記具体例について、図５に示す各
フェーズ（Ｓ１０、Ｓ２０、Ｓ３０、Ｓ４０）の動作を
説明する。

【００９６】まず、ユーザデータ準備フェーズ（Ｓ１
０）について説明する。

【００９７】図１３は、ユーザ識別子とユーザ名との関
係を示すユーザテーブル１７１の内容を示す図である。

【００９８】つまり、図１３に示すように、検索を実行
する仮想的な利用者を示すものとして、ユーザ識別子と
ユーザ名とを、ユーザテーブル１７１に設定する（Ｓ１
１）。たとえば、ユーザ名として、検索の観点を示す
「雌雄同一視・色重視」と、「雌雄区別・形重視」とを
設定する。

【００９９】次に、情報源メタデータ準備フェーズ（Ｓ
２０）について説明する。

【０１００】図１７は、検索エンジン識別子と検索エン
ジン名とライブラリ名との関係を示す検索エンジンテー
ブル１８１の内容を示す図である。

【０１０１】各検索エンジン３００にアクセスする手段
に関する情報として、図１７に示すように、検索エンジ
ン識別子と検索エンジン名と接続手段のライブラリ名と
を、検索エンジンテーブル１８１に設定する（Ｓ２
１）。

【０１０２】図１８は、情報源識別子と情報源名と接続
情報との関係を示す情報源テーブル１８２の内容を示す
図である。

【０１０３】各情報源３１０の所在情報とアクセス情報
として、図１８に示すように、情報源識別子と情報源名
と接続情報とを、情報源テーブル１８２に設定する（Ｓ
２２）。接続情報は、情報源の種別によって項目の種類
や数が異なるので、ＸＭＬ文書形式とする。

【０１０４】図１９は、検索エンジン識別子と情報源識
別子との関係を示す検索エンジン−情報テーブル１８３
の内容を示す図である。

【０１０５】検索エンジン３００による情報源３１０の
管理関係として、図１９に示すように、検索エンジン識
別子と情報源識別子とを、検索エンジン−情報源テーブ
ル１８３に設定する（Ｓ２３）。

【０１０６】図２０は、ユーザ識別子と情報源識別子と
利用情報との関係を示す利用情報テーブル１８４の内容
を示す図である。

【０１０７】図２０に示すように、ユーザの観点を反映
して、各情報源３１０を検索するときに必要となる利用
情報（類似検索の場合は、重み等の情報）を、利用情報
テーブル１８４に設定する（Ｓ２４）。利用情報は、情
報源の種別によって、項目の種類や数が異なるので、Ｘ
ＭＬ文書形式とする。

【０１０８】ユーザ「雌雌同一視・色重視」と「雌雄区
別・形重視」にとっての情報源ｉｎｓｅｃｔ＿ｉｍａｇ
ｅの利用情報を、それぞれ図２０（１）、（２）に示
す。

【０１０９】次に、メディア変換データ準備フェーズ
（Ｓ３０）を実行する。

【０１１０】図１４は、カテゴリ識別子とカテゴリ識別
語との関係を示すカテゴリテーブル１６１の内容を示す
図である。

【０１１１】同一のカテゴリを表すデータを関連付ける
ための情報として、図１４に示すように、カテゴリ識別
子とカテゴリ識別語とを、カテゴリテーブル１６１に設
定する（Ｓ３１）。たとえば、図１０に示すＨＴＭＬ文
書である場合、Ｈ１タグとＨ２タグとによって囲まれた
部分を、カテゴリ識別語として設定する。

【０１１２】図１５は、データ識別子と検索キー情報と
の関係を示す検索キーテーブル１６２の内容を示す図で
ある。

【０１１３】様々なメディアで表現されたデータとし
て、図１５に示すようにデータ識別子とデータの所在
（ＵＲＬ）やメデイア種別を含む検索キー情報を、検索
キーテーブル１６２に設定する（Ｓ３２）。

【０１１４】たとえば、図１０で示したＨＴＭＬ文書の
場合、ｉｍｇタグで囲まれた画像とＰタグで囲まれた文
章の検索キー情報とを、ＸＭＬ文書形式によって設定す
る。なお、検索対象となる文書を管理している検索エン
ジンが、図１１に示すように、キーワードを受け付け可
能な全文検索エンジンであるので、Ｐタグで囲まれた文
書から、形態素解析によってキーワードを抽出し、設定
している。

【０１１５】また、ユーザ問い合わせ２２０で入力され
た検索キーが属するカテゴリのカテゴリ識別子を特定す
るために、既存のパターン認識技術や類似検索技術を利
用し、様々なメデイアで表現された実データが管理され
ている。

【０１１６】図１６は、ユーザ識別子とカテゴリ識別子
とデータ識別子とメディア間類似度との関係を示す対応
関係テーブル１６３の内容を示す図である。

【０１１７】図１６に示すように、ユーザの観点を反映
したカテゴリ識別子と、データ識別子との関連付けを、
対応関係テーブル１６３に設定する（Ｓ３３）。たとえ
ば、図１０に示すＨＴＭＬ文書である場合、図１６
（１）に示す関連付けができる。さらに、カテゴリ識別
子とデータ識別子との関連付けの強さを、メディア間類
似度という属性として［０，１］の連続値で表現するこ
とができる。

【０１１８】ユーザ「雌雄同一視・色重視」と「雌雄区
別・形重視」とに対して、カテゴリ識別語と検索キー情
報との対応関係のイメージ図を、それぞれ、図１６
（２）、図１６（３）に示す。なお、上記実施例では、
カテゴリ識別子間の上位・下位・同義関係をシソーラス
テーブル１６４に設定する（Ｓ３４）処理を行わない。

【０１１９】上記のように、ユーザの観点を反映した多
対多の関連付けが可能である。また、複合メディアで表
現されたデータに関して、各データ間の対応関係が、明
確に文書構造として示されていれば、それを用いて、自
動的にメディア変換データ準備フェーズを行うことも可
能である。

【０１２０】図２８は、上記実施例において、カテゴリ
識別語「蝶」に関連付けられているデータ集合を用い
て、データの選別（図２７）を行ったときにおけるイメ
ージを示す図である。

【０１２１】図２８（１）は、カテゴリ識別語「蝶」に
関連付けられているデータの全てを選択した場合を示す
図である。図２８（２）は、データ選別を最適に行った
場合を示す図である。但し、Ｆ尺度Ｆ＿ｍｅａｓｕｒｅ
と評価関数Ｆｉｔｎｅｓｓとの算出に関わるパラメータ
αとβとは、ともに０．５とした。

【０１２２】次に、検索フェーズ（Ｓ４０）について説
明する。

【０１２３】検索フェーズの処理手順として、ユーザ
「雌雄同一視・色重視」から、以下の、検索キーと返却
上限数とによって構成される簡易な構文のユーザ問い合
わせ２２０が発行された場合を例に説明する。

【０１２４】図２１は、上記実施例の説明において使用
する検索キーを示す図である。

【０１２５】検索キー：図２１で示される静止画返却上限数：情報源毎に上位５件。

【０１２６】まず、ユーザインタフェース部１１０は、
アプリケーションプログラム２００を介して入力される
ユーザ名「雌雄同一視・色重視」と、上記ユーザ問い合
わせ２２０とを受理する（Ｓ４１）。

【０１２７】次に、構文解析部１２０は、上記ユーザ問
い合わせ２２０を解析し、検索キー解釈部１３１は、既
存の類似検索技術によって図２１に示す検索キーに対し
て、類似した静止面上位Ｎ件のデータ識別子（図１６に
示すデータ識別子Ｋ０００４，Ｋ０００…）を返却す
る。上記Ｎ件のデータ識別子とユーザ名「雌雄同一視・
色重視」を示すユーザ識別子Ｕ０００１とによって、図
１６に示す対応関係テーブルを参照し、カテゴリ識別子
を検索する。

【０１２８】このときに、メディア間類似度と上記Ｎ件
の静止画の類似度（上位ほど大きい値）とを乗じた値を
用いて、各カテゴリ識別子を降順に整列して返却する。
ここでは、検索キーが属するカテゴリとして、上記値が
最大値を示したカテゴリ識別子Ｃ０００１を特定したも
のとする（Ｓ４２）なお、このステップは、ユーザが候
補となるカテゴリ識別子群から選択するようにしてもよ
い。

【０１２９】次に、メデイア変換データ検索部１３２で
は、ユーザ識別子Ｕ０００１を参照し、上記カテゴリ識
別子Ｃ０００１に対応付けられている異種メディアで表
現されたデータの検索キー情報を、図１５に示す検索キ
ーテーブル１６２、図１６に示す対応関係テーブル１６
３から検索すると、以下の４つの検索キー情報が得られ
る（Ｓ４３）。

【０１３０】・データ識別子Ｋ０００１に対する検索キ
ー情報（オスのカブトムシに関する文章から抽出された
キーワード群）・データ識別子Ｋ０００２に対する検索キー情報（オス
のカブトムシの静止画像）・データ識別子Ｋ０００３に対する検索キー情報（メス
のカブトムシに関する文章から抽出されたキーワード
群）・データ識別子Ｋ０００４に対する検索キー情報（メス
のカブトムシの静止画像）なお、上記実施例では、シソーラステーブル１６４を用
いて、カテゴリ識別子間の上位・下位・同義関係に基づ
いて検索キー情報を検索することは行わない。

【０１３１】次に、情報源所在探索部１４１は、上記検
索キー情報を用いて検索可能な情報源と、その接続情報
とを検索する（Ｓ４４）。図１５に示した検索キー情報
のＸＭＬ文書形式である場合、まず、Ｋｅｙタグの子要
素が、ＫｅｙｗｏｒｄタグまたはＦｉｌｅタグであれ
ば、さらに、その子要素のＴｙｐｅタグの値を既存のＸ
ＭＬパーザによって確認する。

【０１３２】そして、図１８に示す情報源テーブル１８
２の接続情報のＸＭＬ文書形式である場合、Ａｃｃｅｐ
ｔａｂｌｅ＿Ｋｅｙタグの値と照合することによって、
検索可能な情報源を特定する。

【０１３３】上記４つの検索キー情報は、それぞれ、以
下の２つの情報源に対して入力可能である。

【０１３４】・情報源識別子Ｉ０００１データ識別子Ｋ０００１、Ｋ０００３に対する検索キー
情報（キーワード群）によって検索可能。

【０１３５】・情報源識別子Ｉ０００２データ識別子Ｋ０００２、Ｋ０００４に対する検索キー
情報（静止画像）によって検索可能。

【０１３６】それぞれの情報源の情報源識別子と接続情
報とを、図１８に示す情報源テーブル１８２から検索す
る。

【０１３７】次に、上記情報源を管理している検索エン
ジン識別子とライブラリ名（接続手段）とを、図１７に
示す検索エンジンテーブル１８１と図１９に示す検索エ
ンジン−情報源テーブル１８３とから検索する（Ｓ４
５）。

【０１３８】上記検索によって、以下の２つの検索エン
ジンが得られたとする。・検索エンジン識別子Ｅ００１、ライブラリ名Ｔｅｘｔ
Ｓｅａｒｃｈ．ｄｌｌ情報源識別子Ｉ０００１を管理。・検索エンジン識別子Ｅ００２、ライブラリ名Ｉｍａｇ
ｅＳｅａｒｃｈ．ｄｌｌ情報源識別子Ｉ０００２を管
理。

【０１３９】利用情報検索部１４２は、ユーザ識別子Ｕ
０００１を参照し、該ユーザが各情報源を検索するとき
に必要となる利用情報を、図２０に示す利用情報テーブ
ル１８４から検索する（Ｓ４６）。

【０１４０】この検索によって、以下の２つの利用情報
が得られたとする。・ユーザ識別子Ｕ０００１、情報源Ｉ０００１に対する
利用情報・ユーザ識別子Ｕ０００１、情報源Ｉ０００２に対する
利用情報。

【０１４１】情報源問い合わせ生成部１４３は、上記接
続手段（ライブラリ名）に対して、上記検索キー情報と
上記接続情報と上記利用情報とを用いて、情報源問い合
わせ３２０を生成する（Ｓ４７）。

【０１４２】この生成では、以下の２つの情報源問い合
わせ３２０が得られたとする。

【０１４３】・情報源名：昆虫百科ホームページに対す
る情報源問い合わせライブラリ名：ＴｅｘｔＳｅａｒｃｈ．ｄｌｌ検索キー情報：データ識別子Ｋ０００１，Ｋ０００３に
対する検索キー情報（キーワード群）接続情報：情報源識別子Ｉ０００１に対する接続情
報利用情報：ユーザ識別子Ｕ０００１、情報源Ｉ００
０１に対する利用情報・情報源名：ｉｎｓｅｃｔ＿ｉｍａｇｅに対する情報源
問い合わせライブラリ名：ＩｍａｇｅＳｅａｒｃｈ．ｄｌｌ検索キー情報：データ識別子Ｋ０００２、Ｋ０００４に
対する検索キー情報（静止画像）接続情報：情報源識別子Ｉ０００２に対する接続情
報利用情報：ユーザ識別子Ｕ０００１、情報源Ｉ００
０２に対する利用情報。

【０１４４】検索結果処理部１４４は、情報源アクセス
部１５０を介して、情報源検索結果３３０を取得し、構
文解析部１２０で解析された検索条件である「各情報源
毎に上位５件」に基づいて、情報源結果３３０を処理す
る（Ｓ４８）。

【０１４５】最後に、ユーザインタフェース部１１０を
介して、検索結果２３０を出力する（Ｓ４９）。

【０１４６】図２２は、アプリケーションプログラム２
００による検索結果の表示例を示す図であり、プロトタ
イプシステムを用いた検索例を示す図である。

【０１４７】次に、検索フェーズの処理手順の説明とし
て、ユーザ「雌雄区別・形重視」から、以下の検索キー
と、ＡＮＤ／ＯＲ条件と、返却上限数とによって構成さ
れる簡易な構文のユーザ問い合わせ２２０が発行された
場合を例にとって説明する。

【０１４８】図２３は、上記実施例における検索キーを
示す図である。

【０１４９】検索キー１：キーワード「ツノ」検索キー２：図２３で示される静止画ＡＮＤ／ＯＲ条件：（検索キー１）ＡＮＤ（検索キー
２）返却上限数：情報源毎に上位５件。

【０１５０】まず、ユーザインタフェース部１１０は、
アプリケーションプログラム２００を介して入力される
ユーザ名「雌雄区別・形重視」と、上記ユーザ問い合わ
せ２２０とを受理する（Ｓ４１）。

【０１５１】次に、構文解析部１２０は、上記ユーザ問
い合わせ２２０を解析し、検索キー解釈部１３１は、既
存の全文検索技術・類似検索技術によって、検索キー１
に対して、類似した文章上位Ｍ件のデータ識別子（Ｋ０
００４，Ｋ０００…）と、図２３に示す検索キー２に対
して、類似した静止面上位Ｎ件のデータ識別子（Ｋ００
０４，Ｋ０００…）とを返却する。

【０１５２】上記Ｍ件とＮ件とのデータ識別子のＡＮＤ
をとり、ユーザ名「雌雄区別・形重視」を示すユーザ識
別子Ｕ０００２によって、図１６に示す対応関係テーブ
ルを参照し、カテゴリ識別子を検索する。

【０１５３】このときに、メディア間類似度と上記Ｍ件
の文章とＮ件の静止画の類似度（上位ほど大きい値）と
を乗じた値を用いて、各カテゴリ識別子を降順に整列
し、返却する。

【０１５４】上記のように、異メディアに跨った複数の
検索キーをＡＮＤ条件で指定できるので、候補となるカ
テゴリ識別子数の発散抑止に有効である。また、異メデ
ィアに跨った複数の検索キーをＯＲ条件で指定できるの
で、より多くの結果を一度に得たい場合に有効である。
カテゴリ識別子特定後の処理は、上記検索フェーズの処
理手順と同じである。

【０１５５】上記実施例によれば、同一のカテゴリに属
する異種メデイアで表現されているデータを、同一の識
別子を介して関連付けることによって、問い合わせに含
まれている検索キーのメデイアを変換し、任意のメディ
アを用いた問い合わせによる分散マルチメディア情報を
検索することができる。

【０１５６】また、同一のカテゴリを表すための識別子
と、様々なメディアで表現されたデータと、上記識別子
と上記データとの対応関係とを、個々の検索エンジンで
利用されている特徴量に依存せず、統一的な構造で記憶
管理しているので、検索キーとして用いるデータの追加
・削除が容易である。

【０１５７】さらに、同一のカテゴリに属するが、特徴
量が大きく異なり、特徴量ベクトル空間上で近接してい
ないデータであっても、上記統一的な構造で記憶管理
し、入力された間い合せに含まれる検索キーが属するカ
テゴリの識別子を特定するステップと、特定された識別
子に対応付けられている様々なメディアで表現されたデ
ータを検索するステップとを分けることによって、様々
なマルチメディア情報に対応できるメディアの変換が可
能となる。

【０１５８】そして、検索を実行するユーザに関する情
報を記憶管理することによって、識別子と、様々なメデ
イアで表現されたデータとの多対多の対応関係に、ユー
ザの観点を反映したメディアの変換ができる。

【０１５９】また、異メディアに跨った検索キーをＡＮ
Ｄ条件で指定した問い合わせによって、候補となる識別
子数の発散抑止を行い、適合率を重視した検索結果の絞
込みに有効である。

【０１６０】さらに、異メディアに跨った検索キーをＯ
Ｒ条件で指定した問い合わせによって、より多くの検索
結果を一度に得ることができ、再現率を重視した検索が
可能である。

【０１６１】そして、個々の検索エンジンで利用されて
いる特徴量に依存せず、識別子を介して、メデイアの変
換を行うことによって、ネットワーク上に分散している
様々なマルチメディア情報を蓄積管理している情報源
を、一括検索することが可能となる。

【０１６２】ところで、上記実施例を、「異メディア間
の関連付けの機能」と、「問い合せの生成機能」との２
つの機能に分割して考えることができる。

【０１６３】「メディア変換機能」は、任意のメディア
で表現された検索キーを、情報源毎に入力可能なメディ
アで表現された検索キーに、変換する機能である。

【０１６４】また、「問い合せ生成機能」は、メディア
変換された検索キーを使って、ネットワーク上に分散し
ている個々の既存情報源に対応した問い合せ文を、生成
する機能である。

【０１６５】メディア変換されて得られた辞書内のキー
は、重み管理辞書が参照され、特徴量毎の重みが付加さ
れ、個々の情報源にあった問い合せが生成される。さら
に、接続情報管理辞書を参照し、問い合せが各情報源に
送られ、検索が実行される。

【０１６６】まず、辞書方式によるメディア変換機能に
ついて説明する。

【０１６７】異メディアによって表現された関連するデ
ータ群は、仮に、それぞれの特徴量空間上で近接してい
なくてもメディア変換できる方が望ましい。また、様々
な検索エンジンヘの入力を想定し、特徴量ではなくファ
イル等データそのものにメディア変換できる方が望まし
い。

【０１６８】図２４は、辞書方式によるメディア変換を
示す図である。

【０１６９】そこで、対応する異種メディアのデータ
を、同一のカテゴリを示す識別子を媒介として、直接結
びつける辞書を利用したメディア変換方式（辞書方式）
を提案する（図２４）。

【０１７０】このときに、対応する異種メディアのデー
タを「辞書内のキー」と呼び、識別子を「見出し」と呼
ぶ。

【０１７１】一般の辞書でも、見出しに対して説明があ
るように、メディア変換辞書では、複数の辞書内のキー
群によって、見出しが説明される。また、同じデータで
あっても、解釈が異なれば、複数の見出しに対応する。
したがって、見出しと辞書内のキーとは、多対多の関係
になる。

【０１７２】「メディア変換辞書」とは、見出しと辞書
内のキーとの対応関係であり、全てを人手で作成してい
ては、膨大な労力がかかり、現実的ではない。Ｗｅｂぺ
一ジ、電子百科辞典等の複合メディア情報を利用し、メ
ディア変換辞書を自動生成する。

【０１７３】新規メディアの追加に関して、従来は、新
規メディアの特徴量と、各既存メディアの特徴量との間
に、適切なモデルを新たに開発する必要があることに対
して、辞書方式では、統一的な構造で管理できるので、
新規メディアによって表現された辞書内のキーを、見出
しに追加すれば足り、したがって、追加が容易である。

【０１７４】図２５は、上記実施例における検索の流れ
を示す図である。

【０１７５】次に、メディア変換機能と、問い合せ生成
機能とを詳細に説明する。

【０１７６】上記のように、メディア変換辞書は、「見
出し」に対応する辞書内のキーが、複数結びつく構造で
ある。

【０１７７】メディア変換は、ユーザ問い合せ解釈機能見出しを引く機能辞書内のキーを引く機能の３段階の機能によって構成されている。以下、これら
の機能について説明する。

【０１７８】ユーザ問い合せ解釈機能ユーザが入力する検索キーが、辞書内のキーとして存在
していれば、そのキーから、見出しを直接引くことがで
きるが、現実には、辞書内のキーとして、全ての情報を
管理することはできない。そこで、ユーザの入力した検
索キーから、同一メディア内の類似検索技術等を用い
て、辞書内のキーを決定する。この機能を、ユーザ間い
合わせ解釈機能と呼ぶ。

【０１７９】見出しを引く機能ユーザ問い合せ解釈機能によって特定された辞書内のキ
ーから、見出しを引く機能である。ここで、検索キーが
持つ意味が見出しとして特定されたと言える。

【０１８０】辞書内のキーを引く機能特定された見出しから、その見出しに結びつく任意のメ
ディアの辞書内のキーを検索する機能である。これによ
って、検索キーが異なったメディアに変換されたと言え
る。

【０１８１】次に、問い合せ生成機能について説明す
る。

【０１８２】メディア変換された検索キーを受け取り、
ネットワーク上に分散している個々の既存情報源に対応
した問い合せ文を生成する。

【０１８３】ただし、類似検索エンジン毎に特徴量や重
み（ある特徴量を重視する度合い）の種類、数が異なる
ことが一般的である。さらに、問い合せ形式もＳＱＬ等
を独自に拡張したもので、類似検索エンジン毎に異な
る。

【０１８４】図２６は、静止画の類似検索エンジンＩｍ
ａｇｅＣｏｍｐａｓｓ［１］と、ＱＢＩＣ［２］の問い
合せ例を示す図である。

【０１８５】ここで、問い合せ生成機能には、以下の機
能要件が求められる。

【０１８６】個々の情報源に対応した適切な問い合
せ生成類似検索では、情報源毎に管理されているデータの特性
が異なるので、どういった特徴量を重視すれば、適切な
検索結果が得られるかが、異なる。したがって、情報源
毎に適切な問い合わせの生成が望まれる。

【０１８７】情報源追加への柔軟な対応情報源毎に物理的・論理的所在や、接続のための情報
（ユーザ名やパスワード等）が異なる。また、類似検索
エンジン毎に、問い合せの形式も異なる。検索対象とし
て情報源が追加されると、これらの異種性を解消し、柔
軟に対応できることが望まれる。

【０１８８】提案システムでは、上記機能要件を満た
すために、重み管理辞書で情報源・ユーザ等の単位毎
に、重みを設定・管理できる。

【０１８９】また、上記機能要件を満たすために、情
報源毎の所在や、接続のための情報を、接続情報管理辞
書で管理できる。

【０１９０】メディア変換されて得られた辞書内のキー
は、重み管理辞書が参照され、特徴量毎の重みが付加さ
れ、個々の情報源にあった問い合せが生成される。さら
に、接続情報管理辞書を参照し、問い合せが各情報源に
送られ、検索が実行される。

【０１９１】上記実施例によるプロトタイプシステム
は、ユーザが入力する静止画またはキーワードから、辞
書に基づくメディア変換を行い、同じ意味を表す静止画
またはテキストの情報の一括検索が可能である。静止画
の情報源は、画像類似検索エンジンＩｍａｇｅＣｏｍｐ
ａｓｓ［１］によって管理され、テキストの情報源は、
全文検索エンジンｎａｍａｚｕによって管理されてい
る。これらの類似検索エンジンは、ユーザ問い合せ解釈
にも用いられる（検索キーからの辞書内のキー特定）。
また、キーワードでのみ検索可能なＷｅｂぺ一ジを検索
対象の情報源として加えた。

【０１９２】利用者が情報源の中から、ある昆虫の静止
画で検索したいとする。この場合、図２２に示すよう
に、静止画を検索キーとしてアプリケーションに入力す
ると、メディア変換機能によって、辞書内のキーが引か
れる。この辞書内のキーによって、類似検索を行い、検
索結果が得られる。

【０１９３】このように、上記実施例によれば、ユーザ
が入力した画像キーから、静止画とテキスト情報との一
括検索が可能である。同様に、テキスト情報も検索キー
とすることができる。入力した検索キーは、カブトムシ
のメスの静止画である。ＩｍａｇｅＣｏｍｐａｓｓの検
索結果は、メスのカブトムシと特徴が類似したゲンゴロ
ウ等が検索されたが、メディア変換辞書を介することに
よって、オスのカブトムシの静止画も検索された。

【０１９４】また、従来、キーワードでのみ検索可能で
あった情報源も、メディア変換機能によって、静止画の
検索キーで一括検索できる。

【０１９５】ところで、上記実施例をプログラムの発明
として把握することができる．つまり、上記実施例は、
任意のメディアで表現された検索キーを、情報源毎に入
力可能なメディアで表現された検索キーに変換するメデ
ィア変換手順と、上記メディア変換された検索キーを使
って、ネットワーク上に分散している個々の既存情報源
に対応した問い合せ文を生成する問い合せ生成手順とを
コンピュータに実行させるプログラムの例である。

【０１９６】また、上記実施例は、入力されたユーザ名
と、検索キーと、検索条件とによって構成されているユ
ーザ問い合わせを受理し、この受理したユーザ問い合わ
せを解析し、上記ユーザ問い合わせに含まれている検索
キーが属するカテゴリのカテゴリ識別子を、カテゴリテ
ーブルから特定するカテゴリ識別子特定手順と、入力さ
れたユーザ名を参照し、上記特定されたカテゴリ識別子
に対応付けられている異種メディアで表現されたデータ
である検索キーグループを、検索キーテーブルと、対応
関係テーブルと、シソーラステーブルとから検索する検
索キーグループ検索手順と、メディア変換データ検索部
が検索した検索キーグループを用いて、検索可能な情報
源所在と接続情報とを、情報源テーブルから検索し、こ
の情報源を管理している検索エンジンを、検索エンジン
テーブルと検索エンジン−情報源テーブルとから検索す
る検索エンジン検索手順と、上記入力されたユーザ名を
参照し、この参照されたユーザが各情報源を検索すると
きに必要となる項目を、利用情報テーブルから検索し、
上記検索された検索エンジンによって、上記検索された
様々なメディアで表現されたデータである検索キーグル
ープと、上記検索された情報源所在と、接続情報と、上
記検索された項目とを用いて、情報源問い合わせを生成
する情報源問い合わせ生成手順と、情報源アクセス部を
介して、情報源検索結果を取得し、構文解析部で解析さ
れた検索条件に基づいて、情報源検索結果を処理し、ユ
ーザインタフェース部を介して、検索結果を出力する検
索結果出力手順とをコンピュータに実行させるプログラ
ムの例である。

【０１９７】さらに、上記実施例は、検索を実行するユ
ーザに関する情報を記憶するユーザデータ記憶手順と、
同一のカテゴリに属する様々なメディアによって表現さ
れているデータを、識別子によって対応付けられている
メディア変換に関する情報を記憶するメディア変換デー
タ記憶手順と、上記ユーザに関する情報と上記メディア
変換に関する情報とに基づいて、入力された問い合わせ
に含まれる検索キーをメディア変換するメディア変換手
順と、ネットワーク上に存在する複数の情報源を検索す
るときに必要な項目を定義するメタ情報を記憶する情報
源メタデータ記憶手順と、上記ユーザに関する情報と上
記メタ情報とに基づいて、上記メディア変換された検索
キーを用いて、上記複数の情報源を一括して検索する一
括検索手順とをコンピュータに実行させるプログラムの
例である。

【０１９８】また、上記実施例は、上記各プログラムを
記録したコンピュータ読み取り可能な記録媒体の例であ
り、この場合、上記記録媒体として、ＦＤ、ＣＤ、ＤＶ
Ｄ、ＨＤ、半導体メモリ等が考えられる。

【０１９９】

【発明の効果】本発明によれば、画像・映像等の非テキ
スト情報をも検索キーとするマルチメディア・データベ
ースシステムにおいて、検索キーと検索対象のコンテン
ツとが異なる形式（たとえば、テキストと画像）である
場合でも、ユーザが所望するコンテンツを検索すること
ができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例である分散マルチメディア情
報の検索装置１００の構成を示すブロック図である。

【図２】上記実施例において、メディア変換データ記憶
部１６０が保有するテーブルの詳細を示す図である。

【図３】上記実施例において、ユーザデータ記憶部１７
０が保有するテーブルの詳細を示す図である。

【図４】上記実施例において、情報源メタデータ記憶部
１８０が保有するテーブルの詳細を示す図である。

【図５】上記実施例において、分散マルチメディア情報
の検索における全体の概略動作を示すフローチャートで
ある。

【図６】上記実施例におけるユーザデータ準備フェーズ
（Ｓ１０）を具体的に示すフローチャートである。

【図７】上記実施例における情報源メタデータ準備フェ
ーズ（Ｓ２０）を具体的に示すフローチャートである。

【図８】上記実施例におけるメディア変換データ準備フ
ェーズ（Ｓ３０）を具体的に示すフローチャートであ
る。

【図９】上記実施例における検索フェーズ（Ｓ４０）を
具体的に示すフローチャートである。

【図１０】上記実施例において、メディア変換データ準
備フェーズで用いる複合メディアで表現されたデータ
（ＨＴＭＬ文書）の表示と、ＨＴＭＬ記述との例を示す
図である。

【図１１】検索対象となるＨＴＭＬ文書を、ＷＥＢブラ
ウザで表示した例の図である。

【図１２】上記実施例における静止画ファイル群の例を
示す図である。

【図１３】ユーザ識別子とユーザ名との関係を示すユー
ザテーブル１７１の内容を示す図である。

【図１４】カテゴリ識別子とカテゴリ識別語との関係を
示すカテゴリテーブル１６１の内容を示す図である。

【図１５】データ識別子と検索キー情報との関係を示す
検索キーテーブル１６２の内容を示す図である。

【図１６】ユーザ識別子とカテゴリ識別子とデータ識別
子とメディア間類似度との関係を示す対応関係テーブル
１６３の内容を示す図である。

【図１７】検索エンジン識別子と検索エンジン名とライ
ブラリ名との関係を示す検索エンジンテーブル１８１の
内容を示す図である。

【図１８】情報源識別子と情報源名と接続情報との関係
を示す情報源テーブル１８２の内容を示す図である。

【図１９】検索エンジン識別子と情報源識別子との関係
を示す検索エンジン−情報テーブル１８３の内容を示す
図である。

【図２０】ユーザ識別子と情報源識別子と利用情報との
関係を示す利用情報テーブル１８４の内容を示す図であ
る。

【図２１】上記実施例の説明において使用する検索キー
を示す図である。

【図２２】アプリケーションプログラム２００による検
索結果の表示例を示す図であり、プロトタイプシステム
を用いた検索例を示す図である。

【図２３】上記実施例における検索キーを示す図であ
る。

【図２４】辞書方式によるメディア変換を示す図であ
る。

【図２５】上記実施例における検索の流れを示す図であ
る。

【図２６】静止画の類似検索エンジンＩｍａｇｅＣｏｍ
ｐａｓｓ［１］と、ＱＢＩＣ［２］の問い合せ例を示す
図である。

【図２７】上記実施例におけるデータの選別（Ｓ３５）
を具体的に示すフローチャートである。

【図２８】上記実施例において、カテゴリ識別語「蝶」
に関連付けられているデータ集合を用いて、データの選
別（図２７）を行ったときにおけるイメージを示す図で
ある。

【符号の説明】

１００…分散マルチメディア情報検索装置、１１０…ユーザインタフェース部、１２０…構文解析部、１３０…メディア変換部、１３１…検索キー解釈部、１３２…メディア変換データ検索部、１４０…一括検索処理部、１４１…情報源所在探索部、１４２…利用情報検索部、１４３…情報源問い合わせ生成部、１４４…検索結果処理部、１５０…情報源アクセス部、１６０…メディア変換データ記憶部、１６１…カテゴリテーブル、１６２…検索キーテーブル、１６３…対応関係テーブル、１６４…シソーラステーブル、１６５…メディア変換データ管理部、１７０…ユーザデータ記憶部、１７１…ユーザデータテーブル、１７５…ユーザデータ管理部、１８０…情報源メタデータ記憶部、１８１…検索エンジンテーブル、１８２…情報源テーブル、１８３…検索エンジン−情報テーブル、１８４…利用情報テーブル、１８５…情報源メタデータ管理部、２００…アプリケーションプログラム、２１０…ユーザ名、２２０…ユーザ問い合わせ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者飯塚裕一東京都千代田区大手町二丁目３番１号日本電信電話株式会社内 (72)発明者小西一也東京都千代田区大手町二丁目３番１号日本電信電話株式会社内Ｆターム(参考） 5B075 KK02 ND16 NK02 NK46 PP23 PR06 QM08

Claims

【特許請求の範囲】

【請求項１】任意のメディアで表現されている検索キ
ーを、情報源毎に入力可能なメディアで表現されている
検索キーに変換するメディア変換手段と；上記メディア
変換された検索キーを使って、ネットワーク上に分散し
ている個々の既存情報源に対応した問い合せ文を生成す
る問い合せ生成手段と；を有することを特徴とする分散
マルチメディア情報の検索装置。
【請求項２】請求項１において、上記メディア変換手段は、ユーザ問い合わせ解釈手段
と、見出しを引く手段と、辞書内のキーを引く手段とに
よって構成されていることを特徴とする分散マルチメデ
ィア情報の検索装置。
【請求項３】請求項２において、上記ユーザ問い合わせ解釈手段は、ユーザの入力した検
索キーから、同一メディア内の類似検索技術等を用い
て、辞書内のキーを決定する手段であり、上記見出しを引く手段は、上記ユーザ問い合せ解釈手段
によって特定された辞書内のキーから、見出しを引き、
上記検索キーが持つ意味を見出しとして特定する手段で
あり、上記辞書内のキーを引く手段は、上記特定された見出し
から、その見出しに結びつく任意のメディアに設けられ
ている辞書内のキーを検索し、上記検索キーを、互いに
異なるメディアに変換する手段であることを特徴とする
分散マルチメディア情報の検索装置。
【請求項４】請求項１において、上記問い合せ生成手段は、情報源単位またはユーザ単位
毎に、重みを設定、管理する重み管理辞書を使用して問
合せを生成する手段であり、また、情報源毎の所在または接続のための情報を管理す
る接続情報管理辞書を使用して問合せを生成する手段で
あることを特徴とする分散マルチメディア情報の検索装
置。
【請求項５】入力されたユーザ名と、検索キーと、検
索条件とによって構成されているユーザ問い合わせを受
理し、この受理したユーザ問い合わせを解析し、上記ユ
ーザ問い合わせに含まれている検索キーが属するカテゴ
リのカテゴリ識別子を、カテゴリテーブルから特定する
カテゴリ識別子特定手段と；入力されたユーザ名を参照
し、上記特定されたカテゴリ識別子に対応付けられてい
る異種メディアで表現されたデータである検索キーグル
ープを、検索キーテーブルと、対応関係テーブルと、シ
ソーラステーブルとから検索する検索キーグループ検索
手段と；、メディア変換データ検索部が検索した検索キ
ーグループを用いて、検索可能な情報源所在と接続情報
とを、情報源テーブルから検索し、この情報源を管理し
ている検索エンジンを、検索エンジンテーブルと検索エ
ンジン−情報源テーブルとから検索する検索エンジン検
索手段と；上記入力されたユーザ名を参照し、この参照
されたユーザが各情報源を検索するときに必要となる項
目を、利用情報テーブルから検索し、上記検索された検
索エンジンの接続手段に対して、上記検索された様々な
メディアで表現されたデータである検索キーグループ
と、上記検索された情報源所在と、接続情報と、上記検
索された項目とを用いて、情報源問い合わせを生成する
情報源問い合わせ生成手段と；情報源アクセス部を介し
て、情報源検索結果を取得し、構文解析部で解析された
検索条件に基づいて、情報源検索結果を処理し、ユーザ
インタフェース部を介して、検索結果を出力する検索結
果出力手段と；を有することを特徴とする分散マルチメ
ディア情報の検索装置。
【請求項６】請求項５において、検索を実行するユーザに関する情報を、ユーザデータテ
ーブルに定義するユーザデータ準備手段と；同一のカテ
ゴリに属するデータを関連付けるカテゴリ識別子を、カ
テゴリテーブルに定義し、検索キーとして各情報源に入
力するために、様々なメディアで表現されたデータを、
検索キーテーブルに定義し、上記カテゴリ識別子と上記
データの関連付けとを、対応関係テーブルに定義し、カ
テゴリ識別子間の上位・下位・同義関係を、シソーラス
テーブルに定義するメディア変換データ準備手段と；各
検索エンジンにアクセスする手段に関する情報を、検索
エンジンテーブルに定義し、各情報源の所在情報とアク
セス情報とを、情報源テーブルに定義し、検索エンジン
による情報源の管理関係を、検索エンジン−情報源テー
ブルに定義し、ユーザが各情報源を検索するときに必要
となる項目を、利用情報テーブルに定義する情報源メタ
データ準備手段と；を有することを特徴とする分散マル
チメディア情報の検索装置。
【請求項７】検索を実行するユーザに関する情報を記
憶するユーザデータ記憶部と；同一のカテゴリに属する
様々なメディアによって表現されているデータを、識別
子によって対応付けられているメディア変換に関する情
報を記憶するメディア変換データ記憶部と；上記ユーザ
に関する情報と上記メディア変換に関する情報とに基づ
いて、入力された問い合わせに含まれる検索キーをメデ
ィア変換するメディア変換部と；ネットワーク上に存在
する複数の情報源を検索するときに必要な項目を定義す
るメタ情報を記憶する情報源メタデータ記憶部と；上記
ユーザに関する情報と上記メタ情報とに基づいて、上記
メディア変換された検索キーを用いて、上記複数の情報
源を一括して検索する一括検索処理部と；を有すること
を特徴とする分散マルチメディア情報検索装置。
【請求項８】請求項７において、同一のカテゴリを表す識別子を管理するカテゴリ情報と
様々なメディアで表現されたデータとを検索キーとして
利用するメディアデータ管理情報と、上記識別子と上記
様々なメディアとによって表現されているデータとの多
対多の対応関係を管理する対応関係情報とを記憶するメ
ディア変換データ記憶部と；入力された問い合わせに含
まれる検索キーが属するカテゴリの識別子を、上記カテ
ゴリ情報から特定する検索キー解釈部と；上記ユーザに
関する情報と上記対応関係情報と上記メディアデータ管
理情報とに基づいて、上記得られた識別子から、対応付
けられている様々なメディアで表現されたデータを検索
するメディア変換データ検索部と；を有することを特徴
とする分散マルチメディア情報検索装置。
【請求項９】請求項７において、各検索エンジンにアクセスする手段に関する情報を管理
する検索エンジン情報と、各情報源の所在情報とアクセ
ス情報とを記憶する情報源情報と、検索エンジンによる
情報源の管理関係を記憶する管理関係情報と、ユーザが
各情報源を検索するときに、必要となる項目を管理する
利用情報とを記憶する情報源メタデータ記憶部と；上記
様々なメディアで表現されたデータから、上記情報源情
報と上記管理関係情報と上記検索エンジン情報とに基づ
いて、検索可能な情報源所在と接続情報と上記情報源と
を管理している検索エンジンを探索する情報源所在探索
部と；上記ユーザに関する情報と上記利用情報とに基づ
いて、上記ユーザが各情報源を検索するときの必要項目
を検索する利用情報検索部と；上記検索エンジンの接続
手段に対して、上記様々なメディアで表現されたデータ
と上記情報源所在および接続情報と上記必要項目を用い
て情報源問い合わせを生成する情報源問い合わせ生成部
と；を有することを特徴とする分散マルチメディア情報
検索装置。
【請求項１０】請求項８において、入力された問い合わせに含まれる異種メディアに跨った
複数の検索キーが属するカテゴリのカテゴリ識別子を、
入力された問い合わせに含まれるＡＮＤ／ＯＲ条件を用
いて、上記カテゴリ情報から特定する検索キー解釈部を
有することを特徴とする分散マルチメディア情報検索装
置。
【請求項１１】請求項８において、上記メディアデータ管理情報に管理されている様々なメ
ディアで表現されているデータの中から、検索キーとし
て用いることが適しているデータを複数選別する手段を
有することを特徴とする分散マルチメディア情報の検索
装置。
【請求項１２】請求項１１において、上記検索キーとして用いることが適しているデータを複
数選別する手段は、カテゴリ対応データ記憶手段と、検
索結果記憶手段と、データ組み合わせ最適化手段とによ
って構成されていることを特徴とする分散マルチメディ
ア情報の検索装置。
【請求項１３】請求項１２において、上記カテゴリ対応データ記憶手段は、同一のカテゴリを
表すための識別子に対応しているデータを、上記メディ
アデータ管理情報から取得し、記憶する手段であり、上記検索結果記憶手段は、上記同一のカテゴリを表すた
めの識別子に対応しているデータのそれぞれを、検索キ
ーとして用いた場合における検索結果を記憶する手段で
あり、上記データ組み合わせ最適化手段は、同一のカテゴリを
表すための識別子に対応しているデータを検索キーとし
て用いたときに、所定の適合率・再現率の検索結果を返
却し得るデータの組み合わせを最適化する手段であるこ
とを特徴とする分散マルチメディア情報の検索装置。
【請求項１４】請求項１３において、上記データ組み合わせ最適化手段は、適合率と再現率と
のうちのいずれを重視するかを設定し、また、データ選
別個数の最小化の度合いを設定することによって選別さ
れるデータが異なる手段であることを特徴とする分散マ
ルチメディア情報の記憶装置。
【請求項１５】任意のメディアで表現されている検索
キーを、情報源毎に入力可能なメディアで表現されてい
る検索キーに変換するメディア変換段階と；上記メディ
ア変換された検索キーを使って、ネットワーク上に分散
している個々の既存情報源に対応した問い合せ文を生成
する問い合せ生成段階と；を有することを特徴とする分
散マルチメディア情報の検索方法。
【請求項１６】入力されたユーザ名と、検索キーと、
検索条件とによって構成されているユーザ問い合わせを
受理し、この受理したユーザ問い合わせを解析し、上記
ユーザ問い合わせに含まれている検索キーが属するカテ
ゴリのカテゴリ識別子を、カテゴリテーブルから特定す
るカテゴリ識別子特定段階と；入力されたユーザ名を参
照し、上記特定されたカテゴリ識別子に対応付けられて
いる異種メディアで表現されたデータである検索キーグ
ループを、検索キーテーブルと、対応関係テーブルと、
シソーラステーブルとから検索する検索キーグループ検
索段階と；メディア変換データ検索部が検索した検索キ
ーグループを用いて、検索可能な情報源所在と接続情報
とを、情報源テーブルから検索し、この情報源を管理し
ている検索エンジンを、検索エンジンテーブルと検索エ
ンジン−情報源テーブルとから検索する検索エンジン検
索段階と；上記入力されたユーザ名を参照し、この参照
されたユーザが各情報源を検索するときに必要となる項
目を、利用情報テーブルから検索し、上記検索された検
索エンジンによって、上記検索された様々なメディアで
表現されたデータである検索キーグループと、上記検索
された情報源所在と、接続情報と、上記検索された項目
とを用いて、情報源問い合わせを生成する情報源問い合
わせ生成段階と；情報源アクセス部を介して、情報源検
索結果を取得し、構文解析部で解析された検索条件に基
づいて、情報源検索結果を処理し、ユーザインタフェー
ス部を介して、検索結果を出力する検索結果出力段階
と；を有することを特徴とする分散マルチメディア情報
の検索方法。
【請求項１７】検索を実行するユーザに関する情報を
記憶するユーザデータ記憶段階と；同一のカテゴリに属
する様々なメディアによって表現されているデータを、
識別子によって対応付けられているメディア変換に関す
る情報を記憶するメディア変換データ記憶段階と；上記
ユーザに関する情報と上記メディア変換に関する情報と
に基づいて、入力された問い合わせに含まれる検索キー
をメディア変換するメディア変換段階と；ネットワーク
上に存在する複数の情報源を検索するときに必要な項目
を定義するメタ情報を記憶する情報源メタデータ記憶段
階と；上記ユーザに関する情報と上記メタ情報とに基づ
いて、上記メディア変換された検索キーを用いて、上記
複数の情報源を一括して検索する一括検索段階と；を有
することを特徴とする分散マルチメディア情報検索方
法。
【請求項１８】任意のメディアで表現されている検索
キーを、情報源毎に入力可能なメディアで表現されてい
る検索キーに変換するメディア変換手順と；上記メディ
ア変換された検索キーを使って、ネットワーク上に分散
している個々の既存情報源に対応した問い合せ文を生成
する問い合せ生成手順と；をコンピュータに実行させる
プログラム。
【請求項１９】入力されたユーザ名と、検索キーと、
検索条件とによって構成されているユーザ問い合わせを
受理し、この受理したユーザ問い合わせを解析し、上記
ユーザ問い合わせに含まれている検索キーが属するカテ
ゴリのカテゴリ識別子を、カテゴリテーブルから特定す
るカテゴリ識別子特定手順と；入力されたユーザ名を参
照し、上記特定されたカテゴリ識別子に対応付けられて
いる異種メディアで表現されたデータである検索キーグ
ループを、検索キーテーブルと、対応関係テーブルと、
シソーラステーブルとから検索する検索キーグループ検
索手順と；メディア変換データ検索部が検索した検索キ
ーグループを用いて、検索可能な情報源所在と接続情報
とを、情報源テーブルから検索し、この情報源を管理し
ている検索エンジンを、検索エンジンテーブルと検索エ
ンジン−情報源テーブルとから検索する検索エンジン検
索手順と；上記入力されたユーザ名を参照し、この参照
されたユーザが各情報源を検索するときに必要となる項
目を、利用情報テーブルから検索し、上記検索された検
索エンジンによって、上記検索された様々なメディアで
表現されたデータである検索キーグループと、上記検索
された情報源所在と、接続情報と、上記検索された項目
とを用いて、情報源問い合わせを生成する情報源問い合
わせ生成手順と；情報源アクセス部を介して、情報源検
索結果を取得し、構文解析部で解析された検索条件に基
づいて、情報源検索結果を処理し、ユーザインタフェー
ス部を介して、検索結果を出力する検索結果出力手順
と；をコンピュータに実行させるプログラム。
【請求項２０】検索を実行するユーザに関する情報を
記憶するユーザデータ記憶手順と；同一のカテゴリに属
する様々なメディアによって表現されているデータを、
識別子によって対応付けられているメディア変換に関す
る情報を記憶するメディア変換データ記憶手順と；上記
ユーザに関する情報と上記メディア変換に関する情報と
に基づいて、入力された問い合わせに含まれる検索キー
をメディア変換するメディア変換手順と；ネットワーク
上に存在する複数の情報源を検索するときに必要な項目
を定義するメタ情報を記憶する情報源メタデータ記憶手
順と；上記ユーザに関する情報と上記メタ情報とに基づ
いて、上記メディア変換された検索キーを用いて、上記
複数の情報源を一括して検索する一括検索手順と；をコ
ンピュータに実行させるプログラム。
【請求項２１】任意のメディアで表現されている検索
キーを、情報源毎に入力可能なメディアで表現されてい
る検索キーに変換するメディア変換手順と；上記メディ
ア変換された検索キーを使って、ネットワーク上に分散
している個々の既存情報源に対応した問い合せ文を生成
する問い合せ生成手順と；をコンピュータに実行させる
プログラムを記録したコンピュータ読み取り可能な記録
媒体。
【請求項２２】入力されたユーザ名と、検索キーと、
検索条件とによって構成されているユーザ問い合わせを
受理し、この受理したユーザ問い合わせを解析し、上記
ユーザ問い合わせに含まれている検索キーが属するカテ
ゴリのカテゴリ識別子を、カテゴリテーブルから特定す
るカテゴリ識別子特定手順と；入力されたユーザ名を参
照し、上記特定されたカテゴリ識別子に対応付けられて
いる異種メディアで表現されたデータである検索キーグ
ループを、検索キーテーブルと、対応関係テーブルと、
シソーラステーブルとから検索する検索キーグループ検
索手順と；メディア変換データ検索部が検索した検索キ
ーグループを用いて、検索可能な情報源所在と接続情報
とを、情報源テーブルから検索し、この情報源を管理し
ている検索エンジンを、検索エンジンテーブルと検索エ
ンジン−情報源テーブルとから検索する検索エンジン検
索手順と；上記入力されたユーザ名を参照し、この参照
されたユーザが各情報源を検索するときに必要となる項
目を、利用情報テーブルから検索し、上記検索された検
索エンジンによって、上記検索された様々なメディアで
表現されたデータである検索キーグループと、上記検索
された情報源所在と、接続情報と、上記検索された項目
とを用いて、情報源問い合わせを生成する情報源問い合
わせ生成手順と；情報源アクセス部を介して、情報源検
索結果を取得し、構文解析部で解析された検索条件に基
づいて、情報源検索結果を処理し、ユーザインタフェー
ス部を介して、検索結果を出力する検索結果出力手順
と；をコンピュータに実行させるプログラムを記録した
コンピュータ読み取り可能な記録媒体。
【請求項２３】検索を実行するユーザに関する情報を
記憶するユーザデータ記憶手順と；同一のカテゴリに属
する様々なメディアによって表現されているデータを、
識別子によって対応付けられているメディア変換に関す
る情報を記憶するメディア変換データ記憶手順と；上記
ユーザに関する情報と上記メディア変換に関する情報と
に基づいて、入力された問い合わせに含まれる検索キー
をメディア変換するメディア変換手順と；ネットワーク
上に存在する複数の情報源を検索するときに必要な項目
を定義するメタ情報を記憶する情報源メタデータ記憶手
順と；上記ユーザに関する情報と上記メタ情報とに基づ
いて、上記メディア変換された検索キーを用いて、上記
複数の情報源を一括して検索する一括検索手順と；をコ
ンピュータに実行させるプログラムを記録したコンピュ
ータ読み取り可能な記録媒体。