JPWO2002065339A1 - マルチメディア情報分類配置装置および分類配置方法 - Google Patents

Abstract

クライアント上で情報表示を行う際に、転送データ量を低減し、かつ、情報内容の一覧性、把握容易性を確保した情報分類配置装置を提供する。情報セット取得部１０により情報セットを取得する。情報可視化部３０により情報セットアイコンを生成する。情報セットとは、多様なメディア情報の集合から同じ対象に関連しているメディア情報をグループ化したもの、情報セットアイコンとは、情報セットを構成する各メディア情報に対して内容を視覚的に表示するアイコンを割り当てそれらアイコンを合成して情報セットの内容を視覚的に表現したものである。軸設定部４０により特徴量を分類配置空間軸に割り当てる。特徴量抽出部２０により情報セットの各メディア情報から特徴量を抽出し、分類配置部５０により情報セットアイコンをその特徴量に応じ、分類配置空間上に配置し、情報表示部６０により表示する。

Description

技術分野
本発明は、テキスト情報のみならず、画像情報、音声情報など多様なメディア情報として混在しているマルチメディア情報群の分類・配置を効率的かつ柔軟に行なうことのできるマルチメディア情報分類配置装置に関する。インターネットのＷＷＷ（ワールドワイドウェブ。以下、ＷＷＷと略記する）上においてアクセス可能であるマルチメディア情報群の分類・配置も可能である。
背景技術
現在、テキスト情報のみならず、画像情報、音声情報などマルチメディアデータが大量に格納され、アクセス可能となっている。特に、インターネットの発展に伴い、ＷＷＷ（ワールドワイドウェブ）上にある情報は、増加の一途をたどっており、テキスト情報、画像情報、音声情報など多様なマルチメディアデータが大量に格納され、アクセス可能となっている。その結果、情報源から必要な情報を的確に検索することが非常に難しくなってきている。
従来の情報検索システムおよび当該検索システムにおける情報の分類・配置処理技術として以下のものが知られている。
第１には、テキストキー検索システムが知られている。検索対象となるマルチメディアデータに対してその内容を表わす１または複数のテキスト情報を適当に割り付けておき、検索に当たっては、単語などのテキストを検索キーとして指定し、当該検索キーと同一のテキスト情報が割り付けられているマルチメディアデータを検出する方法が知られている。検索対象のメディア情報がテキスト情報である場合には、テキスト情報の内容をテキストキーにより検索することとなり、当該テキストキー検索はおおむね適切に実行できる場合が多い。このテキストキー検索システムにおける情報の分類・配置例としては、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
第２には、テキスト全文検索システムが知られている。これは、検索対象となるマルチメディアデータがテキスト情報の場合に特に有効な検索システムである。幾つかの方法が提案されているが、例えば、前処理としてテキスト全文からその内容の特徴を表わす単語すべてを自動的に抽出しておき、検索キーファイルを生成して割り付けておく。検索に当たっては、単語などのテキストを検索キーとして指定し、検索キーファイル中に当該検索キーと同一のテキストが存在するテキスト情報を検出する。この方法によっても上記第１のテキストをキーとした検索方法と同様、テキスト情報以外のメディア情報、例えば、画像情報については、画像情報ごとに適切なテキストキーを付与するのでなければ、テキストをキーとした検索では、検索を適切に行なうことは難しい。
このテキスト全文検索システムにおける情報の分類・配置例もテキストキー検索システム同様、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
第３には、画像情報を検索する技術として、画像の特定部分を指定して部分画像を検索キーとした画像パターン照合による画像検索技術が知られている。この画像検索方法によれば、指定した部分画像を持つ画像情報を検索することは可能である。
この画像パターン照合による画像検索システムにおける情報の分類・配置例も検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
第４には、音響情報を検索する技術として、音響パターン照合による音響検索技術が研究されている。音響情報検索システムとして、ユーザがキーとなる音響データ（ハミング等）を指定することにより、システムはその音響信号と類似する音響データを検索し、曲名等の情報をユーザに呈示するものが挙げられる。
第５には、映像情報を検索する技術がある。映像検索の方法としては、あらかじめ映像をセグメンテーションし、各セグメントの内容を動作認識アルゴリズムや音声認識、テロップ認識等の技術を使って認識し、情報内容に沿ったラベル付けを行っておく方法や、物体の移動方向をスケッチすることにより検索キーを作成して検索する方法が研究されている。この映像情報検索システムとしてはホームランやシュート、ゴール等、野球やサッカーなどの実況中継で生じるハイライトシーンの検索、テニスにおけるスマッシュやボレー等のような特定の動作の検索を行うシステムが開発されつつある。
しかし、従来の情報検索システムは、テキスト情報以外のメディア情報、例えば、画像情報や音声情報については実用性の高い有効な検索方法が存在していない。
従来の第１のテキストキー検索システムでは、画像情報や音声情報について適切に行なうことは難しい。つまり、１つの画像情報に対して複数のキーワードを割り付けたとしても、画像の特徴を的確かつ柔軟にテキストで表現することが困難である以上、検索者の検索する意図に応じてキーワードにより適切で柔軟な画像検索の実行は困難である。数多くの画像を収集し、それらを順番に表示することが可能であるが、画像数が多くなるとその中から目的の画像を探し出すのが困難になるという問題があった。
従来の第２の全文テキスト検索システムの場合でも、第１のテキストキー検索システムと同様、画像情報や音声情報について適切に行なうことは難しい。つまり、画像情報や音声情報は元々テキスト情報を持っておらず、テキスト情報の抽出は期待できない。
従来の第３の画像パターン照合による画像検索システムによれば、指定した部分画像を持つ画像情報を検索することは可能である。しかし、検索者は、検索したい画像が持つ部分画像を用意して指定する必要がある。検索者がもっとも欲しい画像がどのような部分画像を持つか明らかでない場合もあり、また、検索に用いる部分画像が常に用意できるとは限らず、検索が困難となる。さらに、検索者自身が検索したい画像を明確に把握していない場合もある。つまり、検索したい画像のおおむねの内容を指定することはできるが、部分的であっても画像そのものの指定ができない場合がある。また、検索者は漠然と何か利用できる画像がないか試行錯誤的に検索したい場合もある。このような場合には部分画像のマッチングのみでは柔軟性に欠け、不充分である。
従来の第４の音響パターン照合による音響検索システムでは、一般のユーザのハミングは、一つの音符であるにもかかわらず、半音以上音程がふらついたり、音程を間違ってしまう等の現象が起こるため、適切な検索は難しい。
従来の第５の映像情報検索システムにおいても、的確に映像内容にラベル付けしたり、映像中の対象物の運動を記述したりすることは困難であり、一般の映像に対して適用できる汎用性のある映像情報検索方法は未だ存在しないのが現状である。
上記のように、従来の情報検索技術には共通して、「情報を絞り込むための適切なキー指定の難しさ」という問題がある。この問題を解決する手段として、なるべくたくさんの情報を検索者に呈示し、検索者にその中から所望の情報を探してもらうというアプローチがある。検索対象が画像を含む情報単位（画像そのもの、画像・テキスト混在文書等）から構成されている場合などは、人間にとって一覧性に優れているためユーザは呈示された大量の情報の中から所望の情報を比較的容易に探し出すことが可能となる。しかし、以下のような問題が生じる。
第１の問題は、検索装置がサーバ上で動作しており、ネットワークを介してクライアント上で画像の表示を行なう場合には大量の画像を転送しなければならず、検索者の待ち時間が長くなってしまうという問題である。
第２の問題は、画像・テキスト混在文書のように、情報単位に画像以外の情報も含まれる場合には、画像がその情報単位の内容を的確に表現しているとは限らないという問題である。つまり、情報単位が含む画像は、単に、装飾などのために利用されている場合も多く、このような場合、当該画像を基にした閲覧検索では、検索者が的確に所望の情報セットを見つけられない場合がある。
第３の問題は、検索対象が画像を含まない情報単位（テキストのみの文書データ、音響データのみ、映像データのみ）から構成されている場合には、情報をそのまま呈示しても一覧性に欠けるため、ユーザの検索効率は上がらない。
本発明は、上記問題点に鑑み、ネットワークを介してクライアント上で情報表示を行う際に、転送するデータ量を低減し、かつ、検索者に対する情報内容の一覧性、把握容易性を確保したマルチメディア情報分類配置装置および分類配置方法を提供することを目的とする。
また、本発明は、効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を、マルチメディア情報の持つ多様な特徴量を利用することにより効率的かつ柔軟に検索し、検索結果をビジュアルかつ分かり易いように分類・配置して表示することができるマルチメディア情報分類配置装置および分類配置方法を提供することを目的とする。
発明の開示
上記目的を達成するために、本発明のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを“情報セット”とし、その情報セットを処理単位として用いる。そして、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する“情報セットアイコン”を用いる。
本発明において“情報セット”を情報処理の単位として用いる点、および、“情報セットアイコン”を用いる点は、従来技術の情報検索技術とは明瞭に異なるものである。本願の“情報セット”は、従来技術のマルチメディア情報のごとく各メディア情報そのものを合成して一体化しているものではなく、共通する概念をもって関連付けているもので、従来の一体合成型のマルチメディア情報とは明瞭に異なるものである。また、“情報セットアイコン”は、情報処理単位が情報セットであり、その情報セットを構成するテキスト、画像、音声などの各メディア情報に対して該当するアイコンを割り当て、これらアイコンを合成して情報処理単位としての情報セットに対応する形にしたアイコンである。この情報セットアイコンによれば、圧縮効率が高くデータ転送量が少なくて済むよう作成できると同時に、情報セットにどのようなメディア情報が含まれているのかが一見して容易に把握できるものであり、検索者に対する情報内容の一覧性、把握容易性を確保せしめることができる。
本発明のマルチメディア情報分類配置装置は、情報セットを単位としてメディア情報を取得する情報セット取得部と、前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成する情報可視化部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定する軸設定部と、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置する分類配置部と、前記分類配置空間と前記情報セットアイコンを表示する情報表示部を備えたことを特徴とする。
上記構成により、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済む情報セットアイコンを生成して利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。
なお、上記マルチメディア情報分類配置装置による処理を、情報セットアイコン生成フェーズと情報セットを用いた情報検索フェーズの２つのフェーズに分け、情報セットアイコン生成フェーズを前処理としてあらかじめ実行し、情報検索フェーズでの検索に用いる情報セットの情報セットアイコンをまとめて生成・準備しておくこともできる。この構成によれば、情報セット検索フェーズにおいては、検索の結果得られた情報セットからその都度情報セットアイコンを生成する必要がなく、検索された情報セットに対応する情報セットアイコンを分類配置空間に分類配置するのみで良く、処理を高速化することができる。
次に、本発明のマルチメディア情報分類配置装置の他の構成は、上記のように、情報セットを構成する各メディア情報に対応するアイコンを合成して情報セットアイコンを作成するのではなく、各メディア情報に対応するアイコンを一まとまりとしてアイコンをその特徴量に応じて分類配置空間に分類配置し、当該配置位置において各アイコンを表示順序に従って時間的に切り替えつつ前記配置位置に表示する。
つまり、前記情報セットを単位としてメディア情報を取得する情報セット取得部と、前記情報セットを単位として情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てる情報可視化部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、アイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定する軸設定部と、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に前記情報セットに含まれる各メディア情報に対するアイコンを分類配置する分類配置部と、前記分類配置空間と前記アイコンを表示する情報表示部であって、前記情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ前記配置位置に表示する情報表示部を備えたことを特徴とする。
上記構成により、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを生成して利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、各アイコンを表示順序に従って切り替えつつ表示するので検索者に対する情報内容の一覧性、把握容易性を確保することができる。
なお、上記構成においても、情報セットアイコン生成フェーズと情報セットを用いた情報検索フェーズの２つのフェーズに分け、情報セットアイコン生成フェーズを前処理としてあらかじめ実行し、情報検索フェーズでの検索に用いる情報セットの情報セットアイコンをまとめて生成・準備しておくことができる。
なお、上記構成において、特徴量抽出部が抽出した特徴量の成分が、ある情報セットのあるメディア情報について複数個存在した場合、分類配置部は、特徴量の複数個の成分それぞれに基づいて複数個の位置に、前記情報セットアイコン、または、表示順序に従って切り替え表示する各アイコンを分類配置すれば、特徴量に複数個の成分が存在しても適切に特徴空間内に分類配置できる。
なお、上記構成において、情報可視化部によるアイコンの割り当てにおいて、あらかじめ用意されているアイコンのいずれかを選択し、対応するメディア情報の内容に応じて前記選択したアイコンの表示内容を修飾することとすれば、各メディアごとのアイコンや情報セットアイコンを、情報の内容を反映した把握容易で検索に適切なものとすることができる。
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、分類配置空間軸の各軸への特徴量の属性の割り当てを再設定し、１以上の軸を備えた分類配置空間を再設定する軸再設定機能を備え、前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記分類配置部が前記抽出された特徴量の成分に応じて各情報セットアイコンを前記分類配置空間内に分類配置し、前記情報表示部が前記再設定された分類配置空間に対する視点に応じたメディア情報を表示することが好ましい。
上記構成により、検索者が実行した検索結果を見て、インタラクティブに再検索を行なって柔軟に情報を絞り込んだり、再設定した分類配置空間軸を用いて、さらに異なる切り口により検索を次々と続行することができる。つまり、検索結果を見て試行錯誤的に、別の特徴量を指定して分類配置空間の軸再設定を行なうことができ、再設定した軸を用いた分類配置空間を用いて情報セットアイコンを再配置し、再表示を行なうことができる。
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、分類配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている分類配置空間を再設定し、前記分類配置部が、再設定された分類配置空間に対して各情報セットアイコンを再分類配置し、前記情報表示部が、各情報セットアイコンが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示することが好ましい。
上記構成によれば、分類配置空間を再設定し、情報セットアイコンを再分類した場合に、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
また、上記マルチメディア情報分類配置装置において、前記分類配置部が、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、前記ユーザが選択した情報セットアイコンを前記特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えることが好ましい。
上記構成によれば、注目する情報セットアイコンの表示位置が特定位置に固定されるので容易に注目している情報セットアイコンを見つけられ、また、注目している情報セットアイコンと軸設定された特徴量において類似する情報セットアイコンが付近に配置されるため、情報セット間の関係の把握が容易になる。また、特定情報セットに注目した上で試行錯誤的な再分類表示が実行できる。
次に、本発明のマルチメディア情報分類配置装置は、コンピュータ読み取り可能な記録媒体に、本発明のマルチメディア情報分類配置装置の処理プログラムを記録して提供することにより、コンピュータを用いて本発明のマルチメディア情報分類配置装置を実現することができる。
発明を実施するための最良の形態
以下、本発明のマルチメディア情報分類配置装置および分類配置方法の実施形態について、図面を参照しながら説明する。
（実施の形態１）
本発明の実施形態１のマルチメディア情報分類配置装置を説明する。本実施形態１のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを“情報セット”とし、その情報セットを処理単位として用いる。そして、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する“情報セットアイコン”を用いる。
まず、本発明のマルチメディア情報分類配置装置において用いる情報の処理単位となる情報セットの概念について説明する。次に、本実施形態１のマルチメディア情報分類配置装置の装置構成例を示し、本実施形態１のマルチメディア情報分類配置装置の処理の流れをフローチャートを参照しつつ示す。
本発明のマルチメディア情報分類配置装置は、情報の処理単位として情報セットを用いる。この情報セットとは、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化した処理単位である。図１は、本発明の“情報セット”の概念を簡単に示した図である。図１に示すように、一つの情報セット１には相互に関連性を持った複数の同種または異種のメディア情報が一まとまりに関連付けらている。情報セット１の例では、画像情報１ａと画像情報１ｂ、音声情報１ｃ、キーワード情報１ｄの４つの同種または異種のメディア情報が一まとまりに関連付けらている。これら４つの同種または異種のメディア情報は、例えば、「Ｆ社のパーソナルコンピュータ」という関連性を持っている情報という概念で集められたものである。
図１には、従来技術におけるマルチメディア情報などから本発明の情報セットを生成する様子も示している。５００は従来技術におけるマルチメディア情報であり、複数のメディア情報が一つに一体化され合成されている。例えば、ＨＴＭＬファイルデータなどである。情報セット取得部１０は本願の情報セットを取得するためのものであり、例えば、従来型のマルチメディア情報を取り込み、情報セットを生成することができる。
情報セット生成の手順は以下のようである。情報セット取得部１０は画像部分を抽出して収集し、さらに当該画像に関連するテキスト情報や他の画像情報、動画情報、音声情報など他のメディア情報を収集する。例えば、テキスト情報であれば、ＨＴＭＬファイルを解析して取得する。解析手法の一例を挙げると、画像と近い位置にあるテキストは画像と内容的に関連しているとし、画像とテキストの位置的な近さの尺度として両者間の改行数を１つの目安とする。また、ＨＴＭＬタグ構造から画像とテキストの関連度を推測することが可能である。タグが多く存在すると両者の関連度が低いと推測でき、特に文章の切れ目を表わすタグである＜Ｐ＞や＜Ｈ１＞や＜ＨＲ＞などが存在する場合には関連度が低いと推測できる。また、画像を表示するためのタグである＜ＩＭＧ＞につけられた画像の代用となるテキストを表わすＡＬＴアトリビュートは画像との関連性が深いので大きいな関連度を割り当てることができる。このように画像とテキストの間に含まれるタグの種類と数を１つの目安とする。このように情報セット取得部１０は、画像と関連するメディア情報を収集する。情報セット取得部１０は収集したメディア情報を、同じ対象に関連しているメディア情報として一まとまりに関連付けて情報セットとする。図１の例では画像情報１ａが抽出され、画像情報１ａに関連するテキスト情報１ｂ、音声情報１ｃ、キーワード情報１ｄが共通の概念を持って関連付けられ情報セット１が生成された。従来のマルチメディア情報５００においては、これら画像情報１ａ、テキスト情報１ｂ、音声情報１ｃ、キーワード情報１ｄは共通の概念を持って関連付けられているわけではなく、管理上では各メディア情報がバラバラに管理されているものである。
情報セットは、各メディアが合成されたものではなく、同じ対象に関連しているメディア情報として一まとまりに関連付けられたものなので、メディア情報を柔軟に追加・削除することが可能である。もし、この従来技術におけるマルチメディア情報に対して新たなメディア情報を追加する場合、マルチメディア情報に対して追加するメディア情報を埋め込む部分を探して埋め込み、合成する処理が必要となり、マルチメディア情報自体を作り替える必要が生じる。一方、本願の“情報セット”を用いる場合、追加する新たなメディア情報、例えば、「Ｆ社のパーソナルコンピュータ」に関する音声データが得られた場合、簡単に情報セット１に対して当該音声データの関連付けを増やせば良いこととなる。本願の情報セットは、各メディア情報そのものを合成して一体化しているものではなく、共通する概念をもって関連付けているのみで、メディア情報の中身そのものには特別な処理を行うものではなく、従来の一体合成型のマルチメディア情報とは明瞭に異なるものである。
さらに、情報セットについて述べる。画像情報とテキスト情報を情報セットとして関連付けにおいては、例えば、ＷＷＷ上の画像とテキストが混在したＨＴＭＬ文書から、画像部分を画像情報として抽出し、またＨＴＭＬ文書の画像まわりのテキストをテキスト情報として抽出して両者を関連付ける。他の例としては、テキスト情報の中から例えばｔｆ−ｉｄｆ法に基づき重要と思われる単語をキーワード情報として抽出する。また、動画像の画像情報と音声情報とテキスト情報の関連付けであれば、例えば、動画像と音声を含むムービーデータを含むＸＭＬファイルから、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出してそれぞれを関連付ける。また、他のデータに対してリンクが張られているＨＴＭＬデータからリンクを辿り、当該リンク先の画像情報、テキスト情報、音声情報などを抽出して生成したものを情報セットとしても良い。また、ＨＴＭＬ文書のように当初から画像情報とテキスト情報が１ファイルの形態で存在するもののみならず、１つの画像情報に対して複数のテキスト情報が関連付けられたり、その逆に１つのテキストに対して複数の画像情報が関連付けられている場合もありうる。また、情報セットの一部としてＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含めることができる。情報セットの一部にＵＲＬを含めることにより、後述するように分類配置された情報セットを選択し、そのＵＲＬを基に当該情報セットを含むウェブのページを表示することが可能となる。
この情報セットの特徴の一つとして、属する各メディア情報そのものは編集加工されることなく、画像情報は画像情報のまま、音声情報は音声情報のまま存在する一方、各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理できる点を挙げることができる。後述するように情報セットを処理単位として特徴量に基づいて分類配置する際には、情報セットに属する各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理し、情報セットアイコンが分類配置される位置が決まる。
この本発明の情報セットを処理単位として用いる処理は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の２つの処理を指す。従来技術のマルチメディア処理の第１の意味は、１つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、１つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第２の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第１の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。また、新しいメディア情報が与えられると、簡単に、既存の情報セットのうち関連性のある情報セットに属させることや、関連性のある既存の情報セットがない場合に、新しい情報セットを生成することなどが可能となる。上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものであれば、新しいメディア情報の追加は容易にはできない。
次に、本発明において用いる“情報セットアイコン”について説明する。“情報セットアイコン”を用いる点も、従来技術の情報検索技術とは明瞭に異なるものである。情報セットアイコンは、情報処理単位が情報セットであり、その情報セットを構成するテキスト、画像、音声などの各メディア情報に対して該当するアイコンを割り当て、これらアイコンを合成して情報処理単位としての情報セットに対応する形のアイコンである。
図２は、情報セットアイコンの例および当該情報セットアイコンの生成手順の一例を示した図である。
まず、情報セットを取得する。いま、情報セット３が取得されたとする。この情報セット３は、「モーツァルト」という共通の概念で関連付けられた情報処理単位であって、音楽家「モーツァルト」に関する３つのメディア情報が含まれているものとする。ここでは音響データ３ａ、画像データ３ｂ、テキストデータ３ｃが含まれている。なお、これら各メディア情報は一体化されたり、合成されたりせず、情報セット３として関連付けられているのみである。
次に、各メディア情報の特徴量を抽出する。音響データ３ａの特徴として「音楽区間、短調、ピアノ」という特徴量が得られたとする。画像データ３ｂの特徴として「背景：黒、対象：人物顔（領域肌色）」という特徴量が得られたとする。テキストデータ３ｃの特徴として「モーツァルト、ピアノ協奏曲第２０番」という特徴量が得られたとする。なお、各メディア情報から特徴量を抽出する手法については後述するものとする。
次に、各メディア情報に対してその特徴量に応じたアイコンを割り当てる。また、割り当てたアイコンをその特徴量に応じて修飾する。この例では、音響データ３ａに対して、ピアノ鍵盤状のアイコンを割り当てる。また、短調であることを表現するため、例えば、ピアノ鍵盤の色をブルーに変える。画像データ３ｂに対しては、人物顔を示す肌色領域を中心に切り出し、かつ、ＤＣＴなどの画像データ圧縮を施したアイコンを割り当てる。テキストデータ３ｃに対して、「モーツァルト、ピアノ協奏曲第２０番」というテキスト文からなるテキストアイコンを割り当てる。
次に、各メディア情報に対して割り当てたアイコンを合成して一つの情報セットアイコンを生成する。この例では情報セット３に対して、情報セットアイコン３ｄが得られた。
もし、情報セットを構成するメディア情報のうち、一部のメディア情報のデータが欠けている場合、欠けているデータを補って情報セットアイコンを作成することも可能である。特に画像データが欠けている場合は、情報分類表示の際の閲覧性に影響が出るので、画像データを補うことは好ましい。例えば、ある情報セットにおいて、音響データの特徴が「音楽区間のみ、短調、ギター」であり、テキストデータの内容特徴が「ピアノ演奏家Ａ、アレグロ・モデラート第１３番二短調」であり、画像データが無い場合に、次に述べるようなアイコン作成手順に従って情報セットアイコンを作成する。
まず、アーチスト辞書で「ピアノ演奏家Ａ」を検索し、顔写真を取得する。次に、顔写真の背景を黄色（二短調に対応）にする。次に、背景にギターの絵を貼り付ける。次に、「ピアノ演奏家Ａ、アレグロ・モデラート第１３番二短調」というラベルを添付し、欠けていた画像データを補完しながら情報セットアイコンを作成する。
以上、情報セットアイコンによれば、圧縮効率が高くデータ転送量が少なくて済むと同時に、情報セットにどのようなメディア情報が含まれているのかが一見して容易に把握できるものであり、検索者に対する情報内容の一覧性、把握容易性を確保せしめることができる。
次に、本実施形態１のマルチメディア情報分類配置装置の構成例を図３に示す。図３に示すようにマルチメディア情報分類配置装置は、情報セット取得部１０、特徴量抽出部２０、情報可視化部３０、軸設定部４０、分類配置部５０、情報表示部６０を備えている。また、７０はインターネットなどのアクセス可能なネットワーク網であって、ネットワーク７０を介してマルチメディア情報源８０がアクセス可能な状態にある。マルチメディア情報源８０には画像情報、テキスト情報、音声情報などの多様なマルチメディア情報が格納されており、この例では相互に関連があるメディア情報の集合である情報セットも格納されているとする。
図３の装置構成例において、情報セット取得部１０は、情報セット読み込み部１１、情報セット収集部１２、情報セット収集キー入力部１３、記憶媒体１３を備えた構成としている。情報セット収集部１２は、情報セットを収集する部分であり、ネットワーク７０を介してマルチメディア情報源８０に存在する情報セットを収集する。情報セット読み込み部１１は、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付けることもできるものである。このように情報セット取得部１０は、情報セット読み込み部１１と情報セット収集部１２のいずれかまたは両者を適宜備えた構成とすることにより、ネットワーク７０を介してマルチメディア情報源８０に存在する情報セットを収集する機能、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付ける機能を選択的に保持することができる。
この実施形態１で説明する情報セット収集部１２の構成例は、ハードディスクなどの記憶媒体１３、情報セット収集キー入力部１４を備えている。通信インタフェースを介してネットワーク７０上のマルチメディア情報源８０と通信する。記憶媒体１３は、収集した情報セットを格納しておく場合に利用できる。情報セット収集キー入力部１４は、情報セットの収集に当たり、キーワードを用いて収集する範囲を指定する部分である。ネットワーク上のマルチメディア情報源８０に格納されている情報セットが大量にある場合には何も指定せずに情報セットを収集すれば、収集するデータ容量が極めて大きくなってしまう。そこで、情報セットの収集にあたり、あらかじめ範囲を絞り込むために情報セット収集キー入力部１４よりキーワードが入力された場合には、情報セット収集部１２は、当該キーワードを持つ情報セットを収集する。
特徴量抽出部２０は、情報セットの各メディア情報から特徴量を抽出する部分である。図３には図示していないが、特徴量抽出部２０には、各メディア情報から様々な特徴量を抽出するための機能を備えている。
例えば、画像情報に対しては、ＤＣＴ変換係数特徴量、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム特徴量などが挙げられる。ＤＣＴ変換係数特徴量を分類配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。ウェーブレット変換係数特徴量を分類配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。ウェーブレット変換もＤＣＴ変換と同じく波形・周波数変換であるが、位置（時間）情報を保ったまま変換することが出来る。ＨＳＩ色ヒストグラム特徴量を分類配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。ＨＳＩ色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。
また、例えば、テキスト情報に対しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。あらかじめテキストを特徴づけるのに有効だと思われる単語セットを選んでおき、ｔｆ−ｉｄｆ法（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ−ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）を用いて各単語の相対的重要度を測り、それを列挙することで各テキストから単語のｔｆ−ｉｄｆ値を要素として持つ特徴ベクトルを抽出する。
また、例えば、音声情報に対しては、短時間周波数分析（フーリエ変換やＭＦＣＣ）を用いた音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。ＭＦＣＣ分析やＬＰＣケプストラム分析の結果得られる特徴ベクトルを利用し、音声周波数の特徴、つまり、音声の高低、音質などにより特徴量抽出が可能となる。音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。音声の振幅特徴量や時間変移特徴量により音声の大小に応じた音声情報の特徴量抽出が可能となる。
また、特徴量抽出部２０は、各メディア情報から特徴量を抽出する機能の追加、更新、削除などが可能であることが好ましい。特徴量抽出機能をマイクロプログラムとしてＤＳＰ（デジタルシグナルプロセッサ）などで提供しておけば、必要に応じて内容を容易に書き換え、追加できる。
情報可視化部３０は、マルチメディア情報源８０に格納されている各情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して情報セットの内容を視覚的に表現する情報セットアイコンを生成する部分である。情報セットアイコンは利用者による情報分類配置処理が実行される前に生成しておくことが好ましい。
情報可視化部３０による情報セットアイコンの生成処理手順は、図２を用いて上記に説明した通りである。なお、図２により説明した手順において、メディア情報の特徴量（内容）に応じてアイコンを割り当てる処理には複数の手法がある。
第１には、「内容−アイコン変換テーブル」を利用するものである。これは、各メディア情報の内容とそれに対して割り当てるアイコンの対応を記述した変換テーブルを用意するものである。各メディア情報の特徴量（内容）が内容−アイコン変換テーブルに記述されていれば、対応するアイコンを簡単に割り当てることができる。
第２には、あらかじめ人手で記述しておいた「内容特徴からアイコンに変換するルール」を利用する方法である。内容特徴からアイコンに変換するルールを含むプログラムを提供するものである。
第３には、「内容特徴−アイコンのペア」データを大量に用意し、内容特徴からアイコンに変換するマップを自動的に学習し、それを利用する方法がある。内容特徴からアイコンに変換するルールを知識として持つエキスパートシステムを提供するものである。
第４には、上記の応用として、上記処理では各メディア情報の内容を表しきれない場合には、複数個のアイコンに変換したり、表しきれない差分情報を付加情報として付随させるものである。
なお、特徴量が複数の値（成分）を持っていたり、情報内容が複数の部分に分けられる場合には、特徴ベクトルとして複数個認め、個々の特徴ベクトルに対して別のアイコンを用意したり、あるいは同一のアイコンをコピーしたりすることによって一つの情報単位を複数のアイコンで表現することができる。
軸設定部４０は、分類配置空間軸を設定する部分であって、各メディア情報から抽出される特徴量の分類配置空間各軸への割り当てを設定し、１以上の軸を備えた分類配置空間を設定する。例えば、Ｘ軸Ｙ軸Ｚ軸の３軸を指定し、このＸＹＺ軸が張る空間を分類配置空間とする。ここでは、例えば、後述する情報表示部６０の表示ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
ここで、分類配置空間軸に設定し得る特徴量は、画像情報、テキスト情報、音声情報などメディアに応じて抽出し得る特徴量であれば良い。
例えば、テキスト情報に関しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。特定単語の存在を示す特徴量や特定単語の使用回数の特徴量を分類配置空間軸に設定することにより、特定単語の説明などが含まれているテキスト情報の分類、配置が可能となる。これらテキスト情報に画像情報が関連付けられている情報セットであれば、特定単語により表わされる画像情報も併せて分類配置空間に分類、配置されることとなる。
また、例えば、画像情報に関しては、ＤＣＴ変換係数特徴量、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム特徴量などが挙げられる。ＤＣＴ変換係数特徴量を分類配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。ウェーブレット変換係数特徴量を分類配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。ウェーブレット変換もＤＣＴ変換と同じく波形・周波数変換であるが、位置（時間）情報を保ったまま変換することが出来る。ＨＳＩ色ヒストグラム特徴量を分類配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。ＨＳＩ色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。
また、例えば、音声情報に関しては、音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。音声周波数特徴量を分類配置空間軸に設定することにより、音声周波数の特徴、つまり、音声の高低、音質などにより音声情報の分類、配置が可能となる。音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。音声の振幅特徴量や時間変移特徴量を分類配置空間軸に設定することにより、音声の大小に応じた音声情報の分類、配置が可能となる。
なお、軸設定部４０による、一の空間軸に対する特徴量の割り当ては、複数の特徴量を組み合わせて割り当てることが可能である。２つ以上の特徴量の組み合わせは、互いの特徴量の単位を変換、調整する必要があるが、スコアのような点数に置き換えて合算することが可能である。例えば、一つの空間軸に対して、第１の特徴量としてＨＳＩ色ヒストグラムの指定色成分が閾値以上の割合で含まれていれば“１”、含まれていない場合に“０”とし、第２の特徴量として、テキスト情報中の特定単語の存在を示す特徴量として存在すれば“１”、存在しない場合に“０”とし、第１の特徴量と第２の特徴量を合算して一つの空間軸に割り当てるなどの処理が可能である。逆に、複数の軸に対して一つの特徴量を割り当てることもできる。一つの特徴量から二つ以上の軸に割り当てる方法は数多く存在するが、そのような方法の一つとして、特徴量をベクトルとみなして、ベクトルの各次元について分散が大きい次元を複数選択してその次元を軸とする方法（主成分分析法）が挙げられる。
分類配置部５０は、特徴量抽出部２０により抽出した特徴量に基づいて情報セットアイコンを分類配置空間内に分類配置する部分である。例えば、分類配置空間がＸＹＺ３軸により設定されておれば、情報セットアイコンは当該３次元分類配置空間内に分類、配置されることとなる。
情報表示部６０は、分類配置部５０により分類配置空間内に分類配置された情報セットに対する情報セットアイコンを表示する部分であり、分類配置空間に対する視点に応じた位置に情報セットアイコンを表示する。例えば、ＸＹＺ軸から張られた分類配置空間に対して、ＸＹ平面が正面であり、Ｚ軸方向を奥行き方向とすると、ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
以上のように構成された本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れの例を図４を参照しつつ説明する。
図４に示すように、本発明の実施形態１のマルチメディア情報分類配置装置の処理は大別して、次のように、情報セットの取得処理（Ｓ１０１）と、情報セットに対応する情報セットアイコンの生成処理（Ｓ１０２）と、分類配置空間の軸に割り付ける特徴量を設定し、分類配置空間を定義する軸設定処理（Ｓ１０３）と、情報セットのメディア情報から所定の特徴量を抽出する特徴量抽出処理（Ｓ１０４）と、抽出した特徴量に従って情報セットアイコンを分類配置空間内に分類、配置する情報分類配置処理（Ｓ１０５）と、分類配置空間および分類配置空間に分類、配置した情報セットアイコンを設定視点から表示する情報表示処理（Ｓ１０６）と、表示された検索結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、分類配置空間の軸に割り付ける特徴量を再設定し、分類配置空間を再定義する再軸設定処理（ステップＳ１０３へのループ）を備えている。
なお、最初の軸設定処理（Ｓ１０３）により設定された分類配置空間に基づく情報セットアイコンの分類、配置により所望の検索結果が得られた場合には、再軸設定処理は必須のものではない。また、上記処理の流れでは、情報セットは当初からアクセス可能な状態で存在していることを前提としたものであるが、実施形態２において後述するようにマルチメディア情報分類配置装置が、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報をまとめ、情報セットを定義・生成する情報セット生成処理を前処理として実行しても良い。
まず、本発明のマルチメディア情報分類配置装置は、利用者による検索実行などにより、情報セット取得部１０により情報セット取得処理（Ｓ１０１）を実行する。ここでは、例えば、情報セット取得部１０により、通信インタフェースを介してインターネットなどのネットワーク７０上にアクセス可能な状態にあるＷＷＷサーバーなどのマルチメディア情報源８０から情報セットを収集して情報セットを取得する。この例では、情報セット取得処理（Ｓ１０１）として、画像情報とテキスト情報が関連付けられている情報セットを複数取得する。また、取得する情報セットの範囲をある程度絞るため、キーワード検索によりヒットしたもののみ取得しても良い。
この例では、“音楽家”というキーワードにヒットする情報セット３を含む情報セットを取得したとする。例えば、いずれも音響データ、画像データ、テキストデータを含む６つの情報セット、「シューベルトピアの五重奏曲ます」、「モーツァルトピアノ協奏曲第２０番」、「モーツァルトフィガロの結婚」、「ヘンデル調子の良いかじ屋ホ長調」、「バッハ幻想曲とフーガト短調」、「バッハトッカータとフーガニ短調」などが得られたとする。
次に、マルチメディア情報分類配置装置は、情報可視化部３０により各情報セットに対応する情報セットアイコンを生成する（Ｓ１０２）。その手順は図２に示したとおりである。ここでは、圧縮画像とその上側に音響データを示すアイコン、その下側にテキスト内容を示すアイコンが付されて合成されている。なお、情報セットアイコン生成の特徴量抽出処理の実行にあたり特徴量抽出部２０を用いても良い。
次に、マルチメディア情報分類配置装置は、利用者から情報分類配置に関する指示の入力を受け、分類配置処理を開始する。
まず、軸設定部４０により分類配置空間の軸に割り付ける特徴量を設定し、分類配置空間を定義する軸設定処理（Ｓ１０３）を実行する。この例では、Ｘ軸（水平方向）に音色、Ｙ軸（垂直方向）に画像情報に対するＤＣＴ変換係数特徴量、Ｚ軸（奥行き方向）には特徴量を設定しないこととする。
次に、マルチメディア情報分類配置装置は、特徴量抽出部２０を用いて、収集されている情報セットのそれぞれのメディア情報から、各空間軸に割り当てられている特徴量を抽出する特徴量抽出処理（Ｓ１０４）を実行する。上述した通り、特徴量抽出部２０は、各情報セットから、軸設定処理Ｓ１０３で指定された特徴量を抽出する。この例では、音響データの音色の特徴量、画像データのＤＣＴ変換係数特徴量が抽出される。
なお、特徴量が複数の値（成分）を持つ場合、特徴ベクトルも複数個出力できる。
次に、マルチメディア情報分類配置装置は、分類配置部５０を用いて、抽出した特徴量に従って情報セットアイコンを分類配置空間内に分類、配置する情報分類配置処理（Ｓ１０５）を実行する。そして、情報表示部６０により、分類配置空間および分類配置空間に分類、配置した情報セットアイコンを設定視点から表示する情報表示処理（Ｓ１０６）を実行する。図５に、“音楽家”のキーワードで収集された６つの情報セットアイコンを分類配置空間内に分類、配置した例を示す。この例では、Ｘ軸は音色の特徴量として、ピアノはＸ軸左側、バイオリンが中央付近、ハープが右側付近に分類配置され、Ｙ軸は画像データのＤＣＴ変換係数特徴量の大きさで分類配置されたとする。なお、図５の例の情報セットアイコンは、音響データを例に採れば、音響データのアイコン部分はその音色に応じてピアノ鍵盤、バイオリン、ハープというアイコンが割り当てられたり、短調、長調などに合わせて色づけされたりという具合に修飾されている。
なお、一つの情報セットに対して、特徴ベクトルが複数個出力されている場合は、個々の特徴ベクトルに対する分類配置位置に別々の情報セットアイコンを表示したりあるいは同一の情報セットアイコンをコピーしたりすることによって一つの情報単位を複数のアイコンで表現する。
以上の情報セット取得処理ステップＳ１０１から情報表示処理ステップＳ１０６により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は（ステップＳ１０７：ＮＯ）、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は（ステップＳ１０７：ＹＥＳ）、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップＳ１０３にループすることが可能である。つまり、情報表示処理ステップＳ１０６により表示された分類・配置表示結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、軸設定部４０を用いて、分類配置空間の軸に割り付ける特徴量を再設定し、分類配置空間を再定義する再軸設定処理を実行する。このように、必要な画像情報が得られるまで分類配置空間軸に割り当てる特徴量を再設定し（Ｓ１０３）、情報セットの各メディア情報から再設定した特徴量を再抽出し（Ｓ１０４）、再抽出した特徴量に基づいて情報セットアイコンを分類配置空間に再分類、再配置し（Ｓ１０５）、情報表示部６０により分類配置空間に再配置された情報セットアイコンを再表示する（Ｓ１０６）。例えば、軸設定部４０により、Ｘ軸を音色の特徴量から、ウェーブレット変換係数特徴量に替えたり、Ｙ軸をＤＣＴ変換係数特徴量からＨＳＩ色ヒストグラム特徴量に替えたりすることも可能である。このような一連の軸再設定処理を、所望の検索結果が得られるまで繰り返すことができる。
このように、ある特徴量で得られた情報セットアイコンの分類・配置の表示結果を見て、全く異なる切り口の特徴量を使って情報セットアイコンの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
また、画像情報など情報セットアイコンの分類・配置である表示結果を見て、図６のように、選択した情報セットアイコンに対応する情報セットのウェブのページを表示することも可能である。情報セットアイコンの一部に当該画像情報など情報セットが含まれているＵＲＬを併せて保存しておけば、当該画像情報が情報表示部６０上において利用者より選ばれた場合にＵＲＬ情報を基にしてそのウェブページを表示することが可能となる。例えば、画像情報を選び、メニューなどから“ウェブページ”というボタンをポインティングデバイスでクリックすることによりそのウェブページを表示する。画像そのものをクリックするとそのウェブページを表示することとしても良い。
次に、上記図４に示した処理の流れとは異なる別の処理の流れを図７を用いて説明する。この図７に示した処理では、処理全体を、情報セットアイコン生成フェーズと、情報セット検索フェーズの２つのフェーズに分け、情報セットアイコンの生成処理を情報セットアイコン生成フェーズとして前処理として実行し、情報セット検索フェーズで用いる情報セットに対する情報セットアイコンをまとめて生成しておくものである。情報セット検索フェーズとして、情報セットの検索取得処理（７０１）、軸設定処理（Ｓ７０２）と、特徴量抽出処理（Ｓ７０３）と、情報分類配置処理（Ｓ７０４）と、情報表示処理（Ｓ７０５）と、必要に応じて実行する再軸設定処理（ステップＳ７０２へのループ）を実行する。この処理の流れとすると、情報セット検索フェーズにおいて、検索の結果得られた情報セットからその都度情報セットアイコンを生成する必要がなく、検索された情報セットに対応する情報セットアイコンを分類配置空間に分類配置するのみで良いので、処理を高速化することができる。
さらに、特徴量抽出処理７０３を前処理として情報セット生成フェーズで実行しておき、情報セットに対して情報セットアイコンと各特徴量を抽出して対応づけて記憶しておいても良い。この構成によれば、情報セット検索フェーズにおいて、検索の結果得られた情報セットからその都度特徴量を抽出する必要がないのでさらに処理を高速化することができる。
以上、本実施形態１に示したマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。
（実施形態２）
次に、実施形態２のマルチメディア情報分類配置装置は、実施形態１のように、情報セットを構成する各メディア情報に対応するアイコンを合成して情報セットアイコンを作成するのではなく、各メディア情報ごとのアイコンを用意し、情報セットの分類配置においては該当する配置位置において各メディア情報ごとにアイコンを表示順序に従って時間的に切り替えつつ表示するものである。
本実施形態２のマルチメディア情報分類配置装置の装置構成例は図３と同様である。ただし、構成要素の処理内容が異なる。
情報可視化部３０は、情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てるが、それら各メディア情報に対するアイコンを合成して情報セットアイコンを生成することはしない。
分類配置部５０は、各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、分類配置空間内に情報セットに含まれる各メディア情報に対するアイコンを分類配置するものである。情報セットアイコンを配置するのではなく、情報セットに含まれるメディア情報それぞれに対応するアイコンをグループとして分類配置する。
情報表示部６０は、分類配置空間とアイコンを表示し、情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ配置位置に表示するものである。例えば、アイコンを画像データのアイコン、音響データのアイコン、テキスト情報のアイコンという順で繰り返して１秒おきに切り替えて表示する。
情報セット取得部１０、特徴量抽出部２０、軸設定部４０、ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明したものと同様で良い。
以上の実施形態２のマルチメディア情報分類配置装置の処理の流れの例を図８を参照しつつ説明する。
図８に示すように、本発明の実施形態２のマルチメディア情報分類配置装置の処理は、情報セットの取得処理（Ｓ８０１）と、各メディア情報のアイコンの生成処理（Ｓ８０２）と、分類配置空間の軸設定処理（Ｓ８０３）と、情報セットの特徴量抽出処理（Ｓ８０４）と、各メディア情報のアイコンの分類配置空間内への分類、配置処理（Ｓ８０５）と、分類配置空間および各メディア情報のアイコンの切り替え表示処理（Ｓ８０６）と、再軸設定処理（ステップＳ８０３へのループ）を備えている。なお、最初の軸設定処理（Ｓ８０３）により設定された分類配置空間に基づく分類、配置により所望の検索結果が得られた場合には、再軸設定処理（Ｓ８０６）は必須のものではない。
マルチメディア情報分類配置装置は、情報セットの取得処理（Ｓ８０１）を実行後、情報可視化部３０によりマルチメディア情報源８０に格納されている各情報セットに含まれる各メディア情報に対応するアイコンを生成する（Ｓ８０２）。その手順は図２に示したものと同様であるが、最終的に情報セットアイコンという形で合成することはしない。なお、各メディア情報のアイコン生成における特徴量抽出処理の実行にあたり特徴量抽出部２０を用いても良い。
分類配置空間の軸設定処理（Ｓ８０３）、情報セットの特徴量抽出処理（Ｓ８０４）は、実施形態１の図４のＳ１０３〜Ｓ１０４と同様であり、説明は省略する。
次に、マルチメディア情報分類配置装置は、分類配置部５０を用いて、抽出した特徴量に従って各メディア情報のアイコンを分類配置空間内に分類、配置する（Ｓ８０５）。そして、情報表示部６０により、分類配置空間および各メディア情報のアイコンを切り替えつつ、分類配置空間に分類、配置して表示する（Ｓ８０６）。
なお、一つの情報セットに対して、特徴ベクトルが複数個出力されている場合は、個々の特徴ベクトルに対する分類配置位置にアイコンを表示することによって一つの情報単位を複数のアイコンで表現する。
以上の情報セット取得処理ステップＳ８０１から情報表示処理ステップＳ８０６により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は（ステップＳ８０７：ＮＯ）、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は（ステップＳ８０７：ＹＥＳ）、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップＳ８０３にループすることが可能である。
なお、実施形態１の図７と同様、処理全体を、アイコン生成フェーズと、情報セット検索フェーズの２つのフェーズに分け、アイコンの生成処理をアイコン生成フェーズとして前処理として実行し、情報セット検索フェーズで用いる各メディア情報のアイコンをまとめて生成しておくものでも良い。
以上、本実施形態２に示したマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済むアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、各アイコンを表示順序に従って切り替えつつ表示するので検索者に対する情報内容の一覧性、把握容易性を確保することができる。
（実施形態３）
本発明の実施形態３のマルチメディア情報分類配置装置を説明する。本実施形態３のマルチメディア情報分類配置装置は、分類配置部によるメディア情報の特徴量に基づいた分類配置空間への分類、配置において、自己組織化マップを応用するものである。
本実施形態３マルチメディア情報分類配置装置の装置構成例を図９に示す。図９に示すように、分類配置部５０は、自己組織化マップ処理部５１を備えている。なお、分類配置部５０以外の、情報セット取得部１０、情報可視化部３０、軸設定部４０、特徴量抽出部２０、情報表示部６０ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明した図３のマルチメディア情報分類配置装置構成例のものと同様で良い。
自己組織化マップは、ニューラルネットワークを用いた教師なし学習モデルである。自己組織化マップでは、高次元の特徴ベクトル空間から低次元空間に写像を行なう。その際に、特徴ベクトルが類似しているものは低次元空間でも近くに配置される。この自己組織化マップをメディア情報の分類・配置処理に応用し、特徴量抽出部２０が抽出した特徴量をもとに自己組織化マップ処理を用いて実施形態１のように情報セットアイコンまたは実施形態２のように各メディア情報のアイコンを配置する。自己組織化マップ処理部５１は特徴量抽出部２０が抽出した特徴量に対して当該自己組織化マップ生成処理を実行するものである。本実施形態３の分類配置部５０は、自己組織化マップ処理部５１が生成した自己組織化マップで得られた配置情報を基に分類配置空間に分類・配置する。また、自己組織化マップ処理と併せて、Ｚ軸（奥行き方向）に割り当てられている特徴量を基にした奥行き表現も組み合わせることもできる。例えば、テキスト情報を元に、単語の頻度情報に分解し、それぞれの頻度をベクトル化して、そのベクトルに基づき、奥行き方向の軸の位置を決定する。また、他の例としては、キーワードを用いてＷｅｂを検索した場合、テキスト検索サーバが返すキーワードとＷｅｂページの関連度をもとに、関連度が高い順に奥行き情報として表示する事もでき、それらを切り替えて表示することができる。
以上のように、本実施形態３のマルチメディア情報分類配置装置によれば、自己組織化マップ処理を応用して、画像を空間上で内容が近いと思われるものが近くに、内容が遠いと思われるものが遠くにそれぞれ配置することが出来る。
（実施形態４）
本発明の実施形態４のマルチメディア情報分類配置装置を説明する。本実施形態４のマルチメディア情報分類配置装置は、情報セットアイコンが分類・配置された分類配置空間の表示方法、ブラウジング方法に工夫を加えたものである。
本実施形態４のマルチメディア情報分類配置装置の装置構成例を図１０に示す。図１０に示すように、情報表示部６０は表示視点移動部６１を備えている。なお、情報表示部６０以外の、情報セット取得部１０、情報可視化部３０、軸設定部４０、特徴量抽出部２０、分類配置部５０、ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明した図３のマルチメディア情報分類配置装置構成例のものと同様で良い。
表示視点移動部６１は、情報表示部６０において、分類配置部５０により情報セットアイコンが分類・配置された分類配置空間を表示するにあたり、当該空間を表示する視点の設定位置を移動させる機能を備えている。情報表示部６０は、表示視点移動部６１により設定された表示視点から見た分類配置空間を表示する。
本実施形態４のマルチメディア情報分類配置装置では、実施形態１で示した図５の表示視点をデフォルトとし、表示視点移動部６１により表示視点を動的に変化させることが可能となる。言わば、情報セットアイコンが分類・配置された分類配置空間内を仮想的に自由に動きまわり、移動位置から見える分類配置空間内の情報セットアイコンの分類・配置された様子を表示することができる。通常であれば、ディスプレイ表示面は、基本的には２次元平面であるので、遠近法による表示が可能ではあるものの、奥行きの深い位置にある情報セットアイコンは見づらいものとなりがちである。しかし、本実施形態４のマルチメディア情報分類配置装置によれば、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットアイコンの分類・配置の様子をディスプレイ表示面近くに表示させることができる。
（実施形態５）
実施形態５のマルチメディア情報分類配置装置は、分類配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている分類配置空間を再設定し、再設定された分類配置空間に対して各情報セットアイコンを再分類配置し、各情報セットアイコンが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示するものである。
また、再分類配置において、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、ユーザが選択した情報セットアイコンを特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えたものである。
図１１は、実施形態５にかかるマルチメディア情報分類配置装置の装置構成を簡単に示したものである。図１１に示すように、情報表示部６０は動画処理部６２を備えている。また、分類配置部５０は、配置位置固定指定部５２を備えている。なお、分類配置部５０および情報表示部６０以外の、情報セット取得部１０、情報可視化部３０、軸設定部４０、特徴量抽出部２０、ネットワーク７０、マルチメディア情報源８０については、実施形態１で説明した図３のマルチメディア情報分類配置装置構成例のものと同様で良い。
情報表示部６０の動画処理部６２は、軸の再設定により各情報セットアイコンを分類配置空間上に再分類配置する様子を表示するにあたり、各情報セットアイコンを、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する機能を有する。例えば、各情報セットアイコンの再分類配置前の位置を記憶しておき、各情報セットアイコンの再分類配置後の位置を分類配置部５０から通知を受け、両座標点を基に各情報セットアイコンごとに移動方向、移動距離を求め、所定きざみで各情報セットアイコンを移動して行く。なお、所定きざみとは、移動ステップ数にかかわらず所定の距離ずつの移動としても良く、また、所定のステップ数で移動が完了するように移動距離を調整したきざみとしても良い。
分類配置部５０は配置位置固定指定部５２を備えており、ユーザは配置位置固定指定部５２を介して特定の情報セットアイコンを特定位置に固定するように指定することができる。分類配置部５０は、軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、指定された情報セットアイコンを特定位置に固定した状態で、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えたものである。
上記した、所定きざみで各情報セットアイコンを移動して行く再分類配置機能と、特定の情報セットアイコンを特定位置に固定した再分類配置機能を、図５と図１２の具体例を用いつつ説明する。
再分類配置前の分類配置空間における情報セットアイコンの表示状態の例として実施形態１で説明した図５を用いる。この例では、Ｘ軸（水平方向）に音色、Ｙ軸（垂直方向）に画像情報に対するＤＣＴ変換係数特徴量、Ｚ軸（奥行き方向）には特徴量を設定しないこととする。
次に、再分類配置される様子を説明する。再軸設定によりＸＹ平面方向の軸としてＨＳＩ色ヒストグラム特徴量が割り当てられ、Ｚ軸には特に特徴量が割り当てられずにすべて“０”値が割り当てられたものとする。情報表示部６０により表示された再分類配置後の表示例を示したものが図１２である。
このように、再軸設定により、軸に新たに割り付けられた特徴量に沿って情報セットアイコンが再分類配置される。
ここで、動画処理部６２は、各情報セットアイコンを再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する。つまり、図５の状態から図１２の状態まで、各情報セットアイコンを再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかも情報セットアイコンが目で追えるように移動してゆく様子を表示する。動画処理部６２は、図５に示した各情報セットアイコンの再分類配置前の位置を記憶しておき、図１２に示した各情報セットアイコンの再分類配置後の位置の通知を受け、両座標位置を基に各情報セットアイコンごとに移動方向、移動距離を求め、所定きざみで各情報セットアイコンの表示されているメディア情報を移動して行く。
次に、分類配置部５０の配置位置固定指定部５２を用いた特定の情報セットアイコンを特定位置に固定した状態での再分類配置の具体例を説明する。
ユーザは、配置位置固定指定部５２を介して、特定の情報セットと他の情報セットとの関係を把握するために、表示されている画面内から一つまたは複数の情報セットアイコンを選択する。例えば一つの情報セットアイコンを選択し、その情報セットアイコンを中央に固定し、他の情報セットアイコンを自己組織化マップ法により分類配置空間内に配置してゆく。また、複数の情報セットアイコン、例えば、４つの情報セットアイコンを選択し、それら情報セットアイコンの位置関係を特定の位置関係、例えば、画面の四隅に固定して、他の情報セットアイコンを自己組織化マップ法により分類配置空間内に配置してゆくことも可能である。このように特定の情報セットアイコンを特定の位置関係に固定して分類配置を行うことにより、選択した情報セットと他の個々の情報セットがどのような関係にあるのかが視覚的に容易に把握できるようになる。例えば、今、分類配置空間の軸が色情報を特徴量としている場合、四隅にそれぞれ、赤の画像、青の画像、黄の画像、緑の画像を固定して分類配置すれば、赤系統の画像は固定した赤い画像のある隅側に集まり、紫色の画像は、赤い画像の位置と青い画像の位置の中間付近に集まって表示されるため、色の系統に沿って個々の画像を見つけることが容易になる。
図１３と図１４は、配置位置固定指定部５２を用いた特定の情報セットアイコンを特定位置に固定した再分類配置の概念を示した図である。図１３は、再分類配置前において配置位置固定指定部５２を用いて特定の情報セットアイコンを選択指定した様子を示す図、図１４が図１３で選択指定された情報セットアイコンを特定位置（画面中央）に固定して他の情報セットアイコンを再分類配置した様子を示した図である。図１３において、情報セットアイコン５がユーザによって配置位置固定指定部５２を介して選択指定された情報セットアイコンである。この情報セットアイコン５を中央に固定し、再分類前とは異なる属性、例えば、色情報により再分類配置すれば、図１４のように情報セットアイコン５に近い色合いを持つ情報セットアイコンが中央付近に集まることとなる。
なお、この配置位置固定指定部５２を用いた特定の情報セットアイコンを特定位置に固定した再分類配置機能に対して、所定きざみで各情報セットアイコンを移動して行く再分類配置機能とを組み合わせることも可能であり、特定の情報セットアイコンを特定位置に固定した再分類配置の際に、各情報セットアイコンが再分類後の位置まで所定きざみで移動していくように表示させることも可能である。
上記構成によれば、分類配置空間を再設定し、注目する情報セットアイコンを特定位置に固定された状態で再分類することができ、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットアイコンの検索、分類処理の利便性が向上する。
（実施形態６）
本発明の実施形態６のマルチメディア情報分類配置装置を説明する。本実施形態６のマルチメディア情報分類配置装置は、上述した実施形態１〜５のマルチメディア情報分類配置装置を、コンピュータネットワークを介したクライアントサーバーシステムで構築したものである。上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成のうち、どの要素をサーバーコンピュータに組み込み、どの要素をクライアントコンピュータに組み込むかにより幾つかのパターンが可能である。
図１５は、サーバーコンピュータ１００に情報可視化部３０、情報セット取得部１０、特徴量抽出部２０を設け、クライアントコンピュータ１０１に軸設定部４０、分類配置部５０、情報表示部６０を設けたクライアントサーバ構成例である。
図１６は、サーバーコンピュータ１００に情報可視化部３０、情報セット取得部１０、特徴量抽出部２０、分類配置部５０を設け、クライアントコンピュータ１０１に軸設定部４０、情報表示部６０を設けた構成である。
ただし、上記の図１５〜図１６のそれぞれの構成において、情報セットの取得方法に関して幾通りかの方法が挙げられる。例えば、サーバコンピュータ１００がロボットとして、あらかじめ指定されている内容の情報セットをネットワーク上などから定期的に自動収集・自動更新する方法がある。他には、図１５〜図１６はいずれも情報セット取得部１０がサーバコンピュータ１００に図示されているが、情報セット取得部１０の情報セット収集部１２から情報セット収集キー入力部１４を分離してクライアントコンピュータ１０１に設け（図示せず）、クライアントコンピュータ１０１の利用者が情報セット収集キー入力部１４を用いて情報セット収集キーを入力し、当該入力された情報セット収集キーをサーバコンピュータ１００の情報セット取得部１０に渡し、サーバコンピュータ１００が当該情報セット収集キーを用いて、該当する情報セットをネットワーク上などから動的に収集する方法がある。
このように、上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成要素を、サーバーコンピュータとクラアントコンピュータに分けて設けることにより、クライアントサーバシステムにより本発明のマルチメディア情報分類配置装置を構築することができる。
（実施形態７）
本発明のマルチメディア情報分類配置装置は、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のマルチメディア情報分類配置装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１７に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
産業上の利用可能性
本発明のマルチメディア情報分類配置装置によれば、情報の表示に用いるデータとして、圧縮効率が高くデータ転送量が少なくて済む情報セットアイコンを利用することによって、転送するデータ量を低減することができ、検索者の情報表示までの待ち時間を短縮することができ、かつ、検索者に対する情報内容の一覧性、把握容易性を確保することができる。また、情報セットアイコンをその特徴量に応じて特徴空間に分類配置することにより、関連する情報セットアイコンを近傍に配置したり、特定の特徴を持つ画像を特定の場所に配置することによって、ユーザの検索効率を向上させることができる。また、情報セットアイコンに代え、各メディア情報のアイコンを表示順序に従って切り替えつつ表示する場合においても、検索者に対する情報内容の一覧性、把握容易性を確保することができる。
また、本発明のマルチメディア情報分類配置装置によれば、情報セット生成部を保持することにより、情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットアイコンを生成することができる。
また、本発明のマルチメディア情報分類配置装置によれば、分類配置空間を再設定し、注目する情報セットアイコンを特定位置に固定された状態で再分類することができ、各情報セットアイコンの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【図面の簡単な説明】
第１図の（ａ）は、本発明の“情報セット”の概念を簡単に示した図、（ｂ）は従来技術におけるマルチメディア情報の例を示す図である。
第２図は、情報セットアイコンの例および当該情報セットアイコンの生成手順の一例を示した図である。
第３図は、本発明の実施形態１のマルチメディア情報分類配置装置の装置構成例を示す図である。
第４図は、本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れの例を示すフローチャートである。
第５図は、“音楽家”のキーワードで収集された６つの情報セットアイコンを分類配置空間内に分類、配置した例を示す図である。
第６図は、選択した情報セットアイコンに対応する情報セットのウェブのページを示す図である。
第７図は、本発明の実施形態２のマルチメディア情報分類配置装置の処理の流れの例を示すフローチャート
第８図は、本発明の実施形態３マルチメディア情報分類配置装置の装置構成例を示す図である。
第９図は、本発明の実施形態４のマルチメディア情報分類配置装置の装置構成例を示す図である。
第１０図は、本発明の実施形態５にかかるマルチメディア情報分類配置装置の装置構成を簡単に示した図である。
第１１図は、本発明の実施形態５にかかる情報表示部６０により表示された再分類配置後の表示例を示した図である。
第１２図は、再分類配置前において配置位置固定指定部５２を用いて特定の情報セットアイコンを選択指定した様子を示す図である。
第１３図は、第１２図で選択指定された情報セットアイコンを特定位置（画面中央）に固定して他の情報セットアイコンを再分類配置した様子を示した図である。
第１４図は、本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図である。
第１５図は、本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した他の例を示す図である。
第１６図は、本発明の実施形態７のマルチメディア情報分類配置装置の処理内容を処理ステップとしたプログラムを記録した記録媒体の例を示す図である。

Claims (14)

1. 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、
   前記情報セットを単位としてメディア情報を取得する情報セット取得部と、
   前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成する情報可視化部と、
   各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、
   取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定する軸設定部と、
   各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置する分類配置部と、
   前記分類配置空間と前記情報セットアイコンを表示する情報表示部を備えたことを特徴とするマルチメディア情報分類配置装置。
2. 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、
   前記情報セットを単位としてメディア情報を取得する情報セット取得部と、
   前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当てる情報可視化部と、
   各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、
   取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、アイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定する軸設定部と、
   各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に前記情報セットに含まれる各メディア情報に対するアイコンを分類配置する分類配置部と、
   前記分類配置空間と前記アイコンを表示する情報表示部であって、前記情報セットに含まれる各メディア情報に対するアイコンの表示順序を決めてそれらアイコンを時間的に切り替えつつ前記配置位置に表示する情報表示部を備えたことを特徴とするマルチメディア情報分類配置装置。
3. 前記特徴量抽出部が抽出した特徴量の成分が、ある情報セットのあるメディア情報について複数個存在した場合、前記分類配置部は、前記特徴量の複数個の成分それぞれに基づいて、前記情報セットアイコンを複数個の位置にそれぞれ分類配置する請求項１に記載のマルチメディア情報分類配置装置。
4. 前記特徴量抽出部が抽出した特徴量の成分が、ある情報セットのあるメディア情報について複数個存在した場合、前記分類配置部は、前記特徴量の複数個の成分それぞれに基づいて、前記情報セットに含まれるメディア情報に対するアイコンを複数個の位置にそれぞれ分類配置する請求項２に記載のマルチメディア情報分類配置装置。
5. 前記情報表示部が、情報セットおよび分類配置空間を表示する視点の設定位置を移動させる機能を持つ表示視点移動部を備え、
   前記情報表示部は、前記表示視点移動部が設定した視点位置に基づいて情報セットアイコンが分類・配置された分類配置空間を表示する請求項１または２に記載のマルチメディア情報分類配置装置。
6. 前記情報表示部が、ネットワークを介した端末装置上に前記分類配置空間と前記情報セットアイコンを表示する請求項１または２に記載のマルチメディア情報分類配置装置。
7. 前記情報可視化部によるアイコンの割り当てにおいて、あらかじめ用意されているアイコンのいずれかを選択することで割り当てる請求項１または２に記載のマルチメディア情報分類配置装置。
8. 前記情報可視化部によるアイコンの割り当てにおいて、あらかじめ用意されているアイコンのいずれかを選択し、対応するメディア情報の内容に応じて前記選択したアイコンの表示内容を修飾する請求項７に記載のマルチメディア情報分類配置装置。
9. 前記軸設定部における、１つの空間軸に対して割り当てる特徴量の属性が複数の特徴量の属性を組み合わせたもの、または、複数の軸に対して１つの特徴量の属性を割り当てたものである請求項１または２に記載のマルチメディア情報分類配置装置。
10. 前記軸設定部が、分類配置空間軸の各軸への特徴量の属性の割り当てを再設定し、１以上の軸を備えた分類配置空間を再設定する軸再設定機能を備え、
    前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記分類配置部が前記抽出された特徴量の成分に応じて各情報セットアイコンを前記分類配置空間内に分類配置し、前記情報表示部が前記再設定された分類配置空間に対する視点に応じたメディア情報を表示する請求項１または２に記載のマルチメディア情報分類配置装置。
11. 前記分類配置部が、局所相互作用を利用して学習により自己組織化をおこなう自己組織化マップ処理部を備え、
    前記分類配置部は、前記特徴量抽出部が抽出した特徴量をもとに、前記自己組織化マップ処理部による自己組織化マップ処理を用いて情報セットアイコンを配置する請求項１または２に記載のマルチメディア情報分類配置装置。
12. 前記分類配置部が、ユーザが選択した情報セットアイコンをユーザが指定した分類配置空間上の特定位置へ固定する機能と、
    軸が再設定された分類配置空間に対して各情報セットアイコンを再分類配置する際に、前記ユーザが選択した情報セットアイコンを前記特定位置に固定し、他の情報セットアイコンのみを分類配置空間に応じて再分類配置する機能を備えた請求項１に記載のマルチメディア情報分類配置装置。
13. 画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合である情報セットを分類配置空間内に分類配置して表示するマルチメディア情報分類配置装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、前記情報セットを単位としてメディア情報を取得する情報セット取得処理ステップと、
    前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成する情報可視化処理ステップと、
    各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出処理ステップと、
    取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定する軸設定処理ステップと、
    各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置する分類配置処理ステップと、
    前記分類配置空間と前記情報セットアイコンを表示する情報表示処理ステップを備えた処理プログラムを記憶したことを特徴とする記憶媒体。
14. 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、前記情報セットを単位としてメディア情報を取得し、
    前記情報セットを構成するそれぞれのメディア情報に対し、その内容を視覚的に表示するアイコンを割り当て、それらアイコンを合成して前記情報セットの内容を視覚的に表現する情報セットアイコンを生成し、
    各情報セットの各メディア情報から特徴量の成分を抽出し、
    取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性から選択した属性を、情報セットアイコンを配置する空間の軸として割り当て、１以上の軸を備えた分類配置空間を設定し、
    各情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて、前記分類配置空間内に情報セットアイコンを分類配置し、
    前記分類配置空間と前記情報セットアイコンを表示することを特徴とするマルチメディア情報分類配置方法。

Images