JP3615518B2 - マルチメディア情報分類配置装置および分類配置方法 - Google Patents
マルチメディア情報分類配置装置および分類配置方法 Download PDFInfo
- Publication number
- JP3615518B2 JP3615518B2 JP2001534014A JP2001534014A JP3615518B2 JP 3615518 B2 JP3615518 B2 JP 3615518B2 JP 2001534014 A JP2001534014 A JP 2001534014A JP 2001534014 A JP2001534014 A JP 2001534014A JP 3615518 B2 JP3615518 B2 JP 3615518B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- information set
- arrangement
- classification
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99936—Pattern matching access
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
- Y10S715/961—Operator interface with visual structure or function dictated by intended use
- Y10S715/965—Operator interface with visual structure or function dictated by intended use for process control and configuration
- Y10S715/966—Computer process, e.g. operation of computer
- Y10S715/968—Computer process, e.g. operation of computer interface for database querying and retrieval
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テキスト情報のみならず、画像情報、音声情報など多様なメディア情報として混在しているマルチメディア情報群の分類・配置を効率的かつ柔軟に行なうことのできるマルチメディア情報分類配置装置に関する。インターネットのＷＷＷ（ワールドワイドウェブ。以下、ＷＷＷと略記する）上においてアクセス可能であるマルチメディア情報群の分類・配置も可能である。
【０００２】
【背景技術】
現在、テキスト情報のみならず、画像情報、音声情報などマルチメディアデータが大量に格納され、アクセス可能となっている。特に、インターネットの発展に伴い、ＷＷＷ（ワールドワイドウェブ）上にある情報は、増加の一途をたどっており、テキスト情報、画像情報、音声情報など多様なマルチメディアデータが大量に格納され、アクセス可能となっている。その結果、ＷＷＷ上から必要な情報を的確に検索することが非常に難しくなってきている。
【０００３】
従来のＷＷＷ上での情報検索システムおよび当該検索システムにおける情報の分類・配置処理として以下のものが知られている。
【０００４】
第１には、テキストキー検索システムが知られている。検索対象となるマルチメディアデータに対してその内容を表わす１または複数のテキスト情報を適当に割り付けておき、検索に当たっては、単語などのテキストを検索キーとして指定し、当該検索キーと同一のテキスト情報が割り付けられているマルチメディアデータを検出する方法が知られている。検索対象のメディア情報がテキスト情報である場合には、テキスト情報の内容をテキストキーにより検索することとなり、当該テキストキー検索はおおむね適切に実行できる場合が多い。このテキストキー検索システムにおける情報の分類・配置例としては、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【０００５】
第２には、テキスト全文検索システムが知られている。これは、検索対象となるマルチメディアデータがテキスト情報の場合に特に有効な検索システムである。幾つかの方法が提案されているが、例えば、前処理としてテキスト全文からその内容の特徴を表わす単語すべてを自動的に抽出しておき、検索キーファイルを生成して割り付けておく。検索に当たっては、単語などのテキストを検索キーとして指定し、検索キーファイル中に当該検索キーと同一のテキストが存在するテキスト情報を検出する。この方法によっても上記第１のテキストをキーとした検索方法と同様、テキスト情報以外のメディア情報、例えば、画像情報については、画像情報ごとに適切なテキストキーを付与するのでなければ、テキストをキーとした検索では、検索を適切に行なうことは難しい。
【０００６】
このテキスト全文検索システムにおける情報の分類・配置例もテキストキー検索システム同様、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【０００７】
第３には、画像情報を検索する方法として、画像の特定部分を指定して部分画像を検索キーとした画像パターン照合による画像検索方法が知られている。この画像検索方法によれば、指定した部分画像を持つ画像情報を検索することは可能である。
【０００８】
この画像パターン照合による画像検索システムにおける情報の分類・配置例も検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【０００９】
しかし、従来のＷＷＷ上での情報検索システムは、テキスト情報以外のメディア情報、例えば、画像情報や音声情報については有効な検索方法が存在していない。
【００１０】
従来の第１のテキストキー検索システムでは、画像情報や音声情報について適切に行なうことは難しい。つまり、１つの画像情報に対して複数のキーワードを割り付けたとしても、画像の特徴を的確かつ柔軟にテキストで表現することが困難である以上、検索者の検索する意図に応じてキーワードにより適切で柔軟な画像検索の実行は困難である。テキスト検索サーバーなどを用いて間接的に検索を行っても、その結果得られる情報はあまり有効なものではない。数多くの画像を収集し、それらを順番に表示することが可能であるが、画像数が多くなるとその中から目的の画像を探し出すのが困難になるという問題があった。
【００１１】
従来の第２の全文テキスト検索システムの場合でも、第１のテキストキー検索システムと同様、画像情報や音声情報について適切に行なうことは難しい。つまり、画像情報や音声情報は元々テキスト情報を持っておらず、テキスト情報の抽出は期待できない。
【００１２】
従来の第３の画像パターン照合による画像検索システムによれば、指定した部分画像を持つ画像情報を検索することは可能である。しかし、検索者は、検索したい画像が持つ部分画像を用意して指定する必要がある。検索者がもっとも欲しい画像がどのような部分画像を持つか明らかでない場合もあり、また、検索に用いる部分画像が常に用意できるとは限らず、検索が困難となる。さらに、検索者自身が検索したい画像を明確に把握していない場合もある。つまり、検索したい画像のおおむねの内容を指定することはできるが、部分的であっても画像そのものの指定ができない場合がある。また、検索者は漠然と何か利用できる画像がないか試行錯誤的に検索したい場合もある。このような場合には部分画像のマッチングのみでは柔軟性に欠け、不充分である。
【００１３】
【発明の開示】
本発明は、効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を、マルチメディア情報の持つ多様な特徴量を利用することにより効率的かつ柔軟に検索し、検索結果をビジュアルかつ分かり易いように分類・配置して表示することができるマルチメディア情報分類配置装置を提供することを目的とする。特にＷＷＷ上のマルチメディア情報を効率的かつ柔軟に検索し、分類・配置することができるマルチメディア情報分類配置装置を提供することを目的とする。
【００１４】
また、本発明は、上記表示した検索結果を基にして、検索者がインタラクティブに所望のマルチメディア情報を柔軟に絞り込んだり、検索したマルチメディア情報を基にしてさらに異なる切り口により検索を次々と続行することができるマルチメディア情報分類配置装置を提供することを目的とする。
【００１５】
上記目的を達成するために、本発明のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、その情報セットを処理単位として用いる。この本発明の情報セットを処理単位として用いる点は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の２つの処理を指す。従来技術のマルチメディア処理の第１の意味は、１つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、１つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第２の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第１の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。
【００１６】
本発明のマルチメディア情報分類配置装置は、上記情報セットを単位としてメディア情報を取得する情報セット取得部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、１以上の軸を備えた情報セット配置空間を設定する軸設定部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置する情報セット分類配置部と、前記情報セット配置空間内に分類配置された各情報セットのメディア情報のうち、前記情報セット配置空間に対する視点に応じたメディア情報を表示する情報表示部を備えたことを特徴とする。
【００１７】
上記構成により、ＷＷＷ上から効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を情報セットとして収集・取得し、多様な特徴量を利用して効率的かつ柔軟に検索することができ、検索結果を情報セット配置空間上にビジュアルかつ分かり易いように表示することができる。
【００１８】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部における、１つの空間軸に対して割り当てる特徴量の属性が複数の特徴量の属性を組み合わせたもの、または、複数の軸に対して１つの特徴量の属性を割り当てたものとすることができる。
【００１９】
なお、情報セットの生成にあたっては、情報セット取得部が、画像情報、テキスト情報、音声情報を含むメディア情報を収集する情報収集部と、前記収集したメディア情報相互の関連性を解析する関連解析部と、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する情報セット生成部を備え、相互に関連性を持つメディア情報の集合を情報セットとすれば良い。もちろん既に生成された情報セットを情報セット読み込み部によりＣＤ−ＲＯＭのような記憶媒体から読み込んでも良く、また、情報セット収集部によりネットワーク上から収集してきても良い。このように、関連性を持つメディア情報を情報セットとしてくくることにより、画像情報に対して、テキスト情報、音声情報などを関連付けられるので、例えば、音声情報に関する特徴量やテキスト情報に関する特徴量を用いて検索すれば関連付けられている画像情報も同時に得ることができる。
【００２０】
また、用いる特徴量は、画像情報に対する特徴量としては、ＤＣＴ変換係数特徴量、画像情報に対するウェーブレット変換係数特徴量、画像情報に対するＨＳＩ色ヒストグラム特徴量などが挙げられる。テキスト情報に対する特徴量としては、特定単語の存在を示す特徴量、テキスト情報に対する特定単語の使用回数の特徴量などが挙げられる。音声情報に対する特徴量としては、音声周波数特徴量、音声情報に対する振幅特徴量、音声情報に対する時間変移特徴量などが挙げられる。
【００２１】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、情報セット配置空間軸の各軸への特徴量の属性の割り当てを再設定し、１以上の軸を備えた情報セット配置空間を再設定する軸再設定機能を備え、前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記情報セット分類配置部が前記抽出された特徴量の成分に応じて各情報セットを前記情報セット配置空間内に分類配置し、前記情報表示部が前記再設定された情報セット配置空間に対する視点に応じたメディア情報を表示することが好ましい。
【００２２】
上記構成により、検索者が実行した検索結果を見て、インタラクティブに再度検索を行なって柔軟に情報を絞り込んだり、再設定した情報セット配置空間軸を用いて、さらに異なる切り口により検索を次々と続行することができる。つまり、検索結果を見て試行錯誤的に、別の特徴量を指定して情報セット配置空間の軸再設定を行なうことができ、再設定した軸を用いた情報セット配置空間を用いて情報セットを再配置し、再表示を行なうことができる。
【００２３】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、前記情報セット分類配置部が、再設定された情報セット配置空間に対して各情報セットを再分類配置し、前記情報表示部が、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示することが好ましい。
【００２４】
上記構成によれば、情報セット配置空間を再設定し、情報セットを再分類した場合に、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【００２５】
また、上記マルチメディア情報分類配置装置において、前記情報セット分類配置部が、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、前記ユーザが選択した情報セットを前記特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えることが好ましい。
【００２６】
上記構成によれば、注目する情報セットの表示位置が特定位置に固定されるので容易に注目している情報セットを見つけられ、また、注目している情報セットと軸設定された特徴量において類似する情報セットが付近に配置されるため、情報セット間の関係の把握が容易になる。また、特定情報セットに注目した上で試行錯誤的な再分類表示が実行できる。
【００２７】
次に、本発明のマルチメディア情報分類配置装置は、コンピュータ読み取り可能な記録媒体に、本発明のマルチメディア情報分類配置装置の処理プログラムを記録して提供することにより、コンピュータを用いて本発明のマルチメディア情報分類配置装置を実現することができる。
【００２８】
次に、本発明のマルチメディア情報分類配置方法は、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを単位としてメディア情報を取得し、前記取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、１以上の軸を備えた情報セット配置空間を設定し、各情報セットの各メディア情報から特徴量の成分を抽出し、各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置し、前記分類配置した情報セットに対して、前記特徴量とは異なる特徴量を指定して前記情報セット配置空間各軸への割り当てを再設定し、前記再設定に従って前記情報セットを前記情報セット配置空間内に再分類配置し、用いる特徴量を切り替えつつ前記情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返して情報セットを分類配置する。
【００２９】
上記構成により、マルチメディア情報の検索において、用いる特徴量を切り替えつつ前記情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返すことにより検索を行なうことができ、従来の検索方法においては、用いた検索キーでは検索絞り込みが不充分な場合、再度同じ種類、同じ特徴量に属する別の検索キーを適当に選んで再検索を行なっていたが、本発明の分類配置方法においては、用いた検索キーでは検索絞り込みが不充分な場合は、別の種類、別の特徴量に属する検索キーを適当に選んで再検索を行なうことができ、より柔軟で適切な検索が行なうことができる。また、このように別の種類、別の特徴量の検索キーを用いるので、検索者にとって予期しないような発見的な検索結果を得ることも期待できる。例えば、テキスト情報に対する特徴量として特定単語の存在を示す特徴量により一次検索を実行し、引き続き、画像情報に対する特徴量としてウェーブレット変換係数特徴量とＨＳＩ色ヒストグラム特徴量を組み合わせて当該情報セットを再分類、再配置すれば、特定単語により検索された情報セットは、特定の形状部分と色を持つものが多いなど、従来知られていなかった傾向を発見できるなどと言った新しい検索システムの利用方法も提供できる。
【００３０】
【発明の実施の形態】
以下、本発明のマルチメディア情報分類配置装置および分類配置方法の実施形態について、図面を参照しながら説明する。
【００３１】
（実施の形態１）
本発明の実施形態１のマルチメディア情報分類配置装置を説明する。本実施形態１のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示するものである。
【００３２】
まず、本発明のマルチメディア情報分類配置装置において用いる情報の処理単位となる情報セットの概念について説明する。次に、本実施形態１のマルチメディア情報分類配置装置の装置構成例を示し、本実施形態１のマルチメディア情報分類配置装置の処理の流れをフローチャートを参照しつつ示す。
【００３３】
本発明のマルチメディア情報分類配置装置は、情報の処理単位として情報セットを用いる。この情報セットとは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた処理単位である。この概念を簡単に示した模式図を図１に示す。図１に示すように、一つの情報セット１には相互に関連性を持った複数の同種または異種のメディア情報が一まとまりに関連付けらている。情報セット１の例では、画像情報１ａと画像情報１ｂ、音声情報１ｃ、キーワード情報１ｄの４つの同種または異種のメディア情報が一まとまりに関連付けらている。これら４つの同種または異種のメディア情報は、例えば、「Ｆ社のパーソナルコンピュータ」という関連性を持っている情報という概念で集められたものとする。
【００３４】
画像情報とテキスト情報を情報セットとして関連付けにおいては、例えば、ＷＷＷ上の画像とテキストが混在したＨＴＭＬ文書から、画像部分を画像情報として抽出し、またＨＴＭＬ文書の画像まわりのテキストをテキスト情報として抽出して両者を関連付ける。他の例としては、動画像の画像情報と音声情報とテキスト情報の関連付けにおいては、例えば、動画像と音声を含むムービーデータを含むＸＭＬファイルから、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出してそれぞれを関連付ける。また、他のデータに対してリンクが張られているＨＴＭＬデータからリンクを辿り、当該リンク先の画像情報、テキスト情報、音声情報などを抽出して生成したものを情報セットとしても良い。また、ＨＴＭＬ文書のように当初から画像情報とテキスト情報が１ファイルの形態で存在するもののみならず、１つの画像情報に対して複数のテキスト情報が関連付けられたり、その逆に１つのテキストに対して複数の画像情報が関連付けられている場合もありうる。また、情報セットの一部としてＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含めることができる。情報セットの一部にＵＲＬを含めることにより、後述するように分類配置された情報セットを選択し、そのＵＲＬを基に当該情報セットを含むウェブのページを表示することが可能となる。
【００３５】
この情報セットの特徴の一つとして、属する各メディア情報そのものは編集加工されることなく、画像情報は画像情報のまま、音声情報は音声情報のまま存在する一方、各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理できる点を挙げることができる。後述するように情報セットを処理単位として特徴量に基づいて分類配置する際には、情報セットに属する各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理し、情報セットが分類配置される位置が決まる。しかし、後述するように情報セットの表示の際においては、表示画面のＸＹ平面（Ｚ軸を奥行きとする）が画像を表示する面である場合には、その表示位置において情報セットに属する画像情報の一つまたは複数が表示されることとなる。もし、表示画面のＸＹ平面がテキスト情報を表示する面である場合には、各情報セットの表示位置において情報セットに属するテキスト情報の一つまたは複数が表示されることとなる。
【００３６】
この本発明の情報セットを処理単位として用いる点は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の２つの処理を指す。従来技術のマルチメディア処理の第１の意味は、１つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、１つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第２の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第１の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。また、新しいメディア情報が与えられると、簡単に、既存の情報セットのうち関連性のある情報セットに属させることや、関連性のある既存の情報セットがない場合に、新しい情報セットすることなどが可能となる。上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものであれば、新しいメディア情報の追加は自立的かつ容易にはできない。
【００３７】
次に、本実施形態１のマルチメディア情報分類配置装置の構成例を図２に示す。図２に示すようにマルチメディア情報分類配置装置は、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、情報表示部５０を備えている。また、６０はインターネットなどのアクセス可能なネットワーク網であって、ネットワーク６０を介してマルチメディア情報源７０がアクセス可能な状態にある。マルチメディア情報源７０には画像情報、テキスト情報、音声情報などの多様なマルチメディア情報が格納されており、この例では相互に関連があるメディア情報の集合である情報セットも格納されているとする。
【００３８】
図２の装置構成例において、情報セット取得部１０は、情報セット読み込み部１１と情報セット収集部１２を備えた構成としている。情報セット収集部１２は、情報セットを収集する部分であり、ネットワーク６０を介してマルチメディア情報源７０に存在する情報セットを収集する。情報セット読み込み部１１は、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付けることもできるものである。このように情報セット取得部１０は、情報セット読み込み部１１と情報セット収集部１２のいずれかまたは両者を適宜備えた構成とすることにより、ネットワーク６０を介してマルチメディア情報源７０に存在する情報セットを収集する機能、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付ける機能を選択的に保持することができる。
【００３９】
この実施形態１で説明する情報セット収集部１２の構成例は、通信インタフェース１３、ハードディスクなどの記憶媒体１４、情報セット収集キー入力部１５を備えている。通信インタフェース１３を介してネットワーク６０上のマルチメディア情報源７０と通信する。記憶媒体１４は、収集した情報セットを格納しておく場合に利用できる。情報セット収集キー入力部１５は、情報セットの収集に当たり、キーワードを用いて収集する範囲を指定する部分である。ネットワーク上のマルチメディア情報源７０に格納されている情報セットが大量にある場合には何も指定せずに情報セットを収集すれば、収集するデータ容量が極めて大きくなってしまう。そこで、情報セットの収集にあたり、あらかじめ範囲を絞り込むために情報セット収集キー入力部１５よりキーワードが入力された場合には、情報セット収集部１２は、当該キーワードを持つ情報セットを収集する。
【００４０】
軸設定部２０は、情報セット配置空間軸を設定する部分であって、各メディア情報から抽出される特徴量の情報セット配置空間各軸への割り当てを設定し、１以上の軸を備えた情報セット配置空間を設定する。例えば、Ｘ軸Ｙ軸Ｚ軸の３軸を指定し、このＸＹＺ軸が張る空間を情報セット配置空間とする。ここでは、例えば、後述する情報表示部５０の表示ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
【００４１】
ここで、情報セット分類配置空間軸に設定し得る特徴量は、画像情報、テキスト情報、音声情報などメディアに応じて抽出し得る特徴量であれば良い。
【００４２】
例えば、画像情報に対しては、ＤＣＴ変換係数特徴量、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム特徴量などが挙げられる。ＤＣＴ変換係数特徴量を情報セット配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。ウェーブレット変換係数特徴量を情報セット配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。ウェーブレット変換もＤＣＴ変換と同じく波形・周波数変換であるが、位置（時間）情報を保ったまま変換することが出来る。ＨＳＩ色ヒストグラム特徴量を情報セット配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。ＨＳＩ色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。
【００４３】
また、例えば、テキスト情報に対しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。特定単語の存在を示す特徴量や特定単語の使用回数の特徴量を情報セット配置空間軸に設定することにより、特定単語の説明などが含まれているテキスト情報の分類、配置が可能となる。これらテキスト情報に画像情報が関連付けられている情報セットであれば、特定単語により表わされる画像情報も併せて情報セット配置空間に分類、配置されることとなる。
【００４４】
また、例えば、音声情報に対しては、音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。音声周波数特徴量を情報セット配置空間軸に設定することにより、音声周波数の特徴、つまり、音声の高低、音質などにより音声情報の分類、配置が可能となる。音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。音声の振幅特徴量や時間変移特徴量を情報セット配置空間軸に設定することにより、音声の大小に応じた音声情報の分類、配置が可能となる。
【００４５】
なお、軸設定部２０による、一の空間軸に対する特徴量の割り当ては、複数の特徴量を組み合わせて割り当てることが可能である。２つ以上の特徴量の組み合わせは、互いの特徴量の単位を変換、調整する必要があるが、スコアのような点数に置き換えて合算することが可能である。例えば、一つの空間軸に対して、第１の特徴量としてＨＳＩ色ヒストグラムの指定色成分が閾値以上の割合で含まれていれば“１”、含まれていない場合に“０”とし、第２の特徴量として、テキスト情報中の特定単語の存在を示す特徴量として存在すれば“１”、存在しない場合に“０”とし、第１の特徴量と第２の特徴量を合算して一つの空間軸に割り当てるなどの処理が可能である。逆に、複数の軸に対して一つの特徴量を割り当てることもできる。一つの特徴量から二つ以上の軸に割り当てる方法は数多く存在するが、そのような方法の一つとして、特徴量をベクトルとみなして、ベクトルの各次元について分散が大きい次元を複数選択してその次元を軸とする方法が挙げられる。
【００４６】
特徴量抽出部３０は、情報セットの各メディア情報から特徴量を抽出する部分である。図２には図示していないが、上述した通り、特徴量抽出部３０には、各メディア情報から様々な特徴量を抽出するための機能を備えており、例えば、画像情報の特徴量抽出機能として、ＤＣＴ変換係数特徴量算出機能、ウェーブレット変換係数特徴量算出機能、ＨＳＩ色ヒストグラム特徴量算出機能などを備えており、例えば、テキスト情報の特徴量抽出機能として、特定単語が存在しているか否かの検知機能、特定単語の使用回数算出機能などを備えており、また例えば音声情報の特徴量抽出機能として、音声周波数特徴量抽出機能、音声の振幅特徴量抽出機能、音声の時間変移特徴量抽出機能などを備えている。これら諸機能を利用して収集した情報セットのそれぞれのメディア情報から、特徴量を抽出する。また、特徴量抽出部３０は、各メディア情報から特徴量を抽出する機能の追加、更新、削除などが可能とする。特徴量抽出機能をＤＳＰ（デジタルシグナルプロセッサ）などで提供しておけば、必要に応じて内容を容易に書き換え、追加できる。
【００４７】
情報セット分類配置部４０は、特徴量抽出部３０により抽出した特徴量に基づいて情報セットを情報セット配置空間内に分類配置する部分である。例えば、情報セット配置空間がＸＹＺ３軸により設定されておれば、情報セットは当該３次元情報セット配置空間内に分類、配置されることとなる。
【００４８】
情報表示部５０は、情報セット分類配置部４０により情報セット配置空間内に分類配置された情報セットのメディア情報を表示する部分であり、情報セット配置空間に対する視点に応じた方向から情報セット配置空間内のメディア情報を表示する。例えば、ＸＹＺ軸から張られた情報セット配置空間に対して、ＸＹ平面が正面であり、Ｚ軸方向を奥行き方向とすると、ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
【００４９】
以上のように構成された本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れの例を図３を参照しつつ説明する。
【００５０】
図３に示すように、本発明の実施形態１のマルチメディア情報分類配置装置の処理は大別して、次のように、情報セットの取得処理（Ｓ１０１）と、情報セット配置空間の軸に割り付ける特徴量を設定し、情報セット配置空間を定義する軸設定処理（Ｓ１０２）と、情報セットのメディア情報から所定の特徴量を抽出する特徴量抽出処理（Ｓ１０３）と、抽出した特徴量に従って情報セットを情報セット配置空間内に分類、配置する情報分類配置処理（Ｓ１０４）と、情報セット配置空間および情報セット配置空間に分類、配置した情報セットを設定視点から表示する情報表示処理（Ｓ１０５）と、表示された検索結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、情報セット配置空間の軸に割り付ける特徴量を再設定し、情報セット配置空間を再定義する再軸設定処理（ステップＳ１０２へのループ）を備えている。なお、最初の軸設定処理（Ｓ１０２）により設定された情報セット配置空間に基づく情報セットの分類、配置により所望の検索結果が得られた場合には、再軸設定処理は必須のものではない。また、上記処理の流れでは、情報セットは当初からアクセス可能な状態で存在していることを前提としたものであるが、実施形態２において後述するようにマルチメディア情報分類配置装置が、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報をまとめ、情報セットを定義・生成する情報セット生成処理を前処理として実行しても良い。
【００５１】
まず、本発明のマルチメディア情報分類配置装置は、情報セット取得部１０により情報セット取得処理（Ｓ１０１）を実行する。ここでは、例えば、情報セット取得部１０により、通信インタフェース１３を介してインターネットなどのネットワーク６０上にアクセス可能な状態にあるＷＷＷサーバーなどのマルチメディア情報源７０から情報セットを収集して情報セットを取得する。この例では、情報セット取得処理（Ｓ１０１）として、画像情報とテキスト情報が関連付けられている情報セットを複数取得する。また、取得する情報セットの範囲をある程度絞るため、キーワード検索によりヒットしたもののみ取得しても良い。この例では、“バッグ”というキーワードにヒットする情報セットを取得したとする。
【００５２】
次に、マルチメディア情報分類配置装置は、軸設定部２０により情報セット配置空間の軸に割り付ける特徴量を設定し、情報セット配置空間を定義する軸設定処理（Ｓ１０２）を実行する。軸設定部２０は、上記に示した画像情報に対するＤＣＴ変換係数特徴量など各メディア情報から抽出可能な特徴量から、情報セット配置空間の各軸に対して割り付ける特徴量をそれぞれ設定し、情報セット配置空間を定義することにより軸設定処理を実行する。この例では、Ｘ軸（水平方向）として画像情報のウェーブレット変換係数特徴量を割り当て、Ｙ軸（垂直方向）としてＨＳＩ色ヒストグラム特徴量を割り当て、Ｚ軸（奥行き方向）としてテキスト情報内での特定単語の使用回数を示す特徴量を割り当てる。この説明では、Ｚ軸に割り付ける特定単語の存在を示す特徴量として、情報セット収集において用いた“バッグ”という単語の使用回数とする。
【００５３】
次に、マルチメディア情報分類配置装置は、特徴量抽出部３０を用いて、収集されている情報セットのそれぞれのメディア情報から、各空間軸に割り当てられている特徴量を抽出する特徴量抽出処理（Ｓ１０３）を実行する。上述した通り、図２には示されていないが、特徴量抽出部３０には、ウェーブレット変換係数特徴量算出機能、ＨＳＩ色ヒストグラム特徴量算出機能、特定単語の使用回数算出機能を保持しており、収集されている情報セットのそれぞれのメディア情報から、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム、特定単語の使用回数を抽出する。
【００５４】
次に、マルチメディア情報分類配置装置は、情報セット分類配置部４０を用いて、抽出した特徴量に従って情報セットを情報セット配置空間内に分類、配置する情報分類配置処理（Ｓ１０４）を実行する。そして、情報表示部５０により、情報セット配置空間および情報セット配置空間に分類、配置した情報セットを設定視点から表示する情報表示処理（Ｓ１０５）を実行する。図４に、“バッグ”のキーワードで収集された情報セットを設定された情報セット配置空間内に分類、配置した例を示す。この表示例では各情報セットは関連付けられたメディア情報のうち、画像情報を前面（ＸＹ平面）として表示している。Ｘ軸がウェーブレット変換係数特徴量であるので、Ｘ軸座標が似通った位置には、外形が似通ったバッグが表示されている。Ｙ軸がＨＳＩ色ヒストグラム特徴量であるのでＹ軸座標が似通った位置には、色合いが似通ったバッグが表示されている。
【００５５】
図４に示したように、情報セット配置空間に分類、配置された情報セットの中には、複数のテキスト情報が関連付けられているものがある。図４では画像情報が前面に表示されているが、それらはテキスト情報を伴っている。ここでは、図５に示すように情報セット配置空間上の画像情報をポインティングデバイスでクリックすると付随しているテキスト情報のＩＤ番号（“テキスト１”など）がプルダウンメニューで表示される。プルダウンメニューからテキスト情報のＩＤ番号を選ぶと、図６に示すように該当するテキストが表示される。
【００５６】
以上の情報セット取得処理ステップＳ１０１から情報表示処理ステップＳ１０５により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は（ステップＳ１０６：ＮＯ）、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は（ステップＳ１０６：ＹＥＳ）、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップＳ１０２にループすることが可能である。つまり、情報表示処理ステップＳ１０５により表示された分類・配置表示結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、軸設定部２０を用いて、情報セット配置空間の軸に割り付ける特徴量を再設定し、情報セット配置空間を再定義する再軸設定処理を実行する。このように、必要な画像情報が得られるまで情報セット配置空間軸に割り当てる特徴量を再設定し（Ｓ１０２）、情報セットの各メディア情報から再設定した特徴量を再抽出し（Ｓ１０３）、再抽出した特徴量に基づいて情報セットを情報セット配置空間に再分類、再配置し（Ｓ１０４）、情報表示部５０により情報セット配置空間に再配置された情報セットを再表示する（Ｓ１０５）。例えば、軸設定部２０により、Ｘ軸をウェーブレット変換係数特徴量からＤＣＴ変換係数特徴量に替えたり、Ｙ軸をＨＳＩ色ヒストグラム特徴量から全く異なる切り口として音声周波数特徴量に替えたりすることも可能である。この例では、Ｘ軸をウェーブレット変換係数特徴量からＨＳＩ色ヒストグラム特徴量に切り替え、Ｙ軸をＨＳＩ色ヒストグラム特徴量からＤＣＴ変換係数特徴量に替えたものとする。軸設定部２０により情報セット配置空間軸を再設定し、特徴量の再抽出、当該情報セット配置空間への再分類、再表示した例を図７に示す。このような一連の軸再設定処理を、所望の検索結果が得られるまで繰り返す。
【００５７】
このように、ある特徴量で得られた情報セットの分類・配置の表示結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
【００５８】
また、画像情報など情報セットの分類・配置である表示結果を見て、以下のような情報処理も可能である。
【００５９】
第１には、分類・配置された情報セットのうち選択した情報セットが含まれるウェブのページを表示することも可能である。情報セットの一部に当該画像情報など情報セットが含まれているＵＲＬを併せて保存しておけば、当該画像情報が情報表示部５０上において利用者より選ばれた場合にＵＲＬ情報を基にしてそのウェブページを表示することが可能となる。例えば、画像情報を選び、メニューなどから“ウェブページ”というボタンをポインティングデバイスでクリックすることによりそのウェブページを表示する。
【００６０】
第２には、分類・配置された情報セットを見て、検索キーを与え、当該キーに類似する情報セットをリスト表示することも可能である。例えば、図４のように分類・配置された情報セットに対して、検索キーとしてキーイメージ（パターン照合用のキーとなる画像）を与え、パターン照合により当該キーイメージに類似する画像情報を類似イメージリストとして表示する。その例を図８に示す。入力されたキーイメージに対して類似イメージリストが表示されている。図８の例は、検索キーとしてキーイメージを与えるものであるが、検索キーとしてテキスト情報を与えることもできる。この場合、当該入力キーワードと、類似イメージリストが表示される。
【００６１】
以上、本実施形態１に示したマルチメディア情報分類配置装置によれば、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示することができる。
【００６２】
（実施形態２）
本発明の実施形態２のマルチメディア情報分類配置装置を説明する。本実施形態２のマルチメディア情報分類配置装置は、実施形態１で説明した情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成する機能を備えたものである。
【００６３】
まず、本実施形態２のマルチメディア情報分類配置装置の装置構成例を図９に示す。本実施形態２のマルチメディア情報分類配置装置は図９に示すように、情報セット取得部１０以外の、軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、情報表示部５０、ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００６４】
本実施形態２のマルチメディア情報分類配置装置では、図９に示すように、情報セット取得部１０の情報セット収集部１２が、通信インタフェース１３、記憶媒体１４、情報セット収集キー入力部１５に加え、情報収集部１６、関連解析部１７、情報セット生成部１８を備えている。
【００６５】
情報収集部１６は、ネットワーク６０上のアクセス可能なマルチメディア情報源７０に格納されている画像情報、テキスト情報、音声情報を含むメディア情報を収集する。メディア情報の収集にはロボットを用いて自動収集することができる。ロボットを用いる場合には、ネットワーク６０上のマルチメディア情報群７０からメディア情報を収集する選択基準を指定する。例えば、キーワード情報、サイト情報、リンク情報、特定情報セットに対する類似度情報を含む基準群から選んで指定する。選択基準にキーワード情報を持たせれば、当該キーワードが付されていないメディア情報は収集されず、範囲を限定することができる。テキスト検索サーバにキーワードを与えて、その結果返されるぺージの検索を行う。
【００６６】
選択基準としてサイト情報、リンク情報を持たせれば、ロボットは、指定されているＵＲＬおよびそのＵＲＬ以下のぺージやそのＵＲＬからリンクされているぺージを検索する。このように、ＷＷＷ上を巡回し、リンクをたどることによって、複数のＷｅｂぺージをたどる。
【００６７】
選択基準として特定情報セットに対する類似度情報を持たせれば、ある情報セットのメディア情報と似通っているメディア情報を中心に収集することができる。
【００６８】
情報収集部１６は、画像情報、テキスト情報、音声情報などを収集し、記憶媒体１４に格納する。
【００６９】
関連解析部１７は、情報収集部１６によりマルチメディア情報源から収集したメディア情報相互間の関連性を解析する部分である。例えば、画像情報に関連しているテキストの解析としては、ＨＴＭＬ文書であれば、当該画像付近のテキストやＨＴＭＬの情報を参照しながら、ＨＴＭＬの構造を解釈した上で、画像部分を画像情報として抽出し、またＨＴＭＬ文書の画像まわりのテキストをテキスト情報として抽出し、画像に近いテキストの関連度合を解析する。音声情報の関連度合の解析も同様に可能である。また、ＨＴＭＬでなくともＰＤＦファイルなど１つのファイルにまとめられているものであれば、当該ファイル中に存在する画像情報、テキスト情報、音声情報について関連度合が高いとして解析することが可能である。また、例えば、１つのまとまったファイルでなくとも、複数のメディア情報に同じキーワードが付されていれば、関連度合が高いとして解析することが可能である。当該キーワードがありふれたものでなく、特異なものであれば、関連度合がより高いとして解析することも可能である。さらに、複数のメディア情報の関連度合を人手によって決めることも可能であることは言うまでもない。また、他の例として、動画像と音声を含むムービーデータを含むＰＤＦファイルであれば、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出し、それぞれを関連付け、情報セットとすることができる。
【００７０】
情報セット生成部１８は、関連解析部１７による解析結果に基づいて、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する。
【００７１】
以上のように、本実施形態２のマルチメディア情報分類配置装置は、実施形態１で説明した情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成することができる。なお、生成した情報セットを用いて、情報セット配置空間に情報セットを分類配置する処理は、実施形態１で図３のフローチャートを用いて説明したものと同様であり、ここでの詳しい説明は省略する。
【００７２】
（実施形態３）
本発明の実施形態３のマルチメディア情報分類配置装置を説明する。本実施形態３のマルチメディア情報分類配置装置は、情報セット分類配置部によるメディア情報の特徴量に基づいた情報セット配置空間への分類、配置において、自己組織化マップを応用するものである。
【００７３】
本実施形態３マルチメディア情報分類配置装置の装置構成例を図１０に示す。図１０に示すように、情報セット分類配置部４０は、自己組織化マップ処理部４１を備えている。なお、情報セット分類配置部４０以外の、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、情報表示部５０ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００７４】
自己組織化マップは、ニューラルネットワークを用いた教師なし学習モデルである。自己組織化マップでは、高次元の特徴ベクトル空間から低次元空間に写像を行なう。その際に、特徴ベクトルが類似しているものは低次元空間でも近くに配置される。この自己組織化マップをメディア情報の分類・配置処理に応用し、特徴量抽出部３０が抽出した特徴量をもとに自己組織化マップ処理を用いて情報セットを配置する。自己組織化マップ処理部４１は特徴量抽出部３０が抽出した特徴量に対して当該自己組織化マップ生成処理を実行するものである。本実施形態３の情報セット分類配置部４０は、自己組織化マップ処理部４１が生成した自己組織化マップで得られた配置情報を基に情報セット配置空間に分類・配置する。また、自己組織化マップ処理と併せて、Ｚ軸（奥行き方向）に割り当てられている特徴量を基にした奥行き表現も組み合わせることもできる。例えば、テキスト情報を元に、単語の頻度情報に分解し、それぞれの頻度をベクトル化して、そのベクトルに基づき、奥行き方向の軸の位置を決定する。また、他の例としては、キーワードを用いてＷｅｂを検索した場合、テキスト検索サーバが返すキーワードとＷｅｂぺージの関連度をもとに、関連度が高い順に奥行き情報として表示する事もでき、それらを切り替えて表示することができる。
【００７５】
以上のように、本実施形態３のマルチメディア情報分類配置装置によれば、自己組織化マップ処理を応用して、画像を空間上で内容が近いと思われるものが近くに、内容が遠いと思われるものが遠くにそれぞれ配置することが出来る。
【００７６】
（実施形態４）
本発明の実施形態４のマルチメディア情報分類配置装置を説明する。本実施形態４のマルチメディア情報分類配置装置は、情報セットが分類・配置された情報セット配置空間の表示方法、ブラウジング方法に工夫を加えたものである。
【００７７】
本実施形態４のマルチメディア情報分類配置装置の装置構成例を図１１に示す。図１１に示すように、情報表示部５０は表示視点移動部５１を備えている。なお、情報表示部５０以外の、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００７８】
表示視点移動部５１は、情報表示部５０において、情報セット分類配置部４０により情報セットが分類・配置された情報セット配置空間を表示するにあたり、当該空間を表示する視点の設定位置を移動させる機能を備えている。情報表示部５０は、表示視点移動部５１により設定された表示視点から見た情報セット配置空間を表示する。
【００７９】
実施形態１では、情報表示部５０による情報セット配置空間の表示例として図４を示した。本実施形態３のマルチメディア情報分類配置装置では、この図４の表示視点をデフォルトとし、表示視点移動部５１により表示視点を動的に変化させることが可能となる。言わば、情報セットが分類・配置された情報セット配置空間内を仮想的に自由に動きまわり、移動位置から見える情報セット配置空間内の情報セットの分類・配置された様子を表示することができる。通常であれば、ディスプレイ表示面は、基本的には２次元平面であるので、遠近法による表示が可能ではあるものの、奥行きの深い位置にある情報セットは見づらいものとなりがちである。しかし、本実施形態３のマルチメディア情報分類配置装置によれば、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットの分類・配置の様子をディスプレイ表示面近くに表示させることができる。図１２は、図４の状態から、表示視点を奥行き方向に進めた場合の表示例を示したものである。
【００８０】
（実施形態５）
実施形態５のマルチメディア情報分類配置装置は、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、再設定された情報セット配置空間に対して各情報セットを再分類配置し、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示するものである。
【００８１】
また、再分類配置において、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、ユーザが選択した情報セットを特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたものである。
【００８２】
図１３は、実施形態５にかかるマルチメディア情報分類配置装置の装置構成を簡単に示したものである。図１３に示すように、情報表示部５０は動画処理部５２を備えている。また、情報セット分類配置部４０は、配置位置固定指定部４１を備えている。なお、情報セット分類配置部４０および情報表示部５０以外の、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００８３】
情報表示部５０の動画処理部５２は、軸の再設定により各情報セットを情報セット分類配置空間上に再分類配置する様子を表示するにあたり、各情報セットの表示されているメディア情報を、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する機能を有する。例えば、各情報セットの再分類配置前の位置を記憶しておき、各情報セットの再分類配置後の位置を情報セット分類配置部４０から通知を受け、両座標点を基に各情報セットごとに移動方向、移動距離を求め、所定きざみで各情報セットの表示されているメディア情報を移動して行く。なお、所定きざみとは、移動ステップ数にかかわらず所定の距離ずつの移動としても良く、また、所定のステップ数で移動が完了するように移動距離を調整したきざみとしても良い。
【００８４】
情報セット分類配置部４０は配置位置固定指定部４１を備えており、ユーザは配置位置固定指定部４１を介して特定の情報セットを特定位置に固定するように指定することができる。情報セット分類配置部４０は、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、指定された情報セットを特定位置に固定した状態で、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたものである。
【００８５】
上記した、所定きざみで各情報セットの表示されているメディア情報を移動して行く再分類配置機能と、特定の情報セットを特定位置に固定した再分類配置機能を、図１４と図１５の具体例を用いつつ説明する。
【００８６】
まず、再分類配置前の情報セット配置空間における情報セットの表示状態である図１４を説明する。ＸＹＺ軸が張る情報セット配置空間において情報表示部５０の表示ディスプレイ面がＸＹ平面、画面奥行きがＺ軸方向とする。いま、軸設定部２０によりＸＹ平面方向の軸としてＨＳＩ色ヒストグラム特徴量が割り当てられ、Ｚ軸には特に特徴量が割り当てられずにすべて“０”値が割り当てられたものとする。この当初の再分類配置前の情報セット配置空間において、情報セット分類配置部４０により各情報セットは、情報セット中に含まれる画像メディア情報のＨＳＩ色ヒストグラムに応じて、Ｚ＝０の平面上に分類配置される。情報表示部５０により表示された再分類配置前の表示例を示したものが図１４である。この例では、各々の情報セット中にネクタイなど織物の模様の画像メディア情報が含まれていたため、図１４に見るように、当該画像メディア情報の色情報が類似した情報セットの画像同士がＸＹ平面上において近くに配置されている。
【００８７】
次に、再分類配置される様子を説明する。各情報セットはそのコンテンツを表わすキーワードなど各種のキーワード情報を含んでおり、特定のキーワードとの類似度合いを特徴量として持っている。いま、軸設定部２０により特定のキーワードとの類似度合いの特徴量がＺ軸に対して割り当てられたものとする。次に、情報セット分類配置部４０が軸設定部２０により再設定された情報セット配置空間軸に応じて情報セットを再分類配置する。この場合、再分類配置前ではＸＹ平面上に並べられていた各情報セットが、特定キーワードとの類似度合いの特徴量をＺ軸（奥行き）として再配置される。情報表示部５０により表示された再分類配置後の具体例を示したものが図１５である。図１５の例では特定キーワードとして「ストライプ柄」を用いた。図１５の再分類配置結果は、ＸＹ平面方向は色ヒストグラム、Ｚ方向は「ストライプ柄」という特定キーワードの特徴量によって並べられ、ストライプ柄を持つ情報セットの画像が前面に大きく表示されたものとなった。このように情報セット群の色の傾向とストライプ柄の有無の分類を同時に視覚的に把握できる。また、再分類配置前ではすべての情報セットがＸＹ平面上に並べられていた状態であったのに対して再分類配置後では特定キーワードとの類似度合いが高いものほど前面に、低いものほど遠方に並べられ、特定キーワードに関連する情報セットを見易くしたり、逆に関連の薄い情報セットを小さく表示することもできる。
【００８８】
ここで、動画処理部５２は、各情報セットの表示されているメディア情報を、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する。つまり、図１４の状態から図１５の状態まで、各情報セットの表示メディア情報を再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかもメディア情報が目で追えるように移動してゆく様子を表示する。動画処理部５２は、図１４に示した各情報セットの再分類配置前の位置を記憶しておき、図１５に示した各情報セットの再分類配置後の位置の通知を受け、両座標位置を基に各情報セットごとに移動方向、移動距離を求め、所定きざみで各情報セットの表示されているメディア情報を移動して行く。
【００８９】
また、別の具体例としては、軸設定部２０がＸＹ軸する色ヒストグラム特徴量の割り当てに代え、ウェーブレット変換係数特徴量を割り当てたものとすると、上記と同様に、情報セット分類配置部４０により新しい情報セット分類配置空間上において各情報セットが分類配置され、情報表示部５０により再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかもメディア情報が目で追えるように移動してゆく様子が表示される。
【００９０】
次に、情報セット分類配置部４０の配置位置固定指定部４１を用いた特定の情報セットを特定位置に固定した状態での再分類配置の具体例を説明する。
【００９１】
ユーザは、配置位置固定指定部４１を介して、特定の情報セットと他の情報セットとの関係を把握するために、表示されている画面内から一つまたは複数の情報セットを選択する。例えば一つの情報セットを選択し、その情報セットを中央に固定し、他の情報セットを自己組織化マップ法により情報セット分類配置空間内に配置してゆく。また、複数の情報セット、例えば、４つの情報セットを選択し、それら情報セットの位置関係を特定の位置関係、例えば、画面の四隅に固定して、他の情報セットを自己組織化マップ法により情報セット分類配置空間内に配置してゆくことも可能である。このように特定の情報セットを特定の位置関係に固定して分類配置を行うことにより、選択した情報セットと他の個々の情報セットとどのような関係にあるのかが視覚的に容易に把握できるようになる。例えば、今、情報セット分類配置空間の軸が色情報を特徴量としている場合、四隅にそれぞれ、赤の画像、青の画像、黄の画像、緑の画像を固定して分類配置すれば、赤系統の画像は固定した赤い画像のある隅側に集まり、紫色の画像は、赤い画像の位置と青い画像の位置の中間付近に集まって表示されるため、色の系統に沿って個々の画像を見つけることが容易になる。
【００９２】
図１６と図１７は、配置位置固定指定部４１を用いた特定の情報セットを特定位置に固定した再分類配置の概念を示した図である。図１６は、再分類配置前において配置位置固定指定部４１を用いて特定の情報セットを選択指定した様子を示す図、図１７が図１６で選択指定された情報セットを特定位置（画面中央）に固定して他の情報セットを再分類配置した様子を示した図である。図１６において、情報セット５がユーザによって配置位置固定指定部４１を介して選択指定された情報セットである。この情報セット５を中央に固定して色情報により再分類配置すれば、図１７のように情報セット５に近い色合いを持つ情報セットが中央付近に集まることとなる。
【００９３】
上記は一例であって、例えば、色以外にも、テキスト情報に対する特定単語の存在を示す特徴量が情報セット分類配置空間の軸として割り当てられている場合であれば、選択された情報セットの持つテキストに類似しているテキストを持つ情報セットをその近隣に分類配置することも可能である。
【００９４】
なお、この配置位置固定指定部４１を用いた特定の情報セットを特定位置に固定した再分類配置機能に対して、所定きざみで各情報セットの表示されているメディア情報を移動して行く再分類配置機能とを組み合わせることも可能であり、特定の情報セットを特定位置に固定した再分類配置の際に、各情報セットが再分類後の位置まで所定きざみで移動していくように表示させることも可能である。
【００９５】
上記構成によれば、情報セット配置空間を再設定し、注目する情報セットを特定位置に固定された状態で再分類することができ、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【００９６】
（実施形態６）
本発明の実施形態６のマルチメディア情報分類配置装置を説明する。本実施形態６のマルチメディア情報分類配置装置は、上述した実施形態１〜５のマルチメディア情報分類配置装置を、コンピュータネットワークを介したクライアントサーバーシステムで構築したものである。上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成のうち、どの要素をサーバーコンピュータに組み込み、どの要素をクライアントコンピュータに組み込むかにより幾つかのパターンが可能である。
【００９７】
図１８は、サーバーコンピュータ１０１に情報セット取得部１０を設け、クライアントコンピュータ１００に軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、情報表示部５０を設けたクライアントサーバ構成例である。
【００９８】
図１９は、サーバーコンピュータ１０１に情報セット取得部１０、特徴量抽出部３０を設け、クライアントコンピュータ１００に軸設定部２０、情報セット分類配置部４０、情報表示部５０を設けた構成である。
【００９９】
図２０は、サーバーコンピュータ１０１に情報セット取得部１０、特徴量抽出部３０、情報セット分類配置部４０を設け、クライアントコンピュータ１００に軸設定部２０、情報表示部５０を設けた構成である。
【０１００】
ただし、上記の図１８〜図２０のそれぞれの構成において、情報セットの取得方法に関して幾通りかの方法が挙げられる。例えば、サーバコンピュータ１０１がロボットとして、あらかじめ指定されている内容の情報セットをネットワーク上などから定期的に自動収集・自動更新する方法がある。他には、図１８〜図２０はいずれも情報セット取得部１０がサーバコンピュータ１０１に図示されているが、情報セット取得部１０の情報セット収集部１２から情報セット収集キー入力部１５を分離してクライアントコンピュータ１００に設け（図示せず）、クライアントコンピュータ１００の利用者が情報セット収集キー入力部１５を用いて情報セット収集キーを入力し、当該入力された情報セット収集キーをサーバコンピュータ１０１の情報セット取得部１０に渡し、サーバコンピュータ１０１が当該情報セット収集キーを用いて、該当する情報セットをネットワーク上などから動的に収集する方法がある。
【０１０１】
このように、上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成要素を、サーバーコンピュータとクラアントコンピュータに分けて設けることにより、クライアントサーバシステムにより本発明のマルチメディア情報分類配置装置を構築することができる。
【０１０２】
（実施形態７）
本発明の実施形態７は、上記先行する実施形態１〜６で説明したマルチメディア情報分類配置装置などを用いたマルチメディア情報検索分類処理を用いて、情報セットに対する柔軟な分類、配置、検索絞り込み、他の検索の切り口に切り替えた分類配置方法である。
【０１０３】
従来に見られる検索方法は、検索キーワードを与え、検索結果を見て、さらに、検索キーワードを限定的なものに絞り込んで再検索を実行したり、検索結果が思わしくない場合に、新たな検索キーワードに代えて再検索を実行するものであり、試行錯誤的に検索キーワードを調整しつつ検索を実行するものと言える。
【０１０４】
しかし、検索キーワードというテキスト情報としての１つの特徴量について試行錯誤を重ねるのみである。
【０１０５】
本実施形態７の情報セットの分類配置方法は、検索キーとしてあるメディア情報のある特徴量を用いて検索した場合、検索結果を見て、次に、前記メディア情報とは異なるメディア情報の特徴量を用いた検索や、同じメディア情報であるが前回とは異なる特徴量を指定したりして、検索を次々と実行してゆく方法である。つまり、各メディア情報から抽出される特徴量の情報セット配置空間各軸への割り当てを設定して１以上の軸を備えた情報セット配置空間を設定し、分類配置した情報セットに対して、分類・配置に用いた特徴量とは異なる特徴量を指定して情報セット配置空間各軸への割り当てを再設定し、前記再設定に従って情報セットを前記情報セット配置空間内に再分類配置し、用いる特徴量を切り替えつつ情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返す分類配置方法である。
【０１０６】
この方法であれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
【０１０７】
例えば、実施形態１で説明したマルチメディア情報分類配置装置を用いて、売れ筋の女性用バッグのデザインを調べるため、“バッグ”というキーワードを指定して情報セットを収集し、次に、情報セット配置空間軸として、Ｘ軸にウェーブレット変換係数特徴量、Ｙ軸に女性というキーワードの存在を示す特徴量、Ｚ軸にバッグというキーワードの存在を示す特徴量を割り付けて情報セット配置空間内に分類配置し、表示結果が得られたとする。ここで例えば、検索者が、表示された画像情報の中に、白系統色のバッグを持ち、白毛の犬を連れていた女性が写っている画像を発見した場合、「犬を連れ歩く女性は犬と同系統色のバッグを持つ人が多いかも知れない」という推測を持つ場合がある。当該推測を確かめるべく、情報セット配置空間軸に対して異なる切り口の特徴量を割り付けて、再軸設定をし、情報セットの再分類、再配置、再表示を実行する。例えば、Ｘ軸に“バッグ”というキーワードの存在を示す特徴量と“犬”というキーワードの存在を示す特徴量の合算を割り付け（つまり、バッグと犬の両方のキーワードを持つことを指定し）、Ｙ軸に色ヒストグラム特徴量を割り付けて、情報セット配置空間軸を再設定し、情報セットを再分類・再配置するというような新たな切り口の検索が可能となる。得られた画像情報の分類・配置の表示結果を見て、同系統の色のバッグと犬を持ち歩く女性が多いかも知れないという推測の真偽判断に役立てることができる。
【０１０８】
また、ここで、実施形態１でも説明したように当該情報セットに他のメディア情報、例えば、テキスト情報として個人情報が付随している場合、ポインティングデバイスでそれぞれの画像情報をクリックすると、同系統の色のバッグと犬を持ち歩く女性は年収が高い傾向があるなどの新たな傾向が発見できるかも知れない。さらに、情報セット中に、画像情報に関連づけられた音声情報としての犬の鳴き声音声情報が含まれておれば、情報セット配置空間軸の一つを音声情報の音声周波数特徴量を割り付けて再分類・配置、再表示を実行した場合に、別の切り口からの発見があるかも知れない。例えば、音声周波数が高い座標に多くの画像情報が配置されておれば、犬の音声が高い傾向にある、つまり、室内で飼えるような小型犬が多い傾向が発見できるかも知れない。つまり「小型犬を連れ歩く女性は、持ち歩くバッグの色を犬の色に合わせる傾向がある」という傾向を発見できるかも知れない。
【０１０９】
このように、本実施形態７の情報セットの分類配置方法によれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる。
【０１１０】
（実施形態８）
本発明のマルチメディア情報分類配置装置は、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のマルチメディア情報分類配置装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図２１に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【０１１１】
産業上の利用可能性
本発明のマルチメディア情報分類配置装置によれば、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示することができる。
【０１１２】
また、本発明のマルチメディア情報分類配置装置によれば、情報セット生成部を保持することにより、情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成することができる。
【０１１３】
また、本発明のマルチメディア情報分類配置装置によれば、自己組織化マップ処理部を備えることにより、自己組織化マップ処理を応用し、情報セットの情報セット配置空間への分類・配置を行なうことができる。
【０１１４】
また、本発明のマルチメディア情報分類配置装置によれば、表示視点移動部を備えることにより、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットの分類・配置の様子をディスプレイ表示面近くに表示させることができる。
【０１１５】
また、本発明のマルチメディア情報分類配置装置によれば、情報セット配置空間を再設定し、注目する情報セットを特定位置に固定された状態で再分類することができ、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【０１１６】
また、本発明の情報セットの分類配置方法によれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報を得ることができる。
【図面の簡単な説明】
【図１】本発明のマルチメディア情報分類配置装置で用いる処理単位としての情報セットの概念を説明する図
【図２】本発明の実施形態１のマルチメディア情報分類配置装置の装置構成例を示す図
【図３】本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れを示すフローチャート
【図４】本発明の実施形態１のマルチメディア情報分類配置装置において、“バッグ”のキーワードで収集された情報セットを情報セット配置空間に分類、配置した場合の表示例を示す写真
【図５】第４図に示した情報セット配置空間上の画像情報に付随しているテキスト情報のＩＤ番号がプルダウンメニューで表示された例を示す写真
【図６】第５図に示されたプルダウンメニューからテキスト情報のＩＤ番号を選んで該当するテキストが表示された例を示す写真
【図７】軸設定部２０により情報セット配置空間軸を再設定し、特徴量の再抽出、当該情報セット配置空間へ再分類、再表示した例を示す写真
【図８】キーイメージに類似する画像情報を類似イメージリストとして表示した例を示す写真
【図９】本発明の実施形態２のマルチメディア情報分類配置装置の装置構成例を示す図
【図１０】本発明の実施形態３のマルチメディア情報分類配置装置の装置構成例を示す図
【図１１】本発明の実施形態４のマルチメディア情報分類配置装置の装置構成例を示す図
【図１２】本発明の実施形態５のマルチメディア情報分類配置装置において、表示視点を奥行き方向に進めた場合の表示例を示す写真
【図１３】本発明の実施形態５のマルチメディア情報分類配置装置の装置構成例を示す図
【図１４】情報表示部５０により表示された再分類配置前の具体例を示した図
【図１５】情報表示部５０により表示された再分類配置後の具体例を示した図
【図１６】再分類配置前において配置位置固定指定部４１を用いて特定の情報セットを選択指定した様子を示す図
【図１７】第１６図で選択指定された情報セットを特定位置（画面中央）に固定して他の情報セットを再分類配置した様子を示した図
【図１８】本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図１９】本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図２０】本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図２１】本発明の実施形態７のマルチメディア情報分類配置装置の処理内容を処理ステップとしたプログラムを記録した記録媒体の例を示す図
【発明の属する技術分野】
本発明は、テキスト情報のみならず、画像情報、音声情報など多様なメディア情報として混在しているマルチメディア情報群の分類・配置を効率的かつ柔軟に行なうことのできるマルチメディア情報分類配置装置に関する。インターネットのＷＷＷ（ワールドワイドウェブ。以下、ＷＷＷと略記する）上においてアクセス可能であるマルチメディア情報群の分類・配置も可能である。
【０００２】
【背景技術】
現在、テキスト情報のみならず、画像情報、音声情報などマルチメディアデータが大量に格納され、アクセス可能となっている。特に、インターネットの発展に伴い、ＷＷＷ（ワールドワイドウェブ）上にある情報は、増加の一途をたどっており、テキスト情報、画像情報、音声情報など多様なマルチメディアデータが大量に格納され、アクセス可能となっている。その結果、ＷＷＷ上から必要な情報を的確に検索することが非常に難しくなってきている。
【０００３】
従来のＷＷＷ上での情報検索システムおよび当該検索システムにおける情報の分類・配置処理として以下のものが知られている。
【０００４】
第１には、テキストキー検索システムが知られている。検索対象となるマルチメディアデータに対してその内容を表わす１または複数のテキスト情報を適当に割り付けておき、検索に当たっては、単語などのテキストを検索キーとして指定し、当該検索キーと同一のテキスト情報が割り付けられているマルチメディアデータを検出する方法が知られている。検索対象のメディア情報がテキスト情報である場合には、テキスト情報の内容をテキストキーにより検索することとなり、当該テキストキー検索はおおむね適切に実行できる場合が多い。このテキストキー検索システムにおける情報の分類・配置例としては、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【０００５】
第２には、テキスト全文検索システムが知られている。これは、検索対象となるマルチメディアデータがテキスト情報の場合に特に有効な検索システムである。幾つかの方法が提案されているが、例えば、前処理としてテキスト全文からその内容の特徴を表わす単語すべてを自動的に抽出しておき、検索キーファイルを生成して割り付けておく。検索に当たっては、単語などのテキストを検索キーとして指定し、検索キーファイル中に当該検索キーと同一のテキストが存在するテキスト情報を検出する。この方法によっても上記第１のテキストをキーとした検索方法と同様、テキスト情報以外のメディア情報、例えば、画像情報については、画像情報ごとに適切なテキストキーを付与するのでなければ、テキストをキーとした検索では、検索を適切に行なうことは難しい。
【０００６】
このテキスト全文検索システムにおける情報の分類・配置例もテキストキー検索システム同様、検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【０００７】
第３には、画像情報を検索する方法として、画像の特定部分を指定して部分画像を検索キーとした画像パターン照合による画像検索方法が知られている。この画像検索方法によれば、指定した部分画像を持つ画像情報を検索することは可能である。
【０００８】
この画像パターン照合による画像検索システムにおける情報の分類・配置例も検索にてヒットしたデータをソートしてリスト表示するものが挙げられる。
【０００９】
しかし、従来のＷＷＷ上での情報検索システムは、テキスト情報以外のメディア情報、例えば、画像情報や音声情報については有効な検索方法が存在していない。
【００１０】
従来の第１のテキストキー検索システムでは、画像情報や音声情報について適切に行なうことは難しい。つまり、１つの画像情報に対して複数のキーワードを割り付けたとしても、画像の特徴を的確かつ柔軟にテキストで表現することが困難である以上、検索者の検索する意図に応じてキーワードにより適切で柔軟な画像検索の実行は困難である。テキスト検索サーバーなどを用いて間接的に検索を行っても、その結果得られる情報はあまり有効なものではない。数多くの画像を収集し、それらを順番に表示することが可能であるが、画像数が多くなるとその中から目的の画像を探し出すのが困難になるという問題があった。
【００１１】
従来の第２の全文テキスト検索システムの場合でも、第１のテキストキー検索システムと同様、画像情報や音声情報について適切に行なうことは難しい。つまり、画像情報や音声情報は元々テキスト情報を持っておらず、テキスト情報の抽出は期待できない。
【００１２】
従来の第３の画像パターン照合による画像検索システムによれば、指定した部分画像を持つ画像情報を検索することは可能である。しかし、検索者は、検索したい画像が持つ部分画像を用意して指定する必要がある。検索者がもっとも欲しい画像がどのような部分画像を持つか明らかでない場合もあり、また、検索に用いる部分画像が常に用意できるとは限らず、検索が困難となる。さらに、検索者自身が検索したい画像を明確に把握していない場合もある。つまり、検索したい画像のおおむねの内容を指定することはできるが、部分的であっても画像そのものの指定ができない場合がある。また、検索者は漠然と何か利用できる画像がないか試行錯誤的に検索したい場合もある。このような場合には部分画像のマッチングのみでは柔軟性に欠け、不充分である。
【００１３】
【発明の開示】
本発明は、効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を、マルチメディア情報の持つ多様な特徴量を利用することにより効率的かつ柔軟に検索し、検索結果をビジュアルかつ分かり易いように分類・配置して表示することができるマルチメディア情報分類配置装置を提供することを目的とする。特にＷＷＷ上のマルチメディア情報を効率的かつ柔軟に検索し、分類・配置することができるマルチメディア情報分類配置装置を提供することを目的とする。
【００１４】
また、本発明は、上記表示した検索結果を基にして、検索者がインタラクティブに所望のマルチメディア情報を柔軟に絞り込んだり、検索したマルチメディア情報を基にしてさらに異なる切り口により検索を次々と続行することができるマルチメディア情報分類配置装置を提供することを目的とする。
【００１５】
上記目的を達成するために、本発明のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、その情報セットを処理単位として用いる。この本発明の情報セットを処理単位として用いる点は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の２つの処理を指す。従来技術のマルチメディア処理の第１の意味は、１つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、１つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第２の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第１の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。
【００１６】
本発明のマルチメディア情報分類配置装置は、上記情報セットを単位としてメディア情報を取得する情報セット取得部と、取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、１以上の軸を備えた情報セット配置空間を設定する軸設定部と、各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置する情報セット分類配置部と、前記情報セット配置空間内に分類配置された各情報セットのメディア情報のうち、前記情報セット配置空間に対する視点に応じたメディア情報を表示する情報表示部を備えたことを特徴とする。
【００１７】
上記構成により、ＷＷＷ上から効率的にテキスト情報、画像情報、音声情報などマルチメディア情報を情報セットとして収集・取得し、多様な特徴量を利用して効率的かつ柔軟に検索することができ、検索結果を情報セット配置空間上にビジュアルかつ分かり易いように表示することができる。
【００１８】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部における、１つの空間軸に対して割り当てる特徴量の属性が複数の特徴量の属性を組み合わせたもの、または、複数の軸に対して１つの特徴量の属性を割り当てたものとすることができる。
【００１９】
なお、情報セットの生成にあたっては、情報セット取得部が、画像情報、テキスト情報、音声情報を含むメディア情報を収集する情報収集部と、前記収集したメディア情報相互の関連性を解析する関連解析部と、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する情報セット生成部を備え、相互に関連性を持つメディア情報の集合を情報セットとすれば良い。もちろん既に生成された情報セットを情報セット読み込み部によりＣＤ−ＲＯＭのような記憶媒体から読み込んでも良く、また、情報セット収集部によりネットワーク上から収集してきても良い。このように、関連性を持つメディア情報を情報セットとしてくくることにより、画像情報に対して、テキスト情報、音声情報などを関連付けられるので、例えば、音声情報に関する特徴量やテキスト情報に関する特徴量を用いて検索すれば関連付けられている画像情報も同時に得ることができる。
【００２０】
また、用いる特徴量は、画像情報に対する特徴量としては、ＤＣＴ変換係数特徴量、画像情報に対するウェーブレット変換係数特徴量、画像情報に対するＨＳＩ色ヒストグラム特徴量などが挙げられる。テキスト情報に対する特徴量としては、特定単語の存在を示す特徴量、テキスト情報に対する特定単語の使用回数の特徴量などが挙げられる。音声情報に対する特徴量としては、音声周波数特徴量、音声情報に対する振幅特徴量、音声情報に対する時間変移特徴量などが挙げられる。
【００２１】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、情報セット配置空間軸の各軸への特徴量の属性の割り当てを再設定し、１以上の軸を備えた情報セット配置空間を再設定する軸再設定機能を備え、前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記情報セット分類配置部が前記抽出された特徴量の成分に応じて各情報セットを前記情報セット配置空間内に分類配置し、前記情報表示部が前記再設定された情報セット配置空間に対する視点に応じたメディア情報を表示することが好ましい。
【００２２】
上記構成により、検索者が実行した検索結果を見て、インタラクティブに再度検索を行なって柔軟に情報を絞り込んだり、再設定した情報セット配置空間軸を用いて、さらに異なる切り口により検索を次々と続行することができる。つまり、検索結果を見て試行錯誤的に、別の特徴量を指定して情報セット配置空間の軸再設定を行なうことができ、再設定した軸を用いた情報セット配置空間を用いて情報セットを再配置し、再表示を行なうことができる。
【００２３】
次に、上記マルチメディア情報分類配置装置において、前記軸設定部が、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、前記情報セット分類配置部が、再設定された情報セット配置空間に対して各情報セットを再分類配置し、前記情報表示部が、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示することが好ましい。
【００２４】
上記構成によれば、情報セット配置空間を再設定し、情報セットを再分類した場合に、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【００２５】
また、上記マルチメディア情報分類配置装置において、前記情報セット分類配置部が、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、前記ユーザが選択した情報セットを前記特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えることが好ましい。
【００２６】
上記構成によれば、注目する情報セットの表示位置が特定位置に固定されるので容易に注目している情報セットを見つけられ、また、注目している情報セットと軸設定された特徴量において類似する情報セットが付近に配置されるため、情報セット間の関係の把握が容易になる。また、特定情報セットに注目した上で試行錯誤的な再分類表示が実行できる。
【００２７】
次に、本発明のマルチメディア情報分類配置装置は、コンピュータ読み取り可能な記録媒体に、本発明のマルチメディア情報分類配置装置の処理プログラムを記録して提供することにより、コンピュータを用いて本発明のマルチメディア情報分類配置装置を実現することができる。
【００２８】
次に、本発明のマルチメディア情報分類配置方法は、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを単位としてメディア情報を取得し、前記取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、１以上の軸を備えた情報セット配置空間を設定し、各情報セットの各メディア情報から特徴量の成分を抽出し、各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置し、前記分類配置した情報セットに対して、前記特徴量とは異なる特徴量を指定して前記情報セット配置空間各軸への割り当てを再設定し、前記再設定に従って前記情報セットを前記情報セット配置空間内に再分類配置し、用いる特徴量を切り替えつつ前記情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返して情報セットを分類配置する。
【００２９】
上記構成により、マルチメディア情報の検索において、用いる特徴量を切り替えつつ前記情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返すことにより検索を行なうことができ、従来の検索方法においては、用いた検索キーでは検索絞り込みが不充分な場合、再度同じ種類、同じ特徴量に属する別の検索キーを適当に選んで再検索を行なっていたが、本発明の分類配置方法においては、用いた検索キーでは検索絞り込みが不充分な場合は、別の種類、別の特徴量に属する検索キーを適当に選んで再検索を行なうことができ、より柔軟で適切な検索が行なうことができる。また、このように別の種類、別の特徴量の検索キーを用いるので、検索者にとって予期しないような発見的な検索結果を得ることも期待できる。例えば、テキスト情報に対する特徴量として特定単語の存在を示す特徴量により一次検索を実行し、引き続き、画像情報に対する特徴量としてウェーブレット変換係数特徴量とＨＳＩ色ヒストグラム特徴量を組み合わせて当該情報セットを再分類、再配置すれば、特定単語により検索された情報セットは、特定の形状部分と色を持つものが多いなど、従来知られていなかった傾向を発見できるなどと言った新しい検索システムの利用方法も提供できる。
【００３０】
【発明の実施の形態】
以下、本発明のマルチメディア情報分類配置装置および分類配置方法の実施形態について、図面を参照しながら説明する。
【００３１】
（実施の形態１）
本発明の実施形態１のマルチメディア情報分類配置装置を説明する。本実施形態１のマルチメディア情報分類配置装置は、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示するものである。
【００３２】
まず、本発明のマルチメディア情報分類配置装置において用いる情報の処理単位となる情報セットの概念について説明する。次に、本実施形態１のマルチメディア情報分類配置装置の装置構成例を示し、本実施形態１のマルチメディア情報分類配置装置の処理の流れをフローチャートを参照しつつ示す。
【００３３】
本発明のマルチメディア情報分類配置装置は、情報の処理単位として情報セットを用いる。この情報セットとは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた処理単位である。この概念を簡単に示した模式図を図１に示す。図１に示すように、一つの情報セット１には相互に関連性を持った複数の同種または異種のメディア情報が一まとまりに関連付けらている。情報セット１の例では、画像情報１ａと画像情報１ｂ、音声情報１ｃ、キーワード情報１ｄの４つの同種または異種のメディア情報が一まとまりに関連付けらている。これら４つの同種または異種のメディア情報は、例えば、「Ｆ社のパーソナルコンピュータ」という関連性を持っている情報という概念で集められたものとする。
【００３４】
画像情報とテキスト情報を情報セットとして関連付けにおいては、例えば、ＷＷＷ上の画像とテキストが混在したＨＴＭＬ文書から、画像部分を画像情報として抽出し、またＨＴＭＬ文書の画像まわりのテキストをテキスト情報として抽出して両者を関連付ける。他の例としては、動画像の画像情報と音声情報とテキスト情報の関連付けにおいては、例えば、動画像と音声を含むムービーデータを含むＸＭＬファイルから、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出してそれぞれを関連付ける。また、他のデータに対してリンクが張られているＨＴＭＬデータからリンクを辿り、当該リンク先の画像情報、テキスト情報、音声情報などを抽出して生成したものを情報セットとしても良い。また、ＨＴＭＬ文書のように当初から画像情報とテキスト情報が１ファイルの形態で存在するもののみならず、１つの画像情報に対して複数のテキスト情報が関連付けられたり、その逆に１つのテキストに対して複数の画像情報が関連付けられている場合もありうる。また、情報セットの一部としてＵＲＬ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含めることができる。情報セットの一部にＵＲＬを含めることにより、後述するように分類配置された情報セットを選択し、そのＵＲＬを基に当該情報セットを含むウェブのページを表示することが可能となる。
【００３５】
この情報セットの特徴の一つとして、属する各メディア情報そのものは編集加工されることなく、画像情報は画像情報のまま、音声情報は音声情報のまま存在する一方、各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理できる点を挙げることができる。後述するように情報セットを処理単位として特徴量に基づいて分類配置する際には、情報セットに属する各メディア情報の持つ各種特徴量を情報セット全体の特徴量として処理し、情報セットが分類配置される位置が決まる。しかし、後述するように情報セットの表示の際においては、表示画面のＸＹ平面（Ｚ軸を奥行きとする）が画像を表示する面である場合には、その表示位置において情報セットに属する画像情報の一つまたは複数が表示されることとなる。もし、表示画面のＸＹ平面がテキスト情報を表示する面である場合には、各情報セットの表示位置において情報セットに属するテキスト情報の一つまたは複数が表示されることとなる。
【００３６】
この本発明の情報セットを処理単位として用いる点は、従来技術のマルチメディア処理とは明瞭に異なるものである。従来技術のマルチメディア処理は主に次の２つの処理を指す。従来技術のマルチメディア処理の第１の意味は、１つの装置が画像情報、テキスト情報、音声情報という複数のメディアを扱えるものであることを意味する。この場合、１つの装置で複数のメディアが扱えるが、処理単位そのものは各メディア情報ごとであり、画像情報、テキスト情報、音声情報など各メディア情報が個別に処理されている。従来技術のマルチメディア処理の第２の意味は、処理単位そのものが複数のメディアが統合されたマルチメディアデータであることを意味する。この場合、例えば、テキスト情報の中に画像情報や音声情報が埋め込まれたり、リンクが張られた状態となっているものであり、データそのものが統合加工されたものとなっている。一方、本発明の情報セットは、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った同種および異種メディア情報を一まとまりに関連付けた情報セットを処理単位として用いるものであり、上記従来の第１の意味のマルチメディア情報のように各メディア情報が相互に関連付けなく個別に処理されるものとは異なる。また、本発明では複数のメディア情報のデータが関連付けられたセットとなるものの、上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものでなく、各メディア情報は収集・取得された状態で維持されている。また、新しいメディア情報が与えられると、簡単に、既存の情報セットのうち関連性のある情報セットに属させることや、関連性のある既存の情報セットがない場合に、新しい情報セットすることなどが可能となる。上記従来の第２の意味のマルチメディア情報のように複数メディアのデータそのものが統合加工されたものであれば、新しいメディア情報の追加は自立的かつ容易にはできない。
【００３７】
次に、本実施形態１のマルチメディア情報分類配置装置の構成例を図２に示す。図２に示すようにマルチメディア情報分類配置装置は、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、情報表示部５０を備えている。また、６０はインターネットなどのアクセス可能なネットワーク網であって、ネットワーク６０を介してマルチメディア情報源７０がアクセス可能な状態にある。マルチメディア情報源７０には画像情報、テキスト情報、音声情報などの多様なマルチメディア情報が格納されており、この例では相互に関連があるメディア情報の集合である情報セットも格納されているとする。
【００３８】
図２の装置構成例において、情報セット取得部１０は、情報セット読み込み部１１と情報セット収集部１２を備えた構成としている。情報セット収集部１２は、情報セットを収集する部分であり、ネットワーク６０を介してマルチメディア情報源７０に存在する情報セットを収集する。情報セット読み込み部１１は、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付けることもできるものである。このように情報セット取得部１０は、情報セット読み込み部１１と情報セット収集部１２のいずれかまたは両者を適宜備えた構成とすることにより、ネットワーク６０を介してマルチメディア情報源７０に存在する情報セットを収集する機能、ＣＤ−ＲＯＭなどの記憶媒体などから直接、情報セットの入力を受け付ける機能を選択的に保持することができる。
【００３９】
この実施形態１で説明する情報セット収集部１２の構成例は、通信インタフェース１３、ハードディスクなどの記憶媒体１４、情報セット収集キー入力部１５を備えている。通信インタフェース１３を介してネットワーク６０上のマルチメディア情報源７０と通信する。記憶媒体１４は、収集した情報セットを格納しておく場合に利用できる。情報セット収集キー入力部１５は、情報セットの収集に当たり、キーワードを用いて収集する範囲を指定する部分である。ネットワーク上のマルチメディア情報源７０に格納されている情報セットが大量にある場合には何も指定せずに情報セットを収集すれば、収集するデータ容量が極めて大きくなってしまう。そこで、情報セットの収集にあたり、あらかじめ範囲を絞り込むために情報セット収集キー入力部１５よりキーワードが入力された場合には、情報セット収集部１２は、当該キーワードを持つ情報セットを収集する。
【００４０】
軸設定部２０は、情報セット配置空間軸を設定する部分であって、各メディア情報から抽出される特徴量の情報セット配置空間各軸への割り当てを設定し、１以上の軸を備えた情報セット配置空間を設定する。例えば、Ｘ軸Ｙ軸Ｚ軸の３軸を指定し、このＸＹＺ軸が張る空間を情報セット配置空間とする。ここでは、例えば、後述する情報表示部５０の表示ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
【００４１】
ここで、情報セット分類配置空間軸に設定し得る特徴量は、画像情報、テキスト情報、音声情報などメディアに応じて抽出し得る特徴量であれば良い。
【００４２】
例えば、画像情報に対しては、ＤＣＴ変換係数特徴量、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム特徴量などが挙げられる。ＤＣＴ変換係数特徴量を情報セット配置空間軸に設定することにより、画像情報の空間周波数成分の特徴による情報の分類、配置が可能となる。ウェーブレット変換係数特徴量を情報セット配置空間軸に設定することにより、画像情報の特に空間周波数の低周波部分の特徴、つまり、画像中に写り込んでいる物体の大枠の外形の特徴による情報の分類、配置が可能となる。ウェーブレット変換もＤＣＴ変換と同じく波形・周波数変換であるが、位置（時間）情報を保ったまま変換することが出来る。ＨＳＩ色ヒストグラム特徴量を情報セット配置空間軸に設定することにより、画像の色情報に基づく情報の分類、配置が可能となる。ＨＳＩ色ヒストグラムによれば、人間の肌領域がどの程度含まれているかなどの画像の特徴を良く掴むことができる。
【００４３】
また、例えば、テキスト情報に対しては、特定単語の存在を示す特徴量、特定単語の使用回数の特徴量などを挙げることができる。特定単語の存在を示す特徴量や特定単語の使用回数の特徴量を情報セット配置空間軸に設定することにより、特定単語の説明などが含まれているテキスト情報の分類、配置が可能となる。これらテキスト情報に画像情報が関連付けられている情報セットであれば、特定単語により表わされる画像情報も併せて情報セット配置空間に分類、配置されることとなる。
【００４４】
また、例えば、音声情報に対しては、音声周波数特徴量、音声の振幅特徴量、音声の時間変移特徴量などを挙げることができる。音声周波数特徴量を情報セット配置空間軸に設定することにより、音声周波数の特徴、つまり、音声の高低、音質などにより音声情報の分類、配置が可能となる。音声周波数によれば、発音体の別、動物の鳴き声、男性の声、女性の声の別、精度が上がれば、声の人物など音声情報の特徴を表わすことができる。音声の振幅特徴量や時間変移特徴量を情報セット配置空間軸に設定することにより、音声の大小に応じた音声情報の分類、配置が可能となる。
【００４５】
なお、軸設定部２０による、一の空間軸に対する特徴量の割り当ては、複数の特徴量を組み合わせて割り当てることが可能である。２つ以上の特徴量の組み合わせは、互いの特徴量の単位を変換、調整する必要があるが、スコアのような点数に置き換えて合算することが可能である。例えば、一つの空間軸に対して、第１の特徴量としてＨＳＩ色ヒストグラムの指定色成分が閾値以上の割合で含まれていれば“１”、含まれていない場合に“０”とし、第２の特徴量として、テキスト情報中の特定単語の存在を示す特徴量として存在すれば“１”、存在しない場合に“０”とし、第１の特徴量と第２の特徴量を合算して一つの空間軸に割り当てるなどの処理が可能である。逆に、複数の軸に対して一つの特徴量を割り当てることもできる。一つの特徴量から二つ以上の軸に割り当てる方法は数多く存在するが、そのような方法の一つとして、特徴量をベクトルとみなして、ベクトルの各次元について分散が大きい次元を複数選択してその次元を軸とする方法が挙げられる。
【００４６】
特徴量抽出部３０は、情報セットの各メディア情報から特徴量を抽出する部分である。図２には図示していないが、上述した通り、特徴量抽出部３０には、各メディア情報から様々な特徴量を抽出するための機能を備えており、例えば、画像情報の特徴量抽出機能として、ＤＣＴ変換係数特徴量算出機能、ウェーブレット変換係数特徴量算出機能、ＨＳＩ色ヒストグラム特徴量算出機能などを備えており、例えば、テキスト情報の特徴量抽出機能として、特定単語が存在しているか否かの検知機能、特定単語の使用回数算出機能などを備えており、また例えば音声情報の特徴量抽出機能として、音声周波数特徴量抽出機能、音声の振幅特徴量抽出機能、音声の時間変移特徴量抽出機能などを備えている。これら諸機能を利用して収集した情報セットのそれぞれのメディア情報から、特徴量を抽出する。また、特徴量抽出部３０は、各メディア情報から特徴量を抽出する機能の追加、更新、削除などが可能とする。特徴量抽出機能をＤＳＰ（デジタルシグナルプロセッサ）などで提供しておけば、必要に応じて内容を容易に書き換え、追加できる。
【００４７】
情報セット分類配置部４０は、特徴量抽出部３０により抽出した特徴量に基づいて情報セットを情報セット配置空間内に分類配置する部分である。例えば、情報セット配置空間がＸＹＺ３軸により設定されておれば、情報セットは当該３次元情報セット配置空間内に分類、配置されることとなる。
【００４８】
情報表示部５０は、情報セット分類配置部４０により情報セット配置空間内に分類配置された情報セットのメディア情報を表示する部分であり、情報セット配置空間に対する視点に応じた方向から情報セット配置空間内のメディア情報を表示する。例えば、ＸＹＺ軸から張られた情報セット配置空間に対して、ＸＹ平面が正面であり、Ｚ軸方向を奥行き方向とすると、ディスプレイ面がＸＹ平面であり、画面奥行きがＺ軸方向であるように表示される。
【００４９】
以上のように構成された本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れの例を図３を参照しつつ説明する。
【００５０】
図３に示すように、本発明の実施形態１のマルチメディア情報分類配置装置の処理は大別して、次のように、情報セットの取得処理（Ｓ１０１）と、情報セット配置空間の軸に割り付ける特徴量を設定し、情報セット配置空間を定義する軸設定処理（Ｓ１０２）と、情報セットのメディア情報から所定の特徴量を抽出する特徴量抽出処理（Ｓ１０３）と、抽出した特徴量に従って情報セットを情報セット配置空間内に分類、配置する情報分類配置処理（Ｓ１０４）と、情報セット配置空間および情報セット配置空間に分類、配置した情報セットを設定視点から表示する情報表示処理（Ｓ１０５）と、表示された検索結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、情報セット配置空間の軸に割り付ける特徴量を再設定し、情報セット配置空間を再定義する再軸設定処理（ステップＳ１０２へのループ）を備えている。なお、最初の軸設定処理（Ｓ１０２）により設定された情報セット配置空間に基づく情報セットの分類、配置により所望の検索結果が得られた場合には、再軸設定処理は必須のものではない。また、上記処理の流れでは、情報セットは当初からアクセス可能な状態で存在していることを前提としたものであるが、実施形態２において後述するようにマルチメディア情報分類配置装置が、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報をまとめ、情報セットを定義・生成する情報セット生成処理を前処理として実行しても良い。
【００５１】
まず、本発明のマルチメディア情報分類配置装置は、情報セット取得部１０により情報セット取得処理（Ｓ１０１）を実行する。ここでは、例えば、情報セット取得部１０により、通信インタフェース１３を介してインターネットなどのネットワーク６０上にアクセス可能な状態にあるＷＷＷサーバーなどのマルチメディア情報源７０から情報セットを収集して情報セットを取得する。この例では、情報セット取得処理（Ｓ１０１）として、画像情報とテキスト情報が関連付けられている情報セットを複数取得する。また、取得する情報セットの範囲をある程度絞るため、キーワード検索によりヒットしたもののみ取得しても良い。この例では、“バッグ”というキーワードにヒットする情報セットを取得したとする。
【００５２】
次に、マルチメディア情報分類配置装置は、軸設定部２０により情報セット配置空間の軸に割り付ける特徴量を設定し、情報セット配置空間を定義する軸設定処理（Ｓ１０２）を実行する。軸設定部２０は、上記に示した画像情報に対するＤＣＴ変換係数特徴量など各メディア情報から抽出可能な特徴量から、情報セット配置空間の各軸に対して割り付ける特徴量をそれぞれ設定し、情報セット配置空間を定義することにより軸設定処理を実行する。この例では、Ｘ軸（水平方向）として画像情報のウェーブレット変換係数特徴量を割り当て、Ｙ軸（垂直方向）としてＨＳＩ色ヒストグラム特徴量を割り当て、Ｚ軸（奥行き方向）としてテキスト情報内での特定単語の使用回数を示す特徴量を割り当てる。この説明では、Ｚ軸に割り付ける特定単語の存在を示す特徴量として、情報セット収集において用いた“バッグ”という単語の使用回数とする。
【００５３】
次に、マルチメディア情報分類配置装置は、特徴量抽出部３０を用いて、収集されている情報セットのそれぞれのメディア情報から、各空間軸に割り当てられている特徴量を抽出する特徴量抽出処理（Ｓ１０３）を実行する。上述した通り、図２には示されていないが、特徴量抽出部３０には、ウェーブレット変換係数特徴量算出機能、ＨＳＩ色ヒストグラム特徴量算出機能、特定単語の使用回数算出機能を保持しており、収集されている情報セットのそれぞれのメディア情報から、ウェーブレット変換係数特徴量、ＨＳＩ色ヒストグラム、特定単語の使用回数を抽出する。
【００５４】
次に、マルチメディア情報分類配置装置は、情報セット分類配置部４０を用いて、抽出した特徴量に従って情報セットを情報セット配置空間内に分類、配置する情報分類配置処理（Ｓ１０４）を実行する。そして、情報表示部５０により、情報セット配置空間および情報セット配置空間に分類、配置した情報セットを設定視点から表示する情報表示処理（Ｓ１０５）を実行する。図４に、“バッグ”のキーワードで収集された情報セットを設定された情報セット配置空間内に分類、配置した例を示す。この表示例では各情報セットは関連付けられたメディア情報のうち、画像情報を前面（ＸＹ平面）として表示している。Ｘ軸がウェーブレット変換係数特徴量であるので、Ｘ軸座標が似通った位置には、外形が似通ったバッグが表示されている。Ｙ軸がＨＳＩ色ヒストグラム特徴量であるのでＹ軸座標が似通った位置には、色合いが似通ったバッグが表示されている。
【００５５】
図４に示したように、情報セット配置空間に分類、配置された情報セットの中には、複数のテキスト情報が関連付けられているものがある。図４では画像情報が前面に表示されているが、それらはテキスト情報を伴っている。ここでは、図５に示すように情報セット配置空間上の画像情報をポインティングデバイスでクリックすると付随しているテキスト情報のＩＤ番号（“テキスト１”など）がプルダウンメニューで表示される。プルダウンメニューからテキスト情報のＩＤ番号を選ぶと、図６に示すように該当するテキストが表示される。
【００５６】
以上の情報セット取得処理ステップＳ１０１から情報表示処理ステップＳ１０５により所望の画像情報などが得られ、当初の検索処理の目的が達成され、再軸設定処理が必要でない場合は（ステップＳ１０６：ＮＯ）、検索処理を終了すればよいが、当初の検索処理の目的が達成されておらず、再軸設定処理が必要な場合は（ステップＳ１０６：ＹＥＳ）、本発明のマルチメディア情報分類配置装置は、再軸設定処理を行なうためステップＳ１０２にループすることが可能である。つまり、情報表示処理ステップＳ１０５により表示された分類・配置表示結果を見て、必要に応じてさらなる絞り込みや切り口を変えた検索を続行するため、軸設定部２０を用いて、情報セット配置空間の軸に割り付ける特徴量を再設定し、情報セット配置空間を再定義する再軸設定処理を実行する。このように、必要な画像情報が得られるまで情報セット配置空間軸に割り当てる特徴量を再設定し（Ｓ１０２）、情報セットの各メディア情報から再設定した特徴量を再抽出し（Ｓ１０３）、再抽出した特徴量に基づいて情報セットを情報セット配置空間に再分類、再配置し（Ｓ１０４）、情報表示部５０により情報セット配置空間に再配置された情報セットを再表示する（Ｓ１０５）。例えば、軸設定部２０により、Ｘ軸をウェーブレット変換係数特徴量からＤＣＴ変換係数特徴量に替えたり、Ｙ軸をＨＳＩ色ヒストグラム特徴量から全く異なる切り口として音声周波数特徴量に替えたりすることも可能である。この例では、Ｘ軸をウェーブレット変換係数特徴量からＨＳＩ色ヒストグラム特徴量に切り替え、Ｙ軸をＨＳＩ色ヒストグラム特徴量からＤＣＴ変換係数特徴量に替えたものとする。軸設定部２０により情報セット配置空間軸を再設定し、特徴量の再抽出、当該情報セット配置空間への再分類、再表示した例を図７に示す。このような一連の軸再設定処理を、所望の検索結果が得られるまで繰り返す。
【００５７】
このように、ある特徴量で得られた情報セットの分類・配置の表示結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
【００５８】
また、画像情報など情報セットの分類・配置である表示結果を見て、以下のような情報処理も可能である。
【００５９】
第１には、分類・配置された情報セットのうち選択した情報セットが含まれるウェブのページを表示することも可能である。情報セットの一部に当該画像情報など情報セットが含まれているＵＲＬを併せて保存しておけば、当該画像情報が情報表示部５０上において利用者より選ばれた場合にＵＲＬ情報を基にしてそのウェブページを表示することが可能となる。例えば、画像情報を選び、メニューなどから“ウェブページ”というボタンをポインティングデバイスでクリックすることによりそのウェブページを表示する。
【００６０】
第２には、分類・配置された情報セットを見て、検索キーを与え、当該キーに類似する情報セットをリスト表示することも可能である。例えば、図４のように分類・配置された情報セットに対して、検索キーとしてキーイメージ（パターン照合用のキーとなる画像）を与え、パターン照合により当該キーイメージに類似する画像情報を類似イメージリストとして表示する。その例を図８に示す。入力されたキーイメージに対して類似イメージリストが表示されている。図８の例は、検索キーとしてキーイメージを与えるものであるが、検索キーとしてテキスト情報を与えることもできる。この場合、当該入力キーワードと、類似イメージリストが表示される。
【００６１】
以上、本実施形態１に示したマルチメディア情報分類配置装置によれば、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示することができる。
【００６２】
（実施形態２）
本発明の実施形態２のマルチメディア情報分類配置装置を説明する。本実施形態２のマルチメディア情報分類配置装置は、実施形態１で説明した情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成する機能を備えたものである。
【００６３】
まず、本実施形態２のマルチメディア情報分類配置装置の装置構成例を図９に示す。本実施形態２のマルチメディア情報分類配置装置は図９に示すように、情報セット取得部１０以外の、軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、情報表示部５０、ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００６４】
本実施形態２のマルチメディア情報分類配置装置では、図９に示すように、情報セット取得部１０の情報セット収集部１２が、通信インタフェース１３、記憶媒体１４、情報セット収集キー入力部１５に加え、情報収集部１６、関連解析部１７、情報セット生成部１８を備えている。
【００６５】
情報収集部１６は、ネットワーク６０上のアクセス可能なマルチメディア情報源７０に格納されている画像情報、テキスト情報、音声情報を含むメディア情報を収集する。メディア情報の収集にはロボットを用いて自動収集することができる。ロボットを用いる場合には、ネットワーク６０上のマルチメディア情報群７０からメディア情報を収集する選択基準を指定する。例えば、キーワード情報、サイト情報、リンク情報、特定情報セットに対する類似度情報を含む基準群から選んで指定する。選択基準にキーワード情報を持たせれば、当該キーワードが付されていないメディア情報は収集されず、範囲を限定することができる。テキスト検索サーバにキーワードを与えて、その結果返されるぺージの検索を行う。
【００６６】
選択基準としてサイト情報、リンク情報を持たせれば、ロボットは、指定されているＵＲＬおよびそのＵＲＬ以下のぺージやそのＵＲＬからリンクされているぺージを検索する。このように、ＷＷＷ上を巡回し、リンクをたどることによって、複数のＷｅｂぺージをたどる。
【００６７】
選択基準として特定情報セットに対する類似度情報を持たせれば、ある情報セットのメディア情報と似通っているメディア情報を中心に収集することができる。
【００６８】
情報収集部１６は、画像情報、テキスト情報、音声情報などを収集し、記憶媒体１４に格納する。
【００６９】
関連解析部１７は、情報収集部１６によりマルチメディア情報源から収集したメディア情報相互間の関連性を解析する部分である。例えば、画像情報に関連しているテキストの解析としては、ＨＴＭＬ文書であれば、当該画像付近のテキストやＨＴＭＬの情報を参照しながら、ＨＴＭＬの構造を解釈した上で、画像部分を画像情報として抽出し、またＨＴＭＬ文書の画像まわりのテキストをテキスト情報として抽出し、画像に近いテキストの関連度合を解析する。音声情報の関連度合の解析も同様に可能である。また、ＨＴＭＬでなくともＰＤＦファイルなど１つのファイルにまとめられているものであれば、当該ファイル中に存在する画像情報、テキスト情報、音声情報について関連度合が高いとして解析することが可能である。また、例えば、１つのまとまったファイルでなくとも、複数のメディア情報に同じキーワードが付されていれば、関連度合が高いとして解析することが可能である。当該キーワードがありふれたものでなく、特異なものであれば、関連度合がより高いとして解析することも可能である。さらに、複数のメディア情報の関連度合を人手によって決めることも可能であることは言うまでもない。また、他の例として、動画像と音声を含むムービーデータを含むＰＤＦファイルであれば、動画部分を動画像情報として抽出し、また音声データを音声情報として抽出し、ムービーデータが埋め込まれている周辺のテキストをテキスト情報として抽出し、それぞれを関連付け、情報セットとすることができる。
【００７０】
情報セット生成部１８は、関連解析部１７による解析結果に基づいて、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する。
【００７１】
以上のように、本実施形態２のマルチメディア情報分類配置装置は、実施形態１で説明した情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成することができる。なお、生成した情報セットを用いて、情報セット配置空間に情報セットを分類配置する処理は、実施形態１で図３のフローチャートを用いて説明したものと同様であり、ここでの詳しい説明は省略する。
【００７２】
（実施形態３）
本発明の実施形態３のマルチメディア情報分類配置装置を説明する。本実施形態３のマルチメディア情報分類配置装置は、情報セット分類配置部によるメディア情報の特徴量に基づいた情報セット配置空間への分類、配置において、自己組織化マップを応用するものである。
【００７３】
本実施形態３マルチメディア情報分類配置装置の装置構成例を図１０に示す。図１０に示すように、情報セット分類配置部４０は、自己組織化マップ処理部４１を備えている。なお、情報セット分類配置部４０以外の、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、情報表示部５０ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００７４】
自己組織化マップは、ニューラルネットワークを用いた教師なし学習モデルである。自己組織化マップでは、高次元の特徴ベクトル空間から低次元空間に写像を行なう。その際に、特徴ベクトルが類似しているものは低次元空間でも近くに配置される。この自己組織化マップをメディア情報の分類・配置処理に応用し、特徴量抽出部３０が抽出した特徴量をもとに自己組織化マップ処理を用いて情報セットを配置する。自己組織化マップ処理部４１は特徴量抽出部３０が抽出した特徴量に対して当該自己組織化マップ生成処理を実行するものである。本実施形態３の情報セット分類配置部４０は、自己組織化マップ処理部４１が生成した自己組織化マップで得られた配置情報を基に情報セット配置空間に分類・配置する。また、自己組織化マップ処理と併せて、Ｚ軸（奥行き方向）に割り当てられている特徴量を基にした奥行き表現も組み合わせることもできる。例えば、テキスト情報を元に、単語の頻度情報に分解し、それぞれの頻度をベクトル化して、そのベクトルに基づき、奥行き方向の軸の位置を決定する。また、他の例としては、キーワードを用いてＷｅｂを検索した場合、テキスト検索サーバが返すキーワードとＷｅｂぺージの関連度をもとに、関連度が高い順に奥行き情報として表示する事もでき、それらを切り替えて表示することができる。
【００７５】
以上のように、本実施形態３のマルチメディア情報分類配置装置によれば、自己組織化マップ処理を応用して、画像を空間上で内容が近いと思われるものが近くに、内容が遠いと思われるものが遠くにそれぞれ配置することが出来る。
【００７６】
（実施形態４）
本発明の実施形態４のマルチメディア情報分類配置装置を説明する。本実施形態４のマルチメディア情報分類配置装置は、情報セットが分類・配置された情報セット配置空間の表示方法、ブラウジング方法に工夫を加えたものである。
【００７７】
本実施形態４のマルチメディア情報分類配置装置の装置構成例を図１１に示す。図１１に示すように、情報表示部５０は表示視点移動部５１を備えている。なお、情報表示部５０以外の、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００７８】
表示視点移動部５１は、情報表示部５０において、情報セット分類配置部４０により情報セットが分類・配置された情報セット配置空間を表示するにあたり、当該空間を表示する視点の設定位置を移動させる機能を備えている。情報表示部５０は、表示視点移動部５１により設定された表示視点から見た情報セット配置空間を表示する。
【００７９】
実施形態１では、情報表示部５０による情報セット配置空間の表示例として図４を示した。本実施形態３のマルチメディア情報分類配置装置では、この図４の表示視点をデフォルトとし、表示視点移動部５１により表示視点を動的に変化させることが可能となる。言わば、情報セットが分類・配置された情報セット配置空間内を仮想的に自由に動きまわり、移動位置から見える情報セット配置空間内の情報セットの分類・配置された様子を表示することができる。通常であれば、ディスプレイ表示面は、基本的には２次元平面であるので、遠近法による表示が可能ではあるものの、奥行きの深い位置にある情報セットは見づらいものとなりがちである。しかし、本実施形態３のマルチメディア情報分類配置装置によれば、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットの分類・配置の様子をディスプレイ表示面近くに表示させることができる。図１２は、図４の状態から、表示視点を奥行き方向に進めた場合の表示例を示したものである。
【００８０】
（実施形態５）
実施形態５のマルチメディア情報分類配置装置は、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、再設定された情報セット配置空間に対して各情報セットを再分類配置し、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示するものである。
【００８１】
また、再分類配置において、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、ユーザが選択した情報セットを特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたものである。
【００８２】
図１３は、実施形態５にかかるマルチメディア情報分類配置装置の装置構成を簡単に示したものである。図１３に示すように、情報表示部５０は動画処理部５２を備えている。また、情報セット分類配置部４０は、配置位置固定指定部４１を備えている。なお、情報セット分類配置部４０および情報表示部５０以外の、情報セット取得部１０、軸設定部２０、特徴量抽出部３０、ネットワーク６０、マルチメディア情報源７０については、実施形態１で説明した図２のマルチメディア情報分類配置装置構成例のものと同様で良い。
【００８３】
情報表示部５０の動画処理部５２は、軸の再設定により各情報セットを情報セット分類配置空間上に再分類配置する様子を表示するにあたり、各情報セットの表示されているメディア情報を、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する機能を有する。例えば、各情報セットの再分類配置前の位置を記憶しておき、各情報セットの再分類配置後の位置を情報セット分類配置部４０から通知を受け、両座標点を基に各情報セットごとに移動方向、移動距離を求め、所定きざみで各情報セットの表示されているメディア情報を移動して行く。なお、所定きざみとは、移動ステップ数にかかわらず所定の距離ずつの移動としても良く、また、所定のステップ数で移動が完了するように移動距離を調整したきざみとしても良い。
【００８４】
情報セット分類配置部４０は配置位置固定指定部４１を備えており、ユーザは配置位置固定指定部４１を介して特定の情報セットを特定位置に固定するように指定することができる。情報セット分類配置部４０は、軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、指定された情報セットを特定位置に固定した状態で、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたものである。
【００８５】
上記した、所定きざみで各情報セットの表示されているメディア情報を移動して行く再分類配置機能と、特定の情報セットを特定位置に固定した再分類配置機能を、図１４と図１５の具体例を用いつつ説明する。
【００８６】
まず、再分類配置前の情報セット配置空間における情報セットの表示状態である図１４を説明する。ＸＹＺ軸が張る情報セット配置空間において情報表示部５０の表示ディスプレイ面がＸＹ平面、画面奥行きがＺ軸方向とする。いま、軸設定部２０によりＸＹ平面方向の軸としてＨＳＩ色ヒストグラム特徴量が割り当てられ、Ｚ軸には特に特徴量が割り当てられずにすべて“０”値が割り当てられたものとする。この当初の再分類配置前の情報セット配置空間において、情報セット分類配置部４０により各情報セットは、情報セット中に含まれる画像メディア情報のＨＳＩ色ヒストグラムに応じて、Ｚ＝０の平面上に分類配置される。情報表示部５０により表示された再分類配置前の表示例を示したものが図１４である。この例では、各々の情報セット中にネクタイなど織物の模様の画像メディア情報が含まれていたため、図１４に見るように、当該画像メディア情報の色情報が類似した情報セットの画像同士がＸＹ平面上において近くに配置されている。
【００８７】
次に、再分類配置される様子を説明する。各情報セットはそのコンテンツを表わすキーワードなど各種のキーワード情報を含んでおり、特定のキーワードとの類似度合いを特徴量として持っている。いま、軸設定部２０により特定のキーワードとの類似度合いの特徴量がＺ軸に対して割り当てられたものとする。次に、情報セット分類配置部４０が軸設定部２０により再設定された情報セット配置空間軸に応じて情報セットを再分類配置する。この場合、再分類配置前ではＸＹ平面上に並べられていた各情報セットが、特定キーワードとの類似度合いの特徴量をＺ軸（奥行き）として再配置される。情報表示部５０により表示された再分類配置後の具体例を示したものが図１５である。図１５の例では特定キーワードとして「ストライプ柄」を用いた。図１５の再分類配置結果は、ＸＹ平面方向は色ヒストグラム、Ｚ方向は「ストライプ柄」という特定キーワードの特徴量によって並べられ、ストライプ柄を持つ情報セットの画像が前面に大きく表示されたものとなった。このように情報セット群の色の傾向とストライプ柄の有無の分類を同時に視覚的に把握できる。また、再分類配置前ではすべての情報セットがＸＹ平面上に並べられていた状態であったのに対して再分類配置後では特定キーワードとの類似度合いが高いものほど前面に、低いものほど遠方に並べられ、特定キーワードに関連する情報セットを見易くしたり、逆に関連の薄い情報セットを小さく表示することもできる。
【００８８】
ここで、動画処理部５２は、各情報セットの表示されているメディア情報を、再分類配置前に表示されていた位置から再分類配置後に表示される位置まで所定のきざみで移動させて表示する。つまり、図１４の状態から図１５の状態まで、各情報セットの表示メディア情報を再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかもメディア情報が目で追えるように移動してゆく様子を表示する。動画処理部５２は、図１４に示した各情報セットの再分類配置前の位置を記憶しておき、図１５に示した各情報セットの再分類配置後の位置の通知を受け、両座標位置を基に各情報セットごとに移動方向、移動距離を求め、所定きざみで各情報セットの表示されているメディア情報を移動して行く。
【００８９】
また、別の具体例としては、軸設定部２０がＸＹ軸する色ヒストグラム特徴量の割り当てに代え、ウェーブレット変換係数特徴量を割り当てたものとすると、上記と同様に、情報セット分類配置部４０により新しい情報セット分類配置空間上において各情報セットが分類配置され、情報表示部５０により再分類配置前の位置から再分類配置後の位置まで所定のきざみ表示し、あたかもメディア情報が目で追えるように移動してゆく様子が表示される。
【００９０】
次に、情報セット分類配置部４０の配置位置固定指定部４１を用いた特定の情報セットを特定位置に固定した状態での再分類配置の具体例を説明する。
【００９１】
ユーザは、配置位置固定指定部４１を介して、特定の情報セットと他の情報セットとの関係を把握するために、表示されている画面内から一つまたは複数の情報セットを選択する。例えば一つの情報セットを選択し、その情報セットを中央に固定し、他の情報セットを自己組織化マップ法により情報セット分類配置空間内に配置してゆく。また、複数の情報セット、例えば、４つの情報セットを選択し、それら情報セットの位置関係を特定の位置関係、例えば、画面の四隅に固定して、他の情報セットを自己組織化マップ法により情報セット分類配置空間内に配置してゆくことも可能である。このように特定の情報セットを特定の位置関係に固定して分類配置を行うことにより、選択した情報セットと他の個々の情報セットとどのような関係にあるのかが視覚的に容易に把握できるようになる。例えば、今、情報セット分類配置空間の軸が色情報を特徴量としている場合、四隅にそれぞれ、赤の画像、青の画像、黄の画像、緑の画像を固定して分類配置すれば、赤系統の画像は固定した赤い画像のある隅側に集まり、紫色の画像は、赤い画像の位置と青い画像の位置の中間付近に集まって表示されるため、色の系統に沿って個々の画像を見つけることが容易になる。
【００９２】
図１６と図１７は、配置位置固定指定部４１を用いた特定の情報セットを特定位置に固定した再分類配置の概念を示した図である。図１６は、再分類配置前において配置位置固定指定部４１を用いて特定の情報セットを選択指定した様子を示す図、図１７が図１６で選択指定された情報セットを特定位置（画面中央）に固定して他の情報セットを再分類配置した様子を示した図である。図１６において、情報セット５がユーザによって配置位置固定指定部４１を介して選択指定された情報セットである。この情報セット５を中央に固定して色情報により再分類配置すれば、図１７のように情報セット５に近い色合いを持つ情報セットが中央付近に集まることとなる。
【００９３】
上記は一例であって、例えば、色以外にも、テキスト情報に対する特定単語の存在を示す特徴量が情報セット分類配置空間の軸として割り当てられている場合であれば、選択された情報セットの持つテキストに類似しているテキストを持つ情報セットをその近隣に分類配置することも可能である。
【００９４】
なお、この配置位置固定指定部４１を用いた特定の情報セットを特定位置に固定した再分類配置機能に対して、所定きざみで各情報セットの表示されているメディア情報を移動して行く再分類配置機能とを組み合わせることも可能であり、特定の情報セットを特定位置に固定した再分類配置の際に、各情報セットが再分類後の位置まで所定きざみで移動していくように表示させることも可能である。
【００９５】
上記構成によれば、情報セット配置空間を再設定し、注目する情報セットを特定位置に固定された状態で再分類することができ、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【００９６】
（実施形態６）
本発明の実施形態６のマルチメディア情報分類配置装置を説明する。本実施形態６のマルチメディア情報分類配置装置は、上述した実施形態１〜５のマルチメディア情報分類配置装置を、コンピュータネットワークを介したクライアントサーバーシステムで構築したものである。上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成のうち、どの要素をサーバーコンピュータに組み込み、どの要素をクライアントコンピュータに組み込むかにより幾つかのパターンが可能である。
【００９７】
図１８は、サーバーコンピュータ１０１に情報セット取得部１０を設け、クライアントコンピュータ１００に軸設定部２０、特徴量抽出部３０、情報セット分類配置部４０、情報表示部５０を設けたクライアントサーバ構成例である。
【００９８】
図１９は、サーバーコンピュータ１０１に情報セット取得部１０、特徴量抽出部３０を設け、クライアントコンピュータ１００に軸設定部２０、情報セット分類配置部４０、情報表示部５０を設けた構成である。
【００９９】
図２０は、サーバーコンピュータ１０１に情報セット取得部１０、特徴量抽出部３０、情報セット分類配置部４０を設け、クライアントコンピュータ１００に軸設定部２０、情報表示部５０を設けた構成である。
【０１００】
ただし、上記の図１８〜図２０のそれぞれの構成において、情報セットの取得方法に関して幾通りかの方法が挙げられる。例えば、サーバコンピュータ１０１がロボットとして、あらかじめ指定されている内容の情報セットをネットワーク上などから定期的に自動収集・自動更新する方法がある。他には、図１８〜図２０はいずれも情報セット取得部１０がサーバコンピュータ１０１に図示されているが、情報セット取得部１０の情報セット収集部１２から情報セット収集キー入力部１５を分離してクライアントコンピュータ１００に設け（図示せず）、クライアントコンピュータ１００の利用者が情報セット収集キー入力部１５を用いて情報セット収集キーを入力し、当該入力された情報セット収集キーをサーバコンピュータ１０１の情報セット取得部１０に渡し、サーバコンピュータ１０１が当該情報セット収集キーを用いて、該当する情報セットをネットワーク上などから動的に収集する方法がある。
【０１０１】
このように、上述した実施形態１〜５のマルチメディア情報分類配置装置の装置構成要素を、サーバーコンピュータとクラアントコンピュータに分けて設けることにより、クライアントサーバシステムにより本発明のマルチメディア情報分類配置装置を構築することができる。
【０１０２】
（実施形態７）
本発明の実施形態７は、上記先行する実施形態１〜６で説明したマルチメディア情報分類配置装置などを用いたマルチメディア情報検索分類処理を用いて、情報セットに対する柔軟な分類、配置、検索絞り込み、他の検索の切り口に切り替えた分類配置方法である。
【０１０３】
従来に見られる検索方法は、検索キーワードを与え、検索結果を見て、さらに、検索キーワードを限定的なものに絞り込んで再検索を実行したり、検索結果が思わしくない場合に、新たな検索キーワードに代えて再検索を実行するものであり、試行錯誤的に検索キーワードを調整しつつ検索を実行するものと言える。
【０１０４】
しかし、検索キーワードというテキスト情報としての１つの特徴量について試行錯誤を重ねるのみである。
【０１０５】
本実施形態７の情報セットの分類配置方法は、検索キーとしてあるメディア情報のある特徴量を用いて検索した場合、検索結果を見て、次に、前記メディア情報とは異なるメディア情報の特徴量を用いた検索や、同じメディア情報であるが前回とは異なる特徴量を指定したりして、検索を次々と実行してゆく方法である。つまり、各メディア情報から抽出される特徴量の情報セット配置空間各軸への割り当てを設定して１以上の軸を備えた情報セット配置空間を設定し、分類配置した情報セットに対して、分類・配置に用いた特徴量とは異なる特徴量を指定して情報セット配置空間各軸への割り当てを再設定し、前記再設定に従って情報セットを前記情報セット配置空間内に再分類配置し、用いる特徴量を切り替えつつ情報セット配置空間の軸設定と情報セットの情報セット配置空間への分類配置を繰り返す分類配置方法である。
【０１０６】
この方法であれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる可能性が生じる。
【０１０７】
例えば、実施形態１で説明したマルチメディア情報分類配置装置を用いて、売れ筋の女性用バッグのデザインを調べるため、“バッグ”というキーワードを指定して情報セットを収集し、次に、情報セット配置空間軸として、Ｘ軸にウェーブレット変換係数特徴量、Ｙ軸に女性というキーワードの存在を示す特徴量、Ｚ軸にバッグというキーワードの存在を示す特徴量を割り付けて情報セット配置空間内に分類配置し、表示結果が得られたとする。ここで例えば、検索者が、表示された画像情報の中に、白系統色のバッグを持ち、白毛の犬を連れていた女性が写っている画像を発見した場合、「犬を連れ歩く女性は犬と同系統色のバッグを持つ人が多いかも知れない」という推測を持つ場合がある。当該推測を確かめるべく、情報セット配置空間軸に対して異なる切り口の特徴量を割り付けて、再軸設定をし、情報セットの再分類、再配置、再表示を実行する。例えば、Ｘ軸に“バッグ”というキーワードの存在を示す特徴量と“犬”というキーワードの存在を示す特徴量の合算を割り付け（つまり、バッグと犬の両方のキーワードを持つことを指定し）、Ｙ軸に色ヒストグラム特徴量を割り付けて、情報セット配置空間軸を再設定し、情報セットを再分類・再配置するというような新たな切り口の検索が可能となる。得られた画像情報の分類・配置の表示結果を見て、同系統の色のバッグと犬を持ち歩く女性が多いかも知れないという推測の真偽判断に役立てることができる。
【０１０８】
また、ここで、実施形態１でも説明したように当該情報セットに他のメディア情報、例えば、テキスト情報として個人情報が付随している場合、ポインティングデバイスでそれぞれの画像情報をクリックすると、同系統の色のバッグと犬を持ち歩く女性は年収が高い傾向があるなどの新たな傾向が発見できるかも知れない。さらに、情報セット中に、画像情報に関連づけられた音声情報としての犬の鳴き声音声情報が含まれておれば、情報セット配置空間軸の一つを音声情報の音声周波数特徴量を割り付けて再分類・配置、再表示を実行した場合に、別の切り口からの発見があるかも知れない。例えば、音声周波数が高い座標に多くの画像情報が配置されておれば、犬の音声が高い傾向にある、つまり、室内で飼えるような小型犬が多い傾向が発見できるかも知れない。つまり「小型犬を連れ歩く女性は、持ち歩くバッグの色を犬の色に合わせる傾向がある」という傾向を発見できるかも知れない。
【０１０９】
このように、本実施形態７の情報セットの分類配置方法によれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報が得られる。
【０１１０】
（実施形態８）
本発明のマルチメディア情報分類配置装置は、上記実施形態に説明した処理を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のマルチメディア情報分類配置装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図２１に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ２０２やフレキシブルディスク２０３等の可搬型記録媒体２０１だけでなく、ネットワーク上にある記録装置内の記録媒体２００や、コンピュータのハードディスクやＲＡＭ等の記録媒体２０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ２０４上にローディングされ、主メモリ上で実行される。
【０１１１】
産業上の利用可能性
本発明のマルチメディア情報分類配置装置によれば、画像情報、テキスト情報、音声情報を含むメディア情報のうち互いに関連性を持った情報の集合を情報セットとし、設定した情報セット配置空間に当該情報セットを分類配置し、当該情報セット配置空間に対する視点に応じたメディア情報を表示することができる。
【０１１２】
また、本発明のマルチメディア情報分類配置装置によれば、情報セット生成部を保持することにより、情報セットの分類、配置処理に先立ち、前処理として、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、収集したメディア情報相互の関連性を解析し、関連するメディア情報をまとめて情報セットを生成することができる。
【０１１３】
また、本発明のマルチメディア情報分類配置装置によれば、自己組織化マップ処理部を備えることにより、自己組織化マップ処理を応用し、情報セットの情報セット配置空間への分類・配置を行なうことができる。
【０１１４】
また、本発明のマルチメディア情報分類配置装置によれば、表示視点移動部を備えることにより、動的に表示視点を変化させることができ、検索者の操作に応じて、検索者がより詳しく見たい情報セットの分類・配置の様子をディスプレイ表示面近くに表示させることができる。
【０１１５】
また、本発明のマルチメディア情報分類配置装置によれば、情報セット配置空間を再設定し、注目する情報セットを特定位置に固定された状態で再分類することができ、各情報セットの配置位置がどのように変化したのかという状況をビジュアルに確認することができ、情報セットの検索、分類処理の利便性が向上する。
【０１１６】
また、本発明の情報セットの分類配置方法によれば、ある特徴量で得られた情報セットの分類・配置である検索結果を見て、全く異なる切り口の特徴量を使って情報セットの分類・配置を試すことができ、検索者にとって予期しない新しい発見的な情報を得ることができる。
【図面の簡単な説明】
【図１】本発明のマルチメディア情報分類配置装置で用いる処理単位としての情報セットの概念を説明する図
【図２】本発明の実施形態１のマルチメディア情報分類配置装置の装置構成例を示す図
【図３】本発明の実施形態１のマルチメディア情報分類配置装置の処理の流れを示すフローチャート
【図４】本発明の実施形態１のマルチメディア情報分類配置装置において、“バッグ”のキーワードで収集された情報セットを情報セット配置空間に分類、配置した場合の表示例を示す写真
【図５】第４図に示した情報セット配置空間上の画像情報に付随しているテキスト情報のＩＤ番号がプルダウンメニューで表示された例を示す写真
【図６】第５図に示されたプルダウンメニューからテキスト情報のＩＤ番号を選んで該当するテキストが表示された例を示す写真
【図７】軸設定部２０により情報セット配置空間軸を再設定し、特徴量の再抽出、当該情報セット配置空間へ再分類、再表示した例を示す写真
【図８】キーイメージに類似する画像情報を類似イメージリストとして表示した例を示す写真
【図９】本発明の実施形態２のマルチメディア情報分類配置装置の装置構成例を示す図
【図１０】本発明の実施形態３のマルチメディア情報分類配置装置の装置構成例を示す図
【図１１】本発明の実施形態４のマルチメディア情報分類配置装置の装置構成例を示す図
【図１２】本発明の実施形態５のマルチメディア情報分類配置装置において、表示視点を奥行き方向に進めた場合の表示例を示す写真
【図１３】本発明の実施形態５のマルチメディア情報分類配置装置の装置構成例を示す図
【図１４】情報表示部５０により表示された再分類配置前の具体例を示した図
【図１５】情報表示部５０により表示された再分類配置後の具体例を示した図
【図１６】再分類配置前において配置位置固定指定部４１を用いて特定の情報セットを選択指定した様子を示す図
【図１７】第１６図で選択指定された情報セットを特定位置（画面中央）に固定して他の情報セットを再分類配置した様子を示した図
【図１８】本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図１９】本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図２０】本発明の実施形態６のマルチメディア情報分類配置装置をクライアントサーバ構成で構築した例を示す図
【図２１】本発明の実施形態７のマルチメディア情報分類配置装置の処理内容を処理ステップとしたプログラムを記録した記録媒体の例を示す図
Claims (12)
- 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、その情報セットを単位としてメディア情報を取得する情報セット取得部と、
取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、１以上の軸を備えた情報セット配置空間を設定する軸設定部と、
各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出部と、
各情報セットを、該情報セットが持つメディア情報の特徴量の属性とその特徴量の成分に基づいて前記情報セット配置空間内に分類配置する情報セット分類配置部と、
前記情報セット配置空間内に分類配置された各情報セットのメディア情報のうち、前記情報セット配置空間に対する視点に応じたメディア情報を表示する情報表示部を備え、
前記情報セット分類配置部が、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定する機能と、
軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、前記ユーザが選択した情報セットを前記特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する機能を備えたことを特徴とするマルチメディア情報分類配置装置。 - 前記軸設定部が、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、
前記情報セット分類配置部が、再設定された情報セット配置空間に対して各情報セットを再分類配置し、
前記情報表示部が、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示する、請求項１に記載のマルチメディア情報分類配置装置。 - 前記情報セット取得部が、画像情報、テキスト情報、音声情報を含むメディア情報を収集する情報収集部と、前記収集したメディア情報相互の関連性を解析する関連解析部と、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する情報セット生成部を備えた、請求項１に記載のマルチメディア情報分類配置装置。
- 前記軸設定部における、１つの空間軸に対して割り当てる特徴量の属性が複数の特徴量の属性を組み合わせたもの、または、複数の軸に対して１つの特徴量の属性を割り当てたものである請求項１〜３のいずれか一項に記載のマルチメディア情報分類配置装置。
- 前記軸設定部が、情報セット配置空間軸の各軸への特徴量の属性の割り当てを再設定し、１以上の軸を備えた情報セット配置空間を再設定する軸再設定機能を備え、
前記特徴量抽出部が前記軸設定部による軸再設定に応じて特徴量の成分を抽出し、前記情報セット分類配置部が前記抽出された特徴量の成分に応じて各情報セットを前記情報セット配置空間内に分類配置し、前記情報表示部が前記再設定された情報セット配置空間に対する視点に応じたメディア情報を表示する請求項１〜４のいずれか一項に記載のマルチメディア情報分類配置装置。 - 前記情報収集部が、マルチメディア情報群からメディア情報を収集する際に指定された選択基準に従ってメディア情報を収集するものであって、前記選択基準を、キーワード情報、サイト情報、リンク情報、特定情報セットに対する類似度情報を含む基準群から選んで指定する請求項３に記載のマルチメディア情報分類配置装置。
- 前記特徴量が、画像情報に対するＤＣＴ変換係数特徴量、画像情報に対するウェーブレット変換係数特徴量、画像情報に対するＨＳＩ色ヒストグラム特徴量、テキスト情報に対する特定単語の存在を示す特徴量、テキスト情報に対する特定単語の使用回数の特徴量、音声情報に対する音声周波数特徴量、音声情報に対する振幅特徴量、音声情報に対する時間変移特徴量から選ばれた特徴量である請求項１〜３のいずれか一項に記載のマルチメディア情報分類配置装置。
- 前記情報セット分類配置部が、局所相互作用を利用して学習により自己組織化をおこなう自己組織化マップ処理部を備え、
前記情報セット分類配置部は、前記特徴量抽出部が抽出した特徴量をもとに、前記自己組織化マップ処理部による自己組織化マップ処理を用いて情報セットを配置する請求項１〜３のいずれか一項に記載のマルチメディア情報分類配置装置。 - 前記情報表示部が、情報セットおよび情報セット配置空間を表示する視点の設定位置を移動させる機能を持つ表示視点移動部を備え、
前記情報表示部は、前記表示視点移動部が設定した視点位置に基づいて情報セットが分類・配置された情報セット配置空間を表示する請求項１〜３のいずれか一項に記載のマルチメディア情報分類配置装置。 - 画像情報、テキスト情報、音声情報を含むメディア情報の集合から同じ対象に関連している同種および異種メディア情報をグループ化したものを情報セットとし、その情報セットを単位としてメディア情報を取得する情報セット処理ステップと、
取得した各情報セットに含まれる各メディア情報から抽出される特徴量の属性を、情報セットの集合を配置する空間の軸として割り当て、１以上の軸を備えた情報セット配置空間を設定する軸設定処理ステップと、
各情報セットの各メディア情報から特徴量の成分を抽出する特徴量抽出処理ステップと、
前記抽出した特徴量の成分に基づいて各情報セットを前記情報セット配置空間内に分類配置する情報セット分類配置処理ステップと、
前記情報セット配置空間内に分類配置された各情報セットのメディア情報のうち、前記情報セット配置空間に対する視点に応じたメディア情報を表示する情報表示処理ステップを含む処理をコンピュータに実行させるための処理プログラムを記録した記録媒体であって、
前記情報セット分類配置処理ステップにおいて、ユーザが選択した情報セットをユーザが指定した情報セット配置空間上の特定位置へ固定し、
軸が再設定された情報セット配置空間に対して各情報セットを再分類配置する際に、前記ユーザが選択した情報セットを前記特定位置に固定し、他の情報セットのみを情報セット配置空間に応じて再分類配置する処理をコンピュータに実行させるための処理プログラムを記録した記録媒体。 - 前記軸設定処理ステップにおいて、情報セット配置空間各軸への特徴量の属性の割り当てを再設定して既に表示されている情報セット配置空間を再設定し、
前記情報セット分類配置処理ステップにおいて、再設定された情報セット配置空間に対して各情報セットを再分類配置し、
前記情報表示ステップにおいて、各情報セットが再分類配置される様子を表示するにあたり、再分類配置前に表示されていた位置から、再分類配置後に表示される位置まで、表示されているメディア情報を所定のきざみで移動させて表示する処理をコンピュータに実行させるための処理プログラムを記録した、請求項１０に記載の記録媒体。 - 前記情報セット処理ステップにおいて、画像情報、テキスト情報、音声情報を含むメディア情報を収集し、前記収集したメディア情報相互の関連性を解析し、相互に関連性を持つ同種および異種メディア情報をグループ化したものを情報セットとして編集する処理をコンピュータに実行させるための処理プログラムを記録した、請求項１０に記載の記録媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP1999/005950 WO2001031502A1 (fr) | 1999-10-27 | 1999-10-27 | Dispositif et procede de classement et de rangement d'informations multimedia |
| PCT/JP2000/006684 WO2001031503A1 (fr) | 1999-10-27 | 2000-09-27 | Dispositif et procede de structuration/tri d'informations multimedia |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3615518B2 true JP3615518B2 (ja) | 2005-02-02 |
Family
ID=14237112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001534014A Expired - Lifetime JP3615518B2 (ja) | 1999-10-27 | 2000-09-27 | マルチメディア情報分類配置装置および分類配置方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6948123B2 (ja) |
| EP (1) | EP1241585A4 (ja) |
| JP (1) | JP3615518B2 (ja) |
| WO (2) | WO2001031502A1 (ja) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3738631B2 (ja) * | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
| JP3840928B2 (ja) * | 2001-07-17 | 2006-11-01 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
| US20030126601A1 (en) * | 2001-12-31 | 2003-07-03 | Koninklijke Philips Electronics N.V. | Visualization of entertainment content |
| JP4116325B2 (ja) * | 2002-05-09 | 2008-07-09 | 富士フイルム株式会社 | 画像表示制御装置 |
| GB2393271A (en) * | 2002-09-19 | 2004-03-24 | Sony Uk Ltd | Information storage and retrieval |
| GB2395807A (en) * | 2002-11-27 | 2004-06-02 | Sony Uk Ltd | Information retrieval |
| GB2395808A (en) * | 2002-11-27 | 2004-06-02 | Sony Uk Ltd | Information retrieval |
| US7124149B2 (en) * | 2002-12-13 | 2006-10-17 | International Business Machines Corporation | Method and apparatus for content representation and retrieval in concept model space |
| JP2004348591A (ja) * | 2003-05-23 | 2004-12-09 | Canon Inc | 文書検索方法及び装置 |
| US20050193015A1 (en) * | 2004-02-19 | 2005-09-01 | Sandraic Logic, Llc A California Limited Liability Company | Method and apparatus for organizing, sorting and navigating multimedia content |
| US8499248B1 (en) * | 2004-04-29 | 2013-07-30 | Paul Erich Keel | Methods and apparatus for managing and exchanging information using information objects |
| JP4539207B2 (ja) * | 2004-07-21 | 2010-09-08 | 株式会社日立製作所 | プレイリスト作成装置、その方法、ダビングリスト作成装置、及びその方法 |
| US20060136417A1 (en) * | 2004-12-17 | 2006-06-22 | General Electric Company | Method and system for search, analysis and display of structured data |
| US20060136259A1 (en) * | 2004-12-17 | 2006-06-22 | General Electric Company | Multi-dimensional analysis of medical data |
| US20070011169A1 (en) * | 2005-07-05 | 2007-01-11 | Xerox Corporation | Method and system for collecting data from diverse sources and transforming the collected data into a user-friendly format |
| JP2007066291A (ja) * | 2005-08-02 | 2007-03-15 | Seiko Epson Corp | 画像表示方法および画像表示装置、画像表示システム、サーバ、プログラム、記録媒体 |
| JP2007080061A (ja) * | 2005-09-15 | 2007-03-29 | Univ Of Tsukuba | Ｗｅｂページの検索方法及びＷｅｂページのクラスタリング方法 |
| US20070078873A1 (en) * | 2005-09-30 | 2007-04-05 | Avinash Gopal B | Computer assisted domain specific entity mapping method and system |
| US7707204B2 (en) * | 2005-12-13 | 2010-04-27 | Microsoft Corporation | Factoid-based searching |
| US20070209025A1 (en) * | 2006-01-25 | 2007-09-06 | Microsoft Corporation | User interface for viewing images |
| JP4958456B2 (ja) * | 2006-03-14 | 2012-06-20 | 学校法人同志社 | 画面の表示方法 |
| US20100194756A1 (en) * | 2006-08-07 | 2010-08-05 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V., A Corporation Of Germany | Method for producing scaleable image matrices |
| US7707208B2 (en) | 2006-10-10 | 2010-04-27 | Microsoft Corporation | Identifying sight for a location |
| JP4296521B2 (ja) * | 2007-02-13 | 2009-07-15 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| US20080208791A1 (en) * | 2007-02-27 | 2008-08-28 | Madirakshi Das | Retrieving images based on an example image |
| JP4356027B2 (ja) * | 2007-03-30 | 2009-11-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| WO2008122914A2 (en) * | 2007-04-04 | 2008-10-16 | Koninklijke Philips Electronics N.V. | Method and apparatus for rendering a plurality of multimedia objects |
| US8375312B2 (en) * | 2007-06-08 | 2013-02-12 | Apple Inc. | Classifying digital media based on content |
| US8069404B2 (en) | 2007-08-22 | 2011-11-29 | Maya-Systems Inc. | Method of managing expected documents and system providing same |
| US8601392B2 (en) | 2007-08-22 | 2013-12-03 | 9224-5489 Quebec Inc. | Timeline for presenting information |
| US20090199093A1 (en) * | 2007-09-04 | 2009-08-06 | Tridib Chakravarty | Image Capture And Sharing System and Method |
| CA2657835C (en) | 2008-03-07 | 2017-09-19 | Mathieu Audet | Documents discrimination system and method thereof |
| JP2009266188A (ja) * | 2008-03-31 | 2009-11-12 | Yahoo Japan Corp | 表示制御方法及びプログラム |
| JP4636141B2 (ja) * | 2008-08-28 | 2011-02-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| US9077949B2 (en) * | 2008-11-07 | 2015-07-07 | National University Corporation Hokkaido University | Content search device and program that computes correlations among different features |
| US8423916B2 (en) * | 2008-11-20 | 2013-04-16 | Canon Kabushiki Kaisha | Information processing apparatus, processing method thereof, and computer-readable storage medium |
| KR101695490B1 (ko) * | 2009-12-23 | 2017-01-12 | 삼성전자주식회사 | 컨텐츠 검색방법 |
| US9384216B2 (en) | 2010-11-16 | 2016-07-05 | Microsoft Technology Licensing, Llc | Browsing related image search result sets |
| US9189129B2 (en) | 2011-02-01 | 2015-11-17 | 9224-5489 Quebec Inc. | Non-homogeneous objects magnification and reduction |
| CA2790799C (en) | 2011-09-25 | 2023-03-21 | Mathieu Audet | Method and apparatus of navigating information element axes |
| US9519693B2 (en) | 2012-06-11 | 2016-12-13 | 9224-5489 Quebec Inc. | Method and apparatus for displaying data element axes |
| US9646080B2 (en) | 2012-06-12 | 2017-05-09 | 9224-5489 Quebec Inc. | Multi-functions axis-based interface |
| JP6144968B2 (ja) * | 2013-06-05 | 2017-06-07 | 日本電信電話株式会社 | 情報提示装置、方法、及びプログラム |
| CN103473040A (zh) * | 2013-07-08 | 2013-12-25 | 北京百纳威尔科技有限公司 | 多媒体播放方法及装置 |
| JP6058595B2 (ja) * | 2013-07-31 | 2017-01-11 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
| CN105488084A (zh) * | 2014-12-24 | 2016-04-13 | 哈尔滨安天科技股份有限公司 | 基于树同构的软件安装包分类方法及系统 |
| US10671266B2 (en) | 2017-06-05 | 2020-06-02 | 9224-5489 Quebec Inc. | Method and apparatus of aligning information element axes |
| US10726851B2 (en) * | 2017-08-31 | 2020-07-28 | Sony Interactive Entertainment Inc. | Low latency audio stream acceleration by selectively dropping and blending audio blocks |
| JP7014072B2 (ja) * | 2018-07-17 | 2022-02-01 | 日本電信電話株式会社 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
| CN112218167B (zh) * | 2019-07-10 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 多媒体信息播放方法、服务器、终端及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0728687A (ja) * | 1993-07-15 | 1995-01-31 | Fujitsu Ltd | マルチメディア知識ベ−ス装置，及び、情報提供装置 |
| JPH09114859A (ja) * | 1995-10-20 | 1997-05-02 | Fuji Xerox Co Ltd | 情報提示装置 |
| JPH09259130A (ja) * | 1996-03-19 | 1997-10-03 | Fujitsu Ltd | 情報探索方法及び装置 |
| JPH1011463A (ja) * | 1996-06-26 | 1998-01-16 | Mitsubishi Materials Corp | 音楽情報検索装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3715690B2 (ja) * | 1995-08-02 | 2005-11-09 | キヤノン株式会社 | マルチメディアデータファイリングシステム |
| US5918223A (en) * | 1996-07-22 | 1999-06-29 | Muscle Fish | Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information |
| US5915038A (en) * | 1996-08-26 | 1999-06-22 | Philips Electronics North America Corporation | Using index keys extracted from JPEG-compressed images for image retrieval |
| US6253218B1 (en) * | 1996-12-26 | 2001-06-26 | Atsushi Aoki | Three dimensional data display method utilizing view point tracing and reduced document images |
| US6633893B2 (en) * | 1998-09-04 | 2003-10-14 | Canon Kabushiki Kaisha | File management system and method, and storage medium |
-
1999
- 1999-10-27 WO PCT/JP1999/005950 patent/WO2001031502A1/ja active Application Filing
-
2000
- 2000-09-27 WO PCT/JP2000/006684 patent/WO2001031503A1/ja active Application Filing
- 2000-09-27 EP EP00962905A patent/EP1241585A4/en not_active Ceased
- 2000-09-27 JP JP2001534014A patent/JP3615518B2/ja not_active Expired - Lifetime
-
2002
- 2002-03-20 US US10/101,272 patent/US6948123B2/en not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0728687A (ja) * | 1993-07-15 | 1995-01-31 | Fujitsu Ltd | マルチメディア知識ベ−ス装置，及び、情報提供装置 |
| JPH09114859A (ja) * | 1995-10-20 | 1997-05-02 | Fuji Xerox Co Ltd | 情報提示装置 |
| JPH09259130A (ja) * | 1996-03-19 | 1997-10-03 | Fujitsu Ltd | 情報探索方法及び装置 |
| JPH1011463A (ja) * | 1996-06-26 | 1998-01-16 | Mitsubishi Materials Corp | 音楽情報検索装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6948123B2 (en) | 2005-09-20 |
| EP1241585A1 (en) | 2002-09-18 |
| WO2001031502A1 (fr) | 2001-05-03 |
| EP1241585A4 (en) | 2007-08-08 |
| US20020105541A1 (en) | 2002-08-08 |
| WO2001031503A1 (fr) | 2001-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3615518B2 (ja) | マルチメディア情報分類配置装置および分類配置方法 | |
| JP4116329B2 (ja) | 文書情報表示システム、文書情報表示方法及び文書検索方法 | |
| US5832494A (en) | Method and apparatus for indexing, searching and displaying data | |
| JP3489615B2 (ja) | 画像分類方法、画像問い合わせ方法、画像分類装置、画像問い合わせ装置 | |
| Teoh et al. | PaintingClass: interactive construction, visualization and exploration of decision trees | |
| US7043474B2 (en) | System and method for measuring image similarity based on semantic meaning | |
| JP3671008B2 (ja) | コンテキスト・クラスタ発見および検証のための顧客セルフ・サービス・サブシステム | |
| JP4945687B2 (ja) | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム | |
| JP2009251850A (ja) | 類似画像検索を用いた商品推薦システム | |
| JP2002259410A (ja) | オブジェクト分類管理方法、オブジェクト分類管理システム、オブジェクト分類管理プログラム及び記録媒体 | |
| JP4841926B2 (ja) | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム | |
| JP4295510B2 (ja) | マルチメディア情報分類配置装置および分類配置方法 | |
| JP3522570B2 (ja) | 画像検索・画像分類連携システム | |
| JP4979528B2 (ja) | コンテンツ表示装置、コンテンツ表示方法、プログラムおよび記録媒体 | |
| JP2014102625A (ja) | 情報検索システム、プログラム、および方法 | |
| Goyal et al. | A Review on Different Content Based Image Retrieval Techniques Using High Level Semantic Feature | |
| JP2001337971A (ja) | 文書分類装置、文書分類方法及び文書分類方法のプログラムを記録した記憶媒体 | |
| Alam et al. | Steps towards interactive formal concept analysis with latviz | |
| Fabrikant et al. | Envisioning user access to a large data archive | |
| Colombo et al. | Interactive image retrieval by color distributions | |
| JP3365407B2 (ja) | データ処理装置及び方法 | |
| Zekri et al. | Optimized Image Retrieval System in Oracle DBMS | |
| JP3772401B2 (ja) | 文書分類装置 | |
| Ventura Royo | Image-based query by example using mpeg-7 visual descriptors | |
| Hirata et al. | Integration of image matching and classification for multimedia navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041029 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3615518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 9 |