JP2005122690A - 情報処理 - Google Patents

Abstract

【課題】検索結果の関係を明示的に表示する。
【解決手段】 情報アイテムのテキスト情報を分析して、情報アイテムに関連する情報構成要素の集合を検出するステップと、情報構成要素のそれぞれについて、情報アイテムに関する情報構成要素の出現の頻度及び性質の少なくとも一方に基づいて、相対的な重要度の程度を検出するステップと、少なくとも２つの情報構成要素の部分集合を選択するステップと、情報構成要素の選択された部分集合を含み、情報アイテムを代表する擬似画像であって、部分集合の最も重要な情報構成要素が代表擬似画像内の第１の所定の領域において最も目立つように表示され、部分集合の１つ以上の他の情報構成要素がそれぞれの相対的な重要度の程度に応じて、代表擬似画像の他の所定の領域に表示される所定のレイアウトに構成された、擬似画像を生成するステップとを有する。
【選択図】図１３

Description

本発明は、情報処理に関する。

なお、本発明は、情報検索システム（information search system）に限定されるものではないが、本発明を明瞭に説明するために、この分野における問題点について述べる。

キーワードに基づいて情報（例えば文書、画像、電子メール、特許情報、例えばオーディオ／ビデオコンテンツ等のインターネットコンテンツやメディアコンテンツ等）を検索するための多くの方式が確立されている。この検索の具体例としては、「グーグル（Google：商標）」、「ヤフー（Yahoo：商標）」等から提供されるインターネット検索「エンジン」も含まれ、これらにおいては、キーワードに基づく検索が実行され、検索エンジンによって適合度の順にランク付けされた検索結果のリストが得られる。

しかしながら、多くの場合大量のコンテンツコレクション（massive content collection）と呼ばれる大量のコンテンツを含むシステムにおいては、比較的短い「ヒット」した結果のリストが得られる有効な検索クエリを定式化することは困難となることがある。例えば、本出願を準備している時点では、グーグルにおいて、キーワード「massive document collection」を用いた検索を行うと、ヒット数は、２４３０００件となる。インターネット全体に蓄積されているコンテンツの量は、通常、時間と共に増加すると考えられるので、後に同じ検索を行った場合には、このヒット数は更に増加すると予想される。このようなヒットリストに基づいて、ヒットした全てのコンテンツに目を通す（Reviewing）ことは、現実的には殆ど不可能な程に時間がかかる作業である。

大量のコンテンツコレクションを活用することが困難である理由は、一般的には、以下のようなものがある。
・ユーザは、関連するコンテンツが存在することを知らない。
・ユーザは、関連するコンテンツが存在することを知っているが、そのコンテンツがどこにあるかを知らない。
・ユーザは、コンテンツが存在していることを知っているが、そのコンテンツが関連するコンテンツであることを知らない。
・ユーザは、関連するコンテンツが存在し、そのコンテンツを見つけ出す手法も知っているが、コンテンツを見つけ出すには時間がかかる。

「大量の文書集合の自己組織化（Self Organisation of a Massive Document Collection）」、コホネン（Kohonen）他、ニューラルネットワークに関するＩＥＥＥトランザクション（IEEE Transactions on Neural Networks）、Ｖｏｌ１１、Ｎｏ．３、２０００年５月、５７４〜５８５頁には、所謂「自己組織化マップ（self-organising maps：以下、ＳＯＭという。）」を用いた技術が開示されている。ＳＯＭは、各文書の属性を表す「特徴ベクトル（特徴ベクトル）」をＳＯＭのノードにマッピングする、所謂教師なき自己学習ニューラルネットワークアルゴリズム（unsupervised self-learning neural network algorithm）を利用している。

コホネン他の論文に開示されている手法では、まず、文書テキストを前処理し、前処理された各文書から特徴ベクトルが導かれる。この特徴ベクトルは、大きな単語の辞書における各単語の出現頻度を示すヒストグラムの形式で表してもよい。ヒストグラム内の各データ値（すなわち、辞書中のそれぞれの単語の各出現頻度）は、辞書内の候補となる単語の総数（この論文に記述されている具体例では、４３２２２個）をｎとして、ｎ値のベクトルにおける値となる。例えば、ある単語の適合度を増加させ又は特異性を強調するために、ｎ個のベクトル値に重み付けを適用してもよい。

ｎ値のベクトルは、次元がより小さいベクトル（すなわちｎに比べてかなり小さな値の数ｍ（論文内の具体例では５００）の値を有するベクトル）にマッピングされる。これは、乱数の配列により構成されるｎ×ｍの「射影行列（projection matrix）」をベクトルに乗算することによって実現される。この手法により、次元が小さくされたどの２つのベクトルをとっても、それぞれ対応する２つの入力ベクトルと略同じ内積を有する、次元がより小さいベクトルが生成される。このベクトルマッピング処理は、論文「ランダムマッピングによる次元縮退：クラスタリングのための高速類似性演算（Dimensionality Reduction by Random Mapping; Fast Similarity Computation for Clustering）」、カスキ（Kaski）、ＰｒｏｃＩＪＣＮＮ、４１３〜４１８頁、１９９８年に記載されている。

次元が縮退されたベクトルは、各ベクトルを１つの「モデル（他のベクトル）」に乗算する処理によって、ＳＯＭ上のノード（ニューロンともいう）にマッピングされる。これらのモデルは、学習プロセスによって生成される。この学習プロセスでは、モデルを相互の類似性に基づいてＳＯＭ上に順序付けし、ＳＯＭは、通常、ノードの２次元グリッドとして表される。これは、膨大な演算を必要とする処理であり、コホネン他は、この処理のために、７００万の文書に満たない文書データベースに対して、８００ＭＢのメモリを有する６プロセッサのコンピュータで６週間を費やしている。最終的には、ＳＯＭを構成するノードのグリッドが表示され、ユーザはマップの領域をズームしてノードを選択することができ、これにより、ユーザインタフェースは、そのノードにリンクされた文書が含まれるインターネットページへのリンクを提供する。

これらの技術は、大量の文書集合のうち、検索における有用な領域を決定する効果的な手法を提供する。しかしながら、これらの技術を用いても、検索処理が有効な多数の検索引用を提供することは希である。最も高度な検索法を用いても、人間のオペレータがクエリに対して特に関連性が高く、又は特に有用であるかを判断して検索引用をソートする作業と同等の作業までは実行されない。このような作業は、コンピュータの助けを借りた検索処理において、最も時間がかかる作業である。

本発明に係る情報アイテム処理方法は、複数のテキスト情報を含む情報アイテムを処理する情報アイテム処理方法において、ａ）情報アイテムのテキスト情報を分析して、情報アイテムに関連する情報構成要素の集合を検出するステップと、ｂ）情報構成要素のそれぞれについて、情報アイテムに関する情報構成要素の出現の頻度及び性質の少なくとも一方に基づいて、相対的な重要度の程度を検出するステップと、ｃ）少なくとも２つの情報構成要素の部分集合（subset）を選択するステップと、ｄ）情報構成要素の選択された部分集合を含み、情報アイテムを代表する擬似画像であって、ｄ．１）部分集合の最も重要な情報構成要素が代表擬似画像内の第１の所定の領域において最も目立つように表示され、ｄ．２）部分集合の１つ以上の他の情報構成要素がそれぞれの相対的な重要度の程度に応じて、代表擬似画像の他の所定の領域に表示される所定のレイアウトに構成された、擬似画像を生成するステップとを有する。

本発明は、情報アイテム内の異なる情報構成要素の相対的な重要度又は関連性に関する客観的な（自動的な）評価を行い、この評価に基づいて、情報アイテムに関連する代表擬似画像を構築することにより、上述した問題を解決する。擬似画像は、所定のフォーマットを有し、ユーザが（例えば、検索クエリに対する結果として）複数の擬似画像を見た際に、ユーザは、非常に素早く及び効果的に対応する情報アイテムのコンテンツを把握することができる。

最も重要な情報構成要素は、代表擬似画像における中央領域に表示することによって目立たせてもよい。

また、より関連性を有する情報を目立たせるために、好ましくは、代表擬似画像の所定の領域は、関連付けられた（例えば、異なる）背景色を有し、及び／又は代表擬似画像の所定の領域には、所定の領域内に表示される情報構成要素の相対的な重要度に応じたテキストフォントサイズを用いて、テキスト情報を表示してもよい。

本発明は、少なくとも１つの情報アイテムがウェブページであり、情報構成要素がテキスト情報を含む場合に特に好適である。

情報アイテムが主要な画像又は映像情報を含む場合、異なる技術によって、情報アイテムからの代表画像を含む情報アイテムを代表する代表擬似画像を生成してもよく、又は情報アイテムにおける複数の画像から１つの代表画像を選択してもよい。

情報アイテムの集合のコンテンツをユーザに評価させる特に有効な手法として、情報アイテムの集合に対応する代表擬似画像の時間的シーケンス（好ましくは、同じ位置に対応する及び／又は同じ画像表示サイズを有する）を表示してもよい。この手法は、画像アイテムの擬似画像及びテキストアイテムの擬似画像が混合された情報にも適用することができる。擬似画像の標準的なフォーマットは、ユーザが擬似画像内の常に同じ位置に視線を向けることを利用しており、このため、ユーザは、最も高い関連性を有する情報をより高速に評価することができるようになる。

更に、本発明に係る情報アイテム処理装置は、複数のテキスト情報を含む情報アイテムを処理する情報アイテム処理装置において、１）情報アイテムのテキスト情報を分析して、情報アイテムに関連する情報構成要素の集合を検出するテキスト分析器と、２）情報構成要素のそれぞれについて、情報アイテムに関する情報構成要素の出現の頻度及び性質の少なくとも一方に基づいて、相対的な重要度の程度を検出する検出器と、３）少なくとも２つの情報構成要素の部分集合を選択する選択器と、４）情報構成要素の選択された部分集合を含み、情報アイテムを代表する擬似画像であって、ａ）部分集合の最も重要な情報構成要素が代表擬似画像内の第１の所定の領域において最も目立つように表示され、ｂ）部分集合の１つ以上の他の情報構成要素がそれぞれの相対的な重要度の程度に応じて、代表擬似画像の他の所定の領域に表示される所定のレイアウトに構成された、擬似画像を生成する擬似画像生成器とを備える。

本発明の更なる側面及び特徴は、添付の請求の範囲において定義されている。

図１は、情報格納及び検索システム（information storage and retrieval system）の構成を概略的に示す図であり、この情報格納及び検索システムは、汎用コンピュータ１０によって実現されており、汎用コンピュータ１０は、プログラム及びデータを格納するディスク記憶装置３０を含むプロセッサユニット２０と、イーサネット（登録商標）（Ethernet network）又はインターネット等のネットワーク５０に接続されたネットワークインタフェースカード４０と、例えば陰極線管等の表示装置６０と、キーボード７０及びマウス８０等のユーザ入力装置とを備える。この情報格納及び検索システムは、プログラム制御の下に動作し、このプログラムは、ディスク記憶装置３０に格納され、及び、例えばネットワーク５０又はリムーバブルディスク（図示せず）から、若しくはディスク記憶装置３０にプリインストールされて提供される。

情報格納及び検索システムは、２つの通常の動作モードで動作する。第１のモードでは、第１の情報アイテム（例えば、テキスト情報アイテム）の集合がディスク記憶装置３０に又はネットワーク５０を介して接続されたネットワークディスクドライブに集められ（assembled）、検索動作のために予めソートされるとともに、インデックスが付けられる。第２のモードの動作では、ソートされ、インデックスが付されたデータに対して実際の検索が行われる。

この具体例は、多くの種類の情報アイテムに適用できる。適用される情報アイテムとしては、以下に限定されるものではないが、例えば、特許情報、ビデオマテリアル、電子メール、プレゼンテーション、インターネットコンテンツ、放送コンテンツ、営業報告書、オーディオマテリアル、グラフィクス及びクリップアート、写真、これらの組合せ又は混合された情報等がある。ここでは、テキスト情報アイテム、又は少なくともテキストコンテンツを含む又は関連した情報について説明する。但し、テキスト情報アイテムは、非テキスト情報アイテムに関連付けられ又はリンクされていてもよい。例えば、オーディオ及び／又はビデオマテリアル等の放送コンテンツは、そのマテリアルをテキスト用語（textual terms）で定義する関連したメタデータを有することができる。

情報アイテムは、従来の方法でディスク記憶装置３０にロードされる。好ましくは、情報アイテムは、アイテムに索引を付けてより容易に検索できるようにデータベース構造の一部として格納されるが、このことは必ずしも必要なわけではない。情報及びアイテムが一旦格納されると、検索のために格納された情報を整理する、図２に示す処理が行われる。

なお、インデックスが付されたデータは、必ずしもローカルのディスクドライブであるディスク記憶装置３０に格納する必要はない。情報アイテムは、ネットワーク５０を介して汎用コンピュータ１０に接続されたリモートのドライブに格納することもできる。これに代えて、情報は、分散方式で、例えばインターネット全域の様々サイトに格納することもできる。情報が異なるインターネットサイト又はネットワークサイトに格納されている場合、リモートの情報への「リンク」（例えば、ユニバーサルリソース識別子：universal resource identifier：ＵＲＩ）を、例えば関連した要約（summary）、概要（abstract）、又はこのリンク関するメタデータと共に格納する第２のレベルの情報格納を用いることができる。リモートに格納された情報は、ユーザが（例えば、後述する結果リスト２６０から）関連するリンクを選択しない限り、アクセスされないが、以下に記述する技術的な説明においては、リモートに格納された情報、又は要約、概要、メタデータ、若しくはリンク／ＵＲＩも「情報アイテム」とみなすことができる。

換言すると、「情報アイテム」の正式な定義とは、（後述のように）特徴ベクトルを導出及び処理して、自己組織化マップ（ＳＯＭ）へのマッピングを行うことができるアイテムと形式的に定義することができる。後述する結果リスト２６０内のデータは、（情報アイテムがローカルに格納され、容易に表示できる程に十分短い場合）ユーザが要求している実際の情報アイテムであってもよく、及び／又は、例えばメタデータ、ＵＲＩ、概要、キーワードのセット、代表的なキースタンプ画像等のうちの１つ以上である、情報アイテムを表現及び／又は指示するデータであってもよい。これは、必ずではないが、多くの場合、１組のアイテムを表すデータを一覧化する「リスト」動作に特有なものである。

更なる具体例においては、情報アイテムは、例えば研究チームや法律事務所等のネットワーク化されたワークグループ全体に格納してもよい。また、ハイブリッド法は、ローカルに格納された情報アイテム及び／又はローカルエリアネットワーク全体に格納された情報アイテム及び／又はワイドエリアネットワーク全体に格納された情報アイテムを含んでいてもよい。この場合、本発明に基づくシステムは、他者による類似した業績を検索するのに有用であり、例えば、後述するように、複数の国に亘る大規模な研究開発組織において、類似した研究業績をＳＯＭにおける類似した出力ノードにマッピングすることができる。あるいは、新たなテレビジョン番組を企画する場合、本発明に基づく技術を用いて、類似するコンテンツを有する以前の番組を検索することにより、企画中の番組の独創性を確認することもできる。

図１に示す汎用コンピュータ１０は、インデックスが付された情報アイテムを用いる可能なシステムの一例にすぎない。初期の（インデックス付与）段階は、相当の演算能力を有するコンピュータ、可能性としては携帯型ではないコンピュータによって実行されるが、後の段階では、例えば、携帯情報端末（personal digital assistant：ＰＤＡ）（ディスプレイとユーザ入力装置とを備えた、通常片手で持てる程度の寸法のデータ処理装置を指す）、ラップトップコンピュータ等の携帯型コンピュータによって、情報のアクセスを実行してもよく、更に携帯電話、ビデオ編集装置、ビデオカメラ等の機器で行ってもよい。包括的に言えば、情報にアクセスする動作段階では、ディスプレイを有するあらゆる機器を用いることができる。

この処理は、特定の数の情報アイテムに対する処理に限定されるものではない。

情報アイテムの自己組織化マップ（ＳＯＭ）表現を生成する処理について、図２〜図６を用いて説明する。図２は、ＳＯＭマッピング処理の前に行われる、所謂「特徴抽出（feature extraction）」を説明するフローチャートである。

特徴抽出は、生のデータ（raw data）を抽象的表現（abstract representation）に変換する処理である。そして、この抽象的表現は、パターン分類、クラスタリング、認識等の処理に用いることができる。この処理により、所謂「特徴ベクトル」が生成される。特徴ベクトルは、文書内で使用される用語の頻度の抽象的表現である。

特徴ベクトルを生成することにより、ビジュアライゼーション（visualisation）を形成する処理は、以下のステップを含む。
・用語の「文書データベース辞書（document database dictionary）」を作成する。
・「文書データベース辞書」に基づいて、個々の各文書について、「用語頻度ヒストグラム（term frequency histogram）」を作成する。
・ランダムマッピングを用いて、「用語頻度ヒストグラム」の次元を縮退する。
・情報空間の２次元ビジュアライゼーションを作成する。

以下、これらのステップをより詳細に説明する。各文書（情報アイテム）１００は、順番に開かれる。ステップ１１０において、文書から全ての「ストップワード（stop word）」を取り除く。ストップワードとは、例えば「a」、「the」、「however」、「about」、「and」等、予め準備されたリストに挙げられている極めてありふれた単語である。これらの単語は、極めてありふれており、平均的に、十分な長さを有するあらゆる文書において、同様の頻度で出現する可能性が高い。したがって、これらの単語は、特定の文書のコンテンツを特徴付ける目的には殆ど貢献せず、このため、これらのストップワードを削除する。

ストップワードを削除した後、ステップ１２０において、残っている単語の語幹を調べる。これは、単語の活用形に対する共通の原形を見出す処理を含む。例えば「thrower」、「throws」、「throwing」は、共通の語幹又は原形「throw」を有している。

文書内に出現する（ストップワードを除く）単語の語幹又は原形の辞書は、保守される。すなわち、新たな単語が出現すると、この単語は辞書に追加され、文書集合（情報アイテムの集合）全体の中でその単語が出現した回数も記録される。

この結果、その集合内の全ての文書内で使用された用語が、その出現頻度とともに登録されたリストが作成される。出現頻度が高すぎる又は低すぎる単語は除外（discount）され、すなわち、これらの単語は辞書から削除され、後の分析には使用しない。出現頻度が低すぎる単語は、綴り間違いのある単語や、造語（made up）、又はその文書集合によって表されている分野に関係がない単語である可能性がある。一方、出現頻度が高すぎる単語は、その集合内の文書を区別するために用いるには不適切である。例えば、「News」という単語が試験的な放送関連の文書集合全体の内、３分の１の文書において使用されており、一方、「football」という単語がこの試験的な文書集合全体の内、約２％しか使用されていないとする。この場合、「football」は、「News」より、文書のコンテンツを特徴付けるために適切な用語であると考えることができる。一方、「fottball（footballの綴り間違い）」が文書集合全体の内、１回しか出現していないとすると、この単語は、出現頻度が低すぎるとして除外される。これらの単語は、平均出現頻度に対して２標準偏差小さい出現頻度を有する単語、又は平均出現頻度に対して２標準偏差大きな出現頻度を有する単語と定義してもよい。

そして、ステップ１３０において、特徴ベクトルを生成する。

特徴ベクトルを生成するために、集合内の各文書に対して用語頻度ヒストグラムを作成する。用語頻度ヒストグラムは、辞書（文書集合に関連付けられている）内に存在する単語が、個々の文書内で出現する頻度を計数することによって作成される。辞書内の大半の用語は、単一の文書内には存在せず、したがって、これらの用語の出現頻度は０である。図３（ａ）及び（ｂ）は、２つの異なる文書についての用語頻度ヒストグラムの具体例を示している。

この具体例から、用語頻度ヒストグラムが、どのようにして文書のコンテンツを特徴付けているかがわかる。この具体例の場合、文書１は、文書２に比べて、「MPEG」、「Video」という用語の出現頻度が高く、一方、文書２は、文書１に比べて、「MetaData」という用語の出現頻度が高い。用語頻度ヒストグラム内の多くの項目（entry）は、対応する単語がその文書内に存在しないため、値が０となっている。

実際の具体例では、実際の用語頻度ヒストグラムは、この具体例に示す用語頻度ヒストグラムよりも遙かに多くの用語を含んでいる。多くの場合、用語頻度ヒストグラムは、５００００個以上の異なる用語の頻度を示し、したがって、用語頻度ヒストグラムの次元は、５００００以上となる。この用語頻度ヒストグラムの次元は、ＳＯＭ情報空間の構築に使用するためには、かなり減らす必要がある。

用語頻度ヒストグラム内の各項目は、その文書を表現する特徴ベクトルにおける対応する値として使用される。この処理の結果、文書集合内の各文書について、辞書によって特定された全ての用語の頻度を含む（５００００×１）ベクトルが生成される。このベクトルでは、殆どの値が０であり、更にこの他の値の大半が１程度の非常に低い値を取るため、このベクトルは、「疎らな（sparse）」ベクトルと呼ばれる。

ステップ１４０において、特徴ベクトルのサイズ、したがって用語頻度ヒストグラムの次元を小さくする。用語頻度ヒストグラムの次元を小さくする手法としては、例えば以下のような２つの手法がある。
１）ランダムマッピング法：用語頻度ヒストグラムに乱数の行列を乗算する手法。これは、計算機的には安い処理である。
２）潜在的意味抽出法（Latent Semantic Indexing）：文書内で同時に出現する可能性が高い用語のグループを調べることによって用語頻度ヒストグラムの次元を小さくする手法。これにより得られた単語のグループは、単一のパラメータにすることができる。これは、計算機的には高価な処理である。

ここで説明する具体例においては、用語頻度ヒストグラムの次元を縮退するために、上述したカスキ（Kaski）の論文に開示されているランダムマッピング法を用いる。ランダムマッピング法では、用語頻度ヒストグラムに乱数の行列を乗算することによって、用語頻度ヒストグラムの次元を縮退する。

上述のように、「生の」特徴ベクトル（図４（ａ）に示す）は、５００００個もの値を有する疎らなベクトルである。このベクトルは、約２００個の値を有するサイズ（図４（ｂ）に示す）にまで縮退されるが、それでもなお、特徴ベクトルの相対的特徴を保持しており、すなわち、同様に処理された他の特徴ベクトルに対する相対角（ベクトル内積）等の関係を保っている。これは、特定の次元の直交ベクトルの数が限られていても、略直交するベクトルの数が非常に多いので、有効である。

実際、ベクトルの次元が増加すると、ランダムに生成されたあらゆるベクトルの集合が、互いに略直交するようになる。このような性質は、ベクトルの相対的な向きは、そのベクトルに乱数の行列を乗算しても保たれることを意味する。この性質は、ランダムマッピングの前後のベクトルの内積の類似性によって示される。

疎らなベクトルの数を５００００個から２００個に低減しても、これらのベクトルの相対的な類似性が保たれることが経験的に確認されている。このマッピングは、完全ではないが、文書のコンテンツを簡潔に特徴付ける目的としては十分である。

文書集合に対して、特徴ベクトルを作成し、文書集合の情報空間を定義した後、ステップ１５０において、意味論的なマップを生成するために、特徴ベクトルを２次元ＳＯＭに射影する。以下、図５を参照して、コホネン（Kohonen）の自己組織化マップを用いて、特徴ベクトルをクラスタリングすることによって２次元にマッピングする処理を説明する。

コホネンの自己組織化マップは、各文書に対して作成された特徴ベクトルをクラスタ化し、組織化するために使用される。

自己組織化マップは、入力ノード１７０と、２次元平面１８５として示されるノードの２次元アレー又はグリッド内の出力ノード１８０とを含む。自己組織化マップをトレーニングするために使用される特徴ベクトルの数と同じ数の入力ノード１７０が存在する。自己組織化マップ上の各出力ノード１８０は、重み付けされたコネクション（weighted connection）１９０（１つのコネクションにつき、１つの重み）によって入力ノード１７０に関連付けられている。

まず、各重みは、ランダムな値に設定され、繰返し処理により、これらの重みが「トレーニング」される。自己組織化マップは、このマップの入力ノード１７０に各特徴ベクトルを供給することによってトレーニングされる。各出力ノードの入力ベクトルと重みとの間のユークリッド距離を算出することにより、「最も近い」出力ノードが算出される。

最も近い出力ノードは、「勝者（winner）」と呼ばれ、このノードの重みは、このノードが入力ベクトルにより近づくように重みの値を若干変更することによってトレーニングされる。勝者のノードに加えて、この勝者のノードに隣接するノードもトレーニングされ、入力ベクトルに若干近づけられる。

単一のノードを重み付けするだけではなく、マップ上のノードの領域を重み付けするこの処理によって、マップは、一旦トレーニングされれば、ノードの２次元マップ内に入力空間のトポロジの大部分を保存することができる。

マップが一旦トレーニングされると、各文書をマップにマッピングし、どの出力ノードが、その文書の入力された特徴ベクトルに最も近いかを確認することができる。重みが特徴ベクトルと等しいことは希であり、特徴ベクトルとこの特徴ベクトルに最も近いノードとの間のユークリッド距離は、「量子化誤差」として知られる。

各文書についての特徴ベクトルをマップに与えて、この特徴ベクトルがどこに存在するかを確かめることにより、各文書について、（ｘ，ｙ）座標で表されるマップ上の位置が得られる。これらの（ｘ，ｙ）座標で表されるマップ上の位置は、文書ＩＤとともにルックアップテーブルで照合することにより、文書間の関係を視覚化するために使用することができる。

更に、ステップ１６０においてディザ成分（dither component）を加算する。ディザ成分については、図６を用いて後に説明する。

上述の手法では、２つの同一の又は実質的に同一の情報アイテムが、ＳＯＭのノードアレー内の同じノードにマッピングされてしまうことがある。これは、データを取り扱う上では問題にならないが、表示画面（後に説明する）上にデータを視覚化して表示する際には問題となる。特に、データを表示画面上に視覚化して表示する場合、多数の非常に似ているアイテムを特定のノードにおいて単一のアイテム上で区別できることが有用であると認められる。したがって、各情報アイテムがマッピングされるノード位置にディザ成分を加算する。ディザ成分は、ノード間隔の最大±１／２をランダムに加算するものである。例えば、図６に示すように、マッピング処理により出力ノード２００が選択された情報アイテムにはディザ成分が加算され、この情報アイテムは、実際には、図６に点線枠で示す領域２１０内のノード２００の周囲の任意のマップ位置にマッピングされる。

このように、情報アイテムは、図６の面上において、ＳＯＭ処理の「出力ノード」とは異なるノード位置にマッピングされることもある。

いかなる時点においても、ＳＯＭに新たな情報アイテムを追加することができる。この処理は、上述したステップ（すなわち、ステップ１１０〜ステップ１４０）を実行し、これにより得られた縮退された特徴ベクトルを「先にトレーニングされている」ＳＯＭモデル、すなわちマップの自己組織化処理によって得られたＳＯＭモデルの組に適用することによって行われる。したがって、新たに追加された情報アイテムについては、マップは、通常、「再トレーニング」されない。これに代えて、変更されていない全てのＳＯＭモデルとともに、ステップ１５０及びステップ１６０を実行する。新たな情報アイテムが追加される毎にＳＯＭを再トレーニングすると、演算コストが高くなり、また、ユーザは、マップ内においてよくアクセスする情報アイテムの相対的位置に慣れてくるので、再トレーニングは、ユーザを困惑させる場合もある。

しかしながら、再トレーニング処理を行う方が望ましい場合もある。例えば、最初にＳＯＭが作成された後に、新たな用語（例えば、ニュース又は新たな技術分野における新たな用語）が辞書に追加されたとすると、これらの新たな用語は、既存の出力ノードの組には、うまくマッピングできない場合がある。これは、新たに受け取った情報アイテムの既存のＳＯＭへのマッピングの際に検出される所謂「量子化誤差」の増大によって検出される。この具体例では、量子化誤差を誤差量の閾値と比較する。量子化誤差が閾値を超えている場合、（ａ）ＳＯＭに元から含まれる情報アイテム及びＳＯＭの作成後に加えられたあらゆる情報アイテムを用いてＳＯＭを自動的に再トレーニングし、又は（ｂ）適切なときに再トレーニング処理を開始するようユーザに促す。再トレーニング処理は、関連する全ての情報アイテムの特徴ベクトルを用いて、ステップ１５０及びステップ１６０を全ての特徴アイテムを用いて再び実行することによって行われる。

図７は、検索作業のために、ＳＯＭに格納されたデータを視覚的に表示する表示装置６０に表示される画面を示している。この画面には、検索文字列入力枠２５０、結果リスト２６０、ＳＯＭ表示領域２７０が表示されている。

実際の作業では、ユーザは、検索文字列入力枠２５０にキーワード検索文字列を入力する。次にユーザは、キーボード７０のエンターボタンを押圧操作し、又はマウス８０を用いて画面上の検索開始ボタンを選択することにより検索を開始する。キーワード検索文字列入力枠２５０に入力されたキーワードは、標準的なキーワード検索技術を用いて、データベース内の情報アイテムと比較される。この検索の結果は、結果リスト２６０内の各エントリ２８０として表示される。表示領域２７０は、検索結果として得られた各アイテムに対応する点のみを表示する。

ＳＯＭ表現を作成するために用いたソート処理により、互いに類似する情報アイテムがＳＯＭ内でグループ化されるため、文字列の検索結果は、例えばクラスタ２９０のように、クラスタ内に集中しやすい。ここで、ＳＯＭ表示領域２７０内の各点は、結果リスト２６０内の関連する結果の１つに対応しており、ＳＯＭ表示領域２７０内の各点が表示されている位置は、ノードアレー内におけるこれらのノードのアレー位置に対応している。

ヒット（結果リスト内の結果）の数を少なくする手法を図８を用いて説明する。ユーザは、マウス８０を用いて、興味があるノードに対応する表示点の集合の周辺をボックス３００で囲む。結果リスト２６０内には、ボックス３００内の点に対応する結果のみが表示される。これらの結果が、ユーザの求めるものと違うことが判明した場合、ユーザは、新たなボックスで他の表示点の集合を囲む。

なお、結果リスト２６０は、検索文字列入力枠２５０に入力されたキーワードによる検索条件を満たし、且つ、表示点がボックス３００内にある結果に対応するエントリを表示している。ボックス３００は、ノードアレー内に含まれる（populated）ノードに対応する他の表示点を囲むこともできるが、これらのノードが検索条件を満たしていない場合、これらのノードは表示されず、したがって、結果リスト２６０内の結果には含まれない。

図９に示すように、ユーザは、図７を用いて上述したように、キーワード検索９０１を用いて検索処理を行ってもよく、及び／又は図８を参照して説明したように、境界３００を描画してクラスタ９０２を選択することによって検索処理を行ってもよい。また、フィルタ９０３を用いて、「ヒット」数を削減してもよい。フィルタ９０３は、検索の結果に例えばジャンルや日付の範囲等の条件を適用するこれにより、検索結果９０４が得られる。

検索結果は、例えば、図１０、図１１及び図１２に示すような形式で表示してもよい。このような検索結果は、図７及び図８に示す結果リスト２６０に加えて表示してもよく、これらの代わりに表示してもよい。

フィルタ９０３を用いてもなお、検索の「ヒット」数が大きくなってしまう場合がある。ユーザは、どのような結果が得られたのか、素早く把握することを望む。この実施例では、検索によって検出された情報アイテムは、情報アイテムを代表するサムネイル画像とともに、静止画像及び／又は動画によって表現される。情報アイテムは、例えば、テキスト文書であってもよく、ウェブページ又はビデオ画像であってもよい。

本発明の一実施例では、高速系列視覚提示（Rapid Serial Visual Presentation：以下、ＲＳＶＰという）の技術を用いる。ＲＳＶＰは、「高速系列視覚提示における視線のパターン（Patterns of Eye Gaze during Rapid Serial Visual Presentation）、オスカー・デ・ブルイジン（Oscar de Bruijn）及びロバート・スペンス（Robert Spence）著、インペリアル科学大学（Imperial College of Science）、テクノロジー及び医学（Technology and Medicine）、英国、ロンドンＳＷ７ ２ＢＴ、エキジビジョンロード、アドバンスドビジュアルインタフェース（ＡＶＩ）に関する議事録（Proceedings of Advanced Visual Interfaces （AVI））２００２、トレノ、イタリア、２００２年５月」に開示されている。この名称が示唆するように、ＲＳＶＰは、連続する多くの画像を高速に提示する。この論文では、画像を提示するための幾つかの異なる手法を開示しており、本発明では、これらのうちのいずれの利用を用いてもよい。ＲＳＶＰの種類としては、例えば、以下のようなものがある。
・一時刻において１つの画像のみが現れ、各画像が同じ寸法で同じ位置に現れるキーホール（keyhole）ＲＳＶＰ。
・各画像が略円形の軌道を描き、出現地の小さな寸法から最大の寸法に拡大され、出現位置に戻るまでに再び縮小されて他の画像に置き換わるカルーセル（Carousel）ＲＳＶＰ。
・いかなる時刻においても多数の（例えば、５個又は６個の）画像が、可視となるように、画像の組が表示領域上の高速シーケンス内に配置されるコラージュ（Collage）ＲＳＶＰ。
・画像の初期的なビューが小さな寸法で表示領域の中心に配置されるフローティング（Floating）ＲＳＶＰ。初期的な画像は、「焦点が合わない（out of focus）」画像であってもよい。画像は、例えば表示領域の対角線に沿って移動すると寸法が大きくなる。ここでは、多数の画像が同時に示される。
・連続する画像が所定の軌道に沿って移動し（例えば、あたかもシェルフに沿って移動するかのように移動し）、表示領域の端の出現位置においては、小さな寸法から開始され、表示領域の中央では最大の大きさとなり、ここから再び寸法を小さくしながら表示領域の他端で消滅するシェルフ（Shelf）ＲＳＶＰ。ここでは、この軌道に沿って移動する複数の画像が表示される。

ＲＳＶＰにおいて表示される画像は、キーワード検索９０１から返される検索結果のリストから及び／又はクラスタ９０２の周囲に境界３００を描くことによって生成された修正された検索結果から導き出される。更に、検索は、フィルタ９０３を用いて定義してもよい。

図１０を用いて、ＲＳＶＰの一具体例を説明する。図１０は、画像９０７を表示するためのウィンドウ９０６及び表示操作子９０８、フィルタ操作子９０３’、媒体操作子９１１、９１６等を含む様々な操作子を有するグラフィカルユーザインタフェース（ＧＵＩ）９００を示している。フィルタ操作子９０３’は、検索によって提供される「ヒット」数を削減するための、上述したようなフィルタリング条件を選択するために設けられている。表示操作子９０８は、ＲＳＶＰタイプ、連続する画像の手動又は自動表示の選択、自動表示が選択された場合の表示速度、画像の表示順序等を始めとする様々な制御を行うために設けられている。媒体操作子９１１により、ユーザは、選択したアイテムに関する情報を確認するための媒体アイテムを選択でき、及び後に詳細に説明するように、選択されたアイテムの表示を制御することができる。

図１０に示す実施例では、ウィンドウ９０６に、連続する画像が表示され、これは、上述したキーホールＲＳＶＰに対応している。

図１１に示す実施例では、ウィンドウ９０６は、同時に４個の画像のストリームを表示する。図１１では、表示操作子９０８を用いて、所望のストリームを選択することができる。

図１２に示す実施例では、ウィンドウ９０６内に画像のアレー９１０が同時に表示される。これは、上述したコラージュＲＳＶＰに対応している。

再び図１１に示す実施例を参照すると、境界９１２として示すように、媒体制御子９１１を用いて、４個のストリームのうちの１つを選択することができる。１つのストリームの表現を選択することにより、この選択された表現に関連する情報も選択される。

媒体制御子９１１により、ユーザは、表示された連続する画像の１つを選択することができる。例えば、選択された画像がビデオシーケンスを代表する代表キースタンプ（representative key stamp：ＲＫＳ又はサムネイル）である場合、画像の選択により、ユーザは、対応する映像のコピーにアクセスし、これを表示させることができる。画像は、デスクトップアイコンと同様の手法で、保存された情報アイテムのコピーにリンクされ、この画像を（例えば、マウスを用いて）選択することにより、対応する情報アイテムを表示させることができる。

表示操作子９０８は、更に、ストリーム内の画像を表示する速度を制御するために用いられるスクロールバー９１３を備える。

表示操作子９０８は、更に、ユーザが選択された画像に対応するビデオを再生するためのスクロールバー９１６を備える。

図１０及び図１１に示す画像のストリーム又は図１２に示す画像のアレーは、各画像のテキストタイトルの表示を伴っていてもよい。これにより、画像に関連するキーワードを利用できるようにすることができる。

ＲＳＶＰにおいて画像が現れる順序は、定義されていなくてもよい。

これに代えて、この順序は、例えば、日付順や関連性の高い順等、ユーザによって予め設定された基準に基づいて定義してもよい。

上述の実施例は、ユーザによって検索された情報アイテムを表す画像及びビデオに関連するものであるが、本発明はこれに限定されるものではない。表示される検索結果９０７、９０９、９１０は、例えば、ＲＳＶＰとして表された検索によって見出されたタイトル等のテキストアイテムであってもよい。

また、表示される検索結果９０７、９０９、９１０は、ユーザが探している実際の情報アイテムを表しておらず、これらのアイテムへのリンクを表していてもよい。これらのリンクは、例えば、ユニバーサルリソース識別子（universal resource identifiers：ＵＲＩ）であってもよい。表示された結果を選択することにより、ユーザが探している所望の情報アイテムに接続するようにしてもよい。

図１３は、ビデオ取得及び／又は処理装置（video acquisition and/or processing apparatus）の具体例として、カムコーダ５００の構成を示す図である。カムコーダ５００は、撮像素子５１０と、撮像素子５１０に取り付けられたレンズ５２０と、データ／信号プロセッサ５３０と、テープ状記録媒体５４０と、ディスク状又はランダムアクセス記録媒体５５０と、ユーザ操作子５６０と、表示装置５７０と、表示装置５７０に取り付けられた接眼レンズ５８０とを備える。周知のカムコーダ又は他の代替物におけるこの他の特徴（例えば、異なる記録媒体又は異なる表示画面構成）は、当業者にとって明らかである。実際の使用時には、捕捉されたビデオマテリアルに関連するメタデータがディスク状又はランダムアクセス記録媒体５５０に保存され、この保存されたデータに関連するＳＯＭが表示装置５７０に表示され、ユーザ操作子５６０を用いて、上述のように制御される。

図１４は、携帯可能なデータ表示装置の具体例として、携帯情報端末（personal digital assistant：以下、ＰＤＡという。）６００の構成を示す図である。ＰＤＡ６００は、表示領域６２０及びユーザ操作子として機能するタッチセンサ領域６３０を有する表示画面６１０と、データ処理部及びデータ記録部（図示せず）とを備える。ここでも、この分野における当業者は、変形例を容易に想到できる。ＰＤＡ６００は、図１を用いて説明したシステムと同様に使用することができる。

「パームトップ画像検索のためのインタフェース（Interfaces for Palmtop Image Search）、マーク・デーシック（Mark Derthick）著、ヒューマン・コンピュータ・インタラクション・インスティチュート（Human Computer Interaction Institute）、カーネギーメロン大学（Carnegie Mellon University）、（Proc Joint ACM/IEEE Conference on Digital Libraries）、米国、オレゴン州、ポートランド、２００２年、７月、３４０〜３４１頁」には、パームトップコンピュータにおいてＲＳＶＰを用いる実験が開示されている。

図１５は、インターネットに接続された様々なサイトにおいて、ローカル及び／又はリモートに保存されている情報のための検索インタフェースを提供する本発明の実施例を示している。この構成は、検索アプレット（search applet）７１０と、検索ウェブサービス（search web service）７２０と、例えばビデオアーカイブ（video archive）７４２、ウェブ検索エンジン７４４、ローカルエリアネットワーク（local area network：ＬＡＮ）７４６等の情報ソースとのインタフェースを司るインデックスサービス（index service）７３０とを備える。また、この構成は、意味マップサービス（semantic map service）７５０と、関連するキャッシュ７６０とを備える。

検索アプレット７１０は、ユーザが検索クエリを入力するためのユーザインタフェースを提供する。アプレット（applet）とは、ウェブページのハイパーテキストマークアップ言語（hypertext markup ＬＡＮguage：ＨＴＭＬ）ソースコードによって参照することができるオブジェクト指向言語であるＪａｖａ（登録商標）で書かれた小さなアプリケーションプログラムである。検索アプレット７１０は、ウェブサーバからインターネットブラウザに動的にダウンロードすることができ、ブラウザによって提供される環境内で実行することができる。Ｊａｖａは、インターネットの分散型コンピューティング環境（distributed computing environment）において使用できるように設計されたコンピュータプログラミング言語である。Ｊａｖａプログラムは、ソースプログラムがＪａｖａ仮想マシン（Java virtual machine）を有するサーバ又はクライアント上であればネットワーク内のどこでも実行できるＪａｖａバイトコードにコンパイルされているため、コンピュータネットワーク内を移動（portable）することができる。Ｊａｖａ仮想マシンは、バイトコードを解釈実行するために用いられる。

ユーザは、検索を開始するために、アプレットに関連したグラフィカルユーザインタフェース（Graphical User Interface：ＧＵＩ）のダイアログボックスに所望のキーワードを入力した後、コンピュータキーボードのリターンキーを押し、又はマウスを用いてＧＵＩの「検索」アクションボタンをクリックする。これにより、アプレットは、ユーザが入力したキーワードに基づいて、情報の検索を開始する。検索アプレット７１０は、シンプルオブジェクトアクセスプロトコル（Simple Object Access Protocol：ＳＯＡＰ）を用いて検索ウェブサービス７２０と通信を行う。

ＳＯＡＰは、ワールドワイドウェブのハイパーテキストトランスファープロトコル（Hypertext Transfer Protocol：ＨＴＴＰ）及びその拡張マークアップ言語（Extensible Markup ＬＡＮguage：ＸＭＬ）を情報交換のメカニズムとして用いて、ある種類のオペレーティングシステムで動作しているプログラムが同じ又は異なるオペレーティングシステムで動作しているプログラムと通信を行うことができるプロトコルである。ＳＯＡＰは、ＨＴＴＰヘッダと、ＸＭＬファイルとをどのようにしてエンコードするかを定めており、これにより、１つのコンピュータ内のプログラムが異なるコンピュータ内のプログラムを呼び出し、そのプログラムに情報を渡すことができる。更に、ＳＯＡＰは、呼び出されたプログラムがどのようにして応答を返すかも定義している。ＨＴＴＰ要求は、通常、ファイアウォールを通過することを許可されているため、ＨＴＴＰ ＳＯＡＰを用いることにより、アプリケーションにとって既知である要求以外の要求を排除するために用いられるファイアウォールサーバを越えて、プログラムを呼び出すことができる。ＳＯＡＰは、メッセージのコンテンツのフレームワークと、メッセージをどのように処理するかとを定義するエンベロープ（envelope）を提供するコンポーネントと、アプリケーションにおいて定義されたデータタイプのインスタンスにフラグを付すための符号化規則の組を定義するコンポーネントと、リモートプロシージャの呼出及び応答を表現するための規則（convention）を提供するコンポーネントとの３個の主なコンポーネントを備える。この実施例では、ＡＸＩＳとして知られるＳＯＡＰのインプリメンテーションを使用する。本発明の変形例においては、検索アプレットと利用可能なサービスとの間のインタフェースとしてＳＯＡＰ以外のプロトコルを用いてもよい。例えば、変形例においては、Ｊａｖａリモートメッソド呼出（Java Remote Method Invocation：ＲＭＩ）、リモートプロシージャコール（Remote Procedure Call：ＲＰＣ）、又は単純な伝送制御プロトコル／インターネットプロトコル（Transmission Control Protocol/Internet Protocol：ＴＣＰ／ＩＰ）ソケットをこの目的で用いてもよい。

ＨＴＴＰは、ウェブ上のテキスト、画像、音声、映像及びこの他のマルチメディアファイルの交換を定義する１組の規則を含むアプリケーション層プロトコルである。ＨＴＴＰの基本的な概念の１つとして、ファイルは、インターネット内のいずれかの場所に存在する情報への相互参照を提供するハイパーテキストリンクを含むことができる。ＨＴＭＬファイルの形式の情報は、クライアントの要求に応じて転送したりダウンロードしたりすることができる。

ＸＭＬは、マークアップ言語である。最も広く用いられているマークアップ言語であるＨＴＭＬは、ヘディング及びタイトルに関して文書構造を定義し、及び例えば、キャプション及びフォント等に関する表現を定義することによって、ウェブブラウザに対し、ウェブページのテキスト及び画像をどのように表示するかに関する命令を提供する。一方、ＸＭＬは、共通の情報フォーマットを定義し、及びウェブ及びイントラネット上でこれらのフォーマットと関連するデータとを共有する手法を提供する。ＨＴＭＬは、テキスト及び情報をどのように表示し、どのようにインタラクトさせるかを定義する目的に制限されているが、ＸＭＬでは、アプリケーション開発者は、例えば、タグ＜ＤＡＴＥ＞及び＜ＣＨＡＮＮＥＬ＞は、テレビジョン番組リストを含む文書内で用いられると定義する等、文書内のセクション又は単語を特定のデータカテゴリに属するものであるとマークするカスタムタグを定義することができるため、ＸＭＬは、文書のコンテンツに関する文脈的情報（contextual information）を提供することができる。また、ＸＭＬ文書においては、カスタムタグ利用して、選択的な情報を特定及び抽出することにより、データ処理タスクを実行することができる。これは、例えば、ビデオアーカイブ及び文書集合等の膨大な情報を含むレポジトリ（repository）からコンテンツを選択的に検索し、範疇化する場合に特に有用である。

ウェブ検索サービス７２０は、Ｊａｖａアプリケーションサーバプラットホームを有し、ＨＴＴＰによって、インデックスサービス７３０及び意味マップソース７５０と通信を行う。ウェブ検索サービス７２０は、ユーザが入力したキーワードをインデックスサービス７３０に伝える。インデックスサービス７３０は、３つの異なる情報レポジトリ、すなわちビデオアーカイブ７４２、ウェブ検索エンジン７４４及びローカルエリアネットワーク７４６のコンテンツへのインタフェースを提供する。ユーザが入力したキーワードは、例えば、「Ｇｏｏｇｌｅ（商標）」等のウェブ検索エンジンに供給され、これにより、関連するウェブページが検索される。ウェブ検索エンジンは、検索が可能な各ウェブサイトの全てのページ又は代表的なページを調べ、ウェブページのコンテンツを分析し、各ページのハイパーテキストリンクを用いてウェブサイトの他のページにアクセスする「スパイダ（spider）」と、読み出されたウェブページから大量のインデックスを生成するプログラムと、検索要求を受け取り、この検索要求とインデックス内のエントリとを比較し、検索条件との一致を返すプログラムとを備えるコンピュータプログラムの調整された組（co-ordinated set）である。

ビデオアーカイブ７４２及びＬＡＮ７４６内の情報コンテンツは、予めログとして保存（pre-logged）してもよい。インデックスサービス７３０は、３つのレポジトリ７４２、７４４、７４６からユーザが入力したキーワードに関連すると判定された全ての情報コンテンツを抽出し、「ヒット」した各アイテムに関する情報ロケータ（information locator）、ショートタイトル（short title）及び簡単な記述子（brief descriptor）を返す。ユニフォームリソースロケータ（uniform resource locator：ＵＲＬ）は、情報ロケータとして用いられる。ＵＲＬは、ウェブページについて、通常、ＨＴＴＰプロトコルと、インターネットサーバロケーションと、ファイルパス及びファイル名とを特定する。また、ＵＲＬは、ビデオアーカイブ７４２内の及びＬＡＮ７４６上のファイルを識別し、見つけるためにも用いられる。ＵＲＬ及び対応する文書記述子は、意味マップソース７５０に供給され、意味マップソース７５０は、図２〜図６を用いて上述した情報アイテム類似性マッピング分析（information item similarity mapping analysis）を実行する。

ＵＲＬが供給された各情報アイテムに対して適切な特徴ベクトルを生成するために、意味マップソース７５０は、情報をダウンロードし、ダウンロードされたデータに対して、単語頻度分析を行う。上述のように、特徴ベクトル成分の値は、文書内の又は関連するビデオクリップを記述するメタデータ内の対応する単語の出現の相対頻度に等しい。これに代えて、出現頻度の関数及び単語の重要性を用いて、特徴ベクトル成分を判定してもよい。特徴ベクトルの生成を容易にするために、意味マップソース７５０は、供給されたＵＲＬに基づき、２００個の並列プログラムスレッドに情報を同時にダウンロードすることができる。スレッドとは、コンピュータプログラム処理内の実行（execution）のシーケンスである。スレッドは、自らのアドレス空間を有しておらず、スレッドが実行されているプロセスのメモリ及び他のリソースを使用する。ダウンロードをスレッド方式で行うことにより、マッピング効率が向上する。（ｘ，ｙ）マッピング点は、縮退された特徴ベクトル（reduced feature vector）に基づき、検索キーワードに関連付けられた各ＵＲＬに対して、すなわち各検索引用（search citation）に対して、算出される。（ｘ，ｙ）マッピングは、情報アイテム記述子とともに用いられ、ＳＯＭ表示領域２７０のノード上で表示点をクラスタ化することによって検索引用間の関係の抽象的表現（abstract representation）、視覚的表現（visualisation）が提供される。マッピング処理を実行する前に、まず、各ＵＲＬについてキャッシュ７６０のコンテンツを確認し、特定のＵＲＬが既にマッピングされているか否かを判定する。キャッシュがヒットした場合、（ｘ，ｙ）マッピング値をキャッシュから直接読み出すことができる。これにより、情報アイテムをダウンロードし、又は特徴ベクトルを再計算する必要がなくなる。

図１６は、代表擬似画像（representative pseudo-image）を情報アイテムから生成する手法を説明するフローチャートである。情報アイテムを構成する情報要素の相対的な重要性を判定するために、単語頻度分析を行うこの分析は、意味マップソース７６０によって維持されているストップワード及び語幹又は原形の索引（concordance）を参照して行われる。この実施例では、特徴ベクトルの各次元に関連付けられた語幹を含む一次派生索引（primary concordance）を使用する。また、変形例においては、特徴ベクトル語幹と、最も最近のマップ再トレーニング演算以来、意味マップソースによって分析された検索引用から導出された新たに遭遇した語幹との両方を含む「更新索引（update concordance）」を用いる。ステップ１０１０においては、情報アイテム１０２０からのテキスト情報に対してストップワード処理及び語幹処理を行い、索引１０２２における各語幹がテキスト内に現れる頻度を判定する。この場合、情報構成要素は、情報要素内のテキスト成分（textual matter）と、索引との両方に含まれる語幹である。テキスト成分は、ウェブページ／文書内の生のテキストと、オーディオ／ビデオファイルに伴うメタデータのいずれに対応してもよい。ステップ１０３０において、最大「ｍ」（整数）個の文字を含む所定数「ｎ」個の最も頻繁に出現する語幹が、擬似画像に含めることが適切な情報アイテム１０２０の最も重要な情報構成要素として選択される。語幹出現頻度（word stem frequency count）を相対的な重要度の尺度として用いる代わりに、単語の出現の性質を用いることもできる。したがって、ステップ１０３２においては、最も大きいテキストフォントサイズで表現されている最大ｍ個の文字からなるｎ個の単語を抽出することによって、情報アイテムのテキスト成分を分析する。この手法は、テキスト成分におけるタイトル及びセクションのヘディングが大きなフォントで示されることが多いという事実を利用している。この場合、タイトルに用いられる語句における文法的な歪みを無視するために、単語に対するストップワード処理及び語幹処理は行わない。次に、ステップ１０４０において、擬似画像の第１の所定の領域に最も目立つように表示すべきメインタイトルを選択する。この実施例では、第１の所定の領域は、擬似画像１０９０の中央部分１０９２に対応する。メインタイトルは、最も頻繁に出現する１又は複数の語幹に対応していてもよく、最も大きなフォントが用いられている１又は複数の単語に対応していてもよい。なお、情報アイテムがユーザによって開始された検索要求に応じて列挙されている場合、単語頻度分析において、検索キーワードに対応する単語及びフレーズを優先的に重み付けしてもよい。これらのキーワードは、検索結果のコンテキストにおいて、相対的により高い重要度を有していると考えられる。ステップ１０４０において、メインタイトルとして適切なテキストが選択されると、次に、ステップ１０５０において、擬似画像１０９０の上位部分１０９４に対応する次の所定の画像領域のためのテキストが選択される。擬似画像の上位部分１０９４には、最大ｍ個の文字からなる次に頻度が高いｎ’個の単語を割り当てる。ステップ１０６０において、所定の擬似画像フォーマットにおいて、テキストを選択すべき更なる画像領域があるか否かを判定する。更なる画像領域がある場合、処理はステップ１０５０に戻り、次に頻度が高い所定数の単語を選択する。この実施例では、更にテキストを割り当てるべき擬似画像の下位部分１０９６が存在するため、ステップ１０５０を繰り返すステップ１０６０を２度目に行うと、全ての画像領域にテキストが割り当てられ、処理は、ステップ１０７０に進み、ここで所定の各画像領域に関するテキストに適切なフォント及び色を選択する。ステップ１０８０においては、選択されたテキスト、フォント及び色を適用し、擬似画像１０９０を擬似画像テンプレートに表示画面にレンダリングする。

図１７Ａ〜図１７Ｃは、情報アイテムの擬似画像１０９０の画像レイアウトを図式的に示す図である。これらの３つの図において、擬似画像は、２つの水平境界線によって中央部分１０９２、上位部分１０９４、下位部分１０９６の３つの所定の領域にセグメント化されている。図１７Ａにおいては、中央部分１０９２は、情報要素からのこの代表テキストは最も重要な代表テキストを含み、大きなフォントサイズで表示される。中央部分１０９２は、画像の中央の位置にあり、ここでは、大きなフォントサイズが用いられているため、ユーザには最も目立って見える。したがって、上述したＲＳＶＰ技術の１つを用いて、複数の擬似画像が連続的に表示され、各画像からの情報を認識するためのユーザの時間が制限されている場合、最も重要な代表テキストが認識されやすくなっている。擬似画像１０９０の上位部分１０９４は、中間のフォントサイズで次に重要なテキストを表示する。このテキストは、まとまったフレーズ及び／又は独立した単語から構成されていてもよい。擬似画像１０９０の下位部分１０９６は、上位部分１０９４と同じ相対的重要度を有すると判定されたテキストを表示するために用いられるため、上位部分１０９４と同じ中間的なフォントサイズで表示される。これらの画像部分１０９２、１０９４、１０９６は、同じ面積である必要はなく、例えば、中央部分１０９２が最も大きな面積を有し、下位部分１０９６が最も小さな面積を有していてもよい。なお、各画像領域が同じ面積を有する場合、小さなフォントサイズが用いられる領域では、より多くのテキスト情報を表示することができる。

図１７Ｂは、各画像領域１０９２、１０９４、１０９６の背景埋込特性（background fill-characteristics）を用いてより重要な画像領域のテキストを区別する手法を図式的に示す図である。この実施例では、擬似画像１０９０の中央部分１０９２は、適切な背景パターンを選択することによって強調されている。適切なコントラストを有する背景色を選択することによって、及び／又は中央部分１０９２に太字のテキストを用いることによっても同様の効果が実現される。

図１７Ｃは、所定の画像領域において、分割されたタイトル（split titles）を用いた実施例を図式的に示す図である。この実施例では、擬似画像１０９０内のテキストは、３つの異なるレベルの重要度に対応する。ここでも、最も重要なテキストは、画像の中央領域１０９２に表示される。中間の重要度の度合いを有するテキストは、画像の上位領域１０９４において、より小さなフォントで表示され、より重要度が低いテキストは、画像の下位領域１０９６において、更に小さなフォントで表される。画像の中央領域１０９２は、垂直方向の境界線によって、それぞれタイトルフレーズが関連付けられた２つのサブ領域に更に分割されている中央の２つのサブ領域では、それぞれのタイトルフレーズのテキストには同じフォントサイズを用いてるが、背景効果が変えられている。また、画像の上位領域１０９４にも弁別的な背景埋込処理が施されている。図１７Ｃに示す実施例では、更に、関連付けられた情報アイテムのデータタイプを示す、この実施例では、情報アイテムがワード文書（Word document）であることを示すアイコンであるデータタイプインジケータ（data type indicator）１０９８を表示している。データタイプインジケータは、このようなアイコンに変えて、例えば、スプレッドシートロゴ又はブラウザロゴ等であってもよい。データタイプインジケータを用いることにより、種類が異なるテキストコンテンツを区別することができる。

図１８は、擬似画像の代表的なシーケンスを単一の情報アイテムからどのように生成するかを図式的に説明する図である。例えば個々のウェブページ等の幾つかの情報アイテムについては、単一の画像によってそのコンテンツを十分に表現できる。しかしながら、例えば多くの頁を有する文書、ウェブページリンクされたウェブページのシーケンス、複数の章を有する電子ブック、異なる複数のシーンを含むビデオクリップ等の他の情報アイテムでは、複数の擬似画像を生成することが望ましい場合もある。シーケンス１１００は、コンテンツが６つの異なるセグメントに分割された単一の情報アイテムを表している。各セグメントには、同程度の量のテキストを含めてもよく、他の情報を含めてもよく、これに代えて、セグメント化の際に、例えば、文書における章等の情報アイテムの既存の構造を考慮してもよい。更なるシーケンス１１１０では、６個の各情報セグメントを分析し、各セグメントにおいて、最も重要な情報構成要素を選択する。図１６に示すフローチャートを用いて上述したように、この分析は、単語の出現頻度及び／又は情報要素内に出現するテキストの画像的特性（graphical properties）に基づいて行われる。相対的な重要度を客観的に判断するために用いることができる情報アイテム内のテキストの出現の性質の他の側面としては、情報アイテムのページにおけるテキストの物理的な位置（例えば、ページの先頭にあるテキストは、より重要であると考えられる）、テキスト文字列がＵＲＬに含まれているか否か、ウェブページのメタタグに含まれているか、又は他のウェブページへのリンクに含まれているか等が含まれる。

最後のシーケンス１１２０では、標準的な画像レイアウトに各情報セグメントの関連性の尺度を適用し、連続する代表擬似画像を生成する。３つのシーケンス１１００、１１１０、１１２０の要素を接続する矢印によって示すように、情報セグメントと各関連性の尺度との間及びこれらの関連性の尺度と代表擬似画像との間では、一対一のマッピングを行う。最後のシーケンス１１２０は、それぞれが各情報セグメントの最も重要なコンテンツのみを含む６個の擬似画像を含む、順序付けられたシーケンスである。最後のシーケンス１１２０は、ＲＳＶＰ技術を用いて、自動的に、連続してユーザに表示してもよく、これに代えて、ユーザは、手動で速度を変更してシーケンス１１２０を表示させて、情報アイテムのコンテンツの概観を把握してもよい。情報コンテンツは、各擬似画像の情報要素の対応するセグメントにおける最も重要な情報の部分集合（subset）を表す。これにより、ユーザに表示する情報の量を低減することができ、したがって、情報を把握するために必要となる認識のための時間を削減することができる。選択されたテキストは、認識のための時間を更に削減するために、適切に再フォーマットされ及び位置を変更され（re-positioned）、これにより、ユーザは、最も重要な情報のカテゴリをより素早く認識することができる。

図１９は、情報アイテム内の情報を特定するために用いられるスクロールバー及びこれに関連付けられた関連性インジケータ（relevance indicator）を図式的に示す図である。関連性グラフ１２００は、情報コンテンツの関連性を位置の関数として示している。この位置は、例えば、ビデオクリップのタイムラインにおける位置を表していてもよい。これに代えて、この位置は、文書内の現在の位置を表していてもよい。関連性グラフの横軸は、スクロールバー１２２０の最大の可動範囲に対応する。スクロールバー１２２０は、情報アイテムのコンテンツをナビゲートするために用いられる。関連性グラフの縦軸は、例えばパーセントにより、関連するスクロールバー位置に対応するコンテンツの関連性を示している。ウィンドウ１２３０は、スクロールバー１２２０の現在の位置に対応する情報コンテンツから導出された代表キースタンプ画像又は擬似画像を表示している。擬似画像を用いることにより、スクロールバー１２２０を高速に移動させて、ウィンドウ１２３０に表示される画像が高速に変化しても情報が認識しやすくなる。縦軸に示される関連性の尺度は、例えば、ユーザによって入力された検索用のキーワード等のキーワードに基づいて決定される。ビデオマテリアルを含む情報アイテムの場合、付随するメタデータを用いて各ショット又はシーンの関連性を示してもよい。少なくとも１つのキーワードが検出された情報アイテムの位置は、局所的な最大値（local maximum）に対応し、情報コンテンツ内の最も重要な部分は、全体的な最大値（global maximum）として示される。このように、関連性グラフ１２００により、ユーザは、検索条件に最も関連性を有する情報コンテンツの部分に直接アクセスすることができる。

図２０は、同時に表示される代表画像のシーケンス１３００に対して、関連性グラフ及びスクロールバーをどのように使用するかを図式的に説明する図である。スクロールバー１２２０をスライディングスケール１２００に沿ってドラッグすると、現在のスクロールバー１２２０の位置におけるコンテンツに対応する代表画像１３１０が強調表示され、シーケンス内の他の画像から区別される。６個の代表画像１３００の各シーケンスは、例えば、ビデオシーケンス内の所定のショット、電子ブックにおける所定の章、又は特定の電子文書における所定のページに対応していてもよい。情報コンテンツの確認は、スクロールバー１２２０をドラッグし、又は所定の代表画像を選択して強調表示させることによって行うことができる。スクロールバー１２２０の位置を変更すると、現在強調表示されている代表画像がこれに応じて変更され、逆に、強調表示される画像を変更すると、これに応じて、スクロールバー１２２０の位置が変更される。代表画像から実行可能なファイルへのショートカット又はハイパーリンクを設け、これにより、マウスを用いて画像をダブルクリックすると、ビデオショットが再生され、又は、その情報セグメントに対応する擬似画像のシーケンスが連続的に表示されるようにしてもよい。

図２１は、関連性グラフ及びスクロールバーとともに再分割された２つの異なる情報をユーザに表示する変形例を図式的に示す図である。上位に示す６個の画像のシーケンス１４１０は、６個の独立したショットに対応し、一方、下位に示す６個の画像のシーケンス１４２０は、６個の独立したシーンに対応する。各シーンは、複数のショットを含み、例えば、画像１４２２によって表されるシーンは、上位に示す画像のシーケンス１４１０における６個のショットを含む。図２２に示す実施例では、スクロールバーの現在の位置に基づいて、シーケンス内の３番目のシーンを表す画像１３２２及びこのシーンの３番目のショットを表す画像１４１２が強調表示されている。この構成では、スクロールバーは、影付きの中央領域１２２０を有し、この中央領域１２２０の位置は、ショット１４１２を表し、この中央領域１２２０は、２つのローブ（lobe）１３２０に挟まれており、これらの全体の長さが情報アイテムにおけるシーン１４２２の位置を表している。これに代えて、上位の画像シーケンス１４１０が文書のページに対応し、下位の画像のシーケンス１４２０が文書の章又は節に対応し、代表画像は、最も重要なテキスト情報を示す擬似画像であってもよい。

図２２は、スライドバーを関連性グラフ上に重ねた具体例を図式的に示す図である。更に、この構成は、ビデオクリップを再生し、又は元の情報アイテムのウェブ／テキストページをスクロールするためのユーザ操作子１４４２に関連付けられたビューウィンドウ１４４０を備える。

添付の図面を参照して本発明を詳細に説明したが、本発明は上述の実施の形態の詳細に限定されるものではなく、当業者は、添付の請求の範囲に定義された本発明の思想及び範囲から逸脱することなく、上述の実施の形態を様々に変更及び修正することができる。

情報保存及び検索システムの構成を示す図である。 自己組織化マップ（ＳＯＭ）の作成の手順を説明するフローチャートである。 用語頻度ヒストグラムを示す図である。 （ａ）は、生の特徴ベクトルを示す図であり、（ｂ）は、縮退された特徴ベクトルを示す図である。 ＳＯＭの構造を示す図である。 ディザ処理を説明する図である。 ＳＯＭによって表現された情報にアクセスするためのユーザインタフェースを提供する表示画面を示す図である。 ＳＯＭによって表現された情報にアクセスするためのユーザインタフェースを提供する表示画面を示す図である。 検索処理を説明するフローチャートである。 図９に示す検索処理の結果を表示するモードを示す図である。 図９に示す検索処理の結果を表示するモードを示す図である。 図９に示す検索処理の結果を表示するモードを示す図である。 ビデオ取得及び／又は処理装置の具体例として、カムコーダの構成を示す図である。 携帯型データ処理装置の具体例として、携帯情報端末の構成を示す図である。 インターネット内の様々なサイトにローカル及び／又はリモートに保存されている情報のための検索インタフェースを提供する構成の具体例を図式的に示す図である。 情報アイテムから代表擬似画像を生成するための処理を説明するフローチャートである。 情報アイテムの擬似画像の画像レイアウトの具体例を示す図である。 情報アイテムの擬似画像の画像レイアウトの具体例を示す図である。 情報アイテムの擬似画像の画像レイアウトの具体例を示す図である。 情報アイテムから擬似画像の代表シーケンスを生成する手法を図式的に説明する図である。 情報アイテム内の情報を検索するために用いられる関連性インジケータに関連付けられたスクロールバーを示す図である。 同時に表示される複数の代表画像のシーケンスについて用いられる関連性グラフ及びスクロールバーを示す図である。 関連性グラフ及びスクロールバーとともに再分割された２つの異なる情報をユーザに表示する変形例を図式的に示す図である。 スライドバーを関連性グラフ上に重ねた具体例を図式的に示す図である。

Claims (22)

1. 複数のテキスト情報を含む情報アイテムを処理する情報アイテム処理方法において、
   ａ）上記情報アイテムのテキスト情報を分析して、上記情報アイテムに関連する情報構成要素の集合を検出するステップと、
   ｂ）上記情報構成要素のそれぞれについて、上記情報アイテムに関する該情報構成要素の出現の頻度及び性質の少なくとも一方に基づいて、相対的な重要度の程度を検出するステップと、
   ｃ）少なくとも２つの情報構成要素の部分集合を選択するステップと、
   ｄ）上記情報構成要素の選択された部分集合を含み、上記情報アイテムを代表する擬似画像であって、
   ｄ．１）上記部分集合の最も重要な情報構成要素が上記代表擬似画像内の第１の所定の領域において最も目立つように表示され、
   ｄ．２）上記部分集合の１つ以上の他の情報構成要素がそれぞれの相対的な重要度の程度に応じて、上記代表擬似画像の他の所定の領域に表示される所定のレイアウトに構成された、擬似画像を生成するステップとを有する情報アイテム処理方法。
2. 上記最も重要な情報構成要素は、上記代表擬似画像における中央領域に表示されることを特徴とする請求項１記載の情報アイテム処理方法。
3. 上記代表擬似画像の上記所定の領域は、関連付けられた背景色を有することを特徴とする請求項１記載の情報アイテム処理方法。
4. 上記代表擬似画像の上記所定の領域には、該所定の領域内に表示される上記情報構成要素の相対的な重要度に応じたテキストフォントサイズを用いて、テキスト情報が表示されることを特徴とする請求項１記載の情報アイテム処理方法。
5. 少なくとも１つの情報アイテムがウェブページであることを特徴とする請求項１記載の情報アイテム処理方法。
6. 上記情報構成要素は、テキスト情報を含むことを特徴とする請求項１記載の情報アイテム処理方法。
7. 主要な画像又は映像情報を含む情報アイテムについて、該情報アイテムからの代表画像を含む上記情報アイテムを代表する代表擬似画像を生成するステップを更に有する請求項１記載の情報アイテム処理方法。
8. 情報アイテムの集合に対応する代表擬似画像の時間的シーケンスを表示するステップを更に有する請求項１記載の情報アイテム処理方法。
9. 上記情報アイテムに関する代表擬似画像が表示された際に、ユーザが情報アイテムを選択するためのユーザ操作子を提供するステップを更に有する請求項８記載の情報アイテム処理方法。
10. 上記代表擬似画像の時間的シーケンスは、実質的に一定の画像表示サイズで表示されることを特徴とする請求項８記載の情報アイテム処理方法。
11. 情報アイテムのグループに検索クエリを適用するステップを更に有し、
    上記情報アイテムの集合は、上記検索クエリの結果のグループから導出されることを特徴とする請求項８記載の情報アイテム処理方法。
12. 順序付けられた情報のシーケンスを含む情報アイテムについて、該順序付けられた情報のシーケンスにおける、それぞれの異なる位置に関連する複数の代表擬似画像を導出するステップを更に有する請求項１記載の情報アイテム処理方法。
13. 上記情報アイテム内の異なる各位置によって表される情報に、検索クエリを適用するステップと、
    上記検索クエリに対する上記異なる各位置によって表される関連する情報のグラフィック表現を生成するステップとを更に有する請求項１２記載の情報アイテム処理方法。
14. 上記情報アイテムに関連する情報構成要素の集合を検出するステップは、上記情報構成要素のそれぞれについて、上記情報アイテムにおける該情報構成要素のそれぞれの位置に基づいて、相対的な重要度の程度を検出するステップを更に有することを特徴とする請求項１記載の情報アイテム処理方法。
15. 上記情報アイテムに関連する情報構成要素の集合を検出するステップは、上記情報構成要素のそれぞれについて、上記情報アイテムにおける該情報構成要素の出現の顕著性に基づいて、相対的な重要度の程度を検出するステップを更に有することを特徴とする請求項１記載の情報アイテム処理方法。
16. 請求項１記載の情報アイテム処理方法を実行するためのプログラムコードを有するコンピュータソフトウェア。
17. 請求項１６記載のプログラムコードを提供するための提供媒体。
18. 上記媒体は、記録媒体であることを特徴とする請求項１７記載の提供媒体。
19. 上記媒体は、伝送媒体であることを特徴とする請求項１７記載の提供媒体。
20. 複数のテキスト情報を含む情報アイテムを処理する情報アイテム処理装置において、
    １）上記情報アイテムのテキスト情報を分析して、上記情報アイテムに関連する情報構成要素の集合を検出するテキスト分析器と、
    ２）上記情報構成要素のそれぞれについて、上記情報アイテムに関する該情報構成要素の出現の頻度及び性質の少なくとも一方に基づいて、相対的な重要度の程度を検出する検出器と、
    ３）少なくとも２つの情報構成要素の部分集合を選択する選択器と、
    ４）上記情報構成要素の選択された部分集合を含み、上記情報アイテムを代表する擬似画像であって、
    ａ）上記部分集合の最も重要な情報構成要素が上記代表擬似画像内の第１の所定の領域において最も目立つように表示され、
    ｂ）上記部分集合の１つ以上の他の情報構成要素がそれぞれの相対的な重要度の程度に応じて、上記代表擬似画像の他の所定の領域に表示される所定のレイアウトに構成された、擬似画像を生成する擬似画像生成器とを備える情報アイテム処理装置。
21. 請求項２０記載の情報アイテム処理装置を備える携帯型データ処理装置。
22. 請求項２０記載の情報アイテム処理装置を備えるビデオ取得及び処理装置。

Images