JP2006139382A - 情報処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 ユーザが意図する検索結果を効率的にかつ好適に提示することができる情報処理装置及びその制御方法、プログラムを提供する。
【解決手段】 検索条件に基づいて、マルチメディアデータを検索する。表示パターン候補から、所望の表示パターンを設定する。検索条件に対応する解析規則に従って、検索結果として得られたマルチメディアデータを解析する。設定された表示パターンに関連する表示規則を選択し、その選択された表示規則と、解析結果に基づいて、検索結果として表示する表示内容を決定する。表示内容に従って、検索結果を表示する。
【選択図】 図２

Description

本発明は、文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを検索する情報処理装置及びその制御方法、プログラムに関するものである。

小型の計算機システムの高性能化と記憶装置の大容量化によって、文書データや画像データ、音声データ等のデータをはじめ、それらが混在したマルチメディアデータが流通するようになってきた。さらに、ここ数年の地球規模のコンピュータネットワークであるインターネットの普及や、移動体通信機器の低価格化によって、これらのデータが簡単に入手でき、また楽しめる時代になってきた。個人が扱う情報量は、増大し、これらの情報を検索する機能は非常に重要になってきている。

このような大量のマルチメディアデータを効率よく利用するために、様々な検索方法と、これらを実装した装置が提案されている。例えば、マルチメディアデータをデータベース等の記憶装置で管理し、これらに特徴量やキーワード等のメタデータを付与しておき、検索条件を与えることによって、検索条件に適合するマルチメディアデータを検索する方法がある。

個人が扱う情報量が多く、内容も多様化・複雑化している現在、大規模なデータベースから、検索条件によって必要な情報だけを取得することは難しく、通常、ユーザは検索条件によって候補を絞り込み、その中から所望の情報を探さなければいけない。検索結果を表示する際には、検索条件に適合する候補のタイトルやサムネイル等の識別情報を一覧表示するのが一般的で、ユーザはこの識別情報を選択することによって、更に詳細な情報を表示させる。

従来のマルチメディアデータを検索するマルチメディアデータ検索装置では、検索結果の一覧は、検索条件との適合度や類似度によってランク付けされて並べられる等、検索クエリとの適合性に従って表示されるのが一般的であった。また、検索結果である各データの検索条件を含む部分を固定の表示フォーマットに合成して、検索結果を提示・印刷する技術が開示されている（特許文献１を参照）。

今後は、マルチメディアデータの検索機能を提供するだけでなく、ユーザが所望の情報を探し易く、また利用し易くなるように、検索結果が表示されることが望ましい。
特開２００１−１０９７７９号公報

情報収集等の様に、多数の情報を検索し、これを利用する場合には、検索結果の中から目的に合わせて必要な情報を探索、選択し、整理しなければいけない。

従来の方法では、検索クエリとの適合性に従って検索結果の一覧表示を行っていたので、検索クエリに関連する多種多様な内容の情報が一貫性なく混在して表示されていた。即ち、検索結果として得られた多数のデータの内容などによる関連性やつながりを考慮した表示が行われていないので、検索結果を見る場合に、ユーザは、一度見た情報を何度も見直したり、内容を記憶して頭の中で整理したり、情報の閲覧順を考慮して調整したりしなければならず、非常に手間のかかる大変な作業であった。特に、検索結果数が多い場合には、スクロールや改ページを繰り返しながら一つずつ詳細情報を見ていかなければいけないので、非常に労力と時間と慣れを必要とする。

本発明は上記の課題を解決するためになされたものであり、ユーザが意図する検索結果を効率的にかつ好適に提示することができる情報処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを検索する情報処理装置であって、
検索対象となる前記マルチメディアデータを記憶する記憶手段と、
前記マルチメディアデータを検索するための検索条件を入力する入力手段と、
前記検索条件に基づいて、前記記憶手段からマルチメディアデータを検索する検索手段と、
前記検索手段による検索結果を表示するための複数の表示パターン候補を保持する表示パターン候補保持手段と、
前記表示パターン候補保持手段で保持される表示パターン候補から、所望の表示パターンを設定する設定手段と、
前記検索手段によって検索結果として得られたマルチメディアデータを解析するための解析規則を保持する解析規則保持手段と、
前記検索条件に対応する解析規則を前記解析規則保持手段から選択し、その選択された解析規則に従って、前記検索手段で検索結果として得られたマルチメディアデータを解析する解析手段と、
前記検索結果として表示する内容を決定するために、前記表示パターン候補に関連する表示規則を保持する表示規則保持手段と、
前記設定手段で設定された表示パターンに関連する表示規則を前記表示規則保持手段から選択し、その選択された表示規則と、前記解析手段の前記解析結果に基づいて、前記検索結果として表示する表示内容を決定する表示内容決定手段と、
前記表示内容決定手段で決定された表示内容に従って、前記検索結果を表示する検索結果表示手段と
を備える。

また、好ましくは、前記解析手段は、前記検索手段で検索結果として得られたマルチメディアデータを、その意味・内容に従って分類する分類手段と、
前記検索手段で検索結果として得られたマルチメディアデータと、前記分類手段で分類されたマルチメディアデータのグループについての関係付けを行う関係付け手段とを備え、
前記表示内容決定手段は、前記分類手段による分類結果及び前記関係付け手段による関係付け結果に基づいて、前記検索結果として表示する表示内容を決定する。

また、好ましくは、前記分類手段は、前記検索手段で検索結果として得られたマルチメディアデータを階層構造に従って分類し、
前記関係付け手段は、前記検索手段で検索結果として得られたマルチメディアデータと、前記分類手段で前記階層構造に従って階層的に分類されたマルチメディアデータのグループについての関係付けを行う。

また、好ましくは、前記解析手段は、前記マルチメディアデータを検索対象として前記記憶手段に記憶する時に解析を行い、その解析結果をメタデータとして前記マルチメディアデータに関連付け、
前記表示内容決定手段は、前記マルチメディアデータに関連付けられたメタデータに基づいて、前記検索結果として表示する表示内容を決定する。

また、好ましくは、前記設定手段は、前記検索条件に関連する表示パターン候補を前記表示パターン候補保持手段から取得する取得手段と、
前記取得手段で取得した表示パターン候補から所望の表示パターンを選択する選択手段と
を備える。

また、好ましくは、前記表示規則は、前記マルチメディアデータ間の関係によってその提示順序を決定するための定義と、前記マルチメディアデータの種類の応じてデータを連結するための定義とを含み、
前記表示内容決定手段は、前記分類手段の分類結果と、前記関係付け手段の関係付け結果と、前記設定手段で設定された表示パターンに基づいて、前記検索手段の検索結果として得られたマルチメディアデータの前記提示順序を決定し、
かつ、前記設定手段で設定された表示パターンと、前記提示順序と、前記関係付け手段の関係付け結果に基づいて、前記検索手段の検索結果として得られたマルチメディアデータの連結方法を決定する。

また、好ましくは、前記表示内容決定手段は、前記分類手段で分類されたマルチメディアデータのグループが、複数の前記検索手段の検索結果として得られたマルチメディアデータ及び前記分類手段で分類されたマルチメディアデータのグループの提示順序及び関係と、前記設定手段で設定された表示パターンに基づいて、前記分類手段で分類されたマルチメディアデータのグループの連結方法を決定する。

また、好ましくは、前記表示内容決定手段は、前記分類手段の分類結果と、前記関係付け手段の関係付け結果と、前記設定手段で設定された表示パターンに基づいて、前記検索手段の検索結果として得られたマルチメディアデータの中から表示するマルチメディアデータの構成を決定する。

また、好ましくは、前記マルチメディアデータは、静止画像または動画像データであり、
前記検索結果表示手段は、前記表示内容決定手段で決定された表示内容に従って、前記検索結果である静止画像データまたは動画像データを連続的に再生表示する。

また、好ましくは、前記分類手段は、前記検索手段で検索結果として得られたマルチメディアデータである前記静止画像または前記動画像データを、該静止画像または該動画像データが属する共通因子を階層の単位とする階層構造に従って分類し、
前記関係付け手段は、前記検索手段で検索結果として得られたマルチメディアデータと、前記階層構造に従って階層的に分類されたマルチメディアデータのグループについての関係付けを行う。

上記の目的を達成するための本発明による情報処理装置の制御方法は以下の構成を備える。即ち、
文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを記憶する記憶部から、マルチメディアデータを検索する情報処理装置の制御方法であって、
前記マルチメディアデータを検索するための検索条件を入力する入力工程と、
前記検索条件に基づいて、前記記憶部からマルチメディアデータを検索する検索工程と、
前記検索工程による検索結果を表示するための複数の表示パターン候補を記憶媒体に保持する表示パターン候補保持工程と、
前記表示パターン候補保持工程で記憶媒体に保持された表示パターン候補から、所望の表示パターンを設定する設定工程と、
前記検索工程によって検索結果として得られたマルチメディアデータを解析するための解析規則を記憶媒体に保持する解析規則保持工程と、
前記検索条件に対応する解析規則を前記解析規則保持工程で保持された記憶媒体から選択し、その選択された解析規則に従って、前記検索工程で検索結果として得られたマルチメディアデータを解析する解析工程と、
前記検索結果として表示する内容を決定するために、前記表示パターン候補に関連する表示規則を記憶媒体に保持する表示規則保持工程と、
前記設定工程で設定された表示パターンに関連する表示規則を前記表示規則保持工程で記憶媒体に保持された記憶媒体から選択し、その選択された表示規則と、前記解析工程の前記解析結果に基づいて、前記検索結果として表示する表示内容を決定する表示内容決定工程と、
前記表示内容決定工程で決定された表示内容に従って、前記検索結果を表示する検索結果表示工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを記憶する記憶部から、マルチメディアデータを検索する情報処理装置の制御を実現するプログラムであって、
前記マルチメディアデータを検索するための検索条件を入力する入力工程のプログラムコードと、
前記検索条件に基づいて、前記記憶部からマルチメディアデータを検索する検索工程のプログラムコードと、
前記検索工程による検索結果を表示するための複数の表示パターン候補を記憶媒体に保持する表示パターン候補保持工程のプログラムコードと、
前記表示パターン候補保持工程で記憶媒体に保持された表示パターン候補から、所望の表示パターンを設定する設定工程のプログラムコードと、
前記検索工程によって検索結果として得られたマルチメディアデータを解析するための解析規則を記憶媒体に保持する解析規則保持工程のプログラムコードと、
前記検索条件に対応する解析規則を前記解析規則保持工程で保持された記憶媒体から選択し、その選択された解析規則に従って、前記検索工程で検索結果として得られたマルチメディアデータを解析する解析工程のプログラムコードと、
前記検索結果として表示する内容を決定するために、前記表示パターン候補に関連する表示規則を記憶媒体に保持する表示規則保持工程のプログラムコードと、
前記設定工程で設定された表示パターンに関連する表示規則を前記表示規則保持工程で記憶媒体に保持された記憶媒体から選択し、その選択された表示規則と、前記解析工程の前記解析結果に基づいて、前記検索結果として表示する表示内容を決定する表示内容決定工程のプログラムコードと、
前記表示内容決定工程で決定された表示内容に従って、前記検索結果を表示する検索結果表示工程のプログラムコードと
を備える。

本発明によれば、ユーザが意図する検索結果を効率的にかつ好適に提示することができる情報処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

本発明は、文書データ、画像データ（静止画像または動画像データ）、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを利用するシステムにおいて、検索エンジンによって検索した検索結果をブラウジングソフトウエアや検索アプリケーションを用いて表示する際に、検索結果として得られたデータを特定の手法で取り扱うことにより、ユーザに理解し易く、効果的に提示するための構成を提供するものである。

［実施形態１］
図１は本発明の実施形態１の情報処理装置であるマルチメディアデータ検索システムが構築されるコンピュータ装置の基本構成を示すブロック図である。

図１において、１００はマイクロプロセッサからなるＣＰＵであり、各種処理のための演算、論理判断等を行ない、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その制御内容は、後述するＲＯＭ１０１やＲＡＭ１０２上のプログラムによって指示される。

また、ＣＰＵ１００自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。

アドレスバスＡＢは、ＣＰＵ１００の制御対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢは、ＣＰＵ１００の制御対象とする各構成要素のコントロール信号を転送する。データバスＤＢは、各構成機器相互間のデータ転送を行なう。

１０１はＲＯＭであり、読出専用の固定メモリである。ＲＯＭ１０１には、後述するＣＰＵ１００による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。

また、１０２はＲＡＭであり、書込可能のランダムアクセスメモリであって、後述するＣＰＵ１００による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ１００以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。

これらＲＯＭ１０１やＲＡＭ１０２などの記憶媒体には、実施形態１のデータ管理を実現する計算機プログラムやデータ等の各種データが格納されており、これらの記憶媒体に格納されたプログラムコードを、ＣＰＵ１００が読み出し実行することによって機能が実現されるが、記憶媒体の種類は問われない。

また、本発明に係わるプログラムやデータを格納した記憶媒体をシステムあるいは装置に供給して、ＲＡＭ１０２等の書換可能記憶媒体上に、前記の記憶媒体から、そのプログラムが書換可能記憶媒体上にコピーされる構成も想定されるが、その記憶媒体としては、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなどを用いることができる。

１０３はハードディスク（ＤＩＳＫ）であり、さまざまなデータを記憶するための外部メモリとして機能する。ＤＩＳＫ１０３は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種データを必要に応じて記憶し読み出すことができる。また、記憶された計算機プログラムやデータは、キーボード（ＫＢ）１０７の指示や、各種計算機プログラムの指示により、必要な時に、ＲＡＭ１０２上に完全もしくは部分的に呼び出される。

１０４はＭｅｍＣａｒｄ（メモリカード）であり、着脱型の記憶媒体であり、この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。

１０７はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、及び、カーソル移動を指示するカーソル移動キー等の各種機能キーを備えている。尚、マウスのようなポインティングデバイスも含むこともできる。

１０８はカーソルレジスタ（ＣＲ）であり、ＣＲＴ１１１上に表示される位置を示すアドレスを記憶する。ＣＰＵ１００により、ＣＲ１０８の内容を読み書きできる。後述するＣＲＴコントローラ（ＣＲＴＣ）１１０は、ＣＲ１０８に記憶されたアドレスに対応する、表示装置であるＣＲＴ１１１上の位置にカーソルを表示する。

１０９は表示用バッファメモリ（ＤＢＵＦ）であり、表示対象のデータのパターンを記憶する。１１０はＣＲＴコントローラ（ＣＲＴＣ）であり、ＣＲ１０８及びＤＢＵＦ１０９に記憶された内容をＣＲＴ１１１に表示する役割を担う。また、ＣＲＴ１１１は、陰極線管等を用いた表示装置であり、そのＣＲＴ１１１におけるドット構成の表示パターンおよびカーソルの表示をＣＲＴＣ１１０で制御する。尚、ＣＲＴ１１１の代りに、ＬＣＤ等の他の表示装置が用いることも可能である。

１１２はキャラクタジェネレータ（ＣＧ）であり、ＣＲＴ１１１に表示する文字、記号のパターンを記憶する。

１０５はＮＣＵであり、他のコンピュータ装置等の外部機器と通信を行うための通信デバイスであり、これを利用することで、実施形態１のプログラムやデータを、他の装置と共有することが可能になる。

図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ（パーソナルコンピュータ））１１４、テレビ放送や自分で撮影した映像等の画像の受信・蓄積・表示装置（ＴＶ／ＶＲ）１１５、家庭用の遊戯用計算機（ＧＣ）１１６と接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置と、ネットワークで接続されている機器は、何でもかまわない。尚、ネットワークの種類などは何でもかまわないし、ネットワークは、図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでもかまわない。

１０６は人工衛星等を利用した同報型通信の受信機能を実現する受信デバイス（ＤＴＵ）であり、人工衛星を経由して放送される電波等の信号を、パラボラアンテナ（ＡＮＴ）１１３で受信して、放送されているデータを取得する機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。

次に、実施形態１のマルチメディアデータ検索システムの機能構成について、図２を用いて説明する。

図２は本発明の実施形態１のマルチメディアデータ検索システムの機能構成を示す図である。

尚、図２に示す各種構成要素は、図１のＣＰＵ１００がＲＯＭ１０１に格納された制御プログラムを実行し、図１に示した各構成要素を制御することで実現されるものである。

２０１は検索クエリ入力処理部であり、所望の検索対象に関する要求事項（検索クエリ（検索条件））を入力する。２０２は検索クエリ保持部であり、検索クエリ入力処理部２０１によって入力された検索クエリを一時的に記憶する。この検索クエリ保持部２０２は、例えば、ＲＡＭ１０２によって実現される。

２０３は検索処理部であり、検索クエリ保持部２０２で保持される検索クエリを参照して、その検索クエリと合致するマルチメディアデータを検索する。２０４は検索結果保持部であり、検索処理部２０３によって検索された検索結果を一時的に保持する。この検索結果保持部２０４は、例えば、ＲＡＭ１０２によって実現される。

２０５はメタデータ保持部であり、マルチメディアデータ保持部２０６に格納されているマルチメディアデータに付与されているメタデータを格納している。２０６はマルチメディアデータ保持部であり、検索対象となるマルチメディアデータを格納している。

２０７は解析規則選択処理部であり、検索クエリ保持部２０２で保持される検索クエリを参照して、その検索クエリに対応する解析規則を、解析規則保持部２０８に格納された解析規則の中から選択する。

２０８は解析規則保持部であり、検索結果として得られたマルチメディアデータを解析するための解析規則を格納している。２０９は決定解析規則保持部であり、解析規則選択処理部２０７で選択された解析規則を識別する情報を、一時的に保持する。この決定解析規則保持部２０９は、例えば、ＲＡＭ１０２で実現される。

２１０は検索結果解析処理部であり、検索結果保持部２０４に保持された検索結果を、決定解析規則保持部２０９で保持される解析規則に従って解析する。

２１１は解析結果保持部であり、検索結果解析処理部２１０で解析した解析結果を一時的に記憶する。この解析結果保持部２１１は、例えば、ＲＡＭ１０２で実現される。

２１２は表示内容決定処理部であり、決定表示規則保持部２１７で保持される表示規則を利用して、検索結果として表示する表示内容を、解析結果保持部２１１に保持された解析結果に従って決定する。

２１３は表示内容保持部でであり、表示内容決定処理部２１２で決定された表示内容を一時的に記憶する。この表示内容保持部２１３は、例えば、ＲＡＭ１０２で実現される。

２１４は検索結果表示部であり、表示内容保持部２１３で保持される表示内容を参照して、検索結果を表示する。２１５は表示規則保持部であり、検索結果として表示する表示内容を決定するための表示規則を格納している。

２１６は表示規則選択処理部であり、検索クエリ保持部２０２で保持される検索クエリと決定表示パターン保持部２２０で保持される表示パターンを参照して、その検索クエリと表示パターンに対応する表示規則を、表示規則保持部２１５に格納された表示規則の中から選択する。

２１７は決定表示規則保持部であり、表示規則選択処理部２１６で選択された表示規則を識別する情報を一時的に保持する。この決定表示規則保持部２１７は、例えば、ＲＡＭ１０２で実現される。

２１８は表示パターン候補保持部であり、検索結果を表示するための表示パターンの候補を格納する。２１９は表示パターン設定処理部であり、検索クエリ保持部２０２を参照して、入力された検索クエリに対応する表示パターンを、表示パターン候補保持部２１８に格納された表示パターン候補の中から選択する。

２２０は決定表示パターン保持部であり、表示パターン設定処理部２１９で選択された表示パターンを一時的に保持する。この決定表示パターン保持部２２０は、例えば、ＲＡＭ１０２で実現される。

実施形態１では、例えば、家庭などで撮影された静止画や動画等のマルチメディアデータを検索し、検索結果として得られた静止画や動画のショットを再生することによって、効果的に表示する場合を想定している。

＜検索処理＞
実施形態１では、検索対象となる各データに関連付けられたメタデータを利用して検索を行う。メタデータは、タイトルやキーワード等のデータを人手によって付与したり、検索対象となるマルチメディアデータを解析してメディア特徴量等の特徴量を抽出したりして付与される。

検索は、ユーザから検索キーワードやキーワードリスト等の検索条件（検索クエリ）を与えてもらい、その検索条件と各データに関連つけられたメタデータを対比し、その検索条件と適合するメタデータが付与されているマルチメディアデータを取得する。また、検索条件と取得した各マルチメディアデータのメタデータとの類似度を計算して、その計算結果に基づいて、取得してもよい。

尚、ここでいう類似度とは、ユーザが入力した検索条件中の特定の文字列が、各データとの関係を示す表現としてどの程度適切であるかを示す値である。

次に、実施形態１の検索条件設定画面の一例について、図３を用いて説明する。

図３は本発明の実施形態１の検索条件設定画面の一例を示す図である。

この検索条件設定画面は、ウィンドウシステムを利用した場合の画面で例示している。また、図３の検索条件設定画面は、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、デジタルカメラやビデオカメラ等の小型画面に表示する場合は、画面サイズに応じた表示の仕方を行うことが望ましい。

３１はタイトルバーであり、この検索条件設定画面のタイトル表示と、例えば、移動や大きさの変更等の画面全体の操作を行う部分である。３２、３３はそれぞれこの検索条件設定画面に関する機能を提供するボタンであり、３２はヘルプ表示ボタン、３３は検索条件設定画面を閉じるボタンである。

３４及び３７は検索を行うための検索条件を入力するための入力領域である。

入力領域３４は、実施形態１で提供されている最も上位概念となるイベントの種類やテーマを表示し、ユーザに選択を促すための入力領域であり、ユーザは、表示された複数種類の候補の中から所望のものをチェックボックスによって選択することができる。

実施形態１では、「結婚式」、「運動会」等、家庭内で画像を撮影する際のイベントを候補として表示しており、図３では、「結婚式」が選択されている状態を示している。このイベント・テーマの選択により、キーワード等の、実際に画像を検索するための具体的な検索条件が生成されることになる。実施形態１では、主に家庭内で撮影された動画や静止画等の画像コンテンツを扱うため、ある程度コンテンツの内容が想定できるので、リストからイベントを選択しているが、イベントを選択するのではなく、ユーザが直接検索キーワード等の検索条件を入力してもよい。

入力領域３７は、入力領域３４における項目を選択することによって生成される検索条件以外に、特に、ユーザが指定したいキーワードを入力するためのテキスト入力領域であり、複数のキーワードを区切り文字（例えば、空白等）で区切って入力するとともに、論理演算ＡＮＤとＯＲのどちらかをラジオボタンによって指定できるようになっている。

実施形態１では、入力領域３７への入力はオプションとなり、入力しなくてもよい。

また、実施形態１では示していないが、入力した複数のキーワードやフレーズ等の重要度や類似距離を設定するようにしてもよいし、他の検索条件として、日付の範囲等の情報を指定するようにしてもよい。

３５はＯＫボタンである。このＯＫボタン３５を操作すると、検索条件として入力領域３４及び３７に入力された内容を最終的に確定し、次の処理へ移行する。一方、３６はキャンセルボタンである。このキャンセルボタン３６を操作すると、入力領域３４及び３７の入力内容を破棄する。

次に、図５に示すイベントの関係の定義を利用して、図３の入力領域３４で設定された上位概念に当たるイベント・テーマに対して、それに対応する下位概念にあたるサブイベントを検索キーワードとして設定し、図４に示す各情報に付与されたメタデータを利用して、結婚式を撮影して得た複数の静止画像や動画のショットを検索する。

例えば、「結婚式」というイベントを構成するサブイベントとして、「お出迎え」、「新郎新婦の入場」、「ケーキカット」といった複数のサブイベントが検索キーワードとして使用される。また、図３の入力領域３７でキーワードが入力された場合は、これも検索に利用することとなる。

次に、検索対象となる静止画像や動画のショット等の画像データ（マルチメディアデータ）に付与されるメタデータ（メタデータ保持部２０５で保持される）の一例について、図４を用いて説明する。

図４は本発明の実施形態１のメタデータの一例を示す図である。

図４では、各画像データに対して、それぞれタイトルや撮影者、撮影日時、データ種別（動画／静止画）、カテゴリ、キーワード、重要度等がメタデータとして付与されていることを示している。ここでは、簡単なキーワードとして扱える文字情報等を主に格納している例を示しているが、画像特徴量等の文字情報以外の情報をメタデータとして付与することも可能である。

図４では、一例として、ある画像Ａでは、タイトルとして「ケーキ入刀」、撮影者として「情報太郎」、撮影日時として「２００３−０４−０１Ｔ１２:３０」、データ種別として「動画」、カテゴリとして「結婚式−結婚式−ケーキ入刀」、キーワードとして「新郎新婦」、「ウエディングケーキ」、重要度として「高」が付与されている。これらのメタデータは、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に記憶されている。

そして、このメタデータを用いることで、記憶媒体上のデータベースに格納された静止画像や動画のショット等の画像データを検索することができる。

＜検索結果の表示＞
次に、検索結果を効果的に表示する方法について、詳細に説明する。

実施形態１では、検索結果である静止画や動画等の画像データを解析し、解析結果に従って、ユーザの目的に適した効果的な表示内容を決定する。

１．検索結果の解析
データ管理上、データは多岐に及ぶことが考えられるが、ある状況において取り扱うデータの種類や内容は、ある程度予想可能か、あるいは、ある範囲に限定される。また、各データの内容の種類に応じて、その具体的な内容や、各データに登場する事物や人物、状況等についても、経験則的にある程度予想が可能であり、更に、それらによってデータの関係等をある程度推測することができる。

そこで、実施形態１では、データを取り扱う状況やデータの範囲、内容の種類等に応じたデータの解析規則をあらかじめ定義して、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納してき、これにより、検索結果として得られたデータを解析する。解析規則は、検索エンジン毎に定義してもよいし、検索対象となるデータが蓄積されているデータベース毎に定義してもよい。

データの解析方法は、検索対象となるデータの内容や種類、また検索を行う状況や範囲によって適切な方法が異なるが、実施形態１では、特に、検索結果として得られたデータに表現されている意味・内容に従って分類と関係付けを行う。

まず、データの内容や種類によって分類を行う場合は、例えば、イベント、カテゴリ、シーン、中心となる事象物等についての共通因子（データが属する因子）に着目して分類することができる。イベント、カテゴリ、シーン等は、複数のイベント、カテゴリ、シーン等から構成されると予想できる。そこで、イベント、カテゴリ、シーン等の階層構造を解析規則として定義しておき、これらの階層構造に従ってデータを分類する。

次に、この階層構造からなる解析規則の一例について、図５を用いて説明する。

図５は本発明の実施形態１あるいは実施形態２の階層構造からなる解析規則の一例を示す図である。

図５では、イベント、カテゴリ、シーン等の分類要素の階層構造を示している。図５では、ある分類要素Ｘに含まれる個々のサブ分類要素Ｘ−ＡからＸ−Ｉの包含関係・階層関係を示している。分類要素Ｘは、まず、分類要素Ｘ−ＡからＣを含み、更に、分類要素Ｘ−Ａは、分類要素Ｘ−ＤからＦを含むことを示している。また、階層構造の末端の要素に対してキーワードを対応つけておき、データの分類に利用してもよい。この階層構造における情報は、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納する。

例えば、実施形態１では、主に家庭内で撮影された動画や静止画等の画像データを検索対象としているため、「結婚式」、「運動会」など、家庭内で画像を撮影する際のイベントやテーマを単位として階層構造を定義することができる。

図５の分類要素Ｘを結婚式というイベントとすると、まず、新郎新婦の紹介、結婚式までの経緯、会場風景、結婚式、披露宴、等のカテゴリに分類できる。そして、これらの分類の中の結婚式のカテゴリは、入場、誓いの言葉、指輪の交換、等から構成され、また、披露宴のカテゴリは、入場、ケーキ入刀、スピーチ等から構成され、更にスピーチのカテゴリは、来賓のスピーチ、友人代表のスピーチ、等のシーンから構成することができる。

また、分類要素Ｘを子供の成長というテーマとすると、例えば、誕生、七五三、幼稚園時代、小学校時代、等のカテゴリに分類できる。そして、例えば、幼稚園時代のカテゴリは、入園式、運動会、学芸会、等の小さなイベントによって構成することができる。

実施形態１では、図４に示すような、画像データに付与されたメタデータを利用して、検索結果として得られた個々のデータを、上述した階層構造に従ってカテゴリに分類する。例えば、図４では、データにあらかじめ、図５の階層構造に従ってカテゴリ情報が付与されており、これを利用してカテゴリに分類することができる。

また、図５に示すように、階層構造の末端の要素に対してキーワードを対応つけておき、これと各データに付与されたキーワードやタイトル等のメタデータを比較することによって、検索結果がどのような内容なのかを推定してカテゴリに分類することもできる。

また、検索クエリから検索クエリに関連するカテゴリ等を推定し、その下層に属するカテゴリに対してのみ分類を行ってもよい。

次に、検索結果として得られた個々のデータや分類結果であるデータのグループについての関係付けを行う。

実施形態１では、例えば、空間的な位置関係、時間や意味の前後関係、類似関係、対等・並列関係、対照（反対）関係、原因と結果などの因果関係、概要と詳細、具体化・例示・補足、修飾、等の相互関係を見い出す関係付け規則を解析規則として保持している。

ここで、関係付け規則の一例について、図６を用いて説明する。

図６は本発明の実施形態１の画像データの意味・内容による関係付け規則の一例を示す図である。

図６では、「結婚式」というカテゴリに属する検索クエリから得られた検索結果に対する関係付け規則を示している。

例えば、「結婚式」というイベントにおける「会場風景」というカテゴリのサブカテゴリである「会場外観」と「会場内部」は、遠近、外内、全体と部分、という空間的な位置関係をもっている。また、「新郎新婦のなれそめ」というカテゴリと「結婚式」というカテゴリは、原因と結果という因果関係にあるといえる。また、「控え室の様子」というカテゴリと「結婚式」は、修飾関係や補足の関係にあたる。

実施形態１では、図４に示すような画像データに付与されたタイトルやキーワード等のメタデータを利用して、図６の関係付け規則に従って関係付けを行う。また、画像データの撮影日時に従って前後の関係付けを行ってもよい。

実施形態１では、更に、検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行う。

ここで、グループの関係付けの一例について、図７を用いて説明する。

図７は本発明の実施形態１あるいは実施形態２で検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行った結果の一例を示す図である。

図７において、Ｇはデータのグループ、Ｄはデータ、Ｒは関係を表しており、Ｒが指す線の○は始点、●は終点を示している。

例えば、分類要素Ｇ１と分類要素Ｇ２はＲ１３の関係をもち、分類要素Ｇ１と分類要素Ｇ３はＲ１１の関係をもっている。分類要素Ｇ１に包含される分類要素Ｇ１１とＧ１２はＲ１１の関係にある。

また、分類要素Ｇ１１に包まれるデータＤ１１１とＤ１１２とは、Ｄ１１１を始点でＤ１１２を終点とするＲ１３の関係をもっている。また、Ｄ２２４は、分類要素Ｇ２に含まれる要素であるが、どの要素とも関係付けられていない。

そして、これらの情報は、一時的にＲＡＭ１０２等の記憶媒体に記憶しておく。

次に、検索結果解析処理部２１０による検索結果解析処理の詳細について、図８を用いて説明する。

図８は本発明の実施形態１あるいは実施形態２の検索結果解析処理部による検索結果解析処理を示すフローチャートである。

まず、ステップＳ９０１において、検索結果として得られたデータを、解析規則に従って分類する。この分類の方法については、前述したとおりである。

次に、ステップＳ９０２において、検索結果として得られたデータと、分類結果として得られるデータのグループについて、関係付けを行う。関係付けの方法については前述したとおりである。

以上説明してきたように、実施形態１では、検索結果解析処理部２１０の解析処理として、検索結果の分類と、検索結果と分類結果との関係付けを行ったが、検索対象となるデータを取り扱う状況やデータの範囲、内容の種類、特徴等によって、他にも様々な解析方法が考えられる。

２．表示パターンの設定
実施形態１では、ユーザに所望の表示パターンを指定してもらい、指定された表示パターンに従って検索結果を表示する。

検索結果を表示する際、その内容に応じて表示方法を工夫することによって、検索結果をより分かり易く示すことができる。また、分かり易いだけでなく、作者の意図を反映させて面白く表示することができる。

例えば、実施形態１において、画像データを表示する場合は、ニュース風に画像と説明を構成することによって分かり易く見せたり、ドラマ風に構成することによって面白く見せたりすることができる。

このような表示方法は、一般的・専門的に用いられている手法を応用して、パターン化することができ、検索対象となるデータの種類や内容、また検索目的によって、適切なパターンが異なる。

特に、実施形態１では、検索対象となるデータの内容の種類に応じて、予め検索結果を表示するための表示パターンの候補を作成しておく。検索時に、指定された検索クエリに応じた表示パターンの候補を表示条件としてユーザに提示して選択させる。

例えば、実施形態１では、日常的なイベントやテーマ、例えば、結婚式や、旅行、子供の成長、等に対する表示パターンの候補を作成しておく。

ここで、表示パターンの一例について、図９を用いて説明する。

図９は本発明の実施形態１の表示パターンの一例を示す図である。

例えば、イベント「結婚式」に対応する表示パターンとして「ドラマ風」、「ニュース風」等を選択するようになっている。これらの情報は、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納する。

これらの表示パターンは、検索対象となるデータによって異なるので、各々に適したテンプレートを作成する必要がある。

次に、各イベント・テーマに対する表示パターンを設定するための表示条件設定画面の一例について、図１０を用いて説明する。

図１０は本発明の実施形態１の表示条件設定画面の一例を示す図である。

図１０の表示条件設定画面は、図３のＯＫボタン３５を押下した後に表示される。これは、ウィンドウシステムを利用した場合の画面で例示している。また、図１０の表示条件設定画面は、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、デジタルカメラやビデオカメラ等の小型画面に表示する場合は、画面サイズに応じた表示の仕方を行うことが望ましい。

２６１はタイトルバーであり、この表示条件設定画面のタイトル表示と、例えば、移動や大きさの変更等の画面全体の操作を行う部分である。２６２、２６３はそれぞれこの検索条件設定画面に関する機能を提供するボタンであり、２６２はヘルプ表示ボタン、２６３は検索条件設定画面を閉じるボタンである。

次に、入力領域２６４は、検索結果表示のための表示条件を表示し、ユーザに選択を促すための入力領域であり、図９の内容（表示パターン候補）を参照して検索クエリに対応した内容（表示パターン候補）を表示する。ユーザは、表示された複数種類の候補の中から所望のものを選択することができる。実施形態１では、検索クエリである「結婚式」のイベントに対応した視聴者の表示パターンである「ニュース風」、「ドラマ風」等が表示され、「ドキュメンタリー風」が選択されている状態を示している。

２６５はＯＫボタンである。このＯＫボタン２６５を操作すると、表示条件として入力領域２６４に入力された内容を最終的に確定し、次の処理へ移行する。２６６はキャンセルボタンである。このキャンセルボタン２６６を操作すると、入力領域２６４の入力内容を破棄する。

尚、実施形態１では、イベントやカテゴリ、等を単位として表示パターンの候補を作成しているが、基準となる単位を各種データの種類、内容に応じて選ぶことで、他のデータにも利用しやすいように対応することが可能である。

３．表示内容の決定
次に、得られる解析結果を基に、検索結果の表示内容を決定し、ユーザに対して、検索結果を分かり易く表示する方法について詳細に説明する。

人間は、言語的・非言語的な多種多様なシンボルを統合し、脈絡をつけることによって、断片的な情報を頭の中で接続し理解している。複雑な想像内容の媒介が必要となる場合は理解が難く、時間・空間・意味的な連続性がまったくない情報提示は混乱を招くことになる。そのため、人間が自然に解釈できるような方法で、情報提示を行うことが重要である。

実施形態１では、人間の理解のパターンを応用して、検索対象に応じた表示規則をあらかじめ定義しておく。この表示規則に従って、前述の解析結果を基に表示内容を決定することによって、検索結果を理解し易く示すことができる。

特に、実施形態１では、表示内容として、検索結果の構成と構成要素、及びその展開方法（構成要素の提示順序）、構成要素の連結方法等を表示規則として決定しておく。また、この表示規則は、検索エンジン毎に定義してもよいし、検索対象となるデータが蓄積されているデータベースの種類毎に定義してもよい。

また、検索結果として得られたデータの内容によって、そのデータの適切な構成や展開方法、等は異なる。そこで、実施形態１では、検索対象となるデータの内容の種類と表示パターンに応じた表示規則を定義しておく。検索時に、ユーザに指定された検索クエリと表示パターンに対して適切な表示規則を選択し、表示内容を決定する。

検索結果を示す際には、文では章や段落、映像ではシークエンスやシーン等に当たる一つの内容を表したデータのブロックに分けて構成すると、ユーザが理解し易くなる。各ブロックの要素としては、ブロックの中心となる中心的要素（重要度の高い要素）、中心的要素と内容的につながりのある補足的要素、ブロックを連結する要素、中心的要素・補足的要素を連結する連結要素、内容の理解を助けるための説明要素、等がある。実施形態１では、検索結果を分類することによって得られたデータのグループを、データのブロックとして扱う。

具体的には、実施形態１のデータのブロックとは、前述の分類によって決定されたシーンやシークエンスを表す複数の画像情報の集合グループである。また、個々のデータとは、静止画像や動画のショットを示している。

検索結果を示す際には、まず、個々のデータやデータのブロックを組み合わせて理解の枠組み（起承転結、序破急、等）を段階的に組み立てることによって、分かり易いストーリーや説明の流れを作ることができる。また、ユーザの表示パターンによって、適切なストーリー構成、及びその構成要素は異なる。そこで、実施形態１では、データの解析結果に基づいて、表示パターンに適したストーリーを生成する。

次に、イベント・テーマと表示パターンに適したストーリーを構成する方法について、図１１を用いて説明する。

図１１は本発明の実施形態１のイベント・テーマと表示パターンに対する理解の枠組みとその要素の内容を示す図である。

図１１において、まず、「結婚式」のイベントの表示パターンである「ドラマ風」に対する「起」の構成要素として「新郎新婦の紹介」等がある。また、その「ドラマ風」に対する「承」の構成要素として、「式前の様子」等がある。また、その「ドラマ風」に対する「転」の構成要素として「結婚式」、「披露宴」等がある。また、その「ドラマ風」に対する「結」の構成要素として「式後の様子」等がある。

起承転結の各構成要素は、更に、起承転結などの枠組みによって構成することができる。図では示していないが、例えば、「披露宴」のイベントの表示パターンである「ドラマ風」に対する「起」の構成要素として「入場」等がある。また、その「ドラマ風」に対する「承」の構成要素として「ケーキ入刀」等がある。また、その「ドラマ風」に対する「転」の構成要素として「お色直し」、「余興」等がある。また、その「ドラマ風」に対する「結」の構成要素として「花束贈呈」等が挙げられる。

これらの中から一つまたは複数の構成要素を選択して、起承転結などの枠組みによってストーリー構成を決定する。起承転結などの枠組みに属するデータのブロック、及びブロックに属する個々のデータの展開方法は、次に説明する。

また、必要に応じて、起承転結などの枠組みを明示的に分ける要素（切れ目と始まり）や、これらを繋ぐ要素を入れてもよい。実施形態１の場合は、例えば、字幕画面などがこれに当たる。

また、ストーリーを生成せずに、検索結果を示してもよい。ストーリーを生成しない場合は、検索された全てのデータを表示対象とし、前述したデータのブロック、及びブロックに属する個々のデータの展開方法を決定する。

次に、表示パターンに適したデータのブロックや個々のデータの展開方法（提示順序）の決定について、図１２及び図１３を用いて説明する。

検索結果を示す際に、各構成要素を、例えば、説明を理解する順に、空間的・時間的な配列に従って、概論や全体から細部へ、というように人間が自然に理解できるような順序で展開すると理解し易くなる。これは解析によって得られた各要素の関係から導くことができる。

そこで、実施形態１では、構成要素の相互関係による提示順序を表示規則として定義して、これを、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納しておく。この表示規則を利用することによって、構成要素の提示順序を決定する。

図１２は本発明の実施形態１あるいは実施形態２の構成要素の相互関係に対する提示順序の一例を示す図である。

図１２は、データのブロックや個々のデータの相互関係による提示順序、及びその優先度を定義したものである。優先度とは、構成要素を相互関係に従って提示する際の、構成要素同士の依存性・結束性の強さを示したものである。

優先度が強の場合は、構成要素を離して提示すると理解が難しいので、必ず提示順序にデータを連続させなければいけないことを表している。

優先度が中の場合は、提示順序が守られていれば、必ずしも構成要素が連続していなくてもよいが、連続していない場合には、相互関係が分かるような要素を補わなければいけないことを表している。

優先度が弱の場合は、提示順序が守られていれば、構成要素を連続させる必要がないことを表している。

図１２において、例えば、データＡと、データＢの間に空間や意味的な全体と部分の関係がある場合には、データＡ（全体）からデータＢ（部分）の順にも、データＢ（部分）からデータＡ（全体）の順にも提示でき、どちらの優先度も強である。

また、データＡとデータＢの間に因果関係がある場合には、原因を表しているデータＡから、結果を表しているデータＢの順に提示すると、自然に理解できる。逆に、データＢ（結果）からデータＡ（原因）の順に提示することもできるが、この場合はなんらかの説明や理解を助ける提示がないと理解が難しい。

また、並列や対等関係のように、データの相互関係によって順序付ける必要がない場合は、ランダムに並べてもよいし、アルファベット順、等で並べてもよい。

例えば、実施形態１では、「会場付近の様子」と「会場の様子」は、遠近や外内の関係があるので、「会場付近の様子」から「会場の様子」の順に表示するとよいことが分かる。

図１３は本発明の実施形態１の表示パターンに適した相互関係の一例を示す図である。

図１２及び図１３において、例えば、表示パターンである「ニュース風」では、「全体」を表す内容から「部分」を表す内容へ展開してもよいことを示している。また、「部分」を表す内容から「全体」を表す内容への展開は、「ドラマ風」ではよいが、「ニュース風」ではいけないことを示している。

次に、検索結果の構成とその構成要素、及び各構成要素の展開方法を基に、データのブロックの区切りや他のブロックとの関係が明確になるように連結する。即ち、表示によって異なるデータのブロックであることを明示し、流れが自然に理解できない場合は、ユーザの理解を助けるために、相互関係を説明する連結要素が必要となる。

実施形態１において、画像を再生する場合には、シークエンスやシーンを、カットつなぎやトランジション効果、白や黒の間をとる画面などによって連結して区切りを明示する。シークエンスやシーンの関係が明らかでない場合には、素材画像、トランジション効果、効果音、等を利用することによって、これらの相互関係を示す。また、展開や内容が分かり難い場合には、理解し易くなるようにテロップやスーパーなどの説明要素として利用する。

また、個々のデータも、中心的要素との関係や他のデータとの関係が分かるように連結する。この場合も、流れが自然に理解できない場合は、つなぎの要素が必要となる。

実施形態１では、例えば、静止画像や動画のショットを通常はカットで連結し、つなぎの要素が必要な場合は、トランジション効果や素材画像等を利用することができる。

図１４は本発明の実施形態１あるいは実施形態２の構成要素の相互関係と提示順序に対する連結方法を示す連結ＩＤを定義した図である。図１２の優先度が中のものは、連結する要素が連続しているか否かによって連結の仕方が異なっている。

図１５は本発明の実施形態１の各々の連結ＩＤと表示パターンに対応した表示内容を示した図である。

図１５では、連結する要素がショットかシーンか、シークエンスかによって表示内容が異なっている。図１５の連結ＩＤと表示パターンに対応した表示内容は、検索対象となるデータの種類や内容によって異なり、それぞれに応じたものを定義する必要がある。

図１４と図１５から、例えば、前後関係があるショットやシーンを前から後に連続して表示させる場合はカットでつなぎ、シークエンスを前から後に連続して表示させる場合はフェードアウトやポーズ画面を挿入することによってつなぐとよいことが分かる。また、前後関係があるショットやシーンを後ろから前に表示させる場合は、クロスフェードや素材画像、ＢＧＭ、等を挿入することによって関係を明示する必要がある。更に、シークエンスの場合はテロップやスーパーなどの説明要素が必要となることが分かる。

具体的には、「結婚式」のイベントについて検索を行った場合は、例えば、対等・並列・類似の関係で表示パターンが「ドラマ風」や「ドキュメンタリー風」なら、フェードアウトで表示する、シーンやシークエンスで表示パターンが「ドラマ風」や「ドキュメンタリー風」の場合には黒の画面を次のシーン・シークエンスの前に表示する、等によって、区別して表示する。また、前後関係や理解の順がある場合には、カットでつないで表示する。

次に、表示内容決定処理部２１２による表示内容決定処理について、図１６を用いて説明する。

図１６は本発明の実施形態１あるいは実施形態２の表示内容決定処理部による表示内容決定処理を示すフローチャートである。

まず、ステップＳ１４０１において、検索結果を分かり易く示すための表示規則を選択する。表示規則は、ステップＳ１４０２〜Ｓ１４０４において必要なものであり、実施形態１では、検索対象となるデータの種類や検索クエリに応じた表示規則を選択する。

次に、ステップＳ１４０２において、前述の解析結果に基づいて、検索結果を示す際のストーリー構成とその構成要素（データのグループ、またはデータ）を決定する。

ここで、ステップＳ１４０２の処理の詳細について、図１７を用いて説明する。

図１７は本発明の実施形態１あるいは実施形態２のステップＳ１４０２の処理の詳細を示すフローチャートである。

まず、ステップＳ１５０１において、検索結果を表示する際の分かり易いストーリー（説明の流れ）構成を生成するか否かを判定する。ストーリー構成を生成しない場合（ステップＳ１５０１でＮＯ）、処理を終了する。一方、ストーリー構成を生成する場合（ステップＳ１５０１でＹＥＳ）、ステップＳ１５０２に進む。

ステップＳ１５０２において、解析結果に従って、検索結果を表示する際のストーリー構成を決定する。前述した様に、検索結果を示す際に、データやデータのブロックを組み合わせて、起承転結などの理解の枠組みを段階的に構成すると、分かり易いストーリーを作ることができる。ストーリーを決定するには、図１１に示すような、設定された表示パターンに適した起承転結等を構成する構成要素の候補の中から、一つまたは複数選択する。起承転結は、更に、段階的に起承転結などによって構成することができ、それぞれの候補の中から、一つまたは複数の構成要素を選択し、段階的に組み立てることによって、検索全体のストーリー構成を決定する。

次に、ステップＳ１５０３において、決定されたストーリー構成に従って、検索結果として得られたデータの中から、起承転結などの枠組みの構成要素となるデータのブロックやデータを決定し、処理を終了する。

図１６の説明に戻る。

ステップＳ１４０３において、ステップＳ１４０２で決定された各構成要素について、表示パターンに適した展開方法（提示順序）を決定する。前述したように、各構成要素を提示する際には、人間が理解していく順序に従って示すと理解し易くなる。そこで、図１２の構成要素の相互関係による提示順序と、図１３のような表示パターンに適した提示順序を定義した表示規則を利用して、解析結果に従って、個々の構成要素の提示順序を決定する。

ステップＳ１４０４において、表示パターンに適した構成要素の連結方法を決定する。前述した様に、検索結果を分かり易く示すためには、データのブロックの区切りや他のブロックとの関係が明確になるように連結する必要がある。また、個々のデータも、中心的要素との関係や他のデータとの関係が分かるように連結する必要がある。そこで、図１４と図１５のような表示規則を利用して、前述した構成要素の相互関係に基づいて、表示パターンに適した構成要素の連結方法を決定する。

次に、実施形態１の検索結果表示画面の一例について、図１８を用いて説明する。

図１８は本発明の実施形態１の検索結果表示画面の一例を示す図である。

図１８は、前述した表示内容に従って、検索結果をＣＲＴに表示した検索結果表示画面の例である。これは、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、ビデオカメラ等の小型画面に表示する場合は、画面サイズに応じた表示の仕方を行うことが望ましい。

１６１はタイトルバーで、この検索結果表示画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。１６２、１６３はそれぞれこの検索結果表示画面に関する機能を提供するボタンであり、１６２はヘルプ表示ボタン、１６３は検索結果表示画面を閉じるボタンである。

１６４は、ユーザが入力した検索条件や検索結果数、等の表示を行うための表示領域である。実施形態１では、検索条件として使用したキーワードと、検索結果として得たデータ数を表示する。

１６５及び１６６は、検索結果の表示を行うための表示領域である。表示領域１６５には、データの解析結果に基づいて決定した表示内容に従って画像データを再生する。表示領域１６６は、タイトルや説明、コメントなどのテキスト情報を表示する。

１６７は、画像データの再生の開始を指示するための再生ボタンである。１６８は、画像データの再生の停止を指示するための停止ボタンである。１６９は、この検索結果表示画面の表示を終了させるための終了ボタンである。

実施形態１では、イベントを単位として解析規則、表示規則を定義することで、ホームビデオのコンテンツなどに対して、内容を解析して表示するのに適した例となっている。しかし、本発明は、基準となる単位をコンテンツに応じた単位のものを選ぶことで、ビデオ以外のコンテンツにも利用しやすいように対応することが可能である。

次に、実施形態１あるいは実施形態２で実行する処理全体の概要について、図１９を用いて説明する。

図１９は本発明の実施形態１あるいは実施形態２で実行する処理全体の概要を示すフローチャートである。

まず、ステップＳ２２０１において、検索結果解析処理を実行する。この詳細については、図８で示したとおりである。

次に、ステップＳ２２０２において、検索結果を表示する際の表示パターンを設定する表示パターン設定処理を実行する。これは、図１０のような表示条件設定画面で、ユーザに対して表示パターンの候補を提示し、入力を促す。

次に、ステップＳ２２０３において、ステップＳ２２０１の解析結果に基づいて、表示内容決定処理を実行する。この詳細については、図１６で示したとおりである。

次に、ステップＳ２２０４において、ステップＳ２２０３で決定した表示内容に従って、検索結果表示処理を実行する。

以上説明したように、実施形態１によれば、検索結果を表示する際に、検索結果として得られたデータを解析し、その解析結果と、設定された表示パターンに基づいて表示内容を動的に決定して表示を行う。これにより、ユーザにとって必要であると思われるデータを、データ種類や内容などの関連性に応じて理解し易く表示することができ、情報収集等の様に多数の情報を検索する場合でも、必要な情報を容易に探索、選択、整理し、利用することができる。

尚、実施形態１では、データを解析した結果に基づいて、特に、検索結果の構成と構成要素、及びその展開方法（構成要素の提示順序）、構成要素の連結方法を決定することによって表示内容を決定したが、検索対象となるデータの種類や内容、解析方法、等によって決定することもできる。

［実施形態２］
実施形態２では、検索された文書データをユーザの目的に沿って効果的に表示する場合について説明する。

＜検索処理＞
実施形態１と同様に、検索対象に付与されたメタデータを利用して検索を行う。実施形態２において、メタデータは、人手やメディア特徴量を抽出して付与する他に、文書データを解析して抽出した文字情報を付与することができる。また、作成日時や作成者などの情報は、ＯＳによって自動付与されたものを抽出して付与することもできる。

まず、実施形態２の検索条件設定画面の一例について、図２０を用いて説明する。

図２０は本発明の実施形態２の検索条件設定画面の一例を示す図である。

この検索条件設定画面は、ウィンドウシステムを利用した場合の画面例であり、コンピュータネットワーク上の文書データを検索し、結果を表示することを想定している。この検索条件設定画面は、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、Ｗｅｂブラウザ等によって同様の機能が提供されるのでもかまわない。

１７１はタイトルバーであり、この検索条件設定画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。１７２、１７３はそれぞれこの検索条件設定画面に関する機能を提供するボタンであり、１７２はヘルプ表示ボタン、１７３は検索条件設定画面を閉じるボタンである。

１７４は検索を行うための検索条件を入力するための入力領域である。入力領域１７４には、キーワードを入力するためのテキスト入力領域であり、複数のキーワードを区切り文字（空白等）で区切って入力するとともに、論理演算ＡＮＤとＯＲのどちらかをラジオボタンによって指定できるようになっている。また、キーワード以外にフレーズやセンテンスを入力することもできる。

また、その他の検索条件として、検索結果を一画面に表示する件数や、検索対象にする情報が記述されている言語を指定するようになっている。

また、実施形態２では示していないが、入力した複数のキーワードやフレーズ等の重要度や類似距離を設定するようにしてもよいし、他の検索条件として、日付の範囲や検索の対象にする位置等の情報を指定するようにしてもよい。

１７５はＯＫボタンである。このＯＫボタン１７５を操作すると、検索条件として入力領域１７４に設定された内容を最終的に確定し、次の処理へ移行する。一方、１７６はキャンセルボタンである。このキャンセルボタン１７６を操作すると、入力領域１７４の入力内容を破棄する。

尚、図２０の検索条件設定画面では、キーワードやフレーズ、センテンスなどをユーザが任意に入力することによって、検索条件を指定したが、情報が属するジャンルやカテゴリ等をユーザに指定してもらい、その中から検索することもできる。例えば、実施形態２で提供されているカテゴリの種類やジャンルをリストやツリーなどで表示して、ユーザに所望のものを選択させてもよい。

図２０の入力領域１７４で「ノートＰＣ」というキーワードを入力すると、検索対象となる各データに付与されたメタデータを利用して、関連する情報を検索する。

ここで、メタデータの一例について、図２１を用いて説明する。

図２１は本発明の実施形態２のメタデータの一例を示す図である。

図２１では、各データに対して、それぞれタイトルや作成者、作成日付、カテゴリ、キーワード等がメタデータとして付与されていることを示している。ここでは、簡単なキーワードとして扱える文字情報などを主に格納している例を示しているが、各データ特性に応じた特徴量等の文字情報以外の情報をメタデータとして付与することも可能である。

図２１では、一例として、ある文書データＡでは、タイトルとして「ＡＡＡノート価格情報」、作成者として「情報 太郎」、作成日付として「２００３−０４−０１Ｔ０８：３０」、カテゴリとして「経済−企業−コンピュータ−製品−価格」、キーワードとして「ノートＰＣ」、製品名「ＡＡＡノート」が付与されている。これらのメタデータは、例えば、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に保存されている。

実施形態２では、検索クエリとして文字情報が与えられ、これに従って検索を行ったが、画像や音声等を検索クエリとして指定し、検索クエリから抽出したメディア特徴量と各データのメディア特徴量を比較することによって検索を行うこともできる。また、検索クエリとして与えられた文字情報にメディア特徴量を対応付けることによって、検索を行ってもよい。

実施形態２では、各データに付与されたメタデータを利用して検索を行ったが、直接文書データを解析することによって検索することもできる。

以上説明したようにして、記憶媒体上のデータベースに格納された文字情報等のデータを検索することができる。

＜検索結果の表示＞
次に、検索結果を効果的に表示する方法について、詳細に説明する。

実施形態２では、検索結果である文書データを解析し、解析結果に従って効果的な表示内容を決定する。

基本的な処理手順は、実施形態１と同様であり、検索対象となるデータの種類、及び検索結果を解析する解析規則、表示内容を決定するための表示規則が実施形態１と異なる。

１．検索結果の解析
検索結果の解析は、実施形態１と同様に、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納されているデータの解析規則を利用することによって、検索結果として得られたデータの解析を実現する。実施形態２では、検索時に指定された検索クエリから、検索クエリに関連するカテゴリを推定し、そのカテゴリに応じた解析規則を選択する。

次に、実施形態１と同様に、図５に示すような、カテゴリの階層構造からなる解析規則に従って、検索結果として得られたマルチメディアデータを分類する。例えば、インターネットのようなコンピュータネットワークを介して取得される文書データは、一般的に、まず、経済、政治、芸術、宗教等にカテゴリ分類でき、経済というカテゴリは企業、金融、不動産、ショッピング、投資、等から構成され、更に企業というカテゴリは、電機、自動車、建築、等の業界種別や、製品情報、サービス情報などといった更に小さなカテゴリから構成することができる。

実施形態２では、図２１に示すような、文書データに付与されたメタデータを利用して、検索結果として得られた個々のデータを、上述した階層構造に従ってカテゴリ分類する。例えば、図２１では、メタデータとしてあらかじめ、図５の階層構造に従ってカテゴリ情報が付与されており、これを利用してカテゴリに分類することができる。

また、図５の階層構造の各分類要素に対してキーワードなどを付与しておき、これと各文書データに付与されたキーワードやタイトル等のメタデータを比較することによって、検索結果がどのような内容なのかを推定してカテゴリに分類することもできる。

また、検索クエリから検索クエリに関連するカテゴリ等を推定し、その下層に属するカテゴリに対してのみ分類を行ってもよい。

実施形態２では、更に、検索結果として得られたデータのデータ種別、データの管理構造（ディレクトリ、フォルダ、ＵＲＩ・ＵＲＬ等）等による共通因子に従って分類してもよい。

データ種別によって分類する場合は、例えば、テキストか動画像か静止画像等のメディア種別や、文書でも、テキストのみか文字情報と画像が混在しているか等によって分類する。これはあらかじめメタデータの一つとしてメディア種別を付与しておいたものを利用してもよいが、ファイル名（拡張子）からも推定することができる。また、ＨＴＭＬ文書やＸＭＬ文書の場合は、文書内に記述されたタグやテキストを解析することによって、テキストのみで構成されているか、画像等が文書に張り込まれているかを推定することができる。

また、静止画像の場合は、自然画像か図表データかなどを解析し、分類に利用してもよい。これも、あらかじめメタデータとして付与しておいたものを利用することもできるし、または、エッジなどの画像特徴量によって推定してもよい。

データの管理構造やデータが格納されている位置関係に基づいて分類する場合は、例えば、ディレクトリ、フォルダ、ＵＲＩ・ＵＲＬ、ネットワークアドレス、等によるロケーションの階層構造によって分類する。

他にも、画像や音声などの各コンテンツのメディア特徴量、等を解析することによって分類することもでき、分類する際に類似度やクラスタリング技術を利用してもよい。

実施形態２では、実施形態１と同様に、検索結果として得られた個々のデータや分類結果であるデータのグループについての関係付けを行う関係付け規則を解析規則として保持している。

ここで、関係付け規則の一例について、図２２を用いて説明する。

図２２は本発明の実施形態２のデータの意味・内容による関係付け規則の一例を示す図である。

図２２では、「コンピュータ−製品」というカテゴリに属する検索クエリから得られた検索結果に対する関係付け規則を示している。

例えば、「製品情報」というカテゴリとそのサブカテゴリである「製品スペック」は、概要と詳細、全体と部分、という関係をもっている。また、「アクセサリ」というカテゴリは、「製品スペック」というカテゴリに対して、補足という関係にあたる。

実施形態２でも実施形態１と同様に、図２１に示すようなデータに付与されたメタデータを利用して、図２２の関係付け規則に従って関係付けを行う。また、データの作成日時、更新日時に従って前後の関係付けを行ってもよい。

実施形態２では、各データに付与されたメタデータを利用して解析を行ったが、直接文書データを解析したり、他にも、画像や音声などの各コンテンツのメディア特徴量、等を解析することによって相関関係を見出すこともできる。

また、実施形態１と同様に、検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行う（図７）。

尚、実施形態２において、検索結果解析処理部２１０による検索結果解析処理は、使用する解析規則が異なる以外は、実施形態１と同様である。

２．表示パターンの設定
実施形態２でも、実施形態１と同様に、検索対象となるデータの内容の種類に応じて、予め検索結果を表示するための表示パターンの候補となるもの作成しておく。実施形態２では、カテゴリに対する表示パターンの候補を表示条件としてユーザに提示して選択させる。

例えば、実施形態２では、ある情報に関連するデータを日時順に並べることによって、その情報の時間による変化を分かり易く示したり、また、報告書風に、本文の上部に作成日付や作成者の名前、所属組織等を記述したり、また、説明書風に、解説や画像の含まれた文書を多くすることによって、初心者に分かり易く示したりできる。

ここで、表示パターンの一例について、図２３を用いて説明する。

図２３は本発明の実施形態２の表示パターンの一例を示す図である。

例えば、「経済−企業−コンピュータ-製品」」に対応する表示パターンとして、「説明書風」、「報告書風」等を選択するようになっている。これらの情報は、ＤＩＳＫ１０３、ＲＯＭ１０１、ＲＡＭ１０２等の記憶媒体に格納する。

尚、これらの表示パターンは、検索対象となるデータによって異なるので、各々に適したテンプレートを作成する必要がある。

次に、表示パターンを表示条件として設定するための表示条件設定画面の一例について、図２４を用いて説明する。

図２４は本発明の実施形態２の表示条件設定画面の一例を示す図である。

図２４の表示条件設定画面は、図２０のＯＫボタン１７５を押下した後に表示される。これは、ウィンドウシステムを利用した場合の画面で例示している。また、図２４の表示条件設定画面は、専用のアプリケーションでウィンドウシステムを利用した場合の画面例であるが、Ｗｅｂブラウザ等によって同様の機能が提供されるのでもかまわない。

２９１はタイトルバーであり、この表示条件設定画面のタイトル表示と、例えば、移動や大きさの変更等の画面全体の操作を行う部分である。２９２、２９３はそれぞれこの表示条件設定画面に関する機能を提供するボタンであり、２９２はヘルプ表示ボタン、２９３は表示条件設定画面を閉じるボタンである。例えば、移動や大きさの変更など、全体の操作を行う部分である。

次に、入力領域２９４は、検索結果表示のための表示条件を表示し、ユーザに選択を促すための入力領域であり、図２３の内容（表示パターン候補）を参照して検索クエリに対応した内容（表示パターン候補）を表示する。ユーザは、表示された複数種類の候補の中から所望のものを選択することができる。実施形態２では、「コンピュータ−製品」というカテゴリに属する検索クエリに対応した表示パターンである「日記調」、「報告書風」等が表示され、「手紙風」が選択されている状態を示している。

２９５はＯＫボタンである。このＯＫボタン２９５を操作すると、表示条件として入力領域２９４に入力された内容を最終的に確定し、次の処理へ移行する。２９６はキャンセルボタンである。このキャンセルボタン２９６を操作すると、入力領域２９４の入力内容を破棄する。

３．表示内容の決定
実施形態２でも、得られる解析結果を基に、表示パターンに適した検索結果の表示内容を決定する。ここで、実施形態２において、表示内容決定処理部２１２による表示内容決定処理の流れは、実施形態１と同様に図１６に示したとおりであるが、表示内容を決定するための各表示規則が異なる。

そこで、図１６を参照して、実施形態２における、表示内容決定処理部２１２による表示内容決定処理について説明する。

まず、ステップＳ１４０１において、表示規則を選択する際に、検索時に指定された検索クエリから、検索クエリに関連するカテゴリを推定し、そのカテゴリに応じた表示規則を選択することとなる。

次に、ステップＳ１４０２において、検索結果の中から表示対象の要素と構成を決定するが、実施形態２での、表示要素とは、検索結果として得られた文書データを示しており、検索時に得られた類似度が高いものを特に重要性が高い要素と判定し、これを中心的要素とする。また、実施形態２でのデータのブロックとは、分類によって決定されたカテゴリやジャンルを表す複数の文書データのグループである。

具体的には、データの解析結果に基づいて、カテゴリと表示パターンに適した起承転結などのストーリーを生成する。

図２５は本発明の実施形態２のカテゴリと表示パターンに対する理解の枠組みとその要素の内容を示す図である。

図２５において、「コンピュータ−製品」というカテゴリに属する検索クエリから得られた検索結果に対する、表示パターンに適した起承転結を構成する要素の内容を示している。図２５において、まず、表示パターン「報告書風」に対する「起」の構成要素として「最新モデルスペック」等がある。また、その表示パターン「報告書風」に対する「承」の構成要素として「製品情報」等がある。

また、その表示パターン「報告書風」に対する「転」の構成要素として「製品評価」等がある。また、その表示パターン「報告書風」に対する「結」の構成要素として「関連記事」等が挙げられている。図では示していないが、起承転結の各構成要素は、更に、起承転結などの枠組みによって構成することができる。

また、必要に応じて、起承転結などを明示的に分ける要素（切れ目と始まり）や、これらを繋ぐ要素を入れてもよい。実施形態２の場合は、例えば、空白行、項目名などがこれに当たる。

また、ストーリーを生成せずに、検索結果を示してもよい。

次に、ステップＳ１４０３において、実施形態１と同様に、図１２と、かつ図２６の表示パターンに適したデータのブロックや個々のデータの展開方法（提示順）を示す表示規則を利用して、ステップＳ１４０２で決定された構成要素について、解析結果に従って表示パターンに適した展開方法（提示順序）を決定する。

例えば、実施形態２では、「アクセサリ」のカテゴリは、「製品スペック」のカテゴリに対して、補足という関係にあたるので、「製品スペック」から「アクセサリ」の順に表示するとよいことが分かる。

図２６は本発明の実施形態２の表示パターンに適した構成要素の相互関係の一例を示す図である。

図１２と図２６において、例えば、表示パターンである「報告書風」では、「全体」を表す内容から「部分」を表す内容へ展開してもよいことを示している。また、「部分」を表す内容から「全体」を表す内容への展開は、「手紙風」ではよいが、「報告書風」ではいけないことを示している。

次に、ステップＳ１４０４において、検索結果の構成とその構成要素、及び各構成要素の関係や展開方法を基に、各構成要素の区切りや中心的要素との関係、他の構成要素との関係が明確になるように連結する連結方法を決定する。また、個々のデータも、中心的要素との関係や他のデータとの関係が分かるように連結する。

実施形態２では、例えば、改行や空白、記号などによって、各構成要素の区切りが明確に分かるように明示する。また、枠で囲むことによって、データのブロックであることを示してもよい。

関係が明らかでない場合には、字下げや記号、色などのデザインを利用することによって、これらの相互関係を示す。特に、流れが自然に理解できない場合は、前の構成要素との関係を示すような情報が必要となる。更に、枠や文字の色を変えて示してもよい。

図２７は本発明の実施形態２の各々の連結ＩＤと表示パターンに対応した表示内容を示した図である。

図２７では、連結ＩＤと表示パターンに対応した表示内容は、検索対象となるデータの種類や内容によって異なっている。

図１４と図２７から、例えば、前後関係があるデータや段落を前から後に連続して表示させる場合は、「→」記号や番号などを表示することによってつなぎ、章を前から後に連続して表示させる場合は改行と番号表示によってつなぐとよいことが分かる。

また、反対の関係があるデータや段落を連続して表示させる場合は、「⇔」記号などを表示することによって関係を明示する必要がある。更に、章の場合はサブタイトルなどの説明要素が必要となることが分かる。

また、対等・並列・類似の関係で表示パターンが「報告書風」や「説明書風」の場合は、情報名を改行して揃えて表示する、更に「●」等の統一記号を情報名の前に表示する、等によって、区別して示すことを表している。また、前後関係や理解の順がある場合には、情報名の前に番号を付与するとよい。包含・階層関係がある場合には、改行と字下げによって、関係を表すことを示している。

また、検索結果数が多かったり画面に表示するデータ量が多かったりして、一画面では見にくい場合は、検索結果を複数の画面で構成し、ハイパーリンクやボタン等によって画面を遷移させて、章や段落の区切りや他の構成要素との相互関係を示してもよい。画面遷移方法は、ブロック構成や展開、各構成要素の相互関係、一画面に表示できる要素数、等によって決定することができる。

また、ＰＤＡ等の検索結果を表示させるデバイス、検索対象となるデータの種類、等によっても適切な画面遷移方法は異なる。例えば、画面遷移によって階層関係を明示する場合は、階層構造に従って画面遷移を決め、画面切替によって下の階層の要素を示す。また、データに前後関係等の明確な順序があり、適切な順序で見ていかないと内容が把握し難い場合は、前述の展開に従って、次にみる情報を限定して示してもよい。

次に、実施形態２の検索結果表示画面の一例について、図２８を用いて説明する。

図２８は本発明の実施形態２の検索結果表示画面の一例を示す図である。

図２８は、前述した表示内容に従って、検索結果をＣＲＴに表示した検索結果表示画面の例である。これは、専用のアプリケーションでウィンドウシステムを利用した場合の画面の例であるが、携帯電話やＰＤＡ等の小型画面に表示する場合は、画面サイズに応じた表示の仕方を行うことが望ましい。

２３１はタイトルバーであり、この検索結果表示画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。２３２、２３３はそれぞれこの検索結果表示画面に関する機能を提供するボタンであり、２３２はヘルプ表示ボタン、２３３は検索結果表示画面を閉じるボタンである。

２３４は、ユーザが入力した検索条件や検索結果数、等の表示を行うための表示領域である。実施形態２では、検索条件として使用したキーワードと、検索結果として得たデータ数を表示する。

２３５は、検索結果の表示を行うための表示領域である。表示領域２３５には、データの解析結果に基づいて決定した表示内容を表示する。実施形態２では、まず、データの固まりの内容を表す文字列である「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」が表示され、この階層には序列があるため、順序を示す番号を表示する。

次に、「ＡＡＡ」の下の階層について、データの固まりの内容を表す文字列である「ＡＡＡ−ａ１」、「ＡＡＡ−ａ２」、「ＡＡＡ−ａ３」を表示する。これらは、対等または並列の関係にあるので、先頭に「●」が付与されている。

次に、「ＡＡＡ−ａ１」に属する検索結果として、文書名「ＡＡＡ−ａ１１」〜「ＡＡＡ−ａ１５」が、「ＡＡＡ−ａ２」に属する検索結果として、文書名「ＡＡＡ−ａ２１」、「ＡＡＡ−ａ２２」を表示する。他の階層についても、同様にして検索結果である文書名を表示する。

２３６は、この検索結果表示画面の表示を終了させるためのボタンである。

尚、図２８の例では、一つの画面によって検索結果を表示しているが、前述した様に検索結果を複数の画面で構成し、画面を遷移させてもよい。また、前述した表示内容に従って、ＨＴＭＬ文書を生成し、Ｗｅｂブラウザに表示してもよい。

次に、Ｗｅｂブラウザを利用して表示する検索結果表示画面の一例について、図２９を用いて説明する。

図２９は本発明の実施形態２の検索結果表示画面の一例を示す図である。

図２９は、Ｗｅｂブラウザを利用して、検索結果をＣＲＴに表示した検索結果表示画面の例である。図２９では、一画面に検索結果を表示するのではなく、リンクさせることによって検索結果を複数の画面で構成して示している。

２４１はタイトルバーであり、この検索結果表示画面のタイトル表示と、例えば、移動や大きさの変更等、画面全体の操作を行う部分である。２４２、２４３はそれぞれこの検索結果表示画面に関する機能を提供するボタンであり、２４２はヘルプ表示ボタン、２４３は検索結果表示画面を閉じるボタンである。

２４４は、ユーザが入力した検索条件や検索結果数、等の表示を行うための表示領域である。実施形態２では、検索条件として使用したキーワードと、検索結果として得たデータ数が表示されている。

２４５は、検索結果の表示を行うための表示領域である。表示領域２４５には、データの解析結果に基づいて決定した表示内容を表示する。実施形態２では、まず、データの固まりの内容を表す文字列である「ＡＡＡ」、「ＢＢＢ」、「ＣＣＣ」を表示し、この階層には序列があるため、順序を示す番号が表示されている。

次に、「ＡＡＡ」の下の階層について、データの固まりの内容を表す文字列である「ＡＡＡ−ａ１」、「ＡＡＡ−ａ２」、「ＡＡＡ−ａ３」を表示する。「ＡＡＡ−ａ１」〜「ＡＡＡ−ａ３」には、下線（アンカー）が付与されており、他のＨＴＭＬ文書にリンクが張られていることを示している。ユーザが文字列をクリックすると、各々に属する検索結果の表示画面にジャンプする。

以上説明したように、実施形態２によれば、文字情報を有する文書データについても、実施形態１と同様の効果を得ることができる。

［実施形態３］
上記実施形態では、マルチメディアデータにキーワード等のメタデータを付与しておき、これを検索及び検索結果の解析に利用する場合の例について説明したが、検索や検索結果の解析には、何を利用してもよく、各マルチメディアデータの種類・特性及びユーザの目的に応じた方法を用いることができる。

また、上記実施形態では、図１のＤＩＳＫ１０３、ＲＯＭ１０１及びＲＡＭ１０２、またはメモリカード等の記憶媒体に、図４及び図２１に示すメタデータ、及び図５、図６、図２２に示す解析規則、図１１〜図１４、図２５、図２７に示す表示規則が格納されているが、これらの情報は、ネットワーク上の外部機器から取得して、記憶媒体に格納して利用することも可能である。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態１のマルチメディアデータ検索システムが構築されるコンピュータ装置の基本構成を示すブロック図である。 本発明の実施形態１のマルチメディアデータ検索システムの機能構成を示す図である。 本発明の実施形態１の検索条件設定画面の一例を示す図である。 本発明の実施形態１のメタデータの一例を示す図である。 本発明の実施形態１あるいは実施形態２の階層構造からなる解析規則の一例を示す図である。 本発明の実施形態１の画像データの意味・内容による関係付け規則の一例を示す図である。 本発明の実施形態１あるいは実施形態２の検索結果として得られたデータを分類し、個々のデータや分類結果であるデータのグループの関係付けを行った結果の一例を示す図である。 本発明の実施形態１あるいは実施形態２の検索結果解析処理部による検索結果解析処理を示すフローチャートである。 本発明の実施形態１の表示パターンの一例を示す図である。 本発明の実施形態１の表示条件設定画面の一例を示す図である。 本発明の実施形態１のイベント・テーマと表示パターンに対する理解の枠組みとその要素の内容を示す図である。 本発明の実施形態１あるいは実施形態２の構成要素の相互関係に対する提示順序の一例を示す図である。 本発明の実施形態１の表示パターンに適した構成要素の相互関係の一例を示す図である。 本発明の実施形態１あるいは実施形態２の構成要素の相互関係と提示順序に対する連結方法を示す連結ＩＤを定義した図である。 本発明の実施形態１の各々の連結ＩＤと表示パターンに対応した表示内容を示した図である。 本発明の実施形態１あるいは実施形態２の表示内容決定処理部による表示内容決定処理を示すフローチャートである。 本発明の実施形態１あるいは実施形態２のステップＳ１４０２の処理の詳細を示すフローチャートである。 本発明の実施形態１の検索結果表示画面の一例を示す図である。 本発明の実施形態１あるいは実施形態２で実行する処理全体の概要を示すフローチャートである。 本発明の実施形態２の検索条件設定画面の一例を示す図である。 本発明の実施形態２のメタデータの一例を示す図である。 本発明の実施形態２のデータの意味・内容による関係付け規則の一例を示す図である。 本発明の実施形態２の表示パターンの一例を示す図である。 本発明の実施形態２の表示条件設定画面の一例を示す図である。 本発明の実施形態２のカテゴリと表示パターン対する理解の枠組みとその要素の内容を示す図である。 本発明の実施形態２の表示パターンに構成要素の相互関係の一例を示す図である。 本発明の実施形態２の各々の連結ＩＤと表示パターンに対応した表示内容を示した図である。 本発明の実施形態２の検索結果表示画面の一例を示す図である。 本発明の実施形態２の検索結果表示画面の一例を示す図である。

符号の説明

２０１ 検索クエリ入力処理部
２０２ 検索クエリ保持部
２０３ 検索処理部
２０４ 検索結果保持部
２０５ メタデータ保持部
２０６ マルチメディアデータ保持部
２０７ 解析規則選択処理部
２０８ 解析規則保持部
２０９ 決定解析規則保持部
２１０ 検索結果解析処理部
２１１ 解析結果保持部
２１２ 表示内容決定処理部
２１３ 表示内容保持部
２１４ 検索結果保持部
２１５ 表示規則保持部
２１６ 表示規則選択処理部
２１７ 決定表示規則保持部
２１８ 表示パターン候補保持部
２１９ 表示パターン設定処理部
２２０ 決定表示パターン保持部

Claims (12)

1. 文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを検索する情報処理装置であって、
   検索対象となる前記マルチメディアデータを記憶する記憶手段と、
   前記マルチメディアデータを検索するための検索条件を入力する入力手段と、
   前記検索条件に基づいて、前記記憶手段からマルチメディアデータを検索する検索手段と、
   前記検索手段による検索結果を表示するための複数の表示パターン候補を保持する表示パターン候補保持手段と、
   前記表示パターン候補保持手段で保持される表示パターン候補から、所望の表示パターンを設定する設定手段と、
   前記検索手段によって検索結果として得られたマルチメディアデータを解析するための解析規則を保持する解析規則保持手段と、
   前記検索条件に対応する解析規則を前記解析規則保持手段から選択し、その選択された解析規則に従って、前記検索手段で検索結果として得られたマルチメディアデータを解析する解析手段と、
   前記検索結果として表示する内容を決定するために、前記表示パターン候補に関連する表示規則を保持する表示規則保持手段と、
   前記設定手段で設定された表示パターンに関連する表示規則を前記表示規則保持手段から選択し、その選択された表示規則と、前記解析手段の前記解析結果に基づいて、前記検索結果として表示する表示内容を決定する表示内容決定手段と、
   前記表示内容決定手段で決定された表示内容に従って、前記検索結果を表示する検索結果表示手段と
   を備えることを特徴とする情報処理装置。
2. 前記解析手段は、前記検索手段で検索結果として得られたマルチメディアデータを、その意味・内容に従って分類する分類手段と、
   前記検索手段で検索結果として得られたマルチメディアデータと、前記分類手段で分類されたマルチメディアデータのグループについての関係付けを行う関係付け手段とを備え、
   前記表示内容決定手段は、前記分類手段による分類結果及び前記関係付け手段による関係付け結果に基づいて、前記検索結果として表示する表示内容を決定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記分類手段は、前記検索手段で検索結果として得られたマルチメディアデータを階層構造に従って分類し、
   前記関係付け手段は、前記検索手段で検索結果として得られたマルチメディアデータと、前記分類手段で前記階層構造に従って階層的に分類されたマルチメディアデータのグループについての関係付けを行う
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記解析手段は、前記マルチメディアデータを検索対象として前記記憶手段に記憶する時に解析を行い、その解析結果をメタデータとして前記マルチメディアデータに関連付け、
   前記表示内容決定手段は、前記マルチメディアデータに関連付けられたメタデータに基づいて、前記検索結果として表示する表示内容を決定する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記設定手段は、前記検索条件に関連する表示パターン候補を前記表示パターン候補保持手段から取得する取得手段と、
   前記取得手段で取得した表示パターン候補から所望の表示パターンを選択する選択手段と
   を備えることを特徴とする請求項１に記載の情報処理装置。
6. 前記表示規則は、前記マルチメディアデータ間の関係によってその提示順序を決定するための定義と、前記マルチメディアデータの種類の応じてデータを連結するための定義とを含み、
   前記表示内容決定手段は、前記分類手段の分類結果と、前記関係付け手段の関係付け結果と、前記設定手段で設定された表示パターンに基づいて、前記検索手段の検索結果として得られたマルチメディアデータの前記提示順序を決定し、
   かつ、前記設定手段で設定された表示パターンと、前記提示順序と、前記関係付け手段の関係付け結果に基づいて、前記検索手段の検索結果として得られたマルチメディアデータの連結方法を決定する
   ことを特徴とする請求項２に記載の情報処理装置。
7. 前記表示内容決定手段は、前記分類手段で分類されたマルチメディアデータのグループが、複数の前記検索手段の検索結果として得られたマルチメディアデータ及び前記分類手段で分類されたマルチメディアデータのグループの提示順序及び関係と、前記設定手段で設定された表示パターンに基づいて、前記分類手段で分類されたマルチメディアデータのグループの連結方法を決定する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記表示内容決定手段は、前記分類手段の分類結果と、前記関係付け手段の関係付け結果と、前記設定手段で設定された表示パターンに基づいて、前記検索手段の検索結果として得られたマルチメディアデータの中から表示するマルチメディアデータの構成を決定する
   ことを特徴とする請求項６に記載の情報処理装置。
9. 前記マルチメディアデータは、静止画像または動画像データであり、
   前記検索結果表示手段は、前記表示内容決定手段で決定された表示内容に従って、前記検索結果である静止画像データまたは動画像データを連続的に再生表示する
   ことを特徴とする請求項３に記載の情報処理装置。
10. 前記分類手段は、前記検索手段で検索結果として得られたマルチメディアデータである前記静止画像または前記動画像データを、該静止画像または該動画像データが属する共通因子を階層の単位とする階層構造に従って分類し、
    前記関係付け手段は、前記検索手段で検索結果として得られたマルチメディアデータと、前記階層構造に従って階層的に分類されたマルチメディアデータのグループについての関係付けを行う
    ことを特徴とする請求項９に記載の情報処理装置。
11. 文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを記憶する記憶部から、マルチメディアデータを検索する情報処理装置の制御方法であって、
    前記マルチメディアデータを検索するための検索条件を入力する入力工程と、
    前記検索条件に基づいて、前記記憶部からマルチメディアデータを検索する検索工程と、
    前記検索工程による検索結果を表示するための複数の表示パターン候補を記憶媒体に保持する表示パターン候補保持工程と、
    前記表示パターン候補保持工程で記憶媒体に保持された表示パターン候補から、所望の表示パターンを設定する設定工程と、
    前記検索工程によって検索結果として得られたマルチメディアデータを解析するための解析規則を記憶媒体に保持する解析規則保持工程と、
    前記検索条件に対応する解析規則を前記解析規則保持工程で保持された記憶媒体から選択し、その選択された解析規則に従って、前記検索工程で検索結果として得られたマルチメディアデータを解析する解析工程と、
    前記検索結果として表示する内容を決定するために、前記表示パターン候補に関連する表示規則を記憶媒体に保持する表示規則保持工程と、
    前記設定工程で設定された表示パターンに関連する表示規則を前記表示規則保持工程で記憶媒体に保持された記憶媒体から選択し、その選択された表示規則と、前記解析工程の前記解析結果に基づいて、前記検索結果として表示する表示内容を決定する表示内容決定工程と、
    前記表示内容決定工程で決定された表示内容に従って、前記検索結果を表示する検索結果表示工程と
    を備えることを特徴とする情報処理装置の制御方法。
12. 文書データ、画像データ、又は、音声データ、の少なくともいずれか一つ、若しくは、これらの組み合わせ、から構成されるマルチメディアデータを記憶する記憶部から、マルチメディアデータを検索する情報処理装置の制御を実現するプログラムであって、
    前記マルチメディアデータを検索するための検索条件を入力する入力工程のプログラムコードと、
    前記検索条件に基づいて、前記記憶部からマルチメディアデータを検索する検索工程のプログラムコードと、
    前記検索工程による検索結果を表示するための複数の表示パターン候補を記憶媒体に保持する表示パターン候補保持工程のプログラムコードと、
    前記表示パターン候補保持工程で記憶媒体に保持された表示パターン候補から、所望の表示パターンを設定する設定工程のプログラムコードと、
    前記検索工程によって検索結果として得られたマルチメディアデータを解析するための解析規則を記憶媒体に保持する解析規則保持工程のプログラムコードと、
    前記検索条件に対応する解析規則を前記解析規則保持工程で保持された記憶媒体から選択し、その選択された解析規則に従って、前記検索工程で検索結果として得られたマルチメディアデータを解析する解析工程のプログラムコードと、
    前記検索結果として表示する内容を決定するために、前記表示パターン候補に関連する表示規則を記憶媒体に保持する表示規則保持工程のプログラムコードと、
    前記設定工程で設定された表示パターンに関連する表示規則を前記表示規則保持工程で記憶媒体に保持された記憶媒体から選択し、その選択された表示規則と、前記解析工程の前記解析結果に基づいて、前記検索結果として表示する表示内容を決定する表示内容決定工程のプログラムコードと、
    前記表示内容決定工程で決定された表示内容に従って、前記検索結果を表示する検索結果表示工程のプログラムコードと
    を備えることを特徴とするプログラム。

Images