JP2005063432A - マルチメディアオブジェクト検索装置およびマルチメディアオブジェクト検索方法 - Google Patents

Abstract

【課題】ウェブページ、ＸＭＬファイル、新聞などといった構造化文書から画像、アニメーション、ビデオ、音声、表などといったマルチメディアオブジェクトの説明を分析するための装置および方法とを提供する。
【解決手段】マルチメディアオブジェクトと関連説明テキストの両者を含む構造化文書からマルチメディアオブジェクトを検索するためのマルチメディアオブジェクト検索装置および方法が提供される。本発明の装置および方法は、入力された構造化文書をＤＯＭツリーといった構文解析結果に構文解析し、前記構文解析結果内の主ブロックを認識して主ブロック注釈付き構造化文書モデルを出力し、一対のマルチメディアオブジェクトとそれに対応する説明とを抽出し、ＸＭＬフォーマットインデックスといった構造化オブジェクトインデックスを出力し、目標オブジェクトリストを形成するように構造化オブジェクトインデックスを通して探索する。
【選択図】 図２

Description

本発明は、マルチメディアオブジェクト検索に関する。特に本発明は、ウェブページ、ＸＭＬファイル、新聞といった構造化文書から画像、アニメーション、ビデオ、音声、表といったマルチメディアオブジェクトの説明を分析するための装置および方法とに関する。

インターネット技術の発展は、インターネット上で画像、音楽、映画といった商業的オブジェクトを配布することを容易に、また収益性のあるものにしている。しかしこの反面、マルチメディアオブジェクトを不法にコピーし再配布することも便利にしている。いまやこのような不法なコピーはＷＷＷ上のほとんどいたるところで見られ、合法的な商業活動の収益を急激に減少させている。これらの不法オブジェクトを発見するためのインターネット警察システムの開発が強く要請されている。画像検索システムは、典型的なオブジェクト検索システムの一つである。

１９７０年代から画像検索は、非常に活発な研究分野になっている。一つの方法は、主としてテキストベースであって、１９９９年２月２５〜２６日、英国ニューキャッスル（Ｎｅｗｃａｓｔｌｅ ｕｐｏｎ Ｔｙｎｅ）での「画像検索会議の挑戦」（Ｔｈｅ Ｃｈａｌｌｅｎｇｅ ｏｆ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ Ｃｏｎｆｅｒｅｎｃｅ）における、１９９８年のＡｎｎａ Ｂｊａｒｎｅｓｔａｍによる「テキストに基づく階層的画像分類および貯蔵写真の検索」（Ｔｅｘｔ−ｂａｓｅｄ Ｈｉｅｒａｒｃｈｉｃａｌ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｓｔｏｃｋ Ｐｈｏｔｏｇｒａｐｈｙ）を参照のこと。もう一つの方法は、データの色、テクスチャ、形状といった視覚的性質に依存しており、内容に基づく画像検索と呼ばれており、１９９９年１月、「ＪＩＳＣ技術応用計画報告」（Ｒｅｐｏｒｔ ｔｏ ＪＩＳＣ Ｔｅｃｈｎｏｌｏｇｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｐｒｏｇｒａｍｍｅ）における１９９９年のＥａｋｉｎｓ，ＪＰとＧｒａｈａｍ，ＭＥによる「内容ベース画像検索」（Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ）を参照のこと。

労力と時間が掛かる上に、これら二つの方法に、これらの方法がウェブページのフォーマットを利用していないという欠点がある。更に画像検索を試みるユーザの調査は、大抵の内容に基づく検索システムが提供する色、形状、その他の視覚的性質よりも画像と画像によって描写される動きとの識別にユーザは遥かに関心を持っていることを示している。Ｃ．Ｊｏｒｇｅｎｓｅｎ，１９９８年，「記述タスクにおける画像の属性」（Ａｔｔｒｉｂｕｔｅｓ ｏｆ Ｉｍａｇｅ ｉｎ Ｄｅｓｃｒｉｂｉｎｇ Ｔａｓｋｓ），「情報の処理と管理」（Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ），第３４巻、２／３号、１６１〜１７４ページのを参照のこと。

無作為のウェブ写真の別の調査は、９３％が一つ以上のキャプション（写真説明）を持っており、単に７％が目に見えるキャプションを持っていないことを示している。Ｎｅｉｌ Ｃ．Ｒｏｗｅ，１９９９年，「キャプション付き画像の正確で効率的な検索」（Ｐｒｅｃｉｓｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｃａｐｔｉｏｎｅｄ Ｉｍａｇｅｓ），「ＭＡＲＩＥ計画」Ｔｈｅ ＭＡＲＩＥ Ｐｒｏｊｅｃｔ）を参照のこと。

研究者らは最近、ウェブに基づく画像検索に次第に関心を持ちつつある。彼らは、ＷＷＷから画像を検索するために、図形的特徴と結びついたメタデータ、ＨＴＭＬタイトル、画像ＵＲＬ、代替テキスト、アンカーテキストといった要素を使用する。Ｒｏｎｇ Ｚｈａｏ および Ｗｉｌｌｉａｍ Ｉ．Ｇｒｏｓｋｙ，２００２年，「意味論的ギャップを狭めること−視覚的特徴を使用するテキストに基づくウェブ文書検索」（Ｎａｒｒｏｗｉｎｇ ｔｈｅ Ｓｅｍａｎｔｉｃ Ｇａｐ−Ｉｍｐｒｏｖｅｄ Ｔｅｘｔ−Ｂａｓｅｄ Ｗｅｂ Ｄｏｃｕｍｅｎｔ Ｒｅｔｒｉｅｖａｌ Ｕｓｉｎｇ Ｖｉｓｕａｌ Ｆｅａｔｕｒｅｓ），ＩＥＥＥ 技術報告、マルチメディア、第４巻第２号、１８９〜２００ページ、２００２年を参照のこと。

良好な結果が得られており、商業的画像検索システム、例えばグーグル（Ｇｏｏｇｌｅ）（登録商標）が構築されている。

図１は、従来のオブジェクト検索システムの構造の概略図である。入力は、ウェブページといった構造化文書１０１である。最初にシステムは、単純な構文解析ユニット１０２によって入力された構造化文書１０１を構文解析し、それから説明抽出ユニット１０４が単にマルチメディアオブジェクトとテキストとの間の距離を計算することによって構文解析ユニット１０２から出力される構文解析結果１０３から各マルチメディアオブジェクトに関する説明を抽出し、その結果マルチメディアオブジェクトインデックス１０５が出力される。最後にマルチメディアオブジェクト検索ユニット１０６が、このマルチメディアオブジェクトインデックス１０５をユーザによって入力された検索要件１０７と比較して、目標オブジェクトリスト１０８を返す。

そこで、従来のオブジェクト検索システムに幾つかの欠点があることを見ることができる。

第１に、従来のオブジェクトの説明は、オブジェクトとテキストとの間の距離を計算することによって抽出される。この距離が臨界値より小さければ、このテキストは関連オブジェクトの説明と設定され、そうでなければ違うと設定される。このアルゴリズムは、あまりに単純で多くの有用な情報を放棄し、それによってこのオブジェクト検索システムの性能を低下させてしまう。同時に、ウェブページが主テキストブロックまたは反復オブジェクトブロック（以後、主ブロックと呼ぶ）を含むことは極めて一般的である。マルチメディアオブジェクトの説明を抽出する前にページの主ブロックを識別できれば、オブジェクト検索の効率は大幅に改善できる。

第２に、ＨＴＭＬタイトルがそのページ内のオブジェクトにある種の関係を持っていることは明らかである。しかし、全てのオブジェクトにではなく、そのページ内のオブジェクトの一部に関係しているだけである。従来のマルチメディアオブジェクト検索システムは、ウェブページの構造の詳細な分析を行わないので、無関係オブジェクトと関連オブジェクトとを区別することができない。タイトルを全てのオブジェクトに対する説明として設定するか、全てに関する説明でないと設定するかどちらかである。これは、明らかに不十分である。主ブロックが識別できれば、主ブロック内のオブジェクトだけに対する説明としてタイトルを設定でき、システム性能は改善できる。

第３に、二つ以上の内容オブジェクトを含むページには通常、各個別画像の説明に加えて全てのオブジェクトの共通の内容を記述する共通説明が存在するが、従来システムがこのようなケースを取り扱うことは不可能である。主テキストブロックと反復オブジェクトブロックとを識別し、説明を個別説明と共通説明とに分類して、それぞれ抽出することができれば、システム性能は大幅に改善できる。

英国ニューキャッスル（Ｎｅｗｃａｓｔｌｅ ｕｐｏｎ Ｔｙｎｅ）での「画像検索会議の挑戦」（Ｔｈｅ Ｃｈａｌｌｅｎｇｅ ｏｆ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ Ｃｏｎｆｅｒｅｎｃｅ）における、１９９８年のＡｎｎａ Ｂｊａｒｎｅｓｔａｍによる「テキストに基づく階層的画像分類および貯蔵写真の検索」（Ｔｅｘｔ−ｂａｓｅｄ Ｈｉｅｒａｒｃｈｉｃａｌ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｓｔｏｃｋ Ｐｈｏｔｏｇｒａｐｈｙ） １９９９年１月、「ＪＩＳＣ技術応用計画報告」（Ｒｅｐｏｒｔ ｔｏ ＪＩＳＣ Ｔｅｃｈｎｏｌｏｇｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｐｒｏｇｒａｍｍｅ）における１９９９年のＥａｋｉｎｓ，ＪＰとＧｒａｈａｍ，ＭＥによる「内容ベース画像検索」（Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ） Ｃ．Ｊｏｒｇｅｎｓｅｎ，１９９８年，「記述タスクにおける画像の属性」（Ａｔｔｒｉｂｕｔｅｓ ｏｆ Ｉｍａｇｅ ｉｎ Ｄｅｓｃｒｉｂｉｎｇ Ｔａｓｋｓ），「情報の処理と管理」（Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｍａｎａｇｅｍｅｎｔ），第３４巻、２／３号、１６１〜１７４ページ Ｎｅｉｌ Ｃ．Ｒｏｗｅ，１９９９年，「キャプション付き画像の正確で効率的な検索」（Ｐｒｅｃｉｓｅ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｒｅｔｒｉｅｖａｌ ｏｆ Ｃａｐｔｉｏｎｅｄ Ｉｍａｇｅｓ），「ＭＡＲＩＥ計画」Ｔｈｅ ＭＡＲＩＥ Ｐｒｏｊｅｃｔ） Ｒｏｎｇ Ｚｈａｏ および Ｗｉｌｌｉａｍ Ｉ．Ｇｒｏｓｋｙ，２００２年，「意味論的ギャップを狭めること−視覚的特徴を使用するテキストに基づくウェブ文書検索」（Ｎａｒｒｏｗｉｎｇ ｔｈｅ Ｓｅｍａｎｔｉｃ Ｇａｐ−Ｉｍｐｒｏｖｅｄ Ｔｅｘｔ−Ｂａｓｅｄ Ｗｅｂ Ｄｏｃｕｍｅｎｔ Ｒｅｔｒｉｅｖａｌ Ｕｓｉｎｇ Ｖｉｓｕａｌ Ｆｅａｔｕｒｅｓ），ＩＥＥＥ 技術報告、マルチメディア、第４巻第２号、１８９〜２００ページ、２００２年

本発明の目的は、従来技術のマルチメディアオブジェクト検索に存在するこれらの問題を解決することと、ウェブページ、ＸＭＬファイル、新聞などといった構造化文書から画像、アニメーション、ビデオ、音声、表などといったマルチメディアオブジェクトの説明を分析するためのマルチメディアオブジェクト検索装置およびマルチメディアオブジェクト検索方法を提供することである。

本発明の目的を達成するために、マルチメディアオブジェクト検索装置の一態様では、マルチメディアオブジェクトと関連説明テキストの両者を含む構造化文書からマルチメディアオブジェクトを検索するためのマルチメディアオブジェクト検索装置であって、入力された構造化文書を所定の形式の構文解析結果に構文解析するための構文解析手段（図２に示す構文解析ユニットに対応する）と、前記構文解析結果内の主ブロックを認識して主ブロック注釈付き構造化文書モデルを出力するための主ブロック認識手段（図２に示す主ブロック認識ユニットに対応する）と、前記主ブロック注釈付き構造化文書から一対のマルチメディアオブジェクトとそれに対応する説明とを抽出し、前記マルチメディアオブジェクトの説明を分析し、前記マルチメディアの内容の説明を実際に行っているキーワードを抽出し、無効な説明を削除し、所定の形式の構造化オブジェクトインデックスを出力するためのオブジェクト説明抽出手段（図２に示すマルチメディアオブジェクト説明抽出ユニットに対応する）と、前記構造化オブジェクトインデックスを探索し、目標オブジェクトリストを形成するためのマルチメディアオブジェクト検索手段（図２に示すオブジェクト分析ユニットに対応する）と、を備えることを特徴とする。

本発明のマルチメディアオブジェクト検索装置によれば、入力された構造化文書を構文解析し、構文解析結果内の主ブロックを認識して主ブロック注釈付き構造化文書モデルを出力する。そして、主ブロック注釈付き構造化文書から構造化オブジェクトインデックスを出力し、目標オブジェクトリストが形成される。

好ましくは本発明のマルチメディアオブジェクト検索装置は更に、所定の共通説明抽出ルールにしたがってそれぞれの主ブロック内の各マルチメディアオブジェクトに関する共通説明を抽出するための共通説明抽出手段（図６に示す共通説明抽出ユニットに対応する）を備える。

本発明のマルチメディアオブジェクト検索装置によれば、共通説明抽出ルールに基づいて各マルチメディアオブジェクトに関する共通の説明が抽出される。

好ましくは本発明のマルチメディアオブジェクト検索装置の主ブロックは、主テキストブロックまたは反復オブジェクトブロックである。

本発明のマルチメディアオブジェクト検索装置によれば、構文解析結果から冗長な情報を除去されたうえで主テキスト注釈付き構造化文書モデルとして出力される。

また、本発明のマルチメディアオブジェクト検索装置によれば、反復オブジェクトパターン認識ルールに基づいて構文解析結果が探索され、探索結果が反復オブジェクト注釈付き構造化文書モデルとして出力される。

本発明のもう一つの態様では、マルチメディアオブジェクトと関連説明テキストの両者を含む構造化文書からマルチメディアオブジェクトを検索するためのマルチメディアオブジェクト検索方法であって、入力された構造化文書を所定の形式の構文解析結果に構文解析するステップと、前記入力構文解析結果内の主ブロックを認識して、主ブロック注釈付き構造化文書モデルを出力するステップと、一対の前記マルチメディアオブジェクトとそれに対応する説明とを抽出して、構造化オブジェクトインデックスを出力するステップと、目標オブジェクトリストを形成するように前記構造化オブジェクトインデックスを通して探索するステップと、を含むことを特徴とする。

本発明のマルチメディアオブジェクト検索方法によれば、入力された構造化文書を構文解析し、構文解析結果内の主ブロックを認識して主ブロック注釈付き構造化文書モデルを出力する。そして、主ブロック注釈付き構造化文書から構造化オブジェクトインデックスを出力し、目標オブジェクトリストが形成される。

好ましくは本発明のマルチメディアオブジェクト検索方法は更に、所定の共通説明抽出ルールによってそれぞれの主ブロック内の各マルチメディアオブジェクトに関する共通説明を抽出するための共通説明抽出ステップを含む。

本発明のマルチメディアオブジェクト検索方法によれば、共通説明抽出ルールに基づいて各マルチメディアオブジェクトに関する共通の説明が抽出される。

好ましくは本発明のマルチメディアオブジェクト検索方法の主ブロックは、主テキストブロックまたは反復オブジェクトブロックである。

本発明のマルチメディアオブジェクト検索方法によれば、構文解析結果から冗長な情報を除去されたうえで主テキスト注釈付き構造化文書モデルとして出力される。

また、本発明のマルチメディアオブジェクト検索方法によれば、反復オブジェクトパターン認識ルールに基づいて構文解析結果が探索され、探索結果が反復オブジェクト注釈付き構造化文書モデルとして出力される。

本発明のマルチメディアオブジェクト検索装置およびマルチメディアオブジェクト検索方法は、ほとんど全ての種類の構造化文書に適用可能である。説明を抽出するために主テキストブロックと反復オブジェクトブロックとを認識することによって、より正確にオブジェクトの説明を抽出できるだけでなく、１グループのオブジェクトの共通説明を認識してマルチメディアオブジェクトと構造化文書のタイトルとの間の関係を識別することができる。本発明のマルチメディアオブジェクト検索装置およびマルチメディアオブジェクト検索方法よれば、マルチメディアオブジェクト検索の性能は大幅に改善できる。

本発明のマルチメディアオブジェクト検索装置および方法は、図面を参照しながら詳細に説明され、これらの図面では同様な要素あるいはステップは同様な参照符号によって示されている。

図２は、本発明のオブジェクト検索装置（システム）の概略図である。本装置の入力は、ウェブページといった構造化文書２０１である。最初に構文解析ユニット（構文解析手段）２０２が、入力する構造化文書をＤＯＭ（ドキュメントオブジェクトモデル）ツリーといったある種の構文解析結果２０３に変換する。それから主ブロック認識ユニット（主ブロック認識手段）２０４が、構文解析結果２０３から構造化文書２０１の主ブロックを認識して主ブロック注釈付き構文解析結果２０５を出力する。それからマルチメディアオブジェクト説明抽出ユニット（オブジェクト説明抽出手段）２０６が、一対のマルチメディアオブジェクトと関連説明とを抽出して、ＸＭＬフォーマットオブジェクトインデックスといった構造化オブジェクトインデックス２０７を出力する。最後にオブジェクト分析ユニット（マルチメディアオブジェクト検索手段）２０８は、構造化オブジェクトインデックス２０７を検索（入力）要件２０９と比較することによって候補オブジェクトが目標オブジェクトであるかどうかを決定して、目標オブジェクトリスト２１０の形式で結果を返す。

ＨＴＭＬソースコードといった入力する構造化文書２０１を直接処理することは困難なので、構造化文書を下記の処理に好都合にするために、ある種の構文解析結果２０３、例えばＨＴＭＬ ＤＯＭツリーとして入力する構造化文書２０１を表すためのＨＴＭＬパーサといった構文解析ユニット２０２が開発されている。図９は、構文解析結果２０３の一例であるＨＴＭＬ ＤＯＭツリーの例を示す。

図３は、入力する構造化文書の主ブロックを認識するための基本ステップ（主ブロック認識ユニットの構造を示すブロック図）である。主ブロック認識ユニット２０４は、主テキストブロック認識ユニット（主テキストブロック認識手段）３０２と反復オブジェクトブロック認識ユニット（反復オブジェクトブロック認識手段）３０３とを備えることができる。最初に入力する構文解析結果２０３は、それぞれ主テキストブロック認識ユニット３０２と反復オブジェクトブロック認識ユニット３０３とによって注釈付けされる。主テキストブロック認識ユニット３０２の出力は、主テキストブロック注釈付き構文解析結果３０４である。反復オブジェクトブロック認識ユニット３０３の出力は、反復オブジェクトブロック注釈付き構文解析結果３０５である。続いて注釈付き結果結合ユニット３０６は、これら二つの結果を結合して、主テキストブロックと反復オブジェクトブロックの両者が注釈付けされている主ブロック注釈付き構文解析結果２０５にする。

図４は、主テキストブロックを認識するための基本ステップ（主テキストブロック認識ユニットの構造を示すブロック図）である。入力は、構文解析ユニット２０２から出力される構文解析結果２０３である。第１に、構文解析結果２０３内の各ノードのテキスト長がテキスト長統計ユニット４０２によって計算される。第２に、中心テキストノードが、中心テキストノード探索ユニット４０３によって突き止められる。それから主テキストブロック計算ユニット４０４によって、主テキストブロックが認識される。主テキストブロックが認識された後に、その主テキストブロック内のマルチメディアオブジェクトは、主テキストブロック注釈付けユニット４０５内のオブジェクトで注釈付けされる。こうして主テキストブロック注釈付き構文解析結果３０４が取得される。

テキスト長統計ユニット４０２では、構文解析結果２０３内の各ノードのテキスト長が計算される。ノードのテキスト長は、それがテキストノードであるときは、長さがゼロと見なされる著作権宣言といった無効テキストノードである場合を除いて、その内容の長さである。テキストノードの内容の中の句読点は、最初に除去される。ノードがサブノードを持っていれば、このノードのテキスト長は、そのサブノードの合計長さである。

中心テキストノード探索ユニット４０３は、構文解析結果のノードの中心テキストノードを発見するための装置である。ノードが中心テキストノード持っているか否かは、下記のルールによって決定される。第１に、このノードのテキスト長が所定の値ＬＥＡＳＴ＿ＭＡＩＮ＿ＢＬＯＣＫ＿ＬＥＮＧＴＨ（例えば５０）より短ければ、あるいはこのノードがサブノードをまったく持たなければ、このノードは中心テキストノードを持つことができない。第２に、全てのサブノードを通覧して、サブノードが表であってそのテキスト長対このノードのテキスト長の比率が所定の値ＭＡＸ＿ＣＥＮＴＥＲ＿ＮＯＤＥ＿ＲＡＴＥ（例えば９０％）より大きいか、あるいはこのテキスト長が所定の値ＭＡＩＮ＿ＢＬＯＣＫ＿ＬＥＮＧＴＨ（例えば２００）より大きくて、サブノードのテキスト長対このノードのテキスト長の比率が所定の値ＬＥＡＳＴ＿ＣＥＮＴＥＲ＿ＮＯＤＥ＿ＲＡＴＥ（例えば６０％）より大きければ、このノードは中心テキストノードを持ち、対応するサブノードはこのノードの中心テキストノードである。

主テキストブロックは、入力する構造化文書２０１の主内容を記述するためのウェブページといった構造化文書２０１内のテキスト段落である。主テキストブロックは通常、構造化文書２０１のタイトルに関連している。通常、考えをより明確に表現したり、その考えを読者にとって更に魅力的にしたりするのを助けるために、このような段落には多くのマルチメディアオブジェクトが設定されている。これらのオブジェクトはまた、構造化文書２０１のタイトルにも関連している。図１０は、一種の構造化文書２０１であるウェブページ内の主テキストブロックの一例である。

ここで主テキストブロック計算ユニット４０４を参照する。初めに、主としてテキスト長によって主テキストブロックを識別する。テキストが短すぎれば（テキスト長が所定の値ＬＥＡＳＴ＿ＭＡＩＮ＿ＴＥＸＴ＿ＢＬＯＣＫ＿ＬＥＮＧＴＨより短ければ）、あるいはそれがリンクテキストブロックであれば、主テキストブロックではあり得ない。リンクテキストブロックは、リンクテキスト長が所定の値ＬＥＡＳＴ＿ＬＩＮＫ＿ＢＬＯＣＫ＿ＬＥＮＧＴＨ（例えば３０）より長くて、テキスト長が所定の値ＭＡＩＮ＿ＢＬＯＣＫ＿ＬＥＮＧＴＨ（例えば２００）より短く、リンク長対全テキスト長の比率が所定の値ＬＩＮＫ＿ＢＬＯＣＫ＿ＲＡＴＥ（例えば８０％）より大きいＨＴＭＬ ＤＯＭツリー（構文解析結果の一例）ノードである。テキスト長が所定の値ＭＡＩＮ＿ＴＥＸＴ＿ＢＬＯＣＫ＿ＬＥＮＧＴＨ（例えば２００）より長いか、テキスト長対ルートノードのテキスト長の比率が所定の値ＭＡＩＮ＿ＴＥＸＴ＿ＢＬＯＣＫ＿ＲＡＴＥより大きければ、主テキストブロックと認識できる。第２にキーワードであるが、十分に長くてＨＴＭＬタイトルといった構造化文書２０１のタイトルを含んだテキスト段落も、主テキストブロックとしてタグ付けされる。ＨＴＭＬ＜body＞、サブノード内で主テキストブロックが認識されなければ、ＭＡＩＮ＿ＴＥＸＴ＿ＢＬＯＣＫ＿ＬＥＮＧＴＨより長いテキスト長を有する＜body＞は、主テキストブロックとして設定される。方向であるが、われわれが上から下にこのルールを使用すれば、トップタグは極めて容易にこれらのルールを満足させる。しかしそれは意味を成さないので、これらのルールを下から上に使用する。三つ以上のサブノードが主テキストブロックとして認識されると、このノードも主テキストブロックである。ノードが中心テキストノードを持っていれば、このノードが主テキストブロックであるかどうかは、このノードの中心テキストノードが主テキストブロックであるかどうかと等しい。

図５は、反復オブジェクトブロックを認識する基本ステップ（反復オブジェクトブロック認識ユニットの構造を示すブロック図）である。入力は、ＨＴＭＬ ＤＯＭツリーといったある種の構文解析結果２０３である。第１に、図５の無効マルチメディアオブジェクト注釈付けユニット（オブジェクトフィルタリング手段）５０２といったオブジェクトフィルタリングユニットによって無効オブジェクトが注釈付けされる。それから、オブジェクト数統計ユニット５０３は、構文解析結果２０３内の各ノードのオブジェクト数をカウントする。第３に、ＨＴＭＬ ＤＯＭツリーノードといった構文解析結果２０３内の各ノードの中心オブジェクトノードが中心オブジェクトノード探索ユニット５０４によって検索される。その後、反復オブジェクトパターン計算ユニット（反復オブジェクトブロック認識ユニット）５０５によって反復オブジェクトブロックが識別される。最後に反復オブジェクトブロック注釈付けユニット５０６内のオブジェクトは、反復オブジェクトブロック内の各オブジェクトにタグを付ける。このようにして反復オブジェクトブロック注釈付き構文解析結果３０５が取得される。

無効マルチメディアオブジェクト注釈付けユニット５０２において装飾画像といった無効オブジェクトは、自動的に注釈付けされる。ウェブページ内のオブジェクトは、内容オブジェクト（内容画像）、装飾オブジェクト（装飾画像）、メニューオブジェクト（画像メニュー）、広告オブジェクト（広告画像）という四つのカテゴリに分類できる。図８は、これら４種類全ての画像オブジェクト（マルチメディアオブジェクト）の一例を示す図である。内容オブジェクトは説明を持っているか、あるいは主テキストブロックまたは反復オブジェクトブロックに収められている。装飾オブジェクトは、ウェブページの内容には無関係であって、そのページをユーザにとって美しく魅力的に見せるためだけのものである。多くの装飾オブジェクトは、再帰的に現れる。メニューオブジェクト：多くのウェブページはオブジェクトのリストからなる画像メニュー（メニューオブジェクトの一例）を持っている。これらのオブジェクトは、ウェブページ、サブディレクトリ構造化文書（構造化文書）２０１、ウェブサイトのサブディレクトリウェブページといった他の構造化文書２０１をポイントするリンクを持っている。これらのオブジェクトは通常、入力する構造化文書２０１の左端か上端に配置される。広告オブジェクト：内容がウェブページの主要な考えとは無関係であって他の商業的ウェブサイトをポイントする多くのオブジェクトが存在し、このようなオブジェクトは広告オブジェクトと呼ばれる。これら４種類のオブジェクト全ての中で、内容オブジェクトだけがオブジェクト探索エンジンによってユーザに提供されるべきである。したがって他の３種類のオブジェクトは、無効オブジェクトとして分類される。内容オブジェクトと無効オブジェクトの両者は、説明フィールドが抽出されて主ブロックが識別されるまでは明確に定義できない。最初は、オブジェクトのサイズ、再帰的性質といった幾つかの特徴によって装飾オブジェクトの一部を見つけることができるだけである。この無効オブジェクト注釈付けユニット５０２において、下記のルールにしたがって無効オブジェクトを識別できる。装飾オブジェクト：オブジェクトが極めて長ければ、すなわち高さ／幅が所定の値ＲＡＴＥ＿ＯＢＪＥＣＴ＿ＴＯＯ＿ＬＯＮＧ（例えば１／４）より小さければ、あるいはスリムであれば、すなわち高さ／幅が所定の値ＲＡＴＥ＿ＯＢＪＥＣＴ＿ＴＯＯ＿ＳＬＩＭ（例えば４）より大きければ、あるいはサイズが小さすぎれば、すなわち高さ×幅が所定の値ＳＩＺＥ＿ＴＯＯ＿ＳＭＡＬＬ（例えば９００）より小さければ、あるいはそれが再帰的に現れれば、すなわち２回以上現れれば、このオブジェクトは装飾オブジェクトである。他のオブジェクトは、一時的に候補オブジェクトとして設定される。あるオブジェクトのサイズが分からなければ、すなわち幅と高さの両者が分からなければ、そのオブジェクトも候補オブジェクトとして設定される。

オブジェクト数統計ユニット５０３は、ＨＴＭＬ ＤＯＭツリーノードといった構文解析結果２０３内の各ノードのオブジェクト数をカウントするために使用される。あるノードがオブジェクトノードであってこのオブジェクトが候補オブジェクトであれば、オブジェクトの数は１であり、そうでなければ０である。ノードがサブノードを持っていれば、オブジェクトの数は各サブノードのオブジェクト数の合計である。

中心オブジェクトノード探索ユニット５０４は、現在ノードの中心オブジェクトノードを探し当てるために使用される。中心オブジェクトノードは、下記のルール、すなわち、ノードがオブジェクトを持たなければ中心オブジェクトノードを持たず、サブノードのオブジェクト数対現在ノードのオブジェクト数の比率が所定の値ＭＡＸ＿ＣＥＮＴＥＲ＿ＮＯＤＥ＿ＲＡＴＥ（例えば９０％）より大きければ、このノードの中心オブジェクトノードであるというルールにしたがって認識される。

反復オブジェクトパターン計算ユニット５０５は、下記のルールによって反復オブジェクトパターンを認識する。オブジェクト数：あるノード内のオブジェクト数が２未満であればそのノードは反復オブジェクトブロックではあり得ない。構造化文書のタグ：一例としてＨＴＭＬ文書を取り、ノードが＜body＞または＜table＞または＜tr＞でなければ、反復オブジェクトブロックではあり得ない。サブノードのＨＴＭＬタグストリーム：ここでＤＯＭツリーノードのタグストリームは、深さ優先方式によって検索されるＨＴＭＬタグのリストを意味する。図１２は、反復画像ブロック（反復オブジェクトブロックの一例）のＨＴＭＬタグストリーム（構造化文書タグストリームの一例）の一例を示す図である。この表ノードのＨＴＭＬタグストリームは、「＜table＞、＜tr＞、＜td＞、＜img＞、＜td＞、＜img＞、＜td＞、＜img＞、＜tr＞、＜td＞、＜txt＞、＜td＞、＜txt＞、＜td＞、＜txt＞、＜tr＞、＜td＞、＜img＞、＜td＞、＜img＞、＜td＞、＜img＞、＜tr＞、＜td＞、＜txt＞、＜td＞、＜txt＞、＜td＞、＜txt＞」である。＜img＞は、オブジェクトノードの一例であるＤＯＭツリーの画像ノードを表す。＜txt＞は、ＤＯＭツリーのテキストノードを表す。またこの場合、タグ＜img＞をタグ＜txt＞と同じであると考える。三つ以上のサブノードのタグストリームが同じであれば、このノードを反復オブジェクトブロックと見なす。このノードが＜table＞ノードであれば、反復パターンが＜Tr＞サブノード内に存在するはずであり、また二つ以上のオブジェクトまたはテキストを含むはずである。このノードが＜tr＞ノードであれば、反復パターンが＜td＞内に存在するはずである。前の＜table＞ノードは、これが＜table＞ノードであって、２行に６個のオブジェクトを含んでいるので、反復オブジェクトブロックである。そのサブノードは、同じタグストリームを持っている。方向：主テキストブロック認識の方向とは異なり、上から下に反復オブジェクトブロックを識別する。

図６は、オブジェクト説明抽出の基本ステップ（オブジェクト説明抽出ユニットの構造を示すブロック図）である。入力は、ＨＴＭＬ ＤＯＭツリーといった主ブロック注釈付き構文解析結果３０７である。個別オブジェクト説明抽出ユニット６０２は、各候補オブジェクトの説明を抽出する。それから共通説明抽出ユニット（共通説明抽出手段）６０３は、候補オブジェクトの共通説明を抽出する。オブジェクトインデックス構成ユニット（画像インデックス構成ユニット）６０４は、全ての内容オブジェクトのＸＭＬフォーマットインデックスといった構造化オブジェクトインデックス２０７を作成する。

個別オブジェクト説明抽出ユニット６０２は、構造化文書の絶対アドレス、例えばウェブページのＵＲＬと、構造化文書のタイトル、例えばウェブページのタイトルと、オブジェクトのファイル名と、代替フィールドと、個別説明と、共通説明と、環境と、そのオブジェクトが主テキストブロック内に存在するかどうかの表示と、そのオブジェクトが反復オブジェクトブロック内に存在するかどうかの表示とを含む、候補オブジェクトの９種類の説明を下記のルールにしたがって抽出する。ファイル名と代替テキスト：ファイル名と代替テキストは、オブジェクトの本来の説明であって、これらはオブジェクトの二つの性質であり、構文解析ユニットによって指定される。単一ＨＴＭＬタグ：オブジェクトとテキストが単一の構造化文書タグ内に、例えば＜A＞、＜td＞、＜center＞といった単一のＨＴＭＬタグ内に配置されていれば、そのテキストはそのオブジェクトの説明と見なされる。１行内のオブジェクトとテキスト：オブジェクトとテキストが１行内に、例えば＜tr＞内の別の＜td＞に配置されていれば、このテキストは対応するオブジェクトの説明として設定される。反復オブジェクトブロック内のオブジェクトとテキスト：オブジェクトとテキストが１反復オブジェクトブロック内に配置されていれば、オブジェクトの説明は反復パターンにしたがって抽出される。一例として図１２をとれば、ノード＜table＞は反復オブジェクトブロックである。反復パターンは、「＜tr＞＜td＞＜img＞＜td＞＜img＞＜td＞＜img＞」である（＜txt＞を＜img＞と同じと見なしていることに留意のこと）。したがって行２におけるtext11、text12、text13は、それぞれ画像オブジェクト１１、画像オブジェクト１２、画像オブジェクト１３の説明である。また行４のtext21、text22、text23は、それぞれ画像オブジェクト２１、画像オブジェクト２２、画像オブジェクト２３の説明である。説明として抽出された全てのテキストは、使用されたものとしてタグ付けされ、下記のプロセスで再び抽出されることはない。前の方法が全てオブジェクトの説明を探し当てることに失敗した場合、距離によって説明を抽出する。距離は、構造化文書のタグのタイプ、例えばＨＴＭＬタグのタイプによって計算される。異なるタグは、異なる距離値を持つ。オブジェクトの説明を検索することは、一般的な方法である。単一のＨＴＭＬタグ内、または１行内に二つ以上の候補オブジェクトとテキストが存在すれば、説明も距離によって抽出される。距離によって抽出された説明は、環境とタグ付けされる。

任意選択的に個別オブジェクト説明抽出ユニット６０２は、実際の説明キーワードを分析するための所定のルールによって、マルチメディアオブジェクトに関する説明を分析し、実際にマルチメディアオブジェクトを説明するキーワードを抽出し、無効説明を削除するためのキーワード抽出ユニット（キーワード抽出手段）を含んでいる。

共通説明抽出ユニット６０３は、候補オブジェクトの共通説明を抽出する。共通説明は、単一オブジェクトの代わりに１グループのオブジェクトの内容を記述するもう一つの種類のオブジェクト説明である。図１１は、反復画像ブロック（反復オブジェクトブロックの一例）を含むウェブページの一例を示す図である。例えば図１１の黒い楕円内のテキストは、共通説明の一例である。これは、このウェブページ内の７個全てのオブジェクトの内容を記述している。共通説明は、下記のルールにしたがって抽出される。第１に、主テキストブロックに関するＨＴＭＬ ＤＯＭツリーといった構文解析結果を通覧する。主テキストブロックが候補オブジェクトを含んでいれば、未だ使用されていないでそのオブジェクトの説明としてタグ付けされているテキストが抽出され、またノードのタグストリームが反復オブジェクトパターンであるときは、このノード内の全てのテキストは無視される。このテキストは、この主テキストブロック内の全ての候補オブジェクトの共通説明として設定される。第２に、反復オブジェクトブロックに関するＨＴＭＬ ＤＯＭツリーを通覧する。反復オブジェクトブロックがテキストで発見されれば、全ての未使用テキストと反復オブジェクトブロックからのテキストは、共通説明として抽出される。このテキストは、この反復オブジェクトブロックの反復パターンの間の候補オブジェクトの共通説明として設定される。反復オブジェクトブロック内にテキストが存在しない場合は、前のノードが別の反復オブジェクトブロックでも反復オブジェクトパターンでもマルチノードでも候補オブジェクトでもなければ、この反復オブジェクトブロックの前にあるテキストを共通説明として採用する。マルチノードは、候補オブジェクトとテキストの両者を含むＨＴＭＬ ＤＯＭツリーノードである。

このステップで候補オブジェクトの全ての説明は、抽出されている。ここでオブジェクトインデックス構成ユニット６０４は、入力する構造化文書２０１内の全てのマルチメディアオブジェクトのＸＭＬフォーマットインデックスのような構造化オブジェクトインデックス２０７を作成する。図１３は、構造化オブジェクトインデックス２０７の一例としてＸＭＬフォーマットオブジェクトインデックスを示す。全てのオブジェクトの説明は、タグ＜WebPage＞とタグ＜/WebPage＞との間に記録される。ウェブページのＵＲＬ、そのページのローカルパス、ＨＴＭＬタイトル、そのページ内の内容オブジェクトの総数を含むそのページ全体の情報は、＜head＞に記録される。＜Body＞には各オブジェクトに関する情報を記録したオブジェクトタグのリストが存在する。オブジェクトの情報は、オブジェクトのファイル名と、オブジェクトの絶対ＵＲＬアドレスと、オブジェクトのサイズと、代替フィールドと、個別説明と、共通説明と、環境と、そのオブジェクトが主ブロック内にあるかどうかの表示とを含む。オブジェクトが主テキストブロック内に存在するときは、対応する項目＜IsInMainTextBlock＞が真であると設定され、そのオブジェクトが反復オブジェクトブロック内に存在するときは、対応する項目＜IsInRepeatingObjectBlock＞が真であると設定される。

図７は、オブジェクトインデックスによって目標オブジェクトを検索する基本ステップ（オブジェクト検索ユニットの構造を示すブロック図）である。入力は、ＸＭＬフォーマットオブジェクトインデックスといった構造化オブジェクトインデックスとキーワードといった検索要件２０９である。要件変換ユニット７０３は、入力検索要件を他のフォーマットに変換する。例えば入力キーワードに関する言葉について辞書を探索する。目標オブジェクト認識ユニット７０４は、オブジェクトが目標オブジェクトであるか否かを決定する。その結果は、目標オブジェクトリスト内に記録され、ユーザに返される。

本発明の装置および方法は、幾種類もの構造化文書に適用可能であり、高精度でオブジェクト説明を抽出できる。これらは、内容オブジェクトの共通説明を抽出できるだけでなく、文書のオブジェクトとタイトルとの間の関係を識別することもできる。

本発明は好ましい実施形態によって説明されてきたが、本発明がこれらの好ましい実施形態に限定されない。本発明の装置および方法は、ウェブページとＸＭＬファイルとを含むがこれらに限定されないあらゆる種類の構造化文書に適用可能であり、また画像、アニメーション、音声、ビデオ、表を含むがこれらに限定されないあらゆる種類のマルチメディアオブジェクトを検索するために使用可能である。また一方、本発明は、上記に記録されたような如何なる細部にも限定されることなく、その代わりに本発明は、付属の請求項およびそれらの同等事項の範囲内に入るとされる本発明の修正と変形とを包含することが意図されている。

（付記１）マルチメディアオブジェクトと関連説明テキストの両者を同時に含む構造化文書からマルチメディアオブジェクトを検索するためのマルチメディアオブジェクト検索装置であって、
入力された構造化文書を所定の形式の構文解析結果に構文解析するための構文解析手段と、
前記構文解析結果内の主ブロックを認識して所定の形式の構造化文書モデルを出力するための主ブロック認識手段と、
前記主ブロック認識手段から出力された前記構造化文書モデルを処理して所定の形式の構造化オブジェクトインデックスを出力するためのオブジェクト説明抽出手段と、
前記オブジェクト説明抽出手段から出力された前記構造化オブジェクトインデックスを探索して目標オブジェクトリストを形成するためのマルチメディアオブジェクト検索手段と、を備えることを特徴とするマルチメディアオブジェクト検索装置。

（付記２）前記主ブロック認識手段は前記構文解析手段から出力される前記構文解析結果から冗長な情報を除去するとともに前記構文解析結果内の主テキストを認識し、主テキスト注釈付き構造化文書モデルとして前記マルチメディアオブジェクト検索手段に出力するための主テキストブロック認識手段を備えることを特徴とする付記１に記載のマルチメディアオブジェクト検索装置。

（付記３）前記主ブロック認識手段は、所定の反復オブジェクトパターン認識ルールに基づいて、反復オブジェクトブロックに関して前記構文解析手段から出力された構文解析結果を探索し、探索結果を反復オブジェクト注釈付き構造化文書モデルとして出力する反復オブジェクトブロック認識手段を備えることを特徴とする付記１または２に記載のマルチメディアオブジェクト検索装置。

（付記４）所定の共通説明抽出ルールに基づいてそれぞれの主ブロック内の各マルチメディアオブジェクトに関する共通の説明を抽出するための共通説明抽出手段を更に含むことを特徴とする付記１に記載のマルチメディアオブジェクト検索装置。

（付記５）主ブロック認識手段は、前記構造化文書モデルを、オブジェクトと説明とのペアとして抽出し、出力することを特徴とする付記１に記載のマルチメディアオブジェクト検索装置。

（付記６）残存オブジェクトが前記オブジェクト説明抽出手段によって抽出されるよう、所定の説明フィールド内の所定のキーワードによって前記構文解析結果から前記無効オブジェクトを除去するためのオブジェクトフィルタリング手段を更に備えることを特徴とする付記１に記載のマルチメディアオブジェクト検索装置。

（付記７）説明キーワードを分析するための所定のルールによって、前記マルチメディアオブジェクトに関する説明を分析するとともに前記マルチメディアオブジェクトを説明するキーワードを抽出し、無効な説明を削除するためのキーワード抽出手段を更に備えることを特徴とする付記１に記載のマルチメディアオブジェクト検索装置。

（付記８）マルチメディアオブジェクトと関連説明テキストの両者を同時に含む構造化文書からマルチメディアオブジェクトを検索するためのマルチメディアオブジェクト検索方法であって、
入力された構造化文書を所定の形式の構文解析結果に構文解析する第１のステップと、
前記構文解析結果内の主ブロックを認識して、所定の形式の構造化文書モデルを出力する第２のステップと、
前記出力された前記構造化文書モデルを処理して、所定の形式の構造化オブジェクトインデックスを出力する第３のステップと、
目標オブジェクトリストを形成するよう前記構造化オブジェクトインデックスを探索する第４のステップと、を含むことを特徴とするマルチメディアオブジェクト検索方法。

（付記９）前記主ブロックは主テキストブロックを含み、前記第２のステップは前記構文解析結果から冗長な情報を除去するとともに前記構文解析結果内の主テキストブロックを認識し、主テキスト注釈付き構造化文書モデルとして出力することを特徴とする付記８に記載のマルチメディアオブジェクト検索方法。

（付記１０）前記主ブロックは反復オブジェクトブロックを含み、前記第２のステップは所定の反復オブジェクトパターン認識ルールに基づいて、反復オブジェクトブロックに関して前記構文解析結果を探索して、反復オブジェクト注釈付き構造化文書モデルとして出力することを特徴とする付記８または９に記載のマルチメディアオブジェクト検索方法。

（付記１１）前記第３のステップは所定の共通の説明抽出ルールに基づいてそれぞれの主ブロック内の各マルチメディアオブジェクトに関する共通の説明を抽出する共通説明抽出ステップを更に含むことを特徴とする付記８に記載のマルチメディアオブジェクト検索方法。

（付記１２）前記第２のステップは、所定の説明フィールド内の所定のキーワードによって無効オブジェクトを除去するオブジェクトフィルタリングステップを更に含むことを特徴とする付記８に記載のマルチメディアオブジェクト検索方法。

（付記１３）前記第３のステップは更に、前記構造化文書モデルからオブジェクトと該オブジェクトに対応する説明とのペアを抽出することを特徴とする付記８に記載のマルチメディアオブジェクト検索方法。

（付記１４）前記第３のステップは更に、説明キーワードを分析するための所定のルールによって前記マルチメディアオブジェクトに関する説明を分析するとともにマルチメディアオブジェクトを説明するキーワードを抽出し、無効な説明を削除することを特徴とする付記８に記載のマルチメディアオブジェクト検索方法。

従来のオブジェクト検索システムの構造のブロック図である。 本発明のオブジェクト検索装置の構造の概略図である。 主ブロック認識ユニットの構造を示すブロック図である。 主テキストブロック認識ユニットの構造を示すブロック図である。 反復オブジェクトブロック認識ユニットの構造を示すブロック図である。 オブジェクト説明抽出ユニットの構造を示すブロック図である。 オブジェクト検索ユニットの構造を示すブロック図である。 ４種類の画像オブジェクトを含む入力ウェブページの一例を示す図である。 ＨＴＭＬ ＤＯＭツリーの一例を示す図である。 主テキストブロックを含むウェブページの一例を示す図である。 反復画像ブロックを含むウェブページの一例を示す図である。 反復画像ブロックのＨＴＭＬタグストリームの一例を示す図である。 ウェブページから抽出された出力ＸＭＬフォーマットオブジェクトインデックスの一例を示す図である。

符号の説明

１０１ 構造化文書
１０２ 構文解析ユニット
１０３ 構文解析結果
１０４ 説明抽出ユニット
１０５ マルチメディアオブジェクトインデックス
１０６ マルチメディアオブジェクト検索ユニット
１０７ 検索要件
１０８ 目標オブジェクトリスト
２０１ 構造化文書
２０２ 構文解析ユニット
２０３ 構文解析結果
２０４ 主ブロック認識ユニット
２０５ 主ブロック注釈付き構文解析結果
２０６ マルチメディアオブジェクト説明抽出ユニット
２０７ 構造化オブジェクトインデックス
２０８ マルチメディアオブジェクト分析
２０９ 検索要件
２１０ 目標オブジェクトリスト
３０２ 主テキストブロック認識ユニット
３０３ 反復オブジェクトブロック認識ユニット
３０４ 主テキストブロック注釈付き構文解析結果
３０５ 反復オブジェクトブロック注釈付き構文解析結果
３０６ 注釈付き結果結合ユニット
３０７ 主ブロック注釈付き構文解析結果
４０２ テキスト長統計ユニット
４０３ 中心テキストノード探索ユニット
４０４ 主テキストブロック計算ユニット
４０５ 主テキストブロック注釈付けユニット内のオブジェクト
５０２ 無効マルチメディアオブジェクト注釈付けユニット
５０３ マルチメディアオブジェクト数統計ユニット
５０４ 中心マルチメディアオブジェクトノード探索ユニット
５０５ 反復オブジェクトパターン計算ユニット
５０６ 反復オブジェクトブロック注釈付けユニット内のオブジェクト
６０２ 個別オブジェクト説明抽出ユニット
６０３ 共通説明抽出ユニット
６０４ 画像インデックス構成ユニット
７０３ 要件変換ユニット
７０４ 目標オブジェクトリスト

Claims (10)

1. マルチメディアオブジェクトと関連説明テキストの両者を同時に含む構造化文書からマルチメディアオブジェクトを検索するためのマルチメディアオブジェクト検索装置であって、
   入力された構造化文書を所定の形式の構文解析結果に構文解析するための構文解析手段と、
   前記構文解析結果内の主ブロックを認識して所定の形式の構造化文書モデルを出力するための主ブロック認識手段と、
   前記主ブロック認識手段から出力された前記構造化文書モデルを処理して所定の形式の構造化オブジェクトインデックスを出力するためのオブジェクト説明抽出手段と、
   前記オブジェクト説明抽出手段から出力された前記構造化オブジェクトインデックスを探索して目標オブジェクトリストを形成するためのマルチメディアオブジェクト検索手段と、を備えることを特徴とするマルチメディアオブジェクト検索装置。
2. 前記主ブロック認識手段は前記構文解析手段から出力される前記構文解析結果から冗長な情報を除去するとともに前記構文解析結果内の主テキストを認識し、主テキスト注釈付き構造化文書モデルとして前記マルチメディアオブジェクト検索手段に出力するための主テキストブロック認識手段を備えることを特徴とする請求項１に記載のマルチメディアオブジェクト検索装置。
3. 前記主ブロック認識手段は、所定の反復オブジェクトパターン認識ルールに基づいて、反復オブジェクトブロックに関して前記構文解析手段から出力された構文解析結果を探索し、探索結果を反復オブジェクト注釈付き構造化文書モデルとして出力する反復オブジェクトブロック認識手段を備えることを特徴とする請求項１または２に記載のマルチメディアオブジェクト検索装置。
4. 所定の共通説明抽出ルールに基づいてそれぞれの主ブロック内の各マルチメディアオブジェクトに関する共通の説明を抽出するための共通説明抽出手段を更に含むことを特徴とする請求項１に記載のマルチメディアオブジェクト検索装置。
5. 主ブロック認識手段は、前記構造化文書モデルを、オブジェクトと説明とのペアとして抽出し、出力することを特徴とする請求項１に記載のマルチメディアオブジェクト検索装置。
6. マルチメディアオブジェクトと関連説明テキストの両者を同時に含む構造化文書からマルチメディアオブジェクトを検索するためのマルチメディアオブジェクト検索方法であって、
   入力された構造化文書を所定の形式の構文解析結果に構文解析する第１のステップと、
   前記構文解析結果内の主ブロックを認識して、所定の形式の構造化文書モデルを出力する第２のステップと、
   前記出力された前記構造化文書モデルを処理して、所定の形式の構造化オブジェクトインデックスを出力する第３のステップと、
   目標オブジェクトリストを形成するよう前記構造化オブジェクトインデックスを探索する第４のステップと、を含むことを特徴とするマルチメディアオブジェクト検索方法。
7. 前記主ブロックは主テキストブロックを含み、前記第２のステップは前記構文解析結果から冗長な情報を除去するとともに前記構文解析結果内の主テキストブロックを認識し、主テキスト注釈付き構造化文書モデルとして出力することを特徴とする請求項６に記載のマルチメディアオブジェクト検索方法。
8. 前記主ブロックは反復オブジェクトブロックを含み、前記第２のステップは所定の反復オブジェクトパターン認識ルールに基づいて、反復オブジェクトブロックに関して前記構文解析結果を探索して、反復オブジェクト注釈付き構造化文書モデルとして出力することを特徴とする請求項６または７に記載のマルチメディアオブジェクト検索方法。
9. 前記第３のステップは所定の共通の説明抽出ルールに基づいてそれぞれの主ブロック内の各マルチメディアオブジェクトに関する共通の説明を抽出する共通説明抽出ステップを更に含むことを特徴とする請求項８に記載のマルチメディアオブジェクト検索方法。
10. 前記第３のステップは更に、前記構造化文書モデルからオブジェクトと該オブジェクトに対応する説明とのペアを抽出することを特徴とする請求項８に記載のマルチメディアオブジェクト検索方法。

Images