JP2002163276A - 文書要約システム及び文書要約方法 - Google Patents

文書要約システム及び文書要約方法

Info

Publication number
JP2002163276A
JP2002163276A JP2000358808A JP2000358808A JP2002163276A JP 2002163276 A JP2002163276 A JP 2002163276A JP 2000358808 A JP2000358808 A JP 2000358808A JP 2000358808 A JP2000358808 A JP 2000358808A JP 2002163276 A JP2002163276 A JP 2002163276A
Authority
JP
Japan
Prior art keywords
document
character string
link
score
anchor character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000358808A
Other languages
English (en)
Other versions
JP4649731B2 (ja
Inventor
Susumu Akamine
享 赤峯
Atsushi Sugiura
淳 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000358808A priority Critical patent/JP4649731B2/ja
Publication of JP2002163276A publication Critical patent/JP2002163276A/ja
Application granted granted Critical
Publication of JP4649731B2 publication Critical patent/JP4649731B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 従来は、文章の一部分から作成した要約は、
必ずしも文書内容と文書が置かれているサイトの情報を
客観的に表しておらず、また、長い要約を作成してしま
うことがあり、更に複数の文書に同じ要約を与える可能
性がある。 【解決手段】 アンカー文字列抽出手段11は、文書集
合記憶部21に格納された対象文書の集合からリンク先
文書のURLとアンカー文字列を抽出する。文書タイプ
判別手段12は、リンク元文書の文書タイプを判別す
る。リンク関係判別手段13は、リンク元文書と要約対
象文書とのリンク関係を判別する。要約文字列決定手段
14は、アンカー文字列の出現頻度、リンク元文書の文
書タイプ、及びリンク元文書と要約対象文書とのリンク
関係を基に、アンカー文字列の要約としての適切さを示
す得点を予め記憶している得点情報記憶部22を参照し
て、各アンカー文字列に得点を付与し、合計得点が最も
高いアンカー文字列を要約とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は文書要約システム及
び文書要約方法に係り、特にハイバーテキストマークア
ップランゲッジ(HTML:Hyper Text Markup Langua
ge)文書の集合を検索する際に、検索結果として表示す
るための文書要約を作成する文書要約システム及び文書
要約方法に関する。
【0002】
【従来の技術】近年、インターネットの普及により、H
TML文書の数は膨大になり、膨大なHTML文書の中
から利用者が必要とする文書を見つけるための手段とし
て、検索エンジンが利用されている。
【0003】検索エンジンは、利用者が入力したキーワ
ードとマッチした複数の文書の要約を検索結果として表
示する。検索エンジンの利用者は、その要約を基に実際
にその文書にアクセスする価値があるかどうかの判別を
行って、価値のある文書のみをアクセスする。従って、
検索エンジンの利用者が、効率的に文書を見つけるため
には、文書内容と文書が置かれているサイトの情報を客
観的に表した要約の出来が重要になる。
【0004】従来、この検索結果の文書要約としては、
文書のタイトル、文書中の重要語や文書構造を基に文書
の一部分を抽出した要約を使用している。例えば、HT
MLタグ情報と単語の出現頻度を利用して、要約文とし
て適切なものを自動抽出する文書検索装置が従来知られ
ている(特開平10−307837号公報)。この従来
の文書検索装置では、インターネット上に存在するワー
ルドワイドウェブ(WWW:World Wide Web)データの
多数のユニフォームリソースローケイター(URL:Un
iform Resource Locator)を保持するURL記憶手段
と、検索要求を入力するための入力手段と、URL記憶
手段内に保持されているURLの検索を行う検索手段を
もつ検索装置において、URLによって指定されるHT
MLデータに対して、HTMLデータをインターネット
上から取得し、そのHTMLデータ内の句読点とHTM
Lのタグの認識を行い、HTMLデータ内に含まれてい
る文章を抽出し、その文章の中から、要約文として適当
なものを自動的に選択し、文章でWWWデータの内容を
知るようにしたものである。
【0005】また、他の従来の文書検索装置として、ハ
イパーリンクの構造を利用した検索結果として、リンク
元の文書のアンカー文字列を参照するようにした検索装
置も文献1(1997年7月、情報処理学会研究報告VOL.9
9,NO.57(FI-55 DD-19)、p.73-80、「ハイパーリンクの
構造を利用した検索結果の選択手法」)により開示され
ている。
【0006】
【発明が解決しようとする課題】しかるに、上記の従来
の文書検索装置は、それぞれ以下の課題を有している。
第1の課題は、文章の一部分から作成した要約は、必ず
しも文書内容と文書が置かれているサイトの情報を客観
的に表していないということである。その原因は、文書
内に検索結果の要約として適切な個所があるとは限らな
いためである。
【0007】例えば、論文等では文書内容を的確に表す
タイトルに関してさえも、HTML文書では、タイトル
を記述していない文書や、「新規に作成した文書」のよ
うに文書の要約としては意味のないタイトルを記述した
文書が存在する。更に、検索エンジンでヒットし易くす
ることを目的に、文書内容とは無関係な人気キーワード
を文書中に故意にちりばめた文書も存在する。
【0008】第2の課題は、検索結果として一度に表示
できる文書数が1文書だけというような長い要約を作成
してしまうことがあるということである。その原因は、
複数の要約の候補から適切な要約を選択する手段が与え
られていないためである。
【0009】例えば、後者の文献1記載の従来の文書検
索装置では、複数あるアンカー文字列から適切なものを
選択する方法が記述されていない。すべてのアンカー文
字列を表示すると、要約として不適切なアンカー文字列
を含む長い文章を表示することになり、検索結果として
一度に表示できる文書数が限られてしまう。このこと
は、携帯電話等の画面の大きさが限られた端末を利用し
て、文書検索を行う際に特に問題となる。
【0010】第3の課題は、複数の文書に同じ要約を与
える可能性があることである。その原因は、要約作成時
に他の文書の要約と比較を行っていないためである。
【0011】例えば、「サッカー」のことを記述した2
つの文書があった場合、どちらの文書の要約もそれぞれ
単独の要約として「サッカー」が適切であるとしても、
検索結果としてどちらの文書も「サッカー」として表示
されてしまうと、利用者はどちらの文書がより自分が必
要とするかの判断ができない。
【0012】本発明は以上の点に鑑みなされたもので、
文書内の文字列だけでなく、リンク元文書のアンカー文
字列も要約候補の文字列とすることで、客観的な要約を
作成し得る文書要約システム及び文書要約方法を提供す
ることを目的とする。
【0013】また、本発明の他の目的は、複数の観点か
らアンカー文字列の要約としての適切さを判断し、最も
適切なアンカー文字列を選択することで、必要最小限の
短い要約を作成し得る文書要約システム及び文書要約方
法を提供することにある。
【0014】更に、本発明の他の目的は、検索結果とし
て表示した際に、他の文書の要約と区別できる要約を作
成し得る文書要約システム及び文書要約方法を提供する
ことにある。
【0015】
【課題を解決するための手段】上記の第1の目的を達成
するため、第1の発明のHTML文書の集合を検索する
際に、検索結果として表示する文書要約を作成する文書
要約システムは、要約対象となるHTML文書の集合を
予め記憶している文書集合記憶部と、アンカー文字列の
出現頻度による要約としての適切さの得点と、リンク元
文書の文書タイプによる要約としての適切さの得点を予
め記憶している得点情報記憶部と、文書集合記憶部のH
TML文書の集合からリンク元文書のアンカー文字列を
抽出するアンカー文字列抽出手段と、アンカー文字列抽
出手段により抽出されたリンク元文書が、リンク集であ
るかどうかを文書集合記憶部のHTML文書の集合から
判別する文書タイプ判別手段と、アンカー文字列抽出手
段により抽出されたリンク元文書のアンカー文字列毎
に、そのアンカー文字列の出現頻度と、文書タイプ判別
手段により判別された判別結果に基づき、得点情報記憶
部に記憶されている得点情報を参照して得点を付与し、
合計得点の最も高いアンカー文字列を要約として決定す
る要約文字列決定手段とを有する構成としたものであ
る。
【0016】また、上記の第1の目的を達成するため、
第2の発明のHTML文書の集合を検索する際に、検索
結果として表示する文書要約を作成する文書要約方法
は、HTML文書の集合からリンク元文書のアンカー文
字列を抽出する第1のステップと、第1のステップによ
り抽出されたリンク元文書が、リンク集であるかどうか
をHTML文書の集合から判別する第2のステップと、
第1のステップで抽出されたリンク元文書のアンカー文
字列毎に、そのアンカー文字列の出現頻度と、第2のス
テップで判別された文書タイプ判別結果に基づき、アン
カー文字列の出現頻度による要約としての適切さの得点
と、リンク元文書の文書タイプによる要約としての適切
さの得点を予め記憶している得点情報記憶部を参照して
得点を付与し、合計得点の最も高いアンカー文字列を要
約として決定する第3のステップとを含むことを特徴と
する。
【0017】上記の第1及び第2の発明では、HTML
文書の集合から抽出したリンク元文書のアンカー文字列
毎に、そのアンカー文字列の出現頻度と文書タイプ判別
結果に基づき、得点情報記憶部を参照して得点を付与
し、合計得点の最も高いアンカー文字列を要約として決
定するようにしたため、文書内の文字列だけでなく、リ
ンク元文書のアンカー文字列も要約候補の文字列とする
ことができ、第1の目的を達成することができる。
【0018】また、上記の第2の目的を達成するため、
第3の発明のHTML文書の集合を検索する際に、検索
結果として表示する文書要約を作成する文書要約システ
ムは、上記の第1の発明における得点情報記憶部に、要
約対象となるHTML文書の集合を予め記憶している文
書集合記憶部と、アンカー文字列の出現頻度による要約
としての適切さの得点と、リンク元文書の文書タイプに
よる要約としての適切さの得点と、リンク元文書と要約
対象文書とのリンク関係による要約としての適切さの得
点とを予め記憶すると共に、アンカー文字列抽出手段に
より抽出されたリンク元文書と要約対象文書の関係を判
別するリンク関係判別手段を設け、更に、上記の第1の
発明における要約文字列決定手段を、アンカー文字列抽
出手段により抽出されたリンク元文書のアンカー文字列
毎に、そのアンカー文字列の出現頻度と、文書タイプ判
別手段により判別された判別結果と、リンク関係判別手
段により判別されたリンク関係とに基づき、得点情報記
憶部に記憶されている得点情報を参照して得点を付与
し、合計得点の最も高いアンカー文字列を要約として決
定する構成としたものである。
【0019】また、上記の第2の目的を達成するため、
第4の発明のHTML文書の集合を検索する際に、検索
結果として表示する文書要約を作成する文書要約方法
は、HTML文書の集合からリンク元文書のアンカー文
字列を抽出する第1のステップと、第1のステップによ
り抽出されたリンク元文書が、リンク集であるかどうか
をHTML文書の集合から判別する第2のステップと、
第1のステップにより抽出されたリンク元文書と要約対
象文書のリンク関係を判別する第3のステップと、第1
のステップで抽出されたリンク元文書のアンカー文字列
毎に、そのアンカー文字列の出現頻度と、第2のステッ
プで判別された文書タイプ判別結果と、第3のステップ
で判別されたリンク関係とに基づき、アンカー文字列の
出現頻度による要約としての適切さの得点と、リンク元
文書の文書タイプによる要約としての適切さの得点と、
リンク元文書と要約対象文書とのリンク関係による要約
としての適切さの得点とを予め記憶している得点情報記
憶部を参照して得点を付与し、合計得点の最も高いアン
カー文字列を要約として決定する第4のステップとを含
むことを特徴とする。
【0020】上記の第3及び第4の発明では、HTML
文書の集合から抽出したリンク元文書のアンカー文字列
毎に、そのアンカー文字列の出現頻度と文書タイプ判別
結果とリンク関係とに基づき、得点情報記憶部を参照し
て得点を付与し、合計得点の最も高いアンカー文字列を
要約として決定するようにしたため、複数の観点からア
ンカー文字列の要約としての適切さを判断し、最も適切
なアンカー文字列を選択することができ、必要最小限の
短い要約を作成するという第2の目的を達成することが
できる。
【0021】更に、上記の第3の目的を達成するため、
第5の発明の文書要約システムは、第3の発明に加え
て、文書集合記憶部のHTML文書の集合を解析して、
要約対象文書が属するサイトの代表文書とその代表文書
の要約を取得する代表文書取得手段と、要約文字列決定
手段により決定された要約対象文書の要約と同じ要約の
文書が複数存在した場合、代表文書取得手段で取得した
代表文書の要約と要約対象文書の要約とを連結して新た
な要約として出力し、要約文字列決定手段により決定さ
れた要約対象文書の要約と同じ要約の文書が複数存在し
ない場合は、要約文字列決定手段により決定された要約
対象文書の要約を出力する要約合成手段とを更に有する
構成としたものである。
【0022】更に、上記の第3の目的を達成するため、
第6の発明の文書要約方法は、第4の発明に加えて、H
TML文書の集合を解析して、要約対象文書が属するサ
イトの代表文書とその代表文書の要約を取得する第5の
ステップと、第4のステップにより決定された要約対象
文書の要約と同じ要約の文書が複数存在した場合、第5
のステップで取得した代表文書の要約と要約対象文書の
要約とを連結して新たな要約として出力し、第4のステ
ップにより決定された要約対象文書の要約と同じ要約の
文書が複数存在しない場合は、第4のステップにより決
定された要約対象文書の要約を出力する第6のステップ
とを更に有することを特徴とする。
【0023】上記の第5及び第6の発明では、要約対象
文書の要約と同じ要約の文書が複数存在した場合、要約
対象文書が属するサイトの代表文書の要約と要約対象文
書の要約とを連結して新たな要約として出力するように
したため、検索結果として表示した際に、他の文書の要
約と区別できる要約を作成できるという第3の目的を達
成することができる。
【0024】ここで、第1、第3及び第5の発明におい
て、要約文字列決定手段は、アンカー文字列抽出手段に
より抽出されたリンク元文書のアンカー文字列を単語に
分割し、分割した単語の出現サイト数を数え、出現サイ
ト数が多い方から順に出現頻度の順位を付け、得点情報
記憶部に記憶されている得点情報を参照して順位の高い
ものほど出現頻度が多いとして高い得点を付与すること
を特徴とする。
【0025】また、第2、第4及び第6の発明におい
て、第4のステップは、第1のステップで抽出されたリ
ンク元文書のアンカー文字列を単語に分割し、分割した
単語の出現サイト数を数え、出現サイト数が多い方から
順に出現頻度の順位を付け、得点情報記憶部に記憶され
ている得点情報を参照して順位の高いものほど出現頻度
が多いとして高い得点を付与することを特徴とする。こ
れにより、要約としてより適切な得点を出現頻度から得
ることができる。
【0026】
【発明の実施の形態】(第1の実施の形態)次に、本発
明の第1の実施の形態について図面と共に説明する。図
1は本発明になる文書要約システムの第1の実施の形態
のブロック図を示す。この実施の形態は、プログラム制
御により動作するデータ処理装置1と、情報を記憶する
記憶装置2とより構成される。
【0027】記憶装置2は、文書集合記憶部21と得点
情報記憶部22とを備えている。文書集合記憶部21
は、要約対象となるHTML文書の集合を予め記憶して
いる。得点情報記憶部22は、アンカー文字列の要約と
しての適切さを示す得点を予め記憶している。要約とし
ての適切さを示す得点の例としては、アンカー文字列の
出現頻度(出現サイト数)による得点、リンク元文書
(被リンク先文書)の文書タイプがリンク集であるか否
かによる得点、リンク元文書(被リンク先文書)と要約
対象文書とのリンク関係による得点などがある。
【0028】データ処理装置1は、アンカー文字列抽出
手段11、文書タイプ判別手段12、リンク関係判別手
段13及び要約文字列決定手段13を備えている。アン
カー文字列抽出手段11は、文書集合記憶部21に格納
された対象文書の集合からリンク先文書のURLとアン
カー文字列を抽出する。更に、アンカー文字列抽出手段
11は、抽出した結果をリンク元文書URLとアンカー
文字列の対応を示す表に変換し、要約対象文書毎にまと
める。
【0029】文書タイプ判別手段12は、リンク元文書
の文書タイプを判別し、判別した文書タイプをアンカー
文字列抽出手段11が作成した表に追加する。文書タイ
プの例としては、リンク集がある。リンク関係判別手段
13は、リンク元文書と要約対象文書とのリンク関係を
判別し、判別したそのリンク関係をアンカー文字列抽出
手段11が作成した表に追加する。リンク関係の例とし
ては、外部サイト文書、上位文書、下位文書、自文書、
及びその他・不明文書とがある。
【0030】要約文字列決定手段14は、アンカー文字
列の出現頻度、リンク元文書の文書タイプ、及びリンク
元文書と要約対象文書とのリンク関係を基に、得点情報
記憶部22の得点情報を参照して、各アンカー文字列に
得点を付与し、合計得点が最も高いアンカー文字列を要
約とする。
【0031】次に、図2のフローチャートを併せ参照し
て図1の実施の形態の動作について詳細に説明する。ま
ず、アンカー文字列抽出手段11は、文書集合記憶部2
1に格納された対象文書の集合を入力として受け、その
入力文書からリンク先文書URLと対応するアンカー文
字列を抽出し、抽出した結果をリンク元文書URLとア
ンカー文字列の対応を示す表に変換し、要約対象文字毎
にまとめる(図2のステップS11)。
【0032】次に、文書タイプ判別手段12は、被リン
ク先文書の文書タイプがリンク集であるかを判別し、ア
ンカー文字列抽出手段11が作成した表に文書タイプを
追加する(図2のステップS12)。次に、リンク関係
判別手段13は、リンク先文書と要約対象文書のリンク
関係を判別する(図2のステップS13)。
【0033】次に、要約文字列決定手段14は、アンカ
ー文字列の出現頻度、リンク元文書の文書タイプ、及び
リンク関係の情報を基に、得点情報記憶部22の得点情
報を参照し、各アンカー文字列に参照して得た得点を付
与し(図2のステップS14)、合計得点が最も高いア
ンカー文字列を要約として出力する(図2のステップS
15)。
【0034】次に、本実施の形態の効果について説明す
る。本実施の形態では、要約を作成するのに、リンク元
文書のアンカー文字列を利用している。そのため、文書
内容と文書が置かれているサイトの情報を客観的に表し
た要約の作成が可能である。また、本実施の形態では、
アンカー文字列の出現頻度、リンク元文書の文書タイ
プ、及びリンク元文書と対象文書のリンク関係という複
数の観点から、複数のアンカー文字列の中で最も高い得
点のアンカー文字列のみを選択しているため、適切な短
い要約を作成することができる。
【0035】(第2の実施の形態)図3は本発明になる
文書要約システムの第2の実施の形態のブロック図を示
す。同図中、図1と同一構成部分には同一符号を付して
ある。この第2の実施の形態は、プログラム制御により
動作するデータ処理装置3が、図1に示したデータ処理
装置1の構成に加え、代表文書取得手段31と要約合成
手段32とを備える点で異なる。
【0036】代表文書取得手段31は、文書集合記憶部
21の文書集合を解析して、対象文書のサイトの代表頁
を取得する。代表文書は、文献2(2000年1月、情報処
理学会研究報告VOL.2000.NO.10 (DS-20-2) p.9-16、サ
イテーション・エンジン、「リンク解析を用いたWWW
検索ランキングシステム」)に記載されている代表頁と
同じものであり、この文献2に開示された方法で代表文
書を取得可能である。
【0037】要約合成手段32は、複数の文書に同じ要
約が存在した場合、代表文書取得手段31で取得した代
表文書の要約と対象文書の要約を連結したものを要約と
して出力する。
【0038】次に、図4のフローチャートを併せ参照し
て図3の実施の形態の動作について詳細に説明する。図
4中、図2と同一処理ステップには同一符号を付し、そ
の説明を省略する。図3の要約合成手段32は、要約文
字列決定手段14により決定された対象要約の中に、同
一の要約の文書が存在するかどうか調べ(図4のステッ
プS21)、同一の要約の文書が存在した場合、代表文
書取得手段31で取得した代表文書の要約を受け(図4
のステップS22)、この代表文書の要約と上記の対象
要約とを連結したものを要約として(図4のステップS
23)、出力する(図4のステップS24)。
【0039】一方、要約合成手段32は、ステップS2
1で同一の要約の文書が存在しないと判断した場合は、
要約文字列決定手段14により決定された対象要約をそ
のまま要約として出力する出力する(図4のステップS
24)。
【0040】次に、本実施の形態の効果について説明す
る。本実施の形態では、一旦要約候補を作成した後、同
じ要約の文書が存在するかどうかチェックし、同じ要約
の文書が存在するときには、代表文書の要約と対象要約
とを連結したものを要約として出力するようにしたた
め、複数の文書が同じものになることを防止することが
でき、また、他の文書と区別可能な要約を作成すること
ができる。
【0041】
【実施例】次に、本発明の第1の実施例を図面と共に説
明する。本実施例は第1の実施の形態に対応した実施例
である。本実施例は、データ処理装置1としてパーソナ
ルコンピュータ、記憶装置2として磁気ディスク記憶装
置とを備えている。パーソナルコンピュータは、アンカ
ー文字列抽出手段11、文書タイプ判別手段12、リン
ク関係判別手段13、要約文字列決定手段14を有して
おり、磁気ディスク記憶装置には、文書集合記憶部21
と得点情報記憶部22を有している。
【0042】図5は対象文書集合中の文書の一例を示
す。アンカー文字列抽出手段11は、図5のURLがht
tp://aa.bb/xxの文書から図7(A)に示すようなリン
ク先URL「http://aa.bb/xx/b」とアンカー文字列
「野球」の対応と、リンク先URL「http://aa.bb/xx/
s」とアンカー文字列「サッカー」の対応とを抽出する。
【0043】図7(A)の場合、タグで明示的に囲まれ
た文字列のみをアンカー文字列として抽出しているが、
例えば図5の文章からタグの前後の文字列も合わせてア
ンカー文字列として抽出することや、タイトルを自文書
へのアンカー文字列として抽出することで、図7(B)
に示す文字列もアンカー文字列も抽出することができ
る。また、本実施例ではアンカー文字列として名詞句の
みを扱っているが、文をアンカー文字列として抽出する
こともできる。
【0044】次に、アンカー文字列抽出手段11は、抽
出した対応をリンク元文書URLとアンカー文字列の対
応に変換し、各要約対象文書に対して対応表を作成す
る。図8に文書「http://aa.bb/xx/s」に対して、アン
カー文字列抽出手段11が作成したリンク元文書URL
とアンカー文字列の対応表の例を示す。この対応表のリ
ンク元文書URL「http://aa.bb/xx」とアンカー文字
列「サッカー」の対応は、図7(A)のリンク先文書U
RL「http://aa.bb/xx/s」とアンカー文字列「サッカ
ー」の対応を変換したものである。
【0045】文書タイプ判別手段12は、例えば文書が
3つ以上の異なる外部サイトへのリンクを持っている場
合、その文書をリンク集と判定する。図9はリンク集で
ある文書の一例を示す。図9の文書「http://xx.hh/a
a」は、自サイトが「xx.hh」であり、外部サイト「aa.b
b」、「xx.yy」及び「xx.zz」へのリンクを持ってい
る。従って、3つ以上の異なる外部サイトへのリンクを
持っているので、「http://xx.hh/aa」は、リンク集で
あると判定する。
【0046】なお、本実施例では、文書タイプの判別方
法として、外部サイトへのリンク数による判別方法を述
べたが、他にも文献3(1999年、情報処理学会研究報告
VOL.99,NO.20(FI-53) p.9-16、「文書タイプ分類による
問題解決向きWWW検索システムの開発と評価」)に示さ
れたような、文書内に「リンク集」という単語が存在す
ることと外部サイトへのリンクが存在することとを組み
合わせて、文書タイプを総合的に判定する方法もあり、
ここで述べた方法に限定されない。
【0047】リンク関係判別手段13は、文書URLと
被リンク先の文書URLを比較して、リンク元の文書が
外部サイト文書か、上位文書か、下位文書か、自文書
か、その他・不明文書かを判別する。図10は図8の対
応表に文書タイプ判別判別手段12が付与した文書タイ
プの項目と、リンク関係判別手段13が付与したリンク
関係の項目を追加した対応表の一例を示す。
【0048】図10に示すように、文書「http://aa.bb
/xx/yy」を基準にした場合、文書「http://xx.hh/aa」
や文書「http://gg.hh/bb」はそれぞれサイトが異なる
ので、外部サイト文書であり、文書「http://aa.bb/x
x」は同一サイトで上位のディレクトリなので、上位文
書であり、文書「http://aa.bb/xx/yy/w1」及び文書「h
ttp://aa.bb/xx/yy/w2」は、それぞれ同一サイトで下位
のディレクトリなので下位文書であり、文書「http://a
a.bb/xx/yy」は同じURLなので自文書である。
【0049】要約文字列決定手段14は、アンカー文字
列を単語に分割し、分割した単語の出現サイト数を数
え、より多くのサイトに出現するアンカー文字列が上位
になるように順位をつける。図10の文書「http://aa.
hh/xx/yy」では、アンカー文字列として、「最新情
報」、「戻る」、「サッカー」、「Jリーグ情報」、
「サッカー速報」が存在する。
【0050】例えば、「最新情報」は、「最新」と「情
報」の2単語に分解され、それぞれの単語が出現するサ
イトは、aa.bbだけの1サイトであり、「サッカー速
報」は、「サッカー」と「速報」の2単語に分解され、
それぞれの単語が出現するサイトは、aa.bb、xx.hh、g
g.hhの3サイトである。図11は、図10に示した各ア
ンカー文字列に対し、分割した単語と、分割した単語が
出現するサイトと、出現サイト数と、出現サイト数によ
る順位の例を示す。図11に示すように、「サッカー速
報」が出現サイト数3で1位に、「Jリーグ速報」と
「サッカー」が出現サイト数2で2位に、「最新情報」
と「戻る」が出現サイト数1で4位になる。
【0051】更に、要約文字列決定手段14は得点情報
記憶部22に予め記憶している得点情報を参照して、出
現サイト数による順位、リンク元文書の文書タイプ、リ
ンク元文書と要約対象文書のリンク関係による得点を与
え、最も合計得点の高いアンカー文字列を要約とする。
図6は得点情報記憶部22の得点情報の一例を示す。こ
こでは、アンカー文字列の出現頻度の最も高いものを1
0点とし、以下、文字列の出現頻度の順に5点、3点、
1点としている。また、文書タイプがリンク集であれば
10点とする。更に、リンク関係では外部サイト文書が
10点、上位文書及び自文書がそれぞれ5点、下位文書
が0点、その他・不明文書が3点としている。
【0052】なお、同じアンカー文字列に対してリンク
元文書の文書タイプやリンク元文書と要約対象文書との
リンク関係が複数ある場合は、高い方の得点をそのアン
カー文字列の得点とする。
【0053】図10と図11の表の値に対して、図6の
得点情報を参照した場合の得点を図12に示す。図12
に示すように、「最新情報」は、出現サイト数の順位が
4位なので、出現サイト数による得点は1点、文書タイ
プがリンク集でないので文書タイプによる得点は0点、
リンク関係は自文書なのでリンク関係による得点は5点
となり、合計得点は6点となる。
【0054】また、「Jリーグ速報」は出現サイト数の
順位が2位なので、出現サイト数による得点は5点、文
書タイプがリンク集なので文書タイプによる得点は10
点、リンク関係は外部サイト文書なのでリンク関係によ
る得点は10点となり、合計得点25点となる。図12
の例では、最も合計得点の高いアンカー文字列の「Jリ
ーグ速報」を要約として選択する。
【0055】次に、本発明の第2の実施例を、図面を参
照して説明する。本実施例は、図3に示した第2の実施
の形態に対応するものである。本実施例は、第1の実施
例と構成を同じとするが、パーソナルコンピュータの中
央演算装置が代表文書取得手段31及び要約合成手段3
2としても機能する点で第1の実施例と異なる。
【0056】今、第1の実施例と同じ方法で要約文字列
決定手段14で文書「http://aa.bb/xx/yy」に対して
「Jリーグ速報」が要約として選択されたとする。ま
た、文書「http://bb.aa/xx/yy」に対しても、「Jリー
グ速報」が要約として選択されているとする。
【0057】要約合成手段32は、文書「http://aa.bb
/xx/yy」の要約「Jリーグ速報」と同じ要約が存在する
かを調べる。本実施例では、同じ要約が文書「http://b
b.aa/xx/yy」に存在するため、代表文書取得手段31が
文書「http://aa.bb/xx/yy」の代表文書とその代表文書
の要約を取得する。
【0058】本実施例では、代表文書が「http://aa.bb
/」でその要約が「A新聞」であったとする。要約合成
手段32は、代表文書の要約の「A新聞」と、対象文書
の要約の「Jリーグ速報」を連結して「A新聞Jリーグ
速報」を要約として出力する。
【0059】このように、本実施例では、同じ要約の文
書が存在するときには、代表文書の要約と対象要約とを
連結したものを要約として出力するようにしたため、複
数の文書が同じものになることを防止することができ、
また、他の文書と区別可能な要約を作成することができ
る。
【0060】なお、本発明は以上の実施の形態及び実施
例に限定されるものではなく、例えば、第1の実施の形
態において、リンク関係判別手段13は必ずしも有して
いなくてもよく、その場合は、要約文字列決定手段14
は、アンカー文字列の出現頻度、リンク元文書の文書タ
イプを基に、得点情報記憶部22の得点情報を参照し
て、各アンカー文字列に得点を付与し、合計得点が最も
高いアンカー文字列を要約とする。
【0061】
【発明の効果】以上説明したように、本発明によれば、
文書内の文字列だけでなく、リンク元文書のアンカー文
字列も要約候補の文字列とすることにより、文書内容と
文書が置かれているサイトの情報を客観的に表した要約
の作成ができるため、検索エンジンの検索結果として、
この要約が表示された場合、利用者は文書がアクセスす
る価値があるかどうかを容易に判別することができる。
【0062】また、本発明によれば、複数の観点からア
ンカー文字列の要約としての適切さを判断し、最も適切
なアンカー文字列を選択することにより、必要最小限の
短い要約を作成することができるようにしたため、検索
エンジンの検索結果としてこの要約を表示する場合、複
数の検索結果を一画面に表示することができる。
【0063】更に、本発明によれば、要約対象文書の要
約と同じ要約の文書が複数存在した場合、要約対象文書
が属するサイトの代表文書の要約と要約対象文書の要約
とを連結して新たな要約として出力することで、検索結
果として表示した際に、他の文書の要約と区別できる要
約を作成できるようにしたため、検索エンジンの検索結
果として、この要約が表示された場合、利用者は複数の
文書を区別することができ、より適切な文書にアクセス
することができる。
【図面の簡単な説明】
【図1】本発明システムの第1の実施の形態のブロック
図である。
【図2】図1の動作を説明する本発明方法の第1の実施
の形態のフローチャートである。
【図3】本発明システムの第2の実施の形態のブロック
図である。
【図4】図3の動作を説明する本発明方法の第2の実施
の形態のフローチャートである。
【図5】本発明の第1の実施例のアンカー文字列であ
る。
【図6】本発明の第1の実施例の得点情報記憶部の得点
情報の一例である。
【図7】本発明の第1の実施例のアンカー文字列の各例
である。
【図8】本発明の第1の実施例のアンカー文字列抽出部
が作成する表の一例である。
【図9】本発明の第1の実施例のリンク集合の文書の一
例である。
【図10】本発明の第1の実施例のリンク元文書の文書
タイプとリンク元文書と対象文書のリンク関係の一例を
示す図である。
【図11】本発明の第1の実施例のアンカー文字列の出
現サイト数による順位付けを説明するための図である。
【図12】本発明の第1の実施例の要約文字列決定手段
の得点計算を説明するための図である。
【符号の説明】 1、3 データ処理装置 2 記憶装置 11 アンカー文字列抽出手段 12 文書タイプ判別手段 13 リンク関係判別手段 14 要約文字列決定手段 21 文書集合記憶部 22 得点情報記憶部 31 代表文書取得手段 32 要約合成手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 12/00 547 G06F 12/00 547H

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 HTML文書の集合を検索する際に、検
    索結果として表示する文書要約を作成する文書要約シス
    テムであって、 要約対象となるHTML文書の集合を予め記憶している
    文書集合記憶部と、 アンカー文字列の出現頻度による要約としての適切さの
    得点と、リンク元文書の文書タイプによる要約としての
    適切さの得点を予め記憶している得点情報記憶部と、 前記文書集合記憶部のHTML文書の集合からリンク元
    文書のアンカー文字列を抽出するアンカー文字列抽出手
    段と、 前記アンカー文字列抽出手段により抽出されたリンク元
    文書が、リンク集であるかどうかを前記文書集合記憶部
    のHTML文書の集合から判別する文書タイプ判別手段
    と、 前記アンカー文字列抽出手段により抽出されたリンク元
    文書のアンカー文字列毎に、そのアンカー文字列の出現
    頻度と、前記文書タイプ判別手段により判別された判別
    結果に基づき、前記得点情報記憶部に記憶されている得
    点情報を参照して得点を付与し、合計得点の最も高いア
    ンカー文字列を要約として決定する要約文字列決定手段
    とを有することを特徴とする文書要約システム。
  2. 【請求項2】 HTML文書の集合を検索する際に、検
    索結果として表示する文書要約を作成する文書要約シス
    テムであって、 要約対象となるHTML文書の集合を予め記憶している
    文書集合記憶部と、 アンカー文字列の出現頻度による要約としての適切さの
    得点と、リンク元文書の文書タイプによる要約としての
    適切さの得点と、リンク元文書と要約対象文書とのリン
    ク関係による要約としての適切さの得点とを予め記憶し
    ている得点情報記憶部と、 前記文書集合記憶部のHTML文書の集合からリンク元
    文書のアンカー文字列を抽出するアンカー文字列抽出手
    段と、 前記アンカー文字列抽出手段により抽出されたリンク元
    文書が、リンク集であるかどうかを前記文書集合記憶部
    のHTML文書の集合から判別する文書タイプ判別手段
    と、 前記アンカー文字列抽出手段により抽出されたリンク元
    文書と要約対象文書の関係を判別するリンク関係判別手
    段と、 前記アンカー文字列抽出手段により抽出されたリンク元
    文書のアンカー文字列毎に、そのアンカー文字列の出現
    頻度と、前記文書タイプ判別手段により判別された判別
    結果と、前記リンク関係判別手段により判別されたリン
    ク関係とに基づき、前記得点情報記憶部に記憶されてい
    る得点情報を参照して得点を付与し、合計得点の最も高
    いアンカー文字列を要約として決定する要約文字列決定
    手段とを有することを特徴とする文書要約システム。
  3. 【請求項3】 前記文書集合記憶部のHTML文書の集
    合を解析して、要約対象文書が属するサイトの代表文書
    とその代表文書の要約を取得する代表文書取得手段と、
    前記要約文字列決定手段により決定された要約対象文書
    の要約と同じ要約の文書が複数存在した場合、前記代表
    文書取得手段で取得した代表文書の要約と前記要約対象
    文書の要約とを連結して新たな要約として出力し、前記
    要約文字列決定手段により決定された要約対象文書の要
    約と同じ要約の文書が複数存在しない場合は、前記要約
    文字列決定手段により決定された要約対象文書の要約を
    出力する要約合成手段とを更に有することを特徴とする
    請求項1又は2記載の文書要約システム。
  4. 【請求項4】 前記要約文字列決定手段は、前記アンカ
    ー文字列抽出手段により抽出されたリンク元文書のアン
    カー文字列を単語に分割し、分割した単語の出現サイト
    数を数え、出現サイト数が多い方から順に前記出現頻度
    の順位を付け、前記得点情報記憶部に記憶されている得
    点情報を参照して前記順位の高いものほど出現頻度が多
    いとして高い得点を付与することを特徴とする請求項1
    乃至3のうちいずれか一項記載の文書要約システム。
  5. 【請求項5】 前記リンク関係判別手段は、前記要約対
    象文書のURLと前記アンカー文字列抽出手段により抽
    出されたリンク元文書のURLとを比較して、該リンク
    元文書が外部サイト文書、同一サイトの上位ディレクト
    リである上位文書、同一サイトの下位ディレクトリであ
    る下位文書、同一URLの自文書、及びその他不明文書
    のいずれかとして前記リンク関係を判別し、前記得点情
    報記憶部は、前記外部サイト文書に対して最も高く、前
    記下位文書に対して最も低い得点情報を記憶しているこ
    とを特徴とする請求項2記載の文書要約システム。
  6. 【請求項6】 HTML文書の集合を検索する際に、検
    索結果として表示する文書要約を作成する文書要約方法
    であって、 HTML文書の集合からリンク元文書のアンカー文字列
    を抽出する第1のステップと、 前記第1のステップにより抽出されたリンク元文書が、
    リンク集であるかどうかを前記HTML文書の集合から
    判別する第2のステップと、 前記第1のステップで抽出されたリンク元文書のアンカ
    ー文字列毎に、そのアンカー文字列の出現頻度と、前記
    第2のステップで判別された文書タイプ判別結果に基づ
    き、アンカー文字列の出現頻度による要約としての適切
    さの得点と、リンク元文書の文書タイプによる要約とし
    ての適切さの得点を予め記憶している得点情報記憶部を
    参照して得点を付与し、合計得点の最も高いアンカー文
    字列を要約として決定する第3のステップとを含むこと
    を特徴とする文書要約方法。
  7. 【請求項7】 HTML文書の集合を検索する際に、検
    索結果として表示する文書要約を作成する文書要約方法
    であって、 HTML文書の集合からリンク元文書のアンカー文字列
    を抽出する第1のステップと、 前記第1のステップにより抽出されたリンク元文書が、
    リンク集であるかどうかを前記HTML文書の集合から
    判別する第2のステップと、 前記第1のステップにより抽出されたリンク元文書と要
    約対象文書のリンク関係を判別する第3のステップと、 前記第1のステップで抽出されたリンク元文書のアンカ
    ー文字列毎に、そのアンカー文字列の出現頻度と、前記
    第2のステップで判別された文書タイプ判別結果と、前
    記第3のステップで判別されたリンク関係とに基づき、
    アンカー文字列の出現頻度による要約としての適切さの
    得点と、リンク元文書の文書タイプによる要約としての
    適切さの得点と、リンク元文書と要約対象文書とのリン
    ク関係による要約としての適切さの得点とを予め記憶し
    ている得点情報記憶部を参照して得点を付与し、合計得
    点の最も高いアンカー文字列を要約として決定する第4
    のステップとを含むことを特徴とする文書要約方法。
  8. 【請求項8】 前記HTML文書の集合を解析して、要
    約対象文書が属するサイトの代表文書とその代表文書の
    要約を取得する第5のステップと、前記第4のステップ
    により決定された要約対象文書の要約と同じ要約の文書
    が複数存在した場合、前記第5のステップで取得した代
    表文書の要約と前記要約対象文書の要約とを連結して新
    たな要約として出力し、前記第4のステップにより決定
    された要約対象文書の要約と同じ要約の文書が複数存在
    しない場合は、前記第4のステップにより決定された要
    約対象文書の要約を出力する第6のステップとを更に有
    することを特徴とする請求項6又は7記載の文書要約方
    法。
  9. 【請求項9】 前記第4のステップは、前記第1のステ
    ップで抽出されたリンク元文書のアンカー文字列を単語
    に分割し、分割した単語の出現サイト数を数え、出現サ
    イト数が多い方から順に前記出現頻度の順位を付け、前
    記得点情報記憶部に記憶されている得点情報を参照して
    前記順位の高いものほど出現頻度が多いとして高い得点
    を付与することを特徴とする請求項6乃至8のうちいず
    れか一項記載の文書要約方法。
JP2000358808A 2000-11-27 2000-11-27 文書要約システム及び文書要約方法 Expired - Fee Related JP4649731B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000358808A JP4649731B2 (ja) 2000-11-27 2000-11-27 文書要約システム及び文書要約方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000358808A JP4649731B2 (ja) 2000-11-27 2000-11-27 文書要約システム及び文書要約方法

Publications (2)

Publication Number Publication Date
JP2002163276A true JP2002163276A (ja) 2002-06-07
JP4649731B2 JP4649731B2 (ja) 2011-03-16

Family

ID=18830648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000358808A Expired - Fee Related JP4649731B2 (ja) 2000-11-27 2000-11-27 文書要約システム及び文書要約方法

Country Status (1)

Country Link
JP (1) JP4649731B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007519111A (ja) * 2004-01-26 2007-07-12 インターナショナル・ビジネス・マシーンズ・コーポレーション アンカーテキストを処理する方法、システム、およびプログラム
JP2010117941A (ja) * 2008-11-13 2010-05-27 Nippon Telegr & Teleph Corp <Ntt> Web文書主要コンテンツ抽出装置及びプログラム
US8271498B2 (en) 2004-09-24 2012-09-18 International Business Machines Corporation Searching documents for ranges of numeric values
US8296304B2 (en) 2004-01-26 2012-10-23 International Business Machines Corporation Method, system, and program for handling redirects in a search engine
US8417693B2 (en) 2005-07-14 2013-04-09 International Business Machines Corporation Enforcing native access control to indexed documents

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090111A (ja) * 1998-09-14 2000-03-31 Matsushita Electric Ind Co Ltd 情報検索エージェント装置及び情報検索エージェント装置の機能を発揮するプログラムを記録したコンピュータ読み取り可能な記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090111A (ja) * 1998-09-14 2000-03-31 Matsushita Electric Ind Co Ltd 情報検索エージェント装置及び情報検索エージェント装置の機能を発揮するプログラムを記録したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CSND200201158002, 原田 昌紀, "サーチエンジンにおける検索結果のランキング", bit, 20000801, Vol.32 No.8, 第8頁乃至第14頁, JP, 共立出版株式会社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007519111A (ja) * 2004-01-26 2007-07-12 インターナショナル・ビジネス・マシーンズ・コーポレーション アンカーテキストを処理する方法、システム、およびプログラム
US8285724B2 (en) 2004-01-26 2012-10-09 International Business Machines Corporation System and program for handling anchor text
US8296304B2 (en) 2004-01-26 2012-10-23 International Business Machines Corporation Method, system, and program for handling redirects in a search engine
US8271498B2 (en) 2004-09-24 2012-09-18 International Business Machines Corporation Searching documents for ranges of numeric values
US8346759B2 (en) 2004-09-24 2013-01-01 International Business Machines Corporation Searching documents for ranges of numeric values
US8655888B2 (en) 2004-09-24 2014-02-18 International Business Machines Corporation Searching documents for ranges of numeric values
US8417693B2 (en) 2005-07-14 2013-04-09 International Business Machines Corporation Enforcing native access control to indexed documents
JP2010117941A (ja) * 2008-11-13 2010-05-27 Nippon Telegr & Teleph Corp <Ntt> Web文書主要コンテンツ抽出装置及びプログラム

Also Published As

Publication number Publication date
JP4649731B2 (ja) 2011-03-16

Similar Documents

Publication Publication Date Title
JP3108015B2 (ja) ハイパーテキスト検索装置
US8554786B2 (en) Document information management system
US8001135B2 (en) Search support apparatus, computer program product, and search support system
KR100815215B1 (ko) 웹사이트 통합 검색 장치 및 방법
KR20040038458A (ko) 소형 화면 단말기를 위한 웹 컨텐츠 변환 시스템 및 방법
WO2010106642A1 (ja) 検索処理方法及び装置
US7124127B2 (en) Search server and method for providing search results
US7310633B1 (en) Methods and systems for generating textual information
JP5084858B2 (ja) サマリ作成装置、サマリ作成方法及びプログラム
US20050120114A1 (en) Content synchronization system and method of similar web pages
JP2003208434A (ja) 情報検索システム及びそれに用いる情報検索方法
KR100455439B1 (ko) 인터넷 자원의 도메인화와 확장 사이트맵을 이용한정보검색 및 브라우징방법
KR100757951B1 (ko) 웹페이지의 형태소 분석을 통한 검색 방법
JP4649731B2 (ja) 文書要約システム及び文書要約方法
JP2001265774A (ja) 情報検索方法、装置、および情報検索プログラムを記録した記録媒体、ハイパーテキスト情報検索システム
JP3898016B2 (ja) 情報検索装置、情報検索方法及び情報検索プログラム
JP5688754B2 (ja) 情報検索装置及びコンピュータプログラム
JP2006236221A (ja) ウエブページ検索のための管理サーバ装置
Christos et al. A Web-page fragmentation technique for personalized browsing
JP2002132808A (ja) 検索サービス装置
KR100491254B1 (ko) 웹사이트 디렉토리나 웹페이지에 대해 설명하는 단어들에하이퍼링크를 적용하는 검색 시스템 및 방법
KR20090095939A (ko) 검색결과 출력 방법 및 시스템과 이를 위한 기록매체
JP2008287636A (ja) 情報処理装置、ブックマーク表示方法およびブックマーク表示プログラム
JP2002140257A (ja) コンテンツ判定方法
KR20010035390A (ko) 인터넷 자연어 주소입력 접속 시스템 및 그것의 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees