JP2001249948A - 重要文抽出装置および記憶媒体 - Google Patents
重要文抽出装置および記憶媒体Info
- Publication number
- JP2001249948A JP2001249948A JP2000059503A JP2000059503A JP2001249948A JP 2001249948 A JP2001249948 A JP 2001249948A JP 2000059503 A JP2000059503 A JP 2000059503A JP 2000059503 A JP2000059503 A JP 2000059503A JP 2001249948 A JP2001249948 A JP 2001249948A
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- importance
- word
- sentences
- important
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 抽出した重要文全体の情報量を多くすること
が出来る重要文抽出装置を提供する。 【解決手段】 文章の中からリード文をリード文検出装
置２により検出すると、文重要度計算装置３は文章中の
各文の重要度を計算する。重要度はリード文の中に含ま
れる単語と同じ単語あるいは機能が同じ単語が他の各文
中に含まれるほどその文の重要度が低くなるように定め
られる。リード文を先頭にして重要度の高い方の文から
順に要約率を達成するまで、重要文が選択、抽出され
る。
が出来る重要文抽出装置を提供する。 【解決手段】 文章の中からリード文をリード文検出装
置２により検出すると、文重要度計算装置３は文章中の
各文の重要度を計算する。重要度はリード文の中に含ま
れる単語と同じ単語あるいは機能が同じ単語が他の各文
中に含まれるほどその文の重要度が低くなるように定め
られる。リード文を先頭にして重要度の高い方の文から
順に要約率を達成するまで、重要文が選択、抽出され
る。
Description
【０００１】
【発明の属する技術分野】本発明は、重要文を文章から
抽出する重要文抽出装置および記録装置に関する。
抽出する重要文抽出装置および記録装置に関する。
【０００２】
【従来の技術】重要文抽出は自動要約の１つの手法であ
り、文章中の各文の重要度を計算し、与えられた要約率
に達成するまで重要度が低い文を捨てることにより重要
文抽出を実現している。各文の重要度は、従来、 ・文章中での高出現頻度の単語 ・その文の文章全体での出現位置 ・手がかり語 等を利用して計算していた。この中でも「文章中での高
出現頻度の単語」は実現の容易さからよく利用されてい
る。「文章中での高出現頻度の単語」による重要文抽出
方法でははじめに文章中に出現する各単語の頻度をカウ
ントする。次に頻度の高い単語を含む文を重要度が高い
文として文章中から抽出する（たとえば、Ｌｕｈｎ，
Ｈ．Ｐ．"Ｔｈｅ ａｕｔｏｍａｔｉｃ ｃｒｅａｔｉ
ｏｎ ｏｆｌｉｔｅｒａｔｕｒｅ ａｂｓｔｒａｃｔ
ｓ．"，Ｉｎ ＩＢＭ Ｊｏｕｒｎａｌ ｆｏｒ Ｒｅ
ｓｅａｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ，２
（２），ｐｐ．５９−１６５，１９５８．）。
り、文章中の各文の重要度を計算し、与えられた要約率
に達成するまで重要度が低い文を捨てることにより重要
文抽出を実現している。各文の重要度は、従来、 ・文章中での高出現頻度の単語 ・その文の文章全体での出現位置 ・手がかり語 等を利用して計算していた。この中でも「文章中での高
出現頻度の単語」は実現の容易さからよく利用されてい
る。「文章中での高出現頻度の単語」による重要文抽出
方法でははじめに文章中に出現する各単語の頻度をカウ
ントする。次に頻度の高い単語を含む文を重要度が高い
文として文章中から抽出する（たとえば、Ｌｕｈｎ，
Ｈ．Ｐ．"Ｔｈｅ ａｕｔｏｍａｔｉｃ ｃｒｅａｔｉ
ｏｎ ｏｆｌｉｔｅｒａｔｕｒｅ ａｂｓｔｒａｃｔ
ｓ．"，Ｉｎ ＩＢＭ Ｊｏｕｒｎａｌ ｆｏｒ Ｒｅ
ｓｅａｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ，２
（２），ｐｐ．５９−１６５，１９５８．）。
【０００３】この方法は重要な単語は文章中で何度も使
用されるという直感に基づく。
用されるという直感に基づく。
【０００４】
【発明が解決しようとする課題】しかしながら放送ニュ
ースのように文章がそれほど長くない場合には同じ単語
がせいぜい２〜３回しか出現せず、それぞれの文の重要
度の差が単語の出現頻度では顕著に表れない場合が多
い。
ースのように文章がそれほど長くない場合には同じ単語
がせいぜい２〜３回しか出現せず、それぞれの文の重要
度の差が単語の出現頻度では顕著に表れない場合が多
い。
【０００５】また、放送ニュースでは高出現頻度の単語
を多く含んでいても重要でない文も少なくない。たとえ
ば、「文章中での高出現頻度の単語」による文の重要度
を用いて、次の放送ニュースから重要文を抽出すること
を考える。
を多く含んでいても重要でない文も少なくない。たとえ
ば、「文章中での高出現頻度の単語」による文の重要度
を用いて、次の放送ニュースから重要文を抽出すること
を考える。
【０００６】（文１）去年１年間に企業のリストラや倒
産などによって解雇された身体に障害のある人は、３０
９３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
産などによって解雇された身体に障害のある人は、３０
９３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
【０００７】（文２）労働省によりますと、去年１年間
にリストラや倒産によって、解雇された身体に障害のあ
る人は，全国で３０９３人と３０００人を超え、およそ
１６００人だった前の年に比べて２倍近くに増えまし
た。
にリストラや倒産によって、解雇された身体に障害のあ
る人は，全国で３０９３人と３０００人を超え、およそ
１６００人だった前の年に比べて２倍近くに増えまし
た。
【０００８】（文３）また、障害のある人で仕事を探し
ている求職者も去年の３月に初めて１０万人を超えてそ
の後も増加を続け、現在は１１万人にのぼっているもの
と見られます。
ている求職者も去年の３月に初めて１０万人を超えてそ
の後も増加を続け、現在は１１万人にのぼっているもの
と見られます。
【０００９】（文４）労働省によりますと、障害のある
人を解雇した企業は規模の小さいところが多く、不況の
影響で、リストラに踏み切り、その際解雇するケースが
目立つということです。
人を解雇した企業は規模の小さいところが多く、不況の
影響で、リストラに踏み切り、その際解雇するケースが
目立つということです。
【００１０】（文５）このため、労働省では、経営的に
体力のある規模の大きな企業に、障害者の人をもっと雇
用してもらうことが出来ないかどうかを検討していて、
具体策について日経連と協議を進めています。
体力のある規模の大きな企業に、障害者の人をもっと雇
用してもらうことが出来ないかどうかを検討していて、
具体策について日経連と協議を進めています。
【００１１】この例では文章中に「障害」、「解雇」、
「倒産」が複数回出現するので、これらの単語が多く含
まれる文１や文２の文などが重要度が高い文となる。要
約率を５０％とした場合、この２つの文が重要文として
次のように抽出される。
「倒産」が複数回出現するので、これらの単語が多く含
まれる文１や文２の文などが重要度が高い文となる。要
約率を５０％とした場合、この２つの文が重要文として
次のように抽出される。
【００１２】[文１]去年１年間に企業のリストラや倒産
などによって解雇された身体に障害のある人は、３０９
３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
などによって解雇された身体に障害のある人は、３０９
３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
【００１３】[文２]労働省によりますと、去年１年間に
リストラや倒産によって、解雇された身体に障害のある
人は，全国で３０９３人と３０００人を超え、およそ１
６００人だった前の年に比べて２倍近くに増えました。
リストラや倒産によって、解雇された身体に障害のある
人は，全国で３０９３人と３０００人を超え、およそ１
６００人だった前の年に比べて２倍近くに増えました。
【００１４】しかし、これら２つの文では「去年１年間
に企業のリストや．．．．解雇された身体に障害のある
人は」という部分が重複しており、意味的に同じことを
表現している。したがって、元の文章の情報量が落ちる
割合が大きいという欠点が従来の重要文抽出方法にはあ
り、抽出した重要文を要約として使用することは不適切
である。
に企業のリストや．．．．解雇された身体に障害のある
人は」という部分が重複しており、意味的に同じことを
表現している。したがって、元の文章の情報量が落ちる
割合が大きいという欠点が従来の重要文抽出方法にはあ
り、抽出した重要文を要約として使用することは不適切
である。
【００１５】このようなことが生じる原因は、放送ニュ
ースの第１文(文章の中の先頭の文）はリード文と呼ば
れ、文章全体の要約となっていることが多く、リード文
中の単語が他の文にも出現する傾向があるからに他なら
ない。むしろ情報が重複していない次の２文を重要文と
して抽出する方が情報が多く、重要文として優れてい
る。
ースの第１文(文章の中の先頭の文）はリード文と呼ば
れ、文章全体の要約となっていることが多く、リード文
中の単語が他の文にも出現する傾向があるからに他なら
ない。むしろ情報が重複していない次の２文を重要文と
して抽出する方が情報が多く、重要文として優れてい
る。
【００１６】<文１>去年１年間に企業のリストラや倒産
などによって解雇された身体に障害のある人は、３０９
３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
などによって解雇された身体に障害のある人は、３０９
３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
【００１７】<文３>また、障害のある人で仕事を探して
いる求職者も去年の３月に初めて１０万人を超えてその
後も増加を続け、現在は１１万人にのぼっているものと
見られます。
いる求職者も去年の３月に初めて１０万人を超えてその
後も増加を続け、現在は１１万人にのぼっているものと
見られます。
【００１８】そこで、本発明の目的は、抽出した重要文
全体の情報量を多くすることが出来る重要文抽出装置お
よび記録媒体を提供することにある。
全体の情報量を多くすることが出来る重要文抽出装置お
よび記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】このような目的を達成す
るために、請求項１の発明は、複数の文からなる文章か
ら重要文を抽出する重要文抽出装置において、文章の先
頭のリード文の中に含まれる単語と同義の単語の個数を
前記文章中の各文についてカウントするカウント手段
と、前記リード文の単語と同義の単語が少ないほど重要
度が高くなる重要度計算式が予め定められており、該重
要度計算式と前記カウント手段のカウント結果を使用し
て前記文章中の各文の重要度を計算する重要度計算手段
と、該重要度計算手段の計算結果に基づき、重要度の高
い所定数の文を前記文章中から抽出する文抽出手段とを
具えたことを特徴とする。
るために、請求項１の発明は、複数の文からなる文章か
ら重要文を抽出する重要文抽出装置において、文章の先
頭のリード文の中に含まれる単語と同義の単語の個数を
前記文章中の各文についてカウントするカウント手段
と、前記リード文の単語と同義の単語が少ないほど重要
度が高くなる重要度計算式が予め定められており、該重
要度計算式と前記カウント手段のカウント結果を使用し
て前記文章中の各文の重要度を計算する重要度計算手段
と、該重要度計算手段の計算結果に基づき、重要度の高
い所定数の文を前記文章中から抽出する文抽出手段とを
具えたことを特徴とする。
【００２０】請求項２の発明は、請求項１に記載の重要
文抽出装置において、前記文抽出手段は外部から要約率
の形態で抽出すべき文の数の指定を受けることを特徴と
する。
文抽出装置において、前記文抽出手段は外部から要約率
の形態で抽出すべき文の数の指定を受けることを特徴と
する。
【００２１】請求項３の発明は、複数の文からなる文章
から重要文を抽出する重要文抽出装置で実行するプログ
ラムを記録した記録媒体において、前記プログラムは、
文章の先頭のリード文の中に含まれる単語と同義の単語
の個数を前記文章中の各文についてカウントするカウン
トステップと、前記リード文の単語と同義の単語が少な
いほど重要度が高くなる重要度計算式が予め定められて
おり、該重要度計算式と前記カウント手段のカウント結
果を使用して前記文章中の各文の重要度を計算する重要
度計算ステップと、該重要度計算手段の計算結果に基づ
き、重要度の高い所定数の文を前記文章中から抽出する
文抽出ステップとを具えたことを特徴とする。
から重要文を抽出する重要文抽出装置で実行するプログ
ラムを記録した記録媒体において、前記プログラムは、
文章の先頭のリード文の中に含まれる単語と同義の単語
の個数を前記文章中の各文についてカウントするカウン
トステップと、前記リード文の単語と同義の単語が少な
いほど重要度が高くなる重要度計算式が予め定められて
おり、該重要度計算式と前記カウント手段のカウント結
果を使用して前記文章中の各文の重要度を計算する重要
度計算ステップと、該重要度計算手段の計算結果に基づ
き、重要度の高い所定数の文を前記文章中から抽出する
文抽出ステップとを具えたことを特徴とする。
【００２２】請求項４の発明は、請求項１に記載の記録
媒体において、前記文抽出ステップでは外部から要約率
の形態で抽出すべき文の数の指定を受けることを特徴と
する
媒体において、前記文抽出ステップでは外部から要約率
の形態で抽出すべき文の数の指定を受けることを特徴と
する
【００２３】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。
施の形態を詳細に説明する。
【００２４】本発明実施形態のシステム構成を図１に示
す。図１において、ｉ１は重要文を抽出する文書を入力
する端子である。ｉ２は要約率を入力する端子である。
ｏ１は抽出された重要文を出力する端子である。
す。図１において、ｉ１は重要文を抽出する文書を入力
する端子である。ｉ２は要約率を入力する端子である。
ｏ１は抽出された重要文を出力する端子である。
【００２５】形態素解析装置１は入力された文章の中の
文を単語に分割する。リード文単語検出装置２はリード
文に出現する単語がその文章の他の文中で出現する場所
を検出する。
文を単語に分割する。リード文単語検出装置２はリード
文に出現する単語がその文章の他の文中で出現する場所
を検出する。
【００２６】文重要度計算装置３はリード文検出装置で
検出された単語および予め用意された計算式に基づいて
リード文以外の文の重要度を計算する。重要度を計算す
る計算式については後述するが、この計算式は、リード
文に含まれる単語と同一の単語あるいは機能的に同一の
単語が多く含まれるほど、他の分の重要度が低くなるよ
うに定められていることに留意されたい。
検出された単語および予め用意された計算式に基づいて
リード文以外の文の重要度を計算する。重要度を計算す
る計算式については後述するが、この計算式は、リード
文に含まれる単語と同一の単語あるいは機能的に同一の
単語が多く含まれるほど、他の分の重要度が低くなるよ
うに定められていることに留意されたい。
【００２７】重要文検出装置４は文重要度計算装置３に
より計算された重要度の高い所定数の文を要約率で指定
される文の個数だけ、リード文以外の他の文中から選択
する。
より計算された重要度の高い所定数の文を要約率で指定
される文の個数だけ、リード文以外の他の文中から選択
する。
【００２８】図１のシステムの処理内容を図２に示す。
図２にしたがって、以下、重要文抽出による自動要約の
手順を説明する。
図２にしたがって、以下、重要文抽出による自動要約の
手順を説明する。
【００２９】Ｓ１では端子ｉ１から入力された文章の各
分の形態素解析を形態素解析装置１において行なう。こ
れにより入力された文章の各文は単語に分割される。
分の形態素解析を形態素解析装置１において行なう。こ
れにより入力された文章の各文は単語に分割される。
【００３０】Ｓ２はリード文単語検出装置２において実
行される処理を示し、Ｓ３〜Ｓ６は文重要度計算装置に
おいて実行される処理を示す。Ｓ２〜Ｓ５で、リード文
中の単語と他の文中の単語との間の最適な単語対応を求
める（後述）。このステップでは分割された単語には先
頭から順に単語番号、節番号、文番号が付される。Ｓ３
では、リード文中の単語と同じ単語（同一機能の単語を
含む）が他の文にあるかが調べられ、同じ単語が存在す
る場合には、その単語の単語番号、節番号、文番号が付
され、リード文中の単語と対応する単語の候補に設定さ
れる。
行される処理を示し、Ｓ３〜Ｓ６は文重要度計算装置に
おいて実行される処理を示す。Ｓ２〜Ｓ５で、リード文
中の単語と他の文中の単語との間の最適な単語対応を求
める（後述）。このステップでは分割された単語には先
頭から順に単語番号、節番号、文番号が付される。Ｓ３
では、リード文中の単語と同じ単語（同一機能の単語を
含む）が他の文にあるかが調べられ、同じ単語が存在す
る場合には、その単語の単語番号、節番号、文番号が付
され、リード文中の単語と対応する単語の候補に設定さ
れる。
【００３１】Ｓ４ではＳ３で求められた各単語に対して
それより前に位置する単語との単語位置間の距離を計算
する。Ｓ５ではＳ４で求められた、単語位置間の距離が
付された経路をリードの文頭から文末にかけてたどり、
その単語位置間の距離の和が最小となる最適経路を求め
る。
それより前に位置する単語との単語位置間の距離を計算
する。Ｓ５ではＳ４で求められた、単語位置間の距離が
付された経路をリードの文頭から文末にかけてたどり、
その単語位置間の距離の和が最小となる最適経路を求め
る。
【００３２】Ｓ６ではＳ５で求められた単語対応に基づ
き、各文の重要度を計算する。Ｓ７〜Ｓ９処理を繰り返
し実行して要約率以下になるまで、重要度が最も低いも
のから、リード文以外の他の文を捨てる。これにより、
要約率を満足する所定個数の複数の文を入力の文章から
抽出したことになる。
き、各文の重要度を計算する。Ｓ７〜Ｓ９処理を繰り返
し実行して要約率以下になるまで、重要度が最も低いも
のから、リード文以外の他の文を捨てる。これにより、
要約率を満足する所定個数の複数の文を入力の文章から
抽出したことになる。
【００３３】発明が解決しようとする課題の欄で説明し
た文１〜文５を例にして具体的な処理例を説明する。
た文１〜文５を例にして具体的な処理例を説明する。
【００３４】（文１）去年１年間に企業のリストラや倒
産などによって解雇された身体に障害のある人は、３０
９３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
産などによって解雇された身体に障害のある人は、３０
９３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
【００３５】（文２）労働省によりますと、去年１年間
にリストラや倒産によって、解雇された身体に障害のあ
る人は，全国で３０９３人と３０００人を超え、およそ
１６００人だった前の年に比べて２倍近くに増えまし
た。
にリストラや倒産によって、解雇された身体に障害のあ
る人は，全国で３０９３人と３０００人を超え、およそ
１６００人だった前の年に比べて２倍近くに増えまし
た。
【００３６】（文３）また、障害のある人で仕事を探し
ている求職者も去年の３月に初めて１０万人を超えてそ
の後も増加を続け、現在は１１万人にのぼっているもの
と見られます。
ている求職者も去年の３月に初めて１０万人を超えてそ
の後も増加を続け、現在は１１万人にのぼっているもの
と見られます。
【００３７】（文４）労働省によりますと、障害のある
人を解雇した企業は規模の小さいところが多く、不況の
影響で、リストラに踏み切り、その際解雇するケースが
目立つということです。
人を解雇した企業は規模の小さいところが多く、不況の
影響で、リストラに踏み切り、その際解雇するケースが
目立つということです。
【００３８】（文５）このため、労働省では、経営的に
体力のある規模の大きな企業に、障害者の人をもっと雇
用してもらうことが出来ないかどうかを検討していて、
具体策について日経連と協議を進めています。
体力のある規模の大きな企業に、障害者の人をもっと雇
用してもらうことが出来ないかどうかを検討していて、
具体策について日経連と協議を進めています。
【００３９】文章が端子ｉ１に入力され、要約率５０％
が端子ｉ２に入力されたものとする。Ｓ１の形態素解析
により、文章の先頭から下記のように単語単位に入力文
章が分割される。なお、空白部分が単語の区切れを示
す。 去年 １ 年間 に 企業 の リストラ や 倒産．．．． Ｓ２〜Ｓ５でリード文中の各単語と、他の文中の単語の
間の最適な単語対応が求められる。
が端子ｉ２に入力されたものとする。Ｓ１の形態素解析
により、文章の先頭から下記のように単語単位に入力文
章が分割される。なお、空白部分が単語の区切れを示
す。 去年 １ 年間 に 企業 の リストラ や 倒産．．．． Ｓ２〜Ｓ５でリード文中の各単語と、他の文中の単語の
間の最適な単語対応が求められる。
【００４０】Ｓ２ではＳ１で分割された各単語に対して
文章の先頭から順に単語番号、節番号、文番号が以下の
ように付される。ここで「節」とはたとえば、「、」な
どで囲まれた単語列の範囲とする。節番号は先頭の節の
順番に付される。文番号は先頭の文、すなわち、リード
文から順番に付される。 単語： 去年 １ 年間 に 企業 の リストラ や 倒産．．．． 単語番号：１ ２ ３ ４ ５ ６ ７ ８ ９ 節番号： １ １ １ １ １ １ １ １ １ 文番号： １ １ １ １ １ １ １ １ １ Ｓ３ではリード文中の各単語について同一の単語が他の
文中で検索される。検索により見つかった単語の単語番
号、節番号、文番号が求められる。検索された単語がリ
ード文中の単語対応の候補となる。本実施形態では下記
のように求められる。
文章の先頭から順に単語番号、節番号、文番号が以下の
ように付される。ここで「節」とはたとえば、「、」な
どで囲まれた単語列の範囲とする。節番号は先頭の節の
順番に付される。文番号は先頭の文、すなわち、リード
文から順番に付される。 単語： 去年 １ 年間 に 企業 の リストラ や 倒産．．．． 単語番号：１ ２ ３ ４ ５ ６ ７ ８ ９ 節番号： １ １ １ １ １ １ １ １ １ 文番号： １ １ １ １ １ １ １ １ １ Ｓ３ではリード文中の各単語について同一の単語が他の
文中で検索される。検索により見つかった単語の単語番
号、節番号、文番号が求められる。検索された単語がリ
ード文中の単語対応の候補となる。本実施形態では下記
のように求められる。
【００４１】
【表１】
【００４２】ここで、（）の中の数字は（単語番号，節
番号，文番号）を表している。たとえば、「去年」に対
応する（７７，２，２）は「２番目の文の、２番目の節
に存在する，７７番目の単語も「去年」であることを表
している。Ｓ４ではＳ３で求められた各単語候補に対し
て、それより前に位置する単語との単語位置間の距離を
計算する。この際に１つ前の単語に単語対応候補がなけ
れば、さらに１つ前の単語との距離を計算する。上述の
単語候補例では以下の線で結ばれた単語同士について単
語位置間距離を計算する。
番号，文番号）を表している。たとえば、「去年」に対
応する（７７，２，２）は「２番目の文の、２番目の節
に存在する，７７番目の単語も「去年」であることを表
している。Ｓ４ではＳ３で求められた各単語候補に対し
て、それより前に位置する単語との単語位置間の距離を
計算する。この際に１つ前の単語に単語対応候補がなけ
れば、さらに１つ前の単語との距離を計算する。上述の
単語候補例では以下の線で結ばれた単語同士について単
語位置間距離を計算する。
【００４３】
【表２】
【００４４】また、単語番号ｉである単語ｗｉと単語番
号ｊである単語ｗｊとの単語位置間はたとえば、次の式
distPost(wi,wj)で定義され、単語位置間の距離は付け
られた番号とその単語が含まれる節や文の番号に基づい
て計算される。
号ｊである単語ｗｊとの単語位置間はたとえば、次の式
distPost(wi,wj)で定義され、単語位置間の距離は付け
られた番号とその単語が含まれる節や文の番号に基づい
て計算される。
【００４５】
【数１】
【００４６】ここで、penaltyは定数、SentNo(w)は単語
wの文番号、PhraseNo(w)は単語wの節番号、PhraseNoMax
(w)は単語wが位置している文の中で最大となる節番号を
表す。
wの文番号、PhraseNo(w)は単語wの節番号、PhraseNoMax
(w)は単語wが位置している文の中で最大となる節番号を
表す。
【００４７】Ｓ５ではＳ４で求められた単語位置間の距
離が付された経路をリード文の先頭から文末にかけてた
どり単語位置間の距離の和が最小となる経路を求める。
上述の例では以下の経路が求まる。 （７７、２、２）→（７８，２，２）→（７９，２，
２）→（８０，２，２）→（１８９，２，４）→．．．
→（２７３，６，５）→（２７４，６，５）→（２７
５，６，５） この経路探索には動的計画法を使用すると計算が高速と
なる。
離が付された経路をリード文の先頭から文末にかけてた
どり単語位置間の距離の和が最小となる経路を求める。
上述の例では以下の経路が求まる。 （７７、２、２）→（７８，２，２）→（７９，２，
２）→（８０，２，２）→（１８９，２，４）→．．．
→（２７３，６，５）→（２７４，６，５）→（２７
５，６，５） この経路探索には動的計画法を使用すると計算が高速と
なる。
【００４８】Ｓ６ではＳ５で求める単語対応の過程で内
容語の個数およびリード文中の単語と同義（同一および
同一機能）の各文中の単語数がカウントされる。得られ
た内容語の個数や同義の単語数を使用して入力文章中の
各文の重要度をたとえば、以下の計算式で求める。
容語の個数およびリード文中の単語と同義（同一および
同一機能）の各文中の単語数がカウントされる。得られ
た内容語の個数や同義の単語数を使用して入力文章中の
各文の重要度をたとえば、以下の計算式で求める。
【００４９】
【数２】
【００５０】
【数３】
【００５１】
【数４】
【００５２】上記式において、他のある文Sentがリード
文の中のどの単語も含まない場合には、scoreWordCont
(Sent)およびscoreWordFunc(Sent)の値は０（ゼロ）と
なるので、重要度ScoreSent(Sent)の値は１００とな
り、重要度は最高となる。逆に他のある文Sentがリード
文の中と同一の単語を多数含む場合には、scoreWordCon
t(Sent)およびscoreWordFunc(Sent)の値が高くなるの
で、重要度ScoreSent(Sent)の値は小さくなる。
文の中のどの単語も含まない場合には、scoreWordCont
(Sent)およびscoreWordFunc(Sent)の値は０（ゼロ）と
なるので、重要度ScoreSent(Sent)の値は１００とな
り、重要度は最高となる。逆に他のある文Sentがリード
文の中と同一の単語を多数含む場合には、scoreWordCon
t(Sent)およびscoreWordFunc(Sent)の値が高くなるの
で、重要度ScoreSent(Sent)の値は小さくなる。
【００５３】上述の文２〜文５に対して重要度を計算す
ると以下の結果が得られた。 文２：３４．４ 文３：９５．７ 文４：８２．５ 文５：５９．０
ると以下の結果が得られた。 文２：３４．４ 文３：９５．７ 文４：８２．５ 文５：５９．０
【００５４】
【外１】
【００５５】このようにしてリード文を除いた各文の重
要度を計算すると、重要度の最も低い文２を入力の文章
から除き、要約率を計算する（Ｓ７）。要約率はたとえ
ば、残った分の総単語数／入力文章の単語数で計算でき
る。
要度を計算すると、重要度の最も低い文２を入力の文章
から除き、要約率を計算する（Ｓ７）。要約率はたとえ
ば、残った分の総単語数／入力文章の単語数で計算でき
る。
【００５６】計算した要約率が外部から入力された要約
率５％よりも大きい場合には（Ｓ８がＮＯ判定）、次に
重要度が低い文５を上記残った文から削除する。このよ
うにしてＳ７およびＳ８の処理を繰り返して、指定され
た要約率以下となるまで、重要度の低い文を排除する。
率５％よりも大きい場合には（Ｓ８がＮＯ判定）、次に
重要度が低い文５を上記残った文から削除する。このよ
うにしてＳ７およびＳ８の処理を繰り返して、指定され
た要約率以下となるまで、重要度の低い文を排除する。
【００５７】以上の処理を実行すると、下記の文が要約
として残る。
として残る。
【００５８】<文１>去年１年間に企業のリストラや倒産
などによって解雇された身体に障害のある人は、３０９
３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
などによって解雇された身体に障害のある人は、３０９
３人と、前の年に比べて２倍近くに増加し、労働省で
は、規模の大きい企業では障害者の人たちをもっと雇用
してもらうことが出来ないかどうか検討を進めていま
す。
【００５９】<文３>また、障害のある人で仕事を探して
いる求職者も去年の３月に初めて１０万人を超えてその
後も増加を続け、現在は１１万人にのぼっているものと
見られます。
いる求職者も去年の３月に初めて１０万人を超えてその
後も増加を続け、現在は１１万人にのぼっているものと
見られます。
【００６０】具体的な重要文抽出装置のシステム構成を
図３に示す。重要文抽出装置は市販のパソコンなどを使
用することができるので、説明は簡単にとどめる。図３
において１００は重要文抽出用プログラムを実行するＣ
ＰＵである。１０１はＣＰＵ１００に対して入出力する
データを記憶するシステムメモリである。１０２は重要
文抽出用プログラムを保存（インストール）しておくた
めのハードディスク（ＨＤＤ）である。１０３は入出力
インターフェース（Ｉ／Ｏ）であり、ＬＡＮやインター
ネットなどの通信回線を介して情報を入出力する。
図３に示す。重要文抽出装置は市販のパソコンなどを使
用することができるので、説明は簡単にとどめる。図３
において１００は重要文抽出用プログラムを実行するＣ
ＰＵである。１０１はＣＰＵ１００に対して入出力する
データを記憶するシステムメモリである。１０２は重要
文抽出用プログラムを保存（インストール）しておくた
めのハードディスク（ＨＤＤ）である。１０３は入出力
インターフェース（Ｉ／Ｏ）であり、ＬＡＮやインター
ネットなどの通信回線を介して情報を入出力する。
【００６１】１０４はＣＰＵ１００に対して情報入力を
行なうキーボードである。１０５は表示画面上の位置指
定を行なうことによりＣＰＵ１００に対して情報入力を
行なうマウスである。１０６は、上記回路から入力され
た情報やＣＰＵ１００の情報処理結果を表示するディス
プレイである。
行なうキーボードである。１０５は表示画面上の位置指
定を行なうことによりＣＰＵ１００に対して情報入力を
行なうマウスである。１０６は、上記回路から入力され
た情報やＣＰＵ１００の情報処理結果を表示するディス
プレイである。
【００６２】重要文抽出用プログラムは、図２に示す処
理を実行できるようプログラム言語で規定される。この
プログラムはＣＤＲＯＭ等の携帯用記録媒体からＨＤＤ
１０２にインストールされる。キーボード１０４または
マウス１０５による起動の指示で、重要文抽出用プログ
ラムはＨＤＤ１０２からシステムメモリ１０１にロード
され、ＣＰＵ１００により実行される。処理対象の文章
はキーボード１０４やＩ／Ｏ１０３あるいは不図示のフ
ロッピー（登録商標）ディスクを介して入力され、シス
テムメモリ１０１に記憶される。ＣＰＵ１００は重要文
抽出用プログラムにしたがって、図２の処理を実行し、
得られる重要文をディスプレイ１０６に出力する。
理を実行できるようプログラム言語で規定される。この
プログラムはＣＤＲＯＭ等の携帯用記録媒体からＨＤＤ
１０２にインストールされる。キーボード１０４または
マウス１０５による起動の指示で、重要文抽出用プログ
ラムはＨＤＤ１０２からシステムメモリ１０１にロード
され、ＣＰＵ１００により実行される。処理対象の文章
はキーボード１０４やＩ／Ｏ１０３あるいは不図示のフ
ロッピー（登録商標）ディスクを介して入力され、シス
テムメモリ１０１に記憶される。ＣＰＵ１００は重要文
抽出用プログラムにしたがって、図２の処理を実行し、
得られる重要文をディスプレイ１０６に出力する。
【００６３】上述の実施形態の他に次の形態を実施でき
る。 １）上述の実施形態では、放送ニュースのように文章と
してはデータ量がそれほど多くない場合に好適な事例で
あるが、文章量が多い場合には、リード文に関連のない
文も増え、リード文に含まれる単語をまったく含まない
文も多数ととなることが考えられる。このような場合に
は、リード文に含まれる単語の少なくとも１つを含む文
を文章中から探し出し、探し出した文の集合の中から、
本発明による重要文抽出処理を施すとよい。
る。 １）上述の実施形態では、放送ニュースのように文章と
してはデータ量がそれほど多くない場合に好適な事例で
あるが、文章量が多い場合には、リード文に関連のない
文も増え、リード文に含まれる単語をまったく含まない
文も多数ととなることが考えられる。このような場合に
は、リード文に含まれる単語の少なくとも１つを含む文
を文章中から探し出し、探し出した文の集合の中から、
本発明による重要文抽出処理を施すとよい。
【００６４】
【発明の効果】以上，説明したように本発明では、リー
ド文に含まれる単語と同じ単語は文の重要度が低くなる
ので、重複内容を持つ文は文章の中から抽出されず、も
って、抽出した重要文の情報量が従来よりも増加する。
ド文に含まれる単語と同じ単語は文の重要度が低くなる
ので、重複内容を持つ文は文章の中から抽出されず、も
って、抽出した重要文の情報量が従来よりも増加する。
【図１】本発明実施形態の構成を示すブロック図であ
る。
る。
【図２】本発明実施形態の処理手順を示すフローチャー
トである。
トである。
【図３】本発明実施例の具体的なシステム例を示すブロ
ック図である。
ック図である。
１ 形態素解析装置 ２ リード文単語検出装置 ３ 文重要度計算装置 ４ 重要文検出装置
Claims (4)
- 【請求項１】 複数の文からなる文章から重要文を抽出
する重要文抽出装置において、 文章の先頭のリード文の中に含まれる単語と同義の単語
の個数を前記文章中の各文についてカウントするカウン
ト手段と、 前記リード文の単語と同義の単語が少ないほど重要度が
高くなる重要度計算式が予め定められており、該重要度
計算式と前記カウント手段のカウント結果を使用して前
記文章中の各文の重要度を計算する重要度計算手段と、 該重要度計算手段の計算結果に基づき、重要度の高い所
定数の文を前記文章中から抽出する文抽出手段とを具え
たことを特徴とする重要文抽出装置。 - 【請求項２】 請求項１に記載の重要文抽出装置におい
て、前記文抽出手段は外部から要約率の形態で抽出すべ
き文の数の指定を受けることを特徴とする重要文抽出装
置。 - 【請求項３】 複数の文からなる文章から重要文を抽出
する重要文抽出装置で実行するプログラムを記録した記
録媒体において、前記プログラムは、 文章の先頭のリード文の中に含まれる単語と同義の単語
の個数を前記文章中の各文についてカウントするカウン
トステップと、 前記リード文の単語と同義の単語が少ないほど重要度が
高くなる重要度計算式が予め定められており、該重要度
計算式と前記カウント手段のカウント結果を使用して前
記文章中の各文の重要度を計算する重要度計算ステップ
と、 該重要度計算手段の計算結果に基づき、重要度の高い所
定数の文を前記文章中から抽出する文抽出ステップとを
具えたことを特徴とする記録媒体。 - 【請求項４】 請求項１に記載の記録媒体において、前
記文抽出ステップでは外部から要約率の形態で抽出すべ
き文の数の指定を受けることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000059503A JP4040233B2 (ja) | 2000-03-03 | 2000-03-03 | 重要文抽出装置および記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000059503A JP4040233B2 (ja) | 2000-03-03 | 2000-03-03 | 重要文抽出装置および記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001249948A true JP2001249948A (ja) | 2001-09-14 |
| JP4040233B2 JP4040233B2 (ja) | 2008-01-30 |
Family
ID=18579944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000059503A Expired - Fee Related JP4040233B2 (ja) | 2000-03-03 | 2000-03-03 | 重要文抽出装置および記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4040233B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008234049A (ja) * | 2007-03-16 | 2008-10-02 | Nippon Hoso Kyokai <Nhk> | 要約文生成装置及び要約文生成プログラム |
-
2000
- 2000-03-03 JP JP2000059503A patent/JP4040233B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008234049A (ja) * | 2007-03-16 | 2008-10-02 | Nippon Hoso Kyokai <Nhk> | 要約文生成装置及び要約文生成プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4040233B2 (ja) | 2008-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232112B (zh) | 文章中关键词提取方法及装置 | |
| US7398196B1 (en) | Method and apparatus for summarizing multiple documents using a subsumption model | |
| WO2009123260A1 (ja) | 共起辞書作成システムおよびスコアリングシステム | |
| JP2005174336A (ja) | 情報抽出のための一般化文字列パターンの学習および使用 | |
| CN108153728B (zh) | 一种关键词确定方法及装置 | |
| EP1575172A2 (en) | Compression of logs of language data | |
| JP4361299B2 (ja) | 評価表現抽出装置、プログラム、及び記憶媒体 | |
| JPH10340270A (ja) | 情報フィルタリング方法、情報フィルタリング装置、及び記録媒体 | |
| JP2003263441A (ja) | キーワード決定データベース作成方法、キーワード決定方法、装置、プログラム、および記録媒体 | |
| JP2000259653A (ja) | 音声認識装置及び音声認識方法 | |
| JPH1139313A (ja) | 文書自動分類システム、文書分類向け知識ベース生成方法及びそのプログラムを記録した記録媒体 | |
| JP2001249948A (ja) | 重要文抽出装置および記憶媒体 | |
| JP2002183194A (ja) | 検索式生成装置およびその方法 | |
| JP2001147923A (ja) | 類似文書検索装置、類似文書検索方法及び記録媒体 | |
| JP4985096B2 (ja) | 文書解析システム、および文書解析方法、並びにコンピュータ・プログラム | |
| JP3558854B2 (ja) | データ検索装置及びコンピュータ読み取り可能な記録媒体 | |
| JP2002073644A (ja) | 重要文抽出処理装置、重要文抽出処理方法、および重要文抽出処理プログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
| JP2007058415A (ja) | テキストマイニング装置、テキストマイニング方法、およびテキストマイニング用プログラム | |
| JP3744136B2 (ja) | 訳語選択装置と記憶媒体 | |
| JPH10177575A (ja) | 語句抽出装置および方法、情報記憶媒体 | |
| JP5409321B2 (ja) | 情報評価装置、情報評価方法、及び情報評価プログラム | |
| JP2001142897A (ja) | 文書検索装置、文書検索方法、文書検索システム及び文書検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN108052508B (zh) | 一种信息抽取方法及装置 | |
| JP2000090110A (ja) | 全文検索方法、装置、および全文検索プログラムを記録した記録媒体 | |
| JP2006039811A (ja) | ドキュメント管理プログラム、ドキュメント管理方法、及びドキュメント管理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070803 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |