JP2021180003A - Learning data generation method and device - Google Patents
Learning data generation method and device Download PDFInfo
- Publication number
- JP2021180003A JP2021180003A JP2021103281A JP2021103281A JP2021180003A JP 2021180003 A JP2021180003 A JP 2021180003A JP 2021103281 A JP2021103281 A JP 2021103281A JP 2021103281 A JP2021103281 A JP 2021103281A JP 2021180003 A JP2021180003 A JP 2021180003A
- Authority
- JP
- Japan
- Prior art keywords
- text
- learning
- learning data
- data generation
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
本発明は、学習データ生成方法および装置に関し、詳しくは、テキスト文章から要約を作成するテキスト要約システムにおける学習モデルの機械学習による作成に用いる学習データの生成技術に関する。 The present invention relates to a learning data generation method and an apparatus, and more particularly to a learning data generation technique used for creating a learning model by machine learning in a text summarization system for creating a summary from text sentences.
機械学習を用いてテキスト文章の要約を自動的に生成する技術が検討されている。要約を生成する手法には、大別して、抽出型と生成型とがある。抽出型では、例えば、要約の対象となる文章に含まれる重要度の高い単語や文等を抽出し、これらを組み合わせることで要約を作成する。一方、生成型では、例えば、文章を所定の中間表現に変換し、これに基づいて自然言語生成の技術を用いて要約を作成する。現在では、一般的には抽出型の手法が広く研究されており、精度を向上させるための各種の手法が提案されている。 Techniques are being studied that automatically generate summaries of text sentences using machine learning. The methods for generating summaries are roughly classified into extraction type and generation type. In the extraction type, for example, words and sentences with high importance contained in the sentence to be summarized are extracted, and a summary is created by combining these. On the other hand, in the generation type, for example, a sentence is converted into a predetermined intermediate representation, and a summary is created based on this using a technique of natural language generation. At present, extraction-type methods are generally studied widely, and various methods for improving accuracy have been proposed.
例えば、特開2016−186772号公報(特許文献1)には、要約(短縮文)を作成する対象の文章に含まれる構成要素間を文法的または概念的関係に基づいて連結したツリー構造で表現するとともに、構成要素間のそれぞれの連結に、短縮文に残存する度合いとして得られた結合度を付加し、結合度に基づいて短縮文に含める構成要素を抽出して短縮文を作成することで、自然な短縮文を生成する旨が記載されている。 For example, Japanese Patent Application Laid-Open No. 2016-186772 (Patent Document 1) expresses a tree structure in which components included in a sentence for which a summary (abbreviated sentence) is created are connected based on a grammatical or conceptual relationship. At the same time, by adding the degree of coupling obtained as the degree of remaining in the abbreviated sentence to each connection between the components, and extracting the components to be included in the abbreviated sentence based on the degree of coupling, the abbreviated sentence is created. , It is stated that a natural abbreviation is generated.
抽出型の手法では、要約に含まれる単語や文は、原則として原文に含まれる単語や文に制約される。したがって、文章を短縮した場合に不自然な表現や文法的に適切でない要約となってしまう場合がある。これに対し、生成型の手法については、自然な表現を用いることが可能であるが、精度の高い自然言語生成の技術が必要となる等の課題を有している。しかし近年では、例えば、非特許文献1に記載されているような研究もなされており、プログラムやライブラリ等も一般に利用可能となっている。
In the extraction type method, the words and sentences contained in the summary are, in principle, restricted to the words and sentences contained in the original sentence. Therefore, shortening the text may result in unnatural expressions or grammatically inappropriate summaries. On the other hand, although it is possible to use a natural expression for the generation type method, there is a problem that a highly accurate natural language generation technique is required. However, in recent years, for example, research as described in Non-Patent
抽出型・生成型に関わらず、従来技術のテキスト文章の自動要約技術では、機械学習により生成された学習モデルを用いることで、ある程度の精度の要約を自動的に生成することができる。しかし、精度として十分ではない場合も多く、例えば、原文に含まれる単語等のうち、要約にも現れてほしい重要なものがあるにも関わらず、要約に現れてこないという場合がある等、精度についての改善の余地は多く存在する。 Regardless of whether it is an extraction type or a generation type, the conventional automatic summarization technique for text sentences can automatically generate a summary with a certain degree of accuracy by using a learning model generated by machine learning. However, there are many cases where the accuracy is not sufficient. For example, among the words contained in the original text, there are cases where some important words that you want to appear in the summary do not appear in the summary. There is a lot of room for improvement.
そこで本発明の目的は、テキスト文章の自動要約の精度をより向上させることを可能とするテキスト要約システムを提供することにある。 Therefore, an object of the present invention is to provide a text summarization system capable of further improving the accuracy of automatic summarization of text sentences.
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the invention will become apparent from the description and accompanying drawings herein.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 A brief description of the representative inventions disclosed in the present application is as follows.
本発明の代表的な実施の形態による学習データ生成方法は、要約に係る学習モデルに基づいてテキスト文章から要約を作成するテキスト要約システムにおける前記学習モデルの機械学習による作成に用いる学習データを生成する学習データ生成方法であって、学習データ生成処理ステップを備え、前記テキスト要約システムは、要約対象テキストに対して、所定の加工を行う第1の処理を実行する前処理部と、前記前処理部により前記第1の処理がなされた前記要約対象テキストに対して、前記学習モデルに基づいて要約テキストを作成する要約作成部と、前記要約テキストに対して、前記所定の加工の内容を復元する第2の処理を実行して出力する後処理部と、を有する。 The learning data generation method according to a typical embodiment of the present invention generates learning data used for creating the learning model by machine learning in a text summarization system that creates a summary from a text sentence based on a learning model related to the summary. A learning data generation method comprising a learning data generation processing step, the text summarization system includes a preprocessing unit that executes a first process of performing a predetermined process on the text to be summarized, and the preprocessing unit. A summary creation unit that creates a summary text based on the learning model for the summary target text that has been subjected to the first process, and a second that restores the content of the predetermined processing for the summary text. It has a post-processing unit that executes and outputs the processing of 2.
そして、前記第1の処理は、テキストに含まれる各語句に対して、それぞれ、当該語句の出現頻度または希少度を表す重要度を示す情報を付加する処理を含み、前記第2の処理は、前記要約テキストにおける前記重要度を示す情報を削除する処理を含み、前記学習データ生成処理ステップでは、原文とその要約を含む複数の学習用テキストに対して、前記第1の処理を行って学習データを生成する。 The first process includes a process of adding information indicating the importance indicating the frequency or rarity of the phrase to each word included in the text, and the second process includes the process of adding information indicating the importance indicating the frequency or rarity of the phrase. In the learning data generation processing step, the first processing is performed on a plurality of learning texts including the original text and the summary thereof, and the learning data includes a process of deleting the information indicating the importance in the summary text. To generate.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, the effects obtained by representative ones are briefly described as follows.
すなわち、本発明の代表的な実施の形態によれば、テキスト文章の自動要約の精度をより向上させることが可能となる。 That is, according to a typical embodiment of the present invention, it is possible to further improve the accuracy of automatic summarization of text sentences.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, in all the drawings for explaining the embodiment, the same parts are in principle the same reference numerals, and the repeated description thereof will be omitted. On the other hand, the parts described with reference numerals in one figure may be referred to with the same reference numerals in the explanation of other figures, although they are not shown again.
<システム構成>
図1は、本発明の一実施の形態であるテキスト要約システムの構成例について概要を示した図である。本実施の形態のテキスト要約システム1は、機械学習により生成した学習モデルに基づいてニュース記事等のテキスト文章の要約を自動的に生成して出力する機能を有するサーバシステムである。
<System configuration>
FIG. 1 is a diagram showing an outline of a configuration example of a text summarization system according to an embodiment of the present invention. The
テキスト要約システム1は、例えば、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成される。そして、図示しないCPU(Central Processing Unit)により、HDD(Hard Disk Drive)等の記録装置からメモリ上に展開したOS(Operating System)やDBMS(DataBase Management System)、Webサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、自動要約に係る後述する各種機能を実現する。
The
テキスト要約システム1は、例えば、ソフトウェアとして実装された学習用前処理部11、学習モデル作成部14、前処理部16、要約作成部18、および後処理部19等の各部を有する。また、データベースやファイル等として実装された学習データ12、語彙データ13、学習モデル15、および置換データ17等の各データを有する。学習用前処理部11、および学習モデル作成部14は、機械学習における教師データとなる学習用テキスト2に基づいて、機械学習により事前に学習モデル15を生成する機能を有する。また、前処理部16、要約作成部18、および後処理部19は、要約作成の対象となる要約対象テキスト3について、学習モデル15に基づいて要約テキスト4を生成して出力する機能を有する。
The
なお、教師データとなる学習用テキスト2には、要約対象の原文と、正解である要約結果とが含まれている。このような文章としては、例えば、ニュース記事がある。この場合、要約対象となるニュース原文に対して、当該ニュースのタイトルや見出し等を正解である要約結果として用いることができる。本実施の形態では、学習用テキスト2や要約対象テキスト3としてニュース記事を対象に説明するが、これに限られるものではなく、各種の文章に適用することができる。
The
学習用前処理部11は、入力となる学習用テキスト2に対して、各種の前処理を施して、機械学習エンジンに入力するために正規化された学習データ12(および語彙データ13)を準備する機能を有する。前処理の具体的な内容については後述する。学習モデル作成部14は、学習用前処理部11により作成された学習データ12、および語彙データ13を入力として、自然言語処理の所定のアルゴリズムを用いて機械学習を行い、要約生成のための学習モデル15を生成する機能を有する。
The learning preprocessing
機械学習エンジンや自然言語処理のアルゴリズムについては、公知の技術を適宜使用することができる。本実施の形態では、上述の非特許文献1に記載された技術を参照し、例えば、機械学習エンジンとして、Google社が提供するオープンソースの機械学習ライブラリであるTensorflow(登録商標、以下同様)を用いる。また、この上で用いる自然言語処理(文章自動要約)のアルゴリズムとして、オープンソースとして提供されているTextsumのプログラムを用いる。これにより、例えば、ディープラーニングや、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)、Sequence to Sequenceモデル、Sequence to Sequence with attentionモデル等の技術を自動要約の際に適用することが可能となる。
Known techniques can be appropriately used for machine learning engines and algorithms for natural language processing. In this embodiment, referring to the technique described in Non-Patent
前処理部16は、要約作成の対象となる要約対象テキスト3に対して、上記の学習用前処理部11の一部と同様の各種前処理を施して、学習モデル15を適用するために正規化する機能を有する。この前処理の具体的な内容については後述するが、このとき、所定の単語等については、所定の語句や記号等への置換処理が行われ、その結果や内容に係る情報が置換データ17として記録される。
The preprocessing
要約作成部18は、前処理部16により正規化された要約対象テキスト3に対して機械学習エンジンにより学習モデル15を適用して要約を作成する機能を有する。このとき、学習用前処理部11により作成された語彙データ13も利用する。機械学習エンジンには、上記と同様に、例えば、Tensorflowを用いる。なお、ここでの要約は、前処理部16により行われた置換結果に係る語句や記号等を含んだ状態で作成される。
The summary creation unit 18 has a function of applying a
後処理部19は、前処理部16において記録された置換データ17に基づいて、要約作成部18により作成された要約における置換結果に係る語句や記号等を元の単語等に置換・復元するとともに、必要に応じて文章の外観を成形して、要約テキスト4として出力する機能を有する。なお、後処理部19では、前処理部16による要約対象テキスト3に対する置換結果を元の単語等に置換・復元して要約テキスト4を出力しているが、この要約結果を検証するために、同様の後処理を上述の学習モデル作成部14においても行って、学習用テキスト2に対する学習用前処理部11による置換結果を元の単語等に置換・復元するようにしてもよい。
The
<処理の流れ(学習処理)>
図2は、本実施の形態における事前の学習処理の流れの例について概要を示したフローチャートである。学習処理では、まず、学習用前処理部11により、ニュース記事等の学習用テキスト2を読み込み、全ての記事について形態素解析を行って品詞分解を行う(S01)。形態素解析は、例えば、ChaSen(茶筌)やMeCab(和布蕪)等の一般に入手可能なものも含む各種のプログラムやライブラリを適宜用いて行うことができる。品詞分解により分割した単語や語句の情報の保持方法については特に限定されないが、例えば、学習用テキスト2における対象の単語や語句の区切りの部分に空白を挿入する「分かち書き」により学習用テキスト2に反映させるようにしてもよい。
<Process flow (learning process)>
FIG. 2 is a flowchart showing an outline of an example of the flow of the prior learning process in the present embodiment. In the learning process, first, the learning
次に、単語等に分割された状態の学習用テキスト2に対して、学習モデル15の精度を向上させるための各種の置換処理等の前処理を行う(S02)。前処理の内容については後述するが、例えば、学習用テキスト2中に含まれる数値の記載を、桁数も考慮して「#」等の記号に置換する。また、図示しない辞書データベース等を用いて同義語の表記を統一するように置換してもよい。また、英文の大文字小文字や全角半角を変換して統一するように置換してもよい。このような表記の統一による正規化により、学習用テキスト2において同内容の単語等を集約し、サンプルとしての精度を向上させることができる。単語等の置換に限らず、各単語等に対して重要度等の情報を示すラベルの付加等を行うようにしてもよい。
Next, the
その後、正規化された学習用テキスト2に含まれる各文章について、所定の選別基準に基づいてノイズ等の不適切な文章を除外するデータクレンジング処理を行う(S03)。例えば、学習用テキスト2がニュース記事である場合、要約対象の文章である記事本文に対して、記事のタイトルは正解の要約テキストに相当するが、このタイトルに含まれる名詞が記事本文に含まれていないものばかりである場合は、記事本文に対してタイトルが適切ではないと判断することができる。そこで、例えば、タイトルに含まれる名詞の一定割合(例えば80%)以上が記事本文にも含まれている文章のみを選別して、これを学習用テキスト2として用いるようにしてもよい。データクレンジングにより残った学習用テキスト2については、これを学習データ12として記録する(S04)。
After that, for each sentence included in the normalized
このとき、学習データ12に基づいて、これに含まれる各単語等に係るメタデータ等の各種情報を保持する語彙データ13を併せて生成する(S05)。機械学習エンジンとしてTensorflowを用い、文章自動要約のアルゴリズムとしてTextsumのプログラムを用いる場合、この語彙データ13は、「vocab」ファイルとして作成する。
At this time, based on the learning
そして、ステップS04、S05で得られた学習データ12および語彙データ13を入力として、学習モデル作成部14により所定の設定条件に基づいて機械学習エンジンによる機械学習を行い、学習モデル15を作成して(S07)、学習処理を終了する。所定の設定条件としては、例えば、学習データ12の各文章のうち、文頭の2〜3文のみを要約の対象とする等の条件を設定することができる。
Then, using the learning
<処理の流れ(要約作成処理)>
図3は、本実施の形態における要約作成処理の流れの例について概要を示したフローチャートである。要約作成処理では、まず、前処理部16により、ニュース記事等の要約対象テキスト3を読み込み、形態素解析を行って品詞分解を行う(S11)。この処理は、図2の学習処理におけるステップS01の処理と同様である。次に、単語等に分割された状態の要約対象テキスト3に対して、図2の学習処理におけるステップS02の処理と同様の前処理を行う(S12)。このとき、要約対象テキスト3に含まれる単語等に対して置換を行った場合、置換された単語等の内容や、文章内での出現順序、位置、桁数、単位等の情報を置換データ17として記録しておく。
<Process flow (summary creation process)>
FIG. 3 is a flowchart showing an outline of an example of the flow of the summary creation process in the present embodiment. In the summary creation process, first, the preprocessing
その後、前処理による正規化が行われた要約対象テキスト3を入力として、要約作成部18により、図2の学習処理により作成された学習モデル15を適用して、機械学習エンジンにより要約を作成する(S13)。このとき、上述の図2のステップS05において生成された語彙データ13も利用する。学習処理と同様に、機械学習エンジンとしてTensorflowを用いることができる。その後、作成された要約の中における置換やラベルの付加等の正規化の内容を、後処理部19により、置換データ17を参照して元の単語等に置換・復元し、必要に応じて文章の外観を成形する後処理を行って、要約テキスト4として出力し(S14)、要約作成処理を終了する。
After that, the
<前処理/後処理の例>
図4は、本実施の形態における前処理および後処理の例について概要を示した図である。ここでは、学習用テキスト2や要約対象テキスト3に各種の数値が含まれている場合の例について示している。ニュース記事等の文章には、値も桁も異なる多くの種類の数値が含まれている場合があるが、これらの語句を全て異なる語句として取り扱うと、学習用テキスト2においてサンプルが発散して膨大な数となり、語彙データ13の件数も増えるため、学習モデル15の精度が低下するとともに学習処理の負荷も増大してしまう。
<Example of pre-processing / post-processing>
FIG. 4 is a diagram showing an outline of an example of pretreatment and posttreatment in the present embodiment. Here, an example is shown in which various numerical values are included in the
そこで、本実施の形態では、学習時および要約作成時の前処理(図2のステップS02、図3のステップS12)において数値を「#」等の記号に置換する。例えば、図4の最上段の文章(分かち書きされた学習用テキスト2および要約対象テキスト3)には、「12月」と「0.3%」という数値を含む語句が含まれている。この数値部分をそれぞれ、図4の上から2段目の文章のように、「##月」と「#.#%」のように「#」により置換する。
Therefore, in the present embodiment, the numerical value is replaced with a symbol such as "#" in the preprocessing (step S02 in FIG. 2 and step S12 in FIG. 3) at the time of learning and at the time of summarizing. For example, the sentence at the top of FIG. 4 (divided learning
学習モデル作成(図2のステップS07)、および要約作成(図3のステップS13)の処理では、それぞれ、「#」により置換された状態の文章に対して処理を行い、学習モデル15の作成、および要約の作成を行う。このとき、要約の文章には、図4の上から3段目の文章のように、「##月」および「#.#%」の語句が残存することになる。
In the processes of creating the learning model (step S07 in FIG. 2) and creating the summary (step S13 in FIG. 3), each of the sentences in the state replaced by "#" is processed to create the
本実施の形態では、これらの語句を要約作成時の後処理(図3のステップS14)において元の単語等に戻す。そのために、要約作成時の前処理(図3のステップS12)において数値を「#」等の記号に置換した際に、置換した数値や文章内の出現位置、桁数、単位等の復元のための情報を置換データ17に記録しておき、これを後処理時に参照する。これにより図4の最下段の文章のように元の数値を含む要約テキスト4を作成することができる。
In the present embodiment, these words and phrases are returned to the original words and the like in the post-processing (step S14 in FIG. 3) at the time of summarizing. Therefore, when a numerical value is replaced with a symbol such as "#" in the preprocessing at the time of summarization (step S12 in FIG. 3), the replaced numerical value and the appearance position, the number of digits, the unit, etc. in the sentence are restored. Information is recorded in the
図5は、本実施の形態における前処理および後処理の他の例について概要を示した図である。ここでは、学習用テキスト2や要約対象テキスト3に含まれる単語等に対して重要度の情報をラベルとして付加する場合の例について示している。ニュース記事等に含まれる各単語等は、それぞれ、要約作成という観点での重要度が異なる。そこで、本実施の形態では、要約作成において各単語等の重要度を考慮することができるよう、学習時および要約作成時の前処理(図2のステップS02、図3のステップS12)において重要度の情報を示すラベルを各単語等に付加して一体の単語等とし、これを対象に機械学習の処理を行うものとする。
FIG. 5 is a diagram showing an outline of other examples of pretreatment and posttreatment in the present embodiment. Here, an example of adding importance information as a label to a word or the like included in the
例えば、図5の最上段の文章(上述の数値置換が行われた結果の学習用テキスト2および要約対象テキスト3)に対して、図5の上から2段目の文章のように、重要度を示すラベルとして「_X」(X=0〜2)の記号を各単語等の末尾にそれぞれ付加して変換する。図5の例では、例えば、「欧州中央銀行」という単語に重要度X=0の「_0」のラベルが付加されて「欧州中央銀行_0」という語句に変換されている。同様に、例えば、「ユーロ」という単語に重要度X=2の「_2」のラベルが付加されて「ユーロ_2」に変換されている。なお、図5の例では、重要度を示すXを、0(重要ではない)<1(通常)<2(重要)のように3種類に区分して設定しているが、これに限られず、他の値や区分方法であってもよい。
For example, the importance of the uppermost sentence in FIG. 5 (the
各単語等の重要度は、文章中の単語の重要度を示す指標として一般的に用いられているTF−IDF(Term Frequency - Inverse Document Frequency)値を算出して用いることができる。例えば、算出したTF−IDF値を所定の範囲毎に区分して、上記の0〜2の重要度を設定する。 The importance of each word or the like can be used by calculating a TF-IDF (Term Frequency --Inverse Document Frequency) value that is generally used as an index indicating the importance of a word in a sentence. For example, the calculated TF-IDF value is divided into predetermined ranges, and the importance of 0 to 2 is set.
学習モデル作成(図2のステップS07)、および要約作成(図3のステップS13)の処理では、それぞれ、単語等の重要度を示すラベルが付加された状態の文章に対して処理を行う、すなわち、各単語等の重要度を考慮した形で学習モデル15の作成、および要約の作成を行う。このとき、要約の文章には、図5の上から3段目の文章のように、「_0」や「_2」等のラベルが付された語句が残存することになる。
In the process of creating the learning model (step S07 in FIG. 2) and the process of creating the summary (step S13 in FIG. 3), each process is performed on the sentence in which the label indicating the importance of the word or the like is attached. , The
本実施の形態では、これらの語句を要約作成時の後処理(図3のステップS14)において元の単語等に戻す。すなわち、文章中の各単語等から、「_0」や「_2」等の重要度を示すラベル部分を全て削除する。これにより図5の最下段の文章のように元の単語等による要約テキスト4を作成することができる。
In the present embodiment, these words and phrases are returned to the original words and the like in the post-processing (step S14 in FIG. 3) at the time of summarizing. That is, all the label portions indicating the importance such as "_0" and "_2" are deleted from each word or the like in the sentence. As a result, it is possible to create a
図6は、本実施の形態における前処理および後処理の他の例について概要を示した図である。ここでは、学習用テキスト2や要約対象テキスト3に各種の固有名詞を含む名詞が含まれている場合の例について示している。ニュース記事等の文章には、異なる単語であるが同一の品詞であるものが複数存在する場合がある。例えば、「野村さんは、アメリカよりフランスに住みたい。」という文章には、「野村」、「アメリカ」、「フランス」という固有名詞が含まれている。ここで、「野村」は人名であるが、「アメリカ」と「フランス」はともに国名である。これらの語句を全て異なる語句として取り扱うと、文章中に数値を含む場合と同様に、学習用テキスト2においてサンプルが発散して膨大な数となり、学習モデル15の精度が低下するとともに学習処理の負荷も増大してしまう。
FIG. 6 is a diagram showing an outline of other examples of pretreatment and posttreatment in the present embodiment. Here, an example is shown in the case where the
そこで、本実施の形態では、学習時および要約作成時の前処理(図2のステップS02、図3のステップS12)において、名詞(特に固有名詞)を品詞情報を示す語句に置換する。すなわち、上記の例では、例えば、「野村」を「_固有名詞人名姓*1」、「アメリカ」を「_固有名詞地域国*1」、「フランス」を「_固有名詞地域国*2」のようにそれぞれ置換する。これにより、例えば、「アメリカ」と「フランス」は異なる単語ではあるが、品詞としては同一のもの(「固有名詞地域国」)として取り扱うことができる。 Therefore, in the present embodiment, nouns (particularly proper nouns) are replaced with words and phrases indicating part-speech information in the preprocessing during learning and summarization (step S02 in FIG. 2 and step S12 in FIG. 3). That is, in the above example, for example, "Nomura" is "_proprietary noun person's first and last name * 1", "America" is "_proprietary noun region country * 1", and "France" is "_proprietary noun region country * 2". Replace each as follows. Thereby, for example, "America" and "France" are different words, but they can be treated as the same part of speech ("proprietary noun region country").
なお、本実施の形態では、「アメリカ」や「フランス」等の「国」が異なる場合でも、「国」レベルの同じ固有名詞として取り扱うものとしているが、これに限られず、同じ取り扱いをする単位・レベルは適宜設定することができる。例えば、「地域」レベルや「都市」レベル等で同じ固有名詞として取り扱うようにしてもよいが、細分化が過剰となると要約の精度が低下するため、細分化は適当なレベルに止めるのが望ましい。 In this embodiment, even if the "country" such as "America" or "France" is different, it is treated as the same proper noun at the "country" level, but the unit is not limited to this and is treated in the same way. -The level can be set as appropriate. For example, it may be treated as the same proper noun at the "region" level, "city" level, etc., but it is desirable to stop the subdivision to an appropriate level because the accuracy of summarization will decrease if the subdivision is excessive. ..
図6の例では、例えば、最上段の文章(上述の数値置換が行われた結果の学習用テキスト2および要約対象テキスト3)には、「財務省」や「貿易統計」、「貿易黒字」等の固有名詞の語句が含まれている。この固有名詞部分をそれぞれ、図6の上から2段目の文章のように、「_固有名詞組織*1」や「_固有名詞一般*1」、「_固有名詞一般*2」等の品詞情報を示す語句に置換する。ここでは、「固有名詞組織」や「固有名詞一般」等の品詞情報に加えて、「*1」や「*2」等の出現順序・位置の情報についても含んでいる。
In the example of FIG. 6, for example, the top sentence (learning
学習モデル作成(図2のステップS07)、および要約作成(図3のステップS13)の処理では、それぞれ、品詞情報を示す語句により置換された状態の文章に対して処理を行い、学習モデル15の作成、および要約の作成を行う。このとき、要約の文章には、図6の上から3段目の文章のように、「_固有名詞組織*1」や「_固有名詞一般*1」等の語句が残存することになる。
In the processes of creating the learning model (step S07 in FIG. 2) and creating the summary (step S13 in FIG. 3), each process is performed on the sentence in the state of being replaced by the phrase indicating the part-of-speech information, and the
本実施の形態では、これらの語句を要約作成時の後処理(図3のステップS14)において元の単語等に戻す。そのために、要約作成時の前処理(図3のステップS12)において固有名詞等を「_固有名詞組織*1」等の記号に置換した際に、置換した固有名詞の内容や文章内の出現位置等の復元のための情報を置換データ17に記録しておき、これを後処理時に参照する。これにより図6の最下段の文章のように元の固有名詞等を含む要約テキスト4を作成することができる。
In the present embodiment, these words and phrases are returned to the original words and the like in the post-processing (step S14 in FIG. 3) at the time of summarizing. Therefore, when the proper noun or the like is replaced with a symbol such as "_proprietary noun organization * 1" in the preprocessing at the time of summarization (step S12 in FIG. 3), the content of the replaced proper noun and the appearance position in the sentence. Information for restoration such as is recorded in the
以上に説明したように、本発明の一実施の形態であるテキスト要約システム1によれば、機械学習を行う前の学習用テキスト2や要約対象テキスト3に対して、前処理の際に、数値を所定の記号に置換したり、各単語等に重要度を示すラベルを付加したり、固有名詞等を所定の語句に置換したり等の所定の加工を行い、加工された文章に対して学習モデル15の作成や要約の作成の処理を行う。そして、作成された要約に含まれる加工内容(置換・付加された記号や語句)を元の単語等に戻すことで、最終的な要約テキスト4を得る。これにより、学習データ12のサンプルとしての発散を回避し、単語の重要度を加味して学習モデル15を生成することで要約作成における精度を向上させることができる。
As described above, according to the
本発明者らは、学習用テキスト2や要約対象テキスト3としてニュース記事を対象とし、要約テキスト4を実際に作成した上で、新聞記事等の自動要約に対する評価指標として広く用いられているRouge(Recall-Oriented Understudy for Gisting Evaluation)−1の値を算出して比較を行った。これによると、前処理において上記のような正規化を行わない場合のRouge−1の平均値が0.3〜0.4程度であるのに対し、上記のような正規化を個別に、もしくは1つ以上組み合わせて適用することで、Rouge−1の平均値を最大で0.6〜0.7程度に向上させることが可能であるという結果が得られた。
The present inventors target news articles as learning
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 Although the invention made by the present inventor has been specifically described above based on the embodiment, the present invention is not limited to the above embodiment and can be variously modified without departing from the gist thereof. Needless to say. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to add / delete / replace a part of the configuration of the above embodiment with another configuration.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD(Solid State Drive)等の記録装置、またはICカード、SDカード、DVD等の記録媒体に置くことができる。 Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
また、上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。 Further, in each of the above figures, the control lines and information lines are shown as necessary for explanation, and do not necessarily show all the control lines and information lines in mounting. In practice, it can be considered that almost all configurations are interconnected.
本発明は、機械学習により生成された学習モデルに基づいて要約を作成するテキスト要約システムに利用可能である。 The present invention can be used in a text summarization system that creates summaries based on a learning model generated by machine learning.
1…テキスト要約システム、2…学習用テキスト、3…要約対象テキスト、4…要約テキスト、11…学習用前処理部、12…学習データ、13…語彙データ、14…学習モデル作成部、15…学習モデル、16…前処理部、17…置換データ、18…要約作成部、19…後処理部。 1 ... text summarization system, 2 ... learning text, 3 ... summarizing text, 4 ... summarizing text, 11 ... learning preprocessing section, 12 ... learning data, 13 ... vocabulary data, 14 ... learning model creation section, 15 ... Learning model, 16 ... pre-processing unit, 17 ... replacement data, 18 ... summary creation unit, 19 ... post-processing unit.
Claims (7)
学習データ生成処理ステップを備え、
前記テキスト要約システムは、
要約対象テキストに対して、所定の加工を行う第1の処理を実行する前処理部と、
前記前処理部により前記第1の処理がなされた前記要約対象テキストに対して、前記学習モデルに基づいて要約テキストを作成する要約作成部と、
前記要約テキストに対して、前記所定の加工の内容を復元する第2の処理を実行して出力する後処理部と、を有し、
前記第1の処理は、テキストに含まれる各語句に対して、それぞれ、当該語句の出現頻度または希少度を表す重要度を示す情報を付加する処理を含み、
前記第2の処理は、前記要約テキストにおける前記重要度を示す情報を削除する処理を含み、
前記学習データ生成処理ステップでは、原文とその要約を含む複数の学習用テキストに対して、前記第1の処理を行って学習データを生成する、
学習データ生成方法。 It is a learning data generation method that generates learning data used for creating the learning model by machine learning in a text summarization system that creates a summary from a text sentence based on a learning model related to the summary.
Equipped with training data generation processing steps
The text summarization system
A pre-processing unit that executes the first processing that performs predetermined processing on the text to be summarized, and
A summary creation unit that creates a summary text based on the learning model for the summary target text that has been subjected to the first process by the preprocessing unit.
It has a post-processing unit that executes and outputs a second process for restoring the contents of the predetermined processing with respect to the summary text.
The first process includes a process of adding information indicating the importance indicating the frequency or rarity of the phrase to each phrase contained in the text.
The second process includes a process of deleting the information indicating the importance in the summary text.
In the learning data generation processing step, the first processing is performed on a plurality of learning texts including the original text and its summary to generate learning data.
Training data generation method.
前記重要度は、TF−IDF値に基づく値である、学習データ生成方法。 In the learning data generation method according to claim 1,
The importance is a value based on the TF-IDF value, a learning data generation method.
前記重要度は、TF−IDF値を所定の範囲毎に区分して得られる値である、学習データ生成方法。 In the learning data generation method according to claim 2,
The importance is a value obtained by dividing the TF-IDF value into predetermined ranges, and is a learning data generation method.
前記第1の処理は、テキストに含まれる数値を所定の記号に置換する処理を含み、
前記前処理部は、前記置換の際に、前記置換の内容に係る情報を置換データとして記録し、
前記第2の処理は、前記置換データの内容に基づいて、前記要約テキストにおける前記所定の記号を対応する前記数値に置換する処理を含む、学習データ生成方法。 In the learning data generation method according to claim 1,
The first process includes a process of replacing a numerical value contained in a text with a predetermined symbol.
At the time of the replacement, the pretreatment unit records information related to the content of the replacement as replacement data.
The second process is a learning data generation method including a process of replacing the predetermined symbol in the summary text with the corresponding numerical value based on the content of the replacement data.
前記第1の処理は、テキストに含まれる所定の品詞の語句を所定の文字列に置換する処理を含み、
前記前処理部は、前記置換の際に、前記置換の内容に係る情報を置換データとして記録し、
前記第2の処理は、前記置換データの内容に基づいて、前記要約テキストにおける前記所定の文字列を対応する前記所定の品詞の語句に置換する処理を含む、学習データ生成方法。 In the learning data generation method according to claim 1,
The first process includes a process of replacing a phrase of a predetermined part of speech contained in a text with a predetermined character string.
At the time of the replacement, the pretreatment unit records information related to the content of the replacement as replacement data.
The second process is a learning data generation method including a process of replacing the predetermined character string in the summary text with a corresponding phrase of the predetermined part of speech based on the content of the replacement data.
前記学習データ生成処理ステップでは、前記学習用テキストにおける要約に含まれる語句のうち、所定の割合以上の語句が、前記学習用テキストにおける原文に含まれているもののみを前記学習データを作成する対象とする、学習データ生成方法。 In the learning data generation method according to claim 1,
In the learning data generation processing step, among the words / phrases included in the summary in the learning text, only those words / phrases contained in the original text in the learning text have a predetermined ratio or more, and the learning data is created. The learning data generation method.
学習データ生成部を備え、
前記テキスト要約システムは、
要約対象テキストに対して、所定の加工を行う第1の処理を実行する前処理部と、
前記前処理部により前記第1の処理がなされた前記要約対象テキストに対して、前記学習モデルに基づいて要約テキストを作成する要約作成部と、
前記要約テキストに対して、前記所定の加工の内容を復元する第2の処理を実行して出力する後処理部と、を有し、
前記第1の処理は、テキストに含まれる各語句に対して、それぞれ、当該語句の出現頻度または希少度を表す重要度を示す情報を付加する処理を含み、
前記第2の処理は、前記要約テキストにおける前記重要度を示す情報を削除する処理を含み、
前記学習データ生成部は、原文とその要約を含む複数の学習用テキストに対して、前記第1の処理を行って学習データを作成する、
学習データ生成装置。 It is a learning data generation device that generates learning data used for creating the learning model by machine learning in a text summarization system that creates a summary from a text sentence based on a learning model related to the summary.
Equipped with a learning data generator
The text summarization system
A pre-processing unit that executes the first processing that performs predetermined processing on the text to be summarized, and
A summary creation unit that creates a summary text based on the learning model for the summary target text that has been subjected to the first process by the preprocessing unit.
It has a post-processing unit that executes and outputs a second process for restoring the contents of the predetermined processing with respect to the summary text.
The first process includes a process of adding information indicating the importance indicating the frequency or rarity of the phrase to each phrase contained in the text.
The second process includes a process of deleting the information indicating the importance in the summary text.
The learning data generation unit performs the first processing on a plurality of learning texts including the original text and its summary to create learning data.
Training data generator.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021103281A JP7100747B2 (en) | 2017-07-07 | 2021-06-22 | Training data generation method and equipment |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017133421A JP6902945B2 (en) | 2017-07-07 | 2017-07-07 | Text summarization system |
JP2021103281A JP7100747B2 (en) | 2017-07-07 | 2021-06-22 | Training data generation method and equipment |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017133421A Division JP6902945B2 (en) | 2017-07-07 | 2017-07-07 | Text summarization system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021180003A true JP2021180003A (en) | 2021-11-18 |
JP7100747B2 JP7100747B2 (en) | 2022-07-13 |
Family
ID=65358580
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017133421A Active JP6902945B2 (en) | 2017-07-07 | 2017-07-07 | Text summarization system |
JP2021103281A Active JP7100747B2 (en) | 2017-07-07 | 2021-06-22 | Training data generation method and equipment |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017133421A Active JP6902945B2 (en) | 2017-07-07 | 2017-07-07 | Text summarization system |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6902945B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102436549B1 (en) * | 2022-07-20 | 2022-08-25 | (주) 유비커스 | Method and apparatus for automatically generating training dataset for faq and chatbot based on natural language processing using deep learning |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6910061B2 (en) * | 2017-09-01 | 2021-07-28 | 国立研究開発法人産業技術総合研究所 | Text generator, text generator and text generator |
JP6722913B1 (en) * | 2019-05-03 | 2020-07-15 | 株式会社医療情報技術研究所 | Slow reading learning system |
CN110334334B (en) * | 2019-06-19 | 2024-05-14 | 腾讯科技(深圳)有限公司 | Digest generation method and device and computer equipment |
JP7276165B2 (en) * | 2020-01-08 | 2023-05-18 | トヨタ自動車株式会社 | Agent device, agent system, and agent program |
JP2021114166A (en) * | 2020-01-20 | 2021-08-05 | トッパン・フォームズ株式会社 | Document management/viewing system and annotation text generation and display method thereof |
JP2021114167A (en) * | 2020-01-20 | 2021-08-05 | トッパン・フォームズ株式会社 | Document management/viewing system and annotation text display method thereof |
CN111460135B (en) * | 2020-03-31 | 2023-11-07 | 北京百度网讯科技有限公司 | Method and device for generating text abstract |
CN112784585A (en) * | 2021-02-07 | 2021-05-11 | 新华智云科技有限公司 | Abstract extraction method and terminal for financial bulletin |
KR102520167B1 (en) * | 2022-11-14 | 2023-04-14 | (주)액션파워 | Method for generating training data for diaglogue summaries utilizing non-dialogue text information |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292958A (en) * | 2004-03-31 | 2005-10-20 | National Institute Of Information & Communication Technology | Teacher data preparation device and program, language analysis processor and program and summary processor and program |
JP2006178978A (en) * | 2004-12-21 | 2006-07-06 | Palo Alto Research Center Inc | System for using and generating user interest reflection type search result designator |
JP2008250887A (en) * | 2007-03-30 | 2008-10-16 | Kyushu Institute Of Technology | Information extractor, its method and program |
JP2010237871A (en) * | 2009-03-30 | 2010-10-21 | Nomura Research Institute Ltd | Chronological table automatic creation system, method, and program thereof |
JP2011138306A (en) * | 2009-12-28 | 2011-07-14 | National Institute Of Information & Communication Technology | Document summarizing device, document processor, document summarizing method, document processing method, and program |
JP2013167985A (en) * | 2012-02-15 | 2013-08-29 | Nomura Research Institute Ltd | Conversation summary generation system and conversation summary generation program |
US20150339288A1 (en) * | 2014-05-23 | 2015-11-26 | Codeq Llc | Systems and Methods for Generating Summaries of Documents |
-
2017
- 2017-07-07 JP JP2017133421A patent/JP6902945B2/en active Active
-
2021
- 2021-06-22 JP JP2021103281A patent/JP7100747B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292958A (en) * | 2004-03-31 | 2005-10-20 | National Institute Of Information & Communication Technology | Teacher data preparation device and program, language analysis processor and program and summary processor and program |
JP2006178978A (en) * | 2004-12-21 | 2006-07-06 | Palo Alto Research Center Inc | System for using and generating user interest reflection type search result designator |
JP2008250887A (en) * | 2007-03-30 | 2008-10-16 | Kyushu Institute Of Technology | Information extractor, its method and program |
JP2010237871A (en) * | 2009-03-30 | 2010-10-21 | Nomura Research Institute Ltd | Chronological table automatic creation system, method, and program thereof |
JP2011138306A (en) * | 2009-12-28 | 2011-07-14 | National Institute Of Information & Communication Technology | Document summarizing device, document processor, document summarizing method, document processing method, and program |
JP2013167985A (en) * | 2012-02-15 | 2013-08-29 | Nomura Research Institute Ltd | Conversation summary generation system and conversation summary generation program |
US20150339288A1 (en) * | 2014-05-23 | 2015-11-26 | Codeq Llc | Systems and Methods for Generating Summaries of Documents |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102436549B1 (en) * | 2022-07-20 | 2022-08-25 | (주) 유비커스 | Method and apparatus for automatically generating training dataset for faq and chatbot based on natural language processing using deep learning |
Also Published As
Publication number | Publication date |
---|---|
JP7100747B2 (en) | 2022-07-13 |
JP6902945B2 (en) | 2021-07-14 |
JP2019016181A (en) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7100747B2 (en) | Training data generation method and equipment | |
US11334608B2 (en) | Method and system for key phrase extraction and generation from text | |
US20230394242A1 (en) | Automated translation of subject matter specific documents | |
US9495358B2 (en) | Cross-language text clustering | |
KR20180048624A (en) | A training device of the Q & A system and a computer program for it | |
JP5071373B2 (en) | Language processing apparatus, language processing method, and language processing program | |
JP7139728B2 (en) | Classification method, device and program | |
US7398196B1 (en) | Method and apparatus for summarizing multiple documents using a subsumption model | |
US20200349222A1 (en) | Enhanced text summarizer | |
Abid et al. | Urdu word sense disambiguation using machine learning approach | |
US11650996B1 (en) | Determining query intent and complexity using machine learning | |
Pirovani et al. | Studying the adaptation of Portuguese NER for different textual genres | |
KR102519955B1 (en) | Apparatus and method for extracting of topic keyword | |
JP5500636B2 (en) | Phrase table generator and computer program therefor | |
Mammadov et al. | Part-of-speech tagging for azerbaijani language | |
JP2006004366A (en) | Machine translation system and computer program for it | |
JPWO2009113289A1 (en) | NEW CASE GENERATION DEVICE, NEW CASE GENERATION METHOD, AND NEW CASE GENERATION PROGRAM | |
JP7131130B2 (en) | Classification method, device and program | |
Jayashree et al. | A Jaccards Similarity Score Based Methodology for Kannada Text Document Summarization | |
CN113158693A (en) | Uygur language keyword generation method and device based on Chinese keywords, electronic equipment and storage medium | |
Alian et al. | Unsupervised learning blocking keys technique for indexing Arabic entity resolution | |
JP2009176148A (en) | Unknown word determining system, method and program | |
JP2006190072A (en) | Automatic paraphrasing apparatus, automatic paraphrasing method and paraphrasing process program | |
WO2012124213A1 (en) | Summary creation device, summary creation method, and computer-readable recording medium | |
US11783112B1 (en) | Framework agnostic summarization of multi-channel communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7100747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |