JP6693582B2 - Document abstract generation method, device, electronic device, and computer-readable storage medium - Google Patents

Document abstract generation method, device, electronic device, and computer-readable storage medium Download PDF

Info

Publication number
JP6693582B2
JP6693582B2 JP2019019459A JP2019019459A JP6693582B2 JP 6693582 B2 JP6693582 B2 JP 6693582B2 JP 2019019459 A JP2019019459 A JP 2019019459A JP 2019019459 A JP2019019459 A JP 2019019459A JP 6693582 B2 JP6693582 B2 JP 6693582B2
Authority
JP
Japan
Prior art keywords
document
collocation
attention
processed
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019019459A
Other languages
Japanese (ja)
Other versions
JP2019139772A (en
Inventor
チヌ ティエヌイ
チヌ ティエヌイ
ジャン ヨンウエイ
ジャン ヨンウエイ
ドォン ビヌ
ドォン ビヌ
ジアン シャヌシャヌ
ジアン シャヌシャヌ
ジャン ジィアシ
ジャン ジィアシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2019139772A publication Critical patent/JP2019139772A/en
Application granted granted Critical
Publication of JP6693582B2 publication Critical patent/JP6693582B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明はデータ処理技術分野に関し、特に文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体に関する。   The present invention relates to the technical field of data processing, and more particularly, to a method of generating a document abstract, an apparatus, an electronic device, and a computer-readable storage medium.

インターネット技術の急速な発展につれ、ユーザのインターネットでニュース情報を見る傾向がますます多くなってきており、現在、携帯電話などの移動端末でインターネットに提供されているニュース情報を閲覧することが一般的である。しかし、科学技術の急速な発展につれ、インターネットで毎日更新されるニュース量が非常に膨大であり、カテゴリが多様で、形式変化が多いので、人々は限られた時間内にこんなに多いニュース内容を閲読、その要点情報を知ることは非常に困難である。かつ、内容量が大きいニュースに対して、携帯電話などの移動端末のディスプレイが限られているため、携帯電話のディスプレイにニュースの内容を全部表示できない場合が多く、ユーザにとって読むのが不便であり、かつユーザは多くのニュース内容を閲読した後、前の部分のニュース内容の核心内容を忘れがちであり、ユーザのニュースを見るユーザ体験が悪い。   With the rapid development of Internet technology, there is an increasing tendency for users to view news information on the Internet. Currently, it is common to browse news information provided on the Internet by mobile terminals such as mobile phones. Is. However, with the rapid development of science and technology, the amount of news updated daily on the Internet is very huge, the categories are diverse, and the format is often changed, so that people can read such many news contents within a limited time. , It is very difficult to know the point information. Moreover, since the display of mobile terminals such as mobile phones is limited for news with a large amount of content, it is often inconvenient for the user to read the entire contents of the news on the mobile phone display. Moreover, after reading many news contents, the user tends to forget the core contents of the news contents in the previous part, and the user experience of seeing the news of the user is poor.

ニュースにニュース情報を閲読しやすく、ニュースの核心内容を知りやすくさせるために、従来のニュース表示方法では主にページにユース文書に対応する見出しと対応する一文要約もしくは100文字以下の短い要約を表示して、ユーザがサーチしたニュース情報に興味を感じた後、対応するニュースの見出しをクリックしてニュースを詳細に読むことができる。   In order to make it easier to read the news information in the news and to easily understand the core content of the news, the conventional news display method mainly displays the headline corresponding to the youth document and the corresponding one-sentence summary or a short summary of 100 characters or less on the page. Then, after the user becomes interested in the searched news information, the news can be read in detail by clicking the corresponding news headline.

従来の文書要約を生成する方法は主に二つがあり、第一は抽出式要約生成方式であり、当該方法により生成した要約は冗長で、かつ利用される特徴が少なく、出力された要約の精度が低いため、文章の意味を正確に代表できない。第二は生成式要約生成方式であり、当該方法により出力された要約の精度が高いが、生成された要約は人々の閲読習慣に適合せず、可読性が比較的に悪い。   There are mainly two conventional methods for generating a document summary, the first is an extraction-type summary generation method, and the summary generated by this method is redundant and has few features used, and the accuracy of the output summary Because it is low, it cannot accurately represent the meaning of the sentence. The second is the generation-type summary generation method, in which the summary output by this method has high accuracy, but the generated summary does not conform to the reading habits of people and is relatively poor in readability.

本発明が解決しようとする技術的な問題は、文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体を提供することであり、生成された文書要約はコンパクト、正確、可読性が良く、かつ、文書要約に冗長な情報が存在しない。   The technical problem to be solved by the present invention is to provide a method, a device, an electronic device, and a computer-readable storage medium for generating a document abstract, and the generated document abstract is compact, accurate, and easy to read. And, there is no redundant information in the document summary.

上記の技術課題を解決するために、本発明の実施例の１つの態様では、トレーニングデータにより学習を行うことで注意力（ａｔｔｅｎｔｉｏｎ）行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を含む文書要約の生成方法を提供する。   In order to solve the above technical problems, according to one aspect of an embodiment of the present invention, a step of acquiring a neural network model having an attention matrix by performing learning using training data, the training comprising: The data includes at least one set of primary phrases and their corresponding summaries, said primary phrases being pure text sentences in a training document, said steps and each secondary phrase of the document to be processed by said neural network. Inputting into the model to obtain a summary corresponding to each second source phrase, said second source phrase being a pure text sentence in a document to be processed, and each of said document to be processed Creating a compound word attention table based on an attention matrix between the second original phrase and the corresponding summary, said compound word note The force table includes attention values between the collocations of each second source phrase in the document to be processed and the collocations in the corresponding summary, and selecting the first collocation from the document to be processed. , A document to be processed by expanding each of the first collocations by the collocation attention table, obtaining a plurality of expanded collocation candidate sets, combining the collocations in each of the collocation candidate sets into a sentence, and And a method of generating a document summary including:

さらに、前記トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップの前に、前記文書要約の生成方法は、さらに前記トレーニングデータを取得するステップを含み、前記トレーニングデータを取得するステップは、前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを取得することと、前記トレーニング文書の各要約文に対して、前記純テキストにおける各文を走査し、前記純テキストにおける文が一要約文のすべての非ストップワードを含む場合、前記純テキストにおける当該文及び対応する要約文を一組の第一原句及び対応する要約とすることと、を含む。   Further, before the step of acquiring the neural network model having the attention matrix by performing learning with the training data, the method for generating the document summary further includes the step of acquiring the training data, The step of acquiring includes performing word segmentation processing and noise removal processing on the training document to acquire pure text of the training document, and for each summary sentence of the training document, Scan a sentence and, if the sentence in the pure text contains all non-stop words of a summary sentence, make the sentence and the corresponding summary sentence in the pure text a set of first original phrases and corresponding summaries And, including.

さらに、前記処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記文書要約の生成方法はさらに、前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを取得して、前記処理すべき文書の純テキストから前記第二原句を抽出すること、を含む。   Further, before the step of inputting each second original phrase of the document to be processed into the neural network model, the method of generating the document summary further comprises word segmentation processing and denoising processing for the document to be processed. And obtaining the pure text of the document to be processed and extracting the second original phrase from the pure text of the document to be processed.

さらに、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップは、各前記第二原句における各単語と対応する要約における各単語との間の注意力行列を抽出し、各単語対の注意力値に基づいて単語注意力表を構築することであって、前記単語注意力表には前記処理すべき文書における各第二原句の各単語と対応する要約における各単語との間の注意力値が含まれる、ことと、前記単語注意力表における単語を連語にマージし、各単語対の注意力値に基づいて各連語対の間の注意力値を更新して連語注意力表を取得することであって、前記連語注意力表には前記処理すべき文書における各第二原句の各連語と対応する要約における各連語との間の注意力値が含まれる、ことと、を含む。   Further, the step of creating a compound word attention table based on the attention matrix between each second original phrase of the document to be processed and its corresponding summary corresponds to each word in each second original phrase. Extracting a attention matrix with each word in the summary, and constructing a word attention table based on the attention value of each word pair, wherein the word attention table includes the words in the document to be processed. Attention value between each word of each second original phrase and each word in the corresponding summary is included, and the words in the word attention table are merged into collocations to obtain the attention value of each word pair. Updating the attention value between each pair of collocations to obtain a collocation attention table, which corresponds to each collocation of each second original phrase in the document to be processed. The attention value between each collocation in the summary is included, and Including.

さらに、前記単語注意力表における単語を連語にマージするステップは、各前記第二原句に対して構文解析を行い、構文連語タグに基づいて前記第二原句における単語を連語にマージすること、を含む。   Further, the step of merging words in the word attention table into collocations, performs syntactic analysis on each of the second original phrases, and merges words in the second original phrases into collocations based on syntactic collocation tags. ,including.

さらに、各連語対の間の注意力値は当該対の連語に含まれる複数対の単語間の注意力値の平均値である。   Further, the attention value between each collocation pair is an average value of attention values between a plurality of pairs of words included in the collocation of the pair.

さらに、前記処理すべき文書から最初の連語を選択するステップは、前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを前記最初の連語として選択すること、を含む。   Further, the step of selecting a first collocation from the document to be processed includes selecting a named entity as the first collocation from a pure text heading or first sentence of the document to be processed.

さらに、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得するステップは、（ａ）各前記最初の連語に対して連語候補集合を構築するステップと、（ｂ）前記連語注意力表から前記連語候補集合における各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値よりも大きい場合、前記最高注意力値に対応する連語を前記連語候補集合に追加するステップと、（ｃ）前記連語候補集合の長さが目標長さに達したか否かを判定し、前記連語候補集合の長さが目標長さに達した場合、ステップ（ｂ）を実行せず、前記連語候補集合の長さが目標長さに達していない場合、続けてステップ（ｂ）を実行するステップと、を含む。   Further, the step of expanding each of the first complex words by the complex word attention table to obtain a plurality of expanded complex word candidate sets includes (a) constructing a complex word candidate set for each of the first complex words. And (b) selecting each collocation in the collocation candidate set and a collocation having the highest attention value from the collocation attention table, and if the highest attention value is greater than a predetermined threshold value, the highest attention Adding a collocation corresponding to a value to the collocation candidate set, (c) determining whether the length of the collocation candidate set has reached a target length, and determining the length of the collocation candidate set to the target length. If the length is reached, step (b) is not executed, and if the length of the collocation candidate set has not reached the target length, the step (b) is continuously executed.

さらに、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップは、各前記連語候補集合における連語を可読性の有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量の順に前記連語候補集合における文を前記処理すべき文書の要約として出力すること、を含み、前記連語候補集合のオフセット量は、前記連語候補集合におけるすべての単語の平均オフセット量である。   Further, the step of combining the collocations in each of the collocation candidate sets into a sentence to generate the summary of the document to be processed includes combining the collocations in each of the collocation candidate sets into a readable sentence, and Calculating an offset amount and outputting the sentences in the collocation candidate set in order of the offset amount of the collocation candidate set as a summary of the document to be processed, wherein the offset amount of the collocation candidate set is It is the average offset amount of all words in the set.

本発明の実施例の他の態様では、トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するトレーニングモジュールであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、トレーニングモジュールと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得する入力モジュールであって、前記第二原句は処理すべき文書における純テキスト文である、入力モジュールと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成する処理モジュールであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、処理モジュールと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成する生成モジュールと、を含む文書要約の生成装置を提供する。   According to another aspect of the embodiment of the present invention, there is provided a training module for obtaining a neural network model having an attention matrix by performing training using training data, wherein the training data includes at least one set of first original phrases and Inputting each second source phrase into the neural network model, the training module and each second source phrase of the document to be processed, including corresponding summaries, said first source phrase being a pure text sentence in a training document. An input module for obtaining a summary corresponding to, the second source phrase being a pure text sentence in a document to be processed, an input module, each second source phrase of the document to be processed and a corresponding summary Is a processing module for creating a collocational attention table based on the attention matrix between A processing module including a attention value between a collocation of each second original phrase in the document to be processed and a collocation in the corresponding summary, and selecting the first collocation from the document to be processed, The first collocation is expanded by the attention table, a plurality of expanded collocation candidate sets are acquired, collocations in each collocation candidate set are combined into a sentence, and a summary of the document to be processed is obtained. A generation module for generating and a document summary generation device including the generation module are provided.

本発明の実施例の他の態様では、プロセッサーと、コンピュータプログラムコマンドを記憶するメモリと、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させる文書要約を生成する電子機器を提供する。   According to another aspect of an embodiment of the present invention, a processor and a memory for storing computer program commands are included, and the processor is trained by training data when the computer program commands are executed by the processor. In the step of obtaining a neural network model having a attention matrix, the training data includes at least one set of first primitive phrases and their corresponding summaries, the first primitive phrases being pure text sentences in a training document. A step of inputting each second original phrase of the document to be processed into the neural network model to obtain a summary corresponding to each second original phrase, wherein the second original phrase is processed. Step, which is a pure text sentence in the document to be processed, and the sentence to be processed A step of creating a collocational attention table based on the attention matrix between each of the second original phrases and the corresponding summary, wherein the collocation attention table includes each second original in the document to be processed. A step comprising the attention value between the collocation of the phrase and the collocation in the corresponding summary, and selecting the first collocation from the document to be processed, and for each said collocation by said collocation attention table. To obtain a plurality of expanded collocation candidate sets, combine the collocations in each of the collocation candidate sets into a sentence, and generate a summary of the document to be processed. An electronic device to generate is provided.

さらに、本発明の実施例の他の態様では、コンピュータプログラムを記憶するコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムがプロセッサーにより実行される時、前記プロセッサーに、トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させるコンピュータ読み取り可能な記録媒体を提供する。   Further, according to another aspect of the embodiment of the present invention, a computer-readable recording medium storing a computer program, wherein the processor performs learning by training data when the computer program is executed by the processor. In the step of obtaining a neural network model having a attention matrix, the training data includes at least one set of first primitive phrases and their corresponding summaries, the first primitive phrases being pure text sentences in a training document. A step of inputting each second original phrase of the document to be processed into the neural network model to obtain a summary corresponding to each second original phrase, wherein the second original phrase is processed. Of the documents to be processed, which are pure text sentences in the documents to be processed, A step of creating a collocational attention table based on the attention matrix between the second original phrases and the corresponding summaries, wherein the collocation attention table includes the second original phrases of each of the second original phrases in the document to be processed. A step of including the attention value between the collocation and the collocation in the corresponding summary, and selecting the first collocation from the document to be processed and expanding for each said collocation by said collocation attention table And acquiring a plurality of expanded collocation candidate sets, combining the collocations in each of the collocation candidate sets into a sentence, and generating a summary of the document to be processed. Provide media.

本発明の実施例は以下の効果がある。上記方案では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。   The embodiment of the present invention has the following effects. In the above method, a neural network model having an attention matrix can be learned by using training data including a plurality of sets of first-element phrases and corresponding summaries, and each second original phrase of a document to be processed is processed by the neural network. Input into the network model to obtain a summary corresponding to each second original phrase, and a compound word attention table based on the attention matrix between each second original phrase of the document to be processed and the corresponding summary. , A first collocation is selected from the document to be processed, expansion is performed for each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are obtained. The collocations in the collocation candidate set are combined into sentences to generate a summary of the document to be processed. Since the technical solution of the present invention constructs a sentence by the key collocation of the document to be processed and forms the summary of the document to be processed, and utilizes the rich features to generate the summary, the meaning of the document can be accurately determined. The summary that can be represented and has a good logicality, matches the reading habits of people, and is easy to read.

本発明の実施例に係る文書要約の生成方法のフローチャートである。6 is a flowchart of a method for generating a document summary according to an exemplary embodiment of the present invention. 本発明の実施例に係るトレーニングデータを獲得するフローチャートである。6 is a flowchart for acquiring training data according to an exemplary embodiment of the present invention. 本発明の実施例に係るトレーニングデータを獲得する具体的なフローチャートである。5 is a specific flowchart for acquiring training data according to an exemplary embodiment of the present invention. 本発明の実施例に係る連語注意力表を構築するフローチャートである。It is a flowchart which builds the collocational attention table according to the embodiment of the present invention. 本発明の実施例に係る連語候補集合を拡張するフローチャートである。7 is a flowchart for expanding a collocation candidate set according to an exemplary embodiment of the present invention. 本発明の実施例に係る文書要約の生成装置の構造図である。FIG. 3 is a structural diagram of a document summary generation apparatus according to an exemplary embodiment of the present invention. 本発明の実施例に係る文書要約を生成する電子機器の構造図である。FIG. 7 is a structural diagram of an electronic device for generating a document summary according to an exemplary embodiment of the present invention. 本発明の具体的な実施例に係る文書要約の生成方法のフローチャートである。6 is a flowchart of a method for generating a document summary according to a specific embodiment of the present invention. 本発明の実施例seq2seqモデルの模式図である。It is a schematic diagram of the Example seq2seq model of the present invention. 本発明の実施例に係る連語候補集合を拡張する模式図である。It is a schematic diagram which expands a complex word candidate set which concerns on the Example of this invention.

本発明の実施例が解決しようとする技術課題、技術方案および優れた点をより明確させるために、付図および具体的な実施例を組み合わせて詳細な説明を行う。   In order to further clarify the technical problem, the technical solution, and the superior point that the embodiment of the present invention intends to solve, detailed description will be given by combining the attached drawings and the specific embodiment.

本発明の実施例は、文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体を提供して、生成された文書要約はコンパクト、正確、可読性が良く、かつ、文書要約に冗長な情報が存在しない。   Embodiments of the present invention provide a method, a device, an electronic device, and a computer-readable storage medium for generating a document summary, wherein the generated document summary is compact, accurate, readable, and redundant to the document summary. There is no information.

＜実施例１＞
本発明の実施例に係る文書要約の生成方法は、図１に示すように、以下のステップを含む。 <Example 1>
As shown in FIG. 1, the method for generating a document summary according to the exemplary embodiment of the present invention includes the following steps.

ステップ101:トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一元フレーズ及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文である。   Step 101: The training data may be used to train a neural network model having an attention matrix, the training data including at least one set of first-element phrases and corresponding summaries, and the first original phrase is the training. It is a pure text sentence in the document.

具体的には、ニューラルネットワークモデルがseq2seqモデルであることができる。   Specifically, the neural network model can be a seq2seq model.

ステップ102:処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文である。   Step 102: Inputting each second source phrase of the document to be processed into the neural network model to obtain a summary corresponding to each second source phrase, the second source phrase being a pure text in the document to be processed. It is a sentence.

ステップ103:前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる。   Step 103: Creating a compound word attention table based on the attention matrix between each second original phrase of the document to be processed and the corresponding summary, and in the compound word attention table, the document to be processed. The attention value between the collocation of each second source phrase and the corresponding collocation in the summary is included.

ステップ104:前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。   Step 104: Select a first collocation from the document to be processed, perform expansion to each of the first collocations by the collocation attention table, obtain an expanded plurality of collocation candidate sets, and obtain each collocation The collocations in the candidate set are combined into sentences to generate a summary of the document to be processed.

本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。   In this embodiment, a neural network model having an attention matrix can be learned by using training data including a plurality of sets of first element phrases and corresponding summaries, and each second original phrase of a document to be processed is described above. Input to the neural network model to obtain a summary corresponding to each second original phrase, and the combined word attention based on the attention matrix between each second original phrase of the document to be processed and the corresponding summary A table is created, a first collocation is selected from the document to be processed, expansion is performed on each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are obtained. The collocations in each collocation candidate set are combined into sentences to generate a summary of the document to be processed. Since the technical solution of the present invention constructs a sentence by the key collocation of the document to be processed and forms the summary of the document to be processed, and utilizes the rich features to generate the summary, the meaning of the document can be accurately determined. The summary that can be represented and has a good logicality, matches the reading habits of people, and is easy to read.

一例として、図2に示すように、前記ステップ101は以下を含む。   As an example, as shown in FIG. 2, the step 101 includes the following.

ステップ100:前記トレーニングデータを取得する。   Step 100: Obtain the training data.

具体的には、図3に示すように、前記ステップ100は以下を含む。   Specifically, as shown in FIG. 3, the step 100 includes the following.

ステップ1001:前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを得る。   Step 1001: Perform word segmentation processing and noise removal processing on the training document to obtain pure text of the training document.

ここで、ノイズ除去処理はトレーニング文書中のノイズを除去することであり、ノイズはURL(Uniform Resource Locator、統一資源位置指定子)、電話番号及びその他のソーシャルネットワークアカウントを含むが、それらに限られない。   Here, the denoising process is to remove noise in the training document, which includes but is not limited to URLs (Uniform Resource Locator), phone numbers and other social network accounts. Absent.

ステップ1002:前記トレーニング文書の各要約文に対して、前記純テキスト中の各文を走査して、前記純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、前記純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を構成する。   Step 1002: For each summary sentence of the training document, scan each sentence in the pure text, and when one sentence in the pure text includes all non-stop words of the summary sentence, The sentence and the corresponding summary sentence in the pure text constitute a set of first original phrases and the corresponding summary.

一例として、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記方法はさらに以下を含む。   As an example, prior to the step of inputting each secondary phrase of the document to be processed into the neural network model, the method further comprises:

前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを得て、前記処理すべき文書の純テキストから前記第二原句を抽出する。   A word segmentation process and a noise removal process are performed on the document to be processed to obtain a pure text of the document to be processed, and the second original phrase is extracted from the pure text of the document to be processed.

一例として、図4に示すように、前記ステップ103は以下を含む。   As an example, as shown in FIG. 4, the step 103 includes the following.

ステップ1031:各前記第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築し、前記単語注意力表には前記処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれる。   Step 1031: Extract the attention matrix between each word in each said second original phrase and each word in the corresponding summary, and build a word attention table based on the attention value of each word pair. , The word attention table includes attention values between each word of each second original phrase in the document to be processed and each word in the corresponding summary.

ステップ1032:前記単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、前記連語注意力表には前記処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。   Step 1032: merge the words in the word attention table into collocations, and update the attention value between each collocation pair by the attention value of each word pair to obtain a collocation attention table, The force table includes the attention value between each collocation of each second original phrase in the document to be processed and each collocation in the corresponding summary.

ここで、前記単語注意力表中の単語を連語にマージすることは、各前記第二原句に構文解析を行い、構文連語タグに基づいて前記第二原句中の単語を連語にマージする。具体的には、各連語対の間の注意力値は、当該対の連語に含まれる複数対の単語間の注意力値の平均値であり、もちろん、その他の計算規則を用いて連語に含まれる複数対の単語間の注意力値から、各連語対の間の注意力値を計算することも可能である。   Here, merging words in the word attention table into collocation means performing syntactic analysis on each of the second original phrases, and merging words in the second original phrase into collocations based on syntactic collocation tags. .. Specifically, the attention value between each pair of collocations is the average value of the attention values between a plurality of pairs of words included in the collocation of the pair and, of course, is included in the collocation using other calculation rules. It is also possible to calculate the attention value between each collocation pair from the attention value between a plurality of pairs of words.

一例として、前記処理すべき文書から最初の連語を選択する前記ことは以下を含む。   By way of example, selecting the first collocation from the document to be processed includes:

前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して前記最初の連語にする。   Select a named entity from the pure text headings or first sentence of the document to be processed into the first collocation.

一例として、図5に示すように、前記ステップ104は以下を含む。   As an example, as shown in FIG. 5, the step 104 includes:

ステップ1041:各前記最初の連語に対して連語候補集合を構築する。   Step 1041: Build a collocation candidate set for each said first collocation.

ステップ1042:前記連語注意力表から前記連語候補集合中の各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値より大きい時に、前記最高注意力値に対応する連語を前記連語候補集合に追加する。   Step 1042: Select each collocation in the collocation candidate set and the collocation having the highest attention value from the collocation attention table, and when the highest attention value is larger than a predetermined threshold value, correspond to the highest attention value. Add collocations to the collocation candidate set.

ステップ1043:前記連語候補集合の長さが目標長さに達したかどうかを判定し、前記連語候補集合の長さが目標長さに達したときに、ステップ1042を実行せずに連語候補集合を出力し、前記連語候補集合の長さが目標長さに達していないときに、続けてステップ1042を実行する。   Step 1043: determine whether the length of the collocation candidate set has reached the target length, and when the length of the collocation candidate set has reached the target length, perform step 1042 without executing the collocation candidate set Is output, and when the length of the collocation candidate set does not reach the target length, step 1042 is continuously executed.

具体的には、各前記連語候補集合中の連語を文に組み合わせて前記処理すべき文書の要約を生成する際に、各前記連語候補集合中の連語を可読性を有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量によって前記処理すべき文書の要約として前記連語候補集合が集まった文を出力し、その内、前記連語候補集合のオフセット量が前記連語候補集合中のすべての単語の平均オフセット量である。たとえば、オフセット量の低い順から、各前記連語候補集合が集まった文を順次に出力する。   Specifically, when generating a summary of the document to be processed by combining the collocations in each collocation candidate set into sentences, combining the collocations in each collocation candidate set into a readable sentence, and The offset amount of the collocation candidate set is calculated, and a sentence in which the collocation candidate set is collected as a summary of the document to be processed is output according to the offset amount of the collocation candidate set, in which the offset amount of the collocation candidate set is It is the average offset amount of all the words in the collocation candidate set. For example, the sentences in which the collocation candidate sets are collected are sequentially output in the ascending order of offset amount.

＜実施例２＞
本発明の実施例はさらに文書要約装置を提供して、図6に示すように、トレーニングモジュール21、入力モジュール22、処理モジュール23及び生成モジュール24を含む。 <Example 2>
The embodiment of the present invention further provides a document summarizing device, which includes a training module 21, an input module 22, a processing module 23 and a generation module 24, as shown in FIG.

トレーニングモジュール21は、トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一元フレーズ及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文である。   The training module 21 may utilize the training data to train a neural network model having an attention matrix, the training data including at least one set of first element phrases and corresponding summaries, and the first original phrase. Is a pure text sentence in the training document.

入力モジュール22は、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文である。   The input module 22 inputs each second original phrase of the document to be processed to the neural network model to obtain a summary corresponding to each second original phrase, and the second original phrase is input to the neural network model. It is a pure text sentence.

処理モジュール23は、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる。   The processing module 23 creates a compound word attention table based on the attention matrix between each second original phrase of the document to be processed and the corresponding summary, and processes the compound word attention table in the compound word attention table. The attention value between each collocation of each second source phrase in the power document and the corresponding collocation in the summary is included.

生成モジュール24は、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。   The generation module 24 selects the first collocation from the document to be processed, performs expansion on each of the first collocations by the collocation attention table, obtains a plurality of expanded collocation candidate sets, and The collocations in the collocation candidate set are combined into sentences to generate a summary of the document to be processed.

本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。   In this embodiment, a neural network model having an attention matrix can be learned by using training data including a plurality of sets of first element phrases and corresponding summaries, and each second original phrase of a document to be processed is described above. Input to the neural network model to obtain a summary corresponding to each second original phrase, and the combined word attention based on the attention matrix between each second original phrase of the document to be processed and the corresponding summary A table is created, a first collocation is selected from the document to be processed, expansion is performed on each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are obtained. The collocations in each collocation candidate set are combined into sentences to generate a summary of the document to be processed. Since the technical solution of the present invention constructs a sentence by the key collocation of the document to be processed and forms the summary of the document to be processed, and utilizes the rich features to generate the summary, the meaning of the document can be accurately determined. The summary that can be represented and has a good logicality, matches the reading habits of people, and is easy to read.

一例として、文書要約の生成装置はさらに、前記トレーニングデータを取得するための取得モジュールを含み、前記取得モジュールは具体的に前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを得、前記トレーニング文書の各要約文に対して、前記純テキスト中の各文を走査して、前記純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、前記純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を構成する。   As an example, the document summary generation device further includes an acquisition module for acquiring the training data, and the acquisition module specifically performs word segmentation processing and noise removal processing on the training document to perform the training. Obtain the pure text of the document, scan each sentence in the pure text for each summary sentence of the training document, and include all non-stop words of the summary sentence where one sentence in the pure text is Then, the sentence and the corresponding summary sentence in the pure text form a set of first original phrases and the corresponding summary.

一例として、入力モジュール22は、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、さらに前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを得て、前記処理すべき文書の純テキストから前記第二原句を抽出する。   As an example, the input module 22 further performs word segmentation processing and noise removal processing on the document to be processed before the step of inputting each second original phrase of the document to be processed to the neural network model. , Obtaining the pure text of the document to be processed and extracting the second original phrase from the pure text of the document to be processed.

一例として、処理モジュール23は具体的に、各前記第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築し、前記単語注意力表には前記処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれ、前記単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、前記連語注意力表には前記処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。   As an example, the processing module 23 specifically extracts the attention matrix between each word in each of the second original phrases and each word in the corresponding summary, based on the attention value of each word pair. To build a word attention table, the word attention table includes attention value between each word of each second original phrase in the document to be processed and each word in the corresponding summary, The words in the word attention table are merged into collocations, and the attention value between each collocation pair is updated by the attention value of each word pair to obtain a collocation attention table. Contains the attention value between each collocation of each second source phrase in the document to be processed and each collocation in the corresponding summary.

具体的に、処理モジュール23は各前記第二原句に構文解析を行い、構文連語タグに基づいて前記第二原句中の単語を連語にマージする。その内、各連語対の間の注意力値は、当該対の連語に含まれる複数対の単語間の注意力値の平均値であることが可能である。   Specifically, the processing module 23 performs syntactic analysis on each of the second original phrases, and merges the words in the second original phrase into the complex words based on the syntactic complex word tag. Among them, the attention value between each collocation pair may be an average value of attention values between a plurality of pairs of words included in the collocation pair.

一例として、生成モジュール24は、前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して前記最初の連語にする。   As an example, the generation module 24 selects a named entity from the pure text headings or first sentences of the document to be processed into the first collocation.

一例として、生成モジュール24は、具体的に次のステップを実行して拡張された複数の連語候補集合を得る。   As an example, the generation module 24 specifically performs the following steps to obtain a plurality of expanded collocation candidate sets.

ステップa:各前記最初の連語に対して連語候補集合を構築する。   Step a: Build a collocation candidate set for each said first collocation.

ステップb:前記連語注意力表から前記連語候補集合中の各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値より大きい時に、前記最高注意力値に対応する連語を前記連語候補集合に追加する。   Step b: Select each collocation in the collocation candidate set and the collocation having the highest attention value from the collocation attention table, and when the highest attention value is larger than a predetermined threshold value, correspond to the highest attention value. Add collocations to the collocation candidate set.

ステップc:前記連語候補集合の長さが目標長さに達したかどうかを判定し、前記連語候補集合の長さが目標長さに達したときに、ステップbを実行せず、前記連語候補集合の長さが目標長さに達していないときに、続けてステップbを実行する。   Step c: determine whether the length of the collocation candidate set reaches a target length, and when the length of the collocation candidate set reaches the target length, do not perform step b, When the set length does not reach the target length, step b is continuously executed.

一例として、生成モジュール24は具体的に、各前記連語候補集合中の連語を可読性を有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量によって前記処理すべき文書の要約として前記連語候補集合が集まった文を出力し、その内、前記連語候補集合のオフセット量が前記連語候補集合中のすべての単語の平均オフセット量である。   As an example, the generation module 24 specifically combines the collocations in each collocation candidate set into a readable sentence, and calculates the offset amount of each collocation candidate set, and the offset amount of the collocation candidate set As a summary of the document to be processed, a sentence in which the collocation candidate set is collected is output, and the offset amount of the collocation candidate set is the average offset amount of all the words in the collocation candidate set.

＜実施例３＞
本発明の実施例はさらに文書要約を生成する電子機器30を提供して、図7に示すように、プロセッサー32と、コンピュータプログラムコマンドが格納されるメモリ34と、を含む。 <Example 3>
Embodiments of the present invention further provide an electronic device 30 for generating a document summary, including a processor 32 and a memory 34 in which computer program commands are stored, as shown in FIG.

ここで、前記コンピュータプログラムコマンドが前記プロセッサーにより実行された時に、前記プロセッサー32に、下記のステップ、即ちトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文であるステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文であるステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を行わせる。   Here, when the computer program command is executed by the processor, the processor 32 can learn a neural network model having an attention matrix by using the following steps, namely, training data, and the training data is A step of including at least one set of primary phrases and their corresponding summaries, wherein the primary phrases are pure text sentences in a training document, and each secondary phrase of the document to be processed to the neural network model. Inputting to obtain a summary corresponding to each second source phrase, said second source phrase being a pure text sentence in the document to be processed, and each second source phrase of said document to be processed and its A collocational attention table is created based on the attention matrix between the corresponding summaries and the collocation attention table is provided for each of the documents in the document to be processed. A step comprising the attention value between the bilingual collocation and the corresponding collocation in the summary, and selecting the first collocation from the document to be processed, and each said first collocation by the collocation attention table. Expanding the collocation, obtaining a plurality of expanded collocation candidate sets, combining the collocations in each collocation candidate set into a sentence, and generating a summary of the document to be processed. ..

さらに、図7に示すように、文書要約の生成を実現する電子機器30はネットワークインターフェース31と、入力装置33と、ハードディスク35と、表示装置36とを含む。   Further, as shown in FIG. 7, the electronic device 30 that realizes the generation of the document summary includes a network interface 31, an input device 33, a hard disk 35, and a display device 36.

上記各インターフェースと装置との間にはバスアーキテクチャーを介して連接し合う。バスアーキテクチャーは任意数のコンポーネントインターコネクトされるバスとブリッジとを含むことができる。具体的には、プロセッサー32が代表する一つまたは複数の中央プロセッサー（CPU）およびメモリ34が代表する一つまたは複数のメモリの各種回路とが連接されている。バスアーキテクチャーは周辺装置、定電圧器と電源管理回路などの各種ほかの回路を一緒に連接させることができる。なお、バスアーキテクチャーはこれらのユニットの間の連接通信を実現するために用いられる。バスアーキテクチャーはデータバスのほか、電源バスと、制御バスと、状態信号バスとを含むことは当分野において公知され、詳細な説明を省略する。   The interfaces and devices are connected to each other via a bus architecture. The bus architecture can include any number of component interconnected buses and bridges. Specifically, one or more central processors (CPU) represented by the processor 32 and various circuits of one or more memories represented by the memory 34 are connected. The bus architecture can connect various other circuits together, such as peripherals, voltage regulators and power management circuits. Note that the bus architecture is used to realize the articulated communication between these units. It is well known in the art that the bus architecture includes a power bus, a control bus, and a status signal bus in addition to the data bus, and a detailed description thereof will be omitted.

前記ネットワークインターフェース31はネットワーク（例えばインターネット、ローカルエリアネットワークなど）に接続されて、ネットワークから。例えばトレーニングデータのような関連データを取得し、かつハードディスク35に保存することができる。   The network interface 31 is connected to and from a network (eg Internet, local area network, etc.). Relevant data such as training data can be obtained and stored on the hard disk 35.

前記入力装置33は作業員より入力された各種のコマンドを受け取り、かつプロセッサー32に発送して実行される。前記入力装置33はキーボードまたはクリックデバイス（例えばマウス、軌跡球（トラックボール）、接触感知板またはタッチスクリーンなど）を含む。   The input device 33 receives various commands input by a worker and sends them to the processor 32 for execution. The input device 33 includes a keyboard or a click device (for example, a mouse, a track ball, a touch sensing plate or a touch screen).

前記表示装置36はプロセッサー32がコマンドを実行して得た結果を表示できる。   The display device 36 can display the result obtained by the processor 32 executing the command.

前記メモリ34は、システム稼動時に必須なプログラムとデータ、およびプロセッサー32の計算過程における中間結果などのデータを格納するように用いられ。   The memory 34 is used to store programs and data essential for system operation and data such as intermediate results in the calculation process of the processor 32.

なお、本発明の実施例におけるメモリ34は揮発性メモリまたは不揮発性メモリでもよく、あるいは揮発性メモリと不揮発性メモリとの両者を含むことが可能である。そこで、不揮発性メモリは読み出し専用メモリ（ROM）で、プログラマブル読み出し専用メモリ（PROM）で、消去可能なプログラマブル読み出し専用メモリ（EPROM）で、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）でもよい。揮発性メモリはランダムアクセスメモリ（RAM）でもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ34はこれらおよび任意のほかの適合類型のメモリを含むが、限られることではない。   The memory 34 in the embodiments of the present invention may be a volatile memory or a non-volatile memory, or may include both a volatile memory and a non-volatile memory. Therefore, the nonvolatile memory may be a read-only memory (ROM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), or an electrically erasable programmable read-only memory (EEPROM). .. Volatile memory can be random access memory (RAM), which is used as an external cache. The memory 34 of the devices and methods described herein includes, but is not limited to, these and any other compatible types of memory.

いくつかの実施形態において、メモリ34は以下の要素、即ち実行可能なモジュールまたはデータ構造、あるいはそれらのサブ集合または拡張集合、オペレーティングシステム341とアプリケーションプログラム342を格納している。   In some embodiments, memory 34 stores the following elements: executable modules or data structures, or a subset or extension of them, operating system 341 and application programs 342.

ここで、オペレーティングシステム341は各種の基礎業務およびハードウェアに基づくタスクを実現するように、例えば枠組層、コアー層、駆動層など各種のシステムプログラムを含む。アプリケーションプログラム342は各種のアプリケーション業務を実現するように、例えばブラウザー（Browser）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム342に含まれることが可能である。   Here, the operating system 341 includes various system programs such as a framework layer, a core layer, and a drive layer so as to realize various basic tasks and tasks based on hardware. The application program 342 includes various application programs such as a browser so as to realize various application jobs. A program for implementing the method of the embodiment of the present invention can be included in the application program 342.

上記プロセッサー32によって前記メモリ34に格納されたアプリケーションプログラムとデータ、具体的には、アプリケーションプログラム342に格納されたプログラムまたはコマンドを呼び出しかつ実行する場合は、トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一元フレーズ及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文である。処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文である。前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる。前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。   When calling and executing an application program and data stored in the memory 34 by the processor 32, specifically, a program or command stored in the application program 342, a training matrix is used to have an attention matrix. A neural network model can be learned and the training data comprises at least one set of first source phrases and their corresponding summaries, the first source phrases being pure text sentences in the training document. Each second source phrase of the document to be processed is input to the neural network model to obtain a summary corresponding to each second source phrase, said second source phrase being a pure text sentence in the document to be processed. .. A compound word attention table is created based on the attention matrix between each second original phrase of the document to be processed and its corresponding summary, and the compound word attention table is provided for each of the documents in the document to be processed. The attention value between the collocation of the second original phrase and the collocation in the corresponding summary is included. The first collocation is selected from the document to be processed, expansion is performed on each of the first collocations according to the collocation attention table, and a plurality of expanded collocation candidate sets are obtained. Is combined into a sentence to generate a summary of the document to be processed.

本発明の上記実施例による方法はプロセッサー32に応用でき、あるいはプロセッサー32によって実現できる。プロセッサー32は信号の処理能力を持つ集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサー32内のハードウェアの集積ロジック回路またはソフトウェア形式のコマンドによって完成できる。上記プロセッサー32は汎用プロセッサーで、デジタル信号処理器（DSP）で、特定用途向け集積回路（ASIC）で、現場で構成可能な回路アレイ（FPGA）で、個別ゲートまたはトランジスタロジックデバイスで、個別ハードウェアユニットであってもよく、本発明の実施例に公開された各方法、ステップおよびロジックブロック図を実現または実行できる。汎用プロセッサーはマイクロプロセッサーまたはいかなる常用的なプロセッサーであっても良い。本発明の実施例より公開された方法のステップと結合して直接にできるのは、ハードウェアデコーダプロセッサーより実行して完成、またはデコーダプロセッサー内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完成することである。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリまたは電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野において成熟された記録媒体に位置することが可能である。当該記録媒体はメモリ34にあり、プロセッサー32はメモリ34内の情報を読み取って、そのハードウェアと結合して上記方法のステップを完成する。   The method according to the above embodiments of the present invention can be applied to or realized by the processor 32. The processor 32 may be an integrated circuit chip capable of processing signals. In an implementation process, each step of the above method can be completed by a hardware integrated logic circuit in the processor 32 or a command in software form. The processor 32 is a general purpose processor, digital signal processor (DSP), application specific integrated circuit (ASIC), field configurable circuit array (FPGA), individual gate or transistor logic device, individual hardware It may be a unit and may implement or execute each method, step and logic block diagram disclosed in the embodiments of the present invention. A general purpose processor may be a microprocessor or any conventional processor. Directly in combination with the steps of the method disclosed by the embodiments of the present invention, can be accomplished by execution by a hardware decoder processor or by a combination of hardware and software modules within the decoder processor. That is. The software module may be located in a storage medium mature in the art, such as random memory, flash memory, read only memory, programmable read only memory or electrically erasable programmable memory, register. The recording medium is in the memory 34, and the processor 32 reads the information in the memory 34 and combines it with its hardware to complete the steps of the method.

なお、本明細書に記載されたこれらの実施例に、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはその組み合わせによって実現できる。ハードウェアの実現について、プロセスユニットはひとつまたは複数の特定用途向け集積回路（ASIC）、デジタル信号処理器（DSP）、デジタル信号処理デバイス（DSPD）、プログラマブルロジックデバイス（PLD）、フィールド プログラマブル
ゲート アレイ（FPGA）、汎用プロセッサー、コントローラ、マイクロコントローラ、マイクロプロセッサー、本願の前記機能を実現するためのほかの電子モジュールまたは組み合わせに実現可能である。 Note that these embodiments described in the present specification can be realized by hardware, software, firmware, middleware, microcode, or a combination thereof. For hardware implementation, the process unit is one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays ( FPGA), general-purpose processor, controller, microcontroller, microprocessor, or other electronic module or combination for realizing the functions of the present application.

ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに格納、かつプロセッサーによって実行することが可能である。メモリはプロセッサー内またはプロセッサー外部において実現できる。   With respect to software implementation, the techniques herein may be implemented by modules (eg, processes, functions, etc.) that perform the functions described herein. The software code can be stored in memory and executed by the processor. The memory can be implemented within the processor or external to the processor.

具体的に、プロセッサー32は前記トレーニングデータを獲得し，前記トレーニングデータを獲得するステップは以下を含む。前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを得、前記トレーニング文書の各要約文に対して、前記純テキスト中の各文を走査して、前記純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、前記純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を構成する。   Specifically, the processor 32 acquires the training data, and the steps of acquiring the training data include the following. Word division processing and noise removal processing are performed on the training document to obtain a pure text of the training document. For each summary sentence of the training document, each sentence in the pure text is scanned, and When a sentence in the pure text contains all non-stop words of a summary sentence, the sentence in the pure text and the corresponding summary sentence constitute a set of first original phrases and the corresponding summary.

具体的に、プロセッサー32は処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを得て、前記処理すべき文書の純テキストから前記第二原句を抽出する。   Specifically, the processor 32 performs word segmentation processing and noise removal processing on the document to be processed before the step of inputting each second original phrase of the document to be processed to the neural network model, Obtaining the pure text of the document to be processed and extracting the second original phrase from the pure text of the document to be processed.

プロセッサー32は具体的に、各前記第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築し、前記単語注意力表には前記処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれ、前記単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、前記連語注意力表には前記処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。   The processor 32 specifically extracts the attention matrix between each word in each of the second original phrases and each word in the corresponding summary, and based on the attention value of each word pair, the word attention Constructing a table, the word attention table includes attention values between each word of each second original phrase in the document to be processed and each word in the corresponding summary, and the word attention table The words in the table are merged into collocations, and the attention value between collocation pairs is updated according to the attention value of each word pair to obtain a collocation attention table. The collocation attention table is processed as described above. The attention value between each collocation of each second source phrase in the power document and each collocation in the corresponding summary is included.

プロセッサー32は具体的に、各前記第二原句に構文解析を行い、構文連語タグに基づいて前記第二原句中の単語を連語にマージする。各連語対の間の注意力値は、当該対の連語に含まれる複数対の単語間の注意力値の平均値である。   Specifically, the processor 32 parses each of the second original phrases and merges the words in the second original phrase into the collocations based on syntactic collocation tags. The attention value between each collocation pair is an average value of attention values between a plurality of pairs of words included in the collocation of the pair.

プロセッサー32は具体的に、前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して前記最初の連語にする。   The processor 32 specifically selects a named entity from the pure text headings or first sentences of the document to be processed into the first collocation.

プロセッサー32は具体的に、次のステップを実行して拡張された複数の連語候補集合を得る。   Specifically, the processor 32 performs the following steps to obtain the expanded multiple candidate sets.

ステップa:各前記最初の連語に対して連語候補集合を構築する。   Step a: Build a collocation candidate set for each said first collocation.

ステップb:前記連語注意力表から前記連語候補集合中の各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値より大きい時に、前記最高注意力値に対応する連語を前記連語候補集合に追加する。   Step b: Select each collocation in the collocation candidate set and the collocation having the highest attention value from the collocation attention table, and when the highest attention value is larger than a predetermined threshold value, correspond to the highest attention value. Add collocations to the collocation candidate set.

ステップc:前記連語候補集合の長さが目標長さに達したかどうかを判定し、前記連語候補集合の長さが目標長さに達したときに、ステップbを実行せず、前記連語候補集合の長さが目標長さに達していないときに、続けてステップbを実行する。   Step c: determine whether the length of the collocation candidate set reaches a target length, and when the length of the collocation candidate set reaches the target length, do not perform step b, When the set length does not reach the target length, step b is continuously executed.

プロセッサー32は具体的に、各前記連語候補集合中の連語を可読性を有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量によって前記処理すべき文書の要約として前記連語候補集合が集まった文を出力し、その内、前記連語候補集合のオフセット量が前記連語候補集合中のすべての単語の平均オフセット量である。   The processor 32 specifically combines the collocations in each collocation candidate set into a readable sentence and calculates the offset amount of each collocation candidate set, and the document to be processed according to the offset amount of the collocation candidate set. Is output as a summary of the complex word candidate set, and the offset amount of the complex word candidate set is the average offset amount of all the words in the complex word candidate set.

本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。   In this embodiment, a neural network model having an attention matrix can be learned by using training data including a plurality of sets of first element phrases and corresponding summaries, and each second original phrase of a document to be processed is described above. Input to the neural network model to obtain a summary corresponding to each second original phrase, and the combined word attention based on the attention matrix between each second original phrase of the document to be processed and the corresponding summary A table is created, a first collocation is selected from the document to be processed, expansion is performed on each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are obtained. The collocations in each collocation candidate set are combined into sentences to generate a summary of the document to be processed. Since the technical solution of the present invention constructs a sentence by the key collocation of the document to be processed and forms the summary of the document to be processed, and utilizes the rich features to generate the summary, the meaning of the document can be accurately determined. The summary that can be represented and has a good logicality is suitable for people's reading habits and has good readability.

＜実施例４＞
さらに、本発明の実施例よりコンピュータ読み取り可能な記録媒体が提供され、前記コンピュータ読み取り可能な記録媒体はコンピュータプログラムを格納、前記コンピュータプログラムが前記プロセッサーにより実行される時に、前記プロセッサーに、トレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得て、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書中の純テキスト文であるステップと、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記第二原句は処理すべき文書中の純テキスト文であるステップと、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記連語注意力表には前記処理すべき文書中の各第二原句の連語と対応する要約中の連語との間の注意力値が含まれる、ステップと、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を含む。 <Example 4>
Further, a computer-readable recording medium is provided according to an embodiment of the present invention, the computer-readable recording medium stores a computer program, and when the computer program is executed by the processor, the training data is stored in the processor. The training data may be used to train a neural network model having an attention matrix, the training data including at least one set of first primitive phrases and corresponding summaries, the first primitive phrases being pure text sentences in a training document. And inputting each second source phrase of the document to be processed into the neural network model to obtain a summary corresponding to each second source phrase, said second source phrase being Steps that are pure text sentences, and corresponding second original phrases of the document to be processed and their corresponding A collocational attention table is created based on the attention matrix between the abstract and the summary, and the collocational attention table includes the collocations of each second original phrase in the document to be processed and the corresponding collocations in the summary. , The first collocation is selected from the document to be processed, and the collocation attention table is used to expand each of the first collocations, and Obtaining a collocation candidate set and combining the collocations in each said collocation candidate set into sentences to generate a summary of the document to be processed.

＜実施例５＞
以下、図面を参照して本発明の文書要約の生成方法についてさらに説明し、図8に示すように、本発明の実施例に係る文書要約の生成方法は具体的に以下のステップを含む。 <Example 5>
Hereinafter, the method for generating a document abstract according to the present invention will be further described with reference to the drawings. As shown in FIG. 8, the method for generating a document abstract according to the embodiment of the present invention specifically includes the following steps.

ステップ401:少なくとも一組の第一原句及びそれに対応する要約を含むトレーニングデータを取得する。   Step 401: Obtain training data including at least one set of first original phrases and their corresponding summaries.

トレーニング文書およびトレーニング文書の要約をあらかじめ取得し、トレーニング文書に対して単語分割処理とノイズ除去処理を行って、トレーニング文書の純テキストを得るが、そこで、ノイズ除去処理はトレーニング文書中のノイズを除去して、トレーニング文書の純テキストだけを保留することであって、ノイズにはURL、電話番号及びその他のソーシャルネットワークアカウントを含むが、それらに限られない。   The training document and the summary of the training document are obtained in advance, and the training document is subjected to word segmentation processing and noise reduction processing to obtain the pure text of the training document, where the noise reduction processing removes noise in the training document. And to hold only the pure text of the training document, and noise includes but is not limited to URLs, phone numbers and other social network accounts.

あるトレーニング文書によりトレーニングデータを取得する例を説明すると、当該トレーニング文書の要約中の各文に対して、当該トレーニング文書の純テキスト中の各文を走査し、もし当該トレーニング文書の純テキスト中の一つの文がある要約文のすべての非ストップワードを含んだとき、当該純テキスト中の当該文及び対応する要約文を一組の第一原句及び対応する要約を一組のトレーニングデータとする。このうち、ストップワードは実際の語義を持たない単語であり、助詞、例えば疑問や感動を表す助詞などを含む。   Explaining an example of acquiring training data by a training document, for each sentence in the summary of the training document, scan each sentence in the pure text of the training document, and if When a sentence includes all non-stop words of a summary sentence, the sentence and the corresponding summary sentence in the pure text are a set of first original phrases and the corresponding summary is a set of training data. . Of these, stop words are words that have no actual meaning and include particles, for example, particles that express a question or impression.

各トレーニング文書に上記操作に行うことで、大量のトレーニングデータが得られる。   A large amount of training data can be obtained by performing the above operation on each training document.

ステップ402:トレーニングデータを用いて注意力(attention)行列を持つニューラルネットワークモデルを訓練して得る。   Step 402: Train and obtain a neural network model having an attention matrix using the training data.

ニューラルネットワークモデルにseq2seqモデルを例とし、トレーニングデータに含まれる複数組の第一原句とそれに対応する要約をseq2seqモデルに入力して、注意力行列を持つseq2seqモデルを学習し得る。そこで、seq2seqモデルのencoder(エンコード)とdecoder(デコード)の層数を3に設定して、注意力行列にグローバルスキーマが用いられた。seq2seqモデルの注意力行列は以下に示す。

Figure 0006693582
Figure 0006693582
 Taking the seq2seq model as an example of the neural network model, the seq2seq model having the attention matrix can be trained by inputting a plurality of sets of first original phrases included in the training data and the corresponding summaries to the seq2seq model. Therefore, the global schema was used for the attention matrix by setting the number of layers of encoder and decoder of the seq2seq model to 3. The attention matrix of the seq2seq model is shown below.
Figure 0006693582
Figure 0006693582

ここで、eijはエネルギーであり、encoder側単語xi-1がdecoder側単語yjに対する影響力を表し、si-1はdecoderがi-1時刻の隠れ状態で、hjはencoderすべての時刻における出力状態で、aは非線形関数で、aijはエネルギーeijに対してsoftmax正規化の結果であり、すなわち、注意力行列である。 Here, e ij is energy, the encoder side word xi-1 represents the influence on the decoder side word yj, si-1 is the hidden state of the decoder i-1 time, and h j is at all times of the encoder. In the output state, a is a non-linear function and a ij is the result of softmax normalization on the energies e ij , ie the attention matrix.

seq2seqモデルのencoderに純テキストを入力して、decoder側で生成された要約およびencoder側単語とdecoder側単語との間の注意力行列を得る。   The pure text is input to the encoder of the seq2seq model to obtain the summary generated on the decoder side and the attention matrix between the words on the encoder side and the words on the decoder side.

ステップ403:処理すべき文書の各第二原句をニューラルネットワークモデルに入力して、第二原句対応の要約および第二原句中の各単語と対応要約中の各単語との注意力行列を得る。   Step 403: Input each second original phrase of the document to be processed into the neural network model, and summarize the second original phrase and the attention matrix of each word in the second original phrase and each word in the corresponding summary. To get

ここで、第二原句は処理すべき文書中の純テキスト文である。まず、処理すべき文書に対して単語分割処理とノイズ除去処理を行って処理すべき文書の純テキストを得る。ここで、ノイズ除去処理は処理すべき文書中のノイズを除去して、処理すべき文書の純テキストだけを保留して、処理すべき文書の純テキストから第二原句を抽出する。前記ノイズにはURL、電話番号及びその他のソーシャルネットワークアカウントが含まれるが、それらに限られない。   Here, the second original phrase is a pure text sentence in the document to be processed. First, the word division processing and the noise removal processing are performed on the document to be processed to obtain the pure text of the document to be processed. Here, the noise removal processing removes noise in the document to be processed, holds only the pure text of the document to be processed, and extracts the second original phrase from the pure text of the document to be processed. The noise includes, but is not limited to, URLs, phone numbers and other social network accounts.

処理すべき文書の純テキスト中の第二原句をseq2seqモデルのencoderに入力して、seq2seqモデルのdecoder側で生成され当該第二原句に対応する要約、および第二原句中の各単語と対応要約中の各単語との注意力行列を得ることができる。   Input the second original phrase in the pure text of the document to be processed to the encoder of the seq2seq model, the summary generated by the decoder side of the seq2seq model and corresponding to the second original phrase, and each word in the second original phrase And the attention matrix of each word in the correspondence summary can be obtained.

図9に示すように、一つの例では、第二原句が「Angry Tom Cherry in
dining room」であり、当該第二原句をseq2seqモデルのencoderに入力して、seq2seqモデルのdecoder側で生成される要約「Tom CherJerry」を得ることができ、また第二原句中の各単語と対応要約中の各単語との注意力行列cを得ることもできる。 As shown in Fig. 9, in one example, the second original phrase is "Angry Tom Cherry in
It is a dining room ", and by inputting the second original phrase into the encoder of the seq2seq model, the summary" Tom Cher Jerry "generated on the decoder side of the seq2seq model can be obtained, and each word in the second original phrase can be obtained. It is also possible to obtain the attention matrix c with each word in the correspondence summary.

ステップ404:各第二原句中の各単語と対応する要約中の各単語との間の注意力行列を抽出して、各単語対の注意力値に基づいて単語注意力表を構築する。   Step 404: Extract a attention matrix between each word in each second original phrase and each word in the corresponding summary, and construct a word attention table based on the attention value of each word pair.

ここで、単語注意力表には処理すべき文書中の各第二原句の各単語と対応する要約中の各単語との間の注意力値が含まれる。第二原句を「Angry Tom Cherry in dining room」とし、出力した要約を「Tom
CherJerry」として構築された単語注意力表は表1に示し、そこで、Aijは第二原句中のi番目の単語と対応要約中のj番目の単語との間の注意力値である。

Figure 0006693582
Here, the word attention table includes the attention value between each word of each second original phrase in the document to be processed and each word in the corresponding summary. The second original phrase is "Angry Tom Cherry in dining room" and the output summary is "Tom
The word attention table constructed as "Cher Jerry" is shown in Table 1, where A ij is the attention value between the i-th word in the second original phrase and the j-th word in the corresponding summary.
Figure 0006693582

ステップ405:単語注意力表中の単語を連語にマージし、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得る。   Step 405: Merge the words in the word attention table into collocations and update the attention value between each collocation pair with the attention value of each word pair to obtain a collocation attention table.

具体的には、既存の構文解析ツールを用いて第二原句に対して構文解析することができ、構文連語タグ(たとえばNP、VP)によって単語を連語にマージして、例えばノードツリーにおいて単語がリーフノードであり、リーフノードの1層上のノードに対応するリーフノードをマージして連語を得ることができる。第二原句「Angry
Tom Cherry in dining room」を例として、「Angry」とTom」とを「Angry Tom」にマージでき、「dining」と「room」とを「dining
room」にマージでき、かつ各単語対の注意力値によって各連語対の間の注意力値を更新して連語注意力表を得て、連語注意力表には処理すべき文書中の各第二原句の各連語と対応する要約中の各連語との間の注意力値が含まれる。 Specifically, it is possible to parse the second original phrase using an existing parsing tool, merge words into collocations with syntactic collocation tags (for example, NP, VP), and, for example, in a node tree Is a leaf node, and a leaf node corresponding to a node one layer above the leaf node can be merged to obtain a collocation. Second original phrase "Angry
Using "Tom Cherry in dining room" as an example, "Angry" and "Tom" can be merged into "Angry Tom", and "dining" and "room" can be merged into "dining".
room ”and update the attention value between each collocation pair according to the attention value of each word pair to obtain a collocation attention table, and the collocation attention table contains each item in the document to be processed. The attention value between each collocation of the bi-text and each collocation in the corresponding summary is included.

具体的には、各連語対の間の注意力値を当該対の連語に含まれる複数対の単語間の注意力値の平均値にすることができ、表1に示す単語注意力表から得られる連語注意力表は表2に示す。

Figure 0006693582
Specifically, the attention value between each pair of collocations can be the average value of the attention values between a plurality of pairs of words included in the paired collocation, and is obtained from the word attention table shown in Table 1. Table 2 shows the compound word attention table.
Figure 0006693582

ステップ406:処理すべき文書から最初の連語を選択し、かつ各連語にひとつの連語候補集合を生成する。   Step 406: Select the first collocation from the document to be processed and generate one collocation candidate set for each collocation.

具体的には、処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを選択して最初の連語にすることができる。   Specifically, the named entity can be selected as the first collocation from the pure text heading or first sentence of the document to be processed.

ステップ407:各連語の連語候補集合を拡張して、拡張された複数の連語候補集合を得る。   Step 407: Expand the collocation candidate set of each collocation to obtain a plurality of expanded collocation candidate sets.

連語注意力表から連語候補集合中の各連語と最高注意力値を有する連語を選択して、最高注意力値が所定閾値より大きい時に、最高注意力値に対応する連語を連語候補集合に追加し、上記ステップを繰り返して実行し、かつ連語候補集合の長さが目標長さに達したかどうかを判定して、連語候補集合の長さが目標長さに達したときに、連語を連語候補集合に追加することを停止して、連語候補集合の長さが目標長さに達していないときに、続けて上記ステップを実行して、要求を満たす連語を連語候補集合に追加する。例えば、連語候補集合に連語Aが含まれて、連語Aと最高注意力値を有する連語Bを連語注意力表から選択して、当該最高注意力値が所定閾値より大きければ、連語Bを連語候補集合に加えて、再び連語注意力表から連語Bと最高注意力値を有する連語Cを選択して、当該最高注意力値が所定閾値より大きければ、連語Cを連語候補集合に加え、このように、連語候補集合の長さが目標長さに達するまでに行う。   Select the collocation in the collocation candidate set and the collocation having the highest attention value from the collocation attention table, and add the collocation corresponding to the highest attention value to the collocation candidate set when the highest attention value is greater than a predetermined threshold. Then, the above steps are repeated, and it is determined whether or not the length of the complex word candidate set reaches the target length. When the length of the complex word candidate set reaches the target length, the complex word is The addition to the candidate set is stopped, and when the length of the complex word candidate set does not reach the target length, the above steps are continuously executed to add the complex word satisfying the request to the complex word candidate set. For example, if the collocation candidate set includes collocation A, collocation A and collocation B having the highest attention value are selected from the collocation attention table, and if the highest pacing value is greater than a predetermined threshold value, collocation B is collocation. In addition to the candidate set, select the compound B and the compound C having the highest attention value from the compound attention table again, and if the highest attention value is larger than the predetermined threshold value, add the compound C to the compound candidate set, As described above, the process is performed until the length of the collocation candidate set reaches the target length.

図10に示すように、最初の連語候補集合が<Tom>と<Jerry>であり、一回目の拡張によって得た連語候補集合が<Tom、chase>、<Tom、Indian
Headdress>、<Jerry、Nibbles>と<Jerry、Dining room>になり、二回目の拡張によって得た連語候補集合が<Tom，chase，Nibbles
>、<Tom，Indian Headdress，shotgun>、<Jerry，Nibbles，feed>などになり、三回目の拡張によって得た連語候補集合が<Tom，chase，Nibbles，dining room >などである。 As shown in Figure 10, the first collocation candidate set is <Tom> and <Jerry>, and the collocation candidate set obtained by the first expansion is <Tom, chase>, <Tom, Indian.
Headdress>, <Jerry, Nibbles> and <Jerry, Dining room>, and the collocation candidate set obtained by the second expansion is <Tom, chase, Nibbles.
>, <Tom, Indian Headdress, shotgun>, <Jerry, Nibbles, feed>, etc., and the collocation candidate set obtained by the third expansion is <Tom, chase, Nibbles, dining room>.

ステップ408:各拡張された連語候補集合中の連語を文に組み合わせる。   Step 408: Combine the collocations in each expanded collocation candidate set into sentences.

既存の音声ツールによって各連語候補集合中の連語を可読性を有する文に組み合わせて、例えば、連語候補集合<Tom，chase，Nibbles，dining room >を文「Tom chase Nibbles in
dining room」に組み合わせることができる。 By using the existing speech tools, the collocations in each collocation candidate set are combined into a readable sentence, and for example, the collocation candidate set <Tom, chase, Nibbles, dining room> is converted into the sentence “Tom chase Nibbles in
Can be combined with a dining room.

ステップ409:各拡張された連語候補集合のオフセットに基づいて集まった後の文を出力して、処理すべき文書の要約を生成する。   Step 409: Output the collected sentences based on the offset of each expanded collocation candidate set to generate a summary of the document to be processed.

各連語候補集合のオフセット量を計算し、連語候補集合のオフセット量によって処理すべき文書の要約として連語候補集合が集まった文を出力して、たとえば、オフセット量の低い順から、各前記連語候補集合が集まった文を順次に出力し、そこで、連語候補集合のオフセット量が連語候補集合中のすべての単語の平均オフセット量である。   The offset amount of each collocation candidate set is calculated, and a sentence in which the collocation candidate set is gathered is output as a summary of the document to be processed according to the offset amount of the collocation candidate set. The sentences in which the sets are collected are sequentially output, and the offset amount of the collocation candidate set is the average offset amount of all the words in the collocation candidate set.

本実施例では、複数組の第一元フレーズ及びそれに対応する要約を含むトレーニングデータを利用して注意力行列を持つニューラルネットワークモデルを学習し得、処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を獲得し、前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成して、前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を得て、各前記連語候補集合中の連語を文に組み合わせて、前記処理すべき文書の要約を生成する。本発明の技術方案は処理すべき文書の重要連語によって文を構成して、そして処理すべき文書の要約を形成し、豊富な特徴を利用して要約を生成したので、文書の意味を精確に代表でき、かつ生成された要約の論理性がよく、人々の閲読習慣に合致して、可読性がよい。   In this embodiment, a neural network model having an attention matrix can be learned by using training data including a plurality of sets of first element phrases and corresponding summaries, and each second original phrase of a document to be processed is described above. Input to the neural network model to obtain a summary corresponding to each second original phrase, and the combined word attention based on the attention matrix between each second original phrase of the document to be processed and the corresponding summary A table is created, a first collocation is selected from the document to be processed, expansion is performed on each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are obtained. The collocations in each collocation candidate set are combined into sentences to generate a summary of the document to be processed. Since the technical solution of the present invention constructs a sentence by the key collocation of the document to be processed and forms the summary of the document to be processed, and utilizes the rich features to generate the summary, the meaning of the document can be accurately determined. The summary that can be represented and has a good logicality, matches the reading habits of people, and is easy to read.

以上は本発明の最適な実施形態を説明しているが、当業者にとって、本発明の前記技術思想から逸脱しない場合、若干の改良と修正を行うことが可能であり、これらの改良と修正も本発明の保護範囲内にあると見なすべきである。
Although the above has described the best mode for carrying out the present invention, those skilled in the art can make some improvements and modifications without departing from the technical idea of the present invention. It should be considered to be within the protection scope of the present invention.

Claims (12)

文書要約の生成方法であって、
プロセッサーが、
トレーニングデータにより学習を行うことで注意力（ａｔｔｅｎｔｉｏｎ）行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行することを特徴とする文書要約の生成方法。 A method of generating a document summary,
The processor
Training a training data to obtain a neural network model having an attention matrix, wherein the training data includes at least one set of first clauses and corresponding summaries. The original phrase is a pure text sentence in the training document, step, and
The step of inputting each second original phrase of the document to be processed into the neural network model to obtain a summary corresponding to each second original phrase, wherein the second original phrase is pure text in the document to be processed. A sentence, a step,
A step of creating a compound word attention table based on an attention matrix between each second original phrase of the document to be processed and a summary corresponding thereto, wherein the compound word document to be processed is included in the compound word attention table. A step of including the attention value between the collocation of each second original phrase in and the corresponding collocation in the summary;
The first collocation is selected from the document to be processed, expansion is performed on each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are acquired, and each collocation candidate set is acquired. collocation combined sentences of the method for generating a document summary and executes the steps of: generating a summary of a document to be the processing. 前記トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップの前に、前記文書要約の生成方法は、さらに前記トレーニングデータを取得するステップを含み、
前記トレーニングデータを取得するステップは、
前記トレーニング文書に対して単語分割処理とノイズ除去処理を行って、前記トレーニング文書の純テキストを取得することと、
前記トレーニング文書の各要約文に対して、前記純テキストにおける各文を走査し、前記純テキストにおける文が一要約文のすべての非ストップワードを含む場合、前記純テキストにおける当該文及び対応する要約文を一組の第一原句及び対応する要約とすることと、を含むことを特徴とする請求項１に記載の文書要約の生成方法。 Prior to the step of acquiring the neural network model having the attention matrix by performing learning with the training data, the method for generating the document summary further includes the step of acquiring the training data,
The step of acquiring the training data includes
Performing word segmentation processing and noise removal processing on the training document to obtain pure text of the training document;
For each summary sentence of the training document, scan each sentence in the pure text, and if the sentence in the pure text contains all non-stop words of one summary sentence, the sentence in the pure text and the corresponding summary The method of claim 1, wherein the sentence is a set of first original phrases and corresponding summaries. 前記処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力するステップの前に、前記文書要約の生成方法はさらに、
前記処理すべき文書に対して単語分割処理とノイズ除去処理を行って、前記処理すべき文書の純テキストを取得して、前記処理すべき文書の純テキストから前記第二原句を抽出すること、を含むことを特徴とする請求項１に記載の文書要約の生成方法。 Prior to the step of inputting each second phrase of the document to be processed into the neural network model, the method of generating the document summary further comprises:
Performing word division processing and noise removal processing on the document to be processed to obtain pure text of the document to be processed, and extracting the second original phrase from the pure text of the document to be processed. The method for generating a document summary according to claim 1, further comprising: 前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップは、
各前記第二原句における各単語と対応する要約における各単語との間の注意力行列を抽出し、各単語対の注意力値に基づいて単語注意力表を構築することであって、前記単語注意力表には前記処理すべき文書における各第二原句の各単語と対応する要約における各単語との間の注意力値が含まれる、ことと、
前記単語注意力表における単語を連語にマージし、各単語対の注意力値に基づいて各連語対の間の注意力値を更新して連語注意力表を取得することであって、前記連語注意力表には前記処理すべき文書における各第二原句の各連語と対応する要約における各連語との間の注意力値が含まれる、ことと、を含むことを特徴とする請求項１に記載の文書要約の生成方法。 Creating a collocational attention table based on the attention matrix between each second original phrase of the document to be processed and its corresponding summary,
Extracting a attention matrix between each word in each said second original phrase and each word in the corresponding summary, and constructing a word attention table based on the attention value of each word pair, The word attention table includes attention values between each word of each second source phrase in the document to be processed and each word in the corresponding summary;
Merging the words in the word attention table into collocations, and updating the attention value between each collocation pair based on the attention value of each word pair to obtain a collocation attention table. The attention table includes attention values between each collocation of each second source phrase in the document to be processed and each collocation in the corresponding summary. A method for generating the document summary described in. 前記単語注意力表における単語を連語にマージするステップは、
各前記第二原句に対して構文解析を行い、構文連語タグに基づいて前記第二原句における単語を連語にマージすること、を含むことを特徴とする請求項４に記載の文書要約の生成方法。 Merging the words in the word attention table into collocations,
Parsing each second source phrase and merging words in the second source phrase into a compound word based on a syntactic collocation tag. Generation method. 各連語対の間の注意力値は当該対の連語に含まれる複数対の単語間の注意力値の平均値であることを特徴とする請求項４に記載の文書要約の生成方法。   The method according to claim 4, wherein the attention value between the collocation pairs is an average value of attention values between a plurality of pairs of words included in the collocation of the collocation. 前記処理すべき文書から最初の連語を選択するステップは、
前記処理すべき文書の純テキストの見出しまたは第一文から名前付きエンティティを前記最初の連語として選択すること、を含むことを特徴とする請求項１に記載の文書要約の生成方法。 The step of selecting the first collocation from the document to be processed comprises:
The method of claim 1, comprising selecting a named entity as the first collocation from a pure text heading or first sentence of the document to be processed. 前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得するステップは、
（ａ）各前記最初の連語に対して連語候補集合を構築するステップと、
（ｂ）前記連語注意力表から前記連語候補集合における各連語と最高注意力値を有する連語を選択して、前記最高注意力値が所定閾値よりも大きい場合、前記最高注意力値に対応する連語を前記連語候補集合に追加するステップと、
（ｃ）前記連語候補集合の長さが目標長さに達したか否かを判定し、前記連語候補集合の長さが目標長さに達した場合、ステップ（ｂ）を実行せず、前記連語候補集合の長さが目標長さに達していない場合、続けてステップ（ｂ）を実行するステップと、を含むことを特徴とする請求項１に記載の文書要約の生成方法。 Expanding each of the first collocations by the collocation attention table and obtaining a plurality of expanded collocation candidate sets,
(A) constructing a collocation candidate set for each said first collocation,
(B) Select each compound word in the compound word candidate set and the compound word having the highest attention value from the compound attention table, and if the highest attention value is larger than a predetermined threshold value, correspond to the highest attention value. Adding a collocation to the collocation candidate set;
(C) It is determined whether or not the length of the collocation candidate set reaches a target length, and when the length of the collocation candidate set reaches the target length, step (b) is not executed and The method for generating a document summary according to claim 1, further comprising performing step (b) if the length of the collocation candidate set does not reach the target length. 各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップは、
各前記連語候補集合における連語を可読性の有する文に組み合わせ、かつ各前記連語候補集合のオフセット量を計算して、前記連語候補集合のオフセット量の順に前記連語候補集合における文を前記処理すべき文書の要約として出力すること、を含み、
前記連語候補集合のオフセット量は、前記連語候補集合におけるすべての単語の平均オフセット量であることを特徴とする請求項１に記載の文書要約の生成方法。 Combining the collocations in each collocation candidate set into sentences to generate a summary of the document to be processed,
A document in which the collocations in each collocation candidate set are combined into a readable sentence, and the offset amount of each collocation candidate set is calculated, and the sentences in the collocation candidate set are processed in the order of the offset amount of the collocation candidate set. Output as a summary of
The method of generating a document summary according to claim 1, wherein the offset amount of the collocation candidate set is an average offset amount of all words in the collocation candidate set. トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するトレーニングモジュールであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、トレーニングモジュールと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得する入力モジュールであって、前記第二原句は処理すべき文書における純テキスト文である、入力モジュールと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成する処理モジュールであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、処理モジュールと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成する生成モジュールと、を含むことを特徴とする文書要約の生成装置。 A training module for obtaining a neural network model having an attention matrix by performing training using training data, wherein the training data includes at least one set of first original phrases and a corresponding summary, Is a pure text sentence in the training document, a training module, and
An input module for inputting each second original phrase of a document to be processed into the neural network model to obtain a summary corresponding to each second original phrase, wherein the second original phrase is a pure word in the document to be processed. An input module, which is a text sentence,
A processing module for creating a compound word attention table based on an attention matrix between each second original phrase of the document to be processed and the corresponding summary, wherein the compound word attention table is to be processed. A processing module, comprising a attention value between the collocation of each second source phrase in the document and the collocation of the corresponding summary;
The first collocation is selected from the document to be processed, expansion is performed on each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are acquired, and each collocation candidate set A generating module for generating a summary of the document to be processed by combining the collocation word in 1. with a sentence, and a document summary generating apparatus. プロセッサーと、
コンピュータプログラムコマンドを記憶するメモリと、を含み、
前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、
トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させることを特徴とする文書要約を生成する電子機器。 A processor,
A memory for storing computer program commands,
When the computer program command is executed by the processor, the processor:
A step of obtaining a neural network model having an attention matrix by performing training using training data, wherein the training data includes at least one set of first original phrases and a corresponding summary, and the first original phrases are A step, which is a pure text sentence in the training document,
The step of inputting each second original phrase of the document to be processed into the neural network model to obtain a summary corresponding to each second original phrase, wherein the second original phrase is pure text in the document to be processed. A sentence, a step,
A step of creating a compound word attention table based on an attention matrix between each second original phrase of the document to be processed and its corresponding summary, wherein the compound word document to be processed is included in the compound word attention table. The attention value between the collocation of each second source phrase and the collocation of the corresponding summary in
The first collocation is selected from the document to be processed, the collocation attention table is used to expand each of the first collocations, and a plurality of expanded collocation candidate sets are acquired to obtain each collocation candidate set. Generating a document summary by combining the collocation word in 1. with a sentence to generate the document summary to be processed. コンピュータプログラムを記憶するコンピュータ読み取り可能な記録媒体であって、前記コンピュータプログラムがプロセッサーにより実行される時、前記プロセッサーに、
トレーニングデータにより学習を行うことで注意力行列を持つニューラルネットワークモデルを取得するステップであって、前記トレーニングデータは少なくとも一組の第一原句及びそれに対応する要約を含み、前記第一原句はトレーニング文書における純テキスト文である、ステップと、
処理すべき文書の各第二原句を前記ニューラルネットワークモデルに入力して、各第二原句に対応する要約を取得するステップであって、前記第二原句は処理すべき文書における純テキスト文である、ステップと、
前記処理すべき文書の各第二原句とそれに対応する要約との間の注意力行列に基づいて連語注意力表を作成するステップであって、前記連語注意力表には前記処理すべき文書における各第二原句の連語と対応する要約における連語との間の注意力値が含まれる、ステップと、
前記処理すべき文書から最初の連語を選択して、前記連語注意力表によって各前記最初の連語に対して拡張を行い、拡張された複数の連語候補集合を取得して、各前記連語候補集合における連語を文に組み合わせて、前記処理すべき文書の要約を生成するステップと、を実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
A computer-readable recording medium storing a computer program, wherein when the computer program is executed by a processor,
A step of obtaining a neural network model having an attention matrix by performing training using training data, wherein the training data includes at least one set of first original phrases and a corresponding summary, and the first original phrases are A step, which is a pure text sentence in the training document,
The step of inputting each second original phrase of the document to be processed into the neural network model to obtain a summary corresponding to each second original phrase, wherein the second original phrase is pure text in the document to be processed. A sentence, a step,
A step of creating a compound word attention table based on an attention matrix between each second original phrase of the document to be processed and a summary corresponding thereto, wherein the compound word document to be processed is included in the compound word attention table. A step of including the attention value between the collocation of each second original phrase in and the corresponding collocation in the summary;
The first collocation is selected from the document to be processed, expansion is performed on each of the first collocations by the collocation attention table, and a plurality of expanded collocation candidate sets are acquired, and each collocation candidate set is acquired. Generating a summary of the document to be processed by combining the collocations in 1. into sentences, and executing the computer readable recording medium.
JP2019019459A 2018-02-08 2019-02-06 Document abstract generation method, device, electronic device, and computer-readable storage medium Active JP6693582B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810151330.9 2018-02-08
CN201810151330.9A CN110134780B (en) 2018-02-08 2018-02-08 Method, device, equipment and computer readable storage medium for generating document abstract

Publications (2)

Publication Number Publication Date
JP2019139772A JP2019139772A (en) 2019-08-22
JP6693582B2 true JP6693582B2 (en) 2020-05-13

Family

ID=67568154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019019459A Active JP6693582B2 (en) 2018-02-08 2019-02-06 Document abstract generation method, device, electronic device, and computer-readable storage medium

Country Status (2)

Country Link
JP (1) JP6693582B2 (en)
CN (1) CN110134780B (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705287B (en) * 2019-09-27 2023-06-30 北京妙笔智能科技有限公司 Method and system for generating text abstract
CN113626581A (en) * 2020-05-07 2021-11-09 北京沃东天骏信息技术有限公司 Abstract generation method and device, computer readable storage medium and electronic equipment
CN113157914B (en) * 2021-02-04 2022-06-14 福州大学 Document abstract extraction method and system based on multilayer recurrent neural network
CN113449079B (en) * 2021-06-25 2022-10-04 平安科技（深圳）有限公司 Text abstract generating method and device, electronic equipment and storage medium
CN114996441B (en) * 2022-04-27 2024-01-12 京东科技信息技术有限公司 Document processing method, device, electronic equipment and storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050131931A1 (en) * 2003-12-11 2005-06-16 Sanyo Electric Co., Ltd. Abstract generation method and program product
EP3100212A1 (en) * 2014-01-31 2016-12-07 Google Inc. Generating vector representations of documents
CN104915335B (en) * 2015-06-12 2018-03-16 百度在线网络技术（北京）有限公司 The method and apparatus of the document sets that are the theme generation summary
KR102565274B1 (en) * 2016-07-07 2023-08-09 삼성전자주식회사 Automatic interpretation method and apparatus, and machine translation method and apparatus
CN107368613B (en) * 2017-09-05 2020-02-28 中国科学院自动化研究所 Short text sentiment analysis method and device

Also Published As

Publication number Publication date
CN110134780A (en) 2019-08-16
JP2019139772A (en) 2019-08-22
CN110134780B (en) 2023-11-24

Similar Documents

Publication Publication Date Title
JP6693582B2 (en) Document abstract generation method, device, electronic device, and computer-readable storage medium
WO2020062770A1 (en) Method and apparatus for constructing domain dictionary, and device and storage medium
CN111666401B (en) Document recommendation method, device, computer equipment and medium based on graph structure
WO2022218186A1 (en) Method and apparatus for generating personalized knowledge graph, and computer device
CN109753653B (en) Entity name recognition method, entity name recognition device, computer equipment and storage medium
WO2021134524A1 (en) Data processing method, apparatus, electronic device, and storage medium
CN111026319B (en) Intelligent text processing method and device, electronic equipment and storage medium
CN110705302B (en) Named entity identification method, electronic equipment and computer storage medium
WO2019169858A1 (en) Searching engine technology based data analysis method and system
JP2008537260A (en) Predictive conversion of user input
US20140258817A1 (en) Context-based visualization generation
CN111026320B (en) Multi-mode intelligent text processing method and device, electronic equipment and storage medium
CN111310440A (en) Text error correction method, device and system
CN114141384A (en) Method, apparatus and medium for retrieving medical data
CN111968624B (en) Data construction method, device, electronic equipment and storage medium
JP6095487B2 (en) Question answering apparatus and question answering method
CN112559725A (en) Text matching method, device, terminal and storage medium
CN112559711A (en) Synonymous text prompting method and device and electronic equipment
WO2020211397A1 (en) Courseware page display method and apparatus, page set construction method and apparatus, device, and medium
CN111142728A (en) Vehicle-mounted environment intelligent text processing method and device, electronic equipment and storage medium
CN110275712A (en) A kind of text replacement method, device and equipment
CN114842982A (en) Knowledge expression method, device and system for medical information system
CN109597873B (en) Corpus data processing method and device, computer readable medium and electronic equipment
CN111814471A (en) Information processing method and device, electronic equipment and storage medium
CN110895924B (en) Method and device for reading document content aloud, electronic equipment and readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R151 Written notification of patent or utility model registration

Ref document number: 6693582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151