CN108280112A - 摘要生成方法、装置及计算机设备 - Google Patents

摘要生成方法、装置及计算机设备 Download PDF

Info

Publication number
CN108280112A
CN108280112A CN201710481703.4A CN201710481703A CN108280112A CN 108280112 A CN108280112 A CN 108280112A CN 201710481703 A CN201710481703 A CN 201710481703A CN 108280112 A CN108280112 A CN 108280112A
Authority
CN
China
Prior art keywords
sentence
document
word
coding vector
candidate sentences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710481703.4A
Other languages
English (en)
Other versions
CN108280112B (zh
Inventor
孔行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710481703.4A priority Critical patent/CN108280112B/zh
Priority to PCT/CN2018/092078 priority patent/WO2018233647A1/zh
Publication of CN108280112A publication Critical patent/CN108280112A/zh
Priority to US16/545,904 priority patent/US11409960B2/en
Application granted granted Critical
Publication of CN108280112B publication Critical patent/CN108280112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种摘要生成方法、装置及计算机设备，属于自然语言处理领域。所述方法包括：获取文档D，所述文档D包括至少一个句子；通过抽取式模型从所述文档D中抽取出m个候选句子；通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。本发明先通过抽取式模型抽取适合作为摘要的m个候选句子，从而减少生成式模型所需要处理的文本序列长度，再通过生成式模型根据m个候选句子生成或提取出目标词语，根据目标词语合成文档的摘要，提高了最终生成的摘要的可读性和信息量。

Description

摘要生成方法、装置及计算机设备
技术领域
本申请实施例涉及自然语言处理领域，特别涉及一种摘要生成方法、装置及计算机设备。
背景技术
自动文本摘要(Automatic Text Summarization)用于将一篇文档进行提炼，生成简洁、流畅且包含文章主旨的摘要。自动文本摘要是自然语言处理领域的一大难题。
相关技术中提供了一种基于生成式(Abstractive)模型的自动文本摘要技术，该生成式模型用于从一篇文档中的每个句子中提取出词语，然后将提取出的词语重新组合为一个个句子，从而形成摘要。
但是在文档的文本序列长度较长时，生成式模型所提取出的词语难以控制，导致最终生成的摘要并不符合预期结果，也即最终生成的摘要的可读性和信息量均较差。
发明内容
为了解决在文档的文本序列长度较长时，生成式模型最终生成的摘要的可读性和信息量均较差的问题，本发明实施例提供了一种摘要生成方法、装置及计算机设备。所述技术方案如下：
第一方面，提供了一种摘要生成方法，所述方法包括：
获取文档D，所述文档D包括至少一个句子；
通过抽取式模型从所述文档D中抽取出m个候选句子；
通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
在一个可选的实施例中，所述通过抽取式模型从所述文档D中抽取出m个候选句子，包括：
计算所述文档D中每个句子的句子级编码向量；
根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子。
在一个可选的实施例中，所述抽取式模型包括：第一双向循环神经网络；
所述计算所述文档D中每个句子的句子级编码向量，包括：
将所述句子中的词语沿前向传播方向输入所述第一双向循环神经网络，得到第一前向编码向量；
将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
在一个可选的实施例中，所述抽取式模型包括：第二双向循环神经网络；
所述根据所述每个句子的句子级编码向量计算所述文档的文档级编码向量，包括：
将所述n个句子的句子级编码向量沿前向传播方向输入所述第二双向循环神经网络，得到第二前向编码向量；
将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
在一个可选的实施例中，所述抽取式模型包括基于注意力机制的模型；
所述基于注意力机制的模型为：
p(Si＝1|D)＝σ(a(Si,hi))；
其中，Si为所述文档D中第i个句子的句子级编码向量，所述hi为所述文档D的文档级编码向量，a为预设的前馈神经网络，σ为预设的第一非线性函数，p(Si＝1|D)代表在第i个句子的概率大于所述预设阈值时将所述第i个句子标注为1，并抽取所述第i个句子，i为正整数。
在一个可选的实施例中，所述通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要，包括：
将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；
当所述输出概率大于所述预设阈值时，从所述文档D对应的词典中生成一个词语，作为所述摘要中的第i个词语；所述词典中包括所述文档D中出现频率高于预设条件的词语；
当所述输出概率小于所述预设阈值时，从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
在一个可选的实施例中，所述生成式模型包括编码器和解码器；
所述将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，包括：
通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述第i个解码时刻的隐含状态用于表示所述解码器在所述第i个解码时刻下已经处理的部分输入序列；
根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率。
在一个可选的实施例中，所述生成式模型还包括：第一最大似然估计函数和第二最大似然估计函数；
所述从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语，包括：
通过所述第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
通过所述第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
第二方面，提供了一种摘要生成装置，所述装置包括：
获取模块，被用于获取文档D，所述文档D包括至少一个句子，每个句子包括至少一个词语；
抽取模块，用于通过抽取式模型从所述文档D中抽取出m个候选句子；
输出模块，用于通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
在一个可选的实施例中，所述抽取模块，包括：
计算单元，用于计算所述文档D中每个句子的句子级编码向量；
所述计算单元，还用于根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
所述计算单元，还用于根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子，每个所述句子的概率P的取值为1或0。
在一个可选的实施例中，所述计算单元，包括：
第一输入子单元，用于将所述句子中的词语沿前向传播方向输入第一双向循环神经网络，得到第一前向编码向量；
所述第一输入子单元，还用于将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
所述第一输入子单元，还用于根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
在一个可选的实施例中，所述输入子单元，还用于将所述n个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；
所述第一输入子单元，还用于将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
所述第一输入子单元，还用于根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
在一个可选的实施例中，所述输出模块，包括：
输入子模块，用于将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；
生成子模块，还用于当所述输出概率大于所述预设阈值时，从所述文档D对应的词典中生成一个词语，作为所述摘要中的第i个词语；所述词典中包括所述文档D中出现频率高于预设条件的词语；
抽取子模块，还用于当所述输出概率小于所述预设阈值时，从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
在一个可选的实施例中，所述输入子模块，包括：
计算子单元，用于通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
第二输入子单元，还用于将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述解码时刻的隐含状态用于表示所述解码器在当前解码时刻下已经处理的部分输入序列；
所述计算子单元，还用于根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率，其中，i为正整数，且当i-1＝0时，所述第i-1个解码时刻的隐含状态取默认值，所述第i-1个词语取默认值。
在一个可选的实施例中，所述输出模块，还包括：
句子子模块，用于通过第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
词语子模块，用于通过第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
第三方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面及第一方面的任一可选实现方式中所述的摘要生成方法。
第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面及第一方面的任一可选实现方式中所述的摘要生成方法。
本发明实施例提供的技术方案带来的有益效果至少包括:
先通过抽取式模型抽取适合作为摘要的m个候选句子，从而减少生成式模型所需要处理的文本序列长度，再通过生成式模型根据m个候选句子生成或提取出目标词语，根据目标词语合成文档的摘要，提高了最终生成的摘要的可读性和信息量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个示例性实施例提供的摘要生成方法的流程图；
图2a至图2c是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图3a至图3c是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图4是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图5是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图6是本发明一个示例性实施例提供的摘要生成装置的框图；
图7是本发明一个示例性实施例提供的计算机设备的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明一个示例性实施例提供的摘要生成方法的流程图。该摘要生成方法包括：
在步骤101中，获取文档D，该文档D中包括至少一个句子。
在步骤102中，通过抽取式模型从文档D中抽取出m个候选句子。
可选地，该抽取式模型包括基于注意力机制(Attention)的模型。
基于注意力机制的模型用于计算文档D中的每个句子的概率值，将概率值大于预设阈值的句子抽取为候选句子，将概率小于预设阈值的句子抛弃。其中，抽取式模型用于从文档D中抽取出适合作为摘要的m个候选句子。
在步骤103中，通过生成式模型根据m个候选句子输出目标词语，根据目标词语生成摘要。
可选地，该生成式模型包括基于指针生成网络(Pointer-Generator Networks)的模型，生成式模型中包括编码器与解码器，其中，编码器对应有编码时刻，解码器对应有解码时刻。
通过该生成式模型对每个解码时刻的输出概率进行计算，将该输出概率与预设阈值进行比较，若输出概率大于预设阈值，则将该输出概率标注为1，并从文档D对应的词典中生成一个词语进行输出；若输出概率小于预设阈值，则将该输出概率标注为0，并从m个候选句子中抽取目标词语进行输出。可选地，该词典由文档D中出现频率最高的n个词语组成。
在步骤104中，根据目标词语生成摘要。
综上所述，本发明实施例中先通过抽取式模型从文档D中抽取出适合作为摘要的m个候选句子，从而减少生成式模型所需要处理的文本序列长度，再通过生成式模型根据候选句子生成或提取出目标词语，根据目标词语合成文档D的摘要，提高了最终生成的摘要的可读性和信息量。
在一个可选的实施例中，抽取式模型是基于注意力机制的模型，抽取式模型通过双向循环神经网络对文档D中的每个句子进行编码，得到每个句子的句子级编码向量，再根据每个句子的句子级编码向量从文档D中抽取m个适合作为摘要的候选句子，基于图1所示的摘要生成方法的流程图，步骤102可替代实现为步骤102a至步骤102d，如图2a所示：
在步骤102a中，计算文档D中每个句子的句子级编码向量。
可选地，该句子级编码向量可由双向循环神经网络或单向循环神经网络计算得到，本发明实施例对此不加以限定。
以每个句子的句子级编码向量由双向循环神经网络计算为例，本步骤可以包括三个步骤，如图2b所示：
11，将文档D中的每个句子中的词语沿前向传播方向输入第一双向循环神经网络得到第一前向编码向量；
12，将文档D中的每个句子中的词语沿后向传播方向输入第一双向循环神经网络得到第一后向编码向量；
13，根据第一前向编码向量和第一后向编码向量得到句子的句子级编码向量。
可选地，针对步骤11，设单个句子＝{w1、w2、w3…wn}，wi是表示句子中的第i个词语，第一双向循环神经网络为RNN；
将句子中每个词语按照由前到后的顺序沿前向传播方向输入RNN，采用如下计算公式计算：
Shf i＝RNN(Shf i-1，wi)
其中，Shf i为句子中第i个词语沿前向传播方向输入RNN后的编码结果，Shf i-1为句子中第i-1个词语沿前向传播方向输入RNN后的编码结果，wi为句子中第i个的词语，RNN为第一双向循环神经网络，其中，i为正整数，当i-1＝0时，第i-1个词语取空值或默认值；
也即，将句子中第i-1个词语的词语级编码结果与第i个词语输入第一双向循环神经网络得到第i个词语的词语级编码结果，其中第n个词语输入RNN后的编码结果为该句子的第一前向编码向量。
可选地，针对步骤12，将句子中每个词语按照由后到前的顺序沿后向传播方向输入RNN，采用如下计算公式计算：
Shb i＝RNN(Shb i+1，wi)
其中，Shb i为句子中第i个词语沿后向传播方向输入RNN的编码结果，Shb i+1为句子中第i+1个词语沿后向传播方向输入RNN的编码结果，wi为句子中第i个的词语，RNN为第一双向循环神经网络；
也即，将句子中第i+1个词语的词语级编码结果与第i个词语输入第一双向循环神经网络得到第i个词语的词语级编码结果，其中第1个词语输入RNN后的编码结果为该句子的第一后向编码向量。
可选地，需要对文档D中的每个句子执行步骤11和步骤12。
可选地，针对步骤13，采用如下计算公式进行计算：
Si＝[Shf in，Shb i1]
其中，Shf in为第i个句子中第n个词语(最后一个)沿前向传播方向输入RNN后得到的第一前向编码向量，Shb i1为第i个句子中第一个词语沿后向传播方向输入RNN后得到的第一后向编码向量，Si为第i个句子的句子级编码向量。
在步骤102b中，根据每个句子的句子级编码向量计算文档D的文档级编码向量。
可选地，该文档级编码向量可由双向循环神经网络或单向循环神经网络计算得到，本发明对此不加以限定。
以该文档级编码向量由双向循环神经网络计算为例，本步骤可以包括三个步骤，如图2c所示：
21，将n个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；
22，将n个句子的句子级编码向量沿后向传播方向输入第二双向循环神经网络，得到第二后向编码向量；
23，根据第二前向编码向量和第二后向编码向量得到文档D的文档级编码向量。
可选地，针对步骤21，第二双向循环神经网络为RNN，采用如下计算公式进行计算：
hf i＝RNN(hf i-1，Si)
其中，hf i为文档D中第i个句子沿前向传播方向输入RNN后的编码结果，hf i-1为文档D中第i-1个句子沿前向传播方向输入RNN后的编码结果，Si为第i个句子的句子级编码向量。
可选地，针对步骤22，第二双向循环神经网络为RNN，采用如下计算公式进行计算：
hb i＝RNN(hb i+1，Si)
其中，hb i为文档D中第i个句子沿后向传播方向输入RNN后的编码结果，hb i+1为文档D中第i+1个句子沿前向传播方向输入RNN后的编码结果，Si为第i个句子的句子级编码向量。
可选地，针对步骤23，采用如下计算公式进行计算：
hi＝[hf i，hb i]
其中，hf i为第i个句子的第二前向编码向量，hb i为第i个句子的第二后向编码向量，hi泛指文档D中的各个句子。
在步骤102c中，根据句子级的编码向量和文档级的编码向量计算文档中的每个句子的概率p。
可选地，该抽取式模型包括基于注意力机制的模型。
该基于注意力机制的模型用于根据每个句子的句子级编码向量以及文档级编码向量计算每个句子的概率值。
计算公式如下：
P(Si＝1|D)＝σ(a(Si，hi))
其中，Si为文档D中第i个句子的句子级编码向量，hi为所述文档D的文档级编码向量，a为预设的前馈神经网络，σ为预设的第一非线性函数，p(Si＝1|D)代表在第i个句子的概率大于预设阈值时被标注为1，并抽取该第i个句子；在第i个句子的概率小于预设阈值时被标注为0并抛弃该第i个句子。
在步骤102d中，将文档D中概率p大于预设阈值的句子抽取为m个候选句子。
综上所述，本发明实施例中通过基于注意力机制的模型从文档D中抽取出适合作为摘要的m个候选句子，从而将文档D中不被注意的无用句子进行丢弃，从而减少输入至生成式模型的文本序列中的噪声，提高生成式模型生成或提取出目标词语的信息量，进而提高最终生成的摘要的可读性。
在一个可选的实施例中，生成式模型是基于指针生成网络的模型，该生成模型包括编码器及解码器，解码器中包括指针生成网络，生成式模型通过m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量，并得到该第i个解码时刻的隐含状态，根据第i个解码时刻的隐含状态来输出摘要中第i个词语。具体地，基于图1所示的摘要生成方法的流程图，步骤103可替代实现为如下步骤310至步骤312，如图3a所示：
在步骤310中，将m个候选句子的句子级编码向量作为输入序列输入生成式模型，计算第i个解码时刻的输出概率。
其中，计算第i个解码时刻的输出概率包括如下步骤，如图3b所示：
31，通过编码器根据m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
32，将第i-1个解码时刻的隐含状态、上下文向量ci和摘要中的第i-1个词语输入指针生成网络，计算得到第i个解码时刻的隐含状态，其中，i为正整数，当i-1＝0时，第i-1个解码时刻的隐含状态取默认值。默认值可以是全部初始化为0。
33，根据摘要中的第i-1个词语、上下文向量和第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率。
可选地，针对步骤31，采用如下计算公式进行计算：
eij＝a(h'i-1,hj)
其中，αij为解码器在第i个解码时刻的权重值，hj表示编码器在第j个编码时刻的隐含状态，h’i-1表示第i-1个解码时刻的隐含状态，T表示输入序列的输入长度，a表示预设的前馈神经网络。解码器在第i-1个解码时刻的隐含状态是解码器在第i-1个解码时刻已经处理的部分输入序列；编码器在第j个编码时刻的隐含状态是编码器在第j个解码时刻已经处理的部分输入序列。
将解码器在第i-1个解码时刻的隐含状态以及编码器在第j个编码时刻的隐含状态输入预设的前馈神经网络a得到一个输出值，通过该输出值计算得到解码器在第i个解码时刻的权重值，通过解码器在第i个解码时刻的权重值与编码器在第j个编码时刻的隐含状态计算得到第i个解码时刻的输出概率。
可选地，针对步骤32，采用如下计算公式进行计算：
h’i＝RNN(h’i-1,ci,yi-1)
其中，h’i为解码器在第i个解码时刻的隐含状态，h’i-1为解码器在第i-1个解码时刻的隐含状态、ci为上下文向量，yi-1为摘要中的第i-1个词语，RNN为预设的指针生成网络。
可选的，针对步骤33，采用如下计算公式进行计算：
p(G＝1|D)＝σ(h'i,ci,yi-1)
其中，h’i为解码器在第i个解码时刻的隐含状态、ci为上下文向量，yi-1为摘要中的第i-1个词语，σ表示预设的第二非线性函数。
在步骤311中，当输出概率大于预设阈值时，将该输出概率标注为1，并从文档D对应的词典中生成一个词语作为摘要的第i个词语。
可选地，该词典由文档D中出现频率最高的n个词语组成。
在步骤312中，当输出概率小于预设阈值时，将该输出概率标注为0，并从m个候选句子中的目标句子中抽取出目标词语作为摘要的第i个词语。
抽取目标句子和目标词语的方式包括通过基于注意力机制的模型进行抽取。可选地，本步骤包括如下步骤，如图3c所示：
41，通过第一最大似然估计函数从m个候选句子中确定第i个解码时刻下的目标句子。
计算公式如下：
pij＝argmax(eij)
其中，Pij是m个候选句子在第i个解码时刻下针对第一最大似然估计函数的最优解，eij的计算公式如步骤31所示。
42，通过第二最大似然估计函数从目标句子中的词语中确定出目标词语。
计算公式如下：
pijk＝argmax(eijk)
其中，Pij是目标句子中的各个词语在第i个解码时刻下针对第二最大似然估计函数的最优解，eijk的计算公式如下所示：
eijk＝a(h’i-1，shjk)
其中，h’i-1代表第i-1个解码时刻的隐含状态，a代表预设的前馈神经网络，shjk代表目标句子中第k个词语在第一双向循环神经网络中的编码结果。
可选地，第一最大似然估计函数和第二最大似然估计函数是基于注意力机制所确定的函数。
综上所述，本发明实施例中先通过抽取式模型从文档D中抽取出适合作为摘要的m个候选句子，再通过生成式模型根据候选句子生成或提取出目标词语，该生成式模型中采用了前馈神经网络给每个编码时刻的隐含状态进行加权，使得编码器输出的上下文向量更适合作为当前编码时刻时选择目标词语时的背景。
本发明实施例中还通过第一最大似然估计函数和第二最大似然估计函数，在解码过程中使用注意力机制选择出更为合理的目标词语，提高生成式模型生成或提取出目标词语的准确性，进而提高最终生成的摘要的可读性和信息量。
在一个具体的例子中，结合图4和图5对本发明实施例提供的摘要生成方法进行说明：
在步骤301中，获取文档D，该文档D中包括6个句子，第三个句子中包括至少4个词语w1、w2、w3、w4。
在步骤302至步骤303中，如图4指针所示，将文档D中的每个句子中的词语沿前向传播方向输入第一双向循环神经网络得到第一前向编码向量；将文档D中的每个句子中的词语沿后向传播方向输入第一双向循环神经网络得到第一后向编码向量。
在步骤304中，根据第一前向编码向量和第一后向编码向量得到句子级编码向量s1至s6。
在步骤305至步骤307中，将6个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；将6个句子的句子级编码向量沿后向传播方向输入第二双向循环神经网络，得到第二后向编码向量；根据第二前向编码向量和第二后向编码向量得到文档D的文档级编码向量h1至h6。
在步骤308中，将句子级编码向量和文档级编码向量输入基于注意力机制的模型计算文档中的每个句子的概率p。
其中，第二句、第四句以及第五句的概率p大于预设阈值，被标注为1；第一句、第三句以及第六句的概率p小于预设阈值，被标注为0。
在步骤309中，将文档D中概率p大于预设阈值的句子抽取为候选句子，即抽取第二句、第四句以及第五句为候选句子h’2、h’4以及h’5。
在步骤310中，将候选句子的句子级编码向量作为输入序列输入生成式模型，计算第i个解码时刻的输出概率。
如图4可知，h’2在第i个解码时刻的输出概率大于预设阈值，并被标注为1，h’4在第i+k个解码时刻的输出概率小于预设阈值，并被标注为0，h’5在第i+l个解码时刻的输出概率大于预设阈值，并被标注为1，其中，第i个解码时刻、第i+k个解码时刻以及第i+l个解码时刻为三个不同的解码时刻，且k、l均为整数。
在步骤311中，当输出概率大于预设阈值时，从文档D对应的词典中生成一个词语作为摘要的词语，即w1与w3为从词典中生成的词语，
在步骤312中，当输出概率小于预设阈值时，从候选句子中的目标句子中抽取出目标词语作为摘要的词语，即w2为从目标句子第二句中抽取出的词语。
图6是本发明一个示例性实施例提供的摘要生成装置的框图。该装置可以通过软件、硬件或两者的结合实现成为计算机设备的全部或一部分。所述装置包括：获取模块52、抽取模块54以及输出模块56。
获取模块52，用于获取文档D，所述文档D包括至少一个句子，每个句子包括至少一个词语；
抽取模块54，用于通过抽取式模型从所述文档D中抽取出m个候选句子；
输出模块56，用于通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
在一个可选的实施例中，所述抽取模块，包括：
计算单元，用于计算所述文档D中每个句子的句子级编码向量；
所述计算单元，还用于根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
所述计算单元，还用于根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子，每个所述句子的概率P的取值为1或0。
在一个可选的实施例中，所述计算单元，包括：
第一输入子单元，用于将所述句子中的词语沿前向传播方向输入第一双向循环神经网络，得到第一前向编码向量；
所述第一输入子单元，还用于将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
所述第一输入子单元，还用于根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
在一个可选的实施例中，所述输入子单元，还用于将所述n个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；
所述第一输入子单元，还用于将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
所述第一输入子单元，还用于根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
在一个可选的实施例中，所述输出模块，包括：
输入子模块，用于将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；
生成子模块，还用于当所述输出概率大于所述预设阈值时，从所述文档D对应的词典中生成一个词语，作为所述摘要中的第i个词语；所述词典中包括所述文档D中出现频率高于预设条件的词语；
抽取子模块，还用于当所述输出概率小于所述预设阈值时，从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
在一个可选的实施例中，所述输入子模块，包括：
计算子单元，用于通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
第二输入子单元，还用于将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述解码时刻的隐含状态用于表示所述解码器在当前解码时刻下已经处理的部分输入序列；
所述计算子单元，还用于根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率，其中，i为正整数，且当i-1＝0时，所述第i-1个解码时刻的隐含状态取默认值，所述第i-1个词语取默认值。
在一个可选的实施例中，所述计算子单元，还用于按照如下公式计算所述上下文向量ci：
eij＝a(h’i-1,hj)
其中，hj代表第j个编码时刻的隐含状态，T代表所述输入序列的长度，h’i-1代表第i-1个解码时刻的隐含状态，a代表预设的前馈神经网络，其中，所述编码时刻的隐含状态用于表示所述编码器在当前编码时刻下已经处理的部分输入序列。
在一个可选的实施例中，所述输出模块，还包括：
句子子模块，用于通过第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
词语子模块，用于通过第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
图7是本发明一个示例性实施例提供的计算机设备的框图。该计算机设备可以是手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等，该计算机设备包括：处理器62和存储器64，可选地，该计算机设备还包括显示屏66。
处理器62可以是单核处理器、多核处理器、嵌入式芯片以及具有计算能力的处理器中的至少一种。
存储器64存储有处理器的可执行指令。示意性的，存储器64中一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器62加载并执行以实现如图1至图5所示的任意一种摘要生成方法。
可选地，显示屏66是用于计算机设备显示文档D的内容以及根据文档D的内容生成的自动文本摘要的内容。
可选地，本发明实施例还提供了一种计算机可读存储介质，该存储介质中一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图1至图5所示的任意一种摘要生成方法，可选地，该计算机可读存储介质包括高速存取存储器、非易失性存储器。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种摘要生成方法，其特征在于，所述方法包括：
获取文档D，所述文档D包括至少一个句子；
通过抽取式模型从所述文档D中抽取出m个候选句子；
通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
2.根据权利要求1所述的方法，其特征在于，所述通过抽取式模型从所述文档D中抽取出m个候选句子，包括：
计算所述文档D中每个句子的句子级编码向量；
根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子。
3.根据权利要求2所述的方法，其特征在于，所述抽取式模型包括：第一双向循环神经网络；
所述计算所述文档D中每个句子的句子级编码向量，包括：
将所述句子中的词语沿前向传播方向输入所述第一双向循环神经网络，得到第一前向编码向量；
将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
4.根据权利要求2所述的方法，其特征在于，所述抽取式模型包括：第二双向循环神经网络；
所述根据所述每个句子的句子级编码向量计算所述文档的文档级编码向量，包括：
将所述n个句子的句子级编码向量沿前向传播方向输入所述第二双向循环神经网络，得到第二前向编码向量；
将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
5.根据权利要求2所述的方法，其特征在于，所述抽取式模型包括基于注意力机制的模型；
所述基于注意力机制的模型为：
p(Si＝1|D)＝σ(a(Si,hi))；
其中，Si为所述文档D中第i个句子的句子级编码向量，所述hi为所述文档D的文档级编码向量，a为预设的前馈神经网络，σ为预设的第一非线性函数，p(Si＝1|D)代表在第i个句子的概率大于所述预设阈值时将所述第i个句子标注为1，并抽取所述第i个句子，i为正整数。
6.根据权利要求2至5任一所述的方法，其特征在于，所述通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要，包括：
将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；
当所述输出概率大于所述预设阈值时，从所述文档D对应的词典中生成一个词语，作为所述摘要中的第i个词语；所述词典中包括所述文档D中出现频率高于预设条件的词语；
当所述输出概率小于所述预设阈值时，从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
7.根据权利要求6所述的方法，其特征在于，所述生成式模型包括编码器和解码器；
所述将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，包括：
通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述第i个解码时刻的隐含状态用于表示所述解码器在所述第i个解码时刻下已经处理的部分输入序列；
根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率。
8.根据权利要求6所述的方法，其特征在于，所述生成式模型还包括：第一最大似然估计函数和第二最大似然估计函数；
所述从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语，包括：
通过所述第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
通过所述第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
9.一种摘要生成装置，其特征在于，所述装置包括：
获取模块，被用于获取文档D，所述文档D包括至少一个句子，每个句子包括至少一个词语；
抽取模块，用于通过抽取式模型从所述文档D中抽取出m个候选句子；
输出模块，用于通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
10.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如如权利要求1至8任一所述的摘要生成方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一所述的摘要生成方法。
CN201710481703.4A 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备 Active CN108280112B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710481703.4A CN108280112B (zh) 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备
PCT/CN2018/092078 WO2018233647A1 (zh) 2017-06-22 2018-06-21 摘要生成方法、装置、计算机设备以及存储介质
US16/545,904 US11409960B2 (en) 2017-06-22 2019-08-20 Summary generation method, apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710481703.4A CN108280112B (zh) 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN108280112A true CN108280112A (zh) 2018-07-13
CN108280112B CN108280112B (zh) 2021-05-28

Family

ID=62799363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710481703.4A Active CN108280112B (zh) 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备

Country Status (3)

Country Link
US (1) US11409960B2 (zh)
CN (1) CN108280112B (zh)
WO (1) WO2018233647A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214003A (zh) * 2018-08-29 2019-01-15 陕西师范大学 基于多层注意力机制的循环神经网络生成标题的方法
CN109284367A (zh) * 2018-11-30 2019-01-29 北京字节跳动网络技术有限公司 用于处理文本的方法和装置
CN109325109A (zh) * 2018-08-27 2019-02-12 中国人民解放军国防科技大学 基于注意力编码器的抽取式新闻摘要生成装置
CN109522411A (zh) * 2018-11-12 2019-03-26 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
CN109657054A (zh) * 2018-12-13 2019-04-19 北京百度网讯科技有限公司 摘要生成方法、装置、服务器及存储介质
CN109726281A (zh) * 2018-12-12 2019-05-07 Tcl集团股份有限公司 一种文本摘要生成方法、智能终端及存储介质
CN109885683A (zh) * 2019-01-29 2019-06-14 桂林远望智能通信科技有限公司 一种基于K-means模型和神经网络模型的生成文本摘要的方法
CN110019768A (zh) * 2019-03-28 2019-07-16 北京深海巨鲸信息科技有限公司 生成文本摘要的方法及装置
CN110119444A (zh) * 2019-04-23 2019-08-13 中电科大数据研究院有限公司 一种抽取式与生成式相结合的公文摘要生成模型
CN110147533A (zh) * 2019-01-24 2019-08-20 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
CN110189173A (zh) * 2019-05-28 2019-08-30 北京百度网讯科技有限公司 广告生成方法及装置
CN110209803A (zh) * 2019-06-18 2019-09-06 腾讯科技（深圳）有限公司 故事生成方法、装置、计算机设备及存储介质
CN110377808A (zh) * 2019-06-14 2019-10-25 北京达佳互联信息技术有限公司 文档处理方法、装置、电子设备及存储介质
CN110457661A (zh) * 2019-08-16 2019-11-15 腾讯科技（深圳）有限公司 自然语言生成方法、装置、设备及存储介质
CN110888976A (zh) * 2019-11-14 2020-03-17 北京香侬慧语科技有限责任公司 一种文本摘要生成方法和装置
CN110909152A (zh) * 2019-10-21 2020-03-24 昆明理工大学 一种融合主题信息的司法舆情文本摘要方法
CN110990578A (zh) * 2018-09-30 2020-04-10 北京奇虎科技有限公司 一种改写模型的构建方法及装置
CN111026861A (zh) * 2019-12-10 2020-04-17 腾讯科技（深圳）有限公司 文本摘要的生成方法、训练方法、装置、设备及介质
CN111581374A (zh) * 2020-05-09 2020-08-25 联想(北京)有限公司 文本的摘要获取方法、装置及电子设备
CN111857728A (zh) * 2020-07-22 2020-10-30 中山大学 一种代码摘要生成方法和装置
CN111966820A (zh) * 2020-07-21 2020-11-20 西北工业大学 一种生成式摘要模型构建、提取生成式摘要方法及系统
WO2021023249A1 (zh) * 2019-08-06 2021-02-11 北京三快在线科技有限公司 推荐理由的生成
CN112417139A (zh) * 2020-11-19 2021-02-26 深圳大学 一种基于预训练语言模型的摘要生成方法
CN113011160A (zh) * 2019-12-19 2021-06-22 中国移动通信有限公司研究院 文本摘要生成方法、装置、设备及存储介质
CN113282742A (zh) * 2021-04-30 2021-08-20 合肥讯飞数码科技有限公司 摘要获取方法以及电子设备、存储装置
CN113626581A (zh) * 2020-05-07 2021-11-09 北京沃东天骏信息技术有限公司 摘要生成方法及装置、计算机可读存储介质、电子设备
CN113688231A (zh) * 2021-08-02 2021-11-23 北京小米移动软件有限公司 一种答案文本的摘要提取方法及装置、电子设备及介质
CN114386390A (zh) * 2021-11-25 2022-04-22 马上消费金融股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
WO2022141872A1 (zh) * 2020-12-30 2022-07-07 平安科技（深圳）有限公司 文献摘要生成方法、装置、计算机设备及存储介质
WO2022156434A1 (zh) * 2021-01-22 2022-07-28 北京沃东天骏信息技术有限公司 用于生成文本的方法和装置
US11409960B2 (en) 2017-06-22 2022-08-09 Tencent Technology (Shenzhen) Company Limited Summary generation method, apparatus, computer device, and storage medium
CN115062596A (zh) * 2022-06-07 2022-09-16 南京信息工程大学 一种气象专报的生成方法、装置、电子设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909157B2 (en) * 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
CN110298436B (zh) * 2019-06-28 2023-05-09 乐山金蜜工业卫士服务股份有限公司 基于指针生成网络的数据到文本的生成模型
CN110489541B (zh) * 2019-07-26 2021-02-05 昆明理工大学 基于案件要素及BiGRU的涉案舆情新闻文本摘要方法
US10902191B1 (en) 2019-08-05 2021-01-26 International Business Machines Corporation Natural language processing techniques for generating a document summary
WO2021038827A1 (ja) * 2019-08-30 2021-03-04 富士通株式会社 情報処理方法、情報処理プログラムおよび情報処理装置
CN111177366B (zh) * 2019-12-30 2023-06-27 北京航空航天大学 一种基于查询机制的抽取式文档摘要自动生成方法、装置及系统
KR20210087843A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN111858911A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 工单描述信息的生成方法、装置、电子设备及存储介质
US11294945B2 (en) * 2020-05-19 2022-04-05 International Business Machines Corporation Unsupervised text summarization with reinforcement learning
CN111723547A (zh) * 2020-05-25 2020-09-29 河海大学 一种基于预训练语言模型的文本自动摘要方法
US11593556B2 (en) * 2020-05-26 2023-02-28 Mastercard International Incorporated Methods and systems for generating domain-specific text summarizations
CN111831783B (zh) * 2020-07-07 2023-12-08 北京北大软件工程股份有限公司 一种篇章级关系抽取方法
CN112069309B (zh) * 2020-09-14 2024-03-15 腾讯科技（深圳）有限公司 信息获取方法、装置、计算机设备及存储介质
CN112541348A (zh) * 2020-12-10 2021-03-23 平安科技（深圳）有限公司 长文本生成方法、装置、设备及存储介质
CN112560501B (zh) * 2020-12-25 2022-02-25 北京百度网讯科技有限公司 语义特征的生成方法、模型训练方法、装置、设备及介质
CN115270728A (zh) * 2022-06-20 2022-11-01 阿里巴巴达摩院(杭州)科技有限公司 会议记录处理方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136359A (zh) * 2013-03-07 2013-06-05 宁波成电泰克电子信息技术发展有限公司 单文档摘要生成方法
CN104503958A (zh) * 2014-11-19 2015-04-08 百度在线网络技术（北京）有限公司 文档摘要的生成方法及装置
JP2015225412A (ja) * 2014-05-26 2015-12-14 日本電信電話株式会社 文書要約装置、方法、及びプログラム
CN105488021A (zh) * 2014-09-15 2016-04-13 华为技术有限公司 一种生成多文档摘要的方法和装置
CN105930314A (zh) * 2016-04-14 2016-09-07 清华大学 基于编码-解码深度神经网络的文本摘要生成系统及方法
US20160267165A1 (en) * 2015-03-14 2016-09-15 Hui Wang Automated Key Words (Phrases) Discovery In Document Stacks And Its Application To Document Classification, Aggregation, and Summarization
CN106126620A (zh) * 2016-06-22 2016-11-16 北京鼎泰智源科技有限公司 基于机器学习的中文自动文摘方法
CN106502985A (zh) * 2016-10-20 2017-03-15 清华大学 一种用于生成标题的神经网络建模方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7607083B2 (en) * 2000-12-12 2009-10-20 Nec Corporation Test summarization using relevance measures and latent semantic analysis
US8108398B2 (en) * 2007-06-29 2012-01-31 Microsoft Corporation Auto-summary generator and filter
CN101751425A (zh) * 2008-12-10 2010-06-23 北京大学 文档集摘要获取方法及装置
US9020808B2 (en) * 2013-02-11 2015-04-28 Appsense Limited Document summarization using noun and sentence ranking
CN108280112B (zh) 2017-06-22 2021-05-28 腾讯科技（深圳）有限公司 摘要生成方法、装置及计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136359A (zh) * 2013-03-07 2013-06-05 宁波成电泰克电子信息技术发展有限公司 单文档摘要生成方法
JP2015225412A (ja) * 2014-05-26 2015-12-14 日本電信電話株式会社 文書要約装置、方法、及びプログラム
CN105488021A (zh) * 2014-09-15 2016-04-13 华为技术有限公司 一种生成多文档摘要的方法和装置
CN104503958A (zh) * 2014-11-19 2015-04-08 百度在线网络技术（北京）有限公司 文档摘要的生成方法及装置
US20160267165A1 (en) * 2015-03-14 2016-09-15 Hui Wang Automated Key Words (Phrases) Discovery In Document Stacks And Its Application To Document Classification, Aggregation, and Summarization
CN105930314A (zh) * 2016-04-14 2016-09-07 清华大学 基于编码-解码深度神经网络的文本摘要生成系统及方法
CN106126620A (zh) * 2016-06-22 2016-11-16 北京鼎泰智源科技有限公司 基于机器学习的中文自动文摘方法
CN106502985A (zh) * 2016-10-20 2017-03-15 清华大学 一种用于生成标题的神经网络建模方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VIPUL DALAL等: ""A Survey of Extractive and Abstractive Text Summarization Techniques"", 《ICETET 13:PROCEEDINGS OF THE 2013 6TH INTERNATIONAL CONFERENCE ON EMERGING TRENDS IN ENGINEERING AND TECHNOLOGY》 *
张龙凯等: ""文本摘要中的句子抽取方法研究"", 《第十一届全国计算语言学学术会议》 *
林晶: ""一种基于混合神经网络的抽取式文本摘要方法"", 《怀化学院学报》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409960B2 (en) 2017-06-22 2022-08-09 Tencent Technology (Shenzhen) Company Limited Summary generation method, apparatus, computer device, and storage medium
CN109325109A (zh) * 2018-08-27 2019-02-12 中国人民解放军国防科技大学 基于注意力编码器的抽取式新闻摘要生成装置
CN109325109B (zh) * 2018-08-27 2021-11-19 中国人民解放军国防科技大学 基于注意力编码器的抽取式新闻摘要生成装置
CN109214003B (zh) * 2018-08-29 2019-08-09 陕西师范大学 基于多层注意力机制的循环神经网络生成标题的方法
CN109214003A (zh) * 2018-08-29 2019-01-15 陕西师范大学 基于多层注意力机制的循环神经网络生成标题的方法
CN110990578A (zh) * 2018-09-30 2020-04-10 北京奇虎科技有限公司 一种改写模型的构建方法及装置
CN109522411B (zh) * 2018-11-12 2022-10-28 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
CN109522411A (zh) * 2018-11-12 2019-03-26 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
CN109284367B (zh) * 2018-11-30 2021-05-18 北京字节跳动网络技术有限公司 用于处理文本的方法和装置
CN109284367A (zh) * 2018-11-30 2019-01-29 北京字节跳动网络技术有限公司 用于处理文本的方法和装置
CN109726281A (zh) * 2018-12-12 2019-05-07 Tcl集团股份有限公司 一种文本摘要生成方法、智能终端及存储介质
CN109657054A (zh) * 2018-12-13 2019-04-19 北京百度网讯科技有限公司 摘要生成方法、装置、服务器及存储介质
CN110147533A (zh) * 2019-01-24 2019-08-20 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
CN110147533B (zh) * 2019-01-24 2023-08-29 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
CN109885683A (zh) * 2019-01-29 2019-06-14 桂林远望智能通信科技有限公司 一种基于K-means模型和神经网络模型的生成文本摘要的方法
CN109885683B (zh) * 2019-01-29 2022-12-02 桂林远望智能通信科技有限公司 一种基于K-means模型和神经网络模型的生成文本摘要的方法
CN110019768A (zh) * 2019-03-28 2019-07-16 北京深海巨鲸信息科技有限公司 生成文本摘要的方法及装置
CN110119444A (zh) * 2019-04-23 2019-08-13 中电科大数据研究院有限公司 一种抽取式与生成式相结合的公文摘要生成模型
CN110119444B (zh) * 2019-04-23 2023-06-30 中电科大数据研究院有限公司 一种抽取式与生成式相结合的公文摘要生成模型
CN110189173B (zh) * 2019-05-28 2021-11-30 北京百度网讯科技有限公司 广告生成方法及装置
CN110189173A (zh) * 2019-05-28 2019-08-30 北京百度网讯科技有限公司 广告生成方法及装置
CN110377808A (zh) * 2019-06-14 2019-10-25 北京达佳互联信息技术有限公司 文档处理方法、装置、电子设备及存储介质
CN110209803B (zh) * 2019-06-18 2023-11-14 腾讯科技（深圳）有限公司 故事生成方法、装置、计算机设备及存储介质
CN110209803A (zh) * 2019-06-18 2019-09-06 腾讯科技（深圳）有限公司 故事生成方法、装置、计算机设备及存储介质
WO2021023249A1 (zh) * 2019-08-06 2021-02-11 北京三快在线科技有限公司 推荐理由的生成
CN110457661B (zh) * 2019-08-16 2023-06-20 腾讯科技（深圳）有限公司 自然语言生成方法、装置、设备及存储介质
CN110457661A (zh) * 2019-08-16 2019-11-15 腾讯科技（深圳）有限公司 自然语言生成方法、装置、设备及存储介质
CN110909152A (zh) * 2019-10-21 2020-03-24 昆明理工大学 一种融合主题信息的司法舆情文本摘要方法
CN110909152B (zh) * 2019-10-21 2021-07-09 昆明理工大学 一种融合主题信息的司法舆情文本摘要方法
CN110888976A (zh) * 2019-11-14 2020-03-17 北京香侬慧语科技有限责任公司 一种文本摘要生成方法和装置
CN111026861A (zh) * 2019-12-10 2020-04-17 腾讯科技（深圳）有限公司 文本摘要的生成方法、训练方法、装置、设备及介质
CN111026861B (zh) * 2019-12-10 2023-07-04 腾讯科技（深圳）有限公司 文本摘要的生成方法、训练方法、装置、设备及介质
CN113011160A (zh) * 2019-12-19 2021-06-22 中国移动通信有限公司研究院 文本摘要生成方法、装置、设备及存储介质
CN113626581A (zh) * 2020-05-07 2021-11-09 北京沃东天骏信息技术有限公司 摘要生成方法及装置、计算机可读存储介质、电子设备
CN111581374A (zh) * 2020-05-09 2020-08-25 联想(北京)有限公司 文本的摘要获取方法、装置及电子设备
CN111966820A (zh) * 2020-07-21 2020-11-20 西北工业大学 一种生成式摘要模型构建、提取生成式摘要方法及系统
CN111857728A (zh) * 2020-07-22 2020-10-30 中山大学 一种代码摘要生成方法和装置
CN111857728B (zh) * 2020-07-22 2021-08-31 中山大学 一种代码摘要生成方法和装置
CN112417139A (zh) * 2020-11-19 2021-02-26 深圳大学 一种基于预训练语言模型的摘要生成方法
CN112417139B (zh) * 2020-11-19 2023-07-25 深圳大学 一种基于预训练语言模型的摘要生成方法
WO2022141872A1 (zh) * 2020-12-30 2022-07-07 平安科技（深圳）有限公司 文献摘要生成方法、装置、计算机设备及存储介质
WO2022156434A1 (zh) * 2021-01-22 2022-07-28 北京沃东天骏信息技术有限公司 用于生成文本的方法和装置
CN113282742A (zh) * 2021-04-30 2021-08-20 合肥讯飞数码科技有限公司 摘要获取方法以及电子设备、存储装置
CN113282742B (zh) * 2021-04-30 2022-08-12 合肥讯飞数码科技有限公司 摘要获取方法以及电子设备、存储装置
CN113688231A (zh) * 2021-08-02 2021-11-23 北京小米移动软件有限公司 一种答案文本的摘要提取方法及装置、电子设备及介质
CN114386390B (zh) * 2021-11-25 2022-12-06 马上消费金融股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN114386390A (zh) * 2021-11-25 2022-04-22 马上消费金融股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN115062596A (zh) * 2022-06-07 2022-09-16 南京信息工程大学 一种气象专报的生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2018233647A1 (zh) 2018-12-27
US11409960B2 (en) 2022-08-09
CN108280112B (zh) 2021-05-28
US20190370338A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN108280112A (zh) 摘要生成方法、装置及计算机设备
US11386271B2 (en) Mathematical processing method, apparatus and device for text problem, and storage medium
CN109063174B (zh) 查询答案的生成方法及装置、计算机存储介质、电子设备
CN111639163A (zh) 问题生成模型的训练方法、问题生成方法及其相关设备
CN109840287A (zh) 一种基于神经网络的跨模态信息检索方法和装置
US20200257757A1 (en) Machine Learning Techniques for Generating Document Summaries Targeted to Affective Tone
CN108153864A (zh) 基于神经网络生成文本摘要的方法
CN110866098B (zh) 基于transformer和lstm的机器阅读方法、装置及可读存储介质
CN105261358A (zh) 用于语音识别的n元文法模型构造方法及语音识别系统
CN111061861A (zh) 一种基于XLNet的文本摘要自动生成方法
CN108763191A (zh) 一种文本摘要生成方法及系统
CN111985243B (zh) 情感模型的训练方法、情感分析方法、装置及存储介质
US20220300708A1 (en) Method and device for presenting prompt information and storage medium
CN112818110B (zh) 文本过滤方法、设备及计算机存储介质
CN107679225A (zh) 一种基于关键词的回复生成方法
CN110263304B (zh) 语句编码方法、语句解码方法、装置、存储介质及设备
CN111767394A (zh) 一种基于人工智能专家系统的摘要提取方法及装置
CN112183058A (zh) 基于bert句子向量输入的诗词生成方法及装置
CN108920446A (zh) 一种工程文本的处理方法
CN112820269A (zh) 文本转语音方法、装置、电子设备及存储介质
CN111666756A (zh) 一种基于主题融合的序列模型文本摘要生成方法
CN116050397A (zh) 一种长文本摘要生成方法、系统、设备及存储介质
Jia et al. Attention in character-based BiLSTM-CRF for Chinese named entity recognition
CN114781380A (zh) 一种融合多粒度信息的中文命名实体识别方法、设备和介质
CN109117471A (zh) 一种词语相关度的计算方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant