CN107832310A - 基于seq2seq模型的结构化论点生成方法及系统 - Google Patents

Abstract

本发明公开了一种基于seq2seq模型的结构化论点生成方法及系统，其中，方法包括以下步骤：对数据进行预处理，以对seq2seq模型的输入建立句对；接收输入主题，并通过向量转换将词转换得到词向量；将词向量输入seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对语境向量采用注意力机制；通过seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与输入主题相关的主分论点，并根据主分论点得到主分论点下面的多个次分论点。该方法可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，从而提高模型的可靠性，有效保证模型的准确性和一致性。

Description

基于seq2seq模型的结构化论点生成方法及系统

技术领域

本发明涉及文本生成技术领域，特别涉及一种基于seq2seq模型的结构化论点生成方法及系统。

背景技术

目前，自动写作是文本生成的一个重要的应用，议论文的分论点生成是自动写作的非常重要的环节，如何能够使分论点之间有强关联并且与主题相契合是文本生成技术面对的难题之一。

在相关技术中，文本生成是基于统计机器翻译的方法，基本思想是通过对大量的平行语料进行统计分析，构建统计翻译模型，进而使用此模型进行翻译。比如微软对联，设计了一个多阶段统计机器翻译方法，其中SMT(Statistical Machine Translation，统计机器翻译)系统生成一个n-最佳候选列表，然后使用一个排序模型和附加特性来确定新的n-best结果排名。另外，文本生成也使用RNN(Recurrent neural Network，循环神经网络)结构作为生成工具，比如中文诗歌生成，提出了一种基于递归神经网络的模型，并认为这种模型最适合捕捉诗歌的内容和形式。从早期基于词的机器翻译已经过渡到基于短语的翻译，并正在融合句法信息，以进一步提高翻译的精确性。还有人提出用深度学习的方法来解决这个问题，其基本思想是用一个深度神经网络结构，比如RNN或DNN(Deep Neural Network，深度神经网络)，对语料进行学习，从而达到翻译或者生成的目的。然而，相关技术的文本生成的准确性不高，生成的句子和句源的相关性和一致性较差，无法满足用户的使用需求。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于seq2seq模型的结构化论点生成方法，该方法不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

本发明的另一个目的在于提出一种基于seq2seq模型的结构化论点生成系统。

为达到上述目的，本发明一方面实施例提出了一种基于seq2seq模型的结构化论点生成方法，包括以下步骤：对数据进行预处理，以对seq2seq模型的输入建立句对；接收输入主题，并通过向量转换将词转换得到词向量；将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。

本发明实施例的基于seq2seq模型的结构化论点生成方法，可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，从而可以对输入的文本进行选择性的重点学习，不仅可以提高生成句子与句源的相关性和两者的一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

另外，根据本发明上述实施例的基于seq2seq模型的结构化论点生成方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。

进一步地，在本发明的一个实施例中，所述对所述语境向量采用注意力机制，进一步包括：对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。

进一步地，在本发明的一个实施例中，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。

进一步地，在本发明的一个实施例中，还包括：对所述多个次分论点的每个次分论点进行评价，得到评价分；根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。

为达到上述目的，本发明另一方面实施例提出了一种基于seq2seq模型的结构化论点生成系统，包括：预处理模块，用于对数据进行预处理，以对seq2seq模型的输入建立句对；转换模块，用于接收输入主题，并通过向量转换将词转换得到词向量；编码模块，用于将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；解码模块，用于通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。

本发明实施例的基于seq2seq模型的结构化论点生成系统，可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，对输入的文本选择性的重点学习，从而不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

另外，根据本发明上述实施例的基于seq2seq模型的结构化论点生成系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。

进一步地，在本发明的一个实施例中，所述编码模块还用于对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。

进一步地，在本发明的一个实施例中，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。

进一步地，在本发明的一个实施例中，还包括：评价模块，用于对所述多个次分论点的每个次分论点进行评价，得到评价分；计算模块，用于根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于seq2seq模型的结构化论点生成方法的流程图；

图2为根据本发明一个实施例的seq2seq模型的结构示意图；

图3为根据本发明一个具体实施例的基于seq2seq模型的结构化论点生成方法的流程图；

图4为根据本发明一个实施例的RNN模型的结构示意图；

图5为根据本发明一个实施例的系统功能示意图；

图6为根据本发明一个实施例的基于seq2seq模型的结构化论点生成系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在介绍基于seq2seq模型的结构化论点生成方法及系统之前，首先简单描述一下论文中论点的展开方式。

议论文是一种非常重要的写作体裁，也是应用最广泛的体裁。议论文又叫说理文，它是一种剖析事物论述事理、发表意见、提出主张的文体。一篇好的议论文在外部形态上要反应出一定的思维规律，也就是说要具有一定体式的文章结构。怎样写议论文才算是“合体”呢？议论文写作过程中一个重要的步骤就是分析问题，要按照一定的向度展开问题，但是无论从哪个向度展开，各分论点都要形成一定的联系。其中一种形式就是并列式分论点，就是围绕中心从同一个向度列出几个分论点，逐一论证，这几个论点之间的关系大多是并列关系。分论点是对中心论点的展开与说明，是中心论点的具体化。而各个论点之间保持结构一致，语义关联，句法相似的特点更能够增强整篇文章的一致性和可读性，这就是所说的结构化，而结构化论点生成就是从这个方面考虑，对议论文写作进行研究。举个例子，给定一篇议论文的中心论点是“诚信”，此时需要生成以诚信为中心论点的多个分论点：

(1)诚信是雨，洗涤着人们心灵的尘埃；

(2)诚信是雷，震撼着人们虚伪的灵魂；

(3)诚信像土，滋润着无数幼苗的成长。

本发明实施例正是基于上述方式而提出了一种基于seq2seq模型的结构化论点生成方法及系统。

下面参照附图描述根据本发明实施例提出的基于seq2seq模型的结构化论点生成方法及系统，首先将参照附图描述根据本发明实施例提出的基于seq2seq模型的结构化论点生成方法。

图1是本发明一个实施例的基于seq2seq模型的结构化论点生成方法的流程图。

如图1所示，该基于seq2seq模型的结构化论点生成方法包括以下步骤：

在步骤S101中，对数据进行预处理，以对seq2seq模型的输入建立句对。

可以理解的是，数据预处理部分还包括将预训练的词向量载入模型替换原始模型中的随机初始化，从而不仅可以提高生成词语和原词的匹配度，而且可以减少预训练的词向量的学习时间和计算量。需要说明的是，Seq2seq模型的模型结构如图2所示，输入seq2seq模型的过程也即是由中心论点生成分论点的过程，Seq2seq模型不仅可以在图像生成描述、语音识别、文本生成、机器翻译和自动对话等领域都取得很好的效果。

举例而言，训练语料的格式是一个主题对应多个分论点，即一个短语或者短句子对应一个长句，为了适应seq2seq模型的输入输出数据格式和任务需求，本发明实施例的方法需要将训练语料转化成<主题，分论点>和<分论点，分论点>的对即建立句对。

在步骤S102中，接收输入主题，并通过向量转换将词转换得到词向量。

可以理解的是，输入的主题可以经过词向量的转换即查表的过程，将词转换成向量，从而可以得到词向量。

在步骤S103中，将词向量输入seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对语境向量采用注意力机制。

可以理解的是，本发明实施例在普通的seq2seq模型的基础上加入了注意力机制(attentionmachanism)，并在解码之前对语境向量加入了一定的约束，本发明实施例的方法需要对解码步骤的输入在每个时刻关注的内容不一样，从而能够保证生成的句子和源句的整齐性和一致性。例如在机器翻译的任务中，把“机器学习”翻译成英文为“machinelearning”，在翻译“机器”这个词的时候，不需要考虑“学习”这个词，这样不仅在生成的过程中更有重点，还能够减少计算的负担，是一种动态的选择。

可选地，在本发明的一个实施例中，编码器可以为第一循环神经网络RNN结构，RNN结构为神经网络在时间上的展开。

具体而言，如图3所示，seq2seq模型中的编码器为RNN结构即循环神经网络结构，相比于前向神经网络结构，RNN结构是神经网络机构在时间上的展开，其中，RNN结构如图4所示。

进一步地，在本发明的一个实施例中，对语境向量采用注意力机制，进一步包括：对语境向量乘以权重向量，其中，权重向量根据时间得到。

举例而言，如图3所示，本发明实施例输入的文本被编码成一个语境向量c(又称上下文向量)，其中包含输入文本的全部信息，也是选择有记忆的神经网络的优势。RNN结构中的神经元可以有多重选择，可以选择naiveRNN，LSTM(Long Short-Term Memory，长短期记忆网络)或者GRU(Gated Recurrent Unit，带有门的循环单元结构)等等。其中本发明实施例可以选择GRU作为模型的神经元结构，并对语境向量c采用seq2seq模型中的注意力机制，即对c乘以一个权重向量w。需要说明的是，在每个时间t，权重向量w是不同的。

在步骤S104中，通过seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与输入主题相关的主分论点，并根据主分论点得到主分论点下面的多个次分论点。

可选地，在本发明的一个实施例中，解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。

举例而言，如图3所示，Seq2seq模型的解码部分也是一个RNN结构，本发明实施例的Seq2seq模型的解码将经过注意力机制处理过的语境向量c进行解码，并在RNN结构的最后一层用softmax函数生成在该时间节点上的词的概率分布，根据概率的大小选择该时间节点上生成的词。根据生成的句子与源所对应的目标句子进行交叉熵的计算，利用神经网络的反向传播机制，调节网络的参数，完成网络的学习过程，至此，seq2seq模型结束。

具体而言，在根据主题生成分论点的工作中，在整体的框架上，本发明实施例采用的一个技术方案可以分为两个部分：第一部分是根据主题，生成跟主题相关的第一个分论点，第二部分是根据已经生成的第一个分论点生成第二个分论点，以此类推。首先，本发明实施例需要准备两部分训练语料，第一部分为<主题，分论点>对，第二部分为<分论点，分论点>对；然后，根据两部分训练语料来训练两部分模型；最后，把两部分模型合二为一。需要说明的是，传统的做法是直接根据主题来生成多个分论点，但是经过本发明实施例的实验对比发现，在文本生成的任务里，与主题时间距离越远的分论点，两者的相关性与一致性相差越远，而本发明实施例提出的模型的目标是根据一个输入的主题，能够生成n个分论点，并且这n个分论点之间句式整齐，中心一致，语义相关。由于一个主题需要生成多个分论点，本发明实施例需要根据主题生成第一个分论点，再根据第一个分论点生成下面的几个分论点。

举例而言，本发明实施例需要根据“诚信”这一主题来生成有关诚信的n个分论点，即在训练语料中是一个主题对应多个分论点的形式，本发明实施例需要把训练语料拆分成pairs(对)的形式，这是因为seq2seq模型是序列对序列的生成，源和目标需要成对的出现才可以完成模型的训练。本发明实施例的目标是根据训练语料的对来学习整个网络的参数，当损失函数满足本发明实施例的要求并且没有出现过拟合的情况下，停止训练并进行测试，本发明实施例的目的是，只要输入一个主题，如“诚信”，系统就能够输出跟诚信有关的分论点，如“诚信是雨，洗涤着人们心灵的尘埃”。

另外，在本发明的一个实施例中，本发明实施例的方法还包括：对多个次分论点的每个次分论点进行评价，得到评价分；根据评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。

可以理解的是，对于生成的效果的评价，本发明实施例也从多个角度来考虑：首先是模型过程计算出的混乱度，这项指标只能作为一个参考，并不能直观的看出生成效果的好坏；其次考虑人工评价，从相关度、流畅度、一致性等方面1-5分的等级来进行综合打分；最后得到每一组句子的平均分作为比较的标准。

举例而言，对Seq2seq模型生成的第一个分论点，并作为模型的输入传入模型，从而生成分论点，对生成的分论点要进行一个有效的评价。本发明实施例的方法可以采用人工打分的方式，分别从流畅度、一致性、相关性等方面从1-5分的等级对生成的句子打分，计算每个句子的平均分和总的平均分，来衡量本发明实施例的效果是否达到预期。通过实验结果表明，本发明实施例的效果与预期相符，可以实现议论文写作中，根据主题词的结构化分论点的生成工作。

综上，如图5所示，本发明实施例的实现过程首先进行数据预处理，其次输入seq2seq模型，最后对生成分论点评价打分。其中，本发明实施例的方法通过一个RNN结构将输入文本编码成语境向量，再用一个RNN结构对语境向量进行解码，通过对生成词语的概率分布进行筛选组合，得到合适的输出。具体地，如图3所示，本发明实施例的模型使用两个RNN结构，并在两个结构中间加入注意力机制，对输入文本选择性的重点学习，从而提高了生成句子与源句的相关性和一致性。而在模型的实现上，把随机初始化的词向量替换成从大规模语料中训练好的词向量，从而提升模型的性能。

根据本发明实施例提出的基于seq2seq模型的结构化论点生成方法，可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，对输入的文本选择性的重点学习，从而不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

其次参照附图描述根据本发明实施例提出的基于seq2seq模型的结构化论点生成系统。

图6是本发明一个实施例的基于seq2seq模型的结构化论点生成系统的结构示意图。

如图6所示，该基于seq2seq模型的结构化论点生成系统10包括：预处理模块100、转换模块200、编码模块300和解码模块400。

其中，预处理模块100用于对数据进行预处理，以对seq2seq模型的输入建立句对。转换模块200用于接收输入主题，并通过向量转换将词转换得到词向量。编码模块300用于将词向量输入seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对语境向量采用注意力机制。解码模块400用于通过seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与输入主题相关的主分论点，并根据主分论点得到主分论点下面的多个次分论点。本发明实施例的系统10可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，从而不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

进一步地，在本发明的一个实施例中，编码器为第一循环神经网络RNN结构，RNN结构为神经网络在时间上的展开。

进一步地，在本发明的一个实施例中，编码模块300还用于对语境向量乘以权重向量，其中，权重向量根据时间得到。

进一步地，在本发明的一个实施例中，解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。

进一步地，在本发明的一个实施例中，本发明实施例的系统10还包括：评价模块和计算模块。

其中，评价模块用于对多个次分论点的每个次分论点进行评价，得到评价分。计算模块用于根据评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。

需要说明的是，前述对基于seq2seq模型的结构化论点生成方法实施例的解释说明也适用于该实施例的基于seq2seq模型的结构化论点生成系统，此处不再赘述。

根据本发明实施例提出的基于seq2seq模型的结构化论点生成系统，可以使用预训练的词向量代替原始模型的随机初始化的词向量，并在seq2seq模型中加入注意力机制，对输入的文本选择性的重点学习，从而不仅可以提高生成句子和句源的相关性和一致性，而且可以提高文本生成的准确性，进而提高模型的可靠性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于seq2seq模型的结构化论点生成方法，其特征在于，包括以下步骤：

对数据进行预处理，以对seq2seq模型的输入建立句对；

接收输入主题，并通过向量转换将词转换得到词向量；

将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；

通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。

2.根据权利要求1所述的基于seq2seq模型的结构化论点生成方法，其特征在于，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。

3.根据权利要求1所述的基于seq2seq模型的结构化论点生成方法，其特征在于，所述对所述语境向量采用注意力机制，进一步包括：

对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。

4.根据权利要求1所述的基于seq2seq模型的结构化论点生成方法，其特征在于，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。

5.根据权利要求1-4任一项所述的基于seq2seq模型的结构化论点生成方法，其特征在于，还包括：

对所述多个次分论点的每个次分论点进行评价，得到评价分；

根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。

6.一种基于seq2seq模型的结构化论点生成系统，其特征在于，包括：

预处理模块，用于对数据进行预处理，以对seq2seq模型的输入建立句对；

转换模块，用于接收输入主题，并通过向量转换将词转换得到词向量；

编码模块，用于将所述词向量输入所述seq2seq模型的编码器中进行运算和编码，以得到语境向量，并且对所述语境向量采用注意力机制；

解码模块，用于通过所述seq2seq模型的解码器对经过注意力机制处理的语境向量进行解码，生成与所述输入主题相关的主分论点，并根据所述主分论点得到所述主分论点下面的多个次分论点。

7.根据权利要求6所述的基于seq2seq模型的结构化论点生成系统，其特征在于，所述编码器为第一循环神经网络RNN结构，所述RNN结构为神经网络在时间上的展开。

8.根据权利要求6所述的基于seq2seq模型的结构化论点生成系统，其特征在于，所述编码模块还用于对所述语境向量乘以权重向量，其中，所述权重向量根据时间得到。

9.根据权利要求6所述的基于seq2seq模型的结构化论点生成系统，其特征在于，所述解码器为第二RNN结构，其中，在结构的最后一层通过softmax函数生成在时间节点上的词的概率分布，并根据概率的大小选择所述时间节点上生成的词，从而根据生成的句子与源所对应的目标句子进行交叉熵的计算，并利用神经网络的反向传播机制，以调节网络的参数，完成网络的学习过程。

10.根据权利要求6-9任一项所述的基于seq2seq模型的结构化论点生成系统，其特征在于，还包括：

评价模块，用于对所述多个次分论点的每个次分论点进行评价，得到评价分；

计算模块，用于根据所述评价分计算每个句子的平均分和总平均分，以确定效果是否达到预期。