CN111723548A - 评论扩展方法及装置 - Google Patents

评论扩展方法及装置 Download PDF

Info

Publication number
CN111723548A
CN111723548A CN202010525544.5A CN202010525544A CN111723548A CN 111723548 A CN111723548 A CN 111723548A CN 202010525544 A CN202010525544 A CN 202010525544A CN 111723548 A CN111723548 A CN 111723548A
Authority
CN
China
Prior art keywords
comment
source
comments
sample
news
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010525544.5A
Other languages
English (en)
Other versions
CN111723548B (zh
Inventor
杨震
李彦
亓超
马宇驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010525544.5A priority Critical patent/CN111723548B/zh
Publication of CN111723548A publication Critical patent/CN111723548A/zh
Application granted granted Critical
Publication of CN111723548B publication Critical patent/CN111723548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种评论扩展方法、装置、电子设备及计算机可读存储介质，涉及自然语言处理技术领域。该方法包括：获取待扩展的源评论及源评论对应的源新闻；将源评论及源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻的多个目标评论；其中，神经网络模型是根据包括样本评论及样本评论对应的样本新闻的训练对，和训练对对应的评论结果进行训练得到的、并用于对样本评论进行扩展的模型。本申请可以生成大量具有相关性，同时又多种多样的评论，提高源新闻话题的高质量活跃度。

Description

评论扩展方法及装置
技术领域
本申请涉及自然语言处理技术领域，具体而言，本申请涉及一种评论扩展方法、装置、电子设备及计算机可读存储介质。
背景技术
互联网的高度发达，尤其是博客、微博、论坛等新兴应用的出现，使得网络成为现代生活中大量信息传播的主要媒介。
当某一新闻的活跃度不高时，由于互联网的海量信息，该新闻将会被淹没，因此当需要保持某一新闻的热度时，往往需要有关该新闻的大量评论，但是现有技术中在对新闻产生评论时需要用户的主动输入，没有自动化的生成方式，在需要保持某一新闻热度时，往往需要消耗巨大的人力资源，评论生成的效率低下。
因此如何提高新闻的评论数量，进而提高该新闻的活跃度就成一个亟待解决的问题。
发明内容
本申请提供了一种评论扩展的方法、装置、电子设备及计算机可读存储介质，可以解决提高新闻活跃度的问题。技术方案如下：
第一方面，提供了一种评论扩展的方法，该方法包括：
获取待扩展的源评论及源评论对应的源新闻；
将源评论及源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻的多个目标评论；
其中，神经网络模型是根据包括样本评论及样本评论对应的样本新闻的训练对，和训练对对应的评论结果进行训练得到的、并用于对样本评论进行扩展的模型。
第二方面，提供了一种评论扩展的装置，该装置包括：
第一获取模块，用于获取待扩展的源评论及源评论对应的源新闻；
第一输入模块，用于将源评论及源评论对应的源新闻输入预先训练的第一神经网络模型，得到针对源评论及源新闻的多个目标评论；其中，神经网络模型是根据包括样本评论及样本评论对应的样本新闻的训练对，和训练对对应的评论结果进行训练得到的、并用于对样本评论进行扩展的模型。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行如本申请的第一方面所示的评论扩展的方法对应的操作。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以实现本申请第一方面所示的评论扩展的方法。
本申请提供的技术方案带来的有益效果是：
本申请通过预先根据训练对及和训练对的评论结果训练神经网络模型。进而在对源评论进行评论扩展时，将源评论及源评论对应的源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻对应的多个目标评论。通过使用预先训练的神经网络模型，减少了人力成本，提高了评论生成效率，保证了源新闻话题的热度。
并且通过引入基于自注意力机制的Transformer模型作为初始神经网络模型，通过预设插值函数得到多个特征向量，进而解码得到多个目标评论，保证了评论的数量，同时，Transformer模型能很好地理解文本的特征信息，能快速捕获文本之间的依赖关系，通过加入自注意力机制，使得目标评论与源新闻和/或源评论之间具有一定的相关性，保证了评论的质量。进而提高了源新闻话题的高质量活跃度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种评论扩展方法的流程示意图；
图2为本申请实施例提供的一种神经网络模型训练方法的流程示意图；
图3为本申请实施例提供的另一种评论扩展方法的流程示意图；
图4为本申请实施例提供的一种评论扩展装置的结构示意图；
图5为本申请实施例提供的一种神经网络模型训练装置的结构示意图；
图6为本申请实施例提供的另一种评论扩展装置的结构示意图；
图7为本申请实施例提供的一种评论扩展的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的评论扩展方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例中提供了一种评论扩展的方法，如图1所示，该方法包括：
步骤S101：获取待扩展的源评论及源评论对应的源新闻；
在本实施例中，源新闻与源评论可以是网络上的任一新闻与评论，并且源评论是针对源新闻的评论。
步骤S102：将源评论及源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻的多个目标评论；
其中，神经网络模型是根据包括样本评论及样本评论对应的样本新闻的训练对，和训练对对应的评论结果进行训练得到的、并用于对样本评论进行扩展的模型。
可以理解的是，为了扩展源评论，可以预先根据包括样本评论和样本评论对应的训练对，及训练对对应的评论结果训练神经网络模型。进而，在训练好神经网络模型后，可以将源评论及源评论对应的源新闻输入训练好的神经网络模型，使得训练好的神经网络模型输出与源评论相关的多个目标评论。
本发明实施例提供的方案，本申请通过预先根据训练对及和训练对的评论结果训练神经网络模型。进而在对源评论进行评论扩展时，将源评论及源评论对应的源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻对应的多个目标评论。通过使用预先训练的神经网络模型，减少了人力成本，提高了评论生成效率，保证了源新闻话题的热度。
本申请实施例中提供了一种可能的实现方式，如图2所示，神经网络模型的训练过程包括如下步骤：
步骤S201：获取包括样本评论和样本评论对应样本新闻的训练对，及训练对对应的评论结果，其中评论结果可从样本新闻对应的评论集中获取；
其中，训练对和训练对对应的评论结果是训练神经网络模型的训练样本。训练样本的个数可以根据经验或实际需要进行设定。需要说明的是，训练对可以包括样本新闻与样本评论的平行数据，即一个样本新闻可以对应多个样本评论。在获取样本新闻与样本评论后，可以在样本新闻的评论集中获取训练对对应的评论结果，具体的，评论结果是与样本评论相关的，但是描述方式不同的评论。
步骤S202：利用训练对及评论结果，训练初始的神经网络模型，通过调整初始神经网络模型中的参数，使得初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型。
可选的，初始的神经网络模型可以包括基于自注意力机制的Transformer模型。
其中，注意力机制可以使得神经网络具备专注于其输入子集的能力，即选择特定的输入。注意力可以应用于任何类型的输入而不管其形状如何。在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。
基于自注意力机制的Transformer模型是目前代表最先进水平的神经网络架构，其中包括编码器与解码器。编码器负责提取文本的特征信息，为文本中每个词提取一个300维的特征向量，从而得到整个文本的特征向量。解码器负责利用编码器提取的特征向量生成符合特征信息的关键词作为输出。
其中，利用训练对和训练对对应的评论结果训练初始的神经网络模型的过程为：不断地调整模型中的参数，使得模型不断收敛到设定的收敛条件，则模型训练完成。当训练好神经网络模型后，就可以利用该训练好的神经网络模型对样本评论进行扩展。
其中，利用训练对及评论结果，训练初始的神经网络模型，通过调整初始神经网络模型中的参数，使得初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型，可以包括如下步骤：
步骤A1：将训练对输入基于自注意力机制的Transformer模型，其中，基于自注意力机制的Transformer模型包括编码器和解码器，利用添加自注意力机制的编码器分别提取样本新闻及样本评论的特征信息，分别得到样本新闻的新闻特征向量及样本评论的评论特征向量；
该过程为样本新闻及样本评论的编码阶段，先将样本新闻转化成Token，之后输入词向量表获得该样本新闻对应的词向量，在输入的样本新闻前加一个特殊符，然后在基于自注意力机制的Transformer模型最后一层中取该特殊符位置为这个输入的样本新闻的句向量，也即样本新闻的新闻特征向量。其中，添加自注意力机制使得上述Transformer模型中的向量得更多互动。
利用同样的方法，获得样本评论的评论特征向量。
步骤A2：利用预设插值函数调节新闻特征向量与评论特征向量的系数得到第一特征向量；
其中，预设插值函数可以是z_＝u*z_s2s+(1-u)*z_ae。u表示插值参数，s2s表示新闻特征向量，ae表示评论特征向量，z_表示特征向量的方向，即新闻特征向量s2s与评论特征向量ae的方向相同。
可选的，在训练过程中，预设插值函数服从均匀分布进行采样，通过改变插值参数u的大小调节新闻特征向量与评论特征向量的系数可以得到多个第一特征向量。
步骤A3：将第一特征向量与评论结果输入基于自注意力机制的解码器中，利用基于自注意力机制的解码器得到评论结果对应的第二特征向量；
解码器的输入在训练过程中是评论结果，此外，还需要编码器提取的特征向量作为额外输入，最终输出评论结果对应的特征向量。与上述样本新闻或者样本评论的编码过程类似，可以直接将评论结果输入解码器，同时输入编码器获得的第一特征向量得到评论结果对应的第二特征向量。
需要说明的是，与上述编码过程不同的是，解码器输出的第二特征向量不是句向量，而是词向量。因此在上述评论结果中有多少个词，便对应多少个词向量，即同样数量的第二特征向量。
步骤A4：将第二特征向量与评论结果基于交叉熵损失进行梯度运算，利用梯度下降法完成基于自注意力机制的Transformer模型的训练。
其中，可以利用交叉熵损失函数将编码器输出的多个词向量分别与评论结果做运算，得到多个词向量与评论结果的梯度，然后利用梯度下降法来更新模型参数，从而完成对上述基于自注意力机制的Transformer模型的训练。
本申请实施例中提供了一种可能的实现方式，如图3所示，将源评论及源评论对应的源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻的多个目标评论，包括：
步骤S301：将源评论及源评论对应的源新闻输入预先训练的基于自注意力机制的Transformer模型；
步骤S302：基于预先训练的Transformer模型中的编码器提取源评论结合源新闻对应的多个目标特征向量；
先将源评论转化成Token，之后输入词向量表获得该源评论对应的词向量，在输入的源评论前加一个特殊符，然后在基于自注意力机制的Transformer模型最后一层中取该特殊符位置为这个输入的源评论的句向量，也即源评论的特征向量。其中，添加自注意力机制使得上述Transformer模型中的向量得更多互动。
利用同样的方法，获得源新闻的特征向量。然后通过改变插值参数u的大小调节源评论特征向量与源新闻特征向量的系数可以得到多个目标特征向量。
步骤S303：利用预设的解码方法通过预先训练的Transformer模型中的解码器对多个目标特征向量进行解码，得到多个目标特征向量分别对应的多个目标评论。
通过预设解码方法，如Greedy Search解码方法、Beam Search解码方法或Sampling解码方法，分别对多个目标特征向量进行解码，得到针对源评论扩展的多个目标评论。由于在解码器中添加了自注意力机制，故解码达到的多个目标评论与源新闻和/或源评论具有一定的相关性。
本申请通过引入基于自注意力机制的Transformer模型，在特征提取时提取源新闻与源评论的特征向量，并且通过预设插值函数得到多个特征向量，进而解码得到多个目标评论，保证了评论的数量，同时，Transformer模型能很好地理解文本的特征信息，能快速捕获文本之间的依赖关系，并且通过加入自注意力机制，使得目标评论与源新闻和/或源评论之间具有一定的相关性，保证了评论的质量。进而提高了源新闻话题的高质量活跃度。
本申请实施例提供了一种评论扩展装置，如图4所示，该评论扩展装置40可以包括：第一获取模块401及第一输入模块402，其中，
第一获取模块401，用于获取待扩展的源评论及源评论对应的源新闻；
第一输入模块402，用于将源评论及源评论对应的源新闻输入预先训练的第一神经网络模型，得到针对源评论及源新闻的多个目标评论。
其中，神经网络模型是根据包括样本评论及样本评论对应的样本新闻的训练对，和训练对对应的评论结果进行训练得到的、并用于对样本评论进行扩展的模型。
可以理解的是，为了扩展源评论，可以预先根据包括样本评论和样本评论对应的训练对，及训练对对应的评论结果训练神经网络模型。进而，在训练好神经网络模型后，可以将源评论及源评论对应的源新闻输入训练好的神经网络模型，使得训练好的神经网络模型输出与源评论相关的多个目标评论。
本发明实施例提供的方案，通过预先根据训练对及和训练对的评论结果训练神经网络模型。进而在对源评论进行评论扩展时，将源评论及源评论对应的源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻对应的多个目标评论。通过使用预先训练的神经网络模型，减少了人力成本，提高了评论生成效率，保证了源新闻话题的热度。
图5为本申请实施例提供的一种神经网络模型训练装置的结构示意图如图5所示，本实施例的装置可以包括：第二获取模块501及训练模块502。
第二获取模块501，获取包括样本评论和样本评论对应样本新闻的训练对，及训练对对应的评论结果，其中评论结果可从样本新闻对应的评论集中获取；
其中，训练对和训练对对应的评论结果是训练神经网络模型的训练样本。训练样本的个数可以根据经验或实际需要进行设定。需要说明的是，训练对可以包括样本新闻与样本评论的平行数据，即一个样本新闻可以对应多个样本评论。在获取样本新闻与样本评论后，可以在样本新闻的评论集中获取训练对对应的评论结果，具体的，评论结果是与样本评论相关的，但是描述方式不同的评论。
训练模块502，利用训练对及评论结果，训练初始的神经网络模型，通过调整初始神经网络模型中的参数，使得初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型。
可选的，初始的神经网络模型可以包括基于自注意力机制的Transformer模型。
其中，利用训练对和训练对对应的评论结果训练初始的神经网络模型的过程为：不断地调整模型中的参数，使得模型不断收敛到设定的收敛条件，则模型训练完成。当训练好神经网络模型后，就可以利用该训练好的神经网络模型对样本评论进行扩展。
利用训练对及评论结果，训练初始的神经网络模型，通过调整初始神经网络模型中的参数，使得初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型，可以包括如下模块：
第一提取模块，具体用于将训练对输入基于自注意力机制的Transformer模型，其中，基于自注意力机制的Transformer模型包括编码器和解码器，利用添加自注意力机制的编码器分别提取样本新闻及样本评论的特征信息，分别得到样本新闻的新闻特征向量及样本评论的评论特征向量。
该过程为样本新闻及样本评论的编码阶段，先将样本新闻转化成Token，之后输入词向量表获得该样本新闻对应的词向量，之后将该样本新闻对应的词向量输入Transformer模型，在输入的样本新闻前加一个特殊符，然后在基于自注意力机制的Transformer模型最后一层中取该特殊符位置为这个输入的样本新闻的句向量，也即样本新闻的新闻特征向量。其中，添加自注意力机制使得上述Transformer模型中的向量得更多互动。
利用同样的方法，获得样本评论的评论特征向量。
调节模块，具体用于利用预设插值函数调节新闻特征向量与评论特征向量的系数得到第一特征向量；
其中，预设插值函数可以是z_＝u*z_s2s+(1-u)*z_ae。u表示插值参数，s2s表示新闻特征向量，ae表示评论特征向量，z_表示特征向量的方向，即新闻特征向量s2s与评论特征向量ae的方向相同。
可选的，在训练过程中，预设插值函数服从均匀分布进行采样，通过改变插值参数u的大小调节新闻特征向量与评论特征向量的系数可以得到多个第一特征向量。
第二提取模块，用于将第一特征向量与评论结果输入基于自注意力机制的解码器中，利用基于自注意力机制的解码器得到评论结果对应的第二特征向量；
解码器的输入在训练过程中是评论结果，此外，还需要编码器提取的特征向量作为额外输入，最终输出评论结果对应的特征向量。与上述样本新闻或者样本评论的编码过程类似，可以直接将评论结果输入解码器，同时输入编码器获得的第一特征向量得到评论结果对应的第二特征向量。
需要说明的是，与上述编码过程不同的是，解码器输出的第二特征向量不是句向量，而是词向量。因此在上述评论结果中有多少个词，便对应多少个词向量，即同样数量的第二特征向量。
运算模块，用于将第二特征向量与评论结果基于交叉熵损失进行梯度运算，利用梯度下降法完成基于自注意力机制的Transformer模型的训练。
其中，可以利用交叉熵损失函数将编码器输出的多个词向量分别与评论结果做运算，得到多个词向量与评论结果的梯度，然后利用梯度下降法来更新模型参数，从而完成对上述基于自注意力机制的Transformer模型的训练。
图6为本申请实施例提供的另一种评论扩展装置的结构示意图，本实施例的装置可以包括：第二输入模块601、编码模块602及解码模块603。
第二输入模块601，用于将源评论及源评论对应的源新闻输入预先训练的基于自注意力机制的Transformer模型；
编码模块602：基于预先训练的Transformer模型中的编码器提取源评论结合源新闻对应的多个目标特征向量；
先将源评论转化成Token，之后输入词向量表获得该源评论对应的词向量，在输入的源评论前加一个特殊符，然后在基于自注意力机制的Transformer模型最后一层中取该特殊符位置为这个输入的源评论的句向量，也即源评论的特征向量。其中，添加自注意力机制使得上述Transformer模型中的向量得更多互动。
利用同样的方法，获得源新闻的特征特征向量。然后通过改变插值参数u的大小调节源评论特征向量与源新闻特征向量的系数可以得到多个目标特征向量。
解码模块603，用于利用预设的解码方法通过预先训练的Transformer模型中的解码器对多个目标特征向量进行解码，得到多个目标特征向量分别对应的多个目标评论。
通过预设解码方法，如Greedy Search解码方法、Beam Search解码方法或Sampling解码方法，分别对多个目标特征向量进行解码，得到针对源评论扩展的多个目标评论。由于在解码器中添加了自注意力机制，故解码达到的多个目标评论与源新闻和/或源评论具有一定的相关性。
本申请通过预先根据训练对及和训练对的评论结果训练神经网络模型。进而在对源评论进行评论扩展时，将源评论及源评论对应的源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻对应的多个目标评论。通过使用预先训练的神经网络模型，减少了人力成本，提高了评论生成效率，保证了源新闻话题的热度。
并且通过引入基于自注意力机制的Transformer模型作为初始神经网络模型，通过预设插值函数得到多个特征向量，进而解码得到多个目标评论，保证了评论的数量，同时，Transformer模型能很好地理解文本的特征信息，能快速捕获文本之间的依赖关系，通过加入自注意力机制，使得目标评论与源新闻和/或源评论之间具有一定的相关性，保证了评论的质量。进而提高了源新闻话题的高质量活跃度。
本申请实施例中提供了一种电子设备，该电子设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比可实现：本发明实施例提供的方案，通过预先根据训练对及和训练对的评论结果训练神经网络模型。进而在对源评论进行评论扩展时，将源评论及源评论对应的源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻对应的多个目标评论。通过使用预先训练的神经网络模型，减少了人力成本，提高了评论生成效率，保证了源新闻话题的热度。
在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本发明实施例提供的方案，通过预先根据训练对及和训练对的评论结果训练神经网络模型。进而在对源评论进行评论扩展时，将源评论及源评论对应的源新闻输入预先训练的神经网络模型，得到针对源评论及源新闻对应的多个目标评论。通过使用预先训练的神经网络模型，减少了人力成本，提高了评论生成效率，保证了源新闻话题的热度。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
根据本公开的一个或多个实施例，提供了一种评论扩展方法，包括：
获取待扩展的源评论及所述源评论对应的源新闻；
将所述源评论及所述源新闻输入预先训练的神经网络模型，得到针对所述源评论及所述源新闻的多个目标评论；
其中，所述神经网络模型是根据包括样本评论及所述样本评论对应的样本新闻的训练对，和所述训练对对应的评论结果进行训练得到的、并用于对所述样本评论进行扩展的模型。
可选的，所述神经网络模型的训练过程，包括：
获取包括所述样本评论和所述样本评论对应样本新闻的训练对，及所述训练对对应的评论结果，其中所述评论结果可从所述样本新闻对应的评论集中获取；
利用所述训练对及所述评论结果，训练初始的神经网络模型，通过调整所述初始神经网络模型中的参数，使得所述初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型。
可选的，所述初始神经网络模型包括基于自注意力机制的Transformer模型。
可选的，所述利用所述训练对及所述评论结果，训练初始的神经网络模型，通过调整所述初始神经网络模型中的参数，使得所述初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型，包括：
将所述训练对输入所述基于自注意力机制的Transformer模型，其中，所述基于自注意力机制的Transformer模型包括编码器和解码器；利用添加所述自注意力机制的编码器分别提取样本新闻及样本评论的特征信息，分别得到所述样本新闻的新闻特征向量及所述样本评论的评论特征向量；
利用预设插值函数调节所述新闻特征向量与所述评论特征向量的系数得到第一特征向量；
将所述第一特征向量与所述评论结果输入所述基于自注意力机制的解码器中，利用所述基于自注意力机制的解码器得到所述评论结果对应的第二特征向量；
将所述第二特征向量与所述评论结果基于交叉熵损失进行梯度运算，利用梯度下降法完成所述基于自注意力机制的Transformer模型的训练。
可选的，所述预设插值函数服从均匀分布进行采样。
可选的，所述将所述源评论及所述源评论对应的源新闻输入预先训练的神经网络模型，得到针对所述源评论及所述源评论对应的源新闻的多个目标评论，包括：
将所述源评论及所述源评论对应的源新闻输入预先训练的基于自注意力机制的Transformer模型；
基于所述预先训练的Transformer模型中的编码器提取所述源评论结合所述源新闻对应的多个目标特征向量；
利用预设的解码方法通过所述预先训练的Transformer模型中的解码器对所述多个目标特征向量进行解码，得到所述多个目标特征向量分别对应的多个目标评论。
可选的，所述解码方法包括以下任一项：
Greedy Search解码方法、Beam Search解码方法或Sampling解码方法。
根据本公开的一个或多个实施例，提供了一种评论扩展装置，包括：
第一获取模块，用于获取待扩展的源评论及所述源评论对应的源新闻；
第一输入模块，用于将所述源评论及所述源评论对应的源新闻输入预先训练的第一神经网络模型，得到针对所述源评论及所述源新闻的多个目标评论；其中，所述神经网络模型是根据包括样本评论及所述样本评论对应的样本新闻的训练对，和所述训练对对应的评论结果进行训练得到的、并用于对所述样本评论进行扩展的模型。
可选的，提供了一种神经网络模型训练装置，包括：
第二获取模块，用于获取包括所述样本评论和所述样本评论对应样本新闻的训练对，及所述训练对对应的评论结果，其中所述评论结果可从所述样本新闻对应的评论集中获取；
训练模块：用于利用所述训练对及所述评论结果，训练初始的神经网络模型，通过调整所述初始神经网络模型中的参数，使得所述初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型。
可选的，所述初始神经网络模型包括基于自注意力机制的Transformer模型。
可选的，所述训练模块包括：
第一提取模块：具体用于将所述训练对输入所述基于自注意力机制的Transformer模型，其中，所述基于自注意力机制的Transformer模型包括编码器和解码器；利用添加所述自注意力机制的编码器分别提取样本新闻及样本评论的特征信息，分别得到所述样本新闻的新闻特征向量及所述样本评论的评论特征向量；
调节模块，具体用于利用预设插值函数调节所述新闻特征向量与所述评论特征向量的系数得到第一特征向量；
第二提取模块，具体用于将所述第一特征向量与所述评论结果输入所述基于自注意力机制的解码器中，利用所述基于自注意力机制的解码器得到所述评论结果对应的第二特征向量；
运算模块，具体用于将所述第二特征向量与所述评论结果基于交叉熵损失进行梯度运算，利用梯度下降法完成所述基于自注意力机制的Transformer模型的训练。
可选的，所述预设插值函数服从均匀分布进行采样。
可选的，另一种评论扩展装置包括：
第二输入模块，具体用于将所述源评论及所述源评论对应的源新闻输入预先训练的基于自注意力机制的Transformer模型；
编码模块，具体用于基于所述预先训练的Transformer模型中的编码器提取所述源评论结合所述源新闻对应的多个目标特征向量；
解码模块，具体用于利用预设的解码方法通过所述预先训练的Transformer模型中的解码器对所述多个目标特征向量进行解码，得到所述多个目标特征向量分别对应的多个目标评论。
可选的，所述解码方法包括以下任一项：
Greedy Search解码方法、Beam Search解码方法或Sampling解码方法。
根据本公开的一个或多个实施例，提供了一种电子设备，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述评论扩展方法对应的操作。
根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，包括：
所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述评论扩展方法。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种评论扩展方法，其特征在于，包括：
获取待扩展的源评论及所述源评论对应的源新闻；
将所述源评论及所述源新闻输入预先训练的神经网络模型，得到针对所述源评论及所述源新闻的多个目标评论；
其中，所述神经网络模型是根据包括样本评论及所述样本评论对应的样本新闻的训练对，和所述训练对对应的评论结果进行训练得到的、并用于对所述样本评论进行扩展的模型。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程，包括：
获取包括所述样本评论和所述样本评论对应样本新闻的训练对，及所述训练对对应的评论结果，其中所述评论结果可从所述样本新闻对应的评论集中获取；
利用所述训练对及所述评论结果，训练初始的神经网络模型，通过调整所述初始神经网络模型中的参数，使得所述初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述初始神经网络模型包括基于自注意力机制的Transformer模型。
4.根据权利要求3所述的方法，其特征在于，所述利用所述训练对及所述评论结果，训练初始的神经网络模型，通过调整所述初始神经网络模型中的参数，使得所述初始神经网络模型满足预定的收敛条件，得到训练完成的神经网络模型，包括：
将所述训练对输入所述基于自注意力机制的Transformer模型，其中，所述基于自注意力机制的Transformer模型包括编码器和解码器；
利用添加所述自注意力机制的编码器分别提取样本新闻及样本评论的特征信息，分别得到所述样本新闻的新闻特征向量及所述样本评论的评论特征向量；
利用预设插值函数调节所述新闻特征向量与所述评论特征向量的系数得到第一特征向量；
将所述第一特征向量与所述评论结果输入所述基于自注意力机制的解码器中，利用所述基于自注意力机制的解码器得到所述评论结果对应的第二特征向量；
将所述第二特征向量与所述评论结果基于交叉熵损失进行梯度运算，利用梯度下降法完成所述基于自注意力机制的Transformer模型的训练。
5.根据权利要求4所述的方法，其特征在于，所述预设插值函数服从均匀分布进行采样。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述源评论及所述源评论对应的源新闻输入预先训练的神经网络模型，得到针对所述源评论及所述源评论对应的源新闻的多个目标评论，包括：
将所述源评论及所述源评论对应的源新闻输入预先训练的基于自注意力机制的Transformer模型；
基于所述预先训练的Transformer模型中的编码器提取所述源评论结合所述源新闻对应的多个目标特征向量；
利用预设的解码方法通过所述预先训练的Transformer模型中的解码器对所述多个目标特征向量进行解码，得到所述多个目标特征向量分别对应的多个目标评论。
7.根据权利要求6所述的方法，其特征在于，所述解码方法包括以下任一项：
Greedy Search解码方法、Beam Search解码方法或Sampling解码方法。
8.一种评论扩展装置，其特征在于，包括：
第一获取模块，用于获取待扩展的源评论及所述源评论对应的源新闻；
第一输入模块，用于将所述源评论及所述源评论对应的源新闻输入预先训练的第一神经网络模型，得到针对所述源评论及所述源新闻的多个目标评论；其中，所述神经网络模型是根据包括样本评论及所述样本评论对应的样本新闻的训练对，和所述训练对对应的评论结果进行训练得到的、并用于对所述样本评论进行扩展的模型。
9.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～8任一项所述的评论扩展方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至8中任一项所述的评论扩展方法。
CN202010525544.5A 2020-06-10 2020-06-10 评论扩展方法及装置 Active CN111723548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010525544.5A CN111723548B (zh) 2020-06-10 2020-06-10 评论扩展方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010525544.5A CN111723548B (zh) 2020-06-10 2020-06-10 评论扩展方法及装置

Publications (2)

Publication Number Publication Date
CN111723548A true CN111723548A (zh) 2020-09-29
CN111723548B CN111723548B (zh) 2024-04-30

Family

ID=72566374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010525544.5A Active CN111723548B (zh) 2020-06-10 2020-06-10 评论扩展方法及装置

Country Status (1)

Country Link
CN (1) CN111723548B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107305549A (zh) * 2016-04-18 2017-10-31 北京搜狗科技发展有限公司 语言数据处理方法、装置以及用于语言数据处理的装置
CN108563624A (zh) * 2018-01-03 2018-09-21 清华大学深圳研究生院 一种基于深度学习的自然语言生成方法
US20190050731A1 (en) * 2016-03-01 2019-02-14 Microsoft Technology Licensing, Llc Automated commentary for online content
US20190130273A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
US20190251431A1 (en) * 2018-02-09 2019-08-15 Salesforce.Com, Inc. Multitask Learning As Question Answering
US20200034436A1 (en) * 2018-07-26 2020-01-30 Google Llc Machine translation using neural network models
CN110765791A (zh) * 2019-11-01 2020-02-07 清华大学 机器翻译自动后编辑方法及装置
CN110837733A (zh) * 2019-10-31 2020-02-25 创新工场(广州)人工智能研究有限公司 自重建方式的语言模型训练方法、系统及计算机可读介质
CN110866398A (zh) * 2020-01-07 2020-03-06 腾讯科技（深圳）有限公司 评论文本处理方法、装置、存储介质和计算机设备
WO2020108483A1 (zh) * 2018-11-28 2020-06-04 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法、计算机设备和存储介质
CN111263238A (zh) * 2020-01-17 2020-06-09 腾讯科技（深圳）有限公司 基于人工智能的生成视频评论的方法及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050731A1 (en) * 2016-03-01 2019-02-14 Microsoft Technology Licensing, Llc Automated commentary for online content
CN107305549A (zh) * 2016-04-18 2017-10-31 北京搜狗科技发展有限公司 语言数据处理方法、装置以及用于语言数据处理的装置
US20190130273A1 (en) * 2017-10-27 2019-05-02 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
CN108563624A (zh) * 2018-01-03 2018-09-21 清华大学深圳研究生院 一种基于深度学习的自然语言生成方法
US20190251431A1 (en) * 2018-02-09 2019-08-15 Salesforce.Com, Inc. Multitask Learning As Question Answering
US20200034436A1 (en) * 2018-07-26 2020-01-30 Google Llc Machine translation using neural network models
WO2020108483A1 (zh) * 2018-11-28 2020-06-04 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法、计算机设备和存储介质
CN110837733A (zh) * 2019-10-31 2020-02-25 创新工场(广州)人工智能研究有限公司 自重建方式的语言模型训练方法、系统及计算机可读介质
CN110765791A (zh) * 2019-11-01 2020-02-07 清华大学 机器翻译自动后编辑方法及装置
CN110866398A (zh) * 2020-01-07 2020-03-06 腾讯科技（深圳）有限公司 评论文本处理方法、装置、存储介质和计算机设备
CN111263238A (zh) * 2020-01-17 2020-06-09 腾讯科技（深圳）有限公司 基于人工智能的生成视频评论的方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏放;王晓宇;张治;: "基于注意力机制的评论摘要生成", 北京邮电大学学报, no. 03, 15 June 2018 (2018-06-15), pages 11 - 17 *

Also Published As

Publication number Publication date
CN111723548B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
US11544474B2 (en) Generation of text from structured data
JP6601470B2 (ja) 自然言語の生成方法、自然言語の生成装置及び電子機器
CN113590761B (zh) 文本处理模型的训练方法、文本处理方法及相关设备
CN110211562B (zh) 一种语音合成的方法、电子设备及可读存储介质
EP3832475A1 (en) Sentence processing method and system and electronic device
CN111401037B (zh) 自然语言的生成方法、装置、电子设备及存储介质
CN109492233B (zh) 一种机器翻译方法和装置
CN116629235B (zh) 大规模预训练语言模型微调方法、装置、电子设备及介质
CN111767394A (zh) 一种基于人工智能专家系统的摘要提取方法及装置
CN111723550A (zh) 语句改写方法、装置、电子设备以及计算机存储介质
CN109960815A (zh) 一种神经机器翻译nmt模型的创建方法及系统
CN116595130B (zh) 基于小语言模型的多种任务下的语料扩充方法及装置
CN111723548B (zh) 评论扩展方法及装置
CN115130470B (zh) 一种文本关键词的生成方法、装置、设备及介质
CN113516196B (zh) 命名实体识别数据增强的方法、装置、电子设备和介质
CN111104951A (zh) 一种主动学习方法、装置及终端设备
CN114595701A (zh) 翻译模型的处理方法、装置和计算机可读存储介质
CN113255334A (zh) 一种计算字向量方法、系统、电子设备及存储介质
CN112926334A (zh) 确定词表示向量的方法、装置及电子设备
CN111797984A (zh) 一种用于多任务神经网络的量化和硬件加速方法及装置
CN112528027A (zh) 文本分类方法、装置、设备、存储介质和程序产品
CN111027332A (zh) 生成翻译模型的方法和装置
CN112951218B (zh) 基于神经网络模型的语音处理方法、装置及电子设备
CN113204944B (zh) 文本生成方法、装置、设备和存储介质
CN113919335A (zh) 预训练词向量生成方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028045

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant