CN112949315A - 基于文本生成网络生成用户描述文本的方法和装置 - Google Patents

基于文本生成网络生成用户描述文本的方法和装置 Download PDF

Info

Publication number
CN112949315A
CN112949315A CN202110189520.1A CN202110189520A CN112949315A CN 112949315 A CN112949315 A CN 112949315A CN 202110189520 A CN202110189520 A CN 202110189520A CN 112949315 A CN112949315 A CN 112949315A
Authority
CN
China
Prior art keywords
encoder
vector
decoder
feature
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110189520.1A
Other languages
English (en)
Other versions
CN112949315B (zh
Inventor
李怀松
张天翼
黄涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110189520.1A priority Critical patent/CN112949315B/zh
Priority to CN202210949828.6A priority patent/CN115358242A/zh
Publication of CN112949315A publication Critical patent/CN112949315A/zh
Application granted granted Critical
Publication of CN112949315B publication Critical patent/CN112949315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种基于文本生成网络生成用户描述文本的方法和装置，方法包括：将目标用户的各项特征输入第一编码器，通过第一编码器获取各项特征分别对应的各初始用户特征向量，基于自注意力机制进行编码，得到编码状态向量；将编码状态向量输入检索模型，通过检索模型从人工知识库中检索出K个语句，确定K个语句包含的各个字对应的字编码向量，根据解码器的输出反馈向量以及字编码向量确定各注意力系数，并根据各注意力系数对各字编码向量进行加权求和，得到语义表征向量；将编码状态向量、语义表征向量输入解码器，通过解码器生成目标用户的用户描述文本，解码器的隐藏状态作为输出反馈向量。能够提升得到的文本质量。

Description

基于文本生成网络生成用户描述文本的方法和装置
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及基于文本生成网络生成用户描述文本的方法和装置。
背景技术
由于用户的用户特征与该用户的用户类别之间具有关联关系，因此可以基于用户的用户特征对该用户进行分类。用户特征可以是用户的年龄、学历、收入等数据，用户类别可以包括多个预先设定的类别，例如，是否具有还款风险、是否具有洗钱风险等。通常地，仅仅给出用户的用户特征和该用户的用户类别并不具有说服力，因此在获取到用户的用户特征之后，还需要基于用户特征生成用户描述文本，用户描述文本包括多个语句，能够体现用户特征和用户类别之间的关联关系。对用户描述文本的要求是逻辑紧密、论证充足、简洁易懂的规范性报文。
现有技术中，常常基于文本生成网络生成用户描述文本，也就是说通过机器学习的方式生成用户描述文本，由于用于训练文本生成网络的训练样本数量较少，因此该方式得到的文本质量不佳。
因此，希望能有改进的方案，能够提升得到的文本质量。
发明内容
本说明书一个或多个实施例描述了一种基于文本生成网络生成用户描述文本的方法和装置，能够提升得到的文本质量。
第一方面，提供了一种基于文本生成网络生成用户描述文本的方法，所述文本生成网络包括第一编码器、检索模型和解码器，方法包括：
将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；
将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；
将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。
在一种可能的实施方式中，所述第一编码器包括基于时序的单向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：
将所述目标用户的各项特征依次作为所述第一编码器各个时刻的输入，将所述第一编码器各个时刻的输出作为所述各初始用户特征向量。
在一种可能的实施方式中，所述第一编码器包括基于时序的双向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：
将所述目标用户的各项特征依照第一顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第一特征向量；
将所述目标用户的各项特征依照与所述第一顺序相反的顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第二特征向量；
将对应于同一项特征的第一特征向量和第二特征向量进行组合，作为该项特征的初始用户特征向量。
在一种可能的实施方式中，所述对所述各初始用户特征向量基于自注意力机制进行编码，包括：
确定所述各初始用户特征向量分别对应的权重，并根据各权重对所述各初始用户特征向量进行加权求和，得到所述编码状态向量。
在一种可能的实施方式中，所述检索模型包括第二编码器，所述确定所述K个语句包含的各个字对应的字编码向量，包括：
获取所述K个语句包含的各个字对应的字嵌入向量；
将各个字嵌入向量输入第二编码器，通过所述第二编码器基于注意力机制确定所述K个语句包含的各个字对应的字编码向量。
在一种可能的实施方式中，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量作为初始状态，将上一时刻的解码器输出和所述检索模型上一时刻输出的语义表征向量作为当前时刻的输入，确定当前时刻的输出和隐藏状态，当前时刻的隐藏状态作为当前时刻的输出反馈向量反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。
在一种可能的实施方式中，所述方法还包括：
利用第一类样本和第二类样本对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练，其中所述第一类样本具有样本用户的各项特征和该样本用户对应的两种分类中的分类标签，所述第二类样本具有样本用户的各项特征和该样本用户对应的样本描述文本，第一类样本的数量大于第二类样本的数量。
进一步地，所述模型训练包括：
利用所述第一类样本对所述第一编码器进行模型预训练；
利用所述第二类样本对预训练后的所述第一编码器、所述检索模型和所述解码器中的至少一个继续进行模型训练。
进一步地，所述模型训练包括：
将所述第一类样本和所述第二类样本混合在一起，随机打乱顺序后，按照打乱后的顺序分批次对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练。
进一步地，所述模型训练利用预先设定的总损失函数，确定同一批次的第一类样本和第二类样本的总预测损失，根据所述总预测损失调整所述第一编码器、所述检索模型和所述解码器中的至少一个的参数；所述总损失函数由第一损失函数和第二损失函数共同确定，所述第一损失函数的函数值根据所述第一类样本分类的概率而确定，所述第二损失函数的函数值根据所述解码器输出的所述第二类样本对应于所述样本描述文本中各个字的概率而确定。
第二方面，提供了一种基于文本生成网络生成用户描述文本的装置，所述文本生成网络包括第一编码器、检索模型和解码器，装置包括：
编码单元，用于将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；
检索单元，用于将所述编码单元得到的编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；
解码单元，用于将所述编码单元得到的编码状态向量、所述检索单元得到的语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，首先将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；然后将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；最后将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。由上可见，本说明书实施例，不仅利用了目标用户的各项特征分别对应的各初始用户特征向量，还利用了检索到的K个语句对应的语义表征向量，由于这K个语句来源于人工知识库，从而可以有效利用与目标用户最相关的人工经验，能很好的解决叠词、错误词等问题，适用性强，文本质量佳，并且,检索模型和解码器之间相互影响，检索模型输出的语义表征向量会作为解码器的输入，影响解码器生成的用户描述文本，同时，解码器的隐藏状态会作为输出反馈向量，作为检索模型的注意力机制的输入部分，影响检索模型输出的语义表征向量，从而能够进一步提升得到的文本质量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的基于文本生成网络生成用户描述文本的方法流程图；
图3示出根据一个实施例的第一编码器的结构示意图；
图4示出根据一个实施例的检索模型的结构示意图；
图5示出根据一个实施例的解码器的结构示意图；
图6示出根据一个实施例的训练样本打乱顺序示意图；
图7示出根据一个实施例的基于文本生成网络生成用户描述文本的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及基于文本生成网络生成用户描述文本，文本生成网络作为一种神经网络模型，可以通过机器学习的方式得到，文本生成网络的输入为目标用户的各项特征。可以理解的是，基于用户的用户特征可以对该用户进行分类。用户特征可以是用户的年龄、学历、收入等数据，用户类别可以包括多个预先设定的类别，例如，是否具有还款风险、是否具有洗钱风险等。用户描述文本包括多个语句，能够体现用户特征和用户类别之间的关联关系。对用户描述文本的要求是逻辑紧密、论证充足、简洁易懂的规范性报文。
参照图1，表格中列出了用户A的各项特征的特征名和其对应的特征值，可以理解的是，目标用户为用户A，特征名为年龄对应的特征值为50岁，特征名为学历对应的特征值为高中，……，特征名为年收入对应的特征值为3万元。根据用户A的各项特征的特征名和其对应的特征值，生成的用户描述文本为“用户A的年龄较大，学历较低……年收入较低，因此具有还款风险”。本说明书实施例，用户特征可以但并不限定于上述列举的年龄、学历、年收入等用户属性特征，还可以包括用户针对特定应用的历史行为特征，例如，历史借款金额、是否存在延迟还款等。用户描述文本的具体内容和生成方式通常并不固定。本说明书实施例，结合专家经验和机器学习来生成用户描述文本，可以理解的是，专家经验即人工经验，通过机器自动生成用户描述文本，效率高。本说明书实施例，不仅利用了目标用户的各项特征分别对应的各初始用户特征向量，还利用了检索到的K个语句对应的语义表征向量，由于这K个语句来源于人工知识库，从而可以有效利用与目标用户最相关的人工经验，能很好的解决叠词、错误词等问题，适用性强，文本质量佳，并且,解码时通过输出反馈向量，影响检索模型输出的语义表征向量，从而能够进一步提升得到的文本质量。
图2示出根据一个实施例的基于文本生成网络生成用户描述文本的方法流程图，所述文本生成网络包括第一编码器、检索模型和解码器，该方法可以基于图1所示的实施场景。如图2所示，该实施例中基于文本生成网络生成用户描述文本的方法包括以下步骤：步骤21，将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；步骤22，将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；步骤23，将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。下面描述以上各个步骤的具体执行方式。
首先在步骤21，将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量。可以理解的是，第一编码器可以基于多种模型结构，例如，转换器(transformer)、长短期记忆网络(long short-term memory，LSTM)或门控循环单元(gated recurrent unit，GRU)等模型结构。
本说明书实施例，所述各项特征的类型包括：数值型或文本型。
例如，用户A的年龄为50岁，年龄这项特征就属于数值型的特征，该项特征的特征名为年龄，其对应的特征值为50；用户A的常住地为北京和上海，常住地这项特征就属于文本型的特征，该项特征的特征名为常住地，其对应的特征值为北京和上海。
可以理解的是，特征的类型也是其对应的特征值的类型。
本说明书实施例中，针对类型为数值型的特征，可以将该特征的特征名和其对应的原始特征值输入第一编码器；针对类型为文本型的特征，可以将其对应的原始特征值先进行分词处理，得到多个分词结果，再将该特征的特征名和其对应的多个分词结果输入第一编码器。
在一个示例中，所述第一编码器包括基于时序的单向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：
将所述目标用户的各项特征依次作为所述第一编码器各个时刻的输入，将所述第一编码器各个时刻的输出作为所述各初始用户特征向量。
在另一个示例中，所述第一编码器包括基于时序的双向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：
将所述目标用户的各项特征依照第一顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第一特征向量；
将所述目标用户的各项特征依照与所述第一顺序相反的顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第二特征向量；
将对应于同一项特征的第一特征向量和第二特征向量进行组合，作为该项特征的初始用户特征向量。
在一个示例中，所述对所述各初始用户特征向量基于自注意力机制进行编码，包括：
确定所述各初始用户特征向量分别对应的权重，并根据各权重对所述各初始用户特征向量进行加权求和，得到所述编码状态向量。
图3示出根据一个实施例的第一编码器的结构示意图。参照图3，第一编码器包括基于时序的双向编码结构和自注意力层。将目标用户的各项特征输入双向编码结构，上述各项特征包括特征1、特征2、特征3…特征n，通过所述双向编码结构得到各项特征分别对应的各初始用户特征向量，上述各初始用户特征向量包括h1、h2、h3…hn，将各初始用户特征向量输入自注意力层后，得到编码状态向量用X表示。
然后在步骤22，将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量。可以理解的是，人工知识库中的语句体现了人工经验，通过检索的方式可以获得与目标用户相关的人工经验，并且通过解码器的输出反馈向量，影响检索模型输出的语义表征向量，从而能够进一步提升得到的文本质量。
在一个示例中，所述检索模型包括第二编码器，所述确定所述K个语句包含的各个字对应的字编码向量，包括：
获取所述K个语句包含的各个字对应的字嵌入向量；
将各个字嵌入向量输入第二编码器，通过所述第二编码器基于注意力机制确定所述K个语句包含的各个字对应的字编码向量。
图4示出根据一个实施例的检索模型的结构示意图。参照图4，检索模型包括检索网络、第二编码器和自注意力层。将编码状态向量X输入检索网络，通过所述检索网络从人工知识库中检索出K个语句。其中，N为人工知识库中包含的语句的总数，通常N的数值较大，例如N可能为数百或数千等，K为预先设定的数值，例如，K可以取2、3或5等。将所述K个语句包括的各个字的字嵌入向量wi输入第二编码器，通过所述第二编码器确定各个字的字编码向量si；将所述各个字的字编码向量Ri和解码器的输出反馈向量F输入自注意力层，通过所述自注意力层得到所述K个语句对应的语义表征向量H。
本说明书实施例，第二编码器可以基于多种模型结构，例如，transformer、LSTM或GRU等模型结构。
最后在步骤23，将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。可以理解的是，检索模型得到语义表征向量，该语义表征向量作为解码器的输入，而解码器的隐藏状态作为输出反馈向量，该输出反馈向量作用于检索模型，影响着检索模型得到的语义表征向量，通过检索模型和解码器的交互，可以提高生成的用户描述文本的文本质量。
在一个示例中，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量作为初始状态，将上一时刻的解码器输出和所述检索模型上一时刻输出的语义表征向量作为当前时刻的输入，确定当前时刻的输出和隐藏状态，当前时刻的隐藏状态作为当前时刻的输出反馈向量反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。
图5示出根据一个实施例的解码器的结构示意图。参照图5，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量X作为初始状态，将上一时刻的解码器输出y(t-1)和所述检索模型上一时刻输出的语义表征向量H(t-1)作为当前时刻的输入，确定当前时刻的输出y(t)和隐藏状态h(t)，当前时刻的隐藏状态h(t)作为当前时刻的输出反馈向量F(t)反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。可以理解的是，由于各个时刻具有不同的隐藏状态，因此各个时刻的输出反馈向量不同，相应地，各个时刻的语义表征向量不同。
在一个示例中，所述方法还包括：
利用第一类样本和第二类样本对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练，其中所述第一类样本具有样本用户的各项特征和该样本用户对应的两种分类中的分类标签，所述第二类样本具有样本用户的各项特征和该样本用户对应的样本描述文本，第一类样本的数量大于第二类样本的数量。
可以理解的是，本说明书实施例可以基于第一编码器得到的编码状态向量，对目标用户进行分类。
表一为第一类样本的样本组成示意表。
表一
特征1 特征2 … 特征3 分类标签
样本1 … … … … 黑
样本2 … … … … 白
样本3 … … … … 黑
由表一可见，样本1、样本2和样本3属于第一类样本，第一类样本具有样本用户的各项特征和该样本用户对应的两种分类中的分类标签，第一类样本不具有样本用户对应的样本描述文本。在不同的领域，分类标签可以具有不同的含义，例如，在反洗钱领域，分类标签为黑，代表样本用户具有洗钱风险；分类标签为白，代表样本用户不具有洗钱风险。
表二为第二类样本的样本组成示意表。
表二
Figure BDA0002944830390000111
Figure BDA0002944830390000121
由表一可见，样本21、样本22和样本23属于第二类样本，第二类样本具有样本用户的各项特征和该样本用户对应的样本描述文本，第二类样本不具有样本用户对应的两种分类中的分类标签。
本说明书实施例，由于样本描述文本通常为人工生成的，包括若干个语句，不容易获得，所以第二类样本的数量较少。而分类标签比较容易获得，所以第一类样本的数量较多。第一类样本相对于第二类样本的量级大很多。第一类样本中样本的分类标签与样本的特征具有关联关系，第二类样本中样本的样本描述文本与样本的特征具有关联关系，两者的底层逻辑一致，在模型训练时的收敛方向也是一致的，因此可以用第一类样本帮助训练文本生成网络，可以有效的解决第二类样本数量较少对网络学习不充分，泛化性较差的问题。
在一个示例中，所述模型训练包括：
利用所述第一类样本对所述第一编码器进行模型预训练；
利用所述第二类样本对预训练后的所述第一编码器、所述检索模型和所述解码器中的至少一个继续进行模型训练。
在另一个示例中，所述模型训练包括：
将所述第一类样本和所述第二类样本混合在一起，随机打乱顺序后，按照打乱后的顺序分批次对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练。
图6示出根据一个实施例的训练样本打乱顺序示意图。参照图6，样本1、样本2、样本3、样本4和样本5为第一类样本，样本6、样本7、样本8、样本9和样本10为第二类样本，原本第一类样本和第二类样本是分别排序的，打乱顺序后，二者就混合穿插在一起，按照打乱后的顺序获取的一个批次的训练样本中既有第一类样本，又有第二类样本，例如，一个批次的训练样本数量为5，其排序依次为样本8、样本2、样本6、样本4和样本5，该批次的训练样本中包括第一类样本样本2、样本4和样本5，包括第二类样本样本8、和样本6。
进一步地，所述模型训练利用预先设定的总损失函数，确定同一批次的第一类样本和第二类样本的总预测损失，根据所述总预测损失调整所述第一编码器、所述检索模型和所述解码器中的至少一个的参数；所述总损失函数由第一损失函数和第二损失函数共同确定，所述第一损失函数的函数值根据所述第一类样本分类的概率而确定，所述第二损失函数的函数值根据所述解码器输出的所述第二类样本对应于所述样本描述文本中各个字的概率而确定。
举例来说，总预测损失用l oss表示，第一损失函数的函数值用l c表示，第二损失函数的函数值用l g表示，则l oss＝l g+l c。
其中，第一损失函数可以为交叉熵损失函数，可以通过如下公式表示：
Figure BDA0002944830390000131
其中，n代表第一类样本的数量，i代表样本编号，当第i个样本分类为类别一时，yi取值为1，当第i个样本分类为类别二时，yi取值为0，pi代表第i个样本分类为类别一的概率。
第二损失函数可以为交叉熵损失函数，可以通过如下公式表示：
Figure BDA0002944830390000132
其中，n代表解码器输出的字的数量，i代表字的编号，当解码器输出的第i个字属于所述样本描述文本时，yi取值为1，当解码器输出的第i个字不属于所述样本描述文本时，yi取值为0，pwi代表解码器输出的所述样本描述文本中各个字的概率。
通过本说明书实施例提供的方法，首先将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；然后将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；最后将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。由上可见，本说明书实施例，不仅利用了目标用户的各项特征分别对应的各初始用户特征向量，还利用了检索到的K个语句对应的语义表征向量，由于这K个语句来源于人工知识库，从而可以有效利用与目标用户最相关的人工经验，能很好的解决叠词、错误词等问题，适用性强，文本质量佳，并且,检索模型和解码器之间相互影响，检索模型输出的语义表征向量会作为解码器的输入，影响解码器生成的用户描述文本，同时，解码器的隐藏状态会作为输出反馈向量，作为检索模型的注意力机制的输入部分，影响检索模型输出的语义表征向量，从而能够进一步提升得到的文本质量。
根据另一方面的实施例，还提供一种基于文本生成网络生成用户描述文本的装置，所述文本生成网络包括第一编码器、检索模型和解码器，该装置用于执行本说明书实施例提供的基于文本生成网络生成用户描述文本的方法。图7示出根据一个实施例的基于文本生成网络生成用户描述文本的装置的示意性框图。如图7所示，该装置700包括：
编码单元71，用于将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；
检索单元72，用于将所述编码单元71得到的编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；
解码单元73，用于将所述编码单元71得到的编码状态向量、所述检索单元72得到的语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。
可选地，作为一个实施例，所述第一编码器包括基于时序的单向编码结构，所述编码单元71，具体用于将所述目标用户的各项特征依次作为所述第一编码器各个时刻的输入，将所述第一编码器各个时刻的输出作为所述各初始用户特征向量。
可选地，作为一个实施例，所述第一编码器包括基于时序的双向编码结构，所述编码单元71包括：
第一编码子单元，用于将所述目标用户的各项特征依照第一顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第一特征向量；
第二编码子单元，用于将所述目标用户的各项特征依照与所述第一顺序相反的顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第二特征向量；
组合子单元，用于将对应于同一项特征的所述第一编码子单元得到的第一特征向量和所述第二编码子单元得到的第二特征向量进行组合，作为该项特征的初始用户特征向量。
可选地，作为一个实施例，所述编码单元71，具体用于确定所述各初始用户特征向量分别对应的权重，并根据各权重对所述各初始用户特征向量进行加权求和，得到所述编码状态向量。
可选地，作为一个实施例，所述检索模型包括第二编码器，所述检索单元72包括：
获取子单元，用于获取所述K个语句包含的各个字对应的字嵌入向量；
编码子单元，用于将所述获取子单元得到的各个字嵌入向量输入第二编码器，通过所述第二编码器基于注意力机制确定所述K个语句包含的各个字对应的字编码向量。
可选地，作为一个实施例，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量作为初始状态，将上一时刻的解码器输出和所述检索模型上一时刻输出的语义表征向量作为当前时刻的输入，确定当前时刻的输出和隐藏状态，当前时刻的隐藏状态作为当前时刻的输出反馈向量反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。
可选地，作为一个实施例，所述装置还包括：
训练单元，用于利用第一类样本和第二类样本对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练，其中所述第一类样本具有样本用户的各项特征和该样本用户对应的两种分类中的分类标签，所述第二类样本具有样本用户的各项特征和该样本用户对应的样本描述文本，第一类样本的数量大于第二类样本的数量。
进一步地，所述训练单元包括：
第一训练子单元，用于利用所述第一类样本对所述第一编码器进行模型预训练；
第二训练子单元，用于利用所述第二类样本对所述第一训练子单元得到的预训练后的所述第一编码器、所述检索模型和所述解码器中的至少一个继续进行模型训练。
进一步地，所述训练单元，具体用于将所述第一类样本和所述第二类样本混合在一起，随机打乱顺序后，按照打乱后的顺序分批次对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练。
进一步地，所述模型训练利用预先设定的总损失函数，确定同一批次的第一类样本和第二类样本的总预测损失，根据所述总预测损失调整所述第一编码器、所述检索模型和所述解码器中的至少一个的参数；所述总损失函数由第一损失函数和第二损失函数共同确定，所述第一损失函数的函数值根据所述第一类样本分类的概率而确定，所述第二损失函数的函数值根据所述解码器输出的所述第二类样本对应于所述样本描述文本中各个字的概率而确定。
通过本说明书实施例提供的装置，首先编码单元71将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；然后检索单元72将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；最后解码单元73将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。由上可见，本说明书实施例，不仅利用了目标用户的各项特征分别对应的各初始用户特征向量，还利用了检索到的K个语句对应的语义表征向量，由于这K个语句来源于人工知识库，从而可以有效利用与目标用户最相关的人工经验，能很好的解决叠词、错误词等问题，适用性强，文本质量佳，并且,检索模型和解码器之间相互影响，检索模型输出的语义表征向量会作为解码器的输入，影响解码器生成的用户描述文本，同时，解码器的隐藏状态会作为输出反馈向量，作为检索模型的注意力机制的输入部分，影响检索模型输出的语义表征向量，从而能够进一步提升得到的文本质量。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (22)

1.一种基于文本生成网络生成用户描述文本的方法，所述文本生成网络包括第一编码器、检索模型和解码器，所述方法包括：
将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；
将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；
将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。
2.如权利要求1所述的方法，其中，所述第一编码器包括基于时序的单向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：
将所述目标用户的各项特征依次作为所述第一编码器各个时刻的输入，将所述第一编码器各个时刻的输出作为所述各初始用户特征向量。
3.如权利要求1所述的方法，其中，所述第一编码器包括基于时序的双向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：
将所述目标用户的各项特征依照第一顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第一特征向量；
将所述目标用户的各项特征依照与所述第一顺序相反的顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第二特征向量；
将对应于同一项特征的第一特征向量和第二特征向量进行组合，作为该项特征的初始用户特征向量。
4.如权利要求1所述的方法，其中，所述对所述各初始用户特征向量基于自注意力机制进行编码，包括：
确定所述各初始用户特征向量分别对应的权重，并根据各权重对所述各初始用户特征向量进行加权求和，得到所述编码状态向量。
5.如权利要求1所述的方法，其中，所述检索模型包括第二编码器，所述确定所述K个语句包含的各个字对应的字编码向量，包括：
获取所述K个语句包含的各个字对应的字嵌入向量；
将各个字嵌入向量输入第二编码器，通过所述第二编码器基于注意力机制确定所述K个语句包含的各个字对应的字编码向量。
6.如权利要求1所述的方法，其中，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量作为初始状态，将上一时刻的解码器输出和所述检索模型上一时刻输出的语义表征向量作为当前时刻的输入，确定当前时刻的输出和隐藏状态，当前时刻的隐藏状态作为当前时刻的输出反馈向量反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。
7.如权利要求1所述的方法，其中，所述方法还包括：
利用第一类样本和第二类样本对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练，其中所述第一类样本具有样本用户的各项特征和该样本用户对应的两种分类中的分类标签，所述第二类样本具有样本用户的各项特征和该样本用户对应的样本描述文本，第一类样本的数量大于第二类样本的数量。
8.如权利要求7所述的方法，其中，所述模型训练包括：
利用所述第一类样本对所述第一编码器进行模型预训练；
利用所述第二类样本对预训练后的所述第一编码器、所述检索模型和所述解码器中的至少一个继续进行模型训练。
9.如权利要求7所述的方法，其中，所述模型训练包括：
将所述第一类样本和所述第二类样本混合在一起，随机打乱顺序后，按照打乱后的顺序分批次对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练。
10.如权利要求9所述的方法，其中，所述模型训练利用预先设定的总损失函数，确定同一批次的第一类样本和第二类样本的总预测损失，根据所述总预测损失调整所述第一编码器、所述检索模型和所述解码器中的至少一个的参数；所述总损失函数由第一损失函数和第二损失函数共同确定，所述第一损失函数的函数值根据所述第一类样本分类的概率而确定，所述第二损失函数的函数值根据所述解码器输出的所述第二类样本对应于所述样本描述文本中各个字的概率而确定。
11.一种基于文本生成网络生成用户描述文本的装置，所述文本生成网络包括第一编码器、检索模型和解码器，所述装置包括：
编码单元，用于将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；
检索单元，用于将所述编码单元得到的编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；
解码单元，用于将所述编码单元得到的编码状态向量、所述检索单元得到的语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。
12.如权利要求11所述的装置，其中，所述第一编码器包括基于时序的单向编码结构，所述编码单元，具体用于将所述目标用户的各项特征依次作为所述第一编码器各个时刻的输入，将所述第一编码器各个时刻的输出作为所述各初始用户特征向量。
13.如权利要求11所述的装置，其中，所述第一编码器包括基于时序的双向编码结构，所述编码单元包括：
第一编码子单元，用于将所述目标用户的各项特征依照第一顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第一特征向量；
第二编码子单元，用于将所述目标用户的各项特征依照与所述第一顺序相反的顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第二特征向量；
组合子单元，用于将对应于同一项特征的所述第一编码子单元得到的第一特征向量和所述第二编码子单元得到的第二特征向量进行组合，作为该项特征的初始用户特征向量。
14.如权利要求11所述的装置，其中，所述编码单元，具体用于确定所述各初始用户特征向量分别对应的权重，并根据各权重对所述各初始用户特征向量进行加权求和，得到所述编码状态向量。
15.如权利要求11所述的装置，其中，所述检索模型包括第二编码器，所述检索单元包括：
获取子单元，用于获取所述K个语句包含的各个字对应的字嵌入向量；
编码子单元，用于将所述获取子单元得到的各个字嵌入向量输入第二编码器，通过所述第二编码器基于注意力机制确定所述K个语句包含的各个字对应的字编码向量。
16.如权利要求11所述的装置，其中，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量作为初始状态，将上一时刻的解码器输出和所述检索模型上一时刻输出的语义表征向量作为当前时刻的输入，确定当前时刻的输出和隐藏状态，当前时刻的隐藏状态作为当前时刻的输出反馈向量反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。
17.如权利要求11所述的装置，其中，所述装置还包括：
训练单元，用于利用第一类样本和第二类样本对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练，其中所述第一类样本具有样本用户的各项特征和该样本用户对应的两种分类中的分类标签，所述第二类样本具有样本用户的各项特征和该样本用户对应的样本描述文本，第一类样本的数量大于第二类样本的数量。
18.如权利要求17所述的装置，其中，所述训练单元包括：
第一训练子单元，用于利用所述第一类样本对所述第一编码器进行模型预训练；
第二训练子单元，用于利用所述第二类样本对所述第一训练子单元得到的预训练后的所述第一编码器、所述检索模型和所述解码器中的至少一个继续进行模型训练。
19.如权利要求17所述的装置，其中，所述训练单元，具体用于将所述第一类样本和所述第二类样本混合在一起，随机打乱顺序后，按照打乱后的顺序分批次对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练。
20.如权利要求19所述的装置，其中，所述模型训练利用预先设定的总损失函数，确定同一批次的第一类样本和第二类样本的总预测损失，根据所述总预测损失调整所述第一编码器、所述检索模型和所述解码器中的至少一个的参数；所述总损失函数由第一损失函数和第二损失函数共同确定，所述第一损失函数的函数值根据所述第一类样本分类的概率而确定，所述第二损失函数的函数值根据所述解码器输出的所述第二类样本对应于所述样本描述文本中各个字的概率而确定。
21.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法。
22.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项的所述的方法。
CN202110189520.1A 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置 Active CN112949315B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110189520.1A CN112949315B (zh) 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置
CN202210949828.6A CN115358242A (zh) 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110189520.1A CN112949315B (zh) 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210949828.6A Division CN115358242A (zh) 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置

Publications (2)

Publication Number Publication Date
CN112949315A true CN112949315A (zh) 2021-06-11
CN112949315B CN112949315B (zh) 2022-07-22

Family

ID=76244358

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110189520.1A Active CN112949315B (zh) 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置
CN202210949828.6A Pending CN115358242A (zh) 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210949828.6A Pending CN115358242A (zh) 2021-02-19 2021-02-19 基于文本生成网络生成用户描述文本的方法和装置

Country Status (1)

Country Link
CN (2) CN112949315B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263348A (zh) * 2019-03-06 2019-09-20 腾讯科技（深圳）有限公司 翻译方法、装置、计算机设备和存储介质
CN111597819A (zh) * 2020-05-08 2020-08-28 河海大学 一种基于关键词的大坝缺陷图像描述文本生成方法
CN112214652A (zh) * 2020-10-19 2021-01-12 支付宝(杭州)信息技术有限公司 一种报文生成方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263348A (zh) * 2019-03-06 2019-09-20 腾讯科技（深圳）有限公司 翻译方法、装置、计算机设备和存储介质
CN111597819A (zh) * 2020-05-08 2020-08-28 河海大学 一种基于关键词的大坝缺陷图像描述文本生成方法
CN112214652A (zh) * 2020-10-19 2021-01-12 支付宝(杭州)信息技术有限公司 一种报文生成方法、装置及设备

Also Published As

Publication number Publication date
CN115358242A (zh) 2022-11-18
CN112949315B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN111027327B (zh) 机器阅读理解方法、设备、存储介质及装置
US10503834B2 (en) Template generation for a conversational agent
CN111177374B (zh) 一种基于主动学习的问答语料情感分类方法及系统
CN110956018B (zh) 文本处理模型的训练方法、文本处理方法、装置及存储介质
Oymak et al. On the role of attention in prompt-tuning
CN113672708B (zh) 语言模型训练方法、问答对生成方法、装置及设备
CN111930914B (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
CN111159415B (zh) 序列标注方法及系统、事件要素抽取方法及系统
CN111159414B (zh) 文本分类方法及系统、电子设备、计算机可读存储介质
CN112328742A (zh) 基于人工智能的培训方法、装置、计算机设备及存储介质
CN111858931A (zh) 一种基于深度学习的文本生成方法
CN111160452A (zh) 一种基于预训练语言模型的多模态网络谣言检测方法
CN110442721B (zh) 神经网络语言模型、训练方法、装置及存储介质
CN115391527A (zh) 基于提示学习的意图识别方法、问答方法及装置
CN114817467A (zh) 一种意图识别响应方法、装置、设备及存储介质
CN114626529B (zh) 一种自然语言推理微调方法、系统、装置及存储介质
CN117150026A (zh) 文本内容多标签分类方法与装置
CN112035629B (zh) 基于符号化知识与神经网络的问答模型的实现方法
CN116822633B (zh) 基于自我认知的模型推理方法、装置及电子设备
CN116629324B (zh) 一种面向模型生成文本重复退化现象的优化生成方法
CN112949315B (zh) 基于文本生成网络生成用户描述文本的方法和装置
CN112836520B (zh) 基于用户特征生成用户描述文本的方法和装置
CN117932487B (zh) 一种风险分类模型训练、风险分类方法及装置
CN112836519B (zh) 文本生成模型的训练方法、文本生成方法及装置
CN114818644B (zh) 文本模板生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant