CN115964999A - 模型训练和文本生成方法、装置、电子设备和存储介质 - Google Patents

模型训练和文本生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN115964999A
CN115964999A CN202310034490.6A CN202310034490A CN115964999A CN 115964999 A CN115964999 A CN 115964999A CN 202310034490 A CN202310034490 A CN 202310034490A CN 115964999 A CN115964999 A CN 115964999A
Authority
CN
China
Prior art keywords
data
user
training
matrix
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310034490.6A
Other languages
English (en)
Inventor
冯帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310034490.6A priority Critical patent/CN115964999A/zh
Publication of CN115964999A publication Critical patent/CN115964999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种模型训练和文本生成方法、装置、电子设备和存储介质。所述模型训练方法包括：获取对话任务的提示数据、用户数据、以及训练监督条件；至少组合所述提示数据和所述用户数据，得到所述对话任务的训练数据；基于所述训练数据作为所述对话任务的上下文融合层的输入，并且基于所述对话训练监督条件作为通用文本生成层的输出，训练所述对话任务的文本生成模型，其中，所述上下文融合层的输出与所述通用文本生成层的输入连接。本发明实施例的方案提高了训练数据的个性化和针对性，并且使训练后的文本生成模型能够针对对话任务进行推理，提高了文本生成的准确性。

Description

模型训练和文本生成方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种模型训练和文本生成方法、装置、电子设备和存储介质。
背景技术
对话推荐系统(Conversational Recommender System，CRS)能够在与用户的对话过程中，实现了诸如商品的推荐对象的推荐过程。传统的对话推荐任务往往先通过一些规则或模型判定用户需求，然后基于用户的对话信息分析用户偏好，进而向用户推荐诸如商品的推荐对象。
目前的对话推荐系统的对话引导及推荐的准确度仍有提高的空间。
发明内容
有鉴于此，本发明实施例提供一种模型训练和文本生成方法、装置、电子设备和存储介质，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供了一种模型训练方法，包括：获取对话任务的提示数据、用户数据、以及训练监督条件；至少组合所述提示数据和所述用户数据，得到所述对话任务的训练数据；基于所述训练数据作为所述对话任务的上下文融合层的输入，并且基于所述对话训练监督条件作为通用文本生成层的输出，训练所述对话任务的文本生成模型，其中，所述上下文融合层的输出与所述通用文本生成层的输入连接。
在本发明的另一实现方式中，所述方法还包括：获取用户画像数据和知识图谱数据；基于所述知识图谱数据对所述用户画像数据进行增强处理，得到所述用户数据。
在本发明的另一实现方式中，所述基于所述知识图谱数据对所述用户画像数据进行增强处理，得到所述用户数据，包括：确定所述知识图谱数据的实体表征矩阵、所述用户画像数据的第一表征矩阵、以及所述知识图谱数据与所述用户画像数据之间的第一转移矩阵；基于所述实体表征矩阵、所述第一表征矩阵以及所述第一转移矩阵之间的乘积，确定所述实体表征矩阵的第一相似矩阵；基于所述实体表征矩阵与所述第一相似矩阵的乘积与所述第一表征矩阵之间的和，确定增强用户画像数据，其中，所述用户数据至少包括所述增强用户画像数据。
在本发明的另一实现方式中，所述方法还包括：获取用户对话数据和知识图谱数据；基于所述知识图谱数据对所述用户对话数据进行增强处理，得到所述用户数据。
在本发明的另一实现方式中，所述用户对话数据包括当前对话数据和历史对话数据。所述基于所述知识图谱数据对所述用户对话数据进行增强处理，得到所述用户数据，包括：基于所述知识图谱数据对所述当前对话数据和所述历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据；基于近因效应因子，对所述当前增强对话数据和所述历史增强对话数据进行处理，得到增强对话数据，所述用户数据至少包括所述增强对话数据。
在本发明的另一实现方式中，所述基于所述知识图谱数据对所述用户对话数据进行增强处理，得到所述用户数据，还包括：确定所述知识图谱数据在所述增强对话数据下的增强知识图谱数据；基于所述增强知识图谱数据和所述增强对话数据，确定所述用户数据。
在本发明的另一实现方式中，所述基于所述知识图谱数据对所述当前对话数据和所述历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据，包括：确定所述知识图谱数据的实体表征矩阵、所述当前对话数据的第二表征矩阵、以及所述知识图谱数据与所述当前对话数据之间的第二转移矩阵；基于所述实体表征矩阵、所述第二表征矩阵以及所述第二转移矩阵之间的乘积，确定所述实体表征矩阵的第二相似矩阵；基于所述实体表征矩阵与所述第二相似矩阵的乘积以及所述第二表征矩阵之间的和，确定当前增强对话数据，以及确定所述知识图谱数据的实体表征矩阵、所述历史对话数据的第三表征矩阵、以及所述知识图谱数据与所述历史对话数据之间的第三转移矩阵；基于所述实体表征矩阵、所述第三表征矩阵以及所述第三转移矩阵之间的乘积，确定所述实体表征矩阵的第三相似矩阵；基于所述实体表征矩阵与所述第三相似矩阵的乘积以及所述第三表征矩阵之间的和，确定历史增强对话数据，其中，所述用户数据至少包括所述当前增强对话数据和历史增强对话数据。
根据本发明实施例的第二方面，提供了一种文本生成方法，包括：获取对话任务的提示数据和用户数据；至少组合所述提示数据和所述用户数据，得到所述对话任务的输入数据；将所述输入数据输入到所述对话任务的文本生成模型中，得到回复文本，所述文本生成模型根据第一方面所述的模型训练方法训练得到。
根据本发明实施例的第三方面，提供了一种模型训练装置，包括：获取模块，获取对话任务的提示数据、用户数据、以及训练监督条件；组合模块，至少组合所述提示数据和所述用户数据，得到所述对话任务的训练数据；训练模块，基于所述训练数据作为所述对话任务的上下文融合层的输入，并且基于所述对话训练监督条件作为通用文本生成层的输出，训练所述对话任务的文本生成模型，其中，所述上下文融合层的输出与所述通用文本生成层的输入连接。
根据本发明实施例的第四方面，提供了一种文本生成装置，包括：获取模块，获取对话任务的提示数据和用户数据；组合模块，至少组合所述提示数据和所述用户数据，得到所述对话任务的输入数据；生成模块，将所述输入数据输入到所述对话任务的文本生成模型中，得到回复文本，所述文本生成模型根据第一方面所述的模型训练方法训练得到。
根据本发明实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的方法对应的操作。
根据本发明实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。
在本发明实施例的方案中，训练数据通过组合提示数据和用户数据得到，提高了训练数据的个性化和针对性，且补充了训练数据的有效信息，此外，基于训练数据作为对话任务的上下文融合层的输入，并且基于对话训练监督条件作为通用文本生成层的输出，无需训练通用文本生成层，使训练后的文本生成模型能够针对对话任务进行推理，提高了文本生成的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为根据一个示例的对话推荐系统的示意性框图。
图2为根据本发明的一个实施例的模型训练方法的步骤流程图。
图3为根据本发明的另一实施例的文本生成方法的步骤流程图。
图4A为适用于图2和图3实施例的知识增强层的一个示例的示意性框图。
图4B为适用于图2和图3实施例的文本生成模型的示意性框图。
图4C为图4B实施例的上下文融合层的示意图。
图5为根据本发明的另一实施例的模型训练装置的结构框图。
图6为根据本发明的另一实施例的文本生成装置的结构框图。
图7为根据本发明的另一实施例的电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
图1为根据一个示例的对话推荐系统的示意性框图。对话推荐系统包括用户界面110、对话策略模块120、推荐模块130、对话引导模块140以及对话生成模块150。
具体地，用户界面110用于获取用户输入的自然语言语句，即，当前对话语句，也用于给出对话推荐系统的答复语句。对话策略模块120用于根据当前对话语句做出如何回复的决定，比如是继续询问到下一主题还是直接进行推荐。推荐模块130用于根据用户偏好或意图给出相应的推荐列表或者单个推荐结果。对话引导模块140用于继续询问到下一主题。对话生成模块150用于根据推荐列表或者单个推荐结果或者下一主题生成回复语句。目前的对话推荐系统在对话引导过程或推荐过程中对用户偏好或意图估计不够准确，导致了对话引导及推荐效果仍有提高的空间。
图2为根据本发明的一个实施例的模型训练方法的步骤流程图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。本实施例的模型训练方法包括：
S210：获取对话任务的提示数据、用户数据、以及训练监督条件。
例如，文中的提示数据可以针对对话任务设定，可以与用户数据相关的提示数据。用户数据可以包括用户画像数据、增强用户画像数据、用户对话数据、增强对话数据中的至少一者。文中的提示数据可以是与用户对话数据相关的提示数据。
又例如，训练监督条件在模型训练中，可以作为用户数据和提示数据的监督条件。文中的文本生成模型在推荐阶段的输出为回复文本，相应地，训练监督条件可以是回复文本的训练样本，例如，用户对话数据的回复语句可以是训练监督条件。
S220：至少组合提示数据和用户数据，得到对话任务的训练数据。
例如，可以拼接上述各个数据的向量，得到训练数据的拼接向量。
S230：基于训练数据作为对话任务的上下文融合层的输入，并且基于对话训练监督条件作为通用文本生成层的输出，训练对话任务的文本生成模型，其中，上下文融合层的输出与通用文本生成层的输入连接。
例如，可以将训练数据的拼接向量作为文本生成模型的输入。又例如，对话任务的上下文融合层中的各个参数在训练中被调整，通用文本生成层中的各个参数在训练中可以被固定，也就是说，在训练过程中，通用文本生成层中的参数不改变。例如，对话任务的上下文融合层可以被认为是一种编码器(encoder)，通用文本生成层可以被认为一种解码器(decoder)，也就是说，在训练过程中，编码器中的各个参数被调整，同时保持解码器中的各个参数不变。
在本发明实施例的方案中，训练数据通过组合提示数据和用户数据得到，提高了训练数据的个性化和针对性，且补充了训练数据的有效信息，此外，基于训练数据作为对话任务的上下文融合层的输入，并且基于对话训练监督条件作为通用文本生成层的输出，无需训练通用文本生成层，使训练后的文本生成模型能够针对对话任务进行推理，提高了文本生成的准确性。
在执行模型训练时，可以构建损失函数，在损失函数收敛至小于预设阈值时，停止上述训练过程。作为一个示例，文本生成模型的损失函数
Figure BDA0004048723080000061
其中，N表示训练样本的数量；M为商品数量；Prj(i)表示对第i个商品的第j个提示语句；yj,i表示对第i个商品的第j个训练监督条件。
本实施例的文本生成方法与模型训练方法对应，包括：
S310：获取对话任务的提示数据和用户数据。
S320：至少组合提示数据和用户数据，得到对话任务的输入数据。
S330：将输入数据输入到对话任务的文本生成模型中，得到回复文本。
在本实施例中，基于输入数据作为对话任务的上下文融合层的输入，并且基于对话训练监督条件作为通用文本生成层的输出，无需训练通用文本生成层，提高了任务学习的扩展性，同时使训练后的文本生成模型能够针对对话任务进行推理，提高了文本生成的准确性。此外，对话任务的输入数据通过组合提示数据和用户数据得到，使生成的回复文本更准确。
应理解，对话任务包括判断任务、推荐任务以及生成任务中的至少一者。对于判断任务，用户数据包括训练数据包括用户画像数据、当前对话数据以及历史对话数据，训练监督条件包括判断语句(回复语句的训练样本)
对于推荐任务，用户数据包括知识图谱数据、用户画像数据、当前对话数据以及历史对话数据，训练监督条件包括商品推荐语句(回复语句的训练样本)。
对于引导任务，用户数据包括卖家用户画像数据、买家用户画像数据、当前对话数据以及历史对话数据，训练监督条件包括引导语句(回复语句的训练样本)。
图4B为适用于图2和图3实施例的文本生成模型的示意性框图。如图所示，文本生成模型包括输入层410、上下文融合层420、文本生成层430以及输出层440。在训练阶段中，提示数据和用户数据等(例如，增强用户画像数据和/或增强对话数据)在输入层410组合得到对话任务的训练数据。在文本生成的推理阶段，提示数据和用户数据等(例如，增强用户画像数据和/或增强对话数据)在输入层410组合得到对话任务的输入数据。
进一步地，上下文融合层420可以采用至少一个全连接层构成，至少一个全连接层构成可以实现语义融合和位置融合等，例如，第一全连接层用于位置融合，第二全连接层用于语义融合。在训练阶段中，借助于文本生成层中预先训练的参数以及作为输出层440的训练监督条件，至少一个全连接层中的参数被调整。
在推理阶段中，通过至少一个全连接层中的参数，对话任务的输入数据的位置信息、语义信息等被融合，得到文本生成层430的输入，然后，输出层440的回复文本可以从文本生成层430得到。
如图4C所示，在训练阶段中，作为对话任务的训练数据作为对话任务的上下文融合层的输入，训练数据包括对话任务的提示数据和用户数据，用户数据包括用户画像数据和用户对话数据中的一者。用户画像数据可以是经过知识增强的用户画像数据(即，增强用户画像数据)，也可以是未经过知识增强的用户画像数据。用户对话数据可以是经过知识增强的用户对话数据、也可以是未经过知识增强的用户对话数据。
进一步地，用户对话数据还可以包括当前对话数据和历史对话数据，当前对话数据可以是经过知识增强的当前对话数据(即，当前增强对话数据)，也可以是未经过知识增强的当前对话数据，历史对话数据可以是经过知识增强的历史对话数据(即，当前增强对话数据)，也可以是未经过知识增强的历史对话数据。
在推理阶段中，对话任务的输入数据也相应地包括对话任务的提示数据和用户数据。推理阶段与训练阶段不同之处在于，训练阶段的对话训练监督条件作为通用文本生成层的输出，在推理阶段中，将输入数据输入到文本生成模型中，输出回复文本，即，从通用文本生成层的输出回复文本。
在另一些示例中，模型训练方法还包括：可以先获取用户画像数据和知识图谱数据，然后，基于知识图谱数据对用户画像数据进行增强处理，得到用户数据。例如，将用户画像数据输入到增强处理层中进行处理，得到用户数据。
具体而言，作为基于知识图谱数据对用户画像数据进行增强处理，得到用户数据的示例，可以确定知识图谱数据的实体表征矩阵、用户画像数据的第一表征矩阵、以及知识图谱数据与用户画像数据之间的第一转移矩阵，基于实体表征矩阵、第一表征矩阵以及第一转移矩阵之间的乘积，确定实体表征矩阵的第一相似矩阵，然后，基于实体表征矩阵与第一相似矩阵的乘积与第一表征矩阵之间的和，确定增强用户画像数据。用户数据至少包括增强用户画像数据。
例如，可以通过下面的公式计算增强用户画像数据，B＝PTWE，
Figure BDA0004048723080000081
其中，B表示E的第一相似矩阵；P表示用户画像数据；E表示实体表征矩阵；
Figure BDA0004048723080000082
表示增强用户画像数据。通过这种方式，能够有效地基于知识图谱数据对用户画像数据进行增强处理，使知识图谱数据与用户画像数据，有效地且深度地融合。
在另一些示例中，模型训练方法还包括：获取用户对话数据和知识图谱数据，然后，基于知识图谱数据对用户对话数据进行增强处理，得到用户数据。例如，可以基于下面的公式计算增强用户对话数据，A＝TTWE，
Figure BDA0004048723080000083
其中，A表示E的第二相似矩阵；T表示用户对话数据；E表示实体表征矩阵；
Figure BDA0004048723080000084
表示增强对话数据。
进一步地，模型训练方法还包括：基于用户对话数据对知识图谱数据进行增强处理，得到增强知识图谱数据。例如，可以采用下面的公式计算增强知识图谱数据，C＝ETWT，
Figure BDA0004048723080000085
其中，C表示T的第四相似矩阵；T表示用户对话数据；E表示实体表征矩阵；
Figure BDA0004048723080000086
表示增强知识图谱数据。
具体而言，用户对话数据包括当前对话数据和历史对话数据。作为基于知识图谱数据对用户对话数据进行增强处理，得到用户数据的示例，可以基于知识图谱数据对当前对话数据和历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据，然后，基于近因效应因子，对当前增强对话数据和历史增强对话数据进行处理，得到增强对话数据，用户数据至少包括增强对话数据，从而提升了当前增强对话数据和历史增强对话数据之间的时间关联，应理解，近因效应因子可以预先设定，也可以训练得到。
进一步地，基于知识图谱数据对用户对话数据进行增强处理，得到用户数据，还包括：确定知识图谱数据在增强对话数据下的增强知识图谱数据，并且基于增强知识图谱数据和增强对话数据，确定用户数据。
更具体地，基于知识图谱数据对用户对话数据进行增强处理，得到用户数据，包括：基于知识图谱数据对当前对话数据和历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据。
例如，基于知识图谱数据对当前对话数据和历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据，包括：确定知识图谱数据的实体表征矩阵、当前对话数据的第二表征矩阵、以及知识图谱数据与当前对话数据之间的第二转移矩阵，基于实体表征矩阵、第二表征矩阵以及第二转移矩阵之间的乘积，确定实体表征矩阵的第二相似矩阵，并且基于实体表征矩阵与第二相似矩阵的乘积以及第二表征矩阵之间的和，确定当前增强对话数据，由此，提高了所构建的当前增强对话数据的可靠性。
又例如，基于知识图谱数据对当前对话数据和历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据，包括：确定知识图谱数据的实体表征矩阵、历史对话数据的第三表征矩阵、以及知识图谱数据与历史对话数据之间的第三转移矩阵，基于实体表征矩阵、第三表征矩阵以及第三转移矩阵之间的乘积，确定实体表征矩阵的第三相似矩阵，并且基于实体表征矩阵与第三相似矩阵的乘积以及第三表征矩阵之间的和，确定历史增强对话数据。用户数据至少包括当前增强对话数据和历史增强对话数据。由此，提高了所构建的历史增强对话数据的可靠性。
更具体地，图4A示出了执行知识增强处理的增强处理层450，知识增强处理在图4B的输入层的组合处理之前。增强处理层450能够对其输入数据进行诸如上述各个公式的增强处理。例如，用户对话数据或用户画像数据输入到语义融合层450得到融合词向量(例如，第一表征矩阵、第二表征矩阵或第三表征矩阵)，将融合词向量输入到增强处理层450中，借助于采用实体编码层(诸如，基于RGCN进行处理)得到的实体特征矩阵执行处理，得到增强对话数据或增强用户画像数据。另外，还可以基于用户对话数据和/或用户画像数据对知识图谱数据进行增强处理，得到增强知识图谱数据，即，将知识图谱数据(实体表征矩阵)输入到增强处理层450中，借助于融合词向量(例如，第一表征矩阵、第二表征矩阵或第三表征矩阵)执行处理，得到增强知识图谱数据。
图5为根据本发明的另一实施例的模型训练装置的结构框图。本实施例的方案可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。例如，在模型训练(training)阶段，可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备(例如，数据中心)基于训练样本对编码器解码器模型进行训练。诸如数据中心的计算设备可以部署在诸如专有云、私有云、或混合云的云服务器中。相应地，在推理(inference)阶段，也可以利用配置有CPU(处理单元的示例)+GPU(加速单元的示例)架构的计算设备进行推理运算。本实施例的模型训练装置包括：
获取模块510，获取对话任务的提示数据、用户数据、以及训练监督条件。
组合模块520，至少组合所述提示数据和所述用户数据，得到所述对话任务的训练数据。
训练模块530，基于所述训练数据作为所述对话任务的上下文融合层的输入，并且基于所述对话训练监督条件作为通用文本生成层的输出，训练所述对话任务的文本生成模型，其中，所述上下文融合层的输出与所述通用文本生成层的输入连接。
在本发明实施例的方案中，训练数据通过组合提示数据和用户数据得到，提高了训练数据的个性化和针对性，且补充了训练数据的有效信息，此外，基于训练数据作为对话任务的上下文融合层的输入，并且基于对话训练监督条件作为通用文本生成层的输出，无需训练通用文本生成层，使训练后的文本生成模型能够针对对话任务进行推理，提高了文本生成的准确性。
在另一些示例中，获取模块还用于：获取用户画像数据和知识图谱数据；基于所述知识图谱数据对所述用户画像数据进行增强处理，得到所述用户数据。
在另一些示例中，获取模块具体用于：确定所述知识图谱数据的实体表征矩阵、所述用户画像数据的第一表征矩阵、以及所述知识图谱数据与所述用户画像数据之间的第一转移矩阵；基于所述实体表征矩阵、所述第一表征矩阵以及所述第一转移矩阵之间的乘积，确定所述实体表征矩阵的第一相似矩阵；基于所述实体表征矩阵与所述第一相似矩阵的乘积与所述第一表征矩阵之间的和，确定增强用户画像数据，其中，所述用户数据至少包括所述增强用户画像数据。
在另一些示例中，获取模块还用于：获取用户对话数据和知识图谱数据；基于所述知识图谱数据对所述用户对话数据进行增强处理，得到所述用户数据。
在另一些示例中，所述用户对话数据包括当前对话数据和历史对话数据。获取模块具体用于：基于所述知识图谱数据对所述当前对话数据和所述历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据；基于近因效应因子，对所述当前增强对话数据和所述历史增强对话数据进行处理，得到增强对话数据，所述用户数据至少包括所述增强对话数据。
在另一些示例中，获取模块还用于：确定所述知识图谱数据在所述增强对话数据下的增强知识图谱数据；基于所述增强知识图谱数据和所述增强对话数据，确定所述用户数据。
在另一些示例中，获取模块具体用于：确定所述知识图谱数据的实体表征矩阵、所述当前对话数据的第二表征矩阵、以及所述知识图谱数据与所述当前对话数据之间的第二转移矩阵；基于所述实体表征矩阵、所述第二表征矩阵以及所述第二转移矩阵之间的乘积，确定所述实体表征矩阵的第二相似矩阵；基于所述实体表征矩阵与所述第二相似矩阵的乘积以及所述第二表征矩阵之间的和，确定当前增强对话数据，以及确定所述知识图谱数据的实体表征矩阵、所述历史对话数据的第三表征矩阵、以及所述知识图谱数据与所述历史对话数据之间的第三转移矩阵；基于所述实体表征矩阵、所述第三表征矩阵以及所述第三转移矩阵之间的乘积，确定所述实体表征矩阵的第三相似矩阵；基于所述实体表征矩阵与所述第三相似矩阵的乘积以及所述第三表征矩阵之间的和，确定历史增强对话数据，其中，所述用户数据至少包括所述当前增强对话数据和历史增强对话数据。
图6为根据本发明的另一实施例的文本生成装置的结构框图。本实施例的文本生成装置包括：
获取模块610，获取对话任务的提示数据和用户数据。
组合模块620，至少组合所述提示数据和所述用户数据，得到所述对话任务的输入数据。
生成模块630，将所述输入数据输入到所述对话任务的文本生成模型中，得到回复文本，所述文本生成模型根据模型训练方法训练得到。
在本发明实施例的方案中，训练数据通过组合提示数据和用户数据得到，提高了训练数据的个性化和针对性，且补充了训练数据的有效信息，此外，基于训练数据作为对话任务的上下文融合层的输入，并且基于对话训练监督条件作为通用文本生成层的输出，无需训练通用文本生成层，使训练后的文本生成模型能够针对对话任务进行推理，提高了文本生成的准确性。
本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
参照图7，示出了根据本发明的另一实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储有程序710的存储器(memory)706、以及通信总线708。
处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口，用于与其它电子设备或服务器进行通信。
处理器，用于执行程序，具体可以执行上述方法实施例中的相关步骤。
具体地，程序可以包括程序代码，该程序代码包括至少一可执行指令。
处理器可能是处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序具体可以用于使得处理器执行图2或图3的方法。
此外，程序中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (12)

1.一种模型训练方法，包括：
获取对话任务的提示数据、用户数据、以及训练监督条件；
至少组合所述提示数据和所述用户数据，得到所述对话任务的训练数据；
基于所述训练数据作为所述对话任务的上下文融合层的输入，并且基于所述对话训练监督条件作为通用文本生成层的输出，训练所述对话任务的文本生成模型，其中，所述上下文融合层的输出与所述通用文本生成层的输入连接。
2.根据权利要求1所述的方法，其中，所述方法还包括：
获取用户画像数据和知识图谱数据；
基于所述知识图谱数据对所述用户画像数据进行增强处理，得到所述用户数据。
3.根据权利要求2所述的方法，其中，所述基于所述知识图谱数据对所述用户画像数据进行增强处理，得到所述用户数据，包括：
确定所述知识图谱数据的实体表征矩阵、所述用户画像数据的第一表征矩阵、以及所述知识图谱数据与所述用户画像数据之间的第一转移矩阵；
基于所述实体表征矩阵、所述第一表征矩阵以及所述第一转移矩阵之间的乘积，确定所述实体表征矩阵的第一相似矩阵；
基于所述实体表征矩阵与所述第一相似矩阵的乘积与所述第一表征矩阵之间的和，确定增强用户画像数据，其中，所述用户数据至少包括所述增强用户画像数据。
4.根据权利要求1所述的方法，其中，所述方法还包括：
获取用户对话数据和知识图谱数据；
基于所述知识图谱数据对所述用户对话数据进行增强处理，得到所述用户数据。
5.根据权利要求4所述的方法，其中，所述用户对话数据包括当前对话数据和历史对话数据；
所述基于所述知识图谱数据对所述用户对话数据进行增强处理，得到所述用户数据，包括：
基于所述知识图谱数据对所述当前对话数据和所述历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据；
基于近因效应因子，对所述当前增强对话数据和所述历史增强对话数据进行处理，得到增强对话数据，所述用户数据至少包括所述增强对话数据。
6.根据权利要求5所述的方法，其中，所述基于所述知识图谱数据对所述用户对话数据进行增强处理，得到所述用户数据，还包括：
确定所述知识图谱数据在所述增强对话数据下的增强知识图谱数据；
基于所述增强知识图谱数据和所述增强对话数据，确定所述用户数据。
7.根据权利要求5所述的方法，其中，所述基于所述知识图谱数据对所述当前对话数据和所述历史对话数据分别进行增强处理，得到当前增强对话数据和历史增强对话数据，包括：
确定所述知识图谱数据的实体表征矩阵、所述当前对话数据的第二表征矩阵、以及所述知识图谱数据与所述当前对话数据之间的第二转移矩阵；
基于所述实体表征矩阵、所述第二表征矩阵以及所述第二转移矩阵之间的乘积，确定所述实体表征矩阵的第二相似矩阵；
基于所述实体表征矩阵与所述第二相似矩阵的乘积以及所述第二表征矩阵之间的和，确定当前增强对话数据，
以及
确定所述知识图谱数据的实体表征矩阵、所述历史对话数据的第三表征矩阵、以及所述知识图谱数据与所述历史对话数据之间的第三转移矩阵；
基于所述实体表征矩阵、所述第三表征矩阵以及所述第三转移矩阵之间的乘积，确定所述实体表征矩阵的第三相似矩阵；
基于所述实体表征矩阵与所述第三相似矩阵的乘积以及所述第三表征矩阵之间的和，确定历史增强对话数据，
其中，所述用户数据至少包括所述当前增强对话数据和历史增强对话数据。
8.一种文本生成方法，包括：
获取对话任务的提示数据和用户数据；
至少组合所述提示数据和所述用户数据，得到所述对话任务的输入数据；
将所述输入数据输入到所述对话任务的文本生成模型中，得到回复文本，所述文本生成模型根据权利要求1-7中任一项所述的模型训练方法训练得到。
9.一种模型训练装置，包括：
获取模块，获取对话任务的提示数据、用户数据、以及训练监督条件；
组合模块，至少组合所述提示数据和所述用户数据，得到所述对话任务的训练数据；
训练模块，基于所述训练数据作为所述对话任务的上下文融合层的输入，并且基于所述对话训练监督条件作为通用文本生成层的输出，训练所述对话任务的文本生成模型，其中，所述上下文融合层的输出与所述通用文本生成层的输入连接。
10.一种文本生成装置，包括：
获取模块，获取对话任务的提示数据和用户数据；
组合模块，至少组合所述提示数据和所述用户数据，得到所述对话任务的输入数据；
生成模块，将所述输入数据输入到所述对话任务的文本生成模型中，得到回复文本，所述文本生成模型根据权利要求1-7中任一项所述的模型训练方法训练得到。
11.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的方法对应的操作。
12.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
CN202310034490.6A 2023-01-10 2023-01-10 模型训练和文本生成方法、装置、电子设备和存储介质 Pending CN115964999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310034490.6A CN115964999A (zh) 2023-01-10 2023-01-10 模型训练和文本生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310034490.6A CN115964999A (zh) 2023-01-10 2023-01-10 模型训练和文本生成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115964999A true CN115964999A (zh) 2023-04-14

Family

ID=87361509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310034490.6A Pending CN115964999A (zh) 2023-01-10 2023-01-10 模型训练和文本生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115964999A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057414A (zh) * 2023-08-11 2023-11-14 佛山科学技术学院 一种面向文本生成的多步协作式提示学习的黑盒知识蒸馏方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117057414A (zh) * 2023-08-11 2023-11-14 佛山科学技术学院 一种面向文本生成的多步协作式提示学习的黑盒知识蒸馏方法及系统
CN117057414B (zh) * 2023-08-11 2024-06-07 佛山科学技术学院 一种面向文本生成的多步协作式提示学习的黑盒知识蒸馏方法及系统

Similar Documents

Publication Publication Date Title
RU2708941C1 (ru) Способ и устройство распознавания сегментированных предложений для человеко-машинной интеллектуальной вопросно-ответной системы
CN113094481A (zh) 意图识别方法、装置、电子设备及计算机可读存储介质
CN110597965B (zh) 文章的情感极性分析方法、装置、电子设备及存储介质
CN110858226A (zh) 对话管理方法和装置
CN112632254B (zh) 对话状态确定方法、终端设备及存储介质
CN113360711A (zh) 视频理解任务的模型训练和执行方法、装置、设备及介质
CN115062606B (zh) 对话数据分析及其模型训练方法、及电子设备
CN115964999A (zh) 模型训练和文本生成方法、装置、电子设备和存储介质
CN115145812A (zh) 测试用例生成方法、装置、电子设备和存储介质
CN113641829A (zh) 图神经网络的训练与知识图谱的补全方法、装置
CN114722171B (zh) 多轮对话处理方法、装置、电子设备及存储介质
CN111241236B (zh) 任务导向性问答方法、系统、电子设备、可读存储介质
CN116127309B (zh) 神经网络模型的训练方法、对话生成方法和装置
CN116992000A (zh) 交互信息处理方法、装置、电子设备、计算机可读介质
CN115905490B (zh) 人机交互对话方法、装置以及设备
CN115457365B (zh) 一种模型的解释方法、装置、电子设备及存储介质
CN114970666B (zh) 一种口语处理方法、装置、电子设备及存储介质
CN116187301A (zh) 模型生成、实体识别方法、装置、电子设备及存储介质
CN115880506A (zh) 图像生成方法、模型的训练方法、装置及电子设备
CN114141236A (zh) 语言模型更新方法、装置、电子设备及存储介质
WO2021094513A1 (en) Depth-parallel training of neural networks
CN118095269B (zh) 对话的信息抽取方法、装置、设备、介质和程序产品
CN112204506A (zh) 用于手写文本的自动语言检测的系统和方法
CN115962961B (zh) Adas信号显示功能的测试系统以及方法
CN115169549B (zh) 人工智能模型更新方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination