CN111310847B - 训练要素分类模型的方法和装置 - Google Patents

训练要素分类模型的方法和装置 Download PDF

Info

Publication number
CN111310847B
CN111310847B CN202010130636.3A CN202010130636A CN111310847B CN 111310847 B CN111310847 B CN 111310847B CN 202010130636 A CN202010130636 A CN 202010130636A CN 111310847 B CN111310847 B CN 111310847B
Authority
CN
China
Prior art keywords
sentence
classification model
question
model
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010130636.3A
Other languages
English (en)
Other versions
CN111310847A (zh
Inventor
张�杰
王雅芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010130636.3A priority Critical patent/CN111310847B/zh
Publication of CN111310847A publication Critical patent/CN111310847A/zh
Application granted granted Critical
Publication of CN111310847B publication Critical patent/CN111310847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种训练要素分类模型的方法和装置，要素分类模型用于针对句子进行要素识别，方法包括：将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素；将所述第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；以所述第一句子和所述第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型。能够在标注数据量不足的情况下训练要素分类模型，并提高要素识别的准确率。

Description

训练要素分类模型的方法和装置
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及训练要素分类模型的方法和装置。
背景技术
人工智能(artificial intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。深度学习(deep learning)是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。当前，在机器人客服代替人工客服解答用户问题的过程中，常常要针对用户问句进行要素识别，要素识别即对用户文本提取出业务和诉求等相关词作为对话中的要素，用于对用户表达内容的粗粒度理解。
发明内容
本说明书一个或多个实施例描述了一种训练要素分类模型的方法和装置，能够在标注数据量不足的情况下，提高要素识别的准确率。
第一方面，提供了一种训练要素分类模型的方法，所述要素分类模型用于针对句子进行要素识别，方法包括：
将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素；
将所述第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；以所述第一句子和所述第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型。
在一种可能的实施方式中，所述标问生成模型在所述第一要素中引入了高斯噪声，基于引入了高斯噪声后的所述第一要素输出所述第二句子。
在一种可能的实施方式中，所述第一句子和所述第二句子之间的差异通过如下方式确定：
获取所述第一句子对应的第一概率分布和所述第二句子对应的第二概率分布；
确定所述第一概率分布和所述第二概率分布的信息熵的差值，所述差值用于指示所述第一句子和所述第二句子之间的差异。
在一种可能的实施方式中，所述待训练的要素分类模型通过如下方式得到：
获取第一训练样本，所述第一训练样本包括第一样本句子和所述第一样本句子对应的第一要素标签；
将所述第一样本句子输入初始要素分类模型，得到所述第一样本句子对应的预测要素；
根据所述第一要素标签和所述预测要素，利用预先设定的第一损失函数，以最小化所述第一损失函数的函数值为目标，对所述初始要素分类模型进行预训练，得到所述待训练的要素分类模型。
在一种可能的实施方式中，所述待训练的标问生成模型通过如下方式得到：
获取第二训练样本，所述第二训练样本包括第二要素标签和所述第二要素标签对应的第二样本句子；
将所述第二要素标签输入初始标问生成模型，得到所述第二要素标签对应的预测句子；
根据所述第二样本句子和所述预测句子，利用预先设定的第二损失函数，以最小化所述第二损失函数的函数值为目标，对所述初始标问生成模型进行预训练，得到所述待训练的标问生成模型。
在一种可能的实施方式中，所述要素分类模型包括：
编码器，用于对所述第一句子逐词编码，得到所述第一句子对应的第一隐状态；
全连接网络，用于根据所述第一隐状态进行分类，获得所述第一要素。
进一步地，所述标问生成模型包括：
词嵌入网络，用于将所述第一要素嵌入投射到预设空间，得到第一嵌入向量；
解码器，用于对所述第一嵌入向量解码，产生所述第二句子。
进一步地，所述编码器为第一长短期记忆(long short-term memory，LSTM)网络，所述解码器为第二LSTM网络。
进一步地，所述编码器和所述解码器共享参数。
进一步地，所述词嵌入网络为变分自编码器(variational autoencoders，VAE)，在嵌入过程中引入了高斯噪声。
在一种可能的实施方式中，所述第一句子为用户与机器人客服对话中的用户问句。
进一步地，所述用户与机器人客服对话属于交互式语音应答(interactive voiceresponse，IVR)。
在一种可能的实施方式中，所述方法还包括：
将目标用户问句输入训练后的要素分类模型，通过所述要素分类模型输出第二要素；
根据所述第二要素，输出反问问句；
获取用户针对所述反问问句的补充信息；
根据所述补充信息，确定所述目标用户问句对应的标准问句。
第二方面，提供了一种训练要素分类模型的装置，所述要素分类模型用于针对句子进行要素识别，装置包括：
分类单元，用于将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素；
生成单元，用于将所述分类单元输出的第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；
训练单元，用于以所述第一句子和所述生成单元输出的第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，构建了一对对偶模型，即要素分类模型和标问生成模型，其中，要素分类模型用于识别句子中的要素，标问生成模型用于根据给定的要素生成该要素对应的句子，基于对偶学习的方式训练要素分类模型和标问生成模型，由于对偶学习的共享参数特性，从而提升要素分类模型性能，能够在标注数据量不足的情况下训练要素分类模型，并提高要素识别的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的训练要素分类模型的方法流程图；
图3示出根据一个实施例的原始模型和对偶模型的处理过程示意图；
图4示出根据一个实施例的训练要素分类模型的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及训练要素分类模型。可以理解的是，要素分类模型用于从句子中识别出该句子的要素。通常地，可以先利用标注数据对要素分类模型进行训练，再利用训练后的要素分类模型针对句子进行要素识别。上述标注数据即训练样本，训练样本包括样本句子和该样本句子对应的要素标签。由于前期需要投入大量的人力进行数据标注，仍然难以获得足够数量的标注数据，从而利用训练后的要素分类模型进行要素识别的准确率低。
本说明书实施例，针对在标注数据量不足的情况下训练要素分类模型，提出解决方案，通过将要素分类模型与其他模型组成一对对偶模型，利用对偶学习的方式训练要素分类模型和该其他模型，由于对偶学习的共享参数特性，提升要素分类模型性能，从而能够提高要素识别的准确率。
对偶学习，通过利用任务互为对偶的特点从无标注的数据中进行学习。所谓结构对偶性指的是一个人工智能任务的输出恰好是另外一个任务的输入，反之亦然。本说明书实施例中，识别句子中的要素和根据给定的要素生成该要素对应的句子构成一对对偶任务。对偶学习可以解决在缺乏标注数据时的模型优化。
图2示出根据一个实施例的的训练要素分类模型的方法流程图，所述要素分类模型用于针对句子进行要素识别，该方法可以基于图1所示的实施场景。如图2所示，该实施例中训练要素分类模型的方法包括以下步骤：步骤21，将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素；步骤22，将所述第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；步骤23，以所述第一句子和所述第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型。下面描述以上各个步骤的具体执行方式。
首先在步骤21，将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素。可以理解的是，其中，第一句子可以为用户与机器人客服对话中的用户问句，第一要素可以为业务或诉求等相关词，第一句子可以不具有对应的要素标签。
在一个示例中，用户与机器人客服对话属于交互式语音应答(interactive voiceresponse，IVR)。交互式语音应答，是一种功能强大的电话自动服务系统。它用预先录制或文本转语音(text to speech，TTS)技术合成的语音进行自动应答的系统，提供一种为客户进行菜单导航的功能，主要应用呼叫中心系统中。
在一个示例中，所述待训练的要素分类模型通过如下方式得到：
获取第一训练样本，所述第一训练样本包括第一样本句子和所述第一样本句子对应的第一要素标签；
将所述第一样本句子输入初始要素分类模型，得到所述第一样本句子对应的预测要素；
根据所述第一要素标签和所述预测要素，利用预先设定的第一损失函数，以最小化所述第一损失函数的函数值为目标，对所述初始要素分类模型进行预训练，得到所述待训练的要素分类模型。
可以理解的是，可以先通过少量具有要素标签的训练样本对要素分类模型进行预训练，然后再基于对偶学习的方式继续训练要素分类模型和标问生成模型，对要素分类模型进一步优化，以提高分类准确率。
在一个示例中，所述要素分类模型包括：
编码器，用于对所述第一句子逐词编码，得到所述第一句子对应的第一隐状态；
全连接网络，用于根据所述第一隐状态进行分类，获得所述第一要素。
进一步地，所述编码器可以为第一长短期记忆(long short-term memory，LSTM)网络。
然后在步骤22，将所述第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；可以理解的是，其中，第一要素为要素分类模型的输出。
在一个示例中，所述标问生成模型在所述第一要素中引入了高斯噪声，基于引入了高斯噪声后的所述第一要素输出所述第二句子。
在一个示例中，所述待训练的标问生成模型通过如下方式得到：
获取第二训练样本，所述第二训练样本包括第二要素标签和所述第二要素标签对应的第二样本句子；
将所述第二要素标签输入初始标问生成模型，得到所述第二要素标签对应的预测句子；
根据所述第二样本句子和所述预测句子，利用预先设定的第二损失函数，以最小化所述第二损失函数的函数值为目标，对所述初始标问生成模型进行预训练，得到所述待训练的标问生成模型。
可以理解的是，可以先通过少量具有要素标签的训练样本对标问生成模型进行预训练，然后再基于对偶学习的方式继续训练要素分类模型和标问生成模型，对要素分类模型进一步优化，以提高分类准确率。
在一个示例中，所述标问生成模型包括：
词嵌入网络，用于将所述第一要素嵌入投射到预设空间，得到第一嵌入向量；
解码器，用于对所述第一嵌入向量解码，产生所述第二句子。
进一步地，所述解码器为第二LSTM网络。
进一步地，所述要素分类模型中的编码器和所述标问生成模型中的解码器共享参数。
进一步地，所述词嵌入网络为变分自编码器(variational autoencoders，VAE)，在嵌入过程中引入了高斯噪声。在一个示例中，VAE包括编码单元和采样单元，编码单元用于接收第一要素，通过所述编码单元输出所述第一要素对应的嵌入向量所服从的高斯分布的均值和方差；采样单元用于从所述编码单元输出的均值和方差对应的高斯分布的各嵌入向量中采样得到第一嵌入向量。
其中，VAE是一种生成模型，生成模型主要对数据的结构进行建模，捕捉数据不同维度之间的关系，从而可以由模型来生成新的数据，在生成新数据时，引入高斯噪声，可以增强数据多样性，达到数据增强的效果。
最后在步骤23，以所述第一句子和所述第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型。可以理解的是，一种典型的场景下，第一句子为用户与机器人客服对话中的用户问句，第一句子和第二句子通常不会完全一致，可以通过二者在向量空间中的距离衡量二者的差异。
在一个示例中，所述第一句子和所述第二句子之间的差异通过如下方式确定：
获取所述第一句子对应的第一概率分布和所述第二句子对应的第二概率分布；
确定所述第一概率分布和所述第二概率分布的信息熵的差值，所述差值用于指示所述第一句子和所述第二句子之间的差异。
此外，本说明书实施例中，还可以包括如下的基于对偶学习的训练过程：将第二要素输入待训练的标问生成模型，通过所述标问生成模型输出第三句子；将第三句子输入待训练的要素分类模型，通过所述要素分类模型输出第三要素；以所述第二要素和所述第三要素之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型。可以理解的是，该过程中将标问生成模型的输出作为要素分类模型的输入，通过对偶学习的方式优化要素分类模型。
在一个示例中，所述方法还包括：
将目标用户问句输入训练后的要素分类模型，通过所述要素分类模型输出第二要素；
根据所述第二要素，输出反问问句；
获取用户针对所述反问问句的补充信息；
根据所述补充信息，确定所述目标用户问句对应的标准问句。
该示例中，将训练后的要素分类模型用于提取用户问句中的要素，并基于该要素最终确定用户问句对应的标准问句。引入要素识别，通过先对用户的问题主题进行粗粒度分类，并进行相关反问引导，不仅能提升用户体验，更能为问题识别获取更多用户问题信息，从而提高问题识别的准确率。
图3示出根据一个实施例的原始模型和对偶模型的处理过程示意图，其中，原始模型为前述要素分类模型，对偶模型为前述标问生成模型。原始模型的输入为x，x代表句子，输出为y，y代表要素，以原始模型包括前述编码器和全连接网络为例，
Figure BDA0002395678710000091
为编码器的参数，句子x通过编码器后得到隐状态hX，/>
Figure BDA0002395678710000092
为全连接网络的参数，隐状态hX通过全连接网络后得到要素y。对偶模型的输入为y，y代表要素，输出为x，x代表句子，以对偶模型包括前述词嵌入网络和解码器为例，/>
Figure BDA0002395678710000093
为词嵌入网络的参数，要素y通过词嵌入网络后得到嵌入向量hX，在嵌入过程中引入了高斯噪声，/>
Figure BDA0002395678710000094
为解码器的参数，解码器与编码器共享参数，可以基于编码器的参数/>
Figure BDA0002395678710000095
进一步训练得到，嵌入向量hX通过解码器后得到句子x。
本说明书实施例，对偶学习涉及至少两个学习任务，原始模型和对偶模型的参数是共享的，意味着模型有着更少的参数。同时在对偶学习中引入高斯噪声，增强训练数据的多样性，能够极大提高要素识别的精度。在对偶学习中，多个任务是相互帮助、相互提高的，相比于标准的有监督学习，数据会被利用的更加充分。最后，由于参数的共享，两个模型的复杂度被降低了，因此会有更好的泛化能力。
根据另一方面的实施例，还提供一种训练要素分类模型的装置，所述要素分类模型用于针对句子进行要素识别，该装置用于执行本说明书实施例提供的训练要素分类模型的方法。图4示出根据一个实施例的训练要素分类模型的装置的示意性框图。如图4所示，该装置400包括：
分类单元41，用于将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素；
生成单元42，用于将所述分类单元41输出的第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；
训练单元43，用于以所述第一句子和所述生成单元42输出的第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型。
可选地，作为一个实施例，所述标问生成模型在所述第一要素中引入了高斯噪声，基于引入了高斯噪声后的所述第一要素输出所述第二句子；
可选地，作为一个实施例，所述第一句子和所述第二句子之间的差异通过如下方式确定：
获取所述第一句子对应的第一概率分布和所述第二句子对应的第二概率分布；
确定所述第一概率分布和所述第二概率分布的信息熵的差值，所述差值用于指示所述第一句子和所述第二句子之间的差异。
可选地，作为一个实施例，所述待训练的要素分类模型通过如下方式得到：
获取第一训练样本，所述第一训练样本包括第一样本句子和所述第一样本句子对应的第一要素标签；
将所述第一样本句子输入初始要素分类模型，得到所述第一样本句子对应的预测要素；
根据所述第一要素标签和所述预测要素，利用预先设定的第一损失函数，以最小化所述第一损失函数的函数值为目标，对所述初始要素分类模型进行预训练，得到所述待训练的要素分类模型。
可选地，作为一个实施例，所述待训练的标问生成模型通过如下方式得到：
获取第二训练样本，所述第二训练样本包括第二要素标签和所述第二要素标签对应的第二样本句子；
将所述第二要素标签输入初始标问生成模型，得到所述第二要素标签对应的预测句子；
根据所述第二样本句子和所述预测句子，利用预先设定的第二损失函数，以最小化所述第二损失函数的函数值为目标，对所述初始标问生成模型进行预训练，得到所述待训练的标问生成模型。
可选地，作为一个实施例，所述要素分类模型包括：
编码器，用于对所述第一句子逐词编码，得到所述第一句子对应的第一隐状态；
全连接网络，用于根据所述第一隐状态进行分类，获得所述第一要素。
进一步地，所述标问生成模型包括：
词嵌入网络，用于将所述第一要素嵌入投射到预设空间，得到第一嵌入向量；
解码器，用于对所述第一嵌入向量解码，产生所述第二句子。
进一步地，所述编码器为第一长短期记忆LSTM网络，所述解码器为第二LSTM网络。
进一步地，所述编码器和所述解码器共享参数。
进一步地，所述词嵌入网络为变分自编码器VAE，在嵌入过程中引入了高斯噪声。
可选地，作为一个实施例，所述第一句子为用户与机器人客服对话中的用户问句。
进一步地，所述用户与机器人客服对话属于交互式语音应答IVR。
可选地，作为一个实施例，所述装置还包括：
确定单元，用于将目标用户问句输入所述训练单元43训练后的要素分类模型，通过所述要素分类模型输出第二要素；
根据所述第二要素，输出反问问句；
获取用户针对所述反问问句的补充信息；
根据所述补充信息，确定所述目标用户问句对应的标准问句。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (24)

1.一种训练要素分类模型的方法，所述要素分类模型用于针对句子进行要素识别，所述方法包括：
将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素；所述第一句子为用户与机器人客服对话中的用户问句；
将所述第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；所述第二句子为标准问句；
以所述第一句子和所述第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型；
将目标用户问句输入训练后的要素分类模型，通过所述要素分类模型输出第二要素；
根据所述第二要素，输出反问问句；
获取用户针对所述反问问句的补充信息；
根据所述补充信息，确定所述目标用户问句对应的标准问句。
2.如权利要求1所述的方法，其中，所述标问生成模型在所述第一要素中引入了高斯噪声，基于引入了高斯噪声后的所述第一要素输出所述第二句子。
3.如权利要求1所述的方法，其中，所述第一句子和所述第二句子之间的差异通过如下方式确定：
获取所述第一句子对应的第一概率分布和所述第二句子对应的第二概率分布；
确定所述第一概率分布和所述第二概率分布的信息熵的差值，所述差值用于指示所述第一句子和所述第二句子之间的差异。
4.如权利要求1所述的方法，其中，所述待训练的要素分类模型通过如下方式得到：
获取第一训练样本，所述第一训练样本包括第一样本句子和所述第一样本句子对应的第一要素标签；
将所述第一样本句子输入初始要素分类模型，得到所述第一样本句子对应的预测要素；
根据所述第一要素标签和所述预测要素，利用预先设定的第一损失函数，以最小化所述第一损失函数的函数值为目标，对所述初始要素分类模型进行预训练，得到所述待训练的要素分类模型。
5.如权利要求1所述的方法，其中，所述待训练的标问生成模型通过如下方式得到：
获取第二训练样本，所述第二训练样本包括第二要素标签和所述第二要素标签对应的第二样本句子；
将所述第二要素标签输入初始标问生成模型，得到所述第二要素标签对应的预测句子；
根据所述第二样本句子和所述预测句子，利用预先设定的第二损失函数，以最小化所述第二损失函数的函数值为目标，对所述初始标问生成模型进行预训练，得到所述待训练的标问生成模型。
6.如权利要求1所述的方法，其中，所述要素分类模型包括：
编码器，用于对所述第一句子逐词编码，得到所述第一句子对应的第一隐状态；
全连接网络，用于根据所述第一隐状态进行分类，获得所述第一要素。
7.如权利要求6所述的方法，其中，所述标问生成模型包括：
词嵌入网络，用于将所述第一要素嵌入投射到预设空间，得到第一嵌入向量；
解码器，用于对所述第一嵌入向量解码，产生所述第二句子。
8.如权利要求7所述的方法，其中，所述编码器为第一长短期记忆LSTM网络，所述解码器为第二LSTM网络。
9.如权利要求7所述的方法，其中，所述编码器和所述解码器共享参数。
10.如权利要求7所述的方法，其中，所述词嵌入网络为变分自编码器VAE，在嵌入过程中引入了高斯噪声。
11.如权利要求1所述的方法，其中，所述用户与机器人客服对话属于交互式语音应答IVR。
12.一种训练要素分类模型的装置，所述要素分类模型用于针对句子进行要素识别，所述装置包括：
分类单元，用于将第一句子输入待训练的要素分类模型，通过所述要素分类模型输出第一要素；所述第一句子为用户与机器人客服对话中的用户问句；
生成单元，用于将所述分类单元输出的第一要素输入待训练的标问生成模型，通过所述标问生成模型输出第二句子；其中，所述要素分类模型和所述标问生成模型互为对偶模型；所述第二句子为标准问句；
训练单元，用于以所述第一句子和所述生成单元输出的第二句子之间的差异最小化为目标，基于对偶学习的方式训练所述要素分类模型和所述标问生成模型；
确定单元，用于将目标用户问句输入所述训练单元训练后的要素分类模型，通过所述要素分类模型输出第二要素；根据所述第二要素，输出反问问句；获取用户针对所述反问问句的补充信息；根据所述补充信息，确定所述目标用户问句对应的标准问句。
13.如权利要求12所述的装置，其中，所述标问生成模型在所述第一要素中引入了高斯噪声，基于引入了高斯噪声后的所述第一要素输出所述第二句子。
14.如权利要求12所述的装置，其中，所述第一句子和所述第二句子之间的差异通过如下方式确定：
获取所述第一句子对应的第一概率分布和所述第二句子对应的第二概率分布；
确定所述第一概率分布和所述第二概率分布的信息熵的差值，所述差值用于指示所述第一句子和所述第二句子之间的差异。
15.如权利要求12所述的装置，其中，所述待训练的要素分类模型通过如下方式得到：
获取第一训练样本，所述第一训练样本包括第一样本句子和所述第一样本句子对应的第一要素标签；
将所述第一样本句子输入初始要素分类模型，得到所述第一样本句子对应的预测要素；
根据所述第一要素标签和所述预测要素，利用预先设定的第一损失函数，以最小化所述第一损失函数的函数值为目标，对所述初始要素分类模型进行预训练，得到所述待训练的要素分类模型。
16.如权利要求12所述的装置，其中，所述待训练的标问生成模型通过如下方式得到：
获取第二训练样本，所述第二训练样本包括第二要素标签和所述第二要素标签对应的第二样本句子；
将所述第二要素标签输入初始标问生成模型，得到所述第二要素标签对应的预测句子；
根据所述第二样本句子和所述预测句子，利用预先设定的第二损失函数，以最小化所述第二损失函数的函数值为目标，对所述初始标问生成模型进行预训练，得到所述待训练的标问生成模型。
17.如权利要求12所述的装置，其中，所述要素分类模型包括：
编码器，用于对所述第一句子逐词编码，得到所述第一句子对应的第一隐状态；
全连接网络，用于根据所述第一隐状态进行分类，获得所述第一要素。
18.如权利要求17所述的装置，其中，所述标问生成模型包括：
词嵌入网络，用于将所述第一要素嵌入投射到预设空间，得到第一嵌入向量；
解码器，用于对所述第一嵌入向量解码，产生所述第二句子。
19.如权利要求18所述的装置，其中，所述编码器为第一长短期记忆LSTM网络，所述解码器为第二LSTM网络。
20.如权利要求18所述的装置，其中，所述编码器和所述解码器共享参数。
21.如权利要求18所述的装置，其中，所述词嵌入网络为变分自编码器VAE，在嵌入过程中引入了高斯噪声。
22.如权利要求12所述的装置，其中，所述用户与机器人客服对话属于交互式语音应答IVR。
23.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-11中任一项的所述的方法。
24.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-11中任一项的所述的方法。
CN202010130636.3A 2020-02-28 2020-02-28 训练要素分类模型的方法和装置 Active CN111310847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130636.3A CN111310847B (zh) 2020-02-28 2020-02-28 训练要素分类模型的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130636.3A CN111310847B (zh) 2020-02-28 2020-02-28 训练要素分类模型的方法和装置

Publications (2)

Publication Number Publication Date
CN111310847A CN111310847A (zh) 2020-06-19
CN111310847B true CN111310847B (zh) 2023-06-23

Family

ID=71147763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130636.3A Active CN111310847B (zh) 2020-02-28 2020-02-28 训练要素分类模型的方法和装置

Country Status (1)

Country Link
CN (1) CN111310847B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220084504A1 (en) * 2020-09-11 2022-03-17 International Business Machines Corporation Artificial intelligence voice response system for speech impaired users

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829170A (zh) * 2017-11-23 2019-05-31 三星电子株式会社 机器翻译方法和设备
CN110188182A (zh) * 2019-05-31 2019-08-30 中国科学院深圳先进技术研究院 模型训练方法、对话生成方法、装置、设备及介质
CN110704618A (zh) * 2019-09-20 2020-01-17 阿里巴巴集团控股有限公司 确定对话数据对应的标准问题的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829170A (zh) * 2017-11-23 2019-05-31 三星电子株式会社 机器翻译方法和设备
CN110188182A (zh) * 2019-05-31 2019-08-30 中国科学院深圳先进技术研究院 模型训练方法、对话生成方法、装置、设备及介质
CN110704618A (zh) * 2019-09-20 2020-01-17 阿里巴巴集团控股有限公司 确定对话数据对应的标准问题的方法及装置

Also Published As

Publication number Publication date
CN111310847A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN107657017B (zh) 用于提供语音服务的方法和装置
CN110428820B (zh) 一种中英文混合语音识别方法及装置
CN110990543A (zh) 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN111339302A (zh) 训练要素分类模型的方法和装置
CN110704618B (zh) 确定对话数据对应的标准问题的方法及装置
CN112397056B (zh) 语音评测方法及计算机存储介质
CN112463942A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
CN114399995A (zh) 语音模型的训练方法、装置、设备及计算机可读存储介质
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
CN111310847B (zh) 训练要素分类模型的方法和装置
CN116580691A (zh) 语音合成方法、语音合成装置、电子设备及存储介质
CN111415662A (zh) 用于生成视频的方法、装置、设备和介质
WO2022262080A1 (zh) 一种对话关系处理方法、计算机及可读存储介质
CN115116443A (zh) 语音识别模型的训练方法、装置、电子设备及存储介质
CN112233648A (zh) 结合rpa及ai的数据的处理方法、装置、设备及存储介质
CN111933117A (zh) 语音验证方法和装置、存储介质及电子装置
CN113111652B (zh) 数据处理方法、装置及计算设备
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
CN113555006B (zh) 一种语音信息识别方法、装置、电子设备及存储介质
CN113421551B (zh) 语音识别方法、装置、计算机可读介质及电子设备
CN117059082B (zh) 基于大模型的外呼通话方法、装置、介质和计算机设备
CN110059231B (zh) 一种回复内容的生成方法及装置
CN117592564A (zh) 问答交互方法、装置、设备及介质
CN117216532A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN116994560A (zh) 语音识别方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant