CN112380875A - 对话标签跟踪方法、装置、电子装置及存储介质 - Google Patents
对话标签跟踪方法、装置、电子装置及存储介质 Download PDFInfo
- Publication number
- CN112380875A CN112380875A CN202011292085.7A CN202011292085A CN112380875A CN 112380875 A CN112380875 A CN 112380875A CN 202011292085 A CN202011292085 A CN 202011292085A CN 112380875 A CN112380875 A CN 112380875A
- Authority
- CN
- China
- Prior art keywords
- tag
- label
- conversation
- dialogue
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000014509 gene expression Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 238000013145 classification model Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及一种对话标签跟踪方法、装置、电子装置及存储介质，其中，对话标签跟踪方法包括：获取对话过程中当前轮对话的第一对话数据，第一对话数据包括参与当前轮对话的用户对应的表述语句；在第一对话数据中跟踪第一标签，并根据第一标签生成第一标签向量，第一标签至少包括当前轮对话的意图信息和实体信息；利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值，并根据第一预测值确定当前轮对话的对话标签，梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。通过本申请，解决了相关技术中对话标签跟踪泛化能力弱，冷启动场景下对话标签跟踪效果差的问题，提升对话标签跟踪泛化能力。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及对话标签跟踪方法、装置、电子装置及存储介质。
背景技术
近几年，人工智能技术得到迅速地发展，与智能语音技术相关的产品已经进入到千家万户中。人们逐渐习惯了与机器对话，并且对机器的理解与应答能力有了更高的期待。基于语音的对话系统框架采用自动语音识别(ASR，Automatic Speech Recognition)模型和自然语言理解(NLU，Natural Language Understanding)模型，工作流程包括：首先通过ASR模型将用户的声音转换为文字，然后利用NLU模型进行语义解析，识别文本意图，最终实现对话文本分析交互。
相关技术中的对话标签跟踪技术包括基于规则的对话标签跟踪、和基于深度模型的对话标签跟踪。其中，基于规则的对话标签跟踪通过大量的专家知识人工配置DST流转的路径，适合数据冷启动的情况下，但是缺少了模型的泛化能力，基于深度模型的对比标签跟踪(如NBT-DNN，NBT-CNN)，能够解决更广泛场景下的问题，但是需要大量的训练数据。
目前针对相关技术中对话标签跟踪泛化能力弱，冷启动场景下对话标签跟踪效果差的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种对话标签跟踪方法、装置、电子装置及存储介质，以至少解决相关技术中对话标签跟踪泛化能力弱，冷启动场景下对话标签跟踪效果差的问题。
第一方面，本申请实施例提供了一种对话标签跟踪方法，包括：
获取对话过程中当前轮对话的第一对话数据，其中，所述第一对话数据包括参与所述当前轮对话的用户对应的表述语句；
在所述第一对话数据中跟踪第一标签，并根据所述第一标签生成第一标签向量，其中，所述第一标签至少包括所述当前轮对话的意图信息和实体信息；
利用梯度提升模型处理所述第一标签向量，获得与所述当前轮对话对应的第一预测值，并根据所述第一预测值确定所述当前轮对话的对话标签，其中，所述梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。
在其中一些实施例中，所述梯度提升模型包括梯度提升决策模型，利用梯度提升模型处理所述第一标签向量，获得与所述当前轮对话对应的第一预测值包括：利用所述梯度提升决策模型对所述第一标签向量进行预测处理，得到与所述第一标签向量对应的残差，确定所述第一预测值包括所述残差。
在其中一些实施例中，根据所述第一预测值确定所述当前轮对话的对话标签包括：判断所述第一预测值是否大于预设阈值，其中，所述第一预测值包括预测概率值；在判断到所述第一预测值大于预设阈值的情况下，确定所述当前轮对话的对话标签包括所述第一标签。
在其中一些实施例中，在判断到所述第一预测值不大于预设阈值的情况下，确定跟踪所述当前轮对话的对话标签失败，并删除所述第一标签。
在其中一些实施例中，在获取对话过程中当前轮对话的第一对话数据之前，所述方法还包括：获取多轮对话中参于对话的所述用户所产生的第二对话数据；对所述第二对话数据进行按轮拆分，得到每一轮对话的所述第一对话数据。
在其中一些实施例中，在所述第一对话数据中跟踪第一标签包括：通过预设标签抽取模型对所述第一对话数据进行标签抽取，得到候选标签，其中，所述预设标签抽取模型包括意图分类模型和/或实体识别模型；在所述候选标签中检测预设标签，并在检测到所述预设标签的情况下，确定所述第一标签包括所述预设标签。
在其中一些实施例中，在所述候选标签中检测预设标签包括：获取所述候选标签的标记值，并根据所述标记值检测得到所述预设标签，其中，所述标记值用于确定所述候选标签是否为预设意向对应的标签。
在其中一些实施例中，根据所述第一标签生成第一标签向量包括：利用预设特征提取器在所述第一标签中提取多个特征信息，并对所述多个特征信息进行转换处理，得到预设维度的所述第一标签向量，其中，所述特征信息至少包括以下其中一种：肯定语义信息、否定语义信息、语义特征数据。
第二方面，本申请实施例提供了一种对话标签跟踪装置，包括：
获取模块，用于获取对话过程中当前轮对话的第一对话数据，其中，所述第一对话数据包括参与所述当前轮对话的用户对应的表述语句；
跟踪模块，用于在所述第一对话数据中跟踪第一标签，并根据所述第一标签生成第一标签向量，其中，所述第一标签至少包括所述当前轮对话的意图信息和实体信息；
预测模块，用于利用梯度提升模型处理所述第一标签向量，获得与所述当前轮对话对应的第一预测值，并根据所述第一预测值确定所述当前轮对话的对话标签，其中，所述梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。
第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行第一方面所述的对话标签跟踪方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面所述的对话标签跟踪方法。
相比于相关技术，本申请实施例提供的一种对话标签跟踪方法、装置、电子装置及存储介质，通过获取对话过程中当前轮对话的第一对话数据，其中，第一对话数据包括参与当前轮对话的用户对应的表述语句；在第一对话数据中跟踪第一标签，并根据第一标签生成第一标签向量，其中，第一标签至少包括当前轮对话的意图信息和实体信息；利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值，并根据第一预测值确定当前轮对话的对话标签，其中，梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型，解决了相关技术中对话标签跟踪泛化能力弱，冷启动场景下对话标签跟踪效果差的问题，实现了提升对话标签跟踪泛化能力，适用少量样本量的对话跟踪及适用于对话场景的迁移的有益效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明实施例的对话标签跟踪方法运行终端的硬件结构框图；
图2是根据本申请实施例的对话标签跟踪方法的流程图；
图3是根据本申请实施例的对话标签跟踪方法的流程图；
图4是根据本申请实施例的梯度提升模型训练过程的流程图；
图5是根据本申请实施例的对话标签跟踪装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请中描述的各种技术可用于语音机器人、语音对话系统的对比标签跟踪。
在对本申请的实施例进行描述和说明之前，先对本申请中使用的相关技术进行说明如下：
梯度提升决策树，(Gradient Boosting Decision Tree，GBDT)，GBDT模型是集成学习boosting家族的成员，通过多个弱分类器组合成一个强分类器，籍以实现提高预测准确率的目的，其中，GBDT每一轮的预测都是通过拟合当前弱分类器的负梯度值不断逼近真实数据，每一个弱分类器都是一颗CART树。
GBDT的基学习器是决策树，且是CART回归树，不管是分类问题还是回归问题，不论是使用ID3、C4.5或者CART分类树，GBDT使用的都是CART回归树；因为，GBDT迭代的过程中要使用到梯度，所以要求基学习器的输出结果是一个连续值。
GBDT算法理论计算过程如下：
输入为：(xi，yi),M,L,其中，(xi，yi)表示样本，M为CART回归数的数目，L表示均方误差；
步骤1，初始化弱学习器
其中，F0(x)为弱学习器的初始值，ρ表示选定的分裂点。
步骤2，求残差并拟合残差
For m＝1 to M do
1、对每个样本计算负梯度(响应)
2、用一棵CART回归树去拟合它得到第m轮的学习器
3、找步长ρm
4、更新模型
Fm(x)＝Fm-1(x)+ρmh(x；am)
其中，L(yi，F(xi))为损失函数，
为常数，am表示第m个弱分类器对应的叶子节点的区域，ρ为常数，F(x)表示GBDT的集成学习器，Fm(x)表示当前的预测结果，Fm-1(x)表示m-1个弱学习器的预测结果，h(x；am)是当前学习器。
步骤3，输出最终模型FM(x)。
本实施例提供的对话标签跟踪方法实施例可以在终端、计算机或者类似的测试平台中执行。以运行在终端上为例，图1是本发明实施例的对话标签跟踪方法运行终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的对话标签跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种对话标签跟踪方法，图2是根据本申请实施例的对话标签跟踪方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取对话过程中当前轮对话的第一对话数据，其中，第一对话数据包括参与当前轮对话的用户对应的表述语句。
在本实施例中，执行对话标签跟踪的主体为对话标签跟踪系统对应的终端或计算机设备，而对话标签跟踪系统进行对比标签跟踪分析的时候，获取对话数据后，根据参与对话的用户将对话数据进行上、下文拆分，并拆分为一轮一轮的形式，得到第一对话数据，拆分出的第一对话数据作为对话标签跟踪的基础数据单元或样本而被调用。
需要说明是，本实施例中参于对话的用户包括语音机器人/语音对话系统、与语音机器人/语音对话系统对话的人，也可以是使用同一语音对话系统并进行对话的人。
步骤S202，在第一对话数据中跟踪第一标签，并根据第一标签生成第一标签向量，其中，第一标签至少包括当前轮对话的意图信息和实体信息。
在本实施例中，每一轮的第一对话数据均对应有如意向车型、到店时间或购车时间等关键信息，而关键信息对应为当前轮对话关联的意图信息和实体信息，随着对话的进行，关键信息会随着用户的表述不断变化，用户表述的变化，使得关键信息变化，并使得原本为期望获取的意图信息与实体信息变成为不被期望获取的意图信息与实体信息，例如：关键信息变化前，对应的意图信息和实体信息分别为：购车、车型A，关键信息变化后，对应的意图信息和实体信息分别为：购车，车型B；在本实施例中，第一标签对应为获取的意图信息与实体信息是否为被期望获取及需要的。
在本实施例中，获取到第一标签后，对第一标签按预设规则进行特征抽取，从而使第一标签转换为预设格式的向量数据，也就是转换为第一标签向量。
在本实施例中，对第一标签按预设规则进行N维度的特征抽取，对应的第一标签向量对应为第一标签特征抽取后的N维度的向量，该向量中包含N个特征，其中N取值可以为37；在进行特征抽取时，抽取的特征至少包括上、下文对话数据中是否含有肯定词、是否含有否定词、实体信息的数目。
需要说明的是，通过跟踪上、下文对话数据中的关键信息的变化情况，获取第一标签的同时，为后续预测对话中出现的意图信息及实体信息是否为期望获取到的意图信息和实体信息提供数据基础。
步骤S203，利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值，并根据第一预测值确定当前轮对话的对话标签，其中，梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。
在本实施例中，将获取的第一标签向量输入到梯度提升模型中进行预测，从而获得对应的概率，而对应的概率为预测对话中出现的意图信息和实体信息为期望选取的意图信息和实体信息的概率，并且，当概率大于预设阈值时，也认定对话中出现的意图信息和实体信息为期望选取的意图信息和实体信息，并将之认定为对应的对话标签。
需要说明的是，本申请实施例中，梯度提升模型是通过集成学习训练生成的，并且梯度提升模型训练包括构造训练样本数据，梯度提升模型是通过集成学习训练包括样本构造、特征提取、模型调参及确定对应的模型。
通过上述步骤S201至步骤S204，采用获取对话过程中当前轮对话的第一对话数据；在第一对话数据中跟踪第一标签，并根据第一标签生成第一标签向量；利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值，并根据第一预测值确定当前轮对话的对话标签，解决了相关技术中对话标签跟踪泛化能力弱，冷启动场景下对话标签跟踪效果差的问题，实现了提升对话标签跟踪泛化能力，适用少量样本量及对话场景的迁移的有益效果。
在其中一些实施例中，梯度提升模型包括梯度提升决策模型，利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值包括如下步骤：利用梯度提升决策模型对第一标签向量进行预测处理，得到与第一标签向量对应的残差，确定第一预测值包括残差。
在本实施例中，梯度提升决策模型对应为GBDT模型，且根据第一标签向量进行预测而获取对应的残差，从而实现根据第一标签向量获取对话标签的预测值；在利用GBDT模型进行预测时，将第一标签向量输入GBDT模型，将GBDT模型输出的概率作为预测当前轮的意图信息和/或实体信息的相关系数，也即预测值。
在其中一些实施例中，根据第一预测值确定当前轮对话的对话标签包括如下步骤：
步骤1，判断第一预测值是否大于预设阈值，其中，第一预测值包括预测概率值。
步骤2，在判断到第一预测值大于预设阈值的情况下，确定当前轮对话的对话标签包括第一标签。
在本实施例中，预设阈值设为0.5，当第一预测值大于0.5时，则确定第一标签为本轮对话对应的对话标签，也就是第一标签中的意图信息和/或实体信息对应为期望被获取的信息。
在其中一些实施例中，在判断到第一预测值不大于预设阈值的情况下，确定跟踪当前轮对话的对话标签失败，并删除第一标签。
在本实施例中，在判断到第一预测值小于预设阈值，则判断第一标签中的意图信息和/或实体信息为不需要的信息，对应当前轮追踪对话标签失败并将第一标签丢弃。
在其中一些实施例中，在获取对话过程中当前轮对话的第一对话数据之前，还实施如下步骤：
步骤1，获取多轮对话中参于对话的用户所产生的第二对话数据。
在本实施例中，对话标签跟踪系统在获取对话标签跟踪的基础数据单元之前，会获取一定数据量的对话数据，对话数据包括多轮对话过程中用户的表述。
步骤2，对第二对话数据进行按轮拆分，得到每一轮对话的第一对话数据。
在本实施例中，在获取到多轮对话所对应的第二对话数据后，根据参与对话的用户将第二对话数据进行上、下文拆分，并拆分为一轮一轮的形式，得到第一对话数据，拆分出的第一对话数据作为对话标签跟踪的基础数据单元或样本而被调用。
在其中一些实施例中，在第一对话数据中跟踪第一标签包括如下步骤：
步骤1，通过预设标签抽取模型对第一对话数据进行标签抽取，得到候选标签，其中，预设标签抽取模型包括意图分类模型和/或实体识别模型。
在本实施例中，将当前轮对话对应的意图信息和实体信息分别通过预先训练好的意图分类模型和实体识别模型从对应的第一对话数据中抽取出来，也即获得候选标签。
步骤2，在候选标签中检测预设标签，并在检测到预设标签的情况下，确定第一标签包括预设标签。
在本实施例中，在获得了候选标签后，将候选标签中的意图信息和实体信息与规则的意图信息和实体信息进行配对，从而获得规则的意图信息和实体信息，其中，规则的意图信息和实体信息对应为预设标签的标签值，例如：意向车型、购车时间和到店时间；在获得到规则的意图信息和实体信息后，对应确定包括规则的意图信息和实体信息组的预设标签。
在其中一些实施例中，在候选标签中检测预设标签包括如下步骤：获取候选标签的标记值，并根据标记值检测得到预设标签，其中，标记值用于确定候选标签是否为预设意向对应的标签。
在本实施例中，标记值用于确定候选标签所包含的意图信息和/或实体信息是否为所需要的信息，如果是需要的信息，则标记值为1，否则，标记值为0，例如：车型A→0，车型B→1。
在其中一些实施例中，根据第一标签生成第一标签向量包括如下步骤：利用预设特征提取器在第一标签中提取多个特征信息，并对多个特征信息进行转换处理，得到预设维度的第一标签向量，其中，特征信息至少包括以下其中一种：肯定语义信息、否定语义信息、语义特征数据。
在本实施例中，获取到第一标签后，通过预设特征提取器对第一标签进行特征信息抽取，从而将第一标签转换为预设格式的向量数据，也就是转换为第一标签向量。
在本实施例中，通过预设特征提取器对第一标签进行37维度的特征信息抽取，对应的第一标签向量对应为37维度的向量；在进行特征信息抽取时，抽取的特征信息至少包括肯定语义信息、否定语义信息、语义特征数据，具体地，特征信息是指上、下文对话数据中是否含有肯定词、是否含有否定词以及具有的实体信息的数目；获取到预设维度的第一标签向量后，将第一标签向量作为预测数据对象输入对应的梯度提升模型进行预测，从而获得当前轮对话的对话标签。
图3是根据本申请实施例的对话标签跟踪方法的流程图，如图3所示，该流程包括如下步骤：
步骤S301，拆分上下文。
在本实施例，将对话数据进行上、下文拆分，得到每一轮的第一对话数据。具体地，在获取对话数据后，根据参与对话的用户将对话数据进行上、下文拆分，并拆分为一轮一轮的形式，得到第一对话数据，拆分出的第一对话数据作为对话标签跟踪的基础数据单元或样本而被调用。
步骤S302，实体选择。
在本实施例中，将当前轮对话的意图信息和实体信息分别通过预先训练好的意图分类模型和实体识别模型抽取出来，然后,经过规则的意图信息和实体信息配对得到各种标签值，也即第一标签，例如：意向车型、购车时间和到店时间，之后，将第一标签通过预设的特征抽取器转换为37维的标签向量，也就是第一标签向量。
步骤S303，模型预测。
在本实施例中，将第一标签向量输入GBDT模型，并将GBDT模型输出的概率作为预测当前轮对话的意图信息和/或实体信息的相关系数，也就是预测的当前轮对话的意图信息和/或实体信息为所需要的信息的概率；如果预测的概率大于0.5，则认为当前轮对话的意图信息和/或实体信息是需要的对话标签，否则，则丢弃。
本申请实施例中所使用的梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型，图4是根据本申请实施例的梯度提升模型训练过程的流程图，如图4所示，该流程包括如下步骤：
步骤S401，构造对话样本。
在本实施例中，样本是基于对话上下文的一轮对话，至少包含两个句子，例如：你要买车型为A的车吗&我不买车型为A的车，买车型为B的车。
在本实施例中，样本的标签就是当前意图信息和/或实体信息是不是对应需要的信息，如果是，则标记为1，如果不是，则标记为0，例如：车型为A的车→0，车型为B的车→1。
步骤S402，特征提取。
在本实施例中，通过构建包括预设数目的特征的特征提取器，其中，特征至少包括上下文是否含有肯定词、是否含有否定词、实体信息的数目，然后，采用特征提取器对样本进行特征抽象，每个样本转换成一个预设维度的向量，也即第二标签向量。
步骤S403，模型调参。
在本实施例中，将第二标签向量放入GBDT模型按上述中的GBDT算法理论计算过程进行模型训练，获得最优模型。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种对话标签跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的对话标签跟踪装置的结构框图，如图5所示，该装置包括：
获取模块51，用于获取对话过程中当前轮对话的第一对话数据，其中，第一对话数据包括参与当前轮对话的用户对应的表述语句；
跟踪模块52，与获取模块51耦合连接，用于在第一对话数据中跟踪第一标签，并根据第一标签生成第一标签向量，其中，第一标签至少包括当前轮对话的意图信息和实体信息；
预测模块53，与跟踪模块52耦合连接，用于利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值，并根据第一预测值确定当前轮对话的对话标签，其中，梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。
在其中一些实施例中，梯度提升模型包括梯度提升决策模型，预测模块53用于利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值包括：利用梯度提升决策模型对第一标签向量进行预测处理，得到与第一标签向量对应的残差，确定第一预测值包括残差。
在其中一些实施例中，预测模块53用于判断第一预测值是否大于预设阈值，其中，第一预测值包括预测概率值；在判断到第一预测值大于预设阈值的情况下，确定当前轮对话的对话标签包括第一标签。
在其中一些实施例中，预测模块53用于在判断到第一预测值不大于预设阈值的情况下，确定跟踪当前轮对话的对话标签失败，并删除第一标签。
在其中一些实施例中，在获取对话过程中当前轮对话的第一对话数据之前，装置还用于获取多轮对话中参于对话的用户所产生的第二对话数据；对第二对话数据进行按轮拆分，得到每一轮对话的第一对话数据。
在其中一些实施例中，在第一对话数据中跟踪第一标签，跟踪模块52用于通过预设标签抽取模型对第一对话数据进行标签抽取，得到候选标签，其中，预设标签抽取模型包括意图分类模型和/或实体识别模型；在候选标签中检测预设标签，并在检测到预设标签的情况下，确定第一标签包括预设标签。
在其中一些实施例中，跟踪模块52用于获取候选标签的标记值，并根据标记值检测得到预设标签，其中，标记值用于确定候选标签是否为预设意向对应的标签。
在其中一些实施例中，预测模块53用于利用预设特征提取器在第一标签中提取多个特征信息，并对多个特征信息进行转换处理，得到预设维度的第一标签向量，其中，特征信息至少包括以下其中一种：肯定语义信息、否定语义信息、语义特征数据。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取对话过程中当前轮对话的第一对话数据，其中，第一对话数据包括参与当前轮对话的用户对应的表述语句。
S2，在第一对话数据中跟踪第一标签，并根据第一标签生成第一标签向量，其中，第一标签至少包括当前轮对话的意图信息和实体信息。
S3，利用梯度提升模型处理第一标签向量，获得与当前轮对话对应的第一预测值，并根据第一预测值确定当前轮对话的对话标签，其中，梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的对话标签跟踪方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种对话标签跟踪方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种对话标签跟踪方法，其特征在于，包括：
获取对话过程中当前轮对话的第一对话数据，其中，所述第一对话数据包括参与所述当前轮对话的用户对应的表述语句；
在所述第一对话数据中跟踪第一标签，并根据所述第一标签生成第一标签向量，其中，所述第一标签至少包括所述当前轮对话的意图信息和实体信息；
利用梯度提升模型处理所述第一标签向量，获得与所述当前轮对话对应的第一预测值，并根据所述第一预测值确定所述当前轮对话的对话标签，其中，所述梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。
2.根据权利要求1所述的对话标签跟踪方法，其特征在于，所述梯度提升模型包括梯度提升决策模型，利用梯度提升模型处理所述第一标签向量，获得与所述当前轮对话对应的第一预测值包括：利用所述梯度提升决策模型对所述第一标签向量进行预测处理，得到与所述第一标签向量对应的残差，确定所述第一预测值包括所述残差。
3.根据权利要求1所述的对话标签跟踪方法，其特征在于，根据所述第一预测值确定所述当前轮对话的对话标签包括：
判断所述第一预测值是否大于预设阈值，其中，所述第一预测值包括预测概率值；
在判断到所述第一预测值大于预设阈值的情况下，确定所述当前轮对话的对话标签包括所述第一标签。
4.根据权利要求1所述的对话标签跟踪方法，其特征在于，在判断到所述第一预测值不大于预设阈值的情况下，确定跟踪所述当前轮对话的对话标签失败，并删除所述第一标签。
5.根据权利要求1所述的对话标签跟踪方法，其特征在于，在获取对话过程中当前轮对话的第一对话数据之前，所述方法还包括：
获取多轮对话中参于对话的所述用户所产生的第二对话数据；
对所述第二对话数据进行按轮拆分，得到每一轮对话的所述第一对话数据。
6.根据权利要求1所述的对话标签跟踪方法，其特征在于，在所述第一对话数据中跟踪第一标签包括：
通过预设标签抽取模型对所述第一对话数据进行标签抽取，得到候选标签，其中，所述预设标签抽取模型包括意图分类模型和/或实体识别模型；在所述候选标签中检测预设标签，并在检测到所述预设标签的情况下，确定所述第一标签包括所述预设标签。
7.根据权利要求6所述的对话标签跟踪方法，其特征在于，在所述候选标签中检测预设标签包括：获取所述候选标签的标记值，并根据所述标记值检测得到所述预设标签，其中，所述标记值用于确定所述候选标签是否为预设意向对应的标签。
8.根据权利要求1所述的对话标签跟踪方法，其特征在于，根据所述第一标签生成第一标签向量包括：利用预设特征提取器在所述第一标签中提取多个特征信息，并对所述多个特征信息进行转换处理，得到预设维度的所述第一标签向量，其中，所述特征信息至少包括以下其中一种：肯定语义信息、否定语义信息、语义特征数据。
9.一种对话标签跟踪装置，其特征在于，包括：
获取模块，用于获取对话过程中当前轮对话的第一对话数据，其中，所述第一对话数据包括参与所述当前轮对话的用户对应的表述语句；
跟踪模块，用于在所述第一对话数据中跟踪第一标签，并根据所述第一标签生成第一标签向量，其中，所述第一标签至少包括所述当前轮对话的意图信息和实体信息；
预测模块，用于利用梯度提升模型处理所述第一标签向量，获得与所述当前轮对话对应的第一预测值，并根据所述第一预测值确定所述当前轮对话的对话标签，其中，所述梯度提升模型是根据梯度提升算法对第二标签向量进行训练构建的最优梯度提升模型。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的对话标签跟踪方法。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至8中任一项所述的对话标签跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011292085.7A CN112380875A (zh) | 2020-11-18 | 2020-11-18 | 对话标签跟踪方法、装置、电子装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011292085.7A CN112380875A (zh) | 2020-11-18 | 2020-11-18 | 对话标签跟踪方法、装置、电子装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112380875A true CN112380875A (zh) | 2021-02-19 |
Family
ID=74584160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011292085.7A Pending CN112380875A (zh) | 2020-11-18 | 2020-11-18 | 对话标签跟踪方法、装置、电子装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380875A (zh) |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080011859A (ko) * | 2006-08-01 | 2008-02-11 | 한국전자통신연구원 | 문말 억양 예측 방법 및 이를 기반으로 하는 음성합성 방법및 시스템 |
| JP2009211629A (ja) * | 2008-03-06 | 2009-09-17 | National Institute Of Information & Communication Technology | 対話装置、重み情報学習装置、対話方法、重み情報学習方法、およびプログラム |
| US20100060452A1 (en) * | 2008-09-05 | 2010-03-11 | DearlerMesh, Inc. | Using a mesh of radio frequency identification tags for tracking entities at a site |
| CN104111933A (zh) * | 2013-04-17 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 获取业务对象标签、建立训练模型的方法及装置 |
| CN107292696A (zh) * | 2017-04-27 | 2017-10-24 | 深圳虫门科技有限公司 | 一种汽车智能导购系统以及实现方法 |
| CN108073600A (zh) * | 2016-11-11 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 一种智能问答交互方法、装置以及电子设备 |
| CN108509761A (zh) * | 2018-03-26 | 2018-09-07 | 中山大学 | 一种基于梯度提升决策树和特征选择的药物靶标预测方法 |
| CN108563922A (zh) * | 2018-04-04 | 2018-09-21 | 中南大学 | 预测蛋白质rna结合物热点的方法、系统及存储介质 |
| CN108874967A (zh) * | 2018-06-07 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 对话状态确定方法及装置、对话系统、终端、存储介质 |
| CN108897723A (zh) * | 2018-06-29 | 2018-11-27 | 北京百度网讯科技有限公司 | 场景对话文本识别方法、装置以及终端 |
| CN109460450A (zh) * | 2018-09-27 | 2019-03-12 | 清华大学 | 对话状态跟踪方法、装置、计算机设备和存储介质 |
| CN109885664A (zh) * | 2019-01-08 | 2019-06-14 | 厦门快商通信息咨询有限公司 | 一种智能对话方法、机器人对话系统、服务器及存储介质 |
| CN109992646A (zh) * | 2019-03-29 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 文本标签的提取方法和装置 |
| CN110019725A (zh) * | 2017-12-22 | 2019-07-16 | 科沃斯商用机器人有限公司 | 人机交互方法、系统及其电子设备 |
| CN110990543A (zh) * | 2019-10-18 | 2020-04-10 | 平安科技（深圳）有限公司 | 智能对话的生成方法、装置、计算机设备及计算机存储介质 |
| CN111191016A (zh) * | 2019-12-27 | 2020-05-22 | 车智互联（北京）科技有限公司 | 一种多轮对话处理方法、装置及计算设备 |
| CN111310860A (zh) * | 2020-03-26 | 2020-06-19 | 清华大学深圳国际研究生院 | 改进梯度提升决策树性能的方法及计算机可读存储介质 |
| CN111368085A (zh) * | 2020-03-05 | 2020-07-03 | 北京明略软件系统有限公司 | 一种对话意图的识别方法、装置、电子设备及存储介质 |
| CN111382247A (zh) * | 2018-12-29 | 2020-07-07 | 深圳市优必选科技有限公司 | 一种内容推送优化方法、内容推送优化装置及电子设备 |
| WO2020177282A1 (zh) * | 2019-03-01 | 2020-09-10 | 平安科技（深圳）有限公司 | 一种机器对话方法、装置、计算机设备及存储介质 |
| CN116304007A (zh) * | 2022-11-11 | 2023-06-23 | 蚂蚁财富(上海)金融信息服务有限公司 | 一种信息推荐方法、装置、存储介质及电子设备 |
-
2020
- 2020-11-18 CN CN202011292085.7A patent/CN112380875A/zh active Pending
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080011859A (ko) * | 2006-08-01 | 2008-02-11 | 한국전자통신연구원 | 문말 억양 예측 방법 및 이를 기반으로 하는 음성합성 방법및 시스템 |
| JP2009211629A (ja) * | 2008-03-06 | 2009-09-17 | National Institute Of Information & Communication Technology | 対話装置、重み情報学習装置、対話方法、重み情報学習方法、およびプログラム |
| US20100060452A1 (en) * | 2008-09-05 | 2010-03-11 | DearlerMesh, Inc. | Using a mesh of radio frequency identification tags for tracking entities at a site |
| CN104111933A (zh) * | 2013-04-17 | 2014-10-22 | 阿里巴巴集团控股有限公司 | 获取业务对象标签、建立训练模型的方法及装置 |
| CN108073600A (zh) * | 2016-11-11 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 一种智能问答交互方法、装置以及电子设备 |
| CN107292696A (zh) * | 2017-04-27 | 2017-10-24 | 深圳虫门科技有限公司 | 一种汽车智能导购系统以及实现方法 |
| CN110019725A (zh) * | 2017-12-22 | 2019-07-16 | 科沃斯商用机器人有限公司 | 人机交互方法、系统及其电子设备 |
| CN108509761A (zh) * | 2018-03-26 | 2018-09-07 | 中山大学 | 一种基于梯度提升决策树和特征选择的药物靶标预测方法 |
| CN108563922A (zh) * | 2018-04-04 | 2018-09-21 | 中南大学 | 预测蛋白质rna结合物热点的方法、系统及存储介质 |
| CN108874967A (zh) * | 2018-06-07 | 2018-11-23 | 腾讯科技（深圳）有限公司 | 对话状态确定方法及装置、对话系统、终端、存储介质 |
| WO2019233219A1 (zh) * | 2018-06-07 | 2019-12-12 | 腾讯科技（深圳）有限公司 | 对话状态确定方法及装置、对话系统、计算机设备、存储介质 |
| CN108897723A (zh) * | 2018-06-29 | 2018-11-27 | 北京百度网讯科技有限公司 | 场景对话文本识别方法、装置以及终端 |
| CN109460450A (zh) * | 2018-09-27 | 2019-03-12 | 清华大学 | 对话状态跟踪方法、装置、计算机设备和存储介质 |
| CN111382247A (zh) * | 2018-12-29 | 2020-07-07 | 深圳市优必选科技有限公司 | 一种内容推送优化方法、内容推送优化装置及电子设备 |
| CN109885664A (zh) * | 2019-01-08 | 2019-06-14 | 厦门快商通信息咨询有限公司 | 一种智能对话方法、机器人对话系统、服务器及存储介质 |
| WO2020177282A1 (zh) * | 2019-03-01 | 2020-09-10 | 平安科技（深圳）有限公司 | 一种机器对话方法、装置、计算机设备及存储介质 |
| CN109992646A (zh) * | 2019-03-29 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 文本标签的提取方法和装置 |
| CN110990543A (zh) * | 2019-10-18 | 2020-04-10 | 平安科技（深圳）有限公司 | 智能对话的生成方法、装置、计算机设备及计算机存储介质 |
| CN111191016A (zh) * | 2019-12-27 | 2020-05-22 | 车智互联（北京）科技有限公司 | 一种多轮对话处理方法、装置及计算设备 |
| CN111368085A (zh) * | 2020-03-05 | 2020-07-03 | 北京明略软件系统有限公司 | 一种对话意图的识别方法、装置、电子设备及存储介质 |
| CN111310860A (zh) * | 2020-03-26 | 2020-06-19 | 清华大学深圳国际研究生院 | 改进梯度提升决策树性能的方法及计算机可读存储介质 |
| CN116304007A (zh) * | 2022-11-11 | 2023-06-23 | 蚂蚁财富(上海)金融信息服务有限公司 | 一种信息推荐方法、装置、存储介质及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| 周可艳等: "对话行为信息在口语翻译中的应用", 《中文信息学报》, vol. 24, no. 6, pages 57 - 63 * |
| 孙亚等: "国外言语行为自动标注研究进展", 《北京科技大学学报(社会科学版)》, vol. 33, no. 5, pages 12 - 18 * |
| 李瀚清;房宁;赵群飞;夏泽洋;: "利用深度去噪自编码器深度学习的指令意图理解方法", 上海交通大学学报, no. 07, 28 July 2016 (2016-07-28), pages 1102 - 1107 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110377911B (zh) | 对话框架下的意图识别方法和装置 | |
| CN111930940B (zh) | 一种文本情感分类方法、装置、电子设备及存储介质 | |
| CN108536681B (zh) | 基于情感分析的智能问答方法、装置、设备及存储介质 | |
| CN107609572B (zh) | 基于神经网络和迁移学习的多模态情感识别方法、系统 | |
| CN110990543A (zh) | 智能对话的生成方法、装置、计算机设备及计算机存储介质 | |
| CN110516253B (zh) | 中文口语语义理解方法及系统 | |
| CN106294505B (zh) | 一种反馈答案的方法和装置 | |
| CN111428010A (zh) | 人机智能问答的方法和装置 | |
| CN109992781B (zh) | 文本特征的处理方法、装置和存储介质 | |
| CN108509416A (zh) | 句意识别方法及装置、设备和存储介质 | |
| CN110633475A (zh) | 基于计算机场景的自然语言理解方法、装置、系统和存储介质 | |
| CN112364622A (zh) | 对话文本分析方法、装置、电子装置及存储介质 | |
| CN112632248A (zh) | 问答方法、装置、计算机设备和存储介质 | |
| CN113268994A (zh) | 基于胶囊网络的意图识别方法及装置 | |
| CN106384587B (zh) | 一种语音识别方法及系统 | |
| CN110532562B (zh) | 神经网络训练方法、成语误用检测方法、装置和电子设备 | |
| CN112579752A (zh) | 实体关系的抽取方法及装置、存储介质、电子设备 | |
| CN112906403B (zh) | 语义分析模型训练方法、装置、终端设备及存储介质 | |
| CN117273173A (zh) | 基于大语言模型的实体推荐方法、装置、设备及存储介质 | |
| CN110570838B (zh) | 语音流处理方法和装置 | |
| CN113378826B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN112380875A (zh) | 对话标签跟踪方法、装置、电子装置及存储介质 | |
| CN112559713B (zh) | 文本相关性判断方法及装置、模型、电子设备、可读介质 | |
| CN115063606A (zh) | 基于多模态数据的交互训练方法及装置 | |
| CN108197100A (zh) | 情感分析方法、装置、计算机可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |