CN109522556B - 一种意图识别方法及装置 - Google Patents
一种意图识别方法及装置 Download PDFInfo
- Publication number
- CN109522556B CN109522556B CN201811368503.9A CN201811368503A CN109522556B CN 109522556 B CN109522556 B CN 109522556B CN 201811368503 A CN201811368503 A CN 201811368503A CN 109522556 B CN109522556 B CN 109522556B
- Authority
- CN
- China
- Prior art keywords
- model
- data set
- intention
- training data
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims description 86
- 238000013145 classification model Methods 0.000 claims description 83
- 239000013598 vector Substances 0.000 claims description 30
- 238000003066 decision tree Methods 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 13
- 238000007477 logistic regression Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请提供了一种意图识别方法及装置，其中，该方法包括：获取用户的回答文本，将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果，并根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。本申请实施例通过将用户的回答文本输入到意图识别模型中，通过意图识别模型确定回答文本对应的行为意图，提高判断用户的回答意图的效率和准确度。
Description
技术领域
本申请涉及数据处理分析技术领域，具体而言，涉及一种意图识别方法及装置。
背景技术
目前，在金融业领域，针对逾期客户的债务催收，一般通过业务人员人工上门催收或人工电话催收。这些方式需要投入较大的人力和资金，效率较低。同时在人工进行催收的过程中，难以把握每个催收人员的话术标准和服务态度。
所以，利用机器人进行债务催收成为一种高可行性替代方案。但机器人在进行催收的过程中，一般是根据预设的问题和回答进行催收，催收模式比较单一。
发明内容
有鉴于此，本申请实施例的目的在于提供一种意图识别方法及装置，能够通过使用意图识别模型较为精确的识别用户意图，提高金融催收的效率和服务质量。
第一方面，本申请实施例提供了一种意图识别方法，其中，包括：
获取用户的回答文本；
将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；
根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，所述根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图，包括：
将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；
根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。
结合第一方面，本申请实施例提供了第一方面的第二种可能的实施方式，其中，所述意图识别模型通过以下步骤获得，包括：
将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集；
将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型；
将多个所述验证数据集输入所述基础预测模型，对所述基础预测模型的模型参数进行验证，确定每个所述训练数据集对应的意图识别模型。
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，所述分类模型包括第一分类模型；所述基础预测模型包括第一基础预测模型；
所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：
有放回的随机选取至少一个样本作为每个所述训练数据集，并将所述训练数据集输入所述第一分类模型，以生成对应的所述第一分类模型中的决策树根节点；
选取所述样本的至少一个属性作为从所述决策树根节点分裂的决策树子节点的分裂属性；
将所述由决策树根节点和决策树子节点组成的决策树作为与每个所述训练数据集对应的所述第一基础预测模型。
结合第一方面的第二种实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，所述分类模型还包括第二分类模型；所述基础预测模型还包括第二基础预测模型；
所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：
将所述训练数据集输入第二分类模型，并对所述第二分类模型进行训练；
计算所述第二分类模型对应的第一损失函数的梯度方向；
将所述第二分类模型输出的预测结果输入所述第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集；
将所述训练数据集输入所述第二分类模型，以生成所述第二基础预测模型。
结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，其中，所述获取用户的回答文本的步骤之后，还包括：
将所述回答文本输入到所述语义识别模型中，以生成词向量；
基于每个所述目标词汇对应的词向量，生成所述词向量的逆文本频率指数；
根据每个所述词向量和所述词向量的逆文本频率指数，生成所述回答文本对应的句向量。
第二方面，本申请实施例还提供一种意图识别装置，包括：
获取模块，用于获取用户的回答文本；
生成模块，用于将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；
确定模块，用于根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。
结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述确定模块具体用于：
将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；
根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
本申请实施例提供的意图识别方法及装置，首先获取用户的回答文本，其次将获取的回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型分别对应的预测结果，最后根据每个意图识别模型对应的预测结果，确定回答文本的行为意图。本申请通过预先训练的多个意图识别模型，对用户的回答文本进行预测，并确定回答文本对应的行为意图，以提供与用户的行为意图对应的回答，提高了预测的效率和准确性，并一定程度的提高了金融催收的催收效率和服务质量。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种意图识别方法的流程图；
图2示出了本申请实施例所提供的另一种意图识别方法的流程图；
图3示出了本申请实施例所提供的一种意图识别装置的结构示意图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在金融领域中，对于逾期客户的债务催收，传统的方法是通过人工上门催收或人工电话催收，需要大量的劳动力和资金。同时，在人工催收的过程中，难以把握每个催收人员的话术标准和服务态度。
基于上述问题，利用机器人进行催收成为一种高可行性的替代方案，在降低成本的同时，也可以保证催收话术的一致性和高标准的服务质量。但是在机器人智能催收的多轮对话中，机器人不仅仅要讲标准的既定话术，同时也要根据用户的回答，识别出用户的说话意图，并根据用户的意图，智能的调整对话流程策略，以完成整体的催收流程。因此，对用户的回答文本的意图识别是整个多轮对话催收流程中最重要的一环。而意图识别是通过分类的方法，将自然语句的实际含义分配到相应的意图种类中。意图识别在搜索、推荐等各个领域都有较为广泛的应用。
基于此，本申请提供的一种意图识别方法及装置，可以较为精确的识别用户意图。如图1所示，首先对本申请实施例所公开的一种意图识别方法进行详细介绍，其中，步骤包括：
S101，获取用户的回答文本。
这里，获取的用户的回答文本一般是指在金融催收多轮对话领域中，根据金融产品的特点而涉及的可能的话术。利用机器人以可能的标准问题为起始，以问题引导的方式对用户进行问题的询问，并将用户针对询问的问题的回答文本进行存储。
用户的回答文本可以是通过将用户的回答语音转化为回答文本，经将用户的回答文本进行存储。将前期通过人工催收获取的语料进行人工标注，对于催收流程中每个问题的回答，都有相应种类的意图分类，将标注好的带有标签的回答文本，进行预处理。
具体的，预处理包括首先将回答文本输入到语义识别模型中，以生成词向量。其次，基于每个目标词汇对应的词向量，生成词向量的逆文本频率指数。最后，根据每个词向量和词向量的逆文本频率指数，生成回答文本对应的句向量。
其中，预处理首先是对回答文本进行分词，然后由于回答文本的语料的长度是短文本，不进行去除停用词处理，以免影响数据内容的完整性和准确性。同时，对回答文本进行去除标点符号处理，在切词时，标点符号会单独切出并进行过滤。
另外，对回答文本进行预处理还包括，用句向量的形式表示用户的回答文本。具体的，首先获取回答文本中的各个目标词汇对应的在回答文本中出现的频率。目标词汇主要是指将回答文本进行分词后得到的各个词汇。对分词后的回答文本进行词频及逆文本频率指数(TF-IDF，term frequency–inverse document frequency)计算。其中，TF-IDF是用以评估目标词汇对于一个文件集或一个语料库中的其中一份文件的重要程度。目标词汇的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。目标词汇在一篇文章中出现的次数越多,同时在所有文档中出现次数越少,越能够代表该文本。
这里，使用TF-IDF算法对目标词汇进行计算，以判断目标词汇与用户的意图的相关性。其中，如果出现生僻词是一个文件集或一个语料库中没有的，对生僻词的IDF值进行处理。如公式1所示，为对IDF值进行平滑的方法。其中，N为语料库中的文档总数，N(x)为包含目标词汇的文档数。某一文档中的高频词语，以及该词语在整个文档集合中的低文件频率，可以产生高权重的TF-IDF值，因此，TF-IDF倾向于过滤掉常见词，保留重要词语。
在获取了输入的回答文本中目标词汇的频率后，即TF(x)值，将获得的频率转化为该回答文本的第一词频向量，如公式2所示，计算TF-IDF的加权值，从而获得回答文本的TF-IDF的句向量表达。
TF-IDF(x)＝TF(x)×IDF(x) 公式2
S102，将回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果。
这里，首先通过以下步骤获取意图识别模型：
将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集；
将每个训练数据集输入至少一个分类模型，对每个分类模型进行训练，生成每个训练数据集所对应的基础预测模型；
将多个验证数据集输入基础预测模型，对基础预测模型的模型参数进行验证，确定每个训练数据集对应的意图识别模型。
具体的，首先，获取带有意图标签的标准回答文本划分为训练数据集和验证数据集。其中，预设的标准文本一般是指针对金融催收领域的涉及的询问的问题，从以往人工催收的用户的回答的语料中，选择具有代表性的，制作成语料库。同时，对这些预设的标准文本进行分类，对每一个预设的标准文本进行人工标识，将与预设的标准文本对应的用户意图标识在每一个预设的标注文本上。用户意图可以是积极协商、承诺还款、拒绝还款、还款完毕、询问金额和询问姓名等金融催收领域中可能涉及的意图种类。
将获取的标识由意图标签的标准回答文本划分为训练数据集和验证数据集，具体的，可以将标准回答文本划分为多份包含相同数量回答样本的数据集，选择其中至少一份作为验证数据集，其他数据集作为训练数据集。将每份训练数据集输入各个分类模型，并对，每个分类模型进行训练，生成每个训练数据集对应的基础预测模型，每个基础预测模型与输入的训练数据集对应。不同的训练数据集输入分类模型，训练得出不同的基础预测模型。
在得到训练数据集对应的基础预测模型后，将相应的验证数据集输入基础预测模型，对基础预测模型的模型参数进行验证，选择验证后的结果与验证数据集中预设的意图标签最接近的基础预测模型作为训练数据集对应的意图识别模型。
具体的，分类模型包括第一分类模型和第二分类模型。其中，第一分类模型可以是Random Forest和Extra Trees模型，第二分类模型可以是Gradient Descent Boost和TreeXgboost模型。两类分类模型处理回答文本的方式不同。
另外，将获取的带有意图标签的用户的回答文本对应的句向量使用Random Smote算法，通过上采样的方法进行类别不均衡处理，Smote算法只是在相邻近的小类样本之间线性插值。因此，插值的结果是小类样本密集的地方依然相对密集，小类样本稀疏的地方依然相对稀疏。这样，处在稀疏区域的样本，分类算法不易识别，容易出现误分。因此，Smote算法对某些处在稀疏区域的未知小类样本的分类效果将不明显。使用Random Smote算法可以对于每个少数类样本X，从少数类集合中随机选择两个样本y1和y2，以x、y1、y2为顶点构成一个三角形区域，并根据过采样倍率N,在该三角形区域内随机生成N个新的少数类样本。通过这种方式可以明显的提升某些处在稀疏区域的未知小类样本的分类效果。
在对样本进行处理后，首先，有放回的随机选取至少一个样本作为每个训练数据集，并将训练数据集输入第一分类模型，以生成对应的所述第一分类模型中的决策树根节点，对于每一个节点，随机选择m个属性，决策树上每个节点都是基于这些属性确定的。根据m个属性，计算其最佳的分裂方式。其中，选取样本的至少一个属性作为从决策树根节点分裂的决策树子节点的分裂属性，重复上述步骤，最后将由决策树根节点和决策树子节点组成的决策树作为与每个训练数据集对应的第一基础预测模型。
使用第二分类模型得到第二基础预测模型的过程如下，首先将训练数据集输入第二分类模型，并对第二分类模型进行训练，计算第二分类模型对应的第一损失函数的梯度方向。其次，将第二分类模型输出的预测结果输入第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集。最后，将训练数据集输入第二分类模型，以生成第二基础预测模型。
这里，使用Random Forest、Extra Trees、Gradient Descent Boost Tree、Xgboost等模型进行融合，主要根据交叉验证过程将样本分成训练数据集和验证数据集。通过对每个训练数据集进行训练，获得相应的基础预测模型，再分别对各自的验证数据集和新的回答文本进行预测，获得验证预测结果和回答文本的预测结果，将每个模型通过交叉验证产生的验证数据集汇总并进行投票，得到预测结果。
S103，根据每个意图识别模型所对应的预测结果，确定回答文本的行为意图。
这里，将获取的用户的回答文本经过预处理后输入每个意图识别模型中，都可以得到对应的预测结果。具体的，将根据每个意图识别模型对应的预测结果输入逻辑回归模型，并为每个意图识别模型对应的预测结果分配权值，并根据每个意图识别模型对应的预测结果对应的权值，确定回答文本的行为意图。如图2所示，在获得预测结果后，通过逻辑回归模型将多个分类模型得到的预测结果动态分配权重，并得到最终的结果。
在每个意图识别模型输出相应的预测结果后，可以选用逻辑回归算法(LR，Logistic Regression)对每个意图识别模型产生的验证预测结果和对输入的用户的回答文本得到的预测结果进行训练，这样可以根据不同意图识别模型输出的程度予以权重，对验证数据集预测，汇总平均进行预测生成回答文本对应的行为意图。
本申请实施例通过获取用户的回答文本，将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果，并根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。通过上述方法，提高了意图识别的准确度和效率，并根据用户的意图，智能的调整对话流程策略，以完成整体的催收流程，在降低成本的同时，也可以保证催收话术的一致性和高标准的服务质量，同时，可以更加精准的对回答文本进行分类，从而识别更加精确的用户的回答意图，以和语料库中的标准文本进行匹配，并选择相对应的回答语音。
基于同一发明构思，本申请实施例中还提供了与意图识别方法对应的意图识别装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述意图识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。如图3所示，本申请实施例所提供的一种意图识别装置，其中，包括：
获取模块301，用于获取用户的回答文本；
生成模块302，用于将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；
确定模块303，用于根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。
其中，所述确定模块303具体用于：
将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；
根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。
本实施例中，获取模块301、生成模块302和确定模块303的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。
如图4所示，为本申请实施例提供的电子设备的装置示意图，该装置包括处理器41、存储器42和总线43，所述存储器42存储执行指令，当所述装置运行时，所述处理器41与所述存储器42之间通过总线43通信，所述处理器41执行所述执行指令使得所述装置执行如下方法：
获取用户的回答文本；
将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果；
根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图。
可选地，所述处理器41执行的所述方法中，所述根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图，包括：
将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；
根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。
可选地，所述处理器41执行的所述方法中，所述意图识别模型通过以下步骤获得，包括：
将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集；
将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型；
将多个所述验证数据集输入所述基础预测模型，对所述基础预测模型的模型参数进行验证，确定每个所述训练数据集对应的意图识别模型。
可选地，所述处理器41执行的所述方法中，所述分类模型包括第一分类模型；所述基础预测模型包括第一基础预测模型；
所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：
有放回的随机选取至少一个样本作为每个所述训练数据集，并将所述训练数据集输入所述第一分类模型，以生成对应的所述第一分类模型中的决策树根节点；
选取所述样本的至少一个属性作为从所述决策树根节点分裂的决策树子节点的分裂属性；
将所述由决策树根节点和决策树子节点组成的决策树作为与每个所述训练数据集对应的所述第一基础预测模型。
可选地，所述处理器41执行的所述方法中，所述分类模型还包括第二分类模型；所述基础预测模型还包括第二基础预测模型；
所述将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：
将所述训练数据集输入第二分类模型，并对所述第二分类模型进行训练；
计算所述第二分类模型对应的第一损失函数的梯度方向；
将所述第二分类模型输出的预测结果输入所述第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集；
将所述训练数据集输入所述第二分类模型，以生成所述第二基础预测模型。
可选地，所述处理器41执行的所述方法中，所述获取用户的回答文本的步骤之后，还包括：
将所述回答文本输入到所述语义识别模型中，以生成词向量；
基于每个所述目标词汇对应的词向量，生成所述词向量的逆文本频率指数；
根据每个所述词向量和所述词向量的逆文本频率指数，生成所述回答文本对应的句向量。
对应于图1中的意图识别方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述意图识别方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述意图识别方法，从而解决识别用户意图的问题，进而达到提高识别用户意图的准确性，并提升金融催收效率的效果。
本申请实施例所提供的一种意图识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (5)
1.一种意图识别方法，其特征在于，包括：
获取用户的回答文本；
将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果，其中，所述意图识别模型是通过将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集，有放回的随机选取至少一个样本作为每个所述训练数据集，并将所述训练数据集输入分类模型所包括的第一分类模型，以生成对应的所述第一分类模型中的决策树根节点，选取所述样本的至少一个属性作为从所述决策树根节点分裂的决策树子节点的分裂属性，将由决策树根节点和决策树子节点组成的决策树作为与每个所述训练数据集对应的基础预测模型所包括的第一基础预测模型，将多个所述验证数据集输入所述基础预测模型，对所述基础预测模型的模型参数进行验证，确定每个所述训练数据集对应的意图识别模型得到的；
将获取的带有意图标签的用户的回答文本对应的句向量使用Random Smote算法，通过上采样的方法进行类别不均衡处理，在相邻近的小类样本之间线性插值，对于每个少数类样本X，从少数类集合中随机选择两个样本y1和y2，以x、y1、y2为顶点构成一个三角形区域，并根据过采样倍率N,在该三角形区域内随机生成N个新的少数类样本；
根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图；
所述根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图，包括：
将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；
根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图；
所述分类模型还包括第二分类模型；所述基础预测模型还包括第二基础预测模型；
将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：
将所述训练数据集输入第二分类模型，并对所述第二分类模型进行训练；
计算所述第二分类模型对应的第一损失函数的梯度方向；
将所述第二分类模型输出的预测结果输入所述第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集；
将所述训练数据集输入所述第二分类模型，以生成所述第二基础预测模型。
2.根据权利要求1所述的方法，其特征在于，所述获取用户的回答文本的步骤之后，还包括：
将所述回答文本输入到语义识别模型中，以生成词向量；
基于每个目标词汇对应的词向量，生成所述词向量的逆文本频率指数；
根据每个所述词向量和所述词向量的逆文本频率指数，生成所述回答文本对应的句向量。
3.一种意图识别装置，其特征在于，包括：
获取模块，用于获取用户的回答文本；
生成模块，用于将所述回答文本分别输入至少一个意图识别模型，生成与每个意图识别模型对应的预测结果，其中，所述意图识别模型是通过将获取的标识有意图标签的标准回答文本划分为训练数据集和验证数据集，有放回的随机选取至少一个样本作为每个所述训练数据集，并将所述训练数据集输入分类模型所包括的第一分类模型，以生成对应的所述第一分类模型中的决策树根节点，选取所述样本的至少一个属性作为从所述决策树根节点分裂的决策树子节点的分裂属性，将由决策树根节点和决策树子节点组成的决策树作为与每个所述训练数据集对应的基础预测模型所包括的第一基础预测模型，将多个所述验证数据集输入所述基础预测模型，对所述基础预测模型的模型参数进行验证，确定每个所述训练数据集对应的意图识别模型得到的；将获取的带有意图标签的用户的回答文本对应的句向量使用Random Smote算法，通过上采样的方法进行类别不均衡处理，在相邻近的小类样本之间线性插值，对于每个少数类样本X，从少数类集合中随机选择两个样本y1和y2，以x、y1、y2为顶点构成一个三角形区域，并根据过采样倍率N,在该三角形区域内随机生成N个新的少数类样本；所述分类模型还包括第二分类模型；所述基础预测模型还包括第二基础预测模型；将每个所述训练数据集输入至少一个分类模型，对每个所述分类模型进行训练，生成每个训练数据集所对应的基础预测模型，包括：将所述训练数据集输入第二分类模型，并对所述第二分类模型进行训练；计算所述第二分类模型对应的第一损失函数的梯度方向；将所述第二分类模型输出的预测结果输入所述第一损失函数的梯度方向，生成下一次输入第二分类模型的训练数据集；将所述训练数据集输入所述第二分类模型，以生成所述第二基础预测模型；
确定模块，用于根据每个意图识别模型所对应的预测结果，确定所述回答文本的行为意图；所述确定模块具体用于：将根据所述每个意图识别模型对应的预测结果输入逻辑回归模型，并为所述每个意图识别模型对应的预测结果分配权值；根据所述每个意图识别模型对应的预测结果对应的权值，确定所述回答文本的行为意图。
4.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至2任一所述的意图识别方法的步骤。
5.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至2任意一项所述的意图识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811368503.9A CN109522556B (zh) | 2018-11-16 | 2018-11-16 | 一种意图识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811368503.9A CN109522556B (zh) | 2018-11-16 | 2018-11-16 | 一种意图识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109522556A CN109522556A (zh) | 2019-03-26 |
| CN109522556B true CN109522556B (zh) | 2024-03-12 |
Family
ID=65778208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811368503.9A Active CN109522556B (zh) | 2018-11-16 | 2018-11-16 | 一种意图识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109522556B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147445A (zh) * | 2019-04-09 | 2019-08-20 | 平安科技（深圳）有限公司 | 基于文本分类的意图识别方法、装置、设备及存储介质 |
| CN110113422A (zh) * | 2019-05-10 | 2019-08-09 | 南京硅基智能科技有限公司 | 一种基于云端的虚拟手机的意图识别方法及系统 |
| CN110222339B (zh) * | 2019-06-05 | 2023-04-28 | 深圳市思迪信息技术股份有限公司 | 基于改进XGBoost算法的意图识别方法及装置 |
| CN110196979B (zh) * | 2019-06-05 | 2023-07-25 | 深圳市思迪信息技术股份有限公司 | 基于分布式系统的意图识别方法及装置 |
| CN110458207A (zh) * | 2019-07-24 | 2019-11-15 | 厦门快商通科技股份有限公司 | 一种语料意图预测方法、语料标注方法及电子设备 |
| CN110414005B (zh) * | 2019-07-31 | 2023-10-10 | 达闼机器人股份有限公司 | 意图识别方法、电子设备及存储介质 |
| CN111027667B (zh) * | 2019-12-06 | 2023-10-17 | 北京金山安全软件有限公司 | 意图类别的识别方法和装置 |
| CN111177388B (zh) * | 2019-12-30 | 2023-07-21 | 联想(北京)有限公司 | 一种处理方法及计算机设备 |
| CN111400438A (zh) * | 2020-02-21 | 2020-07-10 | 镁佳(北京)科技有限公司 | 用户多意图的识别方法及装置，存储介质及车辆 |
| CN111368045A (zh) * | 2020-02-21 | 2020-07-03 | 平安科技（深圳）有限公司 | 用户意图识别方法、装置、设备及计算机可读存储介质 |
| CN111737544A (zh) * | 2020-05-13 | 2020-10-02 | 北京三快在线科技有限公司 | 搜索意图识别方法、装置、电子设备和存储介质 |
| CN111680517B (zh) * | 2020-06-10 | 2023-05-16 | 北京百度网讯科技有限公司 | 用于训练模型的方法、装置、设备以及存储介质 |
| CN111768226A (zh) * | 2020-06-19 | 2020-10-13 | 北京思特奇信息技术股份有限公司 | 一种基于知识推荐算法的套餐推荐方法及系统 |
| CN111737473B (zh) * | 2020-07-17 | 2022-04-26 | 浙江口碑网络技术有限公司 | 文本分类方法、装置及设备 |
| CN112069786A (zh) * | 2020-08-25 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 文本信息处理方法、装置、电子设备及介质 |
| CN114694645A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种确定用户意图的方法及装置 |
| CN113139055A (zh) * | 2021-04-22 | 2021-07-20 | 康键信息技术（深圳）有限公司 | 对话文本的行为倾向识别方法、装置、设备及存储介质 |
| CN113779267B (zh) * | 2021-09-13 | 2023-07-11 | 中国人民解放军国防科技大学 | 一种基于意图的星上智能任务决策方法 |
| CN113806485B (zh) * | 2021-09-23 | 2023-06-23 | 厦门快商通科技股份有限公司 | 一种基于小样本冷启动的意图识别方法、装置及可读介质 |
| CN116583820A (zh) * | 2021-12-10 | 2023-08-11 | 华为技术有限公司 | 语音交互的方法和装置 |
| CN114818665B (zh) * | 2022-04-22 | 2023-05-12 | 电子科技大学 | 一种基于bert+bilstm+crf与xgboost模型的多意图识别方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598445A (zh) * | 2013-11-01 | 2015-05-06 | 腾讯科技（深圳）有限公司 | 自动问答系统和方法 |
| CN105335400A (zh) * | 2014-07-22 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 针对用户的提问意图获取答案信息的方法及装置 |
| CN107103332A (zh) * | 2017-04-07 | 2017-08-29 | 武汉理工大学 | 一种面向大规模数据集的相关向量机分类方法 |
| CN107818344A (zh) * | 2017-10-31 | 2018-03-20 | 上海壹账通金融科技有限公司 | 用户行为进行分类和预测的方法和系统 |
| CN107886558A (zh) * | 2017-11-13 | 2018-04-06 | 电子科技大学 | 一种基于RealSense的人脸表情动画驱动方法 |
| CN107943966A (zh) * | 2017-11-28 | 2018-04-20 | 合肥工业大学 | 基于微博文本的异常个性判定方法及装置 |
| CN108009287A (zh) * | 2017-12-25 | 2018-05-08 | 北京中关村科金技术有限公司 | 一种基于对话系统的回答数据生成方法以及相关装置 |
| CN108197109A (zh) * | 2017-12-29 | 2018-06-22 | 北京百分点信息科技有限公司 | 一种基于自然语言处理的多语言分析方法和装置 |
| CN108427722A (zh) * | 2018-02-09 | 2018-08-21 | 卫盈联信息技术（深圳）有限公司 | 智能交互方法、电子装置及存储介质 |
| CN108647239A (zh) * | 2018-04-04 | 2018-10-12 | 顺丰科技有限公司 | 对话意图识别方法及装置、设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090097741A1 (en) * | 2006-03-30 | 2009-04-16 | Mantao Xu | Smote algorithm with locally linear embedding |
| US11386435B2 (en) * | 2017-04-03 | 2022-07-12 | The Dun And Bradstreet Corporation | System and method for global third party intermediary identification system with anti-bribery and anti-corruption risk assessment |
-
2018
- 2018-11-16 CN CN201811368503.9A patent/CN109522556B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598445A (zh) * | 2013-11-01 | 2015-05-06 | 腾讯科技（深圳）有限公司 | 自动问答系统和方法 |
| CN105335400A (zh) * | 2014-07-22 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 针对用户的提问意图获取答案信息的方法及装置 |
| CN107103332A (zh) * | 2017-04-07 | 2017-08-29 | 武汉理工大学 | 一种面向大规模数据集的相关向量机分类方法 |
| CN107818344A (zh) * | 2017-10-31 | 2018-03-20 | 上海壹账通金融科技有限公司 | 用户行为进行分类和预测的方法和系统 |
| CN107886558A (zh) * | 2017-11-13 | 2018-04-06 | 电子科技大学 | 一种基于RealSense的人脸表情动画驱动方法 |
| CN107943966A (zh) * | 2017-11-28 | 2018-04-20 | 合肥工业大学 | 基于微博文本的异常个性判定方法及装置 |
| CN108009287A (zh) * | 2017-12-25 | 2018-05-08 | 北京中关村科金技术有限公司 | 一种基于对话系统的回答数据生成方法以及相关装置 |
| CN108197109A (zh) * | 2017-12-29 | 2018-06-22 | 北京百分点信息科技有限公司 | 一种基于自然语言处理的多语言分析方法和装置 |
| CN108427722A (zh) * | 2018-02-09 | 2018-08-21 | 卫盈联信息技术（深圳）有限公司 | 智能交互方法、电子装置及存储介质 |
| CN108647239A (zh) * | 2018-04-04 | 2018-10-12 | 顺丰科技有限公司 | 对话意图识别方法及装置、设备和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| tree ensemble based on SMOTE and bagging with differentiated sampling rates;Jie Sun 等;《Information Sciences》;第425卷;76-91 * |
| 一种基于记忆网络的多轮对话下的意图识别方法;杨成彪 等;《电子技术与软件工程》(第10期);194-195 * |
| 一种改进的SMOTE算法;魏浩 等;《河南科学》;第36卷(第07期);1009-1013 * |
| 交通行政移动执法信息化平台研究与应用;罗万华 等;《数字技术与应用》(第12期);70-71 * |
| 基于增量学习的非平衡SVM分类方法;崔丽娜 等;《计算机与现代化》(第07期);20-23+32 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109522556A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522556B (zh) | 一种意图识别方法及装置 | |
| US11663411B2 (en) | Ontology expansion using entity-association rules and abstract relations | |
| Singla et al. | Statistical and sentiment analysis of consumer product reviews | |
| CN111310476B (zh) | 一种使用基于方面的情感分析方法的舆情监控方法和系统 | |
| Kaur | Incorporating sentimental analysis into development of a hybrid classification model: A comprehensive study | |
| CN108733675B (zh) | 基于大量样本数据的情感评价方法及装置 | |
| CN109978020B (zh) | 一种基于多维特征的社交网络账号马甲身份辨识方法 | |
| CN107844558A (zh) | 一种分类信息的确定方法以及相关装置 | |
| CN104834651A (zh) | 一种提供高频问题回答的方法和装置 | |
| CN112527958A (zh) | 用户行为倾向识别方法、装置、设备及存储介质 | |
| CN108536673B (zh) | 新闻事件抽取方法及装置 | |
| CN113051380A (zh) | 信息生成方法、装置、电子设备和存储介质 | |
| CN107305555A (zh) | 数据处理方法及装置 | |
| CN111782793A (zh) | 智能客服处理方法和系统及设备 | |
| CN111062211A (zh) | 信息提取方法、装置、电子设备及存储介质 | |
| CN112328812B (zh) | 基于自调参数的领域知识抽取方法与系统、电子设备 | |
| CN113392920B (zh) | 生成作弊预测模型的方法、装置、设备、介质及程序产品 | |
| CN115577109A (zh) | 文本分类方法、装置、电子设备及存储介质 | |
| CN116127011A (zh) | 意图识别方法、装置、电子设备及存储介质 | |
| CN115455151A (zh) | 一种ai情绪可视化识别方法、系统及云平台 | |
| CN106971306B (zh) | 产品问题的识别方法及系统 | |
| CN113901793A (zh) | 结合rpa和ai的事件抽取方法及装置 | |
| CN110443646B (zh) | 产品竞争关系网络分析方法和系统 | |
| CN106462614B (zh) | 信息分析系统、信息分析方法以及信息分析程序 | |
| CN113095723A (zh) | 优惠券的推荐方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |