CN109101579A - 客服机器人知识库歧义检测方法 - Google Patents

客服机器人知识库歧义检测方法 Download PDF

Info

Publication number
CN109101579A
CN109101579A CN201810801678.8A CN201810801678A CN109101579A CN 109101579 A CN109101579 A CN 109101579A CN 201810801678 A CN201810801678 A CN 201810801678A CN 109101579 A CN109101579 A CN 109101579A
Authority
CN
China
Prior art keywords
classification
ambiguity
deep learning
question sentence
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810801678.8A
Other languages
English (en)
Other versions
CN109101579B (zh
Inventor
欧泽彬
潘晟锋
刘云峰
吴悦
陈正钦
杨振宇
胡晓
汶林丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN201810801678.8A priority Critical patent/CN109101579B/zh
Priority to CN202110693227.9A priority patent/CN113407694B/zh
Publication of CN109101579A publication Critical patent/CN109101579A/zh
Priority to PCT/CN2019/088473 priority patent/WO2020010930A1/zh
Application granted granted Critical
Publication of CN109101579B publication Critical patent/CN109101579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting

Abstract

本申请涉及一种客服机器人知识库歧义检测方法，包括：构建知识库，所述知识库知识库按FAQ划分，每个FAQ设有至少一个相似问句，且每个FAQ为一个类别；将所述知识库划分为深度学习模型的测试集和训练集；在训练集上训练深度学习模型，并利用学习出的所述深度学习模型进行歧义检测；根据歧义检测结果更新所述知识库；重复上述步骤直到学习效果不再提升。本申请根据歧义检测结果更新所述知识库，重复训练步骤直到学习效果达到预期标准，可以辅助人工发现并修正知识库歧义，得到消除歧义的知识库，从消除歧义的知识库中提取数据作为深度学习模型的训练集和测试集，进一步提高深度学习模型学习效果。

Description

客服机器人知识库歧义检测方法
技术领域
本申请涉及人工智能技术领域，尤其是一种客服机器人知识库歧义检测方法。
背景技术
随着互联网用户的增加，企业的客服部门服务压力不断增大。由于大多数用户遇到的问题都是重复出现的，这些重复的问题往往可以用固定模板进行回答。为了减少客服中心的人工成本，可引入机器人客服，用程序判断用户的问题类型，如果问题属于FAQ(Frequently Asked Questions，经常问到的问题)，则直接给出一个标准答案，反之则转接人工服务进行特殊干预。
相关技术中，客服机器人利用机器学习技术识别用户意图，将意图识别转化成问句分类问题。每个FAQ对应一个类别，每个类别有一句以上的相似问句。所有FAQ和对应的相似问句构成了机器人的知识库。
机器学习模型的效果往往依赖于从知识库中选出的训练数据，特别是训练数据的标注准确率会对模型效果产生较大影响。但由于时间和人工精力的限制，知识库往往会存在大量歧义，如问句对应到错误的类别、类别与类别语义重合等，这些歧义会导致模型学习到错误的知识，从而对模型的准确率产生负面影响，而由于机器学习训练过程中需要大量的标注数据，无法单纯依赖人工去发现并处理这些歧义，因此如何对知识库进行歧义检测，并辅助人工消除知识库歧义成为相关技术人员亟待解决的问题。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种客服机器人知识库歧义检测方法，包括：
构建知识库，所述知识库知识库按FAQ划分，每个FAQ设有至少一个相似问句，且每个FAQ为一个类别；
将所述知识库划分为深度学习模型的测试集和训练集；
在训练集上训练深度学习模型，并利用学习出的所述深度学习模型进行歧义检测；
根据歧义检测结果更新所述知识库；
重复上述步骤直到学习效果不再提升，得到消除歧义的知识库。
进一步的，所述将所述知识库划分为深度学习模型的测试集和训练集，包括：随机抽取每个FAQ对应的预设数量的相似问句作FAQ对应类别的测试数据，其余相似问句作为所述FAQ对应类别的训练数据。所有类别的测试数据构成测试集，所有类别的训练数据构成训练集。
进一步的，所述深度学习模型包括：特征提取器、浅层分类器，所述在训练集上训练深度学习模型，包括：
将所述训练集中FAQ中的问句作为输入部分输入到所述深度学习模型；
利用所述深度学习模型中的特征提取器将输入部分中的问句转化成特征向量；
利用所述深度学习模型中的浅层分类器根据所述特征向量计算出预测结果，所述预测结果为输入部分中的问句所对应的类别；
利用优化器优化训练模型，将训练集中问句标注的实际类别和所述深度学习模型预测结果的平均差异最小化；
用测试集对训练完的模型进行评估，计算模型预测结果和测试集中问句标注的实际类别的一致率，作为模型学习效果的评估。
进一步的，所述歧义检测包括：类别歧义检测、标注错误检测和标注歧义检测，所述利用学习出的所述深度学习模型进行歧义检测，包括：
利用深度学习模型中特征提取器检测歧义；
利用深度学习模型中浅层分类器检测歧义。
进一步的，所述利用深度学习模型中特征提取器检测歧义，包括：
用所述深度学习模型中的特征提取器将数据集中的相似问句转化成特征向量，所述数据集包括训练集或/和测试集；
将问句对应的特征向量组合成问句特征向量对(x,y)，其中特征向量x对应的问句和特征向量y对应的问句分别来自不同类别；
计算每组问句特征向量对的向量相似度cos(x,y)，所述
将所有问句特征向量对按所述向量相似度从高到低排序，选择所述向量相似度排名靠前的问句特征向量对，并根据所述向量相似度排名靠前的问句特征向量对判断是否存在歧义。
更进一步的，所述根据所述向量相似度排名靠前的问句特征向量对判断是否存在歧义，包括：
判断是否存在标注歧义或标注错误：提取第一预设数量的所述相似度排名靠前的问句特征向量对，人工检查对应的问句对是否存在标注歧义和标注错误；
判断是否存在类别歧义：对于所述第一预设数量的问句特征向量对，统计对应类别对重复出现的次数，按照出现次数从高到低排序，取第二预设数量的类别对，人工检查是否存在类别歧义。
进一步的，所述利用深度学习模型浅层分类器检测歧义，包括：
将深度学习模型分类结果进行统计并形成混淆矩阵，所述混淆矩阵的每行i对应标注的类别，每列j对应所述深度学习模型预测的类别，元素xij是标注为类别i，而模型预测为类别j的问句个数，元素xji是标注为类别j，而模型预测为类别i的问句个数；
计算数据集中标注为类别i的样本个数，所述类别i的样本个数为其中k为任意类别；
计算数据集中标注为类别j的样本个数，所述类别j的样本个数为其中k为任意类别；
计算数据集中将标注为类别i的样本被所述深度学习模型预测为类别j的比例Pij与将标注为类别j的样本预测到类别i的比例Pji，所述Pij和Pji计算公式分别为：所述类别i与所述类别j属于不同类别，所述数据集包括训练集或/和测试集；
计算类别对(类别i、类别j)的混淆度，所述混淆度为Pij和Pji的调和平均值Sij，所述
根据混淆度判断类别i与类别j是否存在歧义。
更进一步的，所述根据混淆度判断类别i、类别j是否存在歧义，包括：
对计算出的混淆度进行排序；
提取第三预设数量的混淆度排名靠前的类别，人工检测是否存在类别歧义。
进一步的，所述利用深度学习模型浅层分类器检测歧义，还包括：找出数据集中标注的实际类别和深度学习模型预测的类别不一致的数据，人工检查是否存在标注错误，所述数据集包括训练集或/和测试集。
进一步的，所述根据歧义检测结果更新所述知识库，包括：
对检测出的歧义问句进行人工改写、人工重新标注，并删除原标注；
对检测出的歧义类别进行相似问句的重新组合、分配，并删除原歧义类别。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请根据歧义检测结果更新所述知识库，重复训练步骤直到学习效果达到预期标准，可以辅助人工发现并修正知识库歧义，得到消除歧义的知识库，从消除歧义的知识库中提取数据作为深度学习模型的训练集和测试集，进一步提高深度学习模型学习效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请一个实施例提供的客服机器人知识库歧义检测方法的流程示意图。
图2是本申请另一个实施例提供的客服机器人知识库歧义检测方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
图1是本申请一个实施例提供的客服机器人知识库歧义检测方法的流程示意图。
如图1所示，本实施例的方法包括：
S11：构建知识库，知识库按FAQ划分，每个FAQ各带有数量不定的相似问句，每个FAQ即为一个类别。
所述知识库是在大规模知识处理基础上发展起来的一项面向行业应用的，适用大规模知识处理、自然语言理解、知识管理、自动问答系统、推理等等技术行业，智能客服不仅为企业提供了细粒度知识管理技术，还为企业与海量用户之间的沟通建立了一种基于自然语言的快捷有效的技术手段。以一个电商企业的客服机器人知识库为例，所述知识库中包含多个FAQ，例如“退货流程”，“退款流程”。以“退货流程”为例，该FAQ可能包含以下相似问句：“我昨天买的东西怎么退货？”，“我想退货，应该怎么操作？”。
S12：将所述知识库划分为深度学习模型的测试集和训练集。
从所述知识库中选取需要检测歧义的N个FAQ，作为N个类别。对于每个FAQ，随机抽取预设数量的相似问句作该类别的测试数据，其余相似问句作为该类别的训练数据。所有类别的测试数据构成测试集，所有类别的训练数据构成训练集。
例如，所述知识库内包含10个FAQ，每个FAQ各包含20个相似问句，从知识库的每个类别中随机抽取预设量例如为3个相似问句作为深度学习模型的测试集，则所述测试集内包含30个相似问句，而其余170个相似问句被纳入深度学习模型的训练集。
需要说明的是，本发明所涉及的知识库内包含类别的数量、每个类别包含相似问句的数量不限于实施例中所涉及的举例，此处不再赘述。
S13：在训练集上训练深度学习模型，并利用学习出的所述深度学习模型进行歧义检测。
所述深度学习模型包括：特征提取器、浅层分类器。
所述歧义检测包括：类别歧义检测、标注错误检测和标注歧义检测；
所述歧义包括：
类别歧义：即两个类别的意思很相近，例如类别1为“订单问题”，类别2为“产品的变更取消问题”，类别1的语义和类别2的语义有重合，因为类别1基本可涵盖类别2；
标注歧义：即问句可以同时标为多个类，例如：类别1为“产品的退货问题”，类别2为“产品的价格问题”，如果问句是“这东西太贵了，我想退货”，则此句话存在标注歧义，因为该问句同时包含了所述两个类别的意思；
标注错误：问句对应到错误的类别，例如类别1为“产品的退货问题”，类别2为“产品的价格问题”，如果问句是“我不想要了”，却被标注成类别2，则会产生标注错误。
所述歧义检测针对测试集或\和训练集。
所述利用学习出的所述深度学习模型进行歧义检测，包括：
利用深度学习模型中特征提取器检测歧义；
利用深度学习模型中浅层分类器检测歧义；
所述利用深度学习模型中特征提取器检测歧义，包括：
用所述深度学习模型中的特征提取器将数据集中的相似问句转化成特征向量，所述数据集包括训练集或/和测试集；
将问句对应的特征向量组合成问句特征向量对(x,y)，其中特征向量x对应的问句和特征向量y对应的问句分别来自不同类别；
计算每组问句特征向量对的向量相似度cos(x,y)，所述
将所有问句特征向量对按所述向量相似度从高到低排序，选择所述向量相似度排名靠前的问句特征向量对，并根据所述向量相似度排名靠前的问句特征向量对判断是否存在歧义。
所述根据所述向量相似度排名靠前的问句特征向量对判断是否存在歧义，包括：
判断是否存在标注歧义或标注错误：提取第一预设数量例如为30个所述相似度排名靠前的问句特征向量对，人工检查对应的问句对是否存在标注歧义和标注错误；
判断是否存在类别歧义：对于所述第一预设数量的问句特征向量对，统计对应类别对重复出现的次数，按照出现次数从高到低排序，取第二预设数量例如为20个类别对，人工检查是否存在类别歧义。
所述利用深度学习模型浅层分类器检测歧义，包括：
将深度学习模型分类结果进行统计并形成混淆矩阵，所述混淆矩阵的每行i对应标注的类别，每列j对应所述深度学习模型预测的类别，元素xij是标注为类别i，而模型预测为类别j的问句个数，元素xji是标注为类别j，而模型预测为类别i的问句个数；
计算数据集中标注为类别i的样本个数，所述类别i的样本个数为其中k为任意类别；
计算数据集中标注为类别j的样本个数，所述类别j的样本个数为其中k为任意类别；
计算数据集中将标注为类别i的样本被所述深度学习模型预测为类别j的比例Pij与将标注为类别j的样本预测到类别i的比例Pji，所述Pij和Pji计算公式分别为：所述类别i与所述类别j属于不同类别，所述数据集包括训练集或/和测试集；
计算类别对(类别i、类别j)的混淆度，所述混淆度为Pij和Pji的调和平均值Sij，所述
根据混淆度判断类别i与类别j是否存在歧义。
所述根据混淆度判断类别i、类别j是否存在歧义，包括：
对计算出的混淆度进行排序；
提取第三预设数量例如为5个混淆度排名靠前的类别对，人工检测是否存在类别歧义。
所述利用深度学习模型浅层分类器检测歧义，还包括：找出数据集中标注的实际类别和深度学习模型预测的类别不一致的数据，人工检查是否存在标注错误，所述数据集包括训练集或/和测试集。
S14：根据歧义检测结果更新所述知识库，包括：
对检测出的歧义问句进行人工改写、人工重新标注，并删除原标注；
对检测出的歧义类别进行相似问句的重新组合、分配，并删除原歧义类别。
S15：重复上述步骤直到学习效果不再提升，得到消除歧义的知识库。
所述学习效果为模型预测结果和测试集中问句标注的实际类别的一致率，所述一致率例如为预测准确率，即预测结果一致的问句数量除以总的问句数量。所述学习效果不再提升例如为预测准确率提升小于0.5％。
当模型学习效果不再提升时，说明因知识库歧义导致的模型性能下降已消除，可以利用所述知识库训练模型并部署到生产环境中使用。
本实施例中，根据歧义检测结果更新所述知识库，重复训练步骤直到学习效果达到预期标准，可以辅助人工发现并修正知识库歧义，得到消除歧义的知识库，从消除歧义的知识库中提取数据作为深度学习模型的训练集和测试集，进一步提高深度学习模型学习效果。
图2是本申请另一个实施例提供的客服机器人知识库歧义检测方法的流程示意图。
如图2所示，所述在训练集上训练深度学习模型，包括：
所述深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。所述深度学习模型包括特征提取器和浅层分类器。
S21：将所述训练集中的问句作为输入部分输入到所述深度学习模型；
S22：利用所述深度学习模型中的特征提取器将输入部分中的问句转化成特征向量；
所述特征提取器例如为循环神经网络。该模型按顺序读入问句中的每个词，并输出一个固定维度的特征向量。需要说明的是，特征提取器不限于所举例的循环神经网络，任何可以将问句转化成固定维度的特征向量的方法都可以作为特征提取器。
S23：利用所述深度学习模型中的浅层分类器根据所述特征向量计算出预测结果，所述预测结果为输入部分中的问句所对应的类别；
所述的浅层分类器例如为线性分类器。该分类器读入一个固定维度的特征向量，并计算向量元素的线性组合得出各个类别的打分，取打分最高的类别作为预测结果。需要说明的是，浅层分类器不限于所举例的线性分类器，任何可以将固定维度的特征向量转化成各个类别的打分的方法都可以作为浅层分类器。
S24：利用优化器优化训练模型，将训练集中问句标注的实际类别和所述深度学习模型预测结果的平均差异最小化；
所述平均差异例如为损失函数。所述损失函数例如为交叉熵。
所述优化器例如为梯度下降法。所述梯度下降是迭代法的一种，在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降(Gradient Descent)是最常采用的方法之一。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和相应的模型参数值。
S25：用测试集对训练完的模型进行评估，计算模型预测结果和测试集中问句标注的实际类别的一致率，作为模型学习效果的评估，所述一致率例如为预测准确率，即预测结果一致的问句数量除以总的问句数量。
本实施例中，利用深度学习模型对训练集中FAQ进行训练，在训练过程中利用优化器不断优化模型，不断迭代提升深度学习模型学习效果，并且不断提升歧义检测正确率。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
需要说明的是，本发明不局限于上述最佳实施方式，本领域技术人员在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种客服机器人知识库歧义检测方法，其特征在于，包括：
构建知识库，所述知识库知识库按FAQ划分，每个FAQ设有至少一个相似问句，且每个FAQ为一个类别；
将所述知识库划分为深度学习模型的测试集和训练集；
在训练集上训练深度学习模型，并利用学习出的所述深度学习模型进行歧义检测；
根据歧义检测结果更新所述知识库；
重复上述步骤直到学习效果不再提升，得到消除歧义的知识库。
2.根据权利要求1所述的方法，其特征在于，所述将所述知识库划分为深度学习模型的测试集和训练集，包括：随机抽取每个FAQ对应的预设数量的相似问句作FAQ对应类别的测试数据，其余相似问句作为所述FAQ对应类别的训练数据。所有类别的测试数据构成测试集，所有类别的训练数据构成训练集。
3.根据权利要求1所述的方法，其特征在于，所述深度学习模型包括：特征提取器、浅层分类器，所述在训练集上训练深度学习模型，包括：
将所述训练集中的问句作为输入部分输入到所述深度学习模型；
利用所述深度学习模型中的特征提取器将输入部分中的问句转化成特征向量；
利用所述深度学习模型中的浅层分类器根据所述特征向量计算出预测结果，所述预测结果为输入部分中的问句所对应的类别；
利用优化器优化训练模型，将训练集中问句标注的实际类别和所述深度学习模型预测结果的平均差异最小化；
用测试集对训练完的模型进行评估，计算模型预测结果和测试集中问句标注的实际类别的一致率，作为模型学习效果的评估。
4.根据权利要求1所述的方法，其特征在于，所述歧义检测包括：类别歧义检测、标注错误检测和标注歧义检测，所述利用学习出的所述深度学习模型进行歧义检测，包括：
利用深度学习模型中特征提取器检测歧义；
利用深度学习模型中浅层分类器检测歧义。
5.根据权利要求4所述的方法，其特征在于，所述利用深度学习模型中特征提取器检测歧义，包括：
用所述深度学习模型中的特征提取器将数据集中的相似问句转化成特征向量，所述数据集包括训练集或/和测试集；
将问句对应的特征向量组合成问句特征向量对(x,y)，其中特征向量x对应的问句和特征向量y对应的问句分别来自不同类别；
计算每组问句特征向量对的向量相似度cos(x,y)，所述将所有问句特征向量对按所述向量相似度从高到低排序，选择所述向量相似度排名靠前的问句特征向量对，并根据所述向量相似度排名靠前的问句特征向量对判断是否存在歧义。
6.根据权利要求5所述的方法，其特征在于，所述根据所述向量相似度排名靠前的问句特征向量对判断是否存在歧义，包括：
判断是否存在标注歧义或标注错误：提取第一预设数量的所述相似度排名靠前的问句特征向量对，人工检查对应的问句对是否存在标注歧义和标注错误；
判断是否存在类别歧义：对于所述第一预设数量的问句特征向量对，统计对应类别对重复出现的次数，按照出现次数从高到低排序，取第二预设数量的类别对，人工检查是否存在类别歧义。
7.根据权利要求4所述的方法，其特征在于，所述利用深度学习模型浅层分类器检测歧义，包括：
将深度学习模型分类结果进行统计并形成混淆矩阵，所述混淆矩阵的每行i对应标注的类别，每列j对应所述深度学习模型预测的类别，元素xij是标注为类别i，而模型预测为类别j的问句个数，元素xji是标注为类别j，而模型预测为类别i的问句个数；
计算数据集中标注为类别i的样本个数，所述类别i的样本个数为其中k为任意类别；
计算数据集中标注为类别j的样本个数，所述类别j的样本个数为其中k为任意类别；
计算数据集中将标注为类别i的样本被所述深度学习模型预测为类别j的比例Pij与将标注为类别j的样本预测到类别i的比例Pji，所述Pij和Pji计算公式分别为：所述类别i与所述类别j属于不同类别，所述数据集包括训练集或/和测试集；
计算类别对(类别i、类别j)的混淆度，所述混淆度为Pij和Pji的调和平均值Sij，所述
根据混淆度判断类别i与类别j是否存在歧义。
8.根据权利要求7所述的方法，其特征在于，所述根据混淆度判断类别i、类别j是否存在歧义，包括：
对计算出的混淆度进行排序；
提取第三预设数量的混淆度排名靠前的类别，人工检测是否存在类别歧义。
9.根据权利要求7所述的方法，其特征在于，所述利用深度学习模型浅层分类器检测歧义，还包括：找出数据集中标注的实际类别和深度学习模型预测的类别不一致的数据，人工检查是否存在标注错误，所述数据集包括训练集或/和测试集。
10.根据权利要求1所述的方法，其特征在于，所述根据歧义检测结果更新所述知识库，包括：
对检测出的歧义问句进行人工改写、人工重新标注，并删除原标注；
对检测出的歧义类别进行相似问句的重新组合、分配，并删除原歧义类别。
CN201810801678.8A 2018-07-09 2018-07-19 客服机器人知识库歧义检测方法 Active CN109101579B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810801678.8A CN109101579B (zh) 2018-07-19 2018-07-19 客服机器人知识库歧义检测方法
CN202110693227.9A CN113407694B (zh) 2018-07-19 2018-07-19 客服机器人知识库歧义检测方法、装置及相关设备
PCT/CN2019/088473 WO2020010930A1 (zh) 2018-07-09 2019-05-27 客服机器人知识库歧义检测方法、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810801678.8A CN109101579B (zh) 2018-07-19 2018-07-19 客服机器人知识库歧义检测方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110693227.9A Division CN113407694B (zh) 2018-07-19 2018-07-19 客服机器人知识库歧义检测方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN109101579A true CN109101579A (zh) 2018-12-28
CN109101579B CN109101579B (zh) 2021-11-23

Family

ID=64846947

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810801678.8A Active CN109101579B (zh) 2018-07-09 2018-07-19 客服机器人知识库歧义检测方法
CN202110693227.9A Active CN113407694B (zh) 2018-07-19 2018-07-19 客服机器人知识库歧义检测方法、装置及相关设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110693227.9A Active CN113407694B (zh) 2018-07-19 2018-07-19 客服机器人知识库歧义检测方法、装置及相关设备

Country Status (1)

Country Link
CN (2) CN109101579B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902285A (zh) * 2019-01-08 2019-06-18 平安科技（深圳）有限公司 语料分类方法、装置、计算机设备及存储介质
WO2020010930A1 (zh) * 2018-07-09 2020-01-16 深圳追一科技有限公司 客服机器人知识库歧义检测方法、存储介质和计算机设备
CN111209404A (zh) * 2020-04-17 2020-05-29 浙江百应科技有限公司 一种基于深度学习辅助生成相似问句的方法
CN111625636A (zh) * 2020-05-28 2020-09-04 深圳追一科技有限公司 一种人机对话的拒绝识别方法、装置、设备、介质
CN112257443A (zh) * 2020-09-30 2021-01-22 华泰证券股份有限公司 一种结合知识库的基于mrc的公司实体消歧方法
CN112559723A (zh) * 2020-12-28 2021-03-26 广东国粒教育技术有限公司 一种基于深度学习的faq检索式问答构建方法及系统
CN112699226A (zh) * 2020-12-29 2021-04-23 江苏苏宁云计算有限公司 用于语义混淆检测的方法及系统
CN112818127A (zh) * 2019-11-15 2021-05-18 北京中关村科金技术有限公司 一种检测知识库中的语料冲突的方法、装置和介质
CN117114103A (zh) * 2023-10-20 2023-11-24 国家电网有限公司 一种语料库的重构方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080052078A1 (en) * 1999-11-12 2008-02-28 Bennett Ian M Statistical Language Model Trained With Semantic Variants
CN101373532A (zh) * 2008-07-10 2009-02-25 昆明理工大学 旅游领域faq中文问答系统实现方法
CN103617157A (zh) * 2013-12-10 2014-03-05 东北师范大学 基于语义的文本相似度计算方法
CN104268134A (zh) * 2014-09-28 2015-01-07 苏州大学 一种主客观分类器构建方法和系统
CN105512209A (zh) * 2015-11-28 2016-04-20 大连理工大学 一种基于特征自动学习的生物医学事件触发词识别方法
US20160179945A1 (en) * 2014-12-19 2016-06-23 Universidad Nacional De Educación A Distancia (Uned) System and method for the indexing and retrieval of semantically annotated data using an ontology-based information retrieval model
CN107102989A (zh) * 2017-05-24 2017-08-29 南京大学 一种基于词向量、卷积神经网络的实体消歧方法
CN107301246A (zh) * 2017-07-14 2017-10-27 河北工业大学 基于超深卷积神经网络结构模型的中文文本分类方法
CN107993724A (zh) * 2017-11-09 2018-05-04 易保互联医疗信息科技（北京）有限公司 一种医学智能问答数据处理的方法及装置
CN108227932A (zh) * 2018-01-26 2018-06-29 上海智臻智能网络科技股份有限公司 交互意图确定方法及装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1979638A (zh) * 2005-12-02 2007-06-13 中国科学院自动化研究所 一种语音识别结果纠错方法
KR101629415B1 (ko) * 2012-08-10 2016-06-10 에스케이텔레콤 주식회사 문법 오류 검출 방법 및 이를 위한 오류검출장치
WO2016051228A1 (en) * 2014-09-30 2016-04-07 Umm-Al-Qura University A method and system for an accurate and energy efficient vehicle lane detection
CN104657463B (zh) * 2015-02-10 2018-04-27 乐娟 应用于自动问答系统的问句分类方法及装置
CN107292338A (zh) * 2017-06-14 2017-10-24 大连海事大学 一种基于样本特征值分布混淆度的特征选择方法
CN107977356B (zh) * 2017-11-21 2019-10-25 新疆科大讯飞信息科技有限责任公司 识别文本纠错方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080052078A1 (en) * 1999-11-12 2008-02-28 Bennett Ian M Statistical Language Model Trained With Semantic Variants
CN101373532A (zh) * 2008-07-10 2009-02-25 昆明理工大学 旅游领域faq中文问答系统实现方法
CN103617157A (zh) * 2013-12-10 2014-03-05 东北师范大学 基于语义的文本相似度计算方法
CN104268134A (zh) * 2014-09-28 2015-01-07 苏州大学 一种主客观分类器构建方法和系统
US20160179945A1 (en) * 2014-12-19 2016-06-23 Universidad Nacional De Educación A Distancia (Uned) System and method for the indexing and retrieval of semantically annotated data using an ontology-based information retrieval model
CN105512209A (zh) * 2015-11-28 2016-04-20 大连理工大学 一种基于特征自动学习的生物医学事件触发词识别方法
CN107102989A (zh) * 2017-05-24 2017-08-29 南京大学 一种基于词向量、卷积神经网络的实体消歧方法
CN107301246A (zh) * 2017-07-14 2017-10-27 河北工业大学 基于超深卷积神经网络结构模型的中文文本分类方法
CN107993724A (zh) * 2017-11-09 2018-05-04 易保互联医疗信息科技（北京）有限公司 一种医学智能问答数据处理的方法及装置
CN108227932A (zh) * 2018-01-26 2018-06-29 上海智臻智能网络科技股份有限公司 交互意图确定方法及装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QUANG-PHUOC NGUYEN 等: "Effect of Word Sense Disambiguation on Neural Machine Translation: A Case Study in Korean", 《IEEE ACCESS》 *
李辉 等: "基于知网的中文常问问答系统", 《计算机工程》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020010930A1 (zh) * 2018-07-09 2020-01-16 深圳追一科技有限公司 客服机器人知识库歧义检测方法、存储介质和计算机设备
CN109902285A (zh) * 2019-01-08 2019-06-18 平安科技（深圳）有限公司 语料分类方法、装置、计算机设备及存储介质
CN109902285B (zh) * 2019-01-08 2023-09-22 平安科技（深圳）有限公司 语料分类方法、装置、计算机设备及存储介质
CN112818127A (zh) * 2019-11-15 2021-05-18 北京中关村科金技术有限公司 一种检测知识库中的语料冲突的方法、装置和介质
CN111209404A (zh) * 2020-04-17 2020-05-29 浙江百应科技有限公司 一种基于深度学习辅助生成相似问句的方法
CN111625636A (zh) * 2020-05-28 2020-09-04 深圳追一科技有限公司 一种人机对话的拒绝识别方法、装置、设备、介质
CN112257443A (zh) * 2020-09-30 2021-01-22 华泰证券股份有限公司 一种结合知识库的基于mrc的公司实体消歧方法
CN112257443B (zh) * 2020-09-30 2024-04-02 华泰证券股份有限公司 一种结合知识库的基于mrc的公司实体消歧方法
CN112559723A (zh) * 2020-12-28 2021-03-26 广东国粒教育技术有限公司 一种基于深度学习的faq检索式问答构建方法及系统
CN112699226A (zh) * 2020-12-29 2021-04-23 江苏苏宁云计算有限公司 用于语义混淆检测的方法及系统
CN117114103A (zh) * 2023-10-20 2023-11-24 国家电网有限公司 一种语料库的重构方法及装置

Also Published As

Publication number Publication date
CN113407694A (zh) 2021-09-17
CN113407694B (zh) 2023-06-02
CN109101579B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN109101579A (zh) 客服机器人知识库歧义检测方法
Chen et al. An information granulation based data mining approach for classifying imbalanced data
Liu et al. Computational and statistical methods for analysing big data with applications
Ahmed et al. Clarify of the random forest algorithm in an educational field
Halibas et al. Determining the intervening effects of exploratory data analysis and feature engineering in telecoms customer churn modelling
CN110909125B (zh) 推文级社会媒体谣言检测方法
CN110110372B (zh) 一种用户时序行为自动切分预测方法
CN111582538A (zh) 一种基于图神经网络的社群价值预测方法及系统
CN110427484A (zh) 一种基于深度学习的中文自然语言处理方法
CN109598307A (zh) 数据筛选方法、装置、服务器及存储介质
Fadhil et al. A framework for predicting airfare prices using machine learning
Bengtsson et al. Using classification algorithms for smart suggestions in accounting systems
Ishfaq et al. Empirical analysis of machine learning algorithms for multiclass prediction
Chishti et al. Deep neural network a step by step approach to classify credit card default customer
CN109657710A (zh) 数据筛选方法、装置、服务器及存储介质
Kumari et al. Retail forecasting using neural network and data mining technique: a review and reflection
CN113159976B (zh) 一种微博网络重要用户的识别方法
Díaz de la Paz et al. Weights Estimation in the Completeness Measurement of Bibliographic Metadata
Limberg et al. Improving active learning by avoiding ambiguous samples
Ali Educational data mining for predicting academic student performance using active classification
Patil et al. Efficient processing of decision tree using ID3 & improved C4. 5 algorithm
Said et al. OFSF-BC: Online feature selection framework for binary classification
Rafatirad et al. Machine learning for computer scientists and data analysts
Liço et al. Performance Analysis of and Neural KNN Networks for Predicting Customer Purchases in a Real Retail Department Store
Desale et al. Fake review detection with concept drift in the data: a survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant