CN108170848A - 一种面向中国移动智能客服的对话场景分类方法 - Google Patents

一种面向中国移动智能客服的对话场景分类方法 Download PDF

Info

Publication number
CN108170848A
CN108170848A CN201810048593.7A CN201810048593A CN108170848A CN 108170848 A CN108170848 A CN 108170848A CN 201810048593 A CN201810048593 A CN 201810048593A CN 108170848 A CN108170848 A CN 108170848A
Authority
CN
China
Prior art keywords
customer service
training
intelligent customer
china mobile
operational scenarios
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810048593.7A
Other languages
English (en)
Other versions
CN108170848B (zh
Inventor
李嫄源
朱庆元
李鹏华
朱智勤
王冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810048593.7A priority Critical patent/CN108170848B/zh
Publication of CN108170848A publication Critical patent/CN108170848A/zh
Application granted granted Critical
Publication of CN108170848B publication Critical patent/CN108170848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种面向中国移动智能客服的对话场景分类方法，属于人工智能技术领域。该方法包括：获取中国移动智能客服场景对话相关自然语言的训练文本；采用MapReduce方法计算量化数据的笛卡尔积进行实体的共指消歧；采用词向量表征方式融合多语境描述进行训练文本稀疏表示；采用尺度相关池化方案与训练级联卷积神经网络模型进行对话场景分类。因此，本发明能有效应答用户与客服交互的自然语言信息，满足智能客服需求。

Description

一种面向中国移动智能客服的对话场景分类方法
技术领域
本发明属于人工智能技术领域，涉及一种面向中国移动智能客服的对话场景分类方法。
背景技术
近年来，智能客服机器人在国内外的发展应用近几年呈现出快速增长的势头，并逐步开始在电信运营商、金融服务等行业形成产业规模。智能客服对话不仅为企业与用户建立了快捷有效的沟通手段，还为企业提供了精细化管理所需的统计分析信息。
现有技术中，智能客服多采用关键词、关键句匹配的方式判断客户问题是否命中知识库，这种方式会造成对话模式呆板固定，缺乏人性化设计，降低了用户体验，且当用户对意图表述不清楚时，整个咨询周期会变长，降低客服效率。
对于目前存在的情况，迫切需要开发一种新型智能客服交互技术，而深度学习近年来在自然语言处理方向迅猛发展为智能客服提供了新的思路。
发明内容
有鉴于此，本发明的目的在于提供一种面向中国移动智能客服的对话场景分类方法，为用户提供快捷高效的客服体验与人性化的用户体验。
为达到上述目的，本发明给出了一种基于深度学习的对话场景分类系统的实现方法，所述深度学习包括：多特征融合下的文本数据预处理，深度增强学习下的语义解析。本发明提供如下技术方案：
一种面向中国移动智能客服的对话场景分类方法，该场景分类方法包括：
101：获取中国移动智能客服场景对话相关自然语言的训练文本；
102：采用MapReduce方法计算量化数据的笛卡尔积进行实体的共指消歧；
103：采用词向量表征方式融合多语境描述进行训练文本稀疏表示；
104：采用尺度相关池化方案与训练级联卷积神经网络模型进行对话场景分类。
进一步，在所述步骤101中，所述的训练文本的获取，包括：对不同移动客服对话场景的任务需求特点进行解析，根据这些特点，采用网络爬虫和专家设计相互补充的方式，获取事实型、列表型、定义型、关系型、观点型的问题/答案文本训练数据。
进一步，在所述步骤102中，采用MapReduce方法计算量化数据的笛卡尔积，依据相似值计算公式计算每个实体对的相似度；其中，对于n个数据记录，i和j都为0到n之间的自然数，ei和ej表示n个实体中的某一个，w表示权重；通过自适应阈值的优化选取相似实体进行融合，完成实体的共指消歧。
进一步，在所述步骤103中，通过HanLP与Stanford parser中的CRF句法分析器与最大熵依存句法分析器将训练文本划分为词或短语，并获取语境量化描述；采用word2vec将其融合成词向量，并与获取的量化描述融合生成新的词向量；借助无监督最大释然学习实现训练文本稀疏表示。
进一步，所述的无监督最大释然学习实现数据稀疏表示，通过在深置信度神经网络的隐藏层神经元中引入稀疏限制和正则项，推导相应的损失函数和惩罚函数，构建稀疏边缘降噪自动编码器；将融合词序、词序、依存关系语境特征的词向量提交给该编码器，借助损失函数的更新完成深度置信神经网络的预训练，微调神经网络的权值、偏置、稀疏限制和正则限制项等参数，完成训练文本的稀疏表示。
进一步，在所述步骤104中，所述卷积神经网络模型的构建，包括：构造条件函数来优化切换多学习机制；对所述稀疏表示的训练数据进行无监督学习预训练进而获取其训练权值；采用尺度相关池化方案与训练级联卷积神经网络模型对于给定对话训练数据集；学习一个线性增强分类器，聚合一组弱学习机制输出分类得分，进行对话场景分类。
进一步，所述卷积神经网络模型通过训练文本稀疏表示进行重复迭代训练更新权重至误差在预设的误差范围之内。
本发明的有益效果在于：本发明采用多特征融合下的自然语言数据稀疏表示，使词、句子等多层次结构中的词向量与词性、依存关系等语境向量深度融合，且能有效地稀疏表示融合生成的词向量，为深度学习的不同分层特征表示提供支撑；通过在深置信度神经网络的隐藏层神经元中引入稀疏限制和正则项，借助损失函数的更新完成深度神经网络的预训练；半监督学习下的自然语言深度学习模型优化，使深度学习模型与自然语言任务匹配。因此，本发明能有效应答用户与客服交互的自然语言信息，满足智能客服需求。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明面向移动智能客服的对话场景分类流程示意图；
图2为本发明文本预处理实体共指消歧流程图示意图；
图3为本发明多特征融合下的词向量稀疏编码表示；
图4为本发明深度学习下的自然语言语义解析模型。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
参见图1，本发明提供一种面向中国移动智能客服的对话场景分类方法。该方法具体包括：
101、对电话语音进行语音识别引擎驱动下的用户语音文本数据转换，通过构建Noisy Channel模型，结合Burkhard-Keller树算法与最小编辑距离法，在误拼字典当中实现文本拼写纠错。
通过HanLP与Stanford parser中的CRF句法分析器与最大熵依存句法分析器将文本划分为词或短语，并获取词性、词序、关键词、依存关系等量化描述。
102、参见图2，采用MapReduce方法计算量化数据的笛卡尔积，依据相似值计算公式计算每个实体对的相似度。其中，对于n个数据记录，i和j都为0到n之间的自然数，ei和ej表示n个实体中的某一个，w表示权重。通过自适应阈值的优化选取相似实体进行融合，完成实体的共指消歧。
103、参见图3，采用Word2Vec将划分的词或短语转化为词向量，并与获取的量化描述融合生成新的词向量。根据不同对话任务的需要，词向量融合方式可采取拼接、加权、或者哈希计算。词向量融合效果由随后进行的无监督学习下稀疏表示过程的参数进行综合评判。通过在深置信度神经网络的隐藏层神经元中引入稀疏限制和正则项，推导相应的损失函数和惩罚函数，构建稀疏边缘降噪自动编码器；将融合词序、词序、依存关系等语境特征的词向量提交给该编码器，借助损失函数的更新完成深度神经网络的预训练，微调神经网络的权值、偏置、稀疏限制和正则限制项等参数，完成自然语言数据的稀疏表示。
104、针对稀疏表征下的对话训练数据集，结合多轮对话场景特点，从Singlewords、Fixed windows、Recursive sentence、Bag of words等基本表示结构中选择合适的表示结构，提交给级联卷积神经网络进行语义解析。
参见图4，在级联抑制卷积神经网络中，定义词向量集的N个等级组B，B＝[B1,B2,...,BN]和相应上下文语义标签yi，如果包含上文语义，则yi＝1，否则yi＝0；从卷积层l中对应于Bi∈B的相应特征xi，采用尺度相关池化方案与RoIPooling方案训练级联卷积神经网络模型，给出m×m×c维特征，其中c是卷积层中的信道数，得到训练数据集：Y＝{0,1}∈RN。
对于给定对话训练数据集，在超参数选择约束下，对学习模型进行交叉验证，检查学习模型是否存在缺陷。同时，学习一个线性增强分类器聚合一组弱学习机制的响应输出其中ht是弱学习机制，wt是相应的权重，输出是分类得分；弱学习机制ht是一个决策树桩，如果第v个特征维度上的值xv大于决策阈值δv，则输出为1，否则写为ht(X)＝sign(xv-δv)，T表示最终的对话场景数量。在学习增强分类器完成若干弱学习机制的训练后，得到99％的正样本的排除阈值。所有幸存的样本示例都传递给下一个拒绝分类器同时采用中所使用的弱学习机制对进行初始化。
通过以上的实施方式的描述，所述功能如果以软件功能单元的形式实现并作为独立的产品销售或者使用时，可以存储在计算机中执行各个实施例或者实施例的某些部分所述的方法。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种面向中国移动智能客服的对话场景分类方法，其特征在于：该场景分类方法包括：
S1：获取中国移动智能客服场景对话相关自然语言的训练文本；
S2：采用MapReduce方法计算量化数据的笛卡尔积进行实体的共指消歧；
S3：采用词向量表征方式融合多语境描述进行训练文本稀疏表示；
S4：采用尺度相关池化方案与训练级联卷积神经网络模型进行对话场景分类。
2.根据权利要求1所述的一种面向中国移动智能客服的对话场景分类方法，其特征在于：在所述步骤S1中，所述的训练文本的获取，包括：采用网络爬虫和专家设计相互补充的方式，获取事实型、列表型、定义型、关系型、观点型的问题/答案文本训练数据。
3.根据权利要求1所述的一种面向中国移动智能客服的对话场景分类方法，其特征在于：在所述步骤S2中，采用MapReduce方法计算量化数据的笛卡尔积，依据相似值计算公式计算每个实体对的相似度；其中，对于n个数据记录，i和j都为0到n之间的自然数，ei和ej表示n个实体中的某一个，w表示权重；通过自适应阈值的优化选取相似实体进行融合，完成实体的共指消歧。
4.根据权利要求1所述的一种面向中国移动智能客服的对话场景分类方法，其特征在于：在所述步骤S3中，通过HanLP与Stanford parser中的条件随机场(conditional randomfield algorithm)句法分析器与最大熵依存句法分析器将训练文本划分为词或短语，并获取语境量化描述；采用word2vec将其融合成词向量，并与获取的量化描述融合生成新的词向量；借助无监督最大释然学习实现训练文本稀疏表示。
5.根据权利要求4所述的一种面向中国移动智能客服的对话场景分类方法，其特征在于：所述的无监督最大释然学习实现数据稀疏表示，通过在深度置信神经网络的隐藏层神经元中引入稀疏限制和正则项，推导相应的损失函数和惩罚函数，构建稀疏边缘降噪自动编码器；将融合词序、词序、依存关系语境特征的词向量提交给该编码器，借助损失函数的更新完成深度置信神经网络的预训练，微调神经网络的权值、偏置、稀疏限制和正则限制项参数，完成训练文本的稀疏表示。
6.根据权利要求1所述的一种面向中国移动智能客服的对话场景分类方法，其特征在于：在所述步骤S4中，所述卷积神经网络模型的构建，包括：构造条件函数来优化切换多学习机制；对所述稀疏表示的训练数据进行无监督学习预训练进而获取其训练权值；采用尺度相关池化方案与训练级联卷积神经网络模型对于给定对话训练数据集；学习一个线性增强分类器，聚合一组弱学习机制输出分类得分，进行对话场景分类。
7.根据权利要求6所述的一种面向中国移动智能客服的对话场景分类方法，其特征在于：所述卷积神经网络模型通过训练文本稀疏表示进行重复迭代训练更新权重至误差在预设的误差范围之内。
CN201810048593.7A 2018-01-18 2018-01-18 一种面向中国移动智能客服的对话场景分类方法 Active CN108170848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810048593.7A CN108170848B (zh) 2018-01-18 2018-01-18 一种面向中国移动智能客服的对话场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810048593.7A CN108170848B (zh) 2018-01-18 2018-01-18 一种面向中国移动智能客服的对话场景分类方法

Publications (2)

Publication Number Publication Date
CN108170848A true CN108170848A (zh) 2018-06-15
CN108170848B CN108170848B (zh) 2021-08-13

Family

ID=62514825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810048593.7A Active CN108170848B (zh) 2018-01-18 2018-01-18 一种面向中国移动智能客服的对话场景分类方法

Country Status (1)

Country Link
CN (1) CN108170848B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959275A (zh) * 2018-07-10 2018-12-07 四川淘金你我信息技术有限公司 基于在线语言翻译的人机对练系统
CN109241265A (zh) * 2018-09-17 2019-01-18 四川长虹电器股份有限公司 一种面向多轮查询的领域识别方法及系统
CN109710757A (zh) * 2018-11-29 2019-05-03 深圳中兴网信科技有限公司 文本分类模型的构建方法、系统以及计算机可读存储介质
CN109800293A (zh) * 2018-12-20 2019-05-24 出门问问信息科技有限公司 一种基于问题分类获取答案的方法、装置及电子设备
CN109885671A (zh) * 2019-02-28 2019-06-14 重庆邮电大学 基于多任务学习的问答方法
CN110377708A (zh) * 2019-06-03 2019-10-25 广东幽澜机器人科技有限公司 一种多情景对话切换方法及装置
CN115495578A (zh) * 2022-09-02 2022-12-20 国网江苏省电力有限公司南通供电分公司 基于最大熵损失的文本预训练模型后门消除方法、系统及介质
CN111026843B (zh) * 2019-12-02 2023-03-14 北京智乐瑟维科技有限公司 一种人工智能语音外呼方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955489A (zh) * 2014-04-15 2014-07-30 华南理工大学 基于信息熵特征权重量化的海量短文本分布式knn分类算法及系统
US20150371626A1 (en) * 2014-06-19 2015-12-24 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for speech synthesis based on large corpus
CN105468605A (zh) * 2014-08-25 2016-04-06 济南中林信息科技有限公司 一种实体信息图谱生成方法及装置
CN106202010A (zh) * 2016-07-12 2016-12-07 重庆兆光科技股份有限公司 基于深度神经网络构建法律文本语法树的方法和装置
CN106354787A (zh) * 2016-08-24 2017-01-25 齐鲁工业大学 一种基于相似度的实体共指消解方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955489A (zh) * 2014-04-15 2014-07-30 华南理工大学 基于信息熵特征权重量化的海量短文本分布式knn分类算法及系统
US20150371626A1 (en) * 2014-06-19 2015-12-24 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for speech synthesis based on large corpus
CN105468605A (zh) * 2014-08-25 2016-04-06 济南中林信息科技有限公司 一种实体信息图谱生成方法及装置
CN106202010A (zh) * 2016-07-12 2016-12-07 重庆兆光科技股份有限公司 基于深度神经网络构建法律文本语法树的方法和装置
CN106354787A (zh) * 2016-08-24 2017-01-25 齐鲁工业大学 一种基于相似度的实体共指消解方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
薛涛 等: "基于词义消歧的卷积神经网络文本分类模型", 《计算机应用研究》 *
赵博轩 等: "利用拼音特征的深度学习文本分类模型", 《高技术通讯》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108959275B (zh) * 2018-07-10 2022-05-17 四川淘金你我信息技术有限公司 基于在线语言翻译的人机对练系统
CN108959275A (zh) * 2018-07-10 2018-12-07 四川淘金你我信息技术有限公司 基于在线语言翻译的人机对练系统
CN109241265A (zh) * 2018-09-17 2019-01-18 四川长虹电器股份有限公司 一种面向多轮查询的领域识别方法及系统
CN109241265B (zh) * 2018-09-17 2022-06-03 四川长虹电器股份有限公司 一种面向多轮查询的领域识别方法及系统
CN109710757A (zh) * 2018-11-29 2019-05-03 深圳中兴网信科技有限公司 文本分类模型的构建方法、系统以及计算机可读存储介质
CN109800293A (zh) * 2018-12-20 2019-05-24 出门问问信息科技有限公司 一种基于问题分类获取答案的方法、装置及电子设备
CN109885671B (zh) * 2019-02-28 2022-10-14 重庆邮电大学 基于多任务学习的问答方法
CN109885671A (zh) * 2019-02-28 2019-06-14 重庆邮电大学 基于多任务学习的问答方法
CN110377708B (zh) * 2019-06-03 2021-10-08 广东幽澜机器人科技有限公司 一种多情景对话切换方法及装置
CN110377708A (zh) * 2019-06-03 2019-10-25 广东幽澜机器人科技有限公司 一种多情景对话切换方法及装置
CN111026843B (zh) * 2019-12-02 2023-03-14 北京智乐瑟维科技有限公司 一种人工智能语音外呼方法、系统及存储介质
CN115495578A (zh) * 2022-09-02 2022-12-20 国网江苏省电力有限公司南通供电分公司 基于最大熵损失的文本预训练模型后门消除方法、系统及介质
CN115495578B (zh) * 2022-09-02 2023-12-22 国网江苏省电力有限公司南通供电分公司 基于最大熵损失的文本预训练模型后门消除方法、系统及介质

Also Published As

Publication number Publication date
CN108170848B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108170848A (zh) 一种面向中国移动智能客服的对话场景分类方法
Deng et al. Use of kernel deep convex networks and end-to-end learning for spoken language understanding
Trask et al. Modeling order in neural word embeddings at scale
Chen et al. Knowledge as a teacher: Knowledge-guided structural attention networks
CN110929030A (zh) 一种文本摘要和情感分类联合训练方法
CN112560432A (zh) 基于图注意力网络的文本情感分析方法
CN107662617A (zh) 基于深度学习的车载交互控制算法
CN110472244B (zh) 一种基于Tree-LSTM和情感信息的短文本情感分类方法
CN111274790A (zh) 基于句法依存图的篇章级事件嵌入方法及装置
CN113128232B (zh) 一种基于albert与多重词信息嵌入的命名实体识别方法
CN112597285B (zh) 一种基于知识图谱的人机交互方法及系统
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
US20230169271A1 (en) System and methods for neural topic modeling using topic attention networks
CN111368542A (zh) 一种基于递归神经网络的文本语言关联抽取方法和系统
CN114218928A (zh) 一种基于图知识和主题感知的抽象文本摘要方法
Sen et al. Learning explainable linguistic expressions with neural inductive logic programming for sentence classification
CN114417872A (zh) 一种合同文本命名实体识别方法及系统
CN113641809B (zh) 一种基于XLNet模型与知识图谱的智能问答方法
CN115496072A (zh) 一种基于对比学习的关系抽取方法
Huang A CNN model for SMS spam detection
CN110297894A (zh) 一种基于辅助网络的智能对话生成方法
CN114048290A (zh) 一种文本分类方法及装置
CN111428518A (zh) 一种低频词翻译方法及装置
Pappas et al. A survey on language modeling using neural networks
CN117421420A (zh) 一种基于软提示学习的中文点击诱饵检测方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant