CN112052319B - 一种基于多特征融合的智能客服方法及系统 - Google Patents

一种基于多特征融合的智能客服方法及系统 Download PDF

Info

Publication number
CN112052319B
CN112052319B CN202010903288.9A CN202010903288A CN112052319B CN 112052319 B CN112052319 B CN 112052319B CN 202010903288 A CN202010903288 A CN 202010903288A CN 112052319 B CN112052319 B CN 112052319B
Authority
CN
China
Prior art keywords
matrix
corpus
sentence
feature
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010903288.9A
Other languages
English (en)
Other versions
CN112052319A (zh
Inventor
李美玲
李秀梅
孙军梅
任亚伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayun Tianxia Nanjing Technology Co ltd
Shanghai Oubei Industrial Co ltd
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202010903288.9A priority Critical patent/CN112052319B/zh
Publication of CN112052319A publication Critical patent/CN112052319A/zh
Application granted granted Critical
Publication of CN112052319B publication Critical patent/CN112052319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于多特征融合的智能客服方法及系统。传统的智能客服系统通过单一特征计算用户提问语句和语料库语句的相似度来检索出答案。本发明如下一、建立语料库和用户询问数据集。语料库中含有克服所需的问答信息。将语料库中提取出多个语义相同的语句对和多个语义不同的语句对，组成用户询问数据集。二、对语料库中的语句进行预处理；预处理中包括中文分词，以得到词汇表。三、建立和训练相似度识别模块。四、用相似度识别模块判断用户提问语句S1与各个语料库语句S2是否同义；当语料库内的一个语句与用户提问语句S1同义时，将该语句对应的答复信息推送给使用者。本发明方法通过引入多头注意力机制，提高了客服系统的智能性。

Description

一种基于多特征融合的智能客服方法及系统
技术领域
本发明涉及自然语言处理及智能客服技术领域，具体涉及一种基于多特征融合的智能客服方法及系统。
背景技术
智能客服是金融领域的一大研究热点，核心是快速、准确地回答用户的咨询问题。传统的智能客服系统主要是通过单一特征计算用户提问语句和语料库语句的相似度，通过匹配的方式检索出答案。尽管用户提问语句和语料库语句包含相似的关键词，但语义逻辑却可能截然不同。句子相似度是实现智能客服的关键技术，是文本相似度识别的子集。基于深度学习的方法是进行文本相似度计算的重要方法，它从不同角度提取文本中的信息，可以更大限度利用上下文信息，从而提高输入表征的信息量，克服文本语义表示上的鸿沟问题，使计算结果更加准确。基于深度学习的方法利用word2vec等词向量方法将词语转化为词向量后，输入到神经网络模型中，得出句子的语义特征表示，再将语义特征表示送入全连接层或使用距离公式进行语义相似度计算。虽然现有的方法对智能客服数据句子相似度计算有着不错的效果，但是仍然不能满足相似度计算的精度要求。
发明内容
本发明的目的在于提出一种基于多特征融合的智能客服方法及系统，以提高基于深度学习方法的金融证券领域智能客服句子相似度计算，用来对用户的提问进行自动答复。
一种基于多特征融合的智能客服方法，具体如下：
步骤一、建立语料库和用户询问数据集。语料库中含有客服所需的问答信息。将语料库中提取出多个语义相同的语句对和多个语义不同的语句对，组成用户询问数据集。
步骤二、对语料库中的语句进行预处理；预处理中包括中文分词，以得到词汇表。
步骤三、模型建立和训练
3-1.搭建相似度识别模块
相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层。所述的预处理层用于对用户输入的提问语句S1进行包括中文分词在内的预处理操作；所述的特征提取模块包括语义特征模块和词形特征模块。语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征提取，得到语义特征矩阵；词形特征模块用于对提问语句S1和语料库语句S2组成的语句对进行词形特征提取，得到语义特征矩阵。特征融合层将语句对的词形特征矩阵和语义特征矩阵横向拼接，形成融合特征矩阵。分类层用于根据融合特征矩阵进行相似度判断，获得提问语句S1与语料库语句S2是否同义的判断结果。
3-2.模型训练
将用户询问数据集输入到步骤3-1记载的相似度识别模块中进行训练。使得训练后的相似度识别模块能够对用户输入的语句与语料库中的各个语句进行相似度计算。
步骤四、使用者将需要解答的用户提问语句S1输入到相似度识别模块中；并逐个将语料库内的语句作为语料库语句S2输入训练后的相似度识别模块中各自进行相似度计算；并根据所得相似度判断用户提问语句S1与各个语料库语句S2是否同义；当语料库内的一个语句与用户提问语句S1同义时，将该语句对应的答复信息推送给使用者。
作为优选，所述的词形特征模块获取词形特征矩阵的具体过程如下：使用N-Gram算法、最小编辑距离算法和Jaccard相似度方法分别对提问语句S1和语料库语句S2进行处理，分别得到N-gram相似度矩阵、编辑距离相似度矩阵和Jaccard相似度矩阵，将所得的该三个矩阵横向拼接，获得三特征融合的词形特征矩阵。
作为优选，步骤3-1中，语义特征模块获取语义特征矩阵的过程如下：所述的语义特征模块包括词向量嵌入层、网络编码层、注意力交互层、语义特征融合层。用户提问语句S1和一个语料库语句S2分别经过词向量嵌入层将语句中的各个词映射为对应的词向量，每个词向量均对应一个位置向量；位置向量表示对应的词在词库中的位置；词向量与对应的位置向量的维度相同。将各个词向量分别与对应的位置向量横向拼接在一起，得到带位置信息的特征词向量。
所述的网络编码层中设置有LSTM网络、Bi-LSTM网络和CNN网络。由用户提问语句S1和一个语料库语句S2得到的带位置信息的特征词向量进入网络编码层后，各自在LSTM网络和Bi-LSTM网络中进行全局语义特征编码。将用户提问语句S1和一个语料库语句S2经过LSTM网络编码后的输出结果进行点乘后，送入CNN网络提取用户提问语句S1与语料库语句S2之间的相似特征信息，得到CNN相似矩阵；
运用多头注意力机制分别获得用户提问语句S1、语料库语句S2的多头注意力；用户提问语句S1、语料库语句S2的多头注意力进行全局平均池化后经过余弦相似度和曼哈顿相似度两个特征提取方法获取深层语义特征，获得余弦相似矩阵和曼哈顿相似矩阵；将用户提问语句S1、语料库语句S2经Bi-LSTM网络编码后的输出结果经过乘法、减法、最大值特征提取方法，获得乘法提取矩阵、减法提取矩阵和最大值提取矩阵。
将根据用户提问语句S1和语料库语句S2获取的CNN相似矩阵、余弦相似矩阵、曼哈顿相似矩阵、乘法提取矩阵、减法提取矩阵和最大值提取矩阵横向拼接，获得语义特征矩阵。
作为优选，步骤3-1中获取语句的多头注意力的过程如下：语句的多头注意力计算过程如式(1)、(2)、(3)所示。
MultiHead(Q,K,V)＝Concat(head1…headh)W0 (1)
其中；MultiHead(Q,K,V)为被计算语句的多头注意力；headi为第i个子空间的注意力，其表达式如式(2)所示；W0为参数矩阵，
Figure BDA0002660495760000031
Concat(·)为拼接矩阵函数；dmodel为词向量的维度；
Figure BDA0002660495760000032
Figure BDA0002660495760000033
其中；矩阵Q、K、V相同，均为LSTM网络的语义基础矩阵；Attention(·,·,·)表示注意力计算函数，Attention(·,·,·)以Q、K、V为变量的表达式如式(3)所示。
Figure BDA0002660495760000034
其中；softmax(·)为softmax激活函数运算；
Figure BDA0002660495760000035
分别第i个子空间的三个权重系数。
作为优选，步骤一中，语料库通过Python网络爬虫技术模拟浏览器行为的方式，从网络问答平台中抓取得到。
作为优选，所述的预处理操作包括去无用字符操作、去停用词操作、中文纠错操作和中文分词操作；中文分词操作后，对所得词汇表中的各个词分别进行向量化操作。
作为优选，所述的去无用字符操作通过正则表达式实现。
作为优选，所述的中文纠错操作，分为错误检测和错误纠正两个部分。错误检测是使用Jieba分词对比粒度的方式形成疑似错误位置候选集；错误纠正是使用音似、形似词典替换疑似错误位置候选集中的各个错误位置的词。
作为优选，所述的向量化操作是使用Word2Vec模型中的CBOW方式对语料库中的各语句对经分词后得到的各个词进行向量化操作，获取各个词相应的词向量矩阵。
本发明一种基于多特征融合的智能客服系统，包括相似度识别模块。所述的相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层。所述的预处理层用于对用户输入的提问语句S1和进行包括中文分词在内的预处理操作；特征提取模块包括语义特征模块和词形特征模块。词形特征模块用于对提问语句S1和语料库语句S2组成的语句对进行词形特征提取，得到词形特征矩阵。语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征提取，得到语义特征矩阵；特征融合层将语句对的词形特征矩阵和语义特征矩阵横向拼接，形成融合特征矩阵。分类层用于根据融合特征矩阵进行相似度判断，获得提问语句S1与语料库语句S2是否同义的判断结果。
所述的语义特征模块包括词向量嵌入层、网络编码层、注意力交互层和语义特征融合层。词向量嵌入层用于将用户提问语句S1和一个语料库语句S2中的各个词映射为对应的词向量，且每个词向量均对应一个位置向量，并将词向量与对应的位置向量横向拼接在一起，得到带位置信息的特征词向量。
所述的网络编码层中设置有LSTM网络、Bi-LSTM网络和CNN网络。LSTM网络、Bi-LSTM网络各自对各个特征词向量进行全局语义特征编码。用户提问语句S1和一个语料库语句S2经过LSTM网络编码后的输出结果进行点乘。CNN网络对点乘结果提取相似特征信息，得到CNN相似矩阵；用户提问语句S1、语料库语句S2经Bi-LSTM网络编码后的输出结果经过乘法、减法、最大值特征提取方法，获得乘法提取矩阵、减法提取矩阵和最大值提取矩阵。
所述的注意力交互层运用多头注意力机制分别获得用户提问语句S1、语料库语句S2的多头注意力；并对用户提问语句S1、语料库语句S2的多头注意力进行全局平均池化后经过余弦相似度、曼哈顿相似度特征提取方法，获得余弦相似矩阵和曼哈顿相似矩阵；
所述的语义特征融合层将根据用户提问语句S1和语料库语句S2获取的CNN相似矩阵、余弦相似矩阵、曼哈顿相似矩阵、乘法提取矩阵、减法提取矩阵和最大值提取矩阵横向拼接，获得语义特征矩阵。
本发明的有益效果如下：
1、本发明方法通过引入多头注意力机制，充分利用关键词和词频方面信息提取两个语句的词形特征，以及深度学习方法提取两个语句的语义特征。其中，本发明所用的多头注意力由多个分支构成，能够捕捉文本中每一个子空间的信息以理解字词之间的依赖关系，据此进行相似度计算，能够提高客服系统的智能性。该方法易于实现，数据预处理操作简单，具有更好的准确率和泛化能力。
2、本发明同时对语句对的语义特征和词形特征进行相似性判断，并将两者融合作综合判断，能够更加准确的判断两个语句是否同义，从而在语料库中选取出与用户提问语句同义的语句的答复信息。
附图说明
图1是本发明中相似度识别模块的模型图；
图2是本发明中语义特征模块的模型框架图；
图3是本发明中语义特征模块的网络编码层、注意力交互层、语义特征融合层的详细结构图。
具体实施方式
下面结合具体实施例对本发明做进一步分析。
一种基于多特征融合的智能客服方法，采用的客服系统包括数据获取模块、数据预处理模块和相似度识别模块。数据预处理模块包括去无用字符部分、去停用词部分、中文纠错部分、中文分词部分和向量化部分。相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层。特征提取模块包括语义特征模块和词形特征模块。语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征提取，得到语义特征矩阵；词形特征模块用于对提问语句S1和语料库语句S2组成的语句对进行词形特征提取，得到语义特征矩阵。语义特征模块包括词向量嵌入层、网络编码层、注意力交互层和语义特征融合层。
该基于多特征融合的智能客服方法，具体步骤如下：
步骤一、数据获取模块建立语料库和用户询问数据集。
数据获取模块通过Python网络爬虫技术模拟浏览器行为的方式，从网络问答平台(本实施例中选用“百度知道”)动态抓取数据，得到金融证券领域的语料库；将语料库中提取出多个语义相同的语句对和多个语义不同的语句对，组成用户询问数据集。语义相同的语句对为正样本；语义不同的语句对为负样本；本实施例中，用户询问数据集中包含117588个已知是否同义的语句对，其中数据正负样本比为52877：64711。用户询问数据集用于训练相似度识别模块；用户询问数据集中的每个语句对均可以分为一个用户提问语句S1和一个语料库语句S2。供相似度识别模块进行相似性判断的训练。相似性即为是否同义。将用户询问数据集中的数据按照6:4的比例拆分为训练集和测试集。
步骤二、数据预处理模块对的语料库内的语句进行去无用字符、去停用词、中文纠错、中文分词，得到词库。之后，对词库中的各个词分别进行向量化操作。
2-1.去无用字符操作。利用正则表达式删除语料库的各语句中的无用字符。无用字符包括数字、标点和字母。
2-2.去停用词操作。根据停用词表匹配删除语料库的各语句中的停用词。停用词表提前建立得到。
2-3.中文纠错操作，分为错误检测和错误纠正两个部分。首先使用结巴(Jieba)分词对比粒度形成疑似错误位置候选集来进行错误检测；然后使用音似、形似词典替换疑似错误位置候选集中的各个错误位置的词实现错误纠正。
2-4.中文分词操作。根据实际情况分析对比，采用Jieba中文分词的精准模式来对语料库中的文本进行分词。与此同时，虽然Jieba有新词识别能力，但依然存在识别不出新词而导致分词不正确的情况。因此这里选择载入自定义词典，其中包含Jieba默认词库中没有的金融证券方向的专业词汇，以便更加精准地分词，并对语料库分词后获得相应的词汇表。
2-5.向量化操作。使用Word2Vec模型中的CBOW方式(Continuous Bag-Of-WordsModel)对语料库中的各语句对经分词后得到的各个词进行向量化操作，获取各个词相应的词向量矩阵。
步骤三、模型训练
3-1.模型搭建
如图1所示，搭建的相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层。
预处理层用于对用户输入的提问语句S1按照步骤2-1至2-4中的方法进行包括去无用字符、去停用词、中文纠错、中文分词在内的预处理操作；特征提取模块包括语义特征模块和词形特征模块。语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征提取，得到语义特征矩阵；词形特征模块用于对提问语句S1和语料库语句S2组成的语句对进行词形特征提取，得到词形特征矩阵。特征融合层将语句S1和语句S2组成的语句对的词形特征矩阵和语义特征矩阵横向拼接(即将语义特征矩阵拼接到词形特征矩阵的右侧)，形成融合特征矩阵。之后，将融合特征矩阵输入到分类层进行相似度判断。最终将机器学习分类器分类结果作为提问语句S1与语料库语句S2是否同义的判断结果。
词形特征模块获取词形特征矩阵的具体过程如下：使用N-Gram算法(N元模型)、最小编辑距离算法(Edit Distance)和Jaccard相似度(Jaccard similarity coefficient)三种传统统计特征方法分别对提问语句S1和语料库语句S2进行处理，分别得到N-gram相似度矩阵、编辑距离相似度矩阵和Jaccard相似度矩阵，将所得的该三个矩阵横向拼接，获得三特征融合的词形特征矩阵。
如图2所示，语义特征模块包括词向量嵌入层、网络编码层、注意力交互层、语义特征融合层。语义特征模块获取语义特征矩阵的具体过程如下：语义特征模块采用基于多头注意力机制的神经网络模型LBMA(LSTM based on Multi-head Attention)，该模型为本发明与现有技术的一个主要区别点。
用户提问语句S1和一个语料库语句S2分别经过词向量嵌入层将语句中的各个词映射为对应的词向量，每个词向量均对应一个位置向量；位置向量表示对应的词在词库中的位置；词向量与对应的位置向量的维度相同。获取位置向量的目的是区分句子中词的位置信息，并将词向量和位置编码合并输入网络编码层。将各个词向量分别与对应的位置向量拼接在一起，得到带位置信息的特征词向量。
如图3所示，网络编码层中设置有LSTM网络、Bi-LSTM网络和CNN网络。由用户提问语句S1和一个语料库语句S2得到的带位置信息的特征词向量进入网络编码层后，各自在LSTM网络和Bi-LSTM网络中进行全局语义特征编码。将用户提问语句S1和一个语料库语句S2经过LSTM网络编码后的输出结果进行点乘后，送入CNN网络充分提取用户提问语句S1与语料库语句S2之间的相似特征信息，得到CNN相似矩阵；
运用多头注意力机制分别获取用户提问语句S1、语料库语句S2的LSTM网络输出结果在不同子空间的注意力，从而分别获得用户提问语句S1、语料库语句S2的多头注意力；语句的多头注意力计算过程如式(1)、(2)、(3)所示。
MultiHead(Q,K,V)＝Concat(head1…headh)W0 (1)
其中；MultiHead(Q,K,V)为被计算语句的多头注意力；headi为第i个子空间的注意力，其表达式如式(2)所示；W0为参数矩阵，
Figure BDA0002660495760000081
Concat(·)为拼接矩阵函数；dmodel为词向量的维度；
Figure BDA0002660495760000082
Figure BDA0002660495760000083
其中；矩阵Q、K、V相同，均为LSTM网络的语义基础矩阵；Attention(·,·,·)表示注意力计算函数，Attention(·,·,·)以Q、K、V为变量的表达式如式(3)所示。
Figure BDA0002660495760000084
其中；softmax(·)为softmax激活函数运算；
Figure BDA0002660495760000085
分别第i个子空间的三个权重系数。
用户提问语句S1、语料库语句S2的多头注意力进行全局平均池化后经过余弦相似度和曼哈顿相似度两个特征提取方法获取深层语义特征，获得余弦相似矩阵和曼哈顿相似矩阵；将用户提问语句S1、语料库语句S2经Bi-LSTM网络编码后的输出结果经过乘法、减法和最大值三个特征提取方法，获得乘法提取矩阵、减法提取矩阵和最大值提取矩阵。
将根据用户提问语句S1和语料库语句S2获取的CNN相似矩阵、余弦相似矩阵、曼哈顿相似矩阵、乘法提取矩阵、减法提取矩阵和最大值提取矩阵横向拼接的方式实现语义特征融合，获得语义特征矩阵。
3-2.模型训练
将用户询问数据集输入到步骤3-1记载的相似度识别模块中进行训练。训练后的相似度识别模块能够对用户输入的语句与语料库中的各个语句进行相似度计算。所得相似度为0到1之间的数值。
步骤四、使用者将需要解答的用户提问语句S1，输入到客服系统中；逐个将语料库内的语句作为语料库语句S2，与用户提问语句S1输入训练后的相似度识别模块中进行相似度计算；直到出现一个语句与用户提问语句S1同义。
当语料库内的一个语句与用户提问语句S1的相似度高于阈值时，认为该语句与用户提问语句S1同义，将该语句对应的答复信息推送给使用者。

Claims (8)

1.一种基于多特征融合的智能客服方法，其特征在于：步骤一、建立语料库和用户询问数据集；语料库中含有客服所需的问答信息；将语料库中提取出多个语义相同的语句对和多个语义不同的语句对，组成用户询问数据集；
步骤二、对语料库中的语句进行预处理；预处理中包括中文分词，以得到词汇表；
步骤三、模型建立和训练
3-1.搭建相似度识别模块
相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层；所述的预处理层用于对用户输入的提问语句S1进行包括中文分词在内的预处理操作；所述的特征提取模块包括语义特征模块和词形特征模块；语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征提取，得到语义特征矩阵；词形特征模块用于对提问语句S1和语料库语句S2组成的语句对进行词形特征提取，得到词形特征矩阵；特征融合层将语句对的词形特征矩阵和语义特征矩阵横向拼接，形成融合特征矩阵；分类层用于根据融合特征矩阵进行相似度判断，获得提问语句S1与语料库语句S2是否同义的判断结果；
语义特征模块获取语义特征矩阵的过程如下：所述的语义特征模块包括词向量嵌入层、网络编码层、注意力交互层、语义特征融合层；用户提问语句S1和一个语料库语句S2分别经过词向量嵌入层将语句中的各个词映射为对应的词向量，每个词向量均对应一个位置向量；位置向量表示对应的词在词库中的位置；词向量与对应的位置向量的维度相同；将各个词向量分别与对应的位置向量横向拼接在一起，得到带位置信息的特征词向量；
所述的网络编码层中设置有LSTM网络、Bi-LSTM网络和CNN网络；由用户提问语句S1和一个语料库语句S2得到的带位置信息的特征词向量进入网络编码层后，各自在LSTM网络和Bi-LSTM网络中进行全局语义特征编码；将用户提问语句S1和一个语料库语句S2经过LSTM网络编码后的输出结果进行点乘后，送入CNN网络提取用户提问语句S1与语料库语句S2之间的相似特征信息，得到CNN相似矩阵；
运用多头注意力机制分别获得用户提问语句S1、语料库语句S2的多头注意力；用户提问语句S1、语料库语句S2的多头注意力进行全局平均池化后经过余弦相似度和曼哈顿相似度两个特征提取方法获取深层语义特征，获得余弦相似矩阵和曼哈顿相似矩阵；将用户提问语句S1、语料库语句S2经Bi-LSTM网络编码后的输出结果经过乘法、减法、最大值特征提取方法，获得乘法提取矩阵、减法提取矩阵和最大值提取矩阵；
将根据用户提问语句S1和语料库语句S2获取的CNN相似矩阵、余弦相似矩阵、曼哈顿相似矩阵、乘法提取矩阵、减法提取矩阵和最大值提取矩阵横向拼接，获得语义特征矩阵；
所述的词形特征模块获取词形特征矩阵的具体过程如下：使用N-Gram算法、最小编辑距离算法和Jaccard相似度方法分别对提问语句S1和语料库语句S2进行处理，分别得到N-gram相似度矩阵、编辑距离相似度矩阵和Jaccard相似度矩阵，将所得的该三个矩阵横向拼接，获得三特征融合的词形特征矩阵；
3-2.模型训练
将用户询问数据集输入到步骤3-1记载的相似度识别模块中进行训练；使得训练后的相似度识别模块能够对用户输入的语句与语料库中的各个语句进行相似度计算；
步骤四、使用者将需要解答的用户提问语句S1输入到相似度识别模块中；并逐个将语料库内的语句作为语料库语句S2输入训练后的相似度识别模块中各自进行相似度计算；并根据所得相似度判断用户提问语句S1与各个语料库语句S2是否同义；当语料库内的一个语句与用户提问语句S1同义时，将该语句对应的答复信息推送给使用者。
2.根据如权利要求1所述的一种基于多特征融合的智能客服方法，其特征在于：步骤3-1中获取语句的多头注意力的过程如下：语句的多头注意力计算过程如式(1)、(2)、(3)所示；
Figure DEST_PATH_IMAGE001
(1)
其中；
Figure DEST_PATH_IMAGE002
为被计算语句的多头注意力；
Figure DEST_PATH_IMAGE003
为第i个子空间的注意力，其表达式如式（2）所示；
Figure DEST_PATH_IMAGE004
为参数矩阵，
Figure DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
为拼接矩阵函数；
Figure DEST_PATH_IMAGE007
为词向量的维度；
Figure DEST_PATH_IMAGE009
；
Figure DEST_PATH_IMAGE010
(2)
其中；矩阵Q、K、V相同，均为LSTM网络的语义基础矩阵；
Figure DEST_PATH_IMAGE011
表示注意力计算函数，
Figure 617672DEST_PATH_IMAGE011
以Q、K、V为变量的表达式如式（3）所示；
Figure DEST_PATH_IMAGE012
(3)
其中；
Figure DEST_PATH_IMAGE013
为softmax激活函数运算；
Figure DEST_PATH_IMAGE014
分别第i个子空间的三个权重系数。
3.根据如权利要求1所述的一种基于多特征融合的智能客服方法，其特征在于：步骤一中，语料库通过Python网络爬虫技术模拟浏览器行为的方式，从网络问答平台中抓取得到。
4.根据如权利要求1所述的一种基于多特征融合的智能客服方法，其特征在于：所述的预处理操作包括去无用字符操作、去停用词操作、中文纠错操作和中文分词操作；中文分词操作后，对所得词汇表中的各个词分别进行向量化操作。
5.根据如权利要求4所述的一种基于多特征融合的智能客服方法，其特征在于：所述的去无用字符操作通过正则表达式实现。
6.根据如权利要求4所述的一种基于多特征融合的智能客服方法，其特征在于：所述的中文纠错操作，分为错误检测和错误纠正两个部分；错误检测是使用Jieba分词对比粒度的方式形成疑似错误位置候选集；错误纠正是使用音似、形似词典替换疑似错误位置候选集中的各个错误位置的词。
7.根据如权利要求4所述的一种基于多特征融合的智能客服方法，其特征在于：所述的向量化操作是使用Word2Vec模型中的CBOW方式对语料库中的各语句对经分词后得到的各个词进行向量化操作，获取各个词相应的词向量矩阵。
8.一种基于多特征融合的智能客服系统，包括相似度识别模块；其特征在于：所述的相似度识别模块包括预处理层、特征提取模块、特征融合层、分类层和输出层；所述的预处理层用于对用户输入的提问语句S1和进行包括中文分词在内的预处理操作；特征提取模块包括语义特征模块和词形特征模块；词形特征模块用于对提问语句S1和语料库语句S2组成的语句对进行词形特征提取，得到词形特征矩阵；所述的词形特征模块获取词形特征矩阵的具体过程如下：使用N-Gram算法、最小编辑距离算法和Jaccard相似度方法分别对提问语句S1和语料库语句S2进行处理，分别得到N-gram相似度矩阵、编辑距离相似度矩阵和Jaccard相似度矩阵，将所得的该三个矩阵横向拼接，获得三特征融合的词形特征矩阵；
语义特征模块用于对提问语句S1和语料库语句S2组成的语句对进行语义特征提取，得到语义特征矩阵；语义特征模块获取语义特征矩阵的过程如下：所述的语义特征模块包括词向量嵌入层、网络编码层、注意力交互层、语义特征融合层；用户提问语句S1和一个语料库语句S2分别经过词向量嵌入层将语句中的各个词映射为对应的词向量，每个词向量均对应一个位置向量；位置向量表示对应的词在词库中的位置；词向量与对应的位置向量的维度相同；将各个词向量分别与对应的位置向量横向拼接在一起，得到带位置信息的特征词向量；
所述的网络编码层中设置有LSTM网络、Bi-LSTM网络和CNN网络；由用户提问语句S1和一个语料库语句S2得到的带位置信息的特征词向量进入网络编码层后，各自在LSTM网络和Bi-LSTM网络中进行全局语义特征编码；将用户提问语句S1和一个语料库语句S2经过LSTM网络编码后的输出结果进行点乘后，送入CNN网络提取用户提问语句S1与语料库语句S2之间的相似特征信息，得到CNN相似矩阵；
运用多头注意力机制分别获得用户提问语句S1、语料库语句S2的多头注意力；用户提问语句S1、语料库语句S2的多头注意力进行全局平均池化后经过余弦相似度和曼哈顿相似度两个特征提取方法获取深层语义特征，获得余弦相似矩阵和曼哈顿相似矩阵；将用户提问语句S1、语料库语句S2经Bi-LSTM网络编码后的输出结果经过乘法、减法、最大值特征提取方法，获得乘法提取矩阵、减法提取矩阵和最大值提取矩阵；
将根据用户提问语句S1和语料库语句S2获取的CNN相似矩阵、余弦相似矩阵、曼哈顿相似矩阵、乘法提取矩阵、减法提取矩阵和最大值提取矩阵横向拼接，获得语义特征矩阵；
特征融合层将语句对的词形特征矩阵和语义特征矩阵横向拼接，形成融合特征矩阵；分类层用于根据融合特征矩阵进行相似度判断，获得提问语句S1与语料库语句S2是否同义的判断结果；
所述的语义特征模块包括词向量嵌入层、网络编码层、注意力交互层和语义特征融合层；词向量嵌入层用于将用户提问语句S1和一个语料库语句S2中的各个词映射为对应的词向量，且每个词向量均对应一个位置向量，并将词向量与对应的位置向量横向拼接在一起，得到带位置信息的特征词向量；
所述的网络编码层中设置有LSTM网络、Bi-LSTM网络和CNN网络；LSTM网络、Bi-LSTM网络各自对各个特征词向量进行全局语义特征编码；用户提问语句S1和一个语料库语句S2经过LSTM网络编码后的输出结果进行点乘；CNN网络对点乘结果提取相似特征信息，得到CNN相似矩阵；用户提问语句S1、语料库语句S2经Bi-LSTM网络编码后的输出结果经过乘法、减法、最大值特征提取方法，获得乘法提取矩阵、减法提取矩阵和最大值提取矩阵；
所述的注意力交互层运用多头注意力机制分别获得用户提问语句S1、语料库语句S2的多头注意力；并对用户提问语句S1、语料库语句S2的多头注意力进行全局平均池化后经过余弦相似度、曼哈顿相似度特征提取方法，获得余弦相似矩阵和曼哈顿相似矩阵；
所述的语义特征融合层将根据用户提问语句S1和语料库语句S2获取的CNN相似矩阵、余弦相似矩阵、曼哈顿相似矩阵、乘法提取矩阵、减法提取矩阵和最大值提取矩阵横向拼接，获得语义特征矩阵。
CN202010903288.9A 2020-09-01 2020-09-01 一种基于多特征融合的智能客服方法及系统 Active CN112052319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010903288.9A CN112052319B (zh) 2020-09-01 2020-09-01 一种基于多特征融合的智能客服方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010903288.9A CN112052319B (zh) 2020-09-01 2020-09-01 一种基于多特征融合的智能客服方法及系统

Publications (2)

Publication Number Publication Date
CN112052319A CN112052319A (zh) 2020-12-08
CN112052319B true CN112052319B (zh) 2022-05-17

Family

ID=73607735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010903288.9A Active CN112052319B (zh) 2020-09-01 2020-09-01 一种基于多特征融合的智能客服方法及系统

Country Status (1)

Country Link
CN (1) CN112052319B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580352B (zh) * 2021-03-01 2021-06-04 腾讯科技（深圳）有限公司 关键词提取方法、装置和设备及计算机存储介质
CN113377921B (zh) * 2021-06-25 2023-07-21 北京百度网讯科技有限公司 用于匹配信息的方法、装置、电子设备以及介质
CN113449105A (zh) * 2021-06-25 2021-09-28 上海明略人工智能(集团)有限公司 一种工作总结生成方法、系统、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321419A (zh) * 2019-06-28 2019-10-11 神思电子技术股份有限公司 一种融合深度表示与交互模型的问答匹配方法
CN110502619A (zh) * 2019-03-08 2019-11-26 中山大学 一种基于gru神经网络内部注意力机制的答案选择模型
CN110516055A (zh) * 2019-08-16 2019-11-29 西北工业大学 一种结合bert的用于教学任务的跨平台智能问答实现方法
CN110781680A (zh) * 2019-10-17 2020-02-11 江南大学 基于孪生网络和多头注意力机制的语义相似度匹配方法
CN111400461A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 智能客服问题匹配方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400461A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 智能客服问题匹配方法及装置
CN110502619A (zh) * 2019-03-08 2019-11-26 中山大学 一种基于gru神经网络内部注意力机制的答案选择模型
CN110321419A (zh) * 2019-06-28 2019-10-11 神思电子技术股份有限公司 一种融合深度表示与交互模型的问答匹配方法
CN110516055A (zh) * 2019-08-16 2019-11-29 西北工业大学 一种结合bert的用于教学任务的跨平台智能问答实现方法
CN110781680A (zh) * 2019-10-17 2020-02-11 江南大学 基于孪生网络和多头注意力机制的语义相似度匹配方法

Also Published As

Publication number Publication date
CN112052319A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN113011533B (zh) 文本分类方法、装置、计算机设备和存储介质
CN112052319B (zh) 一种基于多特征融合的智能客服方法及系统
CN112115238B (zh) 一种基于bert和知识库的问答方法和系统
US11113323B2 (en) Answer selection using a compare-aggregate model with language model and condensed similarity information from latent clustering
CN111209401A (zh) 网络舆情文本信息情感极性分类处理系统及方法
CN112990296B (zh) 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及系统
CN108021555A (zh) 一种基于深度卷积神经网络的问句相似度度量方法
CN112231472B (zh) 融入领域术语词典的司法舆情敏感信息识别方法
CN105975454A (zh) 一种网页文本的中文分词方法和装置
CN111274371B (zh) 一种基于知识图谱的智能人机对话方法及设备
CN111462752B (zh) 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法
CN112069312B (zh) 一种基于实体识别的文本分类方法及电子装置
CN104317882B (zh) 一种决策级中文分词融合方法
CN113239690A (zh) 基于Bert与全连接神经网络融合的中文文本意图识别方法
CN113705237A (zh) 融合关系短语知识的关系抽取方法、装置和电子设备
CN112100212A (zh) 一种基于机器学习和规则匹配的案件情节抽取方法
CN115759092A (zh) 一种基于albert的网络威胁情报命名实体识别方法
CN113505200A (zh) 一种结合文档关键信息的句子级中文事件检测的方法
CN115238697A (zh) 基于自然语言处理的司法命名实体识别方法
CN111191051A (zh) 一种基于中文分词技术的应急知识图谱的构建方法及系统
CN112988970A (zh) 一种服务于智能问答系统的文本匹配算法
CN115759119A (zh) 一种金融文本情感分析方法、系统、介质和设备
CN115408488A (zh) 用于小说场景文本的分割方法及系统
CN115238693A (zh) 一种基于多分词和多层双向长短期记忆的中文命名实体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230612

Address after: Room 1001, Floor 7, Artificial Intelligence Industrial Park, No. 266 Chuangyan Road, Qilin Technology Innovation Park, Nanjing, Jiangsu Province, 211100

Patentee after: Huayun Tianxia (Nanjing) Technology Co.,Ltd.

Address before: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone)

Patentee before: Shanghai Oubei Industrial Co.,Ltd.

Effective date of registration: 20230612

Address after: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone)

Patentee after: Shanghai Oubei Industrial Co.,Ltd.

Address before: 311121 No. 58 Haishu Road, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Normal University