CN115688879A

CN115688879A - 一种基于知识图谱的智能客服语音处理系统及方法

Info

Publication number: CN115688879A
Application number: CN202211292269.2A
Authority: CN
Inventors: 侯俊
Original assignee: Clp Zhiheng Information Technology Service Co ltd
Current assignee: Clp Zhiheng Information Technology Service Co ltd
Priority date: 2022-10-21
Filing date: 2022-10-21
Publication date: 2023-02-03

Abstract

本发明公开了一种基于知识图谱的智能客服语音处理系统及方法，包括：接收用户输入的语音问句并转化为文本信息；依次从问答库中选取问句并与文本信息拼接，将拼接结果输入相似度识别模型获取对应的相似度值；若最大的相似度值小于相似度阈值，则从问答库中获取最大的相似度值对应的问句；将最大的相似度值对应的问句输入实体识别模型获取实体信息；若实体信息能够成功链接至知识图谱，则基于所属问题识别模型获取其所属问题类别；根据所属问题类别确定候选关系路径集合，选择候选关系路径集合中相似度最高的路径检索知识图谱获取答案，并将答案转化为语音信息并反馈给用户。本发明能够降低企业的客服成本，同时提高客服答疑效率。

Description

一种基于知识图谱的智能客服语音处理系统及方法

技术领域

本发明涉及一种基于知识图谱的智能客服语音处理系统及方法，属于智能客服技术领域。

背景技术

客服作为企业与客户之间建立信任关系的桥梁，其提供的良好用户体验不仅能够维护企业信誉，同时也方便用户解决问题。一名合格的人工客服具有着答疑准确率高、服务周到等优点，但随着企业规模壮大，客户量日益增大，人工客服的雇佣成本高、新人培训周期长、答疑效率低等缺点愈发不容忽视。由此，智能客服应运而生。

智能客服是在大规模知识处理基础上发展起来的一项面向行业的应用，涉及大规模知识处理技术、自然语言处理技术、知识管理技术、自动问答系统、推理技术等。其中最为关键的自然语言处理技术(NLP)是融数学、计算机科学、人工智能、语言学于一体的科学，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。与人工客服相比，借助大数据与自然语言处理技术搭建的智能客服系统，具有着实现成本低、答疑效率高等优点。

近年来，基于知识图谱的智能问答系统成为学术界和工业界研究和应用的热点。知识图谱的高语义理解程度、数据精度和高效率的检索使其被广泛应用。目前大多数基于知识图谱的智能问答系统，在单一简单问题上已取得很好的效果。但在实际问答场景下，用户的问题往往较为复杂，一旦问题过长或者存在多种关系与实体，现有的技术方法容易出现多跳关系错误和实体链接错误等问题，最终导致问答结果精确率较低甚至回答错误，无法使客户得到满意的智能回答。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于知识图谱的智能客服语音处理系统及方法，既可用于客户咨询答疑，又可用于新人客服培训，极大的降低了企业的成本，同时提高了客服答疑效率。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于知识图谱的智能客服语音处理方法，包括：

接收用户输入的语音问句并转化为文本信息；

依次从问答库中选取问句并与文本信息拼接，将拼接结果输入预构建的相似度识别模型获取对应的相似度值；

若最大的相似度值小于相似度阈值，则从问答库中获取最大的相似度值对应的问句；

将最大的相似度值对应的问句输入预构建的实体识别模型获取实体信息；

若实体信息能够成功链接至知识图谱，则基于预构建的所属问题识别模型获取其所属问题类别；

根据所属问题类别确定候选关系路径集合，选择候选关系路径集合中相似度最高的路径检索知识图谱获取答案，并将答案转化为语音信息并反馈给用户。

可选的，若最大的相似度值大于等于相似度阈值，则从问答库中获取数值最大的匹配度对应的问句的答案；将答案转化为语音信息并反馈给用户。

可选的，若实体信息不能成功链接至知识图谱，则转接人工服务。

可选的，所述相似度识别模型的构建包括：构建相似度识别的训练数据集并输入改进BERT模型进行模型训练，获取相似度识别模型；

所述实体识别模型的构建包括：构建实体识别的训练数据集并输入改进BERT模型进行模型训练，获取实体识别模型；其中，所述改进BERT模型的下游接BiLSTM模型和CRF层生成模型；

所述所属问题识别模型的构建包括：构建所属问题识别的训练数据集并输入改进BERT模型进行模型训练，获取所属问题识别模型。

可选的，所述改进BERT模型包括：

在BERT模型输入的token embedding部分之后添加平均池化层形成Average_pooling；

在BERT的注意力层网络连接中，注意力层外部的每一层与前两层之间以密集网络连接形成Densely_connected；

在BERT的交叉熵损失函数上添加flip方法形成Flip。

可选的，所述根据所属问题类别确定候选关系路径集合包括：

若所属问题类别为一跳关系类，则对问句的实体信息中的每个实体，检索其在知识图谱中的一跳关系路径，通过路径相似度算法计算一跳关系路径和文本信息的相似度，将相似度最高的一跳关系路径列入一跳候选关系路径集合；

若所属问题类别为多跳关系类，则对问句的实体信息中的每个实体，检索其在知识图谱中的一跳关系路径，通过路径相似度算法计算一跳关系路径和文本信息的相似度，将相似度最高的一跳关系路径列入候选关系路径集合；通过停止决策算法判断当前一跳关系路径是否应停止延伸，若停止延伸，则将当前候选关系路径集合中的一跳关系路径作为当前实体多跳关系路径的起止路径，将起止路径列入多跳候选关系路径集合。

第二方面，本发明提供了一种基于知识图谱的智能客服语音处理系统，所述装置包括：

问句接收模块，用于接收用户输入的语音问句并转化为文本信息；

相似度识别模块，用于依次从问答库中选取问句并与文本信息拼接，将拼接结果输入预构建的相似度识别模型获取对应的相似度值；

问句提取模块，用于若最大的相似度值小于相似度阈值，则从问答库中获取最大的相似度值对应的问句；

实体信息模块，用于将最大的相似度值对应的问句输入预构建的实体识别模型获取实体信息；

问题类别模块，用于若实体信息能够成功链接至知识图谱，则基于预构建的所属问题识别模型获取其所属问题类别；

答案生成模块，用于根据所属问题类别确定候选关系路径集合，选择候选关系路径集合中相似度最高的路径检索知识图谱获取答案，并将答案转化为语音信息并反馈给用户。

第三方面，本发明提供了一种基于知识图谱的智能客服语音处理装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

与现有技术相比，本发明所达到的有益效果：

本发明提出了一种基于知识图谱的智能客服语音处理系统及方法，采用基于BERT改进的ADFBERT网络模型和基于知识图谱的多跳关系预测算法，有效地解决了当前已有的基于知识图谱的智能问答系统在面对复杂多跳问题时精确率较低的问题，既可用于客户咨询答疑，又可用于新人客服培训，极大的降低了企业客服岗位的雇佣成本、新人客服培训成本，同时提高了客服答疑效率。

附图说明

图1是本发明实施例一提供的基于知识图谱的智能客服系统流程示意图；

图2是本发明实施例一提供的ADFBERT模型的内部结构图；

图3是本发明实施例一提供的实体识别算法的内部结构图；

图4是本发明实施例一提供的实体消歧算法的内部结构图；

图5是本发明实施例一提供的单跳关系预测模块的内部结构图；

图6是本发明实施例一提供的停止决策算法的内部结构图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

一种基于知识图谱的智能客服语音处理方法，包括如下步骤：

步骤01：接收用户输入的语音问句QV(Question_Voice)，进行步骤02。

步骤02：通过问句处理模块将QV转化为文本信息QT(Question_Text)，进行步骤03。

步骤03：通过问句匹配模块，将QT与预设问答库中的问句进行相似度匹配。如果匹配度超过阈值threshold＝0.9，则进行步骤04；否则进行步骤05。

步骤04：检索预设问答库中与QT匹配度最高的问题，该问题对应的答案作为最终答案，进行步骤12。

步骤05：通过实体处理模块，识别问句中的实体信息，并将识别到的实体链接到知识图谱。如果链接成功，进行步骤06；否则进行步骤07。

步骤06：通过问题分类模块，判断QT所属问题类别。如果属于查询实体类问题，则进行步骤11；如果属于查询单关系类问题，则进行步骤08；如果属于查询多关系类问题，则进行步骤09；否则进行步骤07。

步骤07：转接人工客服，流程结束。

步骤08：通过单跳关系预测模块，得到问题的候选关系路径集合Path_all，进行步骤10。

步骤09：通过多跳关系预测模块，得到问题的候选关系路径集合Path_all，进行步骤10。

步骤10：通过候选关系路径集合Path_all，得到得分最高的关系路径Path_max，进行步骤11。

步骤11：根据得分最高的关系路径Path_max，检索知识图谱，获取最终答案，进行步骤12。

步骤12：返回文本化的最终答案AT(Answer_Text)，进行步骤13。

步骤13：通过答案处理模块将AT转化为语音信息，作为最终反馈给用户的答案AV(Answer_Voice)，流程结束。

所述步骤02中的问句处理模块：接收用户输入的语音问句，并将语音信息进行文本化处理。

所述步骤03中的问句匹配模块：将文本化处理后的问句，与预设问答库中的问句进行相似度匹配。所述相似度匹配即为将两个问句使用[SEP]拼接，微调ADFBERT网络模型进行语义相似度分析任务。

所述ADFBERT(Average_pooling_Densely_connected_Flip_BERT)网络模型，为基于BERT创新的网络模型，如图2所示。与BERT相比，主要改进点为：

(1)Average_pooling：在BERT模型输入的token embedding部分之后添加平均池化层。所述平均池化层通过计算池化核区域内元素值的平均值，作用于输入特征并减小其大小。具体操作为：根据池化区域选中部分特征，然后将该部分特征相加求和，并取平均值作为输出。将平均池化层作用于token embedding部分，可以提高模型对词组级别语义信息的捕获能力，同时引起少量扰动，提高模型的稳定性。

(2)Densely_connected：在BERT的注意力层网络连接中，保持注意力层内部的残差网络连接不变，注意力层外部的每一层与前两层之间以密集网络连接。公式如下：

x_i＝H(x_i-1)+αx_i-1+βx_i-2

其中，H为非线性变换，α和β为权重系数。该设计使得每一层抽取的特征可以在不同注意力层之间反复利用，提高特征利用率；并进一步提高模型对梯度的敏感性，从而提高模型的训练效率。

所述残差网络为网络中每一层都和其下游相隔几层的某一层有额外的数据连接。该设计使得梯度信号可以更好的在层间传导，也使得卷积神经网络的层数更深。公式如下：

x_i＝H_i(x_i-1)+x_i-1

其中，x_i为第i个残差单元的输出值，H_i为非线性变换。

所述密集网络连接为网络中每一层都和其下游每一层有连接，公式如下：

x_i＝H_i([x₀,x₁,...,x_i-1])

(3)Flip：使用flip损失函数。所述flip损失函数为在BERT的交叉熵损失函数上添加flip方法。具体公式如下：

使用flip损失函数相当于将原先的交叉熵损失函数中低于阈值c的部分进行“翻转”，从而使得模型训练初期Loss大于该阈值时，进行正常的梯度下降，当Loss低于该阈值时，反过来进行梯度上升，使Loss保持在阈值附近，从而避免Loss陷入局部极小值，进而防止模型过拟合，增强模型的泛化能力。

所述步骤05中的实体处理模块进行实体识别任务和实体消歧任务，最终将实体链接到知识图谱。

所述实体识别任务是识别问句中的主题实体，采用在ADFBERT网络模型下游接BiLSTM模型和CRF层的方式，如图3所示。具体来说，使用预训练模型ADFBERT对标注的原始语料映射为动态的字向量；将向量输入BiLSTM网络层提取特征，并输出向量特征提取结果序列的最大概率；为了避免提取特征序列存在不合理的输出，使用条件随机场CRF层学习实体之间的依赖性特征，限制BiLSTM层输出的无效序列，提高模型的识别精确度；最终得到预测标注序列，对序列中的各个实体进行提取分类，从而完成实体识别任务。

所述实体消歧任务是从知识图谱中生成与识别实体相关的候选实体集合，并对候选实体集进行消歧，最终选择正确的候选实体。采用方式为将问句和候选实体集输入ADFBERT+CNN模型，如图4所示，通过卷积神经网络来增强ADFBERT模型预训练的实体特征进行实体消歧。具体来说，候选实体如果为标注的三元组中的主题实体，则输出标签为1，否则输出标签为0。输入数据由[CLS]+问题字符序列+[SEP]+关系特征拼接的候选实体+[SEP]组成。其中一跳关系特征即为知识图谱中从候选实体出发，相连接的一跳关系集合，公式如下所示，其中q为问题，e为候选实体，p为从e出发的一跳关系。

x＝[CLS],q,[SEP],e,p₁,...,p_n,[SEP]

经过ADFBERT网络编码得到后四层encoder输出的隐层向量，相加后得到隐层输出H，卷积层的特征C表示为：

其中σ为sigmoid函数，

为卷积运算，W为卷积核内的权重，b为偏置。H分别通过步长为1，3，5的三个卷积层提取特征。之后输入最大池化层，将得到的三个向量拼接后输入Softmax层分类，输出标签为0或1。损失函数为交叉熵损失函数，公式如下：

L＝-[y·ln(x)+(1-y)·ln(1-x)]

训练时最小化损失函数。在预测时，将候选实体被预测为标签1的概率作为候选实体得分。

所述步骤06中的问题分类模块用于识别问句所属类别。所述类别分为查询实体类、查询单跳关系类、查询多跳关系类。所述查询实体类即问句为知识图谱中的实体。所述单跳关系类和多跳关系类的判定，采用微调ADFBERT模型进行二分类任务的方式。

所述步骤08中的单跳关系预测模块进行单跳关系类问题的检索和分析任务，采用在ADFBERT网络模型下游接BiLSTM模型和CNN模型的方式，如图5所示。具体来说，对于能够正确反映问句意图的候选关系样本输出标签为1，反之输出标签为0。输入数据由问句关系对和答案实体一跳关系特征组成。所述问句关系对由[CLS]+问题字符序列+[SEP]+候选关系+[SEP]组成，公式如下所示，其中q为问题，p_i为候选实体的一跳关系。

x＝[CLS],q,[SEP],p_i,[SEP]

经过ADFBERT网络编码得到后四层encoder输出的隐层向量，相加后通过BiLSTM网络学习序列的上下文信息。给定输入序列[x₁,x₂,...,x_t,...,x_n]，t时刻LSTM网络的计算公式如下所示：

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

C_t＝tanh(W_cx_t+U_ch_t-1+b_c)

其中i_t，f_t，o_t分别代表LSTM网络的输入门，遗忘门和输出门。W和U为权重矩阵，b为偏置，C_t表示细胞状态，h_t表示网络输出。

将两个方向的LSTM的输出拼接即得到BiLSTM的输出

再通过步长为1，3，5的三个卷积层提取特征，之后输入最大池化层，将得到的三个向量拼接后生成y₂。

答案实体单跳关系特征的输入数据由以候选实体出发，沿候选关系检索到的答案实体的单跳关系集合[r₁,r₂,...,r_i]组成。通过关系矩阵映射后，得到关系特征的向量表示[R₁,R₂,...,R_i]。利用注意力机制将答案实体单跳关系特征与隐层向量中[CLS]位置的向量H_[CLS]进行交互得到y₁。在ADFBERT预训练任务中，通常将向量H_[CLS]用作分类，因此向量H_[CLS]中包含了问答关系对经过ADFBERT编码后的交互信息。注意力机制部分的计算公式如下：

H′_[CLS]＝W_t ^TH_[CLS]

α_j＝softmax(R_j×H′_[CLS])

其中W_t为可学习参数的变换矩阵，维度为d_R×d_ADFBERT。将y₁和y₂拼接后输入Softmax层分类，输出标签为0或1。损失函数为交叉熵损失函数，训练时最小化损失函数。预测时，将预测候选关系为标签1的概率作为候选关系的得分。

所述步骤09中的多跳关系预测模块进行多跳关系类问题的检索和分析任务，采用停止决策算法和路径相似度算法。具体来说，对于多跳关系类问题中主题实体集合中的每个实体e，检索知识图谱中e的一跳关系路径，通过路径相似度算法计算得到相似度最高的路径列入候选，然后通过停止决策算法判断当前路径是否应停止延伸。若为真，则停止延伸操作，将当前路径P_e作为该实体e出发的路径，并合并到问题总路径集合P中，对下一实体进行上述同样操作；若为假，则继续上述延伸操作，直到停止。

所述停止决策算法采用Sentence-ADFBERT模型，如图6所示，用于判断当前路径是否应该执行延伸操作，进行下一跳的路径转移。具体来说，在问句和路径表示层，构建孪生网络结构，使用共享权重的预训练模型ADFBERT来分别对问题Q和候选路径P编码表示。然后对ADFBERT输出的隐层向量表示取平均，作为问题和候选路径的向量表示H_Q和H_P，公式如下所示：

H_Q＝Mean_pooling(ADFBERT(x_Q))

x_Q＝[[CLS],q₁,...q_n,[SEP]]

H_P＝Mean_pooling(ADFBERT(x_P))

x_P＝[[CLS],p₁,...p_m,[SEP]]

在类型特征引入层，对实体的类型词语集合R，将其经过预训练词向量embedding层编码后的矩阵分别做最大池化和平均池化操作，得到两个向量表示

和

公式如下：

H_R＝Embedding(R)

R＝[r₁,r₂,...,r_i]

在注意力机制交互层，拼接

和

得到H′_R，通过矩阵W_R对其变换维度，再将H_Q通过矩阵W_Q变换维度。将所述变换维度后的两个矩阵相乘，得到Attention的权重a_ij。与H′_R加权求和之后，与H_Q点乘后通过平均池化层，得到新的问题表示AttQ，公式如下：

在输出层将AttQ和H_Q、H_P进行运算、拼接，并将输出向量传递给Softmax层进行二分类任务，公式如下：

y＝Softmax(H)

H＝[H_Q,H_P,H_Q-H_P,H_Q-AttQ-H_P]

输出标签为0或1。损失函数为交叉熵损失函数，训练时最小化损失函数。在预测时，比较输出标签0和1的概率大小，取概率大者作为该样本的预测标签。

所述路径相似度算法采用Sentence-ADFBERT模型，用于计算当前跳数的候选关系路径和问题间的相似度，并在候选关系路径中选择相似度最高的一条关系路径。与停止决策算法不同的是，采用带有软间隔的损失函数，只要负样本与正样本的间隔大于γ时，就不再惩罚，公式如下所示:

Loss＝max(0,γ-S(Q,P⁺)+S(Q,P^-))

其中Q表示问题，P⁺表示候选关系路径中的正例，P^-表示候选关系路径中的负例，S表示通过路径相似度计算网络计算得到的相似度分数。

所述步骤13中的答案处理模块将最终文本化的输出答案转化为语音信息，并反馈给用户。

实施例二：

一种基于知识图谱的智能客服语音处理系统，可实现实施例一所述的一种基于知识图谱的智能客服语音处理方法，包括：

实施例三：

本发明实施例还提供了一种基于知识图谱的智能客服语音处理装置，可实现实施例一所述的一种基于知识图谱的智能客服语音处理方法，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行上述方法的步骤。

实施例四：

本发明实施例还提供了一种计算机可读存储介质，可实现实施例一所述的一种基于知识图谱的智能客服语音处理方法，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种基于知识图谱的智能客服语音处理方法，其特征在于，包括：

接收用户输入的语音问句并转化为文本信息；

2.根据权利要求1所述的一种基于知识图谱的智能客服语音处理方法，其特征在于，若最大的相似度值大于等于相似度阈值，则从问答库中获取数值最大的匹配度对应的问句的答案；将答案转化为语音信息并反馈给用户。

3.根据权利要求1所述的一种基于知识图谱的智能客服语音处理方法，其特征在于，若实体信息不能成功链接至知识图谱，则转接人工服务。

4.根据权利要求1所述的一种基于知识图谱的智能客服语音处理方法，其特征在于，所述相似度识别模型的构建包括：构建相似度识别的训练数据集并输入改进BERT模型进行模型训练，获取相似度识别模型；

所述实体识别模型的构建包括：构建实体识别的训练数据集并输入改进BE RT模型进行模型训练，获取实体识别模型；其中，所述改进BERT模型的下游接BiLSTM模型和CRF层生成模型；

5.根据权利要求4所述的一种基于知识图谱的智能客服语音处理方法，其特征在于，所述改进BERT模型包括：

在BERT模型输入的token embedding部分之后添加平均池化层形成Averag e_pooling；

在BERT的交叉熵损失函数上添加flip方法形成Flip。

6.根据权利要求1所述的一种基于知识图谱的智能客服语音处理方法，其特征在于，所述根据所属问题类别确定候选关系路径集合包括：

7.一种基于知识图谱的智能客服语音处理系统，其特征在于，所述系统包括：

8.一种基于知识图谱的智能客服语音处理装置，其特征在于，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1-6任一项所述方法的步骤。

9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6任一项所述方法的步骤。